JP7476426B2 - ビデオコーディングのための方法、装置、およびコンピュータプログラム - Google Patents

Description

参照による援用
本出願は、2021年6月30日に出願された米国仮出願第63／217，021号、「LOW COMPLEXITY SIGN PREDICTION」の優先権の利益を主張する、2021年9月30日に出願された米国特許出願第17／490，562号、「METHOD AND APPARATUS FOR VIDEO CODING」の優先権の利益を主張する。先行出願の開示は、その全体が参照により本明細書に組み込まれる。

本開示は、一般に、ビデオコーディングに関連する実施形態を説明する。

本明細書で提供される背景技術の説明は、本開示の文脈を一般的に提示することを目的としている。ここに記名された発明者らの研究は、その研究がこの背景技術の項に記載されている限りにおいて、それ以外に出願時において先行技術には入らない可能性のある説明の態様と共に、明示的にも暗示的にも、本開示に対する先行技術としては認められない。

ビデオコーディングおよびビデオデコーディングは、動き補償を伴うインターピクチャ予測を使用して実行することができる。非圧縮デジタルビデオは一連のピクチャを含むことができ、各ピクチャは、例えば、1920×1080の輝度サンプルおよび関連するクロミナンスサンプルの空間次元を有する。一連のピクチャは、例えば毎秒60ピクチャまたは60Hzの固定または可変のピクチャレート（非公式にはフレームレートとしても知られる）を有することができる。非圧縮ビデオは、かなりのビットレート要件を有する。例えば、サンプルあたり8ビットの1080p60 4：2：0ビデオ（60Hzのフレームレートで1920×1080の輝度サンプル解像度）は、1．5Gbit／sに近い帯域幅を必要とする。1時間分のそのようなビデオは、600GByteを超える記憶空間を必要とする。

ビデオコーディングおよびビデオデコーディングの1つの目的は、圧縮による入力ビデオ信号の冗長性の低減でありうる。圧縮は、前述の帯域幅または記憶空間要件を、場合によっては2桁以上低減させるのに役立ちうる。可逆圧縮と非可逆圧縮の両方、およびそれらの組み合わせを使用することができる。可逆圧縮とは、原信号の正確なコピーを圧縮された原信号から再構成することができる技術を指す。非可逆圧縮を使用する場合、再構成された信号は原信号と同一ではない可能性があるが、原信号と再構成された信号との間の歪みは、再構成された信号を意図された用途に役立てるのに十分なほど小さい。ビデオの場合、非可逆圧縮が広く採用されている。耐容できる歪みの量は用途に依存し、例えば、特定の消費者ストリーミング用途のユーザは、テレビ配信用途のユーザよりも高い歪みを容認しうる。達成可能な圧縮比は、許容できる／耐容できる歪みが高いほど高い圧縮比を得ることができること、を反映することができる。

ビデオエンコーダおよびビデオデコーダは、例えば、動き補償、変換、量子化、およびエントロピーコーディングを含む、いくつかの広範なカテゴリからの技術を利用することができる。

ビデオコーデック技術は、イントラコーディングとして知られる技術を含むことができる。イントラコーディングでは、サンプル値は、以前に再構成された参照ピクチャからのサンプルまたは他のデータを参照せずに表される。一部のビデオコーデックでは、ピクチャはサンプルのブロックに、空間的に細分される。サンプルのすべてのブロックがイントラモードでコーディングされる場合、そのピクチャはイントラピクチャでありうる。イントラピクチャおよび独立したデコーダリフレッシュピクチャなどのそれらの派生物は、デコーダ状態をリセットするために使用することができ、したがって、コーディングされたビデオビットストリームおよびビデオセッション内の最初のピクチャとして、または静止画像として使用することができる。イントラブロックのサンプルは変換することができ、変換係数は、エントロピーコーディングの前に量子化することができる。イントラ予測は、変換前領域におけるサンプル値を最小化する技術でありうる。場合によっては、変換後のDC値が小さいほど、およびAC係数が小さいほど、エントロピーコーディング後のブロックを表すために所与の量子化ステップサイズで必要とされるビット数が少なくなる。

例えば、MPEG－2生成コーディング技術から知られているような従来のイントラコーディングは、イントラ予測を使用しない。しかしながら、いくつかのより新しいビデオ圧縮技術は、例えば、空間的に隣接し、デコード順で先行する、データブロックのエンコードおよび／またはデコード中に取得された周囲のサンプルデータおよび／またはメタデータから試行する技術を含む。そのような技術を、これ以降、「イントラ予測」技術と呼ぶ。少なくともいくつかの場合に、イントラ予測は再構成中の現在のピクチャからの参照データのみを使用し、参照ピクチャからは使用しないことに留意されたい。

多くの異なる形態のイントラ予測がありうる。そのような技術のうちの2つ以上が所与のビデオコーディング技術において使用されうる場合、使用中の技術をイントラ予測モードでコーディングすることができる。特定の場合には、モードはサブモードおよび／またはパラメータを有することができ、それらを個別にコーディングするか、またはモードのコードワードに含めることができる。所与のモード、サブモード、および／またはパラメータの組み合わせにどのコードワードを使用するかは、イントラ予測を介したコーディング効率向上に影響を与える可能性があり、そのため、コードワードをビットストリームに変換するために使用されるエントロピーコーディング技術も影響を与える可能性がある。

イントラ予測の特定のモードは、H．264で導入され、H．265において改良され、共同探索モデル（JEM）、多用途ビデオコーディング（VVC）、およびベンチマークセット（BMS）などのより新しいコーディング技術においてさらに改良された。予測子ブロックは、すでに利用可能なサンプルに属する隣接サンプル値を使用して形成することができる。隣接サンプルのサンプル値は、方向に従って予測子ブロックにコピーされる。使用中の方向への参照は、ビットストリーム内でコーディングすることができ、またはそれ自体が予測されてもよい。

図1Aを参照すると、右下に描かれているのは、H．265の（35個のイントラモードのうちの33個の角度モードに対応する）33個の可能な予測子方向から知られる9つの予測子方向のサブセットである。矢印が収束する点（101）は、予測されているサンプルを表す。矢印は、サンプルが予測されている方向を表す。例えば、矢印（102）は、サンプル（101）が、1つまたは複数のサンプルから右上へ、水平から45度の角度で予測されることを示している。同様に、矢印（103）は、サンプル（101）が、1つまたは複数のサンプルからサンプル（101）の左下へ、水平から22．5度の角度で予測されることを示している。

さらに図1Aを参照すると、左上に、（太い破線によって示された）4×4サンプルの正方形ブロック（104）が描かれている。正方形ブロック（104）は16個のサンプルを含み、「S」、そのY次元の位置（例えば、行インデックス）、およびそのX次元の位置（例えば、列インデックス）で各々ラベル付けされている。例えば、サンプルS21は、Y次元で（上から）2番目のサンプルであり、X次元で（左から）1番目のサンプルである。同様に、サンプルS44は、Y次元とX次元の両方でブロック（104）内で4番目のサンプルである。ブロックはサイズが4×4サンプルなので、S44は右下にある。同様の番号付け方式に従う参照サンプルがさらに示されている。参照サンプルは、R、ブロック（104）に対するそのY位置（例えば、行インデックス）、およびX位置（列インデックス）でラベル付けされている。H．264とH．265の両方において、予測サンプルは再構成中のブロックに隣接しており、したがって、負の値が使用される必要はない。

イントラピクチャ予測は、シグナリングされた予測方向によって割り当てられるように、隣接サンプルから参照サンプル値をコピーすることによって機能しうる。例えば、コーディングされたビデオビットストリームは、このブロックについて、矢印（102）と一致する予測方向を示すシグナリングを含む、すなわち、サンプルは1つまたは複数の予測サンプルから右上へ、水平から45度の角度で予測されると仮定する。その場合、サンプルS41、S32、S23、S14が、同じ参照サンプルR05から予測される。次いで、サンプルS44が、参照サンプルR08から予測される。

特定の場合には、特に方向が45度で均等に割り切れないときは、参照サンプルを計算するために、複数の参照サンプルの値が、例えば補間によって組み合わされてもよい。

可能な方向の数は、ビデオコーディング技術が発展するにつれて増加している。H．264（2003年）では、9つの異なる方向を表すことができた。それがH．265（2013年）では33に増加し、JEM／VVC／BMSは、開示の時点では、最大65個の方向をサポートすることができる。最も可能性が高い方向を識別するために実験が行われており、エントロピーコーディングの特定の技術は、それらの可能性が高い方向を少数のビットで表すために使用され、可能性が低い方向に関しては一定のペナルティを受け入れる。さらに、方向自体を、隣接する、すでにデコードされたブロックで使用された隣接する方向から予測できる場合もある。

図1Bは、経時的に増加する予測方向の数を示すために、JEMによる65個のイントラ予測方向を描いた概略図（105）を示している。

方向を表す、コーディングされたビデオビットストリーム内のイントラ予測方向ビットのマッピングは、ビデオコーディング技術ごとに異なる可能性があり、例えば、予測方向からイントラ予測モードへの単純な直接マッピングから、コードワード、最も可能性が高いモードを含む複雑な適応方式、および同様の技術にまで及ぶ可能性がある。ただし、すべての場合において、ビデオコンテンツ内で特定の他の方向よりも統計的に発生する可能性が低い特定の方向が存在しうる。ビデオ圧縮の目的は冗長性の低減であるので、それらの可能性が低い方向は、うまく機能するビデオコーディング技術では、可能性が高い方向よりも多いビット数で表される。

動き補償は、非可逆圧縮技術でありえ、以前に再構成されたピクチャまたはその一部（参照ピクチャ）からのサンプルデータのブロックが、動きベクトル（以降、MV）によって示された方向に空間的にシフトされた後に、新しく再構成されるピクチャまたはピクチャの一部の予測に使用される技術に関連しうる。場合によっては、参照ピクチャは現在再構成中のピクチャと同じでありうる。MVは、2つの次元XおよびY、または3つの次元を有することができ、第3の次元は、使用中の参照ピクチャの指示である（後者は、間接的に時間次元でありうる）。

いくつかのビデオ圧縮の技術では、サンプルデータの特定のエリアに適用可能なMVを、他のMVから、例えば、再構成中のエリアに空間的に隣接し、デコード順でそのMVに先行するサンプルデータの別のエリアに関連するMVから予測することができる。そうすることにより、MVのコーディングに必要なデータの量を大幅に削減することができ、それによって冗長性が排除され、圧縮率が増加する。MV予測が効果的に機能することができるのは、例えば、（自然なビデオとして知られている）カメラから導出された入力ビデオ信号をコーディングするときに、単一のMVが適用可能なエリアよりも大きいエリアが同様の方向に移動し、したがって、場合によっては、隣接エリアのMVから導出された同様のMVを使用して予測することができる統計的尤度があるからである。その結果、所与のエリアについて検出されたMVが周囲のMVから予測されたMVと同様かまたは同じになり、それを、エントロピーコーディング後に、MVを直接コーディングした場合に使用されるはずのビット数より少ないビット数で表すことができる。場合によっては、MV予測は、原信号（すなわち、サンプルストリーム）から導出された信号（すなわち、MV）の可逆圧縮の一例となりうる。他の場合、MV予測自体は、例えば、いくつかの周囲のMVから予測子を計算するときの丸め誤差のために、非可逆でありうる。

様々なMV予測メカニズムが、H．265／HEVC（ITU－T Rec．H．265、「High Efficiency Video Coding」、2016年12月）に記載されている。H．265が提供する多くのMV予測メカニズムのうち、ここで説明するのは、以降「空間マージ」と呼ぶ技術である。

図1Cを参照すると、現在のブロック（111）は、動き探索プロセス中にエンコーダによって、空間的にシフトされた同じサイズの以前のブロックから予測可能であることが発見されたサンプルを含みうる。そのMVを直接コーディングする代わりに、MVを、A0、A1、およびB0、B1、B2（それぞれ、112～116）と表記された5つの周囲のサンプルのいずれか1つと関連付けられたMVを使用して、1つまたは複数の参照ピクチャと関連付けられたメタデータから、例えば、（デコード順に）最新の参照ピクチャから導出することができる。H．265では、MV予測は、隣接ブロックが使用している同じ参照ピクチャからの予測子を使用することができる。

本開示の態様は、ビデオエンコーディング／デコーディングのための装置を提供する。装置は、現在のブロックのコーディングされた残差を含むビデオビットストリームを受け取る処理回路を含む。処理回路は、コーディングされた残差に基づいて現在のブロックの複数の変換係数を決定する。処理回路は、複数の符号予測仮説の各々について、現在のブロックの最上行または左端列の少なくとも一方におけるサンプルのサブセットに基づいて複数の変換係数のサブセットに対する符号予測を実行することによって、それぞれの符号予測仮説のコストを計算する。サンプルのサブセット内のサンプルの数は、定数である。処理回路は、最小コストを有する符号予測仮説のうちの1つを選択する。処理回路は、選択された符号予測仮説に従って符号予測を実行する。

一実施形態では、定数は予め決定される。例えば、定数は、4または8とすることができる。

一実施形態では、定数は、複数の変換係数のサブセットにおける変換係数の数に基づいて決定される。例えば、複数の変換係数のサブセットにおける変換係数の数を予め決定することができ（例えば、1つの変換ブロック内に4×4の低周波数変換係数）、定数を、複数の変換係数のサブセットにおける変換係数の所定の数よりも小さくなるように決定することができる。複数の変換係数のサブセットが4×4の低周波数変換係数であると予め決定される場合には、定数は、最上行または左端列について4とすることができる。

一実施形態では、定数は、ブロックの1つの次元と閾値との比較に基づいて決定される。一例では、ブロックの幅（または高さ）が閾値よりも大きい場合、最上行における（または左端列における）定数は、第1の数でありうる。そうでない場合、最上行における（または左端列における）定数は、第1の数よりも小さい第2の数でありうる。

一実施形態では、定数は、ブロックの1つの次元と2つ以上の閾値との比較に基づいて決定される。一例では、ブロックの次元を2つの閾値と比較することができる。ブロックの幅（または高さ）が第1の閾値以下である場合、最上行における（または左端列における）定数は、第1の数でありうる。ブロックの幅（または高さ）が第1の閾値よりも大きく第2の閾値よりも小さい場合、最上行における（または左端列における）定数は、第2の数でありうる。ブロックの幅（または高さ）が第2の閾値よりも大きい場合、最上行における（または左端列における）定数は、第3の数でありうる。別の例では、ブロックの次元を異なる数の閾値と比較することができる。

一実施形態では、定数は、定数の複数の値を含むルックアップテーブルに基づいて決定される。複数の値の各々は、ブロックの1つの次元の異なる値と関連付けられている。例えば、ブロックの幅（または高さ）が第1の範囲内にある場合、最上行における（または左端列における）定数は、ルックアップテーブルによる第1の数でありうる。ブロックの幅（または高さ）が第2の範囲内にある場合、最上行における（または左端列における）定数は、ルックアップテーブルによる第2の数でありえ、以下同様である。

一実施形態では、現在のブロックの最上行または左端列の少なくとも一方におけるサンプルのサブセットの位置は、ブロックの1つの次元に基づいて決定される。例えば、ブロックの最上行（または左端列）におけるサンプルのサブセットの位置は、ブロックの幅（または高さ）に基づいて決定される。

一実施形態では、現在のブロックの最上行または左端列の少なくとも一方におけるサンプルのサブセットの少なくとも2つの位置は、隣接している。例えば、最上行における（または左端列における）2つのサンプルの位置は、互いに隣接している。

一実施形態では、現在のブロックの最上行または左端列の少なくとも一方におけるサンプルのサブセットの位置は、等間隔である。

一実施形態では、処理回路は、複数の符号予測仮説の各々について、（i）現在のブロックの最上行または左端列の少なくとも一方におけるサンプルのサブセットと、（ii）現在のブロックの上の行または現在のブロックの左の列の少なくとも一方における隣接する再構成されたサンプルとに基づいて、計算する。

本開示の態様は、ビデオエンコーディング／デコーディングのための方法を提供する。方法は、ビデオエンコーディング／デコーディングのための装置によって実行されるプロセスのいずれか1つまたは組み合わせを実行することができる。方法では、現在のブロックのコーディングされた残差を含むビデオビットストリームが受け取られる。複数の変換係数が、コーディングされた残差に基づいて現在のブロックについて決定される。複数の符号予測仮説の各々について、それぞれの符号予測仮説のコストが、現在のブロックの最上行または左端列の少なくとも一方におけるサンプルのサブセットに基づいて複数の変換係数のサブセットに対する符号予測を実行することによって計算される。サンプルのサブセット内のサンプルの数は、定数である。最小コストを有する符号予測仮説のうちの1つが選択される。符号予測は、選択された符号予測仮説に従って実行される。

本開示の態様はまた、命令を記憶している非一時的コンピュータ可読媒体も提供し、命令は、少なくとも1つのプロセッサによって実行されると、少なくとも1つのプロセッサに、ビデオエンコーディング／デコーディングのための方法のいずれか1つまたは組み合わせを実行させる。

開示の主題のさらなる特徴、性質、および様々な利点は、以下の詳細な説明および添付の図面からより明らかになるであろう。

イントラ予測モードの例示的なサブセットの概略図である。 例示的なイントラ予測方向の図である。 一例における現在のブロックおよびその周囲の空間マージ候補の概略図である。 一実施形態による通信システムの簡略ブロック図の概略図である。 一実施形態による通信システムの簡略ブロック図の概略図である。 一実施形態によるデコーダの簡略ブロック図の概略図である。 一実施形態によるエンコーダの簡略ブロック図の概略図である。 別の実施形態によるエンコーダを示すブロック図である。 別の実施形態によるデコーダを示すブロック図である。 本開示の一実施形態による例示的な符号予測プロセスを示す図である。 本開示の一実施形態による仮説再構成境界のコストの例示的な計算を示す図である。 本開示の別の実施形態による仮説再構成境界のコストの例示的な計算を示す図である。 本開示の別の実施形態による仮説再構成境界のコストの例示的な計算を示す図である。 本開示の別の実施形態による仮説再構成境界のコストの例示的な計算を示す図である。 本開示の別の実施形態による例示的な符号予測プロセスを示す図である。 一実施形態による例示的なフローチャートを示す図である。 一実施形態によるコンピュータシステムの概略図である。

I．ビデオデコーダおよびエンコーダシステム
図2は、本開示の一実施形態による通信システム（200）の簡略ブロック図を示している。通信システム（200）は、例えばネットワーク（250）を介して互いに通信することができる複数の端末デバイスを含む。例えば、通信システム（200）は、ネットワーク（250）を介して相互接続された端末デバイス（210）および（220）の第1の対を含む。図2の例において、端末デバイス（210）および（220）の第1の対は、データの単方向伝送を実行する。例えば、端末デバイス（210）は、ネットワーク（250）を介して他方の端末デバイス（220）に送信するためにビデオデータ（例えば、端末デバイス（210）によってキャプチャされたビデオピクチャのストリーム）をコーディングしてもよい。エンコードされたビデオデータは、1つまたは複数のコーディングされたビデオビットストリームの形式で送信することができる。端末デバイス（220）は、ネットワーク（250）からコーディングされたビデオデータを受信し、コーディングされたビデオデータをデコードしてビデオピクチャを復元し、復元されたビデオデータに従ってビデオピクチャを表示しうる。単方向データ伝送は、メディアサービング用途などにおいて一般的でありうる。

別の例では、通信システム（200）は、例えばビデオ会議中に発生する可能性があるコーディングされたビデオデータの双方向伝送を実行する端末デバイス（230）および（240）の第2の対を含む。データの双方向伝送の場合、一例では、端末デバイス（230）および（240）の各端末デバイスは、ネットワーク（250）を介して端末デバイス（230）および（240）の他方の端末デバイスに送信するために、ビデオデータ（例えば、端末デバイスによってキャプチャされたビデオピクチャのストリーム）をコーディングしうる。端末デバイス（230）および（240）の各端末デバイスはまた、端末デバイス（230）および（240）の他方の端末デバイスによって送信されたコーディングされたビデオデータを受信してもよく、コーディングされたビデオデータをデコードしてビデオピクチャを復元してもよく、復元されたビデオデータに従ってアクセス可能な表示デバイスにビデオピクチャを表示してもよい。

図2の例において、端末デバイス（210）、（220）、（230）および（240）は、サーバ、パーソナルコンピュータおよびスマートフォンとして示されうるが、本開示の原理はそのように限定されえない。本開示の実施形態は、ラップトップコンピュータ、タブレットコンピュータ、メディアプレーヤおよび／または専用ビデオ会議機器と共に適用される。ネットワーク（250）は、例えば有線（配線）および／または無線通信ネットワークを含む、端末デバイス（210）、（220）、（230）および（240）間でコーディングされたビデオデータを伝達する任意の数のネットワークを表す。通信ネットワーク（250）は、回路交換チャネルおよび／またはパケット交換チャネルでデータを交換しうる。代表的なネットワークは、電気通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワークおよび／またはインターネットを含む。本考察の目的では、ネットワーク（250）のアーキテクチャおよびトポロジは、本明細書で以下に説明されない限り、本開示の動作にとって重要ではない場合がある。

図3は、開示の主題についての用途の一例として、ストリーミング環境におけるビデオエンコーダおよびビデオデコーダの配置を示している。開示の主題は、例えば、ビデオ会議、デジタルテレビ、CD、DVD、メモリスティックなどを含むデジタルメディアへの圧縮ビデオの記憶などを含む他のビデオ対応用途に等しく適用可能でありうる。

ストリーミングシステムは、例えば、圧縮されていないビデオピクチャのストリーム（302）を作成するビデオソース（301）、例えば、デジタルカメラを含むことができるキャプチャサブシステム（313）を含みうる。一例では、ビデオピクチャのストリーム（302）は、デジタルカメラによって撮られたサンプルを含む。エンコードされたビデオデータ（304）（またはコーディングされたビデオビットストリーム）と比較して多いデータ量を強調するために太線として描かれたビデオピクチャのストリーム（302）は、ビデオソース（301）に結合されたビデオエンコーダ（303）を含む電子デバイス（320）によって処理することができる。ビデオエンコーダ（303）は、以下でより詳細に説明されるように、開示の主題の態様を可能にするか、または実装するハードウェア、ソフトウェアまたはこれらの組み合わせを含むことができる。ビデオピクチャのストリーム（302）と比較して少ないデータ量を強調するために細線として描かれたエンコードされたビデオデータ（304）（またはエンコードされたビデオビットストリーム（304））は、将来の使用のためにストリーミングサーバ（305）に記憶することができる。図3のクライアントサブシステム（306）および（308）などの1つまたは複数のストリーミングクライアントサブシステムは、ストリーミングサーバ（305）にアクセスして、エンコードされたビデオデータ（304）のコピー（307）および（309）を取り出すことができる。クライアントサブシステム（306）は、例えば電子デバイス（330）内にビデオデコーダ（310）を含むことができる。ビデオデコーダ（310）は、エンコードされたビデオデータの入力コピー（307）をデコードし、ディスプレイ（312）（例えば、表示画面）または他のレンダリングデバイス（図示せず）上でレンダリングすることができるビデオピクチャの出力ストリーム（311）を作成する。一部のストリーミングシステムでは、エンコードされたビデオデータ（304）、（307）および（309）（例えば、ビデオビットストリーム）を、特定のビデオコーディング／圧縮規格に従ってエンコードすることができる。それらの規格の例は、ITU－T勧告H．265を含む。一例では、開発中のビデオコーディング規格は、非公式に多用途ビデオコーディング（VVC）として知られている。開示の主題は、VVCの文脈で使用されてもよい。

電子デバイス（320）および（330）は、他の構成要素（図示せず）を含むことができることに留意されたい。例えば、電子デバイス（320）はビデオデコーダ（図示せず）を含むことができ、電子デバイス（330）はビデオエンコーダ（図示せず）も含むことができる。

図4は、本開示の一実施形態による、ビデオデコーダ（410）のブロック図を示している。ビデオデコーダ（410）は、電子デバイス（430）に含めることができる。電子デバイス（430）は、受信機（431）（例えば、受信回路）を含むことができる。ビデオデコーダ（410）は、図3の例のビデオデコーダ（310）の代わりに使用することができる。

受信機（431）は、ビデオデコーダ（410）によってデコードされるべき1つまたは複数のコーディングされたビデオシーケンスを受信してもよく、同じかまたは別の実施形態では、一度に1つのコーディングされたビデオシーケンスを受信してもよく、各コーディングされたビデオシーケンスのデコーディングは、他のコーディングされたビデオシーケンスから独立している。コーディングされたビデオシーケンスはチャネル（401）から受信されてもよく、チャネル（401）は、エンコードされたビデオデータを記憶する記憶デバイスへのハードウェア／ソフトウェアリンクでありうる。受信機（431）はエンコードされたビデオデータを、それらそれぞれの使用エンティティ（図示せず）に転送されうる他のデータ、例えば、コーディングされたオーディオデータおよび／または補助データストリームと共に受信しうる。受信機（431）は、コーディングされたビデオシーケンスをその他のデータから分離しうる。ネットワークジッタに対抗するために、受信機（431）とエントロピーデコーダ／パーサ（420）（以降、「パーサ（420）」）との間にバッファメモリ（415）が結合されうる。特定の用途では、バッファメモリ（415）はビデオデコーダ（410）の一部である。他の用途では、バッファメモリ（415）はビデオデコーダ（410）の外部とすることができる（図示せず）。さらに他の用途では、例えば、ネットワークジッタに対抗するために、ビデオデコーダ（410）の外部にバッファメモリ（図示せず）が存在し、加えて、例えば、プレイアウトタイミングを処理するために、ビデオデコーダ（410）の内部に別のバッファメモリ（415）が存在しうる。受信機（431）が十分な帯域幅および可制御性のストア／フォワードデバイスから、またはアイソシンクロナスネットワークからデータを受信しているとき、バッファメモリ（415）は不要な場合があり、または小さくすることができる。インターネットなどのベストエフォート型パケットネットワークでの使用の場合、バッファメモリ（415）は必要な場合があり、比較的大きくすることができ、適応サイズのものであることが有利である可能性があり、オペレーティングシステムまたはビデオデコーダ（410）の外部の同様の要素（図示せず）に少なくとも部分的に実装されてもよい。

ビデオデコーダ（410）は、コーディングされたビデオシーケンスからシンボル（421）を再構成するためにパーサ（420）を含みうる。これらのシンボルのカテゴリは、ビデオデコーダ（410）の動作を管理するために使用される情報、および潜在的に、図4に示されるように、電子デバイス（430）の不可欠な部分ではないが、電子デバイス（430）に結合することができるレンダリングデバイス（412）（例えば、表示画面）などのレンダリングデバイスを制御するための情報を含む。（1つまたは複数の）レンダリングデバイスのための制御情報は補足エンハンスメント情報（SEIメッセージ）またはビデオユーザビリティ情報（VUI）のパラメータセットフラグメント（図示せず）の形式でありうる。パーサ（420）は、受信されたコーディングされたビデオシーケンスをパース／エントロピーデコードしうる。コーディングされたビデオシーケンスのコーディングは、ビデオコーディング技術または規格に従うことができ、文脈依存性ありまたはなしの可変長コーディング、ハフマンコーディング、算術コーディングなどを含む様々な原理に従うことができる。パーサ（420）は、グループに対応する少なくとも1つのパラメータに基づいて、コーディングされたビデオシーケンスから、ビデオデコーダ内のピクセルのサブグループのうちの少なくとも1つのサブグループパラメータのセットを抽出しうる。サブグループは、Group of Pictures（GOPs）、ピクチャ、タイル、スライス、マクロブロック、コーディングユニット（CU）、ブロック、変換ユニット（TU）、予測ユニット（PU）などを含むことができる。パーサ（420）はまた、コーディングされたビデオシーケンスから、変換係数、量子化パラメータ値、MVなどといった情報も抽出しうる。

パーサ（420）は、シンボル（421）を作成するために、バッファメモリ（415）から受け取られたビデオシーケンスに対してエントロピーデコード／パース動作を実行しうる。

シンボル（421）の再構成は、コーディングされたビデオピクチャまたはその部分のタイプ（インターピクチャおよびイントラピクチャ、インターブロックおよびイントラブロックなど）、ならびに他の要因に応じて、複数の異なるユニットを関与させることができる。どのユニットがどのように関与するかは、パーサ（420）によってコーディングされたビデオシーケンスからパースされたサブグループ制御情報によって制御することができる。パーサ（420）と以下の複数のユニットとの間のそのようなサブグループ制御情報の流れは、明確にするために描かれていない。

すでに言及された機能ブロック以外に、ビデオデコーダ（410）を、以下で説明されるようないくつかの機能ユニットに概念的に細分することができる。商業的制約の下で動作する実際の実装形態では、これらのユニットの多くは、互いに密接に相互作用し、少なくとも部分的に互いに統合することができる。ただし、開示の主題を説明する目的には、以下の機能ユニットへの概念的な細分が適切である。

第1のユニットはスケーラ／逆変換ユニット（451）である。スケーラ／逆変換ユニット（451）は、量子化変換係数、ならびに、どの変換を使用するか、ブロックサイズ、量子化係数、量子化スケーリング行列などを含む制御情報を、パーサ（420）から（1つまたは複数の）シンボル（421）として受け取る。スケーラ／逆変換ユニット（451）は、アグリゲータ（455）に入力することができるサンプル値を含むブロックを出力することができる。

場合によっては、スケーラ／逆変換（451）の出力サンプルは、イントラコーディングされたブロック、すなわち、以前に再構成されたピクチャからの予測情報を使用していないが、現在のピクチャの以前に再構成された部分からの予測情報を使用することができるブロックに関係しうる。そのような予測情報を、イントラピクチャ予測ユニット（452）によって提供することができる。場合によっては、イントラピクチャ予測ユニット（452）は、現在のピクチャバッファ（458）からフェッチされた周囲のすでに再構成された情報を使用して、再構成中のブロックと同じサイズおよび形状のブロックを生成する。現在のピクチャバッファ（458）は、例えば、部分的に再構成された現在のピクチャおよび／または完全に再構成された現在のピクチャをバッファする。アグリゲータ（455）は、場合によっては、サンプルごとに、イントラ予測ユニット（452）が生成した予測情報を、スケーラ／逆変換ユニット（451）によって提供されたものとして出力サンプル情報に追加する。

他の場合には、スケーラ／逆変換ユニット（451）の出力サンプルは、インターコーディングされ、潜在的に動き補償されたブロックに関係しうる。そのような場合、動き補償予測ユニット（453）は、参照ピクチャメモリ（457）にアクセスして、予測に使用されるサンプルをフェッチすることができる。ブロックに関係するシンボル（421）に従ってフェッチされたサンプルを動き補償した後、これらのサンプルを、出力サンプル情報を生成するために、アグリゲータ（455）によってスケーラ／逆変換ユニット（451）の出力に追加することができる（この場合、残差サンプルまたは残差信号と呼ばれる）。動き補償予測ユニット（453）が予測サンプルをフェッチする参照ピクチャメモリ（457）内のアドレスは、例えば、X、Y、および参照ピクチャ成分を有しうるシンボル（421）の形式で動き補償予測ユニット（453）に利用可能なMVによって制御することができる。動き補償はまた、サブサンプルの正確なMVが使用されているときに参照ピクチャメモリ（457）からフェッチされたサンプル値の補間、MV予測メカニズムなども含むことができる。

アグリゲータ（455）の出力サンプルは、ループフィルタユニット（456）において様々なループフィルタリング技術を受けることができる。ビデオ圧縮技術は、コーディングされたビデオシーケンス（コーディングされたビデオビットストリームとも呼ばれる）に含まれるパラメータによって制御され、パーサ（420）からのシンボル（421）としてループフィルタユニット（456）に利用可能とされるインループフィルタ技術を含むことができるが、コーディングされたピクチャまたはコーディングされたビデオシーケンスの（デコード順で）前の部分のデコード中に取得されたメタ情報に応答することもでき、以前に再構成されループフィルタリングされたサンプル値に応答することもできる。

ループフィルタユニット（456）の出力は、レンダリングデバイス（412）に出力するだけでなく、将来のインターピクチャ予測で使用するために参照ピクチャメモリ（457）に記憶することもできるサンプルストリームでありうる。

特定のコーディングされたピクチャは、完全に再構成されると、将来の予測のための参照ピクチャとして使用することができる。例えば、現在のピクチャに対応するコーディングされたピクチャが完全に再構成され、コーディングされたピクチャが（例えば、パーサ（420）によって）参照ピクチャとして識別されると、現在のピクチャバッファ（458）は、参照ピクチャメモリ（457）の一部になることができ、次のコーディングされたピクチャの再構成を開始する前に新しい現在のピクチャバッファを再割り振りすることができる。

ビデオデコーダ（410）は、ITU－T Rec．H．265などの規格における所定のビデオ圧縮技術に従ってデコード動作を実行しうる。コーディングされたビデオシーケンスは、コーディングされたビデオシーケンスが、ビデオ圧縮技術または規格の構文とビデオ圧縮技術または規格に文書化されているプロファイルの両方を順守しているという意味で、使用されているビデオ圧縮技術または規格によって指定されている構文に準拠しうる。具体的には、プロファイルは、ビデオ圧縮技術または規格において利用可能なすべてのツールの中から、特定のツールを、そのプロファイル下でそれらだけが利用可能なツールとして選択することができる。また、順守には、コーディングされたビデオシーケンスの複雑度が、ビデオ圧縮技術または規格のレベルによって規定された範囲内にあることも必要でありうる。場合によっては、レベルは、最大ピクチャサイズ、最大フレームレート、（例えば、毎秒メガサンプル単位で測定された）最大再構成サンプルレート、最大参照ピクチャサイズなどを制限する。レベルによって設定された制限は、場合によっては、仮想参照デコーダ（HRD）の仕様と、コーディングされたビデオシーケンスでシグナリングされたHRDバッファ管理のためのメタデータとによってさらに制限される可能性がある。

一実施形態では、受信機（431）は、エンコードされたビデオと共に追加の（冗長な）データを受信しうる。追加のデータは、（1つまたは複数の）コーディングされたビデオシーケンスの一部として含まれうる。追加のデータは、ビデオデコーダ（410）によって、データを適切にデコードするために、かつ／または元のビデオデータをより正確に再構成するために使用されうる。追加のデータは、例えば、時間、空間、または信号対雑音比（SNR）のエンハンスメント層、冗長スライス、冗長ピクチャ、前方誤り訂正コードなどの形式でありうる。

図5は、本開示の一実施形態による、ビデオエンコーダ（503）のブロック図を示している。ビデオエンコーダ（503）は電子デバイス（520）に含まれる。電子デバイス（520）は送信機（540）（例えば、送信回路）を含む。ビデオエンコーダ（503）は、図3の例のビデオエンコーダ（303）の代わりに使用することができる。

ビデオエンコーダ（503）は、ビデオエンコーダ（503）によってコーディングされるべき（1つまたは複数の）ビデオ画像をキャプチャしうる（図5の例では電子デバイス（520）の一部ではない）ビデオソース（501）からビデオサンプルを受信しうる。別の例では、ビデオソース（501）は電子デバイス（520）の一部である。

ビデオソース（501）は、ビデオエンコーダ（503）によってコーディングされるべきソースビデオシーケンスを、任意の適切なビット深度（例えば、8ビット、10ビット、12ビット、．．．）、任意の色空間（例えば、BT．601 Y CrCB、RGB、．．．）、および任意の適切なサンプリング構造（例えば、Y CrCb 4：2：0、Y CrCb 4：4：4）のものとすることができるデジタルビデオサンプルストリームの形式で提供しうる。メディアサービングシステムでは、ビデオソース（501）は、以前に準備されたビデオを記憶する記憶デバイスでありうる。ビデオ会議システムでは、ビデオソース（501）は、ビデオシーケンスとしてローカル画像情報をキャプチャするカメラでありうる。ビデオデータは、順番に見られたときに動きを伝える複数の個別のピクチャとして提供されうる。ピクチャ自体は、ピクセルの空間配列として編成されてもよく、各ピクセルは、使用中のサンプリング構造、色空間などに応じて1つまたは複数のサンプルを含むことができる。当業者であれば、ピクセルとサンプルとの間の関係を容易に理解することができる。以下の説明では、サンプルに焦点を当てる。

一実施形態によれば、ビデオエンコーダ（503）は、リアルタイムで、または用途によって必要とされる任意の他の時間制約の下で、ソースビデオシーケンスのピクチャをコーディングされたビデオシーケンス（543）にコーディングし、圧縮しうる。適切なコーディング速度を実施することが、コントローラ（550）の1つの機能である。いくつかの実施形態では、コントローラ（550）は、以下で説明される他の機能ユニットを制御し、それらの他の機能ユニットに機能的に結合されている。この結合は明確にするために描かれていない。コントローラ（550）によって設定されるパラメータは、レート制御関連パラメータ（ピクチャスキップ、量子化器、レート歪み最適化技術のラムダ値、…）、ピクチャサイズ、Group of Pictures（GOP）レイアウト、最大MV許容参照エリアなどを含むことができる。コントローラ（550）は、特定のシステム設計のために最適化されたビデオエンコーダ（503）に関係する他の適切な機能を有するように構成することができる。

いくつかの実施形態では、ビデオエンコーダ（503）は、コーディングループで動作するように構成される。単純化され過ぎた説明として、一例では、コーディングループは、（例えば、コーディングされるべき入力ピクチャ、および（1つまたは複数の）参照ピクチャに基づいて、シンボルストリームなどのシンボルを作成する役割を担う）ソースコーダ（530）、ならびにビデオエンコーダ（503）に組み込まれた（ローカル）デコーダ（533）を含むことができる。（開示の主題で考慮されるビデオ圧縮技術においてはシンボルとコーディングされたビデオビットストリームとの間のいかなる圧縮も可逆であるため）デコーダ（533）は、（リモート）デコーダも作成することになるのと同様のやり方で、シンボルを再構成してサンプルデータを作成する。再構成されたサンプルストリーム（サンプルデータ）は、参照ピクチャメモリ（534）に入力される。シンボルストリームのデコーディングは、デコーダの場所（ローカルかリモートか）に関係なくビットイグザクトな結果につながるので、参照ピクチャメモリ（534）内のコンテンツも、ローカルエンコーダとリモートエンコーダとの間でビットイグザクトである。言い換えれば、エンコーダの予測部分は、デコード中に予測を使用するときにデコーダが「見る」ことになるのと全く同じサンプル値を参照ピクチャサンプルとして「見る」。この参照ピクチャ同期性の基本原理（および、例えばチャネル誤りが原因で同期性を維持することができない場合に、結果として生じるドリフト）は、いくつかの関連技術においても使用される。

「ローカル」デコーダ（533）の動作は、図4と併せて上記で詳細にすでに説明されている、ビデオデコーダ（410）などの「リモート」デコーダの動作と同じとすることができる。図4も簡単に参照すると、しかしながら、シンボルが利用可能であり、エントロピーコーダ（545）およびパーサ（420）によるコーディングされたビデオシーケンスへのシンボルのエンコーディング／デコーディングは可逆でありうるので、バッファメモリ（415）を含むビデオデコーダ（410）のエントロピーデコード部分、およびパーサ（420）は、ローカルデコーダ（533）に完全に実装されない場合もある。

この時点で言えることは、デコーダ内に存在するパーシング／エントロピーデコーディングを除く任意のデコーダ技術が、対応するエンコーダ内においても、実質的に同一の機能形態で存在する必要が必然的にあるということである。このため、開示の主題は、デコーダの動作に焦点を当てている。エンコーダ技術の説明は、エンコーダ技術が包括的に記載されるデコーダ技術の逆であるため、省略することができる。特定のエリアでのみ、より詳細な説明が必要であり、以下で提供する。

いくつかの例では、動作中、ソースコーダ（530）は、「参照ピクチャ」として指定されたビデオシーケンスからの1つまたは複数の以前にコーディングされたピクチャを参照して入力ピクチャを予測的にコーディングする、動き補償予測コーディングを実行しうる。このようにして、コーディングエンジン（532）は、入力ピクチャのピクセルブロックと、入力ピクチャへの（1つまたは複数の）予測参照として選択されうる（1つまたは複数の）参照ピクチャのピクセルブロックとの間の差分をコーディングする。

ローカルビデオデコーダ（533）は、ソースコーダ（530）によって作成されたシンボルに基づいて、参照ピクチャとして指定されうるピクチャのコーディングされたビデオデータをデコードしうる。コーディングエンジン（532）の動作は、有利には、非可逆プロセスでありうる。コーディングされたビデオデータが（図5には示されていない）ビデオデコーダでデコードされうる場合、再構成されたビデオシーケンスは、通常、いくつかの誤りを有するソースビデオシーケンスの複製でありうる。ローカルビデオデコーダ（533）は、参照ピクチャに対してビデオデコーダによって実行されうるデコードプロセスを複製し、再構成された参照ピクチャを参照ピクチャキャッシュ（534）に記憶させうる。このようにして、ビデオエンコーダ（503）は、（伝送誤りなしで）遠端ビデオデコーダによって取得されることになる再構成された参照ピクチャとして共通のコンテンツを有する再構成された参照ピクチャのコピーをローカルに記憶しうる。

予測器（535）は、コーディングエンジン（532）の予測探索を実行しうる。すなわち、コーディングされるべき新しいピクチャについて、予測器（535）は、（候補参照ピクセルブロックとしての）サンプルデータ、または新しいピクチャのための適切な予測参照として機能しうる、参照ピクチャMV、ブロック形状などの特定のメタデータを求めて、参照ピクチャメモリ（534）を探索しうる。予測器（535）は、適切な予測参照を見つけるために、ピクセルブロックごとにサンプルブロックに対して動作しうる。場合によっては、予測器（535）によって取得された探索結果によって決定されるように、入力ピクチャは、参照ピクチャメモリ（534）に記憶された複数の参照ピクチャから引き出された予測参照を有してもよい。

コントローラ（550）は、例えば、ビデオデータをエンコードするために使用されるパラメータおよびサブグループパラメータの設定を含む、ソースコーダ（530）のコーディング動作を管理しうる。

すべての前述の機能ユニットの出力は、エントロピーコーダ（545）においてエントロピーコーディングを受けうる。エントロピーコーダ（545）は、様々な機能ユニットによって生成されたシンボルを、ハフマンコーディング、可変長コーディング、算術コーディングなどといった技術に従ってシンボルを可逆圧縮することによってコーディングされたビデオシーケンスに変換する。

送信機（540）は、エントロピーコーダ（545）によって作成された（1つまたは複数の）コーディングされたビデオシーケンスを通信チャネル（560）を介した送信に備えるためにバッファしてもよく、通信チャネル（560）は、エンコードされたビデオデータを記憶することになる記憶デバイスへのハードウェア／ソフトウェアリンクでありうる。送信機（540）は、ビデオコーダ（503）からのコーディングされたビデオデータを、送信されるべき他のデータ、例えば、コーディングされたオーディオデータおよび／または補助データストリーム（ソースは図示せず）とマージしうる。

コントローラ（550）は、ビデオエンコーダ（503）の動作を管理しうる。コーディング中に、コントローラ（550）は、各コーディングされたピクチャに特定のコーディングされたピクチャタイプを割り当ててもよく、これは、それぞれのピクチャに適用されうるコーディング技術に影響を及ぼしうる。例えば、ピクチャは、多くの場合、以下のピクチャタイプのうちの1つとして割り当てられうる。

イントラピクチャ（Iピクチャ）は、予測のソースとしてシーケンス内の任意の他のピクチャを使用することなくコーディングおよびデコードされうるものでありうる。いくつかのビデオコーデックは、例えば、独立デコーダリフレッシュ（「IDR」）ピクチャを含む、異なるタイプのイントラピクチャを可能にする。当業者は、Iピクチャのそれらの変形形態ならびにそれぞれの用途および特徴を認識している。

予測ピクチャ（Pピクチャ）は、最大で1つのMVおよび参照インデックスを使用して各ブロックのサンプル値を予測するイントラ予測またはインター予測を使用してコーディングおよびデコードされうるものでありうる。

双方向予測ピクチャ（Bピクチャ）は、最大で2つのMVおよび参照インデックスを使用して各ブロックのサンプル値を予測するイントラ予測またはインター予測を使用してコーディングおよびデコードされうるものでありうる。同様に、複数の予測ピクチャは、単一のブロックの再構成のために3つ以上の参照ピクチャおよび関連メタデータを使用することができる。

ソースピクチャは、一般に、複数のサンプルブロック（例えば、各々4×4、8×8、4×8、または16×16サンプルのブロック）に空間的に細分され、ブロックごとにコーディングされうる。ブロックは、ブロックのそれぞれのピクチャに適用されたコーディング割り当てによって決定される他の（すでにコーディングされた）ブロックを参照して予測的にコーディングされうる。例えば、Iピクチャのブロックは、非予測的にコーディングされうるか、または、同じピクチャのすでにコーディングされたブロックを参照して予測的にコーディングされうる（空間予測またはイントラ予測）。Pピクチャのピクセルブロックは、1つの以前にコーディングされた参照ピクチャを参照して、空間予測を介してまたは時間予測を介して予測的にコーディングされうる。Bピクチャのブロックは、1つまたは2つの以前にコーディングされた参照ピクチャを参照して、空間予測を介してまたは時間予測を介して予測的にコーディングされうる。

ビデオエンコーダ（503）は、ITU－T Rec．H．265などの所定のビデオコーディング技術または規格に従ってコーディング動作を実行しうる。その動作において、ビデオエンコーダ（503）は、入力ビデオシーケンスにおける時間的冗長性および空間的冗長性を利用する予測コーディング動作を含む、様々な圧縮動作を実行しうる。したがって、コーディングされたビデオデータは、使用されているビデオコーディング技術または規格によって指定された構文に準拠しうる。

一実施形態では、送信機（540）は、エンコードされたビデオと共に追加のデータを送信しうる。ソースコーダ（530）は、そのようなデータをコーディングされたビデオシーケンスの一部として含みうる。追加のデータは、時間／空間／SNRエンハンスメント層、冗長ピクチャおよびスライス、SEIメッセージ、VUIパラメータセットフラグメントなどといった他の形式の冗長データを含みうる。

ビデオは、時系列で複数のソースピクチャ（ビデオピクチャ）としてキャプチャされうる。イントラピクチャ予測（しばしば、イントラ予測と省略される）は、所与のピクチャ内の空間相関を利用し、インターピクチャ予測は、ピクチャ間の（時間または他の）相関を利用する。一例では、現在のピクチャと呼ばれる、エンコード／デコード中の特定のピクチャがブロックに分割される。現在のピクチャ内のブロックが、ビデオ内の以前にコーディングされた、まだバッファされている参照ピクチャ内の参照ブロックに類似しているとき、現在のピクチャ内のブロックは、MVと呼ばれるベクトルによってコーディングすることができる。MVは、参照ピクチャ内の参照ブロックを指し示し、複数の参照ピクチャが使用されている場合に、参照ピクチャを識別する第3の次元を有することができる。

いくつかの実施形態では、インターピクチャ予測において双予測技術を使用することができる。双予測技術によれば、どちらもビデオ内でデコード順で現在のピクチャに先行する（が、表示順では、それぞれ、過去と将来とにありうる）第1の参照ピクチャおよび第2の参照ピクチャなどの2つの参照ピクチャが使用される。現在のピクチャ内のブロックは、第1の参照ピクチャ内の第1の参照ブロックを指し示す第1のMV、および第2の参照ピクチャ内の第2の参照ブロックを指し示す第2のMVによってコーディングすることができる。ブロックは、第1の参照ブロックと第2の参照ブロックとの組み合わせによって予測することができる。

さらに、コーディング効率を改善するために、インターピクチャ予測においてマージモード技術を使用することができる。

本開示のいくつかの実施形態によれば、インターピクチャ予測やイントラピクチャ予測などの予測は、ブロック単位で実行される。例えば、HEVC規格によれば、ビデオピクチャのシーケンス内のピクチャは、圧縮のためにコーディングツリーユニット（CTU）に分割され、ピクチャ内のCTUは、64×64ピクセル、32×32ピクセル、16×16ピクセルなどの同じサイズを有する。一般に、CTUは3つのコーディングツリーブロック（CTB）を含み、それらは1つのルマCTBおよび2つのクロマCTBである。各CTUは、1つまたは複数のコーディングユニット（CU）に再帰的に四分木分割することができる。例えば、64×64ピクセルのCTUを、64×64ピクセルの1つのCUに、または32×32ピクセルの4つのCUに、または16×16ピクセルの16個のCUに分割することができる。一例では、各CUが、インター予測タイプやイントラ予測タイプなどのCUの予測タイプを決定するために解析される。CUは、時間的予測可能性および／または空間的予測可能性に応じて、1つまたは複数の予測ユニット（PU）に分割される。一般に、各PUは、1つのルマ予測ブロック（PB）および2つのクロマPBを含む。一実施形態では、コーディング（エンコーディング／デコーディング）における予測動作は、予測ブロックの単位で実行される。予測ブロックの一例としてルマ予測ブロックを使用すると、予測ブロックは、8×8ピクセル、16×16ピクセル、8×16ピクセル、16×8ピクセルなどのピクセルの値（例えば、ルマ値）の行列を含む。

図6は、本開示の別の実施形態による、ビデオエンコーダ（603）の図を示している。ビデオエンコーダ（603）は、ビデオピクチャのシーケンス内の現在のビデオピクチャ内のサンプル値の処理ブロック（例えば、予測ブロック）を受け取り、処理ブロックを、コーディングされたビデオシーケンスの一部であるコーディングされたピクチャにエンコードするように構成される。一例では、ビデオエンコーダ（603）は、図3の例のビデオエンコーダ（303）の代わりに使用される。

HEVCの例では、ビデオエンコーダ（603）は、8×8サンプルの予測ブロックなどの処理ブロックのサンプル値の行列を受け取る。ビデオエンコーダ（603）は、処理ブロックが、例えば、レート歪み最適化を使用して、イントラモード、インターモード、または双予測モードを使用して最適にコーディングされるかどうかを判定する。処理ブロックがイントラモードでコーディングされることになる場合、ビデオエンコーダ（603）は、イントラ予測技術を使用して、処理ブロックをコーディングされたピクチャにエンコードし、処理ブロックがインターモードまたは双予測モードでコーディングされることになる場合、ビデオエンコーダ（603）は、それぞれ、インター予測技術または双予測技術を使用して、処理ブロックをコーディングされたピクチャにエンコードしうる。特定のビデオコーディング技術では、マージモードは、予測子の外側のコーディングされたMV成分の助けを借りずにMVが1つまたは複数のMV予測子から導出されるインターピクチャ予測サブモードでありうる。特定の他のビデオコーディング技術では、対象ブロックに適用可能なMV成分が存在しうる。一例では、ビデオエンコーダ（603）は、処理ブロックのモードを決定するためにモード決定モジュール（図示せず）などの他の構成要素を含む。

図6の例では、ビデオエンコーダ（603）は、図6に示されるように互いに結合された、インターエンコーダ（630）、イントラエンコーダ（622）、残差計算器（623）、スイッチ（626）、残差エンコーダ（624）、汎用コントローラ（621）、およびエントロピーエンコーダ（625）を含む。

インターエンコーダ（630）は、現在のブロック（例えば、処理ブロック）のサンプルを受け取り、ブロックを参照ピクチャ内の1つまたは複数の参照ブロック（例えば、前のピクチャおよび後のピクチャ内のブロック）と比較し、インター予測情報（例えば、インターエンコーディング技術による冗長情報、MV、マージモード情報の記述）を生成し、任意の適切な技術を使用して、インター予測情報に基づいてインター予測結果（例えば、予測ブロック）を計算するように構成される。いくつかの例では、参照ピクチャは、エンコードされたビデオ情報に基づいてデコードされたデコードされた参照ピクチャである。

イントラエンコーダ（622）は、現在のブロック（例えば、処理ブロック）のサンプルを受け取り、場合によっては、ブロックを同じピクチャ内のすでにコーディングされたブロックと比較し、変換後の量子化係数を生成し、場合によっては、イントラ予測情報（例えば、1つまたは複数のイントラエンコーディング技術によるイントラ予測方向情報）も生成するように構成される。一例では、イントラエンコーダ（622）はまた、イントラ予測情報および同じピクチャ内の参照ブロックに基づいて、イントラ予測結果（例えば、予測ブロック）を計算する。

汎用コントローラ（621）は、汎用制御データを決定し、汎用制御データに基づいてビデオエンコーダ（603）の他の構成要素を制御するように構成される。一例では、汎用コントローラ（621）は、ブロックのモードを決定し、モードに基づいてスイッチ（626）に制御信号を提供する。例えば、モードがイントラモードである場合、汎用コントローラ（621）は、残差計算器（623）が使用するためのイントラモード結果を選択するようスイッチ（626）を制御し、イントラ予測情報を選択してイントラ予測情報をビットストリームに含めるようエントロピーエンコーダ（625）を制御し、モードがインターモードである場合、汎用コントローラ（621）は、残差計算器（623）が使用するためのインター予測結果を選択するようスイッチ（626）を制御し、インター予測情報を選択してインター予測情報をビットストリームに含めるようエントロピーエンコーダ（625）を制御する。

残差計算器（623）は、受け取られたブロックと、イントラエンコーダ（622）またはインターエンコーダ（630）から選択された予測結果との間の差分（残差データ）を計算するように構成される。残差エンコーダ（624）は、残差データに基づいて、残差データをエンコードして変換係数を生成するよう動作するように構成される。一例では、残差エンコーダ（624）は、残差データを空間領域から周波数領域に変換し、変換係数を生成するように構成される。次いで、変換係数は、量子化変換係数を取得するために量子化処理を受ける。様々な実施形態において、ビデオエンコーダ（603）は残差デコーダ（628）も含む。残差デコーダ（628）は、逆変換を実行し、デコードされた残差データを生成するように構成される。デコードされた残差データは、イントラエンコーダ（622）およびインターエンコーダ（630）によって適切に使用することができる。例えば、インターエンコーダ（630）は、デコードされた残差データおよびインター予測情報に基づいてデコードされたブロックを生成することができ、イントラエンコーダ（622）は、デコードされた残差データおよびイントラ予測情報に基づいてデコードされたブロックを生成することができる。デコードされたブロックは、デコードされたピクチャを生成するために適切に処理され、デコードされたピクチャは、メモリ回路（図示せず）にバッファし、いくつかの例では参照ピクチャとして使用することができる。

エントロピーエンコーダ（625）は、エンコードされたブロックを含めるようビットストリームをフォーマットするように構成される。エントロピーエンコーダ（625）は、HEVCなどの適切な規格に従って様々な情報を含めるように構成される。一例では、エントロピーエンコーダ（625）は、ビットストリームに、汎用制御データ、選択された予測情報（例えば、イントラ予測情報やインター予測情報）、残差情報、および他の適切な情報を含めるように構成される。開示の主題によれば、インターモードまたは双予測モードのいずれかのマージサブモードでブロックをコーディングするとき、残差情報は存在しないことに留意されたい。

図7は、本開示の別の実施形態による、ビデオデコーダ（710）の図を示している。ビデオデコーダ（710）は、コーディングされたビデオシーケンスの一部であるコーディングされたピクチャを受け取り、コーディングされたピクチャをデコードして再構成されたピクチャを生成するように構成される。一例では、ビデオデコーダ（710）は、図3の例のビデオデコーダ（310）の代わりに使用される。

図7の例では、ビデオデコーダ（710）は、図7に示されるように互いに結合された、エントロピーデコーダ（771）、インターデコーダ（780）、残差デコーダ（773）、再構成モジュール（774）、およびイントラデコーダ（772）を含む。

エントロピーデコーダ（771）は、コーディングされたピクチャから、コーディングされたピクチャが構成されている構文要素を表す特定のシンボルを再構成するように構成することができる。そのようなシンボルは、例えば、ブロックがコーディングされているモード（例えば、イントラモード、インターモード、双予測モード、マージサブモードまたは別のサブモードのインターモードおよび双予測モードなど）、イントラデコーダ（772）またはインターデコーダ（780）によって、それぞれ、予測のために使用される特定のサンプルまたはメタデータを識別することができる予測情報（例えば、イントラ予測やインター予測など）、例えば、量子化変換係数の形式の残差情報などを含むことができる。一例では、予測モードがインターモードまたは双予測モードである場合、インター予測情報がインターデコーダ（780）に提供され、予測タイプがイントラ予測タイプである場合、イントラ予測情報がイントラデコーダ（772）に提供される。残差情報は逆量子化を受けることができ、残差デコーダ（773）に提供される。

インターデコーダ（780）は、インター予測情報を受け取り、インター予測情報に基づいてインター予測結果を生成するように構成される。

イントラデコーダ（772）は、イントラ予測情報を受け取り、イントラ予測情報に基づいて予測結果を生成するように構成される。

残差デコーダ（773）は、逆量子化を実行して逆量子化変換係数を抽出し、逆量子化変換係数を処理して、残差を周波数領域から空間領域に変換するように構成される。残差デコーダ（773）はまた、（量子化パラメータ（QP）を含めるために）特定の制御情報を必要とする場合もあり、その情報は、エントロピーデコーダ（771）によって提供されうる（これは、少量の制御情報のみでありうるので、データパスは描かれていない）。

再構成モジュール（774）は、空間領域において、残差デコーダ（773）によって出力される残差と（場合によってインター予測モジュールまたはイントラ予測モジュールによって出力される）予測結果とを組み合わせて、再構成されたピクチャの一部になりうる再構成されたブロックを形成するように構成され、再構成されたピクチャは再構成されたビデオの一部になりうる。視覚的品質を改善するために、デブロッキング動作などの他の適切な動作を実行することができることに留意されたい。

ビデオエンコーダ（303）、（503）、および（603）、ならびにビデオデコーダ（310）、（410）、および（710）は、任意の適切な技術を使用して実装することができることに留意されたい。一実施形態では、ビデオエンコーダ（303）、（503）、および（603）、ならびにビデオデコーダ（310）、（410）、および（710）は、1つまたは複数の集積回路を使用して実装することができる。別の実施形態では、ビデオエンコーダ（303）、（503）、および（603）、ならびにビデオデコーダ（310）、（410）、および（710）は、ソフトウェア命令を実行する1つまたは複数のプロセッサを使用して実装することができる。

II．変換係数の符号予測
探索的圧縮モデル（explorative compression model（ECM））1．0などのいくつかの関連する例において、残差コーディングの変換係数の符号予測プロセスを実装することができる。場合によっては、変換ブロック（TB）の一部における非ゼロ変換係数を符号予測プロセスにおいて使用することができる。TBの一部は、TBの低周波数変換係数を含みうる。低周波数変換係数は、TBの左上隅に近い変換係数である。EMC－1．0の試験条件では、TBの最低4×4周波数成分を含むTBの一部における非ゼロ変換係数の最大8符号を予測することができる。例えば、TBの左上部分（例えば、8×8TB）は、TBの最低4×4周波数成分を含みうる。

TB内の変換係数のn個の符号などの複数の符号を予測するとき、エンコーダおよび／またはデコーダは、空間領域でのTBの境界における不連続性のコストを最小化するために、所定の探索順にn個の符号を探索することができる。

図8は、本開示の一実施形態による、TBの境界における不連続性のコストを最小化するための例示的な符号予測プロセス（800）を示している。ECM－1．0などのいくつかの関連する例では、符号予測プロセスの探索順は、2つの連続する値が1ビットのみで異なるような2進法の順序付けであるグレイコードのエンコード順などの順序のn個の符号ビットに基づくものとすることができる。各符号ビットは、異なる変換係数の符号を表すことができる。本開示では、n個の符号ビットの各探索点を仮説と呼ぶことができる。すなわち、n個の異なる符号の組み合わせを仮説と呼ぶことができ、各符号は正または負のいずれかでありうる。n個の符号ビットの場合、合計2ⁿ個の仮説が存在する。2ⁿ個の仮説は、n個の異なる符号の2ⁿ個の異なる組み合わせであり、各符号は正または負のいずれかでありうる。

図8において、符号予測プロセス（800）は、ステップ（S810）に示されるように、n個の符号ビットの2ⁿ個の予測仮説から所定の順に符号予測仮説を選択する。次いで、符号予測プロセス（800）は、ステップ（S820）に示されるように、TBの上境界および／または左境界におけるすべてのサンプリング位置を使用して、選択された符号予測仮説のコストを計算し、選択された符号予測仮説のコストを他の符号予測仮説の1つまたは複数の以前に計算されたコストと比較し、最小のコストを有する符号予測仮説を、既存の計算されたコストの中の最小コストを有する符号予測候補として選択する。ステップ（S830）で、符号予測プロセス（800）は、すべての仮説が試験されたかどうかを判定する。すべての仮説が試験された場合、最小コストを有する符号予測候補内の符号を、TBの変換係数の符号を予測するための符号予測子として使用することができる。そうでない場合、符号予測プロセス（800）は、ステップ（S810）、（S820）、および（S830）を繰り返すことができる。

図9～図12の現在のブロック（900）～（1200）の各々の最上行および／または左端列の再構成ピクセルを仮説再構成境界と呼ぶことができることに留意されたい。場合によっては、最上行および／または左端列の再構成ピクセルは、これらのピクセルに対応する変換係数の予測値および絶対値を使用することによって再構成されてもよく、最終的な再構成値を有していなくてもよい。

図9は、本開示の一実施形態による仮説再構成境界のコストの例示的な計算を示している。図9では、現在のブロック（900）の左と上両方の再構成された隣接ピクセルが利用可能である。現在のブロック（900）の左端列（または左側（LHS））にある各再構成ピクセルp_0，yについて、利用可能な場合、2つの左の再構成された隣接ピクセルを使用した単純な線形予測が、その予測pred_0，y＝（2・p_－1，y－p_－2，y）を得るために実行される。予測pred_0，yと再構成ピクセルp_0，yとの間の絶対差が仮説のコストに加算される。同様に、現在のブロック（900）の最上行にある各再構成ピクセルp_x，0について、利用可能な場合、2つの上の再構成された隣接ピクセルを使用した単純な線形予測が、その予測pred_x，0＝（2・p_x，－1－p_x，－2）を得るために実行される。予測pred_x，0と再構成ピクセルp_x，0との絶対差が仮説のコストに加算される。したがって、仮説のコストを以下の（式1）で表すことができる。

図10は、本開示の別の実施形態による仮説再構成境界のコストの例示的な計算を示している。図10では、現在のブロック（1000）の左のみの再構成された隣接ピクセルが利用可能である。（式1）の計算と同様に、仮説のコスト計算を（式2）で表すことができ、左の再構成された隣接ピクセルに基づく絶対差のみが考慮される。

図11は、本開示の別の実施形態による仮説再構成境界のコストの例示的な計算を示している。図11では、現在のブロック（1100）の上のみの再構成された隣接ピクセルが利用可能である。（式1）の計算と同様に、仮説のコスト計算を（式3）で表すことができ、上の再構成された隣接ピクセルに基づく絶対差のみが考慮される。

III．低複雑度符号予測
ECM－1．0などのいくつかの関連する例では、符号予測プロセスのコストの計算は、（式1）～（式3）に示されるようにブロックの幅および／または高さに比例しうる。さらに、この計算を、n個の符号ビットを予測するために2ⁿ回実行することができる。符号予測プロセスのコストの計算は、ECM－1．0デコーダにおける熱ホットスポットであることが分かる。したがって、この計算を削減する必要がある。

本開示は、符号予測プロセスのコストの計算を削減する方法を含む。

本開示のいくつかの態様によれば、コストの計算は、ブロックの幅および高さとは無関係でありうる。例えば、コストの計算は、ブロックの上境界および／または左境界の所定数のピクセルが仮説コストの計算において使用される場合、ブロックの次元とは無関係でありうる。

図12は、本開示の一実施形態による仮説再構成境界のコストの例示的な計算を示している。図12では、符号予測は、例えば、最低周波数成分（例えば、最低周波数変換係数）を有するTBの4×4サブブロックを含むTBの一部に適用可能でありうる。現在のブロック（1200）の上の再構成された隣接ピクセルが利用可能である場合、現在のブロック（1200）の上境界からの4サンプルなどの所定数のピクセルを、（式3）と同様の線形予測において使用することができる。同様に、現在のブロック（1200）の左の再構成された隣接ピクセルが利用可能である場合、現在のブロックの左境界からの4サンプルなどの所定数のピクセルを、（式2）と同様の線形予測において使用することができる。

本開示の態様によれば、コスト計算のための線形予測におけるサンプルの所定数は、符号予測のための最低周波数成分の数に基づくものとすることができる。サンプルの所定数は、ブロックのサイズとは無関係でありうる。

図12では、現在のブロック（1200）は、4の倍数の幅wおよび高さhを有する。線形予測で使用される4つの所定の上境界サンプルp_1，0、p_3，0、p_5，0、およびp_7，0は、図12に示されるように、以下の水平位置に配置することができる。
x₁＝w／8 （式4）
x₂＝x₁＋w／4 （式5）
x₃＝x₂＋w／4 （式6）
x₄＝x₃＋w／4 （式7）
式中、／は、ハードウェア実装またはCプログラミング言語などのプログラミング言語における整数除算を表す。

線形予測で使用される4つの所定の左境界サンプルp_0，0、p_0，2、p_0，4、およびp_0，6は、図12に示されるように、以下の垂直位置に配置することができる。
y₁＝h－1－h／8 （式8）
y₂＝y₁－h／4 （式9）
y₃＝y₂－h／4 （式10）
y₄＝y₃－h／4 （式11）
式中、／は、ハードウェア実装またはCプログラミング言語などのプログラミング言語における整数除算を表す。

図13は、本開示の一実施形態による、TBの境界における不連続性のコストを最小化するための例示的な符号予測プロセス（1300）を示している。図13において、符号予測プロセス（1300）は、コストを計算するために所定数のピクセルを選択することができるようなTBの境界におけるピクセルのサブサンプリングに基づくものである。

図13において、符号予測プロセス（1300）は、ステップ（S1310）に示されるように、TBの境界におけるピクセルのサブサンプリング位置を決定する。次いで、符号予測プロセス（1300）は、ステップ（S1320）に示されるように、n個の符号ビットの2ⁿ個の予測仮説から所定の順に符号予測仮説を選択する。次いで、例示的な符号予測プロセス（1300）は、ステップ（S1330）に示されるように、TBの上境界および／または左境界におけるサブサンプリング位置を使用して、選択された符号予測仮説のコストを計算し、選択された符号予測仮説のコストを他の符号予測仮説の1つまたは複数の以前に計算されたコストと比較し、最小のコストを有する符号予測仮説を、既存の計算されたコストの中の最小コストを有する符号予測候補として選択する。ステップ（S1340）で、符号予測プロセス（1300）は、すべての仮説が試験されたかどうかを判定する。すべての仮説が試験された場合、最小コストを有する符号予測候補内の符号を、TBの変換係数の符号を予測するための符号予測子のセットとして使用することができる。そうでない場合、符号予測プロセス（1300）は、ステップ（S1310）～（S1340）を繰り返すことができる。

一実施形態では、4の倍数の幅wおよび高さhを有するブロックについて、ブロックの上境界サンプルのサブサンプリング位置は、以下の水平位置として表すことができる。
x₁＝x_offset （式12）
x₂＝x₁＋δx （式13）
x₃＝x₂＋δx （式14）
x₄＝x₃＋δx （式15）
式中、／は、Cにおけるような整数除算を表し、x_offsetは、所定の非負のオフセットであり、δxは、2つの隣接サンプル間の距離である。x_offsetの値の例は、0およびw／8を含みうる。δxの値の例は、1およびw／4を含みうる。

ブロックの左境界サンプルのサブサンプリング位置は、以下の垂直位置として表すことができる。
y₁＝h－1－y_offset （式16）
y₂＝y₁－δy （式17）
y₃＝y₂－δy （式18）
y₄＝y₃－δy （式19）
式中、／は、ハードウェア実装またはCプログラミング言語などのプログラミング言語における整数除算を表し、y_offsetは、所定の非負のオフセットであり、δyは、2つの隣接サンプル間の距離である。y_offsetの値の例は、0およびh／8を含みうる。δyの値の例は、1およびh／4を含みうる。

一実施形態では、4の倍数の幅wおよび高さhを有するブロックについて、ブロックの上境界サンプルのサブサンプリング位置は、以下の水平位置として表すことができる。
x₁＝x_offset （式20）
x₂＝x₁＋δx₁ （式21）
x₃＝x₂＋δx₂ （式22）
x₄＝x₃＋δx₃ （式23）
式中、／は、ハードウェア実装またはCプログラミング言語などのプログラミング言語における整数除算を表し、x_offsetは、所定の非負のオフセットであり、δx₁、δx₂、δx₃は、x₄＜wを有する2つの隣接サンプル間の正の距離である。

ブロックの左境界サンプルのサブサンプリング位置は、以下の垂直位置として表すことができる。
y₁＝h－1－y_offset （式24）
y₂＝y₁－δy₁ （式25）
y₃＝y₂－δy₂ （式26）
y₄＝y₃－δy₃ （式27）
式中、／は、Cにおけるような整数除算を表し、y_offsetは、所定の非負のオフセットであり、δy₁、δy₂、δy₃は、y₄≧0を有する2つの隣接サンプル間の正の距離である。

本開示は、現在のブロック（例えば、TB）の境界における不連続性のコストを最小化する符号を選択することによって低周波数変換係数の符号を予測することができる符号予測プロセスを有するビデオコーディングシステムに適用可能な方法を含む。例えば、本開示は、コスト計算においてピクセルをサブサンプリングすることによってコストの計算を削減する方法を含む。

本開示の態様によれば、サブサンプリング手順におけるサンプルの数は、符号予測プロセスに適格なTB内の低周波数成分の所定数に基づくものとすることができる。サブサンプリング手順におけるサンプルの数は、TBのサイズとは無関係でありうる。例えば、符号予測プロセスに適格な低周波数成分は、TBの4×4の最低周波数変換係数とすることができる。

一実施形態では、符号予測プロセスにおけるコストの計算のためのTBの上境界のサンプルの数を予め決定することができる。例えば、サンプルの所定数は、単一命令複数データ（SIMD）実装では4または8とすることができる。

一実施形態では、符号予測プロセスにおけるコストの計算のためのTBの左境界のサンプル数を予め決定することができる。例えば、サンプルの所定数は、SIMD実装では4または8とすることができる。

一実施形態では、符号予測プロセスにおけるコストの計算のためのTBの上境界のサンプルは、等間隔とすることができる。

一実施形態では、符号予測プロセスにおけるコストの計算のためのTBの左境界のサンプルは、等間隔とすることができる。

いくつかの実施形態では、サブサンプリング手順は、TBの特定のサイズにのみ適用することができる。例えば、サブサンプリング手順は、16×16のTBに適用することができるが、サブサンプリング手順におけるサンプル数が8である場合、8×8のTBには適用されない。

一実施形態では、TBの上境界のサンプルの数は、幅wに基づいて予め決定することができる。例えば、幅wが閾値よりも大きい場合、サンプルの数は、第1の数であると予め決定することができる。そうでない場合、サンプルの数は、第2の数であると予め決定することができる。所定数は、wの少なくとも1つの値についてw未満でありうる。例えば、サンプルの所定数が4である場合、4×4のTBはサブサンプリングされず、8×8のTBがサブサンプリングされうる。

一実施形態では、TBの左境界のサンプルの数は、高さhに基づいて予め決定することができる。例えば、高さhが閾値よりも大きい場合、サンプルの数は、第1の数であると予め決定することができる。そうでない場合、サンプルの数は、第2の数であると予め決定することができる。所定の数は、hの少なくとも1つの値についてh未満でありうる。例えば、サンプルの所定数が4である場合、4×4のTBはサブサンプリングされず、8×8のTBがサブサンプリングされうる。

一実施形態では、TBの上境界におけるサンプリング位置は、幅wに基づいて予め決定することができ、等間隔である。例えば、TBの上境界におけるサンプリング位置は、（式12）～（式15）に基づいて予め決定することができる。

一実施形態では、TBの上境界におけるサンプリング位置は、幅wに基づいて予め決定することができ、等間隔ではない。例えば、TBの上境界におけるサンプリング位置は、（式20）～（式23）に基づいて予め決定することができる。

一実施形態では、TBの上境界におけるサンプリング位置は、幅wに基づいて予め決定することができ、サンプリング位置のうちの少なくとも2つは互いに隣接している。

一実施形態では、TBの左境界におけるサンプリング位置は、高さhに基づいて予め決定することができ、等間隔である。例えば、TBの左境界におけるサンプリング位置は、（式16）～（式19）に基づいて予め決定することができる。

一実施形態では、TBの左境界におけるサンプリング位置は、高さhに基づいて予め決定することができ、等間隔ではない。例えば、TBの左境界におけるサンプリング位置は、（式24）～（式27）に基づいて予め決定することができる。

一実施形態では、TBの左境界におけるサンプリング位置は、高さhに基づいて予め決定することができ、サンプリング位置のうちの少なくとも2つは互いに隣接している。

IV．フローチャート
図14は、本開示の一実施形態による例示的なプロセス（1400）の概要を示すフローチャートを示している。様々な実施形態において、プロセス（1400）は、端末デバイス（210）、（220）、（230）、および（240）内の処理回路、ビデオエンコーダ（303）の機能を実行する処理回路、ビデオデコーダ（310）の機能を実行する処理回路、ビデオエンコーダ（503）の機能を実行する処理回路などの処理回路によって実行される。いくつかの実施形態では、プロセス（1400）はソフトウェア命令で実装され、よって、処理回路がソフトウェア命令を実行すると、処理回路はプロセス（1400）を実行する。

プロセス（1400）は、一般に、ステップ（S1410）から開始してもよく、そこでプロセス（1400）は、現在のブロックのコーディングされた残差を含むビデオビットストリームを受け取る。次いで、プロセス（1400）は、ステップ（S1420）に進む。

ステップ（S1420）で、プロセス（1400）は、コーディングされた残差に基づいて現在のブロックの複数の変換係数を決定する。次いで、プロセス（1400）は、ステップ（S1430）に進む。

ステップ（S1430）で、プロセス（1400）は、複数の符号予測仮説の各々について、現在のブロックの最上行または左端列の少なくとも一方におけるサンプルのサブセットに基づいて複数の変換係数のサブセットに対する符号予測を実行することによって、それぞれの符号予測仮説のコストを計算する。サンプルのサブセット内のサンプルの数は、定数である。次いで、プロセス（1400）は、ステップ（S1440）に進む。

ステップ（S1440）で、プロセス（1400）は、複数の符号予測仮説のコストの中の最小コストを有する複数の符号予測仮説のうちの1つを選択する。次いで、プロセス（1400）は、ステップ（S1450）に進む。

ステップ（S1450）で、プロセス（1400）は、選択された符号予測仮説に従って符号予測を実行する。次いで、プロセス（1400）は終了する。

一実施形態では、定数は予め決定される。例えば、定数は、4または8とすることができる。

一実施形態では、定数は、複数の変換係数のサブセットにおける変換係数の数に基づいて決定される。例えば、複数の変換係数のサブセットにおける変換係数の数を予め決定することができ（例えば、1つのTB内に4×4の低周波数変換係数）、定数を、複数の変換係数のサブセットにおける変換係数の所定の数よりも小さくなるように決定することができる。複数の変換係数のサブセットが4×4の低周波数変換係数であると予め決定される場合には、定数は、最上行または左端列について4とすることができる。

一実施形態では、定数は、ブロックの1つの次元と閾値との比較に基づいて決定される。一例では、ブロックの幅（または高さ）が閾値よりも大きい場合、最上行における（または左端列における）定数は、第1の数でありうる。そうでない場合、最上行における（または左端列における）定数は、第1の数よりも小さい第2の数でありうる。

一実施形態では、定数は、ブロックの1つの次元と2つ以上の閾値との比較に基づいて決定される。一例では、ブロックの次元を2つの閾値と比較することができる。ブロックの幅（または高さ）が第1の閾値以下である場合、最上行における（または左端列における）定数は、第1の数でありうる。ブロックの幅（または高さ）が第1の閾値よりも大きく第2の閾値よりも小さい場合、最上行における（または左端列における）定数は、第2の数でありうる。ブロックの幅（または高さ）が第2の閾値よりも大きい場合、最上行における（または左端列における）定数は、第3の数でありうる。別の例では、ブロックの次元を異なる数の閾値と比較することができる。

一実施形態では、定数は、定数の複数の値を含むルックアップテーブルに基づいて決定される。複数の値の各々は、ブロックの1つの次元の異なる値と関連付けられている。例えば、ブロックの幅（または高さ）が第1の範囲内にある場合、最上行における（または左端列における）定数は、ルックアップテーブルによる第1の数でありうる。ブロックの幅（または高さ）が第2の範囲内にある場合、最上行における（または左端列における）定数は、ルックアップテーブルによる第2の数でありえ、以下同様である。

一実施形態では、現在のブロックの最上行または左端列の少なくとも一方におけるサンプルのサブセットの位置は、ブロックの1つの次元に基づいて決定される。例えば、ブロックの最上行（または左端列）におけるサンプルのサブセットの位置は、ブロックの幅（または高さ）に基づいて決定される。

一実施形態では、現在のブロックの最上行または左端列の少なくとも一方におけるサンプルのサブセットの少なくとも2つの位置は、隣接している。例えば、最上行における（または左端列における）2つのサンプルの位置は、互いに隣接している。

一実施形態では、現在のブロックの最上行または左端列の少なくとも一方におけるサンプルのサブセットの位置は、等間隔である。例えば、図12では、最上行の4つのサンプルp_1，0、p_3，0、p_5，0、およびp_7，0（または、左端列のp_0，0、p_0，2、p_0，4およびp_0，6）の位置は、等間隔である。

一実施形態では、プロセス（1400）は、複数の符号予測仮説の各々について、それぞれの符号予測仮説のコストを、（i）現在のブロックの最上行または左端列の少なくとも一方におけるサンプルのサブセットと、（ii）現在のブロックの上の行または現在のブロックの左の列の少なくとも一方における隣接する再構成されたサンプルとに基づいて、計算する。

V．コンピュータシステム
上述した技術は、コンピュータ可読命令を使用する、1つまたは複数のコンピュータ可読媒体に物理的に記憶されたコンピュータソフトウェアとして実装することができる。例えば、図15は、開示の主題の特定の実施形態を実施するのに適したコンピュータシステム（1500）を示している。

コンピュータソフトウェアは、1つまたは複数のコンピュータ中央処理装置（CPU）およびグラフィックスプロセッシングユニット（GPU）などによって直接的に、または解釈、マイクロコードの実行などを介して実行することができる命令を含むコードを作成するために、アセンブリ、コンパイル、リンク、または同様のメカニズムを受けうる、任意の適切な機械コードまたはコンピュータ言語を使用してコーディングすることができる。

命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲーム機、モノのインターネットデバイスなどを含む様々なタイプのコンピュータまたはコンピュータの構成要素上で実行することができる。

コンピュータシステム（1500）について図15に示されている構成要素は、本質的に例示であり、本開示の実施形態を実装するコンピュータソフトウェアの使用または機能の範囲に関する限定を示唆することを意図されていない。構成要素の構成は、コンピュータシステム（1500）の例示的な実施形態に示されている構成要素のいずれか1つ、または構成要素の組み合わせに関して、依存性を有するものとも要件を有するものとも解釈されるべきではない。

コンピュータシステム（1500）は、特定のヒューマンインターフェース入力デバイスを含みうる。そのようなヒューマンインターフェース入力デバイスは、例えば、触覚入力（キーストローク、スワイプ、データグローブの動きなど）、オーディオ入力（音声、拍手など）、視覚入力（ジェスチャなど）、嗅覚入力（図示せず）を介した、1人または複数の人間ユーザによる入力に応答しうる。ヒューマンインターフェースデバイスは、オーディオ（音声、音楽、環境音など）、画像（静止画像カメラから取得された走査画像、写真画像など）、ビデオ（二次元ビデオ、立体ビデオを含む三次元ビデオなど）といった、必ずしも人間による意識的な入力に直接関連しない特定のメディアをキャプチャするために使用することもできる。

入力ヒューマンインターフェースデバイスは、キーボード（1501）、マウス（1502）、トラックパッド（1503）、タッチスクリーン（1510）、データグローブ（図示せず）、ジョイスティック（1505）、マイクロホン（1506）、スキャナ（1507）、およびカメラ（1508）のうちの1つまたは複数（各々1つだけ図示されている）を含みうる。

コンピュータシステム（1500）はまた、特定のヒューマンインターフェース出力デバイスも含みうる。そのようなヒューマンインターフェース出力デバイスは、例えば、触覚出力、音、光、および匂い／味を介して、1人または複数の人間ユーザの感覚を刺激しうる。そのようなヒューマンインターフェース出力デバイスには、触覚出力デバイス（例えば、タッチスクリーン（1510）、データグローブ（図示せず）、またはジョイスティック（1505）による触覚フィードバックであるが、入力デバイスとして機能しない触覚フィードバックデバイスもありうる）、オーディオ出力デバイス（スピーカ（1509）、ヘッドフォン（図示せず）など）、視覚出力デバイス（CRTスクリーン、LCDスクリーン、プラズマスクリーン、OLEDスクリーンを含むスクリーン（1510）、各々タッチスクリーン入力機能ありまたはなし、各々触覚フィードバック機能ありまたはなしであり、一部は、二次元視覚出力、または立体出力などの手段による三次元を超える出力を出力することができる場合もある、仮想現実眼鏡（図示せず）、ホログラフィックディスプレイ、およびスモークタンク（図示せず）など）、ならびにプリンタ（図示せず）が含まれうる。これらの視覚出力デバイス（スクリーン（1510）など）は、グラフィックスアダプタ（1550）を介してシステムバス（1548）に接続されうる。

コンピュータシステム（1500）はまた、人間がアクセス可能な記憶デバイス、ならびにCD／DVDまたは同様のメディア（1521）を有するCD／DVD ROM／RW（1520）を含む光学メディア、サムドライブ（1522）、リムーバブルハードドライブまたはソリッドステートドライブ（1523）、テープやフロッピーディスクなどのレガシー磁気メディア（図示せず）、セキュリティドングルなどの専用のROM／ASIC／PLDベースのデバイス（図示せず）などといった記憶デバイスの関連メディアも含むことができる。

また、当業者は、本開示の主題に関連して使用される「コンピュータ可読媒体」という用語が伝送媒体、搬送波、または他の一時的信号を包含しないことも理解するはずである。

コンピュータシステム（1500）はまた、1つまたは複数の通信ネットワーク（1555）へのインターフェース（1554）も含むことができる。1つまたは複数の通信ネットワーク（1555）は、例えば、無線、有線、光でありうる。1つまたは複数の通信ネットワーク（1555）はさらに、ローカル、ワイドエリア、メトロポリタン、車両用および産業用、リアルタイム、ならびに遅延耐性などでありうる。1つまたは複数の通信ネットワーク（1555）の例には、イーサネット、無線LANなどのローカルエリアネットワーク、GSM、3G、4G、5G、LTEなどを含むセルラーネットワーク、ケーブルテレビ、衛星テレビ、および地上放送テレビを含む有線または無線テレビワイドエリアデジタルネットワーク、ならびにCANBusを含む車両用および産業用などが含まれる。特定のネットワークは、一般に、（例えば、コンピュータシステム（1500）のUSBポートなどの）特定の汎用データポートまたは周辺バス（1549）に取り付けられた外部ネットワークインターフェースアダプタを必要とし、他のネットワークは、一般に、以下に記載されるシステムバスへの接続によってコンピュータシステム（1500）のコアに統合される（例えば、PCコンピュータシステムへのイーサネットインターフェースやスマートフォンコンピュータシステムへのセルラーネットワークインターフェース）。これらのネットワークのいずれかを使用して、コンピュータシステム（1500）は他のエンティティと通信することができる。そのような通信は、単方向、受信のみ（例えば、テレビ放送）、単方向の送信のみ（例えば、特定のCANbusデバイスへのCANbus）、または、例えば、ローカルエリアまたはワイドエリアのデジタルネットワークを使用した他のコンピュータシステムへの双方向とすることができる。上述したようなネットワークおよびネットワークインターフェースの各々で特定のプロトコルおよびプロトコルスタックを使用することができる。

前述のヒューマンインターフェースデバイス、人間がアクセス可能な記憶デバイス、およびネットワークインターフェースは、コンピュータシステム（1500）のコア（1540）に接続することができる。

コア（1540）は、1つまたは複数の中央処理装置（CPU）（1541）、グラフィックスプロセッシングユニット（GPU）（1542）、フィールドプログラマブルゲートエリア（FPGA）（1543）の形態の専用プログラマブル処理ユニット、特定のタスク用のハードウェアアクセラレータ（1544）、グラフィックスアダプタ（1550）などを含むことができる。これらのデバイスは、読み出し専用メモリ（ROM）（1545）、ランダムアクセスメモリ（1546）、ユーザがアクセスできない内蔵ハードドライブなどの内部大容量ストレージ（1547）、SSDなどと共にシステムバス（1548）を介して接続されうる。一部のコンピュータシステムでは、追加のCPU、GPUなどによる拡張を可能にするために、1つまたは複数の物理プラグの形態でシステムバス（1548）にアクセスすることができる。周辺デバイスは、コアのシステムバス（1548）に直接、または周辺バス（1549）を介して接続することができる。一例では、スクリーン（1510）をグラフィックスアダプタ（1550）に接続することができる。周辺バスのアーキテクチャは、PCI、USBなどを含む。

CPU（1541）、GPU（1542）、FPGA（1543）、およびアクセラレータ（1544）は、組み合わせて前述のコンピュータコードを構成することができる特定の命令を実行することができる。そのコンピュータコードを、ROM（1545）またはRAM（1546）に記憶することができる。RAM（1546）には暫定的なデータも記憶することができ、永続的なデータは、例えば、内部大容量ストレージ（1547）に記憶することができる。1つまたは複数のCPU（1541）、GPU（1542）、大容量ストレージ（1547）、ROM（1545）、RAM（1546）などと密接に関連付けることができるキャッシュメモリの使用によって、メモリデバイスのいずれかへの高速記憶および取り出しを可能にすることができる。

コンピュータ可読媒体は、様々なコンピュータ実装動作を実行するためのコンピュータコードを有することができる。媒体およびコンピュータコードは、本開示の目的のために特に設計および構成されたものとすることもでき、コンピュータソフトウェア技術の当業者に周知の利用可能な種類のものとすることもできる。

限定ではなく例として、アーキテクチャを有するコンピュータシステム（1500）、具体的にはコア（1540）は、（CPU、GPU、FPGA、アクセラレータなどを含む）（1つまたは複数の）プロセッサが1つまたは複数の有形のコンピュータ可読媒体において具現化されたソフトウェアを実行した結果として機能を提供することができる。そのようなコンピュータ可読媒体は、上記のようなユーザアクセス可能な大容量ストレージ、ならびにコア内部大容量ストレージ（1547）やROM（1545）などの非一時的な性質のものであるコア（1540）の特定のストレージと関連付けられた媒体とすることができる。本開示の様々な実施形態を実装するソフトウェアは、そのようなデバイスに記憶し、コア（1540）によって実行することができる。コンピュータ可読媒体は、特定の必要性に従って、1つまたは複数のメモリデバイスまたはチップを含むことができる。ソフトウェアは、コア（1540）に、具体的にはその中の（CPU、GPU、およびFPGAなどを含む）プロセッサに、RAM（1546）に記憶されたデータ構造を定義すること、およびソフトウェアによって定義されたプロセスに従ってそのようなデータ構造を変更することを含む、本明細書に記載される特定のプロセスまたは特定のプロセスの特定の部分を実行させることができる。加えて、または代替として、コンピュータシステムは、本明細書に記載される特定のプロセスまたは特定のプロセスの特定の部分を実行するために、ソフトウェアの代わりにまたはソフトウェアと共に動作することができる、回路において配線されるかまたは他の方法で具現化された論理（例えば、アクセラレータ（1544））の結果として機能を提供することもできる。ソフトウェアへの言及は、必要に応じて、論理を包含することができ、その逆も同様である。コンピュータ可読媒体への言及は、必要に応じて、実行のためのソフトウェアを記憶する回路（集積回路（IC）など）、実行のための論理を具現化する回路、またはこれらの両方を包含することができる。本開示は、ハードウェアとソフトウェアの任意の適切な組み合わせを包含する。

本開示はいくつかの例示的な実施形態を記載しているが、変更、置換、および様々な代替の均等物が存在し、それらは本開示の範囲内にある。よって、当業者は、本明細書に明示的に図示または記載されていないが、本開示の原理を具現化する、よって本開示の趣旨および範囲内にある多数のシステムおよび方法を考案することができることが理解されよう。
付記A：頭字語
ALF：適応ループフィルタ
AMVP：高度動きベクトル予測
APS：適応パラメータセット
ASIC：特定用途向け集積回路
ATMVP：代替／高度時間動きベクトル予測
AV1：AOMedia Video 1
AV2：AOMedia Video 2
BMS：ベンチマークセット
BV：ブロックベクトル
CANBus：コントローラエリアネットワークバス
CB：コーディングブロック
CC－ALF：交差成分適応ループフィルタ
CD：コンパクトディスク
CDEF：制約付き方向性エンハンスメントフィルタ
CPR：現在のピクチャ参照
CPU：中央処理装置
CRT：陰極線管
CTB：コーディングツリーブロック
CTU：コーディングツリーユニット
CU：コーディングユニット
DPB デコーダピクチャバッファ
DPCM：差分パルス符号変調
DPS：デコードパラメータセット
DVD：デジタルビデオディスク
FPGA：フィールドプログラマブルゲートエリア
JCCR：共同CbCr残差コーディング
JVET：共同ビデオ探索チーム
GOP：Groups of Pictures
GPU：グラフィックスプロセッシングユニット
GSM：グローバル移動体通信システム
HDR：ハイダイナミックレンジ
HEVC：高効率ビデオコーディング
HRD：仮想参照デコーダ
IBC：イントラブロックコピー
IC：集積回路
ISP：イントラサブパーティション
JEM：共同探索モデル
LAN：ローカルエリアネットワーク
LCD：液晶ディスプレイ
LR：ループ復元フィルタ
LRU：ループ復元ユニット
LTE：ロングタームエボリューション
MPM：最確モード
MV：動きベクトル
OLED：有機発光ダイオード
PB：予測ブロック
PCI：周辺機器相互接続
PDPC：位置依存予測組み合わせ
PLD：プログラマブルロジックデバイス
PPS：ピクチャパラメータセット
PU：予測ユニット
RAM：ランダムアクセスメモリ
ROM：読み出し専用メモリ
SAO：サンプル適応オフセット
SCC：スクリーンコンテンツコーディング
SDR：標準ダイナミックレンジ
SEI：補足エンハンスメント情報
SNR：信号対雑音比
SPS：シーケンスパラメータセット
SSD：ソリッドステートドライブ
TU：変換ユニット
USB：ユニバーサルシリアルバス
VPS：ビデオパラメータセット
VUI：ビデオユーザビリティ情報
VVC：多用途ビデオコーディング
WAIP：広角イントラ予測

101 予測されているサンプル
102 矢印
103 矢印
104 正方形ブロック
105 概略図
111 現在のブロック
112 周囲のサンプル
113 周囲のサンプル
114 周囲のサンプル
115 周囲のサンプル
116 周囲のサンプル
200 通信システム
210 端末デバイス
220 端末デバイス
230 端末デバイス
240 端末デバイス
250 ネットワーク
301 ビデオソース
302 ビデオピクチャのストリーム
303 ビデオエンコーダ
304 エンコードされたビデオデータ
305 ストリーミングサーバ
306 クライアントサブシステム
307 エンコードされたビデオデータのコピー
308 クライアントサブシステム
309 エンコードされたビデオデータのコピー
310 ビデオデコーダ
311 ビデオピクチャの出力ストリーム
312 ディスプレイ
313 キャプチャサブシステム
320 電子デバイス
330 電子デバイス
401 チャネル
410 ビデオデコーダ
412 レンダリングデバイス
415 バッファメモリ
420 パーサ
421 シンボル
430 電子デバイス
431 受信機
451 スケーラ／逆変換
452 イントラ予測
453 動き補償予測
455 アグリゲータ
456 ループフィルタ
457 参照ピクチャメモリ
458 現在のピクチャバッファ
501 ビデオソース
503 ビデオエンコーダ
520 電子デバイス
530 ソースコーダ
532 コーディングエンジン
533 デコーダ
534 参照ピクチャメモリ
535 予測器
540 送信機
543 コーディングされたビデオシーケンス
545 エントロピーコーダ
550 コントローラ
560 チャネル
603 ビデオエンコーダ
621 汎用コントローラ
622 イントラエンコーダ
623 残差計算器
624 残差エンコーダ
625 エントロピーエンコーダ
626 スイッチ
628 残差デコーダ
630 インターエンコーダ
771 エントロピーデコーダ
772 イントラデコーダ
773 残差デコーダ
774 再構成
780 インターデコーダ
800 符号予測プロセス
1300 符号予測プロセス
1400 プロセス
1500 コンピュータシステム
1501 キーボード
1502 マウス
1503 トラックパッド
1505 ジョイスティック
1506 マイクロホン
1507 スキャナ
1508 カメラ
1509 スピーカ
1510 タッチスクリーン
1520 CD／DVD ROM／RW
1521 CD／DVDまたは同様のメディア
1522 サムドドライブ
1523 リムーバブルハードドライブまたはソリッドステートドライブ
1540 コア
1541 中央処理装置（CPU）
1542 グラフィックスプロセッシングユニット（GPU）
1543 フィールドプログラマブルゲートエリア（FPGA）
1544 特定のタスク用のハードウェアアクセラレータ
1545 読み出し専用メモリ（ROM）
1546 ランダムアクセスメモリ
1547 内部大容量ストレージ
1548 システムバス
1549 汎用データポートまたは周辺バス
1550 グラフィックスアダプタ
1554 ネットワークインターフェース
1555 通信ネットワーク

Claims (12)

1. デコーダが実行するビデオデコーディングの方法であって、前記方法は、
   現在のブロックのコーディングされた残差を含むビデオビットストリームを受け取るステップと、
   前記コーディングされた残差に基づいて前記現在のブロックの複数の変換係数を決定するステップと、
   複数の符号予測仮説の各々について、前記現在のブロックの最上行または左端列の少なくとも一方におけるサンプルのサブセットに基づいて前記複数の変換係数のサブセットに対する符号予測を実行することによって、前記それぞれの符号予測仮説のコストを計算するステップであって、サンプルの前記サブセットにおけるサンプルの数が定数である、ステップと、
   前記複数の符号予測仮説の前記コストの中の最小コストを有する前記複数の符号予測仮説のうちの1つを選択するステップと、
   前記選択された符号予測仮説に従って前記符号予測を実行するステップと
   を含む、方法。
2. 前記定数は、予め決定される、請求項1に記載の方法。
3. 前記定数は、前記複数の変換係数の前記サブセットにおける変換係数の数に基づいて決定される、請求項1に記載の方法。
4. 前記定数は、前記ブロックの1つの次元と閾値との比較に基づいて決定される、請求項1に記載の方法。
5. 前記定数は、前記定数の複数の値を含むルックアップテーブルに基づいて決定され、複数の値の各々は、前記ブロックの1つの次元の異なる値と関連付けられている、請求項1に記載の方法。
6. 前記現在のブロックの前記最上行または前記左端列の前記少なくとも一方におけるサンプルの前記サブセットの位置は、前記ブロックの1つの次元に基づいて決定される、請求項1に記載の方法。
7. 前記現在のブロックの前記最上行または前記左端列の前記少なくとも一方におけるサンプルの前記サブセットの少なくとも2つの位置は、隣接している、請求項1に記載の方法。
8. 前記現在のブロックの前記最上行または前記左端列の前記少なくとも一方におけるサンプルの前記サブセットの位置は、等間隔である、請求項1に記載の方法。
9. 計算する前記ステップは、
   前記複数の符号予測仮説の各々について、前記それぞれの符号予測仮説の前記コストを、（i）前記現在のブロックの前記最上行または前記左端列の前記少なくとも一方におけるサンプルの前記サブセットと、（ii）前記現在のブロックの上の行または前記現在のブロックの左の列の少なくとも一方における隣接する再構成されたサンプルとに基づいて計算するステップ
   を含む、請求項1に記載の方法。
10. 前記サンプルの数は、前記現在のブロックの前記最上行または前記左端列の前記少なくとも一方におけるサンプルの総数よりも小さい、請求項1に記載の方法。
11. 請求項1～10のいずれか一項に記載の方法を行うように構成された装置。
12. 少なくとも1つのプロセッサによって実行されると、前記少なくとも1つのプロセッサに、請求項1～10のいずれか一項に記載の方法を行わせるためのコンピュータプログラム。

Images