JP7357684B2 - ビデオ復号のための方法、装置、およびコンピュータプログラム - Google Patents

Description

［参照による組み込み］
本出願は、その全内容が参照により本明細書に組み込まれる、2019年2月22日に出願された米国仮出願第62／809，132号「Residual Coding for Transform Skip Mode and Block Differential Pulse－Code Modulation」に対する優先権の利益を主張する、2020年2月20日に出願された米国特許出願第16／796，928号「RESIDUAL CODING FOR TRANSFORM SKIP MODE AND BLOCK DIFFERENTIAL PULSE－CODE MODULATION」の優先権の利益を主張する。

本開示は、ビデオ符号化に一般的に関連する実施形態を説明する。

本明細書で提供される背景技術の説明は、本開示の文脈を一般的に提示することを目的としている。本発明者らの研究は、この背景技術の項に記載されている限りにおいて、ならびに出願時に先行技術として認められない可能性がある説明の態様は、本開示に対する先行技術として明示的にも暗示的にも認められない。

ビデオ符号化および復号は、動作補償を伴う画像間予測を使用して実行することができる。非圧縮デジタルビデオは、一連の画像を含むことができ、各画像は、例えば1920×1080の輝度サンプルおよび関連する色差サンプルの空間次元を有する。一連の画像は、例えば毎秒60画像すなわち60 Hzの固定または可変の画像速度（非公式にはフレームレートとも呼ばれる）を有し得る。非圧縮ビデオには、重要なビットレート要件がある。例えば、サンプルあたり8ビットの1080p60 4：2：0ビデオ（60 Hzのフレームレートにおける1920×1080輝度サンプル解像度）には、1．5 Gbit／sに近い帯域幅が必要である。そのようなビデオの1時間は、600 GByteを超える記憶空間を必要とする。

ビデオ符号化と復号の1つの目的は、圧縮によって入力ビデオ信号の冗長性を減らすことであり得る。圧縮は、前述の帯域幅または記憶領域の要件を、場合によっては2桁以上削減するのに役立ち得る。可逆圧縮と非可逆圧縮の両方、およびそれらの組み合わせを使用できる。可逆圧縮とは、圧縮された元の信号から元の信号の正確なコピーを再構築できる技術を指す。非可逆圧縮を使用する場合、再構築された信号は元の信号と同一ではない可能性があるが、元の信号と再構築された信号との間の歪みは、再構築された信号を意図された用途に有用にするのに十分小さい。ビデオの場合、非可逆圧縮が広く採用されている。許容される歪みの量は用途に依存し、例えば、特定の消費者ストリーミングアプリケーションのユーザは、テレビ配信アプリケーションのユーザよりも高い歪みを許容することができる。達成可能な圧縮比は、より高い許容可能／受忍可能な歪みがより高い圧縮比をもたらすことができることを反映することができる。

ビデオ符号化器および復号器は、例えば、動作補償、変換、量子化、およびエントロピー符号化を含む、いくつかの広範なカテゴリからの技術を利用し得る。

ビデオ符号化技術は、イントラ符号化として知られる技術を含むことができる。イントラ符号化では、サンプルまたは以前に再構築された参照画像からの他のデータを参照せずにサンプル値が表される。いくつかのビデオ符号化では、画像は空間的にサンプルのブロックに細分される。サンプルのすべてのブロックがイントラモードで符号化される場合、その画像は、イントラ画像であり得る。イントラ画像および独立した復号器リフレッシュ画像などのそれらの派生は、復号器状態をリセットするために使用することができ、したがって、符号化ビデオビットストリームおよびビデオセッション内の第1の画像として、または静止画像として使用することができる。イントラブロックのサンプルは、変換にさらされる可能性があり、変換係数は、エントロピー符号化の前に量子化される可能性がある。イントラ予測は、変換前領域におけるサンプル値を最小化する技術であり得る。場合によっては、変換後のDC値が小さいほど、およびAC係数が小さいほど、エントロピー符号化後のブロックを表すために所与の量子化ステップサイズで必要とされるビットが少なくなる。

例えばMPEG－2生成符号化技術から知られているような従来のイントラ符号化は、イントラ予測を使用しない。しかしながら、いくつかのより新しいビデオ圧縮技術は、例えば、周囲のサンプルデータおよび／または空間的に隣接し、復号順序で先行するデータのブロックの符号化／復号中に取得されたメタデータから試行する技術を含む。そのような技術は、以後「イントラ予測」技術と呼ばれる。少なくともいくつかの場合において、イントラ予測は、再構築中の現在の画像からの参照データのみを使用し、参照画像からの参照データは使用しないことに留意されたい。

イントラ予測には多くの異なる形態があり得る。そのような技術のうちの2つ以上が所与のビデオ符号化技術において使用され得るとき、使用中の技術はイントラ予測モードで符号化され得る。ある場合には、モードはサブモードおよび／またはパラメータを有することができ、それらは個別に符号化されるかまたはモード符号語に含まれることができる。所与のモード／サブモード／パラメータの組み合わせにどの符号語を使用するかは、イントラ予測を介して符号化効率の利得に影響を与える可能性があり、そのため、符号語をビットストリームに変換するために使用されるエントロピー符号化技術も影響を与える可能性がある。

イントラ予測の特定のモードは、H．264で導入され、H．265で改良され、共同探索モデル（JEM）、汎用ビデオ符号化（VVC）、およびベンチマークセット（BMS）などの新しい符号化技術でさらに改良された。予測子ブロックは、すでに利用可能なサンプルに属する隣接サンプル値を使用して形成することができる。隣接するサンプルのサンプル値は、方向に従って予測子ブロックにコピーされる。使用中の方向への参照は、ビットストリーム内で符号化され得るか、またはそれ自体が予測され得る。

動作補償は非可逆圧縮技術とすることができ、以前に再構築された画像またはその一部（参照画像）からのサンプルデータのブロックが、動きベクトル（MV以降）によって示される方向に空間的にシフトされた後、新たに再構築された画像または画像部分の予測に使用される技術に関することができる。場合によっては、参照画像は、現在再構築中の画像と同じであり得る。MVは、2つの次元XおよびY、または3つの次元を有することができ、第3の次元は、使用中の参照画像（後者は、間接的に、時間次元とすることができる）の表示である。

いくつかのビデオ圧縮技術では、サンプルデータの特定の領域に適用可能なMVは、他のMVから、例えば再構築中の領域に空間的に隣接し、復号順でそのMVに先行するサンプルデータの別の領域に関連するMVから予測することができる。そうすることで、MVの符号化に必要なデータ量を大幅に削減することができ、それによって冗長性が排除され、圧縮が増加する。MV予測は、例えば、カメラ（自然映像として知られている）から導出された入力映像信号を符号化するとき、単一のMVが適用可能な領域よりも大きい領域が同様の方向に移動する統計的尤度があり、したがって、場合によっては、隣接領域のMVから導出された同様の動きベクトルを使用して予測することができるため、効果的に機能することができる。これにより、所与の領域について見つかったMVは、周囲のMVから予測されたMVと類似または同じになり、エントロピー符号化後に、MVを直接符号化する場合に使用されるよりも少ないビット数で表すことができる。場合によっては、MV予測は、元の信号（すなわち、サンプルストリーム）から導出された信号（すなわち、MV）の可逆圧縮の一例とすることができる。他の場合では、例えば、いくつかの周囲のMVから予測子を計算するときの丸め誤差のために、MV予測自体が非可逆であり得る。

H．265／HEVC（ITU－T Rec．H．265、「High Efficiency Video Coding」、2016年12月）に様々なMV予測メカニズムが記載されている。ここでは、H．265が提供する多くのMV予測機構のうち、「空間マージ」と呼ばれる技術について説明する。

図1を参照すると、現在のブロック（101）は、空間的にシフトされた同じサイズの前のブロックから予測可能であるように動き探索処理中に符号化器によって見つけられたサンプルを含む。そのMVを直接符号化する代わりに、MVは、A0、A1、およびB0、B1、B2（それぞれ102から106）で示される5つの周囲サンプルのいずれか1つに関連付けられたMVを使用して、1つまたはそれ以上の参照画像に関連付けられたメタデータから、例えば（復号順序において）最新の参照画像から導出することができる。H．265では、MV予測は、隣接ブロックが使用しているのと同じ参照画像からの予測子を使用することができる。

本開示の態様は、復号器でのビデオ符号化のための方法および装置を提供する。ビデオ復号器において実行されるビデオ復号方法のいくつかの実施形態では、構文要素を含むビットストリームが受信される。構文要素は、符号化画像内の変換スキップされたブロックの領域の係数に対応する。構文要素は、係数のうちの1つの絶対係数レベルが0より大きいかどうかを示す第1のフラグと、係数のうちの1つの絶対係数レベルのパリティを示す第2のフラグとを含む。第2のフラグは、等確率モデルに基づいて復号される。

一実施形態では、変換スキップされたブロックに対応する現在のブロックは、ブロック差分パルス符号変調モードで符号化される。

一実施形態では、第2のフラグは、他の構文要素を復号することなく、変換スキップされたブロックの領域のパスで復号される。

一実施形態では、第2のフラグは、変換スキップされたブロックの領域の同じパスで復号され、第3のフラグは、係数のうちの1つの絶対係数レベルと4との間の差を示す。

ビデオ復号器において実行されるビデオ復号方法のいくつかの実施形態では、構文要素を含むビットストリームが受信される。構文要素は、符号化画像内の変換スキップされたブロックの領域の係数に対応する。構文要素は、係数のうちの1つの絶対係数レベルが0より大きいかどうかを示す第1のフラグと、1つの係数の絶対係数レベルのパリティを示す第2のフラグと、1つの係数の絶対係数レベルが2より大きいかどうかを示す第3のフラグと、1つの係数の係数レベルの符号情報を示す第4のフラグと、1つの係数の絶対係数レベルが4より大きいかどうかを示す第5のフラグと、1つの係数の絶対変換係数レベルと4との差を示す第6のフラグと、を含む。第2のフラグは符号化されず、第1のフラグ、第3のフラグ、第4のフラグ、第5のフラグおよび第6のフラグが符号化される。

一実施形態では、第1のフラグおよび第3のフラグは、第1のパスで復号される。第5のフラグは、第2のパスで復号される。第2のフラグは、第3のパスで復号される。

一実施形態では、第1のフラグ、第3のフラグ、および第4のフラグは、第1のパスで復号される。第5のフラグは、第2のパスで復号される。第6のフラグは、第3のパスで復号される。

ビデオ復号器において実行されるビデオ復号方法のいくつかの実施形態では、構文要素を含むビットストリームが受信される。構文要素は、符号化画像内の変換スキップされたブロックの領域の係数に対応する。構文要素は、係数のうちの1つの絶対係数レベルが0より大きいかどうかを示す第1のフラグと、係数のうちの1つの絶対係数レベルのパリティを示す第2のフラグとを含む。文脈モデリングは、変換スキップされたブロックの別の領域内の第2のフラグの以前に復号された値に基づいて、第2のフラグのいくつかのビンの文脈モデルを決定するために実行される。決定された文脈モデルに基づいて、第2のフラグのビンの数が復号される。

ビデオ復号器において実行されるビデオ復号方法のいくつかの実施形態では、構文要素を含むビットストリームが受信される。構文要素は、符号化画像内の変換スキップされたブロックの領域の係数に対応する。係数の最も頻度の高い絶対係数レベルを示す初期レベル値が受信される。係数の非ゼロ係数ごとの差分値が受信される。差分値は、各々の非ゼロ係数の絶対係数レベルと初期レベル値との差である。構文要素は、受信した初期レベル値および受信した差分値に基づいて復号される。

ビデオ復号のための装置のいくつかの実施形態では、処理回路は、上記の方法のいずれかを実行するように構成されている。

本開示の態様はまた、コンピュータによって実行されると、コンピュータに上記の方法のいずれかを実行させる命令を記憶する非一時的コンピュータ可読記憶媒体を提供する。

開示された主題のさらなる特徴、性質、および様々な利点は、以下の詳細な説明および添付の図面からより明らかになるであろう。

一例における現在のブロックおよびその周囲の空間マージ候補の概略図である。 一実施形態による通信システムの簡略化されたブロック図の概略図である。 一実施形態による通信システムの簡略化されたブロック図の概略図である。 一実施形態による復号器の簡略化されたブロック図の概略図である。 一実施形態による符号化器の簡略化されたブロック図の概略図である。 別の実施形態による符号化器のブロック図を示す。 別の実施形態による復号器のブロック図を示す。 一実施形態によるブロック差動パルス符号変調（BDPCM）符号化ブロックの例を示す。 一実施形態によるBDPCM符号化ブロックの例を示す。 一実施形態による例示的な文脈ベースの適応型バイナリ算術符号化（CABAC）ベースのエントロピー符号化器を示す図である。 一実施形態による例示的なCABACベースのエントロピー復号器を示す図である。 一実施形態によるサブブロック走査順序の一例を示す。 一実施形態による、変換係数の異なるタイプの構文要素が生成されるサブブロック走査処理の一例を示す図である。 一実施形態による、現在の係数の文脈選択に使用されるローカルテンプレートの一例を示す図である。 一実施形態による、現在の係数の符号情報を符号化するために使用される文脈の一例を示す図である。 一実施形態による、現在の係数の符号情報を符号化するために使用される文脈の一例を示す図である。 一実施形態による係数復号処理の概要を示すフローチャートである。 一実施形態による係数復号処理の概要を示すフローチャートである。 一実施形態による係数復号処理の概要を示すフローチャートである。 一実施形態による係数復号処理の概要を示すフローチャートである。 一実施形態によるコンピュータシステムの概略図である。

I．ビデオ符号化符号化器および復号器
図2は、本開示の実施形態による通信システム（200）の簡略化されたブロック図を示す。通信システム（200）は、例えばネットワーク（250）を介して互いに通信することができる複数の端末装置を含む。例えば、通信システム（200）は、ネットワーク（250）を介して相互接続された第1の対の端末装置（210）および（220）を含む。図2の例では、端末装置（210）および（220）の第1の対は、データの一方向送信を実行する。例えば、端末装置（210）は、ネットワーク（250）を介して他の端末装置（220）に送信するために、ビデオデータ（例えば、端末装置（210）によってキャプチャされたビデオ画像のストリーム）を符号化し得る。符号化されたビデオデータは、1つまたはそれ以上の符号化ビデオビットストリームの形で送信できる。端末装置（220）は、ネットワーク（250）から符号化されたビデオデータを受信し、符号化されたビデオデータを復号してビデオ画像を復元し、復元されたビデオデータに従ってビデオ画像を表示することができる。単方向データ伝送は、メディア・サービング・アプリケーションなどにおいて一般的であり得る。

別の例では、通信システム（200）は、例えばビデオ会議中に発生し得る符号化されたビデオデータの双方向送信を実行する第2の対の端末装置（230）および（240）を含む。データの双方向送信の場合、一例では、端末装置（230）および（240）の各端末装置は、端末装置（230）および（240）のうち他の端末装置へのネットワーク（250）を介した送信のためにビデオデータ（例えば、端末装置によってキャプチャされたビデオ画像のストリーム）を符号化し得る。端末装置（230）および（240）の各端末装置はまた、端末装置（230）および（240）のうち他の端末装置によって送信された符号化されたビデオデータを受信し、符号化されたビデオデータを復号してビデオ画像を回復することができ、回復されたビデオデータに従ってアクセス可能な表示装置でビデオ画像を表示することができる。

図2の例では、端末装置（210）、（220）、（230）および（240）は、サーバ、パーソナルコンピュータおよびスマートフォンとして示され得るが、本開示の原理はそのように限定されない。本開示の実施形態は、ラップトップコンピュータ、タブレットコンピュータ、メディアプレーヤ、および／または専用のビデオ会議機器での用途を見出す。ネットワーク（250）は、例えば有線（配線された）および／または無線通信ネットワークを含む、端末装置（210）、（220）、（230）および（240）間で符号化されたビデオデータを伝達する任意の数のネットワークを表す。通信ネットワーク（250）は、回路交換チャネルおよび／またはパケット交換チャネルでデータを交換することができる。代表的なネットワークには、通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワークおよび／またはインターネットなどがある。本議論の目的のために、ネットワーク（250）のアーキテクチャおよびトポロジーは、以下に本明細書で説明されない限り、本開示の動作にとって重要ではない場合がある。

図3は、開示された主題のための用途の例として、ストリーミング環境におけるビデオ符号化器およびビデオ復号器の配置を示す。開示された主題は、例えば、ビデオ会議、デジタルTV、CD、DVD、メモリスティックなどを含むデジタル媒体への圧縮ビデオの格納などを含む、他のビデオ対応アプリケーションにも等しく適用可能であり得る。

ストリーミングシステムは、例えば非圧縮のビデオ画像のストリーム（302）を作成する、例えばデジタルカメラなどのビデオソース（301）を含み得るキャプチャサブシステム（313）を含み得る。一例では、ビデオ画像のストリーム（302）は、デジタルカメラによって取得されたサンプルを含む。符号化されたビデオデータ（304）（または符号化ビデオビットストリーム）と比較してデータ量が多いことを強調するために太線で描かれたビデオ画像のストリーム（302）は、ビデオソース（301）に結合されたビデオ符号化器（303）を含む電子機器（320）で処理できる。ビデオ符号化器（303）は、以下でより詳細に説明されるように、開示された主題の態様を可能にするまたは実装するためのハードウェア、ソフトウェア、またはそれらの組み合わせを含み得る。ビデオ画像のストリーム（302）と比較してデータ量が少ないことを強調するために細い線で示された符号化されたビデオデータ（304）（または符号化ビデオビットストリーム（304））は、将来の使用のためにストリーミングサーバ（305）に格納され得る。図3のクライアントサブシステム（306）および（308）などの1つまたはそれ以上のストリーミング・クライアント・サブシステムは、ストリーミングサーバ（305）にアクセスして、符号化されたビデオデータ（304）のコピー（307）および（309）を取り出し得る。クライアントサブシステム（306）は、例えば、電子機器（330）にビデオ復号器（310）を含み得る。ビデオ復号器（310）は、符号化されたビデオデータの着信コピー（307）を復号し、ディスプレイ（312）（例えば、ディスプレイ画面）または他のレンダリング装置（図示せず）にレンダリングできるビデオ画像（311）の発信ストリームを作成する。一部のストリーミングシステムでは、符号化されたビデオデータ（304）、（307）、および（309）（例えば、ビデオビットストリーム）は、特定のビデオ符号化／圧縮規格に従って符号化できる。これらの規格の例には、ITU－T勧告H．265が含まれる。一例では、開発中のビデオ符号化規格は、多用途ビデオ符号化（Versatile Video Coding：VVC）として非公式に知られている。開示された主題は、VVCの文脈で使用され得る。

電子機器（320）および（330）は、他の構成要素（図示せず）を含み得ることに留意されたい。例えば、電子機器（320）はビデオ復号器（図示せず）を含んでもよく、電子機器（330）は同様にビデオ符号化器（図示せず）を含んでもよい。

図4は、本開示の実施形態によるビデオ復号器（410）のブロック図を示している。ビデオ復号器（410）は、電子機器（430）に含まれ得る。電子機器（430）は、受信機（431）（例えば、受信回路）を含み得る。ビデオ復号器（410）は、図3の例におけるビデオ復号器（310）の代わりに使用され得る。

受信機（431）は、ビデオ復号器（410）によって復号される1つまたはそれ以上の符号化されたビデオシーケンスを受信することができ、同じまたは別の実施形態では、一度に1つの符号化されたビデオシーケンスであり、各符号化されたビデオシーケンスの復号は、他の符号化されたビデオシーケンスから独立している。符号化されたビデオシーケンスは、符号化されたビデオデータを記憶する記憶装置へのハードウェア／ソフトウェアリンクであり得るチャネル（401）から受信され得る。受信機（431）は、それぞれの使用エンティティ（図示せず）に転送され得る他のデータ、例えば、符号化音声データおよび／または補助データストリームとともに、符号化されたビデオデータを受信し得る。受信機（431）は、符号化されたビデオシーケンスを他のデータから分離することができる。ネットワークジッタに対抗するために、受信機（431）とエントロピー復号器／解析器（420）（以降、「解析器（420）」）との間にバッファメモリ（415）が結合され得る。特定の用途では、バッファメモリ（415）は、ビデオ復号器（410）の一部である。他の場合には、ビデオ復号器（410）（図示せず）の外部にあってもよい。さらに他のものでは、例えばネットワークジッタに対抗するために、ビデオ復号器（410）の外部にバッファメモリ（図示せず）があり得、さらに、例えば再生タイミングを処理するために、ビデオ復号器（410）内に別のバッファメモリ（415）があり得る。受信機（431）が十分な帯域幅および制御性を有するストア／フォワード装置から、または等同期（isosynchronous）ネットワークからデータを受信している場合、バッファメモリ（415）は必要ないか、小さくてもよい。インターネットなどのベストエフォートパケットネットワークで使用する場合、バッファメモリ（415）が必要になる場合があり、比較的大きく、適応サイズが有利であり、少なくとも部分的に、ビデオ復号器（410）の外側のオペレーティングシステムまたは類似の要素（図示せず）に実装され得る。

ビデオ復号器（410）は、符号化されたビデオシーケンスからシンボル（421）を再構築するための解析器（420）を含み得る。これらのシンボルのカテゴリには、図4に示したように、ビデオ復号器（410）の動作を管理するために使用される情報、および潜在的には、電子機器（430）の一体部品ではないが電子機器（430）に結合され得るレンダリング装置（412）などのレンダリング装置（例えば、表示画面）を制御するための情報が含まれる。レンダリング装置の制御情報は、補足拡張情報（SEIメッセージ）またはビデオユーザビリティ情報（VUI）パラメータセットフラグメント（図示せず）の形であり得る。解析器（420）は、受信された符号化されたビデオシーケンスを解析／エントロピー復号することができる。符号化されたビデオシーケンスの符号化は、ビデオ符号化技術またはビデオ符号化規格に従うことができ、可変長符号化、ハフマン符号化、文脈依存性の有無にかかわらず算術符号化などを含む様々な原理に従い得る。解析器（420）は、グループに対応する少なくとも1つのパラメータに基づいて、ビデオ復号器内の画素のサブグループのうちの少なくとも1つのサブグループパラメータの組を、符号化されたビデオシーケンスから抽出することができる。サブグループは、画像群（GOP）、画像、タイル、スライス、マクロブロック、符号化ユニット（CU）、ブロック、変換ユニット（TU）、予測ユニット（PU）などを含み得る。解析器（420）はまた、変換係数、量子化パラメータ値、動きベクトルなどのような符号化されたビデオシーケンス情報から抽出することができる。

解析器（420）は、シンボル（421）を作成するために、バッファメモリ（415）から受信されたビデオシーケンスに対してエントロピー復号／パース操作を実行することができる。

シンボル（421）の再構築には、符号化されたビデオ画像またはその一部（インター画像およびイントラ画像、インターブロックおよびイントラブロックなど）のタイプ、およびその他の要因に応じて、複数の異なるユニットが含まれ得る。含まれるユニットおよびその方法は、解析器（420）によって符号化されたビデオシーケンスから解析されたサブグループ制御情報によって制御され得る。解析器（420）と以下の複数のユニットとの間のそのようなサブグループ制御情報の流れは、明確にするために示されていない。

すでに述べた機能ブロックの他に、ビデオ復号器（410）は、概念的には、以下で説明するように、いくつかの機能ユニットに細分化され得る。商業的な制約の下で動作する実際の実装では、これらのユニットの多くは互いに密接に相互作用し、少なくとも部分的には互いに統合され得る。しかしながら、開示された主題を説明する目的で、以下の機能ユニットへの概念的細分化が適切である。

第1のユニットは、スケーラ／逆変換ユニット（451）である。スケーラ／逆変換ユニット（451）は、量子化変換係数、ならびにどの変換を使用するか、ブロックサイズ、量子化係数、量子化スケーリング行列などをシンボル（複数可）（421）として含む制御情報を、解析器（420）から受信する。スケーラ／逆変換ユニット（451）は、アグリゲータ（455）に入力され得るサンプル値を備えるブロックを出力し得る。

場合によっては、スケーラ／逆変換（451）の出力サンプルは、イントラ符号化されたブロック、つまり、以前に再構築された画像からの予測情報を使用していないが、現在の画像の以前に再構築された部分からの予測情報を使用できるブロックに関係し得る。そのような予測情報は、イントラ画像予測ユニット（452）によって提供され得る。場合によっては、イントラ画像予測ユニット（452）は、現在の画像バッファ（458）からフェッチされた周囲のすでに再構築された情報を使用して、再構築中のブロックと同じサイズおよび形状のブロックを生成する。現在の画像バッファ（458）は、例えば、部分的に再構築された現在の画像および／または完全に再構築された現在の画像をバッファリングする。アグリゲータ（455）は、場合によっては、サンプルごとに、イントラ予測ユニット（452）が生成した予測情報をスケーラ／逆変換ユニット（451）によって提供された出力サンプル情報に追加する。

他の場合では、スケーラ／逆変換ユニット（451）の出力サンプルは、インター符号化された、潜在的に動き補正されたブロックに関係する可能性がある。そのような場合、動作補償予測ユニット（453）は、参照画像メモリ（457）にアクセスして、予測に使用されるサンプルをフェッチすることができる。フェッチされたサンプルをブロックに関連するシンボル（421）に従って動き補正した後、これらのサンプルは、出力サンプル情報を生成するために、アグリゲータ（455）によってスケーラ／逆変換ユニット（451）の出力に追加され得る（この場合、残差サンプルまたは残差信号と呼ばれる）。動作補償予測ユニット（453）が予測サンプルをフェッチする参照画像メモリ（457）内のアドレスは、例えば、X、Y、および参照画像成分を有し得るシンボル（421）の形で動作補償予測ユニット（453）が利用できる動きベクトルによって制御され得る。動作補償はまた、サブサンプルの正確な動きベクトルが使用されているときに参照画像メモリ（457）からフェッチされたサンプル値の補間、動きベクトル予測メカニズムなどをも含み得る。

アグリゲータ（455）の出力サンプルは、ループフィルタユニット（456）における様々なループフィルタリング技術の対象となり得る。ビデオ圧縮技術には、符号化されたビデオシーケンス（符号化ビデオビットストリームとも呼ばれる）に含まれるパラメータによって制御され、解析器（420）からのシンボル（421）としてループフィルタユニット（456）で利用できるループ内フィルタ技術を含めることができるが、符号化された画像または符号化されたビデオシーケンスの（復号順で）以前の部分の復号中に取得されたメタ情報に応答したり、以前に再構築およびループフィルタされたサンプル値に応答したりすることもできる。

ループフィルタユニット（456）の出力は、レンダリング装置（412）に出力され得るだけでなく、将来の画像間予測で使用するために参照画像メモリ（457）に保存できるサンプルストリームであり得る。

完全に再構築されると、特定の符号化された画像は、将来の予測のための参照画像として使用することができる。例えば、現在の画像に対応する符号化された画像が完全に再構築され、符号化された画像が（例えば、解析器（420）によって）参照画像として識別されると、現在の画像バッファ（458）は参照画像メモリ（457）の一部になり得、次の符号化された画像の再構築を開始する前に、新鮮な現在の画像バッファを再割り当てすることができる。

ビデオ復号器（410）は、ITU－T Rec．H．265などの規格における所定のビデオ圧縮技術に従って復号動作を実行することができる。符号化されたビデオシーケンスは、ビデオ圧縮技術または規格の構文と、ビデオ圧縮技術または規格のドキュメントとしてのプロファイルの両方に準拠しているという意味において、使用されているビデオ圧縮技術または規格によって指定された構文に準拠し得る。具体的には、プロファイルは、ビデオ圧縮技術または規格で利用可能なすべてのツールから、そのプロファイルの下で使用可能な唯一のツールとして特定のツールを選択することができる。また、コンプライアンスのために必要なのは、符号化されたビデオシーケンスの複雑さがビデオ圧縮技術または規格のレベルによって定義される境界内にあることであり得る。場合によっては、レベルは、最大画像サイズ、最大フレームレート、最大再構築サンプルレート（例えば毎秒メガサンプルで測定される）、最大参照画像サイズなどを制限する。レベルによって設定される制限は、場合によっては、符号化されたビデオシーケンスにおいて信号で通知されたHRDバッファ管理のためのメタデータおよび仮想基準復号器（HRD）仕様によってさらに制限され得る。

一実施形態では、受信機（431）は、符号化されたビデオとともに追加の（冗長な）データを受信することができる。追加のデータは、符号化されたビデオシーケンスの一部として含まれ得る。追加のデータは、データを適切に復号し、および／または元のビデオデータをより正確に再構築するために、ビデオ復号器（410）によって使用され得る。追加のデータは、例えば、時間、空間、または信号雑音比（SNR）強化層、冗長スライス、冗長画像、前方誤り訂正符号などの形態であり得る。

図5は、本開示の実施形態によるビデオ符号化器（503）のブロック図を示している。ビデオ符号化器（503）は、電子機器（520）に含まれる。電子機器（520）は、送信機（540）（例えば、送信回路）を含む。ビデオ符号化器（503）は、図3の例におけるビデオ符号化器（303）の代わりに使用され得る。

ビデオ符号化器（503）は、ビデオ符号化器（503）によって符号化されるビデオ画像をキャプチャし得る（図5の例では電子機器（520）の一部ではない）ビデオソース（501）からビデオサンプルを受信し得る。別の例では、ビデオソース（501）は、電子機器（520）の一部である。

ビデオソース（501）は、ビデオ符号化器（503）によって符号化されるソースビデオシーケンスを、任意の適切なビット深度（例えば、8ビット、10ビット、12ビット、…）であり得、任意の色空間（例えば、BT．601 Y CrCB、RGB、…）および適切なサンプリング構造（例えば、Y CrCb 4：2：0、Y CrCb 4：4：4）であり得るデジタルビデオサンプルストリームの形態で提供し得る。メディアサービングシステムでは、ビデオソース（501）は、以前に準備されたビデオを格納する記憶装置であり得る。ビデオ会議システムでは、ビデオソース（501）は、ローカル画像情報をビデオシーケンスとしてキャプチャするカメラであり得る。ビデオデータは、順番に見たときに動きを与える複数の個別の画像として提供され得る。画像自体は、画素の空間配列として編成することができ、各画素は、使用中のサンプリング構造、色空間などに応じて1つまたは複数のサンプルを含むことができる。当業者であれば、画素とサンプルとの関係を容易に理解することができる。以下、サンプルに着目して説明する。

一実施形態によれば、ビデオ符号化器（503）は、用途によって要求されるように、リアルタイムで、または任意の他の時間制約の下で、ソースビデオシーケンスの画像を符号化し、符号化されたビデオシーケンス（543）に圧縮し得る。適切な符号化速度を強制することは、コントローラ（550）の1つの機能である。いくつかの実施形態では、コントローラ（550）は、以下で説明するように他の機能ユニットを制御し、他の機能ユニットに機能的に結合される。分かりやすくするために、結合は描かれていない。コントローラ（550）によって設定されたパラメータには、レート制御関連パラメータ（画像スキップ、量子化、レート歪み最適化技術のラムダ値など）、画像サイズ、画像群（GOP）レイアウト、最大動きベクトル検索範囲などが含まれ得る。コントローラ（550）は、特定のシステム設計に対して最適化されたビデオ符号化器（503）に関係する他の適切な機能を有するように構成され得る。

いくつかの実施形態では、ビデオ符号化器（503）は、符号化ループで動作するように構成される。

過度に単純化した説明として、一例では、符号化ループは、ソース符号化器（530）（例えば、符号化される入力画像および参照画像に基づいて、シンボルストリームなどのシンボルを作成する役割を果たす）、およびビデオ符号化器（503）に埋め込まれた（ローカル）復号器（533）を含み得る。復号器（533）は、（リモート）復号器が作成するのと同様の方法でサンプルデータを作成するためにシンボルを再構築する（シンボルと符号化ビデオビットストリームとの間の圧縮は、開示された主題で考慮されるビデオ圧縮技術では可逆であるため）。再構築されたサンプルストリーム（サンプルデータ）は、参照画像メモリ（534）に入力される。シンボルストリームの復号は、復号器の場所（ローカルまたはリモート）に関係なくビット正確な結果をもたらすため、参照画像メモリ（534）のコンテンツもローカル符号化器およびリモート符号化器間でビットが正確である。言い換えると、符号化器の予測部分は、復号器が復号中に予測を使用するときに「参照」するのとまったく同じサンプル値を参照画像のサンプルとして「見なす」。参照画像同期性（例えばチャネル誤差のために同期性を維持することができない場合、結果として生じるドリフト）のこの基本原理は、いくつかの関連技術においても使用される。

「ローカル」復号器（533）の動作は、ビデオ復号器（410）などの「リモート」復号器の動作と同じであり得、これは、図4に関連して上で詳細にすでに説明されている。しかしながら、図4も簡単に参照すると、シンボルが利用可能であり、エントロピー符号化器（545）および解析器（420）による符号化されたビデオシーケンスへのシンボルの符号化／復号は可逆であり得るため、バッファメモリ（415）を含むビデオ復号器（410）のエントロピー復号部分、および解析器（420）は、ローカル復号器（533）に完全に実装されない場合がある。

この時点でなされ得る観測は、復号器内に存在する構文解析／エントロピー復号を除く任意の復号器技術もまた、対応する符号化器内に実質的に同一の機能形態で存在する必要があるということである。このため、開示された主題は復号器動作に焦点を合わせている。符号化器技術の説明は、それらが包括的に説明された復号器技術の逆であるので省略することができる。特定の領域においてのみ、より詳細な説明が必要とされ、以下に提供される。

動作中、いくつかの例では、ソース符号化器（530）は、「参照画像」として指定されたビデオシーケンスからの1つまたはそれ以上の以前に符号化された画像を参照して入力画像を予測的に符号化する動き補正予測符号化を実行し得る。このようにして、符号化エンジン（532）は、入力画像の画素ブロックと、入力画像への予測参照として選択され得る参照画像の画素ブロックとの間の差異を符号化する。

ローカルビデオ復号器（533）は、ソース符号化器（530）によって作成されたシンボルに基づいて、参照画像として指定され得る画像の符号化されたビデオデータを復号し得る。符号化エンジン（532）の動作は、不可逆処理であることが有利であり得る。符号化されたビデオデータがビデオ復号器（図5には示されていない）で復号され得るとき、再構築されたビデオシーケンスは、通常、いくつかのエラーを伴うソースビデオシーケンスのレプリカであり得る。ローカルビデオ復号器（533）は、参照画像に対してビデオ復号器によって実行され得る復号処理をコピーし、再構築された参照画像を参照画像キャッシュ（534）に記憶させることができる。このようにして、ビデオ符号化器（503）は、遠端ビデオ復号器によって得られる（送信エラーがない）再構築参照画像として共通のコンテンツを有する再構築参照画像のコピーをローカルに格納し得る。

予測器（535）は、符号化エンジン（532）の予測検索を実行し得る。すなわち、符号化される新しい画像について、予測器（535）は、（候補参照画素ブロックとしての）サンプルデータまたは参照画像の動きベクトル、ブロック形状などの、新しい画像の適切な予測参照として機能する特定のメタデータについて参照画像メモリ（534）を検索することができる。予測器（535）は、適切な予測参照を見つけるために、サンプルブロック－画素ブロックごとに動作し得る。いくつかの場合において、予測器（535）によって得られた検索結果によって決定されるように、入力画像は、参照画像メモリ（534）に記憶された複数の参照画像から引き出された予測参照を有し得る。

コントローラ（550）は、例えば、ビデオデータを符号化するために使用されるパラメータおよびサブグループパラメータの設定を含む、ソース符号化器（530）の符号化動作を管理し得る。

前述のすべての機能ユニットの出力は、エントロピー符号化器（545）においてエントロピー符号化を受けることができる。エントロピー符号化器（545）は、ハフマン符号化、可変長符号化、算術符号化などの技術に従ってシンボルを可逆圧縮することにより、様々な機能ユニットにより生成されたシンボルを符号化されたビデオシーケンスに変換する。

送信機（540）は、エントロピー符号化器（545）によって作成された符号化されたビデオシーケンスをバッファリングして、符号化されたビデオデータを格納する記憶装置へのハードウェア／ソフトウェアリンクであり得る通信チャネル（560）を介した送信に備えることができる。送信機（540）は、ビデオ符号化器（503）からの符号化されたビデオデータを、送信される他のデータ、例えば符号化音声データおよび／または補助データストリーム（ソースは図示せず）とマージすることができる。

コントローラ（550）は、ビデオ符号化器（503）の動作を管理し得る。符号化中に、コントローラ（550）は、各々の符号化された画像に特定の符号化された画像タイプを割り当て得、これは、それぞれの画像に適用され得る符号化技術に影響を及ぼし得る。例えば、画像は、以下の画像形式のうちの1つとして割り当てられることが多い。

なお、イントラ画像（I画像）は、シーケンス内の他の画像を予測元とせずに符号化・復号可能なものであってもよい。いくつかのビデオ符号化は、例えば、独立復号器リフレッシュ（「IDR」）画像を含む異なる形式のイントラ画像を可能にする。当業者は、I画像のこれらの変形ならびにそれらのそれぞれの用途および特徴を認識している。

予測画像（P画像）は、各ブロックのサンプル値を予測するために、最大で1つの動きベクトルおよび参照インデックスを使用するイントラ予測またはインター予測を使用して符号化および復号され得る画像であり得る。

双方向予測画像（B画像）は、各ブロックのサンプル値を予測するために、最大で2つの動きベクトルおよび参照インデックスを使用するイントラ予測またはインター予測を使用して符号化および復号され得るものであり得る。同様に、複数の予測画像は、単一のブロックの再構築のために3つ以上の参照画像および関連するメタデータを使用することができる。

ソース画像は、一般に、複数のサンプルブロック（例えば、各々、4×4、8×8、4×8、または16×16のサンプルのブロック）に空間的に細分化され、ブロックごとに符号化され得る。ブロックは、ブロックのそれぞれの画像に適用される符号化割当によって判定されるように、他の（すでに符号化された）ブロックを参照して予測的に符号化され得る。例えば、I個の画像のブロックは、非予測的に符号化されてもよいし、同じ画像のすでに符号化されたブロックを参照して予測的に符号化されてもよい（空間予測またはイントラ予測）。P個の画像の画素ブロックは、以前に符号化された1つの参照画像を参照して、空間予測を介して、または時間予測を介して予測的に符号化され得る。B画像のブロックは、1つまたは2つの以前に符号化された参照画像を参照して、空間予測を介して、または時間予測を介して予測的に符号化され得る。

ビデオ符号化器（503）は、ITU－T Rec．H．265などの所定のビデオ符号化技術または規格に従って符号化動作を実行し得る。その動作において、ビデオ符号化器（503）は、入力ビデオシーケンスの時間的および空間的冗長性を活用する予測符号化操作を含む、様々な圧縮操作を実行し得る。したがって、符号化ビデオデータは、使用されているビデオ符号化技術または規格によって指定された構文に準拠することができる。

一実施形態では、送信機（540）は、符号化されたビデオとともに追加のデータを送信し得る。ソース符号化器（530）は、そのようなデータを、符号化されたビデオシーケンスの一部として含み得る。追加のデータは、時間／空間／SNR強化層、冗長画像およびスライスなどの他の形態の冗長データ、SEIメッセージ、VUIパラメータセット断片などを含むことができる。

映像は、複数のソース画像（ビデオ画像）として時系列に撮像されてもよい。画像内予測（しばしばイントラ予測と略される）は、所与の画像における空間相関を利用し、画像間予測は、画像間の（時間的または他の）相関を利用する。一例では、現在の画像と呼ばれる、符号化／復号中の特定の画像がブロックに分割される。現在の画像内のブロックがビデオ内の以前に符号化されてまだバッファされている参照画像内の参照ブロックに類似しているとき、現在の画像内のブロックは、動きベクトルと呼ばれるベクトルによって符号化することができる。動きベクトルは、参照画像内の参照ブロックを指し、複数の参照画像が使用されている場合、参照画像を識別する第3の次元を有することができる。

いくつかの実施形態では、画像間予測に双予測技術を使用することができる。双予測技術によれば、第1の参照画像および第2の参照画像などの2つの参照画像が使用され、これらは両方ともビデオ内の現在の画像の復号順より前にある（しかし、表示順序はそれぞれ過去および未来のものであってもよい）。現在の画像内のブロックは、第1の参照画像内の第1の参照ブロックを指す第1の動きベクトル、および第2の参照画像内の第2の参照ブロックを指す第2の動きベクトルによって符号化することができる。ブロックは、第1の参照ブロックと第2の参照ブロックとの組み合わせによって予測することができる。

さらに、符号化効率を改善するために、画像間予測にマージモード技術を使用することができる。

本開示のいくつかの実施形態によれば、画像間予測および画像内予測などの予測は、ブロック単位で実行される。例えば、HEVC規格によれば、ビデオ画像のシーケンス内の画像は、圧縮のために符号化ツリーユニット（CTU）に分割され、画像内のCTUは、64×64画素、32×32画素、または16×16画素などの同じサイズを有する。一般に、CTUは、1つの輝度CTBおよび2つの彩度CTBである3つの符号化ツリーブロック（CTB）を含む。各CTUは、1つまたは複数の符号化ユニット（CU）に再帰的に四分木分割することができる。例えば、64×64画素のCTUは、64×64画素の1つのCU、または32×32画素の4つのCU、または16×16画素の16個のCUに分割することができる。一例では、各CUは、インター予測形式またはイントラ予測形式などのCUの予測形式を判定するために分析される。CUは、時間的および／または空間的な予測可能性に応じて、1つまたは複数の予測ユニット（PU）に分割される。一般に、各PUは、輝度予測ブロック（PB）と、2つの彩度PBとを含む。一実施形態では、符号化（符号化／復号）における予測演算は、予測ブロックの単位で実行される。予測ブロックの例として輝度予測ブロックを使用すると、予測ブロックは、8×8画素、16×16画素、8×16画素、16×8画素などの画素の値の行列（例えば、輝度値）を含む。

図6は、本開示の別の実施形態によるビデオ符号化器（603）の図を示している。ビデオ符号化器（603）は、ビデオ画像シーケンスにおける現在のビデオ画像内のサンプル値の処理ブロック（例えば、予測ブロック）を受信し、処理ブロックを、符号化されたビデオシーケンスの一部である符号化画像に符号化するように構成される。一例では、ビデオ符号化器（603）は、図3の例におけるビデオ符号化器（303）の代わりに使用される。

HEVCの例では、ビデオ符号化器（603）は、8×8サンプルなどの予測ブロックなど、処理ブロックのサンプル値の行列を受け取る。ビデオ符号化器（603）は、処理ブロックが、例えばレート歪み最適化を使用して、イントラモード、インターモード、または双予測モードを使用して最良に符号化されるかどうかを決定する。処理ブロックがイントラモードで符号化される場合、ビデオ符号化器（603）は、イントラ予測技術を使用して、処理ブロックを符号化された画像に符号化することができる。そして、処理ブロックがインターモードまたは双予測モードで符号化される場合、ビデオ符号化器（603）は、それぞれインター予測または双予測技術を使用して、処理ブロックを符号化された画像に符号化することができる。特定のビデオ符号化技術では、マージモードは、動きベクトルが1つまたはそれ以上の動きベクトル予測器から導き出されるが、予測器の外側にある符号化された動きベクトルコンポーネントの利点はない画像間予測サブモードであり得る。特定の他のビデオ符号化技術では、対象ブロックに適用可能な動きベクトル成分が存在し得る。一例では、ビデオ符号化器（603）は、処理ブロックのモードを決定するためのモード決定モジュール（図示せず）などの他の成分を含む。

図6の例では、ビデオ符号化器（603）は、インター符号化器（630）、イントラ符号化器（622）、残差計算器（623）、スイッチ（626）、残差符号化器（624）、汎用コントローラ（621）および図6に示すように一緒に結合されたエントロピー符号化器（625）を含む。

インター符号化器（630）は、現在のブロック（例えば、処理ブロック）のサンプルを受け取り、そのブロックを参照画像（例えば、前の画像および後の画像のブロック）の1つまたはそれ以上の参照ブロックと比較し、インター予測情報（例えば、インター符号化技術、動きベクトル、マージモード情報による冗長情報の記述）を生成し、任意の適切な技術を使用してインター予測情報に基づいてインター予測結果（例えば予測ブロック）を計算するように構成される。いくつかの例では、参照画像は、符号化されたビデオ情報に基づいて復号される復号参照画像である。

イントラ符号化器（622）は、現在のブロック（例えば、処理ブロック）のサンプルを受信し、場合によっては、ブロックを同じ画像ですでに符号化されているブロックと比較し、変換後に量子化係数、場合によってはイントラ予測情報（例えば、1つまたはそれ以上のイントラ符号化技術によるイントラ予測方向情報）を生成するように構成される。一例では、イントラ符号化器（622）はまた、イントラ予測情報と、同一画像内の参照ブロックとに基づいて、イントラ予測結果（例えば、予測ブロック）を算出する。

汎用コントローラ（621）は、汎用制御データを決定し、汎用制御データに基づいてビデオ符号化器（603）の他の構成要素を制御するように構成される。一例では、汎用コントローラ（621）はブロックのモードを決定し、モードに基づいてスイッチ（626）に制御信号を提供する。例えば、モードがイントラモードである場合、汎用コントローラ（621）はスイッチ（626）を制御して、残差計算器（623）が使用するイントラモードの結果を選択し、エントロピー符号化器（625）を制御してイントラ予測情報を選択し、ビットストリームにイントラ予測情報を含める。そして、モードがインターモードである場合、汎用コントローラ（621）は、スイッチ（626）を制御して、残差計算器（623）が使用するインター予測結果を選択し、エントロピー符号化器（625）を制御してインター予測情報を選択し、ビットストリームにインター予測情報を含める。

残差計算器（623）は、受信されたブロックと、イントラ符号化器（622）またはインター符号化器（630）から選択された予測結果との間の差（残差データ）を計算するように構成される。残差符号化器（624）は、残差データに基づいて動作して残差データを符号化し、変換係数を生成するように構成される。一例では、残差符号化器（624）は、残差データを空間領域から周波数領域に変換し、変換係数を生成するように構成される。次に、変換係数は、量子化処理を受けて、量子化された変換係数が得られる。様々な実施形態において、ビデオ符号化器（603）はまた、残差復号器（628）を含む。残差復号器（628）は、逆変換を実行し、復号された残差データを生成するように構成される。復号された残差データは、イントラ符号化器（622）およびインター符号化器（630）において好適に用いることができる。例えば、インター符号化器（630）は、復号残差データとインター予測情報とに基づいて復号ブロックを生成し、イントラ符号化器（622）は、復号残差データとイントラ予測情報とに基づいて復号ブロックを生成することができる。いくつかの例では、復号されたブロックは、復号された画像を生成するために適切に処理され、復号された画像は、メモリ回路（図示せず）にバッファされ、参照画像として使用され得る。

エントロピー符号化器（625）は、符号化されたブロックを含むようにビットストリームをフォーマットするように構成される。エントロピー符号化器（625）は、HEVC規格などの適切な規格に従って様々な情報を含むように構成される。一例では、エントロピー符号化器（625）は、汎用制御データ、選択された予測情報（例えば、イントラ予測情報またはインター予測情報）、残差情報、およびビットストリーム内の他の適切な情報を含むように構成される。開示された主題によれば、インターモードまたは双予測モードのいずれかのマージサブモードでブロックを符号化するとき、残差情報は存在しないことに留意されたい。

図7は、本開示の別の実施形態によるビデオ復号器（710）の図を示している。ビデオ復号器（710）は、符号化されたビデオシーケンスの一部である符号化された画像を受信し、符号化された画像を復号して再構築された画像を生成するように構成される。一例では、ビデオ復号器（710）は、図3の例におけるビデオ復号器（310）の代わりに使用される。

図7の例では、ビデオ復号器（710）は、エントロピー復号器（771）、インター復号器（780）、残差復号器（773）、再構築モジュール（774）、および図7に示すように一緒に結合されたイントラ復号器（772）を含む。

エントロピー復号器（771）は、符号化された画像から、符号化された画像が構成される構文要素を表す特定のシンボルを再構築するように構成され得る。そのようなシンボルは、例えば、ブロックが符号化されるモード（例えば、イントラモード、インターモード、双予測モード、マージサブモードまたは別のサブモードにおける後者の2つ）、イントラ復号器（772）またはインター復号器（780）による予測に使用される特定のサンプルまたはメタデータをそれぞれ識別できる、例えば、量子化変換係数の形式の残差情報、などの予測情報（例えば、イントラ予測情報またはインター予測情報など）を含み得る。一例では、予測モードがインター予測モードまたは双予測モードである場合、インター予測情報がインター復号器（780）に提供される。そして、予測タイプがイントラ予測タイプである場合、イントラ予測情報はイントラ復号器（772）に提供される。残差情報は逆量子化を受ける可能性があり、残差復号器（773）に提供される。

インター復号器（780）は、インター予測情報を受信し、インター予測情報に基づいてインター予測結果を生成するように構成される。

イントラ復号器（772）は、イントラ予測情報を受信し、イントラ予測情報に基づいて予測結果を生成するように構成される。

残差復号器（773）は、逆量子化を実行して逆量子化変換係数を抽出し、逆量子化変換係数を処理して残差を周波数領域から空間領域に変換するように構成される。残差復号器（773）はまた、量子化器パラメータ（QP）を含むために特定の制御情報を必要とする場合があり、その情報はエントロピー復号器（771）によって提供される場合がある（これとして示されていないデータ経路は、低ボリューム制御情報のみであり得る）。

再構築モジュール（774）は、空間領域において、残差復号器（773）による出力としての残差と（場合によってはインター予測またはイントラ予測モジュールによる出力としての）予測結果とを組み合わせて、再構築されたブロックを形成し、再構築されたブロックは、再構築されたビデオの一部であり得る再構築された画像の一部であり得る。視覚的品質を改善するために、デブロッキング操作などの他の適切な操作を実行することができることに留意されたい。

ビデオ符号化器（303）、（503）および（603）、およびビデオ復号器（310）、（410）および（710）は、任意の適切な技術を使用して実装できることに留意されたい。一実施形態では、ビデオ符号化器（303）、（503）および（603）ならびにビデオ復号器（310）、（410）および（710）は、1つまたはそれ以上の集積回路を使用して実装することができる。別の実施形態では、ビデオ符号化器（303）、（503）および（503）、およびビデオ復号器（310）、（410）および（710）は、ソフトウェア命令を実行する1つまたはそれ以上のプロセッサを使用して実装できる。

II．変換スキップモード
本開示の一実施形態では、イントラ予測残差およびインター予測残差の両方を符号化するために、変換スキップ（TS）モードを適用することができる。16サンプル以下の輝度または彩度符号化ブロックの場合、TSモードが現在のブロックに適用されるかどうかを示すためにフラグが信号で通知され得る。

TSモードが適用される場合、予測処理は、正規変換モードにおける予測処理と同じである。いくつかの例では、イントラ予測またはインター予測が適用されてもよい。変換スキップTUの場合、変換スキップ係数が他の変換係数と同様の大きさを有することができるように、スケーリング処理が使用され得る。一実施形態では、スケーリングダウン処理が実行されてもよく、スケーリング係数は、同じサイズの他の変換（ノルム1を有する標準的な浮動小数点変換に対して）に関連付けられたスケーリングと同じであってもよい。さらに、TSモードが適用されるとき、逆量子化およびスケーリングは、正規変換モードにおける逆量子化およびスケーリングと同じである。デブロッキング、サンプル適応オフセット（SAO）、および適応ループフィルタリング（ALF）も、TSモードが適用されるときに同じであるが、変換がバイパスされるかどうかを示すためにフラグが信号で通知されてもよい。さらに、TSモードが有効にされているかどうかを示すためにSPSでフラグが信号で通知されてもよい。

一例では、VVCドラフトにおけるTSモードの関連する仕様テキストは、以下の表1に記載されている。

表1において、transform＿skip＿flag［x0］［y0］［cIdx］は、関連付けられた変換ブロックに変換を適用するか否かを指定する。transform＿skip＿flag［x0］［y0］［cIdx］が1に等しいとき、それは現在の変換ブロックに変換が適用されないことを指定する。transform＿skip＿flag［x0］［y0］［cIdx］が0に等しいとき、それは、現在の変換ブロックに変換が適用されるかどうかが他の構文要素に依存することを指定する。transform＿skip＿flag［x0］［y0］［cIdx］が存在しない場合、0に等しいと推測される。

配列インデックスx0，y0は、画像の左上輝度サンプルに対する変換ブロックの左上輝度サンプルの位置（x0、y0）を指定する。配列インデックスcIdxは、色成分のインジケータを指定する。配列インデックスcIdxが0に等しい場合、色成分は輝度である。配列インデックスcIdxが1に等しい場合、色成分はCbである。配列インデックスcIdxが2に等しい場合、色成分はCrである。

次に、スケーリングおよび変換処理の一例について説明する。

処理への入力は、
（a）現在の画像の左上輝度サンプルに対する現在の輝度変換ブロックの左上サンプルを指定する輝度位置（xTbY、yTbY）、
（b）現在のブロックの色成分を指定する変数cIdx、
（c）前記変換ブロック幅を指定する変数nTbW、および
（d）変換ブロック高さを指定する変数nTbH、である。

この処理の出力は、x＝0．．．nTbW－1、y＝0．．．nTbH－1である残差サンプルresSamples［x］［y］の（nTbW）x（nTbH）配列であり得る。

スケーリング処理において、変数bitDepthは現在の色成分のビット深度であり、変数bdShiftはスケーリングシフト係数であり、変数tsShiftは変換スキップシフトである。変数bitDepth、bdShift、およびtsShiftは、以下のように導出され得る。
bitDepth＝（cIdx＝＝0）？BitDepth_Y：BitDepth_C（式1）
bdShift＝Max（22－bitDepth，0）（式2）
tsShift＝5＋（（Log2（nTbW）＋Log2（nTbH））／2）（式3）

変換係数のためのスケーリング処理は、変換ブロック位置（xTbY、yTbY）、変換幅nTbWおよび変換高さnTbH、色成分変数cIdx、ならびに現在の色成分bitDepthのビット深度を入力として、およびスケーリングされた変換係数dの（nTbW）x（nTbH）配列を出力として用いて呼び出され得る。

残差サンプルrの（nTbW）x（nTbH）配列は、量子化された係数であり、以下のように導出することができる。

transform＿skip＿flag［xTbY］［yTbY］［cIdx］が1に等しい場合、x＝0．．．nTbW－1、y＝0．．．nTbH－1の残差サンプル配列値r［x］［y］は、以下のように導出され得る。
r［x］［y］＝d［x］［y］＜＜tsShift（式4）

transform＿skip＿flag［xTbY］［yTbY］［cIdx］が0に等しいとき、変換ブロック位置（xTbY、yTbY）、変換幅nTbWおよび変換高さnTbH、色成分変数cIdxおよびスケーリングされた変換係数dの（nTbW）x（nTbH）配列を入力として、残差サンプルrの（nTbW）x（nTbH）配列を出力として、スケーリングされた変換係数のための変換処理を呼び出すことができる。

x＝0．．．nTbW－1、y＝0．．．nTbH－1の残差サンプルresSamples［x］［y］は、以下のように導出することができる。
resSamples［x］［y］＝（r［x］［y］＋（1＜＜（bdShift－1）））＞＞bdShift（式5）

III．ブロック差分パルス符号変調モード
ブロック差分パルス符号変調（BDPCM）は、ブロックレベルで差分パルス符号変調（DPCM）手法を使用するイントラ符号化ツールである。bdpcm＿flagは、CUが、32以下の各次元を有する輝度イントラ符号化CUである場合は常に、CUレベルで送信され得る。このフラグは、単一の文脈ベース適応型バイナリ算術符号化（Context－based Adaptive Binary Arithmetic Coding：CABAC）文脈を用いて、通常のイントラ符号化を用いるか、DPCMを用いるかを示している。

BDPCMは、LOCO－Iのメディアンエッジ検出器（例えば、JPEG－LSで使用される）を使用してもよい。具体的には、画素Aを左隣、画素Bを上隣、および画素Cを左上隣とする現在画素Xについて、現在画素X P（X）の予測は以下の式によって決定される。
C≧max（A，B）の場合、P（X）＝min（A，B）
C≦min（A，B）の場合、max（A，B）
そうでなければ、A＋B－C（式6）

画素予測子は、CUの最上行および左列から予測するときにフィルタリングされていない参照画素を使用する。その後、予測器は残りのCUのために再構築された画素を使用する。画素は、CU内でラスタ走査順に処理される。予測誤差は、再スケーリング後に、変換スキップ量子化器と同一の方法で空間領域において量子化されてもよい。逆量子化された予測誤差を予測に加算することにより、各画素を再構築することができる。したがって、再構築された画素を使用して、ラスタ走査順の次の画素を予測することができる。量子化された予測誤差の振幅と符号は別々に符号化される。cbf＿bdpcm＿flagが符号化される。cbf＿bdpcm＿flagが0に等しい場合、ブロックのすべての振幅が0として復号されるべきである。cbf＿bdpcm＿flagが1に等しい場合、ブロックのすべての振幅がラスタ走査順に個別に符号化される。複雑さを低く保つために、振幅は最大31（両端を含む）に制限することができる。振幅は、第1のビンに対して3つの文脈、次いで第12のビンまでの各追加のビンに対して1つの文脈、および残りのすべてのビンに対して1つの文脈を用いて、単項2値化を使用して符号化され得る。符号は、各0残基についてバイパスモデルで符号化され得る。

通常のイントラモード予測の一貫性を維持するために、イントラモード予測の最も可能性の高いモード（MPM）リスト内の第1のモードは、（送信されずに）BDPCM CUに関連付けられ、後続のブロックのMPMを生成するために利用可能である。

デブロッキングフィルタは、2つのBDPCM符号化ブロック間の境界／境界で非アクティブ化することができる。これは、BDPCM符号化ブロックのいずれも変換を実行せず、通常、ブロッキングアーチファクトの原因となるためである。さらに、BDPCMは、本明細書に記載されたもの以外の他のステップを使用しなくてもよい。特に、BDPCMは、上述したように残差符号化においていかなる変換も実行しなくてもよい。

BDPCMに関するいくつかの試験が、BDPCMのスループットの改善および他のスクリーンコンテンツ符号化（SCC）ツールとの相互作用を調査するために行われた。

図8Aは、一実施形態によるBDPCM符号化ブロックの例を示す。図8Aに示される例は、試験1に関連する。図8Aに示すように、スループットを向上させるために、より小さいブロック（例えば、4×4、4×8、および8×4のサイズを有する）は、ブロックを2つの半部（例えば、階段形状の仕切り）に効果的に分割する対角線を使用して、2つの独立して復号可能な領域に分割され得る。

一実施形態では、第1の半部の1つの領域からの画素は、予測を計算するために第2の半部の別の領域からの画素を使用することができない場合がある。予測を計算するために、あるエリアからの画素が別のエリアからの画素を使用する必要がある場合、代わりに参照画素が使用される。例えば、他の領域からの画素は、最も近い参照画素に置き換えられてもよい。例えば、左近傍は、同じ行からの左参照画素と置き換えられてもよく、上近傍は、同じ列からの左参照画素と置き換えられてもよく、上左近傍は、最も近い参照画素と置き換えられてもよい。これにより、2つの領域を並列に処理することができる。

図8Aはまた、異なるサイズを有する各ブロックの例示的なスループットを提供する。例えば、2つの独立して復号可能な領域を有する4×4ブロックの場合、スループットは1サイクル当たり4画素であり得る。2つの独立して復号可能な領域を有する4×8または8×4ブロックの場合、スループットは、サイクル当たり5．33画素であり得る。独立して復号可能な領域のない8×8ブロックの場合、スループットは、サイクル当たり4．26画素であり得る。独立して復号可能な領域のない8×8ブロックの場合、スループットは、サイクル当たり4．26画素であり得る。独立して復号可能な領域のない16×16ブロックの場合、スループットは、サイクル当たり8．25画素であり得る。

図8Bは、一実施形態によるBDPCM符号化ブロックの例を示す。図8Bに示される例は、試験2に関連する。図8Bでは、ブロックは、JPEG－LS予測子を置き換えるために垂直または水平予測子を使用して分割され得る。垂直または水平予測子は、ブロックレベルで選択および信号で通知され得る。独立して復号可能な領域の形状は、予測子の幾何学的形状を反映する。現在の画素の予測に左または上の画素を使用する水平または垂直予測子の形状により、ブロックを処理する最もスループット効率の良い方法は、1つの列または行のすべての画素を並列に処理し、これらの列または行を順次処理することであり得る。例えば、スループットを向上させるために、幅4のブロックは、このブロック上で選択された予測子が垂直である場合、水平境界を有する2つの半部に分割され、高さ4のブロックは、このブロック上で選択された予測子が水平である場合、垂直境界を有する2つの半部に分割される。2つの独立して復号可能な領域を有する4×4ブロック、8×4ブロック、または4×8ブロックの場合、スループットは1サイクル当たり8画素であり得る。独立して復号可能な領域のない4×8ブロック、8×4ブロック、または8×8ブロックの場合、スループットは1サイクル当たり8画素であり得る。独立して復号可能な領域のない16×16ブロックの場合、スループットは、サイクル当たり16画素であり得る。

試験3では、本開示の一実施形態によれば、BDPCM残差振幅は28に制限され、振幅は、最初の12個のビンの切り捨てられた単項二値化、続いて残りの（例えば、encodeRemAbsEP（）関数を使用する）次数2のExp－Golomb等確率ビンで符号化される。

IV．変換係数符号化
エントロピー符号化は、映像信号が一連の構文要素に縮小された後、映像符号化の最終段階（または映像復号の第1段階）で実行することができる。エントロピー符号化は、データを表すために使用されるビット数がデータの確率に対数的に比例するように、統計プロパティを使用してデータを圧縮する可逆圧縮方式にすることができる。例えば、構文要素のセットにわたってエントロピー符号化を実行することにより、構文要素を表すビット（ビンと呼ばれる）をビットストリーム内のより少ないビット（符号化ビットと呼ばれる）に変換することができる。CABACはエントロピー符号化の一形態である。CABACでは、確率推定値を提供する文脈モデルは、それぞれのビンに関連する文脈に基づいて、一連のビン内の各ビンについて決定することができる。その後、ビットストリーム内の符号化ビットにビンのシーケンスを符号化するために、確率推定値を使用してバイナリ算術符号化処理を実行することができる。加えて、文脈モデルは、符号化されたビンに基づく新しい確率推定値で更新される。

図9Aは、一実施形態による例示的なCABACベースのエントロピー符号化器（900A）を示す。例えば、エントロピー符号化器（900A）は、図5の例のエントロピー符号化器（545）、または図6の例のエントロピー符号化器（625）で実装することができる。エントロピー符号化器（900A）は、文脈モデラ（910）およびバイナリ算術符号化器（920）を含むことができる。一例では、様々なタイプの構文要素がエントロピー符号化器（900A）への入力として提供される。例えば、バイナリ値構文要素のビンは、文脈モデラ（910）に直接入力することができ、非バイナリ値構文要素は、ビンストリングのビンが文脈モデラ（910）に入力される前にビンストリングに二値化することができる。

一例では、文脈モデラ（910）は、構文要素のビンを受け取り、受け取ったビンごとに文脈モデルを選択するために文脈モデリング処理を実行する。例えば、変換ブロック内の変換係数のバイナリ構文要素のビンが受け取られる。変換ブロックは、現在のブロックが予測のためにBDPCMを用いて符号化される場合、変換スキップされたブロックであり得る。したがって、文脈モデルは、例えば、構文要素のタイプ、変換成分の色成分タイプ、変換係数の位置、および以前に処理された隣接変換係数などに基づいて、このビンに対して決定することができる。文脈モデルは、このビンの確率推定値を提供することができる。

一例では、文脈モデルのセットは、1つまたは複数の種類の構文要素に対して構成することができる。これらの文脈モデルは、図9Aに示すようにメモリ（901）に記憶された文脈モデルリスト（902）に配置することができる。文脈モデルリスト（902）内の各エントリは、文脈モデルを表すことができる。リスト内の各文脈モデルには、文脈モデルインデックスまたは文脈インデックスと呼ばれるインデックスを割り当てることができる。さらに、各文脈モデルは、確率推定値、または確率推定値を示すパラメータを含むことができる。確率推定値は、ビンが0または1である尤度を示すことができる。例えば、文脈モデリング中に、文脈モデラ（910）は、ビンの文脈インデックスを計算することができ、それに応じて、文脈モデルは、文脈モデルリスト（902）からの文脈インデックスに従って選択され、ビンに割り当てられることができる。

さらに、文脈モデルリスト内の確率推定値は、エントロピー符号化器（900A）の動作の開始時に初期化することができる。文脈モデルリスト（902）内の文脈モデルがビンに割り当てられ、ビンを符号化するために使用された後、文脈モデルは、更新された確率推定値を有するビンの値に従ってその後更新され得る。

一例では、バイナリ算術符号化器（920）は、ビンおよびビンに割り当てられた文脈モデル（例えば、確率推定）を受け取り、それに応じてバイナリ算術符号化処理を実行する。これにより、符号化ビットが生成され、ビットストリームで伝送される。

図9Bは、一実施形態による例示的なCABACベースのエントロピー復号器（900B）を示す。例えば、エントロピー復号器（900B）は、図4の例の解析器（420）、または図7の例のエントロピー復号器（771）で実施することができる。エントロピー復号器（900B）は、バイナリ算術復号器（930）と、文脈モデラ（940）とを含むことができる。バイナリ算術復号器（930）は、ビットストリームから符号化ビットを受信し、符号化ビットからビンを復元するためにバイナリ算術復号処理を実行する。文脈モデラ（940）は、文脈モデラ（910）と同様に動作することができる。例えば、文脈モデラ（940）は、メモリ（903）に記憶された文脈モデルリスト（904）内の文脈モデルを選択し、選択された文脈モデルをバイナリ算術復号器（930）に提供することができる。文脈モデラ（940）は、バイナリ算術復号器（930）から復元されたビンに基づいて文脈モデルを決定することができる。例えば、復元されたビンに基づいて、文脈モデラ（940）は、次のデコードされるビンの構文要素のタイプ、および以前にデコードされた構文要素の値を知ることができる。その情報は、次の復号対象ビンの文脈モデルを決定するために使用される。

V．変換係数のエントロピー符号化
1．変換係数の構文要素
一実施形態では、変換ブロックの残差信号は、変換係数のブロックをもたらす空間領域から周波数領域に最初に変換される。次に、変換係数のブロックを変換係数レベルのブロックに量子化するために量子化が実行される。様々な実施形態において、残差信号を変換係数レベルに変換するために異なる技術が使用されてもよい。変換係数レベルのブロックは、エントロピー符号化器に提供され、ビットストリームのビットに符号化され得る構文要素を生成するためにさらに処理される。一実施形態では、変換係数レベルから構文要素を生成する処理は、以下のように実行することができる。

変換係数レベルのブロックは、例えば4×4位置のサイズを有するサブブロックに最初に分割することができる。これらのサブブロックは、所定の走査順序に従って処理することができる。図10は、逆対角走査順序と呼ばれるサブブロック走査順序の一例を示す。図示のように、ブロック（1010）は16個のサブブロック（1001）に分割される。各サブブロック（1001）は、係数グループ（CG）であってもよい。サブブロック（1001）内の位置が処理または走査される前に、CGが少なくとも1つの非ゼロ変換係数レベルを含むかどうかを示すためにフラグが信号で通知され得る。フラグが、CGが少なくとも1つの非ゼロ変換係数レベルを含むことを示す場合、右下隅のサブブロックが最初に処理され、左上隅のサブブロックが最後に処理される。いくつかの例では、変換係数レベルがすべて0であるサブブロックの場合、サブブロックは処理せずにスキップすることができる。TSモードでは、走査順序は逆対角走査順序の反対であってもよい。すなわち、左上隅のサブブロックが最初に処理され、右下隅のサブブロックが最後に処理されてもよい。

各々が少なくとも1つの非ゼロ変換係数レベルを有するサブブロックについて、各サブブロックにおいて走査の4回のパスを実行することができる。各パスの間に、それぞれのサブブロック内の16個の位置を逆対角走査順序で走査することができる。図11は、変換係数の異なるタイプの構文要素を生成することができるサブブロック走査処理（1100）の一例を示す。

サブブロック内の16個の係数位置（1110）が、図11の下部に一次元で示されている。位置（1110）は、それぞれの走査順序を反映するために0から15まで番号付けされる。第1のパスの間に、走査位置（1110）が走査され、以下のように各走査位置（1110）で3つのタイプの構文要素（1101～1103）を生成することができる。
（i）それぞれの変換係数（absLevelで示される）の絶対変換係数レベルが0であるか0より大きいかを示すバイナリ構文要素（1101）の第1のタイプ（有意フラグと呼ばれ、sig＿coeff＿flagで示される）。
（ii）それぞれの変換係数の絶対変換係数レベルのパリティを示すバイナリ構文要素（1102）の第2のタイプ（パリティフラグと呼ばれ、par＿level＿flagによって示される）。パリティフラグは、それぞれの変換係数の絶対変換係数レベルが非ゼロである場合にのみ生成される。
（iii）（absLevel－1）＞＞1がそれぞれの変換係数について0より大きいかどうかを示す第3のタイプのバイナリ構文要素（1103）（1より大きいフラグと呼ばれ、rem＿abs＿gt1＿flagによって示される）。1より大きいフラグは、それぞれの変換係数の絶対変換係数レベルが非ゼロである場合にのみ生成される。

第2のパスの間に、第4のタイプのバイナリ構文要素（1104）が生成されてもよい。第4のタイプの構文要素（1104）は、2より大きいフラグと呼ばれ、rem＿abs＿gt2＿flagによって表される。第4のタイプの構文要素（1104）は、それぞれの変換係数の絶対変換係数レベルが4より大きいかどうかを示す。2より大きいフラグは、それぞれの変換係数について（absLevel－1）＞＞1が0より大きい場合にのみ生成される。

第3のパスの間に、第5のタイプの非バイナリ構文要素（1105）が生成され得る。第5のタイプの構文要素（1105）はabs＿remainderによって表されてもよく、4より大きいそれぞれの変換係数の絶対変換係数レベルの残りの値を示す。第5のタイプの構文要素（1105）は、それぞれの変換係数の絶対変換係数レベルが4より大きい場合にのみ生成される。

第4のパスの間、それぞれの変換係数レベルの符号を示す非ゼロ係数レベルを有する第6のタイプの構文要素（1106）が各走査位置（1110）で生成され得る。

TSモードでは、第1のパスは、有意フラグ、パリティフラグ、1より大きいフラグ、および2より大きいフラグを含むことができる。さらに、xフラグより大きいなどの追加のタイプの構文要素が、別個のパス中に生成されてもよい。xより大きいフラグは、rem＿abs＿gtx＿flagによって表され、それぞれの変換係数の絶対変換係数レベルがxまたは別の所定の値より大きいかどうかを示すことができる。いくつかの例では、xは2、4、6、または8であり得る。

上述した様々なタイプの構文要素は、パスの順序および各パスにおける走査順序に従ってエントロピー符号化器に提供することができる。異なるタイプの構文要素を符号化するために、異なるエントロピー符号化方式を使用することができる。例えば、一実施形態では、有意フラグ、パリティフラグ、1より大きいフラグ、および2より大きいフラグは、図9Aで説明したように、CABACベースのエントロピー符号化器で符号化することができる。対照的に、第3および第4のパス中に生成された構文要素は、CABACバイパスエントロピー符号化器（例えば、入力ビンの固定確率推定値を有するバイナリ算術符号化器）で符号化することができる。

2．変換係数構文要素のビンの文脈モデリング
文脈モデリングを実行して、いくつかのタイプの変換係数構文要素のビンの文脈モデルを決定することができる。一実施形態では、変換係数間の相関を利用するために、文脈モデルは、場合によっては他の要因と組み合わせて、ローカルテンプレートおよび各現在の係数の対角位置（例えば、現在処理中の係数）に従って決定することができる。

図12は、現在の係数の文脈選択に使用されるローカルテンプレート（1230）の一例を示す。ローカルテンプレート（1230）は、係数ブロック（1210）内の現在の係数（1220）の隣接する位置または係数のセットをカバーすることができる。係数ブロック（1210）は、8×8の位置のサイズを有することができ、64の位置に係数レベルを含むことができる。係数ブロック（1210）は、各々が4×4の位置のサイズを有する4つのサブブロックに分割される。各サブブロックは、4×4の係数位置を含むことができるCGであり得る。CG（1240）は、現在の係数（1210）を含む。CG（1240）がゼロ係数レベルのみを含むかどうかを示すためにフラグが信号で通知されてもよい。図12の例では、ローカルテンプレート（1230）は、現在の係数（1220）の右下側の5つの係数レベルをカバーする5ポジションテンプレートであると定義される。逆対角走査順序が係数ブロック（1210）内の走査位置にわたる複数のパスに使用される場合、ローカルテンプレート（1230）内の隣接位置は、現在の係数（1220）の前に処理される。TSモードでは、走査順序は逆対角走査順序の反対であってもよく、ローカルテンプレートは、現在の係数の左上側の5つの係数レベルをカバーすることができる。

文脈モデリング中に、ローカルテンプレート（1230）内の係数レベルの情報を使用して、文脈モデルを決定することができる。この目的のために、テンプレートの大きさと呼ばれる尺度は、いくつかの実施形態では、ローカルテンプレート（1230）内の変換係数または変換係数レベルの大きさを測定または示すために定義される。次いで、テンプレートの大きさを、文脈モデルを選択するための基礎として使用することができる。

一例では、テンプレートの大きさは、ローカルテンプレート（1230）内の部分的に再構築された絶対変換係数レベルのsumAbs1によって示される合計であるように定義される。部分的に再構築された絶対変換係数レベルは、それぞれの変換係数の構文要素、sig＿coeff＿flag、par＿level＿flag、およびrem＿abs＿gt1＿flagのビンに従って決定することができる。これら3つのタイプの構文要素は、エントロピー符号化器またはエントロピー復号器で実行されるサブブロックの走査位置の第1の通過後に取得され得る。一実施形態では、numSigは、ローカルテンプレート（1230）内の非ゼロ係数の数である。さらに、走査位置（x、y）dの対角位置は、d＝x＋yに従って定義され、xおよびyはそれぞれの位置の座標である。文脈モデルインデックスは、以下に説明するように、sumAbs1および対角位置dに基づいて選択することができる。

3．局所テンプレートおよび対角位置に基づく文脈インデックス決定
一実施形態では、エントロピー符号化器または復号器における文脈モデリング処理中に、文脈インデックスは、現在の係数（1220）の文脈符号化されたバイナリ構文要素について以下に説明するように決定することができる。判定は、ローカルテンプレート（1230）および現在の係数（1220）の対角位置に基づくことができる。

（1）sig＿coeff＿flag

現在の係数（1220）のsig＿coeff＿flagを符号化する際には、現在の係数（1220）のsumAbs1と対角位置dに応じて文脈インデックスを選択することができる。例えば、輝度成分の場合、文脈インデックスは以下に従って決定される。
ctxSig＝18＊max（0、state－1）＋min（sumAbs1、5）＋（d＜2？12（d＜5？6：0））（式7）
ここで、ctxSigは有意フラグ構文要素の文脈インデックスを表し、「状態」は従属量子化方式のスケーラ量子化器の状態を指定し、状態は0、1、2、または3の値を有することができる。

式7は、以下の式と等価である。
ctxIdBase＝18＊max（0、state－1）＋（d＜2？12：（d＜5？6：0））（式8）
ctxSig＝ctxIdSigTable［min（sumAbs1、5）］＋ctxIdBase（式9）

式8および式9において、ctxIdBaseは、文脈インデックスのベースを表す。文脈インデックスのベースは、状態および対角位置dに基づいて決定することができる。例えば、状態は、0、1、2、または3の値を有することができ、したがって、max（0，state－1）は、0、1、または2の3つの可能な値のうちの1つを有することができる。例えば、（d＜2？12：（d＜5？6：0））は、d：d＜2、2＜＝d＜5、または5＜＝dの異なる範囲に対応する、12、6、または0の値をとることができる。

式8および式9に示すように、ctxIdSigTable［］は、配列データ構造を表すことができ、ctxIdBaseに対する有意フラグの文脈インデックスオフセットを格納することができる。例えば、異なるsumAbs1値の場合、min（sumAbs1、5）はsumAbs1値を5以下にクリップする。次に、切り取られた値は、文脈インデックスのオフセットにマッピングされる。例えば、ctxIdSigTable［0～5］＝｛0，1，2，3，4，5｝の定義の下では、切り取られた値0、1、2、3、4、または5は、それぞれ0、1、2、3、4、または5にマッピングされる。

彩度成分の場合、文脈インデックスは、以下に従って決定することができる。
ctxSig＝12＊max（0、state－1）＋min（sumAbs1、5）＋（d＜2？6：0）（式10）
これは、以下の式と等価である。
ctxIdBase＝12＊max（0、state－1）＋（d＜2？6：0）（式11）
ctxSig＝ctxIdSigTable［min（sumAbs1、5）］＋ctxIdBase（式12）

（2）par＿level＿flag

現在の係数（1220）のpar＿level＿flagを符号化する場合、sumAbs1、numSig、および対角位置dに応じて文脈インデックスを選択することができる。例えば、輝度成分の場合、現在の係数が復号順で最初の非ゼロ係数である場合、文脈インデックスctxParは0であるように割り当てられる。そうでなければ、文脈インデックスは、
ctxPar＝1＋min（sumAbs1－numSig、4）＋（d＝＝0？15：（d＜3？：10（d＜10？5：0）））（式13）
これは、以下の式と等価である。
ctxIdBase＝（d＝＝0？15：（d＜3？10：（d＜10？5：0）））（式14）ctxPar＝1＋ctxIdTable［min（sumAbs1－numSig、4）］＋ctxIdBase（式15）
ここで、ctxParはパリティフラグの文脈インデックスを表し、ctxIdTable［］は別の配列データ構造を表し、それぞれのctxIdBaseに対する文脈インデックスオフセットを格納する。例えば、ctxIdTable［0～4］＝｛0，1，2，3，4｝である。

彩度について、現在の係数が復号順で最初の非ゼロ係数である場合、文脈インデックスctxParは0であるように割り当てられる。そうでない場合、文脈インデックスは、
ctxPar＝1＋min（sumAbs1－numSig、4）＋（d＝＝0？5：0）（式16）
これは、以下の式と等価である。
ctxIdBase＝（d＝＝0？5：0）（式17）
ctxPar＝1＋ctxIdTable［min（sumAbs1－numSig、4）］＋ctxIdBase（式18）

（3）rem＿abs＿gt1＿flagおよびrem＿abs＿gt2＿flag

現在の係数（1220）のrem＿abs＿gt1＿flagおよびrem＿abs＿gt2＿flagを符号化するとき、文脈モデルインデックスは、par＿level＿flagと同じ方法で決定することができる。
ctxGt 1＝ctxPar、
ctxGt 2＝ctxPar、
ここで、ctxGt 1およびctxGt 2は、それぞれ1より大きいフラグおよび2より大きいフラグの文脈インデックスを表す。

異なるタイプの構文要素、sig＿coeff＿flag、par＿level＿flag、rem＿abs＿gt1＿flagおよびrem＿abs＿gt2＿flagに対して異なるセットの文脈モデルが使用されることに留意されたい。例えば、rem＿abs＿gt1＿flagに用いられる文脈モデルは、ctxGt 1の値とctxGt 2の値とが等しくても、rem＿abs＿gt2＿flagとは異なる。

VI．TSモードおよびBDPCMモードのための残差符号化
TSモードとBDPCMモードの両方の残差符号化は、変換なしで空間領域で処理される。したがって、係数符号化のより簡単な設計のために、TSモードとBDPCMモードとの間の共有モジュールを使用することができる。

さらに、TSモードおよびBDPCMモードの係数は、変換および量子化に関連する通常の変換係数とは異なる特性を示す。したがって、TSモードとBDPCMモードとで異なる係数符号化方式は、より良好な符号化性能を示すことができる。

一実施形態では、TSモードおよび／またはBDPCMモードの係数符号化のために、absLevelのパリティを示すパリティビットフラグ（例えば、par＿level＿flagである）は、算術符号化において文脈モデリングを使用せずにバイパス符号化（すなわち、等しい確率モデルを有する符号）され得る。一例では、パリティビットフラグは、別個のパスで符号化することができる。別の例では、パリティビットフラグは、同じパス内の残りの値（すなわち、係数レベルの合計値と4との差であり、abs＿remainderと呼ばれる）とともに符号化することができる。

一実施形態では、TSモードおよび／またはBDPCMモードの係数符号化のために、absLevelのパリティを示すパリティビットフラグ（例えば、par＿level＿flagである）は符号化されなくてもよい。代わりに、他の構文要素（例えば、sig＿coeff＿flag、abs＿gt1＿flag、abs＿gt2＿flag、符号情報、およびabs＿remainder）が符号化される。

一例では、構文要素sig＿coeff＿flagおよびabs＿gt1＿flagは、第1のパスで符号化され得る。構文要素abs＿gt2＿flagは、第2のパスで符号化されてもよい。構文要素abs＿remainderは、必要に応じて、第3のパスで符号化されてもよい。標識情報は、第4のパスで符号化されてもよい。

別の例では、構文要素sig＿coeff＿flag、abs＿gt1＿flag、および符号情報は、第1のパスで符号化されてもよい。構文要素abs＿gt2＿flagは、第2のパスで符号化されてもよい。構文要素abs＿remainderは、第3のパスで符号化されてもよい。

一実施形態では、TSモードおよび／またはBDPCMモードの係数符号化のために、構文要素rem＿abs＿gt1＿flagおよびrem＿abs＿gt2＿flagに加えて、rem＿abs＿gt3＿flag（absLevelが6より大きいことを示す）および／またはrem＿abs＿gt4＿flag（absLevelが8より大きいことを示す）などの追加の構文要素も信号で通知され得る。x以外のフラグも信号で通知されてもよく、xは4より大きい整数である。一例では、構文要素rem＿abs＿gt3＿flagおよび／またはrem＿abs＿gt4＿flagは、エントロピー符号化のために別々の文脈を使用することができる。

一実施形態では、TSモードおよび／またはBDPCMモードの係数符号化の場合、各非ゼロ係数の符号情報を符号化するとき、文脈は以前に符号化された符号ビット値に依存し得る。

一例では、図13Aは、符号情報を符号化するために使用される文脈が、現在の係数（Xとしてマークされている）の上係数ブロック（1301）および左係数ブロック（1302）を含むことを示している。別の例では、図13Bは、標識情報を符号化するために使用される文脈が、現在の係数（Xとしてマークされている）の複数の上部および左側の係数ブロック（1303，1304，1305，1306，1307）を含むことを示す。

一実施形態では、符号情報を符号化するために使用される文脈は、以前に符号化されたN個の符号ビットに依存する。Nの例示的な値は、1、2、3、および4を含む。

一実施形態では、符号情報を符号化する代わりに、符号残差が符号化され、符号残差ビットは、現在の符号ビットが予測符号ビット値に等しいかどうかを示す。一例では、予測符号ビットは、以前に走査されたN個の符号ビットを使用して導出される。Nの例示的な値は、1、2、3、および4を含む。別の例では、予測符号ビットは、左および／または上の隣接符号ビット値を使用して導出される。

一実施形態では、TSモードおよび／またはBDPCMモードの係数符号化のために、係数の大きさを符号化するとき、1つまたは複数の初期レベル値が信号で通知され得、次いで、各非ゼロ係数の残差と1つまたは複数の初期レベル値のうちの1つとの差が信号で通知される。初期レベル値は、係数の係数レベルの中で最も頻繁に現れる値であってもよい。一実施形態では、係数ブロックまたは変換ブロック内に1つの初期レベル値のみが存在してもよく、他の係数レベルは0である。一実施形態では、初期レベル値は閾値（例えば、初期レベル値は特定の閾値を超えることはできない）に制限される。一実施形態では、初期レベル値の数は、1、2、3、または4などの閾値に制限される。

一実施形態では、複数の初期レベル値が信号で通知されるとき、初期レベル値は昇順に配置される。次いで、各係数について、最小初期レベル値から開始して、現在の係数が現在の初期レベル値よりも大きいレベル値を有するかどうかを示すフラグが信号で通知され得る。さらに、一例では、現在の係数が現在の初期レベル値より大きくないが、前の初期レベル値より大きいレベル値を有する場合、現在の初期レベル値と前の初期レベル値との間の差が信号で通知される。一例では、前の初期レベル値は現在の初期レベル値よりも小さい。

VII．例示的な復号処理
図14は、本開示の実施形態による係数復号処理（1400）を概説するフローチャートを示す。処理（1400）は、いくつかのタイプの係数構文要素のエントロピー復号に使用することができる。様々な実施形態において、処理（1400）は、端末装置（210）、（220）、（230）および（240）の処理回路、ビデオ復号器（310）の機能を実行する処理回路、ビデオ復号器（410）の機能を実行する処理回路などの処理回路によって実行することができる。いくつかの実施形態では、処理（1400）はソフトウェア命令で実施され、したがって、処理回路がソフトウェア命令を実行すると、処理回路は処理（1400）を実行する。処理は（S1401）から開始され、（S1410）に進む。

（S1410）において、構文要素を含むビットストリームが受信される。構文要素は、符号化画像内の変換スキップされたブロックの領域の係数に対応する。構文要素は、第1のフラグおよび第2のフラグを含む。第1のフラグは、係数のうちの1つの絶対係数レベルが0より大きいかどうかを示し、第2のフラグは、絶対係数レベルのパリティを示す。例えば、第1のフラグは、現在の係数（例えば、absLevel）の絶対値が0より大きいことを示す有意構文要素（例えば、sig＿coeff＿flag）であってもよい。第2のフラグは、absLevelのパリティを示すパリティ構文要素（例えば、par＿level＿flagである）であってもよい。変換スキップされたブロックは、変換ブロックに対して変換が実行されなかったことを示し得る。例えば、現在のブロックがBDPCMで符号化されている場合、変換ブロックに対して変換は実行されない。

（S1420）において、第2のフラグは、等確率モデルに基づいて復号される。一例では、パリティ構文要素である第2のフラグは、算術復号における文脈モデリングなしで復号され得る。すなわち、第2のフラグは、算術符号化において、文脈モデリングを行わずにバイパス符号化される。一例では、第2のフラグは、他の構文要素を復号することなく、変換スキップされたブロックの領域の別個のパスで復号される。別の例では、第2のフラグは、係数のうちの1つの絶対係数レベルと4との間の差を示す2より大きいフラグを用いて、変換スキップされたブロックの領域の同じパスで復号される。処理（1400）は、（S1499）に進み、終了する。

図15は、本開示の実施形態による係数復号処理（1500）を概説するフローチャートを示す。処理（1500）は、いくつかのタイプの係数構文要素のエントロピー復号に使用することができる。様々な実施形態において、処理（1500）は、端末装置（210）、（220）、（230）および（240）の処理回路、ビデオ復号器（310）の機能を実行する処理回路、ビデオ復号器（410）の機能を実行する処理回路などの処理回路によって実行することができる。いくつかの実施形態では、処理（1500）はソフトウェア命令で実施され、したがって、処理回路がソフトウェア命令を実行すると、処理回路は処理（1500）を実行する。処理は（S1501）から開始され、（S1510）に進む。

（S1510）において、構文要素を含むビットストリームが受信される。構文要素は、符号化画像内の変換スキップされたブロックの領域の係数に対応する。構文要素は、第1のフラグ、第2のフラグ、第3のフラグ、第4のフラグ、第5のフラグ、および第6のフラグを含む。第1のフラグ（例えば、sig＿coeff＿flag）は、一方の係数の絶対係数レベル（例えば、absLevel）が0より大きいか否かを示す。第2のフラグ（例えば、par＿level＿flagである）は、一方の係数の絶対係数レベルのパリティを示す。第3のフラグ（例えば、rem＿abs＿gt1＿flag）は、一方の係数の絶対係数レベルが2より大きいかどうかを示す。第4のフラグは、一方の係数の係数レベルの符号情報を示す。第5のフラグ（例えば、rem＿abs＿gt2＿flag）は、一方の係数の絶対係数レベルが4より大きいかどうかを示す。第6のフラグ（例えば、abs＿remainder）は、一方の係数の絶対変換係数レベルと指定値（例えば、4）との差を示す。一実施形態では、第2のフラグは符号化されず、第1、第3のフラグ、第4のフラグ、第5のフラグ、および第6のフラグが符号化される。変換スキップされたブロックは、変換ブロックに対して変換が実行されなかったことを示し得る。例えば、現在のブロックがBDPCMで符号化されている場合、変換ブロックに対して変換は実行されない。

（S1520）において、第1のフラグおよび第3のフラグは、第1のパスで復号される。

（S1530）において、第5のフラグが第2のパスで復号される。

（S1540）において、第2のフラグは、第3のパスで復号される。なお、各種走査パスにおけるフラグの復号順は、（S1520）、（S1530）、および（S1540）に記載の順に限定されない。処理（1500）は、（S1599）に進み、終了する。

図16は、本開示の実施形態による係数復号処理（1600）を概説するフローチャートを示す。処理（1600）は、いくつかのタイプの係数構文要素のエントロピー復号に使用することができる。様々な実施形態において、処理（1600）は、端末装置（210）、（220）、（230）および（240）の処理回路、ビデオ復号器（310）の機能を実行する処理回路、ビデオ復号器（410）の機能を実行する処理回路などの処理回路によって実行することができる。いくつかの実施形態では、処理（1600）はソフトウェア命令で実施され、したがって、処理回路がソフトウェア命令を実行すると、処理回路は処理（1600）を実行する。処理は（S1601）から開始され、（S1610）に進む。

（S1610）において、構文要素を含むビットストリームが受信される。構文要素は、符号化画像内の変換スキップされたブロックの領域の係数に対応し、係数のうちの1つの絶対係数レベルが0より大きいかどうかを示す第1のフラグと、係数のうちの1つの絶対係数レベルのパリティを示す第2のフラグとを含む。例えば、第1のフラグは、現在の係数（例えば、absLevel）の絶対値が0より大きいことを示す有意構文要素（例えば、sig＿coeff＿flag）であってもよい。第2のフラグは、absLevelのパリティを示すパリティ構文要素（例えば、par＿level＿flagである）であってもよい。変換スキップされたブロックは、変換ブロックに対して変換が実行されなかったことを示し得る。例えば、現在のブロックがBDPCMで符号化されている場合、変換ブロックに対して変換は実行されない。

（S1620）において、変換スキップされたブロックの別の領域内の第2のフラグの以前に復号された値に基づいて、第2のフラグのいくつかのビンの文脈モデルを決定するために文脈モデリングが実行される。他の領域は、標識情報を符号化するための文脈を含む。一例では、符号情報を符号化するために使用される文脈は、現在の係数の上係数ブロックおよび左係数ブロックを含む。別の例では、標識情報を符号化するために使用される文脈は、現在の係数の複数の上部および左側の係数ブロックを含む。

（S1630）において、決定された文脈モデルに基づいて第2のフラグのビンの数が復号される。処理（1600）は、（S1699）に進み、終了する。

図17は、本開示の実施形態による係数復号処理（1700）を概説するフローチャートを示す。処理（1700）は、いくつかのタイプの係数構文要素のエントロピー復号に使用することができる。様々な実施形態において、処理（1700）は、端末装置（210）、（220）、（230）および（240）の処理回路、ビデオ復号器（310）の機能を実行する処理回路、ビデオ復号器（410）の機能を実行する処理回路などの処理回路によって実行することができる。いくつかの実施形態では、処理（1700）はソフトウェア命令で実施され、したがって、処理回路がソフトウェア命令を実行すると、処理回路は処理（1700）を実行する。処理は（S1701）から開始され、（S1710）に進む。

（S1710）において、構文要素を含むビットストリームが受信される。構文要素は、符号化画像内の変換スキップされたブロックの領域の係数に対応する。構文要素は、係数のうちの1つの絶対係数レベルが0より大きいかどうかを示す第1のフラグを含むことができる。例えば、第1のフラグは、現在の係数（例えば、absLevel）の絶対値が0より大きいことを示す有意構文要素（例えば、sig＿coeff＿flag）であってもよい。変換スキップされたブロックは、変換ブロックに対して変換が実行されなかったことを示し得る。例えば、現在のブロックがBDPCMで符号化されている場合、変換ブロックに対して変換は実行されない。

（S1720）において、係数の最も頻度の高い絶対係数レベルを示す初期レベル値が受信される。初期レベル値は、閾値に限定されてもよい。加えて、初期レベル値の数は、1、2、3、または4などの閾値に制限されてもよい。

（S1730）において、係数の非ゼロ係数ごとの差分値が受信される。差分値は、各々の非ゼロ係数の絶対係数レベルと初期レベル値との差である。

（S1740）において、構文要素は、受信した初期レベル値および受信した差分値に基づいて復号される。処理（1700）は、（S1799）に進み、終了する。

VIII．コンピュータシステム
上述した技術は、コンピュータ可読命令を使用し、1つまたは複数のコンピュータ可読媒体に物理的に記憶されたコンピュータソフトウェアとして実装することができる。例えば、図18は、開示された主題の特定の実施形態を実施するのに適したコンピュータシステム（1800）を示す。

コンピュータソフトウェアは、任意の適切な機械符号またはコンピュータ言語を使用して符号化でき、アセンブリ、コンパイル、リンク、または同様のメカニズムの対象となり、1つまたは複数のコンピュータ中央処理装置（CPU）、グラフィック処理装置（GPU）などによる直接、または解釈、マイクロ符号の実行などを通じて実行できる命令を含む符号を作成する。

命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲーム装置、モノのインターネット装置などを含む様々な種類のコンピュータまたはその構成要素上で実行することができる。

コンピュータシステム（1800）について図18に示す構成要素は、本質的に例示的なものであり、本開示の実施形態を実施するコンピュータソフトウェアの使用または機能の範囲に関する制限を示唆することを意図するものではない。成分の構成は、コンピュータシステム（1800）の例示的な実施形態に示されている成分のいずれかまたは組み合わせに関する依存関係または要件を有すると解釈されるべきではない。

コンピュータシステム（1800）は、特定のヒューマンインターフェース入力装置を含むことができる。そのようなヒューマンインターフェース入力装置は、例えば、触知入力（例えば、キーストローク、スワイプ、データグローブの動き）、音声入力（例えば、声、拍手）、視覚入力（例えば、ジェスチャ）、嗅覚入力（図示せず）を介した1人以上の人間のユーザによる入力に応答することができる。ヒューマンインターフェース装置を使用して、音声（スピーチ、音楽、環境音など）、画像（走査した画像、静止画像カメラから得られる写真画像など）、ビデオ（2次元ビデオ、立体ビデオを含む3次元ビデオなど）など、人間による意識的な入力に必ずしも直接関係しない特定の媒体をキャプチャすることもできる。

入力ヒューマンインターフェース装置は、キーボード（1801）、マウス（1802）、トラックパッド（1803）、タッチスクリーン（1810）、データグローブ（図示せず）、ジョイスティック（1805）、マイクロフォン（1806）、スキャナ（1807）、カメラ（1808）のうちの1つまたは複数（各々のうちのただ1つ）を含むことができる。

コンピュータシステム（1800）はまた、特定のヒューマンインターフェース出力装置を含んでもよい。そのようなヒューマンインターフェース出力装置は、例えば、触知出力、音、光、および匂い／味によって1人または複数の人間のユーザの感覚を刺激することができる。そのようなヒューマンインターフェース出力装置は、触知出力装置（例えば、タッチスクリーン（1810）、データグローブ（図示せず）、またはジョイスティック（1805）による触覚フィードバックであるが、入力装置として機能しない触覚フィードバック装置も存在し得る）、音声出力装置（例えば、スピーカ（1809）、ヘッドホン（図示せず））、視覚出力装置（例えば、CRTスクリーン、LCDスクリーン、プラズマスクリーン、OLEDスクリーンを含むスクリーン（1810）であって、それぞれがタッチスクリーン入力機能を有するかまたは有さず、それぞれが触知フィードバック機能を有するかまたは有さず、その一部は、ステレオ出力などの手段を介して二次元視覚出力または三次元超出力を出力することができてもよい；仮想現実メガネ（図示せず）、ホログラフィックディスプレイ、および煙タンク（図示せず））、およびプリンタ（図示せず）を含むことができる。

コンピュータシステム（1800）はまた、人間がアクセス可能な記憶装置およびそれらの関連媒体、例えば、CD／DVDなどの媒体を有するCD／DVD ROM／RW（1820）を含む光学媒体（1821）、サムドライブ（1822）、リムーバブルハードドライブまたはソリッド・ステート・ドライブ（1823）、テープおよびフロッピーディスク（図示せず）などのレガシー磁気媒体、セキュリティドングル（図示せず）などの専用ROM／ASIC／PLDベースの装置などを含むことができる。

当業者はまた、ここで開示される主題に関連して使用される「コンピュータ可読媒体」という用語は、送信媒体、搬送波、または他の一時的な信号を包含しないことを理解するべきである。

コンピュータシステム（1800）は、1つまたはそれ以上の通信ネットワークへのインターフェースも含み得る。ネットワークは、例えば、無線、有線、光であり得る。ネットワークはさらに、ローカル、広域、メトロポリタン、車両および産業、リアルタイム、遅延耐性などであり得る。ネットワークの例には、イーサネット、無線LANなどのローカルエリアネットワーク、GSM、3G、4G、5G、LTEなどを含むセルラーネットワーク、ケーブルTV、衛星TV、および地上波放送TVを含むテレビ有線または無線広域デジタルネットワーク、CANBusを含む車両および産業用などが含まれる。特定のネットワークは、一般に、特定の汎用データポートまたは周辺バス（1849）に取り付けられた外部ネットワークインターフェースアダプタを必要とする（例えば、コンピュータシステム（1800）のUSBポートなど）。他のものは、一般に、後述するようなシステムバスへの取り付け（例えば、PCコンピュータシステムへのイーサネットインターフェースまたはスマートフォンコンピュータシステムへのセルラーネットワークインターフェース）によってコンピュータシステム（1800）のコアに統合される。これらのネットワークのいずれかを使用して、コンピュータシステム（1800）は、他のエンティティと通信することができる。そのような通信は、例えば、ローカルまたは広域デジタルネットワークを使用する他のコンピュータシステムに対して、単方向、受信のみ（例えば、放送TV）、単方向送信のみ（例えば、特定のCANbus装置へのCANbus）、または双方向であり得る。特定のプロトコルおよびプロトコルスタックは、上述したように、それらのネットワークおよびネットワークインターフェースのそれぞれで使用することができる。

前述のヒューマンインターフェース装置、ヒューマンアクセスストレージ装置、およびネットワークインターフェースは、コンピュータシステム（1800）のコア（1840）に取り付けることができる。

コア（1840）には、1つまたは複数の中央処理装置（CPU）（1841）、グラフィックス処理装置（GPU）（1842）、フィールド・プログラマブル・ゲート・エリア（FPGA）（1843）、特定のタスクのハードウェアアクセラレータ（1844）などの形式の特殊なプログラマブル処理装置を含めることができる。これらの装置は、読取り専用メモリ（ROM）（1845）、ランダムアクセスメモリ（1846）、内部非ユーザアクセス可能ハードドライブなどの内部大容量ストレージ、SSDなど（1847）とともに、システムバス（1848）を介して接続されてもよい。いくつかのコンピュータシステムでは、システムバス（1848）は、追加のCPU、GPUなどによる拡張を可能にするために、1つまたは複数の物理プラグの形態でアクセス可能であり得る。周辺機器は、コアのシステムバス（1848）に直接取り付けることも、周辺バス（1849）を介して取り付けることもできる。周辺バスのアーキテクチャには、PCI、USBなどが含まれる。

CPU（1841）、GPU（1842）、FPGA（1843）、およびアクセラレータ（1844）は、組み合わせて上述のコンピュータコードを構成することができる特定の命令を実行することができる。そのコンピュータコードは、ROM（1845）またはRAM（1846）に記憶することができる。移行データはまた、RAM（1846）に記憶することができ、一方、永続データは、例えば内部大容量ストレージ（1847）に記憶することができる。メモリ装置のいずれかへの高速記憶および検索は、1つまたは複数のCPU（1841）、GPU（1842）、大容量ストレージ（1847）、ROM（1845）、RAM（1846）などと密接に関連付けることができるキャッシュメモリの使用によって可能にすることができる。

コンピュータ可読媒体は、様々なコンピュータ実装動作を実行するためのコンピュータコードを有することができる。媒体およびコンピュータコードは、本開示の目的のために特別に設計および構築されたものであってもよく、またはコンピュータソフトウェア技術の当業者に周知で利用可能な種類のものであってもよい。

限定ではなく、例として、アーキテクチャ（1800）、特にコア（1840）を有するコンピュータシステムは、1つまたは複数の有形のコンピュータ可読媒体で具現化されたソフトウェアを実行するプロセッサ（CPU、GPU、FPGA、アクセラレータなどを含む）の結果として機能を提供することができる。そのようなコンピュータ可読媒体は、上述のようなユーザアクセス可能な大容量ストレージ、ならびにコア内部大容量ストレージ（1847）またはROM（1845）などの非一時的な性質のコア（1840）の特定のストレージに関連付けられた媒体とすることができる。本開示の様々な実施形態を実施するソフトウェアは、そのような装置に格納され、コア（1840）によって実行することができる。コンピュータ可読媒体は、特定の必要性に応じて、1つまたは複数のメモリ装置またはチップを含むことができる。ソフトウェアは、コア（1840）、具体的にはその中のプロセッサ（CPU、GPU、FPGAなどを含む）に、RAM（1846）に記憶されたデータ構造を定義すること、およびソフトウェアによって定義された処理に従ってそのようなデータ構造を修正することを含む、本明細書に記載の特定の処理または特定の処理の特定の部分を実行させることができる。加えて、または代替として、コンピュータシステムは、ハードワイヤードまたは他の方法で回路（例えば、アクセラレータ（1844））に具現化された論理の結果として機能を提供することができ、ソフトウェアの代わりに、またはソフトウェアとともに動作して、本明細書に記載の特定の処理または特定の処理の特定の部分を実行することができる。ソフトウェアへの参照は、適切な場合には、論理を包含することができ、逆もまた同様である。コンピュータ可読媒体への言及は、必要に応じて、実行のためのソフトウェアを記憶する回路（集積回路（IC）など）、実行のための論理を具現化する回路、またはその両方を包含することができる。本開示は、ハードウェアとソフトウェアとの任意の適切な組み合わせを包含する。
付録A：頭字語
JEM：joint exploration model 共同探索モデル
VVC：versatile video coding 汎用ビデオ符号化
BMS：benchmark set ベンチマークセット
MV：Motion Vector 動きベクトル
HEVC：High Efficiency Video Coding 高効率ビデオ符号化
SEI：Supplementary Enhancement Information 追加の拡張情報
VUI：Video Usability Information ビデオのユーザビリティ情報
GOP：Group of Pictures 画像群
TU：Transform Units，変換ユニット
PU：Prediction Units 予測ユニット
CTU：Coding Tree Units 符号化ツリーユニット
CTB：Coding Tree Blocks 符号化ツリーブロック
PB：Prediction Blocks 予測ブロック
HRD：Hypothetical Reference Decoder 仮想参照復号器
SNR：Signal Noise Ratio 信号雑音比
CPU：Central Processing Units 中央処理装置
GPU：Graphics Processing Units グラフィックス処理ユニット
CRT：Cathode Ray Tube ブラウン管
LCD：Liquid－Crystal Display 液晶ディスプレイ
OLED：Organic Light－Emitting Diode 有機発光ダイオード
CD：Compact Disc コンパクトディスク
DVD：Digital Video Disc デジタル・ビデオ・ディスク
ROM：Read－Only Memory 読み出し専用メモリ
RAM：Random Access Memory ランダムアクセスメモリ
ASIC：Application－Specific Integrated Circuit 特定用途向け集積回路
PLD：Programmable Logic Device プログラマブル・ロジック・デバイス
LAN：Local Area Network ローカルエリアネットワーク
GSM：Global System for Mobile communications グローバル移動体通信システム
LTE：Long－Term Evolution ロング・ターム・エボリューション
CANBus：Controller Area Network Bus コントローラ・エリア・ネットワーク・バス
USB：Universal Serial Bus ユニバーサル・シリアル・バス
PCI：Peripheral Component Interconnect 周辺構成要素相互接続
FPGA：Field Programmable Gate Areas フィールド・プログラマブル・ゲート・エリア
SSD：solid－state drive ソリッド・ステート・ドライブ
IC：Integrated Circuit 集積回路
CU：Coding Unit 符号化ユニット
DPCM：Differential Pulse－code Modulation 差動パルス符号変調
BDPCM：Block Differential Pulse－code Modulation ブロック差分パルス符号変調
SCC：Screen Content Coding スクリーンコンテンツ符号化
Bs：Boundary Strength 境界強度
SAO：Sample Adaptive Offset サンプル適応オフセット
ALF：Adaptive Loop Filtering 適応ループフィルタリング
CABAC：Context－based Adaptive Binary Arithmetic Coding 文脈ベース適応型バイナリ算術符号化

本開示はいくつかの例示的な実施形態を説明してきたが、本開示の範囲内にある変更、置換、および様々な代替均等物が存在する。したがって、当業者は、本明細書に明示的に示されていないまたは記載されていないが、本開示の原理を具体化し、したがってその趣旨および範囲内にある多数のシステムおよび方法を考案することができることが理解されよう。

101 現在のブロック
102 周囲サンプル
103 周囲サンプル
104 周囲サンプル
105 周囲サンプル
106 周囲サンプル
200 通信システム
210 端末機器
220 端末機器
230 端末機器
240 端末機器
250 ネットワーク
301 ビデオソース
302 ビデオ画像ストリーム
303 ビデオ符号化器
304 符号化ビデオデータ
305 ストリーミングサーバ
306 クライアントサブシステム
307 コピー
309 コピー
310 ビデオ復号器
311 ビデオ画像の出力ストリーム
312 ディスプレイ
313 キャプチャサブシステム
320 電子機器
330 電子機器
401 チャネル
410 ビデオ復号器
412 レンダリング装置
415 バッファメモリ
420 解析器
421 シンボル
430 電子機器
431 受信機
451 スケーラ／逆変換ユニット
452 イントラ画像予測ユニット
453 動作補償予測ユニット
455 アグリゲータ
456 ループ・フィルタ・ユニット
457 参照画像メモリ
458 画像バッファ
501 ビデオソース
503 ビデオ符号化器
543 符号化ビデオデータ
520 電子機器
530 ソース符号化器
532 符号化エンジン
533 復号器
534 参照画像メモリ
535 予測器
540 送信機
545 エントロピー符号化器
550 コントローラ
560 通信チャネル
603 ビデオ符号化器
625 エントロピー符号化器
621 汎用コントローラ
622 イントラ符号化器
623 残差計算器
624 残差符号化器
626 スイッチ
628 残差復号器
630 インター符号化器
710 ビデオ復号器
773 残差復号器
771 エントロピー復号器
772 イントラ復号器
774 再構築モジュール
780 インター復号器
900A エントロピー符号化器
900B エントロピー復号器
901 メモリ
902 文脈モデルリスト
903 メモリ
904 文脈モデルリスト
910 文脈モデラ
940 文脈モデラ
920 バイナリ算術符号化器
930 バイナリ算術復号器
1001 サブブロック
1010 ブロック
1100 サブブロック走査処理
1101 構文要素
1102 構文要素
1103 構文要素
1104 構文要素
1105 構文要素
1106 構文要素
1110 位置
1210 係数ブロック
1220 現在の係数
1230 ローカルテンプレート
1240 CG
1301 係数ブロック
1302 係数ブロック
1303 係数ブロック
1304 係数ブロック
1305 係数ブロック
1306 係数ブロック
1307 係数ブロック
1400 処理
1500 処理
1600 処理
1700 処理
1800 コンピュータシステム
1801 キーボード
1802 マウス
1803 トラックパッド
1805 ジョイスティック
1806 マイクロフォン
1807 スキャナ
1808 カメラ
1809 スピーカ
1810 タッチスクリーン
1820 CD／DVD ROM／RW
1821 光学媒体
1822 サムドライブ
1823 ソリッド・ステート・ドライブ
1840 コア
1841 CPU
1842 GPU
1843 FPGA
1844 ハードウェアアクセラレータ
1845 ROM
1846 RAM
1847 内部大容量ストレージ
1848 システムバス
1849 周辺バス

Claims (4)

1. ビデオ復号器が実行する、ビデオ復号の方法であって、前記方法は、
   構文要素を含むビットストリームを受信するステップであって、前記構文要素は、符号化された画像におけるブロックに対応する変換係数レベルを含み、前記構文要素は、
   前記変換係数レベルのうちの1つの絶対係数レベルが0より大きいかどうかを示す第1のフラグと、
   前記変換係数レベルのうちの前記1つの前記絶対係数レベルのパリティを示す第2のフラグと、
   前記変換係数レベルのうちの前記1つの前記絶対係数レベルが2より大きいかどうかを示す第3のフラグと、
   前記変換係数レベルのうちの前記1つの前記絶対係数レベルの符号情報を示す第4のフラグと、
   前記変換係数レベルのうちの前記1つの前記絶対係数レベルが4より大きいかどうかを示す第5のフラグと、
   前記変換係数レベルのうちの前記1つの前記絶対係数レベルと4の差を示す第6のフラグと、を含む、ステップと、
   前記第1のフラグ、前記第2のフラグ、前記第3のフラグ、および前記第5のフラグを復号するステップと、を含み、
   前記第1のフラグ、前記第2のフラグ、前記第3のフラグ、および前記第5のフラグを復号する前記ステップは、
   第1のパスで前記第1のフラグおよび前記第3のフラグを復号するステップと、
   第2のパスで前記第5のフラグを復号するステップと、
   第3のパスで前記第2のフラグを復号するステップと、
   をさらに含む、方法。
2. ビデオ復号器が実行する、ビデオ復号の方法であって、前記方法は、
   構文要素を含むビットストリームを受信するステップであって、前記構文要素は、符号化された画像におけるブロックに対応する変換係数レベルを含み、前記構文要素は、
   前記変換係数レベルのうちの1つの絶対係数レベルが0より大きいかどうかを示す第1のフラグと、
   前記変換係数レベルのうちの前記1つの前記絶対係数レベルのパリティを示す第2のフラグと、
   前記変換係数レベルのうちの前記1つの前記絶対係数レベルが2より大きいかどうかを示す第3のフラグと、
   前記変換係数レベルのうちの前記1つの前記絶対係数レベルの符号情報を示す第4のフラグと、
   前記変換係数レベルのうちの前記1つの前記絶対係数レベルが4より大きいかどうかを示す第5のフラグと、
   前記変換係数レベルのうちの前記1つの前記絶対係数レベルと4の差を示す第6のフラグと、を含む、ステップと、
   前記第1のフラグ、前記第3のフラグ、前記第4のフラグ、前記第5のフラグ、および前記第6のフラグを復号するステップと、を含み、
   前記第1のフラグ、前記第3のフラグ、前記第4のフラグ、前記第5のフラグ、および前記第6のフラグを復号する前記ステップは、
   第1のパスで前記第1のフラグ、前記第3のフラグ、および前記第4のフラグを復号するステップと、
   第2のパスで前記第5のフラグを復号するステップと、
   第3のパスで前記第6のフラグを復号するステップと、
   をさらに含む、方法。
3. ビデオ復号のための装置であって、
   請求項1または2に記載の方法を行うように構成された処理回路を備える装置。
4. プロセッサに、請求項1または2に記載の方法を実行させるためのコンピュータプログラム。

Images