JP7391121B2

JP7391121B2 - ビデオエンコーディング及びデコーディングのための方法、装置、コンピュータプログラム、及び非一時的なコンピュータ可読媒体

Info

Publication number: JP7391121B2
Application number: JP2022021896A
Authority: JP
Inventors: シュイ，シアオジョォン; リィウ，シャン; リ，シアン
Original assignee: テンセント・アメリカ・エルエルシー
Priority date: 2019-01-13
Filing date: 2022-02-16
Publication date: 2023-12-04
Anticipated expiration: 2040-01-13
Also published as: US20200228818A1; US11039158B2; JP2022059032A; US20210258596A1; US11785240B2; WO2020146882A1; JP2024016276A; EP3763126A4; CN113273200B; CN113273200A; KR20220133319A; US20230412829A1; US20230007289A1; KR20210089785A; KR102447508B1; EP3763126A1; US10701385B1; JP7027617B2; JP2022508273A; US20200288160A1

Description

本開示は、ビデオコーディングに概して関係がある実施形態について記載する。

本明細書中で与えられている背景の説明は、本開示の背景を一般的に提示することを目的とするものである。現在指名されている発明者の研究は、その研究がこの背景の項で説明されている範囲で、及び出願時に先行技術としてさもなければ適格でない可能性がある説明の側面は、本開示に対する先行技術として明示的にも暗黙的にも認められない。

ビデオコーディング及びデコーディングは、動き補償を伴ったインターピクチャ予測を用いて実行可能である。圧縮されていないデジタルビデオは、ピクチャの連続を含むことができ、各ピクチャは、例えば、１９２０×１０８０のルミナンスサンプル及び関連するクロミナンスサンプルの空間寸法を有する。ピクチャの連続は、例えば、毎秒６０ピクチャ、つまり６０Ｈｚの固定又は可変のピクチャレート（俗にフレームレートとして知られている。）を有することができる。圧縮されていないビデオは、有意なビットレート要件を有している。例えば、サンプル当たり８ビットでの１０８０ｐ６０４：２：０ビデオ（６０Ｈｚのフレームレートでの１９２０×１０８０のルミナンスサンプル解像度）は、１．５Ｇビット／ｓに近いバンド幅を必要とする。そのようなビデオの１時間は、６００Ｇバイト超の記憶空間を必要とする。

ビデオコーディング及びデコーディングの１つの目的は、圧縮による入力ビデオ信号の冗長性の低減であることができる。圧縮は、いくつかの場合に２桁以上、上記のバンド幅又は記憶空間要件を減らすことを助けることができる。可逆及び不可逆圧縮の両方並びにそれらの組み合わせが用いられ得る。可逆圧縮は、原信号の厳密なコピーが圧縮された原信号から再構成可能である技術を指す。不可逆圧縮を使用する場合に、再構成された信号は、原信号と同じでない場合があるが、原信号と再構成された信号との間のひずみは、再構成された信号を、意図された用途にとって有用なものとするほど十分に小さい。ビデオの場合には、不可逆圧縮が広く用いられている。許容されるひずみの量は用途に依存し、例えば、特定の消費者ストリーミング用途のユーザは、テレビジョン配信用途のユーザよりも高いひずみを許容し得る。達成可能な圧縮比は、より高い許容可能な／受け入れ可能なひずみがより高い圧縮比をもたらし得ることを反映することができる。

動き補償は不可逆圧縮技術であることができ、前に再構成されたピクチャ又はその部分（参照ピクチャ）からのサンプルデータのブロックが、動きベクトル（以降ＭＶ）によって示された方向において空間的にシフトされた後に、新たに再構成されるピクチャ又はピクチャ部分の予測のために使用される技術に関係があり得る。いくつかの場合に、参照ピクチャは、現在再構成中のピクチャと同じであることができる。ＭＶは２つの次元Ｘ及びＹ、又は３つの次元を有することができ、３番目の次元は、使用中の参照ピクチャの指示である（後者は、間接的に、時間次元であることができる。）。

いくつかのビデオ圧縮技術では、サンプルデータの特定のエリアに適用可能なＭＶは、他のＭＶから、例えば、再構成中のエリアに空間的に隣接するサンプルデータの他のエリアに関係があり、デコーディング順序においてそのＭＶに先行するものから、予測され得る。そうすることで、ＭＶをコーディングするために必要なデータの量を大幅に減らすことができ、それによって、冗長性を取り除きかつ圧縮を高める。例えば、カメラから得られた入力ビデオ信号（ナチュラルビデオとして知られる。）をコーディングする場合に、単一のＭＶが適用可能であるエリアよりも大きいエリアが同様の方向に移動するという統計的可能性があり、従って、いくつかの場合には、隣接するエリアのＭＶから導出された同様の動きベクトルを用いて予測可能であるということで、ＭＶ予測は有効に働くことができる。その結果、所与のエリアについて求められるＭＶは、周囲のＭＶから予測されたＭＶと類似又は同じであり、エントロピコーディング後に、ＭＶを直接コーディングする場合に使用されることになるビット数よりも少ないビットで表され得る。いくつかの場合に、ＭＶ予測は、原信号（すなわち、サンプルストリーム）から導出された信号（すなわち、ＭＶ）の可逆圧縮の例であることができる。他の場合には、ＭＶ予測自体は、例えば、いくつかの周囲のＭＶから予測子を計算するときの丸め誤差のために、不可逆であり得る。

様々なＭＶ予測メカニズムがＨ．２６５／ＨＥＶＣ（ＩＴＵ－ＴＲｅｃ．Ｈ２６５，“High Efficiency Video Coding”，２０１６年１２月）で説明されている。Ｈ．２６５が提案する多くのＭＶ予測メカニズムの中から、本明細書では、以降「空間マージ」と呼ばれる技術が説明される。

現在のブロックがイントラブロックコピーを用いてデコーディングされる場合に、メモリは、現在のブロックをデコーディングするためのサンプルを読み出すよう参照される。メモリのサイズは制約されるので、メモリの位置は、最近デコーディングされたブロックからのサンプルによりメモリがアップロードされる場合に、上書きされる。新しい方法に従って、イントラブロックコピーを実行するためにメモリを有効に利用することが必要とされる。

本開示の例となる実施形態に従って、デコーダのためのビデオデコーディングの方法は、コーディングされたビデオビットストリームを受け取るステップを含む。方法は、現在のブロックのための参照ブロックが現在のブロックのコーディングツリーユニット（ＣＴＵ）とは異なったＣＴＵに位置しているかどうかを決定するステップを更に含み、参照ブロック及び現在のブロックは、コーディングされたビデオビットストリームに含まれる同じピクチャに位置している。方法は、参照ブロックが異なったＣＴＵに位置しているとの決定に応答して、現在のブロックのＣＴＵ及び参照サンプルメモリが同じサイズを有しているかどうかを決定するステップを更に含む。方法は、現在のブロックのＣＴＵ及び参照サンプルメモリが同じサイズを有しているとの決定に応答して、（ｉ）異なったＣＴＵ内の第２エリアと同一位置にある現在のブロックのＣＴＵ内の第１エリアを決定するステップであり、第１エリアは、参照ブロックの異なったＣＴＵ内の第２エリアの位置座標と同じである現在のブロックのＣＴＵ内の位置座標を有する、ステップと、（ｉｉ）第１エリアのデコーディング状態に基づいて、参照ブロックのための参照サンプルメモリのメモリ位置が利用可能であるかどうかを決定するステップと、（ｉｉｉ）参照ブロックのためのメモリ位置が利用可能であるとの決定に応答して、参照ブロックに対応するメモリ位置から、現在のブロックをデコーディングするための１つ以上のサンプルを読み出すステップとを更に含む。

本開示の例となる実施形態に従って、ビデオデコーディングのためのビデオデコーダでは、処理回路を含む。処理回路は、コーディングされたビデオビットストリームを受け取るよう構成される。処理回路は、現在のブロックのための参照ブロックが現在のブロックのコーディングツリーユニット（ＣＴＵ）とは異なったＣＴＵに位置しているかどうかを決定するよう更に構成され、参照ブロック及び現在のブロックは、コーディングされたビデオビットストリームに含まれる同じピクチャに位置している。処理回路は、参照ブロックが異なったＣＴＵに位置しているとの決定に応答して、現在のブロックのＣＴＵ及び参照サンプルメモリが同じサイズを有しているかどうかを決定するよう更に構成される。処理回路は、現在のブロックのＣＴＵ及び参照サンプルメモリが同じサイズを有しているとの決定に応答して、（ｉ）異なったＣＴＵ内の第２エリアと同一位置にある現在のブロックのＣＴＵ内の第１エリアを決定し、第１エリアは、参照ブロックの異なったＣＴＵ内の第２エリアの位置座標と同じである現在のブロックのＣＴＵ内の位置座標を有し、（ｉｉ）第１エリアのデコーディング状態に基づいて、参照ブロックのための参照サンプルメモリのメモリ位置が利用可能であるかどうかを決定し、（ｉｉｉ）参照ブロックのためのメモリ位置が利用可能であるとの決定に応答して、参照ブロックに対応するメモリ位置から、現在のブロックをデコーディングするための１つ以上のサンプルを読み出すよう更に構成される。

本開示の例となる実施形態に従って、ビデオデコーダのプロセッサによって実行される場合に、プロセッサに方法を実行させる命令を記憶している非一時的なコンピュータ可読媒体が提供される。方法は、コーディングされたビデオビットストリームを受け取るステップを含む。方法は、現在のブロックのための参照ブロックが現在のブロックのコーディングツリーユニット（ＣＴＵ）とは異なったＣＴＵに位置しているかどうかを決定するステップを更に含み、参照ブロック及び現在のブロックは、コーディングされたビデオビットストリームに含まれる同じピクチャに位置している。方法は、参照ブロックが異なったＣＴＵに位置しているとの決定に応答して、現在のブロックのＣＴＵ及び参照サンプルメモリが同じサイズを有しているかどうかを決定するステップを更に含む。方法は、現在のブロックのＣＴＵ及び参照サンプルメモリが同じサイズを有しているとの決定に応答して、（ｉ）異なったＣＴＵ内の第２エリアと同一位置にある現在のブロックのＣＴＵ内の第１エリアを決定するステップであり、第１エリアは、参照ブロックの異なったＣＴＵ内の第２エリアの位置座標と同じである現在のブロックのＣＴＵ内の位置座標を有する、ステップと、（ｉｉ）第１エリアのデコーディング状態に基づいて、参照ブロックのための参照サンプルメモリのメモリ位置が利用可能であるかどうかを決定するステップと、（ｉｉｉ）参照ブロックのためのメモリ位置が利用可能であるとの決定に応答して、参照ブロックに対応するメモリ位置から、現在のブロックをデコーディングするための１つ以上のサンプルを読み出すステップとを更に含む、

開示されている対象の更なる特徴、性質、及び様々な利点は、以下の詳細な説明及び添付の図面から明らかになる。

実施形態に従う通信システム（１００）の略ブロック図の概略図である。実施形態に従う通信システム（２００）の略ブロック図の概略図である。実施形態に従うデコーダの略ブロック図の概略図である。実施形態に従うエンコーダの略ブロック図の概略図である。他の実施形態に従うエンコーダのブロック図を示す。他の実施形態に従うデコーダのブロック図を示す。一例における現在のブロック及びその周囲の空間マージ候補の概略図である。イントラピクチャブロック補償の概略図である。Ａ～Ｄは、１コーディングツリーユニット（ＣＴＵ）サイズ探索範囲によるイントラピクチャブロック補償の概略図である。Ａ～Ｄは、参照サンプルメモリの概略図である。第１ＣＴＵ内の参照ブロック及び第２ＣＴＵ内の対応する同一位置ブロックの概略図である。第１ＣＴＵと第２ＣＴＵとの間に第３ＣＴＵがある場合の第１ＣＴＵ内の参照ブロック及び第２ＣＴＵ内の対応する同一位置ブロックの概略図である。エンコーダによって実行されるプロセスの実施形態を表す。エンコーダによって実行されるプロセスの実施形態を表す。実施形態に従うコンピュータシステムの概略図である。

図１は、本開示の実施形態に従う通信システム（１００）の略ブロック図を表す。通信システム（１００）は、例えば、ネットワーク（１５０）を介して互いと通信することができる複数の端末デバイスを含む。例えば、通信システム（１００）は、ネットワーク（１５０）を介して相互接続されている端末デバイス（１１０）及び（１２０）の第１対を含む。図１の例では、端末デバイス（１１０）及び（１２０）の第１対は、データの一方向伝送を実行する。例えば、端末デバイス（１１０）は、ネットワーク（１５０）を介した他の端末デバイス（１２０）への伝送のためにビデオデータ（例えば、端末デバイス（１１０）によって捕捉されるビデオデータのストリーム）をコーディングしてよい。エンコーディングされたビデオデータは、１つ以上のコーディングされたビデオビットストリームの形で伝送可能である。端末デバイス（１２０）は、コーディングされたビデオデータをネットワーク（１５０）から受信し、コーディングされたビデオデータをデコーディングしてビデオピクチャを回復し、回復されたビデオデータに従ってビデオピクチャを表示してよい。一方向データ伝送は、メディアサービングアプリケーションなどにおいて一般的であり得る。

他の例では、通信システム（１００）は、例えば、ビデオ会議中に現れ得るコーディングされたビデオデータの双方向伝送を実行する端末デバイス（１３０）及び（１４０）の第２対を含む。データの双方向伝送のために、端末デバイス（１３０）及び（１４０）の各端末デバイスは、ネットワーク（１５０）を介した端末デバイス（１３０）及び（１４０）のうちの他方の端末デバイスへの伝送のためにビデオデータ（例えば、その端末デバイスによって捕捉されるビデオピクチャのストリーム）をコーディングしてよい。端末デバイス（１３０）及び（１４０）の各端末デバイスはまた、端末デバイス（１３０）及び（１４０）のうちの他方の端末デバイスによって送信されたコーディングされたビデオデータを受信してよく、コーディングされたビデオデータをデコーディングしてビデオピクチャを回復してよく、回復されたビデオデータに従って、アクセス可能な表示デバイスでビデオピクチャを表示してよい。

図１の例では、端末デバイス（１１０）、（１２０）、（１３０）及び（１４０）は、サーバ、パーソナルコンピュータ、及びスマートフォンとして表され得るが、本開示の原理はそのように限定され得ない。本開示の実施形態は、ラップトップコンピュータ、タブレットコンピュータ、メディアプレイヤー、及び／又は専用のビデオ会議装置により用途を見出す。ネットワーク（１５０）は、例えば、ワイヤライン（有線）及び／又はワイヤレス通信ネットワークを含む、端末デバイス（１１０）、（１２０）、（１３０）及び（１４０）の間でコーディングされたビデオデータを伝達する任意数のネットワークを表す。通信ネットワーク（１５０）は、回路交換及び／又はパケット交換チャネルにおいてデータを交換し得る。代表的なネットワークには、電気通信網、ローカルエリアネットワーク、ワイドエリアネットワーク及び／又はインターネットがある。本議論のために、ネットワーク（１５０）のアーキテクチャ及びトポロジは、以降で説明されない限りは本開示の動作に無関係であり得る。

図２は、開示されている対象の応用例として、ストリーミング環境におけるビデオエンコーダ及びビデオデコーダの配置を表す。開示されている対象は、例えば、ビデオ会議と、デジタルＴＶと、ＣＤ、ＤＶＤ、メモリスティックなどを含むデジタル媒体上での圧縮されたビデオの記憶と、などを含む他のビデオ対応用途に同様に適用可能であることができる。

ストリーミングシステムは、例えば、圧縮されていないビデオピクチャのストリーム（２０２）を生成するビデオソース（２０１）、例えば、デジタルカメラ、を含むことができる捕捉サブシステム（２１３）を含んでよい。例において、ビデオピクチャのストリーム（２０２）は、デジタルカメラによって撮影されるサンプルを含む。ビデオピクチャのストリーム（２０２）は、エンコーディングされたビデオデータ（２０４）（又はコーディングされたビデオビットストリーム）と比較して高いデータボリュームを強調するために太線で表されており、ビデオソース（２０１）へ結合されたビデオエンコーダ（２０３）を含む電子デバイス（２２０）によって処理され得る。ビデオエンコーダ（２０３）は、以下で更に詳細に記載されるように、開示されている対象の態様を可能に又は実装するためのハードウェア、ソフトウェア、又はそれらの組み合わせを含むことができる。エンコーディングされたビデオデータ（２０４）（又はエンコーディングされたビデオビットストリーム（２０４））は、ビデオピクチャのストリーム（２０２）と比較してより低いデータボリュームを強調するために細線で表されており、将来の使用のためにストリーミングサーバ（２０５）に記憶され得る。図２のクライアントサブシステム（２０６）及び（２０８）などの１つ以上のストリーミングクライアントサブシステムは、エンコーディングされたビデオデータ（２０４）のコピー（２０７）及び（２０９）を読み出すためにストリーミングサーバ（２０５）にアクセスすることができる。クライアントサブシステム（２０６）は、例えば、電子デバイス（２３０）において、ビデオデコーダ（２１０）を含むことができる。ビデオデコーダ（２１０）は、エンコーディングされたビデオデータの入来するコピー（２０７）をデコーディングし、ディスプレイ（２１２）（例えば、表示スクリーン）又は他のレンダリングデバイス（図示せず。）でレンダリングされ得るビデオピクチャの送出ストリーム（２１１）を生成する。いくつかのストリーミングシステムにおいて、エンコーディングされたビデオデータ（２０４）、（２０７）、及び（２０９）（例えば、ビデオビットストリーム）は、特定のビデオコーディング／圧縮規格に従ってエンコーディングされ得る。そのような規格の例には、ＩＴＵ－Ｔ推奨Ｈ．２６５がある。例において、開発中のビデオコーディング規格は、バーサタイル・ビデオ・コーディング（Versatile Video Coding，ＶＶＣ）として俗に知られている。開示されている対象は、ＶＶＣに関連して使用されてもよい。

電子デバイス（２２０）及び（２３０）は、他のコンポーネント（図示せず。）を含むことができることが知られる。例えば、電子デバイス（２２０）は、ビデオデコーダ（図示せず。）を含むことができ、電子デバイス（２３０）は、ビデオエンコーダ（図示せず。）を同様に含むことができる。

図３は、本開示の実施形態に従うビデオデコーダ（３１０）のブロック図を示す。ビデオデコーダ（３１０）は、電子デバイス（３３０）に含まれ得る。電子デバイス（３３０）は、受信器（３３１）（例えば、受信回路）を含むことができる。ビデオデコーダ（３１０）は、図２のビデオデコーダ（２１０）の代わりに使用され得る。

受信器（３３１）は、ビデオデコーダ（３１０）によってデコーディングされるべき１つ以上のコーディングされたビデオシーケンスを、同じ又は他の実施形態では、一度に１つのコーディングされたビデオシーケンスを受信してよい。ここで、夫々のコーディングされたビデオシーケンスのデコーディングは、他のコーディングされたビデオシーケンスから独立している。コーディングされたビデオシーケンスは、チャネル（３０１）から受信されてよく、チャネルは、エンコーディングされたビデオデータを記憶している記憶デバイスへのハードウェア／ソフトウェアリンクであってよい。受信器（３３１）は、エンコーディングされたビデオデータを他のデータ、例えば、コーディングされたオーディオデータ及び／又は補助的なデータストリームとともに受信してよく、それらは、それらの各々の使用エンティティ（図示せず。）へ転送されてよい。受信器（３３１）は、コーディングされたビデオシーケンスを他のデータから分離してよい。ネットワークジッタに対抗するために、バッファメモリ（３１５）が受信器（３３１）とエントロピデコーダ／パーサ（３２０）（以降「パーサ（３２０）」）との間に結合されてよい。特定の用途では、バッファメモリ（３１５）は、ビデオデコーダ（３１０）の部分である。他では、それは、ビデオデコーダ（３１０）の外にあることができる（図示せず。）。更に他では、例えば、ネットワークジッタに対抗するための、ビデオデコーダ（３１０）の外にあるバッファメモリ（図示せず。）と、加えて、例えば、再生タイミングを操作するための、ビデオデコーダ（３１０）内のもう１つのバッファメモリ（３１５）とが存在してもよい。受信器（３３１）が十分なバンド幅及び可制御性の記憶／転送デバイスから、又はアイソシンクロナス（isosynchronous）ネットワークからデータを受信しているときに、バッファメモリ（３１５）は必要とされなくてもよく、あるいは、小さくてよい。インターネットなどのベストエフォートのパケットネットワークでの使用のために、バッファメモリ（３１５）は必要とされる場合があり、比較的に大きくかつ有利なことには適応サイズであることができ、ビデオデコーダ（３１０）の外のオペレーティングシステム又は同様の要素（図示せず。）に少なくとも部分的に実装され得る。

ビデオデコーダ（３１０）は、コーディングされたビデオシーケンスからシンボル（３２１）を再構成するためのパーサ（３２０）を含んでよい。それらのシンボルのカテゴリは、ビデオデコーダ（３１０）の動作を管理するために使用される情報と、潜在的に、電子デバイス（３３０）の必須部分でないが、図３に示されたように、電子デバイス（３３０）へ結合され得るレンダーデバイス（３１２）（例えば、表示スクリーン）などのレンダリングデバイスを制御するための情報とを含む。レンダリングデバイスのための制御情報は、ＳＥＩ（Supplementary Enhancement Information）メッセージ又はＶＵＩ（Video Usability Information）パラメータセットフラグメント（図示せず。）の形をとってよい。パーサ（３２０）は、受信されるコーディングされたビデオシーケンスをパース／エントロピデコーディングしてよい。コーディングされたビデオシーケンスのコーディングは、ビデオコーディング技術又は規格に従うことができ、可変長コーディング、ハフマンコーディング、文脈依存による又はよらない算術コーディング、などを含む様々な原理に従うことができる。パーサ（３２０）は、コーディングされたビデオシーケンスから、ビデオデコーダにおけるピクセルのサブグループのうちの少なくとも１つについてのサブグループパラメータの組を、そのグループに対応する少なくとも１つのパラメータに基づいて抽出し得る。サブグループは、グループ・オブ・ピクチャ（Groups of Pictures，ＧＯＰ）、ピクチャ、タイル、スライス、マクロブロック、コーディングユニット（Coding Units，ＣＵ）、ブロック、変換ユニット（Transform Units，ＴＵ）、予測ユニット（Prediction Units，ＰＵ）、などを含むことができる。パーサ（３２０）はまた、変換係数などのコーディングされたビデオシーケンス情報から、量子化パラメータ値、動きベクトル、なども抽出し得る。

パーサ（３２０）は、シンボル（３２１）を生成するために、バッファメモリ（３１５）から受信されたビデオシーケンスに対してエントロピデコーディング／パーシング動作を実行してよい。

シンボル（３２１）の再構成は、コーディングされたビデオピクチャ又はその部分（例えば、インター及びイントラピクチャ、インター及びイントラブロック）のタイプ及び他の因子に応じて多種多様なユニットを有することができる。どのユニットがどのように含まれるかは、コーディングされたビデオシーケンスからパーサ（３２０）によってパースされたサブグループ制御情報によって制御され得る。パーサ（３２０）と以下の複数のユニットとの間のそのようなサブグループ制御情報のフローは、明りょうさのために表されていない。

既に述べられた機能ブロックを超えて、ビデオデコーダ（３１０）は、概念的に、以下で説明される多数の機能ユニットに細分され得る。商業上の制約の下で動作する実際の実施では、これらのユニットの多くが互いに密に相互作用し、少なくとも部分的に互いに組み込まれ得る。しかし、開示されている対象を説明することを目的として、以下での機能ユニットへの概念的細分は適切である。

第１ユニットは、スケーラ／逆変換ユニット（３５１）である。スケーラ／逆変換ユニット（３５１）は、パーサ（３２０）からシンボル（３２１）として、量子化された変換係数とともに、使用するために変換するもの、ブロックサイズ、量子化係数、量子化スケーリングマトリクスなどを含む制御情報を受信する。スケーラ／逆変換ユニット（３５１）は、アグリゲータ（３５５）へ入力することができるサンプル値を含むブロックを出力することができる。

いくつかの場合に、スケーラ／逆変換器（３５１）の出力サンプルは、イントラコーディングされたブロック、すなわち、前に再構成されたピクチャからの予測情報を使用しておらず、現在のピクチャの前に再構成された部分からの予測情報を使用することができるブロック、に関係することができる。そのような予測情報は、イントラピクチャ予測ユニット（３５２）によって供給され得る。いくつかの場合に、イントラピクチャ予測ユニット（３５２）は、現在ピクチャバッファ（３５８）からフェッチされた周囲の既に再構成された情報を用いて、再構成中のブロックと同じサイズ及び形状のブロックを生成する。現在ピクチャバッファ（３５８）は、例えば、部分的に再構成された現在のピクチャ及び／又は完全に再構成された現在のピクチャをバッファリングする。アグリゲータ（３５５）は、いくつかの場合に、サンプルごとに、イントラ予測ユニット（３５２）が生成した予測情報を、スケーラ／逆変換ユニット（３５１）によって供給される出力サンプル情報に加える。

他の場合では、スケーラ／逆変換ユニット（３５１）の出力サンプルは、インターコーディングされた、そして潜在的に動き補償されたブロックに関係することができる。そのような場合に、動き補償予測ユニット（３５３）は、予測のために使用されるサンプルをフェッチするよう参照ピクチャメモリ（３５７）にアクセスすることができる。ブロックに関係するシンボル（３２１）に従って、フェッチされたサンプルを動き補償した後に、それらのサンプルは、出力サンプル情報を生成するために、アグリゲータ（３５５）によって、スケーラ／逆変換ユニット（３５１）の出力（この場合に、残差サンプル又は残差信号と呼ばれる。）に加えられ得る。動き補償予測ユニット（３５３）が予測サンプルをフェッチする参照ピクチャメモリ（３５７）内のアドレスは、例えば、Ｘ、Ｙ及び参照ピクチャコンポーネントを有することができるシンボル（３２１）の形で動き補償予測ユニット（３５３）が利用することができる動きベクトルによって制御され得る。動き補償はまた、サブサンプルの正確な動きベクトルが使用されているときに参照ピクチャメモリ（３５７）からフェッチされるサンプル値の補間や、動きベクトル予測メカニズムなどを含むことができる。

アグリゲータ（３５５）の出力サンプルは、ループフィルタユニット（３５６）において様々なループフィルタリング技術を受けることができる。ビデオ圧縮技術は、インループフィルタ技術を含むことができる。この技術は、コーディングされたビデオシーケンス（コーディングされたビデオビットストリームとも呼ばれる。）に含まれており、パーサ（３２０）からのシンボル（３２１）としてループフィルタユニット（３５６）に利用可能にされたパラメータによって制御されるが、コーディングされたピクチャ又はコーディングされたビデオシーケンスの（デコーディング順序において）前の部分のデコーディング中に得られたメタ情報にも応答することができ、更には、前に構成されたループフィルタ処理されたサンプル値に応答することができる。

ループフィルタユニット（３５６）の出力は、レンダーデバイス（３１２）へ出力され、更には、将来のインターピクチャ予測における使用のために参照ピクチャメモリ（３５７）に記憶され得るサンプルストリームであることができる。

特定のコーディングされたピクチャは、完全に再構成されると、将来の予測のための参照ピクチャとして使用され得る。例えば、現在のピクチャに対応するコーディングされたピクチャが完全に再構成され、コーディングされたピクチャが（例えば、パーサ（３２０）によって）参照ピクチャとして識別されると、現在ピクチャバッファ（３５８）は、参照ピクチャメモリ（３５７）の部分になることができ、未使用の現在ピクチャバッファが、後続のコーディングされたピクチャの再構成を開始する前に再割当てされ得る。

ビデオデコーダ（３１０）は、ＩＴＵ－Ｔ推奨Ｈ．２６５などの規格における所定のビデオ圧縮技術に従ってデコーディング動作を実行してよい。コーディングされたビデオシーケンスは、そのコーディングされたビデオシーケンスが、ビデオ圧縮技術又は規格のシンタックス及びビデオ圧縮技術又は規格において文書化されているプロファイルの両方に従うという意味で、使用中のビデオ圧縮技術又は規格によって規定されたシンタックスに従い得る。具体的には、プロファイルは、ビデオ圧縮技術又は規格で利用可能な全てのツールからそのプロファイルの下での使用のために利用可能な最適なツールとして特定のツールを選択することができる。また、コーディングされたビデオシーケンスの複雑さは、ビデオ圧縮技術又は規格のレベルによって定義された境界内にあることが、順守のために必要である。いくつかの場合に、レベルは、最大ピクチャサイズ、最大フレームレート、最大再構成サンプルレート（例えば、メガサンプル／秒で測定される。）、最大参照ピクチャサイズ、などを制限する。レベルによって設定される制限は、いくつかの場合に、ハイポセティカル・リファレンス・デコーダ（Hypothetical Reference Decoder，ＨＲＤ）仕様及びコーディングされたビデオシーケンスにおいて通知されるＨＲＤバッファ管理のためのメタデータを通じて更に制限され得る。

実施形態において、受信器（３３１）は、エンコーディングされたビデオとともに、追加の（冗長な）データを受信してもよい。追加のデータは、コーディングされたビデオシーケンスの部分としても含まれてもよい。追加のデータは、ビデオデコーダ（３１０）によって、データを適切にデコーディングするために及び／又は原ビデオデータをより正確に再構成するために使用されてよい。追加のデータは、例えば、時間、空間、又は信号対雑音比（ＳＮＲ）エンハンスメントレイヤ、冗長スライス、冗長ピクチャ、前方誤り訂正符号、などの形をとることができる。

図４は、本開示の実施形態に従うビデオエンコーダ（４０３）のブロック図を示す。ビデオエンコーダ（４０３）は、電子デバイス（４２０）に含まれている。電子デバイス（４２０）は、送信器（４４０）（例えば、送信回路）を含む。ビデオエンコーダ（４０３）は、図２の例におけるビデオエンコーダ（２０３）の代わりに使用され得る。

ビデオエンコーダ（４０３）は、ビデオエンコーダ（４０３）によってコーディングされるべきビデオ画像を捕捉し得るビデオソース（４０１）（図４の例では電子デバイス（４２０）の部分ではない。）からビデオサンプルを受信してよい。他の例では、ビデオソース（４０１）は、電子デバイス（４２０）の部分である。

ビデオソース（４０１）は、任意の適切なビット深さ（例えば、８ビット、１０ビット、１２ビットなど）、任意の色空間（例えば、ＢＴ．６０１ＹＣｒＣＢ、ＲＧＢなど）、及び任意の適切なサンプリング構造（例えば、ＹＣｒＣｂ４：２：０、ＹＣｒＣｂ４：４：４）であることができるデジタルビデオサンプルストリームの形で、ビデオエンコーダ（４０３）によってエンコーディングされるべきソースビデオシーケンスを供給してよい。メディアサービングシステムでは、ビデオソース（４０１）は、前に準備されたビデオを記憶している記憶デバイスであってよい。ビデオ会議システムでは、ビデオソース（４０１）は、ローカル画像情報をビデオシーケンスとして捕捉するカメラであってよい。ビデオデータは、順に見られる場合に動きを授ける複数の個別ピクチャとして供給されてもよい。ピクチャ自体は、ピクセルの空間アレイとして編成されてよく、各ピクセルは、使用中のサンプリング構造、色空間、などに依存する１つ以上のサンプルを有することができる。当業者であれば、ピクセルとサンプルとの間の関係を容易に理解することができる。本明細書は、以下、サンプルに焦点を当てる。

実施形態に従って、ビデオエンコーダ（４０３）は、実時間において又は用途によって必要とされる任意の他の時間制約の下で、ソースビデオシーケンスのピクチャを、コーディングされたビデオシーケンス（４４３）へとコーディング及び圧縮してよい。適切なコーディング速度を強いることは、コントローラ（４５０）の一機能である。いくつかの実施形態において、コントローラ（４５０）は、以下で記載されるような他の機能ユニットを制御し、それらの他の機能ユニットへ機能的に結合される。結合は明りょうさのために表されていない。コントローラ（４５０）によってセットされるパラメータには、レート制御に関連したパラメータ（ピクチャスキップ、量子化器、レートひずみ最適化技術のラムダ値、など）、ピクチャサイズ、グループ・オブ・ピクチャ（ＧＯＰ）レイアウト、最大動きベクトル探索範囲、などが含まれ得る。コントローラ（４５０）は、特定のシステム設計のために最適化されたビデオエンコーダ（４０３）に関係する他の適切な機能を有するよう構成され得る。

いくつかの実施形態において、ビデオエンコーダ（４０３）は、コーディングループで動作するよう構成される。過度に単純化された記載として、例において、コーディングループは、ソースコーダ（４３０）（例えば、コーディングされるべき入力ピクチャと、参照ピクチャとに基づいて、シンボルストリームなどのシンボルを生成することに関与する。）と、ビデオエンコーダ（４０３）に埋め込まれた（ローカル）デコーダ（４３３）とを含むことができる。デコーダ（４３３）は、（遠隔の）デコーダも生成することになる（シンボルとコーディングされたビデオストリームとの間の如何なる圧縮も、開示されている対象で考えられているビデオ圧縮技術において可逆である）のと同様の方法でサンプルデータを生成するようにシンボルを再構成する。その再構成されたサンプルストリーム（サンプルデータ）は、参照ピクチャメモリ（４３４）へ入力される。シンボルストリームのデコーディングは、デコーダの場所（ローカル又は遠隔）に依存しないビットパーフェクト（bit-exact）な結果をもたらすので、参照ピクチャメモリ（４３４）内のコンテンツも、ローカルのエンコーダと遠隔のエンコーダとの間でビットパーフェクトである。すなわち、エンコーダの予測部分は、デコーダがデコーディング中に予測を使用するときに“見る”ことになるのとまさに同じサンプル値を参照ピクチャサンプルとして“見る”。参照ピクチャのシンクロニシティ（及び、例えば、チャネルエラーのために、シンクロニシティが維持され得ない場合に、結果として生じるドリフト）のこの基本原理は、いくつかの関連技術でも使用されている。

“ローカル”のデコーダ（４３３）の動作は、図３とともに先に詳細に既に説明されている、ビデオデコーダ（３１０）などの“遠隔”のデコーダと同じであることができる。一時的に図３も参照すると、しかしながら、シンボルが利用可能であり、エントロピコーダ（４４５）及びパーサ（３２０）によるコーディングされたビデオシーケンスへのシンボルのエンコーディング／デコーディングが可逆であることができるので、バッファメモリ（３１５）及びパーサ（３２０）を含むビデオデコーダ（３１０）のエントロピデコーディング部分は、ローカルのデコーダ（３３３）において完全には実施されなくてよい。

この時点で行われ得る観察は、デコーダに存在するパーシング／エントロピデコーディングを除く如何なるデコーダ技術も、対応するエンコーダにおいて、実質的に同じ機能形態で、必ずしも存在する必要がないことである。この理由により、開示されている対象は、デコーダの動作に焦点を当てる。エンコーダ技術の説明は、それらが、包括的に記載されるデコーダ技術の逆であるということで、省略され得る。特定の範囲においてのみ、より詳細な説明が必要とされ、以下で与えられている。

動作中、いくつかの例において、ソースコーダ（４３０）は、動き補償された予測コーディングを実行してよい。これは、「参照ピクチャ」として指定されたビデオシーケンスからの１つ以上の前にコーディングされたピクチャを参照して予測的に入力ピクチャをコーディングする。このようにして、コーディングエンジン（４３２）は、入力ピクチャに対する予測参照として選択され得る参照ピクチャのピクセルブロックと入力ピクチャのピクセルブロックとの間の差をコーディングする。

ローカルのビデオデコーダ（４３３）は、ソースコーダ（４３０）によって生成されたシンボルに基づいて、参照ピクチャとして指定され得るピクチャのコーディングされたビデオデータをデコーディングしてよい。コーディングエンジン（４３２）の動作は、有利なことに、不可逆プロセスであってよい。コーディングされたビデオデータがビデオデコーダ（図４には図示せず。）でデコーディングされ得るとき、再構成されたビデオシーケンスは、通常は、いくらかのエラーを伴ったソースビデオシーケンスの複製であり得る。ローカルのビデオデコーダ（４３３）は、参照ピクチャに対してビデオデコーダによって実行され得るデコーディングプロセスを再現し、再構成された参照ピクチャを参照ピクチャキャッシュ（４３４）に格納されるようにしてよい。このように、ビデオエンコーダ（４０３）は、（伝送エラーなしで）遠端のビデオデコーダによって取得されることになる再構成された参照ピクチャと共通の内容を有している再構成された参照ピクチャのコピーをローカルで記憶し得る。

予測器（４３５）は、コーディングエンジン（４３２）の予測探索を実行してよい。すなわち、新しいピクチャがコーディングされるために、予測器（４３５）は、その新しいピクチャのための適切な予測基準となり得る参照ピクチャ動きベクトル、ブロック形状、などの特定のメタデータ又は（候補参照ピクセルブロックとしての）サンプルデータを参照ピクチャメモリ（５３４）から探してよい。予測器（４３５）は、適切な予測基準を見つけるためにサンプルブロック・バイ・ピクセルブロックベース（sample block-by-pixel block basis）で動作してよい。いくつかの場合に、予測器（４３５）によって取得された探索結果によって決定されるように、入力ピクチャは、参照ピクチャメモリ（４３４）に記憶されている複数の参照ピクチャから引き出された予測基準を有してよい。

コントローラ（４５０）は、例えば、ビデオデータをエンコーディングするために使用されるパラメータ及びサブグループパラメータの設定を含め、ビデオコーダ（４３０）のコーディング動作を管理してよい。

上記の全ての機能ユニットの出力は、エントロピコーダ（４４５）においてエントロピコーディングを受けてよい。エントロピコーダ（４４５）は、ハフマンコーディング、可変長コーディング、算術コーディングなどの技術に従ってシンボルを可逆圧縮することによって、様々な機能ユニットによって生成されたシンボルを、コーディングされたビデオシーケンスへと変換する。

送信器（４４０）は、エントロピコーダ（４４５）によって生成されたコーディングされたビデオシーケンスを、通信チャネル（４６０）を介した伝送のために準備するようにバッファリングしてよい。通信チャネル（４６０）は、エンコーディングされたビデオデータを記憶することになる記憶デバイスへのハードウェア／ソフトウェアリンクであってよい。送信器（４４０）は、ビデオコーダ（４３０）からのコーディングされたビデオデータを、送信されるべき他のデータ、例えば、コーディングされたオーディオデータ及び／又は補助的なデータストリーム（ソースは図示せず。）とマージしてもよい。

コントローラ（４５０）は、ビデオエンコーダ（４０３）の動作を管理してよい。コーディング中、コントローラ（４５０）は、各々のピクチャに適用され得るコーディング技術に影響を及ぼす可能性がある特定のコーディングされたピクチャタイプを夫々のコーディングされたピクチャに割り当ててよい。例えば、ピクチャはしばしば、次のピクチャタイプのうちの１つとして割り当てられてよい。

イントラピクチャ（Intra Picture）（Ｉピクチャ）は、予測のソースとしてシーケンス内の如何なる他のピクチャも使用せずにコーディング及びデコーディングされ得るピクチャであってよい。いくつかのビデオコーデックは、例えば、独立したデコーダリフレッシュ（Independent Decoder Refresh，ＩＤＲ）ピクチャを含む種々のタイプのイントラピクチャを許容する。当業者であれば、Ｉピクチャのそのような変形並びにそれらの各々の応用及び特徴に気づく。

予測ピクチャ（Predictive Picture）（Ｐピクチャ）は、各ブロックのサンプル値を予測するために多くても１つの動きベクトル及び参照インデックスを用いてイントラ予測又はインター予測によりコーディング及びデコーディングされ得るピクチャであってよい。

双方向予測ピクチャ（Bi-directionally Predictive Picture）（Ｂピクチャ）は、各ブロックのサンプル値を予測するために多くても２つの動きベクトル及び参照インデックスを用いてイントラ予測又はインター予測によりコーディング及びデコーディングされ得るピクチャであってよい。同様に、多重予測ピクチャ（multiple-predictive picture(s)）は、単一のブロックの再構成のために２つよりも多い参照ピクチャ及び関連するメタデータを使用することができる。

ソースピクチャは、一般に、複数のサンプルブロック（例えば、夫々、４×４、８×８、４×８、又は１６×１６のサンプルのブロック）に空間的に細分され、ブロックごとにコーディングされてよい。ブロックは、ブロックの各々のピクチャに適用されているコーディング割り当てによって決定される他の（既にコーディングされた）ブロックを参照して予測的にコーディングされてよい。例えば、Ｉピクチャのブロックは、非予測的にコーディングされてよく、あるいは、それらは、同じピクチャの既にコーディングされたブロックを参照して予測的にコーディングされてもよい（空間予測又はイントラ予測）。Ｐピクチャのピクセルブロックは、１つの前にコーディングされた参照ピクチャを参照して空間予測により又は時間予測により、予測的にコーディングされてよい。Ｂピクチャのブロックは、１つ又は２つの前にコーディングされた参照ピクチャを参照して空間予測により又は時間予測により、予測的にコーディングされてよい。

ビデオエンコーダ（４０３）は、ＩＴＵ－Ｔ推奨Ｈ．２６５のような所定のビデオコーディング技術又は規格に従ってコーディング動作を実行してよい。その動作中に、ビデオエンコーダ（４０３）は、入力ビデオシーケンスにおける時間及び空間冗長性を利用する予測コーディング動作を含む様々な圧縮動作を実行してよい。従って、コーディングされたビデオデータは、使用されているビデオコーディング技術又は規格によって定められているシンタックスに従い得る。

実施形態において、送信器（４４０）は、エンコーディングされたビデオとともに追加のデータを送信してもよい。ソースコーダ（４３０）は、コーディングされたビデオシーケンスの部分としてそのようなデータを含めてよい。追加のデータは、時間／空間／ＳＮＲエンハンスメントレイヤ、冗長ピクチャ及びスライスなどの他の形式の冗長データ、ＳＥＩメッセージ又はＶＵＩパラメータセットフラグメント、などを有してよい。

ビデオは、時間シーケンスにおいて複数のソースピクチャ（ビデオピクチャ）として捕捉されてよい。イントラピクチャ予測（しばしばイントラ予測と省略される。）は、所与のピクチャにおける空間相関を利用し、インターピクチャ予測は、ピクチャ間の（時間又は他の）相関を利用する。例において、現在のピクチャと呼ばれる、エンコーディング／デコーディング中の特定のピクチャは、ブロックに分割される。現在のピクチャ内のあるブロックが、ビデオ内の前にコーディングされた依然としてバッファリングされている参照ピクチャ内の参照ブロックと類似している場合に、現在にピクチャ内のそのブロックは、動きベクトルと呼ばれるベクトルによってコーディングされ得る。動きベクトルは、参照ピクチャ内の参照ブロックを指し示し、複数の参照ピクチャが使用されている場合には、参照ピクチャを識別する第３の次元を有することができる。

いくつかの実施形態において、双予測技術がインターピクチャ予測において使用され得る。双予測技術に従って、２つの参照ピクチャ、例えば、ビデオ内で現在のピクチャに対してデコーディング順序において両方とも先行する（しかし、表示順序では、夫々、過去及び将来にあってよい。）第１参照ピクチャ及び第２参照ピクチャが、使用される。現在のピクチャ内のあるブロックは、第１参照ピクチャ内の第１参照ブロックを指し示す第１動きベクトルと、第２参照ピクチャ内の第２参照ブロックを指し示す第２動きベクトルとによって、コーディングされ得る。そのブロックは、第１参照ブロック及び第２参照ブロックの組み合わせによって予測可能である。

更に、マージモード技術が、コーディング効率を改善するためにインターピクチャ予測において使用され得る。

本開示のいくつかの実施形態に従って、インターピクチャ予測及びイントラピクチャ予測などの予測は、ブロックのユニットにおいて実行される。例えば、ＨＥＶＣ規格に従って、ビデオピクチャのシーケンス内のピクチャは、圧縮のためにコーディングツリーユニット（ＣＴＵ）に分割され、ピクチャ内のＣＴＵは、６４×６４ピクセル、３２×３２ピクセル、又は１６×１６ピクセルといった同じサイズを有する。一般に、ＣＴＵは、１つのルーマＣＴＢ及び２つのクロマＣＴＢである３つのコーディングツリーブロック（ＣＴＢ）を含む。各ＣＴＵは、１つ又は複数のコーディングユニット（ＣＵ）に再帰的に四分木分割され得る。例えば、６４×６４ピクセルのＣＴＵは、６４×６４ピクセルの１つのＣＵ、又は３２×３２ピクセルの４つのＣＵ、又は１６×１６ピクセルの１６個のＣＵに分割可能である。例において、各ＣＵは、インター予測タイプ又はイントラ予測タイプなどのＣＵのための予測タイプを決定するよう解析される。ＣＵは、時間及び／又は空間予測可能性に応じて１つ以上の予測ユニット（ＰＵ）に分割される。一般に、各ＰＵは、１つのルーマ予測ブロック（ＰＢ）及び２つのクロマＰＢを含む。実施形態において、コーディング（エンコーディング／デコーディング）における予測動作は、予測ブロックの単位で実行される。予測ブロックの例としてルーマ予測ブロックを使用すると、予測ブロックは、８×８ピクセル、１６×１６ピクセル、８×１６ピクセル、１６×８ピクセルなどのような、ピクセルの値（例えば、ルーマ値）の行列を含む。

図５は、本開示の他の実施形態に従うビデオエンコーダ（５０３）の図を示す。ビデオエンコーダ（５０３）は、ビデオピクチャの連続に含まれる現在のビデオピクチャ内のサンプル値の処理ブロック（例えば、予測ブロック）を受け取り、コーディングされたビデオシーケンスの部分であるコーディングされたピクチャへと処理ブロックをエンコーディングするよう構成される。例において、ビデオエンコーダ（５０３）は、図２の例におけるビデオエンコーダ（２０３）の代わりに使用される。

ＨＥＶＣの例では、ビデオエンコーダ（５０３）は、８×８サンプルの予測ブロックなどのような処理ブロックのサンプル値の行列を受け取る。ビデオエンコーダ（５０３）は、例えば、レートひずみ最適化を用いて、処理ブロックがイントラモード、インターモード、又は双予測モードにより最も良くコーディングされるかどうかを決定する。処理ブロックがイントラモードでコーディングされるべきである場合に、ビデオエンコーダ（５０３）は、コーディングされたピクチャへと処理ブロックをエンコーディングするようイントラ予測技術を使用してよく、処理ブロックがインターモード又は双予測モードでコーディングされるべきである場合に、ビデオエンコーダ（５０３）は、コーディングされたピクチャへと処理ブロックをエンコーディングするようインター予測又は双予測技術を夫々使用してよい。特定のビデオコーディング技術において、マージモードは、予測子の外にあるコーディングされた動きベクトル成分の恩恵を受けずに１つ以上の動きベクトル予測子から動きベクトルが導出されるインターピクチャ予測サブモードであることができる。特定の他のビデオコーディング技術では、対象ブロックに適用可能な動きベクトル成分が存在することがある。例において、ビデオエンコーダ（５０３）は、処理ブロックのモードを決定するモード決定モジュール（図示せず。）などの他のコンポーネントを含む。

図５の例では、ビデオエンコーダ（５０３）は、図５に示されるように結合されているインターエンコーダ（５３０）、イントラエンコーダ（５２２）、残差計算部（５２３）、スイッチ（５２６）、残差エンコーダ（５２４）、汎用コントローラ（５２１）、及びエントロピエンコーダ（５２５）を含む。

インターエンコーダ（５３０）は、現在のブロック（例えば、処理ブロック）のサンプルを受け取り、そのブロックを参照ピクチャ内の１つ以上の参照ブロック（例えば、前のピクチャ及び後のピクチャ内のブロック）と比較し、インター予測情報（例えば、インターエンコーディング技術に従う残差情報の記述、動きベクトル、マージモード情報）を生成し、何らかの適切な技術を用いてインター予測情報に基づいてインター予測結果（例えば、予測ブロック）を計算するよう構成される。いくつかの例において、参照ピクチャは、エンコーディングされたビデオ情報に基づいてデコーディングされているデコーディングされた参照ピクチャである。

イントラエンコーダ（５２２）は、現在のブロック（例えば、処理ブロック）のサンプルを受け取り、いくつかの場合には、同じピクチャ内で既にコーディングされたブロックとそのブロックを比較し、変換後の量子化された係数を、更には、いくつかの場合には、イントラ予測情報（例えば、１つ以上のイントラエンコーディング技術に従うイントラ予測方向情報）を生成するよう構成される。例において、イントラエンコーダ（５２２）はまた、イントラ予測情報及び同じピクチャ内の参照ブロックに基づいてイントラ予測結果（例えば、予測ブロック）を計算する。

汎用コントローラ（５２１）は、汎用制御データを決定し、汎用制御データに基づいてビデオエンコーダ（５０３）の他のコンポーネントを制御するよう構成される。例において、汎用コントローラ（５２１）は、ブロックのモードを決定し、モードに基づいて制御信号をスイッチ（５２６）へ供給する。例えば、モードがイントラモードである場合に、汎用コントローラ（５２１）は、残差計算部（５２３）による使用のためにイントラモード結果を選択するようスイッチ（５２６）を制御し、そして、イントラ予測情報を選択し、イントラ予測情報をビットストリームに含めるようエントロピエンコーダ（５２５）を制御する。モードがインターモードである場合に、汎用コントローラ（５２１）は、残差計算部（５２３）による使用のためにインター予測結果を選択するようスイッチ（５２６）を制御し、そして、インター予測情報を選択し、インター予測情報をビットストリームに含めるようエントロピエンコーダ（５２５）を制御する。

残差計算部（５２３）は、受け取られたブロックと、イントラエンコーダ（５２２）又はインターエンコーダ（５３０）から選択された予測結果との間の差（残差データ）を計算するよう構成される。残差エンコーダ（５２４）は、変換係数を生成するよう残差データをエンコーディングするように残差データに基づいて動作するよう構成される。例において、残差エンコーダ（５２４）は、残差データを空間領域から周波数領域に変換し、変換係数を生成するよう構成される。次いで、変換係数は、量子化された変換係数を取得するよう量子化処理を受ける。様々な実施形態において、ビデオエンコーダ（５０３）はまた、残差デコーダ（５２８）も含む。残差デコーダ（５２８）は、逆変換を実行し、デコーディングされた残差データを生成するよう構成される。デコーディングされた残差データは、イントラエンコーダ（５２２）及びインターエンコーダ（５３０）によって適切に使用され得る。例えば、インターエンコーダ（５３０）は、デコーディングされた残差データ及びインター予測情報に基づいて、デコーディングされたブロックを生成することができ、イントラエンコーダ（５２２）は、デコーディングされた残差データ及びイントラ予測情報に基づいて、デコーディングされたブロックを生成することができる。デコーディングされたブロックは、デコーディングされたピクチャを生成するよう適切に処理され、デコーディングされたピクチャは、メモリ回路（図示せず。）にバッファリングされ、いくつかの例では参照ピクチャとして使用され得る。

エントロピエンコーダ（５２５）は、エンコーディングされたブロックを含めるようにビットストリームをフォーマット化するよう構成される。エントロピエンコーダ（５２５）は、ＨＥＶＣ規格などの適切な規格に従って様々な情報を含めるよう構成される。例において、エントロピエンコーダ（５２５）は、汎用制御データ、選択された予測情報（例えば、イントラ予測情報又はインター予測情報）、残差情報、及び他の適切な情報をビットストリームに含めるよう構成される。開示されている対象に従って、インターモード又は双予測モードのどちらか一方のマージサブモードでブロックをコーディングする場合に、残差情報はない点に留意されたい。

図６は、本開示の他の実施形態に従うビデオデコーダ（６１０）の図を示す。ビデオデコーダ（６１０）は、コーディングされたビデオシーケンスの部分であるコーディングされたピクチャを受け取り、コーディングされたピクチャをデコーディングして、再構成されたピクチャを生成するよう構成される。例において、ビデオデコーダ（７１０）は、図２の例におけるビデオデコーダ（２１０）の代わりに使用される。

図６の例では、ビデオデコーダ（６１０）は、図６に示されるように結合されているエントロピデコーダ（６７１）、インターデコーダ（６８０）、残差デコーダ（６７３）、再構成モジュール（６７４）、及びイントラデコーダ（６７２）を含む。

エントロピデコーダ（６７１）は、コーディングされたピクチャから、コーディングされたピクチャが構成されるシンタックス要素を表す特定のシンボルを再構成するよう構成され得る。そのようなシンボルは、例えば、ブロックがコーディングされるモード（例えば、イントラモード、又はマージサブモード若しくは他のサブモードにおけるインターモード若しくは双予測モード）、イントラデコーダ（６７２）又はインターデコーダ（６８０）による予測のために夫々使用される特定のサンプル又はメタデータを識別することができる予測情報（例えば、イントラ予測情報又はインター予測情報）、例えば、量子化された変換係数の形をとる残差情報、などを含むことができる。例において、予測モードがインター又は双予測モードである場合に、インター予測情報がインターデコーダ（６８０）へ供給され、予測タイプがイントラ予測タイプである場合に、イントラ予測情報がイントラデコーダ（６７２）へ供給される。残差情報は、逆量子化を受けることができ、残差デコーダ（６７３）へ供給される。

インターデコーダ（６８０）は、インター予測情報を受け取り、インター予測情報に基づいてインター予測結果を生成するよう構成される。

イントラデコーダ（６７２）は、イントラ予測情報を受け取り、イントラ予測情報に基づいて予測結果を生成するよう構成される。

残差デコーダ（６７３）は、逆量子化された変換係数を取り出すように逆量子化を実行し、逆量子化された変換係数を処理して、残差を周波数領域から空間領域に変換するよう構成される。残差デコーダ（６７３）はまた、（量子化パラメータ（ＱＰ）を含めるための）特定の制御情報を要求してもよく、その情報は、エントロピデコーダ（６７１）によって供給されてよい（これは低容量の制御情報のみであるため、データパスは示されない。）。

再構成モジュール（６７４）は、残差デコーダ（６７３）によって出力された残差と、（場合によっては、インター又はイントラ予測モジュールによって出力された）予測結果とを空間領域において組み合わせて、再構成されたブロックを形成するよう構成される。再構成されたブロックは、再構成されたピクチャの部分であってよく、次いで、再構成されたピクチャは、再構成されたビデオの部分であってよい。デブロッキング動作などのような他の適切な動作が、視覚品質を改善するために実行され得ることが知られる。

ビデオエンコーダ（２０３）、（４０３）及び（５０３）並びにビデオデコーダ（２１０）、（３１０）及び（６１０）は、如何なる適切な技術によっても実装可能であることが知られる。実施形態において、ビデオエンコーダ（２０３）、（４０３）及び（５０３）並びにビデオデコーダ（２１０）、（３１０）及び（６１０）は、１つ以上の集積回路を用いて実装可能である。他の実施形態では、ビデオエンコーダ（２０３）、（４０３）及び（５０３）並びにビデオデコーダ（２１０）、（３１０）及び（６１０）は、ソフトウェア命令を実行する１つ以上のプロセッサを用いて実装可能である。

マージ候補は、現在のブロックの空間隣接ブロック又は時間隣接ブロックのどちらか一方からの動き情報を確認することによって形成されてよい。図７を参照すると、現在のブロック（７０１）は、空間的にシフトされている同じサイズの前のブロックから予測可能であるとエンコーダ／デコーダによって動き探索プロセス中に認められたサンプルを有する。その動きベクトルを直接にコーディングする代わりに、動きベクトルは、１つ以上の参照ピクチャと関連付けられたメタデータから、例えば、（デコーディング順序において）最も最近の参照ピクチャから、Ｄ、Ａ、Ｃ、Ｂ、及びＥ（夫々、７０２から７０６）と表されている５つの周囲サンプルのうちのいずれか１つと関連付けられた動きベクトルを用いて導出され得る。ブロックＡ、Ｂ、Ｃ、Ｄ及びＥは、空間マージ候補と呼ばれ得る。これらの候補は、順次にマージ候補リストに入れられてよい。プルーニング動作は、重複した候補がリストから除かれることを確かにするために実行されてよい。

異なるピクチャからのブロックベースの補償は、動き補償と呼ばれ得る。ブロック補償はまた、同じピクチャ内の前に再構成されたエリアから行われてもよく、これは、イントラピクチャブロック補償、イントラブロックコピー（Intra Block Copy，ＩＢＣ）、又は現在ピクチャ参照（Current Picture Referencing，ＣＰＲ）と呼ばれ得る。例えば、現在のブロックと参照ブロックとの間のオフセットを示す変位ベクトルは、ブロックベクトルと呼ばれる。いくつかの実施形態に従って、ブロックベクトルは、既に再構成されており参照のために利用可能である参照ブロックを指し示す。また、並列処理を考えると、タイル／スライス境界又は波面ラダー形（wavefront ladder-shaped）境界を越える参照エリアも、ブロックベクトルによって参照されることから除かれてよい。これらの制約により、ブロックベクトルは、動き補償における動きベクトルと相違し得る。動きベクトルは、如何なる値であることもできる（ｘ又はｙのどちらか一方の方向において正又は負）。

ブロックベクトルのコーディングは、明示的又は暗黙的のどちらか一方であってよい。インターコーディングにおいてＡＭＶＰ（Advanced Motion Vector Prediction）と時々呼ばれる明示的なモードでは、ブロックベクトルとその予測子との間の差が通知される。暗黙的なモードでは、ブロックベクトルは、マージモードにおける動きベクトルと同様の方法で、ブロックベクトルの予測子から回復される。ブロックベクトルの分解能は、いくつかの実施形態において、整数位置に制限される。他の実施形態では、ブロックベクトルの分解能は、分数位置を指し示すことを認められ得る。

ブロックレベルでのイントラブロックコピーの使用は、ＩＢＣフラグと呼ばれるブロックレベルフラグを用いて通知されてよい。一実施形態において、ＩＢＣフラグは、現在のブロックがマージモードでコーディングされない場合に通知される。ＩＢＣフラグはまた、現在のデコーディングされたピクチャを参照ピクチャとして扱うことによって実行される参照インデックスアプローチによって通知されてもよい。ＨＥＶＣスクリーンコンテンツコーディング（Screen Content Coding，ＳＣＣ）では、そのような参照ピクチャは、リストの最後の位置に置かれる。この特別な参照ピクチャも、ＤＰＢにおいて他の時間参照ピクチャとともにマージされてよい。ＩＢＣはまた、反転されたＩＢＣ（例えば、参照ブロックは、現在のブロックを予測するために使用される前に、水平方向又は垂直方向で反転される。）、又はラインベースのＩＢＣ（例えば、Ｍ×Ｎコーディングブロック内の各補償ユニットはＭ×１又は１×Ｎラインである。）などの変形を含んでもよい。

図８は、イントラピクチャブロック補償（例えば、イントラブロックコピーモード）の実施形態を表す。図８で、現在のピクチャ８００は、既にコーディング／デコーディングされているブロック領域（すなわち、灰色の正方形）の組と、まだコーディング／デコーディングされるべきであるブロック領域（すなわち、白色の正方形）の組とを含む。まだコーディング／デコーディングされるべきであるブロック領域のうちの１つのブロック８０２は、前にコーディング／デコーディングされた他のブロック８０６を指し示すブロックベクトル８０４と関連付けられてよい。従って、ブロック８０６と関連付けられた如何なる動き情報も、ブロック８０２のコーディング／デコーディングのために使用されてよい。

いくつかの実施形態においてＣＰＲモードの探索範囲は、現在のＣＴＵ内にあるよう制約される。ＣＰＲモードのための参照サンプルを記憶するための有効なメモリ要件は、１ＣＴサイズのサンプルである。現在の６４×６４領域内の再構成されたサンプルを記憶するために既存の参照サンプルメモリを考えると、更に３つの６４×６４サイズの参照サンプルメモリが必要である。本開示の実施形態は、ＣＰＲモードの有効探索範囲を左側ＣＴＵの一部に広げ、一方で、参照ピクセルを記憶する総メモリ要件は変更されないままである（１ＣＴＵサイズ、全部で４つの６４×６４参照サンプルメモリ）。

図９Ａ～９Ｄは、各４つの領域を有しているＣＴＵ９００及び９０２の例を表す。ＣＴＵ９０２はＣＴＵ９００の左にあり、ＣＴＵ９０２の４つの領域の夫々は、前にデコーディングされている。図１０Ａ～１０Ｄは、１つのＣＴＵのサイズに対応するエントリ［１］～［４］を有する参照サンプルメモリの実施形態を表す。参照サンプルメモリは、将来のＩＢＣ参照のために、前にデコーディングされたＣＴＵの参照サンプルを記憶してよい。例えば、ＣＴＵ９０２がデコーディングされる場合に、参照サンプルメモリのエントリ［１］～［４］は、ＣＴＵ９０２の４つの領域からのサンプルで満たされ、エントリ［１］は左上領域に対応し、エントリ［２］は右上領域に対応し、エントリ［３］は左下領域に対応し、エントリ［４］は右下領域に対応する。参照サンプルメモリのエントリが満たされる場合に、そのエントリは、次いで、将来のＩＢＣ参照のために利用可能なサンプルを含む。

図９Ａで、ＣＴＵ９００の左上領域は、デコーディング中の現在の領域である。ＣＴＵ９００の左上領域がデコーディングされる場合に、参照サンプルメモリのエントリ［１］は、図１０Ａで表されるように、この領域からのサンプルにより上書きされる（例えば、上書きされたメモリ位置は対角クロスハッチングを有する。）。図９Ｂで、ＣＴＵ９００の右上領域が、デコーディング中の次の現在の領域である。ＣＴＵ９００の右上領域がデコーディングされる場合に、参照サンプルメモリのエントリ［２］は、図１０Ｂで表されるように、この領域からのサンプルにより上書きされる。図９Ｃで、ＣＴＵ９００の左下領域が、デコーディング中の次の現在の領域である。ＣＴＵ９００の左下領域がデコーディングされる場合に、参照サンプルメモリのエントリ［３］は、図１０Ｃで表されるように、この領域からのサンプルにより上書きされる。図９Ｄで、ＣＴＵ９００の右下領域が、デコーディング中の次の現在の領域である。ＣＴＵ９００の右下領域がデコーディングされる場合に、参照サンプルメモリのエントリ［４］は、図１０Ｄで表されるように、この領域からのサンプルにより上書きされる。

本開示の実施形態は、参照サンプルメモリのサイズが制約される場合などのような特定の参照エリア制約の下でＩＢＣ性能を改善する。いくつかの実施形態において、参照サンプルメモリのサイズは、１２８×１２８ルーマサンプル（及び対応するクロマサンプル）に制約される。例において、参照サンプルの１ＣＴＵサイズは、指定されたメモリサイズと考えられる。更なる例は、ＣＴＵサイズのための６４×６４ルーマサンプル（及び対応するクロマサンプル）及びメモリサイズのための１２８×１２８ルーマサンプル（及び対応するクロマサンプル）、などのような異なるメモリサイズ／ＣＴＵサイズ組み合わせを含む。

図１１は、例となるＣＴＵ１１００及び１１０２を表す。図１１に表されるように、ＣＴＵ１１０２はＣＴＵ１１００の左にあり、前にデコーディングされた４つの領域を含む。ＣＴＵ１１００は、デコーディング中の現在のＣＴＵであり、左上領域が既にデコーディングされている。ＣＴＵ１１００の右上領域は、デコーディング中の現在の領域であり、ブロック１１０４は、デコーディング中の右上領域の現在のブロックである。ブロック１１０４は、３つの参照ブロック１１０６Ａ～１１０６Ｃを有してよい。図１１に表されるように、参照ブロック１１０６Ａ～１１０６Ｃの夫々は、ＣＴＵ１１００の左にあるＣＴＵ１１０２に位置している。ブロック１１０６Ａ～１１０６Ｃの夫々は、ＣＴＵ１１００において夫々、同一位置のブロック１１０８Ａ～１１０８Ｃを有する。

いくつかの実施形態に従って、同一位置のブロックとは、同じサイズを有するブロックの対を指し、一方のブロックは、前にコーディングされたＣＴＵ内にあり、他方のブロックは、現在のＣＴＵ内にある。例えば、メモリバッファサイズが１ＣＴＵである場合に、前のＣＴＵは、現在のＣＴＵの左に１ＣＴＵ幅のルーマサンプルだけオフセットしたＣＴＵを意味する。その上、これら２つのブロックは、それら自身のＣＴＵの左上角に対して同じ位置オフセット値を夫々有している。この点で、同一位置のブロックの対は、ピクチャの左上角に対して同じｙ座標を有するが、ｘ座標においてＣＴＵ幅が互いに異なっているような２つのブロックである（すなわち、２つの同一位置のブロックは、各々のＣＴＵ内の同じ位置座標を有している。）。例えば、図１１で、参照ブロック１１０６Ａ及びその同一位置のブロック１１０８Ａは、ＣＴＵ１１０２及び１１００において夫々同じｘ、ｙ座標を有する。同様に、参照ブロック１１０６Ｂ及びその同一位置のブロック１１０８Ｂは、ＣＴＵ１１０２及び１１００において夫々同じｘ、ｙ座標を有する。更に、参照ブロック１１０６Ｃ及びその同一位置のブロック１１０８Ｃは、ＣＴＵ１１０２及び１１００において夫々同じｘ、ｙ座標を有する。

図１１では、参照サンプルメモリのサイズは１ＣＴＵであると仮定される。従って、参照ブロック１１０６Ｃは、現在のＣＴＵ内の対応する同一位置のブロック１１０８Ｃがまだデコーディングされていない（これは、同一位置のブロック１１０８Ｃが白色領域に位置していることによって実証される。）ので、参照サンプルメモリ内で見つけられ得る。従って、参照ブロック１１０６Ｃに対応する参照サンプルメモリ内の位置は、依然として、左側ＣＴＵからの参照サンプルを記憶している。

参照ブロック１１０６Ｃと対照的に、参照ブロック１１０６Ａは、ＣＴＵ１１００内の対応する同一位置のブロック１１０８Ａが再構成されている（すなわち、デコーディングされている）（これは、同一位置のブロック１１０８Ａが灰色領域に位置していることによって実証される。）ので、使用され得ない。従って、参照ブロック１１０６Ａのための参照サンプルメモリ内の位置は、ＣＴＵ１１００からの参照サンプルにより更新されており、よって、もはや利用可能でない。同様に、参照ブロック１１０６Ｂは、ＣＴＵ１１００内の対応する同一位置のブロック１１０８Ｂが再構成されているので、デコーディングのために使用されるべき有効な参照ブロックではなく、従って、参照ブロック１１０６Ｂのための参照サンプルメモリ内の位置は、ＣＴＵ１１００内のデータにより更新されている。

いくつかの実施形態に従って、前にデコーディングされたＣＴＵ内の参照ブロックは、現在のＣＴＵ内の、その参照ブロックの対応する同一位置のブロックがまだ再構成されていない場合に、ＩＢＣ参照に使用するために利用可能である。いくつかの実施形態において、参照ブロックの左上角のサンプルの、現在のＣＴＵ内の同一位置のサンプルがチェックされる。現在のＣＴＵ内の同一位置のサンプルがまだ再構成されていない場合に、その参照ブロックの残りはＩＢＣ参照のために利用可能である。いくつかの実施形態において、メモリサイズが１ＣＴＵである場合に、前のデコーディングされたＣＴＵを参照することは、現在のＣＴＵの直ぐ左にあるＣＴＵを参照することを意味する。

メモリサイズがＣＴＵよりも大きい（例えば、２ＣＴＵサイズの参照サンプルメモリが許される）場合に、前のコーディングされたＣＴＵは、図１２に表されるように、現在のＣＴＵの左側ＣＴＵの左にあるＣＴＵを参照する。例えば、図１２で、ＣＴＵ１２００は、デコーディング中の現在のＣＴＵであり、ＣＴＵ１２０２及び１２０４は、ＣＴＵ１２００の左にある、前にデコーディングされた２つのＣＴＵである。ブロック１２０４は、デコーディング中の現在のブロックであり、参照ブロック１２０６は、現在のブロック１２０４のための参照ブロックである。更に、ブロック１２０８は、ブロック１２０６と同一位置にある。しかし、この例では、ブロック１２０６及び１２０８の間のｘ座標オフセットは、ＣＴＵ幅の２倍である。

いくつかの実施形態に従って、次の条件が当てはまる：
式１：
（ｙＣｂ＋（ｍｖＬ０［１］＞＞４））＞＞ＣｔｂＬｏｇ２ＳｉｚｅＹ＝ｙＣｂ＞＞ＣｔｂＬｏｇ２ＳｉｚｅＹ
式２：
（ｙＣｂ＋（ｍｖＬ０［１］＞＞４）＋ｃｂＨｅｉｇｈｔ－１）＞＞ＣｔｂＬｏｇ２ＳｉｚｅＹ＝ｙＣｂ＞＞ＣｔｂＬｏｇ２ＳｉｚｅＹ
式３：
（ｘＣｂ＋（ｍｖＬ０［０］＞＞４））＞＞ＣｔｂＬｏｇ２ＳｉｚｅＹ＞＝（ｘＣｂ＞＞ＣｔｂＬｏｇ２ＳｉｚｅＹ）－１
式４：
（ｘＣｂ＋（ｍｖＬ０［０］＞＞４）＋ｃｂＷｉｄｔｈ－１）＞＞ＣｔｂＬｏｇ２ＳｉｚｅＹ＞＝（ｘＣｂ＞＞ＣｔｂＬｏｇ２ＳｉｚｅＹ）－１

式１～４は、参照ブロックを見つけるために使用されてよい。式１及び２は、参照ブロックの上下が、同じＣＴＵ行内にあるべきことを意味する。式３及び４は、参照ブロックの左右が、現在又は左側のＣＴＵ内にあるべきことを意味する。上記の式で、ｘＣｂ及びｙＣｂは、夫々、現在のブロックのｘ及びｙ座標である。変数ｃｂＨｅｉｇｈｔ及びｃｂＷｉｄｔｈは、夫々、現在のブロックの高さ及び幅である。変数ＣｔｂＬｏｇ２ＳｉｚｅＹは、ｌｏｇ２領域でのＣＴＵサイズを指す。例えば、ＣｔｂＬｏｇ２ＳｉｚｅＹ＝７は、ＣＴＵサイズが１２８×１２８であることを意味する。変数ｍｖＬ０［０］及びｍｖＬ０［１］は、夫々、ブロックベクトルｍｖＬ０のｘ及びｙ成分を指す。

いくつかの実施形態に従って、現在のブロックの参照ブロックが現在のブロックの現在のＣＴＵとは異なったＣＴＵ内にあると決定される場合に、参照サンプルメモリは、参照ブロックに対応するサンプルが利用可能であるかどうかを決定するよう確認される。いくつかの実施形態において、参照ブロックが現在のＣＴＵとは異なったＣＴＵ内にあるかどうかを決定することは、次のように決定される：
式５：
（ｘＣｂ＋（ｍｖＬ０［０］＞＞４））＞＞ＣｔｂＬｏｇ２ＳｉｚｅＹ＝（ｘＣｂ＞＞ＣｔｂＬｏｇ２ＳｉｚｅＹ）－１

現在のブロックの参照ブロックが現在のブロックのＣＴＵとは異なったＣＴＵ内にある場合に、参照ブロックのサンプルが参照メモリにおいて利用可能であるかどうかを決定することは、いくつかの実施形態に従って、入力として：
（ｉ）現在のブロックのｘ及びｙ座標（ｘＣｂ，ｙＣｂ）、及び
（ｉｉ）隣接ルーマ位置（（ｘＣｂ＋（ｍｖＬ０［０］＞＞４）＋（１＜＜ＣｔｂＬｏｇ２ＳｉｚｅＹ），ｙＣｂ＋（ｍｖＬ０［１］＞＞４）））
を使用して決定される。

出力が偽である場合に、参照ブロックのサンプルは、利用であると決定される。例えば、現在の位置（ｘＣｂ，ｙＣｂ）での現在のブロックについて、入力（ｉ）及び（ｉｉ）は、隣接ブロック（ｘＮｂ，ｙＮｂ）が現在のブロックに利用可能であるかどうかを決定するために使用される。利用可能とは、ブロックで既にデコーディングされており、（例えば、同じタイル内で）イントラ予測のために使用可能であることを意味する。

いくつかの実施形態に従って、現在のブロックの参照ブロックが現在のブロックのＣＴＵとは異なったＣＴＵ内にある場合に、２^Ｍ×２^Ｎの領域は、参照ブロックのサンプルが参照サンプルメモリにおいて利用可能であるかどうかを決定するために確認される。Ｍ及びＮは正の整数であってよい。２^Ｍ×２^Ｎの領域が参照メモリにおいて利用可能であるかどうかを決定することは、いくつかの実施形態に従って、入力として：
（ｉ）現在のブロックのｘ及びｙ座標（ｘＣｂ，ｙＣｂ）、及び
（ｉｉ）隣接ルーマ位置（（（ｘＣｂ＋（ｍｖＬ０［０］＞＞４）＋（１＜＜ＣｔｂＬｏｇ２ＳｉｚｅＹ））＞＞（ＣｔｂＬｏｇ２ＳｉｚｅＹ－１））＜＜（ＣｔｂＬｏｇ２ＳｉｚｅＹ－１），（（ｙＣｂ＋（ｍｖＬ０［１］＞＞４））＞＞（ＣｔｂＬｏｇ２ＳｉｚｅＹ－１））＜＜（ＣｔｂＬｏｇ２ＳｉｚｅＹ－１））
を使用して決定される。

出力が偽である場合に、参照ブロックのサンプルは、利用であると決定される（例えば、隣接ブロックは、イントラブロックコピーの使用のために利用可能である。）。例えば、Ｍ及びＭが８に等しい場合に、現在のＣＴＵ内の６４×６４領域のいずれかのサンプル（現在のサンプルと呼ばれる。）が再構成されているならば、その現在のサンプルの同一位置のサンプルが位置している参照サンプルメモリ内の対応する６４×６４領域は、ＩＢＣ参照のために利用可能でない。そのようなものとして、参照サンプルメモリは、６４×６４ベースで更新されてよい。

いくつかの実施形態において、ピクチャ内のＣＴＵは、幅又は高さの差が２倍に又は半分にされる可変なサイズを有する。ＣＴＵサイズが半分に低減される場合に、１つＣＴＵを前に記憶した参照サンプルメモリは、この場合に４つＣＴＵを記憶する。従って、図１２に示されるような現在のＣＴＵの左手にある２つのＣＴＵの代わりに、現在のＣＴＵの左側には４つのＣＴＵが存在する。これらのシナリオ、つまり、４ＣＴＵの参照データ又は２ＣＴＵの参照データでは、最左のＣＴＵを除いて、現在のＣＴＵの左にある他のＣＴＵ内の全ての他の前にコーディングされたサンプルが、上記の実施形態における条件チェックを使用せずに完全に利用可能である。最左のＣＴＵについては、上記の実施形態における条件チェックは、参照サンプルの利用可能性について同様であるが、ｘ座標オフセットの調整は、最左のＣＴＵに２つのＣＴＵがある場合には２×ＣＴＵ幅であり、最左のＣＴＵに４つのＣＴＵがある場合には４×ＣＴＵ幅である。

図１３及び図１４は、再構成中のブロックのための予測ブロックを生成するために、イントラモードでコーディングされたブロックの再構成で使用されるプロセスの実施形態を表す。様々な実施形態において、プロセスは、端末デバイス（１１０）、（１２０）、（１３０）及び（１４０）の処理回路、ビデエンコーダ（２０３）の機能を実行する処理回路、ビデオデコーダ（２１０）の機能を実行する処理回路、ビデオデコーダ（３１０）の機能を実行する処理回路、イントラ予測モジュール（３５２）の機能を実行する処理回路、ビデオエンコーダ（４０３）の機能を実行する処理回路、予測器（４３５）の機能を実行する処理回路、イントラエンコーダ（５２２）の機能を実行する処理回路、イントラデコーダ（６７２）の機能を実行する処理回路、などのような処理回路によって実行される。いくつかの実施形態において、プロセスは、ソフトウェア命令において実装され、よって、処理回路がソフトウェア命令を実行する場合に、処理回路はプロセスを実行する。

プロセスは、一般的に、コーディングされたビデオビットストリームが受け取られるステップＳ１３００から始まり得る。プロセスは、現在のブロックのための参照ブロックが現在のブロックの現在のＣＴＵとは異なったＣＴＵ内にあるかどうかが決定されるステップＳ１３０２へ進む。参照ブロックが異なったＣＴＵ内にないと決定される場合には、プロセスはＳ１３０４へ進み、ＩＢＣが、参照ブロックを用いて現在のブロックに対して実行される。

参照ブロックが異なったＣＴＵ内にあると決定される場合には、プロセスはステップＳ１３０２からステップＳ１３０６へ進み、現在のブロックのＣＴＵ及び参照サンプルメモリが同じサイズを有しているかどうかが決定される。現在のブロックのＣＴＵ及び参照サンプルメモリがサイズが同じでない場合には、プロセスはプロセスＡへ進む。プロセスＡについては、以下で更に詳細に説明される。現在のブロックのＣＴＵ及び参照サンプルメモリがサイズが同じである場合には、プロセスはステップＳ１３０８へ進み、第１エリアが現在のＣＴＵについて決定される。例として、第１エリアは、参照ブロック、すなわち、２^Ｍ×２^Ｎ領域と同一位置にあるブロックであってよい。ここで、Ｍ及びＮは正の整数である。

プロセスはステップＳ１３１０へ進み、参照ブロックのためのメモリ位置が利用可能であるかどうかが決定される。例えば、現在のＣＴＵに位置する第１エリアは、異なったＣＴＵ内の第２エリアと同一位置にあってよい。異なったＣＴＵにおいて、第２エリアは参照ブロックを含む。第１エリアが少なくとも部分的に再構成されている場合に、参照サンプルメモリ内の参照ブロックのためのメモリ位置は利用不可能であると決定される。参照ブロックのための参照サンプルメモリ内のメモリ位置が利用不可能であると決定される場合に、プロセスはステップＳ１３１２へ進み、他の参照ブロックを選択するといったデフォルトのプロセスが実行される。他の方法では、参照ブロックのための参照サンプルメモリ内のメモリ位置が利用不可能であると決定される場合に、デフォルトのプロセスは、１＜＜（ｂｉｔ＿ｄｅｐｔｈ－１）などの、現在のブロックのための参照ブロックを形成するための予め定義された値を置くことであることができる。ここで、ｂｉｔ＿ｄｅｐｔｈは、サンプルごとに使用されるビットの深さである。参照ブロックのための参照サンプルメモリ内のメモリ位置が利用可能である場合には、プロセスはステップＳ１３１０からステップＳ１３１４へ進み、現在のブロックをデコーディングするために、参照ブロックに対応するメモリ位置から、１つ以上のサンプルが読み出される。
プロセスＡは、一般的に、現在のブロックのＣＴＵのサイズが参照サンプルメモリのサイズよりも小さいかどうかが決定されるステップＳ１４００から始まり得る。現在のブロックのＣＴＵのサイズが参照サンプルメモリのサイズよりも小さくない場合に、プロセスは、参照サンプルメモリ内の参照ブロックに対するメモリ位置が利用可能であるかどうかを決定するようステップＳ１４０２へ進む。例えば、ステップＳ１３０８～Ｓ１３１２は、上述されたように、ステップＳ１４０２で繰り返されてよい。

ステップＳ１４００で、現在のブロックのＣＴＵのサイズが参照サンプルメモリのサイズよりも小さいと決定される場合に、プロセスはステップＳ１４０４へ進み、参照ブロックが位置している異なったＣＴＵと、現在のブロックが位置している現在のＣＴＵとの間の距離がしきい値よりも短いかどうかが決定される。例として、参照ブロックと現在のブロックとの間の距離は、これらのブロックのＸ座標間の差に基づいて決定されてよい。例として、しきい値は、

（（参照サンプルメモリサイズ／ＣＴＵサイズ）－１）×（ＣＴＵ幅）

と定義されてよい。

参照ブロックの異なったＣＴＵと現在のブロックのＣＴＵとの間の距離がしきい値よりも短い場合に、プロセスは、参照ブロックに対応するメモリ位置から、現在のブロックをデコーディングするための１つ以上のサンプルを読み出すよう、ステップＳ１４０６へ進む。この点で、異なったＣＴＵの参照ブロックと現在のブロックとの間の距離がしきい値よりも短い場合に、図１３のステップＳ１３０８～Ｓ１３１２で説明されたメモリチェックは実行されない。異なったＣＴＵの参照ブロックと現在のブロックとの間の距離がしきい値以上である場合には、プロセスはステップＳ１４０４からステップＳ１４０２へ戻る。図１４に表されるプロセスは、ステップＳ１４０２又はＳ１４０４の後に終了する。

図１４のシナリオは、参照サンプルメモリのサイズが現在のＣＴＵのサイズよりも２倍大きい図１２において表されている。参照ブロックがＣＴＵ１２０２に位置している場合に、ＣＴＵ１２０２と現在のＣＴＵとの間の距離はしきい値よりも短くなる。従って、このシナリオでは、参照ブロックに対応する参照サンプルメモリ内のメモリ位置は利用可能であるから、参照サンプルメモリのメモリチェックは不要である。参照ブロックがＣＴＵ１２０４に位置している場合には、ＣＴＵ１２０４と現在のＣＴＵとの間の距離はしきい値以上である。従って、このシナリオでは、図１３のステップＳ１３０８～Ｓ１３１２で説明されたメモリチェックが、メモリ位置が利用可能であるかどうか決定するよう実行される。

上記の技術は、コンピュータ読み出し可能な命令を使用しかつ１つ以上のコンピュータ可読媒体に物理的に記憶されているコンピュータソフトウェアとして実装可能である。例えば、図１５は、開示されている対象の特定の実施形態を実装することに適したコンピュータシステム（１４００）を示す。

コンピュータソフトウェアは、１つ以上の中央演算処理装置（ＣＰＵ）、グラフィクス処理ユニット（ＧＰＵ）などによって直接に又は解釈、マイクロコード実行などを通じて実行され得る命令を含むコードを生成するようにアセンブリ、コンパイル、リンキングなどのメカニズムに従い得る如何なる適切な機械コード又はコンピュータ言語によってもコーディング可能である。

命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲーム機、モノのインターネット（Internet of Things）のためのデバイス、などを含む様々なタイプのコンピュータ又はその構成要素で実行可能である。

コンピュータシステム（１４００）に関して図１５に示される構成要素は、本質的に例示であり、本開示の実施形態を実装するコンピュータソフトウェアの使用又は機能の範囲に関して如何なる制限も示唆することを意図しない。構成要素の構成は、コンピュータシステム（１４００）の例となる実施形態において説明される構成要素のうちのいずれか１つ又は組み合わせに関して何らかの依存又は要件を有するものとして解釈されるべきではない。

コンピュータシステム（１４００）は、特定のヒューマンインターフェース入力デバイスを含んでよい。そのようなヒューマンインターフェース入力デバイスは、例えば、触覚入力（例えば、キーボード、スワイプ、データグロープ動作）、音声入力（例えば、声、拍手）、視覚入力（例えば、ジェスチャ）、嗅覚入力（図示せず。）を通じた一人以上のユーザによる入力に反応してよい。ヒューマンインターフェースデバイスはまた、音声（例えば、発話、音楽、周囲音）、画像（例えば、スキャンされた画像、静止画カメラから取得された写真画像）、映像（例えば、二次元映像、立体視映像を含む三次元映像）など、人による意識的な入力に必ずしも直接には関係しない特定のメディアを捕捉するためにも使用され得る。

入力ヒューマンインターフェースデバイスは、キーボード（１４０１）、マウス（１４０２）、トラックパッド（１４０３）、タッチスクリーン（１４１０）、データグローブ（図示せず。）、ジョイスティック（１４０５）、マイク（１４０６）、スキャナ（１４０７）、カメラ（１４０８）のうちの１つ以上（夫々表されているもののうちの１つのみ）を含んでよい。

コンピュータシステム（１４００）は、特定のヒューマンインターフェース出力デバイスも含んでよい。そのようなヒューマンインターフェース出力デバイスは、例えば、触覚出力、音響、光、及び匂い／味を通じて一人以上のユーザの感覚を刺激し得る。そのようなヒューマンインターフェース出力デバイスは、触覚出力デバイス（例えば、タッチスクリーン（１４１０）、データグローブ（図示せず。）、又はジョイスティック（１４０５）による触覚フィードバック、しかし、入力デバイスとして機能しない触覚フィードバックデバイスも存在し得る。）、音声出力デバイス（例えば、スピーカ（１４０９）、ヘッドホン（図示せず。））、視覚出力デバイス（例えば、夫々タッチスクリーン入力機能の有無によらず、夫々触覚フィードバック機能の有無によらず、ＣＲＴスクリーン、ＬＣＤスクリーン、プラズマスクリーン、ＯＬＥＤスクリーンを含み、それらのうちのいくつかは、立体視出力、仮想現実メガネ（図示せず。）、ホログラフィックディスプレイ及びスモークタンク（図示せず。）などの手段により二次元視覚出力又は三次元よりも多い次元の出力を出力可能なスクリーン（１４１０））、及びプリンタ（図示せず。）を含んでよい。

コンピュータシステム（１４００）は、人がアクセス可能な記憶デバイス及びそれらの関連する媒体、例えば、ＣＤ／ＤＶＤ又は同様の媒体（１４２１）を伴ったＣＤ／ＤＶＤＲＯＭ／ＲＷ（１４２０）、サムドライブ（１４２２）、リムーバブルハードディスク又はソリッドステートドライブ（１４２３）、レガシー磁気媒体、例えば、テープ及びフロッピー（登録商標）ディスク（図示せず。）、専用のＲＯＭ／ＡＳＩＣ／ＰＬＤベースデバイス、例えば、セキュリティドングル（図示せず。）、なども含むことができる。

当業者であれば、目下開示されている対象に関連して使用されている「コンピュータ可読媒体」という用語が、伝送媒体、搬送波、又は他の一時的な信号を含まないことも理解するはずである。

コンピュータシステム（１４００）は、１つ以上の通信ネットワークへのインターフェースも含むことができる。ネットワークは、例えば、ワイヤレス、ワイヤライン、光であることができる。ネットワークは更に、ローカル、ワイドエリア、メトロポリタン、車両及び工業、実時間、遅延耐性、などであることができる。ネットワークの例には、イーサネット（登録商標）などのローカルエリアネットワーク、ワイヤレスＬＡＮ、ＧＳＭ、３Ｇ、４Ｇ、５Ｇ、ＬＴＥなどを含むセルラーネットワーク、ケーブルＴＶ、衛星ＴＶ、及び地上放送ＴＶを含むＴＶワイヤライン又はワイヤレス広域デジタルネットワーク、ＣＡＮバスを含む車両及び工場ネットワーク、などがある。特定のネットワークは、一般に、特定の汎用デジタルポート又はペリフェラルバス（１４４９）（例えば、コンピュータシステム（１４００）のＵＳＢポートなど）に取り付けられた外付けネットワークインターフェースアダプタを必要とする。他は、一般に、後述されるようなシステムバスへの取り付け（例えば、ＰＣコンピュータシステムへのイーサネットネットワーク、又はスマートフォンコンピュータシステムへのセルラーネットワークインターフェース）によってコンピュータシステム（１４００）のコアに組み込まれる。これらのネットワークのいずれかを使用して、コンピュータシステム（１４００）は他のエンティティと通信することができる。そのような通信は、単方向の受信専用（例えば、ブロードキャストＴＶ）又は単方向の送信専用（例えば、特定のＣＡＮバスデバイスへのＣＡＮバス）であることができ、あるいは、例えば、ローカル若しくは広域デジタルネットワークを使用して他のコンピュータシステムに対して双方向であることができる。特定のプロトコル又はプロトコルスタックが、上述されたようなネットワーク及びネットワークインターフェースの夫々で使用可能である。

上記のヒューマンインターフェースデバイス、人がアクセス可能な記憶デバイス、及びネットワークインターフェースは、コンピュータシステム（１４００）のコア（１４４０）へ取り付けられ得る。

コア（１４４０）は、１つ以上の中央演算処理装置（ＣＰＵ）（１４４１）、グラフィクス処理ユニット（ＧＰＵ）（１４４２）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）（１４４３）の形をとる専用のプログラム可能処理ユニット、特定のタスクのためのハードウェアアクセラレータ（１４４４）、などを含むことができる。これらのデバイスは、リードオンリーメモリ（ＲＯＭ）（１４４５）、ランダムアクセスメモリ（ＲＡＭ）（１４４６）、内部のユーザアクセス不能ハードドライブなどの内蔵大容量記憶装置、ＳＳＤ、など（１４４７）とともに、システムバス（１４４８）を通じて接続されてよい。いくつかのコンピュータシステムでは、システムバス（１４４８）は、追加のＣＰＵ、ＧＰＵなどによる拡張を可能にするように、１つ以上の物理プラグの形でアクセス可能であることができる。コアのシステムバス（１４４８）へ直接に又はペリフェラルバス（１４４９）を通じて、周辺機器が取り付けられ得る。ペリフェラルバスのためのアーキテクチャには、ＰＣＩ、ＵＳＢなどがある。

ＣＰＵ（１４４１）、ＧＰＵ（１４４２）、ＦＰＧＡ（１４４３）、及びアクセラレータ（１４４４）は、組み合わせて上記のコンピュータコードを構成することができる特定の命令を実行可能である。そのコンピュータコードは、ＲＯＭ（１４４５）又はＲＡＭ（１４４６）に記憶され得る。一時データもＲＡＭ（１４４６）に記憶可能であり、一方、永続性データは、例えば、内蔵大容量記憶装置（１４４７）に記憶可能である。メモリデバイスのいずれかへの高速な格納及び読み出しは、キャッシュメモリの使用により可能にされ得る。キャッシュメモリは、１つ以上のＣＰＵ（１４４１）、ＧＰＵ（１４４２）、大容量記憶装置（１４４７）、ＲＯＭ（１４４５）、ＲＡＭ（１４４６）などと密接に関連し得る。

コンピュータ可読媒体は、様々なコンピュータ実装動作を実行するためのコンピュータコードを有することができる。媒体及びコンピュータコードは、本開示の目的のために特別に設計及び構成されたものであることができ、あるいは、それらは、コンピュータソフトウェア技術で通常の知識を有する者によく知られており利用可能である種類のものであることができる。

例として、限定としてではなく、アーキテクチャ（１４００）、具体的にはコア（１４４０）を有するコンピュータシステムは、１つ以上の有形なコンピュータ可読媒体において具現されているソフトウェアを実行するプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータ、などを含む。）の結果として機能を提供することができる。そのようなコンピュータ可読媒体は、コア内蔵大容量記憶装置（１４４７）又はＲＯＭ（１４４５）などの、非一時的な性質であるコア（１４４０）の特定の記憶装置に加えて、先に紹介されたユーザアクセス可能な大容量記憶装置に関連した媒体であることができる。本開示の様々な実施形態を実装するソフトウェアは、そのようなデバイスに記憶され、コア（１４４０）によって実行可能である。コンピュータ可読媒体には、特定のニーズに応じて、１つ以上のメモリデバイス又はチップが含まれ得る。ソフトウェアは、コア（１４４０）、及び、具体的には、その中のプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡなどを含む。）に、ＲＡＭ（１４４６）に記憶されているデータ構造を定義し、ソフトウェアによって定義されたプロセスに従ってそのようなデータ構造を変更することを含め、本明細書で説明されている特定のプロセス又は特定のプロセスの特定の部分を実行させることができる。追加的に、又は代替案として、コンピュータシステムは、本明細書で説明されている特定のプロセス又は特定のプロセスの特定の部分を実行するようにソフトウェアの代わりに又はそれとともに動作することができる、回路内でハードウェアにより実現されるか又は別なふうに具現されるロジック（例えば、アクセラレータ（１４４４））の結果として、機能を提供することができる。ソフトウェアへの言及は、必要に応じて、ロジックを包含することができ、その逆も同様である。コンピュータ可読媒体への言及は、必要に応じて、実行のためのソフトウェアを記憶している回路（例えば、集積回路（ＩＣ））、実行のためのロジックを具現する回路、又は両方を包含することができる。本開示は、ハードウェア及びソフトウェアの如何なる適切な組み合わせも包含する。

付録Ａ：頭字語
ＪＥＭ：joint exploration model
ＶＶＣ：versatile video coding
ＢＭＳ：benchmark set
ＭＶ：Motion Vector
ＨＥＶＣ：High Efficiency Video Coding
ＳＥＩ：Supplementary Enhancement Information
ＶＵＩ：Video Usability Information
ＧＯＰ：Group(s) of Pictures
ＴＵ：Transform Unit(s)
ＰＵ：Prediction Unit(s)
ＣＴＵ：Coding Tree Unit(s)
ＣＴＢ：Coding Tree Block(s)
ＰＢ：Prediction Block(s)
ＨＲＤ：Hypothetical Reference Decoder
ＳＮＲ：Signal Noise Ratio
ＣＰＵ：Central Processing Unit(s)
ＧＰＵ：Graphics Processing Unit(s)
ＣＲＴ：Cathode Ray Tube
ＬＣＤ：Liquid-Crystal Display
ＯＬＥＤ：Organic Light-Emitting Diode
ＣＤ：Compact Disc
ＤＶＤ：Digital Video Disc
ＲＯＭ：Read-Only Memory
ＲＡＭ：Random Access Memory
ＡＳＩＣ：Application-Specific Integrated Circuit
ＰＬＤ：Programmable Logic Device
ＬＡＮ：Local Area Network
ＧＳＭ：Global System for Mobile communications
ＬＴＥ：Long Term Evolution
ＣＡＮＢｕｓ：Controller Area Network Bus
ＵＳＢ：Universal Serial Bus
ＰＣＴ：Peripheral Component Interconnect
ＦＰＧＡ：Field Programmable Gate Areas
ＳＳＤ：Solid-State Drive
ＩＣ：Integrated Circuit
ＣＵ：Coding Unit

本開示は、いくつかの例となる実施形態について記載してきたが、本開示の範囲内にある代替、交換、及び様々な置換均等物が存在する。よって、明らかなように、当業者であれば、たとえ本明細書で明示的に図示又は説明されていないとしても、本開示の原理を具現し、よって、その精神及び範囲の中にある多数のシステム及び方法に想到可能である。

（１）デコーダのためのビデオデコーディングの方法であって、
コーディングされたビデオビットストリームを受け取るステップと、
現在のブロックのための参照ブロックが前記現在のブロックのコーディングツリーユニット（ＣＴＵ）とは異なったＣＴＵに位置しているかどうかを決定するステップであり、前記参照ブロック及び前記現在のブロックは、前記コーディングされたビデオビットストリームに含まれる同じピクチャに位置している、ステップと、
前記参照ブロックが前記異なったＣＴＵに位置しているとの決定に応答して、前記現在のブロックの前記ＣＴＵ及び参照サンプルメモリが同じサイズを有しているかどうかを決定するステップと、
前記現在のブロックの前記ＣＴＵ及び前記参照サンプルメモリが同じサイズを有しているとの決定に応答して、
（ｉ）前記異なったＣＴＵ内の第２エリアと同一位置にある前記現在のブロックの前記ＣＴＵ内の第１エリアを決定するステップであり、前記第１エリアは、前記参照ブロックの前記異なったＣＴＵ内の前記第２エリアの位置座標と同じである前記現在のブロックの前記ＣＴＵ内の位置座標を有する、ステップと、
（ｉｉ）前記第１エリアのデコーディング状態に基づいて、前記参照ブロックのための前記参照サンプルメモリのメモリ位置が利用可能であるかどうかを決定するステップと、
（ｉｉｉ）前記参照ブロックのための前記メモリ位置が利用可能であるとの決定に応答して、前記参照ブロックに対応する前記メモリ位置から、前記現在のブロックをデコーディングするための１つ以上のサンプルを読み出すステップと
を有する方法。

（２）前記第１エリアは、前記現在のブロックであり、前記第２エリアは、前記参照ブロックである、特徴（１）に従う方法。

（３）前記第１エリア及び前記第２エリアの夫々は、２^Ｍ×２^Ｎであるサイズを有する、特徴（１）又は（２）のいずれか１つに従う方法。

（４）Ｍ＝６かつＮ＝６である、特徴（３）に従う方法。

（５）前記第１エリアが少なくとも部分的にデコーディングされている少なくとも１つのブロックを含まないことを前記第１エリアの前記デコーディング状態が示すとの決定に応答して、前記参照ブロックに対応する前記メモリ位置は、利用可能であると決定される、特徴（１）乃至（４）のうちいずれか１つに従う方法。

（６）前記参照サンプルメモリ及び前記現在のブロックの前記ＣＴＵがサイズが同じでないとの決定に応答して、前記現在のブロックの前記ＣＴＵのサイズが前記参照サンプルメモリのサイズよりも小さいかどうかを決定するステップと、
前記現在のブロックの前記ＣＴＵのサイズが前記参照サンプルメモリのサイズよりも小さいとの決定に応答して、前記参照ブロックの前記異なったＣＴＵと前記現在のブロックの前記ＣＴＵとの間の距離が、（（参照サンプルメモリサイズ／ＣＴＵサイズ）－１）×（ＣＴＵ幅）と定義されたしきい値よりも短いかどうかを決定するステップと、
前記距離が前記しきい値よりも短いとの決定に応答して、前記参照ブロックに対応する前記メモリ位置から、前記現在のブロックをデコーディングするための１つ以上のサンプルを読み出すステップと
を更に有する、特徴（１）乃至（５）のうちいずれか１つに従う方法。

（７）前記距離が前記しきい値以上であるとの決定に応答して、
（ｉ）前記異なったＣＴＵ内の第２エリアと同一位置にある前記現在のブロックの前記ＣＴＵ内の第１エリアを決定するステップであり、前記第１エリアは、前記参照ブロックの前記異なったＣＴＵ内の前記第２エリアの位置座標と同じである前記現在のブロックの前記ＣＴＵ内の位置座標を有する、ステップと、
（ｉｉ）前記第１エリアのデコーディング状態に基づいて、前記参照ブロックのための前記参照サンプルメモリのメモリ位置が利用可能であるかどうかを決定するステップと、
（ｉｉｉ）前記参照ブロックのための前記メモリ位置が利用可能であるとの決定に応答して、前記参照ブロックに対応する前記メモリ位置から、前記現在のブロックをデコーディングするための１つ以上のサンプルを読み出すステップと
を更に有する、特徴（６）に従う方法。

（８）ビデオデコーディングのためのビデオデコーダであって、
処理回路を有し、該処理回路は、
コーディングされたビデオビットストリームを受け取り、
現在のブロックのための参照ブロックが前記現在のブロックのコーディングツリーユニット（ＣＴＵ）とは異なったＣＴＵに位置しているかどうかを決定し、前記参照ブロック及び前記現在のブロックは、前記コーディングされたビデオビットストリームに含まれる同じピクチャに位置しており、
前記参照ブロックが前記異なったＣＴＵに位置しているとの決定に応答して、前記現在のブロックの前記ＣＴＵ及び参照サンプルメモリが同じサイズを有しているかどうかを決定し、
前記現在のブロックの前記ＣＴＵ及び前記参照サンプルメモリが同じサイズを有しているとの決定に応答して、
（ｉ）前記異なったＣＴＵ内の第２エリアと同一位置にある前記現在のブロックの前記ＣＴＵ内の第１エリアを決定し、前記第１エリアは、前記参照ブロックの前記異なったＣＴＵ内の前記第２エリアの位置座標と同じである前記現在のブロックの前記ＣＴＵ内の位置座標を有し、
（ｉｉ）前記第１エリアのデコーディング状態に基づいて、前記参照ブロックのための前記参照サンプルメモリのメモリ位置が利用可能であるかどうかを決定し、
（ｉｉｉ）前記参照ブロックのための前記メモリ位置が利用可能であるとの決定に応答して、前記参照ブロックに対応する前記メモリ位置から、前記現在のブロックをデコーディングするための１つ以上のサンプルを読み出す
よう構成される、
ビデオデコーダ。

（９）前記第１エリアは、前記現在のブロックであり、前記第２エリアは、前記参照ブロックである、特徴（８）に従うビデオデコーダ。

（１０）前記第１エリア及び前記第２エリアの夫々は、２^Ｍ×２^Ｎであるサイズを有する、特徴（８）又は（９）に従うビデオデコーダ。

（１１）Ｍ＝６かつＮ＝６である、特徴（１０）に従うビデオデコーダ。

（１２）前記第１エリアが少なくとも部分的にデコーディングされている少なくとも１つのブロックを含まないことを前記第１エリアの前記デコーディング状態が示すとの決定に応答して、前記参照ブロックに対応する前記メモリ位置は、利用可能であると決定される、特徴（８）乃至（１１）のうちいずれか１つに従うビデオデコーダ。

（１３）前記処理回路は、
前記参照サンプルメモリ及び前記現在のブロックの前記ＣＴＵがサイズが同じでないとの決定に応答して、前記現在のブロックの前記ＣＴＵのサイズが前記参照サンプルメモリのサイズよりも小さいかどうかを決定し、
前記現在のブロックの前記ＣＴＵのサイズが前記参照サンプルメモリのサイズよりも小さいとの決定に応答して、前記参照ブロックの前記異なったＣＴＵと前記現在のブロックの前記ＣＴＵとの間の距離が、（（参照サンプルメモリサイズ／ＣＴＵサイズ）－１）×（ＣＴＵ幅）と定義されたしきい値よりも短いかどうかを決定し、
前記距離が前記しきい値よりも短いとの決定に応答して、前記参照ブロックに対応する前記メモリ位置から、前記現在のブロックをデコーディングするための１つ以上のサンプルを読み出す
よう更に構成される、
特徴（８）乃至（１２）のうちいずれか１つに従うビデオデコーダ。

（１４）前記処理回路は、
前記距離が前記しきい値以上であるとの決定に応答して、
（ｉ）前記異なったＣＴＵ内の第２エリアと同一位置にある前記現在のブロックの前記ＣＴＵ内の第１エリアを決定し、前記第１エリアは、前記参照ブロックの前記異なったＣＴＵ内の前記第２エリアの位置座標と同じである前記現在のブロックの前記ＣＴＵ内の位置座標を有し、
（ｉｉ）前記第１エリアのデコーディング状態に基づいて、前記参照ブロックのための前記参照サンプルメモリのメモリ位置が利用可能であるかどうかを決定し、
（ｉｉｉ）前記参照ブロックのための前記メモリ位置が利用可能であるとの決定に応答して、前記参照ブロックに対応する前記メモリ位置から、前記現在のブロックをデコーディングするための１つ以上のサンプルを読み出す
よう更に構成される、
特徴（１３）に従うビデオデコーダ。

（１５）命令を記憶している非一時的なコンピュータ可読媒体であって、
前記命令は、ビデオデコーダのプロセッサによって実行される場合に、該プロセッサに、
コーディングされたビデオビットストリームを受け取るステップと、
現在のブロックのための参照ブロックが前記現在のブロックのコーディングツリーユニット（ＣＴＵ）とは異なったＣＴＵに位置しているかどうかを決定するステップであり、前記参照ブロック及び前記現在のブロックは、前記コーディングされたビデオビットストリームに含まれる同じピクチャに位置している、ステップと、
前記参照ブロックが前記異なったＣＴＵに位置しているとの決定に応答して、前記現在のブロックの前記ＣＴＵ及び参照サンプルメモリが同じサイズを有しているかどうかを決定するステップと、
前記現在のブロックの前記ＣＴＵ及び前記参照サンプルメモリが同じサイズを有しているとの決定に応答して、
（ｉ）前記異なったＣＴＵ内の第２エリアと同一位置にある前記現在のブロックの前記ＣＴＵ内の第１エリアを決定するステップであり、前記第１エリアは、前記参照ブロックの前記異なったＣＴＵ内の前記第２エリアの位置座標と同じである前記現在のブロックの前記ＣＴＵ内の位置座標を有する、ステップと、
（ｉｉ）前記第１エリアのデコーディング状態に基づいて、前記参照ブロックのための前記参照サンプルメモリのメモリ位置が利用可能であるかどうかを決定するステップと、
（ｉｉｉ）前記参照ブロックのための前記メモリ位置が利用可能であるとの決定に応答して、前記参照ブロックに対応する前記メモリ位置から、前記現在のブロックをデコーディングするための１つ以上のサンプルを読み出すステップと
を有する方法を実行させる、
非一時的なコンピュータ可読媒体。

（１６）前記第１エリアは、前記現在のブロックであり、前記第２エリアは、前記参照ブロックである、特徴（１５）に従う非一時的なコンピュータ可読媒体。

（１７）前記第１エリア及び前記第２エリアの夫々は、２^Ｍ×２^Ｎであるサイズを有する、特徴（１５）又は（１６）に従う非一時的なコンピュータ可読媒体。

（１８）前記第１エリアが少なくとも部分的にデコーディングされている少なくとも１つのブロックを含まないことを前記第１エリアの前記デコーディング状態が示すとの決定に応答して、前記参照ブロックに対応する前記メモリ位置は、利用可能であると決定される、特徴（１５）乃至（１７）のうちいずれか１つに従う非一時的なコンピュータ可読媒体。

（１９）前記方法は、
前記参照サンプルメモリ及び前記現在のブロックの前記ＣＴＵがサイズが同じでないとの決定に応答して、前記現在のブロックの前記ＣＴＵのサイズが前記参照サンプルメモリのサイズよりも小さいかどうかを決定するステップと、
前記現在のブロックの前記ＣＴＵのサイズが前記参照サンプルメモリのサイズよりも小さいとの決定に応答して、前記参照ブロックの前記異なったＣＴＵと前記現在のブロックの前記ＣＴＵとの間の距離が、（（参照サンプルメモリサイズ／ＣＴＵサイズ）－１）×（ＣＴＵ幅）と定義されたしきい値よりも短いかどうかを決定するステップと、
前記距離が前記しきい値よりもとの決定に応答して、前記参照ブロックに対応する前記メモリ位置から、前記現在のブロックをデコーディングするための１つ以上のサンプルを読み出すステップと
を更に有する、
特徴（１５）乃至（１８）のうちいずれか１つに従う非一時的なコンピュータ可読媒体。

（２０）前記方法は、
前記距離が前記しきい値以上であるとの決定に応答して、
（ｉ）前記異なったＣＴＵ内の第２エリアと同一位置にある前記現在のブロックの前記ＣＴＵ内の第１エリアを決定するステップであり、前記第１エリアは、前記参照ブロックの前記異なったＣＴＵ内の前記第２エリアの位置座標と同じである前記現在のブロックの前記ＣＴＵ内の位置座標を有する、ステップと、
（ｉｉ）前記第１エリアのデコーディング状態に基づいて、前記参照ブロックのための前記参照サンプルメモリのメモリ位置が利用可能であるかどうかを決定するステップと、
（ｉｉｉ）前記参照ブロックのための前記メモリ位置が利用可能であるとの決定に応答して、前記参照ブロックに対応する前記メモリ位置から、前記現在のブロックをデコーディングするための１つ以上のサンプルを読み出すステップと
を更に有する。
特徴（１９）に従う非一時的なコンピュータ可読媒体。

［参照による援用］
本開示は、「REFERENCE SAMPLE MEMORY REUSE FOR INTRA PICTURE BLOCK COMPENSATION」と題されて２０１９年１月１３日付けで出願された米国特許仮出願第６２／７９１８６２の優先権の利益を主張して「METHOD AND APPARATUS FOR REFERENCE SAMPLE MEMORY REUSE FOR INTRA PICTURE BLOCK COMPENSATION」と題されて２０１９年７月３日付けで出願された米国特許出願第１６／５０２８２２号の優先権の利益を主張するものである。これらの先願の全開示は、その全文を参照により本願に援用される。

Claims

デコーダが実行するビデオデコーディングの方法であって、
コーディングされたビデオビットストリームを受け取るステップと、
現在のブロックのための参照ブロックが前記現在のブロックのコーディングツリーユニット（ＣＴＵ）とは異なったＣＴＵに位置しているかどうかを決定するステップであり、前記参照ブロック及び前記現在のブロックは、前記コーディングされたビデオビットストリームの部分であるピクチャに位置している、ステップと、
前記参照ブロックが前記異なったＣＴＵに位置しているとの決定に応答して、前記現在のブロックの前記ＣＴＵのサイズが参照サンプルメモリのサイズよりも小さいかどうかを決定するステップと、
前記現在のブロックの前記ＣＴＵのサイズが前記参照サンプルメモリのサイズよりも小さいとの決定に応答して、前記参照ブロックの前記異なったＣＴＵと前記現在のブロックの前記ＣＴＵとの間の距離が、参照サンプルメモリサイズをＣＴＵサイズで割ったものとＣＴＵ幅とに基づいて決定されるしきい値以下であるかどうかを決定するステップと、
前記距離が前記しきい値以下であるとの決定に応答して、前記参照サンプルメモリ内の前記参照ブロックに対応するメモリ位置から、前記現在のブロックをデコーディングするための１つ以上のサンプルを読み出すステップと、
前記距離が前記しきい値よりも大きいとの決定に応答して、
（ｉ）前記異なったＣＴＵ内の第２エリアと同一位置にある前記現在のブロックの前記ＣＴＵ内の第１エリアを決定するステップであり、前記第１エリア及び前記第２エリアは、前記現在のブロックの前記ＣＴＵ及び前記参照ブロックの前記異なったＣＴＵにおける同じ位置を有する、ステップと、
（ｉｉ）前記第１エリアのデコーディング状態に基づいて、前記参照ブロックのための前記参照サンプルメモリの前記メモリ位置が利用可能であるかどうかを決定するステップと、
（ｉｉｉ）前記参照ブロックのための前記メモリ位置が利用可能であるとの決定に応答して、前記参照ブロックに対応する前記メモリ位置から、前記現在のブロックをデコーディングするための１つ以上のサンプルを読み出すステップと
を有する方法。
前記第１エリアは、前記現在のブロックであり、
前記第２エリアは、前記参照ブロックである、
請求項１に記載の方法。
前記第１エリア及び前記第２エリアの夫々は、２^Ｍ×２^Ｎであるサイズを有する、
請求項１に記載の方法。
Ｍ＝６かつＮ＝６である、
請求項３に記載の方法。
前記第１エリアが少なくとも部分的にデコーディングされている少なくとも１つのブロックを含まないことを前記第１エリアの前記デコーディング状態が示すとの決定に応答して、前記参照ブロックに対応する前記メモリ位置は、利用可能であると決定される、
請求項１乃至４のうちいずれか一項に記載の方法。
ビデオデコーディングのためのビデオデコーディング装置であって、
処理回路を有し、該処理回路は、メモリに記憶されている命令を読み出して実行することで、請求項１乃至５のうちいずれか一項に記載の方法を実装するよう構成される、
ビデオデコーディング装置。
ビデオデコーダのプロセッサによって実行される場合に、該プロセッサに、
請求項１乃至５のうちいずれか一項に記載の方法を実行させるコンピュータプログラム。
エンコーダが実行するビデオエンコーディングの方法であって、
ビデオビットストリームをコーディングするステップと、
前記コーディングされたビデオビットストリームを受け取るステップと、
現在のブロックのための参照ブロックが前記現在のブロックのコーディングツリーユニット（ＣＴＵ）とは異なったＣＴＵに位置しているかどうかを決定するステップであり、前記参照ブロック及び前記現在のブロックは、前記コーディングされたビデオビットストリームの部分であるピクチャに位置している、ステップと、
前記参照ブロックが前記異なったＣＴＵに位置しているとの決定に応答して、前記現在のブロックの前記ＣＴＵのサイズが参照サンプルメモリのサイズよりも小さいかどうかを決定するステップと、
前記現在のブロックの前記ＣＴＵのサイズが前記参照サンプルメモリのサイズよりも小さいとの決定に応答して、前記参照ブロックの前記異なったＣＴＵと前記現在のブロックの前記ＣＴＵとの間の距離が、参照サンプルメモリサイズをＣＴＵサイズで割ったものとＣＴＵ幅とに基づいて決定されるしきい値以下であるかどうかを決定するステップと、
前記距離が前記しきい値以下であるとの決定に応答して、前記参照サンプルメモリ内の前記参照ブロックに対応するメモリ位置から、前記現在のブロックをデコーディングするための１つ以上のサンプルを読み出すステップと、
前記距離が前記しきい値よりも大きいとの決定に応答して、
（ｉ）前記異なったＣＴＵ内の第２エリアと同一位置にある前記現在のブロックの前記ＣＴＵ内の第１エリアを決定するステップであり、前記第１エリア及び前記第２エリアは、前記現在のブロックの前記ＣＴＵ及び前記参照ブロックの前記異なったＣＴＵにおける同じ位置を有する、ステップと、
（ｉｉ）前記第１エリアのデコーディング状態に基づいて、前記参照ブロックのための前記参照サンプルメモリの前記メモリ位置が利用可能であるかどうかを決定するステップと、
（ｉｉｉ）前記参照ブロックのための前記メモリ位置が利用可能であるとの決定に応答して、前記参照ブロックに対応する前記メモリ位置から、前記現在のブロックをデコーディングするための１つ以上のサンプルを読み出すステップと
を有する方法。
デコーダが実行するビデオデコーディングの方法であって、
コーディングされたビデオビットストリームを受け取るステップと、
現在のブロックのための参照ブロックが前記現在のブロックのコーディングツリーユニット（ＣＴＵ）とは異なったＣＴＵに位置しているかどうかを決定するステップであり、前記参照ブロック及び前記現在のブロックは、前記コーディングされたビデオビットストリームに含まれている同じピクチャに位置している、ステップと、
前記参照ブロックが前記異なったＣＴＵに位置しているとの決定に応答して、前記現在のブロックの前記ＣＴＵと参照サンプルメモリとが同じサイズを有しているかどうかを決定するステップと、
前記現在のブロックの前記ＣＴＵと前記参照サンプルメモリとが同じサイズを有しているとの決定に応答して、
（ｉ）前記異なったＣＴＵ内の第２エリアと同一位置にある前記現在のブロックの前記ＣＴＵ内の第１エリアを決定するステップであり、前記現在のブロックの前記ＣＴＵにおける前記第１エリアの位置座標が、前記参照ブロックの前記異なったＣＴＵにおける前記第２エリアの位置座標と同じである、ステップと、
（ｉｉ）前記第１エリアのデコーディング状態に基づいて、前記参照ブロックのための前記参照サンプルメモリのメモリ位置が利用可能であるかどうかを決定するステップと、
（ｉｉｉ）前記参照ブロックのための前記メモリ位置が利用可能であるとの決定に応答して、前記参照ブロックに対応する前記メモリ位置から、前記現在のブロックをデコーディングするための１つ以上のサンプルを読み出すステップと
を有する方法。