JP7046220B2 - 小ブロックの予測と変換のための方法、装置、及びプログラム - Google Patents

Description

参照による援用
本開示は、２０１８年５月２日に出願された米国仮出願第６２／６６５，８５８号の「小ブロックの予測と変換」の優先権を主張し、その内容を全て参照により本明細書に組み込むものとする。

本開示は、一般にビデオ符号化に関する実施形態を説明する。

本明細書で提供される「背景技術」の説明は、本開示の内容を大まかに示すことを目的とする。本発明者の業績は、この背景技術に記載された範囲において、出願時に従来技術として通常見なされえない記載の態様と共に、明示的にも黙示的にも本開示に対する従来技術として認められない。

ビデオ符号化および復号は、動き補償を伴うイントラピクチャ予測を使用して実行されることができる。非圧縮デジタルビデオは一連のピクチャを含むことができ、各ピクチャは、例えば、１９２０×１０８０輝度サンプルと関連する彩度サンプルの空間次元を持っている。該一連のピクチャは、例えば毎秒６０ピクチャまたは６０Ｈｚの固定または可変ピクチャレート（非公式にはフレームレートとも呼ばれる）を持つことができる。非圧縮ビデオには、顕著なビットレート要件がある。例えば、サンプルあたり８ビットでの１０８０ｐ６０ ４：２：０ビデオ（６０Ｈｚフレームレートでの１９２０×１０８０輝度サンプル解像度）には、１．５Ｇｂｉｔ／ｓに近い帯域幅が必要となる。このようなビデオを１時間使用するには、６００ＧＢｙｔｅｓを超えた記憶空間が必要である。

ビデオ符号化および復号の１つの目的は、圧縮によって入力ビデオ信号の冗長性を減らすことであり得る。圧縮は、前述の帯域幅または記憶空間の要件を、場合によっては２桁以上削減するのに役立つ。可逆圧縮と非可逆圧縮の両方、およびそれらの組み合わせを使用することができる。可逆圧縮とは、圧縮された元の信号から元の信号の正確なコピーを再構築できる技法を指す。非可逆圧縮を使用する場合、再構築された信号は元の信号と同一ではない可能性があるが、元の信号と再構築された信号の間の歪みは、再構築された信号を意図されたアプリケーションに役立てる程度に小さい。ビデオの場合、非可逆圧縮が広く採用されている。許容される歪みの量はアプリケーションによって異なる。例えば、特定のコンシューマストリーミングアプリケーションのユーザは、テレビ発行アプリケーションのユーザよりも高い歪みを許容できる。達成可能な圧縮率は、受け入れ可能／許容可能な歪みが大きいほど、圧縮率が高くなることを反映することができる。

ビデオエンコーダおよびデコーダは、例えば、動き補償、変換、量子化、およびエントロピー符号化を含むいくつかの広範なカテゴリからの技法を利用することができる。

ビデオコーデック技術は、イントラ符号化として知られる技法を含み得る。イントラ符号化では、サンプル値は、予め再構築された参照ピクチャからのサンプルまたは他のデータを参照せずに表される。一部のビデオコーデックでは、ピクチャは空間的にサンプルのブロックに細分される。サンプルのすべてのブロックがイントラモードで符号化されると、そのピクチャはイントラピクチャになる可能性がある。イントラピクチャとその独立したデコーダリフレッシュピクチャなどの派生物は、デコーダの状態をリセットするために使用できるため、符号化されたビデオビットストリームとビデオセッションの最初のピクチャとして、または静止画像として使用されることができる。イントラブロックのサンプルは変換にさらされることができ、変換係数はエントロピー符号化の前に量子化されることができる。イントラ予測は、事前変換領域でサンプル値を最小化する技法であり得る。場合によっては、変換後のＤＣ値が小さく、ＡＣ係数が小さいほど、エントロピー符号化後のブロックを表すために所定の量子化ステップサイズで必要なビットが少なくなる。

例えばＭＰＥＧ―２世代符号化技術から知られているような従来のイントラ符号化は、イントラ予測を使用しない。しかしながら、いくつかのより新しいビデオ圧縮技術は、例えば、空間的に隣接し、デコード順に先行するデータブロックのエンコード／デコード中に得られた周囲のサンプルデータおよび／またはメタデータから試みる技法を含む。そのような技法は、以降、「イントラ予測」技法と呼ばれる。なお、少なくともいくつかのケースでは、イントラ予測は、再構成中の現在ピクチャからの参照データのみを使用し、参照ピクチャからの参照データを使用しない。

イントラ予測はさまざまな形態で存在し得る。そのような技法の２つ以上が所定のビデオ符号化技術に使用できる場合、使用された技法はイントラ予測モードで符号化されることができる。場合によっては、モードはサブモードやパラメータを有することができ、それらを個別に符号化するか、もしくはモードコードワードに含めることができる。どのコードワードが所定のモード／サブモード／パラメータの組み合わせに使用されるかは、イントラ予測による符号化効率ゲインに影響を与える可能性があるので、エントロピー符号化技術がコードワードをビットストリームに変換するために使用できる。

イントラ予測の特定のモードはＨ．２６４で導入され、Ｈ．２６５で改良され、さらに共同探索モデル（ＪＥＭ）、多用途ビデオ符号化（ＶＶＣ）、およびベンチマークセット（ＢＭＳ）などのより新しい符号化技術で改良された。予測子ブロックは、すでに利用可能なサンプルに属する隣接サンプル値を使用して形成されることができる。隣接サンプルのサンプル値は、方向に従って予測子ブロックにコピーされる。使用された方向への参照は、ビットストリームに符号化されるか、もしくはそれ自体を予測され得る。

ビデオ符号化技術が発展するにつれて、予測可能な方向の数は増加した。Ｈ．２６４（２００３年）では、９通りの異なる方向を表すことができた。Ｈ．２６５（２０１３年）で３３通りに増加し、ＪＥＭ／ＶＶＣ／ＢＭＳは開示時に最大６５通りの方向をサポートできる。最も見込みのある方向を識別するための実験が行われ、特定のエントロピー符号化の技法は、数が少ないビットで見込みの高い方向を表すために使用され、見込みの低い方向に対する特定のペナルティを容認する。さらに、方向自体は、隣接する、すでにデコードされたブロックで使用される隣接方向から予測される場合がある。

方向を表す符号化されたビデオビットストリーム内のイントラ予測方向ビットのマッピングは、ビデオ符号化技術ごとに異なる可能性があり、また、例えば、イントラ予測モードへの予測方向のコードワードへの単純な直接マッピングから、最も可能性の高いモードや類似した技法を含む複雑な適応方式までの範囲とすることができる。しかしながら、すべての場合において、他の特定の方向よりも統計的にビデオコンテンツにおいて発生する可能性が低い特定の方向が存在する可能性がある。ビデオ圧縮の目的は冗長性の削減であるため、適切に機能するビデオ符号化技術では、これらの可能性の低い方向は、可能性の高い方向よりも多くのビット数で表される。

いくつかの符号化規格では、ピクチャは、符号化ツリーユニット（ＣＴＵ）として表されてもよい。ＣＴＵは、様々な局所特性に適応するために符号化ツリーとして示される４分木構造を使用することによって、符号化ユニット（ＣＵ）に分割され得る。インターピクチャ（時間的）またはイントラピクチャ（空間的）予測のどちらを使用してピクチャ領域を符号化するかは、ＣＵレベルで決定される。各ＣＵは、ＰＵ分割タイプに従って、１つ、２つ、または４つの予測ユニット（ＰＵ）にさらに分けられることができる。１つのＰＵ内で、同じ予測処理が適用され、関連情報がＰＵ単位でデコーダに送信される。ＰＵ分割タイプに基づく予測処理を適用して残差ブロックを取得した後、ＣＵは、ＣＵの符号化ツリーと同様の別の四分木構造に従って変換ユニット（ＴＵ）に分割されることができる。

可変ブロックサイズに対して予測処理を実行してもよい。しかしながら、小ブロックは、より大きなブロックサイズを有するブロックと同じ数のイントラ予測方向を必要としない。さらに、小ブロックの予測は、隣接ブロックの再構成の後に実行されなければならないので、小ブロックの処理は、エンコーダまたはデコーダのハードウェア実施に追加の負担をかける可能性がある。加えて、小ブロックのモード決定を実行する負担のせいで、小ブロックの処理は、エンコーダまたはデコーダのソフトウェア実施に追加の負担をかける可能性がある。

本開示の例示的な実施形態は、ビデオデコーダ用のビデオデコード方法を含む。該方法は、前記ビデオデコーダの処理回路により、彩度（chroma）ブロックのブロックサイズがブロックサイズ閾値以下であるか否かを判定するステップを含む。該方法は、前記ビデオデコーダの処理回路により、前記彩度ブロックの前記ブロックサイズが前記ブロックサイズ閾値よりも大きいとの判定に応じて、複数のイントラ予測モードから前記彩度ブロック用のイントラ予測モードを選択するステップをさらに含む。該方法は、前記ビデオデコーダの処理回路により、前記彩度ブロックの前記ブロックサイズが前記ブロックサイズ閾値以下であるとの判定に応じて、前記複数のイントラ予測モードのサブセットから前記彩度ブロック用の前記イントラ予測モードを選択するステップをさらに含む。該方法は、前記ビデオデコーダの処理回路により、選択された前記イントラ予測モードで取得された彩度サンプルに基づいて、前記彩度ブロックのイントラ予測を実行するステップをさらに含む。

本開示の例示的な実施形態は、ビデオデコードのためのビデオデコーダを含む。ビデオデコーダは、彩度ブロックのブロックサイズがブロックサイズ閾値以下であるか否かを判定するように構成される処理回路を備える。該処理回路は、さらに、前記彩度ブロックの前記ブロックサイズが前記ブロックサイズ閾値よりも大きいとの判定に応じて、複数のイントラ予測モードから前記彩度ブロック用のイントラ予測モードを選択するように構成される。該処理回路は、さらに、前記彩度ブロックの前記ブロックサイズが前記ブロックサイズ閾値以下であるとの判定に応じて、前記複数のイントラ予測モードのサブセットから前記彩度ブロック用の前記イントラ予測モードを選択するように構成される。該処理回路は、さらに、選択された前記イントラ予測モードで取得された彩度サンプルに基づいて、前記彩度ブロックのイントラ予測を実行するように構成される。

本開示の例示的な実施形態は、ビデオデコーダのプロセッサに前記方法を実行させるコンピュータプログラムを含む。該方法は、前記ビデオデコーダのプロセッサにより、彩度ブロックのブロックサイズがブロックサイズ閾値以下であるか否かを判定するステップを含む。該方法は、前記ビデオデコーダのプロセッサにより、前記彩度ブロックの前記ブロックサイズが前記ブロックサイズ閾値よりも大きいとの判定に応じて、複数のイントラ予測モードから前記彩度ブロック用のイントラ予測モードを選択するステップをさらに含む。該方法は、前記ビデオデコーダのプロセッサにより、前記彩度ブロックの前記ブロックサイズが前記ブロックサイズ閾値以下であるとの判定に応じて、前記複数のイントラ予測モードのサブセットから前記彩度ブロック用の前記イントラ予測モードを選択するステップをさらに含む。該方法は、前記ビデオデコーダのプロセッサにより、選択された前記イントラ予測モードで取得された彩度サンプルに基づいて、前記彩度ブロックのイントラ予測を実行するステップをさらに含む。

開示された主題のさらなる特徴、本質、および様々な利点は、以下の詳細な説明および添付の図面からより明らかになるであろう。
一実施形態による通信システム（１００）の概略ブロック図である。 一実施形態による通信システム（２００）の概略ブロック図である。 一実施形態によるデコーダの概略ブロック図である。 一実施形態によるエンコーダの概略ブロック図である。 他の実施形態によるエンコーダのブロック図を示す。 他の実施形態によるデコーダのブロック図を示す。 例示的なイントラ予測モードの概略図である。 ３５通りの予測モードのための様々な角度モードを示している。 ３５通りの予測モードのための様々な角度モードを示している。 ６７通りの予測モードのための様々な角度モードを示している。 ６７通りの予測モードのための様々な角度モードを示している。 クロスコンポーネント線形モデル（ＣＣＬＭ）予測モードの導出に使用されるサンプルの例示的な位置を示している。 クロスコンポーネント線形モデル（ＣＣＬＭ）予測モードの導出に使用されるサンプルの例示的な位置を示している。 エンコーダまたはデコーダによって実行される処理の実施形態を示している。 一実施形態によるコンピュータシステムの概略図である。

図１は、本開示の実施形態による通信システム（１００）の簡略ブロック図を示している。通信システム（１００）は、例えばネットワーク（１５０）を介して互いに通信可能な複数の端末装置を含む。例えば、通信システム（１００）は、ネットワーク（１５０）を介して相互接続された第１の対の端末装置（１１０）および（１２０）を含む。図１の例では、第１の対の端末装置（１１０）および（１２０）は、データの単方向送信を実行する。例えば、端末装置（１１０）は、ネットワーク（１５０）を介して他の端末装置（１２０）へ送信するためにビデオデータ（例えば、端末装置（１１０）によってキャプチャされたビデオピクチャのストリーム）を符号化し得る。エンコードされたビデオデータは、１つ以上の符号化されたビデオビットストリームの形で送信されることができる。端末装置（１２０）は、ネットワーク（１５０）から符号化ビデオデータを受信し、符号化ビデオデータをデコードしてビデオピクチャを復元し、復元されたビデオデータに従ってビデオピクチャを表示することができる。単方向のデータ送信は、メディア供給アプリケーションなどで一般的である。
他の例では、通信システム（１００）は、例えば、ビデオ会議中に発生し得る符号化ビデオデータの双方向送信を実行する第２の対の端末装置（１３０）および（１４０）を含む。データの双方向送信の場合、一例では、端末装置（１３０）および（１４０）のそれぞれは、ネットワーク（１５０）を介して端末装置（１３０）および（１４０）のうちの他方の端末装置へ送信するためにビデオデータ（例えば、端末装置によってキャプチャされたビデオピクチャのストリーム）を符号化し得る。端末装置（１３０）および（１４０）のそれぞれは、端末装置（１３０）および（１４０）のうちの他方の端末装置で送信された符号化ビデオデータを受信することができ、符号化ビデオデータをデコードしてビデオピクチャを復元することができ、復元されたビデオデータに従ってビデオピクチャをアクセス可能な表示装置に表示することができる。

図１の例では、端末装置（１１０）、（１２０）、（１３０）および（１４０）は、サーバ、パーソナルコンピュータおよびスマートフォンとして示され得るが、しかし、本開示の原理はこれに制限されることはない。本開示の実施形態は、ラップトップコンピュータ、タブレットコンピュータ、メディアプレーヤー、および／または専用のビデオ会議機器における用途を見出す。ネットワーク（１５０）は、例えば有線および／または無線通信ネットワークを含む、端末装置（１１０）、（１２０）、（１３０）および（１４０）間で符号化ビデオデータを伝達する任意の数のネットワークを表す。通信ネットワーク（１５０）は、回線交換および／またはパケット交換チャネルでデータを交換することができる。代表的なネットワークは、電気通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワークおよび／またはインターネットを含む。本議論の目的のために、ネットワーク（１５０）のアーキテクチャおよびトポロジーは、以下で説明されない限り、本開示の動作にとって重要でないかもしれない。

図２は、開示された主題の適用の例として、ストリーミング環境におけるビデオエンコーダおよびビデオデコーダの配置を示している。開示された主題は、例えば、ビデオ会議、デジタルＴＶ、および、ＣＤ、ＤＶＤ、メモリスティックなどを含むデジタルメディアへの圧縮ビデオの記憶など、を含む他のビデオ対応アプリケーションに等しく適用可能である。

ストリーミングシステムは、例えば非圧縮のビデオピクチャ（２０２）のストリームを作成するデジタルカメラなどのビデオソース（２０１）を含むことができるキャプチャサブシステム（２１３）を含んでもよい。一例では、ビデオピクチャ（２０２）のストリームは、デジタルカメラによって取得されたサンプルを含む。エンコードされたビデオデータ（２０４）（又は符号化されたビデオビットストリーム）と比較して高データ量を強調するために太線で示されたビデオピクチャ（２０２）のストリームは、ビデオソース（２０１）に結合されたビデオエンコーダ（２０３）を含む電子デバイス（２２０）によって処理されることができる。ビデオエンコーダ（２０３）は、以下でより詳細に説明されるように、開示された主題の態様を可能にするか或いは実施するためのハードウェア、ソフトウェア、またはそれらの組み合わせを含むことができる。ビデオピクチャ（２０２）のストリームと比較してより低いデータ量を強調するために細い線で示された、エンコードされたビデオデータ（２０４）（またはエンコードされたビデオビットストリーム（２０４））は、将来使うためにストリーミングサーバ（２０５）に記憶されることができる。図２のクライアントサブシステム（２０６）および（２０８）のような１つ以上のストリーミングクライアントサブシステムは、ストリーミングサーバ（２０５）にアクセスして、エンコードされたビデオデータ（２０４）のコピー（２０７）および（２０９）を検索することができる。クライアントサブシステム（２０６）は、例えば、電子デバイス（２３０）におけるビデオデコーダ（２１０）を含むことができる。ビデオデコーダ（２１０）は、エンコードされたビデオデータの着信コピー（２０７）をデコードし、ディスプレイ（２１２）（例えば、表示画面）または他のレンダリングデバイス（示されていない）でレンダリングできるビデオピクチャ（２１１）の発信ストリームを作成する。一部のストリーミングシステムにおいて、エンコードされたビデオデータ（２０４）、（２０７）、および（２０９）（例えば、ビデオビットストリーム）は、特定のビデオ符号化／圧縮規格に従ってエンコードされることができる。これらの規格の例は、ＩＴＵ－Ｔ勧告Ｈ．２６５を含む。一例では、開発中のビデオ符号化規格は、非公式的にヴァーサトゥルビデオ符号化またはＶＶＣとして知られている。開示された主題は、ＶＶＣの文脈に使用され得る。

なお、電子デバイス（２２０）および（２３０）は、他の構成要素（図示せず）を含むことができる。例えば、電子デバイス（２２０）は、ビデオデコーダ（図示せず）を含むことができ、電子デバイス（２３０）は、ビデオエンコーダ（図示せず）を含むこともできる。

図３は、本開示の実施形態によるビデオデコーダ（３１０）のブロック図を示す。ビデオデコーダ（３１０）は、電子デバイス（３３０）に含まれることができる。電子デバイス（３３０）は、受信機（３３１）（例えば、受信回路）を含むことができる。ビデオデコーダ（３１０）は、図２の例におけるビデオデコーダ（２１０）の代わりに使用されることができる。

受信機（３３１）は、ビデオデコーダ（３１０）によってデコードされる１つ以上の符号化ビデオシーケンスを受信することができ、同一または別の実施形態では、一度に１つの符号化ビデオシーケンスを受信してもよく、各符号化ビデオシーケンスのデコードは、他の符号化ビデオシーケンスから独立している。符号化ビデオシーケンスは、エンコードされたビデオデータを記憶する記憶装置へのハードウェア／ソフトウェアリンクであり得るチャネル（３０１）から受信されることができる。受信機（３３１）は、それぞれの使用エンティティ（示されていない）に転送され得る他のデータ、例えば、符号化オーディオデータおよび／または補助データストリームとともに、エンコードされたビデオデータを受信し得る。受信機（３３１）は、符号化ビデオシーケンスを他のデータから分離することができる。ネットワークジッタを防止するために、バッファメモリ（３１５）は、受信機（３３１）とエントロピーデコーダ／パーサ（３２０）（以降、「パーサ（３２０）」）の間に結合されてもよい。特定の用途では、バッファメモリ（３１５）は、ビデオデコーダ（３１０）の一部である。他の場合、ビデオデコーダ（３１０）（示されていない）の外部に存在し得る。さらに他の場合、例えば、ネットワークジッタを防止するためにビデオデコーダ（３１０）の外部にバッファメモリ（示されていない）が存在し、さらに、例えば、再生タイミングを取り扱うためにビデオデコーダ（３１０）の内部に別のバッファメモリ（３１５）が存在し得る。受信機（３３１）が十分な帯域幅および可制御性を有する記憶／転送装置から、または等同期ネットワークからデータを受信する際に、バッファメモリ（３１５）は必要とされないことがあり、または小さくされることがある。インターネットなどのベストエフォートパケットネットワークで使用するために、バッファメモリ（３１５）が必要になる場合があり、バッファメモリ（３１５）、比較的大きいことがあり、有利には適応サイズであることができ、オペレーティングシステムまたはビデオデコーダ（３１０）の外部の類似の要素（示されていない）に少なくとも部分的に実施され得る。

ビデオデコーダ（３１０）は、符号化ビデオシーケンスからシンボル（３２１）を再構築するパーサ（３２０）を含んでもよい。これらのシンボルのカテゴリは、ビデオデコーダ（３１０）の操作を管理するために使用される情報、および、電子デバイス（３３０）の不可欠な部分ではないが、図３に示すように電子デバイス（３３０）に結合され得るレンダリングデバイス（３１２）（例えば、表示画面）のようなレンダリングデバイスを制御する潜在的情報を含む。レンダリングデバイスのための制御情報は、補助強化情報（ＳＥＩメッセージ）またはビデオユーザビリティ情報（ＶＵＩ）パラメータセットフラグメント（示されていない）の形態であってよい。パーサ（３２０）は、受信された符号化ビデオシーケンスを構文解析／エントロピーデコードすることができる。符号化ビデオシーケンスの符号化は、ビデオ符号化技術または規格に合わせることができ、可変長符号化、ハフマン符号化、文脈感受性を有するもしくは有さない算術符号化などを含む様々な原理に従うことができる。パーサ（３２０）は、サブグループに対応する少なくとも１つのパラメータに基づいて、符号化ビデオシーケンスからビデオデコーダ内の画素の少なくとも１つのサブグループのためのサブグループパラメータのセットを抽出することができる。サブグループは、ピクチャ群（ＧＯＰ）、ピクチャ、タイル、スライス、マクロブロック、符号化ユニット（ＣＵ）、ブロック、変換ユニット（ＴＵ）、予測ユニット（ＰＵ）などを含むことができる。パーサ（３２０）は、符号化ビデオシーケンスから変換係数、量子化パラメータ値、動きベクトルなどのような情報をも抽出することができる。

パーサ（３２０）は、シンボル（３２１）を作成するために、バッファメモリ（３１５）から受信されたビデオシーケンスに対してエントロピーデコード／構文解析操作を実行することができる。

シンボル（３２１）の再構築は、符号化ビデオピクチャまたはその一部（例えば、インターおよびイントラピクチャ、インターおよびイントラブロック）のタイプ、および他の要因に応じて複数の異なるユニットに関与することができる。どのユニットがどのように関与するかは、パーサ（３２０）によって符号化ビデオシーケンスから構文解析されたサブグループ制御情報によって制御されることができる。パーサ（３２０）と以下の複数のユニットとの間のそのようなサブグループ制御情報の流れは、明確にするために示されていない。

すでに述べた機能ブロックに加え、ビデオデコーダ（３１０）は、以下で説明されるようにいくつかの機能ユニットに概念的に細分されることができる。商業的な制約の下で実際の実施操作にあたっては、これらのユニットの多くは互いに密接に相互作用し、少なくとも一部は互いに統合することができる。しかしながら、開示された主題の説明の目的で、以下の機能ユニットへの概念的な細分は、適切に行われる。

第１のユニットは、スケーラ／逆変換ユニット（３５１）である。スケーラ／逆変換ユニット（３５１）は、使用する変換、ブロックサイズ、量子化因子、量子化スケーリング行列などを含む制御情報と、量子化された変換係数をシンボル（３２１）としてパーサ（３２０）から受信する。スケーラ／逆変換ユニット（３５１）は、アグリゲータ（３５５）に入力可能なサンプル値を含むブロックを出力することができる。

場合によっては、スケーラ／逆変換ユニット（３５１）の出力サンプルは、イントラ符号化ブロック、すなわち、予め再構築されたピクチャからの予測情報を使用していないが、現在ピクチャの予め再構築された部分からの予測情報を使用できるブロックに関係することがある。このような予測情報は、イントラピクチャ予測ユニット（３５２）によって提供されることができる。場合によっては、イントラピクチャ予測ユニット（３５２）は、現在ピクチャバッファ（３５８）から取り出された周囲の既に再構築された情報を用いて、再構築中のブロックの同じサイズおよび形状のブロックを生成する。現在ピクチャバッファ（３５８）は、例えば、一部再構築された現在ピクチャおよび／または完全に再構築された現在ピクチャをバッファリングする。アグリゲータ（３５５）は、場合によっては、サンプルごとに、イントラ予測ユニット（３５２）が生成した予測情報を、スケーラ／逆変換ユニット（３５１）によって提供される出力サンプル情報に追加する。

他の場合では、スケーラ／逆変換ユニット（３５１）の出力サンプルは、インター符号化された、潜在的に動き補償されたブロックに関係することがある。このような場合、動き補償予測ユニット（３５３）は、参照ピクチャメモリ（３５７）にアクセスして、予測に使用されるサンプルを取り出すことができる。取り出されたサンプルをブロックに関係するシンボル（３２１）に従って動き補償した後、出力サンプル情報を生成するように、これらのサンプルは、アグリゲータ（３５５）によってスケーラ／逆変換ユニット（３５１）の出力に追加されることができる（この場合、残差サンプルまたは残差信号と呼ばれる）。動き補償予測ユニット（３５３）が予測サンプルを取り出す参照ピクチャメモリ（３５７）内のアドレスは、例えば、Ｘ、Ｙ、および参照ピクチャ成分を有し得るシンボル（３２１）の形態で動き補償予測ユニット（３５３）に利用可能な動きベクトルによって制御されることができる。動き補償は、サブサンプル正確な動きベクトルが使用中であるときに参照ピクチャメモリ（３５７）から取り出されたサンプル値の補間、動きベクトル予測メカニズムなどを含むこともできる。

アグリゲータ（３５５）の出力サンプルは、ループフィルタユニット（３５６）において様々なループフィルタリング技法を受けられる。ビデオ圧縮技術は、符号化ビデオシーケンス（符号化されたビデオビットストリームとも呼ばれる）に含まれる、パーサ（３２０）からのシンボル（３２１）としてループフィルタユニット（３５６）に利用可能とされたパラメータによって制御されることができ、それに、符号化ピクチャまたは符号化ビデオシーケンスの（デコード順で）前の部分のデコード中に取得されたメタ情報に応じるとともに、予め再構築されループフィルタリングされたサンプル値に応じることもできるループ内フィルタ技術を含むことができる。

ループフィルタユニット（３５６）の出力は、レンダリングデバイス（３１２）へ出力されることができるとともに、将来のインターピクチャ予測で使用するために参照ピクチャメモリ（３５７）に記憶されることができるサンプルストリームであり得る。

特定の符号化ピクチャは、完全に再構築されると、将来の予測のために参照ピクチャとして使用されることができる。例えば、現在ピクチャに対応する符号化ピクチャが完全に再構築され、該符号化ピクチャが（例えば、パーサ（３２０）によって）参照ピクチャとして識別されると、現在ピクチャバッファ（３５８）は、参照ピクチャメモリ（３５７）の一部になることができ、次の符号化ピクチャの再構築を開始する前に新しい現在ピクチャバッファを再割当てすることができる。

ビデオデコーダ（３１０）は、ＩＴＵ－Ｔ Ｒｅｃ．Ｈ．２６５のような規格での所定のビデオ圧縮技術に従ってデコード操作を実行することができる。符号化ビデオシーケンスが、ビデオ圧縮技術または規格のシンタックスと、ビデオ圧縮技術または規格で文書化されたプロファイルとの両方に準拠しているという意味で、符号化ビデオシーケンスは、使用されているビデオ圧縮技術または規格によって指定されるシンタックスに準拠し得る。具体的には、プロファイルは、ビデオ圧縮技術または規格で使用可能なすべてのツールから、特定のツールをそのプロファイルで使用できる唯一のツールとして選択することができる。符号化ビデオシーケンスの複雑さがビデオ圧縮技術または規格のレベルで定義される範囲内にあることも、コンプライアンスに必要である。場合によっては、最大ピクチャサイズ、最大フレームレート、最大再構築サンプルレート（例えば、１秒あたりのメガサンプルで測定される）、最大参照ピクチャサイズなどがレベルによって制限される。レベルによって設定された制限は、場合によっては、符号化ビデオシーケンスでシグナリングされたＨＲＤバッファ管理のための仮想参照デコーダ（ＨＲＤ）仕様およびメタデータによってさらに制限されることができる。

一実施形態では、受信機（３３１）は、エンコードされたビデオとともに追加の（冗長な）データを受信することができる。追加のデータは、符号化ビデオシーケンスの一部として含まれてもよい。追加のデータは、データを適切にデコードし、および／または、元のビデオデータをより正確に再構築するためにビデオデコーダ（３１０）によって使用され得る。追加のデータは、例えば、時間的、空間的、または信号対雑音比（ＳＮＲ）エンハンスメントレイヤ、冗長スライス、冗長ピクチャ、前方向誤り訂正コードなどの形態にされることができる。

図４は、本開示の実施形態によるビデオエンコーダ（４０３）のブロック図を示す。ビデオエンコーダ（４０３）は、電子デバイス（４２０）に含まれる。電子デバイス（４２０）は、送信機（４４０）（例えば、送信回路）を含む。ビデオエンコーダ（４０３）は、図２の例におけるビデオエンコーダ（２０３）の代わりに使用されることができる。

ビデオエンコーダ（４０３）は、ビデオエンコーダ（４０３）によって符号化されるビデオ画像をキャプチャし得るビデオソース（４０ｌ）（図４の例では電子デバイス（４２０）の一部ではない）からビデオサンプルを受信することができる。他の例では、ビデオソース（４０１）は、電子デバイス（４２０）の一部である。

ビデオソース（４０１）は、ビデオエンコーダ（４０３）によって符号化されるソースビデオシーケンスを、任意の適切なビット深度（例えば、８ビット、１０ビット、１２ビット、・・・）、任意の色空間（例えば、ＢＴ．６０１ Ｙ ＣｒＣＢ、ＲＧＢ、・・・）および任意の適切なサンプリング構造（例えば、Ｙ ＣｒＣｂ ４：２：０、Ｙ ＣｒＣｂ ４：４：４）であり得るデジタルビデオサンプルストリームの形態で提供し得る。メディア供給システムでは、ビデオソース（４０１）は、予め準備されたビデオを記憶する記憶装置であり得る。ビデオ会議システムでは、ビデオソース（４０１）は、ローカル画像情報をビデオシーケンスとしてキャプチャするカメラであり得る。ビデオデータは、順番に見られるときに動きが与えられる複数の個別のピクチャとして提供されてもよい。ピクチャ自体は、画素の空間アレイとして編成されてもよく、各画素は、使用中のサンプリング構造、色空間などに応じて１つ以上のサンプルを含むことができる。当業者は、画素とサンプルとの関係を容易に理解することができる。以下の説明ではサンプルを中心に説明する。

一実施形態によれば、ビデオエンコーダ（４０３）は、リアルタイムでまたはアプリケーションが要求する任意の他の時間制約の下でソースビデオシーケンスのピクチャを符号化し、符号化ビデオシーケンス（４４３）に圧縮することができる。適切な符号化速度を実施することは、コントローラ（４５０）の機能の１つである。一部の実施形態では、コントローラ（４５０）は、以下で説明する他の機能ユニットを制御し、他の機能ユニットに機能的に結合される。分かりやすくするために、カップリングは示されていない。コントローラ（４５０）によって設定されるパラメータは、レート制御関連パラメータ（ピクチャスキップ、量子化、レート歪み最適化技法のラムダ値、・・・）、ピクチャサイズ、ピクチャ群（ＧＯＰ）レイアウト、最大動きベクトル検索範囲などを含むことができる。コントローラ（４５０）は、特定のシステム設計に対して最適化されたビデオエンコーダ（４０３）に関する他の適切な機能を有するように構成されることができる。

一部の実施形態では、ビデオエンコーダ（４０３）は、符号化ループで動作するように構成される。過度に簡略化した説明として、一例では、符号化ループは、ソースコーダ（４３０）（例えば、符号化対象となる入力ピクチャおよび参照ピクチャに基づくシンボルストリームなどのシンボルの作成を担当する）、およびビデオエンコーダ（４０３）に埋め込まれた（ローカル）デコーダ（４３３）を含むことができる。デコーダ（４３３）は、シンボルを再構築して、（リモート）デコーダが作成するのと同様な方式でサンプルデータを作成する（シンボルと符号化されたビデオビットストリーム間の如何なる圧縮は、開示された主題で考慮されるビデオ圧縮技術では可逆であるためである）。再構築されたサンプルストリーム（サンプルデータ）は、参照ピクチャメモリ（４３４）に入力される。シンボルストリームのデコードにより、デコーダの位置（ローカルまたはリモート）に関係なくビット正確な結果が得られるため、参照ピクチャメモリ（４３４）のコンテンツもローカルエンコーダとリモートエンコーダの間でビット正確である。言い換えれば、エンコーダの予測部分は、参照ピクチャサンプルとして、デコード中に予測を使用するときにデコーダが「見る」のと全く同じサンプル値を「見る」。参照ピクチャの同期性（および例えばチャネルエラーに起因して同期性を維持できない場合に生じるドリフト）の該基本原理は、いくつかの関連分野にも使用されている。

「ローカル」デコーダ（４３３）の動作は、前文で図３に関連して既に詳細に説明された、ビデオデコーダ（３１０）などの「リモート」デコーダの動作と同様であり得る。しかしながら、図３も簡単に参照し、シンボルが使用可能であり、エントロピーコーダ（４４５）およびパーサ（３２０）による符号化ビデオシーケンスへのシンボルのエンコード／デコードは可逆であり得るので、バッファメモリ（３１５）、およびパーサ（３２０）を含むビデオデコーダ（３１０）のエントロピーデコード部分は、ローカルデコーダ（４３３）では完全に実施されない場合がある。

これで分かるように、デコーダに存在する構文解析／エントロピーデコード以外の如何なるデコーダ技術も、対応するエンコーダに実質的に同一の機能的形態で必ず存在する必要がある。このため、開示された主題は、デコーダ操作に焦点を合わせている。エンコーダ技術の説明は、包括的に説明されたデコーダ技術の逆であるため、省略できる。特定の領域でのみ、より詳細な説明が必要であり、以下に提供される。

操作中、一部の例では、ソースコーダ（４３０）は、「参照ピクチャ」として指定されたビデオシーケンスからの１つ以上の予め符号化されたピクチャを参照して入力ピクチャを予測的に符号化する動き補償予測符号化を実行してもよい。このようにして、符号化エンジン（４３２）は、入力ピクチャの画素ブロックと、入力ピクチャへの予測基準として選択され得る参照ピクチャの画素ブロックとの差異を符号化する。

ローカルビデオデコーダ（４３３）は、ソースコーダ（４３０）で作成されたシンボルに基づいて、参照ピクチャとして指定され得るピクチャの符号化ビデオデータをデコードすることができる。符号化エンジン（４３２）の操作は、有利にはロッシープロセスであり得る。符号化ビデオデータがビデオデコーダ（図４に示されていない）でデコードされ得るとき、再構築されたビデオシーケンスは、通常、いくつかのエラーを伴うソースビデオシーケンスのレプリカであってもよい。ローカルビデオデコーダ（４３３）は、ビデオデコーダによって参照ピクチャに対して実行され得るデコードプロセスを再現し、再構築された参照ピクチャを参照ピクチャキャッシュ（４３４）に記憶させることができる。このようにして、ビデオエンコーダ（４０３）は、遠端ビデオデコーダによって取得される再構築された参照ピクチャと共通するコンテンツ（送信エラー無し）を有する再構築された参照ピクチャのコピーをローカルに記憶し得る。

予測器（４３５）は、符号化エンジン（４３２）の予測検索を実行することができる。つまり、符号化対象となる新しいピクチャについて、予測器（４３５）は、（候補の参照画素ブロックとしての）サンプルデータ、または、参照ピクチャの動きベクトル、ブロック形状など、新しいピクチャの適切な予測基準として機能し得る特定のメタデータを参照ピクチャメモリ（４３４）で検索することができる。予測器（４３５）は、適切な予測基準を見つけるために、サンプルブロック/画素ブロックごとに操作することができる。場合によっては、予測器（４３５）で取得された検索結果によって決定されるように、入力ピクチャは、参照ピクチャメモリ（４３４）に記憶された複数の参照ピクチャから引き出された予測基準を有してもよい。

コントローラ（４５０）は、例えば、ビデオデータをエンコードするために使用されるパラメータおよびサブグループパラメータの設定を含む、ソースコーダ（４３０）の符号化操作を管理することができる。

前述のすべての機能ユニットの出力は、エントロピーコーダ（４４５）においてエントロピー符号化を受けられる。エントロピーコーダ（４４５）は、例えば、ハフマン符号化、可変長符号化、算術符号化など、当業者に知られている技術に従ってシンボルを可逆圧縮することにより、様々な機能ユニットによって生成されたシンボルを符号化ビデオシーケンスに変換する。

送信機（４４０）は、エンコードされたビデオデータを記憶する記憶装置へのハードウェア／ソフトウェアリンクであり得る通信チャネル（４６０）を介した送信の準備のために、エントロピーコーダ（４４５）によって作成された符号化ビデオシーケンスをバッファリングすることができる。送信機（４４０）は、ビデオコーダ（４０３）からの符号化ビデオデータを、送信されるべき他のデータ、例えば、符号化オーディオデータおよび／または補助データストリーム（ソースは示されていない）とマージすることができる。

コントローラ（４５０）は、ビデオエンコーダ（４０３）の操作を管理し得る。符号化中、コントローラ（４５０）は、各符号化ピクチャに特定の符号化ピクチャタイプを割り当てることができ、これは、それぞれのピクチャに適用され得る符号化技法に影響を及ぼし得る。例えば、ピクチャは、多くの場合、次のピクチャタイプのいずれかとして割り当てられ得る。

イントラピクチャ（Ｉピクチャ）は、予測のソースとしてシーケンス内の他のいかなるピクチャを使用せずに符号化および復号され得るものであり得る。一部のビデオコーデックは、例えば、インディペンデントデコーダリフレッシュ（Ｉｎｄｅｐｅｎｄｅｎｔ Ｄｅｃｏｄｅｒ Ｒｅｆｒｅｓｈ、「ＩＤＲ」）ピクチャを含む、異なるタイプのイントラピクチャを許容する。当業者は、Ｉピクチャのそれらの変形およびそれらのそれぞれの用途および特徴を知っている。

予測ピクチャ（Ｐピクチャ）は、各ブロックのサンプル値を予測するために最大１つの動きベクトルおよび参照インデックスを使用したイントラ予測またはインター予測により符号化および復号され得るものであり得る。

双方向予測ピクチャ（Ｂピクチャ）は、各ブロックのサンプル値を予測するために最大２つの動きベクトルおよび参照インデックスを使用したイントラ予測またはインター予測により符号化および復号され得るものであり得る。同様に、多重予測ピクチャは、単数のブロックの再構築のために２つを超えた参照ピクチャおよび関連メタデータを使用することができる。

ソースピクチャは、一般に、複数のサンプルブロック（例えば、それぞれ、４×４、８×８、４×８、または１６×１６サンプルのブロック）に空間的に細分され、ブロック単位で符号化され得る。ブロックは、ブロックのそれぞれのピクチャに適用される符号化割り当てによって決定された他の（既に符号化された）ブロックを参照して予測的に符号化され得る。例えば、Ｉピクチャのブロックは、非予測的に符号化されてもよく、或いは、同一のピクチャの既に符号化されたブロック（空間予測またはイントラ予測）を参照して予測的に符号化されてもよい。Ｐピクチャの画素ブロックは、１つの予め符号化された参照ピクチャを参照して、空間予測を介してまたは時間予測を介して予測的に符号化され得る。Ｂピクチャのブロックは、１つまたは２つの予め符号化された参照ピクチャを参照して、空間予測を介してまたは時間予測を介して予測的に符号化され得る。

ビデオエンコーダ（４０３）は、ＩＴＵ－Ｔ Ｒｅｃ．Ｈ．２６５などの予め設定されたビデオ符号化技術または規格に従って、符号化操作を実行することができる。この操作において、ビデオエンコーダ（４０３）は、入力ビデオシーケンスの時間的および空間的冗長性を利用する予測符号化操作を含む、様々な圧縮操作を実行することができる。したがって、符号化ビデオデータは、使用されるビデオ符号化技術または規格によって指定されたシンタックスに準拠する場合がある。

一実施形態では、送信機（４４０）は、エンコードされたビデオとともに追加のデータを送信することができる。ソースコーダ（４３０）は、このようなデータを符号化ビデオシーケンスの一部として含み得る。追加のデータは、時間的／空間的／ＳＮＲエンハンスメントレイヤ、冗長なピクチャやスライスなどの他の形態での冗長データ、補助強化情報（ＳＥＩ）メッセージ、ビジュアルユーザビリティ情報（ＶＵＩ）パラメータセットフラグメントなどを含み得る。

ビデオは、時系列で複数のソースピクチャ（ビデオピクチャ）としてキャプチャされ得る。イントラピクチャ予測（「イントラ予測」と略されることが多い）は、所定のピクチャにおける空間相関を利用し、インターピクチャ予測は、ピクチャ間の（時間的または他の）相関を利用する。一例では、現在ピクチャと呼ばれるエンコード／デコード中の特定のピクチャは、ブロックに分割される。現在ピクチャにおけるブロックが、ビデオにおける予め符号化され、まだバッファリングされている参照ピクチャ内の参照ブロックに類似している場合、現在ピクチャにおけるブロックは、動きベクトルと呼ばれるベクトルによって符号化されることができる。動きベクトルは、参照ピクチャ内の参照ブロックを指し、複数の参照ピクチャが使用されている場合、参照ピクチャを識別する第３次元を有することができる。

一部の実施形態では、インターピクチャ予測において双予測法を使用することができる。双予測法によれば、ビデオにおける現在ピクチャよりもデコード順序がそれぞれ前である（ただし、表示順序でそれぞれ過去および未来にあり得る）第１および第２の参照ピクチャのような２つの参照ピクチャを使用する。現在ピクチャ内のブロックは、第１の参照ピクチャ内の第１の参照ブロックを指す第１の動きベクトル、および第２の参照ピクチャ内の第２の参照ブロックを指す第２の動きベクトルによって符号化されることができる。ブロックは、第１の参照ブロックと第２の参照ブロックとの組み合わせによって予測されることができる。

さらに、マージモード技法をインターピクチャ予測に使用して、符号化効率を向上させることができる。マージモードでは、現在ピクチャ内のブロックは、現在ピクチャ内の隣接ブロック（例えば、ブロックと境界を共有し、ブロックとのより大きな区分領域に配置されるブロック）の動きベクトルを継承することができる。

本開示の一部の実施形態によれば、インターピクチャ予測およびイントラピクチャ予測などの予測は、ブロック単位で実行される。例えば、ＨＥＶＣ規格によれば、一連のビデオピクチャ内のピクチャは、圧縮のために符号化ツリーユニット（ＣＴＵ）に分割され、ピクチャ内のＣＴＵは、６４×６４画素、３２×３２画素、または１６×１６画素など、同一のサイズを有する。一般に、ＣＴＵは、１つの輝度（luma）ＣＴＢと２つの彩度ＣＴＢである３つの符号化ツリーブロック（ＣＴＢ）を含む。各ＣＴＵは、１つまたは複数の符号化ユニット（ＣＵ）に再帰的に四分木分割されることができる。例えば、６４×６４画素のＣＴＵは、１つの６４×６４画素のＣＵ、４つの３２×３２画素のＣＵ、または１６つの１６×１６画素のＣＵに分割されることができる。一例では、各ＣＵを解析して、インター予測タイプまたはイントラ予測タイプなど、ＣＵの予測タイプを決定する。ＣＵは、時間的および／または空間的予測可能性に応じて、１つ以上の予測ユニット（ＰＵ）に分割される。通常、各ＰＵは、１つの輝度予測ブロック（ＰＢ）と２つの彩度ＰＢを含む。一実施形態では、符号化（エンコード／デコード）における予測操作は、予測ブロックの単位で実行される。輝度予測ブロックを予測ブロックの例として用いて、予測ブロックは、８×８画素、１６×１６画素、８×１６画素、１６×８画素などの画素の値（例えば、輝度値）の行列を含む。

図５は、本開示の他の実施形態によるビデオエンコーダ（５０３）の図を示す。ビデオエンコーダ（５０３）は、一連のビデオピクチャ内の現在ビデオピクチャにおけるサンプル値の処理ブロック（例えば、予測ブロック）を受信し、該処理ブロックを、符号化ビデオシーケンスの一部である符号化ピクチャにエンコードするように構成される。一例では、図２の例におけるビデオエンコーダ（２０３）の代わりにビデオエンコーダ（５０３）を使用する。

ＨＥＶＣの例では、ビデオエンコーダ（５０３）は、８×８サンプルのような予測ブロックなどの処理ブロックのサンプル値の行列を受信する。ビデオエンコーダ（５０３）は、例えばレート歪み最適化を用いて、処理ブロックをイントラモード、インターモード、または双予測モードにより最も良く符号化するか否かを判定する。処理ブロックがイントラモードで符号化されようとする場合、ビデオエンコーダ（５０３）は、イントラ予測法を用いて処理ブロックを符号化ピクチャにエンコードすることができる。また、処理ブロックがインターモードまたは双予測モードで符号化されようとする場合、ビデオエンコーダ（５０３）は、それぞれインター予測または双予測法を用いて、処理ブロックを符号化ピクチャにエンコードすることができる。特定のビデオ符号化技術では、マージモードは、予測器外の符号化動きベクトル成分の利便を介することなく、１つ以上の動きベクトル予測器から動きベクトルを導出するインターピクチャ予測サブモードであり得る。特定の他のビデオ符号化技術では、対象ブロックに適用可能な動きベクトル成分が存在し得る。一例では、ビデオエンコーダ（５０３）は、処理ブロックのモードを決定するためのモード決定モジュール（図示せず）などの他の構成要素を含む。

図５の例では、ビデオエンコーダ（５０３）は、図５に示すように互いに結合されたインターエンコーダ（５３０）、イントラエンコーダ（５２２）、残差算出部（５２３）、スイッチ（５２６）、残差エンコーダ（５２４）、統括制御部（５２１）およびエントロピーエンコーダ（５２５）を含む。

インターエンコーダ（５３０）は、現在ブロック（例えば、処理ブロック）のサンプルを受信し、該ブロックを参照ピクチャ内の１つ以上の参照ブロック（例えば、前のピクチャおよび後のピクチャ内のブロック）と比較し、インター予測情報（例えば、インターエンコード法による冗長情報の記述、動きベクトル、マージモード情報）を生成し、インター予測情報に基づいて任意の適切な技法を用いてインター予測結果（例えば、予測ブロック）を算出するように構成される。一部の例では、参照ピクチャは、エンコードされたビデオ情報に基づいてデコードされたデコード参照ピクチャである。

イントラエンコーダ（５２２）は、現在ブロック（例えば、処理ブロック）のサンプルを受信し、場合によっては該ブロックを同一ピクチャで既に符号化されたブロックと比較し、変換後に量子化された係数を生成し、場合によってはイントラ予測情報（例えば、１つ以上のイントラエンコード法によるイントラ予測方向情報）をも生成するように構成される。一例では、イントラエンコーダ（５２２）は、イントラ予測情報および同一ピクチャ内の参照ブロックに基づいてイントラ予測結果（例えば、予測ブロック）をも算出する。

統括制御部（５２１）は、統括制御データを決定し、統括制御データに基づいてビデオエンコーダ（５０３）の他の構成要素を制御するように構成される。一例では、統括制御部（５２１）は、ブロックのモードを決定し、モードに基づいて制御信号をスイッチ（５２６）に提供する。例えば、モードがイントラである場合、統括制御部（５２１）は、残差算出部（５２３）が使用するためのイントラモード結果を選択するようにスイッチ（５２６）を制御するとともに、イントラ予測情報を選択してイントラ予測情報をビットストリームに含ませるようにエントロピーエンコーダ（５２５）を制御する。また、モードがインターモードである場合、統括制御部（５２１）は、残差算出部（５２３）が使用するためのインター予測結果を選択するようにスイッチ（５２６）を制御するとともに、インター予測情報を選択してインター予測情報をビットストリームに含ませるようにエントロピーエンコーダ（５２５）を制御する。様々な実施形態では、ビデオエンコーダ（５０３）は、残差デコーダ（５２８）をも含む。残差デコーダ（５２８）は、逆変換を実行し、デコード残差データを生成するように構成される。デコード残差データは、イントラエンコーダ（５２２）およびインターエンコーダ（５３０）によって適切に使用されることができる。例えば、インターエンコーダ（５３０）は、デコード残差データよびインター予測情報に基づいて、デコードブロックを生成することができ、イントラエンコーダ（５２２）は、デコード残差データおよびイントラ予測情報に基づいて、デコードブロックを生成することができる。一部の例では、デコードブロックは、デコードピクチャを生成するように適切に処理され、デコードピクチャは、メモリ回路（図示せず）にバッファリングされ、参照ピクチャとして使用されることができる。

残差算出部（５２３）は、受信されたブロックとイントラエンコーダ（５２２）またはインターエンコーダ（５３０）から選択された予測結果との差（残差データ）を算出するように構成される。残差エンコーダ（５２４）は、残差データに基づいて動作し、残差データをエンコードして変換係数を生成するように構成される。一例では、残差エンコーダ（５２４）は、周波数領域で残差データを転換し、変換係数を生成するように構成される。その後、変換係数は量子化処理を受けて、量子化された変換係数が得られる。

エントロピーエンコーダ（５２５）は、ビットストリームをフォーマットしてエンコードブロックを生成するように構成される。エントロピーエンコーダ（５２５）は、ＨＥＶＣ規格などの適切な規格に従う様々な情報をビットストリームに含ませるように構成される。一例では、エントロピーエンコーダ（５２５）は、統括制御データ、選択された予測情報（例えば、イントラ予測情報またはインター予測情報）、残差情報、および他の適切な情報をビットストリームに含ませるように構成される。開示された主題によれば、インターモードまたは双予測モードのマージサブモードでブロックを符号化する場合、残差情報はないことに留意されたい。

図６は、本開示の他の実施形態によるビデオデコーダ（６１０）の図を示す。ビデオデコーダ（６１０）は、符号化ビデオシーケンスの一部である符号化ピクチャを受信し、符号化ピクチャをデコードして再構築ピクチャを生成するように構成される。一例では、図２の例におけるビデオデコーダ（２１０）の代わりにビデオデコーダ（６１０）を使用する。

図６の例では、ビデオデコーダ（６１０）は、図６に示されるように互いに結合されたエントロピーデコーダ（６７１）、インターデコーダ（６８０）、残差デコーダ（６７３）、再構築モジュール（６７４）、およびイントラデコーダ（６７２）を含む。

エントロピーデコーダ（６７１）は、符号化ピクチャから、符号化ピクチャを構成するシンタックス要素を表す特定のシンボルを再構築するように構成されることができる。このようなシンボルは、例えば、ブロックが符号化されるモード（例えば、イントラ、マージサブモードまたは他のサブモードにおけるインターと双予測）、それぞれイントラデコーダ（６７２）またはインターデコーダ（６８０）による予測に使用される特定のサンプルまたはメタデータを識別できる予測情報（例えば、イントラ予測情報またはインター予測情報）、例えば、量子化された変換係数の形態での残差情報などを含むことができる。一例では、予測モードがインターまたは双予測モードであれば、インター予測情報は、インターデコーダ（６８０）に提供される。また、予測タイプがイントラ予測タイプであれば、イントラ予測情報は、イントラデコーダ（６７２）に提供される。残差情報は、逆量子化を施されることができ、残差デコーダ（６７３）に提供される。

インターデコーダ（６８０）は、インター予測情報を受信し、インター予測情報に基づいてインター予測結果を生成するように構成される。

イントラデコーダ（６７２）は、イントラ予測情報を受信し、イントラ予測情報に基づいてイントラ予測結果を生成するように構成される。

残差デコーダ（６７３）は、逆量子化を実行して、逆量子化された変換係数を抽出し、逆量子化された変換係数を処理して残差を周波数領域から空間領域に転換するように構成される。残差デコーダ（６７３）は、（量子化器パラメータＱＰを含めるように）特定の制御情報をも必要とする場合があり、この情報は、エントロピーデコーダ（６７１）によって提供されてもよい（データパスは、低ボリューム制御情報のみであり得るため、示されていない）。

再構築モジュール（６７４）は、空間領域において、残差デコーダ（６７３）によって出力された残差と、（場合によってはインターまたはイントラ予測モジュールによって出力される）予測結果とを組み合わせて、再構築ビデオの一部となり得る再構築ピクチャの一部であり得る再構築ブロックを形成するように構成される。なお、視覚的品質を改善するために、デブロッキング操作などの他の適切な操作を実行することができる。

なお、ビデオエンコーダ（２０３）、（４０３）および（５０３）とビデオデコーダ（２１０）、（３１０）および（６１０）は、任意の適切な技法を用いて実施されることができる。一実施形態では、ビデオエンコーダ（２０３）、（４０３）および（５０３）とビデオデコーダ（２１０）、（３１０）および（６１０）は、１つ以上の集積回路を用いて実施されることができる。他の実施形態では、ビデオエンコーダ（２０３）、（４０３）および（５０３）とビデオデコーダ（２１０）、（３１０）および（６１０）は、ソフトウェア命令を実行する１つ以上のプロセッサを用いて実施されることができる。

図７は、イントラ予測に使用される例示的な角度モードの実施形態を示している。図７では、右下に示されたのは、Ｈ．２６５の３５通りの予測可能な方向からのものであり得る９通りの予測方向の例である。矢印が収束する点（７０１）は、予測されているサンプルを表す。矢印は、サンプルが予測されている方向を表す。例えば、矢印（７０２）は、サンプル（７０１）が、１つまたは複数のサンプルから右上に、水平軸から４５度の角度で予測されることを示す。同様に、矢印（７０３）は、サンプル（７０１）が、１つまたは複数のサンプルからサンプル（７０１）の左下に、水平軸から２２．５度の角度で予測されることを示す。
引き続き図７を参照し、左上には、４×４サンプルの正方形ブロック（７０４）（太い破線で示される）が示されている。正方形ブロック（７０４）は、それぞれが、「Ｓ」、Ｙ次元におけるその位置（例えば、行インデックス）、およびＸ次元におけるその位置（例えば、列インデックス）でラベル付けされた１６サンプルを含む。例えば、サンプルＳ２１は、Ｙ次元（上から）における２番目のサンプルかつＸ次元（左から）における１番目のサンプルである。同様に、サンプルＳ４４は、ＹおよびＸ次元の両方においてブロック（７０４）における４番目のサンプルである。ブロックがサイズで４×４サンプルなので、Ｓ４４は、右下にある。さらに、同様な番号付け体系に従う参照サンプルが示されている。参照サンプルは、Ｒ、ブロック（７０４）に対するそのＹ位置（例えば、行インデックス）およびＸ位置（列インデックス）でラベル付けされる。イントラピクチャ予測は、シグナリングされた予測方向で適正化されたように隣接サンプルから参照サンプル値をコピーすることで機能することができる。例えば、仮に、符号化されたビデオビットストリームは、このブロックについて矢印（７０２）（すなわち、サンプルが、１つまたは複数の予測サンプルから右上に、水平から４５度の角度で予測される）と一致する予測方向を示すシグナリングを含むとする。この場合、サンプルＳ４１、Ｓ３２、Ｓ２３、およびＳ１４は参照サンプルＲ０５から予測される。そして、サンプルＳ４４は、参照サンプルＲ０８から予測される。

特定の場合において、複数の参照サンプルの値は、一つの参照サンプルを算出するために、特に方向が４５度で均等に分割されていない場合に、例えば補間によって組み合わせられることができる。

図８Ａおよび８Ｂは、３３通りの角度モードを含む合計３５通りのイントラ予測モードの実施形態を示している。モード０はＩＮＴＲＡ＿ＰＬＡＮＡＲモードで、モード１はＩＮＴＲＡ＿ＤＣモードである。さらに、モード２～３４は角度内モードＩＮＴＲＡ＿ＡＮＧＵＬＡＲ２～ＩＮＴＲＡ＿ＡＮＧＵＬＡＲ３４を表す。モード１０は水平角度モードで、モード２６は垂直モードである。

図９Ａおよび９Ｂは、６５通りの角度モードを含む合計６７通りのイントラ予測モードの実施形態を示している。モード０はＩＮＴＲＡ＿ＰＬＡＮＡＲモードで、モード１はＩＮＴＲＡ＿ＤＣモードである。さらに、モード２～６６は、それぞれ、角度内モードＩＮＴＲＡ＿ＡＮＧＵＬＡＲ２～ＩＮＴＲＡ＿ＡＮＧＵＬＡＲ６６を表す。モード１８は水平モードで、モード５０は垂直モードである。

ＰＵは、輝度成分と彩度成分の両方を含み得る。一部の実施形態によれば、彩度成分の予測モードを決定するとき、エンコーダまたはデコーダは、平面モード（即ち、ＩＮＴＲＡ＿ＰＬＡＮＡＲ）、ＤＣモード（即ち、ＩＮＴＲＡ＿ＤＣ）、水平モード、垂直モード、および／または、輝度成分のイントラ予測モードのダイレクトコピー（ＤＭモード）のうちの１つから彩度予測モードを選択する。

一部の実施形態によれば、クロスコンポーネント線形モデル（ＣＣＬＭ）予測モードは、クロスコンポーネント冗長性を低減するために使用されることができ、彩度サンプルは、次のような線形モデルを用いることで、同じＣＵの再構築輝度サンプルに基づいて予測される。

式１

ただし、ｐｒｅｄ_ｃ（ｉ，ｊ）は、ＣＵにおける予測彩度サンプルを表し、ｒｅｃ_Ｌ’（ｉ，ｊ）は、同じＣＵのダウンサンプリングされた再構築輝度サンプルを表す。

パラメータαおよびβは、以下のように、現在のブロックの周りの隣接する再構築輝度および彩度サンプル間の回帰誤差を最小化することによって導出され得る。

式２

式３

ただし、Ｌ（ｎ）は、ダウンサンプリングされた上部および左の隣接する再構築輝度サンプルを表し、Ｃ（ｎ）は、上部および左の隣接する再構築彩度サンプルを表し、Ｎの値は現在の彩度符号化ブロックの幅と高さの最小値の２倍に等しい。

正方形の形状を有する符号化ブロックについて、上記２つの方程式を直接適用することができる。非正方形の符号化ブロックについて、より長い境界の隣接サンプルは、より短い境界の場合と同じ数のサンプルを持つようにサブサンプリングされる。図１０Ａおよび１０Ｂは、αおよびβの導出に使用されるサンプルの位置の例を示す。

一部の実施形態によれば、ＣＣＬＭ予測モードは、２つの彩度成分間の予測（即ち、Ｃｒ成分はＣｂ成分から予測される）を含む。例えば、再構築されたサンプル信号を使用する代わりに、ＣＣＬＭ Ｃｂ対Ｃｒ予測は、残差領域で適用される。この予測は、次のように、重み付けされた再構築Ｃｂ残差を元のＣｒイントラ予測に追加して、最終的なＣｒ予測を形成することによって実施され得る。

式４

スケーリング因子αは、ＣＣＬＭ輝度－彩度予測と同様の方法で導出することができ、ここで、差は、デフォルトでのαの値に対する回帰コストをエラー関数に追加することであり、その結果、導出されたスケーリング因子は、次のようにデフォルト値－０．５にバイアスされる。

式５

ただし、Ｃｂ（ｎ）は、隣接する再構築Ｃｂサンプルを表し、Ｃｒ（ｎ）は、隣接する再構築Ｃｒサンプルを表し、

である。

一部の実施形態によれば、ＣＣＬＭ輝度－彩度予測モードを１つの追加の彩度イントラ予測モードとして追加してもよい。エンコーダ側では、彩度イントラ予測モードを選択することを目的として、彩度成分のもう１つのレート歪み（ＲＤ）コストチェックを追加することができる。ＣＣＬＭ輝度－彩度予測モード以外のイントラ予測モードをＣＵの彩度成分に使用する場合、ＣＣＬＭ Ｃｂ対Ｃｒ予測は、Ｃｒ成分予測に使用され得る。

一部の実施形態によれば、輝度および彩度ブロックが同一の区分構造を共有し得るため、最小輝度ブロック区分は、４×４であり、最小彩度ブロック区分は、ＹＵＶ ４：２：２および４：２：０フォーマットについてそれぞれ２×４および２×２になる。その結果、イントラ予測モードは、２×２、２×ＮおよびＮ×２彩度ブロックに対してシグナリングされる必要があり、これは高価となる可能性があり、符号化効率の向上は、イントラモード符号化の追加コストを正当化しないことがある。本実施形態は、小ブロックに使用されるイントラ予測モードの数を減らすことにより、小ブロックをイントラ符号化するコストを削減するという非常に有利な特徴を提供する。

一部の実施形態によれば、ブロックのサイズがブロックサイズ閾値以下である場合、ブロックは、小ブロックとして識別される。一例として、ブロックサイズ閾値はＮ×Ｙブロックであり得、ＮおよびＹは、正の整数である。例えば、ＮおよびＹが４に等しい場合、小ブロックの例は、２×２ブロック、２×４ブロック、および／または４×２ブロックを含む。

小ブロックの別の例は、２×ＮおよびＮ×２ブロックを含み、Ｎは、正の整数である。小ブロックの別の例は、３×ＮおよびＮ×３彩度ブロックを含み、Ｎは、正の整数である。小ブロックの別の例は、４×ＮおよびＮ×４彩度ブロックを含み、Ｎは、正の整数である。

一部の実施形態では、ブロックサイズ閾値は、最小輝度イントラ符号化ブロックユニットサイズ（smallest luma intra coded block unit size）のブロック面積、ブロック幅、およびブロック高さの１つである。一部の実施形態では、ブロックサイズ閾値は、所定の値（例えば、１６または３２）であり得る画素の数に従って設定されるか、或いは、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、またはスライスヘッダーなどのビットストリームでシグナリングされる。

一部の実施形態によれば、小さな彩度イントラ符号化ブロック（例えば、２×４および４×２ブロック）について、他のブロックサイズに適用されるイントラ予測モードのすべてではなく、イントラ予測モードのサブセットのみが使用される。イントラ予測モードのサブセットは、他のブロックサイズに適用されるイントラ予測モードの１つ以上（すべてではない）であってもよい。一実施形態では、小さな彩度イントラ符号化ブロックに適用されるイントラ予測モードは、ＤＭモードのみであってもよい。他の実施形態では、小さな彩度イントラ符号化ブロックに適用されるイントラ予測モードは、ＣＣＬＭモードのみであってもよい。

一部の実施形態によれば、小さな彩度イントラ符号化ブロックに適用されるイントラ予測モードは、ＤＭモード、ＣＣＬＭモード、および他のイントラ予測モードＸのうちの１つであってもよい。イントラ予測モードＸは、平面モード、ＤＣモード、水平モード、および垂直モードのうちの１つであり得る。

一部の実施形態によれば、イントラ予測モードの縮小セットが使用される。例えば、イントラ予測モードの縮小セットは、ＤＭおよびＣＣＬＭモードのみを含んでもよく、彩度イントラモードインデックスは、どのモードが使用されるかを示すように１ビットによって二値化される。例えば、彩度イントラモードインデックスが０に設定された場合、ＤＭモードが使用され、彩度イントラモードインデックスが１に設定された場合、ＣＣＬＭモードが使用される。

小さな彩度符号化ブロックの場合、変換係数シグナリングが低減される。一実施形態では、ブロックサイズ閾値以下のブロックサイズを有する彩度ブロックについて、１つのＤＣ係数のみがシグナリングされる。他の実施形態では、ブロックサイズ閾値以下のブロックサイズを有する彩度ブロックについて、変換係数がシグナリングされず、符号化ブロックフラグ（ＣＢＦ）はゼロとして推論され得る。ＣＢＦは、ブロック内の非ゼロ係数の存在を示すために使用され得る。例えば、１に設定されたＣＢＦは、小さな彩度符号化ブロックに非ゼロ係数が含まれることを示し、０に設定されたＣＢＦは、小さな彩度符号化ブロックに非ゼロ係数が含まれないことを示す。

図１１は、それぞれイントラエンコーダ５２２またはイントラデコーダ６７２などのエンコーダまたはデコーダによって実行され得る処理の実施形態を示している。該処理は、彩度ブロックのブロックサイズを判定するステップＳ１１００で開始することができる。該処理は、彩度ブロックの判定されたブロックサイズがブロックサイズ閾値以下であるか否かを判定するステップＳ１１０２に進む。彩度ブロックの判定されたブロックサイズがブロックサイズ閾値以下であれば、彩度ブロックは、小ブロックであると判定される。例えば、彩度ブロックの高さ、幅、または面積がブロックサイズ閾値以下であれば、彩度ブロックは、小ブロックであると判定される。

判定されたブロックサイズがブロックサイズ閾値よりも大きければ、処理は、ステップＳ１１０２から、彩度ブロック用のイントラ予測モードを複数のイントラ予測モードから選択するステップＳ１１０４へ進む。しかしながら、判定されたブロックサイズがブロックサイズ閾値以下であれば（即ち、彩度ブロックが小ブロックである）、処理は、ステップＳ１１０２から、彩度ブロック用のイントラ予測モードを複数のイントラ予測モードのサブセットから選択するステップＳ１１０６へ進む。上述したように、サブセットは、複数のイントラ予測モードの１つ以上（全部ではない）を含む。

処理は、Ｓ１１０４からおよびＳ１１０６から、選択されたイントラ予測モードを用いて取得された彩度サンプルに基づいて、彩度ブロックのイントラ予測を実行するＳ１１０８へ進む。図１１に示される処理をステップＳ１１０８の後に終了する。

以上で説明された技法は、コンピュータ読取可能な命令を使用するコンピュータソフトウェアとして実施され、１つ以上のコンピュータ読取可能な媒体に物理的に記憶されることができる。例えば、図１２は、開示された主題の特定の実施形態を実施することに適したコンピュータシステム（１２００）を示す。

コンピュータソフトウェアは、アセンブリ、コンパイル、リンク、またはそのようなメカニズムを施されて、１つ以上のコンピュータ中央処理装置（ＣＰＵ）、グラフィックスプロセッシングユニット（ＧＰＵ）などによって直接、または解釈、マイクロコード実行などによって実行されることができる命令を含むコードを作成する任意の適切な機械コードまたはコンピュータ言語を用いて符号化されることができる。

命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲームデバイス、モノのインターネットデバイスなどを含む、様々なタイプのコンピュータまたはそのコンポーネント上で実行されることができる。

コンピュータシステム（１２００）について、図１２に示される例示的なコンポーネントは、本質的に例示的なものであり、本開示の実施形態を実施するコンピュータソフトウェアの使用または機能の範囲に関していかなる限定を示唆することも意図しない。コンポーネントの構成は、コンピュータシステム（１２００）の例示的な実施形態で示されるコンポーネントのうちのいずれか１つ又は組み合わせに関する任意の依存性又は必要性を有するとして解釈されるべきではない。

コンピュータシステム（１２００）は、特定のヒューマンインターフェース入力デバイスを含み得る。このようなヒューマンインターフェース入力デバイスは、例えば、触覚入力（キーストローク、スワイプ、データグローブの動きなど）、オーディオ入力（音声、拍手など）、視覚入力（ジェスチャーなど）、嗅覚入力（示されていない）によって、１人以上のユーザによる入力に応答することができる。ヒューマンインターフェースデバイスは、オーディオ（音声、音楽、環境音など）、画像（走査画像、静止画像カメラから取得される写真画像など）、ビデオ（２次元ビデオ、立体ビデオを含む３次元ビデオなど）など、人間による意識的な入力に必ずしも直接関係しない特定のメディアをキャプチャすることにも使用できる。

入力ヒューマンインターフェースデバイスは、キーボード（１２０１）、マウス（１２０２）、トラックパッド（１２０３）、タッチスクリーン（１２１０）、データグローブ（図示せず）、ジョイスティック（１２０５）、マイクフォン（１２０６）、スキャナ（１２０７）、カメラ（１２０８）（それぞれ１つのみ示されている）のうちの１つ以上を含み得る。

コンピュータシステム（１２００）は、特定のヒューマンインターフェース出力デバイスをも含み得る。このようなヒューマンインターフェース出力デバイスは、例えば、触覚出力、音声、光、および嗅覚／味覚を介して１人以上のユーザの感覚を刺激し得る。このようなヒューマンインターフェース出力デバイスは、触覚出力デバイス（例えば、タッチスクリーン（１２１０）、データグローブ（図示せず）、またはジョイスティック（１２０５）による触覚フィードバックがあるが、入力デバイスとして機能しない触覚フィードバックデバイスであってもよい）、オーディオ出力デバイス（スピーカ（１２０９）、ヘッドホン（示されていない）など）、視覚出力デバイス（ＣＲＴスクリーン、ＬＣＤスクリーン、プラズマスクリーン、ＯＬＥＤスクリーンを含むスクリーン（１２１０）（それぞれタッチスクリーン入力能力を有するかもしくは有せず、それぞれ触覚フィードバック能力を有するかもしくは有しない。それらの一部は、ステレオグラフィック出力などの手段を介して、２次元の視覚出力または３次元以上の出力を出力することができる）、仮想現実眼鏡（示されていない）、ホログラフィックディスプレおよびスモークタンク（示されていない）など）、およびプリンタ（示されていない）を含み得る。

コンピュータシステム（１２００）は、人間がアクセス可能な記憶装置およびそれらの関連する媒体、例えば、ＣＤ／ＤＶＤなどの媒体（１２２１）付きのＣＤ／ＤＶＤ ＲＯＭ／ＲＷ（１２２０）を含む光学媒体、サムドライブ（１２２２）、リムーバブルハードドライブまたはソリッドステートドライブ（１２２３）、テープやフロッピーディスクなどの従来の磁気媒体（示されていない）、セキュリティドングルなどの専用のＲＯＭ／ＡＳＩＣ／ＰＬＤベースのデバイス（示されていない）などをも含むことができる。

ここで開示された主題に関連して使用される「コンピュータ読取可能な媒体」という用語は、送信媒体、搬送波、または他の一時的な信号を包含しないことをも当業者が理解するべきである。

コンピュータシステム（１２００）は、１つ以上の通信ネットワークへのインターフェースをさらに含むことができる。ネットワークは、例えば、無線、有線、光学的であり得る。ネットワークは、さらに、ローカル、広域、大都市圏、車両用および産業用、リアルタイム、遅延耐性などであり得る。ネットワークの例は、イーサネット、無線ＬＡＮなどのローカルエリアネットワーク、ＧＳＭ、３Ｇ、４Ｇ、５Ｇ、ＬＴＥなどを含むセルラーネットワーク、ケーブルＴＶ、衛星ＴＶ、および地上放送ＴＶを含むＴＶ有線または無線広域デジタルネットワーク、ＣＡＮＢｕｓを含む車両用や産業用などを含む。特定のネットワークは、一般に、特定の汎用データポートまたは周辺バス（１２４９）（例えば、コンピューターシステム（１２００）のＵＳＢポートなど）に接続された外部ネットワークインターフェースアダプターを必要とする。他のものは一般に、以下で説明するようにシステムバスに接続することにより、コンピューターシステム（１２００）のコアに統合される（例えば、ＰＣコンピューターシステムへのイーサネットインターフェースまたはスマートフォンコンピューターシステムへのセルラーネットワークインターフェース）。これらのネットワークのいずれかを用いて、コンピュータシステム（１２００）は、他のエンティティと通信することができる。このような通信は、単方向、受信のみ（例えば、放送ＴＶ）、単方向の送信のみ（例えば、特定のＣＡＮｂｕｓデバイスへのＣＡＮｂｕｓ）、または双方向、例えばローカルまたはワイドエリアデジタルネットワークを用いる他のコンピュータシステムへの送信であり得る。特定のプロトコルおよびプロトコルスタックを上述したこれらのネットワークおよびネットワークインターフェースのそれぞれで使用することができる。

前述のヒューマンインターフェースデバイス、人間がアクセス可能な記憶装置、およびネットワークインターフェースは、コンピュータシステム（１２００）のコア（１２４０）に接続されることができる。

コア（１２４０）は、１つ以上の中央処理装置（ＣＰＵ）（１２４１）、グラフィックスプロセッシングユニット（ＧＰＵ）（１２４２）、フィールドプログラマブルゲートエリア（ＦＰＧＡ）（１２４３）の形態での専用プログラマブル処理ユニット、特定のタスクのためのハードウェアアクセラレータ（１２４４）などを含むことができる。これらのデバイスは、リードオンリーメモリ（ＲＯＭ）（１２４５）、ランダムアクセスメモリ（１２４６）、非ユーザアクセス可能な内部ハードドライブ、ＳＳＤなどの内部大容量記憶装置（１２４７）とともに、システムバス（１２４８）を介して接続されてもよい。一部のコンピュータシステムでは、システムバス（１２４８）は、１つ以上の物理プラグの形態でアクセスでき、追加のＣＰＵ、ＧＰＵなどによる拡張を可能にする。周辺機器は、コアのシステムバス（１２４８）に直接、または周辺バス（１２４９）を介して接続されることができる。周辺バスのアーキテクチャは、ＰＣＩ、ＵＳＢなどを含む。

ＣＰＵ（１２４１）、ＧＰＵ（１２４２）、ＦＰＧＡ（１２４３）、およびアクセラレータ（１２４４）は、組み合わせて、前述のコンピュータコードを構成することができる特定の命令を実行することができる。そのコンピュータコードは、ＲＯＭ（１２４５）またはＲＡＭ（１２４６）に記憶されることができる。推移データはＲＡＭ（１２４６）にも記憶できるが、永続データは、例えば、内部大容量ストレージ（１２４７）に記憶されることができる。１つ以上のＣＰＵ（１２４１）、ＧＰＵ（１２４２）、大容量ストレージ（１２４７）、ＲＯＭ（１２４５）、ＲＡＭ（１２４６）などと密接に関連付けることができるキャッシュメモリを使用することにより、任意のメモリデバイスへの高速保存および検索が可能になる。

コンピュータ読取可能な媒体は、様々なコンピュータ実施操作を実行するためのコンピュータコードを備えることができる。媒体およびコンピュータコードは、本開示の目的のために特別に設計および構築されたものであり得るか、もしくは、それらは、コンピュータソフトウェア技術の当業者に周知であって利用可能な種類のものであり得る。

限定ではなく、一例として、アーキテクチャを有するコンピュータシステム（１２００）、特にコア（１２４０）は、１つ以上の有形のコンピュータ読取可能な媒体に組み込まれたソフトウェアを実行するプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータなどを含む）の結果としての機能性を提供することができる。このようなコンピュータ読取可能な媒体は、以上で紹介したようにユーザがアクセス可能な大容量ストレージ、および、コア内部大容量ストレージ（１２４７）またはＲＯＭ（１２４５）などの非一時的な性質を持つコア（１２４０）の特定のストレージに関連付けられた媒体であり得る。本開示の様々な実施形態を実行するソフトウェアは、このようなデバイスに記憶され、コア（１２４０）によって実行されることができる。コンピュータ読取可能な媒体は、特定の必要に応じて、１つ以上のメモリデバイスまたはチップを含むことができる。ソフトウェアは、コア（１２４０）、具体的にはその中のプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡなどを含む）に、ＲＡＭ（１２４６）に記憶されたデータ構造を定義すること、および、ソフトウェアで定義されたプロセスに従ってこのようなデータ構造を変更することを含む、ここで説明する特定のプロセスまたは特定のプロセスの特定の部分を実行させることができる。加えて、または、代替として、コンピュータシステムは、本明細書に記載された特定のプロセスまたは特定のプロセスの特定の部分を実行するためにソフトウェアの代わりにまたは一緒に動作することができる回路（例えば、アクセラレータ（１２４４））に有線接続されたまたは組み込まれたロジックの結果としての機能性を提供することができる。ソフトウェアへの言及は、必要に応じて、ロジックを含むことができ、その逆も同様である。コンピュータ読取可能な媒体への言及は、必要に応じて、実行のためのソフトウェアを記憶する回路（集積回路（ＩＣ）など）、実行のためのロジックを具現化する回路、またはその両方を含むことができる。本開示は、ハードウェアとソフトウェアの任意の適切な組み合わせを含む。

付録Ａ：頭字語
ＭＶ：Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ（動きベクトル）
ＨＥＶＣ：Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（高効率ビデオ符号化）
ＳＥＩ：Ｓｕｐｐｌｅｍｅｎｔａｒｙ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ（補助強化情報）
ＶＵＩ：Ｖｉｄｅｏ Ｕｓａｂｉｌｉｔｙ Ｉｎｆｏｒｍａｔｉｏｎ（ビデオユーザビリティ情報）
ＧＯＰ：Ｇｒｏｕｐｓ ｏｆ Ｐｉｃｔｕｒｅｓ（ピクチャ群）
ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔｓ（変換ユニット）

ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔｓ（予測ユニット）
ＣＴＵ：Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔｓ（符号化ツリーユニット）
ＣＴＢ：Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋｓ（符号化ツリーブロック）
ＰＢ：Ｐｒｅｄｉｃｔｉｏｎ Ｂｌｏｃｋｓ（予測ブロック）
ＨＲＤ：Ｈｙｐｏｔｈｅｔｉｃａｌ Ｒｅｆｅｒｅｎｃｅ Ｄｅｃｏｄｅｒ（仮想参照デコーダ）
ＳＮＲ：Ｓｉｇｎａｌ Ｎｏｉｓｅ Ｒａｔｉｏ（信号対雑音比）
ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔｓ（中央処理装置）
ＧＰＵ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔｓ（グラフィックスプロセッシングユニット）
ＣＲＴ：Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ（陰極線管）
ＬＣＤ：Ｌｉｑｕｉｄ-Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ（液晶ディスプレイ）
ＯＬＥＤ：Ｏｒｇａｎｉｃ Ｌｉｇｈｔ-Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ（有機発光ダイオード）
ＣＤ：Ｃｏｍｐａｃｔ Ｄｉｓｃ（コンパクトディスク）
ＤＶＤ：Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｃ（デジタルビデオディスク）
ＲＯＭ：Ｒｅａｄ-Ｏｎｌｙ Ｍｅｍｏｒｙ（リードオンリーメモリ）
ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ランダムアクセスメモリ）
ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ-Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ（特定用途向け集積回路）
ＰＬＤ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ（プログラマブルロジックデバイス）
ＬＡＮ：Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ（ローカルエリアネットワーク）
ＧＳＭ：Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ（グローバルモバイル通信システム）
ＬＴＥ：Ｌｏｎｇ-Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ（長期的な進化）
ＣＡＮＢｕｓ：Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ Ｂｕｓ（コントローラエリアネットワークバス）
ＵＳＢ：Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ（ユニバーサルシリアルバス）
ＰＣＩ：Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ（ペリフェラルコンポーネントインターコネクト）
ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｅａｓ（フィールドプログラマブルゲートエリア）
ＳＳＤ：Ｓｏｌｉｄ-Ｓｔａｔｅ Ｄｒｉｖｅ（ソリッドステートドライブ）
ＩＣ：Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ（集積回路）
ＣＵ：Ｃｏｄｉｎｇ Ｕｎｉｔ（符号化ユニット）
本開示は一部の例示的な実施形態を説明してきたが、本開示の範囲内に含まれる変更、置換、および様々な代替の均等物が存在する。したがって、当業者は、本明細書では明示的に示されていないか、または記載されていないが、本開示の原理を具現化し、その思想および範囲内に含まれる様々なシステムおよび方法を考案できることが理解されよう。

（１）ビデオデコーダ用のビデオデコード方法であって、前記ビデオデコーダは、処理回路を含み、前記方法は、前記処理回路により、彩度ブロックのブロックサイズがブロックサイズ閾値以下であるか否かを判定するステップと、前記彩度ブロックの前記ブロックサイズが前記ブロックサイズ閾値よりも大きいとの判定に応じて、複数のイントラ予測モードから前記彩度ブロック用のイントラ予測モードを選択するステップと、前記彩度ブロックの前記ブロックサイズが前記ブロックサイズ閾値以下であるとの判定に応じて、前記複数のイントラ予測モードのサブセットから前記彩度ブロック用の前記イントラ予測モードを選択するステップと、選択された前記イントラ予測モードで取得された彩度サンプルに基づいて、前記彩度ブロックのイントラ予測を実行するステップと、を含む方法。

（２）前記複数のイントラ予測モードの前記サブセットは、前記彩度ブロックに関連付けられた輝度ブロックのイントラ予測モードを再利用するダイレクトコピーモード（ＤＭ）からなる、前記（１）に記載の方法。

（３）前記複数のイントラ予測モードの前記サブセットは、前記彩度ブロックに関連付けられた輝度ブロックの輝度サンプルから前記彩度サンプルを導出する相互相関線形モデル（ＣＣＬＭ）モードからなり、前記輝度サンプルは、前記輝度ブロックのイントラ予測モードに従って取得される、前記（１）又は前記（２）に記載の方法。

（４）前記複数のイントラ予測モードの前記サブセットは、（ｉ）前記彩度ブロックに関連付けられた輝度ブロックのイントラ予測モードを再利用するダイレクトコピーモード（ＤＭ）、および（ｉｉ）前記彩度ブロックに関連付けられた前記輝度ブロックの輝度サンプルから前記彩度サンプルを導出する相互相関線形モデル（ＣＣＬＭ）モード、のうちの１つであり、前記輝度サンプルは、前記輝度ブロックの前記イントラ予測モードに従って取得される、前記（１）から前記（３）の何れかに記載の方法。

（５）１ビットのインジケータは、前記ＤＭおよび前記ＣＣＬＭモードのどちらが使用されるかを示す、前記（４）に記載の方法。

（６）イントラ予測モードの前記サブセットは、（ｉ）前記彩度ブロックに関連付けられた輝度ブロックのイントラ予測モードを再利用するダイレクトコピーモード（ＤＭ）、（ｉｉ）前記彩度ブロックに関連付けられた前記輝度ブロックの輝度サンプルから前記彩度サンプルを導出する相互相関線形モデル（ＣＣＬＭ）モード、および（ｉｉｉ）（ａ）平面モード、（ｂ）ＤＣモード、（ｃ）水平モード、および（ｄ）垂直モードのうちの一方であるイントラ予測モードのグループ、のうちの１つであり、前記輝度サンプルは、前記輝度ブロックの前記イントラ予測モードに従って取得される、前記（１）から前記（５）の何れかに記載の方法。

（７）前記ブロックサイズ閾値以下のブロックサイズを有する前記彩度ブロックについて、１つのＤＣ係数のみがシグナリングされる、前記（１）から前記（６）の何れかに記載の方法。

（８）前記ブロックサイズ閾値以下のブロックサイズを有する前記彩度ブロックについて、変換係数がシグナリングされない、前記（１）から前記（７）の何れかに記載の方法。

（９）前記ブロックサイズ閾値は、Ｎ×Ｙであり、Ｎは、２より大きい整数であり、Ｙは、２より大きい整数であり、前記彩度ブロックの高さがＮ以下である、或いは、前記彩度ブロックの幅がＹ以下であるとの判定に応じて、前記彩度ブロックの前記ブロックサイズは、前記ブロックサイズ閾値以下である、前記（１）から前記（８）の何れかに記載の方法。

（１０）前記ブロックサイズ閾値は、最小輝度イントラ符号化ブロックユニットサイズのブロック面積、ブロック幅、およびブロック高さのうちの１つである、前記（１）から前記（９）の何れかに記載の方法。

（１１）前記彩度ブロックの前記ブロックサイズ閾値および前記ブロックサイズは、画素の数である、前記（１）から前記（１０）の何れかに記載の方法。

（１２）彩度ブロックのブロックサイズがブロックサイズ閾値以下であるか否かを判定し、前記彩度ブロックの前記ブロックサイズが前記ブロックサイズ閾値よりも大きいとの判定に応じて、複数のイントラ予測モードから前記彩度ブロック用のイントラ予測モードを選択し、前記彩度ブロックの前記ブロックサイズが前記ブロックサイズ閾値以下であるとの判定に応じて、前記複数のイントラ予測モードのサブセットから前記彩度ブロック用の前記イントラ予測モードを選択し、選択された前記イントラ予測モードで取得された彩度サンプルに基づいて、前記彩度ブロックのイントラ予測を実行するように構成される処理回路を備えるビデオデコードのためのビデオデコーダ。

（１３）前記複数のイントラ予測モードの前記サブセットは、前記彩度ブロックに関連付けられた輝度ブロックのイントラ予測モードを再利用するダイレクトコピーモード（ＤＭ）からなる、前記（１２）に記載のビデオデコーダ。

（１４）前記複数のイントラ予測モードの前記サブセットは、前記彩度ブロックに関連付けられた輝度ブロックの輝度サンプルから前記彩度サンプルを導出する相互相関線形モデル（ＣＣＬＭ）モードからなり、前記輝度サンプルは、前記輝度ブロックのイントラ予測モードに従って取得される、前記（１２）又は前記（１３）に記載のビデオデコーダ。

（１５）前記複数のイントラ予測モードの前記サブセットは、（ｉ）前記彩度ブロックに関連付けられた輝度ブロックのイントラ予測モードを再利用するダイレクトコピーモード（ＤＭ）、および（ｉｉ）前記彩度ブロックに関連付けられた前記輝度ブロックの輝度サンプルから前記彩度サンプルを導出する相互相関線形モデル（ＣＣＬＭ）モード、のうちの１つであり、前記輝度サンプルは、前記輝度ブロックの前記イントラ予測モードに従って取得される、前記（１２）から前記（１４）の何れかに記載のビデオデコーダ。

（１６）１ビットのインジケータは、前記ＤＭおよび前記ＣＣＬＭモードのどちらが使用されるかを示す、前記（１５）に記載のビデオデコーダ。

（１７）イントラ予測モードの前記サブセットは、（ｉ）前記彩度ブロックに関連付けられた輝度ブロックのイントラ予測モードを再利用するダイレクトコピーモード（ＤＭ）、（ｉｉ）前記彩度ブロックに関連付けられた前記輝度ブロックの輝度サンプルから前記彩度サンプルを導出する相互相関線形モデル（ＣＣＬＭ）モード、および（ｉｉｉ）（ａ）平面モード、（ｂ）ＤＣモード、（ｃ）水平モード、および（ｄ）垂直モードのうちの一方であるイントラ予測モードのグループ、のうちの１つであり、前記輝度サンプルは、前記輝度ブロックのイントラ予測モードに従って取得される、前記（１２）から前記（１６）の何れかに記載のビデオデコーダ。

（１８）前記ブロックサイズ閾値以下のブロックサイズを有する前記彩度ブロックについて、１つのＤＣ係数のみがシグナリングされる、前記（１２）から前記（１７）の何れかに記載のビデオデコーダ。

（１９）前記ブロックサイズ閾値以下のブロックサイズを有する前記彩度ブロックについて、変換係数がシグナリングされない、前記（１２）から前記（１８）の何れかに記載のビデオデコーダ。

（２０）ビデオデコーダのプロセッサによって実行されると、前記プロセッサに、彩度ブロックのブロックサイズがブロックサイズ閾値以下であるか否かを判定するステップと、前記彩度ブロックの前記ブロックサイズが前記ブロックサイズ閾値よりも大きいとの判定に応じて、複数のイントラ予測モードから前記彩度ブロック用のイントラ予測モードを選択するステップと、前記彩度ブロックの前記ブロックサイズが前記ブロックサイズ閾値以下であるとの判定に応じて、前記複数のイントラ予測モードのサブセットから前記彩度ブロック用の前記イントラ予測モードを選択するステップと、選択された前記イントラ予測モードで取得された彩度サンプルに基づいて、前記彩度ブロックのイントラ予測を実行することと、を含む方法を実行させる命令が記憶されている非一時的なコンピュータ読取可能な媒体。

Claims (12)

1. ビデオデコーダが実行するビデオ復号の方法であって、
   前記ビデオデコーダが、
   クロマブロックのブロックサイズがブロックサイズ閾値以下であるか否かを判定するステップと、
   前記クロマブロックの前記ブロックサイズが前記ブロックサイズ閾値よりも大きいとの判定に応じて、複数のイントラ予測モードから前記クロマブロック用のイントラ予測モードを選択するステップと、
   前記クロマブロックの前記ブロックサイズが前記ブロックサイズ閾値以下であるとの判定に応じて、前記複数のイントラ予測モードのサブセットから前記クロマブロック用の前記イントラ予測モードを選択するステップと、
   選択された前記イントラ予測モードで取得されたクロマサンプルに基づいて、前記クロマブロックのイントラ予測を行うステップと、
   を含み、
   前記ブロックサイズ閾値以下のブロックサイズを有する前記クロマブロックについて、１つのＤＣ係数のみがシグナリングされる、方法。
2. 前記複数のイントラ予測モードの前記サブセットは、前記クロマブロックに関連付けられたルーマブロックのイントラ予測モードを再利用するダイレクトコピーモード（ＤＭ）からなる、
   請求項１に記載の方法。
3. 前記複数のイントラ予測モードの前記サブセットは、前記クロマブロックに関連付けられたルーマブロックのルーマサンプルから前記クロマサンプルを導出するクロスコンポーネント線形モデル（ＣＣＬＭ）モードからなり、前記ルーマサンプルは、前記ルーマブロックのイントラ予測モードに従って取得される、
   請求項１に記載の方法。
4. 前記複数のイントラ予測モードの前記サブセットは、（ｉ）前記クロマブロックに関連付けられたルーマブロックのイントラ予測モードを再利用するダイレクトコピーモード（ＤＭ）、および（ｉｉ）前記クロマブロックに関連付けられた前記ルーマブロックのルーマサンプルから前記クロマサンプルを導出するクロスコンポーネント線形モデル（ＣＣＬＭ）モードのうちの１つであり、前記ルーマサンプルは、前記ルーマブロックの前記イントラ予測モードに従って取得される、
   請求項１に記載の方法。
5. １ビットのインジケータにより、前記ＤＭと前記ＣＣＬＭモードのどちらが使用されるかを示す、
   請求項４に記載の方法。
6. 前記複数のイントラ予測モードの前記サブセットは、（ｉ）前記クロマブロックに関連付けられたルーマブロックのイントラ予測モードを再利用するダイレクトコピーモード（ＤＭ）、（ｉｉ）前記クロマブロックに関連付けられた前記ルーマブロックのルーマサンプルから前記クロマサンプルを導出するクロスコンポーネント線形モデル（ＣＣＬＭ）モード、および（ｉｉｉ）（ａ）平面モード、（ｂ）ＤＣモード、（ｃ）水平モード、および（ｄ）垂直モードのうちの一方であるイントラ予測モードのグループ、のうちの１つであり、
   前記ルーマサンプルは、前記ルーマブロックの前記イントラ予測モードに従って取得される、
   請求項１に記載の方法。
7. 前記ブロックサイズ閾値以下のブロックサイズを有する前記クロマブロックについて、変換係数がシグナリングされない、
   請求項１～６の何れか一項に記載の方法。
8. 前記ブロックサイズ閾値は、Ｎ×Ｙであり、Ｎは、２より大きい整数であり、Ｙは、２より大きい整数であり、
   前記クロマブロックの高さがＮ以下である、或いは、前記クロマブロックの幅がＹ以下であるとの判定に応じて、前記クロマブロックの前記ブロックサイズは、前記ブロックサイズ閾値以下である、
   請求項１～７の何れか一項に記載の方法。
9. 前記ブロックサイズ閾値は、最小ルーマイントラ符号化ブロックユニットサイズのブロック面積、ブロック幅、およびブロック高さのうちの１つである、
   請求項１～７の何れか一項に記載の方法。
10. 前記クロマブロックの前記ブロックサイズ閾値および前記ブロックサイズは、画素の数である、請求項１～９の何れか一項に記載の方法。
11. 処理回路を備えるビデオデコーダであって、
    前記処理回路は、請求項１～１０の何れか一項に記載の方法を実行するように構成される、ビデオデコーダ。
12. コンピュータに、請求項１～１０の何れか一項に記載の方法を実行させるためのプログラム。
    

Images