JP2023507935A - パレットモードで映像データを符号化するための方法及び装置 - Google Patents

Abstract

本開示は、映像データのパレット符号化を行うための装置及び方法を提供する。特定の開示実施形態によれば、方法は、符号化ユニット（ＣＵ）のルマ成分及びＣＵのクロマ成分が、パレットモードにおいて合同で符号化されるか、それとも個別に符号化されるかを決定することと、ルマ成分及びクロマ成分がパレットモードにおいて合同で符号化されることに応答して、ＣＵに関する第１の最大パレット表サイズを決定すること、ＣＵに関する第１の最大パレット予測子サイズを決定すること、及び第１の最大パレット表サイズ及び第１の最大パレット予測子サイズに基づいてＣＵを予測することと、を含む。

Description

関連出願の相互参照
[0001] 本開示は、全体として本明細書に援用される、２０１９年１２月３０日に出願された米国仮特許出願第６２／９５４，８４３号に対する優先権を主張するものである。

技術分野
[0002] 本開示は、一般に映像処理に関し、より詳細には、パレットモードにおけるルマ成分及びクロマ成分に関する符号化ツリー構造に基づいて、最大パレット表サイズ及び最大パレット予測子サイズのシグナリング及び決定を行うための方法及び装置に関する。

背景
[0003] 映像は、視覚情報を捕捉する一連の静止ピクチャ（又は「フレーム」）である。記憶メモリ及び伝送帯域幅を減少させるために、映像は、記憶又は伝送前に圧縮され、表示前に復元され得る。圧縮プロセスは、通常、エンコーディングと呼ばれ、復元プロセスは、通常、デコーディングと呼ばれる。最も一般的には、予測、変換、量子化、エントロピー符号化、及びインループフィルタリングに基づく、標準化映像符号化技術を用いる様々な映像符号化フォーマットが存在する。特定の映像符号化フォーマットを指定する、ＨＥＶＣ（High Efficiency Video Coding）／H.265標準規格、ＶＶＣ（Versatile Video Coding）／H.266標準規格、ＡＶＳ標準規格などの映像符号化標準規格が、標準化機関によって開発されている。ますます高度な映像符号化技術が、映像標準規格に採用されるにつれて、新しい映像符号化標準規格の符号化効率は、ますます高くなる。

開示の概要
[0004] 幾つかの実施形態では、例示的パレット符号化方法は、符号化ユニット（ＣＵ）のルマ成分及びＣＵのクロマ成分が、パレットモードにおいて合同で符号化されるか、それとも個別に符号化されるかを決定することと、ルマ成分及びクロマ成分がパレットモードにおいて合同で符号化されることに応答して、ＣＵに関する第１の最大パレット表サイズを決定すること、ＣＵに関する第１の最大パレット予測子サイズを決定すること、及び第１の最大パレット表サイズ及び第１の最大パレット予測子サイズに基づいてＣＵを予測することと、を含む。

[0005] 幾つかの実施形態では、例示的映像処理装置が、命令を保存するための少なくとも１つのメモリと、少なくとも１つのプロセッサと、を含む。少なくとも１つのプロセッサは、ＣＵのルマ成分及びＣＵのクロマ成分が、パレットモードにおいて合同で符号化されるか、それとも個別に符号化されるかを決定することと、ルマ成分及びクロマ成分がパレットモードにおいて合同で符号化されることに応答して、ＣＵに関する第１の最大パレット表サイズを決定すること、ＣＵに関する第１の最大パレット予測子サイズを決定すること、及び第１の最大パレット表サイズ及び第１の最大パレット予測子サイズに基づいてＣＵを予測することと、を装置に行わせるために命令を実行するように構成される。

[0006] 幾つかの実施形態では、例示的非一時的コンピュータ可読記憶媒体が、命令セットを保存する。命令セットは、ＣＵのルマ成分及びＣＵのクロマ成分が、パレットモードにおいて合同で符号化されるか、それとも個別に符号化されるかを決定することと、ルマ成分及びクロマ成分がパレットモードにおいて合同で符号化されることに応答して、ＣＵに関する第１の最大パレット表サイズを決定すること、ＣＵに関する第１の最大パレット予測子サイズを決定すること、及び第１の最大パレット表サイズ及び第１の最大パレット予測子サイズに基づいてＣＵを予測することと、を映像処理装置に行わせるために１つ又は複数の処理デバイスによって実行可能である。

図面の簡単な説明
[0007] 本開示の実施形態及び様々な局面は、以下の詳細な説明及び添付の図面に示される。図面に示される様々な特徴は、一定の縮尺で描かれていない。

[0008]本開示の幾つかの実施形態による、映像シーケンス例の構造を示す模式図である。 [0009]本開示の実施形態と一致した、ハイブリッド映像符号化システムの例示的なエンコーディングプロセスを示す模式図である。 [0010]本開示の実施形態と一致した、ハイブリッド映像符号化システムの別の例示的なエンコーディングプロセスを示す模式図である。 [0011]本開示の実施形態と一致した、ハイブリッド映像符号化システムの例示的なデコーディングプロセスを示す模式図である。 [0012]本開示の実施形態と一致した、ハイブリッド映像符号化システムの別の例示的なデコーディングプロセスを示す模式図である。 [0013]本開示の幾つかの実施形態による、映像をエンコード又はデコードするための例示的な装置のブロック図である。 [0014]本開示の幾つかの実施形態による、パレットモードで符号化された例示的なブロックの模式図を示す。 [0015]本開示の幾つかの実施形態による、符号化ユニットのエンコーディング後にパレット予測子を更新する例示的なプロセスの模式図を示す。 [0016]本開示の幾つかの実施形態による、例示的な均一最大予測子サイズ及び最大パレットサイズを示す例示的な表１を示す。 [0017]本開示の幾つかの実施形態による、例示的な最大予測子サイズ及び最大パレットサイズを示す例示的な表２を示す。 [0018]本開示の幾つかの実施形態による、予め定義された最大パレット予測子サイズ及び最大パレットサイズを使用する例示的なデコーディングプロセスを示す例示的な表３を示す。 [0019]本開示の幾つかの実施形態による、予め定義された最大パレット予測子サイズ及び最大パレットサイズを使用するための例示的なパレット符号化シンタックス表を示す例示的な表４を示す。 [0020]本開示の幾つかの実施形態による、個別パレットの最大パレットサイズ及び最大パレット予測子サイズの例示的な導出を示す例示的な表５を示す。 [0021]本開示の幾つかの実施形態による、個別パレットの最大パレットサイズ及び最大パレット予測子サイズの別の例示的な導出を示す例示的な表６を示す。 [0022]本開示の幾つかの実施形態による、例示的なシーケンスパラメータセット（ＳＰＳ）シンタックス表を示す例示的な表７を示す。 [0023]本開示の幾つかの実施形態による、個別パレットの最大パレットサイズ及び最大パレット予測子サイズの別の例示的な導出を示す例示的な表８を示す。 [0024]本開示の幾つかの実施形態による、個別パレットの最大パレットサイズ及び最大パレット予測子サイズの別の例示的な導出を示す例示的な表９を示す。 [0025]本開示の幾つかの実施形態による、例示的なピクチャヘッダ（ＰＨ）シンタックスを示す例示的な表１０を示す。 [0026]本開示の幾つかの実施形態による、Ｉスライス、Ｐスライス、及びＢスライスに関する最大パレットサイズ及び最大パレット予測子サイズの例示的な導出を示す例示的な表１１を示す。 [0027]本開示の幾つかの実施形態による、例示的なスライスヘッダ（ＳＨ）シンタックスを示す例示的な表１２を示す。 [0028]本開示の幾つかの実施形態による、例示的なパレット符号化方法のフローチャートを示す。

詳細な説明
[0029] これより、添付の図面に示される例示的な実施形態に詳細に言及する。以下の説明は添付の図面を参照し、かかる図面では、別段の説明のない限り、異なる図面の同じ番号が、同じ又は類似の要素を表す。例示的な実施形態の以下の説明に記載する実施態様は、本発明と一致した全ての実施態様を表すわけではない。代わりに、それらは、添付の特許請求の範囲に記載される本発明に関連する側面と一致した装置及び方法の例に過ぎない。以下に、本開示の特定の側面をより詳細に記載する。援用された用語及び／又は定義と矛盾する場合は、本明細書に提供される用語及び定義が優先する。

[0030] ＩＴＵ－Ｔ ＶＣＥＧ（ITU-T Video Coding Expert Group）及びＩＳＯ／ＩＥＣ ＭＰＥＧ（ISO/IEC Moving Picture Expert Group）のＪＶＥＴ（Joint Video Experts Team）は、現在、ＶＶＣ（Versatile Video Coding）／H.266標準規格を開発中である。ＶＶＣ標準規格は、その先行バージョンであるＨＥＶＣ（High Efficiency Video Coding）／H.265標準規格の圧縮効率を倍にすることを目的とする。つまり、ＶＶＣの目標は、ＨＥＶＣ／H.265と同じ主観的品質を半分の帯域幅で達成することである。

[0031] 半分の帯域幅でＨＥＶＣ／H.265と同じ主観的品質を達成するために、ＪＶＥＴは、ＪＥＭ（joint exploration model）参照ソフトウェアを使用して、ＨＥＶＣを超える技術を開発してきた。符号化技術がＪＥＭに組み込まれたため、ＪＥＭは、ＨＥＶＣよりも大幅に高い符号化性能を実現した。

[0032] ＶＶＣ標準規格は、最近開発されたものであり、より良い圧縮性能を提供する、さらに多くの符号化技術を加え続けている。ＶＶＣは、ＨＥＶＣ、H.264／ＡＶＣ、ＭＰＥＧ２、H.263などの近代の映像圧縮標準規格で使用されてきた、同じハイブリッド映像符号化システムに基づく。

[0033] 映像は、視覚情報を保存するために時系列で配置された一連の静止ピクチャ（又は「フレーム」）である。映像キャプチャデバイス（例えば、カメラ）を使用して、これらのピクチャを時系列で捕捉及び保存することができ、映像再生デバイス（例えば、テレビ、コンピュータ、スマートフォン、タブレットコンピュータ、ビデオプレーヤー、又は表示機能を備えた任意のエンドユーザ端末）を使用して、このようなピクチャを時系列で表示することができる。また、用途によっては、監視、会議の開催、又は生放送などのために、映像キャプチャデバイスは、捕捉された映像を映像再生デバイス（例えば、モニタを備えたコンピュータ）にリアルタイムで伝送することができる。

[0034] このような用途で必要とされる記憶空間及び伝送帯域幅を減少させるために、映像は、記憶及び伝送前に圧縮され、表示前に復元され得る。圧縮及び復元は、プロセッサ（例えば、汎用コンピュータのプロセッサ）により実行されるソフトウェア、又は専用ハードウェアによって実施され得る。圧縮用のモジュールは、一般に「エンコーダ」と呼ばれ、復元用のモジュールは、一般に「デコーダ」と呼ばれる。エンコーダ及びデコーダは、まとめて「コーデック」と呼ばれることがある。エンコーダ及びデコーダは、様々な適切なハードウェア、ソフトウェア、又はこれらの組み合わせの何れかとして実装され得る。例えば、エンコーダ及びデコーダのハードウェア実装は、１つ又は複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、離散論理、又はこれらの任意の組み合わせなどの回路網を含み得る。エンコーダ及びデコーダのソフトウェア実装は、プログラムコード、コンピュータ実行可能命令、ファームウェア、又はコンピュータ可読媒体に固定された、任意の適切なコンピュータ実施アルゴリズム若しくはプロセスを含み得る。映像圧縮及び復元は、ＭＰＥＧ－１、ＭＰＥＧ－２、ＭＰＥＧ－４、H.26x系などの様々なアルゴリズム又は標準規格によって実施され得る。用途によっては、コーデックが、第１の符号化標準規格から映像を復元し、第２の符号化標準規格を用いて復元映像を再圧縮することができ、この場合、コーデックは、「トランスコーダ」と呼ばれることがある。

[0035] 映像エンコーディングプロセスは、ピクチャの再構成のために使用することができる有用な情報を識別及び保持し、再構成にとって重要ではない情報を無視することができる。無視された重要ではない情報を完全に再構成することができない場合、このようなエンコーディングプロセスは、「不可逆」と呼ばれることがある。そうでなければ、それは、「可逆」と呼ばれることがある。ほとんどのエンコーディングプロセスは、不可逆であり、これは、必要とされる記憶空間及び伝送帯域幅を減少させるためのトレードオフである。

[0036] エンコードされているピクチャ（「現在のピクチャ」と呼ばれる）の有用な情報は、参照ピクチャ（例えば、前にエンコードされた、及び再構成されたピクチャ）に対する変化を含む。このような変化は、ピクセルの位置変化、輝度変化、又は色変化を含む場合があり、中でも、位置変化は、最も重要である。物体を表すピクセル群の位置変化は、参照ピクチャ及び現在のピクチャ間の物体の動きを反映し得る。

[0037] 別のピクチャを参照することなく符号化されたピクチャ（すなわち、それは、それ自体の参照ピクチャである）は、「Ｉピクチャ」と呼ばれる。前のピクチャを参照ピクチャとして使用して符号化されたピクチャは、「Ｐピクチャ」と呼ばれる。前のピクチャ及び未来のピクチャの両方を参照ピクチャとして使用して（すなわち、参照が「双方向」である）符号化されたピクチャは、「Ｂピクチャ」と呼ばれる。

[0038] 図１は、本開示の幾つかの実施形態による、映像シーケンス例１００の構造を示す。映像シーケンス１００は、ライブ映像、又は捕捉及びアーカイブされた映像でもよい。映像１００は、実際の映像、コンピュータ生成された映像（例えば、コンピュータゲーム映像）、又はそれらの組み合わせ（例えば、拡張現実効果を有した実際の映像）でもよい。映像シーケンス１００は、映像キャプチャデバイス（例えば、カメラ）、前に捕捉された映像を包含する映像アーカイブ（例えば、記憶デバイスに保存された映像ファイル）、又は映像コンテンツプロバイダから映像を受信するための映像フィードインタフェース（例えば、映像ブロードキャストトランシーバ）から入力され得る。

[0039] 図１に示されるように、映像シーケンス１００は、ピクチャ１０２、１０４、１０６、及び１０８を含むタイムラインに沿って時間的に配置された一連のピクチャを含み得る。ピクチャ１０２～１０６は連続しており、ピクチャ１０６と１０８との間には、さらに多くのピクチャが存在する。図１では、ピクチャ１０２は、Ｉピクチャであり、それの参照ピクチャは、ピクチャ１０２自体である。ピクチャ１０４は、Ｐピクチャであり、それの参照ピクチャは、矢印によって示されるように、ピクチャ１０２である。ピクチャ１０６は、Ｂピクチャであり、それの参照ピクチャは、矢印によって示されるように、ピクチャ１０４及び１０８である。幾つかの実施形態では、あるピクチャ（例えば、ピクチャ１０４）の参照ピクチャは、当該ピクチャの直前又は直後に存在しなくてもよい。例えば、ピクチャ１０４の参照ピクチャは、ピクチャ１０２に先行するピクチャでもよい。ピクチャ１０２～１０６の参照ピクチャは単なる例であり、本開示は、参照ピクチャの実施形態を図１に示される例のように限定しないことに留意されたい。

[0040] 一般的に、映像コーデックは、ピクチャ全体のエンコーディング又はデコーディングを、そのようなタスクの計算の複雑さゆえに、一度に行わない。より正確に言えば、それらは、ピクチャを基本セグメントに分割し、セグメントごとにピクチャをエンコード又はデコードし得る。このような基本セグメントは、本開示では、基本処理ユニット（「ＢＰＵ（basic processing unit）」）と呼ばれる。例えば、図１の構造１１０は、映像シーケンス１００のあるピクチャ（例えば、ピクチャ１０２～１０８の何れか）の構造例を示す。構造１１０では、ピクチャは、４×４の基本処理ユニットに分割され、それらの境界は、破線で示されている。幾つかの実施形態では、基本処理ユニットは、一部の映像符号化標準規格（例えば、ＭＰＥＧ系統、H.261、H.263、若しくはH.264／ＡＶＣ）では「マクロブロック」と呼ばれることがあり、又は一部の他の映像符号化標準規格（例えば、H.265／ＨＥＶＣ若しくはH.266／ＶＶＣ）では、「符号化ツリーユニット」（「ＣＴＵ（coding tree unit）」）と呼ばれることがある。基本処理ユニットは、１２８×１２８、６４×６４、３２×３２、１６×１６、４×８、１６×３２、又はピクセルの任意の形状及びサイズなどのピクチャの可変サイズを有し得る。基本処理ユニットのサイズ及び形状は、符号化効率と、基本処理ユニットにおいて維持されるべき詳細さのレベルとのバランスに基づいて、ピクチャごとに選択することができる。

[0041] 基本処理ユニットは、コンピュータメモリに（例えば、映像フレームバッファに）保存された異なる複数のタイプの映像データの一群を含み得る論理ユニットでもよい。例えば、カラーピクチャの基本処理ユニットは、無彩色の明度情報を表すルマ成分（Ｙ）、色情報を表す１つ又は複数のクロマ成分（例えば、Ｃｂ及びＣｒ）、並びに関連のシンタックス要素を含み得る（ここでは、ルマ成分及びクロマ成分は、同じサイズの基本処理ユニットを有し得る）。ルマ成分及びクロマ成分は、一部の映像符号化標準規格（例えば、H.265／ＨＥＶＣ又はH.266／ＶＶＣ）では、「符号化ツリーブロック」（「ＣＴＢ（coding tree block）」）と呼ばれることがある。基本処理ユニットに対して行われるどのような演算も、それのルマ成分及びクロマ成分のそれぞれに対して繰り返し行うことができる。

[0042] 映像符号化は、複数の演算ステージを有し、これらの例を図２Ａ～２Ｂ及び図３Ａ～３Ｂに示す。各ステージで、基本処理ユニットのサイズが、処理するにはまだ大き過ぎる場合があり、したがって、本開示では「基本処理サブユニット」と呼ばれるセグメントへとさらに分割され得る。幾つかの実施形態では、基本処理サブユニットは、一部の映像符号化標準規格（例えば、ＭＰＥＧ系統、H.261、H.263、若しくはH.264／ＡＶＣ）では「ブロック」と呼ばれることがあり、又は一部の他の映像符号化標準規格（例えば、H.265／ＨＥＶＣ若しくはH.266／ＶＶＣ）では、「符号化ユニット」（「ＣＵ（coding unit）」）と呼ばれることがある。基本処理サブユニットは、基本処理ユニットと同じ又はより小さいサイズを有してもよい。基本処理ユニットと同様に、基本処理サブユニットも、コンピュータメモリに（例えば、映像フレームバッファに）保存された異なる複数のタイプの映像データ（例えば、Ｙ、Ｃｂ、Ｃｒ、及び関連のシンタックス要素）の一群を含み得る論理ユニットである。基本処理サブユニットに対して行われるどのような演算も、それのルマ成分及びクロマ成分のそれぞれに対して繰り返し行うことができる。このような分割は、処理のニーズに応じてさらなるレベルに対して行われ得ることに留意されたい。異なるステージが異なるスキームを用いて基本処理ユニットを分割し得ることにも留意されたい。

[0043] 例えば、モード決定ステージ（それの一例を図２Ｂに示す）において、エンコーダは、基本処理ユニットに対してどの予測モード（例えば、イントラピクチャ予測又はインターピクチャ予測）を使用すべきかを決定することができ、基本処理ユニットは、このような決定を下すには大き過ぎる場合がある。エンコーダは、基本処理ユニットを複数の基本処理サブユニット（例えば、H.265／ＨＥＶＣ又はH.266／ＶＶＣの場合のＣＵ）に分割し、及び個々の基本処理サブユニットごとに予測タイプを決定することができる。

[0044] 別の例として、予測ステージ（それの一例を図２Ａ～２Ｂに示す）において、エンコーダは、基本処理サブユニット（例えば、ＣＵ）のレベルで予測演算を行うことができる。しかしながら、場合によっては、基本処理サブユニットは、処理するにはまだ大き過ぎる場合がある。エンコーダは、基本処理サブユニットを（例えば、H.265／ＨＥＶＣ又はH.266／ＶＶＣにおいては「予測ブロック」又は「ＰＢ（prediction block）」と呼ばれる）より小さなセグメントにさらに分割することができ、このセグメントのレベルで、予測演算を行うことができる。

[0045] 別の例として、変換ステージ（それの一例を図２Ａ～２Ｂに示す）では、エンコーダは、残差基本処理サブユニット（例えば、ＣＵ）に対して変換演算を行うことができる。しかしながら、場合によっては、基本処理サブユニットは、処理するにはまだ大き過ぎる場合がある。エンコーダは、基本処理サブユニットを（例えば、H.265／ＨＥＶＣ又はH.266／ＶＶＣにおいては「変換ブロック」又は「ＴＢ（transform block）」と呼ばれる）より小さなセグメントにさらに分割することができ、このセグメントのレベルで、変換演算を行うことができる。同じ基本処理サブユニットの分割スキームが予測ステージ及び変換ステージで異なり得ることに留意されたい。例えば、H.265／ＨＥＶＣ又はH.266／ＶＶＣでは、同じＣＵの予測ブロック及び変換ブロックが異なるサイズ及び数を有し得る。

[0046] 図１の構造１１０では、基本処理ユニット１１２は、３×３の基本処理サブユニットにさらに分割され、それらの境界は、点線で示される。同じピクチャの異なる基本処理ユニットが、異なるスキームで基本処理サブユニットに分割されてもよい。

[0047] 幾つかの実施態様では、映像エンコーディング及びデコーディングに対する並列処理能力及び誤り耐性を提供するために、ピクチャを処理のための複数の領域に分割することができ、これにより、エンコーディング又はデコーディングプロセスは、ピクチャの領域に関して、ピクチャの他のどの領域からの情報にも依存しないことが可能となる。つまり、ピクチャの各領域は、独立して処理することができる。そうすることで、コーデックは、ピクチャの異なる複数の領域を並行して処理することができ、したがって、符号化効率が向上される。また、ある領域のデータが処理時に壊れた場合、又はネットワーク伝送時に失われた場合、コーデックは、壊れたデータ又は失われたデータに依存することなく、同じピクチャの他の領域を正確にエンコード又はデコードすることができ、したがって、誤り耐性能力が提供される。一部の映像符号化標準規格では、ピクチャは、異なる複数のタイプの領域に分割することができる。例えば、H.265／ＨＥＶＣ及びH.266／ＶＶＣは、２つの領域タイプ：「スライス」及び「タイル」を提供する。映像シーケンス１００の異なる複数のピクチャが、ピクチャを領域に分割するための異なるパーティションスキームを有し得ることにも留意されたい。

[0048] 例えば、図１において、構造１１０は、３つの領域１１４、１１６、及び１１８に分割され、それらの境界は、構造１１０内の実線として示されている。領域１１４は、４つの基本処理ユニットを含む。領域１１６及び１１８のそれぞれは、６つの基本処理ユニットを含む。図１の構造１１０の基本処理ユニット、基本処理サブユニット、及び領域は、単なる例であり、本開示は、それらの実施形態を限定しないことに留意されたい。

[0049] 図２Ａは、本開示の実施形態と一致したエンコーディングプロセス例２００Ａの模式図を示す。例えば、エンコーディングプロセス２００Ａは、エンコーダによって行うことができる。図２Ａに示されるように、エンコーダは、プロセス２００Ａに従って、映像シーケンス２０２を映像ビットストリーム２２８へとエンコードすることができる。図１の映像シーケンス１００と同様に、映像シーケンス２０２は、時間的順序で配置されたピクチャ（「オリジナルピクチャ」と呼ばれる）のセットを含み得る。図１の構造１１０と同様に、映像シーケンス２０２の各オリジナルピクチャは、エンコーダによって、基本処理ユニット、基本処理サブユニット、又は処理用の領域に分割することができる。幾つかの実施形態では、エンコーダは、映像シーケンス２０２のオリジナルピクチャごとに、基本処理ユニットのレベルでプロセス２００Ａを行うことができる。例えば、エンコーダはプロセス２００Ａを反復的やり方で行うことができ、その場合、エンコーダはプロセス２００Ａの１回の反復で１つの基本処理ユニットをエンコードすることができる。幾つかの実施形態では、エンコーダは、映像シーケンス２０２の各オリジナルピクチャの領域（例えば、領域１１４～１１８）に対してプロセス２００Ａを並行して行うことができる。

[0050] 図２Ａでは、エンコーダは、予測データ２０６及び予測ＢＰＵ２０８を生成するために、映像シーケンス２０２のオリジナルピクチャの基本処理ユニット（「オリジナルＢＰＵ」と呼ばれる）を予測ステージ２０４に送ることができる。エンコーダは、オリジナルＢＰＵから予測ＢＰＵ２０８を減算することによって、残差ＢＰＵ２１０を生成することができる。エンコーダは、量子化変換係数２１６を生成するために、残差ＢＰＵ２１０を変換ステージ２１２及び量子化ステージ２１４に送ることができる。エンコーダは、映像ビットストリーム２２８を生成するために、予測データ２０６及び量子化変換係数２１６を二進符号化ステージ２２６に送ることができる。コンポーネント２０２、２０４、２０６、２０８、２１０、２１２、２１４、２１６、２２６、及び２２８は、「順方向経路」と呼ばれることがある。プロセス２００Ａの間、量子化ステージ２１４の後に、エンコーダは、再構成残差ＢＰＵ２２２を生成するために、量子化変換係数２１６を逆量子化ステージ２１８及び逆変換ステージ２２０に送ることができる。エンコーダは、再構成残差ＢＰＵ２２２を予測ＢＰＵ２０８に加算することによって、プロセス２００Ａの次の反復のために予測ステージ２０４において使用される予測基準２２４を生成することができる。プロセス２００Ａのコンポーネント２１８、２２０、２２２、及び２２４は、「再構成経路」と呼ばれることがある。再構成経路は、エンコーダ及びデコーダが共に予測のために同じ参照データを使用することを確実にするために使用することができる。

[0051] エンコーダは、（順方向経路において）オリジナルピクチャの各オリジナルＢＰＵをエンコードし、及び（再構成経路において）オリジナルピクチャの次のオリジナルＢＰＵをエンコードするための予測基準２２４を生成するために、反復的にプロセス２００Ａを行うことができる。オリジナルピクチャの全てのオリジナルＢＰＵをエンコードした後に、エンコーダは、映像シーケンス２０２の次のピクチャのエンコーディングに進むことができる。

[0052] プロセス２００Ａを参照すると、エンコーダは、映像キャプチャデバイス（例えば、カメラ）によって生成された映像シーケンス２０２を受け取ることができる。本明細書で使用される「受け取る（receive）」という用語は、受け取ること、入力すること、獲得すること、取り出すこと、取得すること、読み出すこと、アクセスすること、又はデータを入力するためのあらゆる方法のあらゆるアクションを指し得る。

[0053] 予測ステージ２０４において、現在の反復では、エンコーダは、オリジナルＢＰＵ及び予測基準２２４を受け取ることができ、並びに予測データ２０６及び予測ＢＰＵ２０８を生成するために予測演算を行うことができる。予測基準２２４は、プロセス２００Ａの前の反復の再構成経路から生成することができる。予測ステージ２０４の目的は、予測データ２０６を抽出することにより、情報冗長性を低減することであり、予測データ２０６は、予測データ２０６及び予測基準２２４からオリジナルＢＰＵを予測ＢＰＵ２０８として再構成するために使用することができる。

[0054] 理想的には、予測ＢＰＵ２０８は、オリジナルＢＰＵと同一となり得る。しかしながら、非理想的な予測及び再構成演算により、予測ＢＰＵ２０８は、一般に、オリジナルＢＰＵとは僅かに異なる。このような差を記録するために、予測ＢＰＵ２０８を生成した後に、エンコーダは、それをオリジナルＢＰＵから減算することによって、残差ＢＰＵ２１０を生成することができる。例えば、エンコーダは、予測ＢＰＵ２０８のピクセルの値（例えば、グレースケール値又はＲＧＢ値）をオリジナルＢＰＵの対応するピクセルの値から減算することができる。残差ＢＰＵ２１０の各ピクセルは、オリジナルＢＰＵ及び予測ＢＰＵ２０８の対応するピクセル間のこのような減算の結果として残差値を有し得る。オリジナルＢＰＵと比較して、予測データ２０６及び残差ＢＰＵ２１０は、より少ないビットを有し得るが、それらを使用して、大きな品質の劣化なしにオリジナルＢＰＵを再構成することができる。したがって、オリジナルＢＰＵは、圧縮される。

[0055] 残差ＢＰＵ２１０をさらに圧縮するために、変換ステージ２１２において、エンコーダは、それを２次元「基底パターン」のセットに分解する（各基底パターンは、「変換係数」に関連付けられる）ことによって、残差ＢＰＵ２１０の空間冗長性を減少させることができる。基底パターンは、同じサイズ（例えば、残差ＢＰＵ２１０のサイズ）を有し得る。各基底パターンは、残差ＢＰＵ２１０の変動周波数（例えば、明度変動の周波数）成分を表し得る。どの基底パターンも、その他の基底パターンの何れの結合（例えば、線形結合）からも再現することができない。つまり、この分解は、残差ＢＰＵ２１０の変動を周波数領域に分解することができる。このような分解は、関数の離散フーリエ変換に類似し、ここでは、基底パターンは、離散フーリエ変換の基底関数（例えば、三角法関数）に類似し、変換係数は、基底関数に関連付けられた係数に類似する。

[0056] 異なる変換アルゴリズムは、異なる基底パターンを使用することができる。例えば、離散コサイン変換、又は離散サイン変換などの様々な変換アルゴリズムを変換ステージ２１２において使用することができる。変換ステージ２１２における変換は、可逆である。すなわち、エンコーダは、変換の逆演算（「逆変換」と呼ばれる）によって残差ＢＰＵ２１０を復元することができる。例えば、残差ＢＰＵ２１０のピクセルを復元するために、逆変換は、基底パターンの対応するピクセルの値をそれぞれの関連付けられた係数で乗算すること、及びそれらの積を加算することによって加重和を生成することでもよい。映像符号化標準規格のために、エンコーダ及びデコーダは共に、同じ変換アルゴリズム（したがって、同じ基底パターン）を使用することができる。したがって、エンコーダは、変換係数のみを記録することができ、デコーダは、基底パターンをエンコーダから受け取ることなく、変換係数から残差ＢＰＵ２１０を再構成することができる。残差ＢＰＵ２１０と比較して、変換係数は、より少ないビットを有し得るが、それらを使用して、大きな品質の劣化なしに残差ＢＰＵ２１０を再構成することができる。したがって、残差ＢＰＵ２１０は、さらに圧縮される。

[0057] エンコーダは、量子化ステージ２１４において変換係数をさらに圧縮することができる。変換プロセスにおいて、異なる基底パターンは、異なる変動周波数（例えば、明度変動周波数）を表し得る。人間の目は、一般に、低周波変動を認識することが得意であるため、エンコーダは、デコーディングにおいて大きな品質の劣化を生じさせることなく、高周波変動の情報を無視することができる。例えば、量子化ステージ２１４において、エンコーダは、各変換係数を整数値（「量子化パラメータ」と呼ばれる）で除算し、その商を最も近い整数に丸めることによって、量子化変換係数２１６を生成することができる。このような演算後に、高周波基底パターンの幾つかの変換係数がゼロに変換され得、低周波基底パターンの変換係数が、より小さい整数に変換され得る。エンコーダは、ゼロ値の量子化変換係数２１６を無視することができ、それによって、変換係数がさらに圧縮される。量子化プロセスも可逆であり、ここでは、量子化変換係数２１６は、量子化の逆演算（「逆量子化」と呼ばれる）で、変換係数に再構成され得る。

[0058] エンコーダは、丸め演算においてこのような除算の余りを無視するので、量子化ステージ２１４は、不可逆となり得る。一般的に、量子化ステージ２１４は、プロセス２００Ａにおいて、最も多くの情報損失に寄与し得る。情報損失が大きくなるほど、量子化変換係数２１６が必要とし得るビットが少なくなる。異なる情報損失レベルを得るために、エンコーダは、量子化パラメータ又は量子化プロセスのその他のパラメータの異なる値を使用し得る。

[0059] 二進符号化ステージ２２６では、エンコーダは、例えば、エントロピー符号化、可変長符号化、算術符号化、ハフマン符号化、コンテキスト適応的二進算術符号化、又はその他の可逆若しくは不可逆圧縮アルゴリズムなどの二進符号化技術を使用して、予測データ２０６及び量子化変換係数２１６をエンコードすることができる。幾つかの実施形態では、予測データ２０６及び量子化変換係数２１６の他にも、エンコーダは、例えば、予測ステージ２０４で使用される予測モード、予測演算のパラメータ、変換ステージ２１２における変換タイプ、量子化プロセスのパラメータ（例えば、量子化パラメータ）、又はエンコーダ制御パラメータ（例えば、ビットレート制御パラメータ）などの他の情報を二進符号化ステージ２２６においてエンコードすることができる。エンコーダは、二進符号化ステージ２２６の出力データを使用して、映像ビットストリーム２２８を生成することができる。幾つかの実施形態では、映像ビットストリーム２２８は、ネットワーク伝送のためにさらにパケット化され得る。

[0060] プロセス２００Ａの再構成経路を参照すると、逆量子化ステージ２１８において、エンコーダは、量子化変換係数２１６に対して逆量子化を行うことによって、再構成変換係数を生成することができる。逆変換ステージ２２０では、エンコーダは、再構成変換係数に基づいて、再構成残差ＢＰＵ２２２を生成することができる。エンコーダは、再構成残差ＢＰＵ２２２を予測ＢＰＵ２０８に加算することによって、プロセス２００Ａの次の反復で使用される予測基準２２４を生成することができる。

[0061] 映像シーケンス２０２をエンコードするために、プロセス２００Ａの他のバリエーションが使用され得ることに留意されたい。幾つかの実施形態では、プロセス２００Ａのステージは、異なる順序でエンコーダによって行うことができる。幾つかの実施形態では、プロセス２００Ａの１つ又は複数のステージは、単一のステージに統合されてもよい。幾つかの実施形態では、プロセス２００Ａの単一のステージが、複数のステージに分割されてもよい。例えば、変換ステージ２１２及び量子化ステージ２１４が単一のステージに統合されてもよい。幾つかの実施形態では、プロセス２００Ａは、さらなるステージを含んでもよい。幾つかの実施形態では、プロセス２００Ａは、図２Ａの１つ又は複数のステージを省略してもよい。

[0062] 図２Ｂは、本開示の実施形態と一致した別のエンコーディングプロセス例２００Ｂの模式図を示す。プロセス２００Ｂは、プロセス２００Ａから変更され得る。例えば、プロセス２００Ｂは、ハイブリッド映像符号化標準規格（例えば、H.26x系）に準拠したエンコーダによって使用され得る。プロセス２００Ａと比較して、プロセス２００Ｂの順方向経路は、モード決定ステージ２３０をさらに含み、予測ステージ２０４を空間予測ステージ２０４２及び時間予測ステージ２０４４に分割する。プロセス２００Ｂの再構成経路は、ループフィルタステージ２３２及びバッファ２３４をさらに含む。

[0063] 一般に、予測技術は、２つのタイプ：空間予測及び時間予測に分類することができる。空間予測（例えば、イントラピクチャ予測又は「イントラ予測」）は、同じピクチャ内の１つ又は複数の既に符号化された隣接ＢＰＵからのピクセルを使用することによって、現在のＢＰＵを予測することができる。すなわち、空間予測における予測基準２２４は、隣接ＢＰＵを含み得る。空間予測は、ピクチャの固有の空間冗長性を減少させることができる。時間予測（例えば、インターピクチャ予測又は「インター予測」）は、１つ又は複数の既に符号化されたピクチャからの領域を使用することによって、現在のＢＰＵを予測することができる。すなわち、時間予測における予測基準２２４は、符号化されたピクチャを含み得る。時間予測は、ピクチャの固有の時間冗長性を減少させることができる。

[0064] プロセス２００Ｂを参照すると、順方向経路において、エンコーダは、空間予測ステージ２０４２及び時間予測ステージ２０４４において予測演算を行う。例えば、空間予測ステージ２０４２において、エンコーダは、イントラ予測を行うことができる。エンコードされているピクチャのオリジナルＢＰＵに関して、予測基準２２４は、同じピクチャ内の（順方向経路において）エンコードされ、及び（再構成経路において）再構成された１つ又は複数の隣接ＢＰＵを含み得る。エンコーダは、隣接ＢＰＵを外挿することによって予測ＢＰＵ２０８を生成することができる。外挿技術には、例えば、線形外挿若しくは補間、又は多項式外挿若しくは補間などが含まれ得る。幾つかの実施形態では、エンコーダは、例えば予測ＢＰＵ２０８のピクセルごとに対応するピクセルの値を外挿することによって、ピクセルレベルで外挿を行い得る。外挿に使用される隣接ＢＰＵは、垂直方向（例えば、オリジナルＢＰＵの上）、水平方向（例えば、オリジナルＢＰＵの左）、対角線方向（例えば、オリジナルＢＰＵの左下、右下、左上、若しくは右上）、又は使用した映像符号化標準規格において定義される任意の方向などの様々な方向からオリジナルＢＰＵに対して位置し得る。イントラ予測の場合、予測データ２０６は、例えば、使用された隣接ＢＰＵの場所（例えば、座標）、使用された隣接ＢＰＵのサイズ、外挿のパラメータ、又はオリジナルＢＰＵに対する使用された隣接ＢＰＵの方向などを含み得る。

[0065] 別の例として、時間予測ステージ２０４４では、エンコーダは、インター予測を行うことができる。現在のピクチャのオリジナルＢＰＵに関して、予測基準２２４は、（順方向経路において）エンコードされ、及び（再構成経路において）再構成された１つ又は複数のピクチャ（「参照ピクチャ」と呼ばれる）を含み得る。幾つかの実施形態では、参照ピクチャは、ＢＰＵごとにエンコードされ、及び再構成され得る。例えば、エンコーダは、再構成残差ＢＰＵ２２２を予測ＢＰＵ２０８に加算することによって、再構成ＢＰＵを生成することができる。同じピクチャの全ての再構成ＢＰＵが生成されると、エンコーダは、参照ピクチャとして再構成ピクチャを生成することができる。エンコーダは、参照ピクチャの（「探索窓（search window）」と呼ばれる）範囲内のマッチング領域を探索するために、「動き推定」の演算を行い得る。参照ピクチャにおける探索窓の場所は、現在のピクチャにおけるオリジナルＢＰＵの場所に基づいて決定することができる。例えば、探索窓は、参照ピクチャ内の、現在のピクチャのオリジナルＢＰＵと同じ座標を有する場所を中心としてもよく、所定の距離だけ外に延在されてもよい。エンコーダが（例えば、ペル再帰アルゴリズム又はブロックマッチングアルゴリズムなどを使用して）探索窓内のオリジナルＢＰＵに類似した領域を識別すると、エンコーダは、そのような領域をマッチング領域として決定することができる。マッチング領域は、オリジナルＢＰＵとは異なる寸法（例えば、より小さい、等しい、より大きい、又は異なる形状）を有してもよい。参照ピクチャ及び現在のピクチャは、（例えば図１に示されるように）タイムラインにおいて時間的に分離されるため、時間が経過するにつれて、マッチング領域がオリジナルＢＰＵの場所に「移動する」と見なすことができる。エンコーダは、そのような動きの方向及び距離を「動きベクトル」として記録し得る。（例えば、図１のピクチャ１０６のように）複数の参照ピクチャが使用される場合、エンコーダは、参照ピクチャごとに、マッチング領域を探索し、それに関連付けられた動きベクトルを決定することができる。幾つかの実施形態では、エンコーダは、それぞれのマッチング参照ピクチャのマッチング領域のピクセル値に重みを割り当てることができる。

[0066] 動き推定を使用して、例えば、平行移動、回転、又はズーミングなどの様々なタイプの動きを識別することができる。インター予測の場合、予測データ２０６は、例えば、マッチング領域の場所（例えば、座標）、マッチング領域に関連付けられた動きベクトル、参照ピクチャの数、又は参照ピクチャに関連付けられた重みを含み得る。

[0067] 予測ＢＰＵ２０８を生成するために、エンコーダは、「動き補償」の演算を行い得る。動き補償を用いて、予測データ２０６（例えば、動きベクトル）及び予測基準２２４に基づいて予測ＢＰＵ２０８を再構成することができる。例えば、エンコーダは、動きベクトルに従って参照ピクチャのマッチング領域を移動させることができ、その場合、エンコーダは、現在のピクチャのオリジナルＢＰＵを予測することができる。（例えば、図１のピクチャ１０６のように）複数の参照ピクチャが使用される場合、エンコーダは、それぞれの動きベクトルに従って参照ピクチャのマッチング領域を移動させ、マッチング領域のピクセル値を平均することができる。幾つかの実施形態では、エンコーダがそれぞれのマッチング参照ピクチャのマッチング領域のピクセル値に重みを割り当てた場合、エンコーダは、移動されたマッチング領域のピクセル値の加重和を加えることができる。

[0068] 幾つかの実施形態では、インター予測は、単方向又は双方向でもよい。単方向インター予測は、現在のピクチャに対して同じ時間方向の１つ又は複数の参照ピクチャを使用し得る。例えば、図１のピクチャ１０４は、参照ピクチャ（例えば、ピクチャ１０２）がピクチャ１０４に先行する単方向インター予測ピクチャである。双方向インター予測は、現在のピクチャに対して両時間方向にある１つ又は複数の参照ピクチャを使用し得る。例えば、図１のピクチャ１０６は、参照ピクチャ（すなわち、ピクチャ１０４及び１０８）がピクチャ１０４に対して両時間方向にある双方向インター予測ピクチャである。

[0069] プロセス２００Ｂの順方向経路をさらに参照すると、空間予測２０４２及び時間予測ステージ２０４４の後に、モード決定ステージ２３０において、エンコーダは、プロセス２００Ｂの現在の反復に関する予測モード（例えば、イントラ予測又はインター予測の一方）を選択することができる。例えば、エンコーダは、候補予測モードのビットレート、及びかかる候補予測モード下の再構成参照ピクチャの歪みに応じて、コスト関数の値を最小にするためにエンコーダが予測モードを選択することができるレート歪み最適化技術を行うことができる。選択された予測モードに応じて、エンコーダは、対応する予測ＢＰＵ２０８及び予測データ２０６を生成することができる。

[0070] プロセス２００Ｂの再構成経路では、順方向経路においてイントラ予測モードが選択されていた場合、予測基準２２４（例えば、現在のピクチャ内でエンコードされ、及び再構成された現在のＢＰＵ）の生成後に、エンコーダは、後で使用するために（例えば、現在のピクチャの次のＢＰＵの外挿のために）、予測基準２２４を空間予測ステージ２０４２に直接送ることができる。順方向経路においてインター予測モードが選択されていた場合、予測基準２２４（例えば、全てのＢＰＵがエンコードされ、及び再構成された現在のピクチャ）の生成後に、エンコーダは、インター予測によって導入される歪み（例えば、ブロッキングアーチファクト）を低減又は無くすために、エンコーダがループフィルタを予測基準２２４に適用することができるループフィルタステージ２３２に予測基準２２４を送ることができる。エンコーダは、ループフィルタステージ２３２において、例えば、非ブロック化、サンプル適応オフセット、又は適応ループフィルタなどの様々なループフィルタ技術を適用することができる。ループフィルタリングが行われた参照ピクチャは、後に使用するために（例えば、映像シーケンス２０２の将来のピクチャのためのインター予測基準ピクチャとして用いられるために）、バッファ２３４（又は「デコードピクチャバッファ」）に保存されてもよい。エンコーダは、時間予測ステージ２０４４で使用される１つ又は複数の参照ピクチャをバッファ２３４に保存し得る。幾つかの実施形態では、エンコーダは、量子化変換係数２１６、予測データ２０６、及び他の情報と共に、ループフィルタのパラメータ（例えば、ループフィルタ強度）を二進符号化ステージ２２６においてエンコードし得る。

[0071] 図３Ａは、本開示の実施形態と一致したデコーディングプロセス例３００Ａの模式図を示す。プロセス３００Ａは、図２Ａの圧縮プロセス２００Ａに対応する復元プロセスでもよい。幾つかの実施形態では、プロセス３００Ａは、プロセス２００Ａの再構成経路に類似し得る。デコーダは、プロセス３００Ａに従って、映像ビットストリーム２２８を映像ストリーム３０４へとデコードすることができる。映像ストリーム３０４は、映像シーケンス２０２に非常に類似し得る。しかしながら、圧縮及び復元プロセス（例えば、図２Ａ～２Ｂの量子化ステージ２１４）における情報損失により、一般に、映像ストリーム３０４は、映像シーケンス２０２と同一ではない。図２Ａ～２Ｂのプロセス２００Ａ及び２００Ｂと同様に、デコーダは、映像ビットストリーム２２８においてエンコードされたピクチャごとに、基本処理ユニット（ＢＰＵ）のレベルでプロセス３００Ａを行うことができる。例えば、デコーダは、反復的やり方でプロセス３００Ａを行うことができ、その場合、デコーダは、プロセス３００Ａの１回の反復で１つの基本処理ユニットをデコードすることができる。幾つかの実施形態では、デコーダは、映像ビットストリーム２２８においてエンコードされた各ピクチャの領域（例えば、領域１１４～１１８）に対してプロセス３００Ａを並行して行うことができる。

[0072] 図３Ａでは、デコーダは、エンコードされたピクチャの基本処理ユニット（「エンコードＢＰＵ」と呼ばれる）に関連付けられた映像ビットストリーム２２８の部分を二進デコーディングステージ３０２に送ることができる。二進デコーディングステージ３０２では、デコーダは、当該部分を予測データ２０６及び量子化変換係数２１６へとデコードすることができる。デコーダは、再構成残差ＢＰＵ２２２を生成するために、量子化変換係数２１６を逆量子化ステージ２１８及び逆変換ステージ２２０に送ることができる。デコーダは、予測ＢＰＵ２０８を生成するために、予測データ２０６を予測ステージ２０４に送ることができる。デコーダは、再構成残差ＢＰＵ２２２を予測ＢＰＵ２０８に加算することによって、予測基準２２４を生成することができる。幾つかの実施形態では、予測基準２２４は、バッファ（例えば、コンピュータメモリのデコードピクチャバッファ）に保存することができる。デコーダは、プロセス３００Ａの次の反復において予測演算を行うための予測ステージ２０４に予測基準２２４を送ることができる。

[0073] デコーダは、エンコードされたピクチャの各エンコードＢＰＵをデコードし、エンコードされたピクチャの次のエンコードＢＰＵをエンコードするための予測基準２２４を生成するために、プロセス３００Ａを反復して行うことができる。エンコードされたピクチャの全てのエンコードＢＰＵのデコーディング後に、デコーダは、表示のために上記ピクチャを映像ストリーム３０４に出力し、映像ビットストリーム２２８の次のエンコードされたピクチャのデコーディングに進み得る。

[0074] 二進デコーディングステージ３０２では、デコーダは、エンコーダによって使用された二進符号化技術（例えば、エントロピー符号化、可変長符号化、算術符号化、ハフマン符号化、コンテキスト適応的二進算術符号化、又はその他の可逆圧縮アルゴリズム）の逆演算を行うことができる。幾つかの実施形態では、予測データ２０６及び量子化変換係数２１６の他にも、デコーダは、例えば、予測モード、予測演算のパラメータ、変換タイプ、量子化プロセスのパラメータ（例えば、量子化パラメータ）、又はエンコーダ制御パラメータ（例えば、ビットレート制御パラメータ）などの他の情報を二進デコーディングステージ３０２においてデコードすることができる。幾つかの実施形態では、映像ビットストリーム２２８がネットワーク上でパケット伝送される場合、デコーダは、映像ビットストリーム２２８を二進デコーディングステージ３０２に送る前に、それをデパケット化することができる。

[0075] 図３Ｂは、本開示の実施形態と一致した別のデコーディングプロセス例３００Ｂの模式図を示す。プロセス３００Ｂは、プロセス３００Ａから変更され得る。例えば、プロセス３００Ｂは、ハイブリッド映像符号化標準規格（例えば、H.26x系）に準拠したデコーダによって使用され得る。プロセス３００Ａと比較して、プロセス３００Ｂは、予測ステージ２０４を空間予測ステージ２０４２及び時間予測ステージ２０４４にさらに分割し、ループフィルタステージ２３２及びバッファ２３４をさらに含む。

[0076] プロセス３００Ｂでは、デコード中のエンコードされたピクチャ（「現在のピクチャ」と呼ばれる）のエンコード基本処理ユニット（「現在のＢＰＵ」と呼ばれる）に関して、デコーダによって二進デコーディングステージ３０２からデコードされた予測データ２０６は、エンコーダによって現在のＢＰＵをエンコードするためにどの予測モードが使用されたかに応じて、様々なタイプのデータを含み得る。例えば、現在のＢＰＵをエンコードするためにイントラ予測がエンコーダによって使用された場合、予測データ２０６は、イントラ予測を示す予測モードインジケータ（例えば、フラグ値）、又はイントラ予測演算のパラメータなどを含み得る。イントラ予測演算のパラメータは、例えば、基準として使用される１つ又は複数の隣接ＢＰＵの場所（例えば、座標）、隣接ＢＰＵのサイズ、外挿のパラメータ、又はオリジナルＢＰＵに対する隣接ＢＰＵの方向などを含み得る。別の例として、現在のＢＰＵをエンコードするためにインター予測がエンコーダによって使用された場合、予測データ２０６は、インター予測を示す予測モードインジケータ（例えば、フラグ値）、又はインター予測演算のパラメータなどを含み得る。インター予測演算のパラメータは、例えば、現在のＢＰＵに関連付けられた参照ピクチャの数、参照ピクチャにそれぞれ関連付けられた重み、それぞれの参照ピクチャにおける１つ若しくは複数のマッチング領域の場所（例えば、座標）、又はマッチング領域にそれぞれ関連付けられた１つ若しくは複数の動きベクトルなどを含み得る。

[0077] 予測モードインジケータに基づいて、デコーダは、空間予測ステージ２０４２において空間予測（例えば、イントラ予測）を行うか、或いは時間予測ステージ２０４４において時間予測（例えば、インター予測）を行うかを決めることができる。このような空間予測又は時間予測を行う詳細は、図２Ｂに示され、以下では繰り返さない。そのような空間予測又は時間予測を行った後に、デコーダは、予測ＢＰＵ２０８を生成することができる。デコーダは、図３Ａに示されるように、予測ＢＰＵ２０８及び再構成残差ＢＰＵ２２２を加算することにより、予測基準２２４を生成することができる。

[0078] プロセス３００Ｂでは、デコーダは、プロセス３００Ｂの次の反復において予測演算を行うための空間予測ステージ２０４２又は時間予測ステージ２０４４に予測基準２２４を送ることができる。例えば、現在のＢＰＵが空間予測ステージ２０４２においてイントラ予測を用いてデコードされる場合、予測基準２２４（例えば、デコードされた現在のＢＰＵ）の生成後に、デコーダは、後に使用するために（例えば、現在のピクチャの次のＢＰＵの外挿のために）予測基準２２４を空間予測ステージ２０４２に直接送ることができる。現在のＢＰＵが時間予測ステージ２０４４においてインター予測を用いてデコードされる場合、予測基準２２４（例えば、全てのＢＰＵがデコードされた参照ピクチャ）の生成後に、エンコーダは、歪み（例えば、ブロッキングアーチファクト）を低減又は無くすために、予測基準２２４をループフィルタステージ２３２に送ることができる。デコーダは、図２Ｂに示したやり方で、ループフィルタを予測基準２２４に適用することができる。ループフィルタリングが行われた参照ピクチャは、後に使用するために（例えば、映像ビットストリーム２２８の将来にエンコードされるピクチャのためのインター予測基準ピクチャとして使用されるために）、バッファ２３４（例えば、コンピュータメモリのデコードピクチャバッファ）に保存されてもよい。デコーダは、時間予測ステージ２０４４で使用される１つ又は複数の参照ピクチャをバッファ２３４に保存し得る。幾つかの実施形態では、現在のＢＰＵをエンコードするためにインター予測が使用されたことを予測データ２０６の予測モードインジケータが示す場合、予測データは、ループフィルタのパラメータ（例えば、ループフィルタ強度）をさらに含み得る。

[0079] 図４は、本開示の実施形態による、映像をエンコード又はデコードするための装置例４００のブロック図である。図４に示されるように、装置４００は、プロセッサ４０２を含み得る。プロセッサ４０２が本明細書に記載される命令を実行すると、装置４００は、映像エンコーディング又はデコーディング用の専用マシンになることができる。プロセッサ４０２は、情報の操作又は処理を行うことが可能な任意のタイプの回路網でもよい。例えば、プロセッサ４０２は、幾つかの中央処理装置（すなわち「ＣＰＵ」）、グラフィック処理ユニット（すなわち「ＧＰＵ」）、ニューラル処理ユニット（「ＮＰＵ」）、マイクロコントローラユニット（「ＭＣＵ」）、光プロセッサ、プログラマブル論理コントローラ、マイクロコントローラ、マイクロプロセッサ、デジタル信号プロセッサ、ＩＰ（intellectual property）コア、プログラマブル論理アレイ（ＰＬＡ）、プログラマブルアレイロジック（ＰＡＬ）、汎用アレイロジック（ＧＡＬ）、複合プログラマブル論理デバイス（ＣＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、システムオンチップ（ＳｏＣ）、又は特定用途向け集積回路（ＡＳＩＣ）などの任意の組み合わせを含んでもよい。幾つかの実施形態では、プロセッサ４０２は、単一の論理コンポーネントとしてグループ化されたプロセッサのセットでもよい。例えば、図４に示されるように、プロセッサ４０２は、プロセッサ４０２ａ、プロセッサ４０２ｂ、及びプロセッサ４０２ｎを含む複数のプロセッサを含んでもよい。

[0080] 装置４００は、データ（例えば、命令セット、コンピュータコード、又は中間データなど）を保存するように構成されたメモリ４０４も含み得る。例えば、図４に示されるように、保存されたデータは、プログラム命令（例えば、プロセス２００Ａ、２００Ｂ、３００Ａ、又は３００Ｂのステージを実装するためのプログラム命令）及び処理用データ（例えば、映像シーケンス２０２、映像ビットストリーム２２８、又は映像ストリーム３０４）を含み得る。プロセッサ４０２は、（例えば、バス４１０を介して）プログラム命令及び処理用データにアクセスし、処理用データに対して演算又は操作を行うために、プログラム命令を実行することができる。メモリ４０４は、高速ランダムアクセス記憶デバイス又は不揮発性記憶デバイスを含んでもよい。幾つかの実施形態では、メモリ４０４は、幾つかのランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、光ディスク、磁気ディスク、ハードドライブ、ソリッドステートドライブ、フラッシュドライブ、ＳＤ（security digital）カード、メモリスティック、又はコンパクトフラッシュ（登録商標）（ＣＦ）カードなどの任意の組み合わせを含み得る。メモリ４０４もまた、単一の論理コンポーネントとしてグループ化されたメモリの一群（図４では図示せず）でもよい。

[0081] バス４１０は、内部バス（例えば、ＣＰＵメモリバス）、又は外部バス（例えば、ユニバーサルシリアルバスポート、周辺コンポーネント相互接続エクスプレスポート）などの装置４００内のコンポーネント間でデータを転送する通信デバイスでもよい。

[0082] 曖昧さを生じさせずに説明を簡単にするために、本開示においては、プロセッサ４０２及び他のデータ処理回路はまとめて「データ処理回路」と呼ばれる。データ処理回路は、完全にハードウェアとして、又はソフトウェア、ハードウェア、若しくはファームウェアの組み合わせとして実装されてもよい。さらに、データ処理回路は、単一の独立したモジュールでもよく、又は装置４００の任意の他のコンポーネントと完全に若しくは部分的に統合されてもよい。

[0083] 装置４００は、ネットワーク（例えば、インターネット、イントラネット、ローカルエリアネットワーク、又はモバイル通信ネットワークなど）との有線又は無線通信を提供するために、ネットワークインタフェース４０６をさらに含み得る。幾つかの実施形態では、ネットワークインタフェース４０６は、幾つかのネットワークインタフェースコントローラ（ＮＩＣ）、無線周波数（ＲＦ）モジュール、トランスポンダ、トランシーバ、モデム、ルータ、ゲートウェイ、有線ネットワークアダプタ、無線ネットワークアダプタ、ブルートゥース（登録商標）アダプタ、赤外線アダプタ、近距離無線通信（「ＮＦＣ」）アダプタ、又はセルラーネットワークチップなどの任意の組み合わせを含んでもよい。

[0084] 幾つかの実施形態では、任意選択的に、装置４００は、１つ又は複数の周辺デバイスに対する接続を提供するために、周辺インタフェース４０８をさらに含んでもよい。図４に示されるように、周辺デバイスは、カーソル制御デバイス（例えば、マウス、タッチパッド、若しくはタッチスクリーン）、キーボード、ディスプレイ（例えば、陰極線管ディスプレイ、液晶ディスプレイ、若しくは発光ダイオードディスプレイ）、又は映像入力デバイス（例えば、カメラ、若しくは映像アーカイブに結合された入力インタフェース）などを含み得る（ただし、これらに限定されない）。

[0085] 映像コーデック（例えば、プロセス２００Ａ、２００Ｂ、３００Ａ、又は３００Ｂを行うコーデック）は、装置４００内の任意のソフトウェア又はハードウェアモジュールの任意の組み合わせとして実装され得ることに留意されたい。例えば、プロセス２００Ａ、２００Ｂ、３００Ａ、又は３００Ｂの一部又は全てのステージが、メモリ４０４にロードされ得るプログラム命令などの装置４００の１つ又は複数のソフトウェアモジュールとして実装され得る。別の例として、プロセス２００Ａ、２００Ｂ、３００Ａ、又は３００Ｂの一部又は全てのステージは、専用データ処理回路など（例えば、ＦＰＧＡ、ＡＳＩＣ、又はＮＰＵなど）の装置４００の１つ又は複数のハードウェアモジュールとして実装され得る。

[0086] 量子化及び逆量子化機能ブロック（例えば、図２Ａ又は２Ｂの量子化２１４及び逆量子化２１８、図３Ａ又は３Ｂの逆量子化２１８）では、予測残差に適用される量子化（及び逆量子化）の量を決定するために、量子化パラメータ（ＱＰ）が使用される。ピクチャ又はスライスの符号化に使用される初期ＱＰ値は、例えば、ピクチャパラメータセット（ＰＰＳ）のinit_qp_minus26シンタックス要素を使用して、及びスライスヘッダのslice_qp_deltaシンタックス要素を使用して、ハイレベルでシグナリングされてもよい。さらに、ＱＰ値は、量子化グループの粒度（granularity）で送られたデルタＱＰ値を使用して、ＣＵごとにローカルレベルで適応させてもよい。

[0087] ＶＶＣでは、パレットモードは、４：４：４カラーフォーマットで使用することができる。パレットモードが有効にされると、ＣＵサイズが６４×６４以下であれば、パレットモードが使用されるか否かを示すフラグがＣＵレベルで送信される。

[0088] 図５は、本開示の幾つかの実施形態による、パレットモードで符号化された例示的なブロック５００の模式図を示す。図５に示されるように、現在のＣＵ（例えば、ブロック５００）を符号化するためにパレットモードが利用される場合、ＣＵにおける各位置（例えば、位置５０１、位置５０２、位置５０３、又は位置５０４）のサンプル値は、代表カラー値の小さなセットによって表される。このセットは、「パレット」又は「パレット表」（例えば、パレット５１０）と呼ばれる。パレットカラーに近い値を有するサンプル位置の場合、対応するパレットインデックス（例えば、インデックス０、インデックス１、インデックス２、又はインデックス３）がシグナリングされる。幾つかの開示実施形態によれば、パレット表外のカラー値は、エスケープインデックス（例えば、インデックス４）をシグナリングすることによって指定することができる。次に、エスケープカラーインデックスを使用するＣＵ内の全ての位置に関して、（量子化された）カラー成分値が、これらの位置のそれぞれについてシグナリングされる。

[0089] パレット表を符号化するために、パレット予測子が維持される。パレット予測子は、非ウェーブフロントケースの場合は、各スライスの最初に、ウェーブフロントケースの場合は、各ＣＴＵ行の最初に、０（例えば、空）に初期化される。場合によっては、パレット予測子は、タイルの最初に０に初期化することもできる。図６は、本開示の幾つかの実施形態による、符号化ユニットのエンコーディング及びデコーディング後にパレット予測子を更新する例示的なプロセスの模式図を示す。図６に示されるように、パレット予測子におけるエントリごとに、それが現在のＣＵの現在のパレット表に含まれるか否かを示す再利用フラグがシグナリングされる。再利用フラグは、ゼロのランレングス符号化を使用して送信され、その後に、新規パレットエントリの数、及び新規パレットエントリの成分値がシグナリングされる。パレット符号化ＣＵのエンコーディング及び／又はデコーディング後に、現在のパレット表を使用してパレット予測子が更新され、現在のパレット表で再利用されていない前のパレット予測子からのエントリが、許容される最大サイズに達するまで、新規パレット予測子の最後に追加される。

[0090] 幾つかの実施形態では、ＣＵごとに、現在のＣＵ内にエスケープ記号が存在するかどうかを示すためのエスケープフラグがシグナリングされる。エスケープ記号が存在する場合、パレット表は、（図５に示されるように）１つ拡張され、最後のインデックスには、エスケープ記号が割り当てられる。

[0091] 図５を参照すると、ＣＵにおけるサンプルのパレットインデックスは、パレットインデックスマップを形成する。インデックスマップは、水平又は垂直横断スキャンを用いて符号化される。スキャン順序は、シンタックス要素「palette_transpose_flag」を使用して、ビットストリームで明示的にシグナリングされる。パレットインデックスマップは、インデックス実行モード又はインデックスコピーモードを用いて符号化される。

[0092] 幾つかの実施形態によれば、Ｉスライスのツリー構造は、シーケンスパラメータセット（ＳＰＳ）シンタックスにおけるシンタックス要素「qtbtt_dual_tree_intra_flag」によってシグナリングされる。１に等しいシンタックス要素qtbtt_dual_tree_intra_flagは、２つの別個のcoding_treeシンタックス構造が、それぞれＩスライスのルマ成分及びクロマ成分に対して使用されることを示す。０に等しいシンタックス要素qtbtt_dual_tree_intra_flagは、別個のcoding_treeシンタックス構造が、Ｉスライスのルマ成分及びクロマ成分に対して使用されないことを示す。また、Ｐスライス及びＢスライスは、常に、単一ツリースライスとして符号化される。開示実施形態に一致して、Ｉピクチャは、エンコーディング／デコーディングプロセスにおいて他のピクチャを参照することのないイントラ符号化ピクチャである。Ｐピクチャ及びＢピクチャは、共にインター符号化ピクチャであり、これらは、他のピクチャを参照しながらデコードされる。ＰピクチャとＢピクチャの違いは、Ｐピクチャにおける各ブロックが、各参照ピクチャにおいて最大１つのブロックのみを参照できるのに対して、Ｂピクチャにおける各ブロックは、各参照ピクチャにおいて最大で２つのブロックを参照し得る点である。

[0093] 幾つかの実施形態によれば、デュアルルマ／クロマツリーを有するスライスの場合、異なるパレット（例えば、異なるパレット表）が、ルマ（Ｙ成分）及びクロマ（Ｃｂ及びＣｒ成分）に個別に適用される。デュアルツリースライス（例えば、デュアルルマ／クロマツリー）の場合、ルマパレット表の各エントリは、Ｙ値のみを含み、クロマパレット表の各エントリは、Ｃｂ値及びＣｒ値の両方を含む。単一ツリーのスライスの場合、パレットは、Ｙ成分、Ｃｂ成分、及びＣｒ成分に対して合同で適用される（例えば、パレット表の各エントリは、Ｙ値、Ｃｂ値、及びＣｒ値を含む）。また、４：２：０及び４：２：２カラーフォーマットなどの特定のカラーフォーマットの場合、単一ツリースライスの符号化ユニット（ＣＵ）は、許容最小クロマ符号化ブロックサイズに対する制限により、個別のルマツリー及びクロマツリーを有し得る。したがって、これらのカラーフォーマットの場合、単一ツリースライスにおけるＣＵは、ローカルデュアルツリー構造（例えば、スライスレベルでは単一ツリーであるが、ＣＵレベルではデュアルツリー）を有し得る。

[0094] したがって、単一ツリースライスの符号化ユニットは、非インターＳＣＩＰＵ（smallest chroma intra prediction unit）の場合、クロマはさらなる分割が許容されないが、ルマはさらなる分割が許容されるため、個別のルマツリー及びクロマツリーを有し得る。単一ツリー符号化では、ＳＣＩＰＵは、クロマブロックサイズが１６クロマサンプル以上である符号化ツリーノードとして定義され、６４ルマサンプル未満の少なくとも１つの子ルマブロックを有する。上記の通り、ＳＣＩＰＵに関連付けられた個別のツリーは、ローカルデュアルツリーと呼ばれる。

[0095] スライスのツリータイプ（例えば、単一ツリー、又はデュアルツリー）に基づいて、スライスに対して、２つのタイプのパレット表（「合同パレット」及び「個別パレット」）を使用することができる。単一ツリースライスは、合同パレット表を使用してパレット符号化することができる。合同パレット表の各エントリは、Ｙカラー成分、Ｃｂカラー成分、及びＣｒカラー成分を含み、単一ツリースライスにおける符号化ユニット（ＣＵ）の全てのカラー成分は、（上記のローカルデュアルツリーを除き）合同パレット表を使用して合同で符号化される。それに対して、デュアルツリースライスは、２つの個別パレットを使用してパレット符号化される。デュアルツリースライスのルマ成分及びクロマ成分は、異なるパレット表を必要とし、個別に符号化される。したがって、デュアルツリースライスの場合、２つのインデックスマップ（１つはルマ成分用、及び１つはクロマ成分用）が、ビットストリームにおいてシグナリングされる。

[0096] 図７は、本開示の幾つかの実施形態による、例示的な均一最大予測子サイズ及び最大パレットサイズを示す例示的な表１を示す。表１に示されるように、合同パレット及び個別パレット両方の最大パレット予測子サイズは、一様に６３に設定され、合同パレット表及び個別パレット表両方の最大パレットサイズは、一様に３１に設定される。しかしながら、上記の通り、個別のルマツリー及びクロマツリーを有するデュアルツリースライス／ＣＵの場合は、２つの個別パレット表が必要とされ、合同ルマ－クロマツリーを有する単一ツリースライス／ＣＵの場合は、１つの合同パレット表のみが必要とされる。したがって、デュアルツリースライス／ＣＵのために個別パレット表を生成する複雑さは、単一ツリースライス／ＣＵのために合同パレット表を生成する複雑さの約２倍である。

[0097] 幾つかの開示実施形態に一致して、デュアルツリースライス／ＣＵのパレット符号化対単一ツリースライス／ＣＵのパレット符号化に関する計算の複雑さ及び時間の不均衡を解決するために、個別のルマツリー及びクロマツリーの最大予測子サイズは、単一（例えば、合同）ルマ－クロマツリーの最大予測子サイズよりも小さく設定することができる。代替的又は追加的に、個別のルマツリー及びクロマツリーの最大パレットサイズ（例えば、最大パレット表サイズ）は、単一（例えば、合同）ルマ－クロマツリーの最大パレットサイズよりも小さく設定することができる。

[0098] 幾つかの開示実施形態では、最大予測子サイズ及び最大パレットサイズを表す以下の６つの変数が定義される。特に、変数「max_plt_predictor_size_joint」は、合同パレットの最大予測子サイズを表す。変数「max_plt_predictor_size_luma」は、個別パレットが使用される場合に、ルマ成分の最大予測子サイズを表す。変数「max_plt_predictor_size_chroma」は、個別パレットが使用される場合に、クロマ成分の最大予測子サイズを表す。変数「max_plt_size_joint」は、合同パレットの最大パレットサイズを表す。変数「max_plt_size_luma」は、個別パレットが使用される場合に、ルマ成分の最大パレットサイズを表す。変数「max_plt_size_chroma」は、個別パレットが使用される場合に、クロマ成分の最大パレットサイズを表す。

[0099] 幾つかの実施形態では、最大パレット予測子サイズ及び最大パレットサイズは、予め定義された固定値のセットであり、映像デコーダにシグナリングされる必要はない。図８は、本開示の幾つかの実施形態による、例示的な最大予測子サイズ及び最大パレットサイズを示す例示的な表２を示す。

[00100] 幾つかの実施形態では、デュアルツリースライスの最大パレット予測子サイズ及び最大パレットサイズは、単一ツリースライスの最大パレット予測子サイズ及び最大パレットサイズの半分に設定される。表２に示されるように、合同パレット（すなわち、単一ツリースライスの場合）の最大パレット予測子サイズ及び最大パレットサイズは、それぞれ６３及び３１と定義される。ルマ成分及びクロマ成分両方の個別パレット（すなわち、デュアルツリースライスの場合）最大パレット予測子サイズ及び最大パレットサイズは、それぞれ３１及び１５と定義される。

[00101] 図９は、本開示の幾つかの実施形態による、予め定義された最大パレット予測子サイズ及び最大パレットサイズを使用する例示的なデコーディングプロセスを示す例示的な表３を示す。表３に示されるように、ＶＶＣドラフト７で現在提案されているパレットモードデコーディングプロセスに対する変更は、ボックス９０１～９０６内で強調され、及びイタリック体で強調表示され、ＶＶＣドラフト７で現在提案されているパレットモードデコーディングプロセスから削除される内容は、ボックス９０５～９０６内に示され、取消線で抹消され、イタリック体で強調されている。本実施形態では、ＣＵが、ローカルデュアルツリー（例えば、単一ツリースライスの個別ルマ／クロマローカルツリー）として符号化される場合、ローカルデュアルツリーを符号化するための最大予測子サイズは、合同パレットの最大予測子サイズに設定される。

[00102] 図１０は、本開示の幾つかの実施形態による、予め定義された最大パレット予測子サイズ及び最大パレットサイズを使用するための例示的なパレット符号化シンタックス表を示す例示的な表４を示す。表１に示される均一最大予測子サイズ及び最大パレットサイズを実装するために使用されるシンタックスと比較して、そのシンタックスに対する変更は、表４において、ボックス１００１～１００３内で強調され、及びイタリック体で強調表示され、そのシンタックスから削除されるシンタックス要素は、表４において、ボックス１００２～１００３内に示され、取消線で抹消され、イタリック体で強調されている。

[00103] 幾つかの実施形態では、合同パレットの最大パレットサイズ、及び合同パレットの最大パレットサイズと合同パレットの最大予測子サイズの差が、ＳＰＳシンタックスにより、デコーダに対してシグナリングされる。本実施形態に一致した例示的な意味論（semantics）は、以下のように説明される。シンタックス要素「sps_max_plt_size_joint_minus1」は、合同パレット表の最大許容パレットサイズ－１を指定する。シンタックス要素sps_max_plt_size_joint_minus1の値は、０～６３の範囲内（０及び６３を含む）である。シンタックス要素sps_max_plt_size_joint_minus1が存在しない場合、その値は、０であると推論される。また、シンタックス要素「sps_delta_max_plt_predictor_size_joint」は、合同パレットの最大許容パレット予測子サイズと最大許容パレットサイズの差を指定する。シンタックス要素sps_delta_max_plt_predictor_size_jointの値は、０～６３の範囲内（０及び６３を含む）である。シンタックス要素sps_delta_max_plt_predictor_size_jointが存在しない場合、その値は、０であると推論される。

[00104] 個別ルマ／クロマパレットの最大パレットサイズ及び最大パレット予測子サイズはシグナリングされない。その代わりに、それらは、合同パレットの最大パレットサイズ及び合同パレットの最大パレット予測子サイズから導出される。図１１は、本開示の幾つかの実施形態による、個別パレットの最大パレットサイズ及び最大パレット予測子サイズの例示的な導出を示す例示的な表５を示す。

[00105] 表５に示される例においては、個別ルマ／クロマパレットが使用される場合に、シンタックス要素max_plt_size_jointは、ルマ成分及びクロマ成分に等しく分配される。本開示に一致して、合同パレットの最大パレットサイズが、ルマ成分及びクロマ成分に不均一に分配されることも可能である。図１２は、本開示の幾つかの実施形態による、個別パレットの最大パレットサイズ及び最大パレット予測子サイズの別の例示的な導出を示す例示的な表６を示す。表６は、不均一な分配の一例を示す。

[00106] 図１３は、本開示の幾つかの実施形態による、例示的なシーケンスパラメータセット（ＳＰＳ）シンタックス表を示す例示的な表７を示す。表１に示される均一最大予測子サイズ及び最大パレットサイズを実装するために使用されるシンタックスと比較して、そのシンタックスに対する変更は、表７において、ボックス１３０１内で、及びイタリック体で強調される。表７には示されないが、個別ルマ／クロマパレットの最大パレットサイズ及び最大パレット予測子サイズも、合同パレットの最大パレットサイズ及び最大パレット予測子サイズと一緒に、ＳＰＳにおいてシグナリングされ得ることが企図される。

[00107] 幾つかの実施形態では、最大パレットサイズ及び最大パレット予測子サイズ関連のシンタックスは、ピクチャヘッダ（ＰＨ）に通じて送信される。本実施形態に一致した例示的な意味論は、以下のように説明される。シンタックス要素「pic_max_plt_size_joint_minus1」は、ＰＨに関連付けられたスライスに関して、合同パレット表の最大許容パレットサイズ－１を指定する。シンタックス要素pic_max_plt_size_joint_minus1の値は、０～６３の範囲内（０及び６３を含む）である。シンタックス要素「pic_delta_max_plt_predictor_size_joint」は、ＰＨに関連付けられたスライスに関する合同パレットの最大許容パレット予測子サイズと最大許容パレットサイズの差を指定する。シンタックス要素pic_delta_max_plt_predictor_size_jointの最大許容値は、６３である。シンタックス要素pic_delta_max_plt_predictor_size_jointが存在しない場合、その値は、０であると推論される。

[00108] 個別ルマ／クロマパレットの最大パレットサイズ及び最大パレット予測子サイズは、シグナリングされない。その代わりに、それらは、合同パレットの最大パレットサイズ及び合同パレットの最大パレット予測子サイズから導出される。図１４は、本開示の幾つかの実施形態による、個別パレットの最大パレットサイズ及び最大パレット予測子サイズの別の例示的な導出を示す例示的な表８を示す。

[00109] 表８に示される例では、シンタックス要素max_plt_size_jointは、個別ルマ／クロマパレットが使用される場合は、ルマ成分及びクロマ成分に等しく分配される。本開示に一致して、合同表の最大パレットサイズが、ルマ成分及びクロマ成分に不均一に分配されることも可能である。図１５は、本開示の幾つかの実施形態による、個別パレットの最大パレットサイズ及び最大パレット予測子サイズの別の例示的な導出を示す例示的な表９を示す。表９は、不均一な分配の一例を示す。

[00110] 図１６は、本開示の幾つかの実施形態による、例示的なＰＨシンタックスを示す例示的な表１０を示す。表１に示される均一最大予測子サイズ及び最大パレットサイズを実装するために使用されるシンタックスと比較して、そのシンタックスに対する変更が、表１０において、ボックス１６０１内で強調され、及びイタリック体で強調表示される。表１０には示されないが、個別ルマ／クロマパレットの最大パレットサイズ及び最大パレット予測子サイズも、合同パレットの最大パレットサイズ及び最大パレット予測子サイズと一緒に、ピクチャヘッダにおいてシグナリングされ得ることが企図される。

[00111] 幾つかの実施形態では、最大パレットサイズ及び最大パレット予測子サイズに関連したシンタックスは、スライスヘッダによって各スライスでシグナリングされる。本実施形態に一致した例示的な意味論は、以下のように説明される。

[00112] 具体的には、シンタックス要素「slice_max_plt_size_joint_minus1」及びシンタックス要素「slice_delta_max_plt_predictor_size_joint」は、スライスが単一ツリースライスとして符号化される場合は、条件付きでシグナリングされる。シンタックス要素slice_max_plt_size_joint_minus1は、単一ツリースライスに関して、合同パレット表の最大許容パレットサイズ－１を指定する。シンタックス要素slice_max_plt_size_jointの最大値が６３であることがビットストリーム適合性の要件である。シンタックス要素slice_delta_max_plt_predictor_size_jointは、単一ツリースライスに関する合同パレットの最大許容パレット予測子サイズと最大許容パレットサイズの差を指定する。シンタックス要素slice_delta_max_plt_predictor_size_jointの最大許容値は、６３である。シンタックス要素slice_delta_max_plt_predictor_size_jointが存在しない場合、その値は、０であると推論される。

[00113] シンタックス要素「slice_max_plt_size_luma_minus1」及びシンタックス要素「slice_delta_max_plt_predictor_size_luma」は、スライスがデュアルツリースライスとして符号化される場合に条件付きでシグナリングされる。シンタックス要素slice_max_plt_size_luma_minus1は、デュアルツリースライスに関して、ルマパレット表の最大許容パレットサイズ－１を指定する。シンタックス要素slice_max_plt_size_lumaが存在しない場合、その値は、０であると推論される。シンタックス要素slice_max_plt_size_luma_minus1の最大値が６３であることがビットストリーム適合性の要件である。シンタックス要素slice_delta_max_plt_predictor_size_lumaは、デュアルツリースライスに関するルマパレットの最大許容パレット予測子サイズと最大許容パレットサイズの差を指定する。シンタックス要素slice_delta_max_plt_predictor_size_lumaの最大許容値は、６３である。シンタックス要素slice_delta_max_plt_predictor_size_lumaが存在しない場合、その値は、０であると推論される。

[00114] 図１７は、本開示の幾つかの実施形態による、Ｉスライス、Ｐスライス、及びＢスライスに関する最大パレットサイズ及び最大パレット予測子サイズの例示的な導出を示す例示的な表１１を示す。

[00115] 図１８は、本開示の幾つかの実施形態による、例示的なＳＨシンタックスを示す例示的な表１２を示す。表１に示される均一最大予測子サイズ及び最大パレットサイズを実装するために使用されるシンタックスと比較して、そのシンタックスに対する変更は、表１２において、ボックス１８０１内で強調され、及びイタリック体で強調表示される。本実施形態に一致する予測更新プロシージャは、表３に示されるものと同じであり、本実施形態に一致するパレット符号化シンタックスは、表４に示されるものと同じである。

[00116] 図１９は、本開示の幾つかの実施形態による、例示的なパレット符号化方法１９００のフローチャートを示す。方法１９００は、エンコーダ（例えば、図２Ａのプロセス２００Ａ、若しくは図２Ｂのプロセス２００Ｂによって）、デコーダ（例えば、図３Ａのプロセス３００Ａ、若しくは図３Ｂのプロセス３００Ｂによって）によって行うことができ、又は装置（例えば、図４の装置４００）の１つ若しくは複数のソフトウェア若しくはハードウェアコンポーネントによって行うことができる。例えば、プロセッサ（例えば、図４のプロセッサ４０２）は、方法１９００を行うことができる。幾つかの実施形態では、方法１９００は、コンピュータ（例えば、図４の装置４００）によって実行されるプログラムコードなどのコンピュータ実行可能命令を含むコンピュータ可読媒体で具現化されたコンピュータプログラム製品によって実装され得る。

[00117] ステップ１９０１では、ＣＵのルマ成分及びＣＵのクロマ成分が、パレットモードにおいて合同で符号化されるか、それとも個別に符号化されるかに関する決定を行うことができる。（例えば、図９の表３、又は図１０の表４に示されるように）ＣＵのルマ成分及びＣＵのクロマ成分が、パレットモードにおいて合同で符号化されるか、それとも個別に符号化されるかを示すために、例えば変数treeTypeを利用することができる。

[00118] ステップ１９０３では、ルマ成分及びクロマ成分がパレットモードにおいて合同で符号化されることに応答して、ＣＵに関する第１の最大パレット表サイズを決定することができる。幾つかの実施形態では、ＣＵに関する第１の最大パレット表サイズは、映像ビットストリームにおいてシグナリングされた第１のシンタックス要素（例えば、図１３の表７に示されるシンタックス要素sps_max_plt_size_joint_minus1、又は図１６の表１０に示されるシンタックス要素pic_max_plt_size_joint_minus1）の値に基づいて決定することができる。

[00119] ステップ１９０５では、ルマ成分及びクロマ成分がパレットモードにおいて合同で符号化されることに応答して、ＣＵに関する第１の最大パレット予測子サイズを決定することができる。幾つかの実施形態では、ＣＵに関する第１の最大パレット予測子サイズは、第１のシンタックス要素の値、及び映像ビットストリームにおいてシグナリングされた第２のシンタックス要素（例えば、図１３の表７に示されるシンタックス要素sps_delta_max_plt_predictor_size_joint、又は図１６の表１０に示されるシンタックス要素pic_delta_max_plt_predictor_size_joint）の値に基づいて決定することができる。例えば、ＣＵに関する第１の最大パレット予測子サイズは、（例えば、図１１の表５、図１２の表６、図１４の表８、又は図１５の表９に示されるように）第１のシンタックス要素の値及び第２のシンタックス要素の値の合計となるように決定することができる。幾つかの実施形態では、第１のシンタックス要素及び第２のシンタックス要素は、ＣＵに関連付けられた（例えば、図１３の表７に示されるような）ＳＰＳにおいて、又はＣＵに関連付けられた（例えば、図１６の表１０に示されるような）ＰＨにおいて、シグナリングされる。

[00120] ステップ１９０７では、ルマ成分及びクロマ成分がパレットモードにおいて合同で符号化されることに応答して、第１の最大パレット表サイズ及び第１の最大パレット予測子サイズに基づいて、ＣＵを予測することができる。例えば、ＣＵは、図９の表３に示されるように予測することができる。

[00121] 幾つかの実施形態では、方法１９００は、ルマ成分及びクロマ成分がパレットモードにおいて個別に符号化されることに応答して、第１の最大パレット表サイズに基づいて、ＣＵに関する第２の最大パレット表サイズを決定すること、第１の最大パレット予測子サイズに基づいて、ＣＵに関する第２の最大パレット予測子サイズを決定すること、及び第２の最大パレット表サイズ及び第２の最大パレット予測子サイズに基づいて、ＣＵを予測すること、を含み得る。第２の最大パレット表サイズ又は第２の最大パレット予測子サイズは、ルマ成分又はクロマ成分に関するものである。例えば、ルマ成分又はクロマ成分に関する最大パレット表サイズ又は最大パレット予測子サイズは、図１１の表５、図１２の表６、図１４の表８、又は図１５の表９に基づいて決定することができる。

[00122] 幾つかの実施形態では、方法１９００は、第１の所定の値となるように、ＣＵに関する第１の最大パレット表サイズを決定することを含み得る。方法１９００は、第２の所定の値となるように、ＣＵに関する第１の最大パレット予測子サイズを決定することも含み得る。例えば、図８の表２に示されるように、合同パレットに関する最大パレット表サイズは、３１でもよく、合同パレットに関する最大パレット予測子サイズは、６３でもよい。幾つかの実施形態では、方法１９００は、ルマ成分及びクロマ成分がパレットモードにおいて個別に符号化されることに応答して、第３の所定の値となるように、ＣＵに関する第３の最大パレット表サイズを決定すること、及び第３の最大パレット表サイズに基づいてＣＵを予測すること、を含み得る。第３の所定の値は、第１の所定の値よりも小さい。例えば、図８の表２に示されるように、ルマ又はクロマパレットに関する最大パレット表サイズは、１５でもよい。

[00123] 幾つかの実施形態では、方法１９００は、ルマ成分及びクロマ成分がパレットモードにおいて個別に符号化されること、並びにＣＵが単一ツリースライスの一部であることに応答して、（例えば、図９の表３に示されるように）第１の最大パレット予測子サイズに基づいてＣＵを予測することを含み得る。

[00124] 幾つかの実施形態では、方法１９００は、ルマ成分及びクロマ成分がパレットモードにおいて個別に符号化されること、並びにＣＵが単一ツリースライスの一部ではないことに応答して、第４の所定の値となるように、ＣＵに関する第３の最大パレット予測子サイズを決定すること、及び第３の最大パレット予測子サイズに基づいてＣＵを予測すること、を含み得る。第４の所定の値は、第２の所定の値よりも小さい。例えば、図８の表２に示されるように、個別パレットに関する最大パレット予測子サイズは、３１でもよい。ＣＵは、図９の表３に示されるように予測することができる。

[00125] 幾つかの実施形態では、方法１９００は、ＣＵを含むピクチャスライスが単一ツリースライスであるか、それともデュアルツリースライスであるかを決定することと、ピクチャスライスが単一ツリースライスであることに応答して、ピクチャスライスのスライスヘッダにおいてシグナリングされた第３のシンタックス要素の値に基づいて、ピクチャスライスにおけるＣＵに関する第１の最大パレット表サイズを決定すること、及び、第３のシンタックス要素の値、並びにスライスヘッダにおいてシグナリングされた第４のシンタックス要素の値に基づいて、ＣＵに関する第１の最大パレット予測子サイズを決定すること、を含み得る。ＣＵに関する第１の最大パレット予測子サイズは、第３のシンタックス要素の値及び第４のシンタックス要素の値の合計となるように決定することができる。例えば、図１７の表１１に示されるように、ピクチャスライスが単一ツリースライスであること（例えば、slice_type != I | | qtbtt_dual_tree_intra_flag == 0）に応答して、合同パレットに関する最大パレット表サイズは、スライスヘッダ（例えば、図１８の表１２に示されるようなＳＨ）においてシグナリングされたシンタックス要素slice_max_plt_size_joint_minus1の値に基づいて決定することができ、合同パレットに関する最大パレット予測子サイズは、シンタックス要素slice_max_plt_size_joint_minus1の値、及びスライスヘッダ（例えば、図１８の表１２に示されるようなＳＨ）においてシグナリングされたシンタックス要素slice_delta_max_plt_predictor_size_jointの値の合計となるように決定することができる。

[00126] 幾つかの実施形態では、方法１９００は、ピクチャスライスがデュアルツリースライスであることに応答して、スライスヘッダにおいてシグナリングされた第５のシンタックス要素の値に基づいて、ＣＵに関する第４の最大パレット表サイズを決定すること、第５のシンタックス要素の値、及びスライスヘッダにおいてシグナリングされた第６のシンタックス要素の値に基づいて、ＣＵに関する第４の最大パレット予測子サイズを決定すること、及び第４の最大パレット表サイズ及び第４の最大パレット予測子サイズに基づいて、ＣＵを予測すること、を含み得る。ＣＵに関する第４の最大パレット予測子サイズは、第５のシンタックス要素の値及び第６のシンタックス要素の値の合計となるように決定することができる。例えば、図１７の表１１に示されるように、ピクチャスライスがデュアルツリースライスであることに応答して、ルマ又はクロマパレットに関する最大パレット表サイズは、スライスヘッダ（例えば、図１８の表１２に示されるようなＳＨ）においてシグナリングされたシンタックス要素slice_max_plt_size_luma_minus1の値に基づいて決定することができ、ルマ又はクロマパレットに関する最大パレット予測子サイズは、シンタックス要素slice_max_plt_size_luma_minus1の値、及びスライスヘッダ（例えば、図１８の表１２に示されるようなＳＨ）においてシグナリングされたシンタックス要素slice_delta_max_plt_predictor_size_lumaの値の合計となるように決定することができる。

[00127] 実施形態は、以下の条項を用いてさらに説明することができる。
１．符号化ユニット（ＣＵ）のルマ成分及びＣＵのクロマ成分が、パレットモードにおいて合同で符号化されるか、それとも個別に符号化されるかを決定することと、
ルマ成分及びクロマ成分がパレットモードにおいて合同で符号化されることに応答して、
ＣＵに関する第１の最大パレット表サイズを決定すること、
ＣＵに関する第１の最大パレット予測子サイズを決定すること、及び
第１の最大パレット表サイズ及び第１の最大パレット予測子サイズに基づいてＣＵを予測することと、
を含む、パレット符号化方法。
２．ＣＵに関する第１の最大パレット表サイズを決定することが、
映像ビットストリームにおいてシグナリングされた第１のシンタックス要素の値に基づいて、ＣＵに関する第１の最大パレット表サイズを決定することを含む、条項１に記載の方法。
３．ＣＵに関する第１の最大パレット予測子サイズを決定することが、
第１のシンタックス要素の値、及び映像ビットストリームにおいてシグナリングされた第２のシンタックス要素の値に基づいて、ＣＵに関する第１の最大パレット予測子サイズを決定することを含む、条項２に記載の方法。
４．ＣＵに関する第１の最大パレット予測子サイズを決定することが、
第１のシンタックス要素の値及び第２のシンタックス要素の値の合計となるように、ＣＵに関する第１の最大パレット予測子サイズを決定することを含む、条項３に記載の方法。
５．第１のシンタックス要素及び第２のシンタックス要素が、ＣＵに関連付けられたシーケンスパラメータセット（ＳＰＳ）においてシグナリングされる、条項３又は４に記載の方法。
６．第１のシンタックス要素及び第２のシンタックス要素が、ＣＵに関連付けられたピクチャヘッダ（ＰＨ）においてシグナリングされる、条項３又は４に記載の方法。
７．ルマ成分及びクロマ成分がパレットモードにおいて個別に符号化されることに応答して、
第１の最大パレット表サイズに基づいて、ＣＵに関する第２の最大パレット表サイズを決定すること、
第１の最大パレット予測子サイズに基づいて、ＣＵに関する第２の最大パレット予測子サイズを決定すること、及び
第２の最大パレット表サイズ及び第２の最大パレット予測子サイズに基づいてＣＵを予測すること、
をさらに含む、条項１～６の何れか一項に記載の方法。
８．第２の最大パレット表サイズ又は第２の最大パレット予測子サイズが、ルマ成分又はクロマ成分に関するものである、条項７に記載の方法。
９．ＣＵに関する第１の最大パレット表サイズを決定することが、
第１の所定の値となるように、ＣＵに関する第１の最大パレット表サイズを決定することを含む、条項１に記載の方法。
１０．ＣＵに関する第１の最大パレット予測子サイズを決定することが、
第２の所定の値となるように、ＣＵに関する第１の最大パレット予測子サイズを決定することを含む、条項１又は９に記載の方法。
１１．ルマ成分及びクロマ成分がパレットモードにおいて個別に符号化されることに応答して、
第３の所定の値となるように、ＣＵに関する第３の最大パレット表サイズを決定すること、及び
第３の最大パレット表サイズに基づいてＣＵを予測すること、
をさらに含み、
第３の所定の値が、第１の所定の値よりも小さい、条項９又は１０に記載の方法。
１２．ルマ成分及びクロマ成分がパレットモードにおいて個別に符号化されること、並びにＣＵが単一ツリースライスの一部であることに応答して、第１の最大パレット予測子サイズに基づいてＣＵを予測することをさらに含む、条項１１に記載の方法。
１３．ルマ成分及びクロマ成分がパレットモードにおいて個別に符号化されること、並びにＣＵが単一ツリースライスの一部ではないことに応答して、
第４の所定の値となるように、ＣＵに関する第３の最大パレット予測子サイズを決定すること、及び
第３の最大パレット予測子サイズに基づいてＣＵを予測すること、
をさらに含み、
第４の所定の値が、第２の所定の値よりも小さい、条項１０～１２の何れか一項に記載の方法。
１４．ＣＵを含むピクチャスライスが単一ツリースライスであるか、それともデュアルツリースライスであるかを決定することと、
ピクチャスライスが単一ツリースライスであることに応答して、
ピクチャスライスのスライスヘッダにおいてシグナリングされた第３のシンタックス要素の値に基づいて、ピクチャスライスにおけるＣＵに関する第１の最大パレット表サイズを決定すること、及び
第３のシンタックス要素の値、及びスライスヘッダにおいてシグナリングされた第４のシンタックス要素の値に基づいて、ＣＵに関する第１の最大パレット予測子サイズを決定することと、
をさらに含む、条項１に記載の方法。
１５．ＣＵに関する第１の最大パレット予測子サイズを決定することが、
第３のシンタックス要素の値及び第４のシンタックス要素の値の合計となるように、ＣＵに関する第１の最大パレット予測子サイズを決定することを含む、条項１４に記載の方法。
１６．ピクチャスライスがデュアルツリースライスであることに応答して、
スライスヘッダにおいてシグナリングされた第５のシンタックス要素の値に基づいて、ＣＵに関する第４の最大パレット表サイズを決定すること、
第５のシンタックス要素の値、及びスライスヘッダにおいてシグナリングされた第６のシンタックス要素の値に基づいて、ＣＵに関する第４の最大パレット予測子サイズを決定すること、及び
第４の最大パレット表サイズ及び第４の最大パレット予測子サイズに基づいて、ＣＵを予測すること、
をさらに含む、条項１４又は１５に記載の方法。
１７．ＣＵに関する第４の最大パレット予測子サイズを決定することが、
第５のシンタックス要素の値及び第６のシンタックス要素の値の合計となるように、ＣＵに関する第４の最大パレット予測子サイズを決定することを含む、条項１６に記載の方法。
１８．映像処理装置であって、
命令を保存するための少なくとも１つのメモリと、
少なくとも１つのプロセッサとを含み、少なくとも１つのプロセッサが、
符号化ユニット（ＣＵ）のルマ成分及びＣＵのクロマ成分が、パレットモードにおいて合同で符号化されるか、それとも個別に符号化されるかを決定することと、
ルマ成分及びクロマ成分がパレットモードにおいて合同で符号化されることに応答して、
ＣＵに関する第１の最大パレット表サイズを決定すること、
ＣＵに関する第１の最大パレット予測子サイズを決定すること、及び
第１の最大パレット表サイズ及び第１の最大パレット予測子サイズに基づいてＣＵを予測することと、
を装置に行わせるために命令を実行するように構成される、映像処理装置。
１９．少なくとも１つのプロセッサが、
映像ビットストリームにおいてシグナリングされた第１のシンタックス要素の値に基づいて、ＣＵに関する第１の最大パレット表サイズを決定すること、
を装置に行わせるために命令を実行するように構成される、条項１８に記載の装置。
２０．少なくとも１つのプロセッサが、
第１のシンタックス要素の値、及び映像ビットストリームにおいてシグナリングされた第２のシンタックス要素の値に基づいて、ＣＵに関する第１の最大パレット予測子サイズを決定すること、
を装置に行わせるために命令を実行するように構成される、条項１９に記載の装置。
２１．少なくとも１つのプロセッサが、
第１のシンタックス要素の値及び第２のシンタックス要素の値の合計となるように、ＣＵに関する第１の最大パレット予測子サイズを決定すること、
を装置に行わせるために命令を実行するように構成される、条項２０に記載の装置。
２２．第１のシンタックス要素及び第２のシンタックス要素が、ＣＵに関連付けられたシーケンスパラメータセット（ＳＰＳ）においてシグナリングされる、条項２０又は２１に記載の装置。
２３．第１のシンタックス要素及び第２のシンタックス要素が、ＣＵに関連付けられたピクチャヘッダ（ＰＨ）においてシグナリングされる、条項２０又は２１に記載の装置。
２４．少なくとも１つのプロセッサが、
ルマ成分及びクロマ成分がパレットモードにおいて個別に符号化されることに応答して、
第１の最大パレット表サイズに基づいて、ＣＵに関する第２の最大パレット表サイズを決定すること、
第１の最大パレット予測子サイズに基づいて、ＣＵに関する第２の最大パレット予測子サイズを決定すること、及び
第２の最大パレット表サイズ及び第２の最大パレット予測子サイズに基づいてＣＵを予測すること、
を装置に行わせるために命令を実行するように構成される、条項１８～２３の何れか一項に記載の装置。
２５．第２の最大パレット表サイズ又は第２の最大パレット予測子サイズが、ルマ成分又はクロマ成分に関するものである、条項２４に記載の装置。
２６．少なくとも１つのプロセッサが、
第１の所定の値となるように、ＣＵに関する第１の最大パレット表サイズを決定すること、
を装置に行わせるために命令を実行するように構成される、条項１８に記載の装置。
２７．少なくとも１つのプロセッサが、
第２の所定の値となるように、ＣＵに関する第１の最大パレット予測子サイズを決定すること、
を装置に行わせるために命令を実行するように構成される、条項１８又は２６に記載の装置。
２８．少なくとも１つのプロセッサが、
ルマ成分及びクロマ成分がパレットモードにおいて個別に符号化されることに応答して、
第３の所定の値となるように、ＣＵに関する第３の最大パレット表サイズを決定すること、及び
第３の最大パレット表サイズに基づいてＣＵを予測すること、
を装置に行わせるために命令を実行するように構成され、
第３の所定の値が、第１の所定の値よりも小さい、条項２６又は２７に記載の装置。
２９．少なくとも１つのプロセッサが、
ルマ成分及びクロマ成分がパレットモードにおいて個別に符号化されること、並びにＣＵが単一ツリースライスの一部であることに応答して、第１の最大パレット予測子サイズに基づいてＣＵを予測すること、
を装置に行わせるために命令を実行するように構成される、条項２８に記載の装置。
３０．少なくとも１つのプロセッサが、
ルマ成分及びクロマ成分がパレットモードにおいて個別に符号化されること、並びにＣＵが単一ツリースライスの一部ではないことに応答して、
第４の所定の値となるように、ＣＵに関する第３の最大パレット予測子サイズを決定すること、及び
第３の最大パレット予測子サイズに基づいてＣＵを予測すること、
を装置に行わせるために命令を実行するように構成され、
第４の所定の値が、第２の所定の値よりも小さい、条項２７～２９の何れか一項に記載の装置。
３１．少なくとも１つのプロセッサが、
ＣＵを含むピクチャスライスが単一ツリースライスであるか、それともデュアルツリースライスであるかを決定することと、
ピクチャスライスが単一ツリースライスであることに応答して、
ピクチャスライスのスライスヘッダにおいてシグナリングされた第３のシンタックス要素の値に基づいて、ピクチャスライスにおけるＣＵに関する第１の最大パレット表サイズを決定すること、及び
第３のシンタックス要素の値、及びスライスヘッダにおいてシグナリングされた第４のシンタックス要素の値に基づいて、ＣＵに関する第１の最大パレット予測子サイズを決定することと、
を装置に行わせるために命令を実行するように構成される、条項１８に記載の装置。
３２．少なくとも１つのプロセッサが、
第３のシンタックス要素の値及び第４のシンタックス要素の値の合計となるように、ＣＵに関する第１の最大パレット予測子サイズを決定すること、
を装置に行わせるために命令を実行するように構成される、条項３１に記載の装置。
３３．少なくとも１つのプロセッサが、
ピクチャスライスがデュアルツリースライスであることに応答して、
スライスヘッダにおいてシグナリングされた第５のシンタックス要素の値に基づいて、ＣＵに関する第４の最大パレット表サイズを決定すること、
第５のシンタックス要素の値、及びスライスヘッダにおいてシグナリングされた第６のシンタックス要素の値に基づいて、ＣＵに関する第４の最大パレット予測子サイズを決定すること、及び
第４の最大パレット表サイズ及び第４の最大パレット予測子サイズに基づいて、ＣＵを予測すること、
を装置に行わせるために命令を実行するように構成される、条項３１又は３２に記載の装置。
３４．少なくとも１つのプロセッサが、
第５のシンタックス要素の値及び第６のシンタックス要素の値の合計となるように、ＣＵに関する第４の最大パレット予測子サイズを決定すること、
を装置に行わせるために命令を実行するように構成される、条項３３に記載の装置。
３５．命令セットを記憶した非一時的コンピュータ可読記憶媒体であって、命令のセットが、
符号化ユニット（ＣＵ）のルマ成分及びＣＵのクロマ成分が、パレットモードにおいて合同で符号化されるか、それとも個別に符号化されるかを決定することと、
ルマ成分及びクロマ成分がパレットモードにおいて合同で符号化されることに応答して、
ＣＵに関する第１の最大パレット表サイズを決定すること、
ＣＵに関する第１の最大パレット予測子サイズを決定すること、及び
第１の最大パレット表サイズ及び第１の最大パレット予測子サイズに基づいてＣＵを予測することと、
を含む方法を映像処理装置に行わせるために、１つ又は複数の処理デバイスによって実行可能である、非一時的コンピュータ可読記憶媒体。
３６．命令セットが、
映像ビットストリームにおいてシグナリングされた第１のシンタックス要素の値に基づいて、ＣＵに関する第１の最大パレット表サイズを決定すること、
を映像処理装置に行わせるために、１つ又は複数の処理デバイスによって実行可能である、条項３５に記載の非一時的コンピュータ可読記憶媒体。
３７．命令セットが、
第１のシンタックス要素の値、及び映像ビットストリームにおいてシグナリングされた第２のシンタックス要素の値に基づいて、ＣＵに関する第１の最大パレット予測子サイズを決定すること、
を映像処理装置に行わせるために、１つ又は複数の処理デバイスによって実行可能である、条項３６に記載の非一時的コンピュータ可読記憶媒体。
３８．命令セットが、
第１のシンタックス要素の値及び第２のシンタックス要素の値の合計となるように、ＣＵに関する第１の最大パレット予測子サイズを決定すること、
を映像処理装置に行わせるために、１つ又は複数の処理デバイスによって実行可能である、条項３７に記載の非一時的コンピュータ可読記憶媒体。
３９．第１のシンタックス要素及び第２のシンタックス要素が、ＣＵに関連付けられたシーケンスパラメータセット（ＳＰＳ）においてシグナリングされる、条項３７又は３８に記載の非一時的コンピュータ可読記憶媒体。
４０．第１のシンタックス要素及び第２のシンタックス要素が、ＣＵに関連付けられたピクチャヘッダ（ＰＨ）においてシグナリングされる、条項３７又は３８に記載の非一時的コンピュータ可読記憶媒体。
４１．命令セットが、
ルマ成分及びクロマ成分がパレットモードにおいて個別に符号化されることに応答して、
第１の最大パレット表サイズに基づいて、ＣＵに関する第２の最大パレット表サイズを決定すること、
第１の最大パレット予測子サイズに基づいて、ＣＵに関する第２の最大パレット予測子サイズを決定すること、及び
第２の最大パレット表サイズ及び第２の最大パレット予測子サイズに基づいてＣＵを予測すること、
を映像処理装置に行わせるために、１つ又は複数の処理デバイスによって実行可能である、条項３５～４０の何れか一項に記載の非一時的コンピュータ可読記憶媒体。
４２．第２の最大パレット表サイズ又は第２の最大パレット予測子サイズが、ルマ成分又はクロマ成分に関するものである、条項４１に記載の非一時的コンピュータ可読記憶媒体。
４３．命令セットが、
第１の所定の値となるように、ＣＵに関する第１の最大パレット表サイズを決定すること、
を映像処理装置に行わせるために、１つ又は複数の処理デバイスによって実行可能である、条項３５に記載の非一時的コンピュータ可読記憶媒体。
４４．命令セットが、
第２の所定の値となるように、ＣＵに関する第１の最大パレット予測子サイズを決定すること、
を映像処理装置に行わせるために、１つ又は複数の処理デバイスによって実行可能である、条項３５又は４３に記載の非一時的コンピュータ可読記憶媒体。
４５．命令セットが、
ルマ成分及びクロマ成分がパレットモードにおいて個別に符号化されることに応答して、
第３の所定の値となるように、ＣＵに関する第３の最大パレット表サイズを決定すること、及び
第３の最大パレット表サイズに基づいてＣＵを予測すること、
を映像処理装置に行わせるために、１つ又は複数の処理デバイスによって実行可能であり、
第３の所定の値が、第１の所定の値よりも小さい、条項４３又は４４に記載の非一時的コンピュータ可読記憶媒体。
４６．命令セットが、
ルマ成分及びクロマ成分がパレットモードにおいて個別に符号化されること、並びにＣＵが単一ツリースライスの一部であることに応答して、第１の最大パレット予測子サイズに基づいてＣＵを予測すること、
を映像処理装置に行わせるために、１つ又は複数の処理デバイスによって実行可能である、条項４５に記載の非一時的コンピュータ可読記憶媒体。
４７．命令セットが、
ルマ成分及びクロマ成分がパレットモードにおいて個別に符号化されること、並びにＣＵが単一ツリースライスの一部ではないことに応答して、
第４の所定の値となるように、ＣＵに関する第３の最大パレット予測子サイズを決定すること、及び
第３の最大パレット予測子サイズに基づいてＣＵを予測すること、
を映像処理装置に行わせるために、１つ又は複数の処理デバイスによって実行可能であり、
第４の所定の値が、第２の所定の値よりも小さい、条項４４～４６の何れか一項に記載の非一時的コンピュータ可読記憶媒体。
４８．命令セットが、
ＣＵを含むピクチャスライスが単一ツリースライスであるか、それともデュアルツリースライスであるかを決定することと、
ピクチャスライスが単一ツリースライスであることに応答して、
ピクチャスライスのスライスヘッダにおいてシグナリングされた第３のシンタックス要素の値に基づいて、ピクチャスライスにおけるＣＵに関する第１の最大パレット表サイズを決定すること、及び
第３のシンタックス要素の値、及びスライスヘッダにおいてシグナリングされた第４のシンタックス要素の値に基づいて、ＣＵに関する第１の最大パレット予測子サイズを決定することと、
を映像処理装置に行わせるために、１つ又は複数の処理デバイスによって実行可能である、条項３５に記載の非一時的コンピュータ可読記憶媒体。
４９．命令セットが、
第３のシンタックス要素の値及び第４のシンタックス要素の値の合計となるように、ＣＵに関する第１の最大パレット予測子サイズを決定すること、
を映像処理装置に行わせるために、１つ又は複数の処理デバイスによって実行可能である、条項４８に記載の非一時的コンピュータ可読記憶媒体。
５０．命令セットが、
ピクチャスライスがデュアルツリースライスであることに応答して、
スライスヘッダにおいてシグナリングされた第５のシンタックス要素の値に基づいて、ＣＵに関する第４の最大パレット表サイズを決定すること、
第５のシンタックス要素の値、及びスライスヘッダにおいてシグナリングされた第６のシンタックス要素の値に基づいて、ＣＵに関する第４の最大パレット予測子サイズを決定すること、及び
第４の最大パレット表サイズ及び第４の最大パレット予測子サイズに基づいて、ＣＵを予測すること、
を映像処理装置に行わせるために、１つ又は複数の処理デバイスによって実行可能である、条項４８又は４９に記載の非一時的コンピュータ可読記憶媒体。
５１．命令セットが、
第５のシンタックス要素の値及び第６のシンタックス要素の値の合計となるように、ＣＵに関する第４の最大パレット予測子サイズを決定すること、
を映像処理装置に行わせるために、１つ又は複数の処理デバイスによって実行可能である、条項５０に記載の非一時的コンピュータ可読記憶媒体。

[00128] 幾つかの実施形態では、命令を含む非一時的コンピュータ可読記憶媒体も提供され、命令は、上記の方法を行うために、デバイス（開示のエンコーダ及びデコーダなど）によって実行されてもよい。非一時的媒体の一般的な形態には、例えば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、ソリッドステートドライブ、磁気テープ、又はその他の磁気データ記憶媒体、ＣＤ－ＲＯＭ、その他の光学データ記憶媒体、孔のパターンを有する任意の物理媒体、ＲＡＭ、ＰＲＯＭ、及びＥＰＲＯＭ、ＦＬＡＳＨ（登録商標）－ＥＰＲＯＭ又はその他のフラッシュメモリ、ＮＶＲＡＭ、キャッシュ、レジスタ、その他のメモリチップ又はカートリッジ、並びに上記のネットワーク化バージョンが含まれる。デバイスは、１つ若しくは複数のプロセッサ（ＣＰＵ）、入出力インタフェース、ネットワークインタフェース、及び／又はメモリを含んでもよい。

[00129] 「第１の」及び「第２の」などの本明細書の関係語は、あるエンティティ又は動作を別のエンティティ又は動作と区別するためだけに使用されるものであり、これらのエンティティ又は動作間の実際の関係又は順序を必要とするもの、又は暗示するものではないことに留意されたい。また、「含む（comprising）」、「有する（having）」、「包含する（containing）」、及び「含む（including）」という語、並びに他の類似の形態は、意味が同等であること、及びこれらの語の何れか１つに続く１つ又は複数の項が、そのような１つ若しくは複数の項の網羅的列挙ではない点で、又は列挙された１つ若しくは複数の項のみに限定されない点で、オープンエンド形式であることが意図される。

[00130] 本明細書では、特に別段の記載のない限り、「又は」という用語は、実行不可能でない限り、全ての可能な組み合わせを網羅する。例えば、データベースがＡ又はＢを含んでもよいと記述される場合、別段の具体的な記述のない限り、又は実行不可能でない限り、データベースは、Ａ、又はＢ、又はＡ及びＢを含んでもよい。第２の例として、データベースがＡ、Ｂ、又はＣを含んでもよいと記載される場合、特に別段の記載のない限り、又は実行不可能でない限り、データベースは、Ａ、又はＢ、又はＣ、又はＡ及びＢ、又はＡ及びＣ、又はＢ及びＣ、又はＡ及びＢ及びＣを含んでもよい。

[00131] 上記の実施形態は、ハードウェア、又はソフトウェア（プログラムコード）、又はハードウェア及びソフトウェアの組み合わせによって実施され得ることが理解される。ソフトウェアによって実施される場合、それは、上記のコンピュータ可読媒体に保存されてもよい。ソフトウェアは、プロセッサによる実行時に、開示の方法を行うことができる。本開示に記載したコンピューティングユニット及び他の機能ユニットは、ハードウェア、又はソフトウェア、又はハードウェア及びソフトウェアの組み合わせによって実装され得る。当業者は、上記のモジュール／ユニットの内の複数が、１つのモジュール／ユニットとして統合され得ること、及び上記のモジュール／ユニットのそれぞれが、複数のサブモジュール／サブユニットにさらに分割され得ることも理解するだろう。

[00132] 上述の明細書では、実施態様によって異なり得る多数の具体的詳細に関して、実施形態を説明した。記載した実施形態の特定の適応及び変更が行われ得る。ここに開示した発明の明細書及び実施を考慮して、他の実施形態が当業者には明らかとなり得る。上記明細書及び例は、単なる例示と見なされることが意図され、本発明の真の範囲及び精神は、以下の特許請求の範囲によって示される。また、図面に示されるステップの順序は、単に、説明のためのものであることが意図され、ステップの何れの特定の順序にも限定されることは意図されない。そのため、同じ方法を実施しながら、これらのステップが異なる順序で行われ得ることを当業者は理解できる。

[00133] 図面及び明細書では、例示的な実施形態を開示した。しかしながら、これらの実施形態に対して多くの変形形態及び変更形態を作ることができる。したがって、特定の用語が使用されるが、それらは、単に一般的及び説明的な意味で使用されるものであり、限定を意図したものではない。

Claims (20)

1. 符号化ユニット（ＣＵ）のルマ成分及び前記ＣＵのクロマ成分が、パレットモードにおいて合同で符号化されるか、それとも個別に符号化されるかを決定することと、
   前記ルマ成分及び前記クロマ成分が前記パレットモードにおいて合同で符号化されることに応答して、
   前記ＣＵに関する第１の最大パレット表サイズを決定すること、
   前記ＣＵに関する第１の最大パレット予測子サイズを決定すること、及び
   前記第１の最大パレット表サイズ及び前記第１の最大パレット予測子サイズに基づいて前記ＣＵを予測することと、
   を含む、パレット符号化方法。
2. 前記ＣＵに関する前記第１の最大パレット表サイズを決定することが、
   映像ビットストリームにおいてシグナリングされた第１のシンタックス要素の値に基づいて、前記ＣＵに関する前記第１の最大パレット表サイズを決定することと、
   前記第１のシンタックス要素の前記値、及び前記映像ビットストリームにおいてシグナリングされた第２のシンタックス要素の値に基づいて、前記ＣＵに関する前記第１の最大パレット予測子サイズを決定することと、
   を含む、請求項１に記載の方法。
3. 前記ＣＵに関する前記第１の最大パレット予測子サイズを決定することが、
   前記第１のシンタックス要素の前記値及び前記第２のシンタックス要素の前記値の合計となるように、前記ＣＵに関する前記第１の最大パレット予測子サイズを決定することを含む、請求項２に記載の方法。
4. 前記第１のシンタックス要素及び前記第２のシンタックス要素が、前記ＣＵに関連付けられたシーケンスパラメータセット（ＳＰＳ）又はピクチャヘッダ（ＰＨ）においてシグナリングされる、請求項２に記載の方法。
5. 前記ルマ成分及び前記クロマ成分が前記パレットモードにおいて個別に符号化されることに応答して、
   前記第１の最大パレット表サイズに基づいて、前記ＣＵに関する第２の最大パレット表サイズを決定すること、
   前記第１の最大パレット予測子サイズに基づいて、前記ＣＵに関する第２の最大パレット予測子サイズを決定すること、及び
   前記第２の最大パレット表サイズ及び前記第２の最大パレット予測子サイズに基づいて前記ＣＵを予測すること、
   をさらに含む、請求項１に記載の方法。
6. 前記ＣＵに関する前記第１の最大パレット表サイズを決定することが、
   第１の所定の値となるように、前記ＣＵに関する前記第１の最大パレット表サイズを決定することと、
   第２の所定の値となるように、前記ＣＵに関する前記第１の最大パレット予測子サイズを決定することと、
   を含む、請求項１に記載の方法。
7. 前記第１の所定の値が３１であり、及び
   前記第２の所定の値が６３である、請求項６に記載の方法。
8. 前記ルマ成分及び前記クロマ成分が前記パレットモードにおいて個別に符号化されることに応答して、
   第３の所定の値となるように、前記ＣＵに関する第３の最大パレット表サイズを決定すること、及び
   前記第３の最大パレット表サイズに基づいて前記ＣＵを予測すること、
   をさらに含み、
   前記第３の所定の値が、前記第１の所定の値よりも小さい、請求項６に記載の方法。
9. 前記第３の所定の値が１５である、請求項８に記載の方法。
10. 前記ルマ成分及び前記クロマ成分が前記パレットモードにおいて個別に符号化されること、並びに前記ＣＵが単一ツリースライスの一部であることに応答して、前記第１の最大パレット予測子サイズに基づいて前記ＣＵを予測することをさらに含む、請求項８に記載の方法。
11. 前記ルマ成分及び前記クロマ成分が前記パレットモードにおいて個別に符号化されること、並びに前記ＣＵが単一ツリースライスの一部ではないことに応答して、
    第４の所定の値となるように、前記ＣＵに関する第３の最大パレット予測子サイズを決定すること、及び
    前記第３の最大パレット予測子サイズに基づいて前記ＣＵを予測すること、
    をさらに含み、
    前記第４の所定の値が、前記第２の所定の値よりも小さい、請求項８に記載の方法。
12. 前記第４の所定の値が３１である、請求項１１に記載の方法。
13. 前記ＣＵを含むピクチャスライスが単一ツリースライスであるか、それともデュアルツリースライスであるかを決定することと、
    前記ピクチャスライスが単一ツリースライスであることに応答して、
    前記ピクチャスライスのスライスヘッダにおいてシグナリングされた第３のシンタックス要素の値に基づいて、前記ピクチャスライスにおける前記ＣＵに関する前記第１の最大パレット表サイズを決定すること、及び
    前記第３のシンタックス要素の前記値、並びに前記スライスヘッダにおいてシグナリングされた第４のシンタックス要素の値に基づいて、前記ＣＵに関する前記第１の最大パレット予測子サイズを決定することと、
    をさらに含む、請求項１に記載の方法。
14. 前記ピクチャスライスがデュアルツリースライスであることに応答して、
    前記スライスヘッダにおいてシグナリングされた第５のシンタックス要素の値に基づいて、前記ＣＵに関する第４の最大パレット表サイズを決定すること、
    前記第５のシンタックス要素の前記値、及び前記スライスヘッダにおいてシグナリングされた第６のシンタックス要素の値に基づいて、前記ＣＵに関する第４の最大パレット予測子サイズを決定すること、及び
    前記第４の最大パレット表サイズ及び前記第４の最大パレット予測子サイズに基づいて、前記ＣＵを予測すること、
    をさらに含む、請求項１３に記載の方法。
15. 映像処理装置であって、
    命令を保存するための少なくとも１つのメモリと、
    少なくとも１つのプロセッサとを含み、前記少なくとも１つのプロセッサは、
    符号化ユニット（ＣＵ）のルマ成分及び前記ＣＵのクロマ成分が、パレットモードにおいて合同で符号化されるか、それとも個別に符号化されるかを決定することと、
    前記ルマ成分及び前記クロマ成分が前記パレットモードにおいて合同で符号化されることに応答して、
    前記ＣＵに関する第１の最大パレット表サイズを決定すること、
    前記ＣＵに関する第１の最大パレット予測子サイズを決定すること、及び
    前記第１の最大パレット表サイズ及び前記第１の最大パレット予測子サイズに基づいて前記ＣＵを予測することと、
    を前記装置に行わせるために前記命令を実行するように構成される、映像処理装置。
16. 命令セットを記憶する非一時的コンピュータ可読記憶媒体であって、前記命令のセットは、
    符号化ユニット（ＣＵ）のルマ成分及び前記ＣＵのクロマ成分が、パレットモードにおいて合同で符号化されるか、それとも個別に符号化されるかを決定することと、
    前記ルマ成分及び前記クロマ成分が前記パレットモードにおいて合同で符号化されることに応答して、
    前記ＣＵに関する第１の最大パレット表サイズを決定すること、
    前記ＣＵに関する第１の最大パレット予測子サイズを決定すること、及び
    前記第１の最大パレット表サイズ及び前記第１の最大パレット予測子サイズに基づいて前記ＣＵを予測することと、
    を含む方法を映像処理装置に行わせるために、１つ又は複数の処理デバイスによって実行可能である、非一時的コンピュータ可読記憶媒体。
17. 前記命令セットが、
    映像ビットストリームにおいてシグナリングされた第１のシンタックス要素の値に基づいて、前記ＣＵに関する前記第１の最大パレット表サイズを決定することと、
    前記第１のシンタックス要素の前記値、及び前記映像ビットストリームにおいてシグナリングされた第２のシンタックス要素の値に基づいて、前記ＣＵに関する前記第１の最大パレット予測子サイズを決定することと、
    を前記映像処理装置に行わせるために、前記１つ又は複数の処理デバイスによって実行可能である、請求項１６に記載の非一時的コンピュータ可読記憶媒体。
18. 前記命令セットが、
    前記ルマ成分及び前記クロマ成分が前記パレットモードにおいて個別に符号化されることに応答して、
    前記第１の最大パレット表サイズに基づいて、前記ＣＵに関する第２の最大パレット表サイズを決定すること、
    前記第１の最大パレット予測子サイズに基づいて、前記ＣＵに関する第２の最大パレット予測子サイズを決定すること、及び
    前記第２の最大パレット表サイズ及び前記第２の最大パレット予測子サイズに基づいて前記ＣＵを予測すること、
    を前記映像処理装置に行わせるために、前記１つ又は複数の処理デバイスによって実行可能である、請求項１６に記載の非一時的コンピュータ可読記憶媒体。
19. 前記命令セットが、
    第１の所定の値となるように、前記ＣＵに関する前記第１の最大パレット表サイズを決定することと、
    第２の所定の値となるように、前記ＣＵに関する前記第１の最大パレット予測子サイズを決定することと、
    を前記映像処理装置に行わせるために、前記１つ又は複数の処理デバイスによって実行可能である、請求項１６に記載の非一時的コンピュータ可読記憶媒体。
20. 前記命令セットが、
    前記ルマ成分及び前記クロマ成分が前記パレットモードにおいて個別に符号化されることに応答して、
    第３の所定の値となるように、前記ＣＵに関する第３の最大パレット表サイズを決定すること、及び
    前記第３の最大パレット表サイズに基づいて前記ＣＵを予測すること、
    を前記映像処理装置に行わせるために、前記１つ又は複数の処理デバイスによって実行可能であり、
    前記第３の所定の値が、前記第１の所定の値よりも小さい、請求項１９に記載の非一時的コンピュータ可読記憶媒体。
    
    

Images