JP2023520141A - パレット予測のための方法 - Google Patents

Abstract

本開示は、映像を符号化するためのコンピュータ実装方法を提供する。方法は、処理するために映像フレームを受信することと、映像フレームの１つ又は複数のコード化単位を生成することと、パレットエントリを有する１つ又は複数のパレット予測子を使用して、１つ又は複数のコード化単位を処理することと、を含み、１つ又は複数のパレット予測子の各パレットエントリが、対応する再利用フラグを有し、各パレット予測子の再利用フラグの数は、対応するコード化単位に対して固定数に設定される。

Description

関連出願の相互参照
[0001] 本開示は、２０２０年４月４日に出願された米国仮特許出願第６３／００５，３０５号、及び２０２０年３月３１日に出願された米国仮特許出願第６３／００２，５９４号の優先権の利益を主張するものであり、両方の仮出願は、その全体が参照により本明細書に組み込まれる。

技術分野
[0002] 本開示は、概して、映像処理に関し、より詳細には、映像符号化及び復号化におけるパレットモードの使用に関する。

背景
[0003] 映像は、視覚情報を捕捉する静止ピクチャ（又は「フレーム」）のセットである。記憶メモリ及び伝送帯域幅を減らすために、映像は、記憶又は伝送の前に圧縮し、表示前に解凍することができる。圧縮プロセスは通常、符号化と呼ばれ、解凍プロセスは通常、復号化と呼ばれる。規格化された映像コード化技術、最も一般的には、予測、変換、量子化、エントロピーコード化及びループ内フィルタリングに基づく技術を使用する様々な映像コード化形式がある。特定の映像コード化形式を指定するＨＥＶＣ（High Efficiency Video Coding）（ＨＥＶＣ／Ｈ．２６５）規格、ＶＶＣ（Versatile Video Coding）（ＶＶＣ／Ｈ．２６６）規格、及びＡＶＳ規格などの映像コード化規格が、規格化組織によって策定されている。一層進化した映像コード化技術が映像規格に採用されるにつれて、新たな映像コード化規格のコード化効率が一層高くなっている。

開示の概要
[0004] 本開示の実施形態は、パレット予測子のためのコンピュータ実装方法を提供する。いくつかの実施形態では、方法は、処理するために映像フレームを受信することと、映像フレームの１つ又は複数のコード化単位を生成することと、パレットエントリを有する１つ又は複数のパレット予測子を使用して、１つ又は複数のコード化単位を処理することと、を含み、１つ又は複数のパレット予測子の各パレットエントリが、対応する再利用フラグを有し、各パレット予測子の再利用フラグの数は、対応するコード化単位に対して固定数に設定される。

[0005] 本開示の実施形態は、装置を提供する。いくつかの実施形態では、装置は、命令を記憶するように構成されたメモリと、メモリに結合されたプロセッサとを含み、プロセッサは、命令を実行して、装置に、処理するために映像フレームを受信すること、映像フレームの１つ又は複数のコード化単位を生成すること、及び、パレットエントリを有する１つ又は複数のパレット予測子を使用して、１つ又は複数のコード化単位を処理することを実行させるように構成され、１つ又は複数のパレット予測子の各パレットエントリが、対応する再利用フラグを有し、各パレット予測子の再利用フラグの数は、対応するコード化単位に対して固定数に設定される。

[0006] 本開示の実施形態は、命令のセットを記憶する非一時的コンピュータ可読記憶媒体を提供し、命令のセットは、装置に映像データ処理を実行するための方法を開始させるために、装置の１つ又は複数のプロセッサによって実行可能である。いくつかの実施形態では、方法は、処理するために映像フレームを受信することと、映像フレームの１つ又は複数のコード化単位を生成することと、パレットエントリを有する１つ又は複数のパレット予測子を使用して、１つ又は複数のコード化単位を処理することと、を含み、１つ又は複数のパレット予測子の各パレットエントリが、対応する再利用フラグを有し、各パレット予測子の再利用フラグの数は、対応するコード化単位に対して固定数に設定される。

[0007] 本開示の実施形態は、パレットモードのフィルタをデブロッキングするためのコンピュータ実装方法を提供する。いくつかの実施形態では、方法は、処理するために映像フレームを受信することと、映像フレームの１つ又は複数のコード化単位であって、それぞれのコード化単位が１つ又は複数のコード化ブロックを有する１つ又は複数のコード化単位を生成することと、隣接する２つのコード化ブロックのうちの少なくとも第１のコード化ブロックがパレットモードでコード化され、隣接する２つのコード化ブロックのうちの第２のコード化ブロックがパレットモードとは異なるコード化モードを有することに応答して、境界フィルタ強度を１に設定することと、を含む。

[0008] 本開示の実施形態は、装置を提供する。いくつかの実施形態では、装置は、命令を記憶するように構成されたメモリと、メモリに結合されたプロセッサとを含み、プロセッサは、命令を実行して、装置に、処理するために映像フレームを受信すること、映像フレームの１つ又は複数のコード化単位であって、それぞれのコード化単位が１つ又は複数のコード化ブロックを有する１つ又は複数のコード化単位を生成すること、及び、隣接する２つのコード化ブロックのうちの少なくとも第１のコード化ブロックがパレットモードでコード化され、隣接する２つのコード化ブロックのうちの第２のコード化ブロックがパレットモードとは異なるコード化モードを有することに応答して、境界フィルタ強度を１に設定することを実行させるように構成される。

[0009] 本開示の実施形態は、命令のセットを記憶する非一時的コンピュータ可読記憶媒体を提供し、命令のセットは、装置に映像データ処理を実行するための方法を開始させるために、装置の１つ又は複数のプロセッサによって実行可能である。いくつかの実施形態では、方法は、処理するために映像フレームを受信することと、処理するために映像フレームを受信することと、映像フレームの１つ又は複数のコード化単位であって、それぞれのコード化単位が１つ又は複数のコード化ブロックを有する１つ又は複数のコード化単位を生成することと、隣接する２つのコード化ブロックのうちの少なくとも第１のコード化ブロックがパレットモードでコード化され、隣接する２つのコード化ブロックのうちの第２のコード化ブロックがパレットモードとは異なるコード化モードを有することに応答して、境界フィルタ強度を１に設定することと、を含む。

図面の簡単な説明
[0010] 本開示の実施形態及び様々な態様を以下の詳細な説明及び添付の図面に示す。図に示されている様々な特徴は、縮尺通りに描かれていない。

[0011]本開示のいくつかの実施形態による映像シーケンスの一例の構造を図示する概略図である。 [0012]本開示の実施形態と合致するハイブリッドビデオコード化システムの例示的な符号化プロセスを図示する概略図である。 [0013]本開示の実施形態と合致するハイブリッドビデオコード化システムの別の例示的な符号化プロセスを図示する概略図である。 [0014]本開示の実施形態と合致するハイブリッドビデオコード化システムの例示的な復号化プロセスを図示する概略図である。 [0015]本開示の実施形態と合致するハイブリッドビデオコード化システムの別の例示的な復号化プロセスを図示する概略図である。 [0016]本開示のいくつかの実施形態による、映像を符号化又は復号化するための例示的な装置のブロック図である。 [0017]本開示のいくつかの実施形態による、パレットモードでコード化されたブロックを図示したものである。 [0018]パレット予測子更新プロセスの一例を示す。 [0019]パレットコード化シンタックスの一例を示す。 [0020]本開示のいくつかの実施形態による、パレット予測子更新プロセスのフローチャートを示す。 [0021]本開示のいくつかの実施形態による、パレット予測子更新プロセスの一例を示す。 [0022]パレットモードの復号化プロセスの一例を示す。 [0023]本開示のいくつかの実施形態による、パレットモードの復号化プロセスの一例を示す。 [0024]本開示のいくつかの実施形態による、別のパレット予測子更新プロセスのフローチャートを示す。 [0025]本開示のいくつかの実施形態による、別のパレット予測子更新プロセスの一例を示す。 [0026]本開示のいくつかの実施形態による、パレットコード化シンタックスの一例を示す。 [0027]本開示のいくつかの実施形態による、パレットモードの復号化プロセスの一例を示す。 [0028]本開示のいくつかの実施形態による、パレット予測子更新プロセスの一部分を実装するパレットモードのための復号器のハードウェア設計を図示したものである。 [0029]本開示のいくつかの実施形態による、パレットモードの復号化プロセスの一例を示す。 [0030]パレットモードの初期化プロセスの一例を示す。 [0031]本開示のいくつかの実施形態による、パレットモードの初期化プロセスの一例を示す。 [0032]パレット予測子更新、及び対応する再利用フラグのランレングスコード化の一例を示す。 [0033]本開示のいくつかの実施形態による、パレット予測子更新、及び対応する再利用フラグのランレングスコード化の一例を示す。 [0034]本開示のいくつかの実施形態による、パレット予測子更新、及び対応する再利用フラグのランレングスコード化の一例を示す。 [0035]本開示のいくつかの実施形態による、パレットコード化シンタックスの一例を示す。 [0036]パレットコード化セマンティックスの一例を示す。 [0037]本開示のいくつかの実施形態による、パレットコード化セマンティックスの一例を示す。

詳細な説明
[0038] ここで、例示的な実施形態について詳細に言及するが、それらの例が添付の図面に図示されている。以下の説明は添付の図面を参照し、添付の図面では、別段の記載がない限り、異なる図面の同じ番号が同じ又は類似の要素を表す。例示的な実施形態についての以下の説明に記載される実装形態は、本発明と合致するすべての実装形態を表すわけではない。むしろ、それらは、添付の特許請求の範囲で列挙する本発明に関係する態様と合致する装置及び方法の例に過ぎない。下記に、本開示の特定の態様をより詳細に説明する。本明細書に記載されている用語及び定義が、参照により組み込まれている用語及び／又は定義と矛盾する場合には、本明細書の記載が優先される。

[0039] ITU-T Video Coding Expert Group（ＩＴＵ－Ｔ ＶＣＥＧ）及びISO/IEC Moving Picture Expert Group（ＩＳＯ／ＩＥＣ ＭＰＥＧ）のJoint Video Experts Team（ＪＶＥＴ）は、ＶＶＣ（Versatile Video Coding）（ＶＶＣ／Ｈ．２６６）規格を現在開発している。ＶＶＣ規格は、その前身の規格であるＨＥＶＣ（High Efficiency Video Coding）（ＨＥＶＣ／Ｈ．２６５）規格の圧縮効率を２倍にすることを目指している。言いかえれば、ＶＶＣの目標は、半分の帯域幅を使用してＨＥＶＣ／Ｈ．２６５と同じ主観的品質を実現することである。

[0040] 半分の帯域幅を使用してＨＥＶＣ／Ｈ．２６５と同じ主観的品質を実現するために、ＪＶＥＴは、ジョイントエクスプロレーションモデル（ＪＥＭ）参照ソフトウェアを使用してＨＥＶＣを超える技術を開発してきた。コード化技術がＪＥＭに組み込まれたため、ＪＥＭは、ＨＥＶＣよりも大幅に向上したコード化性能を実現した。

[0041] ＶＶＣ規格は、最近開発されてきており、より優れた圧縮性能を提供するより多くのコード化技術を含み続けている。ＶＶＣは、ＨＥＶＣ、Ｈ．２６４／ＡＶＣ、ＭＰＥＧ２、Ｈ．２６３、等々といったような最新の映像圧縮規格で使用されてきたものと同じハイブリッド映像コード化システムに基づいている。

[0042] 映像とは、視覚情報を記憶するために時系列順に配列された静止ピクチャ（又は「フレーム」）のセットである。それらのピクチャを時系列順に捕捉し、記憶するために、映像捕捉デバイス（例えば、カメラ）を使用することができ、このようなピクチャを時系列順に表示するために、映像再生デバイス（例えば、テレビ、コンピュータ、スマートフォン、タブレットコンピュータ、ビデオプレーヤ、又は表示機能を有する任意のエンドユーザ端末）を使用することができる。また、いくつかの用途では、監視、会議、又は生放送などのために、映像捕捉デバイスは、捕捉した映像を映像再生デバイス（例えば、モニタを有するコンピュータ）にリアルタイムで伝送することができる。

[0043] このような用途で必要とされる記憶空間及び伝送帯域幅を減らすために、映像は、記憶及び伝送の前に圧縮することができ、表示の前に解凍することができる。この圧縮及び解凍は、プロセッサ（例えば、汎用コンピュータのプロセッサ）又は専用ハードウェアによって実行されるソフトウェアによって実装することができる。圧縮のためのモジュールは一般に「符号器」と呼ばれ、解凍のためのモジュールは一般に「復号器」と呼ばれる。符号器及び復号器は、総称して「コーデック」と呼ぶことができる。符号器及び復号器は、様々な適切なハードウェア、ソフトウェア、又はそれらの組み合わせのいずれかとして実装することができる。例えば、符号器及び復号器のハードウェア実装形態としては、１つ又は複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ティスクリートロジック、又はそれらの任意の組み合わせなどの回路類を挙げることができる。符号気及び復号器のソフトウェア実装形態としては、プログラムコード、コンピュータ実行可能命令、ファームウェア、又はコンピュータ可読媒体に固定された任意の適切なコンピュータ実装アルゴリズム若しくはプロセスを挙げることができる。映像の圧縮及び解凍は、ＭＰＥＧ－１、ＭＰＥＧ－２、ＭＰＥＧ－４、Ｈ．２６ｘシリーズなどといったような様々なアルゴリズム、又は規格によって実装することができる。いくつかの用途では、コーデックが第１のコード化規格から映像を解凍し、第２のコード化規格を使用して、解凍された映像を再圧縮することができるが、この場合、コーデックは「トランスコーダ」と呼ぶことができる。

[0044] 映像符号化プロセスは、ピクチャを再構築するために使用可能な有用な情報を識別し、保持することができ、再構築に重要でない情報を無視することができる。無視された重要でない情報を完全に再構築できない場合、このような符号化プロセスは、「不可逆」と呼ぶことができる。そうでない場合、符号化プロセスは、「可逆」と呼ぶことができる。ほとんどの符号化プロセスは不可逆であり、これは、必要な記憶空間及び伝送帯域幅を減らすためのトレードオフである。

[0045] 符号化されているピクチャ（「現ピクチャ」と呼ぶ）の有用な情報は、参照ピクチャ（例えば、前に符号化され、再構築されたピクチャ）に対する変化を含む。このような変化は、ピクセルの位置変化、光度変化、又は色変化を含むことができ、そのうちの位置変化が最も重要である。オブジェクトを表すピクセル群の位置変化は、参照ピクチャと現ピクチャとの間のオブジェクトの動きを反映し得る。

[0046] 別のピクチャを参照することなくコード化されるピクチャ（すなわち、ピクチャが自らの参照ピクチャである）は「Ｉピクチャ」と呼ばれる。ピクチャ内の一部又はすべてのブロック（例えば、映像ピクチャの部分を一般に指すブロック）が、１つの参照ピクチャを用いたイントラ予測又はインター予測を使用して予測される場合（例えば、片方向予測）、ピクチャは「Ｐピクチャ」と呼ばれる。ピクチャ内の少なくとも１つのブロックが、２つの参照ピクチャを用いて予測される場合（例えば、双方向予測）、ピクチャは「Ｂピクチャ」と呼ばれる。

[0047] 図１は、本開示のいくつかの実施形態による映像シーケンス１００の一例の構造を示す。映像シーケンス１００は、ライブ映像又は捕捉されアーカイブされている映像とすることができる。映像１００は、現実の映像、コンピュータによって生成される映像（例えば、コンピュータゲーム映像）、又はそれらの組み合わせ（例えば、拡張現実効果を有する現実の映像）とすることができる。映像シーケンス１００は、映像捕捉デバイス（例えば、カメラ）、前に捕捉された映像を含む映像アーカイブ（例えば、記憶デバイス内に記憶されている映像ファイル）、又は映像コンテンツプロバイダから映像を受信するための映像供給インタフェース（例えば、映像ブロードキャストトランシーバ）から入力することができる。

[0048] 図１に示されているように、映像シーケンス１００は、ピクチャ１０２、１０４、１０６、及び１０８を含む、タイムラインに沿って時間的に配列された一連のピクチャを含むことができる。ピクチャ１０２～１０６は、連続的であり、ピクチャ１０６とピクチャ１０８との間にさらに多くのピクチャがある。図１では、ピクチャ１０２は、Ｉピクチャであり、その参照ピクチャは、ピクチャ１０２自身である。ピクチャ１０４は、Ｐピクチャであり、矢印によって示すように、その参照ピクチャはピクチャ１０２である。ピクチャ１０６はＢピクチャであり、矢印によって示すように、その参照ピクチャはピクチャ１０４及び１０８である。いくつかの実施形態では、ピクチャ（例えば、ピクチャ１０４）の参照ピクチャは、そのピクチャの直前又は直後になくてもよい。例えば、ピクチャ１０４の参照ピクチャは、ピクチャ１０２に先行するピクチャとすることができる。ピクチャ１０２～１０６の参照ピクチャは例に過ぎず、本開示は参照ピクチャの実施形態を図１に示す例として限定しないことに留意されたい。

[0049] 典型的には、映像コーデックは、ピクチャ全体を一度に符号化又は復号化しないが、それは、このようなタスクの計算が複雑なためである。もっと正確に言えば、映像コーデックは、ピクチャを基本セグメントに分け、ピクチャをセグメントごとに符号化又は復号化することができる。このような基本セグメントは、本開示では基本処理単位（「ＢＰＵ：Basic Processing Unit」）と呼ばれる。例えば、図１の構造１１０は、映像シーケンス１００のピクチャ（例えば、ピクチャ１０２～１０８のうちのいずれか）の構造の一例を示す。構造１１０では、ピクチャが４×４の基本処理単位に分割されており、その境界が破線で示されている。いくつかの実施形態では、基本処理単位は、いくつかの映像コード化規格（例えば、ＭＰＥＧファミリ、Ｈ．２６１、Ｈ．２６３、又はＨ．２６４／ＡＶＣ）では「マクロブロック」と呼ぶことができ、又は他のいくつかの映像コード化規格（例えば、Ｈ．２６５／ＨＥＶＣ又はＨ．２６６／ＶＶＣ）では「コード化ツリー単位」（「ＣＴＵ：Coding Tree Unit」）と呼ぶことができる。基本処理単位は、ピクチャ内で、１２８×１２８、６４×６４、３２×３２、１６×１６、４×８、１６×３２などの可変サイズ、又はあらゆる任意の形状及びサイズのピクセルを有することができる。基本処理単位のサイズ及び形状は、基本処理単位内で保たれるコード化効率と詳細度とのバランスに基づいて、ピクチャごとに選択することができる。

[0050] 基本処理単位は、コンピュータメモリ内（例えば、映像フレームバッファ内）に記憶される様々なタイプの映像データ群を含み得る論理単位とすることができる。例えば、カラーピクチャの基本処理単位は、無彩色の輝度情報を表すルマ成分（Ｙ）、色情報を表す１つ又は複数のクロマ成分（例えば、Ｃｂ及びＣｒ）、並びにルマ成分及びクロマ成分が同じサイズの基本処理単位を有し得る関連シンタックス要素を含むことができる。いくつかの映像コード化規格（例えば、Ｈ．２６５／ＨＥＶＣ又はＨ．２６６／ＶＶＣ）では、ルマ成分及びクロマ成分を「コード化ツリーブロック」（「ＣＴＢ：Coding Tree Block」）と呼ぶことができる。基本処理単位に対して実行されるどの操作も、そのルマ成分及びクロマ成分のそれぞれに対して繰り返し実行することができる。

[0051] 映像のコード化は、複数の操作段階を有するが、それらの例が図２Ａ～図２Ｂ及び図３Ａ～図３Ｂに示されている。それぞれの段階ごとでは、基本処理単位のサイズがまだ大き過ぎて処理できない可能性があるため、本開示では「基本処理副単位」と呼ばれるセグメントにさらに分割することができる。いくつかの実施形態では、基本処理副単位は、いくつかの映像コード化規格（例えば、ＭＰＥＧファミリ、Ｈ．２６１、Ｈ．２６３、又はＨ．２６４／ＡＶＣ）では「ブロック（block）」と呼ばれる場合もあれば、いくつかの他の映像コード化規格（例えば、Ｈ．２６５／ＨＥＶＣ又はＨ．２６６／ＶＶＣ）では「コード化単位」（「ＣＵ：Coding Unit」）と呼ばれる場合もある。基本処理副単位は、基本処理単位と同じサイズ又はそれよりも小さいサイズを有することができる。基本処理単位と同様に、基本処理副単位もまた論理単位であり、コンピュータメモリ内（例えば、映像フレームバッファ内）に記憶される様々なタイプの映像データの群（例えば、Ｙ、Ｃｂ、Ｃｒ及び関連シンタックス要素）を含むことができる。基本処理副単位に対して実行されるどの操作も、そのルマ成分及びクロマ成分のそれぞれに対して繰り返し実行することができる。処理上の必要性に応じて、このような分割は、さらなるレベルに対して実行可能であることに留意されたい。様々な段階が様々な方式を使用して基本処理単位を分割できることにもまた留意されたい。

[0052] 例えば、モード判定段階（その一例を図２Ｂに示す）において、符号器は、基本処理単位に対してどの予測モード（例えば、イントラピクチャ予測又はインターピクチャ予測）を使用するのかを判定することができるが、このような判定を下すには基本処理単位が大き過ぎる場合がある。符号器は、基本処理単位を複数の基本処理副単位（例えば、Ｈ．２６５／ＨＥＶＣ又はＨ．２６６／ＶＶＣにおけるようなＣＵ）に分け、それぞれの個々の基本処理副単位に対して予測のタイプを判定することができる。

[0053] 別の例では、予測段階（その一例を図２Ａ～図２Ｂに示す）において、符号器は、基本処理副単位（例えば、ＣＵ）のレベルで予測操作を実行することができる。しかしながら、場合によっては、基本処理副単位がまだ依然として大き過ぎて処理できない可能性がある。符号器は、基本処理副単位を（例えば、Ｈ．２６５／ＨＥＶＣ又はＨ．２６６／ＶＶＣで「予測ブロック」又は「ＰＢ」と呼ばれる）より小さいセグメントにさらに分けることができ、そのレベルで予測操作を実行することができる。

[0054] 別の例では、変換段階（その一例を図２Ａ～図２Ｂに示す）において、符号器は、残差基本処理副単位（例えば、ＣＵ）に対する変換操作を実行することができる。しかしながら、場合によっては、基本処理副単位が依然として大き過ぎて処理できない可能性がある。符号器は、基本処理副単位を（例えば、Ｈ．２６５／ＨＥＶＣ又はＨ．２６６／ＶＶＣで「変換ブロック」又は「ＴＢ」と呼ばれる）より小さいセグメントにさらに分けることができ、そのレベルで変換操作を実行することができる。同じ基本処理副単位の分割方式は、予測段階と変換段階とで異なり得ることに留意されたい。例えば、Ｈ．２６５／ＨＥＶＣ又はＨ．２６６／ＶＶＣでは、同じＣＵの予測ブロック及び変換ブロックは、異なるサイズ及び数を有する場合がある。

[0055] 図１の構造１１０では、基本処理単位１１２が３×３の基本処理副単位にさらに分割されており、その境界が点線で示されている。同じピクチャの異なる基本処理単位を異なる方式で基本処理副単位に分割することができる。

[0056] いくつかの実装形態では、映像の符号化及び復号化に並列処理及び誤り耐性の能力を提供するために、ピクチャを処理のための領域に分割することができ、これにより、符号化又は復号化プロセスが、ピクチャのある領域に対して、ピクチャの他のどの領域の情報にも依存しないようにすることができる。言いかえれば、ピクチャの各領域を独立して処理することができる。そうすることで、コーデックは、ピクチャの様々な領域を並列に処理することができ、コード化効率を高めることができる。また、領域のデータが処理中に破損するか又はネットワーク伝送中に失われると、コーデックは、破損したデータ又は失われたデータに依存することなく、同じピクチャの他の領域を正しく符号化又は復号化することができ、誤り耐性の機能を提供することができる。いくつかの映像コード化規格では、ピクチャを様々なタイプの領域に分割することができる。例えば、Ｈ．２６５／ＨＥＶＣ及びＨ．２６６／ＶＶＣは、２つのタイプの領域、すなわち、「スライス」及び「タイル」を提供する。映像シーケンス１００の様々なピクチャは、ピクチャを領域に分割するための様々な区画方式を有し得ることにもまた留意されたい。

[0057] 例えば、図１では、構造１１０が３つの領域１１４、１１６、及び１１８に分割されており、その境界が構造１１０内の実線で示されている。領域１１４は、４つの基本処理単位を含む。領域１１６及び１１８はそれぞれ、６つの基本処理単位を含む。図１の構造１１０の基本処理単位、基本処理副単位、及び領域は例に過ぎず、本開示はその実施形態を限定しないことに留意されたい。

[0058] 図２Ａは、本開示の実施形態と合致する符号化プロセス２００Ａの一例の概略図を示す。例えば、符号化プロセス２００Ａは、符号器によって実行することができる。図２Ａに示されているように、符号器は、プロセス２００Ａに従って映像シーケンス２０２を映像ビットストリーム２２８内に符号化することができる。図１の映像シーケンス１００と同様に、映像シーケンス２０２は、時系列順に配列されたピクチャのセット（「元のピクチャ」と呼ばれる）を含むことができる。図１の構造１１０と同様に、映像シーケンス２０２のそれぞれの元のピクチャは、符号器によって基本処理単位、基本処理副単位、又は処理のための領域に分割することができる。いくつかの実施形態では、符号器は、映像シーケンス２０２のそれぞれの元のピクチャごとの基本処理単位のレベルで、プロセス２００Ａを実行することができる。例えば、符号器は、プロセス２００Ａを反復して実行することができ、その場合、符号器は、プロセス２００Ａの１回の反復において基本処理単位を符号化することができる。いくつかの実施形態では、符号器は、映像シーケンス２０２のそれぞれの元のピクチャの領域（例えば、領域１１４～１１８）に対して、プロセス２００Ａを並列に実行することができる。

[0059] 図２Ａでは、符号器は、映像シーケンス２０２の元のピクチャの基本処理単位（「元のＢＰＵ」と呼ばれる）を予測段階２０４に供給して、予測データ２０６及び予測されたＢＰＵ２０８を生成することができる。符号器は、元のＢＰＵから、予測されたＢＰＵ２０８を減算して、残差ＢＰＵ２１０を生成することができる。符号器は、残差ＢＰＵ２１０を変換段階２１２及び量子化段階２１４に供給して、量子化された変換係数２１６を生成することができる。符号器は、予測データ２０６及び量子化された変換係数２１６をバイナリコード化段階２２６に供給して、映像ビットストリーム２２８を生成することができる。構成要素２０２、２０４、２０６、２０８、２１０、２１２、２１４、２１６、２２６及び２２８は、「順方向経路」と呼ぶことができる。プロセス２００Ａの間、量子化段階２１４の後に、符号器は、量子化された変換係数２１６を逆量子化段階２１８及び逆変換段階２２０に供給して、再構築された残差ＢＰＵ２２２を生成することができる。符号器は、再構築された残差ＢＰＵ２２２を予測されたＢＰＵ２０８に加算して、予測基準２２４を生成することができ、この予測基準は、プロセス２００Ａの次の反復のための予測段階２０４で使用される。プロセス２００Ａの構成要素２１８、２２０、２２２及び２２４は、「再構築経路」と呼ぶことができる。再構築経路は、符号器及び復号器の両方が、予測に同じ参照データを確実に使用するために使用することができる。

[0060] 符号器は、プロセス２００Ａを反復して実行して、元のピクチャのそれぞれの元のＢＰＵを（順方向経路で）符号化し、元のピクチャの次の元のＢＰＵを（再構築経路で）符号化するための予測基準２２４を生成することができる。元のピクチャの元のＢＰＵをすべて符号化した後、符号器は、映像シーケンス２０２内の次のピクチャの符号化に進むことができる。

[0061] プロセス２００Ａを参照すると、符号器は、映像捕捉デバイス（例えば、カメラ）によって生成された映像シーケンス２０２を受信することができる。本明細書で使用する「受信（する）」という用語は、受信すること、入力すること、獲得すること、取り出すこと、取得すること、読み出しすること、アクセスすること、又はデータを入力するための任意のやり方の任意の行為を指すことができる。

[0062] 予測段階２０４では、現在の反復において、符号器は、元のＢＰＵ及び予測基準２２４を受信し、予測操作を実行して予測データ２０６及び予測されたＢＰＵ２０８を生成することができる。予測基準２２４は、プロセス２００Ａの前の反復の再構築経路から生成することができる。予測段階２０４の目的は、予測データ２０６を抽出することにより、情報の冗長性を低減することであり、予測データ２０６は、予測データ２０６及び予測基準２２４から、予測されたＢＰＵ２０８として抽出することにより、元のＢＰＵを再構築するために使用可能である。

[0063] 理想的には、予測されたＢＰＵ２０８は、元のＢＰＵと同一となり得る。しかしながら、予測操作及び再構築操作が理想的ではないことにより、予測されたＢＰＵ２０８は、概して、元のＢＰＵとはわずかに異なっている。このような差を記録するために、予測されたＢＰＵ２０８を生成した後、符号器は、それを元のＢＰＵから減算して、残差ＢＰＵ２１０を生成することができる。例えば、符号器は、予測されたＢＰＵ２０８のピクセルの値（例えば、グレースケール値又はＲＧＢ値）を元のＢＰＵの対応するピクセルの値から減算することができる。残差ＢＰＵ２１０の各ピクセルは、元のＢＰＵの対応するピクセルと、予測されたＢＰＵ２０８との間の、このような減算の結果としての残差値を有することができる。元のＢＰＵと比較して、予測データ２０６及び残差ＢＰＵ２１０は、有するビット数が少なくなる可能性があるが、著しい品質の劣化なしに元のＢＰＵを再構築するためにそれらを使用することができる。このようにして、元のＢＰＵは圧縮される。

[0064] 残差ＢＰＵ２１０をさらに圧縮するために、変換段階２１２において、符号器は、残差ＢＰＵ２１０を、２次元「基底パターン」のセットであって、各基底パターンが「変換係数」に関連する基底パターンのセットに分解することにより、残差ＢＰＵ２１０の空間的冗長性を低減することができる。基底パターンは、同じサイズ（例えば、残差ＢＰＵ２１０のサイズ）を有することができる。それぞれの基底パターンは、残差ＢＰＵ２１０の変動周波数（例えば、輝度変動周波数）成分を表すことができる。基底パターンはいずれも、他のどの基底パターンのどの組み合わせ（例えば、線形結合）からも再現することができない。言いかえれば、分解は、残差ＢＰＵ２１０の変動を周波数領域に分解することができる。このような分解は、関数の離散フーリエ変換に類似し、基底パターンは、離散フーリエ変換の基底関数（例えば、三角関数）に類似し、変換係数は、基底関数に関連する係数に類似する。

[0065] 変換アルゴリズムが異なれば、使用する基底パターンも異なる可能性がある。変換段階２１２では、例えば、離散コサイン変換、離散サイン変換、などといったような、様々な変換アルゴリズムを使用することができる。変換段階２１２における変換は、逆に行うことが可能である。すなわち、符号器は、変換の逆操作（「逆変換」と呼ばれる）によって残差ＢＰＵ２１０を復元することができる。例えば、残差ＢＰＵ２１０のピクセルを復元するために、逆変換は、基底パターンの対応するピクセルの値を、関連するそれぞれの係数で乗算し、積を加算して加重和を生み出すこと、とすることができる。映像コード化規格では、符号器及び復号器の両方が同じ変換アルゴリズム（したがって同じ基底パターン）を使用することができる。したがって、符号器は、変換係数のみを記録することができ、復号器は、符号器から基底パターンを受信することなく、変換係数から残差ＢＰＵ２１０を再構築することができる。残差ＢＰＵ２１０と比較して、変換係数は、より少ないビット数とすることができ、著しい品質の劣化なしに残差ＢＰＵ２１０を再構築するためにそれらを使用することができる。このようにして、残差ＢＰＵ２１０がさらに圧縮される。

[0066] 符号器は、量子化段階２１４において変換係数をさらに圧縮することができる。変換プロセスでは、様々な基底パターンが様々な変動周波数（例えば、輝度変動周波数）を表すことができる。人間の目は、概して、低周波変動の方が良く認識できるため、符号器は、復号化の際に著しい品質劣化を引き起こすことなく、高周波変動の情報を無視することができる。例えば、量子化段階２１４において、符号器は、各変換係数を整数値（「量子化スケール因子」と呼ばれる）で除算し、商をその最も近い整数に丸めることにより、量子化された変換係数２１６を生成することができる。このような操作後、高周波基底パターンのいくつかの変換係数をゼロに変換することができ、低周波基底パターンの変換係数をより小さい整数に変換することができる。符号器は、ゼロ値の量子化された変換係数２１６を無視することができ、これにより、変換係数がさらに圧縮される。量子化プロセスもまた逆に行うことが可能であり、その場合、量子化された変換係数２１６は、量子化の逆操作（「逆量子化」と呼ばれる）で変換係数に再構築することができる。

[0067] 符号器は、丸め操作でのこのような除算の剰余を無視するため、量子化段階２１４は、不可逆となり得る。通常、量子化段階２１４は、プロセス２００Ａにおける最大の情報損失の原因となる可能性がある。情報損失が大きいほど、量子化された変換係数２１６が必要とし得るビット数が少なくなる。様々なレベルの情報損失を取得するために、符号器は、様々な値の量子化パラメータ又は量子化プロセスの任意の他のパラメータを使用することができる。

[0068] バイナリコード化段階２２６において、符号器は、例えば、エントロピーコード化、可変長コード化、算術コード化、ハフマンコード化、コンテキスト適応バイナリ算術コード化、又は任意の他の可逆若しくは不可逆圧縮アルゴリズムといったような、バイナリコード化技法を使用して、予測データ２０６及び量子化された変換係数２１６を符号化することができる。いくつかの実施形態では、予測データ２０６及び量子化された変換係数２１６に加えて、符号器は、バイナリコード化段階２２６において、例えば、予測段階２０４で使用される予測モード、予測操作のパラメータ、変換段階２１２における変換のタイプ、量子化プロセスのパラメータ（例えば、量子化パラメータ）、符号器制御パラメータ（例えば、ビットレート制御パラメータ）、などといったような、他の情報を符号化することができる。符号器は、バイナリコード化段階２２６の出力データを使用して、映像ビットストリーム２２８を生成することができる。いくつかの実施形態では、映像ビットストリーム２２８は、ネットワーク伝送のためにさらにパケット化することができる。

[0069] プロセス２００Ａの再構築経路を参照すると、逆量子化段階２１８において、符号器は、量子化された変換係数２１６に対して逆量子化を実行して、再構築された変換係数を生成することができる。逆変換段階２２０において、符号器は、再構築された変換係数に基づいて、再構築された残差ＢＰＵ２２２を生成することができる。符号器は、再構築された残差ＢＰＵ２２２を、予測されたＢＰＵ２０８に加算して、プロセス２００Ａの次の反復で使用される予測基準２２４を生成することができる。

[0070] プロセス２００Ａの他の変形例を使用して、映像シーケンス２０２を符号化することが可能であることに留意されたい。いくつかの実施形態では、プロセス２００Ａの各段階は、符号器によって異なる順序で実行することができる。いくつかの実施形態では、プロセス２００Ａの１つ又は複数の段階は、単一の段階にまとめることができる。いくつかの実施形態では、プロセス２００Ａの単一の段階は、複数の段階に分割することができる。例えば、変換段階２１２と量子化段階２１４とを単一の段階にまとめることができる。いくつかの実施形態では、プロセス２００Ａは、追加の段階を含むことができる。いくつかの実施形態では、プロセス２００Ａは、図２Ａの１つ又は複数の段階を省略することができる。

[0071] 図２Ｂは、本開示の実施形態と合致する符号化プロセス２００Ｂの別の例の概略図を示す。プロセス２００Ｂは、プロセス２００Ａから修正することができる。例えば、プロセス２００Ｂは、ハイブリッド映像コード化規格（例えば、Ｈ．２６ｘシリーズ）に準拠する符号器によって使用することができる。プロセス２００Ａと比較して、プロセス２００Ｂの順方向経路は、モード判定段階２３０を追加で含み、予測段階２０４を空間的予測段階２０４２と、時間的予測段階２０４４と、に分割する。プロセス２００Ｂの再構築経路は、ループフィルタ段階２３２及びバッファ２３４を追加で含む。

[0072] 概して、予測技法は、空間的予測及び時間的予測の２つのタイプに分類することができる。空間的予測（例えば、イントラピクチャ予測又は「イントラ予測」）は、同じピクチャ内のすでにコード化された１つ又は複数の隣接するＢＰＵからのピクセルを使用して、現ＢＰＵを予測することができる。すなわち、空間的予測における予測基準２２４は、隣接するＢＰＵを含むことができる。空間的予測は、ピクチャに固有の空間的冗長性を低減することができる。時間的予測（例えば、インターピクチャ予測又は「インター予測」）は、すでにコード化された１つ又は複数のピクチャからの領域を使用して、現ＢＰＵを予測することができる。すなわち、時間的予測における予測基準２２４は、コード化されたピクチャを含むことができる。時間的予測は、ピクチャに固有の時間的冗長性を低減することができる。

[0073] プロセス２００Ｂを参照すると、順方向経路において、符号器は、空間的予測段階２０４２及び時間的予測段階２０４４で予測操作を実行する。例えば、空間的予測段階２０４２では、符号器は、イントラ予測を実行することができる。符号化されているピクチャの元のＢＰＵでは、予測基準２２４は、同じピクチャ内の（順方向経路で）符号化され、（再構築された経路で）再構築されている１つ又は複数の隣接するＢＰＵを含むことができる。符号器は、隣接するＢＰＵを外挿することにより、予測されたＢＰＵ２０８を生成することができる。外挿技法は、例えば、線形外挿又は直線補間、多項式外挿又は多項式補間などを含むことができる。いくつかの実施形態では、符号器は、予測されたＢＰＵ２０８のピクセルごとに対応するピクセルの値を外挿することなどによって、ピクセルレベルで外挿を実行することができる。外挿に使用される隣接するＢＰＵは、垂直方向に（例えば、元のＢＰＵの上に）、水平方向に（例えば、元のＢＰＵの左に）、対角線方向に（例えば、元のＢＰＵの左下、右下、左上、若しくは右上に）、又は使用される映像コード化規格で定義される任意の方向に、といったような、様々な方向から元のＢＰＵに対して位置し得る。イントラ予測では、予測データ２０６は、例えば、使用される隣接するＢＰＵの位置（例えば、座標）、使用される隣接するＢＰＵのサイズ、外挿のパラメータ、元のＢＰＵに対する使用される隣接するＢＰＵの方向などを含むことができる。

[0074] 別の例では、時間的予測段階２０４４において、符号器は、インター予測を実行することができる。現ピクチャの元のＢＰＵでは、予測基準２２４は、（順方向経路で）符号化され、（再構築された経路で）再構築されている１つ又は複数のピクチャ（「参照ピクチャ」と呼ばれる）を含むことができる。いくつかの実施形態では、参照ピクチャをＢＰＵごとに符号化し、再構築することができる。例えば、符号器は、再構築された残差ＢＰＵ２２２を予測されたＢＰＵ２０８に加算して、再構築されたＢＰＵを生成することができる。同じピクチャの再構築されたＢＰＵがすべて生成されると、符号器は、参照ピクチャとして再構築されたピクチャを生成することができる。符号器は、「動き推定」の操作を実行して、参照ピクチャ内のある範囲（「探索窓」と呼ばれる）において一致領域を探索することができる。参照ピクチャ内の探索窓の位置は、現ピクチャ内の元のＢＰＵの位置に基づいて決定することができる。例えば、探索窓は、参照ピクチャ内で、現ピクチャ内の元のＢＰＵと同じ座標を有する位置に中心を置くことができ、所定の距離にわたって広げることができる。符号器が探索窓内で元のＢＰＵと同様の領域を（例えば、画素再帰アルゴリズム、ブロックマッチングアルゴリズム、などを使用することによって）識別すると、符号器は、このような領域を一致領域として決定することができる。一致領域は、元のＢＰＵとは異なる寸法（例えば、それよりも小さい、等しい、大きい又は異なる形状）を有することができる。参照ピクチャ及び現ピクチャは、（例えば、図１に示されているように）タイムライン内で時間的に隔てられているため、時間が経つにつれて一致領域が元のＢＰＵの位置に「移動する」と見なすことができる。符号器は、このような動きの方向及び距離を「動きベクトル」として記録することができる。（例えば、図１のピクチャ１０６のように）複数の参照ピクチャが使用されるとき、符号器は、それぞれの参照ピクチャごとに一致領域を探索し、その関連する動きベクトルを求めることができる。いくつかの実施形態では、符号器は、それぞれの一致する参照ピクチャの一致領域のピクセル値に重みを割り当てることができる。

[0075] 動き推定を使用して、例えば、平行移動、回転、拡大縮小、などといったような、様々なタイプの動きを識別することができる。インター予測では、予測データ２０６は、例えば、一致領域の位置（例えば、座標）、一致領域に関連する動きベクトル、参照ピクチャの数、参照ピクチャに関連する重み、などを含むことができる。

[0076] 予測されたＢＰＵ２０８を生成するために、符号器は、「動き補償」の操作を実行することができる。動き補償を使用して、予測データ２０６（例えば、動きベクトル）及び予測基準２２４に基づき、予測されたＢＰＵ２０８を再構築することができる。例えば、符号器は、動きベクトルに従って参照ピクチャの一致領域を動かすことができ、その場合、符号器は、現ピクチャの元のＢＰＵを予測することができる。（例えば、図１のピクチャ１０６のように）複数の参照ピクチャが使用されるとき、符号器は、それぞれの動きベクトルに従って参照ピクチャの一致領域を動かし、一致領域のピクセル値を平均することができる。いくつかの実施形態では、符号器が、それぞれの一致する参照ピクチャの一致領域のピクセル値に重みを割り当てた場合、符号器は、動かした一致領域のピクセル値の加重和を加算することができる。

[0077] いくつかの実施形態では、インター予測は、片方向又は双方向とすることができる。片方向インター予測は、現ピクチャに対して同じ時間的方向にある１つ又は複数の参照ピクチャを使用することができる。例えば、図１のピクチャ１０４は片方向インター予測されたピクチャであり、参照ピクチャ（例えば、ピクチャ１０２）がピクチャ１０４に先行する。双方向インター予測は、現ピクチャに対して両方の時間的方向にある１つ又は複数の参照ピクチャを使用することができる。例えば、図１のピクチャ１０６は双方向インター予測されたピクチャであり、参照ピクチャ（例えば、ピクチャ１０４及び１０８）がピクチャ１０４に対して両方の時間的方向にある。

[0078] プロセス２００Ｂの順方向経路を引き続き参照すると、空間的予測２０４２及び時間的予測段階２０４４の後、モード判定段階２３０において、符号器は、プロセス２００Ｂの現在の反復のための予測モード（例えば、イントラ予測又はインター予測のうちの１つ）を選択することができる。例えば、符号器は、レート歪み最適化技法を実行することができ、その場合、符号器は、候補予測モードのビットレート及び候補予測モード下の再構築された参照ピクチャの歪みに応じて、予測モードを選択して、コスト関数の値を最小化することができる。選択された予測モードに応じて、符号器は、対応する予測されたＢＰＵ２０８及び予測されたデータ２０６を生成することができる。

[0079] プロセス２００Ｂの再構築経路において、順方向経路内でイントラ予測モードが選択されている場合、予測基準２２４（例えば、現ピクチャ内で符号化され、再構築されている現ＢＰＵ）を生成した後、符号器は、後で使用するために（例えば、現ピクチャの次のＢＰＵを外挿するために）、予測基準２２４を空間的予測段階２０４２に直接供給することができる。符号器は、予測基準２２４をループフィルタ段階２３２に供給することができ、この段階で、符号器は、ループフィルタを予測基準２２４に適用して、予測基準２２４のコード化の間に引き起こされる歪み（例えば、ブロッキングアーティファクト）を低減又は除去することができる。符号器はループフィルタ段階２３２で、例えば、デブロッキング、サンプル適応オフセット、適応ループフィルタ、などといったような、様々なループフィルタ技法を適用することができる。ループフィルタされた参照ピクチャは、後で使用するために（例えば、映像シーケンス２０２のこの先のピクチャのためのインター予測参照ピクチャとして使用するために）、バッファ２３４（又は「復号化されたピクチャバッファ」）内に記憶することができる。符号器は、１つ又は複数の参照ピクチャをバッファ２３４内に記憶して、時間的予測段階２０４４で使用することができる。いくつかの実施形態では、符号器は、量子化された変換係数２１６、予測データ２０６、及びその他の情報とともに、バイナリコード化段階２２６でループフィルタのパラメータ（例えば、ループフィルタの強度）を符号化することができる。

[0080] 図３Ａは、本開示の実施形態と合致する復号化プロセス３００Ａの一例の概略図を示す。プロセス３００Ａは、図２Ａにおける圧縮プロセス２００Ａに対応する解凍プロセスとすることができる。いくつかの実施形態では、プロセス３００Ａは、プロセス２００Ａの再構築経路と同様とすることができる。復号器は、プロセス３００Ａに従って映像ビットストリーム２２８を映像ストリーム３０４に復号化することができる。映像ストリーム３０４は、映像シーケンス２０２と非常に類似したものとすることができる。しかしながら、圧縮及び解凍プロセス（例えば、図２Ａ～図２Ｂの量子化段階２１４）における情報損失により、概して、映像ストリーム３０４は、映像シーケンス２０２と同一ではない。図２Ａ～図２Ｂのプロセス２００Ａ及び２００Ｂと同様に、復号器は、映像ビットストリーム２２８内で符号化されるそれぞれのピクチャごとに、基本処理単位（ＢＰＵ）のレベルでプロセス３００Ａを実行することができる。例えば、復号器は、プロセス３００Ａを反復して実行することができ、その場合、復号器は、プロセス３００Ａの１回の反復において基本処理単位を復号化することができる。いくつかの実施形態では、復号器は、映像ビットストリーム２２８内で符号化されるそれぞれのピクチャの領域（例えば、領域１１４～１１８）に対してプロセス３００Ａを並列に実行することができる。

[0081] 図３Ａでは、復号器は、符号化されたピクチャの基本処理単位（「符号化されたＢＰＵ」と呼ばれる）に関連する映像ビットストリーム２２８の一部分を、バイナリ復号化段階３０２に供給することができる。バイナリ復号化段階３０２において、復号器は、その一部分を予測データ２０６及び量子化された変換係数２１６に復号化することができる。復号器は、量子化された変換係数２１６を逆量子化段階２１８及び逆変換段階２２０に供給して、再構築された残差ＢＰＵ２２２を生成することができる。復号器は、予測データ２０６を予測段階２０４に供給して、予測されたＢＰＵ２０８を生成することができる。復号器は、再構築された残差ＢＰＵ２２２を、予測されたＢＰＵ２０８に加算して、予測基準２２４を生成することができる。いくつかの実施形態では、予測基準２２４は、バッファ（例えば、コンピュータメモリ内の復号化されたピクチャバッファ）内に記憶することができる。復号器は、予測基準２２４を、プロセス３００Ａの次の反復で予測操作を実行するための予測段階２０４に供給することができる。

[0082] 復号器は、プロセス３００Ａを反復的に実行して、符号化されたピクチャのそれぞれの符号化されたＢＰＵを復号化し、符号化されたピクチャの次の符号化されたＢＰＵを符号化するための予測基準２２４を生成することができる。符号化されたピクチャのすべての符号化されたＢＰＵを復号化した後、復号器は、表示するためにピクチャを映像ストリーム３０４に出力し、映像ビットストリーム２２８内の次の符号化されたピクチャの復号化に進むことができる。

[0083] バイナリ復号化段階３０２において、復号器は、符号器によって使用されるバイナリコード化技法（例えば、エントロピーコード化、可変長コード化、算術コード化、ハフマンコード化、コンテキスト適応バイナリ算術コード化、又は任意の他の可逆圧縮アルゴリズム）の逆操作を実行することができる。いくつかの実施形態では、予測データ２０６及び量子化された変換係数２１６に加えて、復号器は、バイナリ復号化段階３０２において、例えば、予測モード、予測操作のパラメータ、変換のタイプ、量子化プロセスのパラメータ（例えば、量子化パラメータ）、符号器制御パラメータ（例えば、ビットレート制御パラメータ）、などといったような、他の情報を復号化することができる。いくつかの実施形態では、映像ビットストリーム２２８がネットワーク上においてパケット単位で伝送される場合、復号器は、映像ビットストリーム２２８をデパケット化してから、それをバイナリ復号化段階３０２に供給することができる。

[0084] 図３Ｂは、本開示の実施形態と合致する復号化プロセス３００Ｂの別の例の概略図を示す。プロセス３００Ｂは、プロセス３００Ａから修正することができる。例えば、プロセス３００Ｂは、ハイブリッド映像コード化規格（例えば、Ｈ．２６ｘシリーズ）に準拠する復号器によって使用することができる。プロセス３００Ａと比較して、プロセス３００Ｂは、予測段階２０４を空間的予測段階２０４２及び時間的予測段階２０４４に追加で分割し、ループフィルタ段階２３２及びバッファ２３４を追加で含む。

[0085] プロセス３００Ｂにおいて、復号化中の符号化されたピクチャ（「現ピクチャ」と呼ばれる）の符号化された基本処理単位（「現ＢＰＵ」と呼ばれる）では、復号器によってバイナリ復号化段階３０２から復号化される予測データ２０６は、現ＢＰＵを符号化するためにどの予測モードが符号器によって使用されたかに応じて、様々なタイプのデータを含むことができる。例えば、現ＢＰＵを符号化するために符号器によってイントラ予測が使用された場合、予測データ２０６は、イントラ予測、イントラ予測操作のパラメータ、などを示す予測モード指標（例えば、フラグ値）を含むことができる。イントラ予測操作のパラメータは、例えば、基準として使用される１つ又は複数の隣接するＢＰＵの位置（例えば、座標）、隣接するＢＰＵのサイズ、外挿のパラメータ、元のＢＰＵに対する隣接するＢＰＵの方向、などを含むことができる。別の例では、現ＢＰＵを符号化するためにインター予測が符号器によって使用された場合、予測データ２０６は、インター予測、インター予測操作のパラメータ、などを示す予測モード指標（例えば、フラグ値）を含むことができる。インター予測操作のパラメータは、例えば、現ＢＰＵに関連する参照ピクチャの数、参照ピクチャにそれぞれ関連する重み、それぞれの参照ピクチャ内の１つ又は複数の一致領域の位置（例えば、座標）、一致領域にそれぞれ関連する１つ又は複数の動きベクトル、などを含むことができる。

[0086] 予測モード指標に基づき、復号器は、空間的予測段階２０４２で空間的予測（例えば、イントラ予測）を実行するのか、又は時間的予測段階２０４４で時間的予測（例えば、インター予測）を実行するのか、を判定することができる。このような空間的予測又は時間的予測の実行の詳細は、図２Ｂで説明しているので、以下では繰り返さない。このような空間的予測又は時間的予測を実行した後、復号器は、予測されたＢＰＵ２０８を生成することができる。図３Ａで説明したように、復号器は、予測されたＢＰＵ２０８と、再構築された残差ＢＰＵ２２２とを加算して、予測基準２２４を生成することができる。

[0087] プロセス３００Ｂにおいて、復号器は、予測基準２２４を、プロセス３００Ｂの次の反復で予測操作を実行するための空間的予測段階２０４２又は時間的予測段階２０４４に供給することができる。例えば、現ＢＰＵが空間的予測段階２０４２においてイントラ予測を使用して復号化される場合、予測基準２２４（例えば、復号化された現ＢＰＵ）を生成した後、復号器は、後で使用するために（例えば、現ピクチャの次のＢＰＵを外挿するために）、予測基準２２４を空間的予測段階２０４２に直接供給することができる。現ＢＰＵが時間的予測段階２０４４においてインター予測を使用して復号化される場合、予測基準２２４（例えば、すべてのＢＰＵが復号化されている参照ピクチャ）を生成した後、復号器は、予測基準２２４をループフィルタ段階２３２に供給して、歪み（例えば、ブロッキングアーティファクト）を低減又は除去することができる。復号器は、図２Ｂで説明したやり方で予測基準２２４にループフィルタを適用することができる。ループフィルタされた参照ピクチャは、後で使用するために（例えば、映像ビットストリーム２２８のこの先の符号化されたピクチャのためのインター予測参照ピクチャとして使用するために）バッファ２３４（例えば、コンピュータメモリ内の復号化されたピクチャバッファ）内に記憶することができる。復号器は、１つ又は複数の参照ピクチャをバッファ２３４内に記憶して、時間的予測段階２０４４で使用することができる。いくつかの実施形態では、予測データは、ループフィルタのパラメータ（例えば、ループフィルタの強度）をさらに含むことができる。いくつかの実施形態では、予測データ２０６の予測モード指標が、現ＢＰＵを符号化するためにインター予測が使用されたことを示すとき、予測データは、ループフィルタのパラメータを含む。

[0088] 図４は、本開示の実施形態と合致する、映像を符号化又は復号化するための装置４００の一例のブロック図である。図４に示されているように、装置４００は、プロセッサ４０２を含むことができる。プロセッサ４０２が本明細書に記載の命令を実行するとき、装置４００は、映像符号化又は復号化のための専用機器となることができる。プロセッサ４０２は、情報を取り扱い又は処理することが可能な任意のタイプの回路類とすることができる。例えば、プロセッサ４０２は、任意の数の中央処理ユニット（すなわち「ＣＰＵ」）、グラフィックス処理ユニット（すなわち「ＧＰＵ」）、ニューラル処理ユニット（「ＮＰＵ」）、マイクロコントローラユニット（「ＭＣＵ」）、光プロセッサ、プログラマブル論理コントローラ、マイクロコントローラ、マイクロプロセッサ、デジタル信号プロセッサ、アイピー（ＩＰ：Intellectual Property）コア、プログラマブル論理アレイ（ＰＬＡ）、プログラマブルアレイ論理（ＰＡＬ）、汎用アレイ論理（ＧＡＬ）、複合プログラマブル論理デバイス（ＣＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、システムオンチップ（ＳｏＣ）、特定用途向け集積回路（ＡＳＩＣ）、などの任意の組み合わせを含むことができる。いくつかの実施形態では、プロセッサ４０２は、単一の論理構成要素としてグループ化されるプロセッサのセットとすることもまた可能である。例えば、図４に示されているように、プロセッサ４０２は、プロセッサ４０２ａと、プロセッサ４０２ｂと、プロセッサ４０２ｎと、を含む複数のプロセッサを含むことができる。

[0089] 装置４００は、データ（例えば、命令、コンピュータコード、中間データ、などのセット）を記憶するように構成されたメモリ４０４もまた含むことができる。例えば、図４に示されているように、記憶されたデータは、プログラム命令（例えば、プロセス２００Ａ、２００Ｂ、３００Ａ、又は３００Ｂにおける段階を実装するためのプログラム命令）及び処理用データ（例えば、映像シーケンス２０２、映像ビットストリーム２２８、又は映像ストリーム３０４）を含むことができる。プロセッサ４０２は、プログラム命令及び処理用データに（例えば、バス４１０を介して）アクセスし、プログラム命令を実行して、処理用データに対する操作又は取り扱いを実行することができる。メモリ４０４は、高速ランダムアクセス記憶デバイス又は不揮発性記憶デバイスを含むことができる。いくつかの実施形態では、メモリ４０４は、任意の数のランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、光学ディスク、磁気ディスク、ハードドライブ、ソリッドステートドライブ、フラッシュドライブ、セキュリティデジタル（ＳＤ）カード、メモリスティック、コンパクトフラッシュ（登録商標）（ＣＦ）カード、などの任意の組み合わせを含むことができる。メモリ４０４は、単一の論理構成要素としてグループ化されたメモリの群（図４には示されていない）とすることもまた可能である。

[0090] バス４１０は、内蔵バス（例えば、ＣＰＵメモリバス）、外付けバス（例えば、ＵＳＢ（Universal Serial Bus）ポート、ＰＣＩ（Peripheral Component Interconnect）エクスプレスポート）、などといったような、装置４００内の構成要素間でデータを転送する通信デバイスとすることができる。

[0091] 曖昧さを招くことなく説明を分かり易くするために、プロセッサ４０２及び他のデータ処理回路は、本開示では、総称して「データ処理回路」と呼ばれる。データ処理回路は、完全にハードウェアとして、又はソフトウェア、ハードウェア、若しくはファームウェアの組み合わせとして実装することができる。加えて、データ処理回路は、単一の独立したモジュールとすることもできるし、或いは、装置４００の任意の他の構成要素に完全に、若しくは部分的にまとめることもできる。

[0092] 装置４００は、ネットワーク（例えば、インターネット、イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、など）との有線通信又はワイヤレス通信を提供するためにネットワークインタフェース４０６をさらに含むことができる。いくつかの実施形態では、ネットワークインタフェース４０６は、任意の数のネットワークインタフェースコントローラ（ＮＩＣ）、無線周波数（ＲＦ）モジュール、トランスポンダ、トランシーバ、モデム、ルータ、ゲートウェイ、有線ネットワークアダプタ、ワイヤレスネットワークアダプタ、Bluetooth（登録商標）アダプタ、赤外線アダプタ、近距離無線通信（「ＮＦＣ」）アダプタ、セルラネットワークチップ、などの任意の組み合わせを含むことができる。

[0093] いくつかの実施形態では、任意選択的に、装置４００は、１つ又は複数の周辺デバイスへの接続を提供するために周辺機器インタフェース４０８をさらに含むことができる。図４に示されているように、周辺デバイスは、カーソル制御デバイス（例えば、マウス、タッチパッド、又はタッチスクリーン）、キーボード、ディスプレイ（例えば、ブラウン管ディスプレイ、液晶ディスプレイ、又は発光ダイオードディスプレイ）、映像入力デバイス（例えば、映像アーカイブに結合されたカメラ又は入力インタフェース）、などを含むことができるが、これらに限定されない。

[0094] 映像コーデック（例えば、プロセス２００Ａ、２００Ｂ、３００Ａ、又は３００Ｂを実行するコーデック）は、装置４００内の任意のソフトウェア又はハードウェアモジュールの任意の組み合わせとして実装できることに留意されたい。例えば、プロセス２００Ａ、２００Ｂ、３００Ａ、又は３００Ｂのいくつかの段階又はすべての段階は、メモリ４０４にロード可能なプログラム命令などの、装置４００の１つ又は複数のソフトウェアモジュールとして実装することができる。別の例では、プロセス２００Ａ、２００Ｂ、３００Ａ、又は３００Ｂのいくつかの段階又はすべての段階は、専用データ処理回路（例えば、ＦＰＧＡ、ＡＳＩＣ、ＮＰＵ、など）といった、装置４００の１つ又は複数のハードウェアモジュールとして実装することができる。

[0095] 図５は、パレットモードでコード化されたＣＵを図示したものである。ＶＶＣドラフト８では、パレットモードは、単色、４：２：０、４：２：２及び４：４：４のカラー形式で使用することができる。パレットモードが有効化されているとき、ＣＵサイズが６４ｘ６４以下であり、パレットモードが使用されているかどうかを表示するサンプルが１６個よりも多い場合、フラグがＣＵレベルで送信される。パレットモードが（現）ＣＵ５００のコード化に利用されている場合、ＣＵ内の各位置におけるサンプル値は、代表カラー値のスモールセットによって表される。このセットは、パレット５１０と呼ばれる。パレットカラー５０１、５０２、５０３に近似する値を有するサンプル位置について、対応するパレットインデックスがシグナリングされる。エスケープインデックス５０４をシグナリングすることによって、パレット外のカラー値を指定することもまた可能である。次に、エスケープカラーインデックスを使用するＣＵ内のすべての位置について、（量子化された）カラー成分値が、これらのそれぞれの位置ごとにシグナリングされる。

[0096] パレットのコード化のために、パレット予測子が維持される。図６は、各コード化単位６００を符号化した後にパレット予測子を更新するための例示的なプロセスを示す。予測子は、非ウェーブフロントの場合には各スライスの始めに、ウェーブフロントの場合には各ＣＴＵ行の始めに０（すなわち、空）に初期化される。パレット予測子のエントリごとに、それを現ＣＵの現パレットに含めるかどうかを表示するために再利用フラグがシグナリングされる。再利用フラグは、ゼロのランレングスコード化を使用して送られる。この後、新たなパレットエントリの数、及び新たなパレットエントリの成分値がシグナリングされる。パレットコード化されたＣＵを符号化した後、パレット予測子は、現パレットを使用して更新されることになり、現パレットで再利用されない前のパレット予測子からのエントリは、許容される最大サイズに達するまで、新たなパレット予測子の末尾で追加される。

[0097] エスケープフラグがＣＵごとにシグナリングされ、エスケープ記号が現ＣＵ内に存在するかどうかを表示する。エスケープ記号が存在する場合、パレットテーブルは、エスケープ記号となるように割り当てられた最後の１つのインデックスによって拡張される。図５の例に示されているように、ＣＵ内のサンプルのパレットインデックスは、パレットインデックスマップを形成している。インデックスマップは、水平横断スキャン又は垂直横断スキャンを使用してコード化されている。スキャン順序は、palette_transpose_flagを使用して、ビットストリームで明確にシグナリングされる。パレットインデックスマップは、インデックス実行モード又はインデックスコピーモードを使用してコード化される。

[0098] ＶＶＣドラフト８では、デブロッキングフィルタプロセスは、ブロックの境界を定義すること、定義されたブロックの境界に沿って隣接する２つのブロックのコード化モードに基づいて境界フィルタ強度を導出すること、フィルタの対象となるサンプルの数を導出すること、及びデブロッキングフィルタをサンプルに適用することを含む。エッジがコード化単位、コード化サブブロック単位、又は変換単位の境界であるとき、そのエッジをブロックの境界として定義する。次に、以下の６つの規則に従って、隣接する２つのブロックのコード化モードに基づいて、境界フィルタ強度を計算する。（１）２つのコード化ブロックが両方ともＢＤＰＣＭモードでコード化されている場合、境界フィルタ強度は０に設定される。（２）そうでない場合、コード化ブロックの一方がイントラモードでコード化されている場合、境界フィルタ強度は２に設定される。（３）そうでない場合、コード化ブロックの一方がＣＩＩＰモードでコード化されている場合、境界フィルタ強度は２に設定される。（４）そうでない場合、コード化ブロックの一方が、１つ又は複数の非ゼロ係数レベルを含んでいる場合、境界フィルタ強度は１に設定される。（５）そうでない場合、ブロックの一方がＩＢＣモードでコード化され、もう一方のブロックがインターモードでコード化されている場合、境界フィルタ強度は１に設定される。（６）そうでない場合（２つのブロックの両方がＩＢＣモード又はインターモードでコード化されている）、２つのブロックの参照ピクチャ及び動きベクトルを使用して、境界フィルタ強度を導出する。

[0099] ＶＶＣドラフト８では、境界フィルタ強度を計算するプロセスがより詳細に記載されている。具体的には、ＶＶＣドラフト８では、８つの順次の、網羅的なシナリオが与えられている。シナリオ１では、cIdxが０に等しく、サンプルｐ０及びｑ０の両方が、intra_bdpcm_luma_flagが１に等しいコード化ブロックにある場合、bS[xDi][yDj]は、０に等しく設定される。そうでない場合、シナリオ２において、cIdxが０よりも大きく、サンプルｐ０及びｑ０の両方が、intra_bdpcm_chroma_flagが１に等しいコード化ブロックにある場合、bS[xDi][yDj]は、０に等しく設定される。そうでない場合、シナリオ３において、サンプルｐ０又はｑ０がイントラ予測モードを用いてコード化されたコード化単位のコード化ブロックにある場合、bS[xDi][yDj]は、２に等しく設定される。そうでない場合、シナリオ４において、ブロックエッジがコード化ブロックのエッジでもあり、サンプルｐ０又はｑ０が、ciip_flagが１に等しいコード化ブロックにある場合、bS[xDi][yDj]は、２に等しく設定される。そうでない場合、シナリオ５において、ブロックエッジが変換ブロックのエッジでもあり、サンプルｐ０又はｑ０が、１つ又は複数の非ゼロ変換係数レベルを含んでいる変換ブロックにある場合、bS[xDi][yDj]は、１に等しく設定される。そうでない場合、シナリオ６において、サンプルｐ０を含んでいるコード化サブブロックの予測モードが、サンプルｑ０を含んでいるコード化サブブロックの予測モードとは異なる（すなわち、コード化サブブロックのうちの一方がＩＢＣ予測モードでコード化されており、もう一方がインター予測モードでコード化されている）場合、bS[xDi][yDj]は、１に等しく設定される。

[0100] そうでない場合、シナリオ７において、cIdxが０に等しく、edgeFlags[xDi][yDj]が２に等しく、以下の条件のうちの１つ又は複数が、真である場合、bS[xDi][yDj]は、１に等しく設定される。

[0101] 条件（１）：サンプルｐ０を含んでいるコード化サブブロック、及びサンプルｑ０を含んでいるコード化サブブロックの両方が、ＩＢＣ予測モードでコード化されており、２つのコード化サブブロックの予測で使用されるブロックベクトルの水平成分又は垂直成分の間の絶対差が、１／１６ルマサンプル単位で８以上である。

[0102] 条件（２）：サンプルｐ０を含んでいるコード化サブブロックの予測に対して、サンプルｑ０を含んでいるコード化サブブロックの予測に対するのとは異なる参照ピクチャ、又は異なる数の動きベクトルが使用される。条件（２）については、２つのコード化サブブロックに使用される参照ピクチャが同じか、異なるかの判定は、予測が参照ピクチャリスト０へのインデックスを使用して形成されるのか、参照ピクチャリスト１へのインデックスを使用して形成されるのかに関係なく、また、参照ピクチャリスト内のインデックス位置が異なっているかどうかに関係なく、どのピクチャが参照されているかだけに基づくことに留意されたい。また、条件（２）についても、左上サンプルが(xSb,ySb)をカバーするコード化サブブロックの予測に使用される動きベクトルの数は、PredFlagL0[xSb][ySb]+PredFlagL1[xSb][ySb]に等しいことに留意されたい。

[0103] 条件（３）：１つの動きベクトルが、サンプルｐ０を含んでいるコード化サブブロックを予測するために使用され、１つの動きベクトルが、サンプルｑ０を含んでいるコード化サブブロックを予測するために使用され、使用される動きベクトルの水平成分又は垂直成分の間の絶対差は、１／１６ルマサンプル単位で８以上である。

[0104] 条件（４）：２つの動きベクトル及び２つの異なる参照ピクチャが、サンプルｐ０を含んでいるコード化サブブロックを予測するために使用され、同じ２つの参照ピクチャの２つの動きベクトルが、サンプルｑ０を含んでいるコード化サブブロックを予測するために使用され、同じ参照ピクチャの２つのコード化サブブロックの予測で使用される２つの動きベクトルの水平成分又は垂直成分の間の絶対差は、１／１６ルマサンプル単位で８以上である。

[0105] 条件（５）：同じ参照ピクチャの２つの動きベクトルが、サンプルｐ０を含んでいるコード化サブブロックを予測するために使用され、同じ参照ピクチャの２つの動きベクトルが、サンプルｑ０を含んでいるコード化サブブロックを予測するために使用され、以下の条件が両方とも真である。条件（５．１）：２つのコード化サブブロックの予測で使用されるリスト０の動きベクトルの水平成分又は垂直成分の間の絶対差は、１／１６ルマサンプル単位で８以上であるか、或いは、２つのコード化サブブロックの予測で使用されるリスト１の動きベクトルの水平成分又は垂直成分の間の絶対差は、１／１６ルマサンプル単位で８以上である。条件（５．２）：サンプルｐ０を含んでいるコード化サブブロックの予測で使用されるリスト０の動きベクトルと、サンプルｑ０を含んでいるコード化サブブロックの予測で使用されるリスト１の動きベクトルと、の水平成分又は垂直成分の間の絶対差は、１／１６ルマサンプル単位で８以上であるか、或いは、サンプルｐ０を含んでいるコード化サブブロックの予測で使用されるリスト１の動きベクトルと、サンプルｑ０を含んでいるコード化サブブロックの予測で使用されるリスト０の動きベクトルと、の水平成分又は垂直成分の間の絶対差は、１／１６ルマサンプル単位で８以上である。

[0106] そうでない場合、つまり前述の７つのシナリオがどれも満たされない場合、シナリオ８において、変数bS[xDi][yDj]が０に等しく設定される。境界フィルタ強度を導出した後に、フィルタの対象となるサンプルの数が導出され、デブロッキングフィルタがサンプルに適用される。ブロックがパレットモードでコード化されたとき、サンプルの数は０に等しく設定されることに留意されたい。これは、デブロッキングフィルタが、パレットモードでコード化されたブロックに適用されないことを意味する。

[0107] 前述したように、ブロックの現パレットの構造は、２つの部分を含んでいる。第１に、現パレット内のエントリは、パレット予測子から予測することができる。パレット予測子のエントリごとに、再利用フラグがシグナリングされ、このエントリが現パレットに含まれるか否かを表示する。第２に、現パレットエントリの成分値は、直接シグナリングすることができる。現パレットを得た後、パレット予測子は、現パレットを使用して更新される。図７は、ＶＶＣドラフト８の節７．３．１０．６（「パレットコード化シンタックス」）の一部分を示す。パレットコード化ブロックのシンタックスを構文解析するとき、再利用フラグ（すなわち、図７の「palette_predictor_run」７０１）が最初に復号化され、その後に続いて、新たなパレットエントリの成分値（すなわち、図７の「num_signalled_palette_entries」７０２及び「new_palette_entries」７０３）が、復号化される。ＶＶＣドラフト８では、再利用フラグを構文解析する前に、パレット予測子のエントリ（すなわち、図７の「PredictorPaletteSize[startComp]」７０４）の数を知っておくことが必要である。それは、隣接する２つのブロックが両方ともパレットモードでコード化されているとき、第２のブロックのシンタックスは、第１のブロックのパレット予測子の更新プロセスが終了するまで構文解析できないことを意味する。

[0108] しかしながら、従来のパレット予測子の更新プロセスでは、各エントリの再利用フラグを検査することが必要とされる。より悪いシナリオでは、最大６３回もの検査が必要である。これらの従来の設計は、少なくとも次の２つの理由でハードウェアフレンドリでない場合がある。第１に、コンテキスト適応的二進算術符号化（ＣＡＢＡＣ：Context-based Adaptive Binary Arithmetic Coding）構文解析は、パレット予測子が完全に更新されるまで待つ必要がある。通常、ＣＡＢＡＣ構文解析は、ハードウェアで最も遅いモジュールである。これにより、ＣＡＢＡＣの処理能力が低減する場合がある。第２に、パレット予測子更新プロセスをＣＡＢＡＣ構文解析段階で実装すると、ハードウェアに負担がかかる場合がある。

[0109] 加えて、これらの従来の設計の別の課題は、境界フィルタ強度がパレットモードに対して定義されないことである。隣接するブロックのうちの一方がパレットモードでコード化されており、もう一方の隣接するブロックが、ＩＢＣモード又はインターモードでコード化されているとき、境界フィルタ強度は定義されない。

[0110] 本開示の実施形態は、上述した１つ又は複数の課題の解決に取り組むための実装形態を提供する。これらの実施形態は、パレット予測子更新プロセスを改良し、上述したパレット予測プロセス、又は同様のプロセスを実装するシステムの効率、速度、及びリソース消費を高める場合がある。

[0111] いくつかの実施形態では、パレット予測子更新プロセスを簡素化して、その複雑さを低減することにより、ハードウェアリソースを他の目的のために使えるようにする。図８は、本開示の実施形態による、パレット予測子更新プロセス８００のフローチャートを示す。方法８００は、符号器によって（例えば、図２Ａのプロセス２００Ａ又は図２Ｂの２００Ｂにより）、又は復号器によって（例えば、図３Ａのプロセス３００Ａ又は図３Ｂの３００Ｂにより）実行することができるし、或いは、装置（例えば、図４の装置４００）の１つ又は複数のソフトウェア若しくはハードウェア構成要素によって実行することができる。例えば、プロセッサ（例えば、図４のプロセッサ４０２）は、方法８００を実行することができる。いくつかの実施形態では、方法８００は、コンピュータ（例えば、図４の装置４００）によって実行されるプログラムコードなどのコンピュータ実行可能命令を含む、コンピュータ可読媒体内に具現化されるコンピュータプログラム製品によって実装することができる。図８を参照すると、方法８００は、以下のステップ８０２～８０４を含んでもよい。

[0112] ステップ８０２において、パレット予測子を更新すると、現パレットのすべてのパレットエントリが、新たなパレット予測子の前に第１のエントリのセットとして追加される。ステップ８０４において、前のパレット予測子からのすべてのパレットエントリが、そのエントリが第２のエントリのセットとして現パレットで再利用されるか否かに関わらず、新たなパレット予測子の末尾に追加され、第２のエントリのセットは第１のエントリのセットの後にある。

[0113] 例えば、図９は、図８で説明したプロセスと合致する、簡素化されたパレット予測子更新プロセスを提示している。現パレットは、プロセス９０１及びプロセス９０２によって生成されている。現パレットは、前のパレット予測子から再利用されたエントリ、及びシグナリングされた新たなパレットエントリを含む。プロセス９０３では、現パレットのすべてのパレットエントリが新たなパレット予測子の第１のエントリのセットとして追加される（ステップ８０２に対応）。プロセス９０４において、エントリが現パレットで再利用されるか否かに関わらず、前のパレット予測子からのパレットエントリが新たなパレット予測子の第２のエントリのセットとして追加される（ステップ８０４に対応）。

[0114] 恩恵は、再利用フラグの値を検査せずに、現パレットのサイズ及び前のパレット予測子のサイズを追加することによって、新たなパレット予測子のサイズが計算されることである。更新プロセスは、（図１０に示されているような）ＶＶＣドラフト８の従来の設計よりもはるかに簡素になるので、ＣＡＢＡＣの処理能力を高める可能性がある。

[0115] 例えば、図１１は、本開示の実施形態と合致する、パレットモードの復号化プロセスの一例を示す。図１０の従来の設計と図１１の開示されている設計との間の、削除された部分１１０１を含めた変更点が、取消し線が引かれたテキストで強調されている。

[0116] いくつかの実施形態では、パレット予測子更新プロセスは簡素化されているが、再利用フラグの検査をしないことが原因で、パレット予測子は２つ以上の同一のエントリ（すなわち、パレット予測子の冗長性）を有する場合がある。それでも改良されたとはいえ、これは、パレット予測子の予測効果が低下し得ることを意味する場合がある。

[0117] 図１２は、本開示の実施形態による、別のパレット予測子更新プロセス１２００のフローチャートを示す。方法１２００は、符号器によって（例えば、図２Ａのプロセス２００Ａ又は図２Ｂの２００Ｂにより）、又は復号器によって（例えば、図３Ａのプロセス３００Ａ又は図３Ｂの３００Ｂにより）実行することができるし、或いは、装置（例えば、図４の装置４００）の１つ又は複数のソフトウェア若しくはハードウェア構成要素によって実行することができる。例えば、プロセッサ（例えば、図４のプロセッサ４０２）は、方法１２００を実行することができる。いくつかの実施形態では、方法１２００は、コンピュータ（例えば、図４の装置４００）によって実行されるプログラムコードなどのコンピュータ実行可能命令を含む、コンピュータ可読媒体内に具現化されるコンピュータプログラム製品によって実装することができる。図１２を参照すると、方法１２００は、以下のステップ１２０２～１２０６を含んでもよい。

[0118] この例示的な実施形態では、パレット予測子の冗長性を排除し、パレット予測子更新プロセスを簡素にしておくために、第１の再利用エントリと、最後の再利用エントリとの間の前のパレット予測子のエントリが、直接廃棄される。第１のエントリから第１の再利用エントリまでのエントリ、及び最後の再利用エントリから前のパレット予測子の最後のエントリまでのエントリだけが、新たなパレット予測子に追加される。要約すると、パレット予測子更新プロセスは以下のように修正される。ステップ１２０２において、現パレットの各エントリが、第１のエントリのセットとして新たなパレット予測子に追加される。ステップ１２０４において、前のパレット予測子の第１のエントリから第１の再利用エントリまでの各エントリが、第１のエントリのセットの後に、第２のエントリのセットとして新たなパレット予測子に追加される。ステップ１２０６において、前のパレット予測子の最後の再利用エントリから最後のエントリまでの各エントリが、第２のエントリのセットの後に、第３のエントリのセットとして新たなパレット予測子に追加される。

[0119] 例えば、図１３は、図１２で説明したプロセスと合致する、簡素化されたパレット予測子更新プロセスを提示している。プロセス１３０１において、現パレットのすべてのパレットエントリが、新たなパレット予測子の第１のエントリのセットとしてパレット予測子に追加される（ステップ１２０２に対応）。プロセス１３０２において、前のパレット予測子の第１のエントリから第１の再利用エントリまでの各エントリが、第１のエントリのセットの後に、第２のエントリのセットとして新たなパレット予測子に追加される（ステップ１２０４に対応）。プロセス１３０３において、前のパレット予測子の最後の再利用エントリから最後のエントリまでの各エントリが、第２のエントリのセットの後に、第３のエントリのセットとして新たなパレット予測子に追加される（ステップ１２０６に対応）。いくつかの実施形態では、第３のエントリのセットが第１のエントリのセットの後にあり、第２のエントリのセットが第３のエントリのセットの後にある。

[0120] 第１の再利用エントリ及び最後のエントリは、再利用フラグを構文解析するときに導出可能であることに留意されたい。再利用フラグの値を検査する必要はない。新たなパレット予測子のサイズは、現パレットのサイズ、０から第１の再利用エントリまでのサイズ、及び最後の再利用エントリから最後のエントリまでのサイズを加算することによって計算される。図１４は、本開示の実施形態と合致する、パレットコード化シンタックスの一例を示す。図７の従来の設計と図１４の開示されている設計との間の、追加された部分１４０１を含めた変更点が破線で囲まれている。図１５は、本開示の実施形態と合致する、パレットモードの復号化プロセスの一例を示す。図１０の従来の設計と図１５の開示されている設計との間の、削除された部分１５０１を含めた変更点が、取消し線が引かれたテキストで強調され、追加された部分１５０２が破線で囲まれている。

[0121] 先に開示した実施形態では、パレット予測子更新プロセスは簡素化されているが、このプロセスは、ハードウェア設計のＣＡＢＡＣ構文解析段階で実装することが必要である。いくつかの実施形態では、再利用フラグの数は固定値に設定される。したがって、ＣＡＢＡＣは、パレット予測子更新プロセスを待たずに、構文解析を続けることができる。さらに、パレット予測子更新プロセスは、ＣＡＢＡＣ構文解析段階以外の異なるパイプライン段階で実装することができ、これにより、ハードウェア設計の柔軟性を高めることが可能になる。

[0122] 図１６は、パレットモードの復号器ハードウェア設計を図示したものである。データ構造１６０１及びデータ構造１６０２が、ＣＡＢＡＣ及び復号化パレットピクセルについて例示的に図示されている。復号器ハードウェア設計１６０３は、予測子更新モジュール１６３１、及びＣＡＢＡＣ構文解析モジュール１６３２を含み、予測子更新プロセス及びＣＡＢＡＣ構文解析プロセスは、同時進行している。したがって、ＣＡＢＡＣは、パレット更新プロセスを待たずに、構文解析を続けることができる。

[0123] 再利用フラグの数をそれぞれのコード化ブロックごとに固定値に設定するために、いくつかの実施形態では、パレット予測子のサイズは、非ウェーブフロントの場合には各スライスの初め、及びウェーブフロントの場合には各ＣＴＵ行の初めに事前定義された値に初期化される。事前定義された値は、パレット予測子の最大サイズに設定される。一例では、再利用フラグの数は、スライスタイプ及びデュアルツリーモード設定に応じて、３１又は６３である。スライスタイプがＩスライスであり、デュアルツリーモードがオンである（ケース１と呼ばれる）とき、再利用フラグの数は、３１に設定される。そうでない場合（スライスタイプがＢスライス／Ｐスライスであるか、又は、スライスタイプがＩスライスであり、デュアルツリーモードがオフである（ケース２と呼ばれる））、再利用フラグの数は、６３に設定される。２つのケース以外の数の再利用フラグを使用することができ、ケース１の再利用フラグの数と、ケース２の再利用フラグの数との間が２倍である関係を維持することが有益な場合がある。それに加え、パレット予測子を初期化するとき、各エントリの値及び各成分が、０又は（１＜＜（シーケンスビット深度－１））に設定される。

[0124] 例えば、図１７は、本開示の実施形態と合致する、パレットモードの復号化プロセスの一例を示す。図１０の従来の設計と図１７の開示されている設計との間の、削除された部分１７０１を含めた変更点が、取消し線が引かれたテキストで強調され、追加された部分１７０２が破線で囲まれている。同様に、図１９は、本開示の実施形態と合致する、初期化プロセスの一例を示す。図１８の従来の設計と図１９の開示されている設計との間の、削除された部分１９０１を含めた変更点が、取消し線が引かれたテキストで強調され、追加された部分１９０２が破線で囲まれている。

[0125] いくつかの実施形態では、再利用フラグが固定値に設定されている場合、又は図９の実施形態が実装されている場合、何らかの冗長性がパレット予測子に発生する場合がある。いくつかの実施形態では、それらの冗長なエントリが符号器側で予測に選択されることはないので、これは問題にならない場合がある。パレット予測子更新の例が、図２０、図２１、及び図２２に示されている。図２０は、ＶＶＣドラフト８で指定されている手順に従った一例を示し、図２１は、図９に提案されている方法のいくつかの実装形態（第１の実施形態と呼ばれる）に従った一例を示し、図２２は、再利用フラグが固定値に設定されている実施形態（第３の実施形態と呼ばれる）のいくつかの実装形態に従った別の例を示す。図２０、図２１、及び図２２の比較が示すように、新たなシグナリングされたパレットエントリがないと仮定して、第１の実施形態（図２１）に提案されている方法は、再利用フラグ２１０１をシグナリングするためのビット数を増やすことができるが、他方、第３の実施形態（図２２）に提案されている方法は、ＶＶＣドラフト８の設計における方法（図２０）の再利用フラグ２００１をシグナリングするためのビット数と同じビット数が、再利用フラグ２２０１をシグナリングするために保たれている。

[0126] いくつかの実施形態では、パレット予測子は、最初に固定値に初期化される。それは、パレット予測子に冗長なエントリがあり得ることを意味する。前述したように、冗長なエントリは問題にならない場合もあるが、この実施形態の設計は、符号器がそれらの冗長なエントリを使用するのを防ぐわけではない。符号器がこれらの冗長なエントリのうちの１つを偶然選択した場合、パレット予測子のコード化性能、したがって、パレットモードの性能もまた、低下する可能性がある。このケースを防ぐために、いくつかの実施形態では、再利用フラグをシグナリングするときに、ビットストリーム適合性が追加される。いくつかの実施形態では、ビットストリーム適合性は、再利用フラグをシグナリングするときに、パレット予測子のサイズの値がパレット予測子の最大サイズに等しい。より具体的には、再利用フラグの２値化値に範囲制約が加わっている。

[0127] 例えば、図２３は、本開示の実施形態と合致する、パレットコード化シンタックスの一例を示す。図７の従来の設計と図２３の開示されている設計との間の、削除された部分２３０１を含めた変更点が、取消し線が引かれたテキストで強調され、追加された部分２３０２が破線で囲まれている。同様に、図２５は、本開示の実施形態と合致する、パレットコード化セマンティックスの一例を示す。図２４の従来の設計と図２５の開示されている設計との間の、削除された部分２５０１を含めた変更点が、取消し線が引かれたテキストで強調され、追加された部分２５０２が破線で囲まれている。

[0128] さらにその上に、本開示は、以下の方法を提供して、パレットモードのデブロッキングフィルタの課題に対処する。

[0129] いくつかの実施形態では、パレットモードは、イントラ予測モードのサブセットとして取り扱われる。したがって、隣接するブロックの一方がパレットモードでコード化されている場合、境界フィルタ強度は２に等しく設定される。より具体的には、境界フィルタ強度を計算するプロセスを詳述しているＶＶＣドラフト８仕様の部分が変更されることで、シナリオ３が次のように記述するようになる：「サンプルｐ０又はｑ０が、イントラ予測モード又はパレットモードを用いてコード化されたコード化単位のコード化ブロックにある場合、bS[xDi][yDj]は、２に等しく設定される」。追加された言語に下線が引かれている。

[0130] いくつかの実施形態では、パレットモードが独立したコード化モードとして取り扱われる。２つの隣接するブロックのコード化モードが異なるとき、境界フィルタ強度は１に等しく設定される。より具体的には、境界フィルタ強度を計算するプロセスを詳述しているＶＶＣドラフト８仕様の部分が変更されることで、シナリオ６が次のように記述するようになる：「サンプルｐ０を含んでいるコード化サブブロックの予測モードが、サンプルｑ０を含んでいるコード化サブブロックの予測モードとは異なる場合、bS[xDi][yDj]は、１に等しく設定される」。削除する言語に取り消し線が引かれている。

[0131] いくつかの実施形態では、パレットモードが独立したコード化モードとして取り扱われる。ＢＤＰＣＭモード設定と同様に、コード化ブロックのうちの１つがパレットモードであるとき、境界フィルタ強度は０に等しく設定される。より具体的には、境界フィルタ強度を計算するプロセスを詳述しているＶＶＣドラフト８仕様の部分が変更されることで、新たなシナリオが、シナリオ３とシナリオ４の間に挿入され、次のように記述するようになる：「そうでない場合、ブロックエッジがコード化ブロックのエッジでもあり、サンプルｐ０又はｑ０が、pred_mode_plt_flagが１に等しいコード化ブロックにある場合、bS[xDi][yDj]は、０に等しく設定される」。この修正されたプロセスを使用すれば、シナリオ４～８がシナリオ５～９となるように再ナンバリングされて、９個のシナリオが存在することになる。留意すべきは、パレットモードでコード化されたブロックが、１に等しいpred_mode_plt_flagと等価であることである。

[0132] いくつかの実施形態では、命令を含む非一時的コンピュータ可読記憶媒体もまた提供され、命令は、上記の方法を実行するための（開示されている符号器及び復号器などの）デバイスによって実行してもよい。一般的な形式の非一時的媒体は、例えば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、ソリッドステートドライブ、磁気テープ、若しくは任意の他の磁気データ記憶媒体、ＣＤ－ＲＯＭ、任意の他の光学データ記憶媒体、孔のパターンを有する任意の物理媒体、ＲＡＭ、ＰＲＯＭ、及びＥＰＲＯＭ、ＦＬＡＳＨ（登録商標）－ＥＰＲＯＭ若しくは任意の他のフラッシュメモリ、ＮＶＲＡＭ、キャッシュ、レジスタ、任意の他のメモリチップ若しくはカートリッジ、及びそれらのもののネットワーク化されたバージョンを含む。デバイスは、１つ又は複数のプロセッサ（ＣＰＵ）、入力／出力インタフェース、ネットワークインタフェース及び／又はメモリを含むことができる。

[0133] 本明細書において、「第１の（first）」及び「第２の（second）」などの関係用語は、エンティティ又は動作を別のエンティティ又は動作から区別するためにのみ使用され、これらのエンティティ又は動作の間のいかなる実際の関係又は順序をも必要としたり示唆したりするものではないことに留意されたい。さらにその上に、「含む（comprising）」、「有する（having）」、「含有する（containing）」及び「含む（including）」並びに他の同様の形式の語は、意味の点で均等であることを意図し、これらの語のいずれか１つの後に続く単数又は複数のアイテムがこのような単数又は複数のアイテムの網羅的列挙であることを意図していないし、列挙する単数又は複数のアイテムのみに限定されることも意図していない点で非限定的であることを意図する。

[0134] 本明細書で使用する場合、別段の定めがない限り、「又は」という用語は、実行不可能な場合を除いて、あり得るすべての組み合わせを包含する。例えば、あるデータベースがＡ又はＢを含み得ると言う場合、別段の定めがない限り又は実行不可能でない限り、そのデータベースは、Ａ、Ｂ、Ａ及びＢを含むことができる。第２の例として、あるデータベースがＡ、Ｂ、又はＣを含み得ると言う場合、別段の定めがない限り又は実行不可能でない限り、そのデータベースは、Ａ、Ｂ、Ｃ、Ａ及びＢ、Ａ及びＣ、Ｂ及びＣ、Ａ及びＢ及びＣを含むことができる。

[0135] 上記の実施形態は、ハードウェア若しくはソフトウェア（プログラムコード）、又はハードウェアとソフトウェアとの組み合わせによって実装できることが理解されるであろう。ソフトウェアによって実装される場合、ソフトウェアは、上記のコンピュータ可読媒体に記憶することができる。ソフトウェアは、プロセッサによって実行されるとき、開示されている方法を実行することができる。本開示に記載されている計算ユニット及び他の機能ユニットは、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアとの組み合わせによって実装することができる。当業者は、上記のモジュール／ユニットのうちの複数個を１つのモジュール／ユニットとして組み合わせることができ、また上記のモジュール／ユニットをそれぞれ複数のサブモジュール／サブユニットにさらに分割できることもまた理解することであろう。

[0136] 以下の条項を使用して実施形態をさらに説明することができる。
１．１つ又は複数のパレット予測子を使用して、１つ又は複数のコード化単位を処理することを含む映像データ処理方法であって、
１つ又は複数のパレット予測子のうちのパレット予測子が、
現パレットのすべてのパレットエントリをパレット予測子の第１のエントリのセットとして追加すること、及び、
前のパレット予測子からのパレットエントリを、前のパレット予測子のパレットエントリの再利用フラグの値に関わらず、パレット予測子の第２のエントリのセットであって、第１のエントリのセットの後にある第２のエントリのセットとして追加すること、
によって更新される、映像データ処理方法。
２．パレット予測子の第１のエントリのセット及び第２のエントリのセットの各パレットエントリが、再利用フラグを含む、条項１に記載の方法。
３．処理するために映像フレームを受信することと、
映像フレームの１つ又は複数のコード化単位を生成することと、
をさらに含む、条項１に記載の方法。
４．パレット予測子の各パレットエントリが、対応する再利用フラグを有し、
パレット予測子の再利用フラグの数が、対応するコード化単位に対して固定数に設定される、条項１～３のいずれか一項に記載の方法。
５．１つ又は複数のパレット予測子を使用して、１つ又は複数のコード化単位を処理することを含む映像データ処理方法であって、
１つ又は複数のパレット予測子のうちのパレット予測子が、
現パレットのすべてのパレットエントリをパレット予測子の第１のエントリのセットとして追加すること、
第１の範囲であって、前のパレット予測子の第１のパレットエントリから始まり、前のパレット予測子の、再利用フラグセットを有する第１のパレットエントリで終わる第１の範囲内にある、前のパレット予測子の１つ又は複数のパレットエントリを、パレット予測子の第２の１つ又は複数のエントリのセットとしてパレット予測子に追加すること、及び、
第２の範囲であって、前のパレット予測子の、再利用フラグセットを有する最後のパレットエントリから始まり、前のパレット予測子の最後のパレットエントリで終わる第２の範囲内にある、前のパレット予測子の１つ又は複数のパレットエントリを、パレット予測子の第３の１つ又は複数のエントリのセットとしてパレット予測子に追加すること、
によって更新され、第２のエントリのセット及び第３のエントリのセットが第１のエントリのセットの後にある、映像データ処理方法。
６．パレット予測子の第１のエントリのセット、第２のエントリのセット、及び第３のエントリのセットの各パレットエントリが、再利用フラグを含む、条項５に記載の方法。
７．処理するために映像フレームを受信することと、
映像フレームの１つ又は複数のコード化単位を生成することと、
をさらに含む、条項５に記載の方法。
８．１つ又は複数のパレット予測子の各パレットエントリが、対応する再利用フラグを有し、
各パレット予測子の再利用フラグの数が、対応するコード化単位に対して固定数に設定される、条項５～７のいずれか一項に記載の方法。
９．映像データ処理方法であって、
処理するために映像フレームを受信することと、
映像フレームの１つ又は複数のコード化単位を生成することと、
パレットエントリを有する１つ又は複数のパレット予測子を使用して、１つ又は複数のコード化単位を処理することと、
を含み、
１つ又は複数のパレット予測子の各パレットエントリが、対応する再利用フラグを有し、
各パレット予測子の再利用フラグの数が、対応するコード化単位に対して固定数に設定される、映像データ処理方法。
１０．パレット予測子が、
現パレットのすべてのパレットエントリをパレット予測子の第１のエントリのセットとして追加すること、及び、
現パレットで再利用されない前のパレット予測子からのエントリを、パレット予測子の第２のエントリのセットであって、第１のエントリのセットの後にある第２のエントリのセットとして追加すること、
によって更新される、条項９に記載の方法。
１１．固定数が、スライスタイプ及びデュアルツリーモード設定に基づいて設定される、条項９に記載の方法。
１２．１つ又は複数のパレット予測子のうちの１つのパレット予測子のサイズが、非ウェーブフロントの場合にはスライスの初めに、事前定義された値に初期化される、条項９に記載の方法。
１３．１つ又は複数のパレット予測子のうちの１つのパレット予測子のサイズが、ウェーブフロントの場合にはコード化単位行の初めに、事前定義された値に初期化される、条項９に記載の方法。
１４．再利用フラグをシグナリングするときに、パレット予測子のサイズの値がパレット予測子の最大サイズに等しいというビットストリーム適合性を追加することをさらに含む、条項１２又は１３に記載の方法。
１５．１つ又は複数のパレット予測子を初期化するとき、各エントリの値及び各成分が、０又は（１＜＜（シーケンスビット深度－１））に設定される、条項１２～１４のいずれか一項に記載の方法。
１６．再利用フラグの２値化値に範囲制約を加えることをさらに含む、条項９～１５のいずれか一項に記載の方法。
１７．映像データ処理を実行するための装置であって、
命令を記憶するように構成されたメモリと、
メモリに結合されたプロセッサとを含み、プロセッサは、命令を実行して、装置に、
１つ又は複数のパレット予測子を使用して、１つ又は複数のコード化単位を処理する
ことを実行させるように構成され、
１つ又は複数のパレット予測子のうちのパレット予測子が、
現パレットのすべてのパレットエントリをパレット予測子の第１のエントリのセットとして追加すること、及び、
前のパレット予測子からのパレットエントリを、前のパレット予測子のパレットエントリの再利用フラグの値に関わらず、パレット予測子の第２のエントリのセットであって、第１のエントリのセットの後にある第２のエントリのセットとして追加すること、
によって更新される、装置。
１８．パレット予測子の第１のエントリのセット及び第２のエントリのセットの各パレットエントリが、再利用フラグを含む、条項１７に記載の装置。
１９．プロセッサが、命令を実行して、装置に、
処理するために映像フレームを受信すること、及び、
映像フレームの１つ又は複数のコード化単位を生成すること
を実行させるようにさらに構成される、条項１７に記載の装置。
２０．パレット予測子の各パレットエントリが、対応する再利用フラグを有し、
パレット予測子の再利用フラグの数が、対応するコード化単位に対して固定数に設定される、条項１７～１９のいずれか一項に記載の装置。
２１．映像データ処理を実行するための装置であって、
命令を記憶するように構成されたメモリと、
メモリに結合されたプロセッサとを含み、プロセッサは、命令を実行して、装置に、
１つ又は複数のパレット予測子を使用して、１つ又は複数のコード化単位を処理する
ことを実行させるように構成され、
１つ又は複数のパレット予測子のうちのパレット予測子が、
現パレットのすべてのパレットエントリをパレット予測子の第１のエントリのセットとして追加すること、
第１の範囲であって、前のパレット予測子の第１のパレットエントリから始まり、前のパレット予測子の、再利用フラグセットを有する第１のパレットエントリで終わる第１の範囲内にある、前のパレット予測子の１つ又は複数のパレットエントリを、パレット予測子の第２の１つ又は複数のエントリのセットとしてパレット予測子に追加すること、及び、
第２の範囲であって、前のパレット予測子の、再利用フラグセットを有する最後のパレットエントリから始まり、前のパレット予測子の最後のパレットエントリで終わる第２の範囲内にある、前のパレット予測子の１つ又は複数のパレットエントリを、パレット予測子の第３の１つ又は複数のエントリのセットとしてパレット予測子に追加すること、
によって更新され、第２のエントリのセット及び第３のエントリのセットが、第１のエントリのセットの後にある、装置。
２２．パレット予測子の第１のエントリのセット及び第２のエントリのセットの各パレットエントリが、再利用フラグを含む、条項２１に記載の装置。
２３．プロセッサが、命令を実行して、装置に、
処理するために映像フレームを受信すること、及び、
映像フレームの１つ又は複数のコード化単位を生成すること
を実行させるようにさらに構成される、条項２１に記載の装置。
２４．パレット予測子の各パレットエントリが、対応する再利用フラグを有し、
パレット予測子の再利用フラグの数が、対応するコード化単位に対して固定数に設定される、条項２１～２３のいずれか一項に記載の装置。
２５．映像データ処理を実行するための装置であって、
命令を記憶するように構成されたメモリと、
メモリに結合されたプロセッサとを含み、プロセッサは、命令を実行して、装置に、
処理するために映像フレームを受信すること、
映像フレームの１つ又は複数のコード化単位を生成すること、及び、
パレットエントリを有する１つ又は複数のパレット予測子を使用して、１つ又は複数のコード化単位を処理すること
を実行させるように構成され、
１つ又は複数のパレット予測子の各パレットエントリが、対応する再利用フラグを有し、
各パレット予測子の再利用フラグの数が、対応するコード化単位に対して固定数に設定される、装置。
２６．プロセッサが、命令を実行して、装置に、
現パレットのすべてのパレットエントリをパレット予測子の第１のエントリのセットとして追加すること、及び、
現パレットで再利用されない前のパレット予測子からのエントリを、パレット予測子の第２のエントリのセットであって、第１のエントリのセットの後にある第２のエントリのセットとして追加すること、
によってパレット予測子を更新することを実行させるようにさらに構成される、条項２５に記載の装置。
２７．固定数が、スライスタイプ及びデュアルツリーモード設定に基づいて設定される、条項２５に記載の装置。
２８．１つ又は複数のパレット予測子のうちの１つのパレット予測子のサイズが、非ウェーブフロントの場合にはスライスの初めに、事前定義された値に初期化される、条項２５に記載の装置。
２９．１つ又は複数のパレット予測子のうちの１つのパレット予測子のサイズが、ウェーブフロントの場合にはコード化単位行の初めに、事前定義された値に初期化される、条項２５に記載の装置。
３０．プロセッサが、命令を実行して、装置に、
再利用フラグをシグナリングするときに、パレット予測子のサイズの値がパレット予測子の最大サイズに等しいというビットストリーム適合性を追加すること
を実行させるようにさらに構成される、条項２８又は２９に記載の装置。
３１．１つ又は複数のパレット予測子を初期化するとき、各エントリの値及び各成分が、０又は（１＜＜（シーケンスビット深度－１））に設定される、条項２８～３０のいずれか一項に記載の装置。
３２．プロセッサが、命令を実行して、装置に、
再利用フラグの２値化値に範囲制約を加えること
を実行させるようにさらに構成される、条項２５～３１のいずれか一項に記載の装置。
３３．命令のセットを記憶する非一時的コンピュータ可読媒体であって、装置に映像データ処理を実行する方法を開始させるために、装置の１つ又は複数のプロセッサによって実行可能であり、方法が、
１つ又は複数のパレット予測子を使用して、１つ又は複数のコード化単位を処理することを含み、
１つ又は複数のパレット予測子のうちのパレット予測子が、
現パレットのすべてのパレットエントリをパレット予測子の第１のエントリのセットとして追加すること、及び、
前のパレット予測子からのパレットエントリを、前のパレット予測子のパレットエントリの再利用フラグの値に関わらず、パレット予測子の第２のエントリのセットであって、第１のエントリのセットの後にある第２のエントリのセットとして追加すること
によって更新される、非一時的コンピュータ可読媒体。
３４．パレット予測子の第１のエントリのセット及び第２のエントリのセットの各パレットエントリが、再利用フラグを含む、条項３３に記載の非一時的コンピュータ可読媒体。
３５．方法が、
処理するために映像フレームを受信することと、
映像フレームの１つ又は複数のコード化単位を生成することと、
をさらに含む、条項３３に記載の非一時的コンピュータ可読媒体。
３６．パレット予測子の各パレットエントリが、対応する再利用フラグを有し、
パレット予測子の再利用フラグの数が、対応するコード化単位に対して固定数に設定される、条項３３～３５のいずれか一項に記載の非一時的コンピュータ可読媒体。
３７．命令のセットを記憶する非一時的コンピュータ可読媒体であって、装置に映像データ処理を実行する方法を開始させるために、装置の１つ又は複数のプロセッサによって実行可能であり、方法は、
１つ又は複数のパレット予測子を使用して、１つ又は複数のコード化単位を処理することを含み、
１つ又は複数のパレット予測子のうちのパレット予測子が、
現パレットのすべてのパレットエントリをパレット予測子の第１のエントリのセットとして追加すること、
第１の範囲であって、前のパレット予測子の第１のパレットエントリから始まり、前のパレット予測子の、再利用フラグセットを有する第１のパレットエントリで終わる第１の範囲内にある、前のパレット予測子の１つ又は複数のパレットエントリを、パレット予測子の第２の１つ又は複数のエントリのセットとしてパレット予測子に追加すること、及び、
第２の範囲であって、前のパレット予測子の、再利用フラグセットを有する最後のパレットエントリから始まり、前のパレット予測子の最後のパレットエントリで終わる、第２の範囲内にある、前のパレット予測子の１つ又は複数のパレットエントリを、パレット予測子の第３の１つ又は複数のエントリのセットとしてパレット予測子に追加すること、
によって更新され、第２のエントリのセット及び第３のエントリのセットが、第１のエントリのセットの後にある、非一時的コンピュータ可読媒体。
３８．パレット予測子の第１のエントリのセット及び第２のエントリのセットの各パレットエントリが、再利用フラグを含む、条項３７に記載の非一時的コンピュータ可読媒体。
３９．方法が、
処理するために映像フレームを受信することと、
映像フレームの１つ又は複数のコード化単位を生成することと、
をさらに含む、条項３７に記載の非一時的コンピュータ可読媒体。
４０．パレット予測子の各パレットエントリが、対応する再利用フラグを有し、
パレット予測子の再利用フラグの数が、対応するコード化単位に対して固定数に設定される、条項３７～３９のいずれか一項に記載の非一時的コンピュータ可読媒体。
４１．命令のセットを記憶する非一時的コンピュータ可読媒体であって、装置に映像データ処理を実行する方法を開始させるために、装置の１つ又は複数のプロセッサによって実行可能であり、方法は、
処理するために映像フレームを受信することと、
映像フレームの１つ又は複数のコード化単位を生成することと、
パレットエントリを有する１つ又は複数のパレット予測子を使用して、１つ又は複数のコード化単位を処理することと、
を含み、
１つ又は複数のパレット予測子の各パレットエントリが、対応する再利用フラグを有し、
各パレット予測子の再利用フラグの数が、対応するコード化単位に対して固定数に設定される、非一時的コンピュータ可読媒体。
４２．パレット予測子が、
現パレットのすべてのパレットエントリをパレット予測子の第１のエントリのセットとして追加すること、及び、
現パレットで再利用されない前のパレット予測子からのエントリを、パレット予測子の第２のエントリのセットであって、第１のエントリのセットの後にある第２のエントリのセットとして追加すること、
によって更新される、条項４１に記載の非一時的コンピュータ可読媒体。
４３．固定数が、スライスタイプ及びデュアルツリーモード設定に基づいて設定される、条項４１に記載の非一時的コンピュータ可読媒体。
４４．１つ又は複数のパレット予測子のうちの１つのパレット予測子のサイズが、非ウェーブフロントの場合にはスライスの初めに、事前定義された値に初期化される、条項４１に記載の非一時的コンピュータ可読媒体。
４５．１つ又は複数のパレット予測子のうちの１つのパレット予測子のサイズが、ウェーブフロントの場合にはコード化単位行の初めに、事前定義された値に初期化される、条項４１に記載の非一時的コンピュータ可読媒体。
４６．再利用フラグをシグナリングするときに、パレット予測子のサイズの値がパレット予測子の最大サイズに等しいというビットストリーム適合性を追加すること
をさらに含む、条項４４又は４５に記載の非一時的コンピュータ可読媒体。
４７．１つ又は複数のパレット予測子を初期化するとき、各エントリの値及び各成分が、０又は（１＜＜（シーケンスビット深度－１））に設定される、条項４４～４６のいずれか一項に記載の非一時的コンピュータ可読媒体。
４８．再利用フラグの２値化値に範囲制約を加えること
をさらに含む、条項４１～４７のいずれか一項に記載の非一時的コンピュータ可読媒体。
４９．パレットモードのフィルタをデブロッキングするための方法であって、
処理するために映像フレームを受信することと、
映像フレームの１つ又は複数のコード化単位を生成することであって、前記１つ又は複数のコード化単位のそれぞれのコード化単位が、１つ又は複数のコード化ブロックを有することと、
隣接する２つのコード化ブロックのうちの少なくとも第１のコード化ブロックが、パレットモードでコード化されていることに応答して、境界フィルタ強度を２に設定することと、
を含む方法。
５０．パレットモードのフィルタをデブロッキングするための方法であって、
処理するために映像フレームを受信することと、
映像フレームの１つ又は複数のコード化単位を生成することであって、前記１つ又は複数のコード化単位のそれぞれのコード化単位が、１つ又は複数のコード化ブロックを有することと、
隣接する２つのコード化ブロックのうちの少なくとも第１のコード化ブロックがパレットモードでコード化され、隣接する２つのコード化ブロックのうちの第２のコード化ブロックがパレットモードとは異なるコード化モードを有することに応答して、境界フィルタ強度を１に設定することと、
を含む方法。
５１．映像データ処理を実行するための装置であって、
命令を記憶するように構成されたメモリと、
メモリに結合されたプロセッサとを含み、プロセッサは、命令を実行して、装置に、
処理するために映像フレームを受信すること、
映像フレームの１つ又は複数のコード化単位を生成することであって、前記１つ又は複数のコード化単位のそれぞれのコード化単位が、１つ又は複数のコード化ブロックを有すること、及び、
隣接する２つのコード化ブロックのうちの少なくとも第１のコード化ブロックがパレットモードでコード化され、隣接する２つのコード化ブロックのうちの第２のコード化ブロックがパレットモードとは異なるコード化モードを有することに応答して、境界フィルタ強度を１に設定すること
を実行させるように構成される、装置。
５２．命令のセットを記憶する非一時的コンピュータ可読媒体であって、装置に映像データ処理を実行する方法を開始させるために、装置の１つ又は複数のプロセッサによって実行可能であり、方法は、
処理するために映像フレームを受信することと、
映像フレームの１つ又は複数のコード化単位を生成することであって、前記１つ又は複数のコード化単位のそれぞれのコード化単位が、１つ又は複数のコード化ブロックを有することと、
隣接する２つのコード化ブロックのうちの少なくとも第１のコード化ブロックがパレットモードでコード化され、隣接する２つのコード化ブロックのうちの第２のコード化ブロックがパレットモードとは異なるコード化モードを有することに応答して、境界フィルタ強度を１に設定することと、
を含む、非一時的コンピュータ可読媒体。

[0137] 上記の明細書では、実装形態ごとに変わり得る多数の具体的な詳細に関して実施形態を説明してきた。記載されている実施形態に対して、ある一定の適合及び修正を行うことができる。本明細書を検討し、本明細書に開示されている発明を実践することで、他の実施形態が当業者に明らかになる場合がある。本明細書及び例は、単なる例示として見なされ、本発明の真の範囲及び趣旨は、以下の特許請求の範囲によって示されることが意図されている。図に示されているステップの順序が単に説明目的であることもまた意図されており、任意の特定のステップの順序に限定されることは意図されていない。そのため、当業者は、これらのステップが同じ方法を実装しながら異なる順序で実行可能であることを理解することができる。

[0138] 図面及び本明細書では、例示的な実施形態を開示してきた。しかしながら、これらの実施形態には多くの変形及び修正を加えることができる。それに相応して、特定の用語が用いられているが、それらの用語は、全般的及び説明的な意味合いにおいてのみ使用されており、限定目的で使用されていない。

Claims (20)

1. 映像データ処理方法であって、
   処理するために映像フレームを受信することと、
   前記映像フレームの１つ又は複数のコード化単位を生成することと、
   パレットエントリを有する１つ又は複数のパレット予測子を使用して、１つ又は複数のコード化単位を処理することと、
   を含み、
   前記１つ又は複数のパレット予測子の各パレットエントリが、対応する再利用フラグを有し、
   各パレット予測子の再利用フラグの数が、対応するコード化単位に対して固定数に設定される、映像データ処理方法。
2. 前記パレット予測子が、
   現パレットのすべてのパレットエントリを前記パレット予測子の第１のエントリのセットとして追加すること、及び、
   前記現パレットで再利用されない前のパレット予測子からのエントリを、前記パレット予測子の第２のエントリのセットであって、前記第１のエントリのセットの後にある前記第２のエントリのセットとして追加すること
   によって更新される、請求項１に記載の方法。
3. 前記パレット予測子が、
   現パレットのすべてのパレットエントリを前記パレット予測子の第１のエントリのセットとして追加すること、及び、
   前のパレット予測子からのパレットエントリを、前記前のパレット予測子のパレットエントリの再利用フラグの値に関わらず、前記パレット予測子の第２のエントリのセットであって、前記第１のエントリのセットの後にある前記第２のエントリのセットとして追加すること
   によって更新される、請求項１に記載の方法。
4. 前記パレット予測子が、
   現パレットのすべてのパレットエントリを前記パレット予測子の第１のエントリのセットとして追加すること、
   第１の範囲であって、前のパレット予測子の第１のパレットエントリから始まり、前記前のパレット予測子の、再利用フラグセットを有する第１のパレットエントリで終わる前記第１の範囲内にある、前記前のパレット予測子の１つ又は複数のパレットエントリを、前記パレット予測子の第２の１つ又は複数のエントリのセットとして前記パレット予測子に追加すること、及び、
   第２の範囲であって、前記前のパレット予測子の、再利用フラグセットを有する最後のパレットエントリから始まり、前記前のパレット予測子の最後のパレットエントリで終わる前記第２の範囲内にある、前記前のパレット予測子の１つ又は複数のパレットエントリを、前記パレット予測子の第３の１つ又は複数のエントリのセットとして前記パレット予測子に追加すること
   によって更新され、前記第２のエントリのセット及び前記第３のエントリのセットが、前記第１のエントリのセットの後にある、請求項１に記載の方法。
5. 前記固定数が、スライスタイプ及びデュアルツリーモード設定に基づいて設定される、請求項１に記載の方法。
6. 前記１つ又は複数のパレット予測子のうちの１つのパレット予測子のサイズが、非ウェーブフロントの場合にはスライスの初めに、事前定義された値に初期化される、請求項１に記載の方法。
7. 映像データ処理を実行するための装置であって、
   命令を記憶するように構成されたメモリと、
   １つ又は複数のプロセッサとを含み、前記１つ又は複数のプロセッサは、前記命令を実行して、前記装置に、
   処理するために映像フレームを受信すること、
   前記映像フレームの１つ又は複数のコード化単位を生成すること、及び、
   パレットエントリを有する１つ又は複数のパレット予測子を使用して、１つ又は複数のコード化単位を処理すること
   を実行させるように構成され、
   前記１つ又は複数のパレット予測子の各パレットエントリが、対応する再利用フラグを有し、
   各パレット予測子の再利用フラグの数が、対応するコード化単位に対して固定数に設定される、装置。
8. 前記１つ又は複数のプロセッサが、前記命令を実行して、前記装置に、
   現パレットのすべてのパレットエントリを前記パレット予測子の第１のエントリのセットとして追加すること、及び、
   前記現パレットで再利用されない前記前のパレット予測子からのエントリを、前記パレット予測子の第２のエントリのセットであって、前記第１のエントリのセットの後にある前記第２のエントリのセットとして追加すること
   によって前記パレット予測子を更新すること
   を実行させるようにさらに構成される、請求項７に記載の装置。
9. 前記１つ又は複数のプロセッサが、前記命令を実行して、前記装置に、
   現パレットのすべてのパレットエントリを前記パレット予測子の第１のエントリのセットとして追加すること、及び、
   前のパレット予測子からのパレットエントリを、前記前のパレット予測子のパレットエントリの再利用フラグの値に関わらず、前記パレット予測子の第２のエントリのセットであって、前記第１のエントリのセットの後にある前記第２のエントリのセットとして追加すること
   によって前記パレット予測子を更新すること
   を実行させるようにさらに構成される、請求項７に記載の装置。
10. 前記１つ又は複数のプロセッサが、前記命令を実行して、前記装置に、
    現パレットのすべてのパレットエントリを前記パレット予測子の第１のエントリのセットとして追加すること、
    第１の範囲であって、前のパレット予測子の第１のパレットエントリから始まり、前記前のパレット予測子の、再利用フラグセットを有する第１のパレットエントリで終わる前記第１の範囲内にある、前記前のパレット予測子の１つ又は複数のパレットエントリを、前記パレット予測子の第２の１つ又は複数のエントリのセットとして前記パレット予測子に追加すること、及び、
    第２の範囲であって、前記前のパレット予測子の、再利用フラグセットを有する最後のパレットエントリから始まり、前記前のパレット予測子の最後のパレットエントリで終わる前記第２の範囲内にある、前記前のパレット予測子の１つ又は複数のパレットエントリを、前記パレット予測子の第３の１つ又は複数のエントリのセットとして前記パレット予測子に追加すること
    によって前記パレット予測子を更新すること
    を実行させるようにさらに構成され、前記第２のエントリのセット及び前記第３のエントリのセットが、前記第１のエントリのセットの後にある、請求項７に記載の装置。
11. 前記固定数が、スライスタイプ及びデュアルツリーモード設定に基づいて設定される、請求項７に記載の装置。
12. 前記１つ又は複数のパレット予測子のうちの１つのパレット予測子のサイズが、非ウェーブフロントの場合にはスライスの初めに、事前定義された値に初期化される、請求項７に記載の装置。
13. 命令のセットを記憶する非一時的コンピュータ可読媒体であって、前記命令のセットは、装置に映像データ処理を実行するための方法を開始させるために、前記装置の１つ又は複数のプロセッサによって実行可能であり、前記方法は、
    処理するために映像フレームを受信することと、
    前記映像フレームの１つ又は複数のコード化単位を生成することと、
    パレットエントリを有する１つ又は複数のパレット予測子を使用して、１つ又は複数のコード化単位を処理することと、を含み、
    前記１つ又は複数のパレット予測子の各パレットエントリが、対応する再利用フラグを有し、
    各パレット予測子の再利用フラグの数が、対応するコード化単位に対して固定数に設定される、非一時的コンピュータ可読媒体。
14. 前記パレット予測子が、
    現パレットのすべてのパレットエントリを前記パレット予測子の第１のエントリのセットとして追加すること、及び、
    前記現パレットで再利用されない前記前のパレット予測子からのエントリを、前記パレット予測子の第２のエントリのセットであって、前記第１のエントリのセットの後にある前記第２のエントリのセットとして追加すること
    によって更新される、請求項１３に記載の非一時的コンピュータ可読媒体。
15. 前記パレット予測子が、
    現パレットのすべてのパレットエントリを前記パレット予測子の第１のエントリのセットとして追加すること、及び、
    前のパレット予測子からのパレットエントリを、前記前のパレット予測子のパレットエントリの再利用フラグの値に関わらず、前記パレット予測子の第２のエントリのセットであって、前記第１のエントリのセットの後にある前記第２のエントリのセットとして追加すること
    によって更新される、請求項１３に記載の非一時的コンピュータ可読媒体。
16. 前記パレット予測子が、
    現パレットのすべてのパレットエントリを前記パレット予測子の第１のエントリのセットとして追加すること、
    第１の範囲であって、前のパレット予測子の第１のパレットエントリから始まり、前記前のパレット予測子の、再利用フラグセットを有する第１のパレットエントリで終わる前記第１の範囲内にある、前記前のパレット予測子の１つ又は複数のパレットエントリを、前記パレット予測子の第２の１つ又は複数のエントリのセットとして前記パレット予測子に追加すること、及び、
    第２の範囲であって、前記前のパレット予測子の、再利用フラグセットを有する最後のパレットエントリから始まり、前記前のパレット予測子の最後のパレットエントリで終わる前記第２の範囲内にある、前記前のパレット予測子の１つ又は複数のパレットエントリを、前記パレット予測子の第３の１つ又は複数のエントリのセットとして前記パレット予測子に追加すること
    によって更新され、前記第２のエントリのセット及び前記第３のエントリのセットが前記第１のエントリのセットの後にある、請求項１３に記載の非一時的コンピュータ可読媒体。
17. 前記固定数が、スライスタイプ及びデュアルツリーモード設定に基づいて設定される、請求項１３に記載の非一時的コンピュータ可読媒体。
18. パレットモードのフィルタをデブロッキングするための方法であって、
    処理するために映像フレームを受信することと、
    前記映像フレームの１つ又は複数のコード化単位を生成することであって、前記１つ又は複数のコード化単位のそれぞれのコード化単位が１つ又は複数のコード化ブロックを有することと、
    隣接する２つのコード化ブロックのうちの少なくとも第１のコード化ブロックがパレットモードでコード化され、前記隣接する２つのコード化ブロックのうちの第２のコード化ブロックが前記パレットモードとは異なるコード化モードを有することに応答して、境界フィルタ強度を１に設定することと、
    を含む方法。
19. 映像データ処理を実行するための装置であって、
    命令を記憶するように構成されたメモリと、
    １つ又は複数のプロセッサとを含み、前記１つ又は複数のプロセッサは、前記命令を実行して、前記装置に、
    処理するために映像フレームを受信すること、
    前記映像フレームの１つ又は複数のコード化単位を生成することであって、前記１つ又は複数のコード化単位のそれぞれのコード化単位が１つ又は複数のコード化ブロックを有すること、及び、
    隣接する２つのコード化ブロックのうちの少なくとも第１のコード化ブロックがパレットモードでコード化され、前記隣接する２つのコード化ブロックのうちの第２のコード化ブロックが前記パレットモードとは異なるコード化モードを有することに応答して、境界フィルタ強度を１に設定すること
    を実行させるように構成される、装置。
20. 命令のセットを記憶する非一時的コンピュータ可読媒体であって、前記命令のセットは、装置に映像データ処理を実行するための方法を開始させるために、前記装置の１つ又は複数のプロセッサによって実行可能であり、前記方法は、
    処理するために映像フレームを受信することと、
    前記映像フレームの１つ又は複数のコード化単位であって、前記１つ又は複数のコード化単位のそれぞれのコード化単位が１つ又は複数のコード化ブロックを有することと、
    隣接する２つのコード化ブロックのうちの少なくとも第１のコード化ブロックがパレットモードでコード化され、前記隣接する２つのコード化ブロックのうちの第２のコード化ブロックが前記パレットモードとは異なるコード化モードを有することに応答して、境界フィルタ強度を１に設定することと、
    を含む、非一時的コンピュータ可読媒体。

Images