JP7177952B2 - パレットモードを用いたビデオコーディングの方法および装置 - Google Patents

Description

本出願は、概してビデオデータの符号化および圧縮に関し、特に、パレットモードを用いたビデオコーディングの方法およびシステムに関する。

デジタルビデオは、デジタル・テレビ、ラップトップまたはデスクトップ・コンピュータ、タブレット・コンピュータ、デジタル・カメラ、デジタル記録デバイス、デジタル・メディア・プレーヤ、ビデオ・ゲーム・コンソール、スマート・フォン、ビデオ遠隔会議デバイス、ビデオストリーミング・デバイス等のような種々の電子デバイスによってサポートされている。電子デバイスは、ＭＰＥＧ－４、ＩＴＵ－Ｔ Ｈ．２６３、ＩＴＵ－Ｔ Ｈ．２６４／ＭＰＥＧ－４、Ｐａｒｔ １０、Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）、Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ）、およびＶｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＶＶＣ）規格によって定義されるようなビデオ圧縮／復元規格を実装することにより、デジタルビデオデータを伝送、受信、符号化、復号、および／または格納する。ビデオ圧縮は、典型的には、ビデオデータに内在する冗長性を低減または除去するために、空間的（フレーム内）予測および／または時間的（フレーム間）予測を行うことを含む。ブロックベースのビデオコーディングでは、ビデオフレームが１つまたは複数のスライスに区分され、各スライスは、コーディングツリーユニット（ＣＴＵ）とも称される場合がある複数のビデオブロックを有する。各ＣＴＵは、１つのコーディングユニット（ＣＵ）を含んでもよく、または、予め定められた最小ＣＵサイズに達するまでより小さいＣＵに再帰的に分けられてもよい。各ＣＵ（葉ＣＵとも呼ばれる）は、１つまたは複数の変換ユニット（ＴＵ）を含み、各ＣＵはまた、１つまたは複数の予測ユニット（ＰＵ）を含む。各ＣＵは、イントラ、インターまたはＩＢＣモードのいずれかで符号化され得る。ビデオフレームのイントラ符号化される（Ｉ）スライスにおけるビデオブロックは、同じビデオフレーム内の隣接ブロックにおける参照サンプルに関する空間的予測を用いて符号化される。ビデオフレームのインター符号化される（ＰまたはＢ）スライスにおけるビデオブロックは、同じビデオフレーム内の隣接ブロックにおける参照サンプルに関する空間的予測、または、他の以前および／または以後の参照ビデオフレームにおける参照サンプルに関する時間的予測を用いてよい。

以前に符号化された参照ブロック、例えば隣接ブロックに基づく空間的または時間的予測は、符号化対象の現在のビデオブロックについての予測ブロックをもたらす。参照ブロックを見つけるプロセスは、ブロック・マッチング・アルゴリズムによって達成されてよい。符号化対象の現在のブロックと予測ブロックとの間の画素差を表す残差データは、残差ブロックまたは予測誤差と称される。インター符号化されるブロックは、予測ブロックを形成する参照フレームにおける参照ブロックを指し示すモーションベクトルと、残差ブロックとに従って符号化される。モーションベクトルを決定するプロセスは、典型的にモーション推定と称される。イントラ符号化されるブロックは、イントラ予測モードおよび残差ブロックに従って符号化される。さらなる圧縮のために、残差ブロックが画素ドメインから変換ドメイン、例えば周波数ドメインに変換され、その結果として残差変換係数が得られ、そしてこれが量子化されてよい。初期的には２次元配列で配置される量子化された変換係数は、変換係数の一次元ベクトルを生じさせるように走査され、次いで、より一層の圧縮を実現するために、ビデオビットストリームにエントロピー符号化されてよい。

符号化ビデオビットストリームは次いで、デジタルビデオ機能を有する別の電子デバイスによってアクセスされ、または有線または無線で電子デバイスに直接伝送されるように、コンピュータ可読記憶媒体（例えばフラッシュメモリ）に保存される。電子デバイスは次いで、例えば符号化ビデオビットストリームを構文解析してビットストリームから構文要素を得、ビットストリームから得られた構文要素に少なくとも部分的に基づいて、符号化ビデオビットストリームから元の形式にデジタルビデオデータを再構成することにより、ビデオ復元（上述のビデオ圧縮と反対のプロセス）を行い、再構成されたデジタルビデオデータを電子デバイスのディスプレイ上にレンダリングする。

デジタルビデオ品質が高精細度から４Ｋ×２Ｋまたはさらに８Ｋ×４Ｋへと高まっていくにつれ、符号化／復号の対象となるビデオデータの量は指数関数的に増加する。これは、復号されたビデオデータの画像品質を保持しつつ、いかにしてビデオデータがより効率的に符号化／復号され得るかという点に関して、常に課題となっている。

本出願は、ビデオデータの符号化および復号、より詳細にはパレットモードを用いたビデオ符号化および復号のシステムおよび方法に関する実装を説明する。

本出願の第１の態様によれば、ビデオデータを復号する方法は、階層構造を有するビデオビットストリームから、階層構造の第１のレベルに関連付けられた第１の構文要素を受信することと、ビデオビットストリームにおける第１のレベルよりも下の１つまたは複数のコーディングユニット（ＣＵ）についてパレットモードが有効化されることを第１の構文要素が示すとの決定に従って、ビデオビットストリームから、対応するパレットテーブルに従って１つまたは複数のＣＵのうちの少なくとも１つの画素値を再構成することと、１つまたは複数のＣＵについてパレットモードが無効化されることを第１の構文要素が示すとの決定に従って、ビデオビットストリームから、非パレット方式に従って１つまたは複数のＣＵのいずれかの画素値を再構成すること、を含む。

本出願の第２の態様によれば、電子装置は、１つまたは複数の処理ユニットと、メモリと、メモリに格納された複数のプログラムとを含む。プログラムは、１つまたは複数の処理ユニットによって実行されたときに、上述のビデオデータを復号する方法を電子装置に実行させる。

本出願の第３の態様によれば、非一時的コンピュータ可読記憶媒体は、１つまたは複数の処理ユニットを有する電子装置による実行のための複数のプログラムを格納する。プログラムは、１つまたは複数の処理ユニットによって実行されたときに、上述のビデオデータを復号する方法を電子装置に実行させる。

本出願の第４の態様によれば、ビデオデータを符号化する方法は、階層構造を有するビデオビットストリームに含めるために、階層構造の第１のレベルに関連付けられた第１の構文要素を生成することであって、第１の構文要素は、ビデオビットストリームにおける第１のレベルよりも下の１つまたは複数のコーディングユニット（ＣＵ）についてパレットモードが有効化されることを示すことと、各ＣＵが対応するパレットテーブルを有する１つまたは複数のＣＵの画素値および第１の構文要素をビデオビットストリームに符号化することと、符号化された１つまたは複数のＣＵおよび第１の構文要素を含むビデオビットストリームを出力すること、を含む。

本出願の第５の態様によれば、電子装置は、１つまたは複数の処理ユニットと、メモリと、メモリに格納された複数のプログラムとを含む。プログラムは、１つまたは複数の処理ユニットによって実行されたときに、上述のビデオデータを符号化する方法を電子装置に実行させる。

本出願の第６の態様によれば、非一時的コンピュータ可読記憶媒体は、１つまたは複数の処理ユニットを有する電子装置による実行のための複数のプログラムを格納する。プログラムは、１つまたは複数の処理ユニットによって実行されたときに、上述のビデオデータを符号化する方法を電子装置に実行させる。

実装のさらなる理解を提供するために含まれ、本明細書に組み込まれ、明細書の一部を構成する添付の図面は、説明されている実装を例示し、その説明と共に根本的な原理を明らかにする役を果たす。同様の参照番号は、対応する部分を指す。

本開示のいくつかの実装に係る例示的なビデオ符号化および復号システムを示すブロック図である。 本開示のいくつかの実装に係る例示的なビデオエンコーダを示すブロック図である。 本開示のいくつかの実装に係る例示的なビデオデコーダを示すブロック図である。 本開示のいくつかの実装に係る、フレームが異なるサイズおよび形状の複数のビデオブロックに再帰的に区分される様子を示すブロック図である。 本開示のいくつかの実装に係る、フレームが異なるサイズおよび形状の複数のビデオブロックに再帰的に区分される様子を示すブロック図である。 本開示のいくつかの実装に係る、フレームが異なるサイズおよび形状の複数のビデオブロックに再帰的に区分される様子を示すブロック図である。 本開示のいくつかの実装に係る、フレームが異なるサイズおよび形状の複数のビデオブロックに再帰的に区分される様子を示すブロック図である。 本開示のいくつかの実装に係る、フレームが異なるサイズおよび形状の複数のビデオブロックに再帰的に区分される様子を示すブロック図である。 本開示のいくつかの実装に係る、ビデオデータを符号化するためにパレットテーブルを決定および使用する例を示すブロック図である。 本開示のいくつかの実装に係る、ビデオエンコーダがパレットベース方式を用いてビデオデータを符号化する技法を実装する例示的プロセスを示すフローチャートである。 本開示のいくつかの実装に係る、ビデオデコーダがパレットベース方式を用いてビデオデータを復号する技法を実装する例示的プロセスを示すフローチャートである。

ここで、具体的な実装を詳細に参照し、その例が添付の図面に示されている。以下の詳細な説明において、本明細書において提示される主題を理解する助けとするために、多数の非限定的な具体的詳細が記載される。しかしながら、請求項の範囲から逸脱しない限りにおいて様々な代替例が用いられてよく、主題がこれらの具体的詳細なしに実施されてよいことは、当業者には明らかであろう。例えば、本明細書において提示される主題が、デジタルビデオ機能を有する多くのタイプの電子デバイス上で実装され得ることは、当業者には明らかであろう。

図１は、本開示のいくつかの実装に係る、ビデオブロックを並列に符号化および復号するための例示的システム１０を示すブロック図である。図１に示されるように、システム１０は、後に宛先デバイス１４によって復号されるビデオデータを生成および符号化するソースデバイス１２を含む。ソースデバイス１２および宛先デバイス１４は、デスクトップまたはラップトップ・コンピュータ、タブレット・コンピュータ、スマート・フォン、セット・トップ・ボックス、デジタル・テレビ、カメラ、ディスプレイデバイス、デジタル・メディア・プレーヤ、ビデオ・ゲーム・コンソール、ビデオストリーミング・デバイス等を含む多種多様な電子デバイスのいずれかを含んでよい。いくつかの実装において、ソースデバイス１２および宛先デバイス１４には、無線通信機能が搭載される。

いくつかの実装において、宛先デバイス１４は、リンク１６を介して復号対象の符号化ビデオデータを受信してよい。リンク１６は、符号化ビデオデータをソースデバイス１２から宛先デバイス１４へと移動させることが可能な任意のタイプの通信媒体またはデバイスを含んでよい。一例において、リンク１６は、ソースデバイス１２が符号化ビデオデータをリアルタイムで宛先デバイス１４に直接伝送することを可能とする通信媒体を含んでよい。符号化ビデオデータは、無線通信プロトコルなどの通信規格に従って変調され、宛先デバイス１４に伝送されてよい。通信媒体は、無線周波数（ＲＦ）スペクトルまたは１つまたは複数の物理的伝送線などの任意の無線または有線通信媒体を含んでよい。通信媒体は、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワーク、またはインターネットなどのグローバル・ネットワークなどのパケットベースのネットワークの一部を形成してよい。通信媒体は、ルータ、スイッチ、基地局、またはソースデバイス１２から宛先デバイス１４への通信を促進するのに有用であり得る任意の他の機器を含んでよい。

いくつかの他の実装において、符号化ビデオデータは、出力インターフェース２２からストレージデバイス３２に伝送されてよい。その後、ストレージデバイス３２における符号化ビデオデータは、入力インターフェース２８を介して宛先デバイス１４によってアクセスされてよい。ストレージデバイス３２は、ハード・ドライブ、Ｂｌｕ－ｒａｙディスク、ＤＶＤ、ＣＤ－ＲＯＭ、フラッシュメモリ、揮発性または不揮発性メモリ、または符号化ビデオデータを格納するための任意の他の適当なデジタル記憶媒体などの、種々の分散型のまたはローカルでアクセスされるデータ記憶媒体のいずれかを含んでよい。さらなる例において、ストレージデバイス３２は、ソースデバイス１２によって生成される符号化ビデオデータを保持し得るファイル・サーバまたは別の中間ストレージデバイスに対応してよい。宛先デバイス１４は、格納されたビデオデータに対して、ストレージデバイス３２からストリーミングまたはダウンロードを介してアクセスしてよい。ファイル・サーバは、符号化ビデオデータを格納し符号化ビデオデータを宛先デバイス１４に伝送することが可能な任意のタイプのコンピュータであってよい。例示的なファイル・サーバは、（例えばウェブサイト用の）ウェブ・サーバ、ＦＴＰサーバ、ネットワーク・アタッチド・ストレージ（ＮＡＳ）デバイス、またはローカル・ディスク・ドライブを含む。宛先デバイス１４は、ファイル・サーバに格納された符号化ビデオデータにアクセスするのに適当な無線チャネル（例えばＷｉ－Ｆｉ接続）、有線接続（例えばＤＳＬ、ケーブル・モデム等）、またはそれら両方の組み合わせを含む任意の標準的なデータ接続を通して符号化ビデオデータにアクセスしてよい。ストレージデバイス３２からの符号化ビデオデータの伝送は、ストリーミング伝送、ダウンロード伝送、またはそれら両方の組み合わせであってよい。

図１に示されるように、ソースデバイス１２は、ビデオソース１８、ビデオエンコーダ２０および出力インターフェース２２を含む。ビデオソース１８は、例えばビデオ・カメラのようなビデオキャプチャ・デバイス、以前にキャプチャされたビデオを含むビデオアーカイブ、ビデオコンテンツ・プロバイダからビデオを受信するためのビデオフィード・インターフェース、および／またはソースビデオとしてのコンピュータ・グラフィクス・データを生成するためのコンピュータ・グラフィクス・システム、またはそのようなソースの組み合わせなどのソースを含んでよい。一例として、ビデオソース１８が警備監視システムのビデオ・カメラである場合、ソースデバイス１２および宛先デバイス１４は、カメラ・フォンまたはビデオ・フォンを形成してよい。しかしながら、本出願において説明される実装は、一般にビデオコーディングに適用可能であってよく、無線および／または有線のアプリケーションに適用されてよい。

キャプチャされ、予めキャプチャされ、またはコンピュータで生成されたビデオは、ビデオエンコーダ２０によって符号化されてよい。符号化ビデオデータは、ソースデバイス１２の出力インターフェース２２を介して宛先デバイス１４に直接伝送されてよい。符号化ビデオデータはさらに（または代替的に）、復号および／または再生のために宛先デバイス１４または他のデバイスによって後にアクセスするために、ストレージデバイス３２に格納されてよい。出力インターフェース２２は、モデムおよび／または送信機をさらに含んでよい。

宛先デバイス１４は、入力インターフェース２８、ビデオデコーダ３０、およびディスプレイデバイス３４を含む。入力インターフェース２８は、受信機および／またはモデムを含み、リンク１６を介して符号化ビデオデータを受信してよい。リンク１６を介して通信され、またはストレージデバイス３２上で提供される符号化ビデオデータは、ビデオデータを復号する際におけるビデオデコーダ３０による使用のためにビデオエンコーダ２０によって生成される種々の構文要素を含んでよい。そのような構文要素は、通信媒体上で伝送され、記憶媒体に格納され、またはファイル・サーバに格納される符号化ビデオデータ内に含まれてよい。

いくつかの実装において、宛先デバイス１４は、一体化されたディスプレイデバイスおよび宛先デバイス１４と通信するように構成された外部ディスプレイデバイスであり得るディスプレイデバイス３４を含んでよい。ディスプレイデバイス３４は、復号されたビデオデータをユーザに表示し、液晶ディスプレイ（ＬＣＤ）、プラズマ・ディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプのディスプレイデバイスなどの種々のディスプレイデバイスのいずれかを含んでよい。

ビデオエンコーダ２０およびビデオデコーダ３０は、ＶＶＣ、ＨＥＶＣ、ＭＰＥＧ－４、Ｐａｒｔ １０、Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）、またはそのような規格の拡張版などの独自規格または産業規格に従って動作してよい。本出願は、特定のビデオ符号化／復号規格に限定されず、他のビデオ符号化／復号規格に適用可能であってよいことが理解されるべきである。ソースデバイス１２のビデオエンコーダ２０は、これらの現在または将来の規格のいずれかに従ってビデオデータを符号化するように構成されてよいことが一般に想定される。同様に、宛先デバイス１４のビデオデコーダ３０は、これらの現在または将来の規格のいずれかに従ってビデオデータを復号するように構成されてよいこともまた、一般に想定される。

ビデオエンコーダ２０およびビデオデコーダ３０は各々、１つまたは複数のマイクロプロセッサ、デジタル・シグナル・プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、ディスクリート・ロジック、ソフトウェア、ハードウェア、ファームウェアまたはそれらの任意の組み合わせなどの種々の適当なエンコーダ回路のいずれかとして実装されてよい。部分的にソフトウェアで実装される場合、電子デバイスが、当該ソフトウェアのための命令を適当な非一時的コンピュータ可読媒体に格納し、本開示において開示されるビデオ符号化／復号動作を行うよう、１つまたは複数のプロセッサを用いてそれらの命令をハードウェアで実行してよい。ビデオエンコーダ２０およびビデオデコーダ３０の各々は、１つまたは複数のエンコーダまたはデコーダに含まれてよく、そのいずれも、それぞれのデバイスにおいて、組み合わされたエンコーダ／デコーダ（ＣＯＤＥＣ）の一部として一体化されてよい。

図２は、本出願において説明されるいくつかの実装に係る例示的なビデオエンコーダ２０を示すブロック図である。ビデオエンコーダ２０は、ビデオフレーム内のビデオブロックのイントラおよびインター予測符号化を行ってよい。イントラ予測符号化は、所与のビデオフレームまたはピクチャ内のビデオデータにおける空間的冗長性を低減または除去するための空間的予測に依拠する。インター予測符号化は、ビデオシーケンスの隣接するビデオフレームまたはピクチャ内のビデオデータにおける時間的冗長性を低減または除去するための時間的予測に依拠する。

図２に示されるように、ビデオエンコーダ２０は、ビデオデータメモリ４０、予測処理ユニット４１、復号化ピクチャバッファ（ＤＰＢ）６４、加算器５０、変換処理ユニット５２、量子化ユニット５４、およびエントロピー符号化ユニット５６を含む。予測処理ユニット４１は、モーション推定ユニット４２、モーション補償ユニット４４、区分ユニット４５、イントラ予測処理ユニット４６、およびイントラブロックコピー（ＢＣ）ユニット４８をさらに含む。いくつかの実装において、ビデオエンコーダ２０はまた、ビデオブロック再構成のための逆量子化ユニット５８、逆変換処理ユニット６０、および加算器６２を含む。再構成されたビデオからブロック歪みアーチファクトを除去するようブロック境界をフィルタリングするために、デブロッキング・フィルタ（不図示）が加算器６２とＤＰＢ６４との間に配置されてよい。加算器６２の出力をフィルタリングするために、デブロッキング・フィルタに加えてループ内フィルタ（不図示）が用いられてもよい。ビデオエンコーダ２０は、固定のまたはプログラミング可能なハードウェア・ユニットの形態を取ってもよく、または、例示される固定のまたはプログラミング可能なハードウェア・ユニットのうちの１つまたは複数の間で分割されてもよい。

ビデオデータメモリ４０は、ビデオエンコーダ２０の構成要素によって符号化されるビデオデータを格納してよい。ビデオデータメモリ４０におけるビデオデータは、例えばビデオソース１８から得られてよい。ＤＰＢ６４は、（例えばイントラまたはインター予測符号化モードで）ビデオエンコーダ２０によってビデオデータを符号化する際に用いるための参照ビデオデータを格納するバッファである。ビデオデータメモリ４０およびＤＰＢ６４は、種々のメモリ・デバイスのいずれかによって形成されてよい。様々な例において、ビデオデータメモリ４０は、ビデオエンコーダ２０の他の構成要素と同一チップ上、またはそれらの構成要素に対してチップ外であってよい。

図２に示されるように、ビデオデータを受信した後、予測処理ユニット４１内の区分ユニット４５は、ビデオデータをビデオブロックに区分する。この区分は、ビデオデータに関連付けられる四分木構造などの予め定められた分割構造に従って、ビデオフレームをスライス、タイル、または他のより大きいコーディングユニット（ＣＵ）に区分することを含んでもよい。ビデオフレームは、複数のビデオブロック（またはタイルと称されるビデオブロックのセット）に分割されてよい。予測処理ユニット４１は、誤り結果（例えば符号化率および歪みレベル）に基づいて、現在のビデオブロックについて、複数のイントラ予測符号化モードのうちの１つ、または複数のインター予測符号化モードのうちの１つなどの、複数の可能な予測符号化モードのうちの１つを選択してよい。予測処理ユニット４１は、結果として得られるイントラまたはインター予測符号化されたブロックを、残差ブロックを生成するために加算器５０に、また、後に参照フレームの一部として用いるために符号化ブロックを再構成するために加算器６２に提供してよい。予測処理ユニット４１はまた、モーションベクトル、イントラモードインジケータ、区分情報、および他のそのような構文情報などの構文要素を、エントロピー符号化ユニット５６に提供する。

現在のビデオブロックについて適切なイントラ予測符号化モードを選択するべく、予測処理ユニット４１内のイントラ予測処理ユニット４６は、空間的予測を提供するために、符号化対象の現在のブロックと同じフレームにおける１つまたは複数の隣接ブロックに対して現在のビデオブロックのイントラ予測符号化を行ってよい。予測処理ユニット４１内のモーション推定ユニット４２およびモーション補償ユニット４４は、時間的予測を提供するために、１つまたは複数の参照フレームにおける１つまたは複数の予測ブロックに対して現在のビデオブロックのインター予測符号化を行う。ビデオエンコーダ２０は、例えばビデオデータの各ブロックについて適切な符号化モードを選択するために
84、複数の符号化パスを行ってよい。

いくつかの実装において、モーション推定ユニット４２は、ビデオフレームのシーケンス内の予め決定されたパターンに従って、参照ビデオフレーム内の予測ブロックに対する現在のビデオフレーム内のビデオブロックの予測ユニット（ＰＵ）の変位を示すモーションベクトルを生成することにより、現在のビデオフレームについてのインター予測モードを決定する。モーション推定ユニット４２によって行われるモーション推定は、ビデオブロックについてのモーションを推定するモーションベクトルを生成するプロセスである。モーションベクトルは、例えば、現在のフレーム（または他の符号化単位）内で符号化されている現在のブロックに対する参照フレーム（または他の符号化単位）内の予測ブロックに対する現在のビデオフレームまたはピクチャ内のビデオブロックのＰＵの変位を示してよい。予め決定されたパターンは、シーケンスにおけるビデオフレームをＰフレームまたはＢフレームとして指定してよい。イントラＢＣユニット４８は、インター予測のためのモーション推定ユニット４２によるモーションベクトルの決定と同様の方式で、イントラＢＣ符号化のために例えばブロック・ベクトルのようなベクトルを決定してよく、または、モーション推定ユニット４２を利用してブロック・ベクトルを決定してよい。

予測ブロックは、差分絶対値和（ＳＡＤ）、差分二乗和（ＳＳＤ）、または他の差分メトリックによって決定され得る画素差に関して、符号化対象のビデオブロックのＰＵと密接に合致するものとみなされる参照フレームのブロックである。いくつかの実装において、ビデオエンコーダ２０は、ＤＰＢ６４に格納された参照フレームのサブ整数画素位置についての値を算出してよい。例えば、ビデオエンコーダ２０は、参照フレームの４分の１画素位置、８分の１画素位置、または他の分数画素位置の値を補間してよい。したがって、モーション推定ユニット４２は、フル画素位置および分数画素位置に対してモーション探索を行い、分数画素精度と共にモーションベクトルを出力してよい。

モーション推定ユニット４２は、第１の参照フレームリスト（リスト０）または第２の参照フレームリスト（リスト１）（その各々が、ＤＰＢ６４に格納された１つまたは複数の参照フレームを特定する）から選択される参照フレームの予測ブロックの位置とＰＵの位置を比較することにより、インター予測符号化されたフレームにおけるビデオブロックのＰＵについてのモーションベクトルを算出する。モーション推定ユニット４２は、算出されたモーションベクトルをモーション補償ユニット４４に、次いでエントロピー符号化ユニット５６に送信する。

モーション補償ユニット４４によって行われるモーション補償は、モーション推定ユニット４２によって決定されたモーションベクトルに基づいて予測ブロックをフェッチまたは生成することを伴ってよい。現在のビデオブロックのＰＵについてのモーションベクトルを受信すると、モーション補償ユニット４４は、モーションベクトルが参照フレームリストのうちの１つにおいて指し示す予測ブロックの位置を特定し、ＤＰＢ６４から予測ブロックを取得し、予測ブロックを加算器５０に転送してよい。加算器５０は次いで、モーション補償ユニット４４によって提供された予測ブロックの画素値を、符号化されている現在のビデオブロックの画素値から減算することにより、画素差分値の残差ビデオブロックを形成する。残差ビデオブロックを形成する画素差分値は、輝度または彩度の差分成分またはその両方を含んでよい。モーション補償ユニット４４はまた、ビデオフレームのビデオブロックを復号する際におけるビデオデコーダ３０による使用のために、ビデオフレームのビデオブロックに関連付けられる構文要素を生成してよい。構文要素は、例えば、予測ブロックを特定するために用いられるモーションベクトルを定義する構文要素、予測モードを示す任意のフラグ、または本明細書に説明される任意の他の構文情報を含んでよい。モーション推定ユニット４２およびモーション補償ユニット４４は、高度に一体化されてよいが、概念的な目的で別個に示されていることに留意されたい。

いくつかの実装において、イントラＢＣユニット４８は、モーション推定ユニット４２およびモーション補償ユニット４４に関連して上記で説明されているものと同様の方式で、ベクトルを生成し予測ブロックをフェッチしてよいが、予測ブロックは、符号化されている現在のブロックと同じフレームにおけるものであり、ベクトルは、モーションベクトルとは対照的にブロック・ベクトルと称される。特に、イントラＢＣユニット４８は、現在のブロックを符号化するために用いるべきイントラ予測モードを決定してよい。いくつかの例において、イントラＢＣユニット４８は、例えば別個の符号化パスの間に、様々なイントラ予測モードを用いて現在のブロックを符号化し、レート歪み解析によってそれらの性能を試験してよい。次に、イントラＢＣユニット４８は、様々な試験されるイントラ予測モードの中から、用いるべき適切なイントラ予測モードを選択し、それに応じてイントラモードインジケータを生成してよい。例えば、イントラＢＣユニット４８は、様々な試験されるイントラ予測モードについてレート歪み解析を用いてレート歪み値を算出し、試験モードのうち最良のレート歪み特性を有するイントラ予測モードを、用いるべき適切なイントラ予測モードとして選択してよい。レート歪み解析は、一般に、符号化ブロックを作成するために用いられるビットレート（すなわちビットの数）と共に、符号化ブロックと、符号化ブロックを作成するように符号化された元の未符号化ブロックとの間の歪み（または誤差）の量を決定する。イントラＢＣユニット４８は、どのイントラ予測モードがブロックについての最良のレート歪み値を呈するかを決定するために、様々な符号化ブロックについての歪みおよびレートからの比を算出してよい。

他の例において、イントラＢＣユニット４８は、本明細書において説明される実装に従って、イントラＢＣ予測のためのそのような機能を行うために、全体的または部分的にモーション推定ユニット４２およびモーション補償ユニット４４を用いてよい。いずれの場合においても、イントラブロックコピーについて、予測ブロックは、差分絶対値和（ＳＡＤ）、差分二乗和（ＳＳＤ）、または他の差分メトリックによって決定され得る画素差に関して、符号化対象のブロックと密接に合致するものとみなされるブロックであってよく、予測ブロックの特定は、サブ整数画素位置についての値の算出を含んでよい。

予測ブロックがイントラ予測による同じフレームからのものであるか、またはインター予測による異なるフレームからのものであるかに関わらず、ビデオエンコーダ２０は、符号化されている現在のビデオブロックの画素値から予測ブロックの画素値を減算することにより、残差ビデオブロックを形成してよく、これにより画素差分値を形成する。残差ビデオブロックを形成する画素差分値は、輝度および彩度の両成分の差分を含んでよい。

イントラ予測処理ユニット84は、上述のように、モーション推定ユニット４２およびモーション補償ユニット４４によって行われるインター予測、またはイントラＢＣユニット４８によって行われるイントラブロックコピー予測の代替として、現在のビデオブロックをイントラ予測してよい。特に、イントラ予測処理ユニット４６は、現在のブロックを符号化するために用いるべきイントラ予測モードを決定してよい。これを行うために、イントラ予測処理ユニット４６は、例えば別個の符号化パスの間に、様々なイントラ予測モードを用いて現在のブロックを符号化してよく、イントラ予測処理ユニット４６（またはいくつかの例においてはモード選択ユニット）は、試験されたイントラ予測モードから、用いるべき適切なイントラ予測モードを選択してよい。イントラ予測処理ユニット４６は、そのブロックについての選択されたイントラ予測モードを示す情報をエントロピー符号化ユニット５６に提供してよい。エントロピー符号化ユニット５６は、選択されたイントラ予測モードを示す情報をビットストリームにおいて符号化してよい。

予測処理ユニット４１がインター予測またはイントラ予測のいずれかを介して現在のビデオブロックについての予測ブロックを決定した後、加算器５０は現在のビデオブロックから予測ブロックを減算することにより残差ビデオブロックを形成する。残差ブロックにおける残差ビデオデータは、１つまたは複数の変換ユニット（ＴＵ）に含まれてよく、変換処理ユニット５２に提供される。変換処理ユニット５２は、離散コサイン変換（ＤＣＴ）または概念的に類似の変換などの変換を用いて、残差ビデオデータを残差変換係数に変換する。

変換処理ユニット５２は、結果として得られた変換係数を量子化ユニット５４に送信してよい。量子化ユニット５４は、ビット・レートをさらに低減するために、変換係数を量子化する。量子化プロセスは、係数の一部または全てに関連付けられるビット深度を低減してもよい。量子化度は、量子化パラメータを調整することにより修正されてよい。いくつかの例において、量子化ユニット５４は次いで、量子化された変換係数を含む行列の走査を行ってよい。代替的に、エントロピー符号化ユニット５６がこの走査を行ってよい。

量子化に続き、エントロピー符号化ユニット５６は、例えばコンテキスト適応可変長符号化（ＣＡＶＬＣ）、コンテキスト適応バイナリ算術符号化（ＣＡＢＡＣ）、シンタックスベースのコンテキスト適応バイナリ算術符号化（ＳＢＡＣ）、確率区間区分エントロピー（ＰＩＰＥ）符号化または別のエントロピー符号化方法または技法を用いて、量子化された変換係数をビデオビットストリームにエントロピー符号化する。符号化ビットストリームは次いで、ビデオデコーダ３０に伝送され、または、後のビデオデコーダ３０への伝送またはビデオデコーダ３０による取得のためにストレージデバイス３２にアーカイブされてよい。エントロピー符号化ユニット５６は、符号化されている現在のビデオフレームについてのモーションベクトルおよび他の構文要素をエントロピー符号化してもよい。

逆量子化ユニット５８および逆変換処理ユニット６０は、それぞれ逆量子化および逆変換を適用することで、他のビデオブロックの予測のための参照ブロックを生成するために、残差ビデオブロックを画素ドメインに再構成する。上記のように、モーション補償ユニット４４は、ＤＰＢ６４に格納されたフレームの１つまたは複数の参照ブロックから、モーション補償された予測ブロックを生成してよい。モーション補償ユニット４４は、モーション推定に用いるためのサブ整数画素値を算出するために、予測ブロックに１つまたは複数の補間フィルタを適用してもよい。

加算器６２は、ＤＰＢ６４への格納のために参照ブロックを作成するために、再構成された残差ブロックを、モーション補償ユニット４４によって作成されたモーション補償された予測ブロックに加算する。参照ブロックは次いで、イントラＢＣユニット４８、モーション推定ユニット４２およびモーション補償ユニット４４によって、後続のビデオフレームにおける別のビデオブロックをインター予測するための予測ブロックとして用いられてよい。

図３は、本出願のいくつかの実装に係る例示的なビデオデコーダ３０を示すブロック図である。ビデオデコーダ３０は、ビデオデータメモリ７９、エントロピー復号ユニット８０、予測処理ユニット８１、逆量子化ユニット８６、逆変換処理ユニット８８、加算器９０、およびＤＰＢ９２を含む。予測処理ユニット８１は、モーション補償ユニット８２、イントラ予測処理ユニット８４、およびイントラＢＣユニット８５をさらに含む。ビデオデコーダ３０は、図２に関連してビデオエンコーダ２０に関して上記で説明されている符号化プロセスと概して反対の復号プロセスを行ってよい。例えば、モーション補償ユニット８２は、エントロピー復号ユニット８０から受信されたモーションベクトルに基づいて予測データを生成してよく、一方でイントラ予測ユニット８４は、エントロピー復号ユニット８０から受信されたイントラ予測モードインジケータに基づいて予測データを生成してよい。

いくつかの例において、ビデオデコーダ３０のあるユニットが、本出願の実装を実行することを課されてよい。また、いくつかの例において、本開示の実装は、ビデオデコーダ３０の１つまたは複数のユニットの間で分割されてよい。例えば、イントラＢＣユニット８５は、単独で、またはモーション補償ユニット８２、イントラ予測処理ユニット８４、およびエントロピー復号ユニット８０などのビデオデコーダ３０の他のユニットとの組み合わせで、本出願の実装を行ってよい。いくつかの例において、ビデオデコーダ３０は、イントラＢＣユニット８５を含まなくてよく、イントラＢＣユニット８５の機能は、モーション補償ユニット８２などの予測処理ユニット８１の他の構成要素によって行われてよい。

ビデオデータメモリ７９は、ビデオデコーダ３０の他の構成要素によって復号される、符号化ビデオビットストリームなどのビデオデータを格納してよい。ビデオデータメモリ７９に格納されたビデオデータは、例えば、ストレージデバイス３２から、カメラなどのローカルのビデオソースから、ビデオデータの有線または無線ネットワーク通信を介して、または物理的データ記憶媒体（例えばフラッシュ・ドライブまたはハード・ディスク）にアクセスすることにより、得られてよい。ビデオデータメモリ７９は、符号化ビデオビットストリームからの符号化ビデオデータを格納する符号化ピクチャバッファ（ＣＰＢ）を含んでよい。ビデオデコーダ３０の復号化ピクチャバッファ（ＤＰＢ）９２は、（例えばイントラまたはインター予測符号化モードで）ビデオデコーダ３０によってビデオデータを復号する際に用いるための参照ビデオデータを格納する。ビデオデータメモリ７９およびＤＰＢ９２は、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）を含むダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗変化ＲＡＭ（ＲＲＡＭ）、または他のタイプのメモリ・デバイスなどの種々のメモリ・デバイスのいずれかによって形成されてよい。例示の目的で、ビデオデータメモリ７９およびＤＰＢ９２は、図３においてビデオデコーダ３０の２つの別個の構成要素として図示されている。しかしながら、ビデオデータメモリ７９およびＤＰＢ９２が同じメモリ・デバイスまたは別個のメモリ・デバイスによって提供されてよいことは、当業者には明らかであろう。いくつかの例において、ビデオデータメモリ７９は、ビデオデコーダ３０の他の構成要素と同一チップ上、またはそれらの構成要素に対してチップ外であってよい。

復号プロセスの間、ビデオデコーダ３０は、符号化ビデオフレームのビデオブロックおよび関連付けられる構文要素を表す符号化ビデオビットストリームを受信する。ビデオデコーダ３０は、ビデオフレームのレベルおよび／またはビデオブロックのレベルで構文要素を受信してよい。ビデオデコーダ３０のエントロピー復号ユニット８０は、ビットストリームをエントロピー復号して、量子化係数、モーションベクトルまたはイントラ予測モードインジケータ、および他の構文要素を生成する。エントロピー復号ユニット８０は次いで、モーションベクトルおよび他の構文要素を予測処理ユニット８１に転送する。

ビデオフレームが、イントラ予測符号化された（Ｉ）フレームとして、または他のタイプのフレームにおけるイントラ符号化された予測ブロックについて符号化される場合、予測処理ユニット８１のイントラ予測処理ユニット８４は、信号伝送されるイントラ予測モードと、現在のフレームの以前に復号されたブロックからの参照データとに基づいて、現在のビデオフレームのビデオブロックについての予測データを生成してよい。

ビデオフレームが、インター予測符号化された（すなわちＢまたはＰ）フレームとして符号化される場合、予測処理ユニット８１のモーション補償ユニット８２は、エントロピー復号ユニット８０から受信されたモーションベクトルおよび他の構文要素に基づいて、現在のビデオフレームのビデオブロックについての１つまたは複数の予測ブロックを作成する。予測ブロックの各々は、参照フレームリストのうちの１つにおける参照フレームから作成されてよい。ビデオデコーダ３０は、ＤＰＢ９２に格納された参照フレームに基づいて、デフォルトの構成技法を用いて、参照フレームリスト、リスト０およびリスト１を構成してよい。

いくつかの例において、ビデオブロックが本明細書において説明されるイントラＢＣモードに従って符号化される場合、予測処理ユニット８１のイントラＢＣユニット８５は、エントロピー復号ユニット８０から受信されたブロック・ベクトルおよび他の構文要素に基づいて、現在のビデオブロックについての予測ブロックを作成する。予測ブロックは、ビデオエンコーダ２０によって定められる現在のビデオブロックと同じピクチャの再構成された領域内のものであってよい。

モーション補償ユニット８２および／またはイントラＢＣユニット８５は、モーションベクトルおよび他の構文要素を構文解析することにより、現在のビデオフレームのビデオブロックについての予測情報を決定し、次いで、予測情報を用いて、復号されている現在のビデオブロックについての予測ブロックを作成する。例えば、モーション補償ユニット８２は、受信された構文要素のいくつかを用いて、ビデオフレームのビデオブロックを符号化するために用いられる予測モード（例えばイントラまたはインター予測）、インター予測フレーム・タイプ（例えばＢまたはＰ）、フレームについての参照フレームリストのうちの１つまたは複数についての構成情報、フレームのインター予測符号化された各ビデオブロックについてのモーションベクトル、フレームのインター予測符号化された各ビデオブロックについてのインター予測ステータス、現在のビデオフレームにおけるビデオブロックを復号するための他の情報を決定する。

同様に、イントラＢＣユニット８５は、例えばフラグのような受信された構文要素のいくつかを用いて、現在のビデオブロックがイントラＢＣモードを用いて予測されたこと、フレームのどのビデオブロックが再構成された領域内にあり、ＤＰＢ９２に格納されているはずであるかについての構成情報、フレームのイントラＢＣ予測された各ビデオブロックについてのブロック・ベクトル、フレームのイントラＢＣ予測された各ビデオブロックについてのイントラＢＣ予測ステータス、および現在のビデオフレームにおけるビデオブロックを復号するための他の情報を決定してよい。

モーション補償ユニット８２はまた、ビデオブロックの符号化の間にビデオエンコーダ２０によって用いられるように、補間フィルタを用いて補間を行って、参照ブロックのサブ整数画素についての補間された値を算出してよい。この場合、モーション補償ユニット８２は、受信された構文要素からビデオエンコーダ２０によって用いられる補間フィルタを決定し、補間フィルタを用いて予測ブロックを作成してよい。

逆量子化ユニット８６は、ビデオフレームにおける各ビデオブロックについてビデオエンコーダ２０によって算出されたものと同じ量子化パラメータを用いて、ビットストリームにおいて提供され、エントロピー復号ユニット８０によってエントロピー復号された量子化された変換係数を逆量子化して、量子化度を決定する。逆変換処理ユニット８８は、残差ブロックを画素ドメインにおいて再構成するために、例えば逆ＤＣＴ、逆整数変換、または概念的に類似の逆変換プロセスのような逆変換を変換係数に適用する。

モーション補償ユニット８２またはイントラＢＣユニット８５が、ベクトルおよび他の構文要素に基づいて、現在のビデオブロックについての予測ブロックを生成した後、加算器９０は、逆変換処理ユニット８８からの残差ブロックと、モーション補償ユニット８２およびイントラＢＣユニット８５によって生成された対応する予測ブロックとを加算することにより、現在のビデオブロックについての復号化ビデオブロックを再構成する。復号化ビデオブロックをさらに処理するために、ループ内フィルタ（不図示）が加算器９０とＤＰＢ９２との間に配置されてよい。所与のフレームにおける復号化ビデオブロックは、次いで、次のビデオブロックの後続のモーション補償に用いられる参照フレームを格納するＤＰＢ９２に格納される。ＤＰＢ９２、またはＤＰＢ９２とは別個のメモリ・デバイスは、図１のディスプレイデバイス３４などのディスプレイデバイス上における後の提示のために、復号化ビデオを格納してもよい。

典型的なビデオコーディングプロセスにおいて、ビデオシーケンスは典型的に、フレームまたはピクチャの順序付けられたセットを含む。各フレームは、ＳＬ、ＳＣｂ、およびＳＣｒと表記される３つのサンプル配列を含んでよい。ＳＬは、輝度サンプルの２次元配列である。ＳＣｂは、Ｃｂ彩度サンプルの２次元配列である。ＳＣｒは、Ｃｒ彩度サンプルの２次元配列である。他の事例において、フレームは、単色であってよく、したがって輝度サンプルの１つの２次元配列のみを含む。

図４Ａに示されるように、ビデオエンコーダ２０（またはより具体的には区分ユニット４５）は、まずフレームをコーディングツリーユニット（ＣＴＵ）のセットに区分することにより、フレームの符号化表現を生成する。ビデオフレームは、左から右へ、上から下へのラスター・スキャン順に連続して順序付けられた整数のＣＴＵを含んでよい。各ＣＴＵは、最も大きい論理的コーディングユニットであり、ビデオシーケンスにおける全てのＣＴＵが１２８×１２８、６４×６４、３２×３２、および１６×１６のいずれかの同じサイズを有するように、ＣＴＵの幅および高さが、シーケンスパラメータセットにおいてビデオエンコーダ２０によって信号伝送される。しかしながら、本出願は、必ずしも特定のサイズに限定されないことが留意されるべきである。図４Ｂに示されるように、各ＣＴＵは、輝度サンプルの１つの符号化ツリーブロック（ＣＴＢ）と、彩度サンプルの２つの対応する符号化ツリーブロックと、符号化ツリーブロックのサンプルを符号化するために用いられる構文要素とを含んでよい。構文要素は、インターまたはイントラ予測、イントラ予測モード、モーションベクトル、および他のパラメータを含む、符号化される画素ブロックの異なるタイプの単位の特性、および、ビデオシーケンスがどのようにビデオデコーダ３０において再構成され得るかを記述する。単色ピクチャ、または３つの別個の色平面を有するピクチャにおいて、ＣＴＵは、単一の符号化ツリーブロックと、符号化ツリーブロックのサンプルを符号化するために用いられる構文要素とを含んでよい。符号化ツリーブロックは、サンプルのＮ×Ｎブロックであってよい。

より良好な性能を実現するために、ビデオエンコーダ２０は、ＣＴＵの符号化ツリーブロックに対して二分木区分、三分木区分、四分木区分、または両方の組み合わせなどの分木区分を再帰的に行い、ＣＴＵをより小さいコーディングユニット（ＣＵ）に分割してよい。図４Ｃに図示されるように、まず６４×６４のＣＴＵ４００が、各々３２×３２のブロックサイズを有する４つのより小さいＣＵに分割される。４つのより小さいＣＵのうち、ＣＵ４１０およびＣＵ４２０が、各々、ブロックサイズ１６×１６の４つのＣＵに分割される。２つの１６×１６のＣＵ４３０および４４０は、各々、ブロックサイズ８×８の４つのＣＵにさらに分割される。図４Ｄは、図４Ｃに図示されるようなＣＴＵ４００の区分プロセスの最終結果を示す四分木データ構造を図示し、四分木の各葉ノードは、それぞれのサイズが３２×３２から８×８までの範囲である１つのＣＵに対応する。図４Ｂに図示されるＣＴＵと同様、各ＣＵは、同じサイズのフレームの、輝度サンプルの符号化ブロック（ＣＢ）および彩度サンプルの２つの対応する符号化ブロックと、符号化ブロックのサンプルを符号化するために用いられる構文要素とを含んでよい。単色ピクチャ、または３つの別個の色平面を有するピクチャにおいて、ＣＵは、単一の符号化ブロックと、符号化ブロックのサンプルを符号化するために用いられる構文構造とを含んでよい。図４Ｃおよび図４Ｄに図示される四分木区分は、単に例示を目的としたものであり、四分木／三分木／二分木区分に基づいて様々な局所的特性に適合するように、１つのＣＴＵがＣＵに分けられ得ることが、留意されるべきである。多分木構造においては、１つのＣＴＵが、四分木構造によって区分され、四分木の各葉ＣＵが、二分木および三分木構造によってさらに区分され得る。図４Ｅに示されるように、５つの区分タイプ、すなわち四区分、水平二区分、垂直二区分、水平三区分、および垂直三区分が存在する。

いくつかの実装において、ビデオエンコーダ２０は、ＣＵの符号化ブロックを１つまたは複数のＭ×Ｎ予測ブロック（ＰＢ）にさらに区分してよい。予測ブロックは、インターまたはイントラの同じ予測が適用されるサンプルの矩形（正方形または非正方形）ブロックである。ＣＵの予測ユニット（ＰＵ）は、輝度サンプルの予測ブロックと、彩度サンプルの２つの対応する予測ブロックと、予測ブロックを予測するために用いられる構文要素とを含んでよい。単色ピクチャ、または３つの別個の色平面を有するピクチャにおいて、ＰＵは、単一の予測ブロックと、予測ブロックを予測するために用いられる構文構造とを含んでよい。ビデオエンコーダ２０は、ＣＵの各ＰＵの輝度、Ｃｂ、およびＣｒ予測ブロックについての予測輝度、Ｃｂ、およびＣｒブロックを生成してよい。

ビデオエンコーダ２０は、イントラ予測またはインター予測を用いて、ＰＵについての予測ブロックを生成してよい。ビデオエンコーダ２０がイントラ予測を用いてＰＵについての予測ブロックを生成する場合、ビデオエンコーダ２０は、ＰＵに関連付けられたフレームの復号されたサンプルに基づいて、ＰＵの予測ブロックを生成してよい。ビデオエンコーダ２０がインター予測を用いてＰＵについての予測ブロックを生成する場合、ビデオエンコーダ２０は、ＰＵに関連付けられたフレーム以外の１つまたは複数のフレームの復号されたサンプルに基づいて、ＰＵの予測ブロックを生成してよい。

ビデオエンコーダ２０がＣＵの１つまたは複数のＰＵについての予測輝度、Ｃｂ、およびＣｒブロックを生成した後、ビデオエンコーダ２０は、ＣＵの輝度残差ブロックにおける各サンプルが、ＣＵの予測輝度ブロックのうちの１つにおける輝度サンプルと、ＣＵの元の輝度符号化ブロックにおける対応するサンプルとの間の差を示すように、ＣＵの予測輝度ブロックをその元の輝度符号化ブロックから減算することにより、ＣＵについての輝度残差ブロックを生成してよい。同様に、ビデオエンコーダ２０は、それぞれ、ＣＵのＣｂ残差ブロックにおける各サンプルが、ＣＵの予測Ｃｂブロックのうちの１つにおけるＣｂサンプルと、ＣＵの元のＣｂ符号化ブロックにおける対応するサンプルとの間の差を示し、ＣＵのＣｒ残差ブロックにおける各サンプルが、ＣＵの予測Ｃｒブロックのうちの１つにおけるＣｒサンプルと、ＣＵの元のＣｒ符号化ブロックにおける対応するサンプルとの間の差を示し得るように、ＣＵについてのＣｂ残差ブロックおよびＣｒ残差ブロックを生成してよい。

さらに、図４Ｃに例示されるように、ビデオエンコーダ２０は、四分木区分を用いて、ＣＵの輝度、Ｃｂ、およびＣｒ残差ブロックを１つまたは複数の輝度、Ｃｂ、およびＣｒ変換ブロックに分解してよい。変換ブロックは、同じ変換が適用されるサンプルの矩形（正方形または非正方形）ブロックである。ＣＵの変換ユニット（ＴＵ）は、輝度サンプルの変換ブロックと、彩度サンプルの２つの対応する変換ブロックと、変換ブロックサンプルを変換するために用いられる構文要素とを含んでよい。よって、ＣＵの各ＴＵは、輝度変換ブロック、Ｃｂ変換ブロック、およびＣｒ変換ブロックに関連付けられてよい。いくつかの例において、ＴＵに関連付けられた輝度変換ブロックは、ＣＵの輝度残差ブロックのサブブロックであってよい。Ｃｂ変換ブロックは、ＣＵのＣｂ残差ブロックのサブブロックであってよい。Ｃｒ変換ブロックは、ＣＵのＣｒ残差ブロックのサブブロックであってよい。単色ピクチャ、または３つの別個の色平面を有するピクチャにおいて、ＴＵは、単一の変換ブロックと、変換ブロックのサンプルを変換するために用いられる構文構造とを含んでよい。

ビデオエンコーダ２０は、１つまたは複数の変換をＴＵの輝度変換ブロックに適用して、ＴＵについての輝度係数ブロックを生成してよい。係数ブロックは、変換係数の２次元配列であってよい。変換係数は、スカラ量であってよい。ビデオエンコーダ２０は、１つまたは複数の変換をＴＵのＣｂ変換ブロックに適用して、ＴＵについてのＣｂ係数ブロックを生成してよい。ビデオエンコーダ２０は、１つまたは複数の変換をＴＵのＣｒ変換ブロックに適用して、ＴＵについてのＣｒ係数ブロックを生成してよい。

係数ブロック（例えば輝度係数ブロック、Ｃｂ係数ブロック、またはＣｒ係数ブロック）を生成した後、ビデオエンコーダ２０は、係数ブロックを量子化してよい。量子化は、一般に、可能な場合に変換係数を表すために用いられるデータの量を低減することで、さらなる圧縮を提供するために、変換係数が量子化されるプロセスを指す。ビデオエンコーダ２０が係数ブロックを量子化した後、ビデオエンコーダ２０は、量子化された変換係数を示す構文要素をエントロピー符号化してよい。例えば、ビデオエンコーダ２０は、量子化された変換係数を示す構文要素に対してコンテキスト適応バイナリ算術符号化（ＣＡＢＡＣ）を行ってよい。最後に、ビデオエンコーダ２０は、ストレージデバイス３２に保存されるか、または宛先デバイス１４に伝送される、符号化されたフレームおよび関連付けられたデータの表現を形成するビット系列を含むビットストリームを出力してよい。

ビデオエンコーダ２０によって生成されたビットストリームを受信した後、ビデオデコーダ３０は、ビットストリームを構文解析して、ビットストリームから構文要素を得てよい。ビデオデコーダ３０は、ビットストリームから得られた構文要素に少なくとも部分的に基づいて、ビデオデータのフレームを再構成してよい。ビデオデータを再構成するプロセスは、ビデオエンコーダ２０によって行われる符号化プロセスと概して反対である。例えば、ビデオデコーダ３０は、現在のＣＵのＴＵに関連付けられた係数ブロックを逆変換して、現在のＣＵのＴＵに関連付けられた残差ブロックを再構成してよい。ビデオデコーダ３０はまた、現在のＣＵのＰＵについての予測ブロックのサンプルを、現在のＣＵのＴＵの変換ブロックの対応するサンプルに加算することにより、現在のＣＵの符号化ブロックを再構成する。フレームの各ＣＵについての符号化ブロックを再構成した後、ビデオデコーダ３０は、フレームを再構成してよい。

上記のように、ビデオコーディングは、主に２つのモード、すなわちフレーム内予測（またはイントラ予測）およびフレーム間予測（またはインター予測）を用いて、ビデオ圧縮を実現する。パレットベースコーディングは、多くのビデオコーディング規格によって採用されている別の符号化方式である。スクリーン生成されたコンテンツの符号化に特に適当であり得るパレットベースコーディングにおいては、ビデオコーダ（例えばビデオエンコーダ２０またはビデオデコーダ３０）が、所与のブロックのビデオデータを表す色のパレットテーブルを形成する。パレットテーブルは、所与のブロックにおける最も支配的な（例えば頻繁に使用される）画素値を含む。所与のブロックのビデオデータにおいて頻繁に現れない画素値は、パレットテーブルに含まれないか、またはエスケープ色としてパレットテーブルに含まれる。

パレットテーブルにおける各エントリは、パレットテーブルにおける対応する画素値についてのインデックスを含む。ブロックにおけるサンプルについてのパレットインデックスは、パレットテーブルからのどのエントリが、どのサンプルを予測または再構成するために用いられるべきであるかを示すように符号化されてよい。このパレットモードは、ピクチャ、スライス、タイル、または他のそのようなビデオブロックの分類の第１のブロックについてのパレット予測子を生成するプロセスで開始する。下記で説明されるように、後続のビデオブロックについてのパレット予測子は、典型的には、以前に使用されたパレット予測子を更新することによって生成される。例示の目的で、パレット予測子がピクチャのレベルで定義されることが仮定される。換言すると、ピクチャは、各々がそれ自体のパレットテーブルを有する複数の符号化ブロックを含んでよいが、ピクチャ全体について１つのパレット予測子が存在する。

ビデオビットストリームにおいてパレットエントリを信号伝送するために必要なビットを低減するべく、ビデオデコーダは、ビデオブロックを再構成するために用いられるパレットテーブルにおける新たなパレットエントリを決定するためにパレット予測子を利用してよい。例えば、パレット予測子は、以前に使用されたパレットテーブルからのパレットエントリを含んでよく、または、最も近くで使用されたパレットテーブルの全てのエントリを含めることにより、最も近くで使用されたパレットテーブルで初期化されてもよい。いくつかの実装において、パレット予測子は、最も近くで使用されたパレットテーブルからの全てのエントリよりも少数のエントリを含んでよく、このとき、他の以前に使用されたパレットテーブルからのいくつかのエントリを組み入れてよい。パレット予測子は、異なるブロックを符号化するために用いられるパレットテーブルと同じサイズを有してもよく、または、異なるブロックを符号化するために用いられるパレットテーブルよりも大きいまたは小さくてもよい。一例において、パレット予測子は、６４のパレットエントリを含む先入れ先出し（ＦＩＦＯ）テーブルとして実装される。

パレット予測子からビデオデータのブロックについてのパレットテーブルを生成するべく、ビデオデコーダは、パレット予測子の各エントリについての１ビットフラグを符号化ビデオビットストリームから受信してよい。１ビットフラグは、パレット予測子の関連付けられたエントリがパレットテーブルに含まれるべきであることを示す第１の値（例えば二値の１）、または、パレット予測子の関連付けられたエントリがパレットテーブルに含まれるべきでないことを示す第２の値（例えば二値の０）を有してよい。パレット予測子のサイズが、ビデオデータのブロックに用いられるパレットテーブルよりも大きい場合、ビデオデコーダは、パレットテーブルについての最大サイズに達した時点で、それ以上のフラグを受信することを停止してよい。

いくつかの実装において、パレットテーブルにおけるいくつかのエントリは、パレット予測子を用いて決定される代わりに、符号化ビデオビットストリームにおいて直接信号伝送されてよい。そのようなエントリについて、ビデオデコーダは、エントリに関連付けられた輝度および２つの彩度成分についての画素値を示す３つの別個のｍビット値を、符号化ビデオビットストリームから受信してよく、ここでｍはビデオデータのビット深度を表す。直接信号伝送されるパレットエントリに必要とされる複数のｍビット値と比較して、パレット予測子から導出されるパレットエントリは、１ビットフラグのみを必要とする。したがって、パレット予測子を用いて一部または全てのパレットエントリを信号伝送することは、新たなパレットテーブルのエントリを信号伝送するのに必要とされるビットの数を大幅に低減することができ、これにより、パレットモード符号化の全体的な符号化効率が向上する。

多くの事例において、１つのブロックについてのパレット予測子は、１つまたは複数の以前に符号化されたブロックを符号化するために用いられたパレットテーブルに基づいて決定される。しかしながら、ピクチャ、スライスまたはタイルにおける最初のコーディングツリーユニットを符号化するときは、以前に符号化されたブロックのパレットテーブルが利用可能でない場合がある。したがって、以前に使用されたパレットテーブルのエントリを用いてパレット予測子が生成されることができない。そのような場合には、以前に使用されたパレットテーブルが利用可能でない場合にパレット予測子を生成するために用いられる値であるシーケンスパラメータセット（ＳＰＳ）および／またはピクチャパラメータセット（ＰＰＳ）において、一連のパレット予測子初期化子（ｐａｌｅｔｔｅ ｐｒｅｄｉｃｔｏｒ ｉｎｉｔｉａｌｉｚｅｒ）が信号伝送されてよい。ＳＰＳは一般に、各スライスセグメントヘッダに見出される構文要素によって参照されるＰＰＳに見出される構文要素の内容によって決定される、符号化ビデオシーケンス（ＣＶＳ）と称される一連の連続した符号化ビデオピクチャに適用する構文要素の構文構造を指す。ＰＰＳは一般に、各スライスセグメントヘッダに見出される構文要素によって決定される、ＣＶＳ内の１つまたは複数の個々のピクチャに適用する構文要素の構文構造を指す。よって、ＳＰＳは一般に、ＰＰＳよりも上位レベルの構文構造とみなされ、これは、ＳＰＳに含まれる構文要素は、一般に、ＰＰＳに含まれる構文要素と比較して、より低頻度で変化し、ビデオデータのより大部分に適用することを意味する。

図５は、本開示のいくつかの実装に係る、ピクチャ５００におけるビデオデータを符号化するためにパレットテーブルを決定および使用する例を示すブロック図である。ピクチャ５００は、第１のパレットテーブル５２０に関連付けられた第１のブロック５１０と、第２のパレットテーブル５４０に関連付けられた第２のブロック５３０とを含む。第２のブロック５３０は第１のブロック５１０の右側にあるため、第２のパレットテーブル５４０は、第１のパレットテーブル５２０に基づいて決定されてよい。パレット予測子５５０が、ピクチャ５００に関連付けられ、第１のパレットテーブル５２０からのゼロ個以上のパレットエントリを収集し、第２のパレットテーブル５４０におけるゼロ個以上のパレットエントリを構成するために用いられる。図５に図示されている様々なブロックは、上述のようなＣＴＵ、ＣＵ、ＰＵ、またはＴＵに対応してよく、ブロックは、任意の特定の符号化規格のブロック構造に限定されず、将来のブロックベースの符号化規格に適合するものであってよいことに留意されたい。

一般に、パレットテーブルは、現在符号化されているブロック（例えば図５におけるブロック５１０または５３０）について支配的および／または代表的である複数の画素値を含む。いくつかの例において、ビデオコーダ（例えばビデオエンコーダ２０またはビデオデコーダ３０）は、ブロックの色成分ごとに別個にパレットテーブルを符号化してよい。例えば、ビデオエンコーダ２０は、ブロックの輝度成分についてのパレットテーブル、ブロックの彩度Ｃｂ成分についての別のパレットテーブル、およびブロックの彩度Ｃｒ成分についてのさらに別のパレットテーブルを符号化してよい。この場合、第１のパレットテーブル５２０および第２のパレットテーブル５４０は、各々、複数のパレットテーブルとなってよい。他の例において、ビデオエンコーダ２０は、ブロックの全ての色成分について単一のパレットテーブルを符号化してよい。この場合、パレットテーブルにおけるｉ番目のエントリは（Ｙｉ、Ｃｂｉ、Ｃｒｉ）の三重値であり、各値が画素の１つの成分に対応する。したがって、第１のパレットテーブル５２０および第２のパレットテーブル５４０の表現は、単に一例であり、限定的であることは意図されていない。

本明細書において説明されているように、第１のブロック５１０の実際の画素値を直接符号化するのではなく、ビデオコーダ（ビデオエンコーダ２０またはビデオデコーダ３０など）は、パレットベースコーディング方式を用いることで、インデックスＩ１、・・・、ＩＮを用いて第１のブロック５１０の画素を符号化してよい。例えば、第１のブロック５１０における各画素について、ビデオエンコーダ２０は、その画素についてのインデックス値を符号化してよく、インデックス値は、第１のパレットテーブル５２０における画素値に関連付けられる。ビデオエンコーダ２０は、第１のパレットテーブル５２０を符号化し、デコーダ側でのパレットベース復号のためのビデオデコーダ３０による使用のために、符号化ビデオデータ・ビットストリームにおいてそれを伝送してよい。一般に、１つまたは複数のパレットテーブルは、ブロックごとに伝送され、または異なるブロックの間で共有されてよい。ビデオデコーダ３０は、ビデオエンコーダ２０によって生成されたビデオビットストリームからインデックス値を得、第１のパレットテーブル５２０における、インデックス値に対応する画素値を用いて、画素値を再構成してよい。換言すると、ブロックについてのそれぞれのインデックス値ごとに、ビデオデコーダ３０は、第１のパレットテーブル５２０におけるエントリを決定してよい。ビデオデコーダ３０は次いで、ブロックにおけるそれぞれのインデックス値を、第１のパレットテーブル５２０における決定されたエントリによって指定される画素値で置き換える。

いくつかの実装において、ビデオコーダ（例えばビデオエンコーダ２０またはビデオデコーダ３０）は、ピクチャ５００に関連付けられたパレット予測子５５０に少なくとも部分的に基づいて、第２のパレットテーブル５４０を決定する。パレット予測子５５０は、第１のパレットテーブル５２０のエントリの一部または全てを含んでよく、場合により他のパレットテーブルからのエントリを含んでもよい。いくつかの例において、パレット予測子５５０は、先入れ先出しテーブルを用いて実装され、この場合、第１のパレットテーブル５２０のエントリをパレット予測子５５０に追加すると、パレット予測子５５０を最大サイズ以下に保つように、現在パレット予測子５５０にある最も古いエントリが削除される。他の例において、パレット予測子５５０は、異なる技法を用いて更新および／または保持されてよい。

一例において、ビデオエンコーダ２０は、ブロックについてのパレットテーブルが、隣接ブロック５１０などの１つまたは複数の他のブロックに関連付けられた１つまたは複数のパレットテーブルから予測されるか否かを示すように、各ブロック（例えば第２のブロック５３０）についてｐｒｅｄ＿ｐａｌｅｔｔｅ＿ｆｌａｇを符号化してよい。例えば、そのようなフラグの値が二値の１である場合、ビデオデコーダ３０は、第２のブロック５３０についての第２のパレットテーブル５４０が１つまたは複数の以前に復号されたパレットテーブルから予測され、したがって第２のブロック５４０についての新たなパレットテーブルがｐｒｅｄ＿ｐａｌｅｔｔｅ＿ｆｌａｇを含むビデオビットストリームに含まれないと決定してよい。そのようなフラグが二値の０である場合、ビデオデコーダ３０は、第２のブロック５３０についての第２のパレットテーブル５４０が新たなパレットテーブルとしてビデオビットストリームに含まれると決定してよい。いくつかの例において、ｐｒｅｄ＿ｐａｌｅｔｔｅ＿ｆｌａｇは、ブロックの異なる色成分ごとに別個に符号化されてよい（例えば、ＹＣｂＣｒ空間におけるビデオブロックについて、１つはＹ、１つはＣｂ、１つはＣｒについてのものである３つのフラグ）。他の例において、ブロックの全ての色成分について、単一のｐｒｅｄ＿ｐａｌｅｔｔｅ＿ｆｌａｇが符号化されてよい。

上記の例において、ｐｒｅｄ＿ｐａｌｅｔｔｅ＿ｆｌａｇは、現在のブロックについてのパレットテーブルの全てのエントリが予測されることを示すように、ブロックごとに信号伝送される。これは、第２のパレットテーブル５４０が第１のパレットテーブル５２０と同一であり、追加の情報が信号伝送されないことを意味する。他の例において、１つまたは複数の構文要素がエントリごとに信号伝送されてよい。すなわち、以前のパレットテーブルの各エントリについて、そのエントリが現在のパレットテーブルに存在するか否かを示すように、フラグが信号伝送されてよい。パレットエントリが予測されない場合、パレットエントリは、明示的に信号伝送されてよい。他の例において、これら２つの方法が組み合わされ得る。

第１のパレットテーブル５２０に従って第２のパレットテーブル５４０を予測する場合、ビデオエンコーダ２０および／またはビデオデコーダ３０は、予測パレットテーブルが決定される元となるブロックの位置を特定してよい。予測パレットテーブルは、現在符号化されているブロック、すなわち第２のブロック５３０の１つまたは複数の隣接ブロックに関連付けられてよい。図５に図示されるように、ビデオエンコーダ２０および／またはビデオデコーダ３０は、第２のブロック５３０についての予測パレットテーブルを決定するときに、左の隣接ブロック、すなわち第１のブロック５１０の位置を特定してよい。他の例において、ビデオエンコーダ２０および／またはビデオデコーダ３０は、ピクチャ５００における上のブロックなどの、第２のブロック５３０に対する他の位置における１つまたは複数のブロックの位置を特定してよい。別の例において、パレットモードを用いた走査順序における最後のブロックについてのパレットテーブルが、第２のブロック５３０についての予測パレットテーブルとして用いられてよい。

ビデオエンコーダ２０および／またはビデオデコーダ３０は、ブロック位置の予め決定された順序に従って、パレット予測のためのブロックを決定してよい。例えば、ビデオエンコーダ２０および／またはビデオデコーダ３０は、パレット予測のために、最初に左の隣接ブロック、すなわち第１のブロック５１０を特定してよい。左の隣接ブロックが予測に利用可能でない（例えば、左の隣接ブロックが、イントラ予測モードまたはインター予測モードなどのパレットベースコーディングモード以外のモードで符号化されている、またはピクチャまたはスライスの最も左の縁に配置されている）場合、ビデオエンコーダ２０および／またはビデオデコーダ３０は、ピクチャ５００における上の隣接ブロックを特定してよい。ビデオエンコーダ２０および／またはビデオデコーダ３０は、パレット予測に利用可能なパレットテーブルを有するブロックの位置を特定するまで、ブロック位置の予め決定された順序に従って利用可能なブロックを探索することを継続してよい。いくつかの例において、ビデオエンコーダ２０および／またはビデオデコーダ３０は、１つまたは複数の式、関数、ルール等を適用して、複数の隣接ブロック（空間的にまたは走査順序で）のうちの１つまたはその組み合わせのパレットテーブルに基づいて予測パレットテーブルを生成することにより、複数のブロックおよび／または隣接ブロックの再構成されたサンプルに基づいて、予測パレットを決定してよい。一例において、１つまたは複数の以前に符号化された隣接ブロックからのパレットエントリを含む予測パレットテーブルは、複数のエントリＮを含む。この場合、ビデオエンコーダ２０はまず、予測パレットテーブル、すなわちサイズＮと同じサイズを有する二値ベクトルＶをビデオデコーダ３０に伝送する。二値ベクトルにおける各エントリは、予測パレットテーブルにおける対応するエントリが再使用されるまたは現在のブロックについてのパレットテーブルにコピーされるか否かを示す。例えば、Ｖ（ｉ）＝１は、現在のブロックにおいて異なるインデックスを有し得る、隣接ブロックについての予測パレットテーブルにおけるｉ番目のエントリが、再使用される、または現在のブロックについてのパレットテーブルにコピーされることを意味する。

さらに他の例において、ビデオエンコーダ２０および／またはビデオデコーダ３０は、パレット予測の複数の潜在的な候補を含む候補リストを構成してよい。そのような例において、ビデオエンコーダ２０は、パレット予測に用いられる現在のブロックが選択される元のリストにおいて候補ブロックを示すように、候補リストにインデックスを符号化してよい。ビデオデコーダ３０は、同じようにして候補リストを構成し、インデックスを復号し、復号されたインデックスを用いて、現在のブロックで用いるために対応するブロックのパレットを選択してよい。別の例において、リストにおける示される候補ブロックのパレットテーブルは、現在のブロックについてのパレットテーブルのエントリごとの予測のための予測パレットテーブルとして用いられてよい。

いくつかの実装において、１つまたは複数の構文要素が、第２のパレットテーブル５４０などのパレットテーブルの全体が予測パレット（例えば、１つまたは複数の以前に符号化されたブロックからのエントリで構成され得る第１のパレットテーブル５２０）から予測されるか否か、または、第２のパレットテーブル５４０の特定のエントリが予測されるか否かを示してよい。例えば、初期の構文要素が、第２のパレットテーブル５４０における全てのエントリが予測されるか否かを示してよい。初期の構文要素が、全てのエントリが予測されるのではないことを示す（例えば二値の０の値を有するフラグ）場合、１つまたは複数の追加の構文要素が、第２のパレットテーブル５４０のどのエントリが予測パレットテーブルから予測されるかを示してよい。

いくつかの実装において、例えばパレットテーブルに含まれる画素値の数に関して、パレットテーブルのサイズは、固定されてもよく、または、符号化ビットストリームにおいて１つまたは複数の構文要素を用いて信号伝送されてもよい。

いくつかの実装において、ビデオエンコーダ２０は、パレットテーブルにおける画素値をビデオデータの対応するブロックにおける実際の画素値と厳密に合致させることなく、ブロックの画素を符号化してよい。例えば、ビデオエンコーダ２０およびビデオデコーダ３０は、エントリの画素値が互いの予め決定された範囲内である場合、パレットテーブルにおける異なるエントリを結合または組み合わせ（すなわち量子化）してよい。換言すると、新たな画素値の誤差マージン内である既存の画素値が既に存在する場合、新たな画素値はパレットテーブルに追加されず、一方で新たな画素値に対応するブロックにおけるサンプルが既存の画素値のインデックスで符号化される。この有損失符号化のプロセスは、特定のパレットテーブルが無損失であるか有損失であるかに関わらず、同じように画素値を復号し得るビデオデコーダ３０の動作に影響を及ぼさないことに留意されたい。

いくつかの実装において、ビデオエンコーダ２０は、ブロックにおける画素値を符号化するための予測画素値としてパレットテーブルにおけるエントリを選択してよい。次に、ビデオエンコーダ２０は、実際の画素値と選択されたエントリとの間の差を残差として決定し、残差を符号化してよい。ビデオエンコーダ２０は、パレットテーブルにおけるエントリによって予測されたブロックにおける画素についての残差値を含む残差ブロックを生成し、次いで（図２に関連して上記で説明されているように）残差ブロックに変換および量子化を適用してよい。このようにして、ビデオエンコーダ２０は、量子化残差変換係数を生成してよい。別の例において、残差ブロックは、損失なく（変換および量子化なしで）または変換なしで符号化されてよい。ビデオデコーダ３０は、変換係数を逆変換および逆量子化して残差ブロックを再現し、次いで画素値についての予測パレットエントリ値および残差値を用いて画素値を再構成してよい。

いくつかの実装において、ビデオエンコーダ２０は、パレットテーブルを構成するために、デルタ値と称される誤差閾値を決定してよい。例えば、ブロックにおけるある位置についての実際の画素値が、デルタ値以下の、実際の画素値とパレットテーブルにおける既存の画素値エントリとの間の絶対差を生じさせる場合、ビデオエンコーダ２０は、その位置についての実際の画素値を再構成する際に用いるために、パレットテーブルにおける画素値エントリの対応するインデックスを特定するように、インデックス値を送信してよい。ブロックにおけるある位置についての実際の画素値が、デルタ値よりも大きい、実際の画素値とパレットテーブルにおける既存の画素値エントリとの間の絶対差の値を生じさせる場合、ビデオエンコーダ２０は、実際の画素値を送信し、実際の画素値を新たなエントリとしてパレットテーブルに追加してよい。パレットテーブルを構成するために、ビデオデコーダ３０は、エンコーダにより信号伝送されたデルタ値を用い、固定のまたは既知のデルタ値に依拠し、またはデルタ値を推測もしくは導出してよい。

上記のように、ビデオエンコーダ２０および／またはビデオデコーダ３０は、ビデオデータを符号化するときに、イントラ予測モード、インター予測モード、無損失符号化パレットモード、および有損失符号化パレットモードを含む符号化モードを用いてよい。ビデオエンコーダ２０およびビデオデコーダ３０は、パレットベースコーディングが有効化されるか否かを示す１つまたは複数の構文要素を符号化してよい。例えば、各ブロックにおいて、ビデオエンコーダ２０は、パレットベースコーディングモードがそのブロック（例えばＣＵまたはＰＵ）について用いられるべきであるか否かを示す構文要素を符号化してよい。例えば、この構文要素は、ブロックレベル（例えばＣＵレベル）で符号化ビデオビットストリームにおいて信号伝送され、次いで、符号化ビデオビットストリームを復号したときにビデオデコーダ３０によって受信されてよい。

いくつかの実装において、上述の構文要素は、ブロックレベルよりも上位のレベルで伝送されてよい。例えば、ビデオエンコーダ２０は、スライスレベル、タイルレベル、ＰＰＳレベル、またはＳＰＳレベルでそのような構文要素を信号伝送してよい。この場合、１に等しい値は、例えばパレットモードまたは他のモードといった追加のモード情報がブロックレベルで信号伝送されないように、このレベル以下のブロックの全てがパレットモードを用いて符号化されることを示す。０に等しい値は、このレベル以下のブロックのいずれもパレットモードを用いて符号化されないことを示す。

いくつかの実装において、より上位のレベルの構文要素がパレットモードを有効化することは、このより上位のレベル以下の各ブロックがパレットモードで符号化されなければならないことを意味しない。むしろ、別のＣＵレベルまたはさらにＴＵレベルの構文要素は、この場合にも、ＣＵまたはＴＵレベルのブロックがパレットモードで符号化されるか否か、および、そうである場合に、対応するパレットテーブルが構成されるべきか否かを示す必要があり得る。いくつかの実装において、ビデオコーダ（例えばビデオエンコーダ２０およびビデオデコーダ３０）は、ブロックサイズが閾値未満であるブロックについてパレットモードが許容されないように、最小ブロックサイズについてのブロック内サンプル数に関する閾値（例えば３２）を選定する。この場合、そのようなブロックについては、いずれの構文要素の信号伝送も行われない。最小ブロックサイズについての閾値は、ビットストリームにおいて明示的に信号伝送され、または、ビデオエンコーダ２０およびビデオデコーダ３０の両方により適合される既定値として暗示的に設定され得ることに留意されたい。

ブロックの１つの位置における画素値は、ブロックの他の位置における画素値と同じ（またはそのデルタ値以内）であってよい。例えば、ブロックの隣接する画素位置が、同じ画素値を有する、またはパレットテーブルにおける同じインデックス値にマッピングされ得ることは一般的である。したがって、ビデオエンコーダ２０は、同じ画素値またはインデックス値を有する、所与の走査順序における複数の連続する画素またはインデックス値を示す１つまたは複数の構文要素を符号化してよい。一続きの同様の値の画素またはインデックス値は、本明細書において「ラン」と称される場合がある。例えば、所与の走査順序における２つの連続する画素またはインデックスが異なる値を有する場合、ランは０に等しい。所与の走査順序における２つの連続する画素またはインデックスが同じ値を有するが、走査順序における３つ目の画素またはインデックスが異なる値を有する場合、ランは１に等しい。同じ値を有する３つの連続するインデックスまたは画素については、ランは２であり、以下同様である。ビデオデコーダ３０は、符号化ビットストリームからランを示す構文要素を得、そのデータを用いて、同じ画素またはインデックス値を有する連続する位置の数を決定してよい。

図６は、本開示のいくつかの実装に係る、ビデオエンコーダがパレットベース方式を用いてビデオデータを符号化する技法を実装する例示的プロセス６００を示すフローチャートである。例えば、ビデオエンコーダ２０は、パレットモードを用いてビデオビットストリームを符号化するように構成され、ビデオビットストリームは、階層構造に組織化され、例えば、それぞれ図４Ｃおよび図４Ｅに図示されるように、ビデオにおける各ピクチャは、複数のＣＴＵに区分され、各ＣＴＵは、異なる形状およびサイズの複数のＣＵにさらに分割される。パレットベース方式を実装するべく、ビデオエンコーダ２０は、ビデオストリームに含めるために、階層構造の第１のレベルに関連付けられた第１の構文要素を生成する（６１０）。上記のように、第１の構文要素に関連付けられた第１のレベルは、ＣＵレベルよりも上位のレベル、例えば、タイル、スライス、またはさらにピクチャのレベルとなるように選定される。第１の構文要素は、ＳＰＳ、ＰＰＳ、タイルグループヘッダまたはスライスヘッダの一部として格納されてよい。第１の構文要素が二値の１の値を有する場合、これは、ビデオビットストリームにおける第１のレベルよりも下の１つまたは複数のコーディングユニット（ＣＵ）についてパレットモードが有効化されることを示す。

次に、ビデオエンコーダ２０は、１つまたは複数のＣＵの画素値および第１の構文要素をビデオビットストリームに符号化し、各ＣＵは、対応するパレットテーブルを有する（６３０）。例えば、ビデオビットストリームに符号化される各ＣＵについて、ビデオエンコーダ２０は、ＣＵに関連付けられた第２の構文要素を生成する（６３０－１）。上記のように、１つまたは複数のＣＵについてパレットモードが有効化されていることを第１の構文要素が示す場合であっても、これは、各個のＣＵが必ずパレットテーブルに従って符号化されることを意味しない。むしろ、特定のＣＵのビデオブロックがパレットモードに従って符号化されるか否かを決定するのは、第２の構文要素の値である。第２の構文要素が、ＣＵについてパレットモードが有効化されることを示す二値の１の値を有すると仮定すると、ビデオエンコーダ２０は次いで、ＣＵについてのパレットテーブルを構成する（６３０－３）。

パレットテーブルを構成するための様々な技法が、図５に関連して上記で説明されている。例えば、パレットテーブルを構成するためにパレット予測子が用いられてよく、いくつかの実装において、パレット予測子は、ビデオデータによって最も頻繁に使用されるパレットエントリのセットを保持するＦＩＦＯテーブルである。パレットテーブルを用いて、ビデオエンコーダ２０は次いで、ＣＵのビデオブロックにおけるサンプルを特定し、サンプルの画素値およびパレットテーブルにおけるサンプルについてのパレットインデックスを決定する（６３０－５）。上記のように、ＣＵにおけるサンプルについては異なる可能性が存在する。第１に、ＣＵにおけるサンプルに対応するパレットテーブルにおける既存のパレットエントリが存在する。そうである場合、この既存のパレットエントリのパレットインデックスは、ビデオビットストリームにおけるサンプルを表すために用いられる。第２に、サンプルの画素値に合致する既存のパレットエントリが存在しない。そうである場合、ビデオエンコーダ２０は、パレットテーブルに新たなエントリを追加し、サンプルを表すために新たなエントリのパレットインデックスを用いてよい。この場合、新たなエントリは、同じまたは同様の（デルタ値以内の）画素値を有するＣＵにおける他のサンプルを表すために用いられてよい。いくつかの実装において、ビデオエンコーダ２０は、サンプルの画素値を、パレットテーブルにおけるエスケープ色エントリとして符号化してよい。いずれの場合においても、ビデオエンコーダ２０は、サンプルに対応する決定されたパレットインデックスをビデオビットストリームに符号化する（６３０－７）。

いくつかの実装において、ビデオエンコーダ２０は、特定のＣＵについて、ＣＵについてパレットモードが無効化されることを示す二値の０の第２の構文値を選定してよい。この場合、ビデオエンコーダ２０は、他の予測方式、例えばイントラ予測またはインター予測を用いてＣＵを符号化することを選定し、それに応じて対応する構文要素を符号化してよい。換言すると、パレットモードが有効化されることを第１の構文要素が示すことは、この場合にも、第１のレベルよりも下の特定のＣＵが非パレットモードを選定することを許容してよい。これに対し、第１の構文要素が、第１のレベルにおいてパレットモードが無効化されることを示す二値の０に設定される場合、第１のレベルよりも下のＣＵのいずれも、パレットモードを用いて符号化されることはなく、したがって第２の構文要素またはパレットテーブルは、ビデオビットストリームに符号化されることはない。

最後に、ビデオエンコーダ２０は、図１に図示されるように、第１のレベルにおける符号化された１つまたは複数のＣＵおよび第１の構文要素ならびにＣＵレベルにおける第２の構文要素を含む符号化ビデオビットストリームを、ビデオデコーダ３０またはストレージデバイスに出力する（６５０）。いくつかの実装において、第１のレベルは、第１のレベルよりも下の１つまたは複数のＣＵに関連付けられた予め定められた閾値以上である関連付けられたブロックサイズを有する。例えば、１２８サンプルのサイズを有する先祖ノードが、それぞれ３２、６４および３２サンプルのサイズを有する３つのＣＵに三分されると仮定する。パレットモードを共有するための第１のレベルを決定するために用いられる予め定められた閾値が６４である場合、３つのＣＵは、同じパレットモードを共有する３つの葉ノードである。いくつかの実装において、符号化効率のために３２以下のサンプルを有するブロックについてパレットモードが有効化されないように、予め定められた閾値に対してより低い限度（例えば３２サンプル）が存在する。いくつかの実装において、第１の構文要素および第２の構文は各々、１ビットフラグである。

いくつかの実装において、ＣＵは、パレットモードの下で、各セグメントが複数のサンプル（例えばＭ個のサンプル）を含む複数のセグメントに分割され、Ｍは１６または３２の正数である。各セグメントについて、パレットインデックス値、パレットインデックス・ラン、および量子化された色などのパレット関連構文のＣＡＢＡＣ構文解析および／または符号化は、同じＣＵにおける他のセグメントのものとは独立である。これを実現するために、パレットモードの下での全てのＣＡＢＡＣ構文解析の依存性（例えばコンテキスト・モデリング）および復号の依存性（例えばｃｏｐｙ－ａｂｏｖｅモード）は、隣接するセグメントにわたって無効化される。

いくつかの実装において、例えば横断走査順序（ｔｒａｖｅｒｓｅ ｓｃａｎ ｏｒｄｅｒ）に基づいて、パレットモードの下でＣＵを複数のセグメントに分割するために異なる方法が用いられてよく、すなわち、走査順序に沿った最初のＭ個のサンプルがセグメント１にグループ化され、走査順序に沿った次のＭ個のサンプルがセグメント２にグループ化され、以下同様である。別の例において、ＣＵは、二分木、三分木または四分木区分構造に基づいて複数のセグメントに分割されてよい。各セグメント内において、やはり横断走査順序がセグメントのパレット符号化に用いられてよい。例えば、セグメントについてのインデックス値の数が最初に信号伝送され、それに続いて、切り捨て二値符号化（ｔｒｕｎｃａｔｅｄ ｂｉｎａｒｙ ｃｏｄｉｎｇ）を用いたセグメント全体についての実際のパレットインデックス値の信号伝送が行われる。インデックス数とパレットインデックス値との両方が、インデックス関連のバイパスビンを共にグループ化するバイパスモードで符号化される。次いでインデックス・ランが信号伝送される。最後に、セグメントにおけるエスケープサンプルに対応する成分エスケープ値が、共にグループ化され、バイパスモードで符号化される。

上記のように、共有パレットノードを特定するために異なるブロックサイズ閾値が用いられてよい。一実施形態において、１つの固定の閾値が、信号伝送なしでエンコーダおよびデコーダの両方によって共有される。別の実施形態において、１つの構文要素がビットストリームにおいて共有パレット閾値を信号伝送することが提案される。

図７は、本開示のいくつかの実装に係る、ビデオデコーダ３０がパレットベース方式を用いてビデオデータを復号する技法を実装する例示的プロセスを示すフローチャートである。例えば、ビデオデコーダ３０は、パレットモードを用いてビデオビットストリームを復号するように構成され、ビデオビットストリームは、階層構造に組織化され、例えば、それぞれ図４Ｃおよび図４Ｅに図示されるように、ビデオにおける各ピクチャは、複数のＣＴＵに区分され、各ＣＴＵは、異なる形状およびサイズの複数のＣＵにさらに分割される。パレットベース方式を実装するべく、ビデオデコーダ３０は、階層構造の第１のレベルに関連付けられた第１の構文要素をビデオビットストリームから受信する（７１０）。上記のように、第１の構文要素に関連付けられた第１のレベルは、ＣＵレベルよりも上位のレベル、例えば、タイル、スライス、またはさらにピクチャのレベルとなるように選定される。第１の構文要素は、ビデオエンコーダ２０によって生成されたものであり、ＳＰＳ、ＰＰＳ、タイルグループヘッダまたはスライスヘッダの一部として格納されてよい。第１の構文要素が二値の１の値を有する場合、これは、ビデオビットストリームにおける第１のレベルよりも下の１つまたは複数のコーディングユニット（ＣＵ）についてパレットモードが有効化されることを示す。

第１の構文要素の１の値に基づいて、ビデオデコーダ３０は、対応するパレットテーブルに従って１つまたは複数のＣＵのうちの少なくとも１つの画素値をビデオビットストリームから再構成する（７３０）。例えば、ビデオビットストリームに符号化される各ＣＵについて、ビデオデコーダ３０は、ＣＵに関連付けられた第２の構文要素を受信する（７３０－１）。上記のように、１つまたは複数のＣＵについてパレットモードが有効化されていることを第１の構文要素が示す場合であっても、これは、各個のＣＵが必ずパレットテーブルに従って符号化されることを意味しない。特定のＣＵのビデオブロックがパレットモードに従って符号化されたか否かを決定するのは、第２の構文要素の値である。第２の構文要素が、ＣＵについてパレットモードが有効化されることを示す二値の１の値を有すると仮定すると、ビデオデコーダ３０は、それぞれのＣＵについてのパレットテーブルをビデオビットストリームから再構成する（７３０－３）。

パレットテーブルを構成するための様々な技法が、図５に関連して上記で説明されている。例えば、パレットテーブルを構成するためにパレット予測子が用いられてよく、いくつかの実装において、パレット予測子は、ビデオデータによって最も頻繁に使用されるパレットエントリのセットを保持するＦＩＦＯテーブルである。パレットテーブルを用いて、ビデオデコーダ３０は次いで、ＣＵのビデオブロックにおけるサンプルを特定し、パレットインデックス、次いでパレットテーブルにおけるサンプルについての画素値を決定し、次いでサンプルについての画素値を再構成する（７３０－５）。上記のように、画素値の再構成は、サンプルの再構成された画素値としてパレットテーブルからの画素値に加算される、サンプルについての残差値の逆量子化および逆変換を必要としてよい。いくつかの実装において、ビデオデコーダ３０は、サンプルの画素値を、パレットテーブルにおけるエスケープ色エントリから再構成してよい。

第１の構文要素が、ＣＵについてパレットモードが無効化されることを示す０の値を有する場合、ビデオデコーダ３０は、非パレット方式に従って１つまたは複数のＣＵの画素値をビデオビットストリームから再構成する（７５０）。上記のように、ビデオデコーダ３０は、別のモード、例えば上述のイントラ予測またはインター予測を用いて、ＣＵを再構成してよい。図６に関連して上記で説明されている第１および第２の構文要素に関する全ての特徴が、図７に関連して本明細書で説明されるパレットベース復号プロセスに当てはまることに留意されたい。

いくつかの実装において、交差成分線形モデル（ｃｒｏｓｓ－ｃｏｍｐｏｎｅｎｔ ｌｉｎｅａｒ ｍｏｄｅｌ）（ＣＣＬＭ）が、輝度パレット予測から彩度パレット予測を生成するために用いられる。一例において、ＣＣＬＭは、隣接する輝度および彩度サンプルを用いて算出され得る。線形モデルが決定された後、線形モデルと共に、同じＣＵの輝度パレットテーブルに基づいて、彩度パレット予測が算出され得る。一例において、彩度パレット予測は、以下のように導出され得る。
ｐｒｅｄ_Ｃ（ｉ，ｊ）＝α・ｒｅｃ_Ｌ’（ｉ，ｊ）＋β
式中、ｐｒｅｄ_Ｃ（ｉ，ｊ）は、ＣＵにおける予測された彩度パレットを表し、ｒｅｃ_Ｌ’（ｉ，ｊ）は、同じＣＵの再構成された輝度パレット・サンプルを表す。線形モデル・パラメータαおよびβが導出され、異なる導出方法が用いられてよい。１つの例示的な方法は、輝度パレットテーブルにおける２つのサンプル、すなわち最小輝度サンプルＡ（ｘ_Ａ，ｙ_Ａ）および最大輝度サンプルＢ（ｘ_Ｂ，ｙ_Ｂ）からの輝度値と彩度値との間の直線関係である。ここで、（ｘ_Ａ，ｙ_Ａ）はサンプルＡについての輝度値および彩度値であり、（ｘ_Ｂ，ｙ_Ｂ）はサンプルＢについての輝度値および彩度値である。線形モデル・パラメータαおよびβは、以下の式に従って得られる。

いくつかの実装において、パレットモードの下で横断走査方向（ｔｒａｖｅｒｓｅ ｓｃａｎ ｄｉｒｅｃｔｉｏｎ）を信号伝送するために、現在のブロックの形状に基づく異なるコンテキストが用いられる。現在のブロックの形状に依存して、異なるＣＡＢＡＣコンテキストが選択されてよく、これにより、異なるＣＡＢＡＣ確率が用いられることになる。そのようなコンテキストはまた、隣接ブロックの横断走査方向に依存してよい。

いくつかの実装において、現在のブロックの形状に依存して、横断走査方向の信号伝送が条件付きで省略されてよい。この場合、ビデオデコーダ３０は、現在のブロックの形状に基づいて、横断走査方向を推測する。例えば、ブロックがある特定の閾値を超える縦横比を有する場合、その横断走査方向は、パレットモードの下で信号伝送されないが、ブロックの長辺と同じであると推測される。あるいは、その横断走査方向が通常通りに信号伝送される。別の例において、ブロックがある特定の閾値を超える縦横比を有する場合、その横断走査方向はパレットモードの下で信号伝送されない。ビデオデコーダ３０は、横断走査方向をブロックの短辺と同じであると推測する。あるいは、その横断走査方向が通常通りに信号伝送される。

１つまたは複数の例において、説明されている機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組み合わせにおいて実装されてよい。ソフトウェアにおいて実装される場合、機能は、１つまたは複数の命令またはコードとして、コンピュータ可読媒体に格納されまたはそれを介して伝送され、ハードウェアベースの処理ユニットによって実行されてよい。コンピュータ可読媒体は、データ記憶媒体などの有形媒体、または、例えば通信プロトコルに従って、１つの場所から別の場所へのコンピュータプログラムの転送を促進する任意の媒体を含む通信媒体に対応する、コンピュータ可読記憶媒体を含んでよい。このように、コンピュータ可読媒体は一般に、（１）非一時的な有形のコンピュータ可読記憶媒体または（２）信号または搬送波などの通信媒体に対応してよい。データ記憶媒体は、本出願において説明されている実装の実装のための命令、コードおよび／またはデータ構造を取得するために１つまたは複数のコンピュータまたは１つまたは複数のプロセッサによってアクセスされ得る任意の利用可能な媒体であってよい。コンピュータプログラム製品は、コンピュータ可読媒体を含んでよい。

本明細書の実装の説明において用いられる用語は、特定の実装を説明することのみを目的としたものであり、請求項の範囲を限定することは意図されていない。実装の説明および添付の請求項において用いられる場合、単数形の「ａ」、「ａｎ」および「ｔｈｅ」は、別途文脈による明示のない限り、複数形も含むことが意図されている。また、本明細書において用いられる用語「および／または」は、関連付けられた列挙されている項目のうちの１つまたは複数の任意のかつ全ての可能な組み合わせを参照および包含することが理解されよう。さらに、本明細書において用いられる場合の用語「含む（ｃｏｍｐｒｉｓｅ）」および／または「含む（ｃｏｍｐｒｉｓｉｎｇ）」は、記載される特徴、要素、および／または構成要素の存在を規定するが、１つまたは複数の他の特徴、要素、構成要素、および／またはそれらの群の存在または追加を排除するものではないことが理解されよう。

また、様々な要素を説明するために第１、第２等の用語が本明細書において用いられる場合があるが、これらの要素はこれらの用語によって限定されるべきでないことが理解されよう。これらの用語は、１つの要素を別の要素と区別するためにのみ用いられる。例えば、実装の範囲から逸脱しない限りにおいて、第１の電極が第２の電極と称されることも可能であり、同様に第２の電極が第１の電極と称されることも可能である。第１の電極および第２の電極は、両方が電極であるが、これらは同じ電極ではない。

本出願の説明は、例示および説明の目的で提示されており、網羅的である、または開示されている形態の発明に限定されることは意図されていない。多くの修正、変形、および代替的実装が、前述の説明および関連する図面において提示される教示の利益を得る当業者には明らかであろう。実施形態は、本発明の原理、実際の応用を最も良く明らかにし、他の当業者が様々な実装について本発明を理解し、想定される特定の用途に好適なように様々な修正を伴って根本的な原理および様々な実装を最も良く利用することを可能とするために、選定および説明されたものである。したがって、請求項の範囲は、開示されている実装の具体例に限定されるべきでなく、修正および他の実装が添付の請求項の範囲内に含まれるよう意図されていることが、理解されるべきである。

Claims (18)

1. ビデオデータを復号する方法であって、
   階層構造を有するビデオビットストリームから、前記階層構造の第１のレベルに関連付けられた第１の構文要素を受信することであって、前記第１のレベルが、予め定められた閾値よりも大きいブロックサイズに関連付けられ、これにより、パレットモードが、前記予め定められた閾値以下のブロックサイズを有する少なくとも１つのコーディングユニット（ＣＵ）に適用されないことと、
   前記ビデオビットストリームにおける前記第１のレベルまたは第１のレベルよりも下の１つまたは複数のＣＵについて前記パレットモードが適用されることを前記第１の構文要素が示すとの決定に従って、前記ビデオビットストリームから、対応するパレットテーブルに従って前記１つまたは複数のＣＵのうちの少なくとも１つの画素値を再構成すること、
   を含む方法。
2. 前記１つまたは複数のＣＵについてパレットモードが無効化されることを前記第１の構文要素が示すとの決定に従って、前記ビデオビットストリームから、非パレット方式に従って前記１つまたは複数のＣＵのいずれかの前記画素値を再構成すること、をさらに含む、請求項１に記載の方法。
3. 前記予め定められた閾値は３２以上である、請求項１に記載の方法。
4. 前記予め定められた閾値は１６よりも大きい、請求項１に記載の方法。
5. 前記第１の構文要素は１ビットフラグを含む、請求項１に記載の方法。
6. 前記ビデオビットストリームから、対応するパレットテーブルに従って前記１つまたは複数のコーディングユニット（ＣＵ）のうちの少なくとも１つの画素値を再構成することは、
   前記１つまたは複数のＣＵのそれぞれのＣＵに関連付けられた第２の構文要素を前記ビデオビットストリームから受信することと、
   前記それぞれのＣＵについて前記パレットモードが適用されることを前記第２の構文要素が示すとの決定に従って、
   前記それぞれのＣＵについてのパレットテーブルを前記ビデオビットストリームから再構成することと、
   前記再構成されたパレットテーブルを用いて前記それぞれのＣＵの前記画素値を前記ビデオビットストリームから再構成することと、
   前記それぞれのＣＵについて前記パレットモードが無効化されることを前記第２の構文要素が示すとの決定に従って、非パレット方式に従って前記それぞれのＣＵの前記画素値を前記ビデオビットストリームから再構成すること、をさらに含む、請求項１に記載の方法。
7. 前記第１の構文要素は、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、タイルグループヘッダ、およびスライスヘッダのうちの１つにおけるものであり、
   前記対応するパレットテーブルは、前記１つまたは複数のＣＵによって共有され、
   前記１つまたは複数のＣＵの各々が、予め定められた区分木構造に基づいて複数のセグメントに分割され、各セグメントは、パレットインデックスの総数および前記第１のレベルのパレットテーブルに関連付けられたパレットインデックスの対応するセットを含むそれ自体のパレットモードパラメータのセットを有する、請求項１に記載の方法。
8. １つまたは複数の処理ユニットと、
   前記１つまたは複数の処理ユニットに結合されたメモリと、
   前記１つまたは複数の処理ユニットによって実行されたときに、請求項１から７のいずれかに記載の方法を電子装置に実行させる、前記メモリに格納された複数のプログラムと、を備える電子装置。
9. １つまたは複数の処理ユニットを有する電子装置による実行のための複数のプログラムを格納する非一時的コンピュータ可読記憶媒体であって、前記複数のプログラムは、前記１つまたは複数の処理ユニットによって実行されたときに、請求項１から７のいずれかに記載の方法を前記電子装置に実行させる、非一時的コンピュータ可読記憶媒体。
10. ビデオ信号を復号するためのコンピュータ実行可能な命令を備えるコンピュータプログラムであって、前記命令は、プロセッサによって実行されると、請求項１から７のいずれかに記載の方法を前記プロセッサに実施させる、コンピュータプログラム。
11. ビデオデータを符号化する方法であって、
    階層構造を有するビデオビットストリームに含めるために、前記階層構造の第１のレベルに関連付けられた第１の構文要素を生成することであって、前記第１のレベルが、予め定められた閾値よりも大きいブロックサイズに関連付けられ、これにより、パレットモードが、前記予め定められた閾値以下のブロックサイズを有する少なくとも１つのコーディングユニット（ＣＵ）に適用されず、かつ、前記第１の構文要素は、前記ビデオビットストリームにおける前記第１のレベルまたは第１のレベルよりも下の１つまたは複数のＣＵについて前記パレットモードが適用されることを示し、
    各ＣＵが対応するパレットテーブルを有する前記１つまたは複数のＣＵの画素値および前記第１の構文要素を前記ビデオビットストリームに符号化することと、
    前記符号化された１つまたは複数のＣＵおよび前記第１の構文要素を含む前記ビデオビットストリームを出力すること、を含む方法。
12. 前記予め定められた閾値は３２以上である、請求項１１に記載の方法。
13. 前記予め定められた閾値は１６よりも大きい、請求項１１に記載の方法。
14. 前記第１の構文要素は１ビットフラグを含む、請求項１１に記載の方法。
15. 各ＣＵが対応するパレットテーブルを有する前記１つまたは複数のコーディングユニット（ＣＵ）の画素値および前記第１の構文要素を前記ビデオビットストリームに符号化することは、
    前記ビデオビットストリームに含めるために、前記１つまたは複数のＣＵのそれぞれのＣＵに関連付けられた第２の構文要素を生成することと、
    前記それぞれのＣＵについて前記パレットモードが適用されることを前記第２の構文要素が示すとの決定に従って、
    前記それぞれのＣＵについてのパレットテーブルを構成することと、
    前記それぞれのＣＵにおける各サンプルについてのパレットインデックスを前記パレットテーブルから決定することと、
    前記サンプルに対応する前記決定されたパレットインデックスを前記ビデオビットストリームに符号化すること、をさらに含み
    前記第１の構文要素は、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、タイルグループヘッダ、およびスライスヘッダのうちの１つにおけるものであり、
    前記１つまたは複数のＣＵの各々が、予め定められた区分木構造に基づいて複数のセグメントに分割され、各セグメントは、パレットインデックスの総数および前記第１のレベルのパレットテーブルに関連付けられたパレットインデックスの対応するセットを含むそれ自体のパレットモードパラメータのセットを有する、請求項１１に記載の方法。
16. １つまたは複数の処理ユニットと、
    前記１つまたは複数の処理ユニットに結合されたメモリと、
    前記１つまたは複数の処理ユニットによって実行されたときに、請求項１１から１５のいずれかに記載の方法を電子装置に実行させる、前記メモリに格納された複数のプログラムと、を備える電子装置。
17. １つまたは複数の処理ユニットを有する電子装置による実行のための複数のプログラムを格納する非一時的コンピュータ可読記憶媒体であって、前記複数のプログラムは、前記１つまたは複数の処理ユニットによって実行されたときに、請求項１１から１５のいずれかに記載の方法を前記電子装置に実行させる、非一時的コンピュータ可読記憶媒体。
18. ビデオ信号を符号化するためのコンピュータ実行可能な命令を備えるコンピュータプログラムであって、前記命令は、プロセッサによって実行されると、請求項１１から１５のいずれかに記載の方法を前記プロセッサに実施させる、コンピュータプログラム。

Images