JP2023541466A - 階層的パレットテーブル生成を利用したパレットモードビデオ符号化 - Google Patents

Abstract

エンコーダ［１０２］は、画像部分［１２２］を、その部分をレベルの区分階層に再帰的に区分することによって符号化する。最上位レベルは、部分全体を表す単一のブロックを有し、低いレベルの各々は、高いレベルの対応する大きいブロックを表す４つの小さいブロックを有する。パレットテーブル［１２４］は、関連付けられたブロックのピクセルに基づいて、各最下位レベルのブロックについて生成される。連続的に高いレベルごとに、エンコーダは、次に最も低いレベルの関連付けられた４つのブロックの４つのパレットテーブルからのパレット色に基づいてパレット色を選択することによって、現在のレベルのブロックごとにパレットテーブルを生成する。次いで、カラーインデックスマップ［１２６］が、区分階層について生成されたパレットテーブルから選択された最終パレットテーブルに基づいて生成される。次いで、その部分の表現は、最終パレットテーブル及びカラーインデックスマップを使用して符号化され、符号化ビットストリーム［１０８］の対応するセグメントが生成される。【選択図】図１

Description

特定のビデオアプリケーションは、リモートデスクトップ共有、クラウドコンピューティングのための仮想デスクトップインフラストラクチャ、及び、クラウドゲーミングアプリケーション等の「スクリーンコンテンツ」（すなわち、コンピュータ生成画像コンテンツ）の送信を伴う。そのようなスクリーンコンテンツは、それ自体で送信されるか、又は、スクリーンコンテンツとカメラでキャプチャされたビデオコンテンツとの組み合わせを表すハイブリッドコンテンツとして送信される。しかしながら、カメラでキャプチャされたビデオコンテンツとは異なり、スクリーンコンテンツ、特に「デスクトップ」スクリーンコンテンツは、通常、比較的少ないノイズで鋭いエッジを提示するテキスト及び他のコンピュータ生成グラフィックスが豊富である。更に、スクリーンコンテンツは、一般に、画像の局所領域内でより少ない数の異なる色を示す。

いくつかのビデオ符号化規格は、スクリーンコンテンツのより効率的な符号化を提供するために、カメラでキャプチャされたビデオと比較して、スクリーンコンテンツによって一般に示される比較的少数の色及び比較的高いコントラストを活用するように拡張されている。例えば、ＩＴＵ－Ｔ Ｈｉｇｈ－Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ）規格は、パレット色選択と、それに続くパレット色選択に基づくカラーインデックスマップの生成と、を伴うパレットモードを実装するスクリーンコンテンツコーディング（Screen Content Coding、ＳＣＣ）拡張を提供する。このプロセスでは、符号化されているスクリーンコンテンツを含む画像の各部分に対して（すなわち、各コーディングユニット（coding unit）に対して）、エンコーダは、その部分に見出されるいくつかの最上位数の代表色（例えば、最上位８色）を識別し、識別された代表色の各々をインデックス付けする（すなわち、それにインデックスをマッピングする）パレットテーブルを生成する。次いで、エンコーダは、画像の部分内の各ピクセルを、そのピクセルの色に最も厳密に一致するパレットテーブルからのパレット色の対応するインデックス値で置き換えて、符号化されている画像部分についての対応するカラーインデックスマップを生成する。次いで、パレットテーブル及びカラーインデックスマップは、識別されたパレット色の何れかと過度に異なる画像部分からのピクセル（これらのピクセルは「エスケープ」ピクセルと呼ばれる）に関する情報と共に符号化され、符号化ビットストリームの対応するセグメントが生成され、次いで、これは、宛先デバイスに送信される。次いで、宛先デバイスは、ビットストリームを復号して、復号されたブロックのためのパレットテーブル及びカラーインデックスマップを取得し、これらの値及び任意の関連する復号された残差から、元のブロックを不可逆的又は可逆的に復元する。Ａｌｌｉａｎｃｅ ｆｏｒ Ｏｐｅｎ Ｍｅｄｉａ Ｖｉｄｅｏ １（ＡＶ１）コーディング規格は、同様のパレットモード実施形態を提供する。

符号化される所定の画像部分のためのパレットテーブルを生成するための従来のプロセスは、画像部分全体のピクセル色の全ての単一のヒストグラムを生成し、次いで、このヒストグラムからパレットテーブルの代表色を選択することを伴う。コンパクトなビットストリームを提供する一方で、このパレットテーブル生成プロセスは、計算集約的であり、したがって、シリコン面積、スループット及び電力消費に関してかなりのハードウェアリソースを必要とする。例示のために、上記で説明したＨＥＶＣ－ＳＣＣ規格は、それぞれ最大１２８×１２８ピクセルのコーディングユニットサイズを提供し、これは、符号化される画像のそのようなコーディングユニットごとに、従来のパレットテーブル生成プロセスを実装するエンコーダが、１２８×１２８コーディングユニットごとに対応するヒストグラムを生成するために１６，３８４ピクセルを処理する必要があるはずであり、そのヒストグラムは、画像の解像度に応じて任意の所定の画像中に数百又は数千もあることを意味する。このプロセスは、符号化システムが、ＨＥＶＣ規格及び他の同様の符号化規格の典型的な８×８、１６×１６、３２×３２、６４×６４及び１２８×１２８コーディングユニット区分のうち何れか又は全てに基づいてスクリーンコンテンツビデオの符号化をサポートできること等のように、複数の符号化区分を同時にサポートするように構成されている場合に、更に複雑になる。

本開示は、添付の図面を参照することによってより良好に理解され、その多くの特徴及び利点が当業者に明らかになる。異なる図面における同じ符号の使用は、類似又は同一のアイテムを示す。

いくつかの実施形態による、スクリーンコンテンツを含むビデオのパレットモード符号化のために階層的パレットテーブル生成を利用するパレットモードエンコーダを有するソースデバイスのブロック図である。 いくつかの実施形態による、図１のパレットモードエンコーダによって実装される階層的パレットテーブル生成を使用するパレットモード符号化プロセスを示すフロー図である。 いくつかの実施形態による、階層の異なるレベルにおけるピクセルのブロックのセットへのコーディングユニットの例示的な再帰的階層区分を示す図である。 いくつかの実施形態による、図３のコーディングユニットの例示的な再帰的区分を使用する図２の方法の例示的な実施形態を示すブロック図である。 いくつかの実施形態による、図３のコーディングユニットの例示的な再帰的区分を使用する図２の方法の例示的な実施形態を示すブロック図である。

ＣＵで表される全てのピクセルのヒストグラム分析又は他のクラスタリングに基づくパレットモード符号化におけるコーディングユニット（coding unit、ＣＵ）のためのパレットテーブル生成の典型的な手法は、特に、より大きいＣＵ区分、又は、複数の同時ＣＵ区分をサポートするエンコーダの場合に、計算量的に法外であることが多い。十分な色再現精度を保持しながら計算の複雑さを低減するために、本明細書で説明するシステム及び方法は、パレットモードで符号化される、選択されたＣＵのための１つ以上の選択された区分サイズの各々のためのパレットテーブルを効率的に生成するために、階層的パレットテーブル生成プロセスを利用する。この手法では、選択されたＣＵは、区分階層の異なるレベルで再帰的に区分される。最上位レベルでは、Ｋ×Ｋピクセルの選択されたＣＵは、Ｋ×Ｋピクセルの単一のブロックによって表される。最上位レベルより下の連続する各レベルは、次に高いレベルにおける対応するより大きいピクセルブロックを表す４つのより小さいピクセルブロックを有する。区分階層の最下位レベルでは、エンコーダは、最下位レベルにおける各ブロックのためのパレットテーブルを生成する。これらのパレットテーブルの各々は、対応するブロック内に存在するピクセル色を表すパレット色のセットを含み、少なくとも１つの実施形態では、ブロック内に存在するピクセル色のヒストグラム分析を介して、ｋ平均を介して又は様々な他のクラスタリング方法の何れかを介して選択される。その後、区分階層内の連続してより高いレベルごとに、エンコーダは、現在のレベルにおける各ブロックのためのパレットテーブルを、現在のレベルにおけるブロックに対応する次に低いレベルにおける４つのブロックに関連付けられた４つのパレットテーブルからのパレット色に基づいて、パレットテーブルのためのパレット色を選択することによって生成する。これは、４つのパレットテーブルのパレット色のヒストグラム収集又は他のクラスタリングを介して実行され得る。次いで、最上レベルでは、次に最も高いレベルの４つのパレットテーブルからこのレベルで単一のパレットテーブルが生成され、エンコーダは、これを使用して、選択されたＣＵのためのカラーインデックスマップを生成する。次いで、エンコーダは、最終パレットテーブル及びカラーインデックスマップを使用してＣＵの表現を符号化して、符号化ビットストリームの対応するセグメントを生成する。

例示的な３２×３２コーディングユニット区分（すなわち、Ｋ＝３２）及び８×８ピクセルの最小ブロックサイズを使用して示すために、次いで、ＣＵは、最上位レベルにおける最上位ブロックとして指定され、次に最も高いレベルについて、最上位ブロックは、各々が１６×１６ピクセルの４つの第２のレベルのブロックになり、次いで、これらのブロックの各々は、各々が８×８ピクセルの４つの第３のレベルのブロックに区分される。最低レベル又は最下位レベル（この例では第３のレベル）から開始して、エンコーダは、ヒストグラム分析、ｋ平均分析又は他の統計的分析を使用して、このレベルにおけるブロックの各々のための初期パレットテーブルを生成し、最下位レベルのための４つのパレットテーブルをもたらす。参照を容易にするために、ヒストグラム収集（ヒストグラム分析としても識別される）を利用する例示的な実施形態が本明細書で説明されるが、ヒストグラム収集／分析への言及は、別段の記載がない限り、様々なクラスタリング方法又はｋ平均分析等の他の統計的方法の何れかへの言及を含むものとすることが理解されよう。２番目に最も低い区分階層レベルにおいて、エンコーダは、２番目に最も低いレベルにおけるブロックを一緒に形成する最下位レベルにおける４つの構成ブロックの４つのパレットテーブルにおいて表されるパレット色から候補色のセットを識別する。エンコーダは、候補色のこのセットの統計的分析を通して、２番目に最も低いレベルにおけるブロックのための中間パレットテーブルを決定する。このプロセスは、２番目に最も低いレベルにおける３つの他のブロックの各々に対して繰り返され、２番目に最も低いレベルに対して生成された４つの中間パレットテーブルがもたらされる。次いで、最上位レベルにおいて、エンコーダは、最上位レベルにおいて単一のブロックを一緒に形成する２番目に最も低いレベルにおける４つの構成ブロックの４つのパレットテーブルにおいて表されるパレット色から候補色のセットを識別する。エンコーダは、候補色のこのセットの統計的分析を通して、（ＣＵ全体を表す）このブロックのためのパレットテーブルを決定する。エンコーダは、次いで、各区分階層レベルについて、そのレベルにおける対応するパレットテーブルを使用してＣＵを符号化するためのレート歪みコストを推定する。次いで、最低レート歪みコストを必要とするパレットテーブルは、ＣＵのための「最終」パレットテーブルとして指定され、次いで、エンコーダは、最終パレットテーブルを使用して、選択されたＫ×Ｋコーディングユニットのためのカラーインデックスマップを生成し、カラーインデックスマップ、最終パレットテーブル、及び、存在する任意のエスケープピクセルのための任意の量子化された残差を符号化して、符号化ビットストリームの対応する部分を生成し、符号化ビットストリームは、次いで、後のアクセスのために記憶されるか又は宛先デバイスに送信され、その後、宛先デバイスにおけるデコーダは、ビットストリームを復号して、コーディングユニットのための符号化されたパレットテーブル、カラーインデックスマップ、及び、量子化された残差を復元し、復元されたパレットテーブル、カラーインデックスマップ、及び、残差を使用して、元のＣＵ又はその不可逆的表現を復元する。

次に低いレベルにおける構成ブロックのために生成されたパレットテーブルから各レベルにおけるピクセルのブロックのためのパレットテーブルを決定するためのこの階層的及び再帰的区分プロセスは、より低いレベルにおけるパレット色選択プロセスの、より高いレベルにおけるパレット色選択プロセスへの統合を通じて考慮される色の数の低減を通して、効率的なパレットテーブル生成を提供する。例示のために、６４×６４ＣＵのためのパレットテーブルを生成するための従来のプロセスは、エンコーダが、例えば、８つの代表色のパレットテーブルに達するために、ＣＵ中の４，０９６個のピクセルの各々をソートし、カウントすることが必要になるはずである。しかしながら、本明細書で説明する階層的パレット色選択プロセスの下では、ピクセルの小さいサブセットのみが、最低レベルにおいて比較的小さいブロックごとにソート及びカウントされ、次いで、１つのレベルにおける各ブロックの代表色の小さいサブセットのみが、次に最も高いレベルにおける対応するブロックについて考慮され、所定のサイズのＣＵのための最終パレットテーブルに達するためのより少ない全体的な動作、したがって、ＣＵのためのパレットテーブルを生成するためのより効率的なプロセスがもたらされる一方で、ＣＵの個別の区分サイズのために使用され得る区分階層の各レベルにおける別個のパレットテーブルの生成も可能になる。

図１は、いくつかの実施形態による、階層的及び再帰的に生成されたパレットテーブルを利用するパレットモード符号化プロセスを採用する符号化システム１０２を有するソースデバイス１００を示している。ソースデバイス１００は、スクリーンコンテンツを含むビデオストリームを符号化するように構成された様々なデバイスの何れかを含むことができ、サーバ、パーソナルコンピュータ、タブレットコンピュータ、携帯電話、又は、ディスプレイデバイスへの送信若しくはディスプレイデバイスにおける記憶のためにスクリーンコンテンツを生成する様々なアプリケーションの何れかをサポートする他の計算対応モバイルデバイスを含む。そのようなサービスとしては、例えば、リモートデスクトップサービス、ワイヤレスディスプレイサービス、スクリーン共有／コラボレーションサービス、クラウドゲーミングサービス等が挙げられる。ソースデバイス１００は、ビデオソース１０４及び符号化システム１０２、並びに、１つ以上のワイヤレス又はワイヤードネットワークインターフェース、入力／出力（input/output、Ｉ／Ｏ）デバイス及びそれらのコントローラ、１つ以上のプロセッサ、メモリ及び他の記憶構成要素等を含む、説明を容易にするために図１から省略された様々な他の構成要素を含む。ビデオソース１０４は、符号化システム１０２によって対応するビットストリーム１０８に符号化するための一連の画像１０６（一般に「ピクチャ」又は「フレーム」とも呼ばれる）から構成されるビデオストリームを生成するか又は他の方法で提供するように動作し、このビットストリームは、ネットワークインターフェース（図示省略）を介して宛先デバイスに送信するために提供されるか、又は、さもなければ、後続のアクセスに利用可能であるようにローカル若しくはネットワーク化記憶デバイス（図示省略）に記憶するため等のように、出力のために提供される。ビデオソース１０４は、例えば、各画像１０６に含まれるコンテンツの一部又は全部をレンダリングするように動作するグラフィックス処理ユニット（graphics processing unit、ＧＰＵ）、スクリーンコンテンツ又は他の画像コンテンツを表す、以前に符号化されたビデオデータを復号するデコーダ等を含むことができる。

少なくとも１つの実施形態では、ビデオソース１０４からのストリームに含まれる画像１０６のうち一部又は全部は、部分的又は完全にコンピュータ生成スクリーンコンテンツから構成され、コンピュータ生成スクリーンコンテンツは、典型的には、カメラでキャプチャされたビデオ画像と比較して、局所領域においてより鮮明なコントラスト及びより少ない色を呈する。したがって、符号化システム１０２は、スクリーンコンテンツを含むものとして個々に又は対応するストリームの一部として識別されたこれらの画像１０６のパレットベース符号化（又は「パレットモード」符号化）を提供するように構成されている。この目的のために、符号化システム１０２は、階層的パレットテーブル生成器１１０（以下、簡潔にするために「パレットテーブル生成器１１０」）と、カラーインデックスマップ生成器１１２と、残差生成器１１４と、離散コサイン変換（discrete cosign transform、ＤＣＴ）量子化器１１６と、エントロピーエンコーダ１１８と、を含む。構成要素１１０、１１２、１１４、１１６、１１８のうち一部又は全部は、システムメモリ又は別の非一時的なコンピュータ可読記憶媒体に記憶され、本明細書で説明するプロセスを実行するために１つ以上のプロセッサを操作するように構成されたソフトウェア命令を実行する１つ以上のプロセッサとしてソースデバイス１００において実装され得る。他の実施形態では、構成要素１１０、１１２、１１４、１１６、１１８のうち一部又は全部は、ハードコード論理（例えば、特定用途向け集積回路又はＡＳＩＣ）、プログラマブル論理（例えば、プログラマブル論理アレイ）又はそれらの組み合わせで実装される。また更に、いくつかの実施形態では、構成要素１１０、１１２、１１４、１１６、１１８のうち一部又は全部は、ソフトウェアを実行する１つ以上のプロセッサと、ハードコードされた論理又はプログラマブル論理と、の組み合わせで実装される。

図２は、いくつかの実施形態による、階層的及び再帰的パレットテーブル生成プロセスを使用したスクリーンコンテンツを含む画像のパレットモード符号化のための符号化システム１０２の動作の方法２００を示している。説明を容易にするために、以下の方法２００を説明する際に、図３によって示されるＣＵの例示的な階層区分と、図４－１及び図４－２によって示される方法２００の例示的な実施形態と、が参照される。

方法２００は、ブロック２０２で開始し、符号化システム１０２は、画像１０６のストリームの一部としてビデオソース１０４から画像１０６を受信する。例えば、いくつかの実施形態では、各画像１０６は、ビデオソース１０４によって生成されるか又は他の方法で取得される場合に、ソースデバイス１００のフレームバッファ（図示省略）にバッファリングされる。以下では、受信された画像１０６は、パレットモード符号化から利益を得るのに十分なスクリーンコンテンツを含むと仮定する。例示のために、いくつかの実施形態では、パレットモードがＣＵごとに利用され、符号化システム１０２は、他の予測モードのレート歪みコストと比較してパレットモードを使用して現在のＣＵを符号化するレート歪みコストを計算し、現在のＣＵが符号化オプションの最低レート歪みコストを表す場合に、そのＣＵのためのパレットモード符号化を利用する。そうではなく、パレットモードが画像１０６に対して示されない場合に、画像１０６は、ＨＥＶＣによって公表されたもの等のように、適切な従来の符号化技術を使用して符号化される。

更にブロック２０２において、符号化システム１０２は、画像１０６によって表されるピクセルのＪ×Ｋアレイを、図１のＣＵ１２２－１及び１２２－２等の二次元コーディングユニット（ＣＵ）１２２のアレイ１２０（図１）に論理的に区分する。ＩＴＵ－Ｔ Ｒｅｃ．Ｈ．２６４規格で見出されるもの等の特定の実施形態では、ＣＵは全て同じサイズである（ＣＵは通常、代わりに「マクロブロック」と呼ばれる）。ＩＴＵ－Ｔ Ｒｅｃ．Ｈ．２６５ ＨＥＶＣ規格で見出されるもの等の他の実施形態では、画像を複数のコーディングツリーユニット（coding tree unit、ＣＴＵ）に区分することができ、各ＣＴＵは、異なるサイズの複数のＣＵに更に区分される。説明を容易にするために、画像１０６のためのアレイ１２０のＣＵ１２２は、同じサイズのものとして示されているが、他の実施形態では、アレイ１２０は、前述のＣＴＵ構成等のように、異なるサイズのＣＵ１２２から構成され得る。

ブロック２０４において、符号化システム１０２は、符号化される画像１０６のＣＵ１２２（例えば、図１のＣＵ１２２－１）を選択する。ＨＥＶＣ規格等の様々な規格に従って、画像１０６は、最初に複数のスライスに区分され、次いで、各スライスは複数のＣＴＵに区分され、次いで、各ＣＴＵは複数のＣＵに区分され、次いで、スライス－ＣＴＵ－ＣＵの選択が、定義された順序で進められ得る。ＣＵ１２２が選択されると、ブロック２０６において、パレットテーブル生成器１１０は、再帰的及び階層的パレットテーブル生成プロセスを利用し、このプロセスにおいて、ＣＵ１２２は、最低区分レベルにおいて最小ブロックサイズに達するまで、区分階層の各区分レベルにおいて、段々とより小さくなるサイズの連続するピクセルブロックにトップダウン手法で再帰的に区分される。次いで、ボトムアップ手法を使用して、パレットテーブル生成器１１０は、最低区分レベルにおける各ブロックのピクセルについてヒストグラム収集又は他のクラスタリングを実行して、各最低レベルブロックについての対応するパレットテーブル内のパレット色として含めるための候補色のセットを決定する。２番目に最も低い区分レベルでは、２番目に最も低いレベルのブロックによって表される複数の最低レベルブロックの各々のパレットテーブルからのパレット色は、２番目に最も低いレベルのブロックのための候補色として働き、したがって、パレットテーブル生成器１１０は、２番目に最も低いレベルにおけるブロックのためのパレットテーブルに含めるための色を識別するために、これらの候補色に対してヒストグラム収集又は他のクラスタリングを実行する。この処理は、２番目に最も低いレベルのブロックごとに実行される。次に低いレベルにおける各構成ブロックに対して生成された各パレットテーブルのパレット色を、次に高いレベルの対応するブロックのパレットテーブルに対する選択のための候補色として使用するプロセスは、（ＣＵ１２２全体を表す）区分階層の最上位レベルまで繰り返され、その時点で、パレットテーブル生成器１１０は、区分階層の２番目に最も高いレベルにおいて生成されたパレットテーブルのパレット色のヒストグラム収集又は他のクラスタリングを通して、最上位レベルのためのパレットテーブルを生成する。すなわち、パレットテーブル生成器１１０は、より小さい区分のパレットテーブルを再帰的且つ階層的に統合することによって、ＣＵ１２２のより大きい区分のための中間パレットテーブルを生成する。これにより、パレットテーブルを生成するために１つのブロックとしてＣＵ１２２のピクセル全体を徹底的にソート及び処理する計算集約的な従来のプロセスが回避される。各区分レベル（例えば、８×８ピクセル、１６×１６ピクセル、３２×３２ピクセル、６４×６４ピクセル、１２８×１２８ピクセル等）について生成された候補パレットテーブルを用いて、パレットテーブル生成器１１０又は符号化システム１０２の他の構成要素は、次いで、対応する候補パレットテーブルを使用してＣＵ１２２を符号化するためのレート歪みコストを計算し、この計算は候補パレットテーブルごとに実行される。次いで、符号化システム１０２は、「最終」パレットテーブル１２４として、ＣＵ１２２を符号化するための最低レート歪みコストを表す候補パレットテーブルを選択する。ブロック２０６において符号化システム１０２によって採用される階層的パレットテーブル生成及び選択プロセスの例示的な実施形態について、図２の拡大されたプロセスフロー２０７を参照しながら以下でより詳細に説明する。

この階層的及び再帰的パレットテーブル生成及び選択手法を使用して決定されたＣＵ１２２のための最終パレットテーブル１２４を用いて、ブロック２０８において、カラーインデックスマップ生成器１１２は、ＣＵ１２２の元のピクセルの各々とパレットテーブル１２４内で表されるパレット色との比較に基づく予測を実行して、ＣＵ１２２のピクセルを表し、且つ、最終パレットテーブル１２４にインデックス付けされたカラーインデックスマップ１２６を生成する。最終パレットテーブル１２４からカラーインデックスマップ１２６を生成するために、様々な標準の又は独自の技術の何れかを使用することができる。例示のために、当技術分野で理解されるように、最終パレットテーブル１２４等のパレットテーブルは、複数のエントリを含み、各エントリは、関連付けられたインデックス値と、対応するピクセルブロックのカラー値のヒストグラム収集又は他のクラスタリングにおいて識別された候補色から選択された対応するパレット色と、を有する。各パレット色は、例えば、３つの色成分（ＲＧＢ又はＹＣｂＣｒ）から構成される。したがって、カラーインデックスマップ１２６を生成するために、ＣＵ１２２の各ピクセルについて、カラーインデックスマップ生成器は、最小歪みを有する対応するパレット色について最終パレットテーブル１２４を探索し、ピクセル色を、カラーインデックスマップ１２６の対応する位置エントリ内の選択されたパレット番号に関連付けられたインデックス番号で置き換える。例示のために、ＣＵ１２２－１の（１，１）（すなわち、行１、列１）におけるピクセルは、例えば、最終パレットテーブル１２４のインデックス１において見つけられるパレット色（Ｒ１５０，Ｂ５０，Ｇ７５）に最も近い色を有すると仮定する。この場合、カラーインデックスマップ生成器１１２は、「１」のインデックス値をカラーインデックスマップ１２６の（１，１）エントリに配置して、ピクセル（１，１）の色が最終パレットテーブル１２４のインデックス１に見出されるパレット色に最もよく似ていることを表すであろう。

更に、いくつかの可逆的符号化の実施形態では、カラーインデックスマップ生成器１１２によって実行される予測は、パレット色に十分に類似していなかった１つ以上のピクセルを識別し、したがって、そのようなピクセルを表すために、最終パレットテーブル１２４内の個別のインデックスと、カラーインデックスマップ１２６内の対応する識別エントリとの追加を必要とし、そのようなピクセルは、通常、「エスケープピクセル」と呼ばれ、したがって、それらの対応するインデックスは、「エスケープ」インデックスと呼ばれる。不可逆的符号化の実施形態では、エスケープピクセルは、しばしば、何れの手法がより良好なレート歪みトレードオフを与えるかに応じて、代わりにパレット色のうち１つとしてコーディングされるか、又は、量子化後に明示的にシグナリングされる。

ブロック２０８のカラーインデックスマップ生成プロセスと同時に、ブロック２１０において、残差生成器１１４は、元のピクセル色をそれらの選択されたパレット色と比較して、差を表す残差を生成する。次に、これらの残差はＤＣＴ量子化器１１６によって量子化され、量子化されたＤＣＴ係数が生成される。ブロック２１２において、エントロピーエンコーダ１１８は、選択されたＣＵ１２２のために、パレットテーブル１２４、カラーインデックスマップ１２６及び量子化されたＤＣＴ係数を符号化して、ビットストリーム１０８の対応するセグメントに符号化する。

ブロック２０４～２１２によって表される、符号化される画像１０６から次のＣＵ１２２を選択するプロセスは、パレットモード符号化される画像１０６の各ＣＵ１２２について繰り返される。全てのそのようなＣＵが符号化された後に、方法２００の別の反復が繰り返され、ブロック２０２で開始して、ビデオストリーム内の次の画像１０６の受信が、送信又は記憶のために符号化される。

符号化ビットストリーム１０８の後続の復号に関して、ＨＥＶＣ－ＳＣＣによって提供されるプロセス等のように、ビットストリーム１０８がどのように符号化されたかに一致する、様々な標準の又は独自のパレットモード復号プロセスの何れかが採用され得る。そのようなプロセスは、典型的には、符号化されたＣＵを表すビットストリーム１０８の各セグメントについて、パレットモードデコーダが、パレットテーブル１２４、カラーインデックスマップ１２６及びＣＵを表す量子化されたＤＣＴ係数を復元するためにセグメントを復号することを伴う。量子化されたＤＣＴ係数は、残差の不可逆的又は可逆的表現を取得するために逆量子化され、復元されたパレットテーブル１２４及びカラーインデックスマップは、元のＣＵ１２２によって表されるピクセルのアレイ、又は、その不可逆的表現を復元するために、残差と共に使用される。

上記のように、ブロック２０６のプロセスは、区分階層のより高いレベルにおける中間パレットテーブルを生成するために区分階層のより低いレベルのために生成された中間パレットテーブルを効率的に統合する階層的及び再帰的プロセスを使用して最終パレットテーブル１２４の生成を提供し、これらの候補パレットテーブルから、ＣＵ１２２を符号化する際に使用するための最低レート歪みコストを表す最終パレットテーブル１２４の選択を提供する。拡大されたプロセスフロー２０７は、図３に表される例示的な階層区分、並びに、図４－１及び図４－２に表されるようなこのプロセスの例示的な実行を参照して、このプロセスの例示的な実施形態を示す。

ブロック２０６のプロセスはブロック２２０で開始し、ブロック２０４で選択されたＣＵ１２２は、最低レベル（又は最下位レベル）、最高レベル（又は最上位レベル）、及び、区分階層の深さが２レベルを超える場合には最低レベルと最高レベルとの間の１つ以上の中間レベルから構成される区分階層に再帰的に区分される。最上位レベルは、ＣＵ１２２のピクセルアレイ全体を単一の最上位レベルブロックとして表す。区分階層の連続してより低いレベルごとに、階層的パレットテーブル生成器１１０は、最低レベルにおいてＰ×Ｐピクセルの最小ブロックサイズに達するまで、次に高いレベルにおける各ブロックを４つのブロックの関連するセットに区分し、ここで、Ｐは、１より大きい整数を表し、多くの実施形態では、採用されている符号化規格によってサポートされる最小ＣＵサイズである。例えば、ＨＥＶＣがＣＴＵ内で８×８ピクセルの最小ＣＵを提供するように、最小ブロックサイズが８に設定されるであろう。したがって、Ｋ×ＫピクセルのＣＵ１２２のための区分階層内のレベルの数Ｎは、以下の式の関係に基づいて設定される。
Ｋ＝Ｐ＊２^{（Ｎ－１）}
したがって、最小ブロックサイズが８×８ピクセル（Ｐ＝８）であり、ＣＵ１２２が１６×１６ピクセル（Ｋ＝１６）である場合、ただ２つの区分レベル（Ｎ＝２）、すなわち、最上位レベル及び最下位レベルが存在することになる。最小ブロックサイズが８×８ピクセル（Ｐ＝８）であり、ＣＵ１２２が１２８×１２８ピクセルである場合、５つの区分レベル（Ｎ＝５）、すなわち、最上位レベル、最下位レベル、及び、それらの間の３つの中間レベルが存在することになる。

例示のために、この再帰的区分の例を図３に示す。図示した例示的な区分階層３００では、６４×６４ピクセルＣＵは、８×８ピクセルの最小ブロックサイズに達するまで再帰的に区分される。したがって、例示的な区分階層３００は、４つの区分層を有する（６４＝８^＊２＾（４－１）→Ｎ＝４）。ＣＵの６４×６４ピクセルアレイ全体は、区分階層の最上位レベル（レベル１）における単一のブロック（ＢＬＫ６４）であると見なされる。第１の中間レベル（レベル２）では、ＣＵの６４×６４ピクセルは、４つの３２×３２ブロックの対応するセット、ＢＬＫ［３２，０］～ＢＬＫ［３２，３］に区分される。第２の中間レベル（レベル３）では、第１の中間レベルにおける３２×３２ブロックの各々は、４つの１６×１６ブロックの対応するセットに区分され、第２の中間レベルにおけるブロックＢＬＫ［１６，０］～ＢＬＫ［１６，１５］がもたらされる。図示したように、第１の中間レベル（レベル２）におけるブロックＢＬＫ［３２，０］は、ブロックＢＬＫ［１６，０］、ＢＬＫ［１６，１］、ＢＬＫ［１６，２］、ＢＬＫ［１６，３］の対応するセットに区分される。同様に、第１の中間レベル（レベル２）におけるブロックＢＬＫ［３２，１］は、ブロックＢＬＫ［１６，４］、ＢＬＫ［１６，５］、ＢＬＫ［１６，６］、ＢＬＫ［１６，７］等に区分される。区分階層３００の最下位レベル（レベル４）では、第２の中間ブロックにおける各１６×１６ブロックは、４つの８×８ブロックの対応するセットに区分され、ブロックＢＬＫ［８，０］～ＢＬＫ［８，６３］がもたらされる。図示したように、第２の中間レベルにおけるＢＬＫ［１６，０］は、ブロックＢＬＫ［８，０］～ＢＬＫ［８，３］のセットに区分される。ＢＬＫ［１６，１］は、同様に、ブロックＢＬＫ［８，４］～ＢＬＫ［８，７］のセットに区分され、以下同様である。

図２に戻ると、ＣＵ１２２が、非最下位レベルの各ブロックが次に低いレベルの４つのより小さいブロックによって表されるように、区分階層の最上位レベルから最下位レベルへとサイズが減少するピクセルブロックに再帰的に区分された状態で、ブロック２２２において、パレットテーブル生成器１１０は、処理されている現在のレベルを区分階層の最下位レベルに設定し、区分階層の最低レベルの各ブロックについて個別のパレットテーブルを生成する。少なくとも１つの実施形態では、最低レベルにおける各ブロックに対するパレット生成プロセスは、ピクセル色のビニングに基づいて各ブロック内のピクセルに対してヒストグラム収集を実行して、ブロックのピクセル内に存在するピクセル色の対応するヒストグラムを生成することと、次いで、対応するパレットテーブルのパレット色として、対応するビンのサイズ（すなわち、各ビン内に入るピクセル色の数）に基づいて存在するピクセル色のＸ個のサブセットを選択することと、を含む。値Ｘは、選択可能又はさもなければプログラム可能であり、概して、最小ブロックサイズ、符号化効率、符号化ビットレート等を含む様々なパラメータに基づいて選択される。例えば、パレットテーブルは、しばしば、１６個以下のパレット色に制限され、８又は１６（すなわち、Ｘ＝８又はＸ＝１６）が頻繁な構成である。したがって、図３の例示的な区分階層３００では、パレットテーブル生成器１１０は、最下位レベル（レベル４）における６４個の８×８ピクセルブロックの各々に対してヒストグラム分析のために利用されるソート及び他の動作を別々に実行して、６４個の別々のヒストグラムを生成し、これらの６４個の別々のヒストグラムから６４個の別々のパレットテーブルを生成し、各パレットテーブルは、例えば、最大１６個のインデックス付きパレット色を含む。

その後、ブロック２２４において、パレットテーブル生成器１１０は、１レベル上に移動する（すなわち、処理されている現在のレベルが、次に高いレベルに設定される）。ブロック２２６において、パレットテーブル生成器１１０は、指定された選択順序（例えば、水平走査又は垂直走査）に基づいて、処理されている現在のレベルのブロックを選択する。ブロック２２８において、パレットテーブル生成器１１０は、現在のレベルの選択されたブロックに対応する、前の（又はより低い）レベルにおけるブロックのセットのために生成されたパレットテーブルのパレット色から、現在のレベルにおける選択されたブロックのためのパレットテーブルを生成する。少なくとも１つの実施形態では、現在のレベルにおける選択されたブロックのためのパレットテーブルは、より低いレベルのブロックのパレット色を候補パレット色のセットに組み合わせることと、次いで、候補パレット色のこのセットのヒストグラム収集を実行して、最も頻繁に発生するパレット色を有するＸ個のヒストグラムビンを識別することと、識別されたＸ個のヒストグラムビンに基づいてＸ個のパレット色を含むように現在のレベルにおける選択されたブロックのためのパレットテーブルを生成することと、によって、より低いレベルのブロックの対応するセットのパレットテーブルから生成される。（最低の中間レベルに対する）ブロック２２８の第１の反復では、これは、ブロック２２２において生成された４つの最低レベルブロックに対してパレットテーブルにおいて実装されたパレット色を使用することを伴う。（より高い中間レベル又は最上位レベルに対する）後続の反復では、これは、ブロック２２８の前の反復において生成された４つの次に低いレベルのブロックのためのパレットテーブルにおいて実装されたパレット色を使用することを伴う。したがって、現在のレベルにおいて選択されたブロックによって表されるＣＵのピクセルの全てに対してヒストグラム収集を実行するのではなく、ヒストグラム収集は、代わりに、より低いレベルのブロックのパレットテーブルのパレット色に対してのみ実行され、より低いレベルのブロックのパレットテーブルは、区分階層のより高いレベルにおいて、更により低いレベルのブロックのパレットテーブルのパレット色を統合することが理解されよう。したがって、従来の全ピクセルヒストグラム分析手法と比較して、この再帰的手法を使用して、ピクセルのＪ×Ｊブロックのためのヒストグラム、したがってパレットテーブルを生成するために必要とされる動作は、著しく少ない。

現在のレベルにおける選択されたブロックのためのパレットテーブルが生成されると、ブロック２３０において、パレットテーブル生成器１１０は、現在のレベルにおける各ブロックのための個別のパレットテーブルが生成されたかどうかを決定する。生成されていない場合、ブロック２２６、２２８、２３０のブロック選択及びブロックごとのパレットテーブル生成プロセスの別の反復が、現在の区分レベルにおけるＣＵの次のブロックに対して実行される。そうではなく、現在の区分レベルにおける全てのブロックがそれらのために生成されたパレットテーブルを有する場合、ブロック２３２において、パレットテーブル生成器１１０は、より高い区分レベルが残っているかどうか、すなわち、現在のレベルが区分階層の最上位レベルであるかどうかを決定する。階層の最上位レベルでない場合、パレットテーブル生成器１１０は、ブロック２２４に戻り、処理されている現在のレベルを区分階層内の次に高いレベルに設定し、次いで、処理されている現在のレベルについて、ブロック２２６～３３２のブロック選択及びブロックごとのパレットテーブル生成プロセスの別の反復を設定する。

そうではなく、パレットテーブル生成器１１０が、符号化されているＣＵ１２２のための区分階層を上昇しており、階層の最上位レベルである場合、ブロック２３４において、符号化システム１０２は、区分階層の各レベルにおいて生成されたパレットテーブルを候補パレットテーブルとして指定し、次いで、候補パレットテーブルの各々についてＣＵを符号化するためのレート歪みコストを計算する。ＣＵ１２２を符号化するために最低レート歪みコストを必要とする候補パレットテーブルは、ＣＵ１２２のための最終パレットテーブル１２４として指定され、次いで、最終パレットテーブル１２４は、ブロック２０８を参照しながら上記で説明したように、ＣＵ１２２のための対応するカラーインデックスマップ１２６を生成するためにカラーインデックスマップ生成器１１２によって使用される。

次に、図４－１及び図４－２を参照すると、図３に示すような６４×６４ＣＵの例示的な区分階層３００を使用する図２の方法２００の例示的な実施形態が示されている。この例では、各パレットテーブルは、最大１６個のパレット色（すなわち、Ｘ＝１６）を含む。６４×６４ピクセルＣＵの場合、最低区分レベル（レベル４）は、次に最も高いレベル（レベル３）の各１６×１６ブロックについて４つの８×８ブロックのセットを生成する。各８×８ブロックは、候補ピクセル色の対応するヒストグラムを生成するために統計的に分析され、ヒストグラムは、８×８ブロック内で最も頻繁に発生するピクセル色の最大１６個を、そのブロックのパレットテーブル内でインデックス付けされるパレット色として識別するために使用される。例示のために、図４－１は、ブロックＢＬＫ［８，０］、ＢＬＫ［８，１］、ＢＬＫ［８，２］、ＢＬＫ［８，３］についてそれぞれ収集されているヒストグラム４０１－０、４０１－１、４０１－２、４０１－３を示す。パレットテーブル生成器１１０は、それぞれヒストグラム４０１－０、４０１－１、４０１－２、４０１－３に基づいてそれぞれ選択された最大１６個のパレット色を有するパレットテーブル４０２－０、４０２－１、４０２－２、４０１－３を生成する。この同じプロセスは、４つの８×８ブロックの他の１５個のセットの各々に対して実行され、その結果、区分階層３００の最下位レベル（レベル５）において６４個の８×８ブロック（ＢＬＫ［８，０］～ＢＬＫ［８，６３］）から合計６４個のパレットテーブルが生成される。

次いで、区分階層３００の最低の中間レベル（レベル３）において、パレットテーブル生成器１１０は、第２のレベルのブロックに対応する最下位レベルにおける４つの８×８ブロックについて生成された４つの区分テーブルの統合を通じて、１６個の１６×１６ブロック（ＢＬＫ［１６，０］～ＢＬＫ［１６，１５］）の各々について区分テーブルを生成する。例示のために、図４－１では、パレットテーブル４０２－０～４０２－３の各々のインデックス付けされたパレット色は、最大６４個の候補色のセット４０３（すなわち、最下位レベルパレットテーブル当たり最大１６個のパレット色×４個の最下位レベルパレットテーブル）に組み合わされる。パレットテーブル生成器１１０は、このセット４０３を分析して、セット４０３内の候補色の発生頻度を表すヒストグラム４０４（又は他のクラスタリング）を生成し、次いで、ヒストグラム４０４内の最も多く表現されたピクセル色の最大１６個を使用して、最下位レベルにおける４つの８×８ブロックＢＬＫ［８，０］～ＢＬＫ［８，３］を表す第２のレベル（レベル３）における１６×１６ブロックＢＬＫ［１６，０］のための中間パレットテーブル４０５－０を生成する。この処理は、同様に、最低の中間レベルにおける他の１５個の１６×１６ブロック（ＢＬＫ［１６，１］～ＢＬＫ［１６，１５］）に対して実行される。結果は、４つの中間レベルパレットブロック４０５－０、４０５－１、４０５－２、４０５－３である。

区分階層３００内の最高の中間レベル（レベル２）まで移動すると、パレットテーブル生成器１１０は、第３のレベルのブロックに対応する最低の中間レベル（レベル３）における４つの１６×１６ブロックについて生成された４つの区分テーブルの統合を通じて、４つの３２×３２ブロック（ＢＬＫ［３２，０］～ＢＬＫ［３２，３］）の各々について区分テーブルを生成する。例示のために、図４－１では、パレットテーブル４０５－０～４０５－３の各々のインデックス付けされたパレット色は、最大６４個の候補色のセット４０６に組み合わされる。パレットテーブル生成器１１０は、このセット４０６を分析して、セット４０６内の候補色の発生頻度を表すヒストグラム４０７（又は他のクラスタリング）を生成し、次いで、ヒストグラム４０７内の最も多く表現されたピクセル色の最大１６個を使用して、最下位レベルにおける４つの８×８ブロックＢＬＫ［８，０］～ＢＬＫ［８，３］を表す３２×３２ブロックＢＬＫ［１６，０］のための中間パレットテーブル４０８－０を生成する。この処理は、同様に、最高の中間レベルにおける他の３個の３２×３２ブロック（ＢＬＫ［３２，１］～ＢＬＫ［３２，３］）に対して実行される。図４－２を参照すると、結果は、４つの中間レベルパレットブロック４０８－０、４０８－１、４０８－２、及び４０８－３である。

この時点で、パレットテーブル生成器１１０は、ＣＵ１２２のための区分階層３００の最高レベル又は最上位レベル（レベル１）に進んでいる。したがって、パレットテーブル生成器１１０は、パレットテーブル４０８－０～４０８－３のパレット色を最大６４個の候補色のセット４０９に組み合わせることによる、最高の中間レベル（レベル２）における４つの３２×３２ブロックについて生成された４つの区分テーブル４０８－０～４０８－３の統合を通じて、最上位区分階層のための最上位パレットテーブル４１２を生成する。パレットテーブル生成器１１０は、このセット４０９を分析して、セット４０９内の候補色の発生頻度を表すヒストグラム４１０（又は他のクラスタリング）を生成し、次いで、ヒストグラム４１０内の最も多く表現されたピクセル色の最大１６個を使用して、最上位パレットテーブル４１２を生成する。

上記で説明した例が示すように、最上位パレットテーブル４１２を生成するプロセスは、６４ピクセルセットに対するヒストグラム収集の６４個のインスタンスと、それに続く、より低いレベルのパレットテーブルからの最大６４個の候補パレット色に対するヒストグラム収集の３回の反復と、を伴う。これは、上記の例の６４×６４ピクセルＣＵで表される４，０９６ピクセルのセット全体に対する単一のヒストグラム収集の従来の手法よりも計算上複雑でないことが理解されよう。更に、この階層的手法は、異なる区分レベルにおいて異なるパレットテーブルの各々を使用するＣＵの符号化のレート歪み分析に基づいて、ＣＵをより効率的に符号化するために、異なるサイズの区分の選択的使用を容易にする。したがって、パレットテーブル４０２－０、４０２－１、４０２－２、４０２－３、４０５－０、４０８－０、４１２の各々は、ＣＵ１２２を符号化するために使用される最終パレットテーブル１２４として利用され得る候補パレットテーブルを表す。したがって、これらの候補パレットテーブルの各々について、符号化システム１０２は、候補パレットテーブルを使用してＣＵ１２２を符号化するためのそれぞれのレート歪みコストを計算し、何れの候補パレットテーブルが最低レート歪みコストを与えるかに基づいて、イントラ符号化パイプライン区分サイズを選択することができる。

例示のために、ＣＵを符号化するための８×８イントラ符号化パイプラインの場合、階層区分は、単一のレベルに展開し、このレベルにおいて８×８ブロックのために生成されたパレットテーブル（例えば、ＢＬＫ［８，０］のために生成されたパレットテーブル４０２－０）は、ＣＵを表すカラーインデックスマップ４１１を生成するために使用され得る。同様に、ＣＵを符号化するための１６×１６イントラ符号化パイプラインの場合、１６×１６区分レベルのために生成されたパレットテーブル（例えば、ＢＬＫ［１６，０］のためのパレットテーブル４０５－０）は、ＣＵを表すカラーインデックスマップ４１２を生成するために使用され得る。同様に、ＣＵを符号化するための３２×３２イントラ符号化パイプラインの場合、３２×３２区分レベルのために生成されたパレットテーブル（例えば、ＢＬＫ［３２，０］のためのパレットテーブル４０８－０）は、ＣＵを表すカラーインデックスマップ４１３を生成するために使用され得る等である。図４－１及び図４－２の例では、パレットテーブル４１２は最低レート歪みコストを有し、したがって、パレットテーブル４１２は、カラーインデックスマップ１２６を生成するために、６４×６４イントラ符号化パイプラインにおいてＣＵを符号化するための最終パレットテーブル１２４として採用される。

本明細書で開示するように、いくつかの実施形態では、ソースデバイスにおいてスクリーンコンテンツを含む画像を符号化するための方法は、画像の選択された部分について、部分を複数のレベルから構成される区分階層に再帰的に区分することであって、区分階層の最上位レベルが、部分のピクセルのセット全体を表す単一のブロックを有し、最上位レベルより下の各レベルが、次に高いレベルにおけるピクセルの、対応するより大きいブロックを表すピクセルの４つのより小さいブロックを有する、ことと、区分階層の最下位レベルにおいて、最下位レベルにおける各ブロックのためのパレットテーブルを生成することであって、パレットテーブルが、対応するブロック内に存在するピクセル色を表すパレット色のセットを含む、ことと、区分階層内の連続してより高いレベルごとに、現在のレベルにおける各ブロックのためのパレットテーブルを、現在のレベルにおけるブロックに対応する次に低いレベルにおける４つのブロックに関連付けられた４つのパレットテーブルからのパレット色に基づいて、パレットテーブルのためのパレット色を選択することによって生成することと、区分階層の複数のレベルについて生成されたパレットテーブルから、最終パレットテーブルを選択することと、最終パレットテーブルに基づいて、画像の部分のためのカラーインデックスマップを生成することと、最終パレットテーブル及びカラーインデックスマップを使用して画像の部分の表現を符号化して、ソースデバイスによる出力のための符号化ビットストリームの対応するセグメントを生成することと、を含む。

一態様では、最下位レベルにおける各ブロックのためのパレットテーブルを生成することは、ブロックのピクセルについてビニングされたピクセル色の発生頻度を表す第１のヒストグラムを生成することと、第１のヒストグラムに基づいて、指定された最大数のパレット色を、パレットテーブルにおいてインデックス付けするために選択することと、を含む。別の態様では、区分階層内のより高いレベルにおけるブロックのためのパレットを生成することは、より高いレベルにおけるブロックに関連付けられた４つのより低いレベルのブロックの各パレットテーブルのパレット色を候補ピクセル色のセットにグループ化することと、ビニングされた候補ピクセル色の発生頻度を表す第２のヒストグラムを生成することと、第２のヒストグラムに基づいて、指定された最大数のパレット色を、パレットテーブルにおいてインデックス付けするために選択することと、を含む。更に別の態様では、区分階層内のより高いレベルにおけるブロックのためのパレットテーブルを生成することは、より高いレベルにおけるブロックに関連付けられた４つのより低いレベルのブロックの各パレットテーブルのパレット色を候補ピクセル色のセットにグループ化することと、ビニングされた候補ピクセル色の発生頻度を表すクラスタリングを生成することと、クラスタリングに基づいて、指定された最大数のパレット色を、パレットテーブルにおいてインデックス付けするために選択することと、を含む。

一態様では、最下位レベルにおけるブロックは、Ｐ×Ｐピクセルのブロックサイズを有し、画像の部分は、Ｋ×Ｋピクセルのサイズを有し、区分階層内のレベルの数Ｎは、式Ｋ＝Ｐ^＊２＾（Ｎ－１）で表される。別の態様では、最終パレットテーブルを選択することは、各候補パレットテーブルについて、候補パレットテーブルを使用して画像の部分を符号化するための対応するレート歪みコストを決定することと、最終パレットテーブルとして、最低の対応するレート歪みコストを有する候補パレットテーブルを選択することと、を含む。更に別の態様では、画像の部分は、コーディングツリーユニットのコーディングユニットである。

いくつかの実施形態では、スクリーンコンテンツを含む画像を符号化するためのデバイスであって、デバイスが、パレットモードエンコーダを含み、パレットモードエンコーダは、画像の選択された部分について、部分を複数のレベルから構成される区分階層に再帰的に区分することであって、区分階層の最上位レベルが、部分のピクセルのセット全体を表す単一のブロックを有し、最上位レベルより下の各レベルが、次に高いレベルにおけるピクセルの、対応するより大きいブロックを表すピクセルの４つのより小さいブロックを有する、ことと、区分階層の最下位レベルにおいて、最下位レベルにおける各ブロックのためのパレットテーブルを生成することであって、パレットテーブルが、対応するブロック内に存在するピクセル色を表すパレット色のセットを含む、ことと、区分階層内の連続してより高いレベルごとに、現在のレベルにおける各ブロックのためのパレットテーブルを、現在のレベルにおけるブロックに対応する次に低いレベルにおける４つのブロックに関連付けられた４つのパレットテーブルからのパレット色に基づいて、パレットテーブルのためのパレット色を選択することによって生成することと、区分階層の複数のレベルについて生成されたパレットテーブルから最終パレットテーブルを選択することと、最終パレットテーブルに基づいて、画像の部分のためのカラーインデックスマップを生成することと、最終パレットテーブル及びカラーインデックスマップを使用して画像の部分の表現を符号化して、符号化ビットストリームの対応するセグメントを生成することと、を行うように構成されている。

一態様では、パレットモードエンコーダは、ブロックのピクセルについてビニングされたピクセル色の発生頻度を表す第１のヒストグラムを生成することと、第１のヒストグラムに基づいて、指定された最大数のパレット色を、パレットテーブルにおいてインデックス付けするために選択することと、によって、最下位レベルにおける各ブロックのためのパレットテーブルを生成するように構成されている。別の態様では、パレットモードエンコーダは、より高いレベルにおけるブロックに関連付けられた４つのより低いレベルのブロックの各パレットテーブルのパレット色を候補ピクセル色のセットにグループ化することと、ビニングされた候補ピクセル色の発生頻度を表す第２のヒストグラムを生成することと、第２のヒストグラムに基づいて、指定された最大数のパレット色を、パレットテーブルにおいてインデックス付けするために選択することと、によって、区分階層内のより高いレベルにおけるブロックのためのパレットテーブルを生成するように構成されている。

一態様では、パレットモードエンコーダは、より高いレベルにおけるブロックに関連付けられた４つのより低いレベルのブロックの各パレットテーブルのパレット色を候補ピクセル色のセットにグループ化することと、ビニングされた候補ピクセル色の発生頻度を表すクラスタリングを生成することと、クラスタリングに基づいて、指定された最大数のパレット色を、パレットテーブルにおいてインデックス付けするために選択することと、によって、区分階層内のより高いレベルにおけるブロックのためのパレットテーブルを生成するように構成されている。別の態様では、パレットモードエンコーダは、各候補パレットテーブルについて、候補パレットテーブルを使用して画像の部分を符号化するための対応するレート歪みコストを決定することと、最終パレットテーブルとして、最低の対応するレート歪みコストを有する候補パレットテーブルを選択することと、によって、最終パレットテーブルを選択する。更に別の態様では、パレットモードエンコーダは、少なくとも１つのプロセッサと、少なくとも１つのプロセッサによって実行可能な命令のセットを記憶するためのメモリと、を含む。

いくつかの実施形態では、ソースデバイスにおいてスクリーンコンテンツを含む画像を符号化するための方法は、画像の選択された部分のための区分階層の複数の区分の各々のためのパレットテーブルを、画像の部分のより小さい区分のセットのためのパレットテーブルのために選択されたパレット色を画像の部分のより大きい区分のための候補色として再帰的に使用することによって生成することと、画像の部分のために生成されたパレットテーブルから選択されたパレットテーブルに基づいて、画像の部分のためのカラーインデックスマップを生成することと、選択されたパレットテーブル及びカラーインデックスマップを使用して画像の部分の表現を符号化して、ソースデバイスによる出力のための符号化ビットストリームの対応するセグメントを生成することと、を含む。別の態様では、画像の部分の最小区分のためのパレットテーブルを生成することは、最小区分のピクセルについてビニングされたピクセル色の発生頻度を表す第１のヒストグラムを生成することと、第１のヒストグラムに基づいて、指定された最大数のパレット色を、パレットテーブルにおいてインデックス付けするために選択することと、を含む。更に別の態様では、最小区分以外の部分の区分のためのパレットテーブルを生成することは、関連する次に小さい区分の各パレットテーブルのパレット色を候補ピクセル色のセットにグループ化することと、ビニングされた候補ピクセル色の発生頻度を表す第２のヒストグラムを生成することと、第２のヒストグラムに基づいて、指定された最大数のパレット色を、パレットテーブルにおいてインデックス付けするために選択することと、を含む。

一態様では、選択されたパレットテーブルは、各候補パレットテーブルについて、候補パレットテーブルを使用して画像の部分を符号化するための対応するレート歪みコストを決定することと、選択されたパレットテーブルとして、最低の対応するレート歪みコストを有する候補パレットテーブルを選択することと、によって選択される。別の態様では、画像の部分は、コーディングツリーユニットのコーディングユニットである。

いくつかの実施形態では、スクリーンコンテンツを含む画像を符号化するためのデバイスであって、デバイスが、パレットモードエンコーダを含み、パレットモードエンコーダは、画像の選択された部分のための区分階層の複数の区分の各々のためのパレットテーブルを、画像の部分のより小さい区分のセットのためのパレットテーブルのために選択されたパレット色を画像の部分のより大きい区分のための候補色として再帰的に使用することによって生成することと、画像の部分のために生成されたパレットテーブルから選択されたパレットテーブルに基づいて、画像の部分のためのカラーインデックスマップを生成することと、選択されたパレットテーブル及びカラーインデックスマップを使用して画像の部分の表現を符号化して、デバイスによる出力のための符号化ビットストリームの対応するセグメントを生成することと、を行うように構成されている。

一態様では、パレットモードエンコーダは、最小区分のピクセルについてビニングされたピクセル色の発生頻度を表す第１のヒストグラムを生成することと、第１のヒストグラムに基づいて、指定された最大数のパレット色を、パレットテーブルにおいてインデックス付けするために選択することと、によって、画像の部分の最小区分のためのパレットテーブルを生成するように構成されている。別の態様では、パレットモードエンコーダは、関連する次により小さい区分の各パレットテーブルのパレット色を候補ピクセル色のセットにグループ化することと、ビニングされた候補ピクセル色の発生頻度を表す第２のヒストグラムを生成することと、第２のヒストグラムに基づいて、指定された最大数のパレット色を、パレットテーブルにおいてインデックス付けするために選択することと、によって、最小区分以外の部分の区分のためのパレットテーブルを生成するように構成されている。

一態様では、パレットモードエンコーダは、各候補パレットテーブルについて、候補パレットテーブルを使用して画像の部分を符号化するための対応するレート歪みコストを決定することと、選択されたパレットテーブルとして、最低の対応するレート歪みコストを有する候補パレットテーブルを選択することと、によって、選択されたパレットテーブルを選択するように構成されている。別の態様では、パレットモードエンコーダは、少なくとも１つのプロセッサと、少なくとも１つのプロセッサによって実行可能な命令のセットを記憶するためのメモリと、を含む。

いくつかの実施形態では、上記で説明したシステム及び技術は、図１～図４－２を参照しながら説明した符号化システム１０２等の１つ以上の集積回路（integrated circuit、ＩＣ）デバイス（集積回路パッケージ又はマイクロチップとも称される）を使用して実装される。電子設計自動化（electronic design automation、ＥＤＡ）及びコンピュータ支援設計（computer aided design、ＣＡＤ）ソフトウェアツールは、これらのＩＣデバイスの設計及び製造に使用することができる。これらの設計ツールは、典型的には、１つ以上のソフトウェアプログラムとして表される。１つ以上のソフトウェアプログラムは、回路を製造するための製造システムを設計するか又は適応させるためのプロセスの少なくとも一部を実行するために、１つ以上のＩＣデバイスの回路を表すコードで動作するようにコンピュータシステムを操作するための、コンピュータシステムによって実行可能なコードを含む。このコードは、命令、データ、又は、命令及びデータの組み合わせを含み得る。設計ツール又は製造ツールを表すソフトウェア命令は、典型的には、コンピューティングシステムにアクセス可能なコンピュータ可読記憶媒体に記憶される。同様に、ＩＣデバイスの設計又は製造の１つ以上の段階を表すコードは、同じコンピュータ可読記憶媒体又は異なるコンピュータ可読記憶媒体に記憶され、そこからアクセスされる。

コンピュータ可読記憶媒体は、命令及び／又はデータをコンピュータシステムに提供するために、使用中にコンピュータシステムによってアクセス可能な任意の非一時的な記憶媒体又は非一時的な記憶媒体の組み合わせを含む。このような記憶媒体には、限定されないが、光学媒体（例えば、コンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（登録商標）ディスク）、磁気媒体（例えば、フロッピー（登録商標）ディスク、磁気テープ、磁気ハードドライブ）、揮発性メモリ（例えば、ランダムアクセスメモリ（ＲＡＭ）若しくはキャッシュ）、不揮発性メモリ（例えば、読取専用メモリ（ＲＯＭ）若しくはフラッシュメモリ）、又は、微小電気機械システム（ＭＥＭＳ）ベースの記憶媒体が含まれ得る。コンピュータ可読記憶媒体（例えば、システムＲＡＭ又はＲＯＭ）はコンピューティングシステムに内蔵されてもよいし、コンピュータ可読記憶媒体（例えば、磁気ハードドライブ）はコンピューティングシステムに固定的に取り付けられてもよいし、コンピュータ可読記憶媒体（例えば、光学ディスク又はユニバーサルシリアルバス（ＵＳＢ）ベースのフラッシュメモリ）はコンピューティングシステムに着脱可能に取り付けられてもよいし、コンピュータ可読記憶媒体（例えば、ネットワークアクセス可能ストレージ（ＮＡＳ））は有線又は無線ネットワークを介してコンピュータシステムに結合されてもよい。

いくつかの実施形態では、上述した技術の特定の態様は、ソフトウェアを実行する処理システムの１つ以上のプロセッサによって実装される。ソフトウェアは、非一時的なコンピュータ可読記憶媒体に記憶されるか、別の方法で明確に具体化された実行可能命令の１つ以上のセットを含む。ソフトウェアは、命令及び特定のデータを含んでもよく、当該命令及び特定のデータは、１つ以上のプロセッサによって実行されると、上述した技術の１つ以上の態様を実行するように１つ以上のプロセッサを操作する。非一時的なコンピュータ可読記憶媒体は、例えば、磁気又は光ディスク記憶デバイス、フラッシュメモリ等のソリッドステート記憶デバイス、キャッシュ、ランダムアクセスメモリ（ＲＡＭ）、又は、他の不揮発性メモリデバイス（単数又は複数）等を含み得る。非一時的なコンピュータ可読記憶媒体に記憶された実行可能命令は、ソースコード、アセンブリ言語コード、オブジェクトコード、又は、１つ以上のプロセッサによって解釈され若しくは別の方法で実行可能な他の命令形式で実装可能である。

上述したものに加えて、概要説明において説明した全てのアクティビティ又は要素が必要とされているわけではなく、特定のアクティビティ又はデバイスの一部が必要とされない場合があり、１つ以上のさらなるアクティビティが実行される場合があり、１つ以上のさらなる要素が含まれる場合があることに留意されたい。さらに、アクティビティが列挙された順序は、必ずしもそれらが実行される順序ではない。また、概念は、特定の実施形態を参照して説明された。しかしながら、当業者であれば、特許請求の範囲に記載されているような本発明の範囲から逸脱することなく、様々な変更及び変形を行うことができるのを理解するであろう。したがって、明細書及び図面は、限定的な意味ではなく例示的な意味で考慮されるべきであり、これらの変更形態の全ては、本発明の範囲内に含まれることが意図される。

利益、他の利点及び問題に対する解決手段を、特定の実施形態に関して上述した。しかし、利益、利点、問題に対する解決手段、及び、何かしらの利益、利点若しくは解決手段が発生又は顕在化する可能性のある特徴は、何れか若しくは全ての請求項に重要な、必須の、又は、不可欠な特徴と解釈されない。さらに、開示された発明は、本明細書の教示の利益を有する当業者には明らかな方法であって、異なっているが同様の方法で修正され実施され得ることから、上述した特定の実施形態は例示にすぎない。添付の特許請求の範囲に記載されている以外に本明細書に示されている構成又は設計の詳細については限定がない。したがって、上述した特定の実施形態は、変更又は修正されてもよく、かかる変更形態の全ては、開示された発明の範囲内にあると考えられることが明らかである。したがって、ここで要求される保護は、添付の特許請求の範囲に記載されている。

Claims (23)

1. ソースデバイスにおいてスクリーンコンテンツを含む画像を符号化するための方法であって、
   前記画像の選択された部分について、前記部分を複数のレベルから構成される区分階層に再帰的に区分することであって、前記区分階層の最上位レベルは、前記部分のピクセルのセット全体を表す単一のブロックを有し、前記最上位レベルより下位の各レベルは、次に高いレベルにおけるピクセルの対応する大きいブロックを表すピクセルの４つの小さいブロックを有する、ことと、
   前記区分階層の最下位レベルにおいて、前記最下位レベルの各ブロックに対してパレットテーブルを生成することであって、前記パレットテーブルは、対応するブロックに存在するピクセル色を表すパレット色のセットを含む、ことと、
   前記区分階層の連続的に高いレベルごとに、現在のレベルの各ブロックのパレットテーブルを、前記現在のレベルのブロックに対応する次に低いレベルの前記４つのブロックに関連付けられた４つのパレットテーブルからのパレット色に基づいて前記パレットテーブルの前記パレット色を選択することによって生成することと、
   前記区分階層の前記複数のレベルに対して生成された前記パレットテーブルから最終パレットテーブルを選択することと、
   前記最終パレットテーブルに基づいて、前記画像の前記部分のためのカラーインデックスマップを生成することと、
   前記最終パレットテーブル及び前記カラーインデックスマップを使用して前記画像の前記部分の表現を符号化して、前記ソースデバイスが出力するための符号化ビットストリームの対応するセグメントを生成することと、を含む、
   方法。
2. 前記最下位レベルの各ブロックに対してパレットテーブルを生成することは、
   前記ブロックのピクセルについてビニングされたピクセル色の発生頻度を表す第１のヒストグラムを生成することと、
   前記第１のヒストグラムに基づいて、指定された数のパレット色まで前記パレットテーブルにインデックス付けするために選択することと、を含む、
   請求項１の方法。
3. 前記区分階層の高いレベルのブロックのパレットを生成することは、
   前記高いレベルのブロックに関連付けられた前記４つの低いレベルのブロックの各パレットテーブルのパレット色を、候補ピクセル色のセットにグループ化することと、
   ビニングされた候補ピクセル色の発生頻度を表す第２のヒストグラムを生成することと、
   前記第２のヒストグラムに基づいて、前記指定された数のパレット色まで前記パレットテーブルにインデックス付けするために選択することと、を含む、
   請求項２の方法。
4. 前記区分階層の高いレベルのブロックのパレットテーブルを生成することは、
   前記高いレベルのブロックに関連付けられた前記４つの低いレベルのブロックの各パレットテーブルのパレット色を、候補ピクセル色のセットにグループ化することと、
   ビニングされた候補ピクセル色の発生頻度を表すクラスタリングを生成することと、
   前記クラスタリングに基づいて、指定された数のパレット色まで前記パレットテーブルにインデックス付けするために選択することと、を含む、
   請求項１～３の何れかの方法。
5. 前記最下位レベルのブロックは、Ｐ×Ｐピクセルのブロックサイズを有し、
   前記画像の前記部分は、Ｋ×Ｋピクセルのサイズを有し、
   前記区分階層のレベルの数Ｎは、式Ｋ＝Ｐ＊２＾（Ｎ－１）で表される、
   請求項１～４の何れかの方法。
6. 前記最終パレットテーブルを選択することは、
   各候補パレットテーブルについて、前記候補パレットテーブルを使用して前記画像の前記部分を符号化するための対応するレート歪みコストを決定することと、
   対応するレート歪みコストが最も低い前記候補パレットテーブルを前記最終パレットテーブルとして選択することと、を含む、
   請求項１～５の何れかの方法。
7. 前記画像の前記部分は、コーディングツリーユニットのコーディングユニットである、
   請求項１～６の何れかの方法。
8. スクリーンコンテンツを含む画像を符号化するためのデバイスであって、
   パレットモードエンコーダを備え、
   前記パレットモードエンコーダは、
   前記画像の選択された部分について、前記部分を複数のレベルから構成される区分階層に再帰的に区分することであって、前記区分階層の最上位レベルは、前記部分のピクセルのセット全体を表す単一のブロックを有し、前記最上位レベルより下位の各レベルは、次に高いレベルにおけるピクセルの対応する大きいブロックを表すピクセルの４つの小さいブロックを有する、ことと、
   前記区分階層の最下位レベルにおいて、前記最下位レベルの各ブロックに対してパレットテーブルを生成することであって、前記パレットテーブルは、対応するブロックに存在するピクセル色を表すパレット色のセットを含む、ことと、
   前記区分階層の連続的に高いレベルごとに、現在のレベルの各ブロックのパレットテーブルを、前記現在のレベルのブロックに対応する次に低いレベルの前記４つのブロックに関連付けられた４つのパレットテーブルからのパレット色に基づいて前記パレットテーブルの前記パレット色を選択することによって生成することと、
   前記区分階層の前記複数のレベルに対して生成された前記パレットテーブルから最終パレットテーブルを選択することと、
   前記最終パレットテーブルに基づいて、前記画像の前記部分のためのカラーインデックスマップを生成することと、
   前記最終パレットテーブル及び前記カラーインデックスマップを使用して前記画像の前記部分の表現を符号化して、符号化ビットストリームの対応するセグメントを生成することと、
   を行うように構成されている、
   デバイス。
9. 前記パレットモードエンコーダは、
   前記ブロックのピクセルについてビニングされたピクセル色の発生頻度を表す第１のヒストグラムを生成することと、
   前記第１のヒストグラムに基づいて、指定された数のパレット色まで前記パレットテーブルにインデックス付けするために選択することと、
   によって、前記最下位レベルの各ブロックに対してパレットテーブル生成するように構成されている、
   請求項８のデバイス。
10. 前記パレットモードエンコーダは、
    前記高いレベルのブロックに関連付けられた前記４つの低いレベルのブロックの各パレットテーブルのパレット色を、候補ピクセル色のセットにグループ化することと、
    ビニングされた候補ピクセル色の発生頻度を表す第２のヒストグラムを生成することと、
    前記第２のヒストグラムに基づいて、前記指定された数のパレット色まで前記パレットテーブルにインデックス付けするために選択することと、
    によって、前記区分階層の高いレベルのブロックのパレットテーブルを生成するように構成されている、
    請求項９のデバイス。
11. 前記パレットモードエンコーダは、
    前記高いレベルのブロックに関連付けられた前記４つの低いレベルのブロックの各パレットテーブルの前記パレット色を、候補ピクセル色のセットにグループ化することと、
    ビニングされた候補ピクセル色の発生頻度を表すクラスタリングを生成することと、
    前記クラスタリングに基づいて、指定された数のパレット色まで前記パレットテーブルにインデックス付けするために選択することと、
    によって、前記区分階層の高いレベルのブロックのパレットテーブルを生成するように構成されている、
    請求項８～１０の何れかのデバイス。
12. 前記パレットモードエンコーダは、
    各候補パレットテーブルについて、前記候補パレットテーブルを使用して前記画像の前記部分を符号化するための対応するレート歪みコストを決定することと、
    対応するレート歪みコストが最も低い前記候補パレットテーブルを前記最終パレットテーブルとして選択することと、
    によって、前記最終パレットテーブルを選択するように構成されている、
    請求項８～１１の何れかのデバイス。
13. 前記パレットモードエンコーダは、少なくとも１つのプロセッサと、前記少なくとも１つのプロセッサによって実行可能な命令のセットを記憶するためのメモリと、を備える、
    請求項８～１２の何れかのデバイス。
14. ソースデバイスにおいてスクリーンコンテンツを含む画像を符号化するための方法であって、
    前記画像の選択された部分の小さい区分のセットのパレットテーブルに対して選択されたパレット色を前記画像の前記部分の大きい区分のための候補色として再帰的に使用することによって、前記画像の前記部分に対する区分階層の複数の区分の各々に対してパレットテーブルを生成することと、
    前記画像の前記部分について生成された複数のパレットテーブルから選択されたパレットテーブルに基づいて、前記画像の前記部分についてのカラーインデックスマップを生成することと、
    前記選択されたパレットテーブル及び前記カラーインデックスマップを使用して前記画像の前記部分の表現を符号化して、前記ソースデバイスが出力する符号化ビットストリームの対応するセグメントを生成することと、を含む、
    方法。
15. 前記画像の前記部分の最小区分のパレットテーブルを生成することは、
    前記最小区分のピクセルについてビニングされたピクセル色の発生頻度を表す第１のヒストグラムを生成することと、
    前記第１のヒストグラムに基づいて、指定された数のパレットまで前記パレットテーブルにインデックス付けするために選択することと、を含む、
    請求項１４の方法。
16. 前記最小区分以外の前記部分の区分のパレットテーブルを生成することは、
    関連する次に小さい区分の各パレットテーブルのパレット色を、候補ピクセル色のセットにグループ化することと、
    ビニングされた候補ピクセル色の発生頻度を表す第２のヒストグラムを生成することと、
    前記第２のヒストグラムに基づいて、前記指定された数のパレット色まで前記パレットテーブルにインデックス付けするために選択することと、を含む、
    請求項１５の方法。
17. 前記選択されたパレットテーブルは、
    各候補パレットテーブルについて、前記候補パレットテーブルを使用して前記画像の前記部分を符号化するための対応するレート歪みコストを決定することと、
    対応するレート歪みコストが最も低い前記候補パレットテーブルを前記選択されたパレットテーブルとして選択することと、
    によって選択される、
    請求項１４～１６の何れかの方法。
18. 前記画像の前記部分は、コーディングツリーユニットのコーディングユニットである、
    請求項１４～１７の何れかの方法。
19. スクリーンコンテンツを含む画像を符号化するためのデバイスであって、
    パレットモードエンコーダを備え、
    前記パレットモードエンコーダは、
    前記画像の選択された部分の小さい区分のセットのパレットテーブルに対して選択されたパレット色を前記画像の前記部分の大きい区分のための候補色として再帰的に使用することによって、前記画像の前記部分に対する区分階層の複数の区分の各々に対してパレットテーブルを生成することと、
    前記画像の前記部分について生成された複数のパレットテーブルから選択されたパレットテーブルに基づいて、前記画像の前記部分についてのカラーインデックスマップを生成することと、
    前記選択されたパレットテーブル及び前記カラーインデックスマップを使用して前記画像の前記部分の表現を符号化して、前記デバイスが出力する符号化ビットストリームの対応するセグメントを生成することと、
    を行うように構成されている、
    デバイス。
20. 前記パレットモードエンコーダは、
    前記最小区分のピクセルについてビニングされたピクセル色の発生頻度を表す第１のヒストグラムを生成することと、
    前記第１のヒストグラムに基づいて、指定された数のパレット色まで前記パレットテーブルにインデックス付けするために選択することと、
    によって、前記画像の前記部分の最小区分のパレットテーブルを生成するように構成されている、
    請求項１９のデバイス。
21. 前記パレットモードエンコーダは、
    関連する次に小さい区分の各パレットテーブルのパレット色を、候補ピクセル色のセットにグループ化することと、
    ビニングされた候補ピクセル色の発生頻度を表す第２のヒストグラムを生成することと、
    前記第２のヒストグラムに基づいて、前記指定された数のパレットまで前記パレットテーブルにインデックス付けするために選択することと、
    によって、前記最小区分以外の前記部分の区分のパレットテーブルを生成するように構成されている、
    請求項２０のデバイス。
22. 前記パレットモードエンコーダは、
    各候補パレットテーブルについて、前記候補パレットテーブルを使用して前記画像の前記部分を符号化するための対応するレート歪みコストを決定することと、
    対応するレート歪みコストが最も低い前記候補パレットテーブルを前記選択されたパレットテーブルとして選択することと、
    によって、前記選択されたパレットテーブルを選択するように構成されている、
    請求項１９～２１の何れかのデバイス。
23. 前記パレットモードエンコーダは、少なくとも１つのプロセッサと、前記少なくとも１つのプロセッサによって実行可能な命令のセットを記憶するためのメモリと、を備える、
    請求項１９～２２の何れかのデバイス。

Images