JP7441314B2 - ビデオサンプルのブロックを符号化および復号するための方法、装置、およびシステム - Google Patents

Description

関連出願への参照
本出願は２０２０年３月１０日に出願されたオーストラリア特許出願第２０２０２０１７５３号の出願日の３５ Ｕ．Ｓ．Ｃ§１１９に基づく利益を主張し、その全体があたかも本明細書に完全に記載されているかのように、参照により本明細書に組み込まれる。

本発明は一般に、デジタルビデオ信号処理に関し、特に、ビデオサンプルのブロックを符号化及び復号するための方法、装置及びシステムに関する。本発明はまた、ビデオサンプルのブロックを符号化および復号するためのコンピュータプログラムが記録されたコンピュータ可読媒体を含むコンピュータプログラム製品に関する。

ビデオデータの送信及び記憶のためのアプリケーションを含む、ビデオ符号化のための多くのアプリケーションが現在存在する。多くのビデオ符号化規格も開発されており、他の規格も現在開発中である。ビデオ符号化標準化における最近の開発は、「Joint Video Experts Team」（JVET）と呼ばれるグループの形成をもたらした。Joint Video Experts Team（JVET）は、「Video Coding Experts Group」(VCEG)としても知られる国際電気通信連合（ＩＴＵ）の電気通信標準化セクタ（ＩＴＵ－Ｔ）のStudy Group 16、Question 6(SG16／Q6)のメンバー、および「Moving Picture Experts group」（MPEG）としても知られる国際標準化機構／国際電気技術委員会合同技術委員会１／小委員会２９／作業グループ１１(ISO／IEC JTC１／ＳＣ２９／ＷＧ１１）のメンバーを含む。

Joint Video Experts Team（JVET）は、米国サンディエゴで開催された１０回目の会議でレスポンスを分析し、Call for Proposals（CfP）を発行した。提出されたレスポンスは、現在の最新技術のビデオ圧縮規格、すなわち「高効率ビデオ符号化」（ＨＥＶＣ）のものを著しく上回るビデオ圧縮能力を実証した。このアウトパフォーマンスに基づいて、「versatile video coding」（ＶＶＣ）と命名される新しいビデオ圧縮規格を開発するプロジェクトを開始することが決定された。ＶＶＣは特に、ビデオフォーマットが（例えば、より高い解像度およびより高いフレームレートで）能力を増加させ、帯域幅コストが比較的高いＷＡＮ上のサービス配信に対する市場需要の増加に対処することにつれて、絶えずより高い圧縮性能に対する継続的な需要に対処することが予想される。同時に、ＶＶＣは、現代のシリコンプロセスで実施可能でなければならず、達成された性能対実施コスト（例えば、シリコン面積、ＣＰＵプロセッサ負荷、メモリ使用量、および帯域幅に関して）の間の許容可能なトレードオフを提供しなければならない。

ビデオデータは、画像データのフレームのシーケンスを含み、各フレームは、１つまたは複数のカラーチャネルを含む。一般に、１つの一次色チャネル（primary colour channel）と２つの二次色チャネル（secondary colour channels）が必要である。一次色チャネルは一般に「ルマ（luma）」チャネルと呼ばれ、二次色チャネルは一般に「クロマ（chroma）」チャネルと呼ばれる。ビデオデータは典型的にはＲＧＢ（赤－緑－青）色空間で表示されるが、この色空間は３つのそれぞれの要素間に高度の相関を有する。エンコーダまたはデコーダによって見られるビデオデータ表現はしばしば、ＹＣｂＣｒなどの色空間を使用する。ＹＣｂＣｒは、伝達関数に従って「ルマ」にマッピングされた輝度をＹ（一次）チャネルに集中させ、ＣｂおよびＣｒ（二次）チャネルにクロマを集中させる。さらに、ＣｂおよびＣｒチャネルは、「４：２：０クロマフォーマット」として知られる、ルマチャネルと比較してより低いレート、例えば、水平方向に半分および垂直方向に半分で空間的にサンプリング（サブサンプリング）されてもよい。４：２：０クロマフォーマットは、インターネットビデオストリーミング、ブロードキャストテレビジョン、Blu-Ray^TMディスクへの保存など、「コンシューマ」アプリケーションで一般的に使用される。水平方向に半分のレートでＣｂおよびＣｒチャネルをサブサンプリングし、垂直方向にサブサンプリングしないことは、「４：２：２クロマフォーマット」として知られている。４：２：２クロマフォーマットは、典型的には映画制作などのための映像のキャプチャを含むプロフェッショナルアプリケーションにおいて使用される。４：２：２クロマフォーマットのより高いサンプリングレートは、結果として得られるビデオを、カラーグレーディングなどの編集動作に対してより弾力的にする。コンシューマに配布する前に、４：２：２クロマフォーマットマテリアルはしばしば、４：２：０クロマフォーマットに変換され、次いで、コンシューマに配布するために符号化される。クロマフォーマットに加えて、ビデオは、解像度およびフレームレートによっても特徴付けられる。例の解像度は３８４０ｘ２１６０の解像度の超高精細度（ＵＨＤ）、または７６８０ｘ４３２０の解像度の「８Ｋ」で、例のフレームレートは６０または１２０Ｈｚである。ルマサンプルレートは、約５００メガサンプル／秒から数ギガサンプル／秒の範囲であってもよい。４：２：０クロマフォーマットの場合、各クロマチャネルのサンプルレートは、ルマサンプルレートの４分の１であり、４：２：２クロマフォーマットの場合、各クロマチャネルのサンプルレートは、ルマサンプルレートの半分である。

ＶＶＣ規格は、「ブロックベース」コーデックであり、フレームは最初に、「コーディングツリーユニット」（ＣＴＵ）として知られる領域の正方形アレイに分割される。ＣＴＵは一般に、１２８×１２８ルマサンプルなどの比較的大きな面積を占有する。しかしながら、各フレームの右端および下端のＣＴＵは、面積がより小さくてもよい。各ＣＴＵには、ルマチャネルのための「コーディングツリー」と、クロマチャネルのための追加のコーディングツリーとが関連付けられている。コーディングツリーは、ＣＴＵの領域を「コーディングブロック」（ＣＢ）とも呼ばれる一連のブロックに分解することを定義する。単一のコーディングツリーがルマチャネルおよびクロマチャネルの両方のためのブロックを指定することも可能であり、その場合、並置されたコーディングブロックの集合は「コーディングユニット」（ＣＵ）と呼ばれ、すなわち、各ＣＵは、各色チャネルについてコーディングブロックを有する。ＣＢは、特定の順序で符号化または復号するために処理される。４：２：０クロマフォーマットの使用の結果として、１２８×１２８ルマサンプル領域のためのルマコーディングツリーを有するＣＴＵは、１２８×１２８ルマサンプル領域と一緒に配置された６４×６４クロマサンプル領域のための対応するクロマコーディングツリーを有する。単一のコーディングツリーがルマチャネルおよびクロマチャネルのために使用されているとき、所与のエリアのためのコロケートされたブロックの集合は一般に、「ユニット」、例えば、上述のＣＵ、ならびに「予測ユニット」（ＰＵ）、および「変換ユニット」（ＴＵ）と呼ばれる。所与のエリアに対して別個のコーディングツリーが使用される場合、上述のＣＢ、ならびに「予測ブロック」（ＰＢ）、および「変換ブロック」（ＴＢ）が使用される。

「ユニット」と「ブロック」との間の上記の区別にもかかわらず、用語「ブロック」は、すべてのカラーチャネルに動作が適用されるフレームのエリアまたは領域に対する一般的な用語として使用されてもよい。

各ＣＵに対して、フレームデータの対応する領域の内容（サンプル値）の予測ユニット（ＰＵ）が生成される（「予測ユニット」）。ＰＵが以前にシグナリングされたフレーム内のサンプル値から生成される場合、予測は、インター予測と呼ばれる。ＰＵが同じフレーム内の以前のサンプルから生成される場合、予測はイントラ予測と呼ばれる。さらに、予測とエンコーダへの入力で見られる領域の内容との間の差（または空間領域における「残差」）の表現が形成される。各色チャネルの差は、残差係数のブロックとして変換され、符号化され、所与のＣＵのための１つまたは複数のＴＵを形成することができる。残差係数は、残差サンプルを実質的に非相関化する変換係数の最終ブロックを生成するために、離散コサイン変換（ＤＣＴ）、離散サイン変換（ＤＳＴ）、または他の変換などの変換によって変換することができる。実質的な符号化利得は、変換係数を量子化することによって達成され得る。次いで、量子化された変換係数は、後方対角スキャンなどの順序でトラバースされ、各係数はエントロピーエンコーダによって符号化される。エントロピー符号化は、各係数をシンタックス要素で表現することからなり、シンタックス要素の各々は２値化される。２値化されたシンタックス要素はその後、コンテキスト適応バイナリ算術符号器（ＣＡＢＡＣ）によってさらに符号化されるか、またはビットストリームに渡される（「バイパス符号化」）。

スクリーンコンテンツなどのビデオコンテンツのいくつかのクラスでは、変換を実行することを回避することが有利であり得る。変換が回避されるべきである場合、残差係数は量子化され、トラバースされ、符号化される。残差係数の統計量は変換係数の統計量と同じではないため、変換係数の符号化処理とは異なる処理を使用して符号化される残差係数には一般に有利である。残差係数を符号化するために使用される典型的な方法は、「正規残差符号化」（ＲＲＣ）プロセスおよび「変換スキップ残差符号化」（ＴＳＲＣ）プロセスを含み、プロセスのうちの特定の１つは、変換が実行されたかどうかに応じてブロックのために選択される。

ユースケースによっては、ビデオデータをロスレスに（つまり、符号化ロスなしに）圧縮することが望まれる場合がある。ＣＵは、変換ステップおよび量子化ステップの両方をスキップすることによって、可逆で符号化され得る。ＴＳＲＣプロセスでは、量子化が「量子化パラメータ」を、量子化を示していない値に設定することによって回避することができる。しかしながら、上述したように、ＴＳＲＣプロセスは、スクリーンコンテンツなどのビデオコンテンツのクラスにのみ適している。したがって、ＴＳＲＣプロセスを使用するようにビデオデータの可逆符号化を強制することは、最適ではない。可逆符号化には、符号化されるビデオデータの統計量に従って、より柔軟なオプションが利用可能であることが望ましく、一方で、追加の柔軟性をサポートするために必要な追加ロジックの量を最小限に抑えることが望ましい。

本発明の目的は、既存の構成の１つまたは複数の欠点を実質的に克服するか、または少なくとも改善することである。

本発明の一態様は、ビデオビットストリームから変換ブロックの残差係数のサブブロックを復号する方法を提供し、方法は、サブブロックのために符号ビットハイディング（sign bit hiding）が使用されるかどうかを判断することと、該判断は、サブブロックのために判断された変換スキップフラグの値と、サブブロックに関連する符号ビットハイディングフラグの値と、に基づいており、符号ビットハイディングが使用されない場合、サブブロック内の有意係数の数に等しい数の符号ビットを復号することと、復号された符号ビットを使用してサブブロックの残差係数を再構成することによってサブブロックを復号することと、を含む。

別の態様によれば、符号ビットハイディングフラグがＴＲＵＥの値を有し、変換スキップフラグがＦＡＬＳＥの値を有し、サブブロックの最初の有意位置と最後の有意位置との間の差が３より大きい場合には、符号ビットハイディングが使用される。

別の態様によれば、符号ビットハイディングフラグがＴＲＵＥの値を有し、変換スキップフラグがＴＲＵＥの値を有する場合、符号ビットハイディングは使用されない。

別の態様によれば、本方法はさらに、符号ビットハイディングが使用されると判断された場合、サブブロック内の有効係数の数から１を引いたものに等しい数の符号ビットを復号することと、サブブロックの有効係数のパリティの合計から追加の符号ビットを判断することと、を備える。

本発明の別の態様は、ビデオビットストリームから変換ブロックの残差係数のサブブロックを復号する方法を提供し、方法は、符号ビットハイディングがサブブロックのために使用されるかどうかを判断することと、該判断は符号ビットハイディングフラグの値およびサブブロックに関連する量子化パラメータの値に基づいており、符号ビットハイディングが使用されない場合、サブブロック内の有意係数の数に等しい数の符号ビットを復号することと、復号された符号ビットを使用してサブブロックの残差係数を再構成することによってサブブロックを復号することと、を含む。

別の態様によれば、符号ビットハイディングフラグがＴＲＵＥの値を有し、量子化パラメータが４に等しい場合、符号ビットハイディングは使用されない。

別の態様によれば、符号ビットハイディングフラグがＴＲＵＥの値を有し、量子化パラメータは４に等しくなく、サブブロックの最初の有意位置と最後の有意位置との間の差が３より大きい場合、符号ビットハイディングが使用される。

本発明の別の態様は、ビデオビットストリームから変換ブロックの残差係数のサブブロックを復号する方法を提供し、方法は、符号ビットハイディングがサブブロックのために使用されるかどうかを判断することと、該判断は符号ビットハイディングフラグの値およびＴＳＲＣ無効フラグの値に基づいており、符号ビットハイディングが使用されない場合、サブブロック内の有意係数の数に等しい数の符号ビットを復号することと、復号された符号ビットを使用してサブブロックの残差係数を再構成することによってサブブロックを復号することと、を含む。

別の態様によれば、符号ビットハイディングフラグがＴＲＵＥの値を有し、ＴＳＲＣ無効フラグがＦＡＬＳＥの値を有し、サブブロックの最初の有意位置と最後の有意位置との間の差が３より大きい場合に、符号ビットハイディングが使用される。

別の態様によれば、符号ビットハイディングフラグはＴＲＵＥの値を有し、ＴＳＲＣ無効フラグはＴＲＵＥの値を有する。

本発明の別の態様は、ビデオビットストリームから変換ブロックの残差係数のサブブロックを復号する方法を実施するために、コンピュータプログラムが格納された非一時的なコンピュータ可読媒体を提供し、方法は、サブブロックのために符号ビットハイディングが使用されるかどうかを判断することと、該判断はサブブロックのために判断された変換スキップフラグの値と、サブブロックに関連する符号ビットハイディングフラグの値と、に基づいており、符号ビットハイディングが使用されない場合、サブブロック内の有意係数の数に等しい数の符号ビットを復号することと、復号された符号ビットを使用してサブブロックの残差係数を再構成することによってサブブロックを復号することと、を含む。

本発明の別の態様は、メモリとプロセッサとを有するシステムを提供し、プロセッサは、ビデオビットストリームからの変換ブロックの残差係数のサブブロックを復号する方法を実行するために、メモリに格納されたコードを実行するように構成され、方法は、サブブロックに対して符号ビットハイディングが使用されているかどうかを判断することと、該判断は、サブブロックに対して判断された変換スキップフラグの値と、サブブロックに関連付けられた符号ビットハイディングフラグの値と、に基づいており、符号ビットハイディングが使用されていない場合、サブブロック内の有効係数の数に等しい数の符号ビットを復号することと、復号された符号ビットを使用してサブブロックの残差係数を再構成することによってサブブロックを復号することと、を含む。

本発明の別の態様は、ビデオビットストリームから変換ブロックの残差係数のサブブロックを受信し、サブブロックのために符号ビットハイディングが使用されるか否かを判断し、該判断は、サブブロックについて判断された変換スキップフラグの値と、サブブロックに関連する符号ビットハイディングフラグの値と、に基づいており、符号ビットハイディングが使用されない場合、サブブロック内の有意係数の数に等しい数の符号ビットを復号し、復号された符号ビットを使用してサブブロックの残差係数を再構成することによって、サブブロックを復号する、ように構成されたビデオデコーダを提供する。

他の態様も記載される。

本発明の少なくとも１つの実施形態を、以下の図面および付録を参照して説明する。
図１は、ビデオ符号化及び復号システムを示す概略ブロック図である。 図２Ａは、図１のビデオ符号化および復号システムの一方または両方を実施することができる汎用コンピュータシステムの概略ブロック図を形成する。 図２Ｂは、図１のビデオ符号化および復号システムの一方または両方を実施することができる汎用コンピュータシステムの概略ブロック図を形成する。 図３は、ビデオエンコーダの機能モジュールを示す概略ブロック図である。 図４は、ビデオデコーダの機能モジュールを示す概略ブロック図である。 図５は、汎用ビデオ符号化のツリー構造における１つ以上のブロックへのブロックの利用可能な分割を示す概略ブロック図である。 図６は、汎用ビデオ符号化のツリー構造における１つ以上のブロックへのブロックの容認された分割を達成するためのデータフローの概略図である。 図７Ａは、いくつかのコーディングユニット（ＣＵ）へのコーディングツリーユニット（ＣＴＵ）の分割例を示す。 図７Ｂは、いくつかのコーディングユニット（ＣＵ）へのコーディングツリーユニット（ＣＴＵ）の分割例を示す。 図８Ａは、２レベル後方対角スキャンを示す。 図８Ｂは、２レベル前方対角スキャンを示す。 図９は、残差係数の変換ブロックを符号化する方法を示す。 図１０は、残差係数の変換ブロックを復号する方法を示す。 図１１は、図９の方法によって実行される、残差係数の変換ブロックを量子化するための方法を示す。 図１２は、図１０の方法によって実行される、量子化された係数の変換ブロックをスケーリングするための方法を示す。 図１３は、図９の方法によって実行される、量子化された係数のサブブロックを符号化する方法を示す。 図１４は、図１０の方法によって実行される、量子化された係数のサブブロックを復号する方法を示す。

添付の図面の１以上において、同一の参照符号を有するステップ及び／又は特徴を参照する場合、それらのステップ及び／又は特徴は本明細書の目的のために、反対の意図が現れない限り、同一の機能又は動作を有する。

上述のように、可逆符号化は、コーデックの既存のビルディングブロックでサポートされることが望ましい場合がある。しかしながら、可逆の方法で符号化されたビデオデータの多様なクラスはＴＳＲＣ処理が設計された統計的特性を示すことを保証できないので、可逆符号化のためにＴＳＲＣ処理を排他的に使用することは次善の符号化性能を生成することができる。したがって、可逆符号化が使用できる高レベルのビルディングブロックの選択におけるより大きな柔軟性は、全体的な設計に対する最小の追加の複雑さで、優れた符号化性能を可能にする。

図１は、ビデオ符号化及び復号システム１００の機能モジュールを示す概略ブロック図である。システム１００は、ソースデバイス１１０と宛先デバイス１３０とを含む。通信チャネル１２０は、符号化されたビデオ情報をソースデバイス１１０から宛先デバイス１３０に通信するために使用される。いくつかの構成では、ソースデバイス１１０および宛先デバイス１３０がそれぞれの携帯電話ハンドセットまたは「スマートフォン」のいずれかまたは両方を備えることができ、その場合、通信チャネル１２０はワイヤレスチャネルである。他の構成では、ソースデバイス１１０および宛先デバイス１３０がビデオ会議機器を備えることができ、その場合、通信チャネル１２０は通常、インターネット接続などの有線チャネルである。さらに、ソースデバイス１１０および宛先デバイス１３０は、無線テレビ放送、ケーブルテレビアプリケーション、インターネットビデオアプリケーション（ストリーミングを含む）、およびファイルサーバ内のハードディスクドライブなどの何らかのコンピュータ可読記憶媒体上に符号化ビデオデータが取り込まれるアプリケーションをサポートする装置を含む、広範囲の装置のうちの任意のものを備えることができる。

図１に示すように、ソースデバイス１１０は、ビデオソース１１２と、ビデオエンコーダ１１４と、送信機１１６と、を含む。ビデオソース１１２は、典型的には撮像センサ等の、撮像されたビデオフレームデータ（１１３として示されている）のソース、非一時的記録媒体上に格納された前に撮像されたビデオシーケンス、又はリモート撮像センサから供給されたビデオ、を有する。ビデオソース１１２はまた、コンピュータグラフィックスカードの出力であってもよく、例えば、タブレットコンピュータなどのコンピューティングデバイスで実行されているオペレーティングシステムとさまざまなアプリケーションのビデオ出力を表示する。ビデオソース１１２として撮像センサを含み得るソースデバイス１１０の例は、スマートフォン、ビデオカメラ、業務用ビデオカメラ、およびネットワークビデオカメラを含む。

ビデオエンコーダ１１４は、図３を参照してさらに説明されるように、ビデオソース１１２からの撮像されたフレームデータ（矢印１１３によって示される）をビットストリーム（矢印１１５によって示される）に変換（または「符号化」）する。ビットストリーム１１５は、符号化されたビデオデータ（または「符号化されたビデオ情報」）として通信チャネル１２０を介して送信機１１６によって送信される。ビットストリーム１１５は後に通信チャネル１２０を介して送信されるまで、または通信チャネル１２０を介した送信の代わりに、「フラッシュ」メモリまたはハードディスクドライブなどの非一時的の記憶装置１２２に記憶されることも可能である。

宛先デバイス１３０は、受信機１３２と、ビデオデコーダ１３４と、表示デバイス１３６と、を含む。受信機１３２は、通信チャネル１２０から符号化されたビデオデータを受信し、受信されたビデオデータをビットストリームとしてビデオデコーダ１３４に渡す（矢印１３３によって示される）。そして、ビデオデコーダ１３４は、復号されたフレームデータを表示デバイス１３６に出力し（矢印１３５で示す）、ビデオデータを再生する。復号されたフレームデータ１３５は、フレームデータ１１３と同じクロマフォーマットを有する。表示デバイス１３６の例には、陰極線管、スマートフォン、タブレットコンピュータ、コンピュータモニタ、またはスタンドアロンテレビセットなどの液晶ディスプレイが含まれる。また、ソースデバイス１１０および宛先デバイス１３０の各々の機能性が単一の装置で実現されることも可能であり、その例は、携帯電話ハンドセットおよびタブレットコンピュータを含む。

上記の例示的なデバイスにもかかわらず、ソースデバイス１１０および宛先デバイス１３０のそれぞれは、典型的にはハードウェアおよびソフトウェア構成要素の組合せを介して、汎用コンピューティングシステム内で構成され得る。図２Ａは、コンピュータモジュール２０１と、キーボード２０２、マウスポインタデバイス２０３、スキャナ２２６、ビデオソース１１２として構成することができるカメラ２２７、およびマイクロフォン２８０などの入力デバイスと、プリンタ２１５、表示デバイス１３６として構成することができるディスプレイデバイス２１４、およびスピーカ２１７を含む出力デバイスと、を含む、そのようなコンピュータシステム２００を示す。外部変復調器（モデム）トランシーバデバイス２１６は、接続２２１を介して通信ネットワーク２２０との間で通信するためにコンピュータモジュール２０１によって使用され得る。通信チャネル１２０を表すことができる通信ネットワーク２２０は、インターネット、セルラ電気通信ネットワーク、またはプライベートＷＡＮなどの広域ネットワーク（ＷＡＮ）であってもよい。接続２２１が電話回線である場合、モデム２１６は従来の「ダイヤルアップ」モデムであってもよい。あるいは接続２２１が大容量（例えば、ケーブルまたは光）接続である場合、モデム２１６はブロードバンドモデムであってもよい。無線モデムはまた、通信ネットワーク２２０への無線接続のために使用されてもよい。トランシーバ装置２１６は、送信機１１６及び受信機１３２の機能性を提供することができ、通信チャネル１２０は、接続２２１内に具現化することができる。

コンピュータモジュール２０１は、典型的には少なくとも１つのプロセッサユニット２０５と、メモリユニット２０６と、を含む。例えば、メモリユニット２０６は、半導体ランダムアクセスメモリ（ＲＡＭ）及び半導体リードオンリーメモリ（ＲＯＭ）を有することができる。コンピュータモジュール２０１はまた、ビデオディスプレイ２１４、スピーカ２１７、およびマイクロフォン２８０に結合するオーディオビデオインターフェース２０７、キーボード２０２、マウス２０３、スキャナ２２６、カメラ２２７、およびオプションとしてジョイスティックまたは他のヒューマンインターフェースデバイス（図示せず）に結合するＩ／Ｏインターフェース２１３、ならびに外部モデム２１６およびプリンタ２１５のためのインターフェース２０８を含む、いくつかの入出力（Ｉ／Ｏ）インターフェースを含む。オーディオビデオインターフェース２０７からコンピュータモニタ２１４への信号は一般に、コンピュータグラフィックスカードの出力である。いくつかの実装では、モデム２１６が、例えばインターフェース２０８内のコンピュータモジュール２０１内に組み込まれてもよい。コンピュータモジュール２０１はまた、ローカルネットワークインターフェース２１１を有し、これは、接続２２３を介して、ローカルエリアネットワーク（ＬＡＮ）として知られるローカルエリア通信ネットワーク２２２への、コンピュータシステム２００の結合を可能にする。図２Ａに示すように、ローカル通信ネットワーク２２２はまた、典型的には、いわゆる「ファイアウォール」デバイスまたは同様の機能のデバイスを含む、接続２２４を介してワイドネットワーク２２０に結合することもできる。ローカルネットワークインターフェース２１１は、イーサネット^TM回路カード、ブルートゥース^TMワイヤレス構成又はＩＥＥＥ８０２．１１ワイヤレス構成を含むことができるが、インターフェース２１１のために多くの他のタイプのインターフェースが実施されてもよい。ローカルネットワークインターフェース２１１は、また、送信機１１６の機能を提供することができ、受信機１３２および通信チャネル１２０はまた、ローカル通信ネットワーク２２２において具現化することができる。

Ｉ／Ｏインターフェース２０８および２１３は、シリアルコネクティビティおよびパラレルコネクティビティのいずれかまたは両方を提供することができ、前者は、典型的にはユニバーサルシリアルバス（ＵＳＢ）規格に従って実施され、対応するＵＳＢコネクタ（図示せず）を有する。記憶デバイス２０９が提供され、典型的にはハードディスクドライブ（ＨＤＤ）２１０を含む。フロッピーディスクドライブおよび磁気テープドライブ（図示せず）などの他の記憶デバイスも使用することができる。光ディスクドライブ２１２は、典型的にはデータの不揮発性ソースとして機能するために設けられる。光ディスク（例えば、ＣＤ－ＲＯＭ、ＤＶＤ、Ｂｌｕ ｒａｙ Ｄｉｓｃ^TM）、ＵＳＢ－ＲＡＭ、ポータブル、外部ハードドライブ、およびフロッピーディスクなどのポータブルメモリデバイスは、たとえば、コンピュータシステム２００に対するデータの適切なソースとして使用することができる。典型的には、ＨＤＤ２１０、光ドライブ２１２、ネットワーク２２０及び２２２のいずれかはビデオソース１１２として、又はディスプレイ２１４を介して再生するために記憶されるべき復号されたビデオデータのための宛先として動作するように構成されてもよい。システム１００のソースデバイス１１０および宛先デバイス１３０は、コンピュータシステム２００において具現化されてもよい。

コンピュータモジュール２０１の構成要素２０５～２１３は、典型的には相互接続バス２０４を介して、当業者に知られているコンピュータシステム２００の従来の動作モードをもたらす方法で通信する。例えば、プロセッサ２０５は、接続２１８を用いてシステムバス２０４に結合される。同様に、メモリ２０６および光ディスクドライブ２１２は、接続２１９によってシステムバス２０４に結合される。上記の構成が実行可能なコンピュータの例には、ＩＢＭ－ＰＣおよび互換機、Ｓｕｎ ＳＰＡＲＣステーション、Ａｐｐｌｅ Ｍａｃ^TMまたは同様のコンピュータシステムが含まれる。

適切または必要な場合、ビデオエンコーダ１１４およびビデオデコーダ１３４、ならびに以下で説明する方法は、コンピュータシステム２００を使用して実施することができる。具体的には、ビデオエンコーダ１１４、ビデオデコーダ１３４、および説明される方法は、コンピュータシステム２００内で実行可能な１つまたは複数のソフトウェアアプリケーションプログラム２３３として実施することができる。具体的には、ビデオエンコーダ１１４、ビデオデコーダ１３４、および説明する方法のステップは、コンピュータシステム２００内で実行されるソフトウェア２３３内の命令２３１（図２Ｂ参照）によって実行される。ソフトウェア命令２３１は、それぞれが１つ以上の特定のタスクを実行するための１つ以上のコードモジュールとして形成されてもよい。ソフトウェアはまた、２つの別個の部分に分割されてもよく、その場合、第１の部分と対応するコードモジュールは説明される方法を実行し、第２の部分と対応するコードモジュールは、第１の部分とユーザとの間のユーザインターフェースを管理する。

ソフトウェアは例えば、以下に説明する記憶デバイスを含むコンピュータ可読媒体に格納することができる。ソフトウェアは、コンピュータ可読媒体からコンピュータシステム２００にロードされ、その後、コンピュータシステム２００によって実行される。このようなソフトウェア又はコンピュータ可読媒体に記録されたコンピュータプログラムを有するコンピュータ可読媒体は、コンピュータプログラム製品である。コンピュータシステム２００におけるコンピュータプログラム製品の使用は、ビデオエンコーダ１１４、ビデオデコーダ１３４、および説明される方法を実施するための有利な装置をもたらすことが好ましい。

ソフトウェア２３３は、典型的にはＨＤＤ２１０またはメモリ２０６に格納される。ソフトウェアは、コンピュータ可読媒体からコンピュータシステム２００にロードされ、コンピュータシステム２００によって実行される。したがって、例えば、ソフトウェア２３３は、光ディスクドライブ２１２によって読み取られる光学的に読み取り可能なディスク記憶媒体（例えば、ＣＤ－ＲＯＭ）２２５に格納することができる。

場合によっては、アプリケーションプログラム２３３が１つ以上のＣＤ－ＲＯＭ２２５上で符号化されてユーザに供給され、対応するドライブ２１２を介して読み出されてもよく、あるいは代替的には、ネットワーク２２０または２２２からユーザによって読み出されてもよい。さらに、ソフトウェアは、他のコンピュータ可読媒体からコンピュータシステム２００にロードすることもできる。コンピュータ可読記憶媒体は、実行および／または処理のために記録された命令および／またはデータをコンピュータシステム２００に提供する任意の非一時的な有形の記憶媒体を指す。このような記憶媒体の例は、フロッピーディスク、磁気テープ、ＣＤ－ＲＯＭ、ＤＶＤ、Blu-ray Disc^TM、ハードディスクドライブ、ＲＯＭまたは集積回路、ＵＳＢメモリ、光磁気ディスク、またはＰＣＭＣＩＡカードなどのコンピュータ可読カード、などを含み、そのようなデバイスがコンピュータモジュール２０１の内部または外部であるか否かは問わない。コンピュータモジュール４０１へのソフトウェア、アプリケーションプログラム、命令および／またはビデオデータまたは符号化されたビデオデータの提供にも参加し得る一時的なまたは非有形のコンピュータ可読伝送媒体の例は、無線または赤外線伝送チャネル、ならびに別のコンピュータまたはネットワーク接続されたデバイスへのネットワーク接続、ならびにウェブサイトなどに記録された電子メール伝送および情報を含むインターネットまたはイントラネットを含む。

アプリケーションプログラム２３３の第２の部分および上記の対応するコードモジュールは、ディスプレイ２１４上でレンダリングされるかまたは他の方法で表される１つ以上のグラフィカルユーザインタフェース（ＧＵＩ）を実装するために実行されてもよい。典型的にはキーボード２０２およびマウス２０３の操作を通して、アプリケーションおよびコンピュータシステム２００のユーザは機能的に適応可能な方法でインターフェースを操作し、ＧＵＩに関連するアプリケーションに制御コマンドおよび／または入力を提供することができる。スピーカ２１７を介して出力されるスピーチプロンプトおよびマイクロフォン２８０を介して入力されるユーザ音声コマンドを利用するオーディオインターフェースなど、他の形態の機能的に適応可能なユーザインターフェースを実装することもできる。

図２Ｂは、プロセッサ２０５および「メモリ」２３４の詳細な概略ブロック図である。メモリ２３４は、図２Ａのコンピュータモジュール２０１がアクセス可能な全てのメモリモジュール（ＨＤＤ２０９及び半導体メモリ２０６を含む）の論理集合体を表す。

最初にコンピュータモジュール２０１の電源が入ると、パワーオン自己テスト（ＰＯＳＴ）プログラム２５０が実行される。ＰＯＳＴプログラム２５０は、典型的には図２Ａの半導体メモリ２０６のＲＯＭ２４９に格納される。ソフトウェアを格納するＲＯＭ２４９などのハードウェアデバイスは、ファームウェアと呼ばれることもある。ＰＯＳＴプログラム２５０は、コンピュータモジュール２０１内のハードウェアを検査して、適切に機能することを確認し、通常、正しい動作のために、プロセッサ２０５、メモリ２３４（２０９、２０６）、および通常はＲＯＭ２４９にも格納される基本入出力システムソフトウェア（ＢＩＯＳ）モジュール２５１をチェックする。ＰＯＳＴプログラム２５０が正常に実行されると、ＢＩＯＳ２５１は、図２Ａのハードディスクドライブ２１０を起動する。ハードディスクドライブ２１０を起動すると、ハードディスクドライブ２１０上に常駐するブートストラップローダプログラム２５２がプロセッサ２０５を介して実行される。これにより、オペレーティングシステム２５３がＲＡＭメモリ２０６にロードされ、その上でオペレーティングシステム２５３が動作を開始する。オペレーティングシステム２５３は、プロセッサ２０５によって実行可能なシステムレベルアプリケーションであり、プロセッサ管理、メモリ管理、デバイス管理、ストレージ管理、ソフトウェアアプリケーションインタフェース、および汎用ユーザインタフェースを含む様々な高レベルの機能を満たす。

オペレーティングシステム２５３は、メモリ２３４（２０９、２０６）を管理して、コンピュータモジュール２０１上で実行される各プロセスまたはアプリケーションが別のプロセスに割り当てられたメモリと衝突することなく実行するのに十分なメモリを有することを保証する。さらに、図２Ａのコンピュータシステム２００で利用可能な異なるタイプのメモリは、各プロセスが効果的に実行できるように、適切に使用されなければならない。したがって、集約メモリ２３４は、メモリの特定のセグメントが（特に明記されていない限り）どのように割り当てられるかを示すことを意図するものではなく、むしろ、コンピュータシステム２００によってアクセス可能なメモリの一般的なビューと、そのようなセグメントがどのように使用されるかを提供することを意図するものである。

図２Ｂに示すように、プロセッサ２０５は、制御部２３９、演算論理ユニット（ＡＬＵ）２４０、時にはキャッシュメモリと呼ばれるローカルまたは内部メモリ２４８、を含む多数の機能モジュールを含む。キャッシュメモリ２４８は、典型的にはレジスタセクション内に多数の記憶レジスタ２４４～２４６を含む。１つ以上の内部バス２４１は、これらの機能モジュールを機能的に相互接続する。プロセッサ２０５はまた、典型的には、接続２１８を使用して、システムバス２０４を介して外部デバイスと通信するための１つ以上のインターフェース２４２を有する。メモリ２３４は、接続２１９を使用してバス２０４に結合される。

アプリケーションプログラム２３３は、条件分岐およびループ命令を含み得る命令のシーケンス２３１を含む。プログラム２３３はまた、プログラム２３３の実行に使用されるデータ２３２を含んでもよい。命令２３１およびデータ２３２は、それぞれメモリ位置２２８、２２９、２３０および２３５、２３６、２３７に格納される。命令２３１とメモリ位置２２８～２３０の相対的なサイズに応じて、メモリ位置２３０に示される命令によって示されるように、特定の命令を単一のメモリ位置に格納することができる。あるいは、命令がメモリ位置２２８および２２９に示される命令セグメントによって示されるように、各々が別個のメモリ位置に格納されるいくつかの部分にセグメント化されてもよい。

一般に、プロセッサ２０５には、その中で実行される命令のセットが与えられる。プロセッサ２０５は後続の入力を待ち、この入力に対してプロセッサ２０５は、別の命令セットを実行することによって反応する。各入力は入力デバイス２０２、２０３のうちの１つまたは複数によって生成されたデータ、ネットワーク２２０、２０２のうちの１つを介して外部ソースから受信されたデータ、記憶デバイス２０６、２０９のうちの１つから取り出されたデータ、または対応するリーダ２１２に挿入された記憶媒体２２５から取り出されたデータを含む、いくつかのソースのうちの１つまたは複数から提供することができ、すべて図２Ａに示されている。命令のセットを実行すると、データが出力される場合がある。実行には、データまたは変数をメモリ２３４に格納することも含まれ得る。

ビデオエンコーダ１１４、ビデオデコーダ１３４、および説明される方法は、メモリ２３４内の対応するメモリ位置２５５、２５６、２５７に格納されている入力変数２５４を使用することができる。ビデオエンコーダ１１４、ビデオデコーダ１３４、および説明される方法は、出力変数２６１を生成し、これらは、メモリ２３４内の対応するメモリ位置２６２、２６３、２６４に格納される。中間変数２５８は、メモリ位置２５９、２６０、２６６および２６７に格納され得る。

図２Ｂのプロセッサ２０５を参照すると、レジスタ２４４、２４５、２４６、演算論理ユニット（ＡＬＵ）２４０、および制御部２３９は、プログラム２３３を構成する命令セット内のすべての命令に対して「フェッチ、デコード、および実行」サイクルを実行するのに必要なマイクロオペレーションのシーケンスを実行するために協働する。各フェッチ、デコード、および実行サイクルは
メモリ位置２２８、２２９、２３０から命令２３１をフェッチまたは読出すフェッチ動作
制御部２３９が、どの命令がフェッチされたかを判定するデコード動作
制御部２３９及び／又はＡＬＵ２４０が命令を実行する動作を実行する
を有する。

その後、次の命令のさらなるフェッチ、デコード、および実行サイクルを実行することができる。同様に、制御部２３９がメモリ位置２３２に値を格納または書き込む格納サイクルを実行することができる。

後述する図１９～図１４の方法における各ステップまたはサブプロセスは、プログラム２３３の１つまたは複数のセグメントに関連付けられ、典型的にはプロセッサ２０５内のレジスタセクション２４４、２４５、２４７、ＡＬＵ２４０、および制御部２３９が協働して、プログラム２３３の注記されたセグメントに対する命令セット内のすべての命令に対してフェッチ、デコード、および実行サイクルを実行することによって実行される。

図３は、ビデオエンコーダ１１４の機能モジュールを示す概略ブロック図である。図４は、ビデオデコーダ１３４の機能モジュールを示す概略ブロック図である。一般に、データは、固定サイズのサブブロックへのブロックの分割などのサンプルまたは係数のグループで、または配列として、ビデオデコーダ１３４とビデオエンコーダ１１４の機能モジュールの間を通過する。ビデオエンコーダ１１４およびビデオデコーダ１３４は、図２Ａおよび図２Ｂに示すように、汎用コンピュータシステム２００を使用して実施することができ、様々な機能モジュールは、ハードディスクドライブ２０５上に常駐し、プロセッサ２０５によってその実行中に制御されるソフトウェアアプリケーションプログラム２３３の１つ以上のソフトウェアコードモジュールなど、コンピュータシステム２００内で実行可能なソフトウェアによって、コンピュータシステム２００内の専用ハードウェアによって実現することができる。あるいは、ビデオエンコーダ１１４およびビデオデコーダ１３４は、コンピュータシステム２００内で実行可能なソフトウェアおよび専用ハードウェアの組合せによって実装されてもよい。ビデオエンコーダ１１４、ビデオデコーダ１３４、および説明される方法は、代替として、説明される方法の機能またはサブ機能を実行する１つまたは複数の集積回路などの専用ハードウェアで実装され得る。そのような専用ハードウェアは、グラフィック処理ユニット（ＧＰＵ）、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途向け標準製品（ＡＳＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または１つまたは複数のマイクロプロセッサおよび関連するメモリを含むことができる。特に、ビデオエンコーダ１１４は、モジュール３１０～３８６を含み、ビデオデコーダ１３４は、ソフトウェアアプリケーションプログラム２３３の１つ以上のソフトウェアコードモジュールとしてそれぞれ実装され得るモジュール４２０～４９６を含む。

図３のビデオエンコーダ１１４は、汎用ビデオ符号化（ＶＶＣ）ビデオ符号化パイプラインの一例であるが、本明細書で説明する処理ステージを実行するために他のビデオコーデックを使用することもできる。ビデオエンコーダ１１４は、一連のフレームなどの撮像されたフレームデータ１１３を受信し、各フレームは１つ以上のカラーチャネルを含む。フレームデータ１１３はいずれかのクロマフォーマット、例えば、４：０：０、４：２：０、４：２：２、または４：４：４クロマフォーマットであってもよい。ブロックパーティショナ３１０は最初に、フレームデータ１１３をＣＴＵに分割し、ＣＴＵのための特定のサイズが使用されるように構成される、一般に正方形の形状である。ＣＴＵのサイズは例えば、６４×６４、１２８×１２８、または２５６×２５６ルマサンプルとすることができる。ブロックパーティショナ３１０は、ルマコーディングツリー及びクロマコーディングツリーに従って、各ＣＴＵを１つ以上のＣＢにさらに分割する。ＣＢは様々なサイズを有し、正方形および非正方形のアスペクト比の両方を含んでもよい。ＶＶＣ規格では、ＣＢ、ＣＵ、ＰＵ、およびＴＵは常に２の累乗である辺長を有する。したがって、３１２として表される現在のＣＢは、ブロックパーティショナ３１０から出力され、ＣＴＵのクロマコーディングツリーおよびルマコーディングツリーに従って、ＣＴＵの１つまたは複数のブロックにわたる反復に従って進行する。ＣＴＵをＣＢに分割するためのオプションは、図５および図６を参照して以下でさらに説明される。

フレームデータ１１３の最初の分割から得られるＣＴＵは、ラスタスキャン順序でスキャンされ、１つまたは複数の「スライス」にグループ化され得る。スライスは「イントラ」（または「Ｉ」）スライスであってもよい。イントラスライス（Ｉスライス）はスライス内のすべてのＣＵがイントラ予測されることを示す。代替的に、スライスは、片または双予測（それぞれ、「Ｐ」または「Ｂ」スライス）であってもよく、それぞれ、スライスにおける片および双予測のさらなる利用可能性を示す。

各ＣＴＵに対して、ビデオエンコーダ１１４は２つのステージで動作する。第１のステージ（「サーチ」ステージと呼ばれる）では、ブロックパーティショナ３１０がコーディングツリーの様々な潜在的構成をテストする。コーディングツリーの各潜在的構成は、関連する「候補」ＣＢを有する。第１のステージは、低歪で高い圧縮効率を提供するＣＢを選択するために様々な候補ＣＢをテストすることを含む。このテストは一般にラグランジュ最適化を含み、それによって候補ＣＢがレート（符号化コスト）と歪（入力フレームデータ１１３に関する誤差）の重み付けされた組合せに基づいて評価される。「最良の」候補ＣＢ（評価されたレート／歪みが最も低いＣＢ）は、ビットストリーム１１５への後続の符号化のために選択される。候補ＣＢの評価には、所与のエリアに対してＣＢを使用するか、または様々な分割オプションに従ってエリアをさらに分割し、結果として生じるより小さいエリアのそれぞれをさらなるＣＢで符号化するか、またはエリアをさらにさらに分割するオプションが含まれる。その結果、ＣＢとコーディングツリー自体の両方がサーチステージで選択される。

ビデオエンコーダ１１４は、各ＣＢ、例えばＣＢ３１２に対して、矢印３２０によって示される予測ブロック（ＰＢ）を生成する。ＰＢ３２０は、関連するＣＢ３１２のコンテンツの予測である。減算器モジュール３２２は、ＰＢ３２０とＣＢ３１２との間に、３２４（または「残差」、空間領域内にある差分を参照する）として示される差分を生成する。残差３２４は、ＰＢ３２０およびＣＢ３１２における対応するサンプル間のブロックサイズの差分である。残差３２４は、変換され、量子化され、矢印３３６によって示される変換ブロック（ＴＢ）として表される。ＰＢ３２０および関連するＴＢ３３６は典型的には例えば、評価されたコストまたは歪みに基づいて、多くの可能な候補ＣＢのうちの１つから選択される。

候補コーディングブロック（ＣＢ）は、関連するＰＢおよび結果として生じる残差についてビデオエンコーダ１１４に利用可能な予測モードの１つから生じるＣＢである。各候補ＣＢは、１つまたは複数の対応するＴＢをもたらす。ＴＢ３３６は、残差３２４の量子化され変換された表現である。ビデオデコーダ１１４において予測されたＰＢと組み合わされると、ＴＢ３３６は、ビットストリームにおける追加の信号を犠牲にして、復号されたＣＢとオリジナルのＣＢ３１２との間の差分を低減する。

したがって、各候補コーディングブロック（ＣＢ）、すなわち、変換ブロック（ＴＢ）と組み合わせた予測ブロック（ＰＢ）は、関連する符号化コスト（または「レート」）および関連する差分（または「歪み」）を有する。レートは、典型的にはビット単位で測定される。ＣＢの歪みは、典型的には絶対差の和（ＳＡＤ）または二乗差の和（ＳＳＤ）などのサンプル値の差分として推定される。各候補ＰＢから得られる推定は、残差３２４を使用してモードセレクタ３８６によって決定され、予測モード（矢印３８８によって表される）を決定する。各候補予測モードと対応する残差符号化に関連する符号化コストの推定は、残差のエントロピー符号化よりもかなり低いコストで実行できる。従って、レート歪み検知における最適モードを決定するために、多数の候補モードを評価することができる。

レート歪みの観点から最適モードを決定することは、典型的にはラグランジュ最適化の変形を用いて達成される。予測モード３８８の選択は、典型的には特定の予測モードの適用から生じる残差データのための符号化コストを決定することを含む。符号化コストは「絶対変換差の和」（ＳＡＴＤ）を使用することによって近似することができ、それによって、アダマール変換などの比較的単純な変換を使用して、推定された変換残差コストを得る。比較的単純な変換を使用するいくつかの実施形態では、単純化された推定方法から得られるコストがさもなければ完全な評価から決定されるのであろう実際のコストに単調に関係する。単調に関連する推定コストを有する実施形態では、単純化された推定方法を使用して、ビデオエンコーダ１１４の複雑さを低減しながら、同じ決定（すなわち、予測モード）を行うことができる。推定されたコストと実際のコストとの間の関係における可能な非単調性を可能にするために、簡略化された推定方法を使用して、最良の候補のリストを生成することができる。非単調性は例えば、残差データの符号化に利用可能なさらなるモード決定から生じ得る。最良の候補のリストは、任意の数であってもよい。最良の候補を使用して、より完全な探索を実行して、候補のそれぞれについて残差データを符号化するための最適モード選択を確立することができ、他のモード決定と共に予測モード３８８の最終選択を可能にする。

予測モードは大きく二つのカテゴリーに分類される。第１のカテゴリは、「イントラフレーム予測」（「イントラ予測」とも呼ばれる）である。イントラフレーム予測では、ブロックに対する予測が生成され、生成方法は現在のフレームから得られた他のサンプルを使用してもよい。イントラ予測のタイプには、イントラプレーナ、イントラＤＣ、イントラ角度、および行列加重イントラ予測（ＭＩＰ）が含まれる。イントラ予測されたＰＢの場合、異なるイントラ予測モードがルマおよびクロマのために使用されることが可能であり、したがって、イントラ予測は主に、ＰＢ上での動作に関して説明される。さらに、クロマＣＢは、クロス構成要素線形モデル予測によって、同じ場所に配置されたルマサンプルから予測されてもよい。

予測モードの第２のカテゴリは、「インターフレーム予測」（「インター予測」とも呼ばれる）である。インターフレーム予測では、ブロックの予測がビットストリーム内のフレームを符号化する順序で現在のフレームに先行する１つまたは２つのフレームからのサンプルを使用して生成される。さらに、インターフレーム予測のために、単一のコーディングツリーが典型的には、ルマチャネルおよびクロマチャネルの両方について使用される。ビットストリーム内のフレームの符号化順は、キャプチャまたは表示時のフレームの順序とは異なる場合がある。１つのフレームが予測に使用される場合、ブロックは「片予測」であると言われ、１つの関連する動きベクトルを有する。２つのフレームが予測に使用される場合、ブロックは「双予測」されると言われ、２つの関連する動きベクトルを有する。Ｐスライスの場合、各ＣＵは、イントラ予測または片予測され得る。Ｂスライスの場合、各ＣＵは、イントラ予測、片予測、または双予測され得る。フレームは、典型的にはフレームの時間的階層を可能にする「ピクチャのグループ」構造を使用して符号化される。フレームの時間的階層は、フレームがフレームを表示する順序で、先行するピクチャおよび後続するピクチャを参照することを可能にする。画像は、各フレームを復号するための依存関係が満たされていることを保証するために必要な順序で符号化される。

インター予測のサブカテゴリは、「スキップモード」と呼ばれる。インター予測モードおよびスキップモードは、２つの別個のモードとして説明される。しかしながら、インター予測モード及びスキップモードの両方は、先行するフレームからのサンプルのブロックを参照する動きベクトルを含む。インター予測は、符号化された動きベクトルデルタを含み、動きベクトル予測子に対する動きベクトルを指定する。動きベクトル予測子は、「マージインデックス」で選択された１つ以上の候補動きベクトルのリストから得られる。符号化された動きベクトルデルタは、選択された動きベクトル予測に空間オフセットを提供する。また、インター予測は、ビットストリーム１３３内の符号化された残差を使用する。スキップモードは、インデックス（「マージインデックス」とも呼ばれる）のみを使用して、いくつかの動きベクトル候補のうちの１つを選択する。選択された候補は、さらなるシグナリングなしに使用される。また、スキップモードは、残差係数の符号化をサポートしない。スキップモードが使用されるとき、符号化された残差係数がないことは、スキップモードのための変換を実行する必要がないことを意味する。したがって、スキップモードは、典型的にはパイプライン処理問題を生じない。パイプライン処理問題は、イントラ予測されたＣＵおよびインター予測されたＣＵの場合であり得る。スキップモードの限定されたシグナリングのために、スキップモードは比較的高品質の参照フレームが利用可能であるときに、非常に高い圧縮性能を達成するために有用である。ランダムアクセスピクチャグループ構造のより高い時間レイヤにおける双予測されたＣＵは、典型的には、基礎となる動きを正確に反映する高品質の参照ピクチャおよび動きベクトル候補を有する。

サンプルは、動きベクトルおよび参照ピクチャインデックスに従って選択される。動きベクトルおよび参照ピクチャインデックスは、すべてのカラーチャネルに適用され、したがって、インター予測は主に、ＰＢではなくＰＵ上での動作に関して説明される。各カテゴリー内（すなわち、イントラおよびインターフレーム予測）では、ＰＵを生成するために異なる技法を適用することができる。例えば、イントラ予測は、所定のフィルタリング及び生成処理に従ってＰＵを生成する方向と組み合わせて、以前に再構成されたサンプルの隣接する行及び列からの値を使用することができる。あるいは、ＰＵが少数のパラメータを使用して記述されてもよい。インター予測方法は、動きパラメータの数とその精度で変わる可能性がある。動きパラメータは通常、参照フレームのリストからどの参照フレームが使用されるべきかを示す参照フレームインデックスと、参照フレームの各々のための空間変換とを含むが、より多くのフレーム、特別なフレーム、またはスケーリングおよび回転などの複雑なアフィンパラメータを含むことができる。さらに、参照されたサンプルブロックに基づいて、高密度動き推定を生成するために、所定の動き精緻化処理を適用することができる。

ラグランジュ処理または類似の最適化処理を採用して、ＣＴＵのＣＢへの最適分割（ブロックパーティショナ３１０による）と、複数の可能性からの最良予測モードの選択の両方を選択することができる。モードセレクタモジュール３８６における候補モードのラグランジュ最適化プロセスの適用を通して、最低コスト測定を有する予測モードが「最良」モードとして選択される。最低コストモードは、選択された予測モード３８８であり、エントロピーエンコーダ３３８によってビットストリーム１１５にも符号化される。モードセレクタモジュール３８６の動作による予測モード３８８の選択は、ブロックパーティショナ３１０の動作に拡張する。例えば、予測モード３８８の選択のための候補は、所与のブロックに適用可能なモードと、さらに、所与のブロックと一緒に集合的に配置される複数のより小さいブロックに適用可能なモードと、を含むことができる。所与のブロックおよびより小さいコロケートされたブロックに適用可能なモードを含む場合、候補を暗黙的に選択するプロセスは、ＣＴＵのＣＢへの最良の階層分解を決定するプロセスでもある。

ビデオエンコーダ１１４の動作の第２のステージ（「符号化」ステージと呼ばれる）では、選択されたルマコーディングツリーおよび選択されたクロマコーディングツリー、したがって、選択された各ＣＢにわたる反復がビデオエンコーダ１１４において実行される。反復では、ＣＢが本明細書でさらに説明するように、ビットストリーム１１５に符号化される。

エントロピーエンコーダ３３８は、シンタックス要素の可変長符号化とシンタックス要素の算術符号化の両方をサポートする。算術符号化は、コンテキスト適応２進算術符号化（ＣＡＢＡＣ）プロセスを使用してサポートされる。算術的に符号化されたシンタックス要素は、１つ以上の「ｂｉｎｓ」のシーケンスからなる。ビンはビットと同様に、「０」または「１」の値を有する。ビンは、ディスクリートビットとしてビットストリーム１１５に符号化されない。ビンは、「コンテキスト」として知られる、関連する予測（または「可能性」または「最も可能性のある」）値および関連する確率を有する。符号化される実際のビンが予測値と一致するとき、「最確率シンボル（most probable symbol）」（ＭＰＳ）が符号化される。最確率シンボルを符号化することは、消費されるビットに関して比較的安価である。符号化されるべき実際のビンがありそうな値と一致しない場合、「最低確率シンボル（least probable symbol）」（ＬＰＳ）が符号化される。最低確率シンボルを符号化することは、消費されるビットに関して比較的高いコストを有する。ビン符号化技術は、「０」対「１」の確率が偏っているビンの効率的な符号化を可能にする。２つの可能な値（すなわち「フラグ」）を持つシンタックス要素に対しては、単一のビンで十分である。可能な値が多いシンタックス要素の場合は、一連のビンが必要である。

シーケンス中の後のビンの存在は、シーケンス中の前のビンの値に基づいて決定されてもよい。さらに、各ビンは、２つ以上のコンテキストに関連付けることができる。特定のコンテキストの選択は、シンタックス要素の以前のビン、隣接するシンタックス要素のビン値（すなわち、隣接するブロックからのもの）などに依存することができる。コンテキスト符号化ビンが符号化されるたびに、そのビンに対して選択されたコンテキスト（もしあれば）は、新しいビン値を反映する方法で更新される。このように、２進算術符号化方式は適応型であると言われている。

また、ビデオエンコーダ１１４によってサポートされるのは、コンテキストを欠くビン（「バイパスビン」）である。バイパスビンは、「０」と「１」との間の等確率分布を仮定して符号化される。したがって、各ビンは、ビットストリーム１１５内の１ビットを占有する。コンテキストがないと、メモリが節約され、複雑さが軽減され、したがって、特定のビンの値の分布が偏っていない場合は、バイパスビンが使用される。

エントロピーエンコーダ３３８は、コンテキスト符号化ビンとバイパス符号化ビンとの組合せを使用して予測モード３８８を符号化する。例えば、予測モード３８８がイントラ予測モードである場合、「最確率モード」のリストがビデオエンコーダ１１４において生成される。最確率モードのリストは典型的には３つまたは６つのモードなどの固定長であり、以前のブロックで遭遇したモードを含むことができる。コンテキスト符号化ビンは、予測モードが最確率モードの１つかどうかを示すフラグを符号化する。イントラ予測モード３８８が最確率モードの１つである場合、バイパス符号化ビンを使用するさらなるシグナリングが符号化される。符号化されたさらなるシグナリングは例えば、切り捨てられた単項ビンストリングを使用して、どの最確率モードがイントラ予測モード３８８に対応するかを示す。そわない場合、イントラ予測モード３８８は、「残りモード」として符号化される。残りのモードとしての符号化は、バイパス符号化されたビンを使用しても符号化される固定長符号などの代替シンタックスを使用して、最確率モードリストに存在するもの以外のイントラ予測モードを表現する。

マルチプレクサモジュール３８４は、決定された最良の予測モード３８８に従ってＰＢ３２０を出力し、各候補ＣＢのテストされた予測モードから選択する。候補予測モードは、ビデオエンコーダ１１４によってサポートされるすべての考えられる予測モードを含む必要はない。

ＰＢ３２０を決定して選択し、減算器３２２で元のサンプルブロックからＰＢ３２０を減算すると、符号化コストが最も低い３２４で表される残差が得られ、非可逆圧縮を受ける。非可逆圧縮プロセスは、変換、量子化、およびエントロピー符号化のステップを含む。順方向一次変換モジュール３２６は、残差３２４に順方向変換を適用し、残差３２４を空間領域から周波数領域に変換し、矢印３２８によって表される一次変換係数を生成する。一次変換係数３２８は、順方向二次変換モジュール３３０に渡され、非分離型二次変換（ＮＳＳＴ）動作を実行することによって、矢印３３２によって表される変換係数を生成する。フォワードプライマリ変換は、典型的には分離可能であり、典型的にはタイプＩＩ離散コサイン変換（ＤＣＴ－２）を使用して、行のセット、次いで各ブロックの列のセットを変換するが、タイプＶＩＩ離散サイン変換（ＤＳＴ－７）およびタイプＶＩＩＩ離散コサイン変換（ＤＣＴ－８）も、例えば、１６サンプルを超えないブロック幅に対して水平に、１６サンプルを超えないブロック高さに対して垂直に、利用可能であり得る。行および列の各セットの変換は、最初にブロックの各行に１次元変換を適用して中間結果を生成し、次に中間結果の各列に１次元変換を適用して最終結果を生成することによって実行される。順方向二次変換は一般に、分離不可能な変換であり、これは、イントラ予測されたＣＵの残差に対してのみ適用され、それにもかかわらず、バイパスされてもよい。順方向二次変換は、１６個のサンプル（一次変換係数３２８の左上４ｘ４サブブロックとして配置された）または６４個のサンプル（一次変換係数３２８の４個の４ｘ４サブブロックとして配置された、左上８ｘ８係数として配置された）のいずれかで動作する。
更に、順方向二次変換の行列係数は、使用のために２セットの係数が利用できるように、ＣＵのイントラ予測モードに従って複数のセットから選択される。行列係数のセットのうち１つを使用すること、つまり順方向二次変換のバイパスを使用することは、「ｎｓｓｔ＿ｉｎｄｅｘ」のシンタックス要素でシグナルされ、切り捨てられた単項２値化を使って、値ゼロ（二次変換は適用されない）、１つ（選択された行列係数の第１セット）、または２つ（選択された行列係数の第２セット）を表すように符号化されている。

ビデオエンコーダ１１４はまた、「変換スキップ」モードとして知られる、一次変換および二次変換の両方をスキップすることを選択してもよい。変換をスキップすることは、変換基底関数としての表現を介して符号化コストを低減するための適切な相関を欠く残差データに適している。比較的単純なコンピュータ生成グラフィックスなどの特定のタイプのコンテンツは、同様の挙動を示すことがある。変換スキップモードが使用されるとき、変換係数３３２は残差係数３２４と同じである。

変換係数３３２は、量子化器モジュール３３４に渡される。モジュール３３４では、「量子化パラメータ」による量子化が実行されて、矢印３３６によって表される量子化係数が生成される。量子化パラメータは所与のＴＢについて一定であり、したがって、ＴＢについての残差係数の生成のための均一なスケーリングをもたらす。「量子化行列」を適用することによって、不均一なスケーリングも可能であり、それによって、各残差係数に適用されるスケーリング係数は、量子化パラメータと、典型的にはＴＢのサイズに等しいサイズを有するスケーリング行列内の対応するエントリとの組合せから導出される。スケーリング行列は、ＴＢのサイズよりも小さいサイズを有することができ、ＴＢに適用される場合、ＴＢサイズよりもサイズが小さいスケーリング行列から各残差係数のスケーリング値を提供するために、最も近い近傍アプローチが使用される。量子化係数３３６は、ビットストリーム１１５における符号化のためにエントロピーエンコーダ３３８に供給される。典型的には、少なくとも１つの有意な量子化係数を有する各ＴＢの量子化係数がスキャンパターンに従って、値の順序付けられたリストを生成するためにスキャンされる。スキャンパターンは一般に、４ｘ４「サブブロック」のシーケンスとしてＴＢをスキャンし、残差係数の４×４セットの粒度で規則的なスキャン動作を提供し、サブブロックの配置はＴＢのサイズに依存する。さらに、予測モード３８８および対応するブロック分割もビットストリーム１１５に符号化される。

上述のように、ビデオエンコーダ１１４は、ビデオデコーダ１３４によって見られるフレーム表現に対応するフレーム表現へのアクセスを必要とする。したがって、量子化係数３３６はまた、逆量子化器モジュール３４０によって逆量子化され、矢印３４２によって表される再構成された変換係数を生成する。再構成された変換係数３４２は、逆二次変換モジュール３４４を通過して、矢印３４６で表される再構成された一次変換係数を生成する。再構成された一次変換係数３４６は、逆一次変換モジュール３４８に渡されて、矢印３５０によって表されるＴＵの再構成された残差サンプルを生成する。逆二次変換モジュール３４４によって実行される逆変換のタイプは、順方向二次変換モジュール３３０によって実行される順変換のタイプに対応する。逆一次変換モジュール３４８によって実行される逆変換のタイプは、一次変換モジュール３２６によって実行される一次変換のタイプに対応する。加算モジュール３５２は、再構成された残差サンプル３５０とＰＵ３２０とを加算して、ＣＵの再構成されたサンプル（矢印３５４によって示される）を生成する。

再構成されたサンプル３５４は、参照サンプルキャッシュ３５６およびループ内フィルタモジュール３６８に渡される。参照サンプルキャッシュ３５６は、典型的にはＡＳＩＣ上のスタティックＲＡＭを使用して実現され（したがって、コストのかかるオフチップメモリアクセスを回避する）、フレーム内の後続のＣＵのためのイントラフレームＰＢを生成するための依存関係を満たすために必要な最小限のサンプル記憶装置を提供する。最小依存関係は、典型的には、ＣＴＵの行の最下部に沿ったサンプルの「ラインバッファ」を含み、ＣＴＵの次の行および列バッファリングによって使用され、その範囲はＣＴＵの高さによって設定される。参照サンプルキャッシュ３５６は、参照サンプルフィルタ３６０に参照サンプル（矢印３５８で示す）を供給する。サンプルフィルタ３６０は、平滑化演算を適用して、フィルタリングされた参照サンプル（矢印３６２によって示される）を生成する。フィルタリングされた参照サンプル３６２は、イントラフレーム予測モジュール３６４によって使用され、矢印３６６によって表されるサンプルのイントラ予測ブロックを生成する。各候補イントラ予測モードについて、イントラフレーム予測モジュール３６４は、サンプルのブロック、すなわち３６６を生成する。

ループ内フィルタモジュール３６８は、再構成されたサンプル３５４にいくつかのフィルタリングステージを適用する。フィルタリングステージは、不連続性から生じるアーチファクトを低減するために、ＣＵ境界に整列された平滑化を適用する「デブロッキングフィルタ」（ＤＢＦ）を含む。インループフィルタモジュール３６８に存在する別のフィルタリングステージは、「適応ループフィルタ」（ＡＬＦ）であり、これは、歪みをさらに低減するためにウィナーベースの適応フィルタを適用する。ループ内フィルタモジュール３６８における更なる利用可能なフィルタリングステージは、「サンプル適応オフセット」（ＳＡＯ）フィルタである。ＳＡＯフィルタは最初に、再構成されたサンプルを１つまたは複数のカテゴリに分類し、割り当てられたカテゴリに従って、サンプルレベルでオフセットを適用することによって動作する。

矢印３７０で表されるフィルタリングされたサンプルは、ループ内フィルタモジュール３６８から出力される。フィルタリングされたサンプル３７０は、フレームバッファ３７２に格納される。フレームバッファ３７２は、典型的には、いくつかの（例えば、１６までの）ピクチャを格納するための容量を有し、従って、メモリ２０６に格納される。フレームバッファ３７２は、大きなメモリ消費が要求されるため、典型的には、オンチップメモリを使用して格納されない。したがって、フレームバッファ３７２へのアクセスは、メモリ帯域幅に関してコストがかかる。フレームバッファ３７２は、参照フレーム（矢印３７４によって表される）を動き推定モジュール３７６および動き補償モジュール３８０に提供する。

動き推定モジュール３７６は、いくつかの「動きベクトル」（３７８として示される）を推定し、各々は現在のＣＢの位置からのデカルト空間オフセットであり、フレームバッファ３７２内の参照フレームのうちの１つ内のブロックを参照する。参照サンプルのフィルタリングされたブロック（３８２として表される）は、各動きベクトルに対して生成される。フィルタリングされた参照サンプル３８２は、モードセレクタ３８６による潜在的な選択に利用可能なさらなる候補モードを形成する。さらに、所与のＣＵについて、ＰＵ３２０は、１つの参照ブロック（「片予測」）を使用して形成されてもよく、または２つの参照ブロック（「双予測」）を使用して形成されてもよい。選択された動きベクトルに対して、動き補償モジュール３８０は、動きベクトル内のサブピクセル精度をサポートするフィルタリング処理に従って、ＰＢ３２０を生成する。したがって、動き推定モジュール３７６（多くの候補動きベクトルに対して動作する）は、低減された計算の複雑さを達成するために、動き補償モジュール３８０（選択された候補のみに対して動作する）のそれと比較して、単純化されたフィルタリング処理を実行することができる。ビデオエンコーダ１１４がＣＵのインター予測を選択すると、動きベクトル３７８がビットストリーム１１５に符号化される。

図３のビデオエンコーダ１１４は汎用ビデオ符号化（ＶＶＣ）を参照して説明されるが、他のビデオ符号化規格または実装はモジュール３１０～３８６の処理ステージを使用することもできる。フレームデータ１１３（およびビットストリーム１１５）は、メモリ２０６、ハードディスクドライブ２１０、ＣＤ－ＲＯＭ、Ｂｌｕ－ｒａｙ ｄｉｓｃ^ＴＭ、または他のコンピュータ可読記憶媒体から読み取る（または書き込む）こともできる。さらに、フレームデータ１１３（およびビットストリーム１１５）は、通信ネットワーク２２０または無線周波数受信機に接続されたサーバなどの外部ソースから受信（または送信）されてもよい。

ビデオデコーダ１３４を図４に示す。図４のビデオデコーダ１３４は、汎用ビデオコーディング（ＶＶＣ）ビデオデコーディングパイプラインの一例であるが、他のビデオコーデックを使用して、本明細書で説明する処理ステージを実行することもできる。図４に示すように、ビットストリーム１３３はビデオデコーダ１３４に入力される。ビットストリーム１３３は、メモリ２０６、ハードディスクドライブ２１０、ＣＤ－ＲＯＭ、Ｂｌｕ－ｒａｙ ｄｉｓｃ^ＴＭ、または他の一時的でないコンピュータ可読記憶媒体から読み取ることができる。あるいは、ビットストリーム１３３は、通信ネットワーク２２０または無線周波数受信機に接続されたサーバなどの外部ソースから受信されてもよい。ビットストリーム１３３は、復号される撮像フレームデータを表す符号化されたシンタックス要素を含む。

ビットストリーム１３３は、エントロピーデコーダモジュール４２０に入力される。エントロピーデコーダモジュール４２０は、「ｂｉｎｓ」のシーケンスを復号することによってビットストリーム１３３からシンタックス要素を抽出し、そのシンタックス要素の値をビデオデコーダ１３４内の他のモジュールに渡す。ビットストリーム１３３から抽出されたシンタックス要素の一例は、量子化された係数４２４である。エントロピーデコーダモジュール４２０は、演算デコーディングエンジンを使用して、各シンタックス要素を１つ以上のビンのシーケンスとして復号する。各ビンは、ビンの「１」と「０」の値を符号化するために使用される確率レベルを記述するコンテキストと共に、１つ以上の「コンテキスト」を使用することができる。所与のビンに対して複数のコンテキストが利用可能な場合、「コンテキストモデリング」または「コンテキスト選択」ステップが、ビンを復号するために利用可能なコンテキストの１つを選択するために実行される。ビンを復号するプロセスは、順次フィードバックループを形成する。フィードバックループにおける動作の数は、エントロピーデコーダ４２０がビン／秒で高いスループットを達成することを可能にするために最小化されることが好ましい。コンテキストモデリングはコンテキスト、すなわち、現在のビンの前のプロパティを選択するときに、ビデオデコーダ１３４に知られているビットストリームの他のプロパティに依存する。例えば、コンテキストは、コーディングツリー内の現在のＣＵの四分木深さに基づいて選択され得る。依存性は、ビンを復号する前に知られている特性に基づくか、または長い順次処理を必要とせずに決定されることが好ましい。

量子化された係数４２４は、逆量子化器モジュール４２８に入力される。逆量子化器モジュール４２８は、量子化パラメータに従って、量子化された係数４２４に対して逆量子化（または「スケーリング」）を実行して、矢印４３２によって表される再構成された中間変換係数を生成する。不均一な逆量子化行列の使用がビットストリーム１３３に示される場合、ビデオデコーダ１３４は、スケーリングファクタのシーケンスとしてビットストリーム１３３から量子化行列を読み出し、スケーリングファクタを行列に配置する。逆スケーリングは、量子化パラメータと組み合わせて量子化行列を使用して、再構成された中間変換係数４３２を生成する。再構成された中間変換係数４３２は、逆二次変換モジュール４３６に渡され、ここで、復号された「ｎｓｓｔ＿ｉｎｄｅｘ」シンタックス要素に従って、二次変換が適用され得る。「ｎｓｓｔ＿ｉｎｄｅｘ」は、プロセッサ２０５の実行下で、エントロピーデコーダ４２０によってビットストリーム１３３から復号される。逆二次変換モジュール４３６は、再構成された変換係数４４０を生成する。

再構成された変換係数４４０は、逆一次変換モジュール４４４に渡される。モジュール４４４は、係数を周波数領域から空間領域に戻すように変換する。モジュール４４４の動作の結果は、矢印４４８によって表される残差サンプルのブロックである。残差サンプル４４８のブロックは、対応するＣＵにサイズが等しい。逆一次変換のタイプは、タイプＩＩ離散コサイン変換（ＤＣＴ－２）、タイプＶＩＩ離散サイン変換（ＤＳＴ－７）、タイプＶＩＩＩ離散コサイン変換（ＤＣＴ－８）、または「変換スキップ」モードとすることができる。変換スキップモードの使用は、ビットストリーム１３３から復号されるか、または他の方法で推論される変換スキップフラグによってシグナリングされる。変換スキップモードが使用されるとき、残差サンプル４４８は再構成された変換係数４４０と同じである。

残差サンプル４４８は、加算モジュール４５０に供給される。加算モジュール４５０において、残差サンプル４４８は、復号されたＰＢ（４５２として表される）に加算されて、矢印４５６によって表される再構成されたサンプルのブロックを生成する。再構成されたサンプル４５６は、再構成サンプルキャッシュ４６０およびループ内フィルタリングモジュール４８８に供給される。ループ内フィルタリングモジュール４８８は、４９２として表されるフレームサンプルの再構成されたブロックを生成する。フレームサンプル４９２は、フレームバッファ４９６に書き込まれる。

再構成サンプルキャッシュ４６０は、ビデオエンコーダ１１４の再構成サンプルキャッシュ３５６と同様に動作する。再構成サンプルキャッシュ４６０は（例えば、典型的にはオンチップメモリであるデータ２３２を代わりに使用することによって）メモリ２０６無しに後続のＣＢをイントラ予測するために必要な再構成されたサンプルのための記憶装置を提供する。矢印４６４によって表される参照サンプルは、再構成サンプルキャッシュ４６０から得られ、参照サンプルフィルタ４６８に供給されて、矢印４７２によって示されるフィルタリングされた参照サンプルを生成する。フィルタリングされた参照サンプル４７２は、イントラフレーム予測モジュール４７６に供給される。モジュール４７６は、ビットストリーム１３３でシグナリングされ、エントロピーデコーダ４２０によって復号されたイントラ予測モードパラメータ４５８に従って、矢印４８０によって表されるイントラ予測サンプルのブロックを生成する。

ＣＢの予測モードがビットストリーム１３３におけるイントラ予測であることが示されていると、イントラ予測サンプル４８０は、マルチプレクサモジュール４８４を介して復号ＰＢ４５２を形成する。イントラ予測は、サンプルの予測ブロック（ＰＢ）、すなわち、同じ色成分内の「隣接サンプル」を使用して導出された１つの色成分内のブロックを生成する。隣接サンプルは、現在のブロックに隣接するサンプルであり、ブロック復号順序において先行しているため、既に再構成されている。ルマおよびクロマブロックが並置される場合、ルマおよびクロマブロックは、異なるイントラ予測モードを使用することができる。しかしながら、２つのクロマチャネルはそれぞれ、同じイントラ予測モードを共有する。

ルマブロックのイントラ予測は、４つのタイプからなる。「ＤＣイントラ予測」は、隣接するサンプルの平均を表す単一の値をＰＢに入力すること（populating）を含む。「プラナーイントラ予測」は、隣接するサンプルから導出される垂直および水平勾配とＤＣオフセットを用いて、平面に従ってサンプルをＰＢに入力することを含む。「角度イントラ予測」は、フィルタリングされ、ＰＢを横切って特定の方向（または「角度」）に伝播された隣接するサンプルをＰＢに入力することを含む。ＶＶＣでは、ＰＢは最大６５の角度から選択することができ、長方形ブロックは正方形ブロックには利用できない異なる角度を利用することができる。「マトリックスイントラ予測」は、隣接するサンプルの削減されたセットに、ビデオデコーダ１３４に利用可能な多数の利用可能なマトリックスの１つを乗算することによって、ＰＢを入力することを含む。隣接するサンプルの削減されたセットは、隣接するサンプルをフィルタリングし、サブサンプリングすることによって生成される。次に、削減されたサンプルのセットに行列を乗算し、オフセットベクトルを加算することによって、削減された予測サンプルのセットが生成される。行列および関連するオフセットベクトルは、ＰＢのサイズに応じて多数の可能な行列から選択され、行列およびオフセットベクトルの特定の選択は、「ＭＩＰモード」シンタックス要素によって示される。例えば、８×８より大きいサイズを有するＰＢに対しては、１１個のＭＴＰモードがあり、一方、８×８サイズのＰＢに対しては１９個のＭＩＰモードがある。最後に、マトリックスイントラ予測により生成されたＰＢは、補間による予測サンプルの削減したセットから入力される。

第５のタイプのイントラ予測はクロマＰＢに利用可能であり、それによって、ＰＢは、「クロス成分線形モデル」（ＣＣＬＭ）モードに従って、並置されたルマ再構成サンプルから生成される。３つの異なるＣＣＬＭモードが利用可能であり、その各々は、隣接するルマ及びクロマサンプルから導出された異なるモデルを使用する。次いで、導出されたモデルを使用して、コロケートされたルマサンプルからクロマＰＢのサンプルのブロックを生成する。

ＣＢの予測モードがビットストリーム１３３におけるインター予測であることが示されると、動き補償モジュール４３４は、フレームバッファ４９６からサンプル４９８のブロックを選択してフィルタリングするために、動きベクトルおよび参照フレームインデックスを使用して、４３８として表されるインター予測サンプルのブロックを生成する。サンプル４９８のブロックは、フレームバッファ４９６に格納された以前に復号されたフレームから得られる。双予測の場合、２つのサンプルブロックが生成され、一緒にブレンドされて、復号されたＰＢ４５２のためのサンプルが生成される。フレームバッファ４９６には、ループ内フィルタリングモジュール４８８からのフィルタリングされたブロックデータ４９２が入力される。ビデオエンコーダ１１４のループ内フィルタリングモジュール３６８と同様に、ループ内フィルタリングモジュール４８８は、ＤＢＦ、ＡＬＦ、およびＳＡＯフィルタリング動作のいずれかを適用する。一般に、動きベクトルはルマチャネルとクロマチャネルの両方に適用されるが、サブサンプル補間ルマチャネルとクロマチャネルのフィルタリング処理は異なる。フレームバッファ４９６は、復号されたビデオサンプル１３５を出力する。

図５は、汎用ビデオ符号化のツリー構造内の１つまたは複数のサブ領域への領域の利用可能な分割（divisions）または分割（splits）の集合５００を示す概略ブロック図である。集合５００に示される分割（divisions）は、図３を参照して説明されるように、ラグランジュ最適化によって決定されるように、コーディングツリーに従って各ＣＴＵを１つまたは複数のＣＵまたはＣＢに分割するために、エンコーダ１１４のブロックパーティショナ３１０に利用可能である。

集合５００は、正方形領域のみが他の、おそらくは正方形でないサブ領域に分割されていることを示すが、図５００は潜在的な分割を示しているが、包含領域が正方形であることを必要としないことを理解されたい。包含領域が非正方形の場合、分割から生じるブロックの寸法は包含ブロックのアスペクト比に従ってスケールされる。領域がそれ以上分割されなくなると、すなわち、コーディングツリーのリーフノードにおいて、ＣＵがその領域を占有する。ブロックパーティショナ３１０によるＣＴＵの１つまたは複数のＣＵへの特定のサブ分割は、ＣＴＵの「コーディングツリー」と呼ばれる。

領域をサブ領域にサブ分割するプロセスは、結果として生じるサブ領域が最小ＣＵサイズに達したときに終了しなければならない。所定の最小サイズ、例えば、１６サンプルより小さいブロック領域を禁止するようにＣＵを制約することに加えて、ＣＵは、４の最小幅または高さを有するように制約される。幅および高さの両方に関して、または幅または高さに関して、他の最小値も可能である。サブ分割のプロセスは、最も深いレベルの分解の前に終了することもでき、その結果、ＣＵが最小ＣＵサイズよりも大きくなる。分割が起こらず、その結果、単一のＣＵがＣＴＵの全体を占有することが可能である。ＣＴＵの全体を占有する単一のＣＵは、最大の利用可能なコーディングユニットサイズである。４：２：０などのサブサンプリングされたクロマフォーマットの使用により、ビデオエンコーダ１１４およびビデオデコーダ１３４の構成は、ルマチャネルにおけるよりも早くクロマチャネルにおける領域の分割を終了させることができる。

コーディングツリーのリーフノードには、それ以上のサブ分割のないＣＵが存在する。例えば、リーフノード５１０は、１つのＣＵを含む。コーディングツリーの非リーフノードには、２つ以上のさらなるノードへの分割が存在し、そのそれぞれが１つのＣＵを形成するリーフノード、またはより小さい領域へのさらなる分割を含む非リーフノードでありうる。コーディングツリーの各リーフノードにおいて、各カラーチャネルに対して１つのコーディングブロックが存在する。ルマおよびクロマの両方について同じ深さで終端する分割は、３つの並置されたＣＢをもたらす。クロマよりも深いルマの深さで終端する分割は、複数のルマＣＢがクロマチャネルのＣＢと並置されることになる。

四分木分割５１２は図５に示すように、包含領域を４つの等しいサイズの領域に分割する。ＨＥＶＣと比較して、汎用ビデオ符号化（ＶＶＣ）は、水平２分割５１４および垂直２分割５１６を追加することにより、さらなる柔軟性を達成する。分割５１４および５１６の各々は、包含領域を２つの等しいサイズの領域に分割する。分割は、包含ブロック内の水平境界（５１４）または垂直境界（５１６）に沿っている。

水平３分割５１８および垂直３分割５２０を追加することにより、汎用ビデオ符号化においてさらなる柔軟性が達成される。３分割５１８および５２０は、ブロックを、包含領域の幅または高さの１／４および３／４に沿って水平方向（５１８）または垂直方向（５２０）のいずれかで境界をつけられた３つの領域に分割する。４分木、２分木、および３分木の組合せは、「ＱＴＢＴＴＴ」と呼ばれる。ツリーのルートには、ゼロ個以上の四分木分割（ツリーの「ＱＴ」セクション）が含まれる。ＱＴセクションが終了すると、ゼロまたはそれ以上の２分割または３分割（ツリーの「マルチツリー」または「ＭＴ」セクション）が発生し、最終的にツリーのリーフノードのＣＢまたはＣＵで終了する。ツリーがすべてのカラーチャネルを記述する場合、ツリーリーフノードはＣＵである。ツリーがルマチャネルまたはクロマチャネルを記述する場合、ツリーリーフノードはＣＢである。

４分木のみをサポートし、したがって正方形ブロックのみをサポートするＨＥＶＣと比較して、ＱＴＢＴＴＴは、特に２分木および／または３分木分割の可能な再帰的適用を考慮すると、より多くの可能なＣＵサイズをもたらす。異常な（正方形でない）ブロックサイズの可能性は、ブロック幅または高さが４サンプル未満であるか、または４サンプルの倍数ではないかのいずれかになる分割を排除するように分割オプションを制約することによって低減することができる。一般に、この制約は、ルマサンプルを考慮する際に適用される。しかしながら、説明した構成では、制約がクロマチャネル用のブロックに別々に適用することができる。クロマチャネルに対する分割オプションへの制約の適用は、例えば、フレームデータが４：２：０クロマフォーマットまたは４：２：２クロマフォーマットの場合、ルマとクロマで最小ブロックサイズが異なり得る。各分割では、この包含領域に関して、辺寸法が変わらない、半分になっている、または１／４になっているサブ領域が生成される。そして、ＣＴＵサイズは２のべき乗であるため、全てのＣＵの辺寸法も２のべき乗である。

図６は、汎用ビデオ符号化で使用されるＱＴＢＴＴＴ（または「コーディングツリー」）構造のデータフロー６００を示す概略フロー図である。ＱＴＢＴＴＴ構造は、ＣＴＵの１つまたは複数のＣＵへの分割を定義するために、各ＣＴＵに対して使用される。各ＣＴＵのＱＴＢＴＴＴ構造は、ビデオエンコーダ１１４内のブロックパーティショナ３１０によって決定され、ビットストリーム１１５に符号化されるか、またはビデオデコーダ１３４内のエントロピーデコーダ４２０によってビットストリーム１３３から復号される。データフロー６００はさらに、図５に示される分割に従って、ＣＴＵを１つまたは複数のＣＵに分割するためにブロックパーティショナ３１０に利用可能な許容可能な組合せを特徴付ける。

階層の最上位レベル、すなわちＣＴＵから始めて、ゼロまたはそれ以上の四分木分割が最初に実行される。具体的には、四分木（ＱＴ）分割決定６１０がブロックパーティショナ３１０によって行われる。「１」シンボルを返す６１０での決定は、四分木分割５１２に従って現在のノードを４つのサブノードに分割する決定を示す。その結果、６２０などの、４つの新しいノードが生成され、各新しいノードについて、ＱＴ分割決定６１０に戻る。各新しいノードは、ラスタ（またはＺスキャン）順序で考慮される。あるいは、ＱＴ分割決定６１０がさらなる分割が実行されるべきでないことを示す（「０」シンボルを返す）場合、四分木分割は停止し、マルチツリー（ＭＴ）分割がその後考慮される。

まず、ＭＴ分割決定６１２がブロックパーティショナ３１０によって行われる。６１２において、ＭＴ分割を実行する決定が示される。決定６１２で「０」のシンボルを返すことは、ノードのサブノードへのそれ以上の分割が実行されないことを示す。ノードのそれ以上の分割が実行されない場合、ノードはコーディングツリーのリーフノードであり、ＣＵに対応する。リーフノードは６２２で出力される。あるいは、ＭＴ分割６１２がＭＴ分割を実行する決定を示す（「１」シンボルを返す）場合、ブロックパーティショナ３１０は方向決定６１４に進む。

方向決定６１４は、水平（「Ｈ」または「０」）または垂直（「Ｖ」または「１」）のいずれかとしてＭＴ分割の方向を示す。ブロックパーティショナ３１０は、決定６１４が水平方向を示す「０」を返す場合、決定６１６に進む。ブロックパーティショナ３１０は、決定６１４が垂直方向を示す「１」を返す場合、決定６１８に進む。

決定６１６および６１８のそれぞれにおいて、ＭＴ分割のパーティション数は、ＢＴ／ＴＴ分割で２つ（２分割または「ＢＴ」ノード）または３つ（３分割または「ＴＴ」）のいずれかとして示される。すなわち、ＢＴ／ＴＴ分割決定６１６は、６１４からの指示された方向が水平であるときにブロックパーティショナ３１０によって行われ、ＢＴ／ＴＴ分割決定６１８は、６１４からの指示された方向が垂直であるときにブロックパーティショナ３１０によって行われる。

ＢＴ／ＴＴ分割決定６１６は、水平分割が「０」を返すことによって示される２分割５１４であるか、「１」を返すことによって示される３分割５１８であるかを示す。ＢＴ／ＴＴ分割決定６１６が２分割を示す場合、ＨＢＴ ＣＴＵノード生成ステップ６２５において、水平２分割５１４に従って、２つのノードがブロックパーティショナ３１０によって生成される。ＢＴ／ＴＴ分割６１６が３分割を示す場合、ＨＴＴ ＣＴＵノード生成ステップ６２６において、水平３分割５１８に従って、ブロックパーティショナ３１０によって３つのノードが生成される。

ＢＴ／ＴＴ分割決定６１８は、垂直分割が「０」を返すことによって示される２分割５１６であるか、「１」を返すことによって示される３分割５２０であるかを示す。ＢＴ／ＴＴ分割６１８が２分割を示す場合、ＶＢＴ ＣＴＵノード生成ステップ６２７では、垂直２分割５１６に従って、ブロックパーティショナ３１０によって２つのノードが生成される。ＢＴ／ＴＴ分割６１８が３分割を示す場合、ＶＴＴ ＣＴＵノード生成ステップ６２８において、垂直３分割５２０に従って、ブロックパーティショナ３１０によって３つのノードが生成される。ステップ６２５～６２８から生じる各ノードについて、ＭＴ分割決定６１２に戻るデータフロー６００の再帰が、方向６１４に応じて、左から右へ、または上から下への順序で適用される。その結果、２分木および３分木分割を適用して、様々なサイズを有するＣＵを生成することができる。

図７Ａおよび７Ｂは、ＣＴＵ７１０のいくつかのＣＵまたはＣＢへの分割例７００を提供する。ＣＵ７１２の一例を図７Ａに示す。図７Ａは、ＣＴＵ７１０におけるＣＵの空間配置を示す。分割例７００は、図７Ｂにコーディングツリー７２０としても示されている。

図７ＡのＣＴＵ７１０内の各非リーフノード、例えばノード７１４、７１６および７１８において、収容されたノード（さらに分割されていてもよいし、ＣＵであってもよい）は、ノードのリストを作成するために「Ｚオーダー」でスキャンまたはトラバースされ、コーディングツリー７２０内のカラムとして表される。４分木分割の場合、Ｚオーダースキャンは、左上から右に続いて左下から右の順序になる。水平分割および垂直分割の場合、Ｚオーダースキャン（トラバーサル）は、それぞれ、上から下へのスキャン、および左から右へのスキャンに単純化する。図７Ｂのコーディングツリー７２０は、適用されたスキャンオーダーに従って、すべてのノードおよびＣＵをリストする。各分割は、リーフノード（ＣＵ）に到達するまで、ツリーの次のレベルで２、３、または４個の新しいノードのリストを生成する。

画像をＣＴＵに分解し、さらにブロックパーティショナ３１０によってＣＵに分解し、図３を参照して説明したように、各残差ブロック（３２４）を生成するためにＣＵを使用すると、残差ブロックはビデオエンコーダ１１４によって順変換される。ビットストリーム１３３からＴＢを得るために、ビデオデコーダ１３４において同等の逆変換プロセスが実行される。

ビデオエンコーダ１１４では、量子化された係数３３６が２レベル後方対角スキャンを実行することによって、１次元リストに再配置され得る。同様に、ビデオデコーダ１３４において、量子化された係数４２４は、同じ２レベル後方対角スキャンによって、１次元リストからサブブロックの２次元コレクションに再配置され得る。

図８Ａは、例示的な８×８ＴＢ８００の２レベル後方対角スキャン８１０を示す。スキャン８１０は、ＴＢ８００の右下の残差係数位置からＴＢ８００の左上（ＤＣ）の残差係数位置に戻るように進行することを示されている。スキャン８１０の経路は、サブブロックとして知られる４×４領域で、１つのサブブロックから次のサブブロックへ進む。幅または高さが２のＴＢの場合、２×２、２×８、または８×２のサブブロックサイズが利用可能である。特定のサブブロック内のスキャンは、「符号化されたサブブロックフラグ」に従って実行されるか、またはサブブロックがスキップされる。サブブロックのスキャンがスキップされると、サブブロック内の全ての残差係数はゼロの値を有すると推測される。スキャン８１０はＴＢ８００の右下の残差係数位置から開始することを示されているが、残差係数の所与のセットについて、スキャンは「最後の有意係数」の位置から開始し、係数の順序がスキャン順序の代わりにＤＣ係数から進行すると見なされるとき、「最後の」係数である。

図８Ｂは、ＴＳＲＣ処理が選択されるときに使用される、例示的な８×８ＴＢ８５０の代替の２レベル前方対角スキャン８６０を示す。ＴＳＲＣ処理がビデオエンコーダ１１４で使用されるとき、量子化された係数３３６は、スキャン８６０によって１次元リストに再配置される。同様に、ＴＳＲＣ処理がビデオデコーダ１３４内の現在のＴＢのために使用される場合、量子化された係数４２４は、スキャン８６０によって、１次元リストから、サブブロックの２次元コレクションに再配置される。スキャン８６０は、ＴＢ８５０の左上（ＤＣ）残差係数位置からＴＢ８５０の右下残差係数位置に進むことが示されている。スキャン８１０とは異なり、スキャン８６０は「最後の有意係数」で終了しない。

図８Ａおよび８Ｂは、ＶＶＣで典型的に使用されるスキャンパターンを示す。本明細書で説明される例は、モジュール３２６によって変換された残差係数を符号化するためにスキャンパターン８１０を使用し、スキャンパターン８６０は、変換スキップされた変換ブロックのために使用される。
しかしながら、ある実装では、他のスキャンパターンを使用することができる。

上述のように、変換係数３３２は、変換スキップモードが使用されるときの残差係数３２４と同じである。従って、変換スキップモードが選択されているか否かにかかわらず、変換係数３３２は、残差係数と同様に呼ばれることがある。可逆符号化が所望される場合、ビデオエンコーダ１１４は現在のＴＢのための変換スキップを選択し、値「ＴＲＵＥ」を有する変換スキップフラグをビットストリーム１３３にシグナリングする。現在のＴＢに関連する残差係数３３２は、ビットストリーム１３３に符号化される。２つの残差符号化プロセス、「正規残差符号化」（ＲＲＣ）プロセス、および「変換スキップ残差符号化」（ＴＳＲＣ）プロセスが利用可能である。ビデオエンコーダ１１４の通常動作では、変換スキップが選択された場合（変換スキップフラグが値「ＴＲＵＥ」を有する）、ＴＳＲＣプロセスが選択され、そわない場合（変換スキップフラグが値「ＦＡＬＳＥ」を有する）、ＲＲＣプロセスが選択される。しかしながら、残差係数３３２の符号化が可逆符号化の場合にＴＳＲＣによって排他的に処理されることは、典型的には望ましくない。

ビデオエンコーダ１１４の１つの構成では、ＴＳＲＣ無効フラグがビットストリーム１３３内でシグナリングされる。ＴＳＲＣ無効フラグは、ＴＳＲＣ無効フラグをシグナリングする相対コストが低くなるように、シーケンス毎に１回、またはピクチャ毎に１回など、比較的高いレベルでシグナリングすることができる。高レベルのシンタックス要素は、典型的には、シーケンスレベルフラグの場合は「シーケンスパラメータセット」(ＳＰＳ)、パラメータレベルフラグの場合は「ピクチャパラメータセット」(ＰＰＳ)などのパラメータセットにグループ化される。ＴＳＲＣ無効フラグは、ビデオデータ１１３がＴＳＲＣ処理による符号化に適さないと思われる（符号化の損失と機能の再現に関して）クラスに属する場合、「ＴＲＵＥ」に設定されてもよい。ＴＳＲＣによる符号化に適さないビデオデータの例は、自然な場面コンテンツである。ＴＳＲＣ無効フラグは、ビデオデータ１１３がＴＳＲＣ処理でうまくエンコードされると思われるクラスに属するとき、「ＦＡＬＳＥ」に設定されてもよい。ＴＳＲＣ処理で符号化するのに適したビデオデータは、人工スクリーンコンテンツを含む。

ビデオエンコーダ１１４が現在のＴＢのための変換スキップを選択し、ＴＳＲＣ無効フラグが「ＴＲＵＥ」に設定される場合、残差係数３３２は、ＲＲＣプロセスを使用してビットストリーム１３３に符号化される。同様に、ビデオデコーダ１３４が変換スキップが現在のＴＢのために使用され、ＴＳＲＣ無効フラグが「ＴＲＵＥ」に設定されていると判定した場合、残差係数４３２は、ＲＲＣプロセスを使用してビットストリーム１３３から復号される。

図９は、ＲＲＣプロセスを使用して残差係数３３２の変換ブロックを符号化するための方法９００を示す。方法９００は、構成されたＦＰＧＡ、ＡＳＩＣ、またはＡＳＳＰなどの装置によって実施され得る。さらに、方法９００は、プロセッサ２０５の実行下でビデオエンコーダ１１４によって実行されてもよい。このように、方法９００は、コンピュータ読み取り可能な記憶媒体および／またはメモリ２０６に格納されたソフトウェア２３３のモジュールとして実施することができる。

方法９００は、残差係数３３２を受信すると量子化器３３４で、次いでエントロピーエンコーダ３３８で、ビデオエンコーダ１１４によって幾つかの構成で実行される。方法９００は、係数量子化ステップ９１０で始まる。

係数量子化ステップ９１０において、ステップ９１０は、図１１に関連して以下に説明する方法１１００を呼び出す。方法１１００は、構成されたＦＰＧＡ、ＡＳＩＣ、またはＡＳＳＰなどの装置によって実施され得る。さらに、方法１１００は、プロセッサ２０５の実行下でビデオエンコーダ１１４によって実行されてもよい。このように、方法１１００は、コンピュータ読み取り可能な記憶媒体および／またはメモリ２０６に格納されたソフトウェア２３３のモジュールとして実施することができる。方法１１００は残差係数３３２を量子化し、量子化係数３３６を生成する。方法９００は、プロセッサ２０５の制御下で、ステップ９１０から最後位置符号化ステップ９２０に進む。

最後位置符号化ステップ９２０において、ビデオエンコーダ１１４は、残差係数３３２）の変換ブロックについて、量子化係数３３６内の最後の有意係数の位置を見つける。最後の有意係数は、適切なスキャンパターンの前方方向、例えば２レベル前方対角スキャン８６０の方向に関連して決定される。量子化された係数は、係数がゼロ以外の任意の値を有する場合に有意である。最後の有効係数の位置は、ビットストリーム１３３に書き込まれる。方法９００は、プロセッサ２０５の制御下で、ステップ９２０から状態初期化ステップ９３０に進む。

状態初期化ステップ９３０では、量子化器状態Ｑｓｔａｔｅが値ゼロに設定される。
さらに、ステップ９３０で、最後の有効係数を含むサブブロックが選択される。方法９００は、プロセッサ２０５の制御下で、ステップ９３０から、符号化サブブロックフラグ決定ステップ９４０に進む。

ここでの説明は、いくつかのフラグが「ＴＲＵＥ」または「ＦＡＬＳＥ」であることを参照する。「ＴＲＵＥ」に設定することは、要件が満たされている、もしくはモードが選択されていることをフラグ値が示している、ことを意味する。「ＦＡＬＳＥ」に設定することは、要件が満たされていない、もしくはモードが選択されていないことをフラグ値が示している、ことを意味する。

符号化サブブロックフラグ決定ステップ９４０において、ビデオエンコーダ１１４は、符号化サブブロックフラグを決定し、設定する。現在選択されているサブブロックが状態初期化ステップ９３０で選択された最初のサブブロックである場合、符号化サブブロックフラグは「ＴＲＵＥ」に設定されるが、ビットストリーム１３３に符号化されない。現在選択されているサブブロックが、最後のサブブロックテスト９７０に関連して後述するように、最後のサブブロックとして識別される場合、符号化されたサブブロックフラグは「ＴＲＵＥ」に設定されるが、ビットストリーム１３３に符号化されない。

そわない場合、ビデオエンコーダ１１４は、符号化サブブロックフラグを、（ｉ）選択されたサブブロックに属する４×４量子化係数に少なくとも１つの有意係数がある場合には「ＴＲＵＥ」に設定し、または（ｉｉ）有意係数がない場合には「ＦＡＬＳＥ」に設定し、符号化サブブロックフラグをビットストリーム１３３に符号化する。方法９００は、プロセッサ２０５の制御下で、ステップ９４０から符号化サブブロックフラグテストステップ９５０に進む。

符号化サブブロックフラグテストステップ９５０で、方法９００は、符号化サブブロックフラグの値を決定する。方法９００は、符号化サブブロックフラグが「ＴＲＵＥ」に設定されている場合、サブブロック符号化ステップ９６０に進む。さもなければ、符号化サブブロックフラグが「ＦＡＬＳＥ」に設定されている場合、方法９００は、最後のサブブロックテストステップ９７０に進む。

サブブロック符号化ステップ９６０において、エントロピーエンコーダ３３８は、選択されたサブブロック内の量子化係数をビットストリーム１３３に符号化する。ステップ９６０は、図１３に関連して以下に説明する方法１３００を呼び出す。方法９００は、プロセッサの制御下で、ステップ９６０から最後のサブブロックテスト９７０に進む。

最後のサブブロックテスト９７０において、方法９００は、選択されたサブブロックが現在の変換ブロックにおける最後のサブブロックであるかどうかを決定するように動作する。現在選択されているサブブロックが変換ブロックの左上のサブブロックである場合、ステップ９００は「ＹＥＳ」に戻り、方法９００は終了する。そうではなく、現在選択されているサブブロックが変換ブロックの左上のサブブロックでない場合、ステップ９７０は「ＮＯ」に戻り、方法９００は次のサブブロックを選択するステップ９８０に進む。

次のサブブロックを選択するステップ９８０では、変換ブロック内の次のサブブロックが選択される。後方対角スキャン順序８１０における次のサブブロックが選択される。方法９００はステップ９８０から、選択されたサブブロックの符号化サブブロックフラグを決定するステップ９４０に進む。

図１０は、ＲＲＣプロセスによって残差係数４３２の変換ブロックを復号する方法１０００を示す。方法１０００は、構成されたＦＰＧＡ、ＡＳＩＣ、またはＡＳＳＰなどの装置によって実施され得る。さらに、方法１０００は、プロセッサ２０５の実行下でビデオデコーダ１３４によって実行されてもよい。このように、方法１０００は、コンピュータ読み取り可能な記憶媒体および／またはメモリ２０６に格納されたソフトウェア２３３のモジュールとして実施することができる。

方法１０００は、ビットストリーム１３３の受信時にエントロピーデコーダ４２０においてビデオエンコーダ１３４によって、および逆量子化器モジュール４２８において、いくつかの構成で実施される。方法１０００は、最後位置復号ステップ１０１０で始まる。

最後位置復号ステップ１０１０では、残差係数４３２の変換ブロックの最後の有意係数位置がビットストリーム１３３から復号される。方法１０００は、プロセッサ２０５の制御の下で、ステップ１０１０から状態初期化ステップ１０２０に進む。

状態初期化ステップ１０２０において、ビデオデコーダ１３４は、量子化器状態Ｑｓｔａｔｅを値０に初期化する。さらに、ステップ１０２０において、最後の有意係数位置を含むサブブロックが選択される。方法１０００はプロセッサ２０５の制御の下でステップ１０２０から符号化サブブロックフラグ決定ステップ１０３０に進む。

符号化サブブロックフラグ決定ステップ１０３０において、ビデオデコーダ１３４は符号化サブブロックフラグを決定する。現在選択されているサブブロックが状態初期化ステップ１０２０で選択された最初のサブブロックである場合、符号化サブブロックフラグは「ＴＲＵＥ」に設定される（すなわち、符号化サブブロックフラグは「ＴＲＵＥ」であると推測される）。現在選択されているサブブロックが、最後のサブブロックテスト１０６０において以下に説明されるように最後のサブブロックとして識別される場合、符号化サブブロックフラグは「ＴＲＵＥ」として推論される。さもなければ、ビデオデコーダ１３４は、ビットストリーム１３３から符号化サブブロックフラグを復号する。方法１０００は、プロセッサ２０５の制御の下で、ステップ１０３０から符号化サブブロックフラグテスト１０４０に進む。

符号化サブブロックフラグテスト１０４０において、方法１０００は、ステップ１０３０で決定された符号化サブブロックフラグの値をテストする。方法１０００は、符号化サブブロックフラグが「ＴＲＵＥ」の値を有するとステップ１０４０で判断された場合、サブブロック復号ステップ１０５０に進む。そうではなく、ステップ１０４０において、符号化サブブロックフラグが「ＦＡＬＳＥ」の値を有すると判定された場合、現在選択されているサブブロック内の量子化された係数のすべてにゼロの値が割り当てられ、方法１０００は最後のサブブロックテスト１０６０に進む。

サブブロック復号ステップ１０５０において、エントロピーデコーダ４２０は、ビットストリーム１３３から選択されたサブブロックの量子化係数を復号する。ステップ１０５０は、図１４に関連して以下に説明する方法１４００を呼び出す。方法１０００は、プロセッサ２０５の制御下で最後のサブブロックテスト１０６０に進む。

最後のサブブロックテスト１０６０で、現在選択されているサブブロックが変換ブロックの左上のサブブロックである場合、ステップ１０６０は「ＹＥＳ」に戻り、方法１０００は係数スケールステップ１０８０に進む。そわない場合、ステップ１０６０は「ＮＯ」に戻り、方法１０００は次のサブブロックを選択するステップ１０７０に進む。

次のサブブロックを選択するステップ１０７０において、後方対角スキャン順序８１０における次サブブロックが選択される。方法１０００は、プロセッサ２０５の制御の下で、ステップ１０７０から符号化サブブロックフラグ決定ステップ１０３０へ進む。

係数スケールステップ１０８０において、逆量子化器モジュール４２８は量子化係数４２４にスケーリングを適用し、再構成された残差係数４３２を生成する。サブブロックは、復号された符号ビットを使用してサブブロックの残差係数を再構成することによって復号される。ステップ１０８０は、図１２に関連して以下に説明する方法１２００を呼び出す。方法１０００は、ステップ１０８０の実行で終了する。

図１１は変換ブロックの残差係数３３２を量子化し、量子化係数３３６を生成するための方法１１００を示す。方法１１００は、方法９００のステップ９１０においてＴＢに対して実施される。方法１１００は、ＤＱテスト１１１０で始まる。

ＤＱテスト１１１０において、ビデオエンコーダ１１４は、依存量子化が残差係数３３２を量子化するために使用されるかどうかを決定する。ビデオエンコーダ１１４は有効依存量子化フラグの値をチェックし、これは、ビットストリーム１３３においてハイレベルシンタックスとして通知される。有効依存量子化フラグは、依存量子化がフラグの範囲内で許可されるかどうかを決定する。たとえば、シーケンスレベル依存量子化フラグは、ビデオシーケンス全体を符号化するときに依存量子化が許可されるかどうかを決定する。ピクチャレベル依存量子化フラグは、現在のピクチャを符号化するときに依存量子化が許可されるかどうかを決定し、シーケンスレベル依存量子化フラグの値よりも優先される。有効依存量子化フラグが「ＦＡＬＳＥ」である場合、ステップ１１１０は「ＮＯ」を返し、方法１１００は、スカラー量子化ステップ１１２０に進む。

ＤＱテスト１１１０の一構成では、有効依存量子化フラグが「ＴＲＵＥ」である場合、ビデオエンコーダ１１４はまた、現在のＴＢについての変換スキップフラグの値をチェックする。有効依存量子化フラグが「ＴＲＵＥ」であり、変換スキップフラグが「ＴＲＵＥ」である場合、ステップ１１１０は「ＮＯ」を返し、方法１１００はスカラー量子化ステップ１１２０に進む。そわなければ、有効依存量子化フラグが「ＴＲＵＥ」であり、変換スキップフラグが「ＦＡＬＳＥ」である場合、ステップ１１１０は「ＹＥＳ」を返し、方法１１００は依存量子化ステップ１１３０に進む。

ＤＱテスト１１１０の別の構成では、有効依存量子化フラグが「ＴＲＵＥ」である場合、ビデオエンコーダ１１４はまた、ＴＳＲＣ無効フラグの値をチェックする。有効依存量子化フラグが「ＴＲＵＥ」であり、ＴＳＲＣ無効フラグが「ＴＲＵＥ」である場合、ステップ１１１０は「ＮＯ」を返し、方法１１００は、スカラー量子化ステップ１１２０に進む。そわなければ、有効依存量子化フラグが「ＴＲＵＥ」であり、ＴＳＲＣ無効フラグが「ＦＡＬＳＥ」である場合、ステップ１１１０は「ＹＥＳ」を返し、方法１１００は依存量子化ステップ１１３０に進む。

ＤＱテスト１１１０のさらに別の構成では、有効依存量子化フラグが「ＴＲＵＥ」である場合、ビデオエンコーダ１１４はまた、現在のＴＢの量子化パラメータ（ＱＰ）の値をチェックする。ＱＰは、残差係数３３２に適用される量子化の程度を示す。ＱＰは最初のＱＰ_ｉと、ビデオエンコーダ１１４のビット深度ＢＤに依存するオフセットとから、ＱＰ＝ＱＰ_ｉ＋６＊（ＢＤ－８）として決定される。たとえば、ＱＰ_ｉが４で、ビット深度が８の場合、ＱＰは４であると判断される。ＱＰ_ｉが－８であり、ビット深度が１０である場合、ＱＰは４として決定される。典型的には、４のＱＰが、残差係数が量子化されないことを示し、したがって、可逆演算が可能である。しかしながら、ＱＰのより高い値は、依然として可逆演算を達成することができる。例えば、ビデオデータ１１３が、もともと８のビット深度でキャプチャされたが、より高いビット深度でビデオエンコーダ１１４に供給される場合、より高いＱＰで可逆演算が可能である。例えば、ビデオデータ１１３がビット深度８でキャプチャされたが、ビット深度１０でビデオエンコーダ１１４に供給される場合、４、１０、または１６のＱＰで可逆演算が可能である。可逆演算が可能であるＱＰは、高レベルシンタックスパラメータセットで通知される、変換スキップブロックのための最小ＱＰによって示され得る。有効依存量子化フラグが「ＴＲＵＥ」であり、ＱＰが４（または可逆演算を示す任意の値）である場合、ステップ１１１０は「ＮＯ」を返し、方法１１００はスカラー量子化ステップ１１２０に進む。そわない場合、有効依存量子化フラグが「ＴＲＵＥ」であり、ＱＰが４（または可逆演算を示す同様の値）でない場合、ステップ１１１０は「ＹＥＳ」を返し、方法１１００は依存量子化ステップ１１３０に進む。
スカラー量子化ステップ１１２０において、残差係数３３２はｒ［ｎ］として表される。次いで、以下の式（１）に従って残差係数ｒ［ｎ］を量子化することによって、量子化係数ｑ［ｎ］が生成される。
ｑ［ｎ］＝（ｋ＊ｒ［ｎ］＋ｏｆｆｓｅｔ）＞＞ｑｂｉｔｓ （１）
式（１）において、ｋはスケーリングファクタであり、ｑｂｉｔｓは粗い量子化ファクタであり、ｏｆｆｓｅｔは量子化閾値の配置を制御する。ｋ、ｑｂｉｔｓ、およびｏｆｆｓｅｔは、現在のＴＢの量子化パラメータの値に基づいて決定される。たとえば、ＱＰが４の場合、ｋ＝１、ｑｂｉｔｓ＝０、ｏｆｆｓｅｔ＝０である。次いで、ＱＰが４の場合、ｑ［ｎ］＝ｒ［ｎ］となり、スカラー量子化ステップで損失は発生しない。方法１１００は、プロセッサ２０５の制御下で、ステップ１１２０からＳＢＨテスト１１４０に進む。

従属量子化ステップ１１３０において、残差係数ｒ［ｎ］の各々は、複数のスカラ量子化器の選択のうちの１つによって量子化され得る。同じＱＰの場合、スカラー量子化器は同じ量子化分割数を有するが、量子化閾値が互いに相対的にオフセットされる。特定の残差係数ｒ［ｎ］に対するスカラー量子化器は、係数ごとに更新される現在の量子化器状態Ｑｓｔａｔｅに依存し、結果として生じるｑ［ｎ］のパリティ（最下位ビット）によって依存する。以前の状態への依存性のために、最適な量子化結果は、係数ごとに決定されない。最適な量子化結果を決定する１つの効率的な方法は、各係数位置における可能な量子化状態の「トレリス（trellis）」を構築することによる。最適な量子化結果は、トレリスを通る最良のパスを等価的に見つけることによって見つけることができる。最適なトレリスパスは、ビタビアルゴリズムを適用することによって決定することができる。方法１１００は、ステップ１１３０の実行で終了する。

ＳＢＨテスト１１４０において、ビデオエンコーダ１１４は、ＴＢの係数を符号化する前に、量子化係数ｑ［ｎ］を修正するために符号ビットハイディングが使用されるかどうかを判定する。ビデオエンコーダ１１４は、有効符号ビットハイディングフラグの値を確認する。有効符号ビットハイディングフラグは、ビットストリーム１３３においてハイレベルシンタックスとして通知される。例えば、有効符号ビットハイディングフラグは、ピクチャヘッダにおいて通知されることができる。有効依存量子化フラグが「ＴＲＵＥ」の場合、有効符号ビットハイディングフラグは暗黙的に「ＦＡＬＳＥ」である。有効符号ビットハイディングフラグが「ＦＡＬＳＥ」の場合、ステップ１１４０は「ＮＯ」を返し、方法１１００は終了する。

ＳＢＨテスト１１４０の一構成では、判定が有効符号ビットハイディングフラグの値と、現在のＴＢの変換スキップフラグの値と、に依存する。有効符号ビットハイディングフラグが「ＴＲＵＥ」である場合、ビデオエンコーダ１１４はまた、現在のＴＢについての変換スキップフラグの値をチェックする。有効符号ビットハイディングフラグが「ＴＲＵＥ」であり、変換スキップフラグが「ＴＲＵＥ」である場合、ステップ１１４０は「ＮＯ」を返し、方法１１００は終了する。そわなければ、有効符号ビットハイディングフラグが「ＴＲＵＥ」であり、変換スキップフラグが「ＦＡＬＳＥ」である場合、ステップ１１４０は「ＹＥＳ」を返し、方法１１００は、パリティ調整ステップ１１５０に進む。

ＳＢＨテスト１１４０の別の構成では、判定が有効符号ビットハイディングフラグの値およびＴＳＲＣ無効フラグの値に依存する。有効符号ビットハイディングフラグが「ＴＲＵＥ」である場合、ビデオエンコーダ１１４は、ＴＳＲＣ無効フラグの値もチェックする。有効符号ビットハイディングフラグが「ＴＲＵＥ」であり、ＴＳＲＣ無効フラグが「ＴＲＵＥ」である場合、ステップ１１４０は「ＮＯ」を返し、方法１１００は終了する。そわない場合、有効符号ビットハイディングフラグが「ＴＲＵＥ」であり、ＴＳＲＣ無効フラグが「ＦＡＬＳＥ」である場合、ステップ１１４０は「ＹＥＳ」を返し、方法１１００は、パリティ調整ステップ１１５０に進む。

ＳＢＨテスト１１４０のさらに別の構成では、判定が有効符号ビットハイディングフラグの値と、現在のＴＢの量子化パラメータ（ＱＰ）の値と、に依存する。有効符号ビットハイディングフラグが「ＴＲＵＥ」である場合、ビデオエンコーダ１１４はまた、現在のＴＢについてのＱＰの値をチェックする。有効符号ビットハイディングフラグが「ＴＲＵＥ」であり、ＱＰが４（または可逆演算を示す任意の値）である場合、ステップ１１４０は「ＮＯ」を返し、方法１１００は終了する。そうではなく、有効符号ビットハイディングフラグが「ＴＲＵＥ」であり、ＱＰが４（または可逆演算を示す同様の値）でない場合、ステップ１１４０は「ＹＥＳ」を返し、方法１１００はパリティ調整ステップ１１５０に進む。

パリティ調整ステップ１１５０において、ビデオエンコーダ１１４は、現在のＴＢ内のサブブロックの各々について、最初および最後の有意係数の位置をチェックする。サブブロックの最初の有意位置と最後の有意位置との間の差が閾値（典型的には３）より大きい場合、そのサブブロックに対して符号ビットハイディングが使用される。符号ビットハイディングが使用されるサブブロックごとに、ビデオエンコーダ１１４は、サブブロック内の最初の有意係数の符号をチェックし、それに応じてサブブロック内の係数のパリティを調整する。係数のパリティは係数が偶数の場合はゼロであり、係数が奇数の場合は１である。複数の係数のパリティの合計は奇数の係数の個数が奇数の場合はゼロであり、奇数の係数の個数が偶数の場合は１である。サブブロック内の最初の有意係数の符号が正の場合、サブブロック内の係数はパリティの合計がゼロになるように調整される。サブブロック内の最初の有意係数の符号が負の場合、サブブロック内の係数はパリティの合計が１になるように調整される。方法１１００は、ステップ１１５０の実行後に終了する。

図１２は、量子化係数４２４にスケーリングを適用し、再構成された残差係数４３２を生成するための方法１２００を示す。方法１２００は、構成されたＦＰＧＡ、ＡＳＩＣ、またはＡＳＳＰなどの装置によって実施され得る。さらに、方法１２００は、プロセッサ２０５の実行下で、ビデオデコーダ１３４によって実行されてもよい。このように、方法１２００は、コンピュータ読み取り可能な記憶媒体および／またはメモリ２０６に格納されたソフトウェア２３３のモジュールとして実施することができる。方法１２００は、方法１０００のステップ１０８０で実施される。方法１２００は、ＤＱテスト１２１０で始まる。

ＤＱテスト１２１０において、ビデオデコーダ１３４は、従属量子化が量子化係数４２４を逆量子化するために使用されるかどうかを決定する。ビデオデコーダ１３４は、有効依存量子化フラグの値をチェックし、これは、ビットストリーム１３３から復号されてもよく、または他の高レベルシンタックスフラグの値に基づいて推論されてもよい。有効依存量子化フラグが「ＦＡＬＳＥ」である場合、ステップ１２１０は「ＮＯ」を返し、方法１２００は、逆スカラー量子化ステップ１２２０に進む。

ＤＱテスト１２１０の一構成では、有効依存量子化フラグが「ＴＲＵＥ」である場合、ビデオデコーダ１３４は、現在のＴＢの変換スキップフラグの値もチェックする。有効依存量子化フラグが「ＴＲＵＥ」であり、変換スキップフラグが「ＴＲＵＥ」である場合、ステップ１２１０は「ＮＯ」を返し、方法１１００は、逆スカラー量子化ステップ１２２０に進む。そわなければ、有効依存量子化フラグが「ＴＲＵＥ」であり、変換スキップフラグが「ＦＡＬＳＥ」である場合、ステップ１２１０は「ＹＥＳ」を返し、方法１１００は、逆依存量子化ステップ１２３０に進む。

ＤＱテスト１２１０の別の構成では、有効依存量子化フラグが「ＴＲＵＥ」である場合、ビデオデコーダ１３４は、ＴＳＲＣ無効フラグの値もチェックする。有効依存量子化フラグが「ＴＲＵＥ」であり、ＴＳＲＣ無効フラグが「ＴＲＵＥ」である場合、ステップ１２１０は「ＮＯ」を返し、方法１１００は、逆スカラー量子化ステップ１２２０に進む。そわなければ、有効依存量子化フラグが「ＴＲＵＥ」であり、ＴＳＲＣ無効フラグが「ＦＡＬＳＥ」である場合、ステップ１２１０は「ＹＥＳ」を返し、方法１１００は、逆依存量子化ステップ１２３０に進む。

ＤＱテスト１２１０のさらに別の構成では、有効依存量子化フラグが「ＴＲＵＥ」である場合、ビデオデコーダ１３４は、現在のＴＢの量子化パラメータ（ＱＰ）の値もチェックする。有効依存量子化フラグが「ＴＲＵＥ」であり、ＱＰが４（または可逆演算を示す任意の値）である場合、ステップ１２１０は「ＮＯ」を返し、方法１１００は逆スカラー量子化ステップ１２２０に進む。そわない場合、有効依存量子化フラグが「ＴＲＵＥ」であり、ＱＰが４（または可逆演算を示す同様の値）でない場合、ステップ１２１０は「ＹＥＳ」を返し、方法１１００は逆依存量子化ステップ１２３０に進む。

逆スカラー量子化ステップ１２２０において、ビデオデコーダ１３４は、量子化係数４２４をスケーリングし、再構成された残差係数４３２を生成する。量子化係数４２４は、ｑ［ｎ］として表される。再構成された残差係数ｒ［ｎ］は、以下の式（２）に従って量子化係数ｑ［ｎ］をスケーリングすることによって生成される。

式（２）において、ｓは、現在のＴＢに対するＱＰの値に基づいて決定されるスケーリングファクタである。例えば、ＱＰが４の場合、ｓ＝１かつｒ［ｎ］＝ｑ［ｎ］である。方法１２００は、ステップ１２２０の実行で終了する。

逆依存量子化ステップ１２３０において、ビデオデコーダ１３４は、量子化係数４２４に逆依存量子化を適用し、再構成された残差係数４３２を生成する。量子化器状態Ｑｓｔａｔｅは、最初にゼロにリセットされる。量子化係数４２４は、ｑ［ｎ］で表される。各係数位置ｎは、後方対角スキャン順８１０で訪れ、各再構成残差係数ｒ［ｎ］は式（３）に従って計算される。

式（３）において、ｓは現在のＴＢに対するＱＰの値に基づいて決定されたスケーリングファクタである。

各再構成残差係数ｒ［ｎ］が計算された後、量子化器状態は表１に従ってｑ[ｎ]のパリティに基づいて更新される。

方法１２００は、ステップ１２３０の実行で終了する。

量子化係数３３６の統計的特性を利用するために、量子化係数は符号化の前に、ビデオエンコーダ１１４によって（典型的にはエントロピーエンコーダ３３８によって）いくつかのシンタックス要素に二値化される。例えば、量子化係数３３６は、しばしばゼロの値を有するので、１つのシンタックス要素は有意フラグであり、ゼロの値を有する量子化係数に対して「ＦＡＬＳＥ」に設定される。有意フラグが「ＦＡＬＳＥ」に設定されている場合、関連する量子化係数のそれ以上のシンタックス要素は通知されない。有意フラグは、コンテキスト適応２進算術符号化（ＣＡＢＡＣ）エントロピー符号化器を使用することによってビットストリーム１３３に符号化され得る。

ＣＡＢＡＣ符号器は、コンテキスト符号化シンタックス要素を比較的効率的に符号化するが、コンテキスト符号化シンタックス要素の数を制限することは一般に、ハードウェア実装のための計算要件およびコストを最小化するために望ましい。したがって、量子化係数３３６がエントロピーエンコーダ３３８によっていくつかのシンタックス要素に二値化された後、いくつかのシンタックス要素はビットストリーム１３３にコンテキスト符号化され、他のシンタックス要素はビットストリーム１３３にバイパス符号化される。コンテキスト符号化シンタックス要素ビンの総数は、変換ブロックごとに制限される。ＶＶＣ規格では、制限はサンプル当たり１．７５ビンに設定される。例えば、６４個のサンプルからなる８×８変換ブロックの場合、コンテキスト符号化ビンバジェットは１１２ビンに設定される。ＴＢをビットストリーム１３３に符号化する過程で、シンタックス要素がコンテキスト符号化されるときはいつでも、残りのコンテキスト符号化ビンバジェットが追跡され、デクリメントされる。残りのコンテキスト符号化ビンバジェットが枯渇すると、残りの量子化係数および関連するシンタックス要素はバイパス符号化されなければならない。

図１３は、現在選択されたサブブロックの量子化係数（３３６）をビットストリーム１３３に符号化する方法１３００を示す。方法１３００は、方法９００のステップ９６０で実施される。方法１３００は、構成されたＦＰＧＡ、ＡＳＩＣ、またはＡＳＳＰなどの装置によって実施され得る。さらに、方法１３００は、プロセッサ２０５の実行下でビデオエンコーダ１１４によって実行され得る。このように、方法１３００は、コンピュータ読み取り可能な記憶媒体および／またはメモリ２０６に格納されたソフトウェア２３３のモジュールとして実施することができる。方法１３００は、最初の係数を選択するステップ１３１０で始まる。

最初の係数を選択するステップ１３１０において、方法１３００は、現在のサブブロックの量子化係数を選択する。現在のサブブロックが最後の有意係数位置を含む場合、現在の選択された係数が最後の有意係数に設定される。それ以外の場合、現在のサブブロックに最後の有意係数位置が含まれていない場合、現在選択されている係数は現在のサブブロックの右下の係数に設定される。方法１３００は、コンテキスト符号化使用チェック１３２０に進む。

コンテキスト符号化使用チェック１３２０において、ビデオエンコーダ１１４は、残りのコンテキスト符号化ビンバジェットが４以上であるかどうかをチェックする。残りのコンテキスト符号化ビンバジェットが４以上である場合、ステップ１３２０は「ＹＥＳ」を返し、方法１３００は、コンテキスト符号化シンタックス要素符号化ステップ１３３０に進む。そうではなく、現在のコンテキスト符号化ビンバジェットが４未満である場合、ステップ１３２０は「ＮＯ」を返し、方法１３００はリマインダパス（remainder pass）符号化ステップ１３７０に進む。

コンテキスト符号化シンタックス要素符号化ステップ１３３０において、ビデオエンコーダ１１４は、潜在的に有意フラグ、１より大きいフラグ、パリティフラグおよび３より大きいフラグを含むCABAC符号化器を使用して、多数のシンタックス要素をビットストリーム１３３に符号化することができる。シンタックス要素に関連する各ビンは、「コンテキストモデル」を使用してＣＡＢＡＣ符号化器によって符号化される。各ビンのコンテキストモデルは、量子化器状態Ｑｓｔａｔｅの現在の値に応じて選択され得る。さらに、コンテキスト符号化ビンがＣＡＢＡＣ符号化器によってビットストリーム１３３に符号化されるときはいつでも、残りのコンテキスト符号化ビンバジェットは、ステップ１３３０で１だけ低減される。

ステップ１３３０において、現在の係数が最後の有意係数である場合、有意フラグは「ＴＲＵＥ」に設定されるが、ビットストリーム１３３には符号化されない。現在の選択されたサブブロックが、後方スキャン順序８１０における最初または最後のサブブロックではなく、現在の選択された係数が最後係数チェック１３５０において以下に説明されるような最後係数であり、現在の選択されたサブブロックにおける以前の係数に対するすべての有意フラグが「ＦＡＬＳＥ」であった場合、有意フラグは「ＴＲＵＥ」に設定される。有意フラグは、ビットストリーム１３３に符号化されない。現在の係数がゼロの大きさを有する場合、ステップ１３３０において、有意フラグは「ＦＡＬＳＥ」に設定され、ビットストリーム１３３にコンテキスト符号化される。さもなければ、有意フラグは「ＴＲＵＥ」に設定され、ステップ１３３０でビットストリーム１３３にコンテキスト符号化される。

現在の係数が１の大きさを有する場合、１より大きいフラグが「ＦＡＬＳＥ」に設定され、ステップ１３３０でビットストリーム１３３にコンテキスト符号化される。そわない場合、１より大きいフラグは「ＴＲＵＥ」に設定され、ビットストリーム１３３にコンテキスト符号化される。

現在の係数が少なくとも２の大きさを有する場合、パリティフラグは、現在の係数が偶数である場合には「ＦＡＬＳＥ」に設定され、現在の係数が奇数である場合には「ＴＲＵＥ」に設定される。パリティフラグは、ステップ１３３０でビットストリーム１３３にコンテキスト符号化される。現在の係数が３より大きい大きさを有する場合、３より大きいフラグが「ＴＲＵＥ」に設定され、ステップ１３３０でビットストリーム１３３にコンテキスト符号化される。そうではなく、現在の係数が２または３の大きさを有する場合、３より大きいフラグが「ＦＡＬＳＥ」に設定され、ビットストリーム１３３にコンテキスト符号化される。

方法１３００は、プロセッサ２０５の制御下で、ステップ１３３０からＤＱテスト１３４０に進む。１３１０で選択された係数に応じて、方法１３００は、有意フラグを設定（または場合によっては符号化）した後、ステップ１３４０に進む。さもなければ、方法１３００は、１より大きいフラグ、パリティフラグおよび３より大きいフラグのうちの最後の適切な１つを符号化した後、ステップ１３４０に進む。

ＤＱテスト１３４０では、ＤＱテスト１１１０でチェックしたのと同じ条件を用いて、ステップ１３４０が「ＹＥＳ」を返すのかまたは「ＮＯ」を返すのかを判定する。ステップ１３４０が「ＹＥＳ」を返す場合、方法１３００は、Ｑｓｔａｔｅ更新ステップ１３４５に進む。さもなければ、ステップ１３４０が「ＮＯ」を返す場合、方法１３００は、最後係数チェック１３５０に進む。

Ｑｓｔａｔｅ更新ステップ１３４５では、量子化器状態Ｑｓｔａｔｅが表１による現在の係数のパリティに基づいて更新される。方法１３００は、ステップ１３４５から最後係数チェック１３５０に進む。

最後係数チェック１３５０において、ビデオエンコーダ１１４は、現在選択されている係数が現在選択されているサブブロックの左上の係数であるかどうかをチェックする。現在選択されている係数が現在選択されているサブブロックの左上の係数である場合、ステップ１３５０は「ＹＥＳ」を返し、方法１３００はリマインダパス符号化ステップ１３７０に進む。さもなければ、現在の係数が左上の係数でない場合、ステップ１３５０は「ＮＯ」を返し、方法１３００は、次の係数を選択するステップ１３６０に進む。

次の係数を選択するステップ１３６０では、後方対角スキャン順序８１０において、現在選択されているサブブロックの次の係数が選択される。方法１３００は、ステップ１３６０からコンテキスト符号化使用チェック１３２０に進む。

リマインダパスを符号化するステップ１３７０では、現在選択されているサブブロックの量子化係数の残りの大きさが二値化され、例えばエントロピーエンコーダ３３８によってビットストリーム１３３にバイパス符号化される。量子化係数は例えば、後方対角スキャン順序８１０で符号化される。量子化係数がＣＡＢＡＣコーダによってコンテキスト符号化された（すなわち、コンテキスト符号化使用チェック１３２０がパスされた（「ＹＥＳ」を返した））場合、３より大きいフラグが「ＴＲＵＥ」である場合、スキャン位置ｎにおける量子化係数は、残りの大きさｒ［ｎ］を有する。残りの大きさは、式（４）を用いて決定される。
ｒ［ｎ］＝（ｘ［ｎ］－４）＞＞１， （４）

ここで、式（４）、ｘ［ｎ］は、スキャン位置ｎにおける量子化係数の絶対的な大きさである。大きさｒ［ｎ］は二値化され、ビットストリーム１３３にバイパス符号化される。量子化係数がコンテキスト符号化されなかった（コンテキスト符号化使用チェック１３２０がパスされなかった／「ＮＯ」を返した）場合、絶対的な大きさｘ［ｎ］が二値化され、ビットストリーム１３３にバイパス符号化される。方法１３００は、ステップ１３７０からＳＢＨテスト１３８０に進む。

ＳＢＨテスト１３８０では、ＳＢＨテスト１１４０でチェックされたのと同じ条件を使用して、ステップ１３８０が「ＹＥＳ」を返すのか「ＮＯ」を返すのかを判定する。ＳＢＨテスト１１４０が「ＮＯ」を返す場合、ステップ１３８０は「ＮＯ」を返し、方法１３００はＮ個の符号を符号化するステップ１３９０に進む。さもなければ、ビデオエンコーダ１１４は、現在のサブブロックの最初と最後の有意係数の位置をチェックする。最初の有意位置と最後の有意位置との間の差が３より大きい場合、ステップ１３８０は「ＹＥＳ」を返し、方法１３００はＮ－１個の符号を符号化するステップ１３９５に進む。そわない場合、ステップ１３８０は「ＮＯ」を返し、方法１３００はＮ個の符号を符号化するステップ１３９０に進む。

ステップ１１４０に関連して説明されるように、符号ビットハイディングテストは、異なる実装における多数の代替フラグまたは設定に依存することができる。有効符号ビットハイディングフラグが設定されている（「ＴＲＵＥ」値を有する）場合、異なる実装は、ＴＢの変換スキップフラグ、ＴＳＲＣ無効フラグ、またはＴＢのＱＰが可逆符号化に関連する閾値を満たすかどうかに基づいて判定を行うことができる。したがって、ステップ１３８０は、変換ブロック自体に関連する値またはフラグ、あるいはＴＳＲＣ無効フラグの上位レベル値に応じて、符号ビットハイディングが有効か否かを決定する。ステップ１３８０は、可逆符号化を実施するためのある程度の柔軟性を与える。変換ブロックに関連する値またはフラグを使用して符号がハイディングを有効にするかどうかを決定する実装は、ＲＲＣを使用して可逆符号化を実装する際の柔軟性を可能にするのに特に適している。

Ｎ個の符号を符号化するステップ１３９０では、現在選択されているサブブロックの任意の有意係数の符号ビットがビットストリーム１３３にバイパス符号化される。符号ビットは例えば、後方対角スキャン順序８１０に基づいてビットストリーム１３３にバイパス符号化される。方法１３００は、ステップ１３９０の実行後に終了する。

Ｎ－１個の符号を符号化するステップ１３９５では、現在選択されているサブブロックの有意係数の符号ビットが後方対角スキャン順序８１０に基づいてビットストリーム１３３にバイパス符号化される。最初の有意係数（後方対角スキャン順序８１０で最後に訪れる）に関連する符号ビットは、ビットストリーム１３３に符号化されない。言い換えれば、現在選択されているサブブロックにＮ個の有意係数がある場合、Ｎ－１個の符号ビットが、ビットストリーム１３３にバイパス符号化される。方法１３００は、ステップ１３９５の実行で終了する。

図１４は、ビットストリーム１３３から現在選択されたサブブロックの量子化係数（４２４）を復号するための方法１４００を示す。方法１４００は、方法１０００のステップ１０５０で実施される。方法１４００は、構成されたＦＰＧＡ、ＡＳＩＣ、またはＡＳＳＰなどの装置によって実施され得る。さらに、方法１４００は、プロセッサ２０５の実行下で、ビデオデコーダ１３４によって実行されてもよい。このように、方法１４００は、コンピュータ読み取り可能な記憶媒体および／またはメモリ２０６に格納されたソフトウェア２３３のモジュールとして実施することができる。方法１４００は、最初の係数を選択するステップ１４１０で始まる。

最初の係数を選択するステップ１４１０において、方法１４００は、現在のサブブロックの最初の量子化係数を選択する。現在のサブブロックが最後の有意係数位置を含む場合、現在の選択された係数が最後の有意係数に設定される。それ以外の場合、現在選択されている係数は現在のサブブロックの右下の係数に設定される。方法１４００は、ステップ１４１０からコンテキスト符号化使用チェックステップ１４２０に進む。

コンテキスト符号化使用チェック１４２０において、ビデオデコーダ１３４は、残りのコンテキスト符号化ビンバジェットが閾値を満たすかどうか、典型的には変換ブロックのための残りのコンテキスト符号化ビンバジェットが４ビン以上であるかどうかをチェックする。残りのバジェットが４以上である場合、ステップ１４２０は「ＹＥＳ」を返し、方法１４００はコンテキスト符号化シンタックス要素決定ステップ１４３０に進む。そうではなく、残りのＣＡＢＡＣバジェットが閾値（４ビン）未満である場合、ステップ１４２０は「ＮＯ」を返し、方法１４００はリマインダパス復号ステップ１４７０に進む。

コンテキスト符号化シンタックス要素決定ステップ１４３０において、ビデオデコーダ１３４は、ＣＡＢＡＣコーダを使用して、ビットストリーム１３３から多数のコンテキスト符号化シンタックス要素を復号することができる。シンタックス要素に関連する各ビンは、「コンテキストモデル」を使用してＣＡＢＡＣコーダによって復号される。各ビンのコンテキストモデルは、量子化器状態Ｑｓｔａｔｅの現在の値に応じて選択され得る。さらに、コンテキスト符号化ビンがビットストリーム１３３からＣＡＢＡＣコーダによって復号されるときはいつでも、残りのコンテキスト符号化ビンバジェットは１だけ減少される。

現在の係数が最後の有意係数である場合、有意フラグは、ビットストリーム１３３から復号されるのではなく、「ＴＲＵＥ」と推論される。現在の選択されたサブブロックが後方スキャン順序８１０における最初または最後のサブブロックではなく、現在の選択された係数が最後係数チェック１４５０において以下に説明されるような最後係数であり、現在の選択されたサブブロックにおける以前の係数に対するすべての有意フラグが「ＦＡＬＳＥ」であった場合、有意フラグは「ＴＲＵＥ」と推論される。さもなければ、有意フラグは、ステップ１４３０でビットストリーム１３３からコンテキスト復号される。有意フラグが「ＦＡＬＳＥ」に設定されている場合、現在選択されている係数にゼロの値が割り当てられ、方法１４００はＤＱテスト１４４０に進む。

有意フラグが「ＴＲＵＥ」に設定されている場合、ステップ１４３０で、１より大きいフラグがビットストリーム１３３からコンテキスト復号される。１より大きいフラグが「ＦＡＬＳＥ」に設定されている場合、現在選択されている係数に１の大きさが割り当てられ、方法１４００はＤＱテスト１４４０に進む。

１より大きいフラグが「ＴＲＵＥ」に設定されている場合、パリティフラグおよび３より大きいフラグは、ビットストリーム１３３からコンテキスト復号される。方法１４００は、ＤＱテスト１４４０に進む。ステップ１４３０で決定されるフラグの数は、ステップ１４１０で選択された係数の位置および値に依存する。ステップ１４３０からの進行は、有意フラグが推論または復号された後、または１より大きいフラグ、パリティフラグまたは３より大きいフラグの適切なものを復号した後に生じることができる。

ＤＱテスト１４４０では、ＤＱテスト１２１０でチェックしたのと同じ条件を用いて、ステップ１４４０が「ＹＥＳ」を返すのか「ＮＯ」を返すのかを判定する。ステップ１４４０が「ＹＥＳ」を返すと、方法１４００はＱｓｔａｔｅ更新ステップ１４４５に進む。そうではなく、ステップ１４４０が「ＮＯ」を返す場合、方法１４００は、最後係数チェック１４５０に進む。

Ｑｓｔａｔｅ更新ステップ１４４５では、量子化器状態Ｑｓｔａｔｅが表１に従って現在選択されている係数のパリティに基づいて更新される。現在の選択された係数がゼロの値を有する場合、パリティはゼロである。パリティは、現在選択されている係数が１の大きさを有する場合に１である。そわない場合、パリティフラグが「ＦＡＬＳＥ」に設定されている場合はパリティはゼロであり、パリティフラグが「ＴＲＵＥ」に設定されている場合はパリティは１である。方法１４００は、ステップ１４４５から最後係数チェック１４５０に進む。

最後係数チェックステップ１４５０において、ビデオデコーダ１３４は、現在選択されている係数が現在選択されているサブブロックの左上の係数であるかどうかをチェックする。現在選択されている係数が現在選択されているサブブロックの左上の係数である場合、ステップ１４５０は「ＹＥＳ」を返し、方法１４００はリマインダパス復号ステップ１４７０に進む。そうではなく、現在選択されている係数が左上の係数でない場合、ステップ１４５０は「ＮＯ」を返し、方法１４００は次の係数を選択するステップ１４６０に進む。

次の係数を選択するステップ１４６０では、後方対角スキャン順序８１０において、現在選択されているサブブロックの次の係数が選択される。方法１４００は、ステップ１４６０からコンテキスト符号化使用チェック１４２０に進む。

リマインダパス復号ステップ１４７０では、現在選択されているサブブロックの量子化係数の残りの大きさが、ビットストリーム１３３からバイパス復号される。量子化係数は、後方対角スキャン順序８１０で処理される。量子化係数がコンテキスト復号された（コンテキスト符号化使用チェック１４２０がパスされた、または「ＹＥＳ」を返した）、３より大きいフラグが「ＴＲＵＥ」の値で復号された場合、残りの大きさｒ［ｎ］がビットストリーム１３３からバイパス復号され、ここで、ｎは量子化係数のスキャン位置である。量子化係数の絶対的な大きさｘ［ｎ］は、ｘ［ｎ］＝４＋ｐ［ｎ］＋２＊ｒ［ｎ］として決定され、ここで、パリティフラグが「ＦＡＬＳＥ」として復号された場合、ｐ［ｎ］はゼロの値を有し、パリティフラグが「ＴＲＵＥ」として復号された場合、ｐ［ｎ］は１の値を有する。

量子化係数がコンテキスト復号され、１より大きいフラグが「ＴＲＵＥ」として復号されたが、３より大きいフラグが復号されなかった、または「ＦＡＬＳＥ」として復号された場合、絶対的な大きさはｘ［ｎ］＝２＋ｐ［ｎ］として決定される。量子化係数がコンテキスト復号されなかった（コンテキスト符号化使用チェック１４２０がパスされず、「ＮＯ」を返した）場合、絶対的な大きさｘ［ｎ］はビットストリーム１３３からバイパス復号される。方法１４００は、ステップ１４７０からＳＢＨテスト１４８０に進む。

ＳＢＨテスト１４８０において、ビデオデコーダ１３４は、符号ビットハイディングが使用されているかどうか、すなわち、現在選択されているサブブロックに対する１つの符号ビットが推論されているかどうかを判定する。ステップ１４８０で使用されるテストは、エンコーダ側のステップ１１４０で使用されるテストに関する。ビデオデコーダ１３４は、有効符号ビットハイディングフラグの値をチェックし、これは、ビットストリーム１３３内で高レベルシンタックスとして通知されてもよい。有効依存量子化フラグが「ＴＲＵＥ」の場合、有効符号ビットハイディングフラグは「ＦＡＬＳＥ」と推論される。有効符号ビットハイディングフラグが「ＦＡＬＳＥ」の場合、ステップ１４８０は「ＮＯ」を返し、方法１４００は、符号復号ステップ１４９０に進む。

ビデオデコーダ１３４は、現在選択されているサブブロックの最初と最後の有意係数の位置をチェックする。最初の有意位置と最後の有意位置との間の差が３以下である場合、ステップ１４８０は「ＮＯ」を返し、方法１４００は符号復号ステップ１４９０に進む。

ＳＢＨテスト１４８０の１つの構成では、判定が有効符号ビットハイディングフラグの値と、現在のＴＢに対する変換スキップフラグの値と、に依存する。有効符号ビットハイディングフラグが「ＴＲＵＥ」であり、最初の有意位置と最後の有意位置との間の差が３より大きい場合、ビデオデコーダ１３４は、現在のＴＢに対する変換スキップフラグの値もチェックする。変換スキップフラグが「ＴＲＵＥ」である場合、ステップ１４８０は「ＮＯ」を返し、方法１４００は、符号復号ステップ１４９０に進む。さもなければ、変換スキップフラグが「ＦＡＬＳＥ」である場合、ステップ１４８０は「ＹＥＳ」を返し、方法１４００は、符号を復号および推論するステップ１４９５に進む。

ＳＢＨテスト１４８０の別の構成では、判定が有効符号ビットハイディングフラグの値およびＴＳＲＣ無効フラグの値と、に依存する。有効符号ビットハイディングフラグが「ＴＲＵＥ」であり、最初の有意位置と最後の有意位置との間の差が３より大きい場合、ビデオデコーダ１３４は、ＴＳＲＣ無効フラグの値もチェックする。ＴＳＲＣ無効フラグが「ＴＲＵＥ」の場合、ステップ１４８０は「ＮＯ」を返し、方法１４００は符号復号ステップ１４９０に進む。さもなければ、ＴＳＲＣ無効フラグが「ＦＡＬＳＥ」である場合、ステップ１４８０は「ＹＥＳ」を返し、方法１４００は、符号を復号および推論するステップ１４９５に進む。

ＳＢＨテスト１４８０のさらに別の構成では、判定が有効符号ビットハイディングフラグの値、および現在のＴＢの量子化パラメータ（ＱＰ）の値、変換ブロックの量子化パラメータＱＰの最初の有意位置と最後の有意位置との間の差に依存する。有効符号ビットハイディングフラグが「ＴＲＵＥ」であり、最初の有意位置と最後の有意位置との間の差が３より大きい場合、ビデオデコーダ１３４は、現在のＴＢのＱＰの値もチェックする。ＱＰが４（または可逆演算を示す任意の値）である場合、ステップ１４８０は「ＮＯ」を返し、方法１４００は符号復号ステップ１４９０に進む。そうではなく、ＱＰが４（または可逆演算を示す同様の値）ではない場合、ステップ１４８０は「ＹＥＳ」を返し、方法１４００は、符号を復号および推論するステップ１４９５に進む。

符号パス復号ステップ１４９０では、現在選択されているサブブロックの任意の有意係数の符号ビットがビットストリーム１３３からバイパス復号される。符号ビットは、ビットストリーム１３３から後方対角スキャン順序８１０でバイパス復号される。関連する符号ビットが１の値を有する場合、量子化係数の値は－ｘ［ｎ］に設定される。量子化係数の値は、関連する符号ビットがゼロの値を有する場合、ｘ［ｎ］に設定される。方法１４００は、ステップ１４９０の実行で終了する。

符号を復号および推論するステップ１４９５では、現在選択されているサブブロックの有意係数の符号ビットがビットストリーム１３３から後方対角スキャン順序８１０でバイパス復号される。最初の有意係数（後方対角スキャン順序８１０で最後に訪れた）に関連する符号ビットは、ビットストリーム１３３から復号されない。言い換えれば、現在選択されているサブブロックにＮ個の有意係数がある場合、Ｎ－１個の符号ビットが、ビットストリーム１３３からバイパス復号される。最初の有意係数に関連する符号ビットは、有意係数のパリティの合計に基づいて推論される。パリティの合計がゼロである場合、最初の有意係数に関連する符号ビットはゼロと推論される。パリティの合計が１である場合、最初の有意係数に関連する符号ビットが１として推論される。関連する符号ビットが１の値を有する場合、量子化係数の値は－ｘ［ｎ］に設定される。量子化係数の値は、関連する符号ビットがゼロの値を有する場合、ｘ［ｎ］に設定される。その後、方法１４００は終了する。

方法９００および１０００にて記載される構成は、通常の残差符号化プロセスを使用しながら、ビデオデータの可逆圧縮が実行されることを可能にする。依存量子化および符号ビットハイディングは、可逆演算が望まれるときに柔軟に無効化される非可逆符号化ツールであるが、非可逆符号化ブロックにおいて改善された符号化性能を達成するために依然として利用可能であり得る。

産業上の利用可能性
記載される構成は、コンピュータ及びデータ処理産業に、特にビデオ及び画像信号などの信号の復号、符号化のためのディジタル信号処理に適用可能であり、高い圧縮効率を達成する。

上記は、本発明のいくつかの実施形態のみを記載し、本発明の範囲および精神から逸脱することなく、本発明に修正および／または変更を加えることができ、実施形態は例示的であり、限定的ではない。

Claims (12)

1. ビットストリームから画像を復号する方法であって、前記方法は、
   或る位置の有意係数の符号を示すデータが前記ビットストリームから復号されない符号ビットハイディングを使用するかどうかを判断することと、
   依存量子化を使用するかをどうか判断することと、
   前記符号ビットハイディングが使用されると判断された場合、前記符号ビットハイディングを用いて前記画像を復号することと、
   前記依存量子化を使用すると判断された場合、前記依存量子化を用いて前記画像を復号することと、を含み、
   変換スキップ残差符号化のための無効フラグがＴＲＵＥとなる場合、前記符号ビットハイディングおよび前記依存量子化は使用されず、
   前記依存量子化が使用される場合、前記符号ビットハイディングは使用されず、
   前記依存量子化が使用される場合における量子化パラメータは、ビット深度から８を引いた値に６を乗じた結果に所定値を加算することで得られ、
   前記無効フラグは、変換処理がスキップされる場合であっても第２残差符号化ではなく第１残差符号化が適用されるかどうかを示し、前記第１残差符号化は変換処理がスキップされていないブロックのための処理であり、前記第２残差符号化は変換処理がスキップされたブロックのための処理である
   ことを特徴とする方法。
2. 前記第１残差符号化は、サブブロックの右下位置から開始し前記サブブロックの左上位置で終了する逆方向スキャン順序に対応し、
   前記第２残差符号化は、サブブロックの左上位置から開始し前記サブブロックの右下位置で終了する前方向スキャン順序に対応することを特徴とする請求項１に記載の方法。
3. 前記画像は、サブブロック単位で係数をスキャンすることにより復号され、
   前記符号ビットハイディングが用いられない場合、サブブロックにおける有意係数の数と同じ数の符号のデータが復号されることを特徴とする請求項１に記載の方法。
4. 前記画像は、サブブロック単位で係数をスキャンすることにより復号され、
   現在のサブブロックに対して前記符号ビットハイディングが用いられることになる場合、最後の有意係数の位置と最初の有意係数の位置との差分が３より大きいことを特徴とする請求項１に記載の方法。
5. 前記符号ビットハイディングが用いられることになる場合、前記符号ビットハイディングのための有効化フラグが少なくともＴＲＵＥとなることを特徴とする請求項１に記載の方法。
6. ビットストリームに画像を符号化する方法であって、前記方法は、
   或る位置の有意係数の符号を示すデータが前記ビットストリームに符号化されない符号ビットハイディングを使用するかどうかを判断することと、
   依存量子化を使用するかをどうか判断することと、
   前記符号ビットハイディングが使用されると判断された場合、前記符号ビットハイディングを用いて前記画像を符号化することと、
   前記依存量子化を使用すると判断された場合、前記依存量子化を用いて前記画像を符号化することと、を含み、
   変換スキップ残差符号化のための無効フラグがＴＲＵＥとなる場合、前記符号ビットハイディングおよび前記依存量子化は使用されず、
   前記依存量子化が使用される場合、前記符号ビットハイディングは使用されず、
   前記依存量子化が使用される場合における量子化パラメータは、ビット深度から８を引いた値に６を乗じた結果に所定値を加算することで得られ、
   前記無効フラグは、変換処理がスキップされる場合であっても第２残差符号化ではなく第１残差符号化が適用されるかどうかを示し、前記第１残差符号化は変換処理がスキップされていないブロックのための処理であり、前記第２残差符号化は変換処理がスキップされたブロックのための処理である
   ことを特徴とする方法。
7. 前記第１残差符号化は、サブブロックの右下位置から開始し前記サブブロックの左上位置で終了する逆方向スキャン順序に対応し、
   前記第２残差符号化は、サブブロックの左上位置から開始し前記サブブロックの右下位置で終了する前方向スキャン順序に対応することを特徴とする請求項６に記載の方法。
8. 前記画像は、サブブロック単位で係数をスキャンすることにより符号化され、
   前記符号ビットハイディングが用いられない場合、サブブロックにおける有意係数の数と同じ数の符号のデータが符号化されることを特徴とする請求項６に記載の方法。
9. 前記画像は、サブブロック単位で係数をスキャンすることにより符号化され、
   現在のサブブロックに対して前記符号ビットハイディングが用いられることになる場合、最後の有意係数の位置と最初の有意係数の位置との差分が３より大きいことを特徴とする請求項６に記載の方法。
10. 前記符号ビットハイディングが用いられることになる場合、前記符号ビットハイディングのための有効化フラグが少なくともＴＲＵＥとなることを特徴とする請求項６に記載の方法。
11. ビットストリームから画像を復号する復号装置であって、
    或る位置の有意係数の符号を示すデータが前記ビットストリームから復号されない符号ビットハイディングを使用するかどうかを判断する手段と、
    依存量子化を使用するかをどうか判断する手段と、
    前記符号ビットハイディングが使用されると判断された場合、前記符号ビットハイディングを用いて前記画像を復号する手段と、
    前記依存量子化を使用すると判断された場合、前記依存量子化を用いて前記画像を復号する手段と、を有し、
    変換スキップ残差符号化のための無効フラグがＴＲＵＥとなる場合、前記符号ビットハイディングおよび前記依存量子化は使用されず、
    前記依存量子化が使用される場合、前記符号ビットハイディングは使用されず、
    前記依存量子化が使用される場合における量子化パラメータは、ビット深度から８を引いた値に６を乗じた結果に所定値を加算することで得られ、
    前記無効フラグは、変換処理がスキップされる場合であっても第２残差符号化ではなく第１残差符号化が適用されるかどうかを示し、前記第１残差符号化は変換処理がスキップされていないブロックのための処理であり、前記第２残差符号化は変換処理がスキップされたブロックのための処理である
    ことを特徴とする復号装置。
12. ビットストリームに画像を符号化する符号化装置であって、
    或る位置の有意係数の符号を示すデータが前記ビットストリームに符号化されない符号ビットハイディングを使用するかどうかを判断する手段と、
    依存量子化を使用するかをどうか判断する手段と、
    前記符号ビットハイディングが使用されると判断された場合、前記符号ビットハイディングを用いて前記画像を符号化する手段と、
    前記依存量子化を使用すると判断された場合、前記依存量子化を用いて前記画像を符号化する手段と、を有し、
    変換スキップ残差符号化のための無効フラグがＴＲＵＥとなる場合、前記符号ビットハイディングおよび前記依存量子化は使用されず、
    前記依存量子化が使用される場合、前記符号ビットハイディングは使用されず、
    前記依存量子化が使用される場合における量子化パラメータは、ビット深度から８を引いた値に６を乗じた結果に所定値を加算することで得られ、
    前記無効フラグは、変換処理がスキップされる場合であっても第２残差符号化ではなく第１残差符号化が適用されるかどうかを示し、前記第１残差符号化は変換処理がスキップされていないブロックのための処理であり、前記第２残差符号化は変換処理がスキップされたブロックのための処理である
    ことを特徴とする符号化装置。

Images