JP6561101B2 - ビデオ復号化のための方法および装置 - Google Patents

Description

本出願は、２００５年４月１３日に出願された米国仮特許出願第６０／６７１，２５５号、および２００５年７月２０日に出願された米国仮特許出願第６０／７００，８３４号の優先権を主張する。さらに、本出願は、各々が本出願と併せて出願された、整理番号がＰＵ０５００５１、ＰＵ０６００２３の「ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＶＩＤＥＯ ＥＮＣＯＤＩＮＧ（ビデオ符号化のための方法および装置）」と題する米国特許出願、整理番号がＰＵ０６００３０の「ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＶＩＤＥＯ ＤＥＣＯＤＩＮＧ（ビデオ復号化のための方法および装置）」と題する米国特許出願、および整理番号がＰＵ０５０１５９の「ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＶＩＤＥＯ ＥＮＣＯＤＩＮＧ ＡＮＤ ＤＥＣＯＤＩＮＧ（ビデオ符号化および復号化のための方法および装置）」と題する米国特許出願に関係する。

本発明は一般に、ビデオ符号器（ｅｎｃｏｄｅｒ：エンコーダ）および復号器（ｄｅｃｏｄｅｒ：デコーダ）に関し、より詳細には、ビデオ符号化および復号化のための方法および装置に関する。

現在、国際電気通信連合電気通信標準化部門（ＩＴＵ−Ｔ）のＨ．２６４規格（以降「Ｈ．２６４規格」）の４：４：４フォーマットは、３つのチャネルのうちの１つだけを輝度（ｌｕｍａ：ルマ）として符号化し、他の２つのチャネルは、より低効率のツールを使用して、色度（ｃｈｒｏｍａ：クロマ）として符号化される。符号復号器（ｃｏｄｅｃ：コーデック）への入力が、すべての入力成分においてフル解像度を有する４：４：４フォーマットをとる場合、３つの入力成分のうちの２つをより低効率の色度符号化アルゴリズムを用いて符号化することは、それら２つのチャネルにおけるより多くのビットの使用をもたらす。この問題は、イントラ・フレームにおいてより顕著である。例えば、イントラ・オンリー・モード（Ｉｎｔｒａ−Ｏｎｌｙ ｍｏｄｅ）で動作するＨ．２６４規格は、４０ｄＢ（ＰＳＮＲ）以上において、全体的圧縮品質がＪＰＥＧ２ｋ（ＪＰＥＧ２０００）よりも低効率である。

従って、上述した従来技術の問題点を克服するビデオ符号化および復号化のための方法および装置をもつことが望ましく、非常に有利である。

上記およびその他の従来技術の問題点および不都合は、ビデオ符号化および復号化のための方法および装置に関する本発明によって対処される。

本発明の一態様によれば、画像ブロックのためのビデオ信号データを符号化するためのビデオ符号器が提供される。ビデオ符号器は、共通の予測器を使用してビデオ信号データのすべての色成分を符号化するための符号器を含む。

本発明の別の態様によれば、画像ブロックのためのビデオ信号データを符号化するための方法が提供される。この方法は、共通の予測器を使用してビデオ信号データのすべての色成分を符号化するステップを含む。

本発明のまた別の態様によれば、画像ブロックのためのビデオ信号データを復号化するためのビデオ復号器が提供される。ビデオ復号器は、共通の予測器を使用してビデオ信号データのすべての色成分を復号化するための復号器を含む。

本発明のさらに別の態様によれば、画像ブロックのためのビデオ信号データを復号化するための方法が提供される。この方法は、共通の予測器を使用してビデオ信号データのすべての色成分を復号化するステップを含む。

本発明の上記およびその他の態様、特徴、および利点は、添付の図面と併せて読むための、例示的な実施形態についての以下の詳細な説明から明らかとなるであろう。

本発明は、下記の例示的な図によって、より良く理解することができる。
本発明の原理が適用され得る、例示的なビデオ符号化装置を示すブロック図である。 本発明の原理が適用され得る、例示的なビデオ復号化装置を示すブロック図である。 本発明の原理による、符号化前色変換ブロックを伴う、例示的なビデオ符号化プロセスを示すフロー図である。 本発明の原理による、復号化後逆色変換ブロックを伴う、例示的なビデオ復号化プロセスを示すフロー図である。 残差色変換（ＲＣＴ）の簡略化モデルを示すブロック図である。 本発明の原理による、ＡＴＶイントラ・オンリーの場合の平均ＰＳＮＲ対ビット・レートのプロットである。 本発明の原理による、ＡＴＶイントラ・オンリーの場合の平均ＰＳＮＲ対ビット・レートのプロットである。 本発明の原理による、ＣＴイントラ・オンリーの場合の平均ＰＳＮＲ対ビット・レートのプロットである。 本発明の原理による、ＣＴイントラ・オンリーの場合の平均ＰＳＮＲ対ビット・レートのプロットである。 本発明の原理による、ＤＴイントラ・オンリーの場合の平均ＰＳＮＲ対ビット・レートのプロットである。 本発明の原理による、ＤＴイントラ・オンリーの場合の平均ＰＳＮＲ対ビット・レートのプロットである。 本発明の原理による、ＭＩＲ＿ＨＤイントラ・オンリーの場合の平均ＰＳＮＲ対ビット・レートのプロットである。 本発明の原理による、ＭＩＲ＿ＨＤイントラ・オンリーの場合の平均ＰＳＮＲ対ビット・レートのプロットである。 本発明の原理による、ＲＴイントラ・オンリーの場合の平均ＰＳＮＲ対ビット・レートのプロットである。 本発明の原理による、ＲＴイントラ・オンリーの場合の平均ＰＳＮＲ対ビット・レートのプロットである。 本発明の原理による、ＳＴＢ＿ＨＤイントラ・オンリーの場合の平均ＰＳＮＲ対ビット・レートのプロットである。 本発明の原理による、ＳＴＢ＿ＨＤイントラ・オンリーの場合の平均ＰＳＮＲ対ビット・レートのプロットである。 本発明の原理による、Ｈ．２６４シーケンス・パラメータ・シンタックスを示す表である。 本発明の原理による、Ｈ．２６４残差データ・シンタックスを示す表である。 本発明の原理による、Ｈ．２６４残差データ・シンタックスを示す表である。 本発明の原理による、Ｈ．２６４残差データ・シンタックスを示す表である。 本発明の原理による、Ｈ．２６４残差データ・シンタックスを示す表である。 本発明の原理による、符号化前色変換ブロックを伴う、例示的なビデオ符号化プロセスを示すフロー図である。 本発明の原理による、復号化後逆色変換ステップ・ブロックを伴う、例示的なビデオ復号化プロセスを示すフロー図である。 本発明の原理による、Ｈ．２６４マクロブロック予測シンタックスを示す表である。 本発明の原理による、Ｈ．２６４マクロブロック予測シンタックスを示す表である。

本発明は、ビデオ信号データをビデオ符号化および復号化するための方法および装置に関する。本発明は主として、国際電気通信連合電気通信標準化部門（ＩＴＵ−Ｔ）のＨ．２６４規格の４：４：４フォーマットを使用してサンプリングされるビデオ信号データに関して説明するが、本発明が、本発明の範囲を維持しながら、Ｈ．２６４規格のその他のフォーマット（例えば、４：２：２および／または４：２：０フォーマット）、ならびにその他のビデオ圧縮規格を使用してサンプリングされるビデオ信号データにも適用され得ることを理解されたい。

本発明の原理による方法および装置が、輝度または色度圧縮アルゴリズム用の新しいツールの使用を必要としないことを理解されたい。代わりに、既存の輝度符号化ツールを使用することができる。従って、それから生じる１つの有利な結果は、下位互換性を保ち、且つ既存のＨ．２６４（またはその他の適用可能な）規格に対する変更を最小限に抑えながら、４：４：４フォーマットの符号化性能を最大化できることである。

一実施形態において構成される本発明の原理によれば、例えば、４：４：４コンテンツの３つの成分チャネルのすべてを符号化するために、輝度符号化アルゴリズムが使用される。この実施形態の利点は、４：４：４コンテンツを圧縮するための全体的な符号化性能の、従来技術に対する改善を含む。現在、既存のＨ．２６４規格では、３つのチャネルのうちの１つだけが、輝度として符号化され、他の２つは、より低効率のツールを使用して、色度として符号化される。

さらに、一実施形態において構成される本発明の原理によれば、前処理ステップとして、色変換が実行される。従って、この実施形態によれば、圧縮ループ内では、残差色変換（ＲＣＴ：Ｒｅｓｉｄｕａｌ Ｃｏｌｏｒ Ｔｒａｎｓｆｏｒｍ）は実行されない。この実施形態の利点は、すべての色フォーマット間で一貫性のある符号器／復号器アーキテクチャの提供を含む。

さらに、一実施形態において構成される本発明の原理によれば、３つの成分すべてに対して同じ動き／空間予測モードが使用される。この実施形態の利点は、符復号化の複雑さの低減、および下位互換性を含む。

また、別の実施形態によれば、３つの成分すべてに対して同じ予測器を使用する代わりに、３つの成分に対して３つの制限された空間予測器からなる組（またはその一部）が利用されてよい。この実施形態の利点は、４：４：４コンテンツを圧縮するための全体的な符号化性能の、従来技術に対する改善を含む。

上記および以下本明細書で説明する様々な実施形態は、独立型の実施形態として実施することができ、または当業者であれば容易に理解できる方式で組み合わせることができる。従って、例えば、第１の組合せ実施形態では、３つの成分チャネルのすべてを符号化するために、輝度符号化アルゴリズムが有利に使用され、前処理ステップとして、色変換が実行され、３つの成分チャネルすべてに対して、単一の予測器が使用される。第２の組合せ実施形態では、３つの成分チャネルのすべてを符号化するために、輝度符号化アルゴリズムが有利に使用され、前処理ステップとして、色変換が実行され、３つの成分に対して、３つの制限された空間予測器からなる組（またはその一部）が利用されてよい。もちろん、上述したように、本発明の範囲を維持しながら、本明細書で提供される本発明の原理の教示に鑑みて、様々な実施形態のその他の組合せを実施することもできる。

本説明は、本発明の原理について説明する。従って、本明細書で明示的に説明されまたは示されていないが、本発明の原理を実施し、本発明の主旨および範囲に含まれる様々な構成を、当業者が考案できることが理解されよう。

本明細書で述べられるすべての例および条件的表現は、本発明の原理および発明者が当技術分野の発展のために提供した概念を理解する際に、読者を教育的目的で支援することを意図しており、そのような具体的に述べられた例および条件に限定するものではないと解釈すべきである。

さらに、本発明の原理、態様、および実施形態、ならびに本発明の具体的な例について述べる本明細書のすべての言説は、本発明の構造的および機能的均等物の両方を包含することを意図している。加えて、そのような均等物が、現在知られている均等物および将来開発される均等物の両方、すなわち、構造に関わりなく同じ機能を実行する開発された任意の要素を含むことが意図されている。

従って、例えば、本明細書で提示されるブロック図が、本発明の原理を実施する例示的な回路の概念図を代表することは、当業者であれば理解されよう。同様に、フローチャート、フロー図、状態遷移図、および擬似コードなどが、実質的にコンピュータ可読媒体内に表現され、コンピュータまたはプロセッサが明示的に示されているかどうかに関わらず、コンピュータまたはプロセッサによってそのように実行される様々なプロセスを代表することが理解されよう。

図に示された様々な要素の機能は、専用ハードウェアの使用および適切なソフトウェアと共同するソフトウェアを実行可能なハードウェアの使用を通して提供することができる。プロセッサによって提供される場合、機能は、単一の専用プロセッサによって、単一の共用プロセッサによって、または共用されるものがあってもよい複数の個別プロセッサによって提供することができる。さらに、「プロセッサ」または「コントローラ」という用語の明示的な使用は、ソフトウェアを実行可能なハードウェアを排他的に指示すると解釈すべきではなく、ディジタル信号プロセッサ（「ＤＳＰ」）ハードウェア、ソフトウェアを保存するための読み取り専用メモリ（「ＲＯＭ」）、ランダム・アクセス・メモリ（「ＲＡＭ」）、および不揮発性記憶装置を、これらに限定することなく、暗黙に含んでよい。

従来のおよび／またはカスタムのその他のハードウェアを含んでもよい。同様に、図に示されたスイッチは、どれも概念的なものに過ぎない。それらの機能は、プログラム・ロジックの動作を通じて、専用ロジックを通じて、プログラム制御と専用ロジックとの対話を通じて、または手動的にさえも実施することができ、特定の技法は、文脈からより具体的に理解されるように、作成者によって選択可能である。

本明細書に添付された特許請求の範囲において、指定された機能を実行する手段として表されるどの要素も、例えば、ａ）その機能を実行する回路要素の組合せ、またはｂ）任意の形式の、従って、ファームウェアもしくはマイクロコードなどを含むソフトウェアであって、そのソフトウェアを動作させるための適切な回路と組み合わされて機能を実行するソフトウェアを含む、その機能を実行する任意の方法を包含することが意図されている。そのような特許請求の範囲によって確定される本発明は、様々な述べられた手段によって提供される機能が、特許請求の範囲が要求する方式で、組み合わされ、集められるという事実にある。従って、それらの機能を提供できる任意の手段は、本明細書に示される手段と均等であると見なされる。

図１に移ると、例示的なビデオ符号化装置が、参照番号１９９によって全体的に示されている。ビデオ符号化装置１９９は、ビデオ符号器１００と、符号化前色変換モジュール（ｐｒｅ−ｅｎｃｏｄｉｎｇ ｃｏｌｏｒ ｔｒａｎｓｆｏｒｍ ｍｏｄｕｌｅ）１０５を含む。

符号化前色変換モジュール１０５は、ビデオ信号をビデオ符号器１００に入力する前に、ビデオ信号の色前処理（ｃｏｌｏｒ ｐｒｅ−ｐｒｏｃｅｓｓｉｎｇ）を実行するためのものである。符号化前色変換モジュール１０５によって実行される色前処理を、以下本明細書でさらに説明する。符号化前色変換モジュール１０５は、いくつかの実施形態では省略できることを理解されたい。

符号化前色変換モジュール１０５の入力およびビデオ符号器１００の入力は、ビデオ符号化装置１９９の入力として入手可能である。

符号化前色変換モジュール１０５の出力は、ビデオ符号器１００の入力と信号通信で接続される。

ビデオ符号器１００の入力は、加算接合器（ｓｕｍｍｉｎｇ ｊｕｎｃｔｉｏｎ）１１０の非反転入力と信号通信で接続される。加算接合器１１０の出力は、変換器／量子化器１２０と信号通信で接続される。変換器／量子化器１２０の出力は、エントロピー符号器１４０と信号通信で接続される。エントロピー符号器１４０の出力は、ビデオ符号器１００の出力として、またビデオ符号化装置１９９の出力としても利用可能である。

変換器／量子化器１２０の出力はさらに、逆変換器／量子化器１５０と信号通信で接続される。逆変換器／量子化器１５０の出力は、デブロック・フィルタ（ｄｅｂｌｏｃｋ ｆｉｌｔｅｒ）１６０の入力と信号通信で接続される。デブロック・フィルタ１６０の出力は、参照ピクチャ・ストア（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｓｔｏｒｅｓ）１７０と信号通信で接続される。参照ピクチャ・ストア１７０第１の出力は、動きおよび空間予測推定器１８０の第１の入力と信号通信で接続される。ビデオ符号器１００への入力はさらに、動きおよび空間予測推定器１８０の第２の入力と信号通信で接続される。動きおよび空間予測推定器１８０の出力は、動きおよび空間予測補償器１９０の第１の入力と信号通信で接続される。参照ピクチャ・ストア１７０第２の出力は、動きおよび空間補償器１９０の第２の入力と信号通信で接続される。動きおよび空間補償器１９０の出力は、加算接合器１１０の反転入力と信号通信で接続される。

図２に移ると、例示的なビデオ復号化装置が、参照番号２９９によって全体的に示されている。ビデオ復号化装置２９９は、ビデオ復号器２００と、復号化後逆色変換モジュール２９３を含む。

ビデオ復号器２００の入力は、ビデオ復号化装置２９９の入力として入手可能である。
ビデオ復号器２００への入力は、エントロピー復号器２１０の入力と信号通信で接続される。エントロピー復号器２１０の第１の出力は、逆量子化器／変換器２２０の入力と信号通信で接続される。逆量子化器／変換器２２０の出力は、加算接合器２４０の第１の入力と信号通信で接続される。

加算接合器２４０の出力は、デブロック・フィルタ２９０と信号通信で接続される。デブロック・フィルタ２９０の出力は、参照ピクチャ・ストア２５０と信号通信で接続される。参照ピクチャ・ストア２５０は、動きおよび空間予測補償器２６０の第１の入力と信号通信で接続される。動きおよび空間予測補償器２６０の出力は、加算接合器２４０の第２の入力と信号通信で接続される。エントロピー復号器２１０の第２の出力は、動き補償器２６０の第２の入力と信号通信で接続される。デブロック・フィルタ２９０の出力は、ビデオ復号器２００の出力として、またビデオ復号化装置２９９の出力としても利用可能である。

さらに、復号化後逆色変換モジュール（ｐｏｓｔ−ｄｅｃｏｄｉｎｇ，ｉｎｖｅｒｓｅ ｃｏｌｏｒ ｔｒａｎｓｆｏｒｍ ｍｏｄｕｌｅ）２９３の出力が、ビデオ復号化装置２９９の出力として利用可能であってもよい。そのような場合、ビデオ復号器２００の出力は、ビデオ復号器２００に対する後処理モジュールである、復号化後逆色変換モジュール２９３の入力と信号通信で接続される。復号化後逆色変換モジュール２９３の出力は、ビデオ復号器２００の出力に対して後処理を施した逆色変換信号を提供する。復号化後逆色変換モジュール２９３の使用が任意選択であることを理解されたい。

本発明の原理による拡張４：４：４符号化について次に説明する。説明される第１の実施形態は、すべての色成分に対して輝度符号化アルゴリズムが使用され、すべての色成分に対して同じ空間予測モードが使用され、圧縮ループから残差色変換（ＲＣＴ）が省略される、組合せ実施形態である。この組合せ実施形態に関する試験結果も提供される。その後で、すべての色成分に対して輝度符号化アルゴリズムが使用され、すべての色成分に対して（単一の空間予測モードの代わりに）制限された空間予測器からなる組（またはその一部）が使用され、圧縮ループから残差色変換（ＲＣＴ）が省略される、第２の組合せ実施形態を説明する。従って、第１および第２の組合せ実施形態の間の相違は、第１の組合せ実施形態ではすべての色成分に対して単一の空間予測モードを使用するのに対して、第２の組合せ実施形態ではすべての色成分に対して制限された空間予測器からなる組（またはその一部）を使用する点にある。もちろん、上述したように、本明細書で説明する実施形態は、独立型の実施形態として実施することができ、または当業者であれば容易に理解できる方式で組み合わせることができる。例えば、一実施形態において構成される本発明の原理によれば、圧縮ループからのＲＣＴの省略など、その他の実施形態と組み合わせることなく、単一の空間予測モードだけが使用される。本明細書で提供される本発明の原理の教示に鑑みて、本発明の実施形態の上記およびその他の変形、実施、および組合せが、本発明の範囲を維持しながら、当業者によって容易に確認可能であることを理解されたい。

図３に移ると、例示的なビデオ符号化プロセスと、それに付随する符号化前色変換ブロックが、それぞれ参照番号３００および３０１によって全体的に示されている。

符号化前色変換ブロック３０１が、ブロック３０６、３０８、３１０を含むことを理解されたい。さらに、符号化前色変換ブロック３０１は、任意選択であること、従って、本発明のいくつかの実施形態では省略できることも理解されたい。

符号化前色変換ブロック３０１は、画像内の各ブロックに関するループを開始し、制御を機能ブロック３０８に渡す、ループ端ブロック３０６を含む。機能ブロック３０８は、現在の画像ブロックのビデオ信号データの色前処理を実行し、制御をループ端ブロック３１０に渡す。ループ端ブロック３１０は、ループを終了する。さらに、ループ端ブロック３１０は、ビデオ符号化プロセス３００に含まれるループ端ブロック３１２に制御を渡す。

ループ端ブロック３１２は、画像内の各ブロックに関するループを開始し、制御を機能ブロック３１５に渡す。機能ブロック３１５は、現在の画像ブロックの各色成分に対して共通の予測器を使用して、現在の画像ブロックの動き補償または空間予測を形成し、制御を機能ブロック３２０に渡す。機能ブロック３２０は、現在の画像ブロックから動き補償または空間予測を減算して、予測残差を形成し、制御を機能ブロック３３０に渡す。機能ブロック３３０は、予測残差を変換および量子化し、制御を機能ブロック３３５に渡す。機能ブロック３３５は、予測残差を逆変換および量子化して、符号化予測残差を形成し、制御を機能ブロック３４５に渡す。機能ブロック３４５は、符号化残差を予測に追加して、符号化ピクチャ・ブロックを形成し、制御をループ終了ブロック３５０に渡す。ループ終了ブロック３５０は、ループを終了し、制御を終了ブロック３５５に渡す。

図４に移ると、例示的なビデオ復号化プロセスと、それに付随する復号化後逆色変換ブロックが、それぞれ参照番号４００および４６０によって全体的に示されている。

復号化後逆色変換ブロック４６０が、ブロック４６２、４６４、４６６、４６８を含むことを理解されたい。さらに、復号化後逆色変換ブロック４６０は、任意選択であること、従って、本発明のいくつかの実施形態では省略できることも理解されたい。

復号化プロセス４００は、画像内の現在のブロックに関するループを開始し、制御を機能ブロック４１５に渡す、ループ端ブロック４１０を含む。機能ブロック４１５は、符号化残差をエントロピー復号化し、制御を機能ブロック４２０に渡す。機能ブロック４２０は、復号化残差を逆変換および量子化して、符号化残差を形成し、制御を機能ブロック４３０に渡す。機能ブロック４３０は、符号化残差を、各色成分に対して共通の予測器から形成された予測に追加して、符号化ピクチャ・ブロックを形成し、制御をループ端ブロック４３５に渡す。ループ端ブロック４３５は、ループを終了し、制御を終了ブロック４４０に渡す。

いくつかの実施形態では、ループ端ブロック４３５は任意選択で、復号化後逆色変換ブロック４６０に、詳細には、復号化後逆色変換ブロック４６０に含まれるループ端ブロック４６２に制御を渡す。ループ端ブロック４６２は、画像内の各ブロックに関するループを開始し、制御を機能ブロック４６４に渡す。機能ブロック４６４は、現在の画像ブロックのビデオ信号データの逆色後処理（ｉｎｖｅｒｓｅ ｃｏｌｏｒ ｐｏｓｔ−ｐｒｏｃｅｓｓｉｎｇ）を実行し、制御をループ端ブロック４６６に渡す。ループ端ブロック４６６は、ループを終了し、制御を終了ブロック４６８に渡す。

Ｈ．２６４の４：４：４フォーマットでは、すべての成分チャネルがフル解像度をもつ。従って、上述された第１の組合せ実施形態によれば、最大の全体的圧縮効率を達成するために、すべての色成分上で、輝度符号化アルゴリズムが使用される。従って、この実施形態では、イントラ・フレームの場合、あらゆる色成分を、例えば、ＩＳＯ／ＩＥＣ １４４９６ １０ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ ３ｒｄ Ｅｄｉｔｉｏｎ（ＩＴＵ−Ｔ Ｒｅｃ． Ｈ．２６４）、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１およびＩＴＵ−Ｔ ＳＧ１６ Ｑ．６、Ｄｏｃｕｍｅｎｔ Ｎ６５４０、２００４年７月の、Ｔａｂｌｅ ８−２、Ｔａｂｌｅ ８−３、およびＴａｂｌｅ ８−４に列挙された予測モードを使用して、圧縮することができる。

加えて、前記実施形態では、さらに符号復号器（ｃｏｄｅｃ：コーデック）の複雑さを減らし、性能を向上させるために、３つのピクセル成分すべてに対して同じ空間予測モードが使用される。例えば、マクロブロック予測ヘッダ内の輝度用パラメータｐｒｅｖ＿ｉｎｔｒａ４×４＿ｐｒｅｄ＿ｍｏｄｅ＿ｆｌａｇ、ｒｅｍ＿ｉｎｔｒａ４×４＿ｐｒｅｄ＿ｍｏｄｅ、ｐｒｅｖ＿ｉｎｔｒａ８×８＿ｐｒｅｄ＿ｍｏｄｅ＿ｆｌａｇ、およびｒｅｍ＿ｉｎｔｒａ８×８＿ｐｒｅｄ＿ｍｏｄｅによって設定される予測モードが、３つの成分すべてによって使用される可能性がある。従って、追加ビットおよびシンタックス要素は必要とされない。ＢおよびＰ（予測）フレームの場合、分数ピクセル位置にある参照ピクセルは、３つのチャネルすべてについて、Ｈ．２６４規格のセクション８．４．２．２．１に記載された補間方法によって計算することができる。現行のＨ．２６４規格に対するシンタックスおよびセマンティック変更の詳細を、以下本明細書でさらに説明する。

残差色変換（ＲＣＴ）が、ハイ４：４：４プロファイル（Ｈｉｇｈ ４：４：４ Ｐｒｏｆｉｌｅ）において、符号器／復号器に追加された。その結果、４：４：４フォーマット用の圧縮構造は、４：２：０および４：２：２フォーマット用のＨ．２６４規格の他のプロファイルすべてで現在使用されている圧縮構造と異なる。これは、実装にいくつかの追加の複雑さをもたらす。さらに、その他の任意の色変換と同様に、ＹＣＯＣＧは、全体的な圧縮性能を常に向上させるとは限らない。ＹＣＯＣＧの有効性は、非常に内容依存的である。従って、全体的な圧縮および堅牢性を向上させるために、前記実施形態では、色変換は、前処理ブロックの一部として、予測ループの外側に配置される。これを行うことによって、特定の圧縮タスクにとって最適な色変換を選択することは、運用上の問題となり、特定の入力系列にとっての最良解は、複数の選択肢の中から見つけることができる。３つの成分のすべてが、イントラ・フレームについて同じ空間予測器を使用し、ＢおよびＰ（予測またはインター符号化）フレームについて同じ補間フィルタを使用する一実施形態によれば、予測残差上で色変換を実行することは、丸め／切り捨て誤差を無視すれば、符号復号器の外において原画像上で色変換を実行することと同じである。これはさらに、以下本明細書で説明する。従って、すべての色フォーマットの間で符号化構造を一貫させるために、ＲＣＴブロックは、符号化構造から取り除かれる。

図５に移ると、ＲＣＴの簡略化モデルが、参照番号５００によって全体的に示されている。ＲＣＴモデル５００は、参照ピクセル生成器５１０と、加算接合器５２０と、線形変換モジュール５３０を含む。参照ピクセル生成器５１０への入力は、動き／エッジ情報と、ベクトル［Ｘ1］、［Ｘ2］…［Ｘn］を受け取るように構成される。参照ピクセル生成器５１０の出力は、加算接合器５２０に予測ベクトル［Ｘp］を提供する、加算接合器５２０の反転入力と信号通信で接続される。加算接合器５２０の非反転入力は、入力ベクトル［Ｘin］を受け取るように構成される。加算接合器５２０の出力は、線形変換モジュール５３０にベクトル［Ｘd］を提供する、線形変換モジュール５３０の入力と信号通信で接続される。線形変換モジュール５３０の出力は、ベクトル［Ｙd］を提供するように構成される。

ＲＣＴの簡略化モデル５００では、３×３行列によって表される色変換（線形変換）は、以下のように定義される。

［Ｘin］、［Ｘd］、［Ｘp］、［Ｘ1］、［Ｘ2］…［Ｘn］は、ＲＧＢ領域においてピクセルを表す３×１ベクトルである。［Ｙd］は、色変換の結果を表す３×１ベクトルである。従って、以下のようになる。

前記実施形態では、一実施形態において構成される本発明の原理によれば、マクロブロック内の３つの成分すべてに対して同じ空間予測器および補間フィルタが使用されるので、参照ピクセル［Ｘp］は、以下のように表現することができる。

ここで、ｎ×１ベクトル［Ｃ］は、Ｈ．２６４規格で定義される空間予測器および補間フィルタに含まれる線形演算を表す。ここでは、参照ピクセルは、全部でｎ個の近隣ピクセル［Ｘ1］、［Ｘ2］…［Ｘn］を使用することによって計算されると仮定されている。

式（３）の［Ｘp］を式（２）に代入すると、以下が得られる。

丸め／切り捨て誤差を無視し、ＲＧＢまたはＹ領域で同じ予測モードが選択されると仮定すると、以下が得られる。

従って、以下のようになる。

従って、式（６）は明らかに、この実施形態において構成される本発明の原理による符号器／復号器への入力としてＹＵＶを使用することは、ＲＣＴを実行することと同じであることを示している。

また、一実施形態において構成される本発明の原理によれば、新しい４：４：４プロファイルが、Ｈ．２６４規格に追加され、本明細書では、「ｐｒｏｆｉｌｅ＿ｉｄｃ＝１６６を有するアドバンスト４：４：４プロファイル（Ａｄｖａｎｃｅｄ ４：４：４ Ｐｒｏｆｉｌｅ）」と呼ばれる。この新しいｐｒｏｆｉｌｅ＿ｉｄｃは、シーケンス・パラメータ・ヘッダ内に追加することができ、マクロブロック・レイヤ・ヘッダおよび残差データ・ヘッダ内で使用することができる。

輝度アルゴリズムを使用して３つの色成分すべてを符号化することをサポートするために、いくつかの変更が、残差データ・シンタックスに施されてよい。加えて、マクロブロック・ヘッダ、残差データ・ヘッダ内などのいくつかの要素のセマンティクスにも、変更が施されてよい。一般に、Ｈ．２６４仕様における輝度用の既存シンタックスは、無変更のままであり、３つの成分の１つを符号化するために使用される。変更は下位互換である。シンタックスおよびセマンティクスの変更の詳細は、以下本明細書で説明する。

様々な実施形態において構成される本発明の原理に従って実行されたシミュレーション結果に関して、次に説明する。

図６Ａおよび図６Ｂに移ると、ＡＴＶイントラ・オンリーの場合の平均ＰＳＮＲ対ビット・レートのプロットが、それぞれ参照番号６００および６５０によって全体的に示されている。

図７Ａおよび図７Ｂに移ると、ＣＴイントラ・オンリーの場合の平均ＰＳＮＲ対ビット・レートのプロットが、それぞれ参照番号７００および７５０によって全体的に示されている。

図８Ａおよび図８Ｂに移ると、ＤＴイントラ・オンリーの場合の平均ＰＳＮＲ対ビット・レートのプロットが、それぞれ参照番号８００および８５０によって全体的に示されている。

図９Ａおよび図９Ｂに移ると、ＭＩＲ＿ＨＤイントラ・オンリーの場合の平均ＰＳＮＲ対ビット・レートのプロットが、それぞれ参照番号９００および９５０によって全体的に示されている。

図１０Ａおよび図１０Ｂに移ると、ＲＴイントラ・オンリーの場合の平均ＰＳＮＲ対ビット・レートのプロットが、それぞれ参照番号１０００および１０５０によって全体的に示されている。

図１１Ａおよび図１１Ｂに移ると、ＳＴＢ＿ＨＤイントラ・オンリーの場合の平均ＰＳＮＲ対ビット・レートのプロットが、それぞれ参照番号１１００および１１５０によって全体的に示されている。

具体的には、図６Ａ、図７Ａ、図８Ａ、図９Ａ、図１０Ａ、および図１１Ａは、（「新しい（ＮＥＷ）」という語によって示され、この語が前に置かれる）提案するアドバンスト４：４：４プロファイル対それに対応する近似結果についての試験結果を示す。さらに、図６Ｂ、図７Ｂ、図８Ｂ、図９Ｂ、図１０Ｂ、および図１１Ｂは、（「新しい」という語によって示され、この語が前に置かれる）提案するアドバンスト４：４：４プロファイル対ＪＰＥＧ２０００についての試験結果を示す。

図６Ａ、図６Ｂから図１１Ａ、図１１Ｂのすべてにおいて、ＰＳＮＲはデシベル（ｄＢ）で表され、ビット・レートはビット毎秒（ｂｐｓ）で表される。ＡＴＶ、ＣＴ、ＤＴ、ＭＩＲ、ＲＴ、ＳＴＢは、試験チップの名前である。

ＪＶＴ−Ｊ０４２、Ｆｉｌｍ−Ｏｒｉｇｉｎａｔｅｄ Ｔｅｓｔ Ｓｅｑｕｅｎｃｅｓに記載されているすべてのＪＶＴ／ＦＲＥｘｔ試験系列が、試験で使用された。それらはすべて、４：４：４ １０ビットのフィルム材料（ｆｉｌｍ ｍａｔｅｒｉａｌ）であり、各クリップは５８のフレームを有する。

提案するアドバンスト４：４：４プロファイルは、ＪＶＴ参照ソフトウェアＪＭ９．６で実施された。イントラ・オンリーおよびＩＢＢＰ符号化構造の両方が、試験で使用された。量子化パラメータは、Ｒ−Ｄ曲線の各々について、６、１２、１８、２４、３０、および４２に設定された。ＲＤ最適化モード選択が使用された。

提案するアドバンスト４：４：４プロファイルは、すべての個別入力成分上でＹＵＶＦｏｒｍａｔ＝０（４：０：０）とした参照ソフトウェアを実行することによって達成された結果とも比較された。圧縮ビット・レートを計算するための総圧縮ビットを得るために、３つの別々の個別圧縮ビット・カウントが単純に足し合わされた。

ＪＰＥＧ２ｋに関して、ＫａＫａｄｕ Ｖ２．２．３ソフトウェアが、試験で使用された。試験結果は、９／７タップ双直交ウェーブレット・フィルタを用いる５レベルのウェーブレット分解を使用することによって生成された。フレーム当たり唯一のタイルが存在し、与えられた目標レートについてのＲＤ最適化も使用された。

ＰＳＮＲ測定のすべてが、ＲＧＢ領域で実行された。全体的な圧縮品質を比較するために、（ＰＳＮＲ（赤）＋ＰＳＮＲ（緑）＋ＰＳＮＲ（青））／３として定義される平均ＰＳＮＲが使用された。これは主に、ＪＰＥＧ２ｋ圧縮データが、ソフトウェアによって提供される未知のレート制御アルゴリズムを使用して計算されるためである。いくつかの場合、特にＪＰＥＧ２ｋ色変換が使用された場合、ＲＧＢ ＰＳＮＲ値は、互いに非常に大きく離れている。

圧縮比較は、以下のように実行された。
・Ｎｅｗ１：単一の予測モードを用いる提案するアドバンスト４：４：４プロファイル。
・Ｎｅｗ３：３つの予測モードを用いる提案するアドバンスト４：４：４プロファイル。
・ＲＣＴ−ＯＦＦ：ＲＣＴ＝ｏｆｆとしたＲＧＢ入力。
・ＲＣＴ−ＯＮ：ＲＣＴ＝ｏｎとしたＲＧＢ入力。
・ＹＣＯＣＧ：ＲＧＢからＹＣＯＣＧへの変換が符号復号器の外で実行された。その後、変換ＹＣＯＣＧが、ＪＶＴソフトウェアへの入力として使用された。
・Ｒ＋Ｇ＋Ｂ：Ｒ、Ｇ、およびＢ信号を別々に圧縮することによって近似された提案する方法。
・Ｙ＋ＣＯ＋ＣＧ：変換Ｙ、ＣＯ、およびＣＧ信号を別々に圧縮することによって近似された提案する方法。
・Ｊ２ｋ＿ＲＧＢ：ＪＰＥＧ２ｋ圧縮がＲＧＢ領域で実行された。ＪＰＥＧ２ｋ色変換はオフにされた。
・Ｊ２ｋ＿ＹＵＶ：ＪＰＥＧ２ｋ圧縮がＹＵＶ領域で実行された。ＪＰＥＧ２ｋ色変換が使用された。

試験結果によれば、一実施形態において構成される本発明の原理に従った実施は、一般に、全体的な圧縮効率に関して、ＪＰＥＧ２ｋと非常に類似している。いくつかの場合では、僅かながらもより優れている。

さらに、一実施形態において構成される本発明の原理に従った実施は、４０ｄＢ（ＰＳＮＲ）を超える品質について現行のハイ４：４：４プロファイルよりも非常に優れた性能（圧縮）を提供する。具体的には、Ｎｅｗ１−ＹＣＯＣＧまたはＮｅｗ３−ＹＣＯＣＧは、ＹＣＯＣＧおよびＲＣＴ−ＯＮよりも優れており、Ｎｅｗ１−ＲＧＢまたはＮｅｗ３−ＲＧＢは、ＲＣＴ−ＯＦＦよりも優れている。４５ｄＢ（ＰＳＮＲ）以上のＰＳＮＲでは、平均ＰＳＮＲにおける平均的な改善は、１．５ｄＢよりも大きい。最後の例では、４５ｄＢに等しいＰＳＮＲにおいて、改善は２５％より大きいビット節約に変換され得る。

試験結果によれば、色変換は、ＴＰ、ＲＴなど、内容がより大きく色飽和（ｃｏｌｏｒ ｓａｔｕｒａｔｅｄ）している場合に、符号化性能を助けると思われる。すなわち、色が無彩であまり飽和していない場合、ＲＧＢ領域における符号化が、正しい選択であるかもしれない。上の観察は、どの色変換が使用されるかとは無関係である。

Ｎｅｗ１−ＹＣＯＣＧまたはＮｅｗ３−ＹＣＯＣＧとＪＰＥＧ−２ｋ＿ＹＵＶの結果を比較すると、符号化効率の改善に関する特定の色変換の性能が、非常に内容依存であることが観察された。常に最善である単一の色変換は存在しない。従って、発明者らのデータは、符号化（または復号化）ループの内側にＲＣＴなどの色変換をもつことが良いアイデアでないことがあることを確認した。代わりに、必要であれば、符号器／復号器の外側で色変換を実行することは、全体的な圧縮システムに、より優れ且つより堅牢な性能を提供させることができる。

ＹＣＯＣＧをＲＣＴ−ＯＮと比較すると、試験結果は、ＲＣＴからの符号化効率の改善を示していない。加えて、ＲＣＴがオンにされた参照ソフトウェアを実行することは、符号化時間を著しく増大させることに留意されたい。実行時間は、２．５倍よりも長くなった。

一実施形態において構成される本発明の原理によるシンタックスおよびセマンティクス変更に関して、次に説明する。

図１２に移ると、Ｈ．２６４シーケンス・パラメータ・シンタックスについての表が、参照番号１２００によって全体的に示されている。一実施形態において構成される本発明の原理によるシンタックスへの変更は、イタリック体テキストによって示されている。

図１３に移ると、Ｈ．２６４残差データ・シンタックスについての表が、参照番号１３００によって全体的に示されている。一実施形態において構成される本発明の原理によるシンタックスへの追加／変更は、イタリック体テキストによって示されている。表１３００では、ｌｕｍａ１およびｌｕｍａ２をそれぞれサポートするために、残差データ・ヘッダ内の輝度セクションは、必要なテキスト修正を伴って、２回繰り返される。

上述したように、上で説明した第１の組合せ実施形態は、ＪＶＴ参照ソフトウェアＪＭ９．６で本発明の原理を実施することによって、評価および試験された。Ｎｅｗ１−ＲＧＢまたはＮｅｗ１−ＹＣＯＣＧによってマークされた試験結果は、第１の組合せ実施形態を表す。

上述したように、一実施形態において構成される本発明の原理によれば、単一の空間予測モードの代わりに、３つの制限された空間予測器からなる組（またはその一部）が、成分チャネル（例えば、ＲＧＢ、ＹＵＶ、ＹＣｒＣｂフォーマットなど）に対して利用される。さらに、上述したように、この実施形態は、例えば、内容の３つの成分チャネルすべてを符号化するために輝度符号化アルゴリズムだけを使用すること、および／または前処理ステップとして色変換を使用することなど、本明細書で説明するその他の実施形態と組み合わされてもよい。

色成分に対して３つの制限された空間予測器からなる組（またはその一部）を使用すること、３つの色成分のすべてを符号化するために輝度符号化アルゴリズムだけを使用すること、および前処理ステップとして色変換を使用する（すなわち、圧縮ループ内にＲＣＴをもたない）ことを含む、上で説明した第２の組合せ実施形態に関して、次に説明する。この実施形態のいくつかの変形も一緒に説明する。

図１４に移ると、例示的なビデオ符号化プロセスと、それに付随する符号化前色変換ステップが、それぞれ参照番号１４００および１４０１によって全体的に示されている。

符号化前色変換ブロック１４０１が、ブロック１４０６、１４０８、１４１０を含むことを理解されたい。さらに、符号化前色変換ブロック１４０１は、任意選択であること、従って、本発明のいくつかの実施形態では省略できることも理解されたい。

符号化前色変換ブロック１４０１は、画像内の各ブロックに関するループを開始し、制御を機能ブロック１４０８に渡す、ループ端ブロック１４０６を含む。機能ブロック１４０８は、現在の画像ブロックのビデオ信号データの色前処理を実行し、制御をループ端ブロック１４１０に渡す。ループ端ブロック１４１０は、ループを終了する。さらに、ループ端ブロック１４１０は、ビデオ符号化プロセス１４００に含まれるループ端ブロック１４１２に制御を渡す。

ループ端ブロック１４１２は、画像内の各ブロックに関するループを開始し、制御を機能ブロック１４１５に渡す。機能ブロック１４１５は、現在の画像ブロックの各色成分に対して共通の予測器を使用して、現在の画像ブロックの動き補償または空間予測を形成し、制御を機能ブロック１４２０に渡す。機能ブロック１４２０は、現在の画像ブロックから動き補償または空間予測を減算して、予測残差を形成し、制御を機能ブロック１４３０に渡す。機能ブロック１４３０は、予測残差を変換および量子化し、制御を機能ブロック１４３５に渡す。機能ブロック１４３５は、予測残差を逆変換および量子化して、符号化予測残差を形成し、制御を機能ブロック１４４５に渡す。機能ブロック１４４５は、符号化残差を予測に追加して、符号化ピクチャ・ブロックを形成し、制御をループ終了ブロック１４５０に渡す。ループ終了ブロック１４５０は、ループを終了し、制御を終了ブロック１４５５に渡す。

図１５に移ると、例示的なビデオ復号化プロセスと、それに付随する復号化後逆色変換ステップが、それぞれ参照番号１５００および１５６０によって全体的に示されている。

復号化後逆色変換ブロック１５６０が、ブロック１５６２、１５６４、１５６６、１５６８を含むことを理解されたい。さらに、復号化後逆色変換ブロック１５６０は、任意選択であること、従って、本発明のいくつかの実施形態では省略できることも理解されたい。

復号化プロセス１５００は、画像内の現在のブロックに関するループを開始し、制御を機能ブロック１５１５に渡す、ループ端ブロック１５１０を含む。機能ブロック１５１５は、符号化残差をエントロピー復号化し、制御を機能ブロック１５２０に渡す。機能ブロック１５２０は、復号化残差を逆変換および量子化して、符号化残差を形成し、制御を機能ブロック１５３０に渡す。機能ブロック１５３０は、符号化残差を、各色成分に対して共通の予測器から形成された予測に追加して、符号化ピクチャ・ブロックを形成し、制御をループ端ブロック１５３５に渡す。ループ端ブロック１５３５は、ループを終了し、制御を終了ブロック１５４０に渡す。

いくつかの実施形態では、ループ端ブロック１５３５は任意選択で、復号化後逆色変換ブロック１５６０に、詳細には、復号化後逆色変換ブロック１５６０に含まれるループ端ブロック１５６２に制御を渡す。ループ端ブロック１５６２は、画像内の各ブロックに関するループを開始し、制御を機能ブロック１５６４に渡す。機能ブロック１５６４は、現在の画像ブロックのビデオ信号データの逆色後処理を実行し、制御をループ端ブロック１５６６に渡す。ループ端ブロック１５６６は、ループを終了し、制御を終了ブロック１５６８に渡す。

上述したように、アドバンスト４：４：４プロファイル用の新しいプロファイル（ｐｒｏｆｉｌｅ＿ｉｄｃ＝１６６）が開示される。この新しいプロファイルは、第２の組合せ実施形態について以下本明細書で説明する対応するセマンティックおよびシンタックス変更を施して、第２の組合せ実施形態のために使用することもできる。この新しいｐｒｏｆｉｌｅ＿ｉｄｃは、シーケンス・パラメータ・セット内に追加され、入力フォーマットが４：４：４であり、３つの入力チャネルすべてが輝度として同じように符号化されることを示すために、後続ヘッダ内で主に使用される。

Ｈ．２６４規格に対する必要な変更を最小限に抑えるため、アドバンスト４：４：４プロファイル用の新しいマクロブロック・タイプは開示されない。代わりに、Ｈ．２６４規格のＴａｂｌｅ ７−１１、Ｔａｂｌｅ ７−１３、およびＴａｂｌｅ ７−１４に列挙された、関連する符号化パラメータを伴うマクロブロック・タイプのすべては、依然として有効である。イントラ・マクロブロックの場合、輝度、Ｃｒ、およびＣｂの３つの入力チャネルのすべてが、Ｈ．２６４規格のＴａｂｌｅ ７−１１で定義されるＭｂＰａｒｔＰｒｅｄＭｏｄｅに基づいて符号化される。例えば、アドバンスト４：４：４プロファイルにおけるＩｎｔｒａ＿４×４マクロブロックは、すべての入力成分チャネルが、Ｈ．２６４規格のＴａｂｌｅ ８−２で与えられる９個の可能な予測モードのすべてを使用することによって符号化できることを意味する。参考として、現行のハイ４：４：４プロファイルでは、Ｉｎｔｒａ＿４×４マクロブロック用のチャネルのうちの２つが、色度として扱われ、Ｈ．２６４規格のＴａｂｌｅ ８−５内の４個の可能なイントラ予測モードのうちの１つだけが使用される。ＢおよびＰマクロブロックの場合、アドバンスト４：４：４プロファイルのために施される変更は、分数ピクセル位置にある参照ピクセル値の計算のための補間プロセスにおいて発生する。ここでは、Ｈ．２６４規格のセクション８．４．２．２．１に記載された手続きである、輝度サンプル補間プロセス（Ｌｕｍａ ｓａｍｐｌｅ ｉｎｔｅｒｐｏｌａｔｉｏｎ ｐｒｏｃｅｓｓ）が、輝度、Ｃｒ、およびＣｂに適用される。再び参考として、現行のハイ４：４：４プロファイルは、入力チャネルのうちの２つに対して、Ｈ．２６４規格のセクション８．４．２．２．２の色度サンプル補間プロセス（Ｃｈｒｏｍａ ｓａｍｐｌｅ ｉｎｔｅｒｐｏｌａｔｉｏｎ ｐｒｏｃｅｓｓ）を使用する。

ＣＡＢＡＣがエントロピー符号化モードとして選択された場合、輝度用に現在定義されているのと同じコンテキスト・モデルの２つの別個の組が、ＣｒおよびＣｂ用に生成される。それらも、符号化の最中に独立に更新される。

最後に、前記実施形態では、符号化ループ内にＲＣＴブロックが存在しないので、ＲｅｓｉｄｕｅＣｏｌｏｒＴｒａｎｓｆｏｒｍＦｌａｇは、アドバンスト４：４：４プロファイルのシーケンス・パラメータ・セットから取り除かれる。

この時点まで、大部分のシンタックス変更は、図１３に示される残差データにおいて発生し、提案するアドバンスト４：４：４プロファイルにおいてＣｒおよびＣｂをサポートするために、輝度用の元のシンタックスが２度繰り返される。

Ｈ．２６４マクロブロック・レイヤ表（図示せず）に関して、対応するシンタックスに対するセマンティック変更は以下を含む。

ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎ（追加）。ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃが３に等しく、且つｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎが存在する場合、ＣｏｄｅｄＢｌｏｃｋＰａｔｔｅｒｎＣｈｒｏｍａは０に設定される。加えて、ＣｏｄｅｄＢｌｏｃｋＰａｔｔｅｒｎＬｕｍａは、マクロブロックの１２個の８×８輝度、Ｃｂ、およびＣｒブロックの各々について、以下のケースの一方、すなわち、（１）８×８輝度ブロック、８×８Ｃｂブロック、および８×８Ｃｒブロック内の１２個の４×４輝度ブロックのすべての変換係数レベルが０に等しいケース、（２）８×８輝度ブロック、８×８Ｃｂブロック、および８×８Ｃｒブロック内の１つまたは複数の４×４輝度ブロックの１つまたは複数の変換係数レベルが非０の値をもつケースの一方を指定する。

第２の組合せ実施形態（または３つの制限された空間予測器からなる組（またはその一部）の使用に関する単独の実施形態）によるイントラ・ブロックのための空間予測モード選択に関して、次に説明する。

各入力チャネルを別々に符号化する場合のように、各成分が、その最良のＭｂＰａｒｔＰｒｅｄＭｏｄｅと、後続の最良の空間予測モードを独立に選択するため、いくつかの新しいイントラ・ブロック・タイプが、Ｈ．２６４規格のＴａｂｌｅ ７−１１に追加されてよい。その結果、Ｈ．２６４規格に対する大きな変更が行われる。第２の組合せ実施形態に関係する一実施形態では、現行のｍｂ＿ｔｙｐｅｓは無変更のままであり、代替策が提供される。前記実施形態では、３つの入力チャネルは、同じＭｂＰａｒｔＰｒｅｄＭｏｄｅまたはマクロブロック・タイプを用いて符号化されるように制限される。その後、３つの別個の予測モードをサポートするために、僅かな新しい要素が、マクロブロック予測シンタックスに追加される。従って、各成分チャネルに対する予測誤差を最小化するために、各成分は、理論的にはまだ、その最良の空間予測モードを独立に選択することができる。例えば、Ｉｎｔｒａ＿４×４マクロブロックがｍｂ＿ｔｙｐｅとして選択されると仮定すると、輝度、Ｃｒ、およびＣｂは依然として、例えば、輝度にはＩｎｔｒａ＿４×４＿Ｖｅｒｔｉｃａｌ、ＣｒにはＩｎｔｒａ＿４＿４＿Ｈｏｒｉｚｏｎｔａｌ、ＣｂにはＩｎｔｒａ＿４×４＿Ｄｉａｇｏｎａｌ＿Ｄｏｗｎ＿Ｌｅｆｔなど、Ｈ．２６４規格のセクション８．３．１．１のＴａｂｌｅ ８−２内に、その最良の空間予測モードを見出すことができる。

上で説明した第１の組合せ実施形態に関係する別のアプローチは、３つの入力チャネルすべてを、同じ予測モードを共用するように制約するものである。これは、マクロブロック予測シンタックス内の、ｐｒｅｖ＿ｉｎｔｒａ４×４＿ｐｒｅ＿ｍｏｄｅ＿ｆｌａｇ、ｒｅｍ＿ｉｎｔｒａ４×４＿ｐｒｅｄ＿ｍｏｄｅ、ｐｒｅ＿ｉｎｔｒａ８×８＿ｐｒｅｄ＿ｍｏｄｅ＿ｆｌａｇ、およびｒｅｍ＿ｉｎｔｒａ８×８＿ｐｒｅｄ＿ｍｏｄｅなど、既存のシンタックス要素によって現在は保持される、予測情報を使用することによって行うことができる。このオプションは、Ｈ．２６４規格に対するより僅かな変更と、さらに符号化効率の僅かな低下ももたらす。

試験結果に基づいて、３つの予測モードの使用は、第１の組合せ実施形態よりも約０．２ｄＢだけ全体的な符号化性能を向上させることができる。

図１６に移ると、Ｈ．２６４マクロブロック予測シンタックスについての表が、参照番号１６００によって全体的に示されている。参考として、３つの予測モードの使用をサポートする修正マクロブロック予測シンタックスを以下に列挙する。
輝度用にｐｒｅｖ＿ｉｎｔｒａ４×４＿ｐｒｅｄ＿ｍｏｄｅ＿ｆｌａｇ０およびｒｅｍ＿ｉｎｔｒａ４×４＿ｐｒｅｄ＿ｍｏｄｅ０。
Ｃｒ用にｐｒｅｖ＿ｉｎｔｒａ４×４＿ｐｒｅｄ＿ｍｏｄｅ＿ｆｌａｇ１およびｒｅｍ＿ｉｎｔｒａ４×４＿ｐｒｅｄ＿ｍｏｄｅ１。
Ｃｂ用にｐｒｅｖ＿ｉｎｔｒａ４×４＿ｐｒｅｄ＿ｍｏｄｅ＿ｆｌａｇ２およびｒｅｍ＿ｉｎｔｒａ４×４＿ｐｒｅｄ＿ｍｏｄｅ２。

第２の組合せ実施形態についての、一実施形態において構成される本発明の原理に従って実行されたシミュレーション結果に関して、次に説明する。

ＪＶＴ−Ｊ０４２、Ｆｉｌｍ−Ｏｒｉｇｉｎａｔｅｄ Ｔｅｓｔ Ｓｅｑｕｅｎｃｅｓ、ＪＶＴ Ｊ０３９（Ｖｉｐｅｒ）に記載されているすべてのＪＶＴ／ＦＲＥｘｔ試験系列。それらはすべて、４：４：４ １０ビットの材料であり、各クリップは５８のフレームを有する。

提案するアルゴリズムは、ＪＶＴ参照ソフトウェアＪＭ９．６で実施され、修正ソフトウェアが試験で使用された。イントラ・オンリーおよびＩＢＲｒＢＰの両方が試験された。ここで、「Ｂｒ」は、記録Ｂピクチャを意味する。イントラ・オンリーのケースは、量子化パラメータが６、１２、１８、２４、３０、３６、および４２に等しいすべてのシーケンスについて行われた。シミュレーションには多くの時間が必要とされるため、量子化パラメータが１２、１８、２４、３０、および３６に等しいフィルム・クリップについては、ＩＢＲｒＢＰ ＧＯＰ構造だけが行われた。４：４：４ ＡＨＧの説明に従って、以下のキー・パラメータが試験で使用された。

ＳｙｍｂｏｌＭｏｄｅ＝１
ＲＤＯｐｔｉｍｉｚａｔｉｏｎ＝１
ＳｃａｌｉｎｇＭａｔｒｉｘＰｒｅｓｅｎｔＦｌａｇ＝０
ＯｆｆｓｅｔＭａｔｒｉｘＰｒｅｓｅｎｔＦｌａｇ＝１
ＱｏｆｆｓｅｔＭａｔｒｉｘＦｉｌｅ＝“ｑ＿ｏｆｆｓｅｔ．ｃｆｇ”
ＡｄａｐｔｉｖｅＲｏｕｎｄｉｎｇ＝１
ＡｄａｐｔＲｎｄＰｅｒｉｏｄ＝１
ＡｄａｐｔＲｎｄＣｈｒｏｍａ＝１
ＡｄａｐｔＲｎｄＷＦａｃｔｏｒＸ＝８
ＳｅａｒｃｈＲａｎｇｅ＝６４
ＵｓｅＦＭＥ＝１
ＪＰＥＧ２ｋに関して、ＫａＫａｄｕ Ｖ２．２．３ソフトウェアが、試験で使用された。試験結果は、９／７タップ双直交ウェーブレット・フィルタを用いる５レベルのウェーブレット分解を使用することによって生成された。フレーム当たり唯一のタイルが存在し、与えられた目標レートについてのＲＤ最適化も使用された。

ＰＳＮＲ測定は主に、上で説明したクリップの場合はＲＧＢである、原内容の元の色領域で計算された。全体的な圧縮品質を比較するために、（ＰＳＮＲ（赤）＋ＰＳＮＲ（緑）＋ＰＳＮＲ（青））／３として定義される平均ＰＳＮＲが使用された。

圧縮比較は、以下のように実行された。
Ｎｅｗ１：単一の予測モードを用いる提案するアドバンスト４：４：４プロファイル。
Ｎｅｗ３：３つの予測モードを用いる提案するアドバンスト４：４：４プロファイル。
ＲＣＴ−ＯＦＦ：ＲＣＴ＝ｏｆｆとしたＲＧＢ入力。
ＲＣＴ−ＯＮ：ＲＣＴ＝ｏｎとしたＲＧＢ入力。
ＹＣＯＣＧ：ＲＧＢからＹＣＯＣＧへの変換が符号復号器の外で実行された。その後、変換ＹＣＯＣＧが、ＪＶＴソフトウェアへの入力として使用された。
Ｒ＋Ｇ＋Ｂ：Ｒ、Ｇ、およびＢ信号を別々に圧縮することによって近似された提案する方法。
Ｙ＋ＣＯ＋ＣＧ：変換Ｙ、ＣＯ、およびＣＧ信号を別々に圧縮することによって近似された提案する方法。
ＪＰＥＧ２ｋ＿ＲＧＢ：ＪＰＥＧ２ｋ圧縮がＲＧＢ領域で実行された。ＪＰＥＧ２ｋ色変換はオフにされた。
ＪＰＥＧ２ｋ＿ＹＵＶ：ＪＰＥＧ２ｋ圧縮がＹＵＶ領域で実行された。ＪＰＥＧ２ｋ色変換が使用された。

イントラ・オンリーのケースの場合、本発明の原理による提案するアドバンスト４：４：４プロファイルは、全体的な圧縮効率に関して、ＪＰＥＧ２ｋと非常に類似している。いくつかの場合では、僅かながらもより優れている。

本発明の原理によるアプローチは明らかに、現行のハイ４：４：４プロファイルよりも優れている。４５ｄＢ（ＰＳＮＲ）以上のＰＳＮＲでは、平均ＰＳＮＲにおける平均的な改善は、１．５ｄＢよりも大きい。いくつかのケースでは、４５ｄＢに等しいＰＳＮＲにおいて、改善は２５％より大きいビット節約に変換され得る。

同じブロック・タイプを用いたとしても、３つの予測モードの使用は、単一モードよりも僅かに優れている。しかし、より多くのシンタックスおよびセマンティック変更が、利用されることがある。

本発明の実施形態の原理によって提供される多くの関連する利点／特徴のうちのいくつかに関して、次に説明する。

試験結果は、本発明の原理に対応する改善を利用する提案するアドバンスト４：４：４プロファイルが、現行のハイ４：４：４プロファイルと比較した場合に、改善された性能を達成することを示している。性能増加は著しい。加えて、色変換を符号復号器の外に移動することは、符号復号器の構成をすべての色フォーマット間で一貫したものにする。その結果、それは実施をより容易にし、コストを低減する。それはまた、より良い符号化効率を達成するための最適化色変換に関して、符号復号器をより堅牢にもする。また、提案するアプローチは、新しい符号化ツールを追加せず、シンタックスおよびセマンティクスに対するいくつかの僅かな変化を必要とするだけである。

従って、一実施形態において構成される本発明の原理によれば、ビデオ符号化および復号化のための方法および装置が提供される。現在達成可能な性能を超えて性能を改善する、既存のＨ．２６４規格に対する変更が提供される。さらに、性能は、高品質アプリケーション用のＪＰＥＧ−２０００さえも超えて改善される。一実施形態において構成される本発明の原理によれば、Ｈ．２６４規格における４：４：４符号化性能の著しい改善は、輝度符号化アルゴリズムを使用して、４：４：４コンテンツの３つの色成分のすべてを符号化することによって、達成することができる。すなわち、輝度（または使用されない色度）圧縮アルゴリズム用の新しいツールは必要ない。代わりに、既存の輝度符号化ツールが利用される。さらに、現行の４：４：４プロファイルに対するシンタックスおよびセマンティック変更は、３つの成分チャネルすべての輝度符号化をサポートするように、本発明の原理に従って実施され得る。本発明の一実施形態に従って行われた試験では、原内容が多くの空間テクスチャおよびエッジを有する場合、輝度で使用される空間予測ツールは明らかに、色度で使用されるツールよりも優れた性能を示した。試験系列のいくつかについては、すべての色成分が輝度として符号化されたとき、４５ｄｂ（平均ＰＳＮＲ）以上の圧縮品質において、３０％を超えるビット削減が観察された。

本明細書では、本発明は主に、Ｈ．２６４規格の４：４：４フォーマットを使用してサンプリングされるビデオ信号データに関して説明したが、本発明は、Ｈ．２６４規格のその他のフォーマット（例えば、４：２：０フォーマットおよび／または４：２：２フォーマット）ならびにその他のビデオ圧縮規格を使用してサンプリングされるビデオ信号データに関しても容易に実施できることを理解されたい。本明細書で提供される本発明の教示に鑑みて、本発明の上記およびその他の変形も、本発明の範囲を維持しながら、当業者によって容易に実施されよう。

本発明の上記およびその他の特徴および利点は、本明細書の教示に基づいて、当業者によって容易に確認されよう。本発明の教示が、様々な形式のハードウェア、ソフトウェア、ファームウェア、専用プロセッサ、またはそれらの組合せで実施できることを理解されたい。

最も好ましくは、本発明の教示は、ハードウェアとソフトウェアの組合せとして実施される。さらに、ソフトウェアは、プログラム記憶ユニット上に有形に実施されるアプリケーション・プログラムとして実施することができる。アプリケーション・プログラムは、適切な構成からなるマシンにアップロードされ、そのマシンによって実行することができる。好ましくは、マシンは、１つまたは複数の中央処理装置（「ＣＰＵ」）、ランダム・アクセス・メモリ（「ＲＡＭ」）、および入力／出力（「Ｉ／Ｏ」）インタフェースなどのハードウェアを有するコンピュータ・プラットフォーム上で実施される。コンピュータ・プラットフォームは、オペレーティング・システムおよびマイクロ命令コードも含むことができる。本明細書で説明した様々なプロセスおよび機能は、ＣＰＵによって実行できるマイクロ命令コードの一部もしくはアプリケーション・プログラムの一部、またはそれらの組合せとすることができる。加えて、追加のデータ記憶ユニットおよび印刷ユニットなどの様々なその他の周辺ユニットが、コンピュータ・プラットフォームに接続されてよい。

添付の図面に示された成分システム構成要素および方法のいくつかは、好ましくはソフトウェアで実施されるので、システム構成要素とプロセス機能ブロックの間の実際の接続は、本発明がプログラムされる方式に応じて異なり得ることをさらに理解されたい。本明細書の教示に鑑みて、当業者であれば、本発明の上記および類似の実施または構成を企図することができる。

本明細書では、添付の図面を参照して、例示的な実施形態を説明したが、本発明は、それらと寸分違わぬ実施形態に限定されるものではなく、様々な変更および修正が、本発明の主旨および範囲から逸脱することなく、当業者によってそれらに実施され得ることを理解されたい。そのような変更および修正のすべては、添付の特許請求の範囲で説明する本発明の範囲内に含まれることが意図されている。
［付記１］
画像ブロックのためのビデオ信号データを復号化するためのビデオ復号器であって、共通の予測器を使用して、前記ビデオ信号データのすべての色成分を復号化するための復号器（２００）を含む、前記ビデオ復号器。
［付記２］
前記共通の予測器が、前記ビデオ信号データの輝度および色度成分の両方に対して使用される輝度予測器である、付記１に記載のビデオ復号器。
［付記３］
前記復号器（２００）が、前記ビデオ信号データの前記色成分のすべてに対して共通の空間予測モードを使用する、付記１に記載のビデオ復号器。
［付記４］
前記共通の空間予測モードが、国際電気通信連合電気通信標準化部門のＨ．２６４規格のｐｒｅｖ＿ｉｎｔｒａ８×８＿ｐｒｅｄ＿ｍｏｄｅ＿ｆｌａｇ、ｒｅｍ＿ｉｎｔｒａ８×８＿ｐｒｅｄ＿ｍｏｄｅ、ｐｒｅｖ＿ｉｎｔｒａ４×４＿ｐｒｅｄ＿ｍｏｄｅ＿ｆｌａｇ、およびｒｅｍ＿ｉｎｔｒａ４×４＿ｐｒｅｄ＿ｍｏｄｅパラメータによって設定される、付記３に記載のビデオ復号器。
［付記５］
前記復号器（２００）が、ＢフレームおよびＰフレームについて、前記ビデオ信号データの前記色成分のすべてに対して共通の補間フィルタを使用する、付記１に記載のビデオ復号器。
［付記６］
前記画像ブロックが、それに残差色変換を適用することなく復号化される、付記１に記載のビデオ復号器。
［付記７］
前記ビデオ信号データのサンプリングが、国際電気通信連合電気通信標準化部門のＨ．２６４規格の４：４：４、４：２：２、および４：２：０の何れかに対応する、付記１に記載のビデオ復号器。
［付記８］
画像ブロックのためのビデオ信号データを復号化するための方法であって、共通の予測器を使用して、前記ビデオ信号データのすべての色成分を復号化（４３０）するステップを含む、前記方法。
［付記９］
前記共通の予測器が、前記ビデオ信号データの輝度および色度成分の両方に対して使用される輝度予測器である、付記８に記載の方法。
［付記１０］
共通の空間予測モードが、前記ビデオ信号データの前記色成分のすべてに対して使用される、付記８に記載の方法。
［付記１１］
前記共通の空間予測モードが、国際電気通信連合電気通信標準化部門のＨ．２６４規格のｐｒｅｖ＿ｉｎｔｒａ８×８＿ｐｒｅｄ＿ｍｏｄｅ＿ｆｌａｇ、ｒｅｍ＿ｉｎｔｒａ８×８＿ｐｒｅｄ＿ｍｏｄｅ、ｐｒｅｖ＿ｉｎｔｒａ４×４＿ｐｒｅｄ＿ｍｏｄｅ＿ｆｌａｇ、およびｒｅｍ＿ｉｎｔｒａ４×４＿ｐｒｅｄ＿ｍｏｄｅパラメータによって設定される、付記１０に記載の方法。
［付記１２］
共通の補間フィルタが、ＢフレームおよびＰフレームについて、前記ビデオ信号データの前記色成分のすべてに対して使用される、付記８に記載の方法。
［付記１３］
前記復号化ステップが、前記ビデオ信号データの前記色成分のすべてを、それらに残差色変換を適用することなく復号化する、付記８に記載の方法。
［付記１４］
前記復号化ステップに後続する後処理ステップにおいて、前記ビデオ信号データ上で逆色変換を実行（４６４）するステップをさらに含む、付記８に記載の方法。
［付記１５］
前記ビデオ信号データのサンプリングが、国際電気通信連合電気通信標準化部門のＨ．２６４規格の４：４：４、４：２：２、および４：２：０フォーマットの何れかに対応する、付記８に記載の方法。

Claims (10)

1. 画像ブロックのためのビデオ信号データを復号化するためのビデオ復号器であって、共通の予測器を使用して、前記ビデオ信号データのすべての色成分を復号化するための復号器を含み、
   前記復号器が、ＢフレームおよびＰフレームについて、前記ビデオ信号データの前記色成分のすべてに対して共通の補間フィルタを使用し、前記画像ブロックは、それらに残差色変換を適用することなく復号化され、前記復号化のステップに後続する後処理のステップにおいて、前記ビデオ信号データ上で逆色変換が実行される、前記ビデオ復号器。
2. 前記共通の予測器が、前記ビデオ信号データの輝度および色度成分の両方に対して使用される輝度予測器である、請求項１に記載のビデオ復号器。
3. 前記復号器が、前記ビデオ信号データの前記色成分のすべてに対して共通の空間予測モードを使用する、請求項１に記載のビデオ復号器。
4. 前記共通の空間予測モードが、国際電気通信連合電気通信標準化部門のＨ．２６４規格のｐｒｅｖ＿ｉｎｔｒａ８×８＿ｐｒｅｄ＿ｍｏｄｅ＿ｆｌａｇ、ｒｅｍ＿ｉｎｔｒａ８×８＿ｐｒｅｄ＿ｍｏｄｅ、ｐｒｅｖ＿ｉｎｔｒａ４×４＿ｐｒｅｄ＿ｍｏｄｅ＿ｆｌａｇ、およびｒｅｍ＿ｉｎｔｒａ４×４＿ｐｒｅｄ＿ｍｏｄｅパラメータによって設定される、請求項３に記載のビデオ復号器。
5. 前記ビデオ信号データのサンプリングが、国際電気通信連合電気通信標準化部門のＨ．２６４規格の４：４：４、４：２：２、および４：２：０の何れかに対応する、請求項１に記載のビデオ復号器。
6. 画像ブロックのためのビデオ信号データを復号化するための方法であって、共通の予測器を使用して、前記ビデオ信号データのすべての色成分を復号化することを含み、
   共通の補間フィルタが、ＢフレームおよびＰフレームについて、前記ビデオ信号データの前記色成分のすべてに対して使用され、前記復号化のステップは、前記ビデオ信号データの前記色成分のすべてを、それらに残差色変換を適用することなく復号化し、前記復号化のステップに後続する後処理のステップにおいて、前記ビデオ信号データ上で逆色変換が実行される、前記方法。
7. 前記共通の予測器が、前記ビデオ信号データの輝度および色度成分の両方に対して使用される輝度予測器である、請求項６に記載の方法。
8. 共通の空間予測モードが、前記ビデオ信号データの前記色成分のすべてに対して使用される、請求項６に記載の方法。
9. 前記共通の空間予測モードが、国際電気通信連合電気通信標準化部門のＨ．２６４規格のｐｒｅｖ＿ｉｎｔｒａ８×８＿ｐｒｅｄ＿ｍｏｄｅ＿ｆｌａｇ、ｒｅｍ＿ｉｎｔｒａ８×８＿ｐｒｅｄ＿ｍｏｄｅ、ｐｒｅｖ＿ｉｎｔｒａ４×４＿ｐｒｅｄ＿ｍｏｄｅ＿ｆｌａｇ、およびｒｅｍ＿ｉｎｔｒａ４×４＿ｐｒｅｄ＿ｍｏｄｅパラメータによって設定される、請求項８に記載の方法。
10. 前記ビデオ信号データのサンプリングが、国際電気通信連合電気通信標準化部門のＨ．２６４規格の４：４：４、４：２：２、および４：２：０フォーマットの何れかに対応する、請求項６に記載の方法。
    

Images