JP5566529B2 - 辞書を用いてビデオをコード化する方法 - Google Patents

Description

この発明は、包括的には、ビデオの符号化及び復号化に関し、より詳細には、辞書を用いてビデオをコード化する方法に関する。

高効率ビデオコーディング(ＨＥＶＣ)と呼ばれるビデオコーディング標準規格プロジェクトが、ビデオコーディング共同研究部会(ＪＣＴ−ＶＣ)によって開始された。この標準規格の１つの目標は、より広い用途において、かつより広いビット範囲において、旧来のＨ．２６４／ＡＶＣ標準規格を上回るようにコーディング性能を改善することである。ＨＥＶＣビデオコーディング標準規格の初期の枠組みは、ブロックに基づく予測技法、２Ｄ離散コサイン変換(ＤＣＴ)による変換、及びコンテキストに基づくエントロピーコーディング等における従来のビデオコーディング標準規格とあまり大きく異なるものではない。新たなコーディングツールはより進化し柔軟性があるが、計算複雑度が増大している。従来のコーディング技法と同様に、符号化器及び復号化器は一連のビデオフレームに対し動作する。ビデオ内のフレームはピクセルのマクロブロックに分割される。マクロブロックは、フレーム内で空間的に隣接することができ(インターモードコーディングの場合)、連続したフレームにおいて時間的に隣接することができる(イントラモードコーディングの場合)。

画像コーディング及びビデオコーディングにおいて主要な変換領域を表現するのに、ＤＣＴ又はウェーブレット等の直交及び双直交の完全な辞書が用いられてきた。過完全辞書にわたる信号のスパースで冗長な表現は、画像の雑音除去等の様々な用途への適用に成功してきた。

過完全ビデオコーディング技法は、従来のビデオコーディング標準規格と比較して非常に低いビットレートで、競合可能なコーディング利得を達成することができる。基本的に、ブロックに基づく２Ｄ−ＤＣＴ変換は、過完全ビデオコーディングにおいて、より大きく、より適した基底関数の展開と置き換えられる。低ビットレートのビデオコーディングにおいて、残差信号は、量子化パラメーター(ＱＰ)がより大きいことに起因して、より少ない非ゼロＤＣＴ係数で表され、このため、低周波数成分のみがマクロブロック内に現れる。このシナリオでは、過完全辞書の集合によって、完全な辞書集合よりも多岐にわたる忠実な残差信号表現を提供することができる。このため、残差信号は、より少ない係数を用いてより良好に近似することができる。

従来の過完全ビデオコーディングは、変調されたガボール関数を用いて辞書集合を構成する。マッチング追跡(ＭＰ)を用いて、表現内の最も適した辞書要素が選択される。ＭＰによって、スパース信号表現の準最適解が決まる。辞書集合は、ウェーブレット、カーブレット、及び離散フーリエ変換(ＤＦＴ)等の幾つかの解析関数によって生成された辞書を連結することによって様々な形をとることができる。カーブレットは、ウェーブレットの概念を拡張したものである。カーブレットは、マルチスケールのオブジェクト表現のために非適応技法を用いる。ウェーブレットは、ロケーション及び空間周波数の双方を表す基底を用いることによってフーリエ変換を一般化する。２Ｄ信号又は３Ｄ信号の場合、方向ウェーブレット変換は、向きも局所化した基底関数を用いる。カーブレット変換は、向きの局所化の度合いがスケールとともに変動するという点で、他の方向ウェーブレット変換と異なる。

しかしながら、これらのモデルは、その単純性にもかかわらず欠点を有する。自然な画像又はビデオは多くの場合に、これらのモデルによって良好に表現されない特徴を含む。これらの場合、再構成不良、又はリンギング等のアーティファクトが、復号化された画像又はビデオ内に生じる可能性がある。

残差信号は、予測後に方向性のある向きを有する傾向にあるので、辞書トレーニングを用いることができる。したがって、残差信号の特性を反映することによって、辞書集合を良好に設計することができる。イントラコーディングのために、モードに依拠した方向変換を用いることができる。方向予測に対応するイントラ予測残差を用いて完全な辞書を構成することができる。辞書トレーニングは、画像コーディング用途におけるイントラ予測にも適合させることができる。

この発明の実施の形態は、辞書集合を用いてビデオを符号化及び復号化するための方法を提供する。辞書集合は、サンプルを用いてトレーニングされ、サンプルはインター予測又はイントラ予測された残差信号である。辞書要素の集合は、隣接するマクロブロックにも用いることができる。最適な辞書要素数は、レート歪み最適化を用いて求められる。

この発明は、コンテキスト適応過完全辞書に基づいた、辞書に基づくビデオ符号化技法を提供する。辞書集合を、インター予測及び／又はイントラ予測された残差サンプルを用いてトレーニングし、これらの辞書をスパース信号表現に適用した。辞書要素は、後続のサンプルをコード化するのに再利用することができる。

従来技術の符号化器のブロック図である。 この発明の実施の形態による符号化器のブロック図である。 この発明の実施の形態による、過完全辞書を構成するプロセスの概略図である。 従来技術の復号化器のブロック図である。 この発明の実施の形態による復号化器のブロック図である。 この発明の実施の形態によるコピーモード評価器のブロック図である。

信号

は、過完全辞書

内のｍ個の要素のスパース線形結合として表すことができる。ここで、ｍは実質的にｎより大きく、Ｄは最大階数行列である。

非ゼロ要素数が、基底内の非ゼロ要素数よりも多数であるとき、辞書は過完全であると定義される。過完全性は、より安定したコンパクトな表現を達成する。

信号ｙを、最小数の辞書要素で近似する。スパース表現が以下に従って求められ、

ここで、

は信号ｙを表す係数のベクトルであり、|・|は信号のｌ_ｐでノルムを表し、δは小さな所定のしきい値である。

辞書は、サンプルデータにより良好に適合するようにトレーニングされる。このため、式(１)における最小化問題は、以下のように、信号ｙの表現のための所与のスパース性制約Ｃについて最良の辞書を得るように変換することができる。

辞書は、非ゼロ係数の数がＣ以下であるとき、実際の信号のより良好な表現を提供するようにトレーニングされる。

図３に示すように、従来の画像コーディングと異なり、この発明では、イントラ予測又はインター予測のいずれかを実行し、次に、ビデオ信号の残差データサンプル４５１を符号化する。分類器２１０は、コンテキストＩ２１１及びコンテキストＫ２１２を、コンテキストＩ及びコンテキストＫの対応するトレーニング２２１及び２２２のために生成する。図３に示すように、コンテキストＫの辞書２３１は、コンテキストＩの辞書２３２のよりランダムな要素よりも多くの対角要素を含む。対角要素は、インターコーディングにおけるエッジ表現に有用である。

このため、この発明の１つの実施の形態では、辞書は、現在のビデオシーケンスの符号化前に、予測残差信号４５１を用いてトレーニングされる。そのようなトレーニングは、通常、トレーニングビデオの別個の集合を用いてオフラインで行われる。符号化器及び復号化器の双方が同じ辞書集合を有し、これらは通常、ビデオシーケンスのコーディングについて固定である。

この発明の別の実施の形態では、辞書は、現在のビデオシーケンスの符号化及び復号化中に、予測残差信号４５１を用いてトレーニングされる。この実施の形態では、トレーニングに用いられるデータは、符号化器及び復号化器の双方において利用可能な、現在のビデオの以前に復号化されたサンプルと関連付けられた予測残差信号を含む。符号化器及び復号化器の双方が同じ辞書集合を維持するが、辞書は動的であり、ビデオシーケンスの符号化プロセス及び復号化プロセス中に周期的に更新される。

辞書トレーニングは、残差信号特性の局所分散を無視する可能性があり、非常に大きなトレーニングデータ集合から比較的小さな辞書要素集合が生成される。このため、残差サンプルの幾つかの顕著な特徴が辞書集合から削除される可能性がある。この問題を解決するために、辞書をトレーニングする(２２１及び２２２)ときに、残差サンプルのコンテキスト２１１及び２１２を適用する。

分類器２１０は、残差サンプルのタイプとともに変化することができる。例えば、イントラコード化された残差において、この発明では、残差サンプルが、Ｈ．２６４／ＡＶＣ標準規格による符号化器／復号化器(ｃｏｄｅｃ)における方向イントラ予測について或る特定の特性を有するという仮定に依拠する。したがって、複数の辞書集合が、予測方向にそれぞれ対応するサンプル４５１から構成される。

所与のマクロブロックのイントラ予測モードが決定された後、分類器２１０を用いて、いずれのコンテキスト２１１及び２１２を用いるかが示され、次に、符号化中に、対応する辞書が適用される。このため、復号化器において更なる副情報は必要とされない。インターコード化された残差信号において、分類器は、サンプルのエネルギーを検査し、このエネルギーを対応するトレーニングモジュールに転送して、本発明者らによるコンテキスト適応辞書を生成する。このため、コンテキストは、復号化器において既に利用可能なデータによって求められる。

辞書の要素に基づくビデオコーディング
汎用データサンプルから辞書集合がトレーニングされた後、辞書は、符号化中に入力残差信号のスパース表現のために用いられる。

図１は従来の符号化器を示している。入力は、マクロブロック３０１であり、出力はビットストリーム３０９である。マクロブロックは変換され(３１０)、量子化信号に量子化される(３２０)。量子化信号はエントロピーコード化され(３３０)、ビットストリーム３０９が生成される。また、エントロピーコーダー出力は、入力マクロブロック３０１と結合されるとき、逆量子化され(３４０)、逆変換され(３５０)、イントラ予測３６０に用いられる。

従来の復号化器
図４は、従来の復号化器を示している。入力はビットストリーム１４５１であり、出力はマクロブロック１４５７である。ビットストリームはエントロピー復号化され(１４５２)、逆量子化される(１４５３)。復号化された変換係数は、逆変換される(１４５４)。イントラ予測又はインター予測の残差１４５５が結合され(１４５６)、復号化されたマクロブロックが生成される。このマクロブロックは出力され、バッファ１４５６内に格納され、今後の復号化されたマクロブロックの再構成のために用いられる。

辞書に基づく符号化器
図２は、この発明の実施の形態による符号化器を示している。符号化器のステップは、当該技術分野において既知のメモリ及び入出力インターフェースに接続されたプロセッサにおいて実行することができる。

符号化器への入力は現在のマクロブロック３０１である。ビデオの特定のセグメントのための辞書が、ビデオの特定のセグメントの符号化が進む前に、予測残差信号４５１を用いてトレーニングされる(４０１)。量子化３２０の前に、辞書要素(アトム)の中で最も適合した基底が選択される(４０２)。要素選択４０２のために、マッチング追跡(ＭＰ)等のプロセスを用いることができる。

コピーモード評価器４５０は、以前のブロック４５２のために用いられていた辞書インデックスと、予測残差信号４５１と、辞書ポインターと、辞書要素インデックスと、独自の辞書要素、すなわち、コピーモード評価器を用いることなく選択される要素を用いてコード化されるときの現在のブロックの歪みと、を入力としてとる。評価器はコピーモード信号４５３を生成する。この生成は、以前に計算された辞書インデックスの集合を用いることが、新たに計算された辞書インデックスを用いることよりも良好に機能するか否かを評価する、レート歪み最適化判定プロセスの結果に依拠する。コピーモード評価器(ＣＭＥ)は図６に示されている。

簡単に図６を参照すると、ＣＭＥへの入力は、以前にコード化されたブロック４５２のために用いられていた辞書インデックスと、現在のブロック３０１の予測残差とである。現在のブロックのために特定の辞書(Ａ〜Ｄ)を用いて、スケーリング係数が求められ(４０２)、次に再構成され復号化された予測残差４５１が求められ、これらはＲ−Ｄコスト最適化プロセス６００に入力されて、コピーモード信号４５３が生成される。

図２について続けると、選択された辞書要素は逆量子化された信号を生成するために逆量子化され(３４０)、この信号はエントロピー符号化され(３３０)、ビットストリーム３０９が生成される。ビデオは、逆量子化された(３４０)信号から再構成される(４０３)。再構成されたビデオは、次にイントラ予測３６０のために用いられる。

ＭＰは、スパース信号表現における準最適で追跡可能な解として知られている。この発明の好ましい実施の形態では、ＭＰを用いて辞書内の適切な要素を選択する(４０２)。各反復中、ＭＰは、再構成されたビデオの残差信号を最小にすることによって、辞書要素の線形結合を形成する。このため、係数値と、復号化器において信号を再構成するのにいずれの辞書要素が用いられるかを示す１つ又は複数のインデックスの集合とを含めることが必要とされる。反復は、式(２)のスパース性制約Ｃを超えず、レート歪み(Ｒ−Ｄ)コストが最小になると終了し、それによって信号は、スパース性制約以下の複数の非ゼロ係数を用いて最適に表現することができる。

辞書要素の選択４０２後、係数は、量子化３２０及びエントロピーコーディング３３０に渡される。この発明による方法によって用いられる辞書集合の係数分布をプロットするために、ラプラシアン分布をあてはめることができる。このため、一様量子化器が本方法に効率的に適合される。

エントロピーコーダー３３０において、スケーリング係数の統計に基づいて、スケーリング係数値がハフマンテーブルにより二値化される。辞書インデックスの出現はインデックスにわたってほぼ一様であり、このため、いかなる適応的な又は固定の走査順序でも、非ゼロ係数を効率的に集めることはできない。このため、インデックスは、サイズが

の固定長コードで符号化され、ここで、ｍは辞書要素数である。

再構成４０３も復号化器によって実行され、この再構成４０３中、辞書要素の線形結合における重みのために、量子化されたスケーリング係数が用いられる。用いられる辞書要素集合は、インデックス集合によって表される。

上述した処理に加えて、符号化器はコピーモード評価器(ＣＭＥ)４５０も組み込む。ＣＭＥへの入力は、コード化される現在の予測残差信号と、以前に符号化されたブロックを符号化するのに用いられた辞書ポインター及び要素インデックスの集合である。辞書ポインターは、以前にコード化されたブロックを符号化するのにいずれの辞書が用いられたかを示し、要素インデックスは、以前にコード化されたブロックを符号化するのに、その辞書内のいずれの要素が用いられたかを示す。

次に、ＣＭＥは、以前にコード化されたブロックを符号化するのに用いられたのと同じ要素を用いて現在の予測残差を再符号化する。このプロセスは、幾つかの他の以前にコード化されたブロックについて繰り返される。通常、現在のブロックに隣接したブロック、例えば左のブロック、上のブロック、左上のブロック、及び右上のブロックが検査される。

上述した辞書要素選択を用いて生成された歪みとともに、全ての場合について生成された歪み値が比較される。辞書要素によって最も少ない歪みが得られる場合、辞書要素インデックス及び対応するスケーリング係数が出力ビットストリーム内に含められる。

コピーモードのうちの１つによって最も少ない歪みが得られる場合、コピーモード信号、及びいずれのコピーモードが最良であったかをシグナリングするインジケーターがビットストリーム内に含められる。コピーモードが用いられる場合、この時点において辞書要素インデックスをシグナリングする必要がない。なぜなら、このインデックスは、前のブロックがコード化されたときに既に送信されたためである。

辞書に基づく復号化器
図５は、この発明の実施の形態による復号化器を示している。入力は符号化されたビデオビットストリーム５０１であり、出力は復号化されたマクロブロック５０９である。ビットストリーム内の各現在のマクロブロックは、エントロピー復号化され(５１０)、逆量子化されて(５２０)、復号化された係数５２１が生成される。この係数はスケーラー及び結合器５３０に入力される。この係数は、１つ又は複数の辞書要素をスケーリングするのに用いられる。スケーリングされた要素は、通常、線形結合され、復号化されたマクロブロック予測残差信号が再構成される。この残差は、バッファ５４０内に記憶されている以前に復号化されたマクロブロックと結合され、出力マクロブロック５０９が生成される。

ビットストリーム５０１から復号化されたインデックス５０２は、インデックスバッファ５０５内に記憶される。インデックスを用いて、現在の予測残差を再構成するのに用いられる辞書要素５５１が選択される(５５０)。インデックスがビットストリームを介して受信されない場合、コピーモード信号５０３を用いて、以前に用いられた辞書要素のいずれの集合が現在のブロックを復号化するのに用いられるかが示される。例えば、コピーモード値は、現在のブロックの左のブロックを生成するのに用いられた要素が、現在のブロックを再構成するのに用いられることを示すことができる。別の例では、現在のブロックの上のブロックを生成するのに用いられた要素を用いることができる。このコピーモード信号を有することの主な目的は、コピーモード信号が、インデックスと比較してはるかに少ないビットしか必要としないことである。

個々の記憶された辞書５７０は、符号化器において用いられる予測モードに依拠して利用可能とすることができるので、予測モード信号５０４を用いて、符号化器において記憶された辞書のうちのいずれを用いるかが選択される(５６０)。予測モード５０４は、従来の復号化器において予測モードが用いられるのと同様にして、復号化器におけるイントラ／インター予測モジュール５８０によっても用いられる。

Ｒ−Ｄ最適辞書要素選択
ＭＰによって辞書要素が選択され(５５０)、反復中に係数が求められる。ほとんどのビデオコーディング標準規格の重要な特徴はＲ−Ｄ最適化である。Ｒ−Ｄ最適化は、５５０において実行され、以下で式(３)によって説明される、反復ＭＰプロセスをいつ終了するか等の幾つかの判定プロセス、及び図６のコピーモード評価器のモジュール６００における幾つかの判定プロセスに用いられる。符号化器は、固定数の係数の代わりに、Ｄ(Ｎ)＋λＲ(Ｎ)によって定義されたＲ−Ｄコストを最小にすることによって、最良のスパース近似を提供することができる。ここで、Ｒ(Ｎ)は推定ビット数であり、Ｄ(Ｎ)は、元の信号と再構成された信号との間の最小二乗誤差(ＭＳＥ)であり、λはラグランジュ乗数である。

Ｒ−Ｄ歪みは、符号化器がＭＰにおける反復をいつ終了するかも示す。Ｎをドロップすることによって、非ゼロ係数の最適数は以下によって求めることができる。

ここで、Ｃは所与のスパース性制約であり、Ｒ_Ｈはヘッダに必要なビットを示し、Ｒ_ＣはＭＰスケーリング係数に必要なビットを示し、Ｒ_Ｉはインデックス表現に必要なビットを示す。

ヘッダ情報は、非ゼロ係数の数、すなわち反復数を含み、それによって、復号化器は再構成中の正しい要素数を求める。符号化器は、最適値によって、或る特定のビットバジェットの制約における最良のスパース近似を提供する。このプロセスは、復号化器、例えば図５の辞書要素選択器５５０における使用にも利用可能である。

辞書インデックスコピー法を用いた進化型コーディング技法
ＭＰを用いた辞書インデックス選択プロセスに加えて、この発明では、インデックスコピー法も提供する。一般に、隣接するブロックは空間領域において類似したコンテキストを有すると仮定することができる。そして、辞書要素は再構成中、基底関数としてふるまう。このため、隣接する残差信号において類似したパターンが現れるとき、同じ辞書要素集合を隣接するブロック間で再利用することができる。現在の信号の係数は、以前の辞書要素を適用することによって求められる。したがって、符号化器は、インデックスコーディングに必要なビット量を低減することができる。候補間でＲ−Ｄコストを検査することによって選択された(６００)インデックス集合のソースを示すフラグがシグナリングされる。

インデックスコピー法は、信号特性が隣接するブロックにおいて実質的に安定しているときに効率的とすることができる。したがって、この方法は、ビデオの同種のエリアにおける隣接ブロックに適合させることができる。

産業上の利用可能性
この発明の方法は、多種の分野の多くのビデオ符号化及び復号化に適用可能である。

Claims (12)

1. ビデオ復号化器においてビットストリームとして符号化されたビデオを復号化する方法であって、
   復号化された予測残差信号から生成された辞書集合を維持するステップであって、該辞書集合の要素は関連付けられたインデックスを有し、各辞書が複数の要素を有するものと、
   前記ビットストリームの現在のマクロブロックをエントロピー復号化及び逆量子化して、復号化された係数を生成するステップと、
   前記現在のマクロブロックについて、前記ビットストリームにおいてシグナリングされる予測モードに従って前記辞書集合の特定の辞書を、前記特定の辞書の１つまたは複数の要素が前記現在のマクロブロックのスパースな表現を形成するように、選択するステップと、
   前記インデックスを前記ビットストリームを介して受けた時に、前記インデックスに従って前記特定の辞書の各特定の要素を選択し、その他の時に、前記現在のマクロブロックの再構成のために、前記特定の辞書の以前に使用された要素を表すコピーモード信号に従って前記特定の辞書の特定の要素を選択するステップと、
   前記復号化された係数を用いて、前記特定の要素をスケーリング及び結合して、現在の復号化されたマクロブロック予測残差信号を再構成するステップと、
   前記現在の復号化されたマクロブロック予測残差信号を、以前に復号化されたマクロブロックと結合して、再構成されたビデオの出力マクロブロックを生成するステップと、
   を含み、
   前記ステップは復号化器において実行される、ビデオ復号化器においてビットストリームとして符号化されたビデオを復号化する方法。
2. 前記辞書集合は過完全である、請求項１に記載の方法。
3. 前記予測モードは、前記現在のマクロブロックを復号化するのに用いられる前記辞書を選択する、請求項１に記載の方法。
4. 前記要素は、符号化時にマッチング追跡(ＭＰ)プロセスを用いて選択されたものである、請求項１に記載の方法。
5. 前記ＭＰプロセスは、前記再構成されたビデオの残差を最小にすることによって、辞書要素の線形結合を形成するものである、請求項４に記載の方法。
6. 前記ＭＰプロセスは、レート歪みコストが最小にされるまで反復するものである、請求項４に記載の方法。
7. 前記係数は、該係数の統計に基づいてハフマンテーブルにより二値化される、請求項１に記載の方法。
8. 前記復号化された予測残差信号は、前記ビデオの以前に復号化されたマクロブロックから得られる、請求項１に記載の方法。
9. 前記復号化された予測残差信号は、トレーニングビデオの集合の復号化されたマクロブロックから得られる、請求項１に記載の方法。
10. 復号化されたマクロブロックを再構成するのに用いられたのと同じ辞書要素が、前記現在のマクロブロックを再構成するのに用いられる、請求項１に記載の方法。
11. 前記インデックスは、後の使用のためにバッファ内に記憶される、請求項１に記載の方法。
12. 前記ビデオは、該ビデオのサンプルから符号化辞書の集合を構成することによって符号化され、前記サンプルは予測残差であり、
    前記符号化辞書の集合を前記ビデオに適用して、該辞書集合から選択された要素を用いて前記ビデオのスパース表現を生成するステップと、
    前記スパース表現を量子化して、量子化された信号を生成するステップと、
    前記量子化された信号をエントロピーコード化して、ビットストリームを生成するステップと、
    を更に含む、請求項１に記載の方法。

Images