JP4860156B2 - ビデオ符号化 - Google Patents

Description

本発明はビデオ符号化、特に空間のスケーラブルな圧縮方式に関する。

デジタルビデオに固有の大量なデータのために、フルモーションの高精細なデジタルビデオ信号の送信は、高精細テレビジョンの開発においてかなり問題である。特に、各デジタル画像フレームは、特定のシステムの画面解像度に従う多数の画素から形成される静止画像である。結果として、高精細なビデオシーケンスに含まれる生のデジタル情報の量は大量である。送信されなければならないデータの量を減少させるために、データを圧縮する圧縮方式が用いられる。ＭＰＥＧ−２、ＭＰＥＧ−４及びＨ．２６４を含む様々なビデオ圧縮規格又は処理が確立されている。

あるストリームにおいて様々な解像度及び／又は品質でビデオが利用可能である多くのアプリケーションが可能である。これを達成するための方法は、漠然とスケーラビリティ技術と呼ばれている。スケーラビリティを配置することができる３本の軸がある。第１の軸は、時間軸に関するスケーラビリティであり、しばしば時間スケーラビリティと呼ばれる。第２の軸は、品質軸に関するスケーラビリティであり、しばしばＳＮ(signal-to-noise)スケーラビリティ又は細粒度(fine-grain)スケーラビリティと呼ばれる。第３の軸は、解像度軸（画像内の画素数）であり、しばしば空間のスケーラビリティ又は階層符号化と呼ばれる。階層符号化において、ビットストリームは２つ以上のビットストリーム、すなわち階層に分割される。各階層は、１つの高品質な信号を形成するために結合されることができる。例えば、ベース層は低い品質のビデオ信号を供給するのに対し、拡張層は、このベース層の画像を拡張することができる追加の情報を供給する。

特に、空間のスケーラビリティは、異なるビデオ規格間の互換性又は復号器の機能を提供することができる。空間のスケーラビリティの場合、ベース層のビデオが入力ビデオシーケンスよりも低い解像度を持ってもよく、その場合、拡張層は、ベース層の解像度を入力シーケンスのレベルに復元させることができる情報を坦持している。

図１は、既知の階層ビデオ符号化器１００を説明している。表される符号化システム１００は階層圧縮を遂行し、これによりチャンネルの一部が低い解像度のベース層を設けるのに用いられ、残りの部分がエッジ拡張情報を送信するのに用いられる。これにより、２つの信号が再び結合され、このシステムを高い解像度にする。この高い解像度のビデオ入力Ｈｉ−ＲＥＳは、スプリッタ１０２により分割され、これによりデータは、ローパスフィルタ１０４及び減算回路１０６に送られる。このローパスフィルタ１０４はビデオデータの解像度を減少させ、次いでこれがベース符号化器１０８に供給される。一般的に、ローパスフィルタ及び符号化器は、従来よく知られていて、簡潔性のためにここでは詳細に説明しない。符号化器１０８は低い解像度のベースストリームを生成し、このストリームが第２のスプリッタ１１０に供給される。このスプリッタからの出力がシステム１００からの出力である。ベースストリームが高精細とみなされる解像度を供給しなくても、このベースストリームは放送、入力、及び復号器を介してそのまま表示されることができる。

スプリッタ１１０の他の出力は、システム１００内にある復号器１１２に供給される。ここから、復号された信号が補間及びアップサンプル回路１１４に供給される。一般的に、この補間及びアップサンプル回路１１４は、復号されたビデオストリームから、フィルタリング除去された解像度を復元し、高い解像度の入力と同じ解像度を持つビデオデータストリームを供給する。しかしながら、フィルタリング並びに符号化及び復号により生じる損失のために、復元されるストリームに一定のエラーが存在する。これらエラーは、減算回路において、本来の未修正の高い解像度のストリームから復元された高い解像度のストリームを減算することにより決められる。この減算回路１０６の出力は、適正な品質の拡張ストリームを出力する拡張符号化器１１６に供給される。

入力ビデオを低解像度にフィルタリング及びダウンスケーリングし、次いでそれを圧縮する欠点は、このビデオがシャープネス(sharpness)を失うことである。これは、復号器の後に、シャープネス拡張を用いることによりある程度保証されることができる。画像拡張技術は通常、拡張された出力信号を分析することにより制御される。本来のフル解像度の信号が基準信号として用いられる場合、拡張制御は改良されることができる。しかしながら、通常は上記基準が例えばテレビセットには存在していない。しかしながら、何かのアプリケーション、例えば空間のスケーラブルな圧縮において、上記基準信号は存在する。しかしながら、問題は、どうやってこれを参照するかである。１つの可能性は、基準信号と拡張された出力信号の画素の差に目を向けることである。この差のエネルギーを最小にすることにより制御が達成される。しかしながら、この方法は実際に、人間の目が画像をシャープだと知覚する方法を考慮されていない。人間の目が画像をシャープだと知覚する方法を考慮する、画像からの画像内容のパラメタが得られることが知られている。ここで、制御アルゴリズムは、これら値を最大にしようとするが、それをし過ぎるという危険性があり、シャープであるが、全く不自然な画像となる。問題は、画像の拡張を制御するのに利用可能である基準画像もある場合、これら得られた画像内容パラメタをどのように使うかである。

本発明は、拡張された出力信号及び基準信号の両方に画像内容パラメタを使用することにより、他の既知の階層圧縮方式の欠陥を克服する。制御アルゴリズムは、拡張された出力信号の画像内容パラメタと、基準信号の画像内容パラメタとの間の差ができるだけ小さくなるように、ベースストリームの拡張を制御する。これが拡張をし過ぎることを防ぎ、シャープな自然な画像となる。

本発明の１つの実施例によれば、入力ビデオストリームを符号化して、符号化された出力ビットストリームを生成する方法及び装置が開示されている。ベースストリームは、拡張制御パラメタに基づいて拡張される。少なくとも１つの画像内容パラメタは、前記拡張されたベースストリームから得られる。少なくとも１つの画像内容パラメタは、前記入力ビデオのビットストリームから得られる。これら拡張された画像内容パラメタは、入力画像内容パラメタと比較される。比較ステップからの出力が入力され、拡張制御パラメタは、入力画像内容パラメタと拡張された画像内容パラメタとの間の差を最小にするように計算される。これら計算された制御パラメタは、符号化された出力のビットストリームに組み込まれる。

本発明のこれら及び他の態様は、以下に記載の実施例から明白であると共に、これら実施例を参照して説明される。

本発明の実施例によると、空間のシャープネス拡張技術を用いた空間のスケーラブルな圧縮方式が開示されている。本発明の実施例において、画像内容情報は、以下に記載されるような、基準信号及び拡張された出力信号の両方から得られる。

本実施例は、本発明を用いて使用され得る符号化器のブロック図である図２を参照してより詳細に説明される。この符号化器は、比較的低い解像度を持つベース層と、少なくとも１つの拡張層とを備える階層符号化器とすることができるが、本発明はそれに限定されないと理解される。表される符号化システム２００は、階層圧縮を遂行し、これによりチャンネルの一部が低解像度のベース層を設けるのに使用され、残りの部分は、エッジ拡張情報を送信するのに用いられる。これにより、これら２つの信号は、再び結合され、このシステムを高い解像度にする。この高い解像度のビデオ入力部２０１は、スプリッタ２１０により分割され、これにより、データは例えばナイキストフィルタのようなローパスフィルタ２１２及びスプリッタ２３２に送られる。このローパスフィルタ２１２はビデオデータの解像度を減少させ、次いでそれがベース符号化器２１４に供給される。一般的に、ローパスフィルタ及び符号化器は、従来よく知られていて、簡潔性のためにここでは詳細には説明しない。ベース符号化器２１４は、低い解像度のベースストリーム２１５を生成する。このベースストリームが高精細とみなされる解像度を提供しなくても、このベースストリームは、そのまま放送、入力及び復号器を介して表示されることができる。

前記符号化器は、復号されたベースストリームをスプリッタ２１３にも出力し、このスプリッタは、復号されたベースストリームを分割し、その分割したストリームをアップスケーリング回路(upscaling circuit)２１６及び拡張ユニット２２０に供給する。加えて、復号器（図示せず）が回路内に符号化器２１４の後に挿入され、符号化器の出力を、アップスケーリング回路２１６に送られる前に、復号することができる。一般的に、アップスケーリング回路２１６は、復号されたビデオストリームから、フィルタリング除去された解像度を復元し、高い解像度の入力と同じ解像度を持つビデオデータストリームを供給する。アップスケーリング回路２１６からのアップスケーリングされたビットストリームｖ１は、減算回路２３４に入力される。

拡張ユニット２２０は、前記出力信号２１５を処理し、拡張ユニット２２０における拡張アルゴリズムと、制御ユニット２３１により生成される拡張制御パラメタ（”enh ctrl par”）とに従って前記信号を拡張する。多くのビデオ拡張技術が存在し、これら技術は、結果生じる画像の認識が改善されるように、画像内容を全て変更する。これら拡張の主観的特徴は、最適化処理を複雑にして、おそらくはビデオ拡張アルゴリズムの相違点の理由である。様々な拡張アルゴリズムは、幾つかの手段により画像品質に寄与している。ノイズリダクション及びシャープネス改善のアルゴリズムは、拡張アルゴリズムの多くの組の中からほんの数個の例である。これら既知の拡張アルゴリズムの何れも本発明において使用されることができると理解される。

拡張された出力信号２２１は、画像内容パラメタユニット２２２に供給される。この画像内容パラメタユニット２２２は、この拡張された出力信号２２１から複数の画像内容パラメタを得る。この例示的な実施例では、３つの画像内容パラメタが前記拡張された出力信号２２１から得られるが、本発明はそれに限定されない。

基準信号２０１は、画像内容パラメタユニット２２４に供給される。この画像内容パラメタユニット２２４は、画像内容パラメタユニット２２２が拡張された出力ユニット２２１から得られるのと同じように、同じ複数の画像内容パラメタを基準画像２０１から得る。これら画像内容パラメタは、全体的にはフレームベースであるが、画素の集合ベース、例えば１６＊１６画素とすることもできる。画像又は画素の集合から得られる画像内容パラメタの実施例は、画素の集合の最大値と最小値との間の差、エッジの中央にあるエッジの急峻さの値、ＤＣＴ係数高周波エネルギーレベル等を含んでいるが、それらに限定はされない。図３ａは基準信号２０１のＤＣＴ係数のエネルギーレベル曲線を示し、図３ｂは拡張された出力信号２２１のＤＣＴ係数のエネルギーレベル曲線を示す。

基準画像内容パラメタユニット２２４及び拡張された画像内容パラメタユニット２２２から得られる画像内容パラメタは、例えば少なくとも１つの減算ユニット２２６及び乗算ユニット２２８を有する比較ユニットに供給される。この比較ユニットが同様に他の要素から構成されることが可能であることを当業者は分かっている。減算ユニット２２６は、基準画像内容パラメタから拡張された画像内容パラメタを取り去る。各減算ユニット２２６の出力は、それら出力に既定の係数（Ｃ１、Ｃ２、Ｃ３）を乗算する乗算ユニット２２８に最適に供給される。これら乗算ユニットの出力は、合計ユニット２３０において一緒に合計され、制御ユニット２３１に供給される。この制御ユニット２３１は、前記合計ユニット２３０から入力される情報を処理し、新しい拡張制御パラメタを生成する。本発明の１つの実施例に従って、制御ユニット２３１は、基準信号の画像内容パラメタと、拡張された出力信号の画像内容パラメタとの間の差ができるだけ小さくなるように、拡張制御パラメタを介して拡張ユニット２２０を制御する。これは、通常はシャープとなるが、全く不自然な画像となる拡張のし過ぎも防ぐ。

アップスケーリング回路２１６のアップスケーリングされた出力は、減算回路２３４において本来の入力２０１から減算され、スイッチ２３６に供給される残りのビットストリームを生成する。このスイッチは、制御ユニット２３１の出力（Ｓ）により制御される。入力ビデオビットストリーム２０１を拡張されたベースビデオストリームと比較することにより、制御ユニット２３１は、どの画素又は画素のどの集合（ブロック）が拡張層２０８によりさらに拡張される必要があるかを判断することができる。制御ユニット２３１により拡張が必要であると判断された画素又は画素の集合（ブロック）に対し、制御ユニット２３１は、制御信号（Ｓ）を出力してスイッチ２３６を閉じ、前記残りのビットストリームの部分を拡張層符号化器２４０に通す。制御ユニット２３１は、この情報が拡張ストリーム２４１において結果としてある残りのビットストリームと結合（多重化）されるように、選択された拡張制御パラメタ及びスイッチ２３６用の制御信号を前記符号化器２４０にも送る。

図４は、本発明の実施例に従って、符号化器２００からのベースストリーム及び拡張ストリームを復号するのに使用される復号器４００を説明する。本実施例において、ベースストリーム２１５は、ベース復号器４０２により復号され、拡張ストリーム２４１は、拡張復号器４０４により復号される。復号されたベースストリームはアップコンバータ４０６及び拡張ユニット４０８に供給される。復号された拡張ストリームは加算ユニット４１０に供給される。この加算ユニット４１０は、復号された拡張ストリームをアップコンバータ４０６からのアップコンバートされたベースストリームに加え、この結合されたストリームをスイッチ４１４の一方に供給する。

拡張符号化器は、信号Ｓ及び拡張制御パラメタも拡張ストリームからマルチプレクサ（説明せず）を介して取り除き、この信号Ｓ及び拡張制御パラメタを拡張制御ユニット４１２に供給する。この拡張制御ユニット４１２は信号Ｓをスイッチ４１４に供給し、拡張制御パラメタを拡張ユニット４０８に供給する。拡張ユニット４０８は、拡張ユニット４０８における拡張アルゴリズム、及び拡張制御ユニット４１２により供給される拡張制御パラメタに従って、復号されたベースストリームを拡張する。拡張されたベースストリームは次いでスイッチ４１４のもう一方に供給される。信号Ｓにより決められるような、スイッチＳの位置に依存して、復号器４００は、加算ユニット４１０からの結合されたストリーム、又は拡張されたベースストリームの一方を出力する。

本発明の他の実施例によれば、復号器４００の出力は、加算ユニット４１０からの結合されたストリームと、拡張ユニット４０８からの拡張されたベースストリームとを結合したものでもよい。図５に説明されるように、前記信号Ｓが１組の乗算ユニット５０２及び５０４に供給される（ここでＳは０から１の間にある値である）。この例示的な実施例において、乗算ユニット５０２は、加算ユニット４１０からの結合されたストリームを（１−Ｓ）の値で乗算する。乗算ユニット５０４は、拡張されたベースストリームを値Ｓで乗算する。これら２つの乗算ユニットの出力は、加算ユニット５０６において結合され、復号器の出力を形成する。

本発明の他の実施例において、符号化器２００の拡張符号化区域の出力は、制御ユニット２３１又はある他のデバイスにより抑えられることができる。結果として、符号化器２００から出力される拡張ストリームはない。この例示的な実施例において、拡張制御パラメタは上述したように作成されるが、図２の破線２５１を介してベース符号化器２１４に供給される。拡張制御パラメタは次いで、ベース符号化器におけるマルチプレクサを介して符号化されたベースストリーム２１５に組み込まれる。

これら組み込まれた拡張制御パラメタを備える符号化されたベースストリーム２１５は、図６に示される復号器６００により符号化される。この符号化されたベースストリームは、ベース復号器６０２において復号され、この復号されたベースストリームが拡張ユニット６０４に供給される。ベース復号器６０２は、符号化されたベースストリーム２１５から拡張制御パラメタも分離し、これら分離したパラメタを拡張制御ユニット６０６に供給する。復号されたベースストリームは次いで、拡張ユニット６０４における拡張アルゴリズム、及び拡張制御ユニット６０６からの拡張制御パラメタに従って、拡張ユニット６０４により拡張される。この拡張される復号されたベースストリームは次いで復号器６００から出力される。

本発明の上述される実施例は、基準信号からの画像制御パラメタと、拡張される信号からの画像制御パラメタとの間の差ができるだけ小さくなるように、制御ユニットを用いて拡張制御パラメタを制御することにより、画像のシャープさ又は品質を最適にする。

上述された実施例は、本発明を限定するものではなく説明するものであり、当業者は添付されている特許請求の範囲から外れることなく、多数の代替の実施例を立案することができることに注意すべきである。これら請求項において、括弧内にあるどんな参照番号も請求項を限定すると解釈されない。「有する」という用語は、請求項に挙げた要素又はステップ以外の要素又はステップが在ることを排除することではない。本発明は、幾つかの別個の要素を有するハードウェア、及び適切にプログラムされたコンピュータを用いて実施されることが可能である。幾つかの手段を列挙している装置の請求項において、これら手段の幾つかがハードウェアの同じアイテムにより具現化されることができる。ある手法が相互に異なる従属請求項に述べられているという単なる事実は、これら手法の組み合わせが有利となるように使用することができないことを示してはいない。

既知の階層ビデオ符号化器を表すブロック図。 本発明のある実施例によるレイヤ式ビデオ符号化器／復号器のブロック図。 本発明のある実施例によるＤＣＴ係数のエネルギーレベル曲線。 本発明のある実施例によるＤＣＴ係数のエネルギーレベル曲線。 本発明のある実施例による復号器のブロック図。 本発明の他の実施例による復号器のブロック図。 本発明の他の実施例による復号器のブロック図。

Claims (16)

1. 入力ビデオビットストリームを符号化して、符号化されたビットストリームを作成するための符号化器において、
   −拡張制御パラメタに基づいて、前記入力ビデオビットストリームの解像度を低下させたストリームであるベースストリームを、高解像度のストリームへと拡張する拡張ユニットと、
   −第１の画像内容パラメタを前記拡張されたベースストリームから得る第１の画像内容パラメタユニットと、
   −第２の画像内容パラメタを前記入力ビデオビットストリームから得る第２の画像内容パラメタユニットと、
   −前記第１の画像内容パラメタを前記第２の画像内容パラメタと比較する比較手段と、
   −前記比較手段からの出力を入力し、前記第１の画像内容パラメタと前記第２の画像内容パラメタとの間の差を最小にする前記拡張制御パラメタを計算する制御ユニットと、
   −前記計算された拡張制御パラメタを前記符号化された入力ビデオビットストリームに組み込む手段と
   を有する符号化器。
2. 前記符号化器は、ベース層と少なくとも１つの拡張層とを備える階層符号化器である請求項１に記載の符号化器。
3. 前記階層符号化器は、前記ベース層が比較的低い解像度である空間の階層符号化器である請求項２に記載の符号化器。
4. 請求項３に記載の符号化器において、
   −前記符号化器の出力を抑える手段
   をさらに有する符号化器。
5. 前記第１の画像内容パラメタと前記第２の画像内容パラメタとの間の差は、前記制御ユニットに事前に入力される既定値で乗算される請求項１に記載の符号化器。
6. 請求項５に記載の符号化器において、
   −前記既定値で乗算された前記比較手段の出力と一緒に合計する合計手段
   をさらに有する符号化器。
7. 前記画像内容パラメタは、画素の集合の最大値と最小値との間の差、エッジの急峻さの値、ＤＣＴ係数高周波エネルギーレベル曲線を有する集合からなる請求項１に記載の符号化器。
8. 入力ビデオビットストリームを符号化する符号化器において、
   −前記入力ビデオビットストリームの解像度を低下させるダウンサンプリングユニットと、
   −前記低下させた解像度のベースストリームを符号化するベース符号化器と、
   −前記ベースストリームの解像度を増大させ、アップスケーリングされたベースビットストリームを作成するアップスケーリングユニットと、
   −拡張制御パラメタに基づいて前記ベースストリームを高解像度のストリームへと拡張する拡張ユニットと、
   −第１の画像内容パラメタを前記拡張されたベースストリームから得る第１の画像内容パラメタユニットと、
   −第２の画像内容パラメタを前記入力ビデオビットストリームから得る第２の画像内容パラメタユニットと、
   −前記第１の画像内容パラメタを前記第２の画像内容パラメタと比較する比較手段と、
   −前記比較手段からの出力を入力し、前記第１の画像内容パラメタと前記第２の画像内容パラメタとの間の差を最小にする前記拡張制御パラメタを計算する制御ユニットと、
   −前記入力ビデオビットストリームから、前記アップスケーリングされたベースビットストリームを減算し、残りのビットストリームを作成する減算ユニットと、
   −前記残りのビットストリームの一部だけを前記制御ユニットからの制御信号に基づいて拡張符号化器に送られることを選択的に可能にするスイッチング手段と
   を有する符号化器。
9. 前記スイッチング手段は、０から１の値を持つ乗算器であり、０の値は前記スイッチング手段が開いていることを意味し、１の値はスイッチング手段が閉じていることを意味する請求項８に記載の符号化器。
10. 選択された画像内容パラメタ間の前記比較は、前記制御ユニットに入力される前に既定値で乗算される請求項８に記載の符号化器。
11. 請求項１０に記載の符号化器において、
    −前記既定値で乗算された前記比較手段の出力と一緒に合計する合計手段
    をさらに有する符号化器。
12. 前記画像内容パラメタは、画素の集合の最大値と最小値との間の差、エッジの中央におけるエッジの急峻さの値、ＤＣＴ係数の高周波エネルギーレベル曲線を有する集合からなる請求項８に記載の符号化器。
13. 符号化器における入力ビデオビットストリームを符号化し、符号化された出力ストリームを作成する方法において、
    −拡張制御パラメタに基づいて、前記入力ビデオビットストリームの解像度を低下させたストリームであるベースストリームを、高解像度のストリームへと拡張する拡張するステップと、
    −第１の画像内容パラメタを前記拡張されたビットストリームから得るステップと、
    −第２の画像内容パラメタを前記入力ビデオビットストリームから得るステップと、
    −前記第１の画像内容パラメタを前記第２の画像内容パラメタと比較するステップと、
    −前記比較ステップからの出力を入力し、前記第１の画像内容パラメタと、前記第２の画像内容パラメタとの間の差を最小にする前記拡張制御パラメタを計算するステップと、
    −前記計算された拡張制御パラメタを前記符号化された出力ビットストリームに組み込むステップと
    を有する方法。
14. 組み込まれた拡張制御パラメタと共に入力ビデオビットストリームを復号する復号器において、
    前記拡張制御パラメータは、前記入力ビデオビットストリームの解像度を低下させたストリームであるベースストリームを、高解像度のストリームへと拡張するために利用されるパラメータであって、且つ、前記拡張されたベースストリームから得られる第１の画像内容パラメタユニットと、前記入力ビデオビットストリームから得られる第２の画像内容パラメタユニットとの差を最小にするパラメータであり、前記復号器は、
    −前記拡張制御パラメタを前記復号された信号から分離する復号ユニットと、
    −前記拡張制御パラメタに基づいて前記復号された信号の解像度を増大させる拡張ユニットと
    を有する復号器。
15. 圧縮されたビデオ情報を復号する復号器において、
    −入力ビットストリームの解像度を低下させたストリームであるベースストリームを復号するベースストリーム復号器と、
    −前記復号されたベースストリームの解像度を増大させるアップコンバートユニットと、
    −入力された拡張ストリームを復号し、内蔵されている拡張制御パラメタを前記拡張ストリームから分離する拡張ストリーム復号器と、
    −前記アップコンバートされる復号されたベースストリーム及び前記復号された拡張ストリームを結合する第１の加算ユニットと、
    −前記拡張制御パラメタを用いて、前記復号されたベースストリームの解像度を増大させる拡張手段と、
    −前記第１の加算ユニットからの前記結合されたビットストリーム又は前記拡張されたビットストリームの一方を出力することを選択するスイッチ手段と
    を有する復号器。
16. 請求項１５に記載の復号器において、前記スイッチ手段の代わりに、
    −前記第１の加算ユニットの出力を第１の既定値で乗算する第１の乗算ユニットと、
    −前記拡張ベースストリームを第２の既定値で乗算する第２の乗算ユニットと、
    −前記第１の乗算ユニット及び前記第２の乗算ユニットからの出力を加算し、出力ストリームを形成する第２の加算手段と
    をさらに有する復号器。

Images