JP6120896B2 - ビデオ符号化および復号のためのスパース性に基づくアーティファクト除去フィルタリングを行う方法および装置 - Google Patents

Description

（関連出願とのクロスリファレンス）
本出願は、２００８年１１月２５日付で出願された仮出願第６１／１１７,８０７号の利益を主張するものであり、その開示内容全体を本願に盛り込んだものとする。

本発明は、一般的には、ビデオ符号化および復号に関し、より具体的には、ビデオ符号化および復号のためにスパース性に基づくアーティファクト除去フィルタリング（ｓｐａｒｓｉｔｙ‐ｂａｓｅｄ ｄｅ‐ａｒｔｉｆａｃｔ ｆｉｌｔｅｒｉｎｇ）を行う方法および装置に関する。

多くのハイブリッドビデオ符号化技術は、動き補償およびブロックベースの変換（例えば、離散コサイン変換（ＤＣＴ：ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｎｓｆｏｒｍｓ））を用いて空間ドメインと時間ドメインにおける相関性を減らしている。変換係数の粗い量子化およびレート歪み（ＲＤ：ｒａｔｅ‐ｄｉｓｔｏｒｔｉｏｎ）に基づく最適化における視覚的品質の制約が存在しないことにより、視覚的なアーティファクトが生じることがある。

ＩＳＯ／ＩＥＣ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ／Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ） ＭＥＰＧ‐４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ‐４） Ｐａｒｔ １０ ＡＶＣ（Ｐａｒｔ １０ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）規格／ＩＴＵ‐Ｔ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ， Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｅｃｔｏｒ）Ｈ．２６４勧告（以下、「ＭＰＥＧ‐４ ＡＶＣ規格」と呼ぶ）においては、イン・ループ・デブロッキング・フィルタが用いられ、符号化されたブロック境界に沿って生ずるブロッキーなアーティファクトを低減する。このようなアーティファクトは、変換（ＤＣＴ）係数の粗い量子化と共に、動き補償された予測によって生ずる。ブロック・エッジにローパス・フィルタを適用することによって、デブロッキング・フィルタは、ビデオ品質を主観的にも客観的にも改善させることができる。

図１を参照すると、ＭＰＥＧ‐４ ＡＶＣ規格に従ったビデオ符号化を実行することが可能なビデオ符号化器が概ね参照符号１００によって示されている。

ビデオ符号化器１００は、結合器１８５の非反転入力と信号通信する出力を有するフレーム順序付けバッファ１１０を含む。結合器１８５の出力は、変換器／量子化器１２５の第１の入力と信号通信するように結合されている。変換器／量子化器１２５の出力は、エントロピー符号化器１４５の第１の入力と、逆変換器／逆量子化器１５０の第１の入力と信号通信するように結合されている。エントロピー符号化器１４５の出力は、結合器１９０の第１の非反転入力と信号通信するように結合されている。結合器１９０の出力は、出力バッファ１３５の第１の入力と信号通信するように結合されている。

符号化器コントローラ１０５の第１の出力は、フレーム順序付けバッファ１１０の第２の入力と、逆変換器／逆量子化器１５０の第２の入力と、ピクチャ・タイプ決定モジュール１１５の入力と、マクロブロック・タイプ（ＭＢタイプ）決定モジュール１２０の入力と、イントラ予測モジュール１６０の第２の入力と、デブロッキング・フィルタ１６５の第２の入力と、動き補償器１７０の第１の入力と、動き推定器１７５の第１の入力と、参照ピクチャ・バッファ１８０の第２の入力と信号通信するように結合されている。

符号化器コントローラ１０５の第２の出力は、補助拡張情報（ＳＥＩ：Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）挿入器１３０の第１の入力と、変換器／量子化器１２５の第２の入力と、エントロピー符号化器１４５の第２の入力と、出力バッファ１３５の第２の入力と、シーケンス・パラメータ・セット（ＳＰＳ：Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）／ピクチャ・パラメータ・セット（ＰＰＳ：Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）挿入器１４０の入力と信号通信するように結合されている。

ＳＥＩ挿入器１３０の出力は、結合器１９０の第２の非入力端子と信号通信するように結合されている。

ピクチャ・タイプ決定モジュール１１５の第１の出力は、フレーム順序付けバッファ１１０の第３の入力と信号通信するように結合されている。ピクチャ・タイプ決定モジュール１１５の第２の出力は、マクロブロック・タイプ決定モジュール１２０の第２の入力と信号通信するように結合されている。

シーケンス・パラメータ・セット（ＳＰＳ：Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）／ピクチャ・パラメータ・セット（ＰＰＳ：Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）挿入器１４０の出力は、結合器１９０の第３の非反転入力と信号通信するように結合されている。

逆変換器／逆量子化器１５０の出力は、結合器１１９の第１の非反転入力と信号通信するように結合されている。結合器１１９の出力は、イントラ予測モジュール１６０の第１の入力と、デブロッキング・フィルタ１６５の第１の入力と信号通信するように結合されている。デブロッキング・フィルタ１６５の出力は、参照ピクチャ・バッファ１８０の第１の入力と信号通信するように結合されている。参照ピクチャ・バッファ１８０の出力は、動き推定器１７５の第２の入力と信号通信するように結合されている。動き推定器１７５の第１の出力は、動き補償器１７０の第２の入力と信号通信するように結合されている。動き推定器１７５の第２の出力は、エントロピー符号化器１４５の第３の入力と信号通信するように結合されている。

動き補償器１７０の出力は、スイッチ１９７の第１の入力と信号通信するように結合されている。イントラ予測モジュール１６０の出力は、スイッチ１９７の第２の入力と信号通信するように結合されている。マクロブロック・タイプ決定モジュール１２０の出力は、スイッチ１９７の第３の入力と信号通信するように結合されている。スイッチ１９７の第３の入力は、スイッチの（制御入力、即ち、第３の入力と比較される）「データ」入力が、動き補償器１７０またはイントラ予測モジュール１６０によって提供されるかどうかを判定する。スイッチ１９７の出力は、結合器１１９の第２の非反転入力および結合器１８５の反転入力と信号通信するように結合されている。

フレーム順序付けバッファ１１０の入力および符号化器コントローラ１０５の入力は、符号化器１００の入力として、入力ピクチャを受信するために利用可能である。さらに、補助拡張情報（ＳＥＩ：Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）挿入器１３０の第２の入力は、符号化器１００の入力として、メタデータを受信するために利用可能である。出力バッファ１３５の出力は、符号化器１００の出力として、ビットストリームを出力するために利用可能である。

図２を参照すると、ＭＰＥＧ‐４ ＡＶＣ規格に従ったビデオ復号を実行することが可能なビデオ復号器が概ね参照符号２００によって示されている。

ビデオ復号器２００は、エントロピー復号器２４５の第１の入力と信号通信するように結合された出力を有する入力バッファ２１０を含む。エントロピー復号器２４５の第１の出力は、逆変換器／逆量子化器２５０の第１の入力と信号通信するように結合されている。逆変換器／逆量子化器２５０の出力は、結合器２２５の第２の非反転入力と信号通信するように結合されている。結合器２２５の出力は、デブロッキング・フィルタ２６５の第２の入力と、イントラ予測モジュール２６０の第１の入力と信号通信するように結合されている。デブロッキング・フィルタ２６５の第２の出力は、参照ピクチャ・バッファ２８０の第１の入力と信号通信するように結合されている。参照ピクチャ・バッファ２８０の出力は、動き補償器２７０の第２の入力と信号通信するように結合されている。

エントロピー復号器２４５の第２の出力は、動き補償器２７０の第３の入力と、デブロッキング・フィルタ２６５の第１の入力と信号通信するように結合されている。エントロピー復号器２４５の第３の出力は、復号器コントローラ２０５の入力と信号通信するように結合されている。復号器コントローラ２０５の第１の出力は、エントロピー復号器２４５の第２の入力と信号通信するように結合されている。復号器コントローラ２０５の第２の出力は、逆変換器／逆量子化器２５０の第２の入力と信号通信するように結合されている。復号器コントローラ２０５の第３の出力は、デブロッキング・フィルタ２６５の第３の入力と信号通信するように結合されている。復号器コントローラ２０５の第４の出力は、イントラ予測モジュール２６０の第２の入力と、動き補償器２７０の第１の入力と、参照ピクチャ・バッファ２８０の第２の入力と信号通信するように結合されている。

動き補償器２７０の出力は、スイッチ２９７の第１の入力と信号通信するように結合されている。イントラ予測モジュール２６０の出力は、スイッチ２９７の第２の入力と信号通信するように結合されている。スイッチ２９７の出力は、結合器２２５の第１の非反転入力と信号通信するように結合されている。

入力バッファ２１０の入力は、復号器２００の入力として、入力ビットストリームを受信するために利用可能である。デブロッキング・フィルタ２６５の第１の出力は、復号器２００の出力として、出力ピクチャを出力するために利用可能である。

上述したデブロッキング・フィルタは、ブロック・エッジの周りのサンプルの分析を実行し、フィルタ強度を適応化させてブロッキーなアーティファクトに起因する小さな強度差を減衰させる一方で、実際の画像コンテンツに係る一般的により大きな強度差を保持するように働く。幾つかのブロック符号化モードおよび状態もまた、フィルタリングが適用される強度を示すように機能する。これらには、インター／イントラ予測決定および隣接ブロック間の符号化された残差や動きの差の存在が含まれる。デブロッキング・フィルタは、ブロック・レベルでの適応性を有する上、スライス・レベルおよびサンプル・レベルでの適応性を有する。スライス・レベルでは、フィルタリング強度は、ビデオ・シーケンスの個々の特性に応じて調節することができる。サンプル・レベルでは、サンプル値および量子化器に基づいた閾値に依存して個々のサンプルでフィルタリングをオフにすることができる。

しかしながら、ＭＰＥＧ‐４ ＡＶＣ規格のデブロッキング・フィルタによって除去されるブロッキーなアーティファクトは、圧縮されたビデオに存在するアーティファクトのみではない。粗い量子化に起因して、リンギング（ｒｉｎｇｉｎｇ）、エッジの歪み、さらに、テキスチャの破損などの他のアーティファクトが発生する。デブロッキング・フィルタは、ブロック内に現れる量子化エラーによって生ずるアーティファクトを低減することはできない。さらに、デブロッキングに用いられるローパス・フィルタ技術は、スムーズな画像モデルを想定しており、エッジまたはテキスチャなどの画像の特異性の処理に適したものではない。

近年、スパース性に基づいたノイズ除去のアプローチに関する研究が行われている。これらのアプローチの幾らかは、スパース行列に関わる。スパース行列は、主に零が配列された行列である。

上述した研究に関し、さらに、特に、ニューロサイエンスおよび画像処理における発見に基づき、自然な画像または映像がランダムなノイズ信号とは区別されるスパース特性を共有することが判明している。画像および映像のノイズ除去手段のためのこのスパース特性は、画像および映像信号を何らかのベースによってスパース（まばらに）に分解できることを意味する。従って、上述したスパース特性に基づいて多数のアルゴリズムが開発されている。多くのスパース性に基づくノイズ除去方法は、通常、少数の基本的な要素の線型結合により、真の信号（ｔｒｕｅ ｓｉｇｎａｌ）を良好に近似計算できるものと想定している。すなわち、信号は、変換ドメインにおいてスパースに表される。従って、高確率で真の信号エネルギーを伝送する少数の高マグニチュードの変換係数を保持し、概してノイズによって生じている可能性、見込みの高い残りの変換係数を破棄することによって、真の信号を効果的に推定することができる。

スパース性に基づくノイズ除去処理は、通常、変換、シュリンケージ（ｓｈｒｉｎｋａｇｅ）（または、閾値処理）、さらに、逆変換の３つのステップに関わる。スパース画像モデルを利用するための一般的なアプローチの１つは、オーバーコンプリートな（ｏｖｅｒ‐ｃｏｍｐｌｅｔｅ）セットの線型変換と閾値処理を用いることである。例えば、「ｋ‐ＳＶＤのアプローチ」と呼ばれる第１の従来技術は、基底追跡アプローチに関わるものであり、変換ベースのトレーニングが、画像または映像のデータベースに基づいて、エネルギー関数を最小にすることによって行われる。

この基底追跡アプローチとは異なる他の従来技術のアプローチは、信号に適した基底を追跡する代わりに、標準的なベースに信号を適応化させるものである。例えば、第２の従来技術に係るアプローチでは、スライディング・ウインドウ変換ドメイン・ノイズ除去法が提供され、ここでの基本的なアイディアは、高速フーリエ変換（ＦＦＴ：Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）または、離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）などの標準的な変換を通じて得られるローカルな（ウインドウが付けられた）変換ドメインにシュリンケージを適用することである。連続したウインドウ間の重なりが過剰性（ｏｖｅｒ‐ｃｏｍｐｌｅｔｅｎｅｓｓ）を示している。第３および第４の従来技術に係るアプローチにおいては、ｋ近傍法（ｋＮＮ：ｋ ｎｅａｒｅｓｔ ｎｅｉｂｏｒｓ）パッチに基づくノイズ除去アプローチが提案されている。第１の従来技術におけるアプローチのように重なった空間近傍子を使用する代わりに、第３および第４の従来技術に係るアプローチは、非ローカルに、適応的な方法で、同様のｄ−次領域をサーチし、「グループ化された（ｇｒｏｕｐｅｄ）」領域（パッチまたはエリア）にｄ＋１次変換を適用する。その後、同様のシュリンケージ（閾値処理）および逆変換が行われる。最終的にノイズを除去した画素は、この画素の全ての推定値を加重平均したものである。

一般性を失うことなく、ｋ‐ＳＶＤを除く上述したアプローチの全ては、ｋＮＮ領域に基づくノイズ除去アプローチであると考えることができる。ここで、２次元（２Ｄ）の場合、空間近傍パッチをｋＮＮを行うアドホック方法であると考えることができる。

図３を参照すると、ＫＮＮ領域に基づくスパース性ノイズ除去アプローチの一般的なフレームワークが概ね参照符号３００によって示されている。領域クラスタ３０５を「パッキング」（３１０）して、「パッキングされた」領域クラスタ表現３１５を得るために、同様の基準または尺度に基づいて領域クラスタ３０５に対して領域（パッチまたはエリア）クラスタリングが実行される。領域の次数およびサイズは、２Ｄであってもよいし、３Ｄであってもよい。次に、選択された変換３２０（例えば、ＦＦＴまたはＤＣＴ）がパッキングされた領域クラスタ表現３１５に適用され、スパース表現３２５を得る。変換の次数は、領域と領域のクラスタ次数に依存する。変換ドメインにおいて、多くの場合には、ノイズ除去のためにシュリンケージまたは閾値処理３３０をスパース表現３２５に適用し、シュリンケージ後の結果を表す処理済の（変換ドメイン）信号３３５を得る。次に、逆変換３４０が適用され、処理済の（変換ドメイン）信号３３５を強度ドメインに戻し、処理済の（強度ドメイン）信号３４５を提供する。最後に、領域クラスタは、「アンパッキング」（３５０）され、内部の各領域（パッチまたはエリア）が、処理済（強度ドメイン）信号３４５から当初の場所に復元され、アンパッキングされた領域クラスタ３５５を得る。全ての処理画素位置に渡ってルーピングが実行される。パッチの重なりにより、各画素は、複数の推定値を有することがある。そこで、これらの複数の推定値が融合され（組み合わされる（重み付けアルゴリズムを用いて組み合わされることもある））、最終的にノイズが除去された画素を得る。最良のノイズ除去効果を得るために、閾値の決定が非常に重要である。

スパース性を有するノイズ除去技術により動機付けられて、圧縮アーティファクト除去についての文献において、非線型のイン・ループ・フィルタが提案されている。この技術は、オーバーコンプリートな変換のセットによって提供されるノイズ除去された推定値のセットを使用する。具体的には、第２の従来技術に係るアプローチの実施態様は、ウエーブレットまたはＤＣＴなど、所与の２Ｄ直交変換Ｈに対して想定される全ての変換Ｈ_iを用いることにより、オーバーコンプリートな変換のセットを生成する。従って、所与の画像Ｉにつき、様々な変換Ｈ_iを適用することによって、この画像Ｉに対し、一連の異なる変換されたバージョンＹ_iが作成される。次に、変換された各バージョンＹ_iに対し、閾値処理を含む、ノイズ除去処理が適用され、一連のＹ’_iが生成される。次に、変換され、閾値処理が行われた係数Ｙ’_iは、空間ドメインに逆変換され、ノイズ除去された推定値Ｉ’_iを発生させる。オーバーコンプリート設定においては、ノイズ除去された推定値のうちの幾らかは、他のものよりも良好なパフォーマンスを提供するものと考えられ、最終的にフィルタリングされたバージョンＩ’は、このようなノイズが除去された各推定値を平均化したものから得られた組み合わせによる利点を得ることができる。第２の従来技術のアプローチのノイズ除去フィルタは、ノイズ除去された各推定値Ｉ’の加重平均を使用し、ここで、各重みは、最良のノイズ除去された推定値を強調するように最適化されている。アーティファクトの除去処理をより効率的に取り扱い、第２の従来技術によって課せられる制約を取り除くべく、第５の従来技術に係るアプローチは、垂直成分および水平成分を超えて分析の方向を広げるために、フィルタリングされようとするピクチャの相異なるサブラティスのサンプリング値を利用することを提案している。さらに、方向適応型（ｄｉｒｅｃｔｉｏｎ‐ａｄａｐｔｉｖｅ）アーティファクト除去フィルタは、重み付けされた組み合わせから、残差の符号化において使用された変換と同様または近傍に位置する変換値より派生するノイズ除去された推定値を除外する。

アーティファクト除去のために、フィルタリングの閾値の選択が非常に重要である。適用される閾値は、フィルタのノイズ除去キャパシティの制御、さらに、良好なノイズ除去推定値を強調する際に使用される平均化の重みの算出に重要な役割を果たす。不適切な閾値を選択すると、再構築した画像が過度にスムージングされたものとなったり、アーティファクトが依然として残ったりする。第６の従来技術に係るアプローチにおける方法は、量子化ノイズ統計値、ローカル符号化状態、圧縮条件、さらに、当初の信号に合致するフィルタリング閾値を適応的に選択することによって、第５の従来技術に係るアプローチのパフォーマンスを改善するものである。各閾値は、空間的にも時間的にも、双方において適応化されてビデオ品質および／または符号化コストを最適化する。特に、フィルタリング・マップが作成され、相異なる閾値のクラスを取り扱う。クラス毎に選択された各閾値は、符号化され、副情報として復号器に送信される。しかしながら、実際には、このような閾値の最適な選択は簡単ではない。例えば、第６の従来技術に係るアプローチにおいては、最高のピークＳＮ比（ＰＮＳＲ：ｐｅａｋ ｓｉｇｎａｌ‐ｔｏ‐ｎｏｉｓｅ ｒａｔｉｏ）を提供する最良の閾値を見つけるために、徹底的なサーチが使用される。

最後に、ビデオ圧縮において空間ウィナー・フィルタリング（Ｗｉｅｎｅｒ ｆｉｌｔｅｒｎｇ）が使用されて符号化品質を改善させる。例えば、第７の従来技術に係るアプローチにおいては、局所的な空間分散に基づいてトレーニングされたウィナー・フィルタが後処理フィルタとして使用され、量子化ノイズを除去する。しかしながら、第７の従来技術に係るアプローチにおいては、フィルタ係数がビットストリーム内のオーバヘッドとして明示的に送信されるため、送信オーバヘッドが増加する。

従来技術のこれらの欠点および短所、さらに、その他の欠点および短所は、ビデオ符号化および復号のためにスパース性に基づくアーティファクト除去フィルタリングを行う方法および装置に関する本願の原理によって対処される。

本願の原理の一態様によれば、装置が提供され、この装置は、
画像の少なくとも一部を符号化する符号化器を含み、
符号化器は、グループ化尺度に基づいてこの一部内の各領域をグループ化し、
グループ化された領域を変換し、
この符号化器に設けられたアーティファクト除去フィルタを用いて変換された領域に対してアーティファクト除去フィルタリングを適応的に実行し、
アーティファクト除去された領域を逆変換して置き換え領域を生成し、
置き換え領域をグループ化の前に各領域が取られた画像を有する各位置に復元する。

本願の原理の別の態様によれば、ビデオ符号化器において行われる方法が提供される。この方法は、画像の少なくとも一部を符号化するステップを含み、
符号化ステップは、
グループ化尺度に基づいてこの一部内の各領域をグループ化するステップと、
グループ化された領域を変換するステップと、
この符号化器に設けられたアーティファクト除去フィルタを用いて変換された領域に対してアーティファクト除去フィルタリングを適応的に行うステップと、
アーティファクト除去された領域を逆変換して置き換え領域を生成するステップと、
置き換え領域をグループ化の前に各領域が取られた画像を有する各位置に復元するステップと、を含む。

本願の原理のさらに別の態様によれば、装置が提供され、この装置は、
画像の少なくとも一部を復号する復号器を含み、
復号器は、
グループ化尺度に基づいて一部内の各領域をグループ化し、
グループ化された領域を変換し、
この復号器に設けられたアーティファクト除去フィルタを用いることによって、変換された領域に対してアーティファクト除去フィルタリングを適応的に実行し、
アーティファクト除去された領域を逆変換して置き換え領域を生成し、
置き換え領域をグループ化の前に各領域が取られた画像を有する各位置に復元することによって復号する。

本発明の原理のさらに別の態様によれば、ビデオ復号器において行われる方法が提供される。この方法は、
画像の少なくとも一部を復号するステップを含み、復号ステップは、
グループ化尺度に基づいてこの一部内の各領域をグループ化するステップと、
グループ化された領域を変換するステップと、
アーティファクト除去フィルタを用いて変換された領域に対してアーティファクト除去フィルタリングを行うステップと、
アーティファクト除去された領域を逆変換して置き換え領域を生成するステップと、
置き換え領域をグループ化の前に各領域が取られた画像を有する各位置に復元するステップと、を含む。

本願の原理のこれらの態様、特徴、および利点、さらに、その他の態様、特徴、および利点は、添付の図面と併せて以下の例示的な実施の形態の詳細な説明を参照することによって明らかになるであろう。

本願の原理は、以下の例示的な図面に従ってより良好に理解されるであろう。

ＭＰＥＧ‐４ ＡＶＣ規格に従ったビデオ符号化を実行する機能を有するビデオ符号化器を示すブロック図である。 ＭＰＥＧ‐４ ＡＶＣ規格に従ったビデオ復号を実行する機能を有するビデオ復号器を示すブロック図である。 ｋＮＮ領域に基づくスパース性ノイズ除去アプローチの一般的なフレームワークを示すブロック図である。 本願の原理の実施の形態に従って、デブロッキング・フィルタの代わりにアーティファクト除去フィルタを有する例示的なビデオ符号化器を示すブロック図である。 本願の原理の実施の形態に従って、デブロッキング・フィルタの代わりにアーティファクト除去フィルタを有する例示的なビデオ復号器を示すブロック図である。 本願の原理の実施の形態に従って、デブロッキング・フィルタの後段に設けられるように構成されたアーティファクト除去フィルタを有する例示的なビデオ符号化器を示すブロック図である。 本願の実施の形態に従って、デブロッキング・フィルタの後段に設けられるように構成されたアーティファクト除去フィルタを有する例示的なビデオ復号器を示すブロック図である。 本願の実施の形態に従って、後処理フィルタとして構成されたアーティファクト除去フィルタを有する例示的なビデオ符号化器を示すブロック図である。 本願の実施の形態に従って、後処理フィルタとして構成されたアーティファクト除去フィルタを有する例示的なビデオ復号器を示すブロック図である。 本願の原理の実施の形態に従って、符号化器で行われるスパース性に基づくアーティファクト除去フィルタリングのための例示的な方法を示すフロー図である。 本願の原理の実施の形態に従って、復号器で行われるスパース性に基づくアーティファクト除去フィルタリングのための例示的な方法を示すフロー図である。

本願の原理は、ビデオ符号化および復号のためにスパース性に基づくアーティファクト除去フィルタリングを行う方法および装置に関する。

本説明は、本願の原理を例示するものである。従って、本明細書において明示的に記載、または図示されていなくとも、当業者が本願の原理を実施する様々な構成を企図することが可能であり、このような構成が本願の精神および範囲の中に包含されることが理解できるであろう。

本明細書に記載された全ての例および条件付の文言は、本願の原理を読者が理解するのを助けるための教示目的のものであり、発明者によって寄与された概念は、技術を発展させるものであり、このような具体的に記載された例や条件に限定されるように解釈されるべきではない。

また、本明細書における本発明の原理、態様、および、実施の形態についての全ての記載、さらに、その特定の例は、構造的、機能的な均等物を包含するように意図したものである。さらに、このような均等物は、現在公知の均等物だけでなく、将来において開発される均等物、即ち、構造に係らず、同一の機能を実行するように開発された全ての要素を包含するように意図されている。

従って、例えば、当業者であれば、本明細書において示されたブロック図は、本願の原理を実施する回路を例示する概念図であることが理解できよう。同様に、フローチャート、フロー図、状態遷移図、擬似コードなどは、いずれも様々な処理を表す。これらの処理は、実質的にコンピュータによって読み取り可能なメディアにおいて表すことができ、コンピュータまたはプロセッサにより実行され、このようなコンピュータまたはプロセッサがはっきりと図示されているかどうかに係るものではない。

各図面において示される様々な要素の機能は、専用のハードウエアの使用により提供されてもよく、適切なソフトウエアと関連付けてソフトウエアを実行することが可能なハードウエアの使用によって提供されてもよい。機能がプロセッサによって提供される場合にも、単一の専用プロセッサによって提供されてもよく、単一の共有プロセッサによって提供されてもよく、複数の別個のプロセッサによって提供されてもよく、幾つかのプロセッサが共有されていてもよい。さらに、用語「プロセッサ」または「コントローラ」を明示的に使用した場合であっても、ソフトウエアを実行することが可能なハードウエアのみを意味するように解釈されるべきではなく、限定するものではないが、ディジタル信号プロセッサ（ＤＳＰ： ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）・ハードウエア、ソフトウエアを格納する読み出し専用メモリ（ＲＯＭ： ｒｅａｄ‐ｏｎｌｙ ｍｅｍｏｒｙ）、ランダム・アクセス・メモリ（ＲＡＭ： ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、および不揮発性の記憶装置を暗黙的に含むことがある。

また、従来のおよび／または慣習的な他のハードウエアを含むこともある。同様に、図面に示されたどのスイッチも概念的なものに過ぎない。これらの機能はプログラム・ロジックの動作を介して、専用のロジックを介して、プログラム制御と専用のロジックとのインタラクションを介して、または、手動でも実行されることがある。文脈からより具体的に理解できるように、実施者により、特定の技術を選択可能である。

請求の範囲において、特定の機能を実施するための手段として表現されたいずれの要素も、この機能をどのような方法で実行するものも包含するように意図している。例えば、ａ）機能を実行する回路要素を組み合わせたもの、または、ｂ）形態に関わらず、ソフトウエア、つまり、ファームウエア、マイクロコード等を含み、機能を実施するためにソフトウエアを実行する適当な回路と組み合わせたものも包含する。このような請求の範囲によって定義される本願の原理は、請求項に記載された様々な手段によって提供される機能が請求の範囲の要件として、組み合わせられ、まとめられている事実に基づいたものである。従って、出願人は、このような機能を提供することが可能な手段はどのようなものであっても、本願において示されているものと均等であるとみなす。

明細書において、本願の原理の「一実施の形態」、または、「実施の形態」と言及されている場合、これは、実施の形態に関して記載される特定の特徴事項、構造、特性などが本願の原理の少なくとも１つの実施の形態に含まれることを意味する。従って、明細書全体に渡って様々な箇所に存在する文言「一実施の形態においては」、「実施の形態においては」、または、この類の表現は、必ずしも、同一の実施の形態について言及するものではない。

「／（スラッシュ）」、「および／または」、さらに、「〜のうちの少なくとも一方（〜のうちの少なくとも１つ）」の使用は、例えば、「Ａおよび／またはＢ」の場合、１番目に列挙されたオプション（Ａ）のみの選択、２番目に列挙されたオプション（Ｂ）のみの選択、または、両方のオプション（ＡおよびＢ）の選択を包含すると意図される。別の例として、「Ａ、Ｂ、および／またはＣ」、さらに、「Ａ、Ｂ、およびＣのうちの少なくとも１つ」の場合、このような文言は、１番目に列挙されたオプション（Ａ）のみの選択、２番目に列挙されたオプション（Ｂ）のみの選択、３番目に列挙されたオプション（Ｃ）のみの選択、１番目および２番目に列挙されたオプション（ＡおよびＢ）のみの選択、２番目および３番目に列挙されたオプション（ＡおよびＣ）のみの選択、２番目および３番目に列挙されたオプション（ＢおよびＣ）のみ、または、全ての３つのオプション（Ａ、Ｂ、およびＣ）の選択を包含すると意図される。列挙された数の項目の分だけ、このことが拡張されることは、当該技術分野、さらに、関連する技術分野における通常の技術知識を有するものであれば容易に理解できるであろう。

さらに、本願の原理の１つ以上の実施の形態を本明細書中でＭＰＥＧ‐４ ＡＶＣ規格のマルチビュー・ビデオ符号化に関連させて説明しているが、本願の原理は、この規格のみに限定されるものではなく、従って、本願の原理の精神を逸脱することなく、ＭＰＥＧ‐４ ＡＶＣ規格の拡張版を含む、他のビデオ符号化規格、勧告およびその拡張版にも利用することができる。

さらに、本明細書において使用される「ハイレベル・シンタックス」は、マクロブロック層よりも階層的に上位に位置するビットストリームに存在するシンタックスを意味する。例えば、本明細書において使用されるハイレベル・シンタックスは、限定するものではないが、スライス・ヘッダ・レベル、補助拡張情報（ＳＥＩ：Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）レベル、ピクチャ・パラメータ・セット（ＰＰＳ：ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）・レベル、シーケンス・パラメータ・セット（ＳＰＳ：Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）・レベル、および、ネットワーク抽象化レイヤー（ＮＡＬ：Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）ユニット・ヘッダ・レベルでのシンタックスを意味する場合がある。

また、本明細書において使用される「ピクチャ」および「イメージ」は、同じ意味で使用され、静止画像または、ビデオ・シーケンスからのピクチャを意味する。公知であるように、ピクチャは、フレームやフィールドであったりする。

さらに、本明細書において使用される「ｏｕｔ‐ｏｆ‐ｌｏｏｐ（アウト・オブ・ループ）は、出力が特定のピクチャの後続する符号化または復号に影響を与えないような要素を示す。すなわち、このような要素は、符号化ループ外に存在するであろうからである。さらに、本明細書において使用される「ｉｎ‐ｌｏｏｐ（イン・ループ）」は、出力が特定のピクチャの後続する符号化または復号に影響を与えるような要素を示す。すなわち、このような要素は、符号化ループ内に存在するであろうからである。

上述したように、本願の原理は、ビデオ符号化および復号のためのスパース性に基づくアーティファクト除去フィルタリングを行う方法および装置に関する。

一実施の形態においては、本願の原理に従ったアーティファクト除去フィルタは、符号化器および／または復号器における既存のデブロッキング・フィルタに置き換わるように構成することができる。

図４を参照すると、デブロッキング・フィルタの代わりにアーティファクト除去フィルタを有する例示的なビデオ符号化器が概ね参照符号４００によって示されている。

ビデオ符号化器４００は、結合器４８５の非反転入力と信号通信する出力を有するフレーム順序付けバッファ４１０を含む。結合器４８５の出力は、変換器／量子化器４２５の第１の入力と信号通信するように結合されている。変換器／量子化器４２５の出力は、エントロピー符号化器４４５の第１の入力と、逆変換器／逆量子化器４５０の第１の入力と信号通信するように結合されている。エントロピー符号化器４４５の出力は、結合器４９０の第１の非反転入力と信号通信するように結合されている。結合器４９０の出力は、出力バッファ４３５の第１の入力と信号通信するように結合されている。

符号化器コントローラ４０５の第１の出力は、フレーム順序付けバッファ４１０の第２の入力と、逆変換器／逆量子化器４５０の第２の入力と、ピクチャ・タイプ決定モジュール４１５の入力と、マクロブロック・タイプ（ＭＢタイプ）決定モジュール４２０の入力と、イントラ予測モジュール４６０の第２の入力と、アーティファクト除去フィルタ４６５の第２の入力と、動き補償器４７０の第１の入力と、動き推定器４７５の第１の入力と、参照ピクチャ・バッファ４８０の第２の入力と信号通信するように結合されている。

符号化器コントローラ４０５の第２の出力は、補助拡張情報（ＳＥＩ：Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）挿入器４３０の第１の入力と、変換器／量子化器４２５の第２の入力と、エントロピー符号化器４４５の第２の入力と、出力バッファ４３５の第２の入力と、シーケンス・パラメータ・セット（ＳＰＳ：Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）／ピクチャ・パラメータ・セット（ＰＰＳ：Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）挿入器４４０の入力と信号通信するように結合されている。

ＳＥＩ挿入器４３０の出力は、結合器４９０の第２の非反転入力と信号通信するように結合されている。

ピクチャ・タイプ決定モジュール４１５の第１の出力は、フレーム順序付けバッファ４１０の第３の入力と信号通信するように結合されている。ピクチャ・タイプ決定モジュール４１５の第２の出力は、マクロブロック・タイプ決定モジュール４２０の第２の入力と信号通信するように結合されている。

シーケンス・パラメータ・セット（ＳＰＳ：Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）／ピクチャ・パラメータ・セット（ＰＰＳ：Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）挿入器４４０の出力は、結合器４９０の第３の非反転入力と信号通信するように結合されている。

逆変換器／逆量子化器４５０の出力は、結合器４１９の第１の非反転入力と信号通信するように結合されている。結合器４１９の出力は、イントラ予測モジュール４６０の第１の入力と、アーティファクト除去フィルタ４６５の第１の入力と信号通信するように結合されている。アーティファクト除去フィルタ４６５の出力は、参照ピクチャ・バッファ４８０の第１の入力と信号通信するように結合されている。参照ピクチャ・バッファ４８０の出力は、動き推定器４７５の第２の入力と、動き補償器４７０の第３の入力と信号通信するように結合されている。動き推定器４７５の第１の出力は、動き補償器４７０の第２の入力と信号通信するように結合されている。動き推定器４７５の第２の出力は、エントロピー符号化器４４５の第３の入力と信号通信するように結合されている。

動き補償器４７０の出力は、スイッチ４９７の第１の入力と信号通信するように結合されている。イントラ予測モジュール４６０の出力は、スイッチ４９７の第２の入力と信号通信するように結合されている。マクロブロック・タイプ決定モジュール４２０の出力は、スイッチ４９７の第３の入力と信号通信するように結合されている。スイッチ４９７の第３の入力は、スイッチの（制御入力、即ち、第３の入力と比較される）「データ」入力が、動き補償器１７０またはイントラ予測モジュール４６０によって提供されるかどうかを判定する。スイッチ４９７の出力は、結合器４１９の第２の非反転入力および結合器４８５の反転入力と信号通信するように結合されている。

フレーム順序付けバッファ４１０の入力および符号化器コントローラ４０５の入力は、符号化器４００の入力として、入力ピクチャを受信するために利用可能である。さらに、補助拡張情報（ＳＥＩ：Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）挿入器４３０の入力は、符号化器４００の入力として、メタデータを受信するために利用可能である。出力バッファ４３５の出力は、符号化器４００の出力として、ビットストリームを出力するために利用可能である。

図５を参照すると、デブロッキング・フィルタの代わりにアーティファクト除去フィルタを有する例示的なビデオ復号器が概ね参照符号５００によって示されている。

ビデオ復号器５００は、エントロピー復号器５４５の第１の入力と信号通信するように結合された出力を有する入力バッファ５１０を含む。エントロピー復号器５４５の第１の出力は、逆変換器／逆量子化器５５０の第１の入力と信号通信するように結合されている。逆変換器／逆量子化器５５０の出力は、結合器５２５の第２の非反転入力と信号通信するように結合されている。結合器５２５の出力は、アーティファクト除去フィルタ５６５の第２の入力と、イントラ予測モジュール５６０の第１の入力と信号通信するように結合されている。アーティファクト除去フィルタ５６５の第２の出力は、参照ピクチャ・バッファ５８０の第１の入力と信号通信するように結合されている。参照ピクチャ・バッファ５８０の出力は、動き補償器５７０の第２の入力と信号通信するように結合されている。

エントロピー復号器５４５の第２の出力は、動き補償器５７０の第３の入力と、アーティファクト除去フィルタ５６５の第１の入力と信号通信するように結合されている。エントロピー復号器５４５の第３の出力は、復号器コントローラ５０５の入力と信号通信するように結合されている。復号器コントローラ５０５の第１の出力は、エントロピー復号器５４５の第２の入力と信号通信するように結合されている。復号器コントローラ５０５の第２の出力は、逆変換器／逆量子化器５５０の第２の入力と信号通信するように結合されている。復号器コントローラ５０５の第３の出力は、アーティファクト除去フィルタ５６５の第３の入力と信号通信するように結合されている。復号器コントローラ５０５の第４の出力は、イントラ予測モジュール５６０の第２の入力と、動き補償器５７０の第１の入力と、参照ピクチャ・バッファ５８０の第２の入力と信号通信するように結合されている。

動き補償器５７０の出力は、スイッチ５９７の第１の入力と信号通信するように結合されている。イントラ予測モジュール５６０の出力は、スイッチ５９７の第２の入力と信号通信するように結合されている。スイッチ５９７の出力は、結合器５２５の第１の非反転入力と信号通信するように結合されている。

入力バッファ５１０の入力は、復号器５００の入力として、入力ビットストリームを受信するために利用可能である。アーティファクト除去フィルタ５６５の第１の出力は、復号器５００の出力として、出力ピクチャを出力するために利用可能である。

一実施の形態においては、本願の原理に係るアーティファクト除去フィルタは、符号化器および／または復号器における既存のデブロッキング・フィルタの後段に設けられるように構成することができる。

図６を参照すると、デブロッキング・フィルタの後段に構成されたアーティファクト除去フィルタを有する例示的なビデオ符号化器が概ね参照符号６００によって示されている。

ビデオ符号化器６００は、結合器６８５の非反転入力と信号通信する出力を有するフレーム順序付けバッファ６１０を含む。結合器６８５の出力は、変換器／量子化器６２５の第１の入力と信号通信するように結合されている。変換器／量子化器６２５の出力は、エントロピー符号化器６４５の第１の入力と、逆変換器／逆量子化器６５０の第１の入力と信号通信するように結合されている。エントロピー符号化器６４５の出力は、結合器６９０の第１の非反転入力と信号通信するように結合されている。結合器６９０の出力は、出力バッファ６３５の第１の入力と信号通信するように結合されている。

符号化器コントローラ６０５の第１の出力は、フレーム順序付けバッファ６１０の第２の入力と、逆変換器／逆量子化器６５０の第２の入力と、ピクチャ・タイプ決定モジュール６１５の入力と、マクロブロック・タイプ（ＭＢタイプ）決定モジュール６２０の第１の入力と、イントラ予測モジュール６６０の第２の入力と、デブロッキング・フィルタ６６５の第２の入力と、アーティファクト除去フィルタ６１３の第２の入力と、動き補償器６７０の第１の入力と、動き推定器６７５の第１の入力と、参照ピクチャ・バッファ６８０の第２の入力と信号通信するように結合されている。

符号化器コントローラ６０５の第２の出力は、補助拡張情報（ＳＥＩ：Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）挿入器６３０の第１の入力と、変換器／量子化器６２５の第２の入力と、エントロピー符号化器６４５の第２の入力と、出力バッファ６３５の第２の入力と、シーケンス・パラメータ・セット（ＳＰＳ：Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）／ピクチャ・パラメータ・セット（ＰＰＳ：Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）挿入器６４０の入力と信号通信するように結合されている。

ＳＥＩ挿入器６３０の出力は、結合器６９０の第２の非反転入力と信号通信するように結合されている。

ピクチャ・タイプ決定モジュール６１５の第１の出力は、フレーム順序付けバッファ６１０の第３の入力と信号通信するように結合されている。ピクチャ・タイプ決定モジュール６１５の第２の出力は、マクロブロック・タイプ決定モジュール６２０の第２の入力と信号通信するように結合されている。

シーケンス・パラメータ・セット（ＳＰＳ：Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）／ピクチャ・パラメータ・セット（ＰＰＳ：Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）挿入器６４０の出力は、結合器６９０の第３の非反転入力と信号通信するように結合されている。

逆変換器／逆量子化器６５０の出力は、結合器６１９の第１の非反転入力と信号通信するように結合されている。結合器６１９の出力は、イントラ予測モジュール６６０の第１の入力と、デブロッキング・フィルタ６６５の第１の入力と信号通信するように結合されている。デブロッキング・フィルタ６６５の出力は、アーティファクト除去フィルタ６１３の第１の入力と信号通信するように結合されている。アーティファクト除去フィルタ６１３の出力は、参照ピクチャ・バッファ６８０の第１の入力と信号通信するように結合されている。参照ピクチャ・バッファ６８０の出力は、動き推定器６７５の第２の入力と、動き補償器６７０の第３の入力と信号通信するように結合されている。動き推定器６７５の第１の出力は、動き補償器６７０の第２の入力と信号通信するように結合されている。動き推定器６７５の第２の出力は、エントロピー符号化器６４５の第３の入力と信号通信するように結合されている。

動き補償器６７０の出力は、スイッチ６９７の第１の入力と信号通信するように結合されている。イントラ予測モジュール６６０の出力は、スイッチ６９７の第２の入力と信号通信するように結合されている。マクロブロック・タイプ決定モジュール６２０の出力は、スイッチ６９７の第３の入力と信号通信するように結合されている。スイッチ６９７の第３の入力は、スイッチの（制御入力、即ち、第３の入力と比較される）「データ」入力が、動き補償器６７０またはイントラ予測モジュール６６０によって提供されるかどうかを判定する。スイッチ６９７の出力は、結合器６１９の第２の非反転入力および結合器６８５の反転入力に結合されている。

フレーム順序付けバッファ６１０の入力および符号化器コントローラ６０５の入力は、符号化器６００の入力として、入力ピクチャを受信するために利用可能である。さらに、補助拡張情報（ＳＥＩ：Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）挿入器６３０の入力は、符号化器６００の入力として、メタデータを受信するために利用可能である。出力バッファ６３５の出力は、符号化器６００の出力として、ビットストリームを出力するために利用可能である。

図７を参照すると、デブロッキング・フィルタの後段に構成されたアーティファクト除去フィルタを有する例示的なビデオ復号器が概ね参照符号７００によって示されている。

ビデオ復号器７００は、エントロピー復号器７４５の第１の入力と信号通信するように結合された出力を有する入力バッファ７１０を含む。エントロピー復号器７４５の第１の出力は、逆変換器／逆量子化器７５０の第１の入力と信号通信するように結合されている。逆変換器／逆量子化器７５０の出力は、結合器７２５の第２の非反転入力と信号通信するように結合されている。結合器７２５の出力は、デブロッキング・フィルタ７６５の第２の入力と、イントラ予測モジュール７６０の第１の入力と信号通信するように結合されている。デブロッキング・フィルタ７６５の第２の出力は、アーティファクト除去フィルタ７１３の第２の入力と信号通信するように結合されている。アーティファクト除去フィルタ７１３の出力は、参照ピクチャ・バッファ７８０の第１の入力と信号通信するように結合されている。参照ピクチャ・バッファ７８０の出力は、動き補償器７７０の第２の入力と信号通信するように結合されている。

エントロピー復号器７４５の第２の出力は、動き補償器７７０の第３の入力と、デブロッキング・フィルタ７６５の第１の入力と信号通信するように結合されている。エントロピー復号器７４５の第３の出力は、復号器コントローラ７０５の入力と信号通信するように結合されている。復号器コントローラ７０５の第１の出力は、エントロピー復号器７４５の第２の入力と信号通信するように結合されている。復号器コントローラ７０５の第２の出力は、逆変換器／逆量子化器７５０の第２の入力と信号通信するように結合されている。復号器コントローラ７０５の第３の出力は、デブロッキング・フィルタ７６５の第３の入力と、アーティファクト除去フィルタ７１３の第１の入力と信号通信するように結合されている。復号器コントローラ７０５の第４の出力は、イントラ予測モジュール７６０の第２の入力と、動き補償器７７０の第１の入力と、参照ピクチャ・バッファ７８０の第２の入力と信号通信するように結合されている。

動き補償器７７０の出力は、スイッチ７９７の第１の入力と信号通信するように結合されている。イントラ予測モジュール７６０の出力は、スイッチ７９７の第２の入力と信号通信するように結合されている。スイッチ７９７の出力は、結合器７２５の第１の非反転入力と信号通信するように結合されている。

入力バッファ７１０の入力は、復号器７００の入力として、入力ビットストリームを受信するために利用可能である。デブロッキング・フィルタ７６５の第１の出力は、復号器７００の出力として、出力ピクチャを出力するために利用可能である。

一実施の形態においては、本願の原理に係るアーティファクト除去フィルタは、符号化器および／または復号器における後処理フィルタとして構成することができる。

図８を参照すると、後処理フィルタとして構成されるアーティファクト除去フィルタを有する例示的なビデオ符号化器が概ね参照符号８００によって示されている。

ビデオ符号化器８００は、結合器８８５の非反転入力と信号通信する出力を有するフレーム順序付けバッファ８１０を含む。結合器８８５の出力は、変換器／量子化器８２５の第１の入力と信号通信するように結合されている。変換器／量子化器８２５の出力は、エントロピー符号化器８４５の第１の入力と、逆変換器／逆量子化器８５０の第１の入力と信号通信するように結合されている。エントロピー符号化器８４５の出力は、結合器８９０の第１の非反転入力と信号通信するように結合されている。結合器８９０の出力は、出力バッファ８３５の第１の入力と信号通信するように結合されている。

符号化器コントローラ８０５の第１の出力は、フレーム順序付けバッファ８１０の第２の入力と、逆変換器／逆量子化器８５０の第２の入力と、ピクチャ・タイプ決定モジュール８１５の入力と、マクロブロック・タイプ（ＭＢタイプ）決定モジュール８２０の入力と、イントラ予測モジュール８６０の第２の入力と、デブロッキング・フィルタ８６５の第２の入力と、アーティファクト除去フィルタ８１３の第２の入力と、動き補償器８７０の第１の入力と、動き推定器８７５の第１の入力と、参照ピクチャ・バッファ８８０の第２の入力と信号通信するように結合されている。

符号化器コントローラ８０５の第２の出力は、補助拡張情報（ＳＥＩ：Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）挿入器８３０の第１の入力と、変換器／量子化器８２５の第２の入力と、エントロピー符号化器８４５の第２の入力と、出力バッファ８３５の第２の入力と、シーケンス・パラメータ・セット（ＳＰＳ：Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）／ピクチャ・パラメータ・セット（ＰＰＳ：Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）挿入器８４０の入力と信号通信するように結合されている。

ＳＥＩ挿入器８３０の出力は、結合器８９０の第２の非反転入力と信号通信するように結合されている。

ピクチャ・タイプ決定モジュール８１５の第１の出力は、フレーム順序付けバッファ８１０の第３の入力と信号通信するように結合されている。ピクチャ・タイプ決定モジュール８１５の第２の出力は、マクロブロック・タイプ決定モジュール８２０の第２の入力と信号通信するように結合されている。

シーケンス・パラメータ・セット（ＳＰＳ：Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）／ピクチャ・パラメータ・セット（ＰＰＳ：Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）挿入器８４０の出力は、結合器８９０の第３の非反転入力と信号通信するように結合されている。

逆変換器／逆量子化器８５０の出力は、結合器８１９の第１の非反転入力と信号通信するように結合されている。結合器８１９の出力は、イントラ予測モジュール８６０の第１の入力と、デブロッキング・フィルタ８６５の第１の入力と信号通信するように結合されている。デブロッキング・フィルタ８６５の第１の出力は、アーティファクト除去フィルタ８１３の第１の入力と信号通信するように結合されている。デブロッキング・フィルタ８６５の第２の出力は、参照ピクチャ・バッファ８８０の第１の入力と信号通信するように結合されている。参照ピクチャ・バッファ８８０の出力は、動き推定器８７５の第２の入力と、動き補償器８７０の第３の入力と信号通信するように結合されている。動き推定器８７５の第１の出力は、動き補償器８７０の第２の入力と信号通信するように結合されている。動き推定器８７５の第２の出力は、エントロピー符号化器８４５の第３の入力と信号通信するように結合されている。

動き補償器８７０の出力は、スイッチ８９７の第１の入力と信号通信するように結合されている。イントラ予測モジュール８６０の出力は、スイッチ８９７の第２の入力と信号通信するように結合されている。マクロブロック・タイプ決定モジュール８２０の出力は、スイッチ８９７の第３の入力と信号通信するように結合されている。スイッチ８９７の第３の入力は、スイッチの（制御入力、即ち、第３の入力と比較される）「データ」入力が、動き補償器８７０またはイントラ予測モジュール８６０によって提供されるかどうかを判定する。スイッチ８９７の出力は、結合器８１９の第２の非反転入力および結合器８８５の反転入力と信号通信するように結合されている。

フレーム順序付けバッファ８１０の第１の入力および符号化器コントローラ８０５の入力は、符号化器８００の入力として、入力ピクチャを受信するために利用可能である。さらに、補助拡張情報（ＳＥＩ：Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）挿入器８３０の第２の入力は、符号化器８００の入力として、メタデータを受信するために利用可能である。出力バッファ８３５の出力とアーティファクト除去フィルタ８１３の出力は、それぞれ、符号化器８００の出力として、ビットストリームを出力するために利用可能である。

図９を参照すると、後処理フィルタとして構成されたアーティファクト除去フィルタを有する別の例示的なビデオ復号器が概ね参照符号９００によって示されている。

ビデオ復号器９００は、エントロピー復号器９４５の第１の入力と信号通信するように結合された出力を有する入力バッファ９１０を含む。エントロピー復号器９４５の第１の出力は、逆変換器／逆量子化器９５０の第１の入力と信号通信するように結合されている。逆変換器／逆量子化器９５０の出力は、結合器９２５の第２の非反転入力と信号通信するように結合されている。結合器９２５の出力は、デブロッキング・フィルタ９６５の第２の入力と、イントラ予測モジュール９６０の第１の入力と信号通信するように結合されている。デブロッキング・フィルタ９６５の第２の出力は、アーティファクト除去フィルタ９１３の第２の入力と信号通信するように結合されている。デブロッキング・フィルタ９６５の第１の出力は、参照ピクチャ・バッファ９８０の第１の入力と信号通信するように結合されている。参照ピクチャ・バッファ９８０の出力は、動き補償器９７０の第２の入力と信号通信するように結合されている。

エントロピー復号器９４５の第２の出力は、動き補償器９７０の第３の入力と、デブロッキング・フィルタ９６５の第１の入力と信号通信するように結合されている。エントロピー復号器９４５の第３の出力は、復号器コントローラ９０５の入力と信号通信するように結合されている。復号器コントローラ９０５の第１の出力は、エントロピー復号器９４５の第２の入力と信号通信するように結合されている。復号器コントローラ９０５の第２の出力は、逆変換器／逆量子化器９５０の第２の入力と信号通信するように結合されている。復号器コントローラ９０５の第３の出力は、デブロッキング・フィルタ９６５の第３の入力およびアーティファクト除去フィルタ９１３の第１の入力と信号通信するように結合されている。復号器コントローラ９０５の第４の出力は、イントラ予測モジュール９６０の第２の入力と、動き補償器９７０の第１の入力と、参照ピクチャ・バッファ９８０の第２の入力と信号通信するように結合されている。

動き補償器９７０の出力は、スイッチ９９７の第１の入力と信号通信するように結合されている。イントラ予測モジュール９６０の出力は、スイッチ９９７の第２の入力と信号通信するように結合されている。スイッチ９９７の出力は、結合器９２５の第１の非反転入力と信号通信するように結合されている。

入力バッファ９１０の入力は、復号器９００の入力として、入力ビットストリームを受信するために利用可能である。デブロッキング・フィルタ９６５の第１の出力は、復号器９００の出力として、出力ピクチャを出力するために利用可能である。

本願の原理に従って、スパース性に基づくノイズ除去のアプローチを利用した新しいアーティファクト除去のフレームワークに関する各実施の形態を本明細書において説明した。様々な実施の形態において、アーティファクト除去は、既存のデブロッキング・フィルタに置き換わるアーティファクト除去フィルタ（図４および図５）、既存のデブロッキング・フィルタの後段に設けられるように構成されるアーティファクト除去フィルタ（図６および図７）、後処理フィルタとして構成されるアーティファクト除去フィルタ（図８および図９）に関わる。

一実施の形態においては、新しいアーティファクト除去のフレームワークは、アーティファクト除去フィルタリング処理が適応的に選択され、適用される変換ドメインで実施される。好ましい実施の形態においては、変換ドメイン・ウィナー・フィルタ（Ｗｉｅｎｅｒ ｆｉｌｔｅｒ）が使用される。この方法を、変換ドメインにおける適応型フィルタリングを使用した領域ベースのスパース性アーティファクト除去のフレームワークと呼ぶ。本願の原理の１つの重要な利点は、必要なオーバヘッドが非常に小さいことである。従来のアプローチと比較すると、本願では、（第６の従来技術に係るアプローチでは必要であった）閾値のサーチが不要となり、さらに、（第７の従来技術に係るアプローチでは必要であった）ウィナー・フィルタ係数の送信が不要となる。様々な実施の形態を例示し、説明しているが、これらは、例えば、変換次元によって区別される。本願の原理は、ビデオ圧縮において提供される量子化アーティファクトを低減し、ビデオ圧縮符号化器およびビデオ圧縮復号器における主観的および客観的なパフォーマンスを改善することを目的としている。

一実施の形態においては、変換ドメインにおいて適応型フィルタリングが利用される領域（または、パッチ或いはエリア）に基づくスパース性アーティファクト除去のフレームワークを提案する。フレームワークは２つの段階に分割される。第１の段階では、ビデオ信号の重なった領域（パッチ、エリア）を、２Ｄ、３Ｄ、または４Ｄ変換などの領域次元に基づく変換により、周波数ドメインに分解（変換）する。好ましい実施の形態においては、変換ドメインのウィナー・フィルタは、ノイズの変換係数に適用され、次に、逆変換される。その後、全ての処理された領域が従前の位置に復元される。別の実施の形態においては、領域の重なりにより、同一の画素の複数の推定値が取得される。第２の段階では、各画素につき、適応型のスパース性に基づくフィルタリングが使用され、信号の冗長表現からの複数の推定値が融合され（または、組み合わされるか重みを付けられる）。アーティファクト除去のフレームワークは、さらに、ビデオ符号化（または量子化）統計値を考慮する必要がある。

一実施の形態においては、重なり合ったパッチは、スライディング・ウインドウによって達成することができる。別の実施の形態においては、重なり合ったパッチは、ｋＮＮ非ローカル・サーチによって達成することができる。このサーチは、現在のピクチャ、または、空間的、時間的に近傍なピクチャ内部で行われる。パッチの次元は、２Ｄや３Ｄなどである。ビデオ圧縮技術では公知であるように、２Ｄは、画像、フレーム、スライスなどの空間次元を意味する。３Ｄは、さらに、１つ以上の時間的ピクチャ、スライス、または、フレーム間に時間的な要素を追加して考慮するものである。適用される変換は、２Ｄ、３Ｄ、４Ｄなどであり、領域、パッチ、またはエリアのグループ化の次元に基づき、さらに、領域、パッチ、または、エリアの特性に基づく。４番目の次元の要素は、領域、パッチ、またはエリアのグループ化の追加された次元により生ずるものである。一実施の形態においては、２Ｄ／３Ｄ／４Ｄ ＤＣＴを使用することができる。別の実施の形態においては、２Ｄ／３Ｄ／４Ｄ ＦＦＴを使用することができる。さらに、本願の原理は、例えば、ＦＦＴやＤＣＴなどの特定の変換に限定されるものではなく、本願の原理の精神を逸脱することなく、ウエーブレット変換など、他のどのような変換にも同様に適用することができることが理解できよう。

ウィナー・フィルタを利用する実施の形態では、以下の等式のように、変換ドメインにおける要素ごとの乗算として実施される。ここで、λは、変換ドメインにおける係数であり、

は、再構築された画素の推定されたノイズであり、Λ（λ）は、λのフィルタリングが適用された係数である。

上記の式において、

のみが未知の要素である。

は、当初の信号および再構築された信号との間の差の標準偏差として算出される。一実施の形態においては、

は、絶対偏差の平均（ＭＡＤ：ｍｅａｎ ｏｆ ａｂｓｏｌｕｔｅ ｄｉｆｆｅｒｅｎｃｅ）を使用して算出することができる。

は、ハイレベル／マクロブロック・レベルのシンタックスとして符号化され、復号器に送信される。一実施の形態においては、

は、ネットワーク抽象化レイヤー（ＮＡＬ：ｎｅｔｗｏｒｋ ａｂｓｔｒｕｃｔｉｏｎ ｌａｙｅｒ）ユニット・ヘッダ、ピクチャ・パラメータ・セット（ＰＰＳ：ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）、ビュー・パラメータ・セット（ＶＰＳ：ｖｉｅｗ ｐａｒａｍｅｔｅｒ ｓｅｔ）、スライス・ヘッダなどの中に、ハイレベル・シンタックスとして送信される。別の実施の形態においては、

は、オーバヘッドとしてマクロブロック・レベル内で符号化される。なお、本明細書において記載された１つ以上の実施の形態は、ウィナー・フィルタを使用しているが、本願の原理は、ウィナー・フィルタに限定されるものではなく、本願の原理の精神を逸脱することなく、何らかのパフォーマンス尺度、または、パラメータに基づいて他のフィルタを本願の原理に従って適応的に使用することができる。

第１の段階における融合については、一実施の形態においては、変換における零でない数の係数、または他のスパース性に関連する値として重みが近似計算される。別の実施の形態においては、単純に、平均化を使用することができる。勿論、本願の原理は、既に挙げた第２の状態に関するアプローチに限定されるものではなく、本願の原理を逸脱することなく、他のアプローチもまた、第２の段階に使用することができる。

アーティファクト除去フィルタは、量子化ノイズ統計値、符号化モードおよび動き情報、ローカル符号化状態、圧縮条件、さらに、元の信号の各特性を考慮する必要がある。フィルタは、ビデオ品質および／または符号化コストを最適化するために、空間的にも、時間的にも、双方において適応化されたものである。一実施の形態においては、過度なスムージング・エフェクトが生ずることを回避するために、ＳＫＩＰモードまたはＤＩＲＥＣＴモードなどの特定の状態において、または、隣接ブロックに対する動きの差の小さい、残差のないブロックについては、各画素にフィルタリングを適用しない。別の実施の形態においては、フィルタが全てのアーティファクト除去するのには十分に強くない場合、アーティファクト除去フィルタの前段、または後段に、二次的なフィルタが設けられる。例えば、二次的なフィルタは、限定するものではないが、ローパス・フィルタ、または、第２ラウンドとしての、アーティファクト除去フィルタである。さらに、一実施の形態においては、二次的なフィルタは、アーティファクト除去フィルタリングの後、イントラ・マクロブロックに対して適用してもよい。

上述したように、本願の原理に従ったアーティファクト除去フィルタは、様々な種類の符号化ダイアグラムにおいて使用することができる。一実施の形態においては、本願の原理に従ったアーティファクト除去フィルタをアウト・オブ・ループ・フィルタ（即ち、図８および図９に示すような後処理フィルタ）として使用することができる。別の実施の形態においては、（図４および図５に示すように）ＭＰＥＧ‐４ ＡＶＣ符号化器および／または復号器内のデブロッキング・フィルタを本願の原理に従ったアーティファクト除去フィルタに置き換えたり、（図６および図７に示すように）デブロッキング・フィルタと本願の原理に従ったアーティファクト除去フィルタを同時に適用したりすることができる。

本願の原理に係る１つ以上の実施の形態に対応する例示的なスライス・ヘッダ・シンタックスを表１に示す。

表１におけるシンタックス要素の幾つかのセマンティックスは、以下の通りである。
「ｄｅａｒｔ＿ｆｉｌｔｅｒ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが１である」は、アーティファクト除去フィルタの各特性を制御するシンタックス要素のセットがスライス・ヘッダ内に存在することを規定している。「ｄｅａｒｔ＿ｆｉｌｔｅｒ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが０である」は、アーティファクト除去フィルタの各特性を制御するシンタックス要素のセットがスライス・ヘッダ内に存在せず、その推定値が有効でないことを規定している。

「ｆｉｌｔｅｒ＿ｓｅｌｅｃｔｉｏｎ＿ｔｙｐｅ」は、アーティファクト除去に使用されるフィルタのコンフィグレーション（構成）を規定する。「ｆｉｌｔｅｒ＿ｓｅｌｅｃｔｉｏｎ＿ｔｙｐｅが０である」は、方向適応型アーティファクト除去フィルタリングが無効とすべきであることを規定する。「ｆｉｌｔｅｒ＿ｓｅｌｅｃｔｉｏｎ＿ｔｙｐｅが１である」は、アウト・オブ・ループ・アーティファクト除去フィルタリングが使用されることを規定する。「ｆｉｌｔｅｒ＿ｓｅｌｅｃｔｉｏｎ＿ｔｙｐｅが２である」は、デブロッキング・フィルタ無しでイン・ループ・アーティファクト除去フィルタリングが使用されることを規定する。「ｆｉｌｔｅｒ＿ｓｅｌｅｃｔｉｏｎ＿ｔｙｐｅが２である」は、デブロッキング・フィルタリングと共にイン・ループ・アーティファクト除去フィルタリングが使用されることを規定する。

ｎｏｉｓｅ＿ｐｏｗｅｒは、ウィナー・フィルタに使用されるノイズ強度の値を規定する。

図１０を参照すると、符号化器側で実行されるスパース性に基づくアーティファクト除去フィルタリングのための例示的な方法が概ね参照符号１０００によって示されている。方法１０００は、制御を機能ブロック１０１０に受け渡す開始ブロック１００５を含む。機能ブロック１０１０は、初期化（一実施の形態においては、フィルタリング・パラメータの推定に係る）を実行し、制御をループ端ブロック１０１５に受け渡す。ループ端ブロック１０１５は、全ての処理画素について、ループを開始し、制御を機能ブロック１０２０に受け渡す。機能ブロック１０２０は、ｋＮＮパッチ・クラスタリングを各処理画素について実行し、制御を機能ブロック１０２５に受け渡す。機能ブロック１０２５は、スパース性の制約を課し、制御をループ端ブロック１０３０に受け渡す。ループ端ブロック１０３０は、全ての処理画素について、ループを終了し、制御をループ端ブロック１０３５に受け渡す。ループ端ブロック１０３５は、全ての処理画素について、ループを開始し、制御を機能ブロック１０４０に受け渡す。機能ブロック１０４０は、各画素について、多重仮説融合（ｍｕｌｔｉｐｌｅ ｈｙｐｏｔｈｅｓｅｓ ｆｕｓｉｏｎ）を生成し、制御を機能ブロック１０４５に受け渡す。機能ブロック１０４５は、全ての画素について、ループを終了し、制御を機能ブロック１０５０に受け渡す。機能ブロック１０５０は、シンタックスを符号化し、制御を終了ブロック１０９９に受け渡す。

機能ブロック１０２５は、機能ブロック１０２５Ａ、１０２５Ｂ、および１０２５Ｃに関わる。機能ブロック１０２５Ａは、変換を実行し、制御を機能ブロック１０２５Ｂに受け渡す。機能ブロック１０２５Ｂは、フィルタリングを行い、制御を機能ブロック１０２５Ｃに受け渡す。機能ブロック１０２５Ｃは、逆変換を実行する。

方法１０００に関して少なくとも参照される処理画素は、ピクチャ、領域、ブロックなどの画素の全てよりも少なくてもよい。なぜならば、映像内に通常存在する重なり合いの領域を考慮すると、演算量を低減するために、画素の全てを処理する必要はないからである。

図１１を参照すると、復号器側で実行されるスパース性に基づくアーティファクト除去フィルタリングのための例示的な方法が概ね参照符号１１００によって示されている。方法１１００は、制御を機能ブロック１１１０に受け渡す開始ブロック１１０５を含む。機能ブロック１１１０は、（例えば、フィルタリング・パラメータを収集するために）シンタックスのパージングを行い、制御をループ端ブロック１１１５に受け渡す。ループ端ブロック１１１５は、全ての処理画素について、ループを開始し、制御を機能ブロック１１２０に受け渡す。機能ブロック１１２０は、ｋＮＮパッチ・クラスタリングを各処理画素について実行し、制御を機能ブロック１１２５に受け渡す。機能ブロック１１２５は、スパース性の制約を課し、制御をループ端ブロック１１３０に受け渡す。ループ端ブロック１１３０は、全ての処理画素について、ループを終了し、制御をループ端ブロック１１３５に受け渡す。ループ端ブロック１１３５は、全ての処理画素について、ループを開始し、制御を機能ブロック１１４０に受け渡す。機能ブロック１１４０は、各画素について、多重仮説融合（ｍｕｌｔｉｐｌｅ ｈｙｐｏｔｈｅｓｅｓ ｆｕｓｉｏｎ）を生成し、制御を機能ブロック１１４５に受け渡す。機能ブロック１１４５は、全ての画素について、ループを終了し、制御を終了ブロック１１５０に受け渡す。

機能ブロック１１２５は、機能ブロック１１２５Ａ、１１２５Ｂ、および１１２５Ｃに関わる。機能ブロック１１２５Ａは、変換を実行し、制御を機能ブロック１１２５Ｂに受け渡す。機能ブロック１１２５Ｂは、フィルタリングを行い、制御を機能ブロック１１２５Ｃに受け渡す。機能ブロック１１２５Ｃは、逆変換を実行する。

本発明の多くの付随する利点／特徴の幾つかについて説明する。これらの幾つかは既に述べた通りのものである。例えば、１つの利点／特徴は、画像の少なくとも一部を符号化する符号化器を含む装置であって、符号化器は、
グループ化尺度に基づいてこの一部内の各領域をグループ化し、
グループ化された領域を変換し、
この符号化器に設けられたアーティファクト除去フィルタを用いて変換された領域に対してアーティファクト除去フィルタリングを適応的に実行し、
アーティファクト除去された領域を逆変換して置き換え領域を生成し、
置き換え領域をグループ化の前に各領域が取られた画像を有する各位置に復元する、ことによって符号化する。

さらに、別の利点／特徴は、上述した符号化器を有する装置であって、イン・ループ構成およびアウト・オブ・ループ構成のうちのいずれかにおいて使用されるようにアーティファクト除去フィルタが構成可能である、この装置である。

さらに、別の利点／特徴は、上述したような、イン・ループ構成およびアウト・オブ・ループ構成のうちのいずれかにおいて使用されるようにアーティファクト除去フィルタが構成可能である符号化器を有する装置であって、アーティファクト除去フィルタがイン・ループ構成に適用される場合、アーティファクト除去フィルタがデブロッキング・フィルタに置き換わる、この装置である。

さらに、別の利点／特徴は、上述したような、イン・ループ構成およびアウト・オブ・ループ構成のうちのいずれかにおいて使用されるようにアーティファクト除去フィルタが構成可能である符号化器を有する装置であって、符号化器は、デブロッキング・フィルタを含み、アーティファクト除去フィルタは、デブロッキング・フィルタの後に使用するように構成される、この装置である。

さらに、別の利点／特徴は、上述した符号化器を有する装置であって、画像の領域が２つ以上の次元に対応する、この装置である。

さらに、別の利点／特徴は、上述した符号化器を有する装置であって、グループ化された領域は、２つ以上の次元において働くことが可能な変換を使用して変換される、この装置である。

さらに、別の利点／特徴は、上述した符号化器を有する装置であって、符号化器は、デブロッキング・フィルタを含み、アーティファクト除去フィルタは、ウィナー・フィルタ（Ｗｉｅｎｅｒ ｆｉｌｔｅｒ）である、この装置である。

さらに、別の利点／特徴は、上述した符号化器を有する装置であって、復元の前に重みを使用して各置き換え領域が組み合わせられる、この装置である。

さらに、別の利点／特徴は、上述したような、復元の前に重みを使用して各置き換え領域が組み合わせられる符号化器を有する装置であって、グループ化した領域が変換されて変換スパース性の値が取得され、変換スパース性の値に応じて重みが決定される、この装置である。

さらに、別の利点／特徴は、上述した符号化器を有する装置であって、量子化ノイズ尺度、符号化モード尺度、動き情報尺度、ローカル符号化状態尺度、さらに、圧縮条件尺度に応じて、アーティファクト除去フィルタリングの種類と強度のうちの少なくとも一方が適応的に選択される、この装置である。

さらに、別の利点／特徴は、上述した符号化器を有する装置であって、二次的なフィルタが前記アーティファクト除去フィルタの前または後に適用される、この装置である。

本願の原理のこれらの特徴およびその他の特徴は、関連する分野において通常の知識を有するものであれば、本明細書中の開示内容に基づいて、容易に解明することができるであろう。本願の原理の開示内容は、ハードウエア、ソフトウエア、ファームウエア、特定用途向けプロセッサ、または、これらを組み合わせたものの形態で実施することができることが理解できよう。

より好ましくは、本願の原理の開示内容は、ハードウエアおよびソフトウエアを組み合わせて実施される。さらに、ソフトウエアは、プログラム・ストレージ・ユニットに上に現実的に実装されるアプリケーション・プログラムとして実施される。アプリケーション・プログラムは、適切なアーキテクチャからなるマシンにアップロードされ、このマシンによって実行されるようにしてもよい。好ましくは、このマシンは、１つ以上の中央処理装置（ＣＰＵ）、ランダム・アクセス・メモリ（ＲＡＭ）、入出力（Ｉ／Ｏ）インタフェースを有するコンピュータ・プラットフォーム上で実施される。また、コンピュータ・プラットフォームは、オペレーティング・システムおよびマイクロインストラクション・コードを含むようにしてもよい。本明細書中で開示される様々な処理および機能は、マイクロインストラクション・コードの一部を構成するものでもよいし、アプリケーション・プログラムの一部を構成するものであってもよいし、これらを組み合わせたものであってもよいし、ＣＰＵによって実行されるものであってもよい。さらに、追加的なデータ記憶装置や印刷機等、コンピュータ・プラットフォームに様々な他の周辺機器を結合するようにしてもよい。

添付図面に示すシステムの構成要素および方法のステップの幾つかは、好ましくは、ソフトウエアの形態によって実施されるため、システムの構成要素または処理機能ブロック間の実際の結合は、本願の原理をプログラムする方法によって異なる場合があることが理解できよう。本明細書の開示する内容に基づいて、関連する技術における通常の技術知識を有するものであれば、本願の原理の実施の形態または構成、さらに、類似した実施の形態または構成を企図することができるであろう。

添付図面を参照して本明細書中で例示的な実施の形態について説明したが、本発明はこれらの実施の形態に厳格に限定されるものではなく、関連技術に関して通常の技術を有する者であれば、本願の原理の範囲または精神を逸脱することなく、様々な変更、改変を施すことが可能であることが理解できるであろう。このような変更、改変は、全て、添付の請求の範囲に定義されたような本願の原理の範囲に含まれるべきものと解釈するべきである。
［付記１］
画像の少なくとも一部を符号化する符号化器（４００、６００、８００）を含む装置であって、前記符号化器は、
グループ化尺度に基づいて前記一部内の各領域をグループ化し、
前記グループ化された領域を変換し、
当該符号化器に設けられたアーティファクト除去フィルタ（４６５、６１３、８１３）を用いて前記変換された領域に対してアーティファクト除去フィルタリングを適応的に実行し、
前記アーティファクト除去された領域を逆変換して置き換え領域を生成し、
前記置き換え領域を前記グループ化の前に各領域が取られた画像を有する各位置に復元する、ことによって符号化する、前記装置。
［付記２］
イン・ループ構成およびアウト・オブ・ループ構成のうちのいずれかにおいて使用されるように前記アーティファクト除去フィルタ（４６５、６１３、８１３）が構成可能である、付記１に記載の装置。
［付記３］
前記アーティファクト除去フィルタ（４６５、６１３、８１３）が前記イン・ループ構成に適用される場合、前記アーティファクト除去フィルタがデブロッキング・フィルタに置き換わる、付記２に記載の装置。
［付記４］
前記符号化器（４００、６００、８００）は、デブロッキング・フィルタを含み、前記アーティファクト除去フィルタ（４６５、６１３、８１３）は、前記デブロッキング・フィルタの後に使用するように構成される、付記２に記載の装置。
［付記５］
前記アーティファクト除去フィルタ（４６５、６１３、８１３）は、ウィナー・フィルタ（Ｗｉｅｎｅｒ ｆｉｌｔｅｒ）である、付記１に記載の装置。
［付記６］
復元の前に重みを使用して各置き換え領域が組み合わせられる、付記１に記載の装置。
［付記７］
前記グループ化した領域が変換されて変換スパース性の値が取得され、前記変換スパース性の値に応じて前記重みが決定される、付記６に記載の装置。
［付記８］
量子化ノイズ尺度、符号化モード尺度、動き情報尺度、ローカル符号化状態尺度、さらに、圧縮条件尺度のうちの少なくとも１つに応じて、前記アーティファクト除去フィルタリングの種類と強度のうちの少なくとも一方が適応的に選択される、付記１に記載の装置。
［付記９］
ビデオ符号化器において実行される方法であって、
画像の少なくとも一部を符号化するステップを含み、前記符号化ステップは、
グループ化尺度に基づいて前記一部内の各領域をグループ化するステップ（１０２０）と、
前記グループ化された領域を変換するステップ（１０２５Ａ）と、
アーティファクト除去フィルタを用いて前記変換された領域に対してアーティファクト除去フィルタリングを適応的に実行するステップ（１０２５Ｂ）と、
前記アーティファクト除去された領域を逆変換して置き換え領域を生成するステップ（１０２５Ｃ）と、
前記置き換え領域を前記グループ化の前に各領域が取られた画像を有する各位置に復元するステップと、を含む、前記方法。
［付記１０］
イン・ループ構成およびアウト・オブ・ループ構成のうちのいずれかにおいて使用されるように前記アーティファクト除去フィルタを構成するステップをさらに含む、付記９に記載の方法。
［付記１１］
前記アーティファクト除去フィルタが前記イン・ループ構成に適用される場合、デブロッキング・フィルタを前記アーティファクト除去フィルタに置き換えるステップをさらに含む、付記１０に記載の方法。
［付記１２］
前記符号化器は、デブロッキング・フィルタを含み、前記アーティファクト除去フィルタを前記デブロッキング・フィルタの後に使用するように構成するステップをさらに含む、付記１０に記載の方法。
［付記１３］
復元するステップの前に前記重みを使用して各置き換え領域を組み合わせるステップをさらに含む、付記９に記載の方法。
［付記１４］
前記グループ化した領域が変換されて変換スパース性の値が取得され、前記変換スパース性の値に応じて前記重みが決定される、付記１３に記載の方法。
［付記１５］
前記適応的に実行するステップは、
量子化ノイズ尺度、符号化モード尺度、動き情報尺度、ローカル符号化状態尺度、さらに、圧縮条件尺度のうちの少なくとも１つに応じて、前記アーティファクト除去フィルタリングの種類と強度のうちの少なくとも一方を適応的に選択するステップを含む、付記９に記載の方法。
［付記１６］
二次的なフィルタを前記アーティファクト除去フィルタの前または後に適用するステップをさらに含む、付記９に記載の方法。
［付記１７］
画像の少なくとも一部を復号する復号器（５００、７００、９００）を含む装置であって、前記復号器は、
グループ化尺度に基づいて前記一部内の各領域をグループ化し、
前記グループ化された領域を変換し、
当該復号器に設けられたアーティファクト除去フィルタ（５６５、７１３、９１３）を用いて前記変換された領域に対してアーティファクト除去フィルタリングを適応的に実行し、
前記アーティファクト除去された領域を逆変換して置き換え領域を生成し、
前記置き換え領域を前記グループ化の前に各領域が取られた画像を有する各位置に復元する、ことによって復号する、前記装置。
［付記１８］
イン・ループ構成およびアウト・オブ・ループ構成のうちのいずれかにおいて使用されるように前記アーティファクト除去フィルタ（５６５、７１３、９１３）が構成可能である、付記１７に記載の装置。
［付記１９］
前記アーティファクト除去フィルタ（５６５、７１３、９１３）が前記イン・ループ構成に適用される場合、前記アーティファクト除去フィルタがデブロッキング・フィルタに置き換わる、付記１８に記載の装置。
［付記２０］
前記復号器（５００、７００、９００）は、デブロッキング・フィルタを含み、前記アーティファクト除去フィルタ（５６５、７１３、９１３）は、前記デブロッキング・フィルタの後に使用するように構成される、付記１８に記載の装置。
［付記２１］
前記アーティファクト除去フィルタ（５６５、７１３、９１３）は、ウィナー・フィルタ（Ｗｉｅｎｅｒ ｆｉｌｔｅｒ）である、付記１７に記載の装置。
［付記２２］
復元の前に重みを使用して各置き換え領域が組み合わせられる、付記１７に記載の装置。
［付記２３］
前記グループ化した領域が変換されて変換スパース性の値が取得され、前記変換スパース性の値に応じて前記重みが決定される、付記２２に記載の装置。
［付記２４］
量子化ノイズ尺度、符号化モード尺度、動き情報尺度、ローカル符号化状態尺度、さらに、圧縮条件尺度のうちの少なくとも１つに応じて、前記アーティファクト除去フィルタリングの種類と強度のうちの少なくとも一方が適応的に選択される、付記１７に記載の装置。
［付記２５］
ビデオ復号器において実行される方法であって、
画像の少なくとも一部を復号するステップを含み、前記復号ステップは、
グループ化尺度に基づいて前記一部内の各領域をグループ化するステップ（１１２０）と、
前記グループ化された領域を変換するステップ（１１２５Ａ）と、
アーティファクト除去フィルタを用いて、前記変換された領域に対してアーティファクト除去フィルタリングを適応的に実行するステップ（１１２５Ｂ）と、
前記アーティファクト除去された領域を逆変換して置き換え領域を生成するステップ（１１２５Ｃ）と、
前記置き換え領域を前記グループ化の前に各領域が取られた画像を有する各位置に復元するステップと、を含む、前記方法。
［付記２６］
イン・ループ構成およびアウト・オブ・ループ構成のうちのいずれかにおいて使用されるように前記アーティファクト除去フィルタを構成するステップをさらに含む、付記２５に記載の方法。
［付記２７］
前記アーティファクト除去フィルタが前記イン・ループ構成に適用される場合、前記デブロッキング・フィルタを前記アーティファクト除去フィルタに置き換えるステップをさらに含む、付記２６に記載の方法。
［付記２８］
前記復号器は、デブロッキング・フィルタを含み、前記アーティファクト除去フィルタを前記デブロッキング・フィルタの後に使用するように構成する、付記２６に記載の方法。
［付記２９］
前記アーティファクト除去フィルタは、ウィナー・フィルタ（Ｗｉｅｎｅｒ ｆｉｌｔｅｒ）である、付記２５に記載の方法。
［付記３０］
前記復元するステップの前に重みを使用して各置き換え領域を組み合わせるステップをさらに含む、付記２５に記載の方法。
［付記３１］
前記グループ化した領域が変換されて変換スパース性の値が取得され、前記変換スパース性の値に応じて前記重みが決定される、付記３０に記載の方法。
［付記３２］
前記適応的に実行するステップは、
量子化ノイズ尺度、符号化モード尺度、動き情報尺度、ローカル符号化状態尺度、さらに、圧縮条件尺度のうちの少なくとも１つに応じて、前記アーティファクト除去フィルタリングの種類と強度のうちの少なくとも一方を適応的に選択するステップを含む、付記２５に記載の方法。
［付記３３］
符号化されたビデオ信号データを記憶するストレージ媒体であって、
符号化された画像の少なくとも一部を含み、当該符号化が、
グループ化尺度に基づいて前記一部内の各領域をグループ化し、
前記グループ化された領域を変換し、
符号化器に設けられたアーティファクト除去フィルタを用いることによって、前記変換された領域に対してアーティファクト除去フィルタリングを適応的に実行し、
前記アーティファクト除去された領域を逆変換して置き換え領域を生成し、
前記置き換え領域を前記グループ化の前に各領域が取られた画像を有する各位置に復元する、ことによって行われた、前記ストレージ媒体。

Claims (28)

1. アーティファクト除去フィルタリングを用いて画像の少なくとも一部を符号化する符号化器を備えた装置であって、前記符号化器は、領域又は前記一部の次元及び特性に基づいて前記一部内の各領域をグループ化し、前記グループ化された領域を変換し、前記変換された領域に対してアーティファクト除去フィルタリングを適応的に実行し、前記アーティファクト除去された領域を逆変換して置き換え領域を生成し、前記置き換え領域を前記グループ化の前に各領域が取られた画像を有する各位置に復元する、ことによってアーティファクト除去フィルタリングを実行するアーティファクト除去フィルタを含み、同一の画素の複数の推定値は重なっている領域から取得され、各画素について、適応型のスパース性に基づくフィルタリングが使用されて前記重なっている領域の冗長表現から複数の推定値を融合し、
   前記アーティファクト除去フィルタリングの種類及び強度は、量子化ノイズ統計値、符号化モード尺度、動き情報尺度、ローカル符号化状態尺度及び圧縮条件尺度のうちの少なくとも１つに応じて適応的に選択される、前記装置。
2. 前記アーティファクト除去フィルタとしては、イン・ループ構成およびアウト・オブ・ループ構成のうちのいずれかを使用可能である、請求項１に記載の装置。
3. 前記アーティファクト除去フィルタが前記イン・ループ構成に適用される場合、前記アーティファクト除去フィルタがデブロッキング・フィルタに置き換わる、請求項２に記載の装置。
4. 前記符号化器は、デブロッキング・フィルタを含み、前記アーティファクト除去フィルタは、前記デブロッキング・フィルタの後に使用するように構成される、請求項２に記載の装置。
5. 前記アーティファクト除去フィルタは、ウィナー・フィルタ（Ｗｉｅｎｅｒ ｆｉｌｔｅｒ）である、請求項１に記載の装置。
6. 復元の前に重みを使用して各置き換え領域が組み合わせられる、請求項１に記載の装置。
7. 前記グループ化した領域が変換されて変換スパース性の値が取得され、前記変換スパース性の値に応じて前記重みが決定される、請求項６に記載の装置。
8. ビデオ符号化器において実行される方法であって、
   アーティファクト除去フィルタリングを用いて画像の少なくとも一部を符号化するステップを含み、前記アーティファクト除去フィルタリングは、
   領域又は前記一部の次元及び特性に基づいて前記一部内の各領域をグループ化するステップと、
   前記グループ化された領域を変換するステップと、
   アーティファクト除去フィルタを用いて前記変換された領域に対してアーティファクト除去フィルタリングを適応的に実行するステップと、
   前記アーティファクト除去された領域を逆変換して置き換え領域を生成するステップと、
   前記置き換え領域を前記グループ化の前に各領域が取られた画像を有する各位置に復元するステップと、
   を含み、
   同一の画素の複数の推定値は重なっている領域から取得され、各画素について、適応型のスパース性に基づくフィルタリングが使用されて前記重なっている領域の冗長表現から複数の推定値を融合し、
   前記アーティファクト除去フィルタリングの種類及び強度は、量子化ノイズ統計値、符号化モード尺度、動き情報尺度、ローカル符号化状態尺度及び圧縮条件尺度のうちの少なくとも１つに応じて適応的に選択される、前記方法。
9. イン・ループ構成およびアウト・オブ・ループ構成のうちのいずれかにおいて使用されるように前記アーティファクト除去フィルタを構成するステップをさらに含む、請求項８に記載の方法。
10. 前記アーティファクト除去フィルタが前記イン・ループ構成に適用される場合、デブロッキング・フィルタを前記アーティファクト除去フィルタに置き換えるステップをさらに含む、請求項９に記載の方法。
11. 前記ビデオ符号化器は、デブロッキング・フィルタを含み、前記アーティファクト除去フィルタを前記デブロッキング・フィルタの後に使用するように構成するステップをさらに含む、請求項９に記載の方法。
12. 復元するステップの前に重みを使用して各置き換え領域を組み合わせるステップをさらに含む、請求項８に記載の方法。
13. 前記グループ化した領域が変換されて変換スパース性の値が取得され、前記変換スパース性の値に応じて前記重みが決定される、請求項１２に記載の方法。
14. 二次的なフィルタを前記アーティファクト除去フィルタの前または後に適用するステップをさらに含む、請求項８に記載の方法。
15. アーティファクト除去フィルタリングを用いて画像の少なくとも一部を復号する復号器を含む装置であって、前記復号器は、
    領域又は前記一部の次元及び特性に基づいて前記一部内の各領域をグループ化し、前記グループ化された領域を変換し、前記変換された領域に対してアーティファクト除去フィルタリングを適応的に実行し、前記アーティファクト除去された領域を逆変換して置き換え領域を生成し、前記置き換え領域を前記グループ化の前に各領域が取られた画像を有する各位置に復元する、ことによってアーティファクト除去フィルタリングを実行するアーティファクト除去フィルタを含み、同一の画素の複数の推定値は重なっている領域から取得され、各画素について、適応型のスパース性に基づくフィルタリングが使用されて前記重なっている領域の冗長表現から複数の推定値を融合し、
    前記アーティファクト除去フィルタリングの種類及び強度は、量子化ノイズ統計値、符号化モード尺度、動き情報尺度、ローカル符号化状態尺度及び圧縮条件尺度のうちの少なくとも１つに応じて適応的に選択される、前記装置。
16. 前記アーティファクト除去フィルタとしては、イン・ループ構成およびアウト・オブ・ループ構成のうちのいずれかを使用可能である、請求項１５に記載の装置。
17. 前記アーティファクト除去フィルタが前記イン・ループ構成に適用される場合、前記アーティファクト除去フィルタがデブロッキング・フィルタに置き換わる、請求項１６に記載の装置。
18. 前記復号器は、デブロッキング・フィルタを含み、前記アーティファクト除去フィルタは、前記デブロッキング・フィルタの後に使用するように構成される、請求項１６に記載の装置。
19. 前記アーティファクト除去フィルタは、ウィナー・フィルタ（Ｗｉｅｎｅｒ ｆｉｌｔｅｒ）である、請求項１５に記載の装置。
20. 復元の前に重みを使用して各置き換え領域が組み合わせられる、請求項１５に記載の装置。
21. 前記グループ化した領域が変換されて変換スパース性の値が取得され、前記変換スパース性の値に応じて前記重みが決定される、請求項２０に記載の装置。
22. ビデオ復号器において実行される方法であって、
    アーティファクト除去フィルタリングを用いて画像の少なくとも一部を復号するステップを含み、前記アーティファクト除去フィルタリングは、
    領域又は前記一部の次元及び特性に基づいて前記一部内の各領域をグループ化するステップと、
    前記グループ化された領域を変換するステップと、
    アーティファクト除去フィルタを用いて、前記変換された領域に対してアーティファクト除去フィルタリングを適応的に実行するステップと、
    前記アーティファクト除去された領域を逆変換して置き換え領域を生成するステップと、
    前記置き換え領域を前記グループ化の前に各領域が取られた画像を有する各位置に復元するステップと、
    を含み、
    同一の画素の複数の推定値は重なっている領域から取得され、各画素について、適応型のスパース性に基づくフィルタリングが使用されて前記重なっている領域の冗長表現から複数の推定値を融合し、
    前記アーティファクト除去フィルタリングの種類及び強度は、量子化ノイズ統計値、符号化モード尺度、動き情報尺度、ローカル符号化状態尺度及び圧縮条件尺度のうちの少なくとも１つに応じて適応的に選択される、前記方法。
23. イン・ループ構成およびアウト・オブ・ループ構成のうちのいずれかにおいて使用されるように前記アーティファクト除去フィルタを構成するステップをさらに含む、請求項２２に記載の方法。
24. 前記アーティファクト除去フィルタが前記イン・ループ構成に適用される場合、デブロッキング・フィルタを前記アーティファクト除去フィルタに置き換えるステップをさらに含む、請求項２３に記載の方法。
25. 前記ビデオ復号器は、デブロッキング・フィルタを含み、前記アーティファクト除去フィルタを前記デブロッキング・フィルタの後に使用するように構成する、請求項２３に記載の方法。
26. 前記アーティファクト除去フィルタは、ウィナー・フィルタ（Ｗｉｅｎｅｒ ｆｉｌｔｅｒ）である、請求項２２に記載の方法。
27. 前記復元するステップの前に重みを使用して各置き換え領域を組み合わせるステップをさらに含む、請求項２２に記載の方法。
28. 前記グループ化した領域が変換されて変換スパース性の値が取得され、前記変換スパース性の値に応じて前記重みが決定される、請求項２７に記載の方法。

Images