JP5270572B2 - 自動的な視覚的なアーチファクトの分析及び視覚的なアーチファクトの低減の方法及び装置 - Google Patents

Description

本発明は、一般にビデオデータの処理に関し、より詳細には、ビデオデータストリームでのアーチファクトの補正に関する。
本出願は、２００６年１２月２８日に提出された米国特許仮出願６０／８７７４８５号に対して３５Ｕ．Ｓ．Ｃ．１１９（ｅ）の下で優先権を主張するものであり、この米国仮出願は、引用により本明細書に盛り込まれる。

ビデオデータの圧縮は、データ記憶効率を高め及び／又は必要とされる伝送帯域を低減するために画質の低減を本質的に含む。圧縮アルゴリズムの目的はビデオフレームの知覚されない特性のみを除去することにあるが、圧縮されたビデオフレームは、アーチファクトとして知られる顕著な欠陥を含むことがある。一般的な圧縮のアーチファクトは、ブロッキング、バンディング、ダークパッチ及びリンギングアーチファクトを含み、これらは、低い圧縮率及び高い圧縮率の両者で存在する場合がある。

アーチファクト及びアーチファクトの深刻度を低減する様々な方法は、圧縮されたビデオデータストリームがデコードされた後の後処理動作として実行される。後処理技術の１つの例は、Ｈ．Ｓ．Ｋｏｎｇ， Ａ．Ｖｅｔｒｏ， Ｈ．Ｓｕｎ， “Ｅｄｇｅ ｍａｐ ｇｕｉｄｅｄ ａｄａｐｔｉｖｅ ｐｏｓｔ−ｆｉｌｔｅｒ ｆｏｒ ｂｌｏｃｋｉｎｇ ａｎｄ ｒｉｎｇｉｎｇ ａｒｔｉｆａｃｔｓ ｒｅｍｏｖａｌ”， ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ （ＩＳＣＡＳ）， ｖｏｌ．３， ｐｐ．９２９−９３２， Ｍａｙ ２００４及びＡ．Ｋａｕｐ， “Ｒｅｄｕｃｔｉｏｎ ｏｆ ｒｉｎｇｉｎｇ ｎｏｉｓｅ ｉｎ ｔｒａｎｓｆｏｒｍ ｉｍａｇｅ ｃｏｄｉｎｇ ｕｓｉｎｇ ａ ｓｉｍｐｌｅ ａｄａｐｔｉｖｅ ｆｉｌｔｅｒ”， Ｅｌｅｃｔｒｏｎｉｃｓ ｌｅｔｔｅｒｓ， ｖｏｌ．３４， ｎｏ．２２， ｐｐ．２１１０−２１１２， Ｏｃｔ． １９９８に記載される適応フィルタリングである。さらに、Ｖ．Ｍｏｎｇａ， Ｎ．Ｄａｍｅｒａ−Ｖｅｎｋａｔａ， Ｂ．Ｌ．Ｅｖａｎｓ， “Ｉｍａｇｅ Ｈａｌｆｔｏｎｉｎｇ ｂｙ Ｅｒｒｏｒ Ｄｉｆｆｕｓｉｏｎ： Ａ Ｓｕｒｖｅｙ ｏｆ Ｍｅｔｈｏｄｓ ｆｏｒ Ａｒｔｉｆａｃｔ Ｒｅｄｕｃｔｉｏｎ”， Ｊｏｕｒｎａｌ ｏｆ Ｅｌｅｃｔｒｏｎｉｃｓ Ｉｍａｇｉｎｇ， ２００３は、ディザリングの記載を与える。しかし、高い画質及び非常に低いアーチファクトの発生を保証するため、アーチファクトは、ビデオ処理の圧縮ステージの間に補正されるべきである。

離散コサイン変換（ＤＣＴ）を使用した圧縮方法について、係る圧縮された領域の処理の公知の方法は、量子化されたＤＣＴ係数の幾つかを変更することを含む。ＤＣＴ係数は、所与の画像ブロックに存在するそれぞれの周波数のパワーを表す。大部分の画像ブロックについて、ＤＣＴ変換の後、信号エネルギーの大部分は、ごく少数の低次のＤＣＴ係数により伝送される。これらの係数は、目に見えるアーチファクトを導入するのを回避するため、高次の係数よりも微細に量子化される必要がある。量子化されたＤＣＴ係数を変更することで、圧縮アーチファクトの知覚を低減するか、又は改善することができる。

Ｂ．Ｇｕｎｔｕｒｋ， Ｙ．Ａｌｔｕｎｂａｓａｋ， Ｒ．Ｍ．Ｍｅｒｓｅｒａｕ， “Ｍｕｌｔｉ−ｆｒａｍｅ ｂｌｏｃｋｉｎｇ−ａｒｔｉｆａｃｔ ｒｅｄｕｃｔｉｏｎ ｆｏｒ ｔｒａｎｓｆｏｒｍ−ｃｏｄｅｄ ｖｉｄｅｏ”， ＩＥＥＥ Ｔｒａｎｓ． Ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ， ｖｏｌ．１２， ｎｏ．４， Ａｐｒｉｌ ２００２は、凸集合のアプローチへの投影を使用することで量子化されたＤＣＴ係数を変更する例を開示する。代替的に、Ｇ．Ａ．Ｔｒｉａｎｔａｆｙｌｌｉｄｉｓ， Ｄ．Ｔｚｏｖｒａｓ， Ｍ．Ｇ．Ｓｔｒｉｎｔｚｉｓ， “Ｂｌｏｃｋｉｎｇ ａｒｔｉｆａｃｔ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｒｅｄｕｃｔｉｏｎ ｉｎ ｃｏｍｐｒｅｓｓｅｄ ｄａｔａ”， ＩＥＥＥ Ｔｒａｎｓ． Ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ， ｖｏｌ．１２， ｎｏ．１０， Ｏｃｔ．２００２は、変換領域においてエラー基準を最小にすることでＤＣＴ係数に量子化を最適化する方法を記載している。更に、他の圧縮領域のパラメータは、アーチファクトの深刻度を低減するために変更される場合がある。たとえば、Ｒｏｕｌ， Ｕ．Ｓ．Ｐｕｂｌｉｃａｔｉｏｎ Ｎｏ２００３／０１５６６４２Ａ１は、アーチファクトマップにおいて識別されるフレームのマクロブロックについて量子化器のステップサイズを調節することで、２パスエンコーダにおいてビデオストリームにおけるアーチファクトの深刻度を低減する方法を開示している。

しかし、上述された公知の方法は、モード判定又は量子化パラメータのような圧縮された領域のパラメータを調節することで、アーチファクトの深刻度を除去又は低減する効果的なやり方で、制限された符号化システムのリソース（たとえばビットバジェット及び／又は符号化時間）を利用する問題に対処することができない。

特に、公知の方法は、モード判定又は量子化パラメータを調節するため、ビデオフレーム又はビデオフレームのコンテンツにおける異なるタイプのアーチファクトを考慮することで、ビデオフレームの優先順位を決定するものではない。

本発明によれば、ビデオ処理方法が開示される。本発明の１態様は、ビデオピクチャに存在する様々なタイプのアーチファクトに対応する幾つかの測度（メトリクス）の生成に応答して、ビデオピクチャを補正するステップを含む。本発明の他の実施の形態は、メトリクス及びビデオピクチャのコンテンツに従って、ピクチャの系列に含まれるビデオピクチャを選択すること及び優先順位を決定することを含む。さらに、本発明の別の態様によれば、上記補正は、少なくとも１つのピクチャのブロックに対応する量子化パラメータとモード判定のうちの少なくとも１つを調節することで実行される。

また、本発明は、ビデオピクチャの系列に含まれるビデオピクチャに存在する複数のビデオ圧縮のアーチファクトのタイプに対応する複数のメトリクスに応答して、圧縮された領域のパラメータを生成するために構成されるアーチファクトの補正手段と、圧縮された領域のパラメータに従ってビデオピクチャを補正するエンコーダとを有するビデオ処理システムで実施される場合がある。本発明の他の実施の形態と一致して、アーチファクト補正手段は、メトリクス及びビデオピクチャのコンテンツの両者に従って、ピクチャ系列に含まれるビデオピクチャを選択し、優先順位を決定する。さらに、アーチファクトの補正手段及びエンコーダは、少なくとも１つのピクチャのブロックに対応する量子化パラメータとモード判定のうちの少なくとも１つを調節することで、ビデオピクチャを補正する。

１以上の実現の詳細は、以下の添付図面及び説明で述べられる。１つの特定のやり方で記載されたとしても、実現は様々なやり方で構成又は実施される場合があることは明らかである。たとえば、実現は、方法として実行されるか、あるセットの動作を実行するように構成される装置として実施されるか、又は、あるセットの動作を実行する命令を記憶する装置として実施される場合がある。他の態様及び特徴は、添付図面及び特許請求の範囲と共に考慮される以下の詳細な説明から明らかとなるであろう。

例示的なアーチファクト補正ユニットのブロック図である。 アーチファクト補正ユニットを組み込んだマルチパス符号化システムを例示するブロック図である。 本発明の原理の実現に従って利用される場合がある典型的なエンコーダのブロック図である。 判定モジュールにより実行される様々なアーチファクトの強さ及びタイプに基づいた優先順位を決定するプロセスを例示するフローダイアグラムである。 判定モジュールにより編集され、ソートされる様々なアーチファクトのタイプに基づいた例示的なアーチファクトのリストを示すフローダイアグラムである。 新たなアーチファクトのレベルをフレームに割り当てるステップ、様々なタイプのアーチファクト、それらの対応する強さ、及び幾つかの実現ではビデオデータストリームの内容を考慮することで、平均のアーチファクトのレベルを計算するステップを含む判定モジュールにより実行されるプロセスの例を提供するフローダイアグラムである。 平均のアーチファクトのレベルに従ってソートされ、最終的なアーチファクトのレベルが割り当てられ、アーチファクトの補正のために選択されるフレームの例示的な表現である。 分類されたフレームの例示的な表現である。 補正モジュールの例示的な実現のフローダイアグラムである。 補正モジュールにより実行される、判定モジュールにより選択されるピクチャのブロックの量子化パラメータの調節に基づいたアーチファクトの補正プロセスを例示するフローダイアグラムである。 アーチファクトを含むピクチャのブロックの量子化パラメータを調節するため、様々なアーチファクトのタイプ、強さ、及び、幾つかの実現ではビデオデータストリームの内容の考慮に基づいたアーチファクト補正プロセスの例を示すフローダイアグラムである。 アーチファクト補正の間に採用される場合がある２レベル量子化パラメータのオフセットの例を示すグラフである。 アーチファクト補正の間に採用される場合があるマルチレベル量子化パラメータのオフセットの例を示すグラフである。 図１４Ａ及び図１４Ｂは、量子化パラメータのオフセットが適用される場合があるブロックの例の表現である。

本発明の原理は、モード判定又は量子化パラメータのような圧縮された領域のパラメータを調節することで、制限されたリソースを効率的に利用してアーチファクトの深刻度を除去又は低減することに向けられる。本発明の１つの態様は、あるフレームに存在する異なるアーチファクトのタイプを考慮することで、補正についてビデオフレームの優先順位を決定することを含む。さらに、所定のタイプのアーチファクトは、所定のタイプのビデオコンテンツにおいて他よりもよく見られる傾向があるので、ビデオフレームの優先順位を決定するとき、ビデオストリームのコンテンツも考慮される場合がある。したがって、本発明の原理は、モード判定又は量子化パラメータのような圧縮された領域のパラメータを調節することで、圧縮されたビデオストリームにおいて最も知覚されるアーチファクトを補正する効果的なやり方でエンコーダシステムのリソースを利用する。

本発明の原理により補正される場合がある幾つかのタイプのアーチファクトが存在する。１つの係る一般的なアーチファクトは、ブロッキングアーチファクトを含み、あるフレームにおける画素からなるブロックの目に見えるエッジにより特徴付けられる。特定のブロッキングアーチファクトは、クロマブロッキングアーチファクト及びルマブロッキングアーチファクトを含む。本発明の原理により補正可能な別の一般的なアーチファクトであるバンディングアーチファクトは、緩やかな色の遷移における典型的なカラーバンドの知覚として見える。さらに、ダークパッチ、モスキーノノイズ及びリンギングアーチファクトのようなモバイルエリアの知覚は、本発明の原理の実現に従って低減される場合がある。しかし、上述されたアーチファクトのタイプは限定するものではない例であり、本発明の原理は、他のタイプのビデオ圧縮アーチファクトにも同様に適用される場合がある。

同じ参照符号が類似又は同じエレメントを幾つかの図面を通して識別する図面を特に詳細に参照し、始めに図１を参照して、本発明の原理の態様に係る例示的なアーチファクト補正ユニット１００が示される。アーチファクト補正ユニット１００は、判定モジュール１１０及び補正モジュール１２０を有する場合がある。図２は、エンコーダ９０，１３０を有するマルチパスビデオ符号化システムにおけるアーチファクト補正ユニットの例を提供するものであり、エンコーダは、アーチファクト検出器８０及び１５０をそれぞれ任意に含む場合がある。エンコーダ１３０は、アーチファクト補正器１４０を含む場合があり、その機能は、以下に更に記載される。アーチファクト補正器１４０は、符号化プロセスの間の圧縮アーチファクトの形成を防止するため、符号化に先立ってピクチャを処理する能力を有する。

ビデオストリーム入力２０２は、エンコーダ９０により受信され、本発明の原理に係る処理の後、以下に更に十分に記載されるように、補正された圧縮されたビデオストリーム２０８は、エンコーダ１３０により出力される。圧縮されたビデオストリーム２０８は、アーチファクト検出器１５０により供給されるアーチファクト２０６の存在に関する指示を含む、更なる補正パスについて別のエンコーダに供給される。代替的に、アーチファクト検出器１５０は、最後のビットストリームにおけるアーチファクト２０６の存在を通知する場合がある。

本発明の原理と利用される場合がある典型的なエンコーダ３００の例は、図３に示される。係るエンコーダは、以下のエレメントを含む場合がある。入力ビデオストリーム３０２を受けるフレームオーダリングバッファ３０４、変換及び量子化モジュール３０６、逆変換及び逆量子化モジュール３０８、イントラ予測モジュール３１４、デブロッキングフィルタ３１６、参照ピクチャバッファ３１８、動き予測モジュール３２０、動き補償モジュール３２２、ピクチャタイプ判定モジュール３１０、マクロブロックタイプ判定モジュール３１２、エントロピー符号化モジュール３２４、シーケンスパラメータセット（ＳＰＳ）及びピクチャパラメータセット（ＰＰＳ）挿入器３２６、メタデータ３３４を処理する補足的な付加情報の挿入器３３２、レート制御モジュール３３０、及び符号化されたビデオデータストリーム３３６を出力する出力バッファ３２８。

図１及び図２を参照して、本発明の原理の実現に係るプロセスは、アーチファクトの測定のユニット、アーチファクトメトリクス１１２、及びビデオストリームにおけるフレームに対応するアーチファクトマップ１２２を生成することで開始する。アーチファクトマップは、それぞれのピクチャにおけるアーチファクトの位置を例示し、ブロッキング、バンディング、ダークピッチ、リンギングアーチファクト又は他のタイプのビデオ圧縮アーチファクトを含むアーチファクトのタイプを示す場合がある。また、アーチファクトマップは、８画素×８画素又は任意のサイズのブロックのような固定されたサイズのブロック内でのアーチファクトの存在又は深刻度を示す。逆に、アーチファクトメトリクスは、全体として、あるフレームに存在するアーチファクトのそれぞれのタイプの深刻度の指標を含む。１つの実現によれば、アーチファクトメトリクス及びアーチファクトマップは、量子化パラメータ、モード判定、参照フレーム選択及びビットレート割り当ての１以上を含む場合がある所与のビデオ圧縮方法のパラメータコンフィギュレーションに従ってビデオフレームを圧縮した後、図２に示されるように、アーチファクト検出器８０を介してエンコーダ９０により生成される。しかし、アーチファクトマップ及びアーチファクトメトリクスは、任意のタイプの圧縮オペレータにより生成される場合がある。

アーチファクトマップ及びアーチファクトメトリクスの生成に続いて、アーチファクトマップ１２２及びアーチファクトメトリクス１１２は、圧縮されたビデオストリーム２０４に加えて判定モジュール１１０に転送される。また、コンフィギュレーションデータ１１４は、エンコーダ９０又は他のタイプのオペレータにより判定モジュール１１０に供給される場合がある。本発明の原理の別の態様によれば、コンフィギュレーションデータ１１４は、判定モジュール１１０におけるデフォルトファイルに含まれる場合がある。本発明の原理の１つの実現では、コンフィギュレーションデータは、アーチファクト補正ユニット１００により使用される場合がある圧縮されたビデオストリームの利用可能なビットレートを有する。たとえば、ビデオストリームの目標とするビットレートが１０Ｍｂｐｓであり、エンコーダ９０による圧縮後のビデオストリームのビットレートが９Ｍｂｐｓである場合、アーチファクトを補正するためにアーチファクト補正ユニット１００により使用される場合がある利用可能なビットレートは、１Ｍｂｐｓである。さらに、コンフィギュレーションデータは、アーチファクト補正ユニットが補正すべきピクチャの最小又は最大のパーセンテージを含む。本発明の原理の別の態様によれば、アニメーションコンテンツ、映画コンテンツ又は他の関連するコンテンツタイプのような圧縮されたビデオコンテンツのタイプ１１３は、エンコーダ９０又は他のタイプのオペレータにより判定モジュール１１０に供給される。

本発明の原理の特定の実現に係る判定モジュール１１０により実行されるプロセスは、図４に示される。先に記載されるように、判定モジュール１１０は、アーチファクトメトリクス１１２及びアーチファクトマップ１２２を受信し、これは、判定モジュールのセットアップ（ステップ４０２）の間に行われる場合がある。アーチファクトメトリクスは、ある特定のフレームに存在するそれぞれのタイプのアーチファクトの深刻度を直接又は間接的に推定することができる情報を提供する。たとえば、あるフレームがルマブロッキングアーチファクト、クロマブロッキングアーチファクト、バンディングアーチファクト及びダークパッチアーチファクトを有する場合、アーチファクトメトリクスは、そのフレームについて４つのアーチファクトの強さの値を規定する。判定モジュールのセットアップにおいてアーチファクトメトリクス及びアーチファクトマップを受信した後、判定モジュール１１０、又は代替的にアーチファクト検出器８０は、それぞれのタイプのアーチファクトについて異なるフレームに対応するアーチファクトの強さのリストを編集する。図５の左部分に示されるように、限定するものではない例を通して、判定モジュール１１０は、それぞれのフレームに対応するクロマブロッキングの強さのレベルのエントリをもつ、クロマブロッキングアーチファクトのリストを編集する。

リストを編集した後、判定モジュール１１０は、図５に例示されるように、最高から最低までのアーチファクトの強さのレベルに従って、それぞれのアーチファクトのタイプのリストにおけるエントリをソートする（図４におけるステップ４０４）。次いで、判定モジュール１１０は、それぞれのアーチファクトのタイプについて新たなアーチファクトのレベルを、ソートされたリストにおけるアーチファクトの強さレベルのランキングに基づいてセットにおけるそれぞれのフレームに割り当てる場合がある（ステップ４０６）。新たなレベルは、正規化されたアーチファクトの強さレベルに対応するか、アーチファクト検出器８０により供給される同じアーチファクトの強さレベルである場合がある。先に提供された例では、フレームには、図６においてａ，ｂ，ｃ及びｄでそれぞれ表されるルマブロッキングアーチファクト、クロマブロッキングアーチファクト、バンディングアーチファクト及びダークパッチアーチファクトに対応するリストランキングに従って、４つの新たなアーチファクトのレベルが割り当てられる。つぎに、判定モジュール１１０は、セットにおけるそれぞれのフレームについて、図６において“Ａ”で示される、先に割り当てられた、ランクに基づいたアーチファクトレベルの平均を計算する（ステップ４０８）。

それぞれのフレームについて平均のアーチファクトレベルを計算することに続いて、判定モジュール１１０は、たとえば図７において示されるように、降順で平均のアーチファクトレベルに従ってフレームをソートする（ステップ４１０）。判定モジュール１１０は、次いで、平均のアーチファクトレベルのランキングに基づいて、図７において“Ｆ”である最後のアーチファクトレベルをそれぞれのフレームに割り当てる（ステップ４１２）。最も高い最終的なアーチファクトのレベルを持つフレームは、アーチファクトの補正のために選択され、判定モジュール１１０は、その後、補正モジュール１２０に、補正されるべき選択されたフレーム１１６を供給するか、代替的に、補正されるべきフレームの指示を供給する。さらに、判定モジュール１１０は、最終的なアーチファクトのレベルに従ってフレームのセットを分類する場合がある（ステップ４１４）。たとえば、ピクチャは、図８に例示されるように、平均のアーチファクトのレベルのリストにおけるフレームの位置に従って、非常に深刻なアーチファクト、深刻なアーチファクト、中程度のアーチファクト、軽度のアーチファクト、又は非常に軽度のアーチファクトを有するとして分類される場合がある。分類は、指定された深刻度の分類を超えるピクチャを補正する指示により、補正モジュール１２０に提供される場合がある。

本発明の原理の１つの実現によれば、補正されるべきフレーム数、又は逆に閾値は、上述されたコンフィギュレーションデータに基づく。たとえば、コンフィギュレーションデータは、ビデオフレームの系列において補正されるべきピクチャのパーセンテージを規定する場合がある。代替的に、判定モジュール１１０は、利用可能なビットレートに従って補正のために選択されるべきフレーム数を動的に決定する場合があり、この利用可能なビットレートは、上述されたコンフィギュレーションデータを構成する場合がある。利用可能なビットレートは、符号化プロセスに割り当てられるビットバジェットにおける不使用のビット数に対応する。たとえば、符号化プロセスがＭビットのビットバジェットが割り当てられ、ＮがＭよりも小さいとして、ビデオストリームを符号化するためにＮビットのみを使用する場合、アーチファクトの補正のために利用可能なビットレートは、Ｍ−Ｎビットに等しい。補正されたフレーム数は、利用可能なビットレートが高い場合に増加され、利用可能なビットレートが低い場合に減少される。

さらに、本発明の原理の他の実現では、最終的なアーチファクトの強さのレベル又はアーチファクトマップにより供給されるアーチファクト強度レベルは、補正されるフレーム数を決定するために使用される場合がある。たとえば、判定モジュール１１０は、フレームのセットにおいて最高の最終的なアーチファクトのレベルをもつフレームを補正するために必要とされるビット数を推定する場合がある。利用可能なビットレートが最高の最終的なアーチファクトのレベルをもつフレームを補正するために必要とされるビットレートよりも大きい場合、判定モジュール１１０は、２番目に大きい平均のアーチファクトのレベルをもつフレームを補正するために必要とされるビットレートを計算し、利用可能なビットレートが両方のフレームを補正するために必要とされる結合されたビットレートよりも大きいかを判定する。判定モジュール１１０は、多数のフレームを補正するために必要とされるビットレートが利用可能なビットレートを超え、これにより補正されるべきフレーム数が決定されるまでプロセスを継続する。

より特別の実現では、判定モジュール１１０は、補正されるべきビデオフレームを選択するとき、ビデオフレームのコンテンツを考慮する。これは、所定のタイプのアーチファクトが所定のカテゴリのビデオコンテンツにおける他のアーチファクトよりもよく見られる傾向にあるためである。たとえば、アニメーションのコンテンツをもつビデオフレームでは、バンディングアーチファクトを最も知覚することができ、映画のコンテンツをもつビデオフレームでは、ブロッキングアーチファクトが支配的となる傾向を有する。本発明の原理の１つの態様によれば、判定モジュール１１０は、ビデオフレームのコンテンツを考慮し、あるフレームについて平均のアーチファクトレベル“Ａ”を計算するとき、特定のアーチファクトのタイプを他のアートファクトのタイプよりも大きく重み付けする。限定されるものではない例を通して、判定モジュール１１０は、ビデオが映画のコンテンツからなる場合に、平均のアーチファクトのレベルを高いブロッキングアーチファクトレベルに重み付けし、ビデオがアニメーションのコンテンツからなる場合に、平均を高いバンディングアーチファクトレベルにバイアスをかける。さらに、別の実現では、アーチファクト検出器８０は、アーチファクトマップ１２２で供給されるアーチファクトの強さのレベルにおいて重み付けファクタを含む場合がある。

上述された例示的な実現では、本発明の原理は、ビデオフレーム内のアーチファクトの深刻さ、ビデオフレームに存在するアーチファクトのタイプ、及びビデオストリームのコンテンツのうちの少なくとも１以上を考慮することで、視聴者が最も知覚できるアーチファクトをもつフレームの優先順位を決定する。したがって、エンコーダが制限されたリソースを有するか、又は圧縮されたビデオフレーム系列の目標とするビットレートにより制約されるとき、本発明の原理は、最も知覚できるアーチファクトをもつフレームの補正を容易にし、これにより、エンコーダに課される制限されたリソースの制約に関わらず、高品質のビデオストリームが供給される。

上述された優先順位の決定に続いて、補正モジュール１２０は、ピクチャの系列においてどのピクチャを補正すべきかに関する指示を受ける。なお、補正モジュールは図１及び図２に示されるアーチファクト補正ユニットに含まれるが、補正モジュールは、図９に示されるようにスタンドアロン装置である場合がある。図１０は、補正モジュール１２０により実行されるアーチファクト補正プロセスの１つの実現を例示する。プロセスは、補正モジュールのセットアップ（ステップ１００２）の後に補正すべきピクチャの指示を受信することで開始される（ステップ１００４）。さらに、補正モジュールは、補正されるべきそれぞれのフレームのアーチファクトマップ（ＡＭ）及び圧縮された領域のパラメータ（ＣＤＰ）を受信する（ステップ１００４）。アーチファクトマップ及び圧縮された領域のパラメータは、エンコーダ９０又は他のタイプのオペレータにより供給される。圧縮された領域のパラメータは、補正されるべきフレーム内のブロックに対応する、ＤＣＴ係数のような他のタイプの圧縮された領域のパラメータに加えて、量子化パラメータ及び／又はモード判定を有する場合がある。簡単さのため、図１０で提供される例は、量子化パラメータのみを調節する。しかし、本発明の原理は、付加的に又は代替的に、他の圧縮された領域のパラメータを調節するために適合されることが理解されるべきである。

補正すべきピクチャの指示、アーチファクトマップ及びコンフィギュレーションパラメータ情報を受信した後、補正モジュール１２０は、補正されるべきピクチャに対応するアーチファクトマップを調べる（ステップ１００６）。アーチファクトマップを使用して、補正モジュール１２０は、ピクチャ内のどのブロックがアーチファクトにより影響されるかを検出する能力を有する。この情報が利用可能である場合、アーチファクトの補正は、フレームレベルの符号化パラメータ（たとえばデブロッキングフィルタ）を修正するだけでなく、マクロブロック（ＭＢ）レベルの符号化パラメータ（たとえば量子化パラメータＱＰ）を修正することで実行される。補正モジュール１２０は、あるピクチャのアーチファクトマップ内のそれぞれのブロックをスキャンし、ブロックがアーチファクトを含むかを判定する（ステップ１００８，１０１０）。アーチファクトをもつブロックの発見に応じて、補正モジュール１２０は、以下に更に十分に記載されるように、ブロックの量子化パラメータを調節する（ステップ１０１２）。補正モジュールがアーチファクトを発見しない場合、そのブロックを圧縮するために使用されたオリジナルの量子化パラメータ（ＱＰ）を使用する（ステップ１０１４）。その後、補正モジュール１２０は、ピクチャにおける次のブロックをスキャンする（ステップ１００８）。あるピクチャ内の全てのブロックを処理した後、補正モジュール１２０は、そのピクチャのそれぞれのブロックに対応する調節された量子化パラメータを示す、そのピクチャの量子化パラメータマップを形成する（ステップ１０１８）。続いて、補正モジュール１２０は、補正されるべき次のピクチャに対応するアーチファクトマップを調べ（ステップ１００６）、指示されたピクチャの全てが処理されるまで、量子化パラメータの調節方法を繰り返す。判定モジュール１１０及び補正モジュール１２０の両者により実行されるプロセスを含めて、アーチファクト補正ユニット１００の全体のワークフローは、図１１に提供される。

量子化パラメータは、本発明の原理に係る様々なやり方で調節される場合がある。上述されたように、量子化パラメータは、あるピクチャの知覚できない特徴を除くため、ＤＣＴ係数に適用されるスケーリングファクタに相互に関連付けされる。一般に、小さな量子化パラメータの値は、ＤＣＴ係数のより微細なスケール表現に対応する。したがって、量子化パラメータを小さくすることで、オリジナルの画素値の正確な再構成が可能となり、アーチファクト、特にブロッキング及びバンディングアーチファクトの外観が低減される。

本発明の原理の１つの実現によれば、補正モジュール１２０は、予め決定された量だけ、アーチファクトを含むブロックの量子化パラメータをオフセットする。同じ予め決定されたオフセットは、量子化パラメータのオフセットの絶対値を示す図１２に例示されるように、その完全な形でアーチファクトを含むブロック毎に適用される。このアプローチは、アーチファクト補正ユニット１００が、アーチファクトの強さを示さないアーチファクトマップ（バイナリアーチファクトマップ）を使用するときに最良に行われる。

本発明の原理の別の実現では、アーチファクトを含むブロックに適用される量子化パラメータのオフセットは異なり、量子化パラメータのオフセットの絶対値を示す図１３に示されるように、ブロックにおけるアーチファクトの強さレベルに対応する。たとえば、ＱＰ１は、弱いアーチファクトに対応するオフセットの大きさを表し、ＱＰ２は、中間のアーチファクトに対応する異なるオフセットの大きさを表し、ＱＰ３は、強いアーチファクトに対応する別のオフセットの大きさを表す。アーチファクトの強さは、アーチファクト検出器８０により提供されるアーチファクトマップを参照することで得られる場合がある。利用されるアーチファクトマップがバイナリである場合、あるブロック内のアーチファクトの強さを決定するために外部の強度の検出器が代替的に利用される場合がある。上述された実現におけるように、量子化パラメータのオフセットは、少なくとも１つのアーチファクトを含む全体のブロックに適用される。任意の数のオフセット値及び対応するアーチファクトの強さが利用される場合があることを理解されたい。さらに、あるピクチャのブロックのサイズも同様に変化される場合がある。

何れかの実現のための量子化パラメータのオフセットは、目標とするビットレートに依存することを理解されたい。補正モジュール１２０は、ビデオストリームの目標とするビットレートであるか、該目標とするビットレート以下であるビットレートが得られる量子化パラメータの調節の振幅を選択する。さらに、何れかの実現のための量子化パラメータのオフセットの振幅は、判定モジュール１１０により提供されるアーチファクトの強度レベル１１８に依存する。たとえば、小さなアーチファクトの強度レベルは、小さな量子化パラメータのオフセットを必要とする。さらに、大きなアーチファクトの強度レベルは、大きな量子化パラメータのオフセットを必要とし、デブロッキングフィルタのパラメータ及び丸めオフセットのような他のパラメータの調節も必要とする場合がある。

さらに、本発明の原理の別の態様によれば、補正モジュール１２０は、パラメータ調節の後に結果として得られるビットレートを決定するために複雑なモデルを利用する場合がある。補正モジュール１２０は、エンコーダに統合されるか、又はアーチファクトを補正するために必要とされるビット数を推定するために符号化プロセスの少なくとも１部を実行する。複雑なモデルは、オリジナルの量子化パラメータ、オリジナルのブロック当たりに割り当てられたビット数及び新たに割り当てられる量子化パラメータを考慮することで、結果として得られるビットレートを推定する。しかし、結果として得られるビットレートを決定する他の手段が利用される場合もある。

本発明の原理の別の実現によれば、図１４において“ＢＡ”である、アーチファクトを含むブロックを囲んでいるブロックの量子化パラメータが調節される場合がある。図１４Ａ及び図１４Ｂに示されるように、たとえば、周囲のブロックは、オフセットＯ_０，Ｏ_１，Ｏ_２，Ｏ_３に従って調節される場合がある。ブロックオフセットの数及びオフセットの大きさの両者は、本発明の原理に従って変化する場合がある。さらに、隣接するブロックの量子化パラメータは、隣接するブロックがアーチファクトを含まない場合でさえ、調節される場合がある。隣接するブロックの量子化パラメータをオフセットすることで、あるフレームのビデオ品質が一貫したものとなる。これは、隣接するブロックの量子化パラメータの突然の変動により、あるフレームにおけるブロック間で視覚的に知覚できる差が生じるためである。知覚的に一貫したビデオ品質を維持するため、本発明の原理の１態様によれば、隣接するブロックの量子化パラメータのオフセットの大きさは、アーチファクトを含むブロックから徐々にかつ外側に変化される。さらに、量子化パラメータが変化されたアーチファクトをもつブロックを囲んでいるブロックの周辺のサイズは、アーチファクトを含むブロックの量子化パラメータの調節の大きさに依存する場合がある。

しかし、改善された品質をもつビデオストリームを生成するため、周辺のブロックの量子化パラメータは、必要に応じて、増加又は減少される場合がある。たとえば、アーチファクトが幾つかのブロックにわたる場合であるような、周辺のブロックが補正を当然とする強さ及びタイプのアーチファクトを含む場合、周辺のブロックの量子化パラメータは減少される場合がある。

さらに、量子化パラメータのオフセットの大きさは、アーチファクトを囲んでいるブロックのモードにも依存する場合がある。ビデオフレームの系列を符号化する一般的な方法は、動き補償であり、ビデオフレーム間の差が符号化され、ビデオ系列を記憶するために必要とされるメモリを低減する。この符号化スキームでは、ブロックは、インターモード又はイントラモードの何れかで符号化される場合がある。インターブロックは、別のブロックを参照することでデコードされ、イントラブロックは、他のブロックを参照することなしにデコードされる場合がある。当然、イントラブロックは、インターブロックよりも多くの情報を含む。したがって、イントラブロックは、典型的に、アーチファクトを補正するためにインターブロックよりも小さい量子化パラメータのオフセットの大きさを必要とする。本発明の原理の１つの態様では、補正モジュール１２０は、それが調節しているブロックのモードに従って量子化パラメータのオフセットの大きさを決定する。同様に、補正モジュール１２０は、それらのそれぞれのモードを考慮することで、周辺のブロックの量子化パラメータオフセットを決定する場合がある。イントラブロックの量子化パラメータを調節することは、イントラブロックと呼ばれる、ビデオ系列の前のピクチャ又は後ろのピクチャにおけるインターブロックの圧縮及び符号化に悪影響を及ぼすことが理解される。これは、インターブロックは、イントラブロックで記憶される情報を組み込むためである。

上述されたように、本発明の原理はアーチファクトの発生及び深刻度を低減するためにピクチャのブロックの量子化パラメータの調節に関して記載されたが、他の圧縮された領域のパラメータは、付加的に又は代替的に調節される場合がある。たとえば、本発明の原理の１つの実現によれば、ブロックに対応するモード判定が調節される場合がある。上述されたように、イントラブロックは、より多くの情報、従ってより多くのビットをインターブロックよりも含む。インターブロックでアーチファクトを補正するため、補正モジュール１２０は、そのブロックをイントラブロックに変換して、アーチファクトの深刻度を除去又は低減する。さらに、本発明の原理の別の態様によれば、補正モジュール１２０は、量子化パラメータの調節に関して上述されたように、アーチファクトを含むか、又はアーチファクトを含まない周辺のブロックを変換する場合がある。限定されるものではない例を通して、補正モジュール１２０は、目標とするビットレートを維持するために、前に符号化された周辺のイントラブロックをインターブロックに更に変換する場合がある。

圧縮された領域のパラメータの調節の完了に応じて、補正モジュール１２０は、エンコーダ１３０又は異なる圧縮オペレータに、調節された圧縮された領域のパラメータ１２６及び補正されるべきピクチャ又はシーン１２８を供給する。上述されたように、調節された圧縮された領域のパラメータ１２６は、量子化パラメータのマップの形式で供給される場合がある。その後、エンコーダ１３０は、アーチファクト補正器１４０を利用して、アーチファクトの補正の圧縮された領域のパラメータ１２６に従って指示されたピクチャを圧縮し、これにより、低い発生率及び低い深刻度のアーチファクトをもつビデオストリームを供給する。

たとえば図２に示される本発明の原理を実現するシステムは、ユーザインタフェース（図示せず）を含む場合があることが理解される。この実現によれば、ユーザは、ユーザインタフェースを介してビデオ系列のピクチャに存在するアーチファクトのタイプが通知される場合がある。さらに、ユーザは、あるピクチャに存在するアーチファクトの深刻度に従ってビデオピクチャの分類が通知される場合がある。たとえば、上述されたように、アーチファクト補正ユニット１２０は、ピクチャの計算された最終的なアーチファクトのレベルに従って、非常に深刻、深刻、中程度、軽度、又は非常に軽度であるとしてピクチャを分類する場合がある。

記載された実現の特徴及び態様は、様々なアプリケーションに適用される場合がある。アプリケーションは、たとえばＤＶＤディスクオーサリング及び、ノンリアルタイムの圧縮アプリケーション向けの他のプロフェッショナル機器を含む。本実施の形態で記載される実現は、たとえば方法又はプロセス、装置、又はソフトウェアプログラムで実現される場合がある。実現の１つの形態のコンテクストでのみ記載されたとしても（たとえば方法としてのみ記載されたとしても）、記載された特徴の実現は、他の形態（たとえば装置又はプログラム）で実現される場合がある。装置は、たとえば適切なハードウェア、ソフトウェア及びファームウェアで実現される場合がある。本方法は、たとえばコンピュータ、マイクロプロセッサ、集積回路又はプログラマブルロジックデバイスを含む、一般的な処理装置を示すプロセッサのような装置で実現される場合がある。また、処理装置は、たとえばコンピュータ、携帯電話、ポータブル／パーソナルデジタルアシスタント（ＰＤＡ）のような通信装置、及びエンドユーザ間での情報の伝達を容易にする他の装置のような通信装置を含む。

本実施の形態で記載された様々な処理及び特徴の実現は、データ送信及び受信に関連される機器又はアプリケーションといった様々な異なる機器又はアプリケーションで実施される場合がある。機器の例は、ビデオコーダ、ビデオデコーダ、ビデオコーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、及び他の通信装置を含む。明らかであるように、機器はモバイルである場合があり、移動車両に搭載される場合さえある。

さらに、本方法は、プロセッサにより実行される命令で実現される場合があり、係る命令は、集積回路、ソフトウェアキャリア又は、たとえばハードディスク、コンパクトディスク、ランダムアクセスメモリ（ＲＡＭ）又はリードオンリメモリ（ＲＯＭ）のような他のストレージ装置のようなプロセッサが読み取り可能な記録媒体に記憶される場合がある。この命令は、プロセッサが読み取り可能な記録媒体で実施されるアプリケーションプログラムである場合がある。明らかであるように、プロセッサは、たとえばプロセスを実行する命令を有するプロセッサにより読み取り可能な記録媒体を含む場合がある。

当業者にとって明らかであるように、実現は、たとえば記憶又は伝送される情報を保持するためにフォーマットされる信号を生成する場合もある。情報は、方法を実行する命令、又はたとえば記載された実現のうちの１つにより生成されるデータを含む場合がある。係る信号は、たとえば（たとえばスペクトルの無線周波部分を使用した）電磁波であるか、又はベースバンド信号としてフォーマットされる場合がある。フォーマットは、たとえばデータストリームの符号化、符号化されたストリームのパケット化、及びパケット化されたストリームでの搬送波の変調を含む場合がある。信号が搬送する情報は、たとえばアナログ又はデジタル情報である場合がある。信号は、公知であるように、様々な異なる有線又は無線リンクを通して伝送される場合がある。

多数の実現が記載された。しかし、様々な変更が行われる場合があることを理解されたい。たとえば、異なる実現のエレメントは、他の実現を生成するために、結合、補足、変更又は取り除かれる場合がある。さらに、当業者であれば、他の構造及びプロセスが開示された構造及びプロセスを置き換える場合があり、結果として得られる実現は、開示された実現と同じ結果を少なくとも実質的に達成するため、少なくとも実質的に同じやり方で、少なくとも実質的に同じ機能を実行することを理解されるであろう。したがって、これらの実現及び他の実現は、以下の特許請求の範囲にあるものとする。

Claims (20)

1. ビデオピクチャの系列に含まれるビデオピクチャに存在する複数のビデオ圧縮のアーチファクトのタイプに対応する複数のメトリクスを生成するステップと、それぞれのメトリクスは、前記アーチファクトのタイプのうちの異なる１つの深刻度を示し、
   前記メトリクス、前記アーチファクトのタイプ及び前記ビデオピクチャの系列のコンテンツタイプに従って、前記ビデオピクチャの系列に含まれるビデオピクチャを優先付けするステップと、
   前記優先付けに従う補正のため、前記ビデオピクチャの系列からビデオピクチャを選択するステップと、
   前記メトリクスに応答して前記ビデオピクチャを補正するステップと、
   を含むことを特徴とするビデオ処理方法。
2. 前記コンテンツのタイプは、アニメーションのコンテンツと映画のコンテンツの少なくとも１つを含む、
   請求項１記載の方法。
3. 前記ビデオ圧縮のアーチファクトのタイプは、ブロッキングアーチファクト、バンディングアーチファクト、ダークパッチアーチファクト及びリンギングアーチファクトの少なくとも１つを含む、
   請求項１記載の方法。
4. 前記補正ステップは、アーチファクトマップを利用して、前記ピクチャのアーチファクトを含む第一のブロックを補正するステップを含む、
   請求項１記載の方法。
5. 前記アーチファクトマップは、固定されたサイズのブロックにセグメント化される、
   請求項４記載の方法。
6. 前記補正するステップは、アーチファクトを含まない第二のブロックを補正するステップを更に含む、
   請求項４記載の方法。
7. 前記補正するステップは、前記ビデオピクチャの少なくとも１つのブロックに対応する量子化パラメータとモード判定の少なくとも１つを調節するステップを更に含む、
   請求項１記載の方法。
8. 前記調節は、符号化のために使用される、
   請求項７記載の方法。
9. ユーザインタフェースを設けるステップと、
   前記ビデオピクチャに存在するアーチファクトの少なくとも１つのタイプをユーザに通知するステップと、
   を更に含む請求項１記載の方法。
10. 少なくとも１つのアーチファクトの深刻度に従って前記ビデオピクチャを分類するステップと、
    前記ビデオピクチャの分類をユーザに通知するステップと、
    を更に含む請求項９記載の方法。
11. ビデオピクチャの系列に含まれるビデオピクチャに存在する複数のビデオ圧縮のアーチファクトのタイプに対応する複数のメトリクスに応答して圧縮された領域のパラメータを生成する手段と、それぞれのメトリクスは、前記アーチファクトのタイプのうちの異なる１つの深刻度を示し、
    前記メトリクス、前記アーチファクトのタイプ及び前記ビデオピクチャの系列のコンテンツタイプに従って、前記ビデオピクチャの系列に含まれるビデオピクチャを優先付けするプロセッサと、前記ビデオピクチャは、前記優先付けに従う補正のために選択され、
    前記圧縮された領域のパラメータに従って前記ビデオピクチャを補正するアーチファクト補正手段と、
    を有することを特徴とする処理システム。
12. 前記コンテンツのタイプは、アニメーションのコンテンツと映画のコンテンツの少なくとも１つを含む、
    請求項１１記載のシステム。
13. 前記ビデオ圧縮のアーチファクトのタイプは、ブロッキングアーチファクト、バンディングアーチファクト、ダークパッチアーチファクト及びリンギングアーチファクトの少なくとも１つを含む、
    請求項１１記載のシステム。
14. 前記アーチファクト補正手段は、アーチファクトマップを利用して、前記ピクチャのアーチファクトを含む第一のブロックを補正する、
    請求項１１記載のシステム。
15. 前記アーチファクトマップは、固定されたサイズのブロックにセグメント化される、
    請求項１４記載のシステム。
16. 前記アーチファクト補正手段は、アーチファクトを含まない前記ピクチャの第二のブロックを補正する、
    請求項１４記載のシステム。
17. 前記アーチファクト補正手段は、前記ビデオピクチャの少なくとも１つのブロックに対応する量子化パラメータとモード判定の少なくとも１つを調節する、
    請求項１１記載のシステム。
18. 前記アーチファクト補正手段は、符号化のために前記プロセッサに調節情報を供給する、
    請求項１７記載のシステム。
19. 前記ビデオピクチャに存在するアーチファクトの少なくとも１つのタイプをユーザに通知するユーザインタフェースを有する、
    請求項１１記載のシステム。
20. 前記アーチファクト補正手段は、少なくとも１つのアーチファクトの深刻度に従って前記ビデオピクチャの分類を生成し、
    当該システムは、前記ビデオピクチャの分類をユーザに通知するユーザインタフェースを備える、
    請求項１９記載のシステム。

Images