JP5512813B2 - ブロックアーティファクト低減器 - Google Patents

Description

関連出願

本出願は、２００９年７月２１日に出願された米国仮出願第６１／２２７，４１５号と、２０１０年７月１２日に出願された米国出願第１２／８３４，７３１号とに対して優先権を主張し、これらの両方は、参照によりその全体を組み込まれている。

関連分野

本発明は、デジタル画像処理に関連し、より詳細には、ブロックエンコード化された画像における、ブロックアーティファクトを低減させることに関連する。

背景

ブロックベースの離散コサイン変換（ＤＣＴ）は、ＩＴＵ−Ｔ Ｈ２６１、Ｈ２６３、Ｈ２６４、ＩＳＯ ＪＰＥＧ、ＭＰＥＧ−１、および、ＭＰＥＧ−２を含む、数多くの標準ビデオ圧縮方法に対して使用される圧縮技術である。ＤＣＴを実行するために、画像が、最初に、ブロックへと分割される。ＤＣＴは、それぞれのブロックのそれぞれの行と列に対して適用されて、変換係数配列を生み出す。典型的な変換係数配列において、それぞれのブロック中の（０，０）エレメントは、ＤＣ（ゼロ周波数）成分であり、増加している垂直および水平インデックス値を有するエントリは、画像のより高い垂直および水平空間周波数を表す。

ブロックベースのＤＣＴに伴う１つの一般的な問題は、画像が低ビットレートで圧縮されているときに、認知される程のアーティファクトをブロックベースのＤＣＴが生成するかもしれないことである。このようなアーティファクトの１つは、画像の平滑な領域において、特に見受けられる。画像シーケンスにおいて、圧縮エンコーダにおける不十分なビットレート割り振りはまた、高速で動いている領域や、または、シーン変更の間に、ブロッキングアーティファクトを悪化させる。ブロックアーティファクト低減（ＢＡＲ）に対する既存の技術があるものの、ほとんどの既存の方法は、知られているブロック境界および／またはブロックサイズ、あるいは、容易に検出可能なブロック境界および／またはブロックサイズを要求する。しかしながら、トリミングや複数世代の再エンコーディングのような、いくつかの一般的な画像操作は、ブロック境界ロケーションを検出し難くするかもしれない。画像が、適切な画像操作技術を使用して生成されていないとき、これはオンラインビデオストリーミングのようなメディアにおいてよく見受けられるが、ブロック境界情報は、歪んでいるか、または、損なわれていることが多い。このようであるので、ＢＡＲに対する数多くの周知の方法は使えない。

したがって、知られていないブロックサイズを有する画像シーケンスに対してより適切であり、また、高速で動いている領域におけるブロッキングアーティファクトを低減できる、有効なブロックアーティファクト低減方法を提供する必要がある。

概要

ブロックアーティファクトを低減するシステムが提供される。本発明のいくつかの実施形態にしたがった、画像シーケンスにおけるブロックアーティファクトを低減するための装置は、画像信号の第１のフレームおよび画像信号の第２のフレームから、動き信号を検出する動き検出ユニットと、第２のフレームおよび動き信号に基づく補正強度と、第２のフレームとに基づいて、ブロック境界ロケーションを決定する、ブロック境界オフセットおよび動きベースの補正決定（ＢＯＭＣＳ）ユニットと、ブロック境界ロケーションおよび補正強度に基づいて、第２のフレームをフィルタして、補正された画像信号を出力する強度フィルタとを具備する。

本発明のいくつかの実施形態にしたがった、画像シーケンスにおけるブロックアーティファクトを低減するための方法は、画像信号の第１のフレームおよび画像信号の第２のフレームから、動き信号を決定することと、第２のフレームから、ブロック境界ロケーションを決定することと、第２のフレームおよび動き信号から、補正強度を決定することと、ブロック境界ロケーションおよび補正強度にしたがって、第２のフレームをフィルタして、補正された画像信号を出力することとを含む。

本発明のこれらの、および、他の実施形態を、以下の図面に対する参照とともに、以下でさらに記述する。

図１ａは、本発明に一貫した、ブロックアーティファクト低減器のある実施形態のブロック図を示す。 図１ｂは、本発明に一貫した、ブロックアーティファクト低減器の別の実施形態のブロック図を示す。 図２は、本発明に一貫した、大きな動き検出の実施形態のブロック図を示す。 図３は、本発明に一貫した、埋め込み動き推定、および、大きな動き検出ユニットの実施形態のブロック図を示す。 図４は、本発明に一貫した、ブロック境界オフセット、および、動きベースの補正強度検出ユニットのブロック図を示す。 図５ａは、本発明のいくつかの実施形態とともに利用できる、高周波およびエッジ保存適応フィルタのブロック図を示す。 図５ｂは、本発明に一貫した、高周波およびエッジ保存適応フィルタの実施形態のブロック図を示す。 図６は、本発明に一貫した、垂直強度適応ウィンドウフィルタリングユニットの実施形態のブロック図を示す。 図７は、本発明に一貫した、水平強度適応ウィンドウフィルタリングユニットの実施形態のブロック図を示す。

発明の詳細な説明

ブロッキング効果は、比較的低ビットレートにおいて動作しているブロックベースのコーデックから一般的にもたらされる視覚的アーティファクトである。デコードされた画像上で見受けられる正方形または長方形の構造は、オリジナルの画像をゆがめる。ブロック構造は、比較的平坦なトーンの領域において、また、高速で動いている領域において特に著しい。

本発明に一貫した、ブロックアーティファクト低減（ＢＡＲ）フィルタのいくつかの実施形態は、画像のブロック境界ロケーションの明示的な知識なしで、ブロッキングアーティファクトを、動き情報に相関させる方法を提供する。したがって、本発明のいくつかの実施形態にしたがったＢＡＲフィルタは、通常は、単に空間的なＢＡＲを、ブロッキングアーティファクト検出および補正の両方のための、時間的および空間的な適応アルゴリズムへと変換させることができる。ブロッキングアーティファクトを低減するために、本発明にしたがって、ＢＡＲフィルタのいくつかの実施形態はまた、画像セグメント化、ブロック境界の強度、および、グローバルな動きとローカルな動きとの量に依拠して、ピクセル毎にフィルタリング強度を調整する。

図１ａは、本発明に一貫した、ブロッキング効果を低減させるためのＢＡＲフィルタ１０の実施形態を示す。ＢＡＲフィルタ１０は、動き検出ユニット６、ブロック境界オフセットおよび動きに基づいた補正強度決定（ＢＯＭＣＳ）ユニット７、ならびに、強度フィルタリングユニット５を含む。ＢＡＲフィルタ１０は、画像信号Ｘ（ｔ）１２、および、その信号のフレーム遅延されたバージョンＸ（ｔ−１）１１を受信する。動き検出ユニット１６は、信号Ｘ（ｔ）１２、および、Ｘ（ｔ−１）１１を比較して、動き推定信号ＥＭＥＣ２１を出力する。ＥＭＥＣ２１は、画像信号Ｘ（ｔ）１２、および、Ｘ（ｔ−１）１１の間の動き推定を表す。ＢＯＭＣＳユニット１７は、ライン検出を使用して、画像信号Ｘ（ｔ）のブロック境界ロケーションブロック１７を検出する。ライン検出の結果を累積して、画像信号Ｘ（ｔ）１２中のブロック境界の優勢さを決定する。ブロック境界の優勢さが、１組の予め定められた値に比較されて、画像信号Ｘ（ｔ）の圧縮レベルを決定する。補正強度ＣＳ２２信号は、次に、動き推定信号ＥＭＥＣ２１にしたがって、圧縮のレベルをスケーリングすることによって決定される。強度フィルタリングユニット５は、ＢＯＭＣＳ７から、ブロック境界ロケーションブロック１７、および、補正強度ＣＳ２２を受信する。強度フィルタリングユニット５は、ブロック１７によってブロック境界上にあるとして識別された画像信号Ｘ（ｔ）１２中のピクセルを、ＣＳ２２にしたがってフィルタして、ブロックアーティファクト修正画像信号Ｘout１６を生成する。このようにして、Ｘout１６は、時間的および空間的情報の両方に基づいて補正され、これは、従来の単に空間的なＢＡＲ方法に比較されると、より効率的にブロッキングアーティファクトを減少させてもよい。

図１ｂは、本発明に一貫した、ブロックアーティファクトを低減させるためのＢＡＲフィルタ１００の別の実施形態を示す。ＢＡＲフィルタ１００は、事前フィルタリングユニット１０１、画像強度セグメント化（ＩＩＳ）ユニット１０２、高周波およびエッジ保存適応フィルタ（ＨＥＰＡＦ）１０３、垂直強度適応ウィンドウフィルタ（ＶＩＡＷＦ）１０４、水平強度適応ウィンドウフィルタ（ＨＩＡＷＦ）１０５、大きな動き検出ユニット１０６、ならびに、ブロック境界オフセットおよび動きに基づいた補正強度決定（ＢＯＭＣＳ）ユニット１０７を含む。

図１ｂに示したＢＡＲフィルタ１００は、２つの入力、すなわち、画像データＹ（ｔ）１１１、および、フレーム遅延された画像データＹ（ｔ−１）１１２を有する。フレーム遅延された画像データＹ（ｔ−１）１１２は、大きな動き検出ユニット１０６に供給され、画像データＹ（ｔ）１１１は、ＢＯＭＣＳユニット１０７および事前フィルタリングユニット１０１に供給される。事前フィルタリングユニット１０１は、画像データＹ（ｔ）１１１をフィルタするノイズ低減フィルタであり、事前フィルタされた画像データＹtmp１１３を発生させ、この事前フィルタされた画像データＹtmp１１３は、ＩＩＳユニット１０２、ＶＩＡＷＦユニット１０４、および、ＨＦＥＰＡＦ１０３によって使用される。事前フィルタリングユニット１０１は、ランダムノイズフィルタ、または、モスキートノイズフィルタ、あるいは、複数のフィルタの組み合わせのような、いくつかの周知のノイズフィルタであってもよい。

大きな動き検出ユニット１０６は、２つの画像データ信号Ｙ（ｔ）およびＹ（ｔ−１）を比較して、ローカルの大きな動き選択信号１２０と、埋め込み動き推定カウンタ（ＥＭＥＣ）信号１２１とを生成する。ＩＩＳユニット１０２は、事前フィルタされた画像信号１１３と、ローカルの大きな動き選択信号１２０とを受け取って、適応しきい値１１９を発生させる。ＢＯＭＣＳユニット１０７は、ＥＭＥＣ信号１２１と、画像データＹ（ｔ）とを受け取り、水平および垂直ブロック境界ロケーション信号１１７および１１８、ならびに、ブロック境界補正強度ＣＳ信号１２２を生成させる。ＨＦＥＰＡＦユニット１０３は、事前フィルタされた画像信号Ｙtmp１１３をフィルタして、適応強度フィルタされた信号Ｙadp１１４を、ＶＩＡＷＦ１０４に供給する。ＶＩＡＷＦ１０４は、適応強度フィルタされた信号Ｙadp１１４、適応しきい値１１９、補正強度信号１１２、および、水平ブロック境界ロケーション信号１１７にしたがって、事前フィルタされた画像信号Ｙtmp１１３をフィルタして、垂直補正値Ｙvert１１５を発生させる。垂直補正値Ｙvert１１５は、適応しきい値１１９、垂直ブロック境界ロケーション信号１１８、および、補正強度信号１１２にしたがって、ＨＩＡＷＦユニット１０５によってさらにフィルタされる。ＨＩＡＷＦユニット１０５は、補正された画像信号であり、ＢＡＲシステム１００からの出力信号である出力信号１１６を発生させる。

図１ｂにおいて、画像Ｙ（ｔ）１１１およびそのフレーム遅延バージョンＹ（ｔ−１）１１２を表す入力データは、画像輝度強度信号である。画像データのクロミナンス入力は、クロミナンス入力が異なるサンプリングパターンを使用することを除いては、輝度入力と同様に処理される。このようであるから、クロミナンス信号に対するＢＡＲシステムは、ＢＡＲシステム１００と実質的に同一であるので、クロミナンス信号に対するＢＡＲシステムの詳細な説明を省略する。

図１ｂにおいて利用されてもよいエレメント１０２−１０７のそれぞれの実施形態を、図２−７を参照して、より詳細に記述する。

図１ｂにおけるＢＡＲシステム１００の実施形態は、ランダムノイズ、および、モスキートノイズ低減のための事前フィルタリングユニット１０１を備えるが、事前フィルタリングユニット１０１は、別の実施形態では省略されてもよく、画像信号Ｙ（ｔ）は、直接ＩＩＳユニット１０２、ＶＩＡＷＦユニット１０４、および、ＨＦＥＰＡＦユニット１０３に対して供給されてもよい。ＢＡＲシステム１００はまた、さまざまなアーティファクトを処理するためのポストデコーダプロセッサの一部であってもよい。

図２は、本発明のいくつかの実施形態に一貫した、大きな動き検出（ＨＤＭ）ユニット１０６の実施形態を示す。ＨＭＤユニット１０６は、高コントラストおよび速く動いている領域において、より顕著になるブロッキング効果を活用する。真の動きベクトル推定は、同様の機能を実行してもよく、これは、ほとんどのインスタンスにおいて、ＭＰＥＧビットストリームアクセスを有するものでさえも、不必要に費用がかかる。ＨＤＭユニット１０６は、動き強度推定に対して、画像差異および形状適応ウィンドウ平均技術を利用する。画像信号Ｙ（ｔ）１１１、および、そのフレーム遅延バージョンＹ（ｔ−１）１１２が、ＨＭＤ１０６に対して適用される。画像信号は、一般的にノイズが多いので、Ｙ（ｔ）およびＹ（ｔ−１）から発生された画像差異Ｙ_d６１１は、２Ｄ ＬＰフィルタ６０２によってフィルタされて、フィルタされた差異信号Ｙ_fd６１２を生成する。

フィルタ６０２は、適切な減衰を提供する何らかのローパスフィルタであってもよい。いくつかの実施形態では、以下のインパルス応答のうちの１つをＬＰフィルタ６０２において利用してもよい。

または

フィルタされた信号Ｙ_fd６１２は、形状適応ウィンドウ（ＳＡＷ）６０３に対して提供される。ＳＡＷ６０３は、ウィンドウ中のピクセルを２組に、すなわち、中央基準ピクセルより下の、または、中央基準ピクセルよりより上の所定のしきい値（ＳＡＷしきい値）内の値を有するピクセルと、その範囲内に無いピクセルとに分類するように動作する。形状適応ウィンドウの第１の出力６１３は、ピクセル類似性ω_sである。第２の出力６１４は、ウィンドウ中の類似ピクセルの数Ｎsの反転値である。例えば、Ｙがウィンドウ６０３に対する入力信号である場合、これらの規定は以下のように表現されてもよい。

ＳＡＷ６０３の出力信号６１３および６１４は、高ノイズ画像差異Ｙ_d６１１に対するローカル平均を計算するためのローカル平均計算ユニット６０４によって使用される。出力信号６１５は、静的な領域においてさえも、依然としてノイズが多いので、しきい値Ｍ_Th６１６を有するコアリングシステム６０５が使用されてもよい。コアリングシステム６０５は、絶対値において、Ｍｅｓｔ−Ｙ−ａｂｓ６１７を出力し、これは、動きベクトル長および信号強度に関する推定された動き強度であってもよい。コアリングシステムによって利用される技術は、埋め込み動き推定と同様であってもよい。ローカル動き推定信号Ｍｅｓｔ−Ｙ−ａｂｓ６１７が、しきい値を使用するローカル動き検出ユニット６０９に対して提供されて、ローカル動き検出（ＬＭＯＴ）信号６１８が生成される。Ｍｅｓｔ−Ｙ−ａｂｓ６１７はまた、Ｂａｒ−Ｍｏｔ−Ｔｈのしきい値を有しているフレームベースの動き検出ユニット６０６もまた通過する。累積器６０７は、検出された動きイベントをカウントして、グローバル検出ユニット６０８およびマイクロプロセッサ７３１の両方に提供される、埋め込み動き推定カウンタ（ＥＭＥＣ）信号１２１を出力し、これは、図３を参照してより詳細に記述する。予め定められたしきい値Ｇｌｏｂａｌ−Ｔｈを有している、グローバル動き検出ユニット６０８は、ＥＭＥＣ信号１２１を受信し、グローバル動き検出（ＧＭＯＴ）信号６１９を出力する。低潜時動作に対して、グローバル検出ユニット６１９の結果を、次の入力画像フレームに対して使用してもよい。ＡＮＤゲート６１０は、ＬＭＯＴ６１８およびＧＭＯＴ６１９を結合させて、大きい動き選択信号１２０を発生させる。大きい動き選択信号１２０は、図１ｂに示したように、強度適応ウィンドウフィルタリングユニット１０４および１０３に対して提供される。

いくつかの実施形態では、フレームベースの動き検出ユニット６０６は、３２のＢａｒ−Ｍｏｔ−Ｔｈしきい値を使用する。いくつかの実施形態では、ローカル動き検出ユニット６０９は、８のＬｏｃａｌ−Ｍｏｔ−Ｔｈしきい値を使用する。いくつかの実施形態では、ローカル動き検出ユニット６０８は、３２のＧｌｏｂａｌ−Ｔｈしきい値を使用する。これらのユニットに対する、他のしきい値もまた使用してもよい。一般的に、より大きいしきい値は、入力画像のより大きい補正をもたらす。

図３は、図１ｂに示した、ブロック境界オフセットおよび動きに基づいた補正強度決定（ＢＯＭＣＳ）ユニット１０７を図示する。ノイズの多い画像Ｙ（ｔ）１１１、および、ＨＤＭ１０６からのフレームベースの埋め込み動き推定カウンタＥＭＥＣ１２１は、ＢＯＭＣＳ１０７の２つの入力である。ＢＯＭＣＳ１０７は、ブロック境界ロケーション信号１１７および１１８と、フレームベースの補正強度信号１２２とを発生させる。図１ｂに示した、フィルタされ、ノイズ低減されたＹtmp１１３を、いくつかの実施形態において、Ｙ（ｔ）の代わりに入力として利用してもよい。

入力画像信号Ｙ（ｔ）は、垂直ライン検出器７０１および水平ライン検出器７０２に対して提供される。垂直ライン検出器７０１および水平ライン検出器７０２は、何らかのエッジ検出フィルタを利用してもよい。例えば、それぞれ、以下のようなインパルス応答を利用してもよい。

代わりに、垂直および水平ライン検出器はまた、以下の対によって記述されてもよい。

フィルタ出力７５１が垂直境界テスト７０３に対して送られて、予備的な方法で、ピクセルが垂直の境界上にあるか否かを決定してもよい。垂直境界テスト７０３は、偽検出を減少させるために動作し、信号７５１の大きさと、サインとの両方に基づいていてもよい。ピクセル座標（ｘ，ｙ）に対する結果のバイナリ出力７５３は、水平カウンタ７０５−７２０に対して送られる。［ｘ］モジュラス（modulus）に対応する、１つの水平カウンタ７０５−７２０が、一度にアクティブになる。それぞれのカウンタは、画像の１ピクセル列中の垂直境界上にありそうなピクセルの数のカウントを記憶する。同様に、フィルタ出力７５２が、水平境界テスト７０４に送られて、予備的にピクセルが水平境界上にあるか否かを決定する。ピクセル座標（ｘ，ｙ）に対する、結果のバイナリ出力は、垂直カウンタ７２１−７３６に対して送られる。［ｙ］モジュラスに対応する、１つの垂直カウンタだけが、一度にアクティブになる。それぞれのカウンタは、画像の１ピクセル行中の水平境界上にありそうなピクセルの数のカウントを記憶する。

カウンタ出力、Ｃｈ０−１５、および、Ｃｖ０−１５が、さらなる解析のために、統合マイクロプロセッサ７３１に送られる。解析は、２つの部分、すなわち、ブロック境界オフセット検出（ＢＯＤ）７５０と、自動ブロックアーティファクトインデックス（ＡＢＡＩ）７５２とを含む。

自動ブロックアーティファクトインデックス（ＡＢＡＩ）７５２の計算は、主に２つのタイプのインジケータに基づいている。すなわち、１）フレームベースの埋め込み動き推定カウンタＥＭＥＣ１２１と、２）フレームベースのカウンタＣｈ０−１５、および、Ｃｖ０−１５のグループとである。フレームベースのカウンタＣｈ０−１５、および、Ｃｖ０−１５の最も主流のものを決定することは、最もありそうなブロックアーティファクトオフセットを示してもよい。これを行うために、ＡＢＡＩは、最初に、累積カウンタの値を補正して、“濃淡のむら（blockiness）”のさまざまなレベルを表す値を経験的に予め決定する。これらの予め定められた値は、標準の組のコンテンツ全体を通しての圧縮の複数のレベルに由来する、実質的なブロッキングアーティバクトを測定することによって取得される。ブロックオフセットカウンタの組を、圧縮のレベルを最もよく表現する組に合わせることによって、または、逆の処理によって、濃淡のむらの度合い、自動化されたフレームベースのブロック補正強度が取得されてもよい。

しかしながら、この自動化されたブロック補正強度値は、いくつかの理由（ピクチャのグループ（ＧＯＰ）構造、過敏な検出モジュール、等）のために、２つ以上の連続的フレームの間で、大きく変動するかもしれないので、自動化ブロック補正強度履歴が、マイクロプロセッサ７３１中で維持されてもよい。自動化ブロック補正強度履歴があると、自動化ブロック補正強度が複数のフレームにわたって保持されて、処理変動を最小化するために、より単純な応用においてプログレッシブ平均値が取得される。また、第１の組のフレーム上でブロッキングアーティファクトがより明示的であることを知っているので、それらの適応されたブロック補正強度は、検出されたＧＯＰ構造に対してマッピングされることができる。このことは、（取得された値がある場合、）取得された値の規則性を検出する第２の記憶されている履歴を使用して達成されてもよい。

次に、ＥＭＥＣ信号１２１を使用して、自動化ブロック補正強度を変調して、補正強度（ＣＳ）を発生させてもよい。いくつかの実施形態では、ＣＳはプログレッシブ平均値のある範囲内に保持される。フレーム対フレームから現れる動きの量を表すことによって、１）大きな動きが検出されるときに、適用される補正強度をブーストするために、２）ＧＯＰ規則性検出を調整するために、ＥＭＥＣ１２１が考慮に入れられる。

ＢＯＤ７５０は、境界オフセットを提供し、フレームベースのカウンタＣｈ０−１５、および、Ｃｖ０−１５中に保存された値から、水平境界ロケーション信号１１７と、垂直境界ロケーション信号１１８とを発生させる。高いカウンタ値は、ブロック境界の潜在的なロケーションを示す。ＧＯＰおよびＢＯＤからの出力を使用して、図１ｂに示した垂直強度適応ウィンドウフィルタリング（ＶＩＡＷＦ）１０４、および、水平強度適応ウィンドウフィルタ（ＨＩＡＷＦ）１０５を制御する。

ＢＯＤ７５０は、ソフトウェアによって実現されてもよい。ＡＢＡＩ７５２のソフトウェア実施は、ＢＯＤ７５０と並列的に実行されてもよく、埋め込み動き推定カウンタ（ＥＭＥＣ）信号１２１に関連して、同一のカウンタを使用して、フレーム毎のベースで必要とされるフィルタリングの強度を決定してもよい。

図４は、図１ｂに示した、画像強度セグメント化（ＩＩＳ）ユニット１０２のブロック図を示す。ＩＩＳユニット１０２は、画像分類カード２０４と、しきい値マップ２０５とを提供して、図１ｂに示した２つの強度適応ウィンドウフィルタリングユニット１０４および１０５に対する適応しきい値１１９を決定する。ＩＩＳユニット１０２は、エッジ検出（ＥＤ）ユニット２０１、ローカル標準分散推定器（ＬＳＤＥ）２０２、および、保護された高周波検出器（ＰＨＦＤ）２０３に対して提供される入力信号Ｙtmp１１３を有する。

ＥＤユニット２０１は、高性能エッジ検出器であってもよい。代わりに、ＥＤユニット２０１は、ＳｏｂｅｌまたはＰｒｅｗｉｔｔ演算子、あるいは、ＳｏｂｅｌまたはＰｒｅｗｉｔｔコンパスに、単に基づいていてもよい。ＳｏｂｅｌまたはＰｒｅｗｉｔｔ演算子は、Ｃｈｅｒｒｉ氏、Ａｂｄａｌｌａｈ Ｋ．氏、および、Ｋａｒｉｍ，Ｍｏｈａｍｍａｄ氏の“光学記号置換−Ｓｏｂｅｌ、Ｐｒｅｗｉｔｔ、および、Ｒｏｂｅｒｔｓ演算子を使用したエッジ検出”応用光学（ＩＳＳＮ ０００３−６９３５）、ｖｏｌ． ２８、１９８９年１１月１日、ｐ．４６４４−４６４８において、詳細に記述されており、ここでその全体が参照により組み込まれている。ＥＤユニット２０１のいくつかの実施形態では、４つの方向に対する３×３のＳｏｂｅｌコンパスが利用されてもよい。入力信号Ｙtmp１１３は、ＳｏｂｅｌまたはＰｒｅｗｉｔｔ演算子とともに畳み込み演算されて、各ピクセルにおいて、入力信号Ｙtmp１１３の画像強度の傾斜を計算する。結果は、そのピクセルにおいて、どのくらいの程度だけ“突然に”、または、“滑らかに”画像が変化するかを示し、したがって、画像のその部分がエッジを表している尤度がどのくらいの程度かを示す。

ＳｏｂｅｌまたはＰｒｅｗｉｔｔ演算子は両方とも、オリジナル画像とともに畳み込み演算される２つの３×３カーネルを使用して、１つは水平変更に対する、そしてもう１つは垂直に対する導関数の近似を計算する。もし、Ａをソース画像として規定し、ＧｘおよびＧｙが、それぞれのポイントにおいて、水平および垂直導関数近似を含む２つの画像である場合、Ｓｏｂｅｌ演算子は以下の数式により計算される。

Ｐｒｅｗｉｔｔ演算子は以下の数式により計算される。

以下の数式により計算される、ＳｏｂｅｌまたはＰｒｅｗｉｔｔ畳み込み演算出力の絶対値を合計した後、しきい値比較器およびいくつかのバイナリコンテキストベースのフィルタが適用されて、孤立したものを除去し、および／または、失われた判定を追加してもよい。

ＥＤユニット２０１は、次に、バイナリ信号２１１としてのエッジ検出結果を、強度画像分類（ＩＩＣ）ユニット２０４に提供する。

ＬＳＤＥユニット２０２は、入力信号Ｙtmp１１３のローカル標準分散を推定する。スライディングウィンドウを利用して、推定の精度を改善してもよい。ＬＳＤＥ２０２中のスライディングウィンドウを利用して、ピクセルを２つのグループ、すなわち、中央基準ピクセルからのしきい値内にある値を有するピクセルと、および、その範囲の外側にあるピクセルとに分類するローカルセグメント化を利用できる。平均および標準分散は、しきい値範囲内にあるとして分類されたピクセルとともにだけ計算される。ＬＳＤＥ出力２１２は、ＩＩＣユニット２０４に対して適用される。

ＰＨＦＤユニット２０３は、保護マップ信号２１３を発生させ、これは、補正から保護されることになる高周波画像領域中のピクセルを識別する。ＰＨＦＤ２０３は、入力信号Ｙtmp１１３を受け取り、Ｌａｐｌａｃｉａｎ ３×３フィルタ、しきい値比較器、および、追加、除去バイナリフィルタに基づいていてもよい。例えば、可能性あるＬａｐｌａｃｉａｎフィルタのインパルス応答は、以下の式によって与えられてもよい。

８ビット画像データを使用する実施形態において、しきい値を４８に設定してもよい。１０ビット画像入力に対して、同様の結果を達成するために、しきい値は、４によって乗算されてもよい。他の高周波検出方法もまた、使用されてもよい。ＰＨＦＤ２０３は、画像入力Ｙtmpのピクセル高周波領域を示す保護マップ２１３を出力する。

強度画像分類（ＩＩＣ）ユニット２０４は、ＥＤ２０１、ＬＳＤＥ２０２、および、ＰＨＦＤ２０３からの入力を使用して、画像信号Ｙtmp１１３のピクセルを、クラスへとセグメント化する。５クラスの実施形態では、クラスまたは領域は：補正なし、テクスチャ、エッジ、低テクスチャ、および、フラット領域であってもよい。保護マップ２１３によって識別されるピクセルは、補正なしクラスへと置き換えられる。ＥＤユニット２０１が、エッジ上にあるとして識別するピクセルは、エッジクラスへと配置される。残りのピクセルは、ＬＳＤＥ２０２によって計算されるような、ローカル平均およびローカル標準分散の値に比較したそれらの相対値に依拠して、テクスチャ、エッジ、低テクスチャ、および、フラット領域へと分離される。ＩＩＣ２０４の出力信号２１４は、しきい値マップ設定ユニット２０５に対して送られる。

しきい値マップ設定ユニット２０５は、ＩＩＣ２０４出力２１４を、１組の基礎しきい値２１５へと変換する。８ビット画像入力実施形態において、基礎しきい値は、以下のようであってもよい。
補正なし しきい値＝０
テクスチャ しきい値＝２
エッジ しきい値＝３
低テクスチャ しきい値＝６
フラット しきい値＝１２ （９）
代わりの実施形態においては、異なる値をまた使用してもよい。

しきい値信号２１５は、動き利得制御ユニット２０６中でさらに調整され、これは、基礎しきい値を、動き情報に結合させる。動き利得は、可変利得値２１６に依拠して、例えば、１、１．５、２、または、４であってもよい。可変利得は、例えば、ユーザインターフェースによって取得されてもよく、代わりに利得に影響を及ぼす、入力画像の一般的品質を決定する事前処理解析ブロックによって選択されてもよく、または、ソフトウェア中で、もしくは、他の方法で予め設定されてもよい。図１ｂおよび２に示した、大きな動き検出ユニット１０６によって供給されるローカルの大きい動き選択信号１２０は、可変利得が適用されるか否かを制御する。ローカルの大きい動き選択信号１２０は、しきい値２１５が動き利得２１６によって乗算されたか否か、または、画像セグメント化基礎値２１５が、適応しきい値１１９として出力されたか否かを決定する。画像強度セグメント化（ＩＩＳ）ユニット１０２の適応しきい値信号出力１１９は、図１ｂに図示されているように、垂直および水平強度適応ウィンドウフィルタリング（ＶＩＡＷＦ、ＨＩＡＷＦ）１０４および１０５の両方に対して送られる。

図５ａは、エッジ保存適応フィルタ１０３ａのブロック図を示す。一般的に、エッジ保存適応フィルタ１０３ａは、詳細保存高性能ノイズ低減器（ＮＲ）として利用されてもよい。図５ａに図示した、エッジ保存適応フィルタは、入力信号として、Ｙtmp１１３を受信し、並列に接続された、４つの方向のローパス（ＬＰ）フィルタＬＰ０°３２０、ＬＰ４５°３２２、ＬＰ９０°３２４、および、ＬＰ１３５°３２６に基づいている。これらのフィルタのフィルタインパルス応答は、３つのタップ（１，２，１）／４から構成される。詳細保存適応フィルタは、Ｂ． Ｒａｍａｍｕｒｔｈｉ氏、および、Ａ． Ｇｅｒｓｈｏ氏の“ブロックコード化画像に対する非線形空間変数”ｖｏｌ ＡＳＳＰ−３４、１９８６年１０月、ｐｐ１２５８−１２６８において、記述されており、ここでその全体が参照により組み込まれている。ＬＰフィルタ３２０、３２２、３２４、および、３２６からの出力信号と、フィルタされていない入力信号Ｙtmp１１３とが、方向ベースのフィルタ選択器３２８へと適用され、方向ベースのフィルタ選択器３２８は、方向および保護判定ユニット２２３によって出力される、方向マップ３０１によって駆動されている。ノイズ低減器として、図５ａ中に示した構成は、いくつかの欠点を有する。最初に、明示的に保護されているゾーンを除いた、他のすべての領域上でフィルタリングが実行される。さらに、ブロック境界だけをフィルタリングすることは、ブロッキングアーティファクトを十分に打ち消さない。

図５ｂは、本発明に一貫した、高周波およびエッジ保存適応フィルタ（ＨＥＰＡＦ）１０３ｂの実施形態のブロック図を示し、この実施形態の欠点に対処するいくつかの実施形態を、図３ａ中に示した。図５ｂ中に示したＨＥＰＡＦユニット１０３ｂは、平均２乗誤差を最小化させ、モスキートノイズ低減に適切である、形状適応ウィンドウフィルタに基づいた、ノイズ低減ユニットである。ＨＥＰＡＦ１０３ｂにおいて、入力信号Ｙtmp１１３は、２Ｄローパスフィルタ３０１、平均計算ユニット３０３、減算器３０６、および、分散計算ユニット３０４に適用される。３×３ローパスフィルタ３０１は、以下のインパルス応答によって実現されることができる。

他のノイズ低減フィルタもまた使用してもよい。ローパス信号出力Ｙ３１１は、スライディング形状適応ウィンドウＳＡＷ３０２に対して提供される。ＳＡＷ３０２は、図２を参照して以前に記述したＳＡＷ６０３に類似して、ウィンドウ中のピクセルを、２組へと分類する。ＳＡＷ３０２は、ピクセル類似性を表す、第１の出力ω_ij３１２と、ウィンドウ中の類似ピクセルの数Ｎの反転値である、第２の出力３１３とを出力する。ＳＡＷ３０２からの出力の両方は、分散計算ユニット３０４および平均計算ユニット３０３に対して提供される。

平均計算ユニット３０３は、以下のような１組の類似強度ピクセル上で規定される、ローカル平均強度出力Ｙm３１４を提供する。

分散計算ユニット３０４は、１組の類似強度ピクセル上で規定され、信号分散値３１５を提供する。一般的に、信号分散は、以下のように規定できる。

平均および分散計算の、他の方法もまた使用してもよい。

図２に示した、信号分散３１５、ノイズ分散３１６、および、保護マップ２１３は、利得計算ユニット３０５に対して適用される。ノイズ分散３１６は、ユーザ入力によって規定でき、フィルタリングの強度に対する調整を提供する。ＳＡＷＦは、エッジ保存フィルタであるので、高周波保護に対する修正は、必要な場合、利得計算ユニット３０５中で、利得Ｋ３１７を１に等しく設定することからなる。より詳細には、利得の表現は以下のようになる。
保護マップ２１３＝１の場合、Ｋ＝１ （９）

ノイズ分散が、信号分散（ＳｉｇｎａｌＶａｒｉａｎｃｅ）を超えるべきでないので、Ｋは、０および１の間に制約される。したがって、ノイズ分散は、保護マップ２１３によって、‘１’以外に規定されたエリア中の‘ブレンド’係数Ｋを直接制御する。

図５ｂによって図示されるように、信号出力Ｙadp１１４は、関数ユニット３０６、３０７、３０８によって実行される、以下の数式によって与えられる。

このようであるので、ピクセルが、保護マップ２１３上にある場合、Ｋ３１７は１に等しく、Ｙadp＝Ｙtmpであり、信号Ｙtmp１１３は、フィルタされておらず、Ｙadp１１４として出力されることを意味する。そうでない場合、Ｙadpを生成するために、Ｙmは利得値Ｋにしたがって調整される。Ｙadpが、図１ｂに示されるような垂直強度適応ウィンドウフィルタリングユニット１０４に送られる。ＨＥＰＡＦ１０３ｂを図１ｂに示したが、いくつかの実施形態では、Ｙ（ｔ）が十分に低ノイズである場合、または、事前フィルタリングユニット１０１単体でノイズ低減に対して適切である場合、ＨＥＰＡＦ（１０３ａまたは１０３ｂ）は省略されてもよい。このようなケースにおいて、ＨＥＰＡＦ１０３は、潜時補償に対して適切な遅延を加えることにより通過されてもよく、遅延されたＹ（ｔ）１１１、または、Ｙtmp１１３は、Ｙadp１１４として、直接使用されてもよい。

図６は、垂直強度適応ウィンドウフィルタリング（ＶＩＡＷＦ）ユニット１０４の実施形態を示す。画像信号入力Ｙtmp１１３は、垂直強度適応ウィンドウ（ＶＩＡＷ）４０１および垂直平均計算（ＶＭＣ）ユニット４０２に適用される。ＶＩＡＷＦユニット１０４は、０に等しい利得Ｋを有するＳＡＷＦと、垂直１Ｄスライディングウィンドウとに基づいている。スライディングウィンドウの次元は、最適なシステム性能に対して選ばれ、次元は、例えば、５×１であってもよい。ピクセルは、それらが中央参照ピクセル強度に対して類似の強度を有しているか否かに依拠して、ＶＩＡＷ４０１によって、２つのグループへと分類される。ピクセルベースの分類しきい値は、以前に記述した画像セグメント化ユニット１０２および大きな動き検出ユニット１０６から提供される適応しきい値信号１１９である。しきい値が十分に高い場合、ウィンドウ中の類似ピクセルの数は、１より大きくてもよい。ＶＩＡＷ４０１は、同様のＳＡＷフィルタを記述する、数式（３）において提示したものに類似した、２つの出力４１０および４１１を提供する。出力４１０および４１１は、垂直平均計算ユニット４０２によって使用されて、垂直ローカル平均Ｙvm４１２を計算する。垂直ローカル平均Ｙvm４１２およびＨＦＥＰＡＦユニット１０３からの適応強度フィルタされたＹadp１１４は、補正強度（ＣＳ）１２２と結合され、さらに、ミキサー４０３を通してＢＯＭＣＳユニット１０７からの水平ブロック境界ロケーション信号１１７と結合され、垂直補正値Ｙvert１１５を提供し、以下の数式のようになる。

このようであるので、ＣＳが最大化されており、１に等しいとき、補正が最大化される（Ｙvert＝Ｙvm）。

ここで、図７を参照して、ＶＩＡＷＦ１０４からの垂直補正信号Ｙvert１１５が、水平強度適応ウィンドウフィルタリングＨＩＡＷＦユニット１０５に適用される。ＨＩＡＷＦ１０５は、水平強度適応ウィンドウ５０１および水平平均計算ユニット５０２を含む。ＨＩＡＷＦ５０１は、水平強度適応ウィンドウ５０１中で使用されるウィンドウ５０１が１Ｄ水平ウィンドウであることを除いては、図６を参照して記述したＶＩＡＷＦと同様に機能する。また、２つの垂直および水平フィルタリングシステムが直列に結合されることから、垂直に補正された画像信号Ｙvert１１５だけが、画像入力として供給される。Ｙhmは、平均計算ユニット５０２の水平平均信号出力５１２を表し、信号出力Ｙout１１６は、以下の表現により与えられる。

垂直および水平強度適応ウィンドウフィルタリングユニット１０４および１０５があるので、ブロック境界コーナーにおいて、垂直および水平に、補正が２回実行される。

水平強度適応ウィンドウフィルタリングユニット１０５は、Ｙout１１６を出力し、これは、Ｂａｒシステム１００のブロックアーティファクト補正された画像信号出力である。

Ｂａｒシステム１００は、ブロック境界補正の補正強度１２２をスケールする際に、時間的な情報を使用する。時間的な情報はまた、ＶＩＡＷＦ１０４およびＨＦＥＰＡＦ１０５それぞれにおいて、適応しきい値強度適応ウィンドウ４０１および５０２に適用される利得を調整するのにも利用されてもよい。通常は、空間的のみのＢＡＲシステムに、動き情報を使用することによって、ＢＡＲシステム１００は、ブロッキングアーティファクトの検出および補正に関して、時間的および空間的適応アルゴリズムの両方を利用して、画像シーケンスのブロックアーティファクトを低減させることができる。

上に記述した発明の実施形態は、例示的な目的だけのものである。実施形態のエレメントを記述したが、これらのエレメントは、ハードウェア、ソフトウェアを通して実現されてもよい。一般的に、本発明の実施形態は、画像処理可能な任意のデバイス上で実現できる。実施形態の説明中で、例示的な配列方向およびさまざまな値を示したが、本開示の精神から逸脱することなく、他の方向や値が利用できる。当業者は、特に開示した実施形態からのさまざまな代替の実施形態を認識してもよい。これらの代替の実施形態はまた、本開示の範囲内に収まることが意図される。したがって、本発明は、以下の特許請求の範囲のみによって制限される。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［１］ 画像シーケンス中で、ブロックアーティファクトを低減させる装置において、画像信号の第１のフレームおよび前記画像信号の第２のフレームから、動き信号を検出する動き検出ユニットと、前記第２のフレームおよび前記動き信号に基づく補正強度と、前記第２のフレームとに基づいて、ブロック境界ロケーションを決定する、ブロック境界オフセットおよび動きベースの補正決定（ＢＯＭＣＳ）ユニットと、前記ブロック境界ロケーションおよび前記補正強度に基づいて、前記第２のフレームをフィルタして、補正された画像信号を出力する強度フィルタとを具備する装置。
［２］ 前記ＢＯＭＣＳユニットは、前記第２のフレーム中で検出されたブロック境界の優勢さに基づいて、前記第２のフレームの圧縮のレベルを決定し、前記圧縮のレベルおよび前記動き信号に関係する補正値を変調することによって、前記補正強度を決定する、［１］に記載の装置。
［３］ 前記ＢＯＭＣＳユニットは、前記画像信号の複数のフレームを通しての補正強度履歴を記憶し、前記補正強度履歴に少なくとも部分的に基づいて、前記補正強度を決定する、［１］記載の装置。
［４］ 前記ＢＯＭＣＳユニットは、補正強度規則性履歴を記憶し、前記補正強度規則性履歴に少なくとも部分的に基づいて、前記補正強度を決定する、［３］記載の装置。
［５］ 前記強度フィルタは、前記第２のフレームを連続的にフィルタする、垂直強度適応ウィンドウフィルタおよび水平強度適応ウィンドウフィルタを含む、［１］記載の装置。
［６］ 前記画像信号の前記第１のフレームを使用して、適応しきい値信号を決定する画像強度セグメント化ユニットをさらに具備し、前記強度フィルタは、強度適応ウィンドウフィルタを備え、前記適応しきい値信号は、前記強度適応ウィンドウフィルタの適応しきい値として使用される、［１］記載の装置。
［７］ 前記動き検出ユニットは、ローカルの大きな動き選択信号を決定し、前記ローカルの大きな動き選択信号により選択されるピクセルに対する、前記適応しきい値信号に対して利得が適応される、［６］記載の装置。
［８］ 前記画像強度セグメント化ユニットは、適応しきい値信号値にそれぞれ対応している領域へと、前記第２のフレームをセグメント化する、［６］記載の装置。
［９］ 前記画像信号のオリジナルの第２のフレームのノイズを低減させる事前フィルタリングユニットをさらに具備する、［１］記載の装置。
［１０］ 前記画像信号をフィルタし、適応画像信号を前記強度フィルタに出力する、詳細保存適応フィルタをさらに具備し、前記強度フィルタは、前記ブロック境界によってブロック境界上に位置するとして示されない画像信号の領域に対して、前記適応画像信号を出力する、［１］記載の装置。
［１１］ 画像シーケンス中で、ブロックアーティファクトを低減させるための方法において、画像信号の第１のフレームおよび前記画像信号の第２のフレームから、動き信号を決定することと、前記第２のフレームから、ブロック境界ロケーションを決定することと、前記第２のフレームおよび前記動き信号から、補正強度を決定することと、前記ブロック境界ロケーションおよび前記補正強度にしたがって、前記第２のフレームをフィルタして、補正された画像信号を出力することと含む方法。
［１２］ 前記補正強度を決定することは、前記第２のフレーム中で検出されたブロック境界の優勢さに基づいて、前記第２のフレームの圧縮のレベルを決定することと、前記圧縮のレベルおよび前記動き信号に関係する補正値を変調して、前記補正強度を出力することとを含む、［１１］記載の方法。
［１３］ 前記画像信号の複数のフレームを通しての補正強度履歴を記憶させることをさらに含み、前記補正強度を決定することは、前記補正強度履歴に少なくとも部分的に基づいている、［１１］記載の方法。
［１４］ 補正強度規則性履歴を記憶することをさらに含み、前記補正強度を決定することは、前記補正強度規則性履歴に少なくとも部分的に基づいている、［１３］記載の方法。
［１５］ 前記第２のフレームをフィルタすることは、垂直強度適応ウィンドウフィルタを使用して、前記第２のフレームをフィルタして、垂直に補正された第２のフレームを出力することと、水平強度適応ウィンドウフィルタを使用して、前記第２のフレームをフィルタして、前記補正された画像を出力することとを含む、［１１］記載の方法。
［１６］ 前記第２のフレームを領域へとセグメント化することと、前記それぞれの領域に対して、適応しきい値信号値を割り当てして、適応しきい値信号を出力することとをさらに含み、前記強度フィルタは、強度適応ウィンドウフィルタを備え、前記適応しきい値信号は、前記強度適応ウィンドウフィルタの適応しきい値として使用される、［１１］記載の方法。
［１７］ 前記第１および第２のフレームから、ローカルの大きな動き選択信号を決定することと、前記ローカルの大きな動き選択信号により選択されるピクセルに対する、前記適応しきい値信号に対して利得を適用することとをさらに含む、［１１］記載の方法。
［１８］ オリジナルの画像信号をフィルタして、前記画像信号の第２のフレームを出力することをさらに含む、［１６］記載の方法。
［１９］ 保存適応フィルタを使用して、前記画像データをフィルタし、適応画像信号を前記強度フィルタに出力することをさらに含み、前記適応画像信号は、前記ブロック境界ロケーション信号によって、ブロック境界上にあるとして示されない画像信号の領域に対して、前記補正された画像信号として出力される、［１１］記載の方法。
［２０］ ブロックベースのコード画像中で、ブロッキングアーティファクトを低減させる装置において、画像信号の第１のフレームおよび前記画像信号の第２のフレームから、動き推定信号およびローカルの大きな動き選択信号を決定する動き検出ユニットと、前記第２のフレームおよび前記動き信号に基づく補正強度と、前記第２のフレームとに基づいて、垂直および水平ブロック境界ロケーションを決定する、ブロック境界オフセットおよび動きベースの補正決定（ＢＯＭＣＳ）ユニットと、前記第２のフレームを領域へとセグメント化し、前記領域のそれぞれに対して、しきい値を割り当てる適応しきい値信号を出力する、画像強度セグメント化ユニットと、前記適応しきい値信号および前記補正強度にしたがって、前記ブロック境界ロケーションによって示されるピクセルを連続的にフィルタする、垂直強度適応ウィンドウフィルタおよび水平強度適応ウィンドウフィルタとを具備する装置。

Claims (18)

1. 画像シーケンス中で、ブロックアーティファクトを低減させる装置において、
   画像信号の第１のフレームおよび前記画像信号の第２のフレームから、動き信号を検出する動き検出ユニットと、
   前記第２のフレームおよび前記動き信号に基づく補正強度と、前記第２のフレームとに基づいて、ブロック境界ロケーションを決定する、ブロック境界オフセットおよび動きベースの補正決定（ＢＯＭＣＳ）ユニットと、
   前記ブロック境界ロケーションおよび前記補正強度に基づいて、前記第２のフレームをフィルタして、補正された画像信号を出力する強度フィルタと
   を具備し、
   前記ＢＯＭＣＳユニットは、
   ライン検出結果の使用により前記第２のフレーム中で検出されたブロック境界の優勢さの値と、１組の予め定められた値との比較結果に基づいて、前記第２のフレームの圧縮のレベルを決定し、
   前記動き信号に従って前記圧縮のレベルをスケーリングすることにより、前記補正強度を決定する装置。
2. 前記ＢＯＭＣＳユニットは、前記画像信号の複数のフレームを通しての補正強度履歴を記憶し、前記補正強度履歴に少なくとも部分的に基づいて、前記補正強度を決定する、請求項１記載の装置。
3. 前記ＢＯＭＣＳユニットは、補正強度規則性履歴を記憶し、前記補正強度規則性履歴に少なくとも部分的に基づいて、前記補正強度を決定する、請求項２記載の装置。
4. 前記強度フィルタは、前記第２のフレームを連続的にフィルタする、垂直強度適応ウィンドウフィルタおよび水平強度適応ウィンドウフィルタを含む、請求項１記載の装置。
5. 前記画像信号の前記第１のフレームを使用して、適応しきい値信号を決定する画像強度セグメント化ユニットをさらに具備し、
   前記強度フィルタは、強度適応ウィンドウフィルタを備え、前記適応しきい値信号は、前記強度適応ウィンドウフィルタの適応しきい値として使用される、請求項１記載の装置。
6. 前記動き検出ユニットは、ローカルの大きな動き選択信号を決定し、前記ローカルの大きな動き選択信号により選択されるピクセルに対する、前記適応しきい値信号に対して利得が適応される、請求項５記載の装置。
7. 前記画像強度セグメント化ユニットは、適応しきい値信号値にそれぞれ対応している領域へと、前記第２のフレームをセグメント化する、請求項５記載の装置。
8. 前記画像信号のオリジナルの第２のフレームのノイズを低減させる事前フィルタリングユニットをさらに具備する、請求項１記載の装置。
9. 前記画像信号をフィルタし、適応画像信号を前記強度フィルタに出力する、詳細保存適応フィルタをさらに具備し、
   前記強度フィルタは、前記ブロック境界ロケーションによってブロック境界上に位置するとして示されない画像信号の領域に対して、前記適応画像信号を出力する、請求項１記載の装置。
10. 画像シーケンス中で、ブロックアーティファクトを低減させるための方法において、
    画像信号の第１のフレームおよび前記画像信号の第２のフレームから、動き信号を決定することと、
    前記第２のフレームから、ブロック境界ロケーションを決定することと、
    前記第２のフレームおよび前記動き信号から、補正強度を決定することと、
    前記ブロック境界ロケーションおよび前記補正強度にしたがって、強度フィルタを使用して前記第２のフレームをフィルタして、補正された画像信号を出力することを含み、
    前記補正強度を決定することは、
    ライン検出結果の使用により前記第２のフレーム中で検出されたブロック境界の優勢さの値と、１組の予め定められた値との比較結果に基づいて、前記第２のフレームの圧縮のレベルを決定し、
    前記動き信号に従って前記圧縮のレベルをスケーリングすることにより、前記補正強度を決定する方法。
11. 前記画像信号の複数のフレームを通しての補正強度履歴を記憶させることをさらに含み、
    前記補正強度を決定することは、前記補正強度履歴に少なくとも部分的に基づいている、請求項１０記載の方法。
12. 補正強度規則性履歴を記憶することをさらに含み、
    前記補正強度を決定することは、前記補正強度規則性履歴に少なくとも部分的に基づいている、請求項１１記載の方法。
13. 前記第２のフレームをフィルタすることは、
    垂直強度適応ウィンドウフィルタを使用して、前記第２のフレームをフィルタして、垂直に補正された第２のフレームを出力することと、
    水平強度適応ウィンドウフィルタを使用して、前記第２のフレームをフィルタして、前記補正された画像信号を出力することと
    を含む、請求項１０記載の方法。
14. 前記第２のフレームを領域へとセグメント化することと、
    前記それぞれの領域に対して、適応しきい値信号値を割り当てして、適応しきい値信号を出力することと
    をさらに含み、
    前記強度フィルタは、強度適応ウィンドウフィルタを備え、前記適応しきい値信号は、前記強度適応ウィンドウフィルタの適応しきい値として使用される、請求項１０記載の方法。
15. 前記第１および第２のフレームから、ローカルの大きな動き選択信号を決定することと、
    前記ローカルの大きな動き選択信号により選択されるピクセルに対する、前記適応しきい値信号に対して利得を適用することと
    をさらに含む、請求項１４記載の方法。
16. オリジナルの画像信号をフィルタして、前記画像信号の第２のフレームを出力することをさらに含む、請求項１４記載の方法。
17. 保存適応フィルタを使用して、前記画像信号をフィルタし、適応画像信号を前記強度フィルタに出力することをさらに含み、
    前記適応画像信号は、前記ブロック境界ロケーションによって、ブロック境界上にあるとして示されない画像信号の領域に対して、前記補正された画像信号として出力される、請求項１０記載の方法。
18. ブロックベースのコード画像中で、ブロッキングアーティファクトを低減させる装置において、
    画像信号の第１のフレームおよび前記画像信号の第２のフレームから、動き推定信号およびローカルの大きな動き選択信号を決定する動き検出ユニットと、
    前記第２のフレームおよび前記動き信号に基づく補正強度と、前記第２のフレームとに基づいて、垂直および水平ブロック境界ロケーションを決定する、ブロック境界オフセットおよび動きベースの補正決定（ＢＯＭＣＳ）ユニットと、
    前記第２のフレームを領域へとセグメント化し、前記領域のそれぞれに対して、しきい値を割り当てる適応しきい値信号を出力する、画像強度セグメント化ユニットと、
    前記適応しきい値信号および前記補正強度にしたがって、前記ブロック境界ロケーションによって示されるピクセルを連続的にフィルタする、垂直強度適応ウィンドウフィルタおよび水平強度適応ウィンドウフィルタとを具備し、
    前記ＢＯＭＣＳユニットは、
    ライン検出結果の使用により前記第２のフレーム中で検出されたブロック境界の優勢さの値と、１組の予め定められた値との比較結果に基づいて、前記第２のフレームの圧縮のレベルを決定し、
    前記動き信号に従って前記圧縮のレベルをスケーリングすることにより、前記補正強度を決定する装置。

Images