JP7256902B2 - ビデオノイズ除去方法、装置及びコンピュータ読み取り可能な記憶媒体 - Google Patents

Description

関連出願の相互参照

本願は、２０１９年７月２９日に中国特許局に提出された中国特許出願２０１９１０６９１４１３．１に基づく優先権を主張し、その開示全体は援用により本願に組み込まれるものとする。

本願は、ビデオ処理の技術分野に関し、例えば、ビデオノイズ除去方法（ｖｉｄｅｏ ｄｅｎｏｉｓｉｎｇ ｍｅｔｈｏｄ）、装置及びコンピュータ読み取り可能な記憶媒体に関する。

画像のノイズ除去は、常に画像処理分野において非常に重要な一方向であり、携帯電話による撮影の流れに伴い、撮影技術には既に天地がひっくり返るような変化が発生し、最初の専門のデジタル一眼レフカメラから、スマートフォン上のより簡易な自動カメラになっている。絞り及びセンサのサイズの制限により、スマートフォンが一眼レフカメラよりも多くのノイズが発生し、受信した画像やビデオが元の画像やビデオに比べて分解能が低下し、視覚的な効果のみならず、動態対象の取得や認識が必要な画像やビデオについては、取得や認識作業の正確性にも影響するため、より良好なノイズリダクションアルゴリズム（ノイズ除去アルゴリズム）を使用して画質の向上を図る必要がある。適応型ノイズ除去アルゴリズムは、いずれもノイズ強度の推定を行い、その後、動的にノイズ除去に関するパラメータを調整することで、ノイズの残留がなく画像の細部をできるだけ残すという効果を奏するが、現在のフレーム画像のノイズ強度に対する推定精度が低いという問題があった。

ノイズ推定アルゴリズムには、主に以下の２種類がある。

１種目は、現画像フレームに対してノイズ強度推定を行うことである。
そのステップは、下記の通りである。
１）推定待ち画像またはビデオフレーム画像を、サイズが一致するサブ画像ブロックに分割する。
２）得られたサブ画像ブロックのそれぞれを分散計算し、サブ画像ブロック毎の分散値を得る。
３）サブ画像ブロック毎の分散値から、一定割合の小さい分散を選んでノイズ強度推定を行い、さらに現画像フレームのノイズ強度を得る。
このようなアルゴリズムは、細部が豊富な画像では、誤差が比較的大きく、細部をノイズとして扱いやすい。

２種目は、現フレームと前フレームに対してノイズ強度推定を行うことである。
そのステップは、下記の通りである。
１）推定待ちビデオの現フレーム画像と前フレーム画像とを、サイズが一致する１対１に対応するサブ画像ブロックに分割する。
２）得られた１対１に対応するサブ画像ブロックのそれぞれを差分計算し、サブ画像ブロック毎の分散値を得る。
３）サブ画像ブロック毎の分散値から、一定割合の小さい分散を選んでノイズ強度推定を行い、さらに現画像フレームのノイズ強度を得る。
このようなアルゴリズムは、ビデオの前後フレーム輝度が変化したり、前後フレームが大規模に動いたりする際に、誤判定が生じやすい。

画像フレームに対するノイズ強度の推定にばらつきがあると、不合理なノイズ除去パラメータにより、１フレームが明るく、１フレームがぼけてしまったり、１フレームにノイズが残留し、１フレームにノイズが残留しないフリッカ現象が画像に現れてしまう。

ビデオノイズ除去効果に優れたアルゴリズムは、例えば、ビデオブロックマッチングや３次元フィルタリング（Ｖｉｄｅｏ Ｂｌｏｃｋ－Ｍａｔｃｈｉｎｇ ａｎｄ ３Ｄ ｆｉｌｔｅｒｉｎｇ、 ＶＢＭ３Ｄ）、ビデオブロックマッチングや４次元フィルタリング（Ｖｉｄｅｏ Ｂｌｏｃｋ－Ｍａｔｃｈｉｎｇ ａｎｄ ４Ｄ ｆｉｌｔｅｒｉｎｇ、 ＶＢＭ４Ｄ）などのように、時間複雑度が比較的高く、ハードウェア資源代価が比較的高い。また、ノイズ除去アルゴリズムの多くはノイズに対する輝度の影響を考慮せず、１フレーム内の全画素点について統一的なノイズ除去強度を採用しており、このような処理はガウスノイズの特性に適合しない。

本発明の実施形態は、ノイズ強度推定の精度を向上させることができるビデオノイズ除去方法および装置、コンピュータ読み取り可能な記憶媒体を提供する。

本発明の実施形態は、入力ビデオフレームシーケンスにおける各ビデオフレームをサブ画像ブロック分割し、各サブ画像ブロックのブロック分散を算出することと、算出されたブロック分散から現在ビデオフレームにおける全てのサブ画像ブロックの平均分散を計算し、算出された平均分散に基づいて現在ビデオフレームのノイズ強度を決定し、前記ノイズ強度に合わせたフィルタリング強度及びノイズ特性曲線を選択することと、前記フィルタリング強度およびノイズ特性曲線に基づいて、現在ビデオフレームをフィルタリングすることと、を含むビデオノイズ除去方法を提供する。

本発明の実施形態は、上記ビデオノイズ除去方法を実現するように、一つまたは複数のプロセッサにより実行可能な一つまたは複数のプログラムを記憶したコンピュータ読み取り可能な記憶媒体をさらに提供する。

本発明の実施形態は、プロセッサ及びメモリを備え、前記プロセッサ及びメモリが電気的結合により接続され、前記プロセッサが、メモリに記憶されたプログラムを実行して、上記ビデオノイズ除去方法を実現するように設置されるビデオノイズ除去装置をさらに提供する。

本発明の実施形態は、ノイズ統計モジュールと、ノイズ推定モジュールと、ビデオノイズ除去モジュールとを備え、ノイズ統計モジュールが、入力ビデオフレームシーケンスにおける各ビデオフレームをサブ画像ブロック分割し、各サブ画像ブロックのブロック分散を算出するように設置され、ノイズ推定モジュールが、算出されたブロック分散から現在ビデオフレームにおける全てのサブ画像ブロックの平均分散を計算し、算出された平均分散に基づいて現在ビデオフレームのノイズ強度を決定し、前記ノイズ強度に合わせたフィルタリング強度及びノイズ特性曲線を選択するように設置され、ビデオノイズ除去モジュールが、前記フィルタリング強度およびノイズ特性曲線に基づいて、現在ビデオフレームをフィルタリングするように設置されている、ビデオノイズ除去装置をさらに提供する。

図１は、本発明の実施形態に係るビデオノイズ除去方法の流れの一例を示す図である。 図２は、本発明の実施形態に係る先入れ先出しキューによるノイズ強度の平滑化の原理を示す模式図である。 図３は、本発明の実施形態に係るビデオノイズ除去過程の流れの一例を示す図である。 図４は、本発明の実施形態に係る空間ノイズ除去過程の流れの一例を示す図である。 図５は、本発明の実施形態に係る動き補償による動きベクトルの算出原理図である。 図６は、本発明の実施形態に係る動き強度とブレンド係数のマッピング関係図である。 図７は、本発明の実施形態に係るビデオノイズ除去装置の構成例を示す図である。

以下、図面を参照して本発明の実施形態を説明する。図面のフローチャートに示すステップは、例えば、１組のコンピュータが命令を実行可能なコンピュータシステムにおいて実行されてもよい。また、フローチャートには論理的な順序が示されているが、場合によっては、ここで示したステップや記述するステップは、これとは異なる順序で実行されてもよい。

図１に示すように、本発明の実施形態により提供されるビデオノイズ除去方法は、以下のステップを含む。

ステップ１０１：入力ビデオフレームシーケンスにおける各ビデオフレームをサブ画像ブロック分割し、各サブ画像ブロックのブロック分散を算出する。

一種の例示的な実施形態において、各サブ画像ブロックのブロック分散を算出することは、前記各サブ画像ブロックの空間分散を算出することと、現在ビデオフレームにおける前記サブ画像ブロックと前記現在ビデオフレームの一つ前のビデオフレームにおける対応する位置のサブ画像ブロックとの時間領域分散を算出することと、前記サブ画像ブロックのブロック分散として、空間分散と時間領域分散のうち小さい方の値を選択することと、を含む。

この実施形態では、ノイズ付きビデオフレームｆ＿ｉｎ（ｎ）と一つ前のビデオフレームｆ＿ｉｎ（ｎ－１）を入力し、ｆ＿ｉｎ（ｎ）とｆ＿ｉｎ（ｎ－１）を、第１プリセット値に従って同じ大きさのサブ画像ブロックに分割し、ｆ＿ｉｎ（ｎ）の各サブ画像ブロックについてそれらの空間分散δｓを算出し、ｆ＿ｉｎ（ｎ）の各サブ画像ブロックの画素値から、ｆ＿ｉｎ（ｎ－１）中の対応する位置のサブ画像ブロックの画素値を減算して、ｆ＿ｉｎ（ｎ）の各サブ画像ブロックの時間領域分散δｔを得、ｆ＿ｉｎ（ｎ）における各サブ画像ブロックの最後の分散が、当該サブ画像ブロックの空間分散δｓと時間領域分散δｔとのうち小さい方の値である。

ステップ１０２：算出されたブロック分散から現在ビデオフレームにおける全てのサブ画像ブロックの平均分散を計算し、算出された平均分散に基づいて現在ビデオフレームのノイズ強度を決定し、前記ノイズ強度に合わせたフィルタリング強度及びノイズ特性曲線を選択する。

一種の例示的な実施形態において、算出されたブロック分散から現在ビデオフレームにおける全てのサブ画像ブロックの平均分散を計算することは、現在ビデオフレームにおける全てのサブ画像ブロックのブロック分散を小さい方から大きい方にソートする（並び替える）ことと、ソートした後のｎ個前（ｎは１より大きい自然数）のサブ画像ブロックのブロック分散を累積し、累積したブロック分散とｎとの比値を現在ビデオフレームにおける全てのサブ画像ブロックの平均分散とすることと、を含む。

この実施形態では、前記ｎ個前のサブ画像ブロックは、現在ビデオフレームにおける全てのサブ画像ブロックのうち、Ｎ％前のサブ画像ブロックであってもよい。例えば、並び替え後のサブ画像ブロックのうち、１０％前のサブ画像ブロックとしてもよい。

一種の例示的な実施形態において、前記の算出された平均分散に基づいて現在ビデオフレームのノイズ強度を決定することは、算出された平均分散が予め設定した分散値よりも小さい場合、前記現在ビデオフレームのノイズ強度を０として記録することと、算出された平均分散が予め設定した分散値以上の場合、算出された平均分散を現在ビデオフレームのノイズ強度とすることと、を含む。

一種の例示的な実施形態において、前記の前記ノイズ強度に合わせたフィルタリング強度及びノイズ特性曲線を選択する前に、前記方法はさらに、現在ビデオフレームとその前のｍフレームのビデオフレームのノイズ強度の平均値（ｍは１より大きい自然数）を算出することと、算出されたノイズ強度の平均値を、現在ビデオフレームが平滑化されたノイズ強度とすることと、を含む。

一種の例示的な実施形態において、前記フィルタリング強度は、空間フィルタリング強度および時間フィルタリング強度を含む。

この実施例では、ｆ＿ｉｎ（ｎ）の各サブ画像ブロックの分散値を得た後、複数のサブ画像ブロックを分散値の小さい方から大きい方にソートして、第２プリセット値のサブ画像ブロックの分散を累積し、累積した分散と第２プリセット値の大きさに基づいて全てのサブ画像ブロックの平均分散を算出し、全てのサブ画像ブロックの平均分散が第３プリセット値よりも小さい場合に、０をＦＩＦＯに書き込み、そうでない場合には、サブ画像ブロックの平均分散を先入れ先出し（Ｆｉｒｓｔ Ｉｎｐｕｔ Ｆｉｒｓｔ Ｏｕｔｐｕｔ、ＦＩＦＯ）キューに書き込む。図２に示すように、ＦＩＦＯの深さは、１６であってもよく、すなわち、直近の１６フレームのノイズ強度データを記憶する。ＦＩＦＯにおける全てのデータを加算平均して（Ａｖｅｒａｇｅ ｖａｌｕｅ）、現在ビデオフレームの平滑化後のノイズ強度（ｎｏｉｓｅ ｌｅｖｅｌ）を得た後、ノイズ強度の大きさに応じて、ノイズ強度に合わせた空間フィルタリング強度（Ｓｐａｔｉａｌ ｄｅｎｏｉｓｅ ｓｔｒｅｎｇｔｈ）、時間フィルタリング強度（ｔｅｍｐｏｒａｌ ｄｅｎｏｉｓｅ ｓｔｒｅｎｇｔｈ）、及び対応するノイズ特性曲線（ｎｏｉｓｅ ｃｕｒｖｅ）を選択する。

ステップ１０３：前記フィルタリング強度およびノイズ特性曲線に基づいて、現在ビデオフレームをフィルタリングする。

一種の例示的な実施形態において、前記ステップ１０３は、空間フィルタリング強度及びノイズ特性曲線に基づいて、現在ビデオフレームに対して空間フィルタリングを行うことと、前記現在ビデオフレーム及び前記現在ビデオフレームの一つ前のビデオフレームから、当該現在ビデオフレームの各サブ画像ブロックの動き強度及び動きベクトルを推定することと、推定された動き強度から現在ビデオフレーム中の各画素ドットの重みを得て、推定された動きベクトルから一つ前のビデオフレームにおいて時間フィルタリングに関与する画素ドットの位置を得て、空間フィルタリングされた現在ビデオフレーム中の画素ドットと前記画素ドットに対応する動きベクトルが指向する一つ前のビデオフレーム中の画素ドットとを加重平均フィルタリングし、フィルタリングされた画素ドットを得ることと、を含む。

一種の例示的な実施形態において、前記空間フィルタリングのアルゴリズムは、ＢＭ３Ｄノイズ除去アルゴリズムであり、ＢＭ３Ｄノイズ除去アルゴリズムのウィーナーフィルタ操作では、画素ドットの輝度値およびノイズ特性曲線に応じて、ウィーナー係数に対して該当する割合のスケーリング動作を行う。

この実施形態では、図３に示すように、前記ステップ１０３は、５つの相関動作を含み、即ち、空間ノイズ除去（Ｓｐａｔｉａｌ ｄｅｎｏｉｓｅ）、動き推定（Ｍｏｔｉｏｎ ｅｓｔｉｍａｔｅ）、動き検出（Ｍｏｉｔｉｏｎ ｄｅｔｅｃｔｏｒ）、ブレンド係数マッピング（ｍｏｔｉｏｎ２α）、およびブレンド（ｂｌｅｎｄｉｎｇ）であり、現在フィルタリング待ちビデオフレームｆ＿ｉｎ（ｎ）、フィルタリング後の一つ前のビデオフレームｆ＿ｏｕｔ（ｎ－１）、およびステップ１０２で出力された空間フィルタリング強度係数、時間フィルタリング強度係数、ノイズ特性曲線およびノイズ強度を入力する。

空間ノイズ除去動作：図４に示すように、本願の空間ノイズ除去動作は、ＢＭ３Ｄのノイズ除去アルゴリズムを採用してもよいが、本願は、そのアルゴリズムがビデオキャプチャ側で取り込んだノイズの特性により適合するように改良を加え、ウィーナーフィルタ（Ｗｉｅｎｅｒ ｆｉｌｔｅｒ）操作において、画素ドットの輝度値およびノイズ特性曲線に応じて、ウィーナー係数に対して一定割合のスケーリング操作を行う。本願の空間ノイズ除去動作は、必ずしもＢＭ３Ｄアルゴリズムである必要はなく、ガイドフィルタやダブルエッジフィルタなどのフィルタアルゴリズムも可能であるが、ＢＭ３Ｄアルゴリズムよりも処理効果が若干劣る。

動き推定動作：現在フィルタリング待ちビデオフレームｆ＿ｉｎ（ｎ）を、プリセット値に従ってブロック分割して、現在ビデオフレームの画像を一つ一つのサブ画像ブロックに分割し、サブ画像ブロックが重なっていてもよく、その後、サブ画像ブロック毎に、フィルタリング後の一つ前のビデオフレームｆ＿ｏｕｔ（ｎ－１）における、対応位置が中心である一定探索範囲内の全てのサブ画像ブロックに対して、最小平均二乗誤差（Ｍｉｎｉｍｕｍ Ｓｑｕａｒｅｄ Ｅｒｒｏｒ、 ＭＳＥ）動作を行い、求めた最小のＭＳＥ値に対応するサブ画像ブロックを、現在ビデオフレームにおける現在サブ画像ブロックに対応する最適マッチングブロックとし、動きベクトルを、前フレーム画像における最適マッチングブロックの座標から現在サブ画像ブロックの座標値を減算するように設定する。

動き検出動作：上記動き推定動作では、現在フィルタリング待ちビデオフレームにおける各サブ画像ブロックが、一つ前のビデオフレームにおいてそれに合わせた最適マッチングブロックを１つ有し、各サブ画像ブロックとそれに対応する最適マッチングブロックに対して、差分絶対値の総和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ ＳＡＤ）処理を行う。

各サブ画像ブロックのＳＡＤ値をその動き強度値とし、ここで、（ｉ，ｊ）がフィルタリング待ち画素ドットの２次元座標であり、０≦ｉ≦Ｍ、０≦ｊ≦Ｎである。

ブレンド係数マッピング動作：上記動き検出動作で求めた動き強度値に基づいて、図６に示すようにマッピングすると、ブレンド係数αが得られ、図６において横座標が動き強度値、縦座標がブレンド係数値である。ここで、ベースモーション（Ｂａｓｅ＿ｍｏｔｉｏｎ）、ブレンドスロープ（ｂｌｅｎｄ＿ｓｌｏｐｅ）、トップモーション（Ｔｏｐ＿ｍｏｔｉｏｎ）は、３つのプリセット値であり、この３つのプリセット値により、対応するマッピング関係を決定することができる。この３つのプリセット値は、線分の傾きが負の値、すなわち、動きが強いほど、ブレンド係数が小さくなることを確保しなければならなく、そうでないと、動きボケ、ひいてはゴーストが発生してしまう。

ブレンド動作：ブレンド係数マッピング動作で得られたブレンド係数α、動き推定動作で得られた動きベクトル、および空間ノイズ除去動作で得られた空間フィルタリング後の画像に基づいて、加重平均により最後の出力画像を得ることができ、計算式は以下の通りである。

（ｉ、ｊ）は、フィルタリング待ち画素ドットの２次元座標であり、（ｍｖｉ、ｍｖｊ）は、フィルタリング待ち画素ドットの動きベクトルであり、ｎは、ビデオフレームシーケンスにおける第ｎフレームのビデオフレームであり、ｆ＿ｉｎ＿ｓｐａ（ｎ,ｉ,ｊ）は、空間フィルタリング後の第ｎフレームのビデオフレームのフィルタリング待ち画素ドットであり、ｆ＿ｏｕｔ（ｎ－１,ｉ＋ｍｖｉ,ｊ＋ｍｖｊ）は、フィルタリング後の第ｎ－１フレームのビデオフレームの画素ドットである。

関連技術に比べて、本発明の実施形態により提供されるビデオノイズ除去方法は、入力ビデオフレームシーケンスにおける各ビデオフレームをサブ画像ブロック分割し、各サブ画像ブロックのブロック分散を算出することと、算出されたブロック分散から現在ビデオフレームにおける全てのサブ画像ブロックの平均分散を計算し、算出された平均分散に基づいて現在ビデオフレームのノイズ強度を決定し、前記ノイズ強度に合わせたフィルタリング強度及びノイズ特性曲線を選択することと、を含み、前記フィルタリング強度およびノイズ特性曲線に基づいて、現在ビデオフレームをフィルタリングすることは、ノイズ強度推定の精度を効果的に高め、推定されたノイズ強度に応じて、合わせたフィルタリング強度およびノイズ特性曲線を選択することで、ノイズを効果的に除去できるとともに、ノイズ除去強度が大きすぎるために画像細部が失われてしまう問題を防止し、全体のノイズ除去効果に優れた性能を達成することができる。

本発明の実施形態は、コンピュータ読み取り可能な記憶媒体をさらに提供し、前記コンピュータ読み取り可能な記憶媒体は、一つ又は複数のプログラムを記憶しており、前記一つ又は複数のプログラムは、以下の動作を実現するように、一つ又は複数のプロセッサによって実行することができる。即ち、入力ビデオフレームシーケンスにおける各ビデオフレームをサブ画像ブロック分割し、各サブ画像ブロックのブロック分散を算出することと、算出されたブロック分散から現在ビデオフレームにおける全てのサブ画像ブロックの平均分散を計算し、算出された平均分散に基づいて現在ビデオフレームのノイズ強度を決定し、前記ノイズ強度に合わせたフィルタリング強度及びノイズ特性曲線を選択することと、前記フィルタリング強度およびノイズ特性曲線に基づいて、現在ビデオフレームをフィルタリングすることである。

一種の例示的な実施形態において、前記の各サブ画像ブロックのブロック分散を算出することは、各サブ画像ブロックの空間分散を算出することと、前記現在ビデオフレームにおける前記サブ画像ブロックと前記現在ビデオフレームの一つ前のビデオフレームにおける対応する位置のサブ画像ブロックとの間の時間領域分散を算出することと、前記サブ画像ブロックのブロック分散として、空間分散と時間領域分散のうち小さい方の値を選択することと、を含む。

一種の例示的な実施形態において、前記の算出されたブロック分散から現在ビデオフレームにおける全てのサブ画像ブロックの平均分散を計算することは、前記現在ビデオフレームにおける全てのサブ画像ブロックのブロック分散を小さい方から大きい方にソートする（並び替える）ことと、ソートした後のｎ個前（ｎは１より大きい自然数）のサブ画像ブロックのブロック分散を累積し、前記累積したブロック分散とｎとの比値を前記現在ビデオフレームにおける全てのサブ画像ブロックの平均分散とすることと、を含む。

一種の例示的な実施形態において、前記の算出された平均分散に基づいて現在ビデオフレームのノイズ強度を決定することは、前記算出された平均分散が予め設定した分散値よりも小さい場合、前記現在ビデオフレームのノイズ強度を０として記録することと、前記算出された平均分散が予め設定した分散値以上の場合、算出された平均分散を前記現在ビデオフレームのノイズ強度とすることと、を含む。

一種の例示的な実施形態において、前記の前記ノイズ強度に合わせたフィルタリング強度及びノイズ特性曲線を選択する前に、前記動作はさらに、前記現在ビデオフレームとその前のｍフレームのビデオフレームのノイズ強度の平均値（ｍは１より大きい自然数）を算出することと、算出されたノイズ強度の平均値を、前記現在ビデオフレームが平滑化されたノイズ強度とすることと、を含む。

一種の例示的な実施形態において、前記フィルタリング強度は、空間フィルタリング強度および時間フィルタリング強度を含む。

前記の前記フィルタリング強度およびノイズ特性曲線に基づいて、現在ビデオフレームをフィルタリングすることは、空間フィルタリング強度及び前記ノイズ特性曲線に基づいて、前記現在ビデオフレームに対して空間フィルタリングを行うことと、前記現在ビデオフレーム及び前記現在ビデオフレームの一つ前のビデオフレームから、現在ビデオフレームの各サブ画像ブロックの動き強度及び動きベクトルを推定することと、推定された動き強度から現在ビデオフレーム中の各画素ドットの重みを得て、推定された動きベクトルから一つ前のビデオフレームにおいて時間フィルタリングに関与する画素ドットの位置を得て、空間フィルタリングされた現在ビデオフレーム中の画素ドットと前記画素ドットに対応する動きベクトルが指向する一つ前のビデオフレーム中の画素ドットとを加重平均フィルタリングし、フィルタリングされた画素ドットを得ることと、を含む。

一種の例示的な実施形態において、前記空間フィルタリングのアルゴリズムは、ブロックマッチングおよび３次元フィルタリングＢＭ３Ｄノイズ除去アルゴリズムであり、且つ、ＢＭ３Ｄノイズ除去アルゴリズムのウィーナーフィルタ操作では、画素ドットの輝度値およびノイズ特性曲線に応じて、ウィーナー係数に対して該当する割合のスケーリング動作を行う。

本発明の実施形態は、ビデオノイズ除去装置をさらに提供し、プロセッサ及びメモリを備え、前記プロセッサが、メモリに記憶されたプログラムを実行して、以下の動作を実現するために用いられる。すなわち、入力ビデオフレームシーケンスにおける各ビデオフレームをサブ画像ブロック分割し、各サブ画像ブロックのブロック分散を算出することと、算出されたブロック分散から現在ビデオフレームにおける全てのサブ画像ブロックの平均分散を計算し、算出された平均分散に基づいて現在ビデオフレームのノイズ強度を決定し、前記ノイズ強度に合わせたフィルタリング強度及びノイズ特性曲線を選択することと、前記フィルタリング強度およびノイズ特性曲線に基づいて、現在ビデオフレームをフィルタリングすることである。

一種の例示的な実施形態において、前記の各サブ画像ブロックのブロック分散を算出することは、前記各サブ画像ブロックの空間分散を算出することと、前記現在ビデオフレームにおける前記サブ画像ブロックと前記現在ビデオフレームの一つ前のビデオフレームにおける対応する位置のサブ画像ブロックとの間の時間領域分散を算出することと、前記サブ画像ブロックのブロック分散として、空間分散と時間領域分散のうち小さい方の値を選択することと、を含む。

一種の例示的な実施形態において、前記の算出されたブロック分散から現在ビデオフレームにおける全てのサブ画像ブロックの平均分散を計算することは、前記現在ビデオフレームにおける全てのサブ画像ブロックのブロック分散を小さい方から大きい方にソートする（並び替える）ことと、ソートした後のｎ個前（ｎは１より大きい自然数）のサブ画像ブロックのブロック分散を累積し、前記累積したブロック分散とｎとの比値を前記現在ビデオフレームにおける全てのサブ画像ブロックの平均分散とすることと、を含む。

一種の例示的な実施形態において、前記の算出された平均分散に基づいて現在ビデオフレームのノイズ強度を決定することは、前記算出された平均分散が予め設定した分散値よりも小さい場合、前記現在ビデオフレームのノイズ強度を０として記録することと、前記算出された平均分散が予め設定した分散値以上の場合、算出された平均分散を前記現在ビデオフレームのノイズ強度とすることと、を含む。

一種の例示的な実施形態において、前記の前記ノイズ強度に合わせたフィルタリング強度及びノイズ特性曲線を選択する前に、前記動作はさらに、前記現在ビデオフレームとその前のｍフレームのビデオフレームのノイズ強度の平均値（ｍは１より大きい自然数）を算出することと、算出されたノイズ強度の平均値を、前記現在ビデオフレームが平滑化されたノイズ強度とすることと、を含む。

一種の例示的な実施形態において、前記フィルタリング強度は、空間フィルタリング強度および時間フィルタリング強度を含む。

前記の前記フィルタリング強度およびノイズ特性曲線に基づいて、前記現在ビデオフレームをフィルタリングすることは、空間フィルタリング強度及び前記ノイズ特性曲線に基づいて、前記現在ビデオフレームに対して空間フィルタリングを行うことと、前記現在ビデオフレーム及び前記現在ビデオフレームの一つ前のビデオフレームから、現在ビデオフレームの各サブ画像ブロックの動き強度及び動きベクトルを推定することと、推定された動き強度から現在ビデオフレーム中の各画素ドットの重みを得て、推定された動きベクトルから一つ前のビデオフレームにおいて時間フィルタリングに関与する画素ドットの位置を得て、空間フィルタリングされた現在ビデオフレーム中の画素ドットと前記画素ドットに対応する動きベクトルが指向する一つ前のビデオフレーム中の画素ドットとを加重平均フィルタリングし、フィルタリングされた画素ドットを得ることと、を含む。

一種の例示的な実施形態において、前記空間フィルタリングのアルゴリズムは、ブロックマッチングおよび３次元フィルタリングＢＭ３Ｄノイズ除去アルゴリズムであり、且つ、ＢＭ３Ｄノイズ除去アルゴリズムのウィーナーフィルタ操作では、画素ドットの輝度値およびノイズ特性曲線に応じて、ウィーナー係数に対して該当する割合のスケーリング動作を行う。

図７に示すように、本発明の実施形態はビデオノイズ除去装置をさらに提供し、ノイズ統計モジュール７０１と、ノイズ推定モジュール７０２と、ビデオノイズ除去モジュール７０３と、を備えており、そのうち、ノイズ統計モジュール７０１は、入力ビデオフレームシーケンスにおける各ビデオフレームをサブ画像ブロック分割し、各サブ画像ブロックのブロック分散を算出し、算出されたサブ画像ブロックのブロック分散をノイズ推定モジュール７０２に出力するように設置され、ノイズ推定モジュール７０２は、算出されたブロック分散から現在ビデオフレームにおける全てのサブ画像ブロックの平均分散を計算し、算出された平均分散に基づいて現在ビデオフレームのノイズ強度を決定し、前記ノイズ強度に合わせたフィルタリング強度及びノイズ特性曲線を選択するように設置され、ビデオノイズ除去モジュール７０３は、前記フィルタリング強度およびノイズ特性曲線に基づいて、現在ビデオフレームをフィルタリングするように設置されている。

一種の例示的な実施形態において、前記の各サブ画像ブロックのブロック分散を算出することは、各サブ画像ブロックの空間分散を算出することと、前記現在ビデオフレームにおける前記サブ画像ブロックと前記現在ビデオフレームの一つ前のビデオフレームにおける対応する位置のサブ画像ブロックとの間の時間領域分散を算出することと、前記サブ画像ブロックのブロック分散として、空間分散と時間領域分散のうち小さい方の値を選択することと、を含む。

一種の例示的な実施形態において、前記の算出されたサブ画像ブロックのブロック分散をノイズ推定モジュール７０２に出力することは、現在ビデオフレームにおける全てのサブ画像ブロックのブロック分散を小さい方から大きい方にソートする（並び替える）ことと、ソートした後のサブ画像ブロックのうちｎ個前（ｎは１より大きい自然数）のサブ画像ブロックのブロック分散を累積し、累積したブロック分散とｎをノイズ推定ブロック７０２に出力することと、を含む。

この実施形態では、ノイズ付き現在ビデオフレームｆ＿ｉｎ（ｎ）とその一つ前のビデオフレームｆ＿ｉｎ（ｎ－１）をノイズ統計モジュール７０１に入力し、ノイズ統計モジュール７０１は、第１プリセット値に従ってｆ＿ｉｎ（ｎ）とｆ＿ｉｎ（ｎ－１）を同じ大きさのサブ画像ブロックに分割し、ｆ＿ｉｎ（ｎ）の各サブ画像ブロックについてそれらの空間分散δｓを算出し、ｆ＿ｉｎ（ｎ）の各サブ画像ブロックの画素値から、ｆ＿ｉｎ（ｎ－１）中の対応する位置のサブ画像ブロックの画素値を減算して、ｆ＿ｉｎ（ｎ）の各ブロックの時間領域分散δｔを得、ｆ＿ｉｎ（ｎ）における各サブ画像ブロックの最後の分散が、当該サブ画像ブロックの空間分散δｓと時間領域分散δｔとのうち最小値とされ、ｆ＿ｉｎ（ｎ）における各サブ画像ブロックの分散値を得た後、複数のサブ画像ブロックを分散値の小さい方から大きい方にソートして、第２プリセット値に従って、第２プリセット値のサブ画像ブロックの分散を累積し、累積した分散と第２プリセット値の大きさを出力する。

一種の例示的な実施形態において、前記の算出された平均分散に基づいて現在ビデオフレームのノイズ強度を決定することは、算出された平均分散が予め設定した分散値よりも小さい場合、前記現在ビデオフレームのノイズ強度を０として記録することと、算出された平均分散が予め設定した分散値以上の場合、算出された平均分散を現在ビデオフレームのノイズ強度とすることと、を含む。

一種の例示的な実施形態において、前記の前記ノイズ強度に合わせたフィルタリング強度及びノイズ特性曲線を選択する前に、前記ノイズ推定モジュール７０２は、さらに、現在ビデオフレームとその前のｍフレームのビデオフレームのノイズ強度の平均値（ｍは１より大きい自然数）を算出することと、算出されたノイズ強度の平均値を、現在ビデオフレームが平滑化されたノイズ強度とすることと、を行うように設置されている。

一種の例示的な実施形態において、前記フィルタリング強度は、空間フィルタリング強度および時間フィルタリング強度を含む。

図２に示すように、ノイズ推定モジュール７０２は、ノイズ統計モジュール７０１が出力した分散およびサブ画像ブロックの数を受信して、各サブ画像ブロックの平均分散を算出し、サブ画像ブロックの平均分散が第３プリセット値よりも小さい場合に、０をＦＩＦＯに書き込み、そうでない場合には、サブ画像ブロックの平均分散をＦＩＦＯに書き込む。ＦＩＦＯの深さは、１６であってもよく、すなわち、直近の１６フレームのノイズ強度データを記憶する。ＦＩＦＯにおける全てのデータを加算平均して、現在ビデオフレームの平滑化後のノイズ強度を得た後、ノイズ強度の大きさに応じて、ノイズ強度に合わせた空間フィルタリング強度、時間フィルタリング強度、及び対応するノイズ特性曲線を選択する。

一種の例示的な実施形態において、ビデオノイズ除去モジュール７０３は、下記のように設置されている。すなわち、空間フィルタリング強度及びノイズ特性曲線に基づいて、現在ビデオフレームに対して空間フィルタリングを行うことと、現在ビデオフレーム及びその一つ前のビデオフレームから、現在ビデオフレームの各サブ画像ブロックの動き強度及び動きベクトルを推定することと、推定された動き強度から現在ビデオフレーム中の各画素ドットの重みを得て、推定された動きベクトルから一つ前のビデオフレームにおいて時間フィルタリングに関与する画素ドットの位置を得て、空間フィルタリングされた現在ビデオフレーム中の画素ドットと前記画素ドットに対応する動きベクトルが指向する一つ前のビデオフレーム中の画素ドットとを加重平均フィルタリングし、フィルタリングされた画素ドットを得ることである。

一種の例示的な実施形態において、前記空間フィルタリングのアルゴリズムは、ＢＭ３Ｄノイズ除去アルゴリズムであってもよく、且つ、ＢＭ３Ｄノイズ除去アルゴリズムのウィーナーフィルタ操作では、画素ドットの輝度値およびノイズ特性曲線に応じて、ウィーナー係数に対して該当する割合のスケーリング動作を行う。

この実施形態では、図３に示すように、ビデオノイズ除去モジュール７０３の入力は、現在フィルタリング待ちビデオフレームｆ＿ｉｎ（ｎ）、フィルタリング後の一つ前のビデオフレームｆ＿ｏｕｔ（ｎ－１）、およびノイズ推定モジュール７０２で出力された空間フィルタリング強度係数、時間フィルタリング強度係数、ノイズ特性曲線およびノイズ強度である。ビデオノイズ除去モジュール７０３には、空間ノイズ除去サブモジュール、動き推定サブモジュール、動き検出サブモジュール、ブレンド係数マッピングサブモジュール、およびブレンドサブモジュールの５つのサブモジュールが含まれている。ここで、空間ノイズ除去サブモジュールは、ノイズ推定モジュール７０２から伝送してきた空間フィルタリング強度及びノイズ特性曲線に応じて、ｆ＿ｉｎ（ｎ）に対して空間フィルタリングを行って空間フィルタリングされた画像ｆ＿ｉｎ＿ｓｐａ（ｎ）を得る。動き推定サブモジュールは、入力された２フレーム画像から、ｆ＿ｉｎ（ｎ）中の各サブ画像ブロックの動きベクトル値を算出する。動き検出サブモジュールは、現在ビデオフレームｆ＿ｉｎ（ｎ）中の全てのサブ画像ブロックをブロックの方式に基づいて動き検出し、各サブ画像ブロックの動き強度を得る。空間フィルタリング後の画像ｆ＿ｉｎ＿ｓｐａ（ｎ）、動き推定サブモジュールから出力された動きベクトル、動き検出サブモジュールから出力された動き強度情報を、時間フィルタ（ブレンド係数マッピングサブモジュールおよびブレンドサブモジュールを含む）に出力して時間フィルタリングを行い、時間フィルタは、動き強度情報から時間フィルタリングに関与する各画素ドットの重みを得て、動きベクトル情報から一つ前のビデオフレームにおいて時間フィルタリングに関与する画素ドットの位置を得た後、現在ビデオフレームの画素ドットと動きベクトルが指向する一つ前のビデオフレーム中の画素ドットとを加重平均フィルタリングし、フィルタリングされた最後の画素ドットを得る。複数のモジュールの動作原理は、以下の通りである。

空間ノイズ除去サブモジュール：図４に示すように、本願の空間ノイズ除去サブモジュールには、ＢＭ３Ｄのノイズ除去アルゴリズムを採用し、そのアルゴリズムを、ビデオキャプチャ側で取り込んだノイズの特性により適合するように改良を加え、本願は、ウィーナーフィルタ（Ｗｉｅｎｅｒ ｆｉｌｔｅｒ）操作において、画素ドットの輝度値およびそのノイズ特性曲線に応じて、ウィーナー係数に対して一定割合のスケーリング操作を行う。本願の空間ノイズ除去サブモジュールは、必ずしもＢＭ３Ｄアルゴリズムを使用する必要はなく、ガイドフィルタやダブルエッジフィルタなどのフィルタアルゴリズムも可能であるが、処理効果が若干劣る。

動き推定サブモジュール：現在フィルタリング待ちビデオフレームｆ＿ｉｎ（ｎ）を、プリセット値に従ってブロック分割して、ｆ＿ｉｎ（ｎ）の画像を一つ一つのサブ画像ブロックに分割し、サブ画像ブロックが重なっていてもよく、その後、サブ画像ブロック毎に、フィルタリング後の一つ前のビデオフレームｆ＿ｏｕｔ（ｎ－１）における、対応位置が中心である一定探索範囲内の全てのサブ画像ブロックに対して、最小平均二乗誤差（ＭＳＥ）動作を行い、求めた最小のＭＳＥ値に対応するサブ画像ブロックを、現在ビデオフレームにおける現在サブ画像ブロックに対応する最適マッチングブロックとし、動きベクトルを、前フレーム画像における最適マッチングブロックの座標から現在サブ画像ブロックの座標値を減算するように設定し、図５に示す通りである。

動き検出サブモジュール：動き推定サブモジュールが算出した現在フィルタリング待ちビデオフレームにおける各サブ画像ブロックが、一つ前のビデオフレームにおいてそれに合わせた最適マッチングブロックを１つ有し、各サブ画像ブロックとそれに対応する最適マッチングブロックに対して、ＳＡＤ（差分絶対値の総和）処理を行う。

各サブ画像ブロックのＳＡＤ値をその動き強度値とし、ここで、（ｉ，ｊ）がフィルタリング待ち画素ドットの２次元座標であり、０≦ｉ≦Ｍ、０≦ｊ≦Ｎである。

ブレンド係数マッピングサブモジュール：図６に示すように、動き検出サブモジュールで算出された動き強度値に基づいてマッピングすると、ブレンド係数αが得られ、図６において横座標が動き強度値、縦座標がブレンド係数値である。ここで、Ｂａｓｅ＿ｍｏｔｉｏｎ、ｂｌｅｎｄ＿ｓｌｏｐｅ、Ｔｏｐ＿ｍｏｔｉｏｎは、３つのプリセット値であり、この３つのプリセット値により、対応するマッピング関係を決定することができる。この３つのプリセット値は、線分の傾きが負の値、すなわち、動きが強いほど、ブレンド係数が小さくなることを確保しなければならなく、そうでないと、動きボケ、ひいてはゴーストが発生してしまう。

ブレンドサブモジュール：ブレンド係数マッピングサブモジュールで得られたブレンド係数α、動き推定サブモジュールで得られた動きベクトル、および空間ノイズ除去サブモジュールで得られた空間フィルタリング後の画像に基づいて、加重平均により最後の出力画像を得ることができ、計算式は以下の通りである。

（ｉ、ｊ）は、フィルタリング待ち画素ドットの２次元座標であり、（ｍｖｉ、ｍｖｊ）は、フィルタリング待ち画素ドットの動きベクトルであり、ｎは、ビデオフレームシーケンスにおける第ｎフレームのビデオフレームであり、ｆ＿ｉｎ＿ｓｐａ（ｎ,ｉ,ｊ）は、空間フィルタリング後の第ｎフレームのビデオフレームのフィルタリング待ち画素ドットであり、ｆ＿ｏｕｔ（ｎ－１,ｉ＋ｍｖｉ,ｊ＋ｍｖｊ）は、フィルタリング後の第ｎ－１フレームのビデオフレームの画素ドットである。

本発明の実施形態により提供されるビデオノイズ除去方法及び装置、コンピュータ読み取り可能な記憶媒体は、画像のノイズ推定方法とビデオノイズ除去方法とを組み合わせてノイズ除去を行うことにより、関連技術における画像のノイズ推定が不正確であることと、ノイズ除去性能と画像品質が両立できないという問題を解決した。本発明の実施形態において提案されているビデオノイズ除去方案は、ノイズ統計モジュール７０１、ノイズ推定モジュール７０２およびビデオノイズ除去モジュール７０３の３つのモジュールを備えている。ノイズ統計モジュール７０１は、入力ビデオフレームシーケンスに従ってブロック分割を行い、現在ビデオフレームのノイズ強度に関する情報を統計する。ノイズ推定モジュール７０２は、ノイズ統計モジュール７０１で統計したノイズ強度情報（主にブロック分散情報）に基づいて、一定の前処理を経た後、リアルタイムで調整したノイズ除去に関するパラメータ（空間ノイズ除去強度、時間領域ノイズ除去強度、ノイズ特性曲線、及びノイズ強度を含む）を選択してビデオノイズ除去モジュール７０３へ発信する。ビデオノイズ除去モジュール７０３は、ノイズ推定モジュール７０２がリアルタイムに発信するノイズ除去に関するパラメータに基づいて、ビデオノイズ除去を行う。

本願に記載のビデオノイズ除去方案によれば、次のような利点がある。

（１）ノイズ統計特性に基づいてノイズ強度推定を行い、ノイズ強度推定には２つの方式があり、１つはビデオの前後２フレームによる推定であり、もう１つは現在のビデオフレームに対するノイズ推定であり、２つのアルゴリズムは互いに検証され、正確度がより高くなる。

（２）本願において算出されたノイズ強度情報は、（ｍ＋１）フレームの平均を実行し、得られたノイズ強度がより平滑であり、ノイズ強度の大幅な起伏に起因して、画像には１フレームが明るく、１フレームがぼけてしまったり、１フレームにノイズが残留し、１フレームにノイズが残留しないフリッカ現象は生じない。

（３）本願では、空間ＢＭ３Ｄノイズ除去アルゴリズム、時間領域動き補償及び動き強度検出を組み合わせたアルゴリズムを採用しており、アルゴリズムの効果はより良く、複雑さはあまり高くなく、効果と複雑度との間で比較的良いバランスポイントをとる。

（４）ノイズ分散が輝度に比例するという原理により、本願はノイズ特性曲線を導入し、ノイズ輝度に応じてノイズ除去強度を動的に調整することで、より優れたノイズ除去効果を達成した。

Claims (7)

1. 入力ビデオフレームシーケンスにおける各ビデオフレームをサブ画像ブロック分割し、各サブ画像ブロックのブロック分散を算出することと、
   算出されたブロック分散から現在ビデオフレームにおける全てのサブ画像ブロックの平均分散を計算し、算出された平均分散に基づいて前記現在ビデオフレームのノイズ強度を決定することと、
   前記現在ビデオフレームのノイズ強度に基づいて、前記現在ビデオフレームをフィルタリングすることと、
   を含み、
   前記の算出された平均分散に基づいて前記現在ビデオフレームのノイズ強度を決定することは、
   前記算出された平均分散が予め設定した分散値よりも小さい場合、前記現在ビデオフレームのノイズ強度を０として決定することと、
   前記算出された平均分散が予め設定した分散値以上の場合、前記算出された平均分散を前記現在ビデオフレームのノイズ強度とすることと、
   を含むことを特徴とするビデオノイズ除去方法。
2. 前記の各サブ画像ブロックのブロック分散を算出することは、
   各サブ画像ブロックの空間分散を算出することと、
   前記現在ビデオフレームにおける前記サブ画像ブロックと前記現在ビデオフレームの一つ前のビデオフレームにおける対応する位置のサブ画像ブロックとの時間領域分散を算出することと、
   前記サブ画像ブロックのブロック分散として、前記空間分散と前記時間領域分散のうち小さい方の値を選択することと、
   を含むことを特徴とする請求項１に記載の方法。
3. 前記の算出されたブロック分散から現在ビデオフレームにおける全てのサブ画像ブロックの平均分散を計算することは、
   前記現在ビデオフレームにおける全てのサブ画像ブロックのブロック分散を小さい方から大きい方にソートすることと、
   ソートした後のｎ個前（ｎは１より大きい自然数）のサブ画像ブロックのブロック分散を累積し、累積したブロック分散とｎとの比値を前記現在ビデオフレームにおける全てのサブ画像ブロックの平均分散とすることと、
   を含むことを特徴とする請求項１に記載の方法。
4. 前記の算出された平均分散に基づいて前記現在ビデオフレームのノイズ強度を決定した後、且つ、前記現在ビデオフレームをフィルタリングする前に、さらに、
   前記現在ビデオフレームと前記現在ビデオフレームの前のｍフレームのビデオフレームのノイズ強度の平均値（ｍは１より大きい自然数）を算出することと、
   算出されたノイズ強度の平均値を、前記現在ビデオフレームが平滑化されたノイズ強度とすることと、
   を含むことを特徴とする請求項１に記載の方法。
5. 請求項１～４のいずれか１項に記載のビデオノイズ除去方法を実現するように、少なくとも一つのプロセッサにより実行可能な少なくとも一つのプログラムを記憶した、
   ことを特徴とするコンピュータ読み取り可能な記憶媒体。
6. プロセッサ及びメモリを備え、
   前記プロセッサ及び前記メモリは、電気的結合により接続され、
   前記プロセッサは、前記メモリに記憶されたプログラムを実行して、請求項１～４のいずれか１項に記載のビデオノイズ除去方法を実現するように設置される、
   ことを特徴とするビデオノイズ除去装置。
7. ノイズ統計モジュールと、ノイズ推定モジュールと、ビデオノイズ除去モジュールと、を備え、
   前記ノイズ統計モジュールは、入力ビデオフレームシーケンスにおける各ビデオフレームをサブ画像ブロック分割し、各サブ画像ブロックのブロック分散を算出するように設置され、
   前記ノイズ推定モジュールは、算出されたブロック分散から現在ビデオフレームにおける全てのサブ画像ブロックの平均分散を計算し、算出された平均分散に基づいて前記現在ビデオフレームのノイズ強度を決定するように設置され、
   前記ビデオノイズ除去モジュールは、前記現在ビデオフレームのノイズ強度に基づいて、前記現在ビデオフレームをフィルタリングするように設置されている、
   前記の算出された平均分散に基づいて前記現在ビデオフレームのノイズ強度を決定することは、
   前記算出された平均分散が予め設定した分散値よりも小さい場合、前記現在ビデオフレームのノイズ強度を０として決定することと、
   前記算出された平均分散が予め設定した分散値以上の場合、前記算出された平均分散を前記現在ビデオフレームのノイズ強度とすることと、
   を含む
   ことを特徴とするビデオノイズ除去装置。

Images