JP4596496B2 - ノイズ除去装置およびノイズ除去方法 - Google Patents
ノイズ除去装置およびノイズ除去方法 Download PDFInfo
- Publication number
- JP4596496B2 JP4596496B2 JP32807198A JP32807198A JP4596496B2 JP 4596496 B2 JP4596496 B2 JP 4596496B2 JP 32807198 A JP32807198 A JP 32807198A JP 32807198 A JP32807198 A JP 32807198A JP 4596496 B2 JP4596496 B2 JP 4596496B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- difference value
- noise
- frequency band
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Picture Signal Circuits (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ノイズ除去装置およびノイズ除去方法に関し、特に、画像から、より効果的にノイズを除去することができるようにするノイズ除去装置およびノイズ除去方法に関する。
【０００２】
【従来の技術】
画像からノイズを除去する方法としては、例えば、特開昭６２−２９０２６９号公報に開示されているものなどが、従来より知られている。この方法によれば、入力画像と、既に得られている１フレーム前のノイズ除去結果としての出力画像との差分である画像差分値が演算され、その画像差分値が周波数帯域分割される。そして、その結果得られる画像差分値の各周波数帯域成分が、所定の補正係数にしたがって補正され、補正された画像差分値の各周波数帯域成分を用いて、入力画像からノイズが除去される。
【０００３】
即ち、特開昭６２−２９０２６９号公報に開示されている方法によれば、入力画像をＸと、１フレーム前の既にノイズが除去された出力画像と入力画像Ｘとの差分値（画像差分値）をＥと、補正係数をＫと、入力画像Ｘのノイズ除去結果（入力画像Ｘに対する出力画像）をＹと、それぞれ表すと、次式にしたがって、Ｙが求められる。
【０００４】
Ｙ＝Ｘ＋ＫＥ
＝Ｘ＋ΣＫiＥi
・・・（１）
但し、式（１）において、Ｅiは、画像差分値Ｅを周波数帯域分割して得られる第ｉ周波数帯域成分を表す。また、Ｋiは、画像差分値Ｅの第ｉ周波数帯域成分に対する補正係数を表す。さらに、Σは、全周波数帯域成分についてのサメーション（画像差分値Ｅが、第１周波数帯域成分乃至第Ｎ周波数帯域成分のＮ個の周波数帯域成分に周波数帯域分割されている場合には、ｉを１からＮに変えてのサメーション）を表す。
【０００５】
なお、１フレーム前の既にノイズが除去された出力画像をＷと表せば、式（１）は、Ｙ＝（１−Ｋ）Ｘ＋ＫＷと変形することができ、この式によれば、上述の手法は、入力画像と、１フレーム前の出力画像との重み付け加算値を、その入力画像に対する出力画像としていることと等価である。即ち、例えば、入力画像として、各フレームにランダムなノイズが重畳された、動きのまったくないものを考えると、そのような入力画像については、各フレームを加算平均することで、ノイズが相殺される。特開昭６２−２９０２６９号公報に記載の手法は、このような原理を利用したものである。
【０００６】
【発明が解決しようとする課題】
ところで、従来においては、入力画像についての画像差分値Ｅの絶対値和を、その入力画像の動き量として、その動き量を一定の閾値と比較し、画像差分値Ｅが閾値より大きいときには、入力画像Ｘの動きがある（大きい）とし、補正係数Ｋを０とする一方、入力画像の動き量が閾値以下のときは、入力画像Ｘが静止しており（動きがなく（少なく））、１フレーム前との相関が高いとして、補正係数Ｋに０以外の値を与えて、式（１）の演算を行うようにしている。
【０００７】
しかしながら、入力画像についての画像差分値Ｅの絶対値和は、入力画像の真の動きが小さくても、入力画像に含まれるノイズが大きいときには大きくなることがある。従って、閾値が一定では、入力画像の真の動きが小さく、１フレーム前との相関が高くても、入力画像についての画像差分値Ｅの絶対値和が閾値より大きくなることがあり、この場合、補正係数Ｋは０とされるから、式（１）によるノイズ除去は、実質的に行われないことになる。
【０００８】
即ち、極端には、入力画像が、動きのないもので、かつ１フレーム前の出力画像に大きなノイズを重畳したものである場合には、補正係数Ｋを１として、式（１）によるノイズ除去を行うことにより、１フレーム前の出力画像を、そのまま入力画像に対する出力画像とするのが好ましい。しかしながら、この場合、入力画像についての画像差分値Ｅの絶対値和が閾値より大きくなり、入力画像に動きがあり、１フレーム前の出力画像との相関が低いと判定されることにより、補正係数Ｋは０とされ、その結果、入力画像がそのまま、その入力画像に対する出力画像として出力され、ノイズ除去が行われないことになる。
【０００９】
また、特開昭６２−２９０２６９号公報に開示されている方法では、入力画像の動き量が閾値以下のときは、画像差分値Ｅの大きさに応じて、適切な補正係数Ｋを決定することとされているが、その具体的手法としては、入力画像の動き量を、複数の補正係数それぞれと対応付けられた複数の閾値と比較し、その比較結果に対応した補正係数を決定するようなもの（但し、特開昭６２−２９０２６９号公報には、ここまで具体的に開示されていない）が考えられる。
【００１０】
この場合、上述したノイズ除去の原理から、大きな閾値には小さな補正係数を対応付け、小さな閾値には大きな補正係数を対応付けておくこととなるが、入力画像の動き量とされる画像差分値Ｅの絶対値和は、上述したように、入力画像の真の動き量が小さくても大きくなることがあり、従って、画像差分値Ｅの絶対値和が大きくても、ある程度大きい補正係数Ｋを用いた方が、また、画像差分値Ｅの絶対値和が小さくても、ある程度小さい補正係数Ｋを用いた方が、それぞれ効果的にノイズを除去することができる場合がある。
【００１１】
即ち、画像差分値Ｅの絶対値和と複数の閾値との比較結果だけに基づいて、補正係数Ｋを決定したのでは、効果的にノイズを除去するのが困難な場合がある。
【００１２】
本発明は、このような状況に鑑みてなされたものであり、適切な補正係数を設定することにより、画像の特性によらず、ノイズを効果的に除去することができるようにするものである。
【００１３】
【課題を解決するための手段】
本発明のノイズ除去装置は、入力画像と、前記入力画像からノイズを除去した結果として既に得られている出力画像との差分である画像差分値を演算する差分値算出手段と、前記画像差分値を周波数帯域分割し、その各周波数帯域成分を出力する帯域分割手段と、前記画像差分値の低周波数成分に基づいて、前記入力画像の動き量を検出する動き検出手段と、前記画像差分値の高周波数成分に基づいて、前記入力画像のノイズに関するノイズ情報を検出するノイズ情報検出手段と、前記画像差分値の各周波数帯域成分と比較する閾値を、前記動き量、および前記ノイズ情報に基づいて決定する閾値決定手段と、前記画像差分値の各周波数帯域成分と、前記閾値とを比較する比較手段と、前記画像差分値の各周波数帯域成分と、当該画像差分値の各周波数成分を補正するための補正係数との関係を表す特性曲線又は直線を、前記閾値に基づいて決定する特性曲線決定手段と、前記画像差分値の各周波数帯域成分のうち、前記閾値よりも大きいものは前記補正係数を０に設定し、前記閾値以下のものは、前記画像差分値の各周波数帯域成分が当該閾値から０まで連続的に変化する前記特性曲線又は直線に基づいてそれぞれの周波数帯域成分に対して前記補正係数を設定する設定手段と、前記画像差分値の各周波数帯域成分と、前記設定手段により設定されたそれぞれの周波数帯域成分に対応する補正係数とを乗算することにより、各周波数帯域成分を補正する補正手段と、補正された前記画像差分値の各周波数帯域成分を積算することにより、前記入力画像からノイズが除去された前記出力画像を出力する除去手段とを備える。
【００１４】
本発明のノイズ除去方法は、入力画像と、前記入力画像からノイズを除去した結果として既に得られている出力画像との差分である画像差分値を演算し、前記画像差分値を周波数帯域分割して、その各周波数帯域成分を出力し、前記画像差分値の低周波数成分に基づいて、前記入力画像の動き量を検出し、前記画像差分値の高周波数成分に基づいて、前記入力画像のノイズに関するノイズ情報を検出し、前記画像差分値の各周波数帯域成分と比較する閾値を、前記動き量、および前記ノイズ情報に基づいて決定し、前記画像差分値の各周波数帯域成分と、前記閾値とを比較し、前記画像差分値の各周波数帯域成分と、当該画像差分値の各周波数成分を補正するための補正係数との関係を表す特性曲線又は直線を、前記閾値に基づいて決定し、前記画像差分値の各周波数帯域成分のうち、前記閾値よりも大きいものは前記補正係数を０に設定し、前記閾値以下のものは、前記画像差分値の各周波数帯域成分が当該閾値から０まで連続的に変化する前記特性曲線又は直線に基づいてそれぞれの周波数帯域成分に対して前記補正係数を設定し、前記画像差分値の各周波数帯域成分と、前記設定手段により設定されたそれぞれの周波数帯域成分に対応する補正係数とを乗算することにより、各周波数帯域成分を補正し、補正された前記画像差分値の各周波数帯域成分を積算することにより、前記入力画像からノイズが除去された前記出力画像を出力する。
【００１５】
本発明においては、入力画像と、前記入力画像からノイズを除去した結果として既に得られている出力画像との差分である画像差分値が演算され、前記画像差分値が周波数帯域分割されて、その各周波数帯域成分が出力される。また、前記画像差分値の低周波数成分に基づいて、前記入力画像の動き量が検出され、前記画像差分値の高周波数成分に基づいて、前記入力画像のノイズに関するノイズ情報が検出され、前記画像差分値の各周波数帯域成分と比較する閾値が、前記動き量、および前記ノイズ情報に基づいて決定される。さらに、前記画像差分値の各周波数帯域成分と、前記閾値とが比較され、前記画像差分値の各周波数帯域成分と、当該画像差分値の各周波数成分を補正するための補正係数との関係を表す特性曲線又は直線が、前記閾値に基づいて決定される。前記画像差分値の各周波数帯域成分のうち、前記閾値よりも大きいものは前記補正係数が０に設定され、前記閾値以下のものは、前記画像差分値の各周波数帯域成分が当該閾値から０まで連続的に変化する前記特性曲線又は直線に基づいてそれぞれの周波数帯域成分に対して前記補正係数が設定される。前記画像差分値の各周波数帯域成分と、前記設定手段により設定されたそれぞれの周波数帯域成分に対応する補正係数とを乗算することにより、各周波数帯域成分が補正され、補正された前記画像差分値の各周波数帯域成分を積算することにより、前記入力画像からノイズが除去された前記出力画像が出力される。
【００１７】
【発明の実施の形態】
【００２４】
図１は、本発明を適用したノイズ除去装置の第１の実施の形態の構成例を示している。
【００２５】
ノイズを除去する対象の画像（ディジタル画像データ）Ｘは、例えば、フレーム単位で、入力部１に入力されるようになされており、入力部１は、そこに入力される画像を、演算器３および２２に供給するようになされている。
【００２６】
ここで、入力部１に入力される画像（入力画像）Ｘは、例えば、ＮＴＳＣ方式や、ＰＡＬ方式、ＳＥＣＡＭ方式等のコンポジット信号であっても、また、ＲＧＢ等のコンポーネント信号であってもかまわない。さらに、入力部１に入力される画像は、インターレース走査される画像であっても、また、プログレッシブな画像（ノンインターレース走査される画像）であってもかまわない。但し、ここでは、説明を簡単にするために、プログレッシブな画像が入力されるものとする。
【００２７】
出力部２には、演算器２２が出力する画像が供給されるようになされており、出力部２は、この演算器２２が出力する画像を、ノイズ除去後の画像（出力画像）Ｙとして出力するようになされている。
【００２８】
演算器３は、入力部１から供給される画像Ｘと、フレームメモリ４に記憶された、既にノイズが除去された１フレーム前の画像Ｗとの差分値（画像差分値）Ｅ（＝Ｗ−Ｘ）を演算し、その差分値（以下、適宜、フレーム間差分値という）Ｅを、フィルタ５乃至８に供給するようになされている。
【００２９】
ここで、入力部１に入力される画像が、ＮＴＳＣ方式などのコンポジット信号である場合には、例えば、クロマインバータ等によって、フレームメモリ４に記憶された１フレーム前の画像の色差信号の位相を１８０度反転させ、色差信号の位相をあわせた後に、演算器３において、入力部１からの画像と、フレームメモリ４に記憶された画像との差分を演算する必要がある。
【００３０】
フレームメモリ４は、演算器２２が出力する画像をフレーム単位で記憶し、また、記憶した画像のフレームの次のフレームが、入力部１から演算器３に供給されるタイミングで、その記憶した画像を、演算器３に供給するようになされている。
【００３１】
フィルタ５乃至８は、例えば、ディジタルフィルタで、演算器３が出力するフレーム間差分値Ｅを周波数帯域分割する帯域分割フィルタを構成している。即ち、フィルタ５乃至８は、例えば、図２（Ａ）乃至図２（Ｄ）にそれぞれ示すような周波数特性を有しており、フレーム間差分値Ｅから、その低域成分（低周波数成分）Ｅ0、中域のやや低い周波数成分Ｅ1、中域のやや高い周波数成分Ｅ2、高域成分Ｅ3を取り出すようになされている（従って、フィルタ５はローパスフィルタ、フィルタ６および７はバンドバスフィルタ、フィルタ８はハイパスフィルタである）。フィルタ５乃至８の出力Ｅ0乃至Ｅ3は、補正部１１乃至１４にそれぞれ供給されるとともに、演算器１５乃至１８にそれぞれ供給されるようになされている。さらに、フィルタ５の出力Ｅ0は、動き検出部９にも、フィルタ８の出力Ｅ3は、ノイズ検出部１０にも、それぞれ供給されるようになされている。
【００３２】
ここで、図２に示したような急峻なカットオフ特性を有するフィルタは、多数のタップを必要とし、製作するのも困難であるから、フィルタ５乃至８としては、そのような急峻なカットオフ特性を有するものではなく、滑らかなカットオフ特性を有するものであってもかまわない。但し、フィルタ５乃至８の周波数特性は、それらの出力Ｅ0乃至Ｅ3を加算した場合に、元のフレーム間差分値Ｅが得られるようなものとなっているのが望ましい。
【００３３】
なお、図１の実施の形態では、フレーム間差分値ｅを、４つの周波数帯域に分割することとしているが、幾つの周波数帯域に分割するかは特に限定されるものではない。但し、分割数が多いほど、より効果的にノイズを除去することができる。
【００３４】
また、本実施の形態では、フィルタ５乃至８は、例えば、７タップで構成され、その７タップに対応する、水平方向に並ぶ７画素のフレーム間差分値を用いた積和演算を行うことにより、その中央に位置する画素（注目画素）のフレーム間差分値の各周波数帯域成分を出力するようになされている。
【００３５】
動き検出部９は、フィルタ５の出力Ｅ0、即ち、フレーム間差分値の低域成分Ｅ0に基づいて、入力部１に入力された画像の動き量を検出し、補正部１１乃至１４に供給するようになされている。即ち、動き検出部９は、入力部１に入力された画像の画素についてのフレーム間差分値の低域成分Ｅ0の、例えば、絶対値和を、入力部１に入力された画像の動き量として求め、補正部１１乃至１４に供給するようになされている。
【００３６】
ノイズ検出部１０は、フィルタ８の出力Ｅ3、即ち、フレーム間差分値の高域成分Ｅ3に基づいて、入力部１に入力された画像のノイズに関するノイズ情報を検出し、補正部１１乃至１４に供給するようになされている。即ち、ノイズ検出部１０は、入力部１に入力された画素についてのフレーム間差分値の高域成分Ｅ3の、例えば、絶対値和を、入力部１に入力された画像のノイズとして求め、さらに、最初に入力部１に入力された画像のノイズとの差分を演算する。そして、ノイズ検出部１０は、そのノイズの差分（以下、適宜、ノイズ変動量という）を、補正部１１乃至１４に供給する。
【００３７】
補正部１１乃至１４は、動き検出部９からの動き量、およびノイズ検出部１０からのノイズ変動量に基づいて、フィルタ５乃至８の出力Ｅ0乃至Ｅ3を補正する補正係数Ｋ0乃至Ｋ3を設定し、演算器１５乃至１８にそれぞれ供給するようになされている。
【００３８】
即ち、補正部１１は、フィルタ５が出力するフレーム間差分値の周波数成分Ｅ0と比較する閾値ｔｈを、動き検出部９からの動き量、およびノイズ検出部１０からのノイズ変動量に基づいて決定する。ここで、閾値ｔｈの決定方法については、後述する。
【００３９】
さらに、補正部１１は、決定した閾値ｔｈと、フレーム間差分値の周波数成分Ｅ0とを比較する。そして、補正部１１は、フレーム間差分値の周波数成分Ｅ0が閾値ｔｈより大きい場合（以上の場合）、フレーム間差分値の周波数成分Ｅ0を補正する補正係数Ｋ0を０に設定して演算器１５に出力する。ここで、演算器１５では、後述するように、フィルタ５の出力Ｅ0が、それに、補正部１１からの補正係数Ｋ0が乗算されることにより補正される。従って、補正係数Ｋ0が０とされる場合には、演算器１５の出力は０となるから、結果として、フィルタ５の出力、即ち、フレーム間差分値の低域成分Ｅ0は、入力部１に入力された画像Ｘのノイズ除去には用いられないことになる。
【００４０】
一方、補正部１１は、フレーム間差分値の周波数成分Ｅ0が閾値ｔｈ以下の場合（より小さい場合）、フレーム間差分値の周波数成分Ｅ0を補正する補正係数Ｋ0の特性を決定する。
【００４１】
具体的には、補正部１１は、例えば、図３（Ａ）に示すように、横軸にフレーム間差分値の周波数成分Ｅ0をとり、縦軸に補正係数Ｋ0をとった場合に、横軸上の閾値ｔｈに対応する点と、縦軸上の１．０に対応する点とを結ぶ直線を、補正係数Ｋ0の特性曲線として決定する。ここで、閾値ｔｈは、上述したように、動き量、およびノイズ変動量に基づいて決定されるから、その値は動き量やノイズ変動量によって変化し、また、閾値ｔｈが変化すれば、図３（Ａ）に点線で示すように、補正係数Ｋ0の特性を表す直線（特性曲線）も変化する。このようにして、本実施の形態では、入力部１に入力された画像Ｘからノイズを除去するのに適切な補正係数Ｋ0の特性が求められる。
【００４２】
ここで、本実施の形態では、補正係数の特性曲線を、直線で表すようにしたが、補正係数は、２次以上の曲線（非線形な関数によって表されるもの）で表すようにすることも可能である。また、閾値ｔｈとの関係で、入力部１に入力された画像Ｘからノイズを除去するのに最適な補正係数Ｋ0の特性曲線をあらかじめ実験等により求めておき、閾値ｔｈの決定後に、求めておいた特性曲線の中から、決定された閾値ｔｈに対応するものを選択するようにすることも可能である。
【００４３】
なお、ここでは、補正係数の最大値を１としてあり、このため、図３（Ａ）においては、縦軸上に、その最大値１．０に対応する点をとっている。但し、補正係数は、１より大きな値を取りうるようにすることも可能である。
【００４４】
補正部１１は、補正係数Ｋ0の特性曲線を求めた後、その特性曲線に基づいて、補正係数Ｋ0を設定する。即ち、補正部１１は、補正係数Ｋ0の特性曲線を求めた後、その特性曲線にしたがい、フィルタ５からのフレーム間差分値の周波数成分Ｅ0に対応する値を、その周波数成分Ｅ0の補正に用いる補正係数Ｋ0として設定する。具体的には、図３（Ｂ）に示すような補正係数Ｋ0の特性曲線が求められている場合において、フィルタ５からのフレーム間差分値の周波数成分（の、例えば絶対値和）Ｅ0が、点Ａや点Ｂで表されるときには、その点Ａや点Ｂに対応する特性曲線上の点である０．７や０．３が、補正係数Ｋ0として設定される。
【００４５】
図１に戻り、他の補正部１２乃至１４においても同様にして、フィルタ６乃至８の出力Ｅ1乃至Ｅ3を補正する補正係数Ｋ1乃至Ｋ3がそれぞれ設定される。
【００４６】
演算器１５乃至１８は、フィルタ５乃至８の出力Ｅ0乃至Ｅ3を、補正部１１乃至１４からの補正係数Ｋ0乃至Ｋ3によってそれぞれ補正するようになされている。即ち、演算器１５乃至１８は、フィルタ５乃至８の出力Ｅ0乃至Ｅ3を、それぞれに対して、補正部１１乃至１４からの補正係数Ｋ0乃至Ｋ3を乗算することによって補正するようになされている。フィルタ５の出力Ｅ0の補正結果Ｋ0Ｅ0は、演算器１９に、フィルタ６の出力Ｅ1の補正結果Ｋ1Ｅ1は、演算器２０に、フィルタ７の出力Ｅ2およびフィルタ８の出力Ｅ3の補正結果Ｋ2Ｅ2およびＫ3Ｅ3は、演算器２１に、それぞれ出力されるようになされている。
【００４７】
演算器１９は、フィルタ５の出力の補正結果Ｋ0Ｅ0と、演算器２０の出力とを加算し、演算器２２に出力するようになされている。演算器２０は、フィルタ６の出力の補正結果Ｋ1Ｅ1と、演算器２１の出力とを加算し、演算器１９に出力するようになされている。演算器２１は、フィルタ７の出力の補正結果Ｋ2Ｅ2と、フィルタ８の出力の補正結果Ｋ3Ｅ3とを加算し、演算器２０に出力するようになされている。従って、演算器１９から２２に対しては、フィルタ５乃至８の出力の補正結果Ｋ0Ｅ0乃至Ｋ3Ｅ3の加算値（＝Ｋ0Ｅ0＋Ｋ1Ｅ1＋Ｋ2Ｅ2＋Ｋ3Ｅ3）が供給されるようになされている。
【００４８】
演算器２２は、入力部１からの画像Ｘと、演算器１９からのフィルタ５乃至８の出力の補正結果Ｋ0Ｅ0乃至Ｋ3Ｅ3の加算値とを加算することにより、画像Ｘからノイズを効果的に除去し、そのノイズの除去された画像Ｙを出力するようになされている。従って、入力部１に入力された画像Ｘからノイズの除去された画像Ｙは、式Ｙ＝Ｘ＋Ｋ0Ｅ0＋Ｋ1Ｅ1＋Ｋ2Ｅ2＋Ｋ3Ｅ3で表される。この画像Ｘに対する画像Ｙは、出力部２およびフレームメモリ４に供給されるようになされている。
【００４９】
次に、図４のフローチャートを参照して、図１のノイズ除去装置の動作について説明する。
【００５０】
まず最初に、ステップＳ１では、入力部１に対して、いま処理すべきフレームの画像データＸが入力され、入力部１は、その画像データＸを、演算器３および２２に出力する。演算器３に、画像データＸが供給されるタイミングで、フレームメモリ４からは、そこに記憶された１フレーム前のノイズが除去された画像データＷが読み出され、演算器３に供給される。演算器３では、ステップＳ２において、フレームメモリ４からの画像データＷと、入力部１からの画像データＸとのフレーム間差分値（対応する画素どうしの差分値）Ｅ（＝Ｗ−Ｘ）が演算され、フィルタ５乃至８に供給される。
【００５１】
フィルタ５乃至８では、ステップＳ３において、演算器３からのフレーム間差分値Ｅがフィルタリングされることにより帯域分割され、これにより、フィルタ５乃至８からは、フレーム間差分値Ｅの低域成分Ｅ0、中域のやや低い周波数成分Ｅ1、中域のやや高い周波数成分Ｅ2、高域成分Ｅ3がそれぞれ出力される。フィルタ５乃至８の出力Ｅ0乃至Ｅ3は、補正部１１乃至１４にそれぞれ供給されるとともに、演算器１５乃至１８にそれぞれ供給される。さらに、フィルタ５の出力Ｅ0は、動き検出部９にも供給され、フィルタ８の出力Ｅ3は、ノイズ検出部１０にも供給される。
【００５２】
動き検出部９は、フィルタ５の出力Ｅ0を受信すると、ステップＳ４において、その出力Ｅ0に基づいて、入力部１に入力された画像Ｘの動き量を検出し、補正部１１乃至１４に供給する。また、ノイズ検出部１０は、フィルタ８の出力Ｅ3を受信すると、ステップＳ５において、その出力Ｅ3に基づいて、入力部１に入力された画像Ｘのノイズ変動量を検出し、やはり、補正部１１乃至１４に供給する。
【００５３】
補正部１１乃至１４では、ステップＳ６において、動き検出部９からの画像Ｘの動き量と、ノイズ検出部１０からの画像Ｘのノイズ変動量とから、閾値ｔｈが決定され、ステップＳ７に進む。ここで、補正部１１乃至１４それぞれでは、動き量とノイズ変動量とから、後述する同一の式にしたがって、同一の閾値ｔｈが決定される。但し、補正部１１乃至１４それぞれにおいて、異なる式にしたがって閾値ｔｈを決定させるようにすることも可能である（この場合、補正部１１乃至１４それぞれにおいて決定される閾値が異なる値となることがある）。
【００５４】
ステップＳ７では、補正部１１において、フィルタ５の出力Ｅ0が、閾値ｔｈ以上であるかどうか（より大きいかどうか）が判定される。ステップＳ７において、フィルタ５の出力Ｅ0が、閾値ｔｈ以上であると判定された場合、即ち、フレーム間差分値の低域成分Ｅ0が、画像の動きの影響により生じているものであると考えられる場合、ステップＳ８に進み、補正部１１は、補正係数Ｋ0を０に設定し、演算器１５に供給して、ステップＳ１１に進む。
【００５５】
また、ステップＳ７において、フィルタ５の出力Ｅ0が、閾値ｔｈ以上でないと判定された場合、即ち、フレーム間差分値の低域成分Ｅ0が、画像の動きの影響よりも、ノイズの影響により生じているものであると考えられる場合、ステップＳ９に進み、補正部１１は、閾値ｔｈに基づいて、補正係数Ｋ0の特性を表す特性曲線（図３（Ａ））を決定し、ステップＳ１０に進む。ステップＳ１０では、補正部１１において、ステップＳ９で決定された特性曲線にしたがい、フィルタ５の出力Ｅ0に対応する点の値（但し、０より大きく、かつ１以下の範囲の値）が、補正係数Ｋ0として設定され（図３（Ｂ））、演算器１５に供給されて、ステップＳ１１に進む。
【００５６】
ここで、ステップＳ７乃至Ｓ１０の処理は、他の補正部１２乃至１４においても並列して行われ、これにより、補正係数Ｋ1乃至Ｋ3が設定され、演算器１６乃至１８にそれぞれ供給される。
【００５７】
ステップＳ１１では、演算器１５乃至１８において、フィルタ５乃至８の出力Ｅ0乃至Ｅ3が、それぞれに対して補正部１１乃至１４からの補正係数Ｋ0乃至Ｋ3が乗算されることによって補正される。そして、フィルタ５の出力Ｅ0の補正結果Ｋ0Ｅ0は、演算器１９に、フィルタ６の出力Ｅ1の補正結果Ｋ1Ｅ1は、演算器２０に、フィルタ７の出力Ｅ2およびフィルタ８の出力Ｅ3の補正結果Ｋ2Ｅ2およびＫ3Ｅ3は、演算器２１に、それぞれ出力される。
【００５８】
さらに、ステップＳ１１では、演算器２１において、フィルタ７の出力の補正結果Ｋ2Ｅ2と、フィルタ８の出力の補正結果Ｋ3Ｅ3とが加算され、演算器２０に出力される。演算器２０では、フィルタ６の出力の補正結果Ｋ1Ｅ1と、演算器２１の出力とが加算され、演算器１９に出力される。演算器１９では、フィルタ５の出力の補正結果Ｋ0Ｅ0と、演算器２０の出力とが加算され、演算器２２に出力される。その結果、演算器２２には、フィルタ５乃至８の出力の補正結果Ｋ0Ｅ0乃至Ｋ3Ｅ3の加算値が供給される。
【００５９】
また、ステップＳ１１では、演算器２２において、入力部１からの画像Ｘと、演算器１９からのフィルタ５乃至８の出力の補正結果Ｋ0Ｅ0乃至Ｋ3Ｅ3の加算値とが加算されることにより、画像Ｘからノイズが効果的に除去される。そして、ステップＳ１２において、演算器２２は、そのノイズが除去された画像Ｙ（＝Ｘ＋Ｋ0Ｅ0＋Ｋ1Ｅ1＋Ｋ2Ｅ2＋Ｋ3Ｅ3）を、出力部２およびフレームメモリ４に出力する。フレームメモリ４では、演算器２２からの画像Ｙが記憶され、その次のフレームの画像が、入力部１から演算器３に供給されるのを待って読み出されて、演算器３に供給される。
【００６０】
その後、ステップＳ１３に進み、次に処理すべき画像（次のフレームの画像）があるかどうかが判定され、あると判定された場合、その次に処理すべき画像が、入力部１に供給されるのを待って、ステップＳ１に戻る。また、ステップＳ１３において、次に処理すべき画像がないと判定された場合、処理を終了する。
【００６１】
次に、図１の補正部１１乃至１４における閾値ｔｈの決定方法について説明する。
【００６２】
図５は、補正部１１乃至図１４において用いられる閾値ｔｈを、１，２，・・・，１０にそれぞれ固定してシミュレーションを行った場合の出力画像のＳＮＲ（Signal to Noise Ratio）を示している。但し、入力画像は、６０フレームから構成され、そのＳＮＲが２０フレーム単位で変化するものを用いている。即ち、入力画像としては、ガウシアンＲＦノイズにより３３ｄＢ，４０ｄＢ，３３ｄＢにＳＮＲが、２０フレーム単位で切り替わる画像を用いている。
【００６３】
図５においては、ＳＮＲが低い入力画像（図５では、ＳＮＲが３３ｄＢの画像）、即ち、ノイズの多い入力画像については、閾値ｔｈが、例えば１０などの比較的大きい方（画像の動きがない（少ない）と判定されやすい方）が、効果的にノイズが除去されている。また、ＳＮＲが高い入力画像（図５では、ＳＮＲが４０ｄＢの画像）、即ち、ノイズの少ない画像については、閾値ｔｈが、例えば３などの比較的小さい方（画像の動きがある（大きい）と判定されやすい方）が、効果的にノイズが除去されている。従って、入力画像に含まれるノイズに注目した場合には、ノイズが多い入力画像については、閾値ｔｈを大きくし、ノイズが少ない入力画像については、閾値ｔｈを小さくした方が、ノイズを効果的に除去することができる傾向がある。
【００６４】
一方、入力画像の動きに注目すると、図１のノイズ除去装置では、画像の相関を利用し、入力画像と、その１フレーム前の出力画像とのフレーム間差分値を、入力画像に足し込むことで、入力画像からノイズを除去するようになされていることから、入力画像の動きがない（少ない）ときには、補正係数Ｋを０とせずに、入力画像に、フレーム間差分値を足し込み、入力画像の動きがある（大きい）ときには、補正係数Ｋを０として、入力画像に、フレーム間差分値を実質的に足し込まないようにするのが望ましい。従って、入力画像の動きに注目した場合には、入力画像の動きがないときには、閾値ｔｈを大きくすることにより、画像の動きがなく、１フレーム前の出力画像との相関が高いと判定されやすい方が、また、入力画像の動きがあるときには、閾値ｔｈを小さくすることにより、画像の動きがあり、１フレーム前の出力画像との相関が低いと判定されやすい方が、ノイズを効果的に除去することができる傾向がある。
【００６５】
以上から、画像のノイズを効果的に除去するための、画像のノイズまたは動き量それぞれと、閾値ｔｈとの関係は、図６に示すようになる。
【００６６】
即ち、閾値ｔｈは、ノイズが大きい場合には大きくし、ノイズが小さい場合には小さくするのが望ましい。また、閾値ｔｈは、動きが大きい場合には小さくし、動きが小さい場合には大きくするのが望ましい。
【００６７】
一方、フレーム間差分値は、画像のノイズが大きい場合には大きくなり、ノイズが小さい場合には小さくなる。さらに、フレーム間差分値は、画像の動きが大きい場合には大きくなり、動きが小さい場合には小さくなる。即ち、フレーム間差分値は、画像のノイズおよび動き量に比例（線形という意味ではなく、一方が増加すれば他方も増加し、減少すれば減少するといった意味）して増減する。
【００６８】
従って、フレーム間差分値が大きい場合には、画像のノイズおよび動き量が両方とも大きいことがあるが、この場合、ノイズに注目すれば、閾値ｔｈは大きくする必要があり、動き量に注目すれば、閾値ｔｈは小さくする必要がある。また、フレーム間差分値が小さい場合には、画像のノイズおよび動き量が両方とも小さいから、この場合、ノイズに注目すれば、閾値ｔｈは小さくする必要があり、動き量に注目すれば、閾値ｔｈは大きくする必要がある。
【００６９】
以上から、閾値ｔｈをどのような値にするかは、ノイズに注目した場合と、動き量に注目した場合とで、相反する関係になっており、閾値ｔｈは、例えば、ノイズに比例し、かつ動き量に反比例するように決定する必要がある。
【００７０】
そこで、本実施の形態では、例えば、次式にしたがって、閾値ｔｈが決定されるようになされている。
【００７１】
ｔｈ＝Ａ／｜Ｅ0｜＋Ｂ×（Ｅ3−Ｅ3’）
・・・（２）
但し、式（２）において、Ａ，Ｂは所定の定数である。また、｜Ｅ0｜は、フィルタ５の出力Ｅ0の大きさを、Ｅ3は、フィルタ８の出力を、それぞれ表す。さらに、Ｅ3’は、フィルタ８の最初の入力画像のフレームについての出力を表す。
【００７２】
なお、フィルタ５の出力Ｅ0の大きさ｜Ｅ0｜は、動き検出部９において、フィルタ５の出力Ｅ0から、入力画像の動き量として検出されるものであり、また、Ｅ3−Ｅ3’は、ノイズ検出部１０においてフィルタ８の出力Ｅ3から、入力画像のノイズ変動量として検出されるものである。
【００７３】
ここで、図７は、図５における入力画像についてのフィルタ５乃至８それぞれの出力Ｅ0乃至Ｅ3を示している。
【００７４】
例えば、自然画においては、画像の動きは、ノイズが現れる周波数より低域側の成分として現れる傾向があり、図７において、フィルタ５の出力Ｅ0の微小な変動は、画像の動きに起因している。また、図７では、入力画像の２０乃至３９フレームの２０フレームにおいて、フィルタ５の出力Ｅ0が低下しているが、これは、入力画像のノイズに起因している（上述したように、入力画像のＳＮＲは、最初と最後の２０フレームにおいて３３ｄＢになっており、中間の２０フレームにおいて４０ｄＢになっている）。式（２）における左辺の第１項Ａ／｜Ｅ0｜は、閾値ｔｈに動き量を反映させるためのものであり、従って、第１項Ａ／｜Ｅ0｜に対する入力画像のノイズの影響は極力小さくする必要がある。一方、入力画像のＳＮＲが３３ｄＢから４０ｄＢに変化した場合のフィルタ５の出力Ｅ0は、図７に示すように、約３から２に、１程度変化するだけであり、さらに、第１項は、定数Ａを、フィルタ５の出力Ｅ0の大きさ｜Ｅ0｜で除算している。従って、第１項Ａ／｜Ｅ0｜に対する入力画像のノイズの影響は小さい。
【００７５】
また、上述したように、フィルタ５の出力Ｅ0が、画像の動きだけでなく、ノイズの影響を受けるのと同様に、フィルタ８の出力Ｅ3も、画像のノイズの他、動きの影響を受けることから、フィルタ８の出力Ｅ3から、画像のノイズだけを推定することは困難である。一方、図７では、例えば、フィルタ５の出力Ｅ0と、フィルタ８の出力Ｅ3とを比較して分かるように、フレーム間差分値の高域成分であるフィルタ８の出力Ｅ3は、その低域成分であるフィルタ５の出力Ｅ0よりも、画像の動きから受ける影響が少ない（フィルタ８の出力Ｅ3は、フィルタ５の出力Ｅ0に比較して、微小な変動が少ない）。そこで、ノイズ検出部１０において、フィルタ８の出力Ｅ3と、その最初の出力（最初の入力画像のフレームについての出力）Ｅ3’との差分Ｅ3−Ｅ3’を、ノイズ変動量として求めるようにし、これを、閾値ｔｈの決定に用いている。
【００７６】
なお、本件発明者が行った、図１に示した構成のノイズ除去装置によるシミュレーションによれば、式（２）における定数ＡまたはＢを、それぞれ３０または２０程度とした場合に、ノイズをより効果的に除去することができた。そのシミュレーション結果を、図８に示す。図８から、ＳＮＲが、３３ｄＢおよび４０ｄＢのいずれの画像についても、ノイズが効果的に除去され、適応的なノイズ除去が実現されていることが分かる。
【００７７】
ここで、式（２）における定数ＡまたはＢを、それぞれ３０または２０とした場合、閾値ｔｈは、画像の動きよりも、ノイズの影響を強く受けることになる。
即ち、画像の動き量としてのフィルタ５の出力Ｅ0が、例えば、３から２に変化しても、式（２）における左辺の第１項Ａ／｜Ｅ0｜は、１０から１５に変化するだけであるが、画像のノイズ変動量としてのフィルタ８の出力の差分値Ｅ3−Ｅ3’が、例えば、０から０．５に変化すると、式（２）における左辺の第２項Ｂ×（Ｅ3−Ｅ3’）は、０から１０に変化する。従って、画像の動きとノイズとから閾値ｔｈを設定して、効果的なノイズ除去を行うには、閾値ｔｈは、画像の動きよりも、ノイズの影響を強く受けるように設定した方が良い傾向があることが分かる。
【００７８】
次に、図９は、本発明を適用したノイズ除去装置の第２の実施の形態の構成例を示している。なお、図中、図１における場合と対応する部分については、同一の符号を付してある。即ち、図９のノイズ除去装置は、ノイズ検出部１０が設けられていない他は、図１における場合と同様に構成されている。
【００７９】
従って、図９の実施の形態では、画像の動き量にのみ基づいて、閾値ｔｈが決定されることを除けば、図１における場合と同様の処理が行われる。
【００８０】
また、図１０は、本発明を適用したノイズ除去装置の第３の実施の形態の構成例を示している。なお、図中、図１における場合と対応する部分については、同一の符号を付してある。即ち、図１０のノイズ除去装置は、動き検出部９が設けられていない他は、図１における場合と同様に構成されている。
【００８１】
従って、図１０の実施の形態では、画像のノイズ変動量にのみ基づいて、閾値ｔｈが決定されることを除けば、図１における場合と同様の処理が行われる。
【００８２】
以上のように、閾値ｔｈを、入力画像の動き量やノイズに基づいて決定し、その閾値ｔｈに基づいて、補正係数の特性を決定し、その補正係数の特性にしたがって、フレーム間差分値の各周波数帯域成分（フィルタ５乃至８の出力）Ｅ0乃至Ｅ3を補正する補正係数Ｋ0乃至Ｋ3を設定するようにしたので、入力画像の特性に応じて、フレーム間差分値の各周波数帯域成分Ｅ0乃至Ｅ3を適応的に補正し、これを用いて、入力画像のノイズを効果的に除去することが可能となる。
【００８３】
なお、本実施の形態では、画像の動き量やノイズ変動量に基づいて、閾値ｔｈを決定し、その閾値ｔｈに基づいて、補正係数の特性を表す特性曲線を決定するようにしたが、閾値ｔｈは、フレーム間差分値の各周波数帯域成分Ｅ0乃至Ｅ3がその値を超えている場合（以上の場合）に、対応する補正係数Ｋ0乃至Ｋ3を０とするためのものであるから、補正係数の特性を表す特性曲線に含めて考えることができる（閾値ｔｈを越えるフィルタ５乃至８の出力に対する値が０となる特性曲線を考えれば良い）。従って、画像の動き量やノイズ変動量に基づいて、直接、補正係数の特性を表す特性曲線を決定するようにすることも可能である。
【００８４】
また、本実施の形態では、動き量を、フィルタ５の出力Ｅ0から求めるようにしたが、動き量は、その他、例えば、演算器３が出力するフレーム間差分値や、フィルタ５乃至８のうちのフィルタ５以外の出力を用いて求めるようにすることも可能である。同様に、ノイズ変動量も、フィルタ８の出力Ｅ3からではなく、演算器３の出力や、他のフィルタの出力を用いて求めるようにすることが可能である。
【００８５】
さらに、本実施の形態では、閾値ｔｈの決定に、ノイズ変動量を用いるようにしたが、フィルタの最適設計等によって、画像からノイズそのものを精度良く検出することができる場合には、そのようにして検出されるノイズを用いて、閾値ｔｈを決定するようにすることが可能である。
【００８６】
また、本実施の形態では、動き量を、動き検出部９において検出するとともに、ノイズ変動量を、ノイズ検出部１０において検出するようにしたが、動き量やノイズ変動量は、補正部１１乃至１４それぞれにおいて求めるようにすることも可能である。
【００８７】
さらに、図１や、図９、図１０に示したノイズ除去装置は、コンピュータにコンピュータプログラムを実行させることによっても、また、それ専用のハードウェアによっても実現可能である。
【００８８】
また、本実施の形態では、プログレッシブな画像を入力画像として、演算器３において、そのフレーム間差分を計算するようにしたが、インターレース走査される画像を入力画像として、演算器３において、そのフィールド間差分（入力画像としてのフィールドと、その２フィールド前の出力画像のフィールドとの差分）を計算するようにすることも可能である。
【００８９】
【発明の効果】
以上の如く、本発明のノイズ除去装置およびノイズ除去方法によれば、適切な補正係数が設定され、その結果、画像の特性によらず、ノイズを効果的に除去することが可能となる。
【図面の簡単な説明】
【図１】本発明を適用したノイズ除去装置の第１実施の形態の構成例を示すブロック図である。
【図２】図１のフィルタ５乃至８の特性を示す図である。
【図３】補正係数の特性曲線の決定方法と、補正係数の設定方法を説明するための図である。
【図４】図１のノイズ除去装置の動作を説明するためのフローチャートである。
【図５】閾値ｔｈを所定の各値に設定して行ったノイズ除去の結果を示す図である。
【図６】ノイズまたは動き量それぞれと、閾値ｔｈとの関係を示す図である。
【図７】図１のフィルタ５乃至８の出力を示す図である。
【図８】図１のノイズ除去装置によるシミュレーション結果を示す図である。
【図９】本発明を適用したノイズ除去装置の第２実施の形態の構成例を示すブロック図である。
【図１０】本発明を適用したノイズ除去装置の第３実施の形態の構成例を示すブロック図である。
【符号の説明】
１ 入力部， ２ 出力部， ３ 演算器， ４ フレームメモリ， ５乃至８ フィルタ， ９ 動き検出部， １０ ノイズ検出部， １１乃至１４ 補正部， １５乃至２２ 演算器
【発明の属する技術分野】
本発明は、ノイズ除去装置およびノイズ除去方法に関し、特に、画像から、より効果的にノイズを除去することができるようにするノイズ除去装置およびノイズ除去方法に関する。
【０００２】
【従来の技術】
画像からノイズを除去する方法としては、例えば、特開昭６２−２９０２６９号公報に開示されているものなどが、従来より知られている。この方法によれば、入力画像と、既に得られている１フレーム前のノイズ除去結果としての出力画像との差分である画像差分値が演算され、その画像差分値が周波数帯域分割される。そして、その結果得られる画像差分値の各周波数帯域成分が、所定の補正係数にしたがって補正され、補正された画像差分値の各周波数帯域成分を用いて、入力画像からノイズが除去される。
【０００３】
即ち、特開昭６２−２９０２６９号公報に開示されている方法によれば、入力画像をＸと、１フレーム前の既にノイズが除去された出力画像と入力画像Ｘとの差分値（画像差分値）をＥと、補正係数をＫと、入力画像Ｘのノイズ除去結果（入力画像Ｘに対する出力画像）をＹと、それぞれ表すと、次式にしたがって、Ｙが求められる。
【０００４】
Ｙ＝Ｘ＋ＫＥ
＝Ｘ＋ΣＫiＥi
・・・（１）
但し、式（１）において、Ｅiは、画像差分値Ｅを周波数帯域分割して得られる第ｉ周波数帯域成分を表す。また、Ｋiは、画像差分値Ｅの第ｉ周波数帯域成分に対する補正係数を表す。さらに、Σは、全周波数帯域成分についてのサメーション（画像差分値Ｅが、第１周波数帯域成分乃至第Ｎ周波数帯域成分のＮ個の周波数帯域成分に周波数帯域分割されている場合には、ｉを１からＮに変えてのサメーション）を表す。
【０００５】
なお、１フレーム前の既にノイズが除去された出力画像をＷと表せば、式（１）は、Ｙ＝（１−Ｋ）Ｘ＋ＫＷと変形することができ、この式によれば、上述の手法は、入力画像と、１フレーム前の出力画像との重み付け加算値を、その入力画像に対する出力画像としていることと等価である。即ち、例えば、入力画像として、各フレームにランダムなノイズが重畳された、動きのまったくないものを考えると、そのような入力画像については、各フレームを加算平均することで、ノイズが相殺される。特開昭６２−２９０２６９号公報に記載の手法は、このような原理を利用したものである。
【０００６】
【発明が解決しようとする課題】
ところで、従来においては、入力画像についての画像差分値Ｅの絶対値和を、その入力画像の動き量として、その動き量を一定の閾値と比較し、画像差分値Ｅが閾値より大きいときには、入力画像Ｘの動きがある（大きい）とし、補正係数Ｋを０とする一方、入力画像の動き量が閾値以下のときは、入力画像Ｘが静止しており（動きがなく（少なく））、１フレーム前との相関が高いとして、補正係数Ｋに０以外の値を与えて、式（１）の演算を行うようにしている。
【０００７】
しかしながら、入力画像についての画像差分値Ｅの絶対値和は、入力画像の真の動きが小さくても、入力画像に含まれるノイズが大きいときには大きくなることがある。従って、閾値が一定では、入力画像の真の動きが小さく、１フレーム前との相関が高くても、入力画像についての画像差分値Ｅの絶対値和が閾値より大きくなることがあり、この場合、補正係数Ｋは０とされるから、式（１）によるノイズ除去は、実質的に行われないことになる。
【０００８】
即ち、極端には、入力画像が、動きのないもので、かつ１フレーム前の出力画像に大きなノイズを重畳したものである場合には、補正係数Ｋを１として、式（１）によるノイズ除去を行うことにより、１フレーム前の出力画像を、そのまま入力画像に対する出力画像とするのが好ましい。しかしながら、この場合、入力画像についての画像差分値Ｅの絶対値和が閾値より大きくなり、入力画像に動きがあり、１フレーム前の出力画像との相関が低いと判定されることにより、補正係数Ｋは０とされ、その結果、入力画像がそのまま、その入力画像に対する出力画像として出力され、ノイズ除去が行われないことになる。
【０００９】
また、特開昭６２−２９０２６９号公報に開示されている方法では、入力画像の動き量が閾値以下のときは、画像差分値Ｅの大きさに応じて、適切な補正係数Ｋを決定することとされているが、その具体的手法としては、入力画像の動き量を、複数の補正係数それぞれと対応付けられた複数の閾値と比較し、その比較結果に対応した補正係数を決定するようなもの（但し、特開昭６２−２９０２６９号公報には、ここまで具体的に開示されていない）が考えられる。
【００１０】
この場合、上述したノイズ除去の原理から、大きな閾値には小さな補正係数を対応付け、小さな閾値には大きな補正係数を対応付けておくこととなるが、入力画像の動き量とされる画像差分値Ｅの絶対値和は、上述したように、入力画像の真の動き量が小さくても大きくなることがあり、従って、画像差分値Ｅの絶対値和が大きくても、ある程度大きい補正係数Ｋを用いた方が、また、画像差分値Ｅの絶対値和が小さくても、ある程度小さい補正係数Ｋを用いた方が、それぞれ効果的にノイズを除去することができる場合がある。
【００１１】
即ち、画像差分値Ｅの絶対値和と複数の閾値との比較結果だけに基づいて、補正係数Ｋを決定したのでは、効果的にノイズを除去するのが困難な場合がある。
【００１２】
本発明は、このような状況に鑑みてなされたものであり、適切な補正係数を設定することにより、画像の特性によらず、ノイズを効果的に除去することができるようにするものである。
【００１３】
【課題を解決するための手段】
本発明のノイズ除去装置は、入力画像と、前記入力画像からノイズを除去した結果として既に得られている出力画像との差分である画像差分値を演算する差分値算出手段と、前記画像差分値を周波数帯域分割し、その各周波数帯域成分を出力する帯域分割手段と、前記画像差分値の低周波数成分に基づいて、前記入力画像の動き量を検出する動き検出手段と、前記画像差分値の高周波数成分に基づいて、前記入力画像のノイズに関するノイズ情報を検出するノイズ情報検出手段と、前記画像差分値の各周波数帯域成分と比較する閾値を、前記動き量、および前記ノイズ情報に基づいて決定する閾値決定手段と、前記画像差分値の各周波数帯域成分と、前記閾値とを比較する比較手段と、前記画像差分値の各周波数帯域成分と、当該画像差分値の各周波数成分を補正するための補正係数との関係を表す特性曲線又は直線を、前記閾値に基づいて決定する特性曲線決定手段と、前記画像差分値の各周波数帯域成分のうち、前記閾値よりも大きいものは前記補正係数を０に設定し、前記閾値以下のものは、前記画像差分値の各周波数帯域成分が当該閾値から０まで連続的に変化する前記特性曲線又は直線に基づいてそれぞれの周波数帯域成分に対して前記補正係数を設定する設定手段と、前記画像差分値の各周波数帯域成分と、前記設定手段により設定されたそれぞれの周波数帯域成分に対応する補正係数とを乗算することにより、各周波数帯域成分を補正する補正手段と、補正された前記画像差分値の各周波数帯域成分を積算することにより、前記入力画像からノイズが除去された前記出力画像を出力する除去手段とを備える。
【００１４】
本発明のノイズ除去方法は、入力画像と、前記入力画像からノイズを除去した結果として既に得られている出力画像との差分である画像差分値を演算し、前記画像差分値を周波数帯域分割して、その各周波数帯域成分を出力し、前記画像差分値の低周波数成分に基づいて、前記入力画像の動き量を検出し、前記画像差分値の高周波数成分に基づいて、前記入力画像のノイズに関するノイズ情報を検出し、前記画像差分値の各周波数帯域成分と比較する閾値を、前記動き量、および前記ノイズ情報に基づいて決定し、前記画像差分値の各周波数帯域成分と、前記閾値とを比較し、前記画像差分値の各周波数帯域成分と、当該画像差分値の各周波数成分を補正するための補正係数との関係を表す特性曲線又は直線を、前記閾値に基づいて決定し、前記画像差分値の各周波数帯域成分のうち、前記閾値よりも大きいものは前記補正係数を０に設定し、前記閾値以下のものは、前記画像差分値の各周波数帯域成分が当該閾値から０まで連続的に変化する前記特性曲線又は直線に基づいてそれぞれの周波数帯域成分に対して前記補正係数を設定し、前記画像差分値の各周波数帯域成分と、前記設定手段により設定されたそれぞれの周波数帯域成分に対応する補正係数とを乗算することにより、各周波数帯域成分を補正し、補正された前記画像差分値の各周波数帯域成分を積算することにより、前記入力画像からノイズが除去された前記出力画像を出力する。
【００１５】
本発明においては、入力画像と、前記入力画像からノイズを除去した結果として既に得られている出力画像との差分である画像差分値が演算され、前記画像差分値が周波数帯域分割されて、その各周波数帯域成分が出力される。また、前記画像差分値の低周波数成分に基づいて、前記入力画像の動き量が検出され、前記画像差分値の高周波数成分に基づいて、前記入力画像のノイズに関するノイズ情報が検出され、前記画像差分値の各周波数帯域成分と比較する閾値が、前記動き量、および前記ノイズ情報に基づいて決定される。さらに、前記画像差分値の各周波数帯域成分と、前記閾値とが比較され、前記画像差分値の各周波数帯域成分と、当該画像差分値の各周波数成分を補正するための補正係数との関係を表す特性曲線又は直線が、前記閾値に基づいて決定される。前記画像差分値の各周波数帯域成分のうち、前記閾値よりも大きいものは前記補正係数が０に設定され、前記閾値以下のものは、前記画像差分値の各周波数帯域成分が当該閾値から０まで連続的に変化する前記特性曲線又は直線に基づいてそれぞれの周波数帯域成分に対して前記補正係数が設定される。前記画像差分値の各周波数帯域成分と、前記設定手段により設定されたそれぞれの周波数帯域成分に対応する補正係数とを乗算することにより、各周波数帯域成分が補正され、補正された前記画像差分値の各周波数帯域成分を積算することにより、前記入力画像からノイズが除去された前記出力画像が出力される。
【００１７】
【発明の実施の形態】
【００２４】
図１は、本発明を適用したノイズ除去装置の第１の実施の形態の構成例を示している。
【００２５】
ノイズを除去する対象の画像（ディジタル画像データ）Ｘは、例えば、フレーム単位で、入力部１に入力されるようになされており、入力部１は、そこに入力される画像を、演算器３および２２に供給するようになされている。
【００２６】
ここで、入力部１に入力される画像（入力画像）Ｘは、例えば、ＮＴＳＣ方式や、ＰＡＬ方式、ＳＥＣＡＭ方式等のコンポジット信号であっても、また、ＲＧＢ等のコンポーネント信号であってもかまわない。さらに、入力部１に入力される画像は、インターレース走査される画像であっても、また、プログレッシブな画像（ノンインターレース走査される画像）であってもかまわない。但し、ここでは、説明を簡単にするために、プログレッシブな画像が入力されるものとする。
【００２７】
出力部２には、演算器２２が出力する画像が供給されるようになされており、出力部２は、この演算器２２が出力する画像を、ノイズ除去後の画像（出力画像）Ｙとして出力するようになされている。
【００２８】
演算器３は、入力部１から供給される画像Ｘと、フレームメモリ４に記憶された、既にノイズが除去された１フレーム前の画像Ｗとの差分値（画像差分値）Ｅ（＝Ｗ−Ｘ）を演算し、その差分値（以下、適宜、フレーム間差分値という）Ｅを、フィルタ５乃至８に供給するようになされている。
【００２９】
ここで、入力部１に入力される画像が、ＮＴＳＣ方式などのコンポジット信号である場合には、例えば、クロマインバータ等によって、フレームメモリ４に記憶された１フレーム前の画像の色差信号の位相を１８０度反転させ、色差信号の位相をあわせた後に、演算器３において、入力部１からの画像と、フレームメモリ４に記憶された画像との差分を演算する必要がある。
【００３０】
フレームメモリ４は、演算器２２が出力する画像をフレーム単位で記憶し、また、記憶した画像のフレームの次のフレームが、入力部１から演算器３に供給されるタイミングで、その記憶した画像を、演算器３に供給するようになされている。
【００３１】
フィルタ５乃至８は、例えば、ディジタルフィルタで、演算器３が出力するフレーム間差分値Ｅを周波数帯域分割する帯域分割フィルタを構成している。即ち、フィルタ５乃至８は、例えば、図２（Ａ）乃至図２（Ｄ）にそれぞれ示すような周波数特性を有しており、フレーム間差分値Ｅから、その低域成分（低周波数成分）Ｅ0、中域のやや低い周波数成分Ｅ1、中域のやや高い周波数成分Ｅ2、高域成分Ｅ3を取り出すようになされている（従って、フィルタ５はローパスフィルタ、フィルタ６および７はバンドバスフィルタ、フィルタ８はハイパスフィルタである）。フィルタ５乃至８の出力Ｅ0乃至Ｅ3は、補正部１１乃至１４にそれぞれ供給されるとともに、演算器１５乃至１８にそれぞれ供給されるようになされている。さらに、フィルタ５の出力Ｅ0は、動き検出部９にも、フィルタ８の出力Ｅ3は、ノイズ検出部１０にも、それぞれ供給されるようになされている。
【００３２】
ここで、図２に示したような急峻なカットオフ特性を有するフィルタは、多数のタップを必要とし、製作するのも困難であるから、フィルタ５乃至８としては、そのような急峻なカットオフ特性を有するものではなく、滑らかなカットオフ特性を有するものであってもかまわない。但し、フィルタ５乃至８の周波数特性は、それらの出力Ｅ0乃至Ｅ3を加算した場合に、元のフレーム間差分値Ｅが得られるようなものとなっているのが望ましい。
【００３３】
なお、図１の実施の形態では、フレーム間差分値ｅを、４つの周波数帯域に分割することとしているが、幾つの周波数帯域に分割するかは特に限定されるものではない。但し、分割数が多いほど、より効果的にノイズを除去することができる。
【００３４】
また、本実施の形態では、フィルタ５乃至８は、例えば、７タップで構成され、その７タップに対応する、水平方向に並ぶ７画素のフレーム間差分値を用いた積和演算を行うことにより、その中央に位置する画素（注目画素）のフレーム間差分値の各周波数帯域成分を出力するようになされている。
【００３５】
動き検出部９は、フィルタ５の出力Ｅ0、即ち、フレーム間差分値の低域成分Ｅ0に基づいて、入力部１に入力された画像の動き量を検出し、補正部１１乃至１４に供給するようになされている。即ち、動き検出部９は、入力部１に入力された画像の画素についてのフレーム間差分値の低域成分Ｅ0の、例えば、絶対値和を、入力部１に入力された画像の動き量として求め、補正部１１乃至１４に供給するようになされている。
【００３６】
ノイズ検出部１０は、フィルタ８の出力Ｅ3、即ち、フレーム間差分値の高域成分Ｅ3に基づいて、入力部１に入力された画像のノイズに関するノイズ情報を検出し、補正部１１乃至１４に供給するようになされている。即ち、ノイズ検出部１０は、入力部１に入力された画素についてのフレーム間差分値の高域成分Ｅ3の、例えば、絶対値和を、入力部１に入力された画像のノイズとして求め、さらに、最初に入力部１に入力された画像のノイズとの差分を演算する。そして、ノイズ検出部１０は、そのノイズの差分（以下、適宜、ノイズ変動量という）を、補正部１１乃至１４に供給する。
【００３７】
補正部１１乃至１４は、動き検出部９からの動き量、およびノイズ検出部１０からのノイズ変動量に基づいて、フィルタ５乃至８の出力Ｅ0乃至Ｅ3を補正する補正係数Ｋ0乃至Ｋ3を設定し、演算器１５乃至１８にそれぞれ供給するようになされている。
【００３８】
即ち、補正部１１は、フィルタ５が出力するフレーム間差分値の周波数成分Ｅ0と比較する閾値ｔｈを、動き検出部９からの動き量、およびノイズ検出部１０からのノイズ変動量に基づいて決定する。ここで、閾値ｔｈの決定方法については、後述する。
【００３９】
さらに、補正部１１は、決定した閾値ｔｈと、フレーム間差分値の周波数成分Ｅ0とを比較する。そして、補正部１１は、フレーム間差分値の周波数成分Ｅ0が閾値ｔｈより大きい場合（以上の場合）、フレーム間差分値の周波数成分Ｅ0を補正する補正係数Ｋ0を０に設定して演算器１５に出力する。ここで、演算器１５では、後述するように、フィルタ５の出力Ｅ0が、それに、補正部１１からの補正係数Ｋ0が乗算されることにより補正される。従って、補正係数Ｋ0が０とされる場合には、演算器１５の出力は０となるから、結果として、フィルタ５の出力、即ち、フレーム間差分値の低域成分Ｅ0は、入力部１に入力された画像Ｘのノイズ除去には用いられないことになる。
【００４０】
一方、補正部１１は、フレーム間差分値の周波数成分Ｅ0が閾値ｔｈ以下の場合（より小さい場合）、フレーム間差分値の周波数成分Ｅ0を補正する補正係数Ｋ0の特性を決定する。
【００４１】
具体的には、補正部１１は、例えば、図３（Ａ）に示すように、横軸にフレーム間差分値の周波数成分Ｅ0をとり、縦軸に補正係数Ｋ0をとった場合に、横軸上の閾値ｔｈに対応する点と、縦軸上の１．０に対応する点とを結ぶ直線を、補正係数Ｋ0の特性曲線として決定する。ここで、閾値ｔｈは、上述したように、動き量、およびノイズ変動量に基づいて決定されるから、その値は動き量やノイズ変動量によって変化し、また、閾値ｔｈが変化すれば、図３（Ａ）に点線で示すように、補正係数Ｋ0の特性を表す直線（特性曲線）も変化する。このようにして、本実施の形態では、入力部１に入力された画像Ｘからノイズを除去するのに適切な補正係数Ｋ0の特性が求められる。
【００４２】
ここで、本実施の形態では、補正係数の特性曲線を、直線で表すようにしたが、補正係数は、２次以上の曲線（非線形な関数によって表されるもの）で表すようにすることも可能である。また、閾値ｔｈとの関係で、入力部１に入力された画像Ｘからノイズを除去するのに最適な補正係数Ｋ0の特性曲線をあらかじめ実験等により求めておき、閾値ｔｈの決定後に、求めておいた特性曲線の中から、決定された閾値ｔｈに対応するものを選択するようにすることも可能である。
【００４３】
なお、ここでは、補正係数の最大値を１としてあり、このため、図３（Ａ）においては、縦軸上に、その最大値１．０に対応する点をとっている。但し、補正係数は、１より大きな値を取りうるようにすることも可能である。
【００４４】
補正部１１は、補正係数Ｋ0の特性曲線を求めた後、その特性曲線に基づいて、補正係数Ｋ0を設定する。即ち、補正部１１は、補正係数Ｋ0の特性曲線を求めた後、その特性曲線にしたがい、フィルタ５からのフレーム間差分値の周波数成分Ｅ0に対応する値を、その周波数成分Ｅ0の補正に用いる補正係数Ｋ0として設定する。具体的には、図３（Ｂ）に示すような補正係数Ｋ0の特性曲線が求められている場合において、フィルタ５からのフレーム間差分値の周波数成分（の、例えば絶対値和）Ｅ0が、点Ａや点Ｂで表されるときには、その点Ａや点Ｂに対応する特性曲線上の点である０．７や０．３が、補正係数Ｋ0として設定される。
【００４５】
図１に戻り、他の補正部１２乃至１４においても同様にして、フィルタ６乃至８の出力Ｅ1乃至Ｅ3を補正する補正係数Ｋ1乃至Ｋ3がそれぞれ設定される。
【００４６】
演算器１５乃至１８は、フィルタ５乃至８の出力Ｅ0乃至Ｅ3を、補正部１１乃至１４からの補正係数Ｋ0乃至Ｋ3によってそれぞれ補正するようになされている。即ち、演算器１５乃至１８は、フィルタ５乃至８の出力Ｅ0乃至Ｅ3を、それぞれに対して、補正部１１乃至１４からの補正係数Ｋ0乃至Ｋ3を乗算することによって補正するようになされている。フィルタ５の出力Ｅ0の補正結果Ｋ0Ｅ0は、演算器１９に、フィルタ６の出力Ｅ1の補正結果Ｋ1Ｅ1は、演算器２０に、フィルタ７の出力Ｅ2およびフィルタ８の出力Ｅ3の補正結果Ｋ2Ｅ2およびＫ3Ｅ3は、演算器２１に、それぞれ出力されるようになされている。
【００４７】
演算器１９は、フィルタ５の出力の補正結果Ｋ0Ｅ0と、演算器２０の出力とを加算し、演算器２２に出力するようになされている。演算器２０は、フィルタ６の出力の補正結果Ｋ1Ｅ1と、演算器２１の出力とを加算し、演算器１９に出力するようになされている。演算器２１は、フィルタ７の出力の補正結果Ｋ2Ｅ2と、フィルタ８の出力の補正結果Ｋ3Ｅ3とを加算し、演算器２０に出力するようになされている。従って、演算器１９から２２に対しては、フィルタ５乃至８の出力の補正結果Ｋ0Ｅ0乃至Ｋ3Ｅ3の加算値（＝Ｋ0Ｅ0＋Ｋ1Ｅ1＋Ｋ2Ｅ2＋Ｋ3Ｅ3）が供給されるようになされている。
【００４８】
演算器２２は、入力部１からの画像Ｘと、演算器１９からのフィルタ５乃至８の出力の補正結果Ｋ0Ｅ0乃至Ｋ3Ｅ3の加算値とを加算することにより、画像Ｘからノイズを効果的に除去し、そのノイズの除去された画像Ｙを出力するようになされている。従って、入力部１に入力された画像Ｘからノイズの除去された画像Ｙは、式Ｙ＝Ｘ＋Ｋ0Ｅ0＋Ｋ1Ｅ1＋Ｋ2Ｅ2＋Ｋ3Ｅ3で表される。この画像Ｘに対する画像Ｙは、出力部２およびフレームメモリ４に供給されるようになされている。
【００４９】
次に、図４のフローチャートを参照して、図１のノイズ除去装置の動作について説明する。
【００５０】
まず最初に、ステップＳ１では、入力部１に対して、いま処理すべきフレームの画像データＸが入力され、入力部１は、その画像データＸを、演算器３および２２に出力する。演算器３に、画像データＸが供給されるタイミングで、フレームメモリ４からは、そこに記憶された１フレーム前のノイズが除去された画像データＷが読み出され、演算器３に供給される。演算器３では、ステップＳ２において、フレームメモリ４からの画像データＷと、入力部１からの画像データＸとのフレーム間差分値（対応する画素どうしの差分値）Ｅ（＝Ｗ−Ｘ）が演算され、フィルタ５乃至８に供給される。
【００５１】
フィルタ５乃至８では、ステップＳ３において、演算器３からのフレーム間差分値Ｅがフィルタリングされることにより帯域分割され、これにより、フィルタ５乃至８からは、フレーム間差分値Ｅの低域成分Ｅ0、中域のやや低い周波数成分Ｅ1、中域のやや高い周波数成分Ｅ2、高域成分Ｅ3がそれぞれ出力される。フィルタ５乃至８の出力Ｅ0乃至Ｅ3は、補正部１１乃至１４にそれぞれ供給されるとともに、演算器１５乃至１８にそれぞれ供給される。さらに、フィルタ５の出力Ｅ0は、動き検出部９にも供給され、フィルタ８の出力Ｅ3は、ノイズ検出部１０にも供給される。
【００５２】
動き検出部９は、フィルタ５の出力Ｅ0を受信すると、ステップＳ４において、その出力Ｅ0に基づいて、入力部１に入力された画像Ｘの動き量を検出し、補正部１１乃至１４に供給する。また、ノイズ検出部１０は、フィルタ８の出力Ｅ3を受信すると、ステップＳ５において、その出力Ｅ3に基づいて、入力部１に入力された画像Ｘのノイズ変動量を検出し、やはり、補正部１１乃至１４に供給する。
【００５３】
補正部１１乃至１４では、ステップＳ６において、動き検出部９からの画像Ｘの動き量と、ノイズ検出部１０からの画像Ｘのノイズ変動量とから、閾値ｔｈが決定され、ステップＳ７に進む。ここで、補正部１１乃至１４それぞれでは、動き量とノイズ変動量とから、後述する同一の式にしたがって、同一の閾値ｔｈが決定される。但し、補正部１１乃至１４それぞれにおいて、異なる式にしたがって閾値ｔｈを決定させるようにすることも可能である（この場合、補正部１１乃至１４それぞれにおいて決定される閾値が異なる値となることがある）。
【００５４】
ステップＳ７では、補正部１１において、フィルタ５の出力Ｅ0が、閾値ｔｈ以上であるかどうか（より大きいかどうか）が判定される。ステップＳ７において、フィルタ５の出力Ｅ0が、閾値ｔｈ以上であると判定された場合、即ち、フレーム間差分値の低域成分Ｅ0が、画像の動きの影響により生じているものであると考えられる場合、ステップＳ８に進み、補正部１１は、補正係数Ｋ0を０に設定し、演算器１５に供給して、ステップＳ１１に進む。
【００５５】
また、ステップＳ７において、フィルタ５の出力Ｅ0が、閾値ｔｈ以上でないと判定された場合、即ち、フレーム間差分値の低域成分Ｅ0が、画像の動きの影響よりも、ノイズの影響により生じているものであると考えられる場合、ステップＳ９に進み、補正部１１は、閾値ｔｈに基づいて、補正係数Ｋ0の特性を表す特性曲線（図３（Ａ））を決定し、ステップＳ１０に進む。ステップＳ１０では、補正部１１において、ステップＳ９で決定された特性曲線にしたがい、フィルタ５の出力Ｅ0に対応する点の値（但し、０より大きく、かつ１以下の範囲の値）が、補正係数Ｋ0として設定され（図３（Ｂ））、演算器１５に供給されて、ステップＳ１１に進む。
【００５６】
ここで、ステップＳ７乃至Ｓ１０の処理は、他の補正部１２乃至１４においても並列して行われ、これにより、補正係数Ｋ1乃至Ｋ3が設定され、演算器１６乃至１８にそれぞれ供給される。
【００５７】
ステップＳ１１では、演算器１５乃至１８において、フィルタ５乃至８の出力Ｅ0乃至Ｅ3が、それぞれに対して補正部１１乃至１４からの補正係数Ｋ0乃至Ｋ3が乗算されることによって補正される。そして、フィルタ５の出力Ｅ0の補正結果Ｋ0Ｅ0は、演算器１９に、フィルタ６の出力Ｅ1の補正結果Ｋ1Ｅ1は、演算器２０に、フィルタ７の出力Ｅ2およびフィルタ８の出力Ｅ3の補正結果Ｋ2Ｅ2およびＫ3Ｅ3は、演算器２１に、それぞれ出力される。
【００５８】
さらに、ステップＳ１１では、演算器２１において、フィルタ７の出力の補正結果Ｋ2Ｅ2と、フィルタ８の出力の補正結果Ｋ3Ｅ3とが加算され、演算器２０に出力される。演算器２０では、フィルタ６の出力の補正結果Ｋ1Ｅ1と、演算器２１の出力とが加算され、演算器１９に出力される。演算器１９では、フィルタ５の出力の補正結果Ｋ0Ｅ0と、演算器２０の出力とが加算され、演算器２２に出力される。その結果、演算器２２には、フィルタ５乃至８の出力の補正結果Ｋ0Ｅ0乃至Ｋ3Ｅ3の加算値が供給される。
【００５９】
また、ステップＳ１１では、演算器２２において、入力部１からの画像Ｘと、演算器１９からのフィルタ５乃至８の出力の補正結果Ｋ0Ｅ0乃至Ｋ3Ｅ3の加算値とが加算されることにより、画像Ｘからノイズが効果的に除去される。そして、ステップＳ１２において、演算器２２は、そのノイズが除去された画像Ｙ（＝Ｘ＋Ｋ0Ｅ0＋Ｋ1Ｅ1＋Ｋ2Ｅ2＋Ｋ3Ｅ3）を、出力部２およびフレームメモリ４に出力する。フレームメモリ４では、演算器２２からの画像Ｙが記憶され、その次のフレームの画像が、入力部１から演算器３に供給されるのを待って読み出されて、演算器３に供給される。
【００６０】
その後、ステップＳ１３に進み、次に処理すべき画像（次のフレームの画像）があるかどうかが判定され、あると判定された場合、その次に処理すべき画像が、入力部１に供給されるのを待って、ステップＳ１に戻る。また、ステップＳ１３において、次に処理すべき画像がないと判定された場合、処理を終了する。
【００６１】
次に、図１の補正部１１乃至１４における閾値ｔｈの決定方法について説明する。
【００６２】
図５は、補正部１１乃至図１４において用いられる閾値ｔｈを、１，２，・・・，１０にそれぞれ固定してシミュレーションを行った場合の出力画像のＳＮＲ（Signal to Noise Ratio）を示している。但し、入力画像は、６０フレームから構成され、そのＳＮＲが２０フレーム単位で変化するものを用いている。即ち、入力画像としては、ガウシアンＲＦノイズにより３３ｄＢ，４０ｄＢ，３３ｄＢにＳＮＲが、２０フレーム単位で切り替わる画像を用いている。
【００６３】
図５においては、ＳＮＲが低い入力画像（図５では、ＳＮＲが３３ｄＢの画像）、即ち、ノイズの多い入力画像については、閾値ｔｈが、例えば１０などの比較的大きい方（画像の動きがない（少ない）と判定されやすい方）が、効果的にノイズが除去されている。また、ＳＮＲが高い入力画像（図５では、ＳＮＲが４０ｄＢの画像）、即ち、ノイズの少ない画像については、閾値ｔｈが、例えば３などの比較的小さい方（画像の動きがある（大きい）と判定されやすい方）が、効果的にノイズが除去されている。従って、入力画像に含まれるノイズに注目した場合には、ノイズが多い入力画像については、閾値ｔｈを大きくし、ノイズが少ない入力画像については、閾値ｔｈを小さくした方が、ノイズを効果的に除去することができる傾向がある。
【００６４】
一方、入力画像の動きに注目すると、図１のノイズ除去装置では、画像の相関を利用し、入力画像と、その１フレーム前の出力画像とのフレーム間差分値を、入力画像に足し込むことで、入力画像からノイズを除去するようになされていることから、入力画像の動きがない（少ない）ときには、補正係数Ｋを０とせずに、入力画像に、フレーム間差分値を足し込み、入力画像の動きがある（大きい）ときには、補正係数Ｋを０として、入力画像に、フレーム間差分値を実質的に足し込まないようにするのが望ましい。従って、入力画像の動きに注目した場合には、入力画像の動きがないときには、閾値ｔｈを大きくすることにより、画像の動きがなく、１フレーム前の出力画像との相関が高いと判定されやすい方が、また、入力画像の動きがあるときには、閾値ｔｈを小さくすることにより、画像の動きがあり、１フレーム前の出力画像との相関が低いと判定されやすい方が、ノイズを効果的に除去することができる傾向がある。
【００６５】
以上から、画像のノイズを効果的に除去するための、画像のノイズまたは動き量それぞれと、閾値ｔｈとの関係は、図６に示すようになる。
【００６６】
即ち、閾値ｔｈは、ノイズが大きい場合には大きくし、ノイズが小さい場合には小さくするのが望ましい。また、閾値ｔｈは、動きが大きい場合には小さくし、動きが小さい場合には大きくするのが望ましい。
【００６７】
一方、フレーム間差分値は、画像のノイズが大きい場合には大きくなり、ノイズが小さい場合には小さくなる。さらに、フレーム間差分値は、画像の動きが大きい場合には大きくなり、動きが小さい場合には小さくなる。即ち、フレーム間差分値は、画像のノイズおよび動き量に比例（線形という意味ではなく、一方が増加すれば他方も増加し、減少すれば減少するといった意味）して増減する。
【００６８】
従って、フレーム間差分値が大きい場合には、画像のノイズおよび動き量が両方とも大きいことがあるが、この場合、ノイズに注目すれば、閾値ｔｈは大きくする必要があり、動き量に注目すれば、閾値ｔｈは小さくする必要がある。また、フレーム間差分値が小さい場合には、画像のノイズおよび動き量が両方とも小さいから、この場合、ノイズに注目すれば、閾値ｔｈは小さくする必要があり、動き量に注目すれば、閾値ｔｈは大きくする必要がある。
【００６９】
以上から、閾値ｔｈをどのような値にするかは、ノイズに注目した場合と、動き量に注目した場合とで、相反する関係になっており、閾値ｔｈは、例えば、ノイズに比例し、かつ動き量に反比例するように決定する必要がある。
【００７０】
そこで、本実施の形態では、例えば、次式にしたがって、閾値ｔｈが決定されるようになされている。
【００７１】
ｔｈ＝Ａ／｜Ｅ0｜＋Ｂ×（Ｅ3−Ｅ3’）
・・・（２）
但し、式（２）において、Ａ，Ｂは所定の定数である。また、｜Ｅ0｜は、フィルタ５の出力Ｅ0の大きさを、Ｅ3は、フィルタ８の出力を、それぞれ表す。さらに、Ｅ3’は、フィルタ８の最初の入力画像のフレームについての出力を表す。
【００７２】
なお、フィルタ５の出力Ｅ0の大きさ｜Ｅ0｜は、動き検出部９において、フィルタ５の出力Ｅ0から、入力画像の動き量として検出されるものであり、また、Ｅ3−Ｅ3’は、ノイズ検出部１０においてフィルタ８の出力Ｅ3から、入力画像のノイズ変動量として検出されるものである。
【００７３】
ここで、図７は、図５における入力画像についてのフィルタ５乃至８それぞれの出力Ｅ0乃至Ｅ3を示している。
【００７４】
例えば、自然画においては、画像の動きは、ノイズが現れる周波数より低域側の成分として現れる傾向があり、図７において、フィルタ５の出力Ｅ0の微小な変動は、画像の動きに起因している。また、図７では、入力画像の２０乃至３９フレームの２０フレームにおいて、フィルタ５の出力Ｅ0が低下しているが、これは、入力画像のノイズに起因している（上述したように、入力画像のＳＮＲは、最初と最後の２０フレームにおいて３３ｄＢになっており、中間の２０フレームにおいて４０ｄＢになっている）。式（２）における左辺の第１項Ａ／｜Ｅ0｜は、閾値ｔｈに動き量を反映させるためのものであり、従って、第１項Ａ／｜Ｅ0｜に対する入力画像のノイズの影響は極力小さくする必要がある。一方、入力画像のＳＮＲが３３ｄＢから４０ｄＢに変化した場合のフィルタ５の出力Ｅ0は、図７に示すように、約３から２に、１程度変化するだけであり、さらに、第１項は、定数Ａを、フィルタ５の出力Ｅ0の大きさ｜Ｅ0｜で除算している。従って、第１項Ａ／｜Ｅ0｜に対する入力画像のノイズの影響は小さい。
【００７５】
また、上述したように、フィルタ５の出力Ｅ0が、画像の動きだけでなく、ノイズの影響を受けるのと同様に、フィルタ８の出力Ｅ3も、画像のノイズの他、動きの影響を受けることから、フィルタ８の出力Ｅ3から、画像のノイズだけを推定することは困難である。一方、図７では、例えば、フィルタ５の出力Ｅ0と、フィルタ８の出力Ｅ3とを比較して分かるように、フレーム間差分値の高域成分であるフィルタ８の出力Ｅ3は、その低域成分であるフィルタ５の出力Ｅ0よりも、画像の動きから受ける影響が少ない（フィルタ８の出力Ｅ3は、フィルタ５の出力Ｅ0に比較して、微小な変動が少ない）。そこで、ノイズ検出部１０において、フィルタ８の出力Ｅ3と、その最初の出力（最初の入力画像のフレームについての出力）Ｅ3’との差分Ｅ3−Ｅ3’を、ノイズ変動量として求めるようにし、これを、閾値ｔｈの決定に用いている。
【００７６】
なお、本件発明者が行った、図１に示した構成のノイズ除去装置によるシミュレーションによれば、式（２）における定数ＡまたはＢを、それぞれ３０または２０程度とした場合に、ノイズをより効果的に除去することができた。そのシミュレーション結果を、図８に示す。図８から、ＳＮＲが、３３ｄＢおよび４０ｄＢのいずれの画像についても、ノイズが効果的に除去され、適応的なノイズ除去が実現されていることが分かる。
【００７７】
ここで、式（２）における定数ＡまたはＢを、それぞれ３０または２０とした場合、閾値ｔｈは、画像の動きよりも、ノイズの影響を強く受けることになる。
即ち、画像の動き量としてのフィルタ５の出力Ｅ0が、例えば、３から２に変化しても、式（２）における左辺の第１項Ａ／｜Ｅ0｜は、１０から１５に変化するだけであるが、画像のノイズ変動量としてのフィルタ８の出力の差分値Ｅ3−Ｅ3’が、例えば、０から０．５に変化すると、式（２）における左辺の第２項Ｂ×（Ｅ3−Ｅ3’）は、０から１０に変化する。従って、画像の動きとノイズとから閾値ｔｈを設定して、効果的なノイズ除去を行うには、閾値ｔｈは、画像の動きよりも、ノイズの影響を強く受けるように設定した方が良い傾向があることが分かる。
【００７８】
次に、図９は、本発明を適用したノイズ除去装置の第２の実施の形態の構成例を示している。なお、図中、図１における場合と対応する部分については、同一の符号を付してある。即ち、図９のノイズ除去装置は、ノイズ検出部１０が設けられていない他は、図１における場合と同様に構成されている。
【００７９】
従って、図９の実施の形態では、画像の動き量にのみ基づいて、閾値ｔｈが決定されることを除けば、図１における場合と同様の処理が行われる。
【００８０】
また、図１０は、本発明を適用したノイズ除去装置の第３の実施の形態の構成例を示している。なお、図中、図１における場合と対応する部分については、同一の符号を付してある。即ち、図１０のノイズ除去装置は、動き検出部９が設けられていない他は、図１における場合と同様に構成されている。
【００８１】
従って、図１０の実施の形態では、画像のノイズ変動量にのみ基づいて、閾値ｔｈが決定されることを除けば、図１における場合と同様の処理が行われる。
【００８２】
以上のように、閾値ｔｈを、入力画像の動き量やノイズに基づいて決定し、その閾値ｔｈに基づいて、補正係数の特性を決定し、その補正係数の特性にしたがって、フレーム間差分値の各周波数帯域成分（フィルタ５乃至８の出力）Ｅ0乃至Ｅ3を補正する補正係数Ｋ0乃至Ｋ3を設定するようにしたので、入力画像の特性に応じて、フレーム間差分値の各周波数帯域成分Ｅ0乃至Ｅ3を適応的に補正し、これを用いて、入力画像のノイズを効果的に除去することが可能となる。
【００８３】
なお、本実施の形態では、画像の動き量やノイズ変動量に基づいて、閾値ｔｈを決定し、その閾値ｔｈに基づいて、補正係数の特性を表す特性曲線を決定するようにしたが、閾値ｔｈは、フレーム間差分値の各周波数帯域成分Ｅ0乃至Ｅ3がその値を超えている場合（以上の場合）に、対応する補正係数Ｋ0乃至Ｋ3を０とするためのものであるから、補正係数の特性を表す特性曲線に含めて考えることができる（閾値ｔｈを越えるフィルタ５乃至８の出力に対する値が０となる特性曲線を考えれば良い）。従って、画像の動き量やノイズ変動量に基づいて、直接、補正係数の特性を表す特性曲線を決定するようにすることも可能である。
【００８４】
また、本実施の形態では、動き量を、フィルタ５の出力Ｅ0から求めるようにしたが、動き量は、その他、例えば、演算器３が出力するフレーム間差分値や、フィルタ５乃至８のうちのフィルタ５以外の出力を用いて求めるようにすることも可能である。同様に、ノイズ変動量も、フィルタ８の出力Ｅ3からではなく、演算器３の出力や、他のフィルタの出力を用いて求めるようにすることが可能である。
【００８５】
さらに、本実施の形態では、閾値ｔｈの決定に、ノイズ変動量を用いるようにしたが、フィルタの最適設計等によって、画像からノイズそのものを精度良く検出することができる場合には、そのようにして検出されるノイズを用いて、閾値ｔｈを決定するようにすることが可能である。
【００８６】
また、本実施の形態では、動き量を、動き検出部９において検出するとともに、ノイズ変動量を、ノイズ検出部１０において検出するようにしたが、動き量やノイズ変動量は、補正部１１乃至１４それぞれにおいて求めるようにすることも可能である。
【００８７】
さらに、図１や、図９、図１０に示したノイズ除去装置は、コンピュータにコンピュータプログラムを実行させることによっても、また、それ専用のハードウェアによっても実現可能である。
【００８８】
また、本実施の形態では、プログレッシブな画像を入力画像として、演算器３において、そのフレーム間差分を計算するようにしたが、インターレース走査される画像を入力画像として、演算器３において、そのフィールド間差分（入力画像としてのフィールドと、その２フィールド前の出力画像のフィールドとの差分）を計算するようにすることも可能である。
【００８９】
【発明の効果】
以上の如く、本発明のノイズ除去装置およびノイズ除去方法によれば、適切な補正係数が設定され、その結果、画像の特性によらず、ノイズを効果的に除去することが可能となる。
【図面の簡単な説明】
【図１】本発明を適用したノイズ除去装置の第１実施の形態の構成例を示すブロック図である。
【図２】図１のフィルタ５乃至８の特性を示す図である。
【図３】補正係数の特性曲線の決定方法と、補正係数の設定方法を説明するための図である。
【図４】図１のノイズ除去装置の動作を説明するためのフローチャートである。
【図５】閾値ｔｈを所定の各値に設定して行ったノイズ除去の結果を示す図である。
【図６】ノイズまたは動き量それぞれと、閾値ｔｈとの関係を示す図である。
【図７】図１のフィルタ５乃至８の出力を示す図である。
【図８】図１のノイズ除去装置によるシミュレーション結果を示す図である。
【図９】本発明を適用したノイズ除去装置の第２実施の形態の構成例を示すブロック図である。
【図１０】本発明を適用したノイズ除去装置の第３実施の形態の構成例を示すブロック図である。
【符号の説明】
１ 入力部， ２ 出力部， ３ 演算器， ４ フレームメモリ， ５乃至８ フィルタ， ９ 動き検出部， １０ ノイズ検出部， １１乃至１４ 補正部， １５乃至２２ 演算器
Claims (2)
- 入力画像と、前記入力画像からノイズを除去した結果として既に得られている出力画像との差分である画像差分値を演算する差分値算出手段と、
前記画像差分値を周波数帯域分割し、その各周波数帯域成分を出力する帯域分割手段と、
前記画像差分値の低周波数成分に基づいて、前記入力画像の動き量を検出する動き検出手段と、
前記画像差分値の高周波数成分に基づいて、前記入力画像のノイズに関するノイズ情報を検出するノイズ情報検出手段と、
前記画像差分値の各周波数帯域成分と比較する閾値を、前記動き量、および前記ノイズ情報に基づいて決定する閾値決定手段と、
前記画像差分値の各周波数帯域成分と、前記閾値とを比較する比較手段と、
前記画像差分値の各周波数帯域成分と、当該画像差分値の各周波数成分を補正するための補正係数との関係を表す特性曲線又は直線を、前記閾値に基づいて決定する特性曲線決定手段と、
前記画像差分値の各周波数帯域成分のうち、前記閾値よりも大きいものは前記補正係数を０に設定し、前記閾値以下のものは、前記画像差分値の各周波数帯域成分が当該閾値から０まで連続的に変化する前記特性曲線又は直線に基づいてそれぞれの周波数帯域成分に対して前記補正係数を設定する設定手段と、
前記画像差分値の各周波数帯域成分と、前記設定手段により設定されたそれぞれの周波数帯域成分に対応する補正係数とを乗算することにより、各周波数帯域成分を補正する補正手段と、
補正された前記画像差分値の各周波数帯域成分を積算することにより、前記入力画像からノイズが除去された前記出力画像を出力する除去手段と
を備えるノイズ除去装置。 - 入力画像と、前記入力画像からノイズを除去した結果として既に得られている出力画像との差分である画像差分値を演算し、
前記画像差分値を周波数帯域分割して、その各周波数帯域成分を出力し、
前記画像差分値の低周波数成分に基づいて、前記入力画像の動き量を検出し、
前記画像差分値の高周波数成分に基づいて、前記入力画像のノイズに関するノイズ情報を検出し、
前記画像差分値の各周波数帯域成分と比較する閾値を、前記動き量、および前記ノイズ情報に基づいて決定し、
前記画像差分値の各周波数帯域成分と、前記閾値とを比較し、
前記画像差分値の各周波数帯域成分と、当該画像差分値の各周波数成分を補正するための補正係数との関係を表す特性曲線又は直線を、前記閾値に基づいて決定し、
前記画像差分値の各周波数帯域成分のうち、前記閾値よりも大きいものは前記補正係数を０に設定し、前記閾値以下のものは、前記画像差分値の各周波数帯域成分が当該閾値から０まで連続的に変化する前記特性曲線又は直線に基づいてそれぞれの周波数帯域成分に対して前記補正係数を設定し、
前記画像差分値の各周波数帯域成分と、前記設定手段により設定されたそれぞれの周波数帯域成分に対応する補正係数とを乗算することにより、各周波数帯域成分を補正し、
補正された前記画像差分値の各周波数帯域成分を積算することにより、前記入力画像からノイズが除去された前記出力画像を出力する
ノイズ除去方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32807198A JP4596496B2 (ja) | 1998-11-18 | 1998-11-18 | ノイズ除去装置およびノイズ除去方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32807198A JP4596496B2 (ja) | 1998-11-18 | 1998-11-18 | ノイズ除去装置およびノイズ除去方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000152036A JP2000152036A (ja) | 2000-05-30 |
| JP4596496B2 true JP4596496B2 (ja) | 2010-12-08 |
Family
ID=18206197
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP32807198A Expired - Fee Related JP4596496B2 (ja) | 1998-11-18 | 1998-11-18 | ノイズ除去装置およびノイズ除去方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4596496B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4677753B2 (ja) | 2004-10-01 | 2011-04-27 | 株式会社ニコン | 動画像処理装置及び方法 |
| JP4842316B2 (ja) | 2006-04-07 | 2011-12-21 | 三菱電機株式会社 | ノイズ除去装置及びノイズ除去方法 |
| US8711249B2 (en) * | 2007-03-29 | 2014-04-29 | Sony Corporation | Method of and apparatus for image denoising |
| JP2009094784A (ja) * | 2007-10-09 | 2009-04-30 | Sanyo Electric Co Ltd | ノイズ低減処理装置、ノイズ低減処理方法、及び電子機器 |
| JP5084804B2 (ja) * | 2009-10-01 | 2012-11-28 | 三菱電機株式会社 | ノイズ除去装置、ノイズ除去方法、および映像信号表示装置 |
-
1998
- 1998-11-18 JP JP32807198A patent/JP4596496B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000152036A (ja) | 2000-05-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4127638B2 (ja) | イメージセンサ出力データ処理装置及び処理方法 | |
| US5111511A (en) | Image motion vector detecting apparatus | |
| US20080199101A1 (en) | Image Processing Apparatus and Image Processing Program | |
| US7702173B2 (en) | Image processing method, image processing apparatus and image processing program | |
| EP1847957A2 (en) | Noise reduction apparatus of frame recursive type | |
| WO2005111933A1 (ja) | 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体 | |
| WO2005117455A1 (ja) | Ｒａｗデ－タから倍率色収差を検出する画像処理装置、画像処理プログラム、および電子カメラ | |
| JP3309941B2 (ja) | ノイズ検出回路、ノイズ除去回路及び輪郭強調回路 | |
| WO2006041152A1 (ja) | ブロックノイズ低減装置および画像表示装置 | |
| US7649557B2 (en) | Apparatus for processing a digital image signal and methods for processing a digital image signal | |
| US6999130B2 (en) | Luminance signal/chrominance signal separation device, and luminance signal/chrominance signal separation method | |
| JP4596496B2 (ja) | ノイズ除去装置およびノイズ除去方法 | |
| US8345163B2 (en) | Image processing device and method and image display device | |
| US7573530B2 (en) | Method and system for video noise reduction based on moving content detection | |
| JPS6149581A (ja) | ビデオ信号処理装置 | |
| JP2009194721A (ja) | 画像信号処理装置、画像信号処理方法、及び撮像装置 | |
| JPH07118813B2 (ja) | カラー映像信号エンコード方法 | |
| US7457475B2 (en) | Edge detecting apparatus, noise eliminating apparatus, edge detecting method, and noise eliminating method and program | |
| US7671925B2 (en) | Circuits, methods, and computer program products for reducing cross-color artifacts in video data | |
| JP2507154B2 (ja) | フィルタ装置 | |
| US8346021B2 (en) | Content adaptive scaler based on a farrow structure | |
| JPH0562876B2 (ja) | ||
| JP3379472B2 (ja) | 適応型ｙｃ分離のための動き検出回路及びその動き検出方法 | |
| JP3429615B2 (ja) | 画像信号のノイズ低減回路 | |
| JP3168660B2 (ja) | 走査変換方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050805 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080131 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080204 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080402 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080424 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080619 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080709 |
|
| A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20080808 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100917 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131001 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |