JP5933690B2 - 画像処理装置及び方法、並びに画像処理プログラム - Google Patents

Description

この発明は、ディジタルカメラなどにおいて入力画像に混入するノイズを除去する画像処理装置及び方法、並びに画像処理プログラムに関するものである。

ＣＣＤ等の撮像素子を備えたディジタルカメラなどの画像入力装置、およびこの種の画像入力装置から入力した画像を表示するディスプレイなどの画像出力装置では、画像入力系あるいは画像伝送系において画像データにノイズが混入する。この種のノイズは、装置内で画像処理により除去されるのが一般的である。こうした画像入力装置或いは画像出力装置において混入したノイズを除去する従来の方法について説明する。

ノイズを除去する最も平易で一般的な方法としては、画像処理対象である画素（以下、注目画素と称する）を中心にした複数画素からなる処理ウィンドウを構成し、処理ウィンドウ内の周辺画素の画素値と注目画素の画素値を重み付け加算することによりローパスフィルタをかけるという技術がある。しかしながら、この方法を用いた場合、ノイズ以外の画像に存在する有意なエッジに対しても一律にローパスフィルタがかかるため、画像の解像度を低下させてしまうという問題がある。

また、他の方法として、処理ウィンドウに対して、プレヴィット（Ｐｒｅｗｉｔｔ）フィルタやゾーベル（Ｓｏｂｅｌ）フィルタをかけることでエッジを検出し、注目画素が画像中の有意なエッジであると判断した場合にはローパスフィルタの強度を弱め、あるいは周辺に存在するエッジに沿う方向にローパスフィルタをかけることで、画像の解像度低下を抑えながらノイズを除去するという技術が提案されている（例えば特許文献１参照）。

特開２００２−１８５７９５号公報

上記特許文献１に記載の方法は、特定方向に連続するノイズをエッジとして誤判定したり、被写体中に存在する模様をノイズと誤判定することがあるため、解像度の低下を引き起こし、またノイズ低減を十分に行えないという問題がある。

この発明は、上記問題点を解決するためになされたもので、解像度を低下させることなくノイズ低減を行うことを可能にすることを目的とする。

この発明に係る画像処理装置は、
複数フレームの時系列で構成される動画像を入力画像として、
注目フレームの注目画素を中心とし、複数の画素からなる処理ウィンドウ内で、前記注目画素と、前記注目画素に対して、それぞれ互いに異なる１次元方向に整列した画素とを用いたローパスフィルタ値を１次元方向ローパスフィルタ値として算出する複数の１次元ローパスフィルタと、
前記処理ウィンドウに対して、前記注目画素とその周囲の画素とを用いたローパスフィルタ値を周辺ローパスフィルタ値として出力する周辺ローパスフィルタと、
前記注目フレームの前記注目画素の画素値と、前記注目フレーム以外の１以上のフレームの中で前記注目画素に対応する位置の画素の画素値とに基づいて、前記注目画素についての代表値を求める代表値算出部と、
前記１次元方向ローパスフィルタ値の各々と前記代表値の差分の絶対値を算出し、算出された前記差分の絶対値であって、所定の条件を満たすもののうちの最小値を注目画素のノイズレベルとして出力するノイズレベル検出部と、
前記ノイズレベルを受けて、予め設定された入出力特性により、該ノイズレベルに対応するノイズ低減係数を生成するＮＲ係数生成部と、
前記ノイズ低減係数を用いて前記注目画素の画素値と前記周辺ローパスフィルタ値を重み付け加算するＮＲ処理部とを備える
ことを特徴とする。

この発明によれば、本来のエッジによる画素値の変化とノイズを分別せずに周辺ローパスフィルタ値と注目画素の画素値との混合比を調整できるように構成したため、解像度を低下させることなくノイズ低減を行うことが可能となり、高画質の画像を得ることができる。

この発明の実施の形態１による画像処理装置を示すブロック図である。 実施の形態１に係る第１のＬＰＦによるフィルタ処理の方法を示す説明図である。 実施の形態１に係る第２のＬＰＦによるフィルタ処理の方法を示す説明図である。 実施の形態１に係る第３のＬＰＦによるフィルタ処理の方法を示す説明図である。 実施の形態１に係る第４のＬＰＦによるフィルタ処理の方法を示す説明図である。 実施の形態１に係る２次元ＬＰＦによるフィルタ処理の方法を示す説明図である。 実施の形態１に係るＮＲ係数生成部３４の入出力特性の一例を表す線図である。 （ａ）及び（ｂ）は、実施の形態１に係るノイズ低減処理の前後の画像信号を示す説明図である。 この発明の実施の形態２による画像処理装置を示すブロック図である。 実施の形態２に係る補正係数生成部の入出力特性の一例を表す線図である。 この発明の実施の形態３に係る画像処理装置を示すブロック図である。 実施の形態３に係る２番目に小さい方向のノイズレベルと最小となる方向のノイズレベルに対する第１の補間係数の特性の一例を表す線図である。 実施の形態３に係る最小となる方向のノイズレベルに対する第２の補間係数の特性の一例を表す図である。

実施の形態１．
図１は、この発明の実施の形態１による画像処理装置の機能構成を示す。
図示の画像処理装置は、例えば図示しない撮像素子などの画像入力系、或いは画像伝送系から供給される、複数フレームの時系列で構成される動画像を入力画像とするものである。画像は、水平方向（ライン方向）及び垂直方向（縦方向）に、即ちマトリクス状に配列された画素から成り、入力画像データは、画像を構成する画素の画素値を表すデータをラスター順に並べたもので構成される。

以下では、入力画像は、ベイヤ配列された色フィルタを備えた画素を有する単板カラーデジタルカメラから入力された画像であり、撮像素子からはＲ、Ｇｒ、Ｇｂ、Ｂの４色の撮影色の画像信号が画素の配列順に従って順に入力される場合を想定している。

図示の画像処理装置は、ラインメモリ１０と、第１及び第２のフレームメモリ１１及び１２と、第１乃至第４の１次元ローパスフィルタ（以下、ローパスフィルタをＬＰＦと称する）２１〜２４と、２次元ローパスフィルタ（ＬＰＦ）２５と、メディアンフィルタ３０と、ノイズレベル検出部３２と、ＮＲ係数生成部３４と、ＮＲ処理部３６とを有する。

ラインメモリ１０は、入力画像データＰ（ｘ，ｙ）を受けて所定ライン数分だけ画像データを保持する。ここで所定ライン数Ｎは例えば１７である。

ラインメモリ１０に保持されているＮラインのうちの中央のライン中の画素が順次注目画素として選択され、選択された注目画素を中心として縦方向Ｎライン、横方向Ｍ画素の矩形の領域を処理ウィンドウとして、この処理ウィンドウ内の所定の画素が、それぞれ第１乃至第４の１次元ＬＰＦ２１〜２４、及び２次元ＬＰＦ２５に出力される。
以下で説明する例では、ＭもＮと同じく１７である。
ラインメモリ１０から読み出される注目画素の入力画像データは、ラインメモリ１０に入力された入力画像データに対しておよそ（Ｎ／２）ライン分の遅れを有するが内容が同じであるので同じ符号Ｐ（ｘ，ｙ）で表す。

第１及び第２のフレームメモリ１１及び１２は、各々画像データを１フレーム分蓄える容量を有し、ラインメモリ１０に保持されているデータのうちの、注目画素のデータを、各々１フレーム期間遅延させて出力するための遅延部として用いられている。この結果、第１のフレームメモリ１１からは現フレームの１フレーム前の画像データが出力され、第２のフレームメモリ１２からは現フレームの２フレーム前の画像データが出力される。

１次元ＬＰＦ２１〜２４は、入力画像データの注目画素を中心とし、水平１７画素、垂直１７画素からなる処理ウィンドウに対して、それぞれ異なる１次元方向（０度、４５度、９０度、１３５度）のＬＰＦ値Ｌａ（ｘ，ｙ）、Ｌｂ（ｘ，ｙ）、Ｌｃ（ｘ，ｙ）、Ｌｄ（ｘ，ｙ）を算出する。
つまり、複数のＬＰＦ２１〜２４は、注目フレームの注目画素を中心とし、複数の画素からなる処理ウィンドウ内で、注目画素と、注目画素に対して、それぞれ互いに異なる１次元方向に整列した画素とを用いたローパスフィルタ値を算出する。

図２は、処理ウィンドウに対して０度方向のフィルタ処理で用いられる画素を示す。中心に位置する画素は注目画素Ｐ（ｘ,ｙ）である。第１のＬＰＦ２１では、注目画素Ｐ（ｘ,ｙ）を含む０度方向（水平方向）に整列した画素（斜線を施した画素）を用いてフィルタリングを行う。
入力画像を構成する画素は、ベイヤ配列された色フィルタを持つものであり、各注目画素についてフィルタ処理を行う場合には、注目画素の周囲の画素（ウィンドウ内の画素）のうちの同色のもののみが用いられる。以下で説明する第２乃至第４のＬＰＦ２２〜２４、及び２次元ＬＰＦ２５についても同様である。

第２のＬＰＦ２２では、図３に示すように、注目画素Ｐ（ｘ,ｙ）を含む４５度方向（水平方向に対して反時計回りに４５度回転した方向）に整列した画素（斜線を施した画素）を用いてフィルタリングを行う。
第３のＬＰＦ２３では、図４に示すように、注目画素Ｐ（ｘ,ｙ）を含む９０度方向（垂直方向）に整列した画素（斜線を施した画素）を用いてフィルタリングを行う。
第４のＬＰＦ２４では、図５に示すように、注目画素Ｐ（ｘ,ｙ）を含む１３５度方向（水平方向に対して反時計回りに１３５度回転した方向）に整列した画素（斜線を施した画素）を用いてフィルタリングを行う。
１次元ＬＰＦ２１〜２４の各々では、例えば注目画素を含む１次元方向の画素（フィルタリングに用いられる画素）の画素値の単純平均を算出することで、各方向の平均画素値Ｌａ（ｘ，ｙ）、Ｌｂ（ｘ，ｙ）、Ｌｃ（ｘ，ｙ）、Ｌｄ（ｘ，ｙ）を算出し、それぞれ１次元方向のＬＰＦ値として出力する。

２次元ＬＰＦ２５は、注目画素を中心とする処理ウィンドウ内の画素を用いて２次元方向のＬＰＦ値を算出する。実施の形態１では、２次元ＬＰＦ２５は、周辺ローパスフィルタである。
図６は、処理ウィンドウに対するＬＰＦ演算で用いられる画素を斜線で示している。図６に示す例では、２次元方向のＬＰＦ値として、１７画素×１７画素からなる処理ウィンドウ内の注目画素及び注目画素と同じ色の画素を用い、それらの全ての平均値Ｐｆ（ｘ,ｙ）を式（１）に従って算出する。

式（１）において（ｘ，ｙ）は注目画素の座標を表す。
各画素の座標は、画像の左上隅を（０，０）とし、右方向に１画素間隔進むごとにｘが１増加し、下方向に１画素間隔進むごとにｙが１増加する。

メディアンフィルタ３０は、ラインメモリ１０から出力される画像データ中の現フレームの注目画素の画素値（信号レベル）Ｐ（ｘ,ｙ）_ｔと、第１のフレームメモリ１１から出力される１フレーム前の注目画素の画素値Ｐ（ｘ,ｙ）_ｔ−１と、第２のフレームメモリ１２から出力される２フレーム前の注目画素の画素値Ｐ（ｘ,ｙ）_ｔ−２の中間値(中央値)Ｐｍ（ｘ，ｙ）を算出し、これを注目画素の代表値として出力する。
メディアンフィルタ３０によって代表値算出部が構成されている。
つまり、代表値算出部３０は、注目フレームの注目画素の画素値Ｐ（ｘ,ｙ）_ｔと、注目フレーム以外の１以上のフレームの中で注目画素に対応する位置の画素の画素値とに基づいて時間軸方向のフィルタリングを行うことで、注目画素についての代表値を求める。
また、代表値は、注目画素及びこれに対応する位置の画素を用いた時間軸方向のフィルタリングを行うことにより得られた値である。また、ここでは、代表値は中間値Ｐｍ（ｘ，ｙ）である。
なお、現フレームを特定するための添え字「ｔ」は、フレームを区別する必要がない場合には、省略する。

ノイズレベル検出部３２は、１次元ＬＰＦ２１〜２４によりそれぞれ算出された１次元方向のＬＰＦ値Ｌａ（ｘ，ｙ）〜Ｌｄ（ｘ，ｙ）の各々と、メディアンフィルタ３０から出力される注目画素の代表値Ｐｍ（ｘ，ｙ）との差分の絶対値ＡＤａ（ｘ,ｙ）、ＡＤｂ（ｘ,ｙ）、ＡＤｃ（ｘ,ｙ）、ＡＤｄ（ｘ,ｙ）を算出し、算出された差分の絶対値の中の最小値ＡＤｍｉｎ（ｘ,ｙ）を、注目画素のノイズレベルＮＬ（ｘ,ｙ）として出力する。
つまり、ノイズレベル検出部３２は、１次元方向のローパスフィルタ値Ｌａ（ｘ，ｙ）〜Ｌｄ（ｘ，ｙ）の各々と代表値Ｐｍ（ｘ，ｙ）の差分の絶対値ＡＤａ（ｘ,ｙ），ＡＤｂ（ｘ,ｙ），ＡＤｃ（ｘ,ｙ），ＡＤｄ（ｘ,ｙ）を算出し、算出された差分の絶対値ＡＤａ（ｘ,ｙ），ＡＤｂ（ｘ,ｙ），ＡＤｃ（ｘ,ｙ），ＡＤｄ（ｘ,ｙ）であって、所定の条件を満たすもののうちの最小値ＡＤｍｉｎ（ｘ,ｙ）を注目画素のノイズレベルＮＬ（ｘ,ｙ）として出力する。

上記の差分の絶対値ＡＤａ（ｘ,ｙ）、ＡＤｂ（ｘ,ｙ）、ＡＤｃ（ｘ,ｙ）、ＡＤｄ（ｘ,ｙ）は、それぞれ以下の式（２ａ）〜（２ｄ）で表される。
ＡＤａ（ｘ,ｙ）＝｜Ｌａ（ｘ，ｙ）−Ｐｍ（ｘ,ｙ）｜ …（２ａ）
ＡＤｂ（ｘ,ｙ）＝｜Ｌｂ（ｘ，ｙ）−Ｐｍ（ｘ,ｙ）｜ …（２ｂ）
ＡＤｃ（ｘ,ｙ）＝｜Ｌｃ（ｘ，ｙ）−Ｐｍ（ｘ,ｙ）｜ …（２ｃ）
ＡＤｄ（ｘ,ｙ）＝｜Ｌｄ（ｘ，ｙ）−Ｐｍ（ｘ,ｙ）｜ …（２ｄ）
ノイズレベル検出部３２では、上記の差分絶対値ＡＤａ（ｘ,ｙ）〜ＡＤｄ（ｘ,ｙ）のうちの最小値ＡＤｍｉｎ（ｘ,ｙ）を注目画素のノイズレベルＮＬ（ｘ,ｙ）として出力する。

ＮＲ係数生成部３４は、ノイズレベル検出部３２で検出されたノイズレベルＮＬ（ｘ，ｙ）を受け、予め設定された入出力特性により、ノイズ低減係数（ＮＲ係数）Ｋｆ（ｘ，ｙ）を生成する。
つまり、ＮＲ係数生成部３４は、ノイズレベルＮＬ（ｘ,ｙ）を受けて、予め設定された入出力特性により、ノイズレベルＮＬ（ｘ,ｙ）に対応するノイズ低減係数Ｋｆ（ｘ，ｙ）を生成する。
ＮＲ係数生成部３４の入出力特性の一例が図７に示されている。図示の例では、入力画像データの画素値が０から４０９５までの値を取ることに対応して、検出したノイズレベルも０から４０９５までの値を取ることを想定している。
検出したノイズレベルに対して、ＮＲ係数のレンジを０〜６４までの６５段階で定義し、検出されたノイズレベルＡＤｍｉｎ（ｘ,ｙ）が大きいほどノイズ低減の度合いを強め、ノイズレベルＡＤｍｉｎ（ｘ,ｙ）が小さいほどノイズ低減の度合いを弱める特性を示している。

図７に示す例では、ノイズレベルＮＬ（ｘ，ｙ）がＤＭＩＮＸ未満ではＮＲ係数Ｋｆ（ｘ，ｙ）は、ＤＭＩＮＹに固定されており、ノイズレベルＮＬ（ｘ，ｙ）がＤＭＩＮＸからＤＭＡＸＸまでの範囲では、ＮＲ係数Ｋｆ（ｘ，ｙ）は、ＤＭＩＮＹからＤＭＡＸＹまでノイズレベルＮＬ（ｘ，ｙ）の増加とともに増加し、ノイズレベルＮＬ（ｘ，ｙ）が第２の所定値ＤＭＡＸＸを超える範囲では、ＮＲ係数Ｋｆ（ｘ，ｙ）は、ＤＭＡＸＹに固定されている。
入出力特性を規定するＤＭＩＮＸ、ＤＭＡＸＸ、ＤＭＩＮＹ、ＤＭＡＸＹは、画像入力装置における撮影条件に応じて予め設定しておく。

ＮＲ処理部３６では、ＮＲ係数生成部３４で画素毎に算出されたＮＲ係数Ｋｆ（ｘ，ｙ）を用いて注目画素の画素値Ｐ（ｘ，ｙ）と該注目画素についての２次元方向のＬＰＦ値Ｐｆ（ｘ，ｙ）を、下記の式（３）で示すように重み付け加算する。
Ｐｂ（ｘ,ｙ）
＝（Ｋｆ（ｘ，ｙ）×Ｐｆ（ｘ,ｙ）＋（６４−Ｋｆ（ｘ，ｙ））×Ｐ（ｘ,ｙ））／６４
…（３）
つまり、ＮＲ処理部３６は、ノイズ低減係数Ｋｆ（ｘ，ｙ）を用いて注目画素の画素値Ｐ（ｘ，ｙ）と周辺ローパスフィルタ値Ｐｆ（ｘ，ｙ）を重み付け加算する。
式（３）で示すように、２次元方向のＬＰＦ値Ｐｆ（ｘ,ｙ）をＮＲ係数Ｋｆ（ｘ，ｙ）で重み付けし、注目画素の画素値Ｐ（ｘ,ｙ）を（６４−Ｋｆ（ｘ，ｙ））で重み付けする。
式（３）の演算の結果得られた値Ｐｂ（ｘ，ｙ）は、ノイズ低減処理後の画素値Ｐｂ（ｘ，ｙ）としてＮＲ処理部３６から出力される。
レベルＮＬ（ｘ,ｙ）として出力する。

このような処理を行うことにより、各画素について求めたノイズレベルＮＬ（ｘ,ｙ）＝ＡＤｍｉｎ（ｘ,ｙ）が大きいほど、各画素についてのＮＲ係数Ｋｆ（ｘ，ｙ）が大きくなり、２次元ＬＰＦ値Ｐｆ（ｘ,ｙ）の混合比が大きくなり、ノイズ低減（ＮＲ）効果が強まる。差分絶対値の最小値ＡＤｍｉｎ（ｘ,ｙ）が大きいことは、画素値の変化に方向性のあるエッジではなく、画素値の変化に方向性のないノイズであることを示す。
つまり、ＮＲ処理部３６は、ノイズ低減係数Ｋｆ（ｘ，ｙ）が大きいほど、周辺ローパスフィルタ値Ｐｆ（ｘ，ｙ）に対する重みをより大きくする。

上記一連の処理に関し、処理ウィンドウのＲ、Ｇｒ、Ｇｂ、Ｂの４つの撮影色のうち一つの色のみについて説明したが、他の各色に対しても同様に行う。
４つの撮影色についてそれぞれ同様の処理を行うためには、図１のＬＰＦ２１〜２５、メディアンフィルタ３０、ノイズレベル検出部３２、ＮＲ係数生成部３４、及びＮＲ処理部３６をそれぞれ別個に（撮影色毎に）設けても良く、同じ回路で順番に処理することとしても良い。

以上のようにノイズ低減処理を行うことにより、解像度を損なうことなく画面全体のノイズレベルの均一化を図ることができるため、高画質なノイズ低減効果が得られる。

図８（ａ）及び（ｂ）は、上記ノイズ低減処理の前後の画像信号の例を示す。簡単のため、１次元信号として示している。
図８（ａ）は、図１の画像処理装置に入力される画像信号を示す。図において、破線で記載した信号は本来被写体が持つ画素値の変化を示しているが、画像処理装置の入力側の撮像素子、増幅回路等のアナログ回路で混入したノイズの影響で実線のような信号として入力されている。
図８（ｂ）は、図８（ａ）の信号に対して図７の入出力特性によりノイズ低減処理を行った後の画像信号を示す。
図８（ａ）及び（ｂ）から、ノイズ信号が抑圧され、一方、本来画像内に含まれるエッジが保持されていることが確認できる。これは、ノイズレベル検出部３２において０度〜１３５度の１次元方向のＬＰＦ値の各々と注目画素の代表値の差分絶対値を算出し、その最小値を注目画素のノイズレベルＮＬ（ｘ,ｙ）とすることで、ノイズレベルを正確に検出し、検出されたノイズレベルに応じた強さでノイズ低減処理を行っているためである。

以上のように、この実施の形態１によれば、注目画素を中心とした複数画素からなる処理ウィンドウに対して、注目画素を含むそれぞれ異なる１次元方向の複数のＬＰＦ値を算出すると共に、上記処理ウィンドウに対して、注目画素を含む２次元方向のＬＰＦ値を算出し、注目画素については複数フレーム間での代表値を算出し、それぞれの１次元方向のＬＰＦ値と代表値の差分絶対値を算出し、算出された差分絶対値のうちの最小値を注目画素のノイズレベルＮＬ（ｘ,ｙ）として検出し、予め設定した入出力特性により、ノイズレベルＮＬ（ｘ,ｙ）に対応するＮＲ係数Ｋｆ（ｘ，ｙ）を生成し、生成したＮＲ係数Ｋｆ（ｘ，ｙ）を用いて注目画素の画素値Ｐ（ｘ，ｙ）と２次元方向ＬＰＦ値Ｐｆ（ｘ，ｙ）を重み付け加算することでノイズ低減を行うようにしている。

このように、ノイズレベルを正確に検出することができるように構成したため、解像度を低下させることなくノイズ低減を行うことが可能となり、高画質の画像を得ることができる。さらに、時間軸方向を参照して代表値、例えば中間値を求めることにより、ノイズ除去性能及びエッジ保存性能が向上するとともに、時間軸方向で参照する画素数は最小限であるため、小規模な回路で実現できる。

また、注目画素のノイズレベルＮＬ（ｘ,ｙ）の検出は、画像中に本来存在するエッジと撮像系で付加されたノイズを区別することなくレベル抑圧を行う構成にしたため、Ｓｏｂｅｌフィルタなどを用いて画像中のエッジとノイズを区別してノイズのみにノイズ低減を行う構成に比べて、粒状感が均一で、かつノイズレベルが低い画像を出力することが可能になる。

また、実施の形態１によれば、メディアンフィルタ３０で算出した現フレームの注目画素、１フレーム前の注目画素及び、２フレーム前の注目画素の各画素値の中間値は、ノイズレベルの検出のみで使用し、ＮＲ処理部３６での重み付け加算では使用しない。このように構成することで、ノイズ低減処理後の画像には現フレームの画素のみが使用されることになり、現フレームと１フレーム前との間で動きがある被写体を撮影した場合でも、現フレームの画素のみが使用されることにより、動きのある被写体でもブレが生じることなくノイズ低減処理を行うことができる。

なお、上記の例では、単板カラーセンサを使用して撮影した画像の全撮影色に対して一律な入出力特性によりＮＲ係数を生成しているが、本発明はこれに限定されず、入力画像の撮影色毎に（色成分毎に）異なる入出力特性を用いる構成としてもよい。これにより、色成分毎の画像入力系又は画像伝送系の特性に応じて、従って、入力画像の特性に応じて最適なノイズ低減を行うことができる。
つまり、入力画像Ｐ（ｘ，ｙ）が複数の色成分を含むものであり、ＮＲ係数生成部３４は、入力画像Ｐ（ｘ，ｙ）の色成分毎に入力画像Ｐ（ｘ，ｙ）の特性に応じた入出力特性で色成分毎のノイズ低減係数Ｋｆ（ｘ，ｙ）を生成する。
また、入力画像Ｐ（ｘ，ｙ）が複数の色成分を含むものであり、
補正係数Ｋｆ（ｘ，ｙ）は、入力画像Ｐ（ｘ，ｙ）の色成分毎に生成されるものであり、入力画像Ｐ（ｘ，ｙ）の特性に応じて異なる入出力特性で生成される。ここで、補正係数は、ノイズ低減係数Ｋｆ（ｘ，ｙ）である。

また、上記の例では、１次元ローパスフィルタ２１〜２４で、処理ウィンドウ内に位置し、所定方向に並んだ、同じ色の画素を全て用いＬＰＦ値を算出し、２次元ローパスフィルタ２５で、処理ウィンドウ内の同じ色の画素をすべて用いて、ＬＰＦ値を算出しているが、本発明はこれに限定されず、メディアンフィルタ３０で算出した中間値と比較的近い画素値を持つ（すなわち、所定のレベル差内にある）画素値のみを選択してＬＰＦ値の算出に用いる構成にしてもよい。これにより、注目画素と明らかに特徴が異なる領域が処理ウィンドウ内に含まれていた場合に、異なる領域の特徴を排除した演算が可能になり、より高解像度のノイズ低減が可能になる。
つまり、１次元ローパスフィルタ２１〜２４と周辺ローパスフィルタ２５とは、処理ウィンドウ内で、代表値から所定のレベル差内にある画素値のみを選択してそれぞれのローパスフィルタ値を求める。

また、上記の例では、ノイズレベル検出部３２でノイズレベルＮＬ（ｘ,ｙ）を検出する際、それぞれの１次元方向のＬＰＦ値と注目画素の代表値（中間値）との差分絶対値のうちの、最小値をノイズレベルＮＬ（ｘ,ｙ）と推定したが、本発明はこれに限定されず、第１乃至第４の１次元ＬＰＦ２１〜２４で算出したＬＰＦ値のうちの最小のものと最大のものを用いて、最小のものに対応するフィルタリング方向が最大のものに対応するフィルタリング方向と直交方向であった場合に最小のものに対応するフィルタリング方向を真のエッジ方向と判定し、該最小のものをノイズレベルと推定するように構成してもよい。
この場合、例えば、最小のものに対応するフィルタリング方向が最大のものに対応するフィルタリング方向と直交しないときは、最小のものの代わりに２番目に小さいものに対応するフィルタリング方向が、最大のものに対応するフィルタリング方向と直交するかどうかを判断し、直交していれば、２番目に小さいものをノイズレベルであるとして処理を行う。２番目に小さいものに対応するフィルタリング方向も最大のものに対応するフィルタリング方向と直交していなければ３番目に小さいものを調べる。一般化して言えば、Ｎ番目（Ｎは２以上の整数）に小さいものまで順に調べ、最初に最大のものに対応するフィルタリング方向に直交するとの条件を満たした差分絶対値をノイズレベルであるとして処理する。Ｎ番目まで調べても、最大のものに対応するフィルタリング方向に直交するとの条件が満たされないときは、元のルールに戻り、最小のものがノイズレベルであるとして処理をする。
以上の処理は、複数の１次元方向のＬＰＦ値から、所定の条件を満たすもののうちで代表値との差分絶対値が最小のものを抽出して、ノイズレベルとして用いる処理であると言える。
このように、複数のエッジ方向からノイズレベルＮＬ（ｘ,ｙ）を検出する処理を行うことにより、ランダムノイズの影響で誤った方向のノイズレベル絶対値が選択される可能性が減少し、より正確なノイズレベルを算出することが可能になる。

また、上記の例では、ＮＲ係数生成部３４で算出するＮＲ係数を６５段階で算出しているが、本発明はこれに限定されず、ＮＲ係数の段階数は、入力画像のビット幅等の要因によって任意に決定し得る。

また、上記の例では、１次元方向のＬＰＦ値の各々および２次元方向のＬＰＦ値を、注目画素及びその周囲の画素の画素値の単純平均により算出しているが、本発明はこれに限定されず、注目画素の周囲の画素の各々に対して注目画素からの距離に応じた重みを付けて平均を算出するように構成してもよい。これによって、注目画素に近い画素の特徴量を重んじた算出が可能になり、特に比較的ノイズが少ない条件で、より正確なノイズレベル検出が可能になる。

また、上記の例では、ＮＲ係数Ｋｆ（ｘ，ｙ）に基づいてＮＲ処理部３６で注目画素の画素値Ｐ（ｘ,ｙ）と２次元方向のＬＰＦ値Ｐｆ（ｘ,ｙ）とを重み付け加算しているが、本発明はこれに限定されず、２次元方向のＬＰＦ値Ｐｆ（ｘ，ｙ）の代わりに、例えば差分絶対値が最小であった方向の１次元ＬＰＦ値（Ｌａ（ｘ，ｙ）〜Ｌｄ（ｘ，ｙ）のいずれか）を重み付け加算に用いることとしても良い。この場合は２次元方向のＬＰＦ値Ｐｆ（ｘ，ｙ）を用いる場合に比べて狭い範囲でのフィルタ値を用いた重み付け加算になるため、入力画像に比較的ノイズが少ない場合に特に解像度が完全に維持可能である点で有効である。
要するに、注目画素とその周辺の画素を用いたＬＰＦ値（周辺ローパスフィルタ値）を求めて、ＮＲ処理部３６における、注目画素の代表値との重み付け加算に用いれば良い。
つまり、周辺ローパスフィルタ２５は、処理ウィンドウに対して、注目画素とその周囲の画素とを用いたローパスフィルタ値を周辺ローパスフィルタ値として出力する。

また、上記の例では、２次元方向のＬＰＦ値を求めるための式（１）による平均値算出処理において、１７×１７画素からなる処理ウィンドウ内の同色画素を用いて演算しているが、本発明はこれに限定されず、実現する装置コストや入力される画像信号のＳ／Ｎ比などに基づいて他のウィンドウサイズを用いてもよい。また、この場合、式（１）の分母が２のべき乗になるような画素数の選択を行うことで、一般的な除算器（除数がどのような値であっても対応可能な除算器）を削減するようにしてもよい。
また、上記の例では、式（３）を用いたＮＲ処理において６４による除算を行っているが、６４以外の値で除算を行うようにしても良い。但し、除数が２のべき乗であれば、ハードウェアで実現する場合、ビットシフトにより除算を行うことができ、一般的な除算器は不要であり、ソフトウェアで実現する場合は演算の実行速度の向上が可能になる。

また、注目画素の代表値としてメディアンフィルタ３０で得られる中間値を用いるようにしたが、ラインメモリ１０から出力される画像データ中の現フレームの注目画素の画素値と、第１のフレームメモリ１１から出力される１フレーム前の注目画素の画素値と、第２のフレームメモリ１２から出力される２フレーム前の注目画素の画素値を基に平均値を求め、これを注目画素の代表値としてもよい。つまり、この場合には、代表値は平均値である。このため、代表値算出部は、平均値を算出する。

また、中間値、平均値以外の時間軸方向のフィルタリングの結果として得られる値を上記代表値として用いても良い。例えば、時間軸方向に巡回型フィルタを用いて得られた値を注目画素の代表値としてもよい。つまり、この場合には、代表値は巡回型フィルタで算出した値である。このため、代表値算出部は、巡回型フィルタである。

さらに、現フレームの画素値と、１フレーム前の画素値と、２フレーム前の画素値を求めたが、３フレーム以上前の過去のフレームの画素値をも用いて代表値を求めても良く、要するに、現フレームにおける注目画素の画素値と現フレーム以外の１以上のフレームにおける、注目画素と同じ２次元座標の画素とを用いた時間軸方向のフィルタリングの結果得られる値を用いれば良い。

なお、フレーム間で画像の動き（ずれ）が生じた場合には、動きを補償した上で、時間軸方向のフィルタリングを行っても良い。例えば、現フレームの注目画素と、現フレームの注目画素（と同じ画像部分を表す画素）が、過去の１又は２以上のフレームにおいて位置していたと推定される位置（動き元）の画素（注目画素に対応する画素）とを用いて、これらの代表値を求めれば良い。要するに、現フレームにおける注目画素と、過去のフレームにおける、上記注目画素に対応する画素を用いれば良い。
また、そのようにする代わりに、動きが発生した場合には、現フレーム以外のフレームの注目画素の画素値を用いずに、現フレームの注目画素の画素値を代表値として用いることとしても良い。

実施の形態２．
図９は、この発明の実施の形態２による画像処理装置の機能構成を示す。図９において、図１と同様の構成要素には同一符号を付す。
実施の形態１と同様の構成要素は、ラインメモリ１０、フレームメモリ１１，１２、メディアンフィルタ３０、１次元フィルタ２１，２２，２３，２４、２次元フィルタ２５、ノイズレベル検出部３２及びＮＲ処理部３６である。
実施の形態２は、補正係数生成部３８を設けた点、及び図１のＮＲ係数生成部３４の代わりに、ＮＲ係数生成部４４を設けた点で実施の形態１と異なる。

ＮＲ係数生成部４４は、ＮＲ係数算出部４４ａと、ＮＲ係数補正部４４ｂを備える。
ＮＲ係数算出部４４ａは、図１のＮＲ係数生成部３４と同様に構成され、同様の方法でＮＲ係数Ｋｆ（ｘ，ｙ）を生成する。
ＮＲ係数補正部４４ｂは、ＮＲ係数算出部４４ａから出力されるＮＲ係数Ｋｆ（ｘ，ｙ）を、補正係数生成部３８から出力される補正係数ｈｙ（ｘ，ｙ）に基づいて補正し、補正されたＮＲ係数Ｋｆｂ（ｘ，ｙ）を生成する。
具体的には、下記の式（４）で示すように、ＮＲ係数Ｋｆ（ｘ，ｙ）に補正係数ｈｙ（ｘ，ｙ）を乗算し、６４で割ることで、補正後のＮＲ係数Ｋｆｂ（ｘ，ｙ）を算出する。
Ｋｆｂ（ｘ，ｙ）＝Ｋｆ（ｘ，ｙ）×ｈｙ（ｘ，ｙ）／６４ …（４）
つまり、ＮＲ係数生成部４４は、ノイズレベル検出部３２で検出されたノイズレベルＮＬ（ｘ，ｙ）と、補正係数生成部３８で生成された補正係数ｈｙ（ｘ，ｙ）に基づいて、ＮＲ係数Ｋｆｂ（ｘ，ｙ）を生成する。式（４）に従って、補正後のＮＲ係数Ｋｆｂ（ｘ，ｙ）を算出することで、補正係数ｈｙ（ｘ，ｙ）が減少するほど、補正後のＮＲ係数Ｋｆｂ（ｘ，ｙ）も減少する。
つまり、補正係数ｈｙ（ｘ，ｙ）は、周辺ローパスフィルタ値Ｐｆ（ｘ，ｙ）が所定値よりも低い範囲で周辺ローパスフィルタ値Ｐｆ（ｘ，ｙ）の減少とともに、減少し、補正係数ｈｙ（ｘ，ｙ）が減少するほど、補正後のノイズ低減係数Ｋｆｂ（ｘ,ｙ）は減少する。

補正係数生成部３８は、２次元ＬＰＦ２５の出力Ｐｆ（ｘ,ｙ）により表される、各画素を中心とする周辺領域の画像の明るさ（色成分毎の明るさ乃至強度）に応じて、補正係数ｈｙ（ｘ，ｙ）を生成する。
補正係数生成部３８に入力される２次元ＬＰＦ２５の出力Ｐｆ（ｘ，ｙ）の値と補正係数ｈｙ（ｘ，ｙ）との関係（入出力特性)としては、例えば図１０に示されるものが用いられる。図示の例では、０から４０９５までの値を取る２次元ＬＰＦ値Ｐｆ（ｘ，ｙ）に対して、補正係数が取り得る値を０から１２８までの１２９段階とし、補正を行わない（補正後の係数Ｋｆｂ（ｘ，ｙ）を、補正前の係数Ｋｆ（ｘ，ｙ）に等しくする）場合には、補正係数の値が６４になるようにしている。これは、上記のように、補正係数の値を６４で割った値を、ＮＲ係数Ｋｆ（ｘ，ｙ）に掛けることで補正を行うこととしているためである。

図１０で符号ＮＲ１ＨＸとＮＲ１ＨＹは入出力特性を規定するために予め設定された値を示す。このうち値ＮＲ１ＨＸは、ＮＲ係数に対して補正を行う範囲の上限を決める上限値であり、上限値ＮＲ１ＨＸを大きくすればするほどＮＲ係数に対する補正の範囲が広くなる。値ＮＲ１ＨＹは、補正の度合いを決める値であり、値ＮＲ１ＨＹを小さな値にすればするほど、ＮＲ係数をより小さな値にするための補正の度合いが強くなる。

図１０の入出力特性を用いる場合、２次元ＬＰＦ値Ｐｆ（ｘ，ｙ）が上限値ＮＲ１ＨＸ未満の場合に、即ち画像の暗部において、ＮＲ係数生成部４４から出力されるＮＲ係数をより小さな値とし、ノイズ低減作用を弱めることができる。

なお、図１０のように、暗部で補正係数ｈｙ（ｘ，ｙ）を６４よりも小さな値にする代わりに、明部で（例えば所定の下限値よりも大きい範囲で）補正係数ｈｙ（ｘ，ｙ）を６４よりも大きな値にすることとしても良い。さらに、暗部で補正係数ｈｙ（ｘ，ｙ）を小さな値にするとともに、明部で補正係数ｈｙ（ｘ，ｙ）を６４よりも大きな値にすることとしても良い。

以上のように、この実施の形態２によれば、画像中の明部（各色の強い部分）や暗部（各色の弱い部分）において、ノイズ低減の度合いを変更することが可能になり、例えば入力画像の明るい領域に合わせてＮＲ係数を調整した場合に信号レベルの低い部分（暗部）がぼけてしまうなど、入力画像の明るさ（色の強度）の違いによる画質の低下を防ぐことができる。

なお、この実施の形態２の例では、２次元ＬＰＦ値Ｐｆ（ｘ，ｙ）に基づく補正を１２９段階で切り替え可能にしているが、本発明はこれに限定されず、切替の段階数は、例えば撮像素子の特性に依存する入力画像の特性に応じて変えることができる。また、式（４）では補正係数ｈｙ（ｘ，ｙ）を６４で除算した値を係数Ｋｆ（ｘ，ｙ）に乗算することとしているが、本発明はこれに限定されず、６４以外の値で除算することとしても良い。但し、除算に用いる値を２のべき乗にすれば、ビットシフトにより、係数Ｋｆ（ｘ，ｙ）に乗算する値を求めることができ、ハードウェアで処理を行なう場合は一般的な除算器を削減できるため回路規模の簡略化が可能になり、また、ソフトウェアで処理を行う場合は処理速度の高速化が可能になる。

また、実施の形態２の例では、単板カラーセンサを使用して撮影した画像に対し各色の画素値（各色の強度）に基づく補正を全撮影色に対して一律に行っているが、本発明はこれに限定されず、撮影色毎に（色成分毎に）異なる入出力特性で補正係数を生成する構成としてもよい。これにより、色成分毎の画像入力系又は画像伝送系の特性に応じて、従って、入力画像の特性に応じて最適なノイズ低減処理を行うことができる。

色成分毎に補正係数を生成するためには、実施の形態１に関して説明したのと同様に、図９のＬＰＦ２１〜２５、メディアンフィルタ３０、ノイズレベル検出部３２、ＮＲ係数生成部４４、ＮＲ処理部３６及び補正係数生成部３８をそれぞれ別個に（撮影色毎に）設けても良く、同じ回路で順番に処理することとしても良い。

実施の形態３．
図１１は、この発明の実施の形態３による画像処理装置の機能構成を示す。図１１において、図９と同様の構成要素には同一符号を付す。
実施の形態２（図９）と同様の構成要素は、ラインメモリ１０、フレームメモリ１１，１２、メディアンフィルタ３０、１次元フィルタ２１，２２，２３，２４、及び２次元フィルタ２５である。
実施の形態３の画像処理装置は、図９のノイズレベル検出部３２、ＮＲ処理部３６、及びＮＲ係数生成部４４の代わりに、ノイズレベル検出部３７、ＮＲ処理部３９、ＮＲ係数生成部４５を備える。ノイズレベル検出部３７、ＮＲ処理部３９、ＮＲ係数生成部４５は、それぞれ概してノイズレベル検出部３２、ＮＲ処理部３６、及びＮＲ係数生成部４４と同じであるが、以下のような差異がある。特に、ＮＲ処理部３９は、後に詳しく述べるように、第１の１次元ＬＰＦ〜第４の１次元ＬＰＦの出力を参照する点でＮＲ処理部３６と異なる。

また、実施の形態２では、ＮＲ係数算出部４４ａでＮＲ係数Ｋｆ（ｘ，ｙ）のみを算出していたが、実施の形態３では、ＮＲ係数算出部４５ａでＮＲ係数Ｋｇ１（ｘ，ｙ）〜Ｋｇ５（ｘ，ｙ）の５種類のＮＲ係数を算出する。ＮＲ係数Ｋｇ１（ｘ，ｙ）は第１の１次元ＬＰＦの出力値に対する係数、ＮＲ係数Ｋｇ２（ｘ，ｙ）は第２の１次元ＬＰＦの出力値に対する係数、ＮＲ係数Ｋｇ３（ｘ，ｙ）は第３の１次元ＬＰＦの出力値に対する係数、ＮＲ係数Ｋｇ４（ｘ，ｙ）は第４の１次元ＬＰＦの出力値に対する係数、ＮＲ係数Ｋｇ５（ｘ，ｙ）は２次元ＬＰＦの出力値に対する係数である。

実施の形態３のノイズレベル検出部３７では、式（２ａ）〜（２ｄ）に従って差分絶対値ＡＤａ（ｘ,ｙ）〜ＡＤｄ（ｘ,ｙ）を算出し、算出された差分絶対値のうちの最小値を注目画素のノイズレベルＮＬ１（ｘ,ｙ）として出力し、２番目に小さい値をノイズレベルＮＬ２（ｘ,ｙ）として出力する。
また、ノイズレベルＮＬ１（ｘ,ｙ）に対応する１次元ＬＰＦの方向をＤＲ１（ｘ,ｙ）として出力する。ＤＲ１（ｘ,ｙ）には１次元ＬＰＦの番号（１〜４）のいずれかが格納される。
つまり、ノイズレベル検出部３７では、１次元方向のローパスフィルタ値の各々と代表値との差分の絶対値ＡＤａ（ｘ,ｙ）〜ＡＤｄ（ｘ,ｙ）を算出し、算出された差分の絶対値ＡＤａ（ｘ,ｙ）〜ＡＤｄ（ｘ,ｙ）であって、所定の条件を満たすもののうちの最小値を注目画素のノイズレベルＮＬ１（ｘ，ｙ）として出力し、それに対応する１次元ローパスフィルタの方向をＤＲ１（ｘ，ｙ）として出力し、２番目に小さい値とを注目画素のノイズレベルＮＬ２（ｘ,ｙ）として出力する。

実施の形態３のＮＲ係数算出部４５ａでは、ノイズレベルＮＬ１（ｘ,ｙ），ＮＬ２（ｘ,ｙ）、方向ＤＲ１（ｘ,ｙ）から、第１の１次元ＬＰＦの出力値に対するＮＲ係数Ｋｇ１（ｘ，ｙ）、第２の１次元ＬＰＦの出力値に対するＮＲ係数Ｋｇ２（ｘ，ｙ）、第３の１次元ＬＰＦの出力値に対するＮＲ係数Ｋｇ３（ｘ，ｙ）、第４の１次元ＬＰＦの出力値に対するＮＲ係数Ｋｇ４（ｘ，ｙ）及び２次元ＬＰＦの出力値に対するＮＲ係数Ｋｇ５（ｘ，ｙ）を算出する。
ＮＲ係数算出部４５ａでは、最小値ＮＬ１（ｘ,ｙ）とそれに対応する１次元ローパスフィルタの方向ＤＲ１（ｘ，ｙ）と、前記２番目に小さい値ＮＬ２（ｘ，ｙ）から、注目画素の画素値と周辺ローパスフィルタ値Ｐｆ（ｘ，ｙ）と複数の１次元ローパスフィルタ値Ｌａ（ｘ，ｙ）〜Ｌｄ（ｘ，ｙ）を重み付け加算するためのノイズ低減係数を生成する。

ＮＲ係数Ｋｇ１（ｘ，ｙ）〜Ｋｇ５（ｘ，ｙ）の算出では、最初に方向ＤＲ１（ｘ，ｙ）とは方向が異なる１次元ＬＰＦに対応するＮＲ係数を全て０に設定する。例えば、方向ＤＲ１（ｘ，ｙ）が１である場合には、ＮＲ係数Ｋｇ２（ｘ，ｙ）〜Ｋｇ４（ｘ，ｙ）は０に設定する。

次に、方向ＤＲ１（ｘ，ｙ）に対応する１次元ＬＰＦの出力値と２次元ＬＰＦの出力値との間を補間するための、第１の補間係数ＫＬ１（ｘ，ｙ）を算出する。図１２に示すように、２番目に小さい値となる方向のノイズレベルＮＬ２（ｘ，ｙ）と最小値となる方向のノイズレベルＮＬ１（ｘ，ｙ）との比率（後者に対する前者の比）を参照して、第１の補間係数ＫＬ１（ｘ，ｙ）を算出する。前記比率がＲ１ｍｉｎ以下である場合には、第１の補間係数ＫＬ１（ｘ，ｙ）を最小値（例えば０）とし、前記比率がＲ１ｍａｘ以上である場合には、第１の補間係数ＫＬ１（ｘ，ｙ）を最大値（例えば６４）にする。そして、前記比率がＲ１ｍｉｎとＲ１ｍａｘの間にある場合には、第１の補間係数ＫＬ１（ｘ，ｙ）を最小値と最大値の間を線形に増加させた値とする。

次に、１次元ＬＰＦもしくは２次元ＬＰＦの出力値と注目画素の画素値との間を補間するための、第２の補間係数ＫＬ２（ｘ，ｙ）を算出する。図１３に示すように、最小値となる方向のノイズレベルＮＬ１（ｘ，ｙ）がＲ２ＭＩＮＸ以下の場合は、第２の補間係数ＫＬ２（ｘ，ｙ）をＲ２ＭＩＮＹとし、最小値となる方向のノイズレベルＮＬ１（ｘ，ｙ）がＲ２ＭＡＸＸ以上の場合は、第２の補間係数ＫＬ２（ｘ，ｙ）をＲ２ＭＡＸＹとする。最小値となる方向のノイズレベルＮＬ１（ｘ，ｙ）がＲ２ＭＩＮＸとＲ２ＭＡＸＸの間の場合には、Ｒ２ＭＩＮＹとＲ２ＭＡＸＹの間を線形に増加させた値とする。

最後に、式（５）に従って最小値となる方向の１次元ＬＰＦに対応するＮＲ係数ＫｇＮ（ｘ，ｙ）（Ｎは１〜４のいずれか）を算出し、式（６）に従って２次元ＬＰＦに対応するＮＲ係数Ｋｇ５（ｘ，ｙ）を算出する。
ＫｇＮ（ｘ，ｙ）
＝ＫＬ１（ｘ，ｙ）×ＫＬ２（ｘ，ｙ）÷６４ …（５）
Ｋｇ５（ｘ，ｙ）
＝（６４−ＫＬ１（ｘ，ｙ））×ＫＬ２（ｘ，ｙ）÷６４ …（６）

実施の形態３のＮＲ係数補正部４５ｂでは、ＮＲ係数Ｋｇ１（ｘ，ｙ）〜Ｋｇ５（ｘ，ｙ）のそれぞれに対して、式（４）と同様に補正係数ｈｙ（ｘ，ｙ）を乗算した後に６４で除算して、補正後のＮＲ係数Ｋｇｂ１（ｘ，ｙ）〜Ｋｇｂ５（ｘ，ｙ）のそれぞれを算出する。

実施の形態３のＮＲ処理部３９では、式（７）に従って、注目画素の画素値と全ての１次元ＬＰＦの出力値と２次元ＬＰＦの出力値の重み付け加算を行う。
Ｐｂ（ｘ，ｙ）
＝Ｋｇｂ１（ｘ，ｙ）×Ｌａ（ｘ，ｙ）＋Ｋｇｂ２（ｘ，ｙ）×Ｌｂ（ｘ，ｙ）
＋Ｋｇｂ３（ｘ，ｙ）×Ｌｃ（ｘ，ｙ）＋Ｋｇｂ４（ｘ，ｙ）×Ｌｄ（ｘ，ｙ）
＋Ｋｇｂ５（ｘ，ｙ）×Ｐｆ（ｘ，ｙ）
＋（１−Ｋｇｂ１（ｘ，ｙ）−Ｋｇｂ２（ｘ，ｙ）−Ｋｇｂ３（ｘ，ｙ）
−Ｋｇｂ４（ｘ，ｙ）−Ｋｇｂ５（ｘ，ｙ））×Ｐ（ｘ，ｙ）
…（７）
式（７）の演算の結果得られた値Ｐｂ（ｘ，ｙ）は、ノイズ低減処理後の画素値Ｐｂ（ｘ，ｙ）としてＮＲ処理部３９から出力される。
つまり、ＮＲ処理部３９では、ノイズ低減係数に従って、注目画素の画素値と周辺ローパスフィルタ値と複数の１次元ローパスフィルタ値を重み付け加算する。

以上本発明を画像処理装置として説明したが、該画像処理装置で実施される画像処理方法も本発明の一部を成す。さらに、該画像処理方法をコンピュータに実行させるための画像処理プログラムもまた本発明の一部を成す。

なお、以上のように本発明の実施の形態について説明したが、本発明はこれらの実施の形態に限るものではない。

１０ ラインメモリ、 １１ 第１のフレームメモリ、 １２ 第２のフレームメモリ、 ２１〜２４ １次元ＬＰＦ、 ２５ ２次元ＬＰＦ、 ３２，３７ ノイズレベル検出部、 ３４ ＮＲ係数生成部、 ３６，３９ ＮＲ処理部、 ３８ 補正係数生成部、 ３０ メディアンフィルタ、 ４４，４５ ＮＲ係数生成部、 ４４ａ，４５ａ ＮＲ係数算出部、 ４４ｂ，４５ｂ ＮＲ係数補正部。

Claims (16)

1. 複数フレームの時系列で構成される動画像を入力画像として、
   注目フレームの注目画素を中心とし、複数の画素からなる処理ウィンドウ内で、前記注目画素と、前記注目画素に対して、それぞれ互いに異なる１次元方向に整列した画素とを用いたローパスフィルタ値を１次元方向ローパスフィルタ値として算出する複数の１次元ローパスフィルタと、
   前記処理ウィンドウに対して、前記注目画素とその周囲の画素とを用いたローパスフィルタ値を周辺ローパスフィルタ値として出力する周辺ローパスフィルタと、
   前記注目フレームの前記注目画素の画素値と、前記注目フレーム以外の１以上のフレームの中で前記注目画素に対応する位置の画素の画素値とに基づいて時間軸方向のフィルタリングを行うことで、前記注目画素についての代表値を求める代表値算出部と、
   前記１次元方向ローパスフィルタ値の各々と前記代表値の差分の絶対値を算出し、算出された前記差分の絶対値であって、所定の条件を満たすもののうちの最小値を注目画素のノイズレベルとして出力するノイズレベル検出部と、
   前記ノイズレベルを受けて、予め設定された入出力特性により、該ノイズレベルに対応するノイズ低減係数を生成するＮＲ係数生成部と、
   前記ノイズ低減係数を用いて前記注目画素の画素値と前記周辺ローパスフィルタ値を重み付け加算するＮＲ処理部とを備える
   ことを特徴とする画像処理装置。
2. 前記ＮＲ処理部は、前記ノイズ低減係数に応じて、前記周辺ローパスフィルタ値に対する重みを変化させることを特徴とする請求項１に記載の画像処理装置。
3. 前記代表値が中間値であることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記代表値が平均値であることを特徴とする請求項１又は２に記載の画像処理装置。
5. 前記代表値が巡回型フィルタで算出した値であることを特徴とする請求項１又は２に記載の画像処理装置。
6. 前記周辺ローパスフィルタ値が２次元ローパスフィルタ値であることを特徴とする請求項１から５のいずれかに記載の画像処理装置。
7. 前記１次元ローパスフィルタと前記周辺ローパスフィルタとは、前記処理ウィンドウ内で、前記代表値から所定のレベル差内にある画素値のみを選択してそれぞれのローパスフィルタ値を求めることで得られるものであることを特徴とする請求項１から６のいずれかに記載の画像処理装置。
8. 前記周辺ローパスフィルタ値に基づいて補正係数を生成する補正係数生成部をさらに有し、
   前記ＮＲ係数生成部は、前記ノイズレベル検出部で検出されたノイズレベルと、前記補正係数生成部で生成された補正係数に基づいて、前記ＮＲ係数を生成する
   ことを特徴とする請求項１から７のいずれかに記載の画像処理装置。
9. 前記補正係数は、前記周辺ローパスフィルタ値が所定値よりも低い範囲で前記周辺ローパスフィルタ値の減少とともに、減少し、
   前記補正係数が減少するほど、前記ノイズ低減係数は減少する
   ことを特徴とする請求項８に記載の画像処理装置。
10. 前記ノイズレベル検出部は、前記１次元方向ローパスフィルタ値の各々と前記代表値との差分の絶対値を算出し、算出された前記差分の絶対値であって、所定の条件を満たすもののうちの最小値とそれに対応する１次元ローパスフィルタの方向と、２番目に小さい値とを注目画素のノイズレベルとして出力し、
    前記ＮＲ係数生成部は、前記最小値とそれに対応する１次元ローパスフィルタの方向と、前記２番目に小さい値から、前記注目画素の画素値と前記周辺ローパスフィルタ値と前記複数の１次元方向ローパスフィルタ値を重み付け加算するためのノイズ低減係数を生成し、
    前記ＮＲ処理部は、前記ノイズ低減係数に従って、前記注目画素の画素値と前記周辺ローパスフィルタ値と前記複数の１次元方向ローパスフィルタ値を重み付け加算することを特徴とする請求項１から９のいずれかに記載の画像処理装置。
11. 前記入力画像が複数の色成分を含むものであり、
    前記ＮＲ係数生成部は、前記入力画像の色成分毎に前記入力画像の特性に応じた入出力特性で色成分毎のノイズ低減係数を生成することを特徴とする請求項１から１０のいずれかに記載の画像処理装置。
12. 前記入力画像が複数の色成分を含むものであり、
    前記補正係数は、前記入力画像の色成分毎に生成されるものであり、
    前記入力画像の特性に応じて異なる入出力特性で生成されることを特徴とする請求項８又は９に記載の画像処理装置。
13. 複数フレームの時系列で構成される動画像を入力画像として、
    注目フレームの注目画素を中心とし、複数の画素からなる処理ウィンドウ内で、前記注目画素と、前記注目画素に対して、それぞれ互いに異なる１次元方向に整列した画素とを用いたローパスフィルタ値を１次元方向ローパスフィルタ値として算出する複数の１次元ローパスフィルタリングステップと、
    前記処理ウィンドウに対して、前記注目画素とその周囲の画素とを用いたローパスフィルタ値を周辺ローパスフィルタ値として出力する周辺ローパスフィルタリングステップと、
    前記注目フレームの前記注目画素の画素値と、前記注目フレーム以外の１以上のフレームの中で前記注目画素に対応する位置の画素の画素値とに基づいて、前記注目画素についての代表値を求める代表値算出ステップと、
    前記１次元方向ローパスフィルタ値の各々と前記代表値の差分の絶対値を算出し、算出された前記差分の絶対値であって、所定の条件を満たすもののうちの最小値を注目画素のノイズレベルとして出力するノイズレベル検出ステップと、
    前記ノイズレベルを受けて、予め設定された入出力特性により、該ノイズレベルに対応するノイズ低減係数を生成するＮＲ係数生成ステップと、
    前記ノイズ低減係数を用いて前記注目画素の画素値と前記周辺ローパスフィルタ値を重み付け加算するＮＲ処理ステップとを備える
    ことを特徴とする画像処理方法。
14. 前記ＮＲ処理ステップは、前記ノイズ低減係数に応じて、前記周辺ローパスフィルタ値に対する重みを変化させることを特徴とする請求項１３に記載の画像処理方法。
15. 前記周辺ローパスフィルタ値に基づいて補正係数を生成する補正係数生成ステップをさらに備え、
    前記ＮＲ係数生成ステップは、前記ノイズレベル検出ステップで検出されたノイズレベルと、前記補正係数生成ステップで生成された補正係数に基づいて、前記ＮＲ係数を生成する
    ことを特徴とする請求項１３又は１４に記載の画像処理方法。
16. 請求項１３から１５のいずれかに記載の画像処理方法の各ステップの処理をコンピュータに実行させるための画像処理プログラム。

Images