JP5430234B2 - 画像処理装置、画像処理方法、プログラム、記録媒体及び集積回路 - Google Patents

Description

本発明は入力画像中のノイズを除去し、出力画像のチラツキや揺らぎを抑えることができる画像処理装置に関するものである。

カメラの高速化、撮像素子の微細化の進展に伴って撮影時の露光量を十分に確保することが困難になってきている。このため、撮像された画像はノイズの多い画像になる。ここで、この画像に発生したノイズは信号処理で除去することができる。このノイズ除去の処理は、空間フィルタによる処理と時間ノイズ除去処理に大別できる。

しかし、空間フィルタでノイズを除去する場合は、画像のエッジがぼけ易くなったり、彩度が落ちたりするといった問題がある。一方、時間ノイズ除去処理は、ノイズを効率よく除去しながら、前記の空間フィルタでノイズを除去する場合での問題の発生を抑制することが可能である。

従来の時間ノイズ除去処理としては、時間方向に複数の画像を加算することによって、ノイズを除去するものがある。時間ノイズ除去処理の中では、動き補償を利用しない方法と、動き補償を利用する方法とがある。

図１１は、従来の動き補償を利用しない時間ノイズ除去処理を行う画像処理装置の機能構成を示す機能ブロック図である。

図１１に示すように、画像処理装置７０は、メモリ７１と加算比率算出部７５と画素加算部７６とを備えている。

まず、加算比率算出部７５は、入力画像とメモリ７１に保存されている参照画像とを利用して、加算比率を算出する。この加算比率に基づいて、画素加算部７６は、入力画像と参照画像とを画素加算する。

入力画像中のランダムノイズと参照画像中のランダムノイズとは、異なるノイズである。このため、入力画像と参照画像とを加算することによって、当該ランダムノイズが統計的に打ち消される（ランダムノイズが時間的に平滑化される）。これにより、ランダムノイズが低減される。

しかし、この方法では、入力画像と参照画像との間で被写体の動きが発生した場合は、画素加算することによって、出力画像では残像が発生するという問題がある。

図１２は、従来の動き補償を利用する時間ノイズ除去処理を行う画像処理装置の機能構成を示す機能ブロック図である。

同図に示すように、画像処理装置７０は、メモリ７１と動き推定部７２と動き補償部７３と加算比率算出部７５と画素加算部７６とを備えている。

まず、動き推定部７２は、入力画像とメモリ７１に保存されている参照画像とを利用して動き推定を行い、入力画像の各ブロックに対応する参照画像中の位置を求める。次に、動き補償部７３は、動き推定部７２で求めた動き情報に従って、入力画像に対応する位置における、参照画像のブロック画像を生成する。加算比率算出部７５は、入力画像と動き補償後の参照画像とを利用して、加算比率を算出する。

そして、画素加算部７６では、当該加算比率に基づいて、入力画像と動き補償後の参照画像とを画素加算することによって、ノイズを軽減する。このように、画素加算部７６では、動き補償後の参照画像を利用することによって、動き被写体に対しては、残像がなくランダムノイズを軽減することができる。

しかし、この方法では、画像中に含まれるノイズなどの影響で正確に動き推定ができない場合がある。このとき、位置対応していない画像領域が加算されるため、出力画像では、特に静止する領域が揺れ動くように見える副作用が発生するという問題がある。

また、時間ノイズ除去処理では、上記の動き補償を利用しない方法と動き補償を利用する方法との両方を組み合わせて利用する方法もある（例えば、特許文献１参照）。

図１３は、従来の動き補償を利用しない方法と利用する方法とを組み合わせた時間ノイズ除去処理を行う画像処理装置の機能構成を示す機能ブロック図である。

図１３に示すように、画像処理装置７０は、メモリ７１と動き推定部７２と動き補償部７３と画素加算部７６と選択制御部７７と参照画像設定部７８とを備えている。

まず、動き推定部７２と動き補償部７３は、図１２での説明と同様に、動き推定、動き補償を行う。次に、選択制御部７７は、入力画像と参照画像とを用いて動き検出を行い、その検出結果に基づき、動きのある領域と動きのない領域とを判別する。

そして、参照画像設定部７８は、当該動きのある領域と動きのない領域に応じて、参照画像を選択する。つまり、参照画像設定部７８は、動きのある領域では動き補償後の参照画像を参照画像として選択し、動きのない領域では、動き補償していない参照画像を参照画像として選択する。

そして、画素加算部７６は、入力画像と選択された参照画像とを画素加算する。これにより、ランダムノイズが時間的に平滑化されることで、ノイズが軽減される。また、入力画像の動きの有無によって、参照画像を選択することで、動きのある領域でも残像がなく、ノイズが軽減される。

特許第３９６０２５８号公報

しかしながら、ノイズが多い画像では、信号とノイズの区別ができないため、動きベクトルを正しく検出できない場合がある。このとき、動き補償後の参照画像は入力画像と対応していないことになる。また、動き補償処理はブロック単位で行われるため、上記の対応していない画像のブロックで処理することによって、動き補償後の画像ではブロック歪が発生する。

したがって、従来の処理では、ノイズの多い画像に対して、動きベクトルが正しく検出できなくなり、入力画像のブロックに対応する動き補償後のブロックを検出できないことによって、処理後の画像はブロック歪で画質劣化してしまうという課題がある。

また、動き補償はブロック単位で行われるため、動き補償後の画像では、移動量の異なる部分の境界にブロック状のノイズが発生する。つまり、動き補償後の画像では、静止領域と移動領域の境界にブロック歪が発生する。また移動量が変化した場合は、移動する領域同士の境界でもブロック歪が発生する。

さらに、参照画像として動き補償していない参照画像と動き補償後の参照画像とを切り換えることによって、画像が急激に変化することになり、出力画像では不連続な部分が発生する。

このように、従来の処理では、１枚の画像の中にブロック歪や不連続の領域が発生することによって、画質が劣化するという課題がある。また、動画や時間的に連続して複数の画像を処理する場合、上記の劣化箇所が画像ごとに変化しているため、出力映像では、時間的にチラツキが発生したり、被写体の同じ部分が揺れ動くように見える、揺らぎ現象が発生したりする。

本発明は、上記従来の課題を解決するもので、時間ノイズ除去方式を利用して画像のノイズを軽減する際に、出力画像のブロック歪及び時間方向のチラツキ現象や揺らぎ現象を低減することができる画像処理装置を提供することを目的とする。

上記目的を達成するために、本発明に係る画像処理装置は、入力画像に参照画像を加算することで、前記入力画像中のノイズを除去する画像処理装置であって、前記入力画像の動きを推定した動き情報を生成する動き推定部と、生成された前記動き情報を用いた動き補償を行うことで、動き補償前の参照画像である第一画像に対応する動き補償後の参照画像である第二画像を生成する動き補償部と、前記入力画像の平坦度を算出する平坦度算出部と、算出された前記平坦度を用いて、前記入力画像、前記第一画像及び前記第二画像のそれぞれの加算比率を算出する比率算出部と、算出されたそれぞれの前記加算比率に従って、前記入力画像と前記第一画像と前記第二画像とを加算することで、出力画像を生成する画素加算部とを備える。

これによれば、入力画像の平坦度を用いて、入力画像と動き補償前の参照画像と動き補償後の参照画像とのそれぞれの加算比率が算出され、当該加算比率に従って、それぞれの画像が加算される。ここで、平坦度が低ければ動き推定を正確に行うことができる傾向にあるので、平坦度の大きさを、動き推定を正確に行うことができるか否かの指標として用いて、当該加算比率を算出することができる。そして、当該平坦度から算出された加算比率で、入力画像に動き補償前後の参照画像が加算されるので、入力画像に加算される参照画像が動き補償前の参照画像と動き補償後の参照画像とで切り替わるような、画像の急激な変化が生じない。このため、時間ノイズ除去方式を利用して画像のノイズを軽減する際に、画像内では、動き補償処理を行うブロック間の境界でのブロック歪を低減し、良好な画質を得ることができる。また、時間方向に連続している複数の画像でも画像間の急激な変化がないため、チラツキや揺らぎといった現象を低減することができる。

また、好ましくは、前記平坦度算出部は、前記入力画像の画素値のばらつきが小さいほど、又は前記入力画像に含まれるエッジの量が少ないほど、前記平坦度が高くなるように、前記入力画像の平坦度を算出する。

これによれば、画素値のばらつき又はエッジの量から平坦度が算出される。このため、簡易に平坦度を算出しつつ、出力画像のブロック歪及び時間方向のチラツキや揺らぎ現象を低減することができる。

また、好ましくは、前記比率算出部は、前記平坦度が高いほど、前記第一画像の加算比率が高くなるとともに前記第二画像の加算比率が低くなり、前記平坦度が低いほど、前記第一画像の加算比率が低くなるとともに前記第二画像の加算比率が高くなるように、それぞれの加算比率を算出する。

これによれば、平坦度が高いほど、動き補償処理を行う度合いを低くし、平坦度が低いほど、動き補償処理を行う度合いを高くする。つまり、平坦ではない領域ほど動き推定を正確に行うことができるため、平坦度が低いほど、動き補償処理を行う度合いを高くする。これにより、動き補償処理の結果を適切に反映しつつ、また、平坦度の変化に伴って加算比率を連続的に変化させることができ、出力画像のブロック歪及び時間方向のチラツキや揺らぎ現象を低減することができる。

また、好ましくは、さらに、前記入力画像と前記第一画像との一致度合いを示す第一信頼度を算出する第一信頼度算出部と、前記入力画像と前記第二画像との一致度合いを示す第二信頼度を算出する第二信頼度算出部とを備え、前記比率算出部は、算出された前記第一信頼度と前記第二信頼度とをさらに用いて、前記入力画像、前記第一画像及び前記第二画像のそれぞれの加算比率を算出する。

これによれば、平坦度に加えて信頼度をさらに用いて、入力画像と動き補償前の参照画像と動き補償後の参照画像とのそれぞれの加算比率が算出され、当該加算比率に従って、それぞれの画像が加算される。ここで、信頼度の大きさで、入力画像に加算される参照画像の比率の大きさを判断することができる。そして、当該平坦度及び信頼度から算出された比率で、入力画像に動き補償前後の参照画像が加算されるので、入力画像に加算される参照画像が動き補償前の参照画像と動き補償後の参照画像とで切り替わるような、画像の急激な変化が生じない。このため、時間ノイズ除去方式を利用して画像のノイズを軽減する際に、画像内では、動き補償処理が行われるブロック間の境界でのブロック歪を低減し、良好な画質を得ることができる。また、時間方向に連続している複数の画像でも画像間の急激な変化がないため、チラツキや揺らぎといった現象を低減することができる。

また、好ましくは、前記比率算出部は、前記第一信頼度が高いほど前記第一画像の加算比率が高くなり、かつ、前記第二信頼度が高いほど前記第二画像の加算比率が高くなるように、それぞれの加算比率を算出する。

これによれば、入力画像との信頼度が高い画像ほど、加算比率を高くする。つまり、入力画像と類似した画像ほど、加算比率を高くして加算を行う。これにより、動き補償処理の結果を適切に反映しつつ、また、信頼度の変化に伴って加算比率を連続的に変化させることができ、出力画像のブロック歪及び時間方向のチラツキや揺らぎ現象を低減することができる。

また、本発明は、このような画像処理装置として実現できるだけでなく、当該画像処理装置を構成する各処理部を備え当該画像処理装置を制御する集積回路として実現したり、当該各処理部の処理をステップとする方法として実現したりすることができる。さらに、本発明は、それらステップをコンピュータに実行させるプログラムとして実現したり、そのプログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体として実現したり、そのプログラムを示す情報、データ又は信号として実現したりすることもできる。そして、それらプログラム、情報、データ及び信号は、インターネット等の通信ネットワークを介して配信してもよい。

本発明によれば、時間ノイズ除去方式を利用して画像のノイズを軽減する際に、画像内ではブロック歪を低減し、良好な画質を得ることができる。また、これによって時間方向に連続している複数の画像でも画像間の急激な変化がないため、チラツキや揺らぎといった現象を低減することができる。

本発明の実施の形態における画像処理装置の機能構成を示す機能ブロック図である。 本発明の実施の形態における加算比率算出部の詳細な構成を示す機能ブロック図である。 本発明の実施の形態における画像処理装置の動作の一例を示すフローチャートである。 本発明の実施の形態における平坦度算出部が平坦度の算出方法の一例を示す図である。 本発明の実施の形態における平坦度算出部がｆ＿ｅｄｇｅからエッジの量を算出する方法の一例を示す図である。 本発明の実施の形態における平坦度算出部がエッジの量から平坦度を算出する方法の一例を示す図である。 本発明の実施の形態における第一信頼度算出部がＭＡＤから第一信頼度を算出する方法の一例を示す図である。 本発明の実施の形態におけるブレンディング比率算出部が行う線形補間方法の一例を示す図である。 本発明の実施の形態における平坦度とブレンディング比率算出部が算出する加算比率との関係を示す図である。 本発明の実施の形態における信頼度とブレンディング比率算出部が算出する加算比率との関係を示す図である。 本発明の実施の形態における画像処理装置を制御する画像処理集積回路を示す図である。 従来の動き補償を利用しない時間ノイズ除去処理を行う画像処理装置の機能構成を示す機能ブロック図である。 従来の動き補償を利用する時間ノイズ除去処理を行う画像処理装置の機能構成を示す機能ブロック図である。 従来の動き補償を利用しない方法と利用する方法とを組み合わせた時間ノイズ除去処理を行う画像処理装置の機能構成を示す機能ブロック図である。

以下、本発明の実施の形態について、図面を参照しながら説明する。

図１は、本発明の実施の形態における画像処理装置１の機能構成を示す機能ブロック図である。

画像処理装置１は、入力画像に参照画像を加算することで、入力画像中のノイズを除去する装置であり、同図に示すように、メモリ１０、動き推定部２０、動き補償部３０、平坦度算出部４０、加算比率算出部５０及び画素加算部６０を備えている。

メモリ１０は、動き補償処理に用いられる参照画像を保存しているメモリである。具体的には、メモリ１０は、画素加算部６０からの出力画像を参照画像として保存している。

動き推定部２０は、入力画像の動きを推定した動き情報を生成する。具体的には、動き推定部２０は、入力画像とメモリ１０に保存されている参照画像である第一画像とを用いて、動き推定を行う。ここで用いられる参照画像とは、入力画像の１フレーム前の出力画像であり、動き情報とは、時間的に連続する画像間での各画素の移動量を示す情報である。

動き補償部３０は、動き情報を用いた動き補償を行うことで、動き補償前の参照画像である第一画像に対応する動き補償後の参照画像である第二画像を生成する。具体的には、動き補償部３０は、動き推定部２０が生成した動き情報を利用して、第一画像の動きを補償して、第二画像を生成する。

平坦度算出部４０は、入力画像の平坦度を算出する。具体的には、平坦度算出部４０は、入力画像の画素値のばらつきが小さいほど、又は入力画像に含まれるエッジの量が少ないほど、平坦度が高くなるように、入力画像の平坦度を算出する。ここで、平坦度とは、入力画像内の変化の少なさの度合いを示す値である。

加算比率算出部５０は、平坦度算出部４０が算出した平坦度を用いて、入力画像、第一画像及び第二画像のそれぞれの加算比率を算出する。加算比率算出部５０の詳細は、後述する。

画素加算部６０は、加算比率算出部５０が算出した加算比率に従って、入力画像と第一画像と第二画像とを加算することで、出力画像を生成する。

次に、加算比率算出部５０の構成の詳細について、説明する。

図２は、本発明の実施の形態における加算比率算出部５０の詳細な構成を示す機能ブロック図である。

同図に示すように、加算比率算出部５０は、第一信頼度算出部５１、第二信頼度算出部５２及びブレンディング比率算出部５３を備えている。

第一信頼度算出部５１は、入力画像と、メモリ１０に保存されている第一画像との一致度合いを示す第一信頼度を算出する。

第二信頼度算出部５２は、入力画像と、動き補償部３０が生成した第二画像との一致度合いを示す第二信頼度を算出する。

ブレンディング比率算出部５３は、平坦度算出部４０が算出した平坦度と、第一信頼度算出部５１が算出した第一信頼度と、第二信頼度算出部５２が算出した第二信頼度とを用いて、入力画像、第一画像及び第二画像のそれぞれの加算比率を算出する。なお、ブレンディング比率算出部５３は、特許請求の範囲に記載の「比率算出部」の機能を有する。

具体的には、ブレンディング比率算出部５３は、平坦度が高いほど、第一画像の加算比率が高くなるとともに第二画像の加算比率が低くなり、平坦度が低いほど、第一画像の加算比率が低くなるとともに第二画像の加算比率が高くなるように、それぞれの加算比率を算出する。

また、ブレンディング比率算出部５３は、第一信頼度が高いほど第一画像の加算比率が高くなり、かつ、第二信頼度が高いほど第二画像の加算比率が高くなるように、それぞれの加算比率を算出する。そして、ブレンディング比率算出部５３は、算出した加算比率を、画素加算部６０に出力する。

次に、画像処理装置１の動作について説明する。

図３は、本発明の実施の形態における画像処理装置１の動作の一例を示すフローチャートである。メモリ１０には、参照画像が保存されていることとする。

まず、入力画像が入力される（Ｓ１０２）。

そして、動き推定部２０は、メモリ１０に保存されている参照画像である第一画像と入力画像とを利用して、動き推定を行う（Ｓ１０４）。具体的には、動き推定部２０は、ブロックマッチングを利用して、入力画像の動きを推定した動き情報を生成し、動きを推定する。

ここで、ブロックマッチングとは、入力画像を所定の大きさのブロックに分割し、そのブロックに対する参照画像のブロック位置を見つける方法である。つまり、動き推定部２０は、入力画像のブロックに対して、参照画像の中の所定の探索範囲で、同じ大きさのブロックを動かし、それぞれのブロック位置で入力画像のブロックとの位置の差を算出する。

そして、この位置の差が最小となる参照画像のブロックは、入力画像のブロックに対応することになる。つまり、入力画像のブロックとこれに対応した参照画像のブロックとの位置の差が動き推定の結果になる。このため、動き推定部２０は、当該位置の差を動き情報として生成する。

なお、本実施の形態では、一般のブロックマッチング方法を利用したが、位相限定相関法によるブロックマッチング等の他の動き推定方法を利用してもよい。

次に、動き補償部３０は、上記の動き推定の結果に基づいて、参照画像の動き補償を行う（Ｓ１０６）。つまり、動き補償部３０は、動き推定部２０が生成した動き情報を用いた動き補償を行うことで、第一画像に対応する第二画像を生成する。

ここでは、参照画像が入力画像にブロックごとに対応付けられる。つまり、動き補償部３０は、当該入力画像のブロックに対応付けられた参照画像のブロックを第二画像として生成する。

しかし、上記の動き推定の結果が正しくない場合がある。例えば、ノイズが多い画像では、信号よりもノイズが支配的になり、同じようなノイズパターンを持っている入力画像のブロックと参照画像のブロックとが対応付けされ、実際の動きとは違う動きが推定されることがある。

また、画像中の被写体の形状が変化した場合で、参照画像では入力画像のブロックに対応するブロックがない場合は、動きが正しく推定されない。

さらに、画像中の被写体が静止したり、移動したりすると、動き補償後の画像では、静止領域と移動領域の境界に不連続が発生し、ブロック状のノイズが現れる。このブロック状のノイズの部分が加算された場合は出力画像にブロック歪が発生する。動画のように時間的に連続している複数の画像の場合は、各フレームにブロック歪が異なる位置に出現すると、出力動画ではチラツキや揺らぎが発生する。

このため、上記のブロック歪、チラツキや揺らぎを抑制するために、本発明では、動き補償前の参照画像である第一画像と、動き補償後の参照画像である第二画像ともに入力画像との加算を行い、第一画像と第二画像の加算比率が連続になるように制御する。

また、画像の平坦な領域では、注目ブロックと周辺のブロックとは同じ特徴を持っていることが多いため、動き推定の精度が低下する。さらに、ノイズが多い場合は、ノイズの影響で正確に動き推定ができない。一方、エッジなどの特徴が含まれる平坦ではない領域では、注目ブロックには画像の特徴があるため、動き推定が正確にできる。

このため、上記の画像の平坦度と動き推定の精度の関係を利用して、第一画像と第二画像の加算比率を、以下のように制御する。

平坦度算出部４０は、入力画像の領域ごとの平坦度を算出する（Ｓ１０８）。本実施の形態では、平坦度算出部４０は、入力画像の画素値のばらつきの大きさ、又は入力画像に含まれるエッジの量から、平坦度を算出する。

まず、平坦度算出部４０が入力画像の画素値のばらつきの大きさから平坦度を算出する処理について、説明する。

平坦度算出部４０は、まず注目領域の各画素の画素値の平均値を算出する。次に、平坦度算出部４０は、注目領域内のすべての画素に対して、前記平均値との画素値の差の絶対値を算出し、その平均絶対誤差を求める。

具体的には、注目領域の各画素の画素値の平均値をｆ＿ｍｅａｎ、平均絶対誤差をｆ＿ｄｉｆｆとすると、ｆ＿ｍｅａｎとｆ＿ｄｉｆｆは以下のように算出される。なお、注目領域の画素数はＮであり、各画素の画素値はｆ（ｉ）（ｉ＝１〜Ｎ）であることとする。

そして、平坦度算出部４０は、ｆ＿ｄｉｆｆを利用して、平坦度を算出する。

図４は、本発明の実施の形態における平坦度算出部４０がｆ＿ｄｉｆｆから平坦度を算出する方法の一例を示す図である。

同図に示すように、注目領域のｆ＿ｄｉｆｆが小さい場合は、注目領域の平均からの画素値のバラツキが小さいため、平坦度算出部４０は、平坦度を高く設定する。逆に、当該ｆ＿ｄｉｆｆが大きい場合は、注目領域内で平均からの画素値のバラツキが大きいため、平坦度算出部４０は、平坦度を低く設定する。このように、平坦度算出部４０は、入力画像の画素値のばらつきが小さいほど平坦度が高くなるように、入力画像の平坦度を算出する。

なお、本実施の形態において、平坦度算出部４０が平坦度を求める変換は、ｆ＿ｄｉｆｆが小さいほど平坦度が高く、ｆ＿ｄｉｆｆが大きいほど、平坦度が低くなるという条件を満たしていれば、必ずしも同図に示した関数でなくてもよい。

なお、平坦度算出部４０は、ｆ＿ｄｉｆｆを、注目領域の画素値の平均値からの平均絶対誤差で求めたが、標準偏差値など平均からのバラツキを表す量であれば必ずしも上記の式で示した関数でなくてもよい。

次に、平坦度算出部４０が入力画像に含まれるエッジの量から平坦度を算出する処理について、説明する。

つまり、上記で、平坦度算出部４０は画像の平坦度を求めたが、平坦度が高いというのは画像に含まれるエッジの量が少ないことに相当し、反対に、平坦度が低いというのは画像に含まれるエッジの量が多いことに相当する。そのため、平坦度算出部４０は、平坦度を、エッジの度合いから算出してもよい。この平坦度の算出には、例えば、次のようにエッジの量を利用する。

まず、平坦度算出部４０は、注目領域のエッジを抽出する。平坦度算出部４０は、エッジを抽出するには、ＰｒｅｗｉｔｔフィルタやＳｏｂｅｌフィルタやＬａｐｌａｃｉａｎフィルタなどの一般的なエッジ抽出フィルタを利用する。ここで、注目領域の各画素の画素値をｆ（ｉ）（ｉ＝１〜Ｎ）とし、平坦度算出部４０が行った各画素でのフィルタ処理結果をｆ＿ｆｉｌｔｅｒ（ｉ）（ｉ＝１〜Ｎ）とする。

次に、平坦度算出部４０は、注目領域において、ｆ＿ｆｉｌｔｅｒ（ｉ）を平均することで、注目領域の平均のエッジを算出する。平均のエッジをｆ＿ｅｄｇｅとすると、平坦度算出部４０は、ｆ＿ｅｄｇｅを以下のように算出する。

そして、平坦度算出部４０は、ｆ＿ｅｄｇｅを利用して、注目領域のエッジの量を算出する。

図５は、本発明の実施の形態における平坦度算出部４０がｆ＿ｅｄｇｅからエッジの量を算出する方法の一例を示す図である。

同図に示すように、注目領域のｆ＿ｅｄｇｅが小さい場合は、平坦度算出部４０は、エッジの量を少なく設定する。逆に、当該ｆ＿ｅｄｇｅが大きい場合は、平坦度算出部４０は、エッジの量を多く設定する。

なお、平坦度算出部４０がエッジの量を求める変換は、ｆ＿ｅｄｇｅが小さいほどエッジの量が少なく、ｆ＿ｅｄｇｅが大きいほど、エッジの量が多くなるという条件を満たしていれば、必ずしも同図に示した関数でなくてもよい。

そして、平坦度算出部４０は、エッジの量から平坦度を算出する。

図６は、本発明の実施の形態における平坦度算出部４０がエッジの量から平坦度を算出する方法の一例を示す図である。

同図に示すように、注目領域のエッジの量が少ない場合は、平坦度算出部４０は、平坦度を高く設定する。逆に、当該エッジの量が多い場合は、平坦度算出部４０は、平坦度を低く設定する。このように、平坦度算出部４０は、入力画像に含まれるエッジの量が少ないほど平坦度が高くなるように、入力画像の平坦度を算出する。

なお、平坦度算出部４０が平坦度を求める変換は、エッジの量が少ないほど平坦度が高く、エッジの量が多いほど、平坦度が低くなるという条件を満たしていれば、必ずしも同図に示した関数でなくてもよい。

また、ここでは、平坦度は０以上１以下の数値であるが、平坦度は、０以上１以下の数値とは異なる範囲での値であってもよい。

図３に戻り、加算比率算出部５０は、平坦度算出部４０が算出した平坦度を用いて、入力画像、第一画像及び第二画像のそれぞれの加算比率の算出を行う（Ｓ１１０、Ｓ１１２）。

具体的には、加算比率算出部５０は、まず、第一画像と第二画像それぞれの信頼度を算出する。次に、加算比率算出部５０は、平坦度を利用してブレンディング比率を算出し、最終的に第一画像と第二画像と入力画像それぞれの加算比率を出力する。

さらに具体的には、第一信頼度算出部５１は、入力画像と第一画像との信頼度である第一信頼度を算出し、第二信頼度算出部５２は、入力画像と第二画像との信頼度である第二信頼度を算出する（Ｓ１１０）。ここで、信頼度は入力画像と第一画像又は第二画像との領域ごとの一致度合いを表すものである。

また、第一信頼度と第二信頼度とは同じように算出される。このため、以下では、第一信頼度算出部５１による第一信頼度の算出について説明し、第二信頼度算出部５２による第二信頼度の算出については省略する。

第一信頼度算出部５１は、第一信頼度を、ＭＡＤ（Ｍｅａｎ Ａｂｓｏｌｕｔｅ Ｄｅｖｉａｔｉｏｎ:平均絶対誤差）の値によって算出する。ＭＡＤは誤差を表す量である。そして、入力画像と第一画像のＭＡＤは、以下に示す式で定義される。

ここで、ｆ１（ｉ）（ｉ＝１〜Ｎ）、ｆ２（ｉ）（ｉ＝１〜Ｎ）は、それぞれ入力画像、第一画像の画素値で、Ｎは画素数である。

そして、第一信頼度算出部５１は、ＭＡＤを利用して、第一信頼度を算出する。

図７は、本発明の実施の形態における第一信頼度算出部５１がＭＡＤから第一信頼度を算出する方法の一例を示す図である。

ＭＡＤが小さい場合は、入力画像のブロックと第一画像のブロックとの差が小さいため、入力画像のブロックと第一画像のブロックとの一致度合いが高いと考えられる。これを利用して、同図に示すように、第一信頼度算出部５１は、ＭＡＤが小さいときは信頼度を高く算出し、ＭＡＤが大きい場合は入力画像のブロックと第一画像のブロックとが違っているため、信頼度を低く算出する。

なお、本実施の形態において、信頼度を求めるためにＭＡＤが利用されているが、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）など、２つの画像の差を表す量であれば必ずしもＭＡＤでなくてもよい。

なお、信頼度の算出は、画像間の差分が小さいほど信頼度が高く、差分が大きいほど信頼度が低くなるという条件を満たしていれば、必ずしも同図に示した関数で算出されなくてもよい。

また、ここでは、第一信頼度及び第二信頼度のそれぞれは、０以上１以下の数値であるが、第一信頼度及び第二信頼度は、０以上１以下の数値とは異なる範囲での値であってもよい。

図３に戻り、ブレンディング比率算出部５３は、算出された第一信頼度と第二信頼度と平坦度とを利用して、第一画像と第二画像と入力画像の、それぞれの加算比率を算出する（Ｓ１１２）。

画像の平坦な領域では、注目ブロックと周辺のブロックとは同じ特徴を持っているため、動き推定の精度が低下する。さらに、ノイズが多い場合は、ノイズの影響で正確に動き推定ができない。一方、エッジなどの特徴が含まれる平坦ではない領域では、注目ブロックには画像の特徴があるため、動き推定が正確にできる。

この特徴を利用して、ブレンディング比率算出部５３は、平坦な部分では、動き推定の影響が少なくなるように、第一画像を優先的に加算する。逆に、平坦でない部分では、動き推定が正確に行えるため、第二画像を優先的に加算する。

つまり、ブレンディング比率算出部５３は、平坦度が高いほど、第一画像の加算比率が高くなるとともに第二画像の加算比率が低くなり、平坦度が低いほど、第一画像の加算比率が低くなるとともに第二画像の加算比率が高くなるように、それぞれの加算比率を算出する。

また、画像間の信頼度が高いほど、当該画像同士の一致度合いが高いので、ブレンディング比率算出部５３は、信頼度の高い画像を優先的に加算する。つまり、ブレンディング比率算出部５３は、第一信頼度が高いほど第一画像の加算比率が高くなり、かつ、第二信頼度が高いほど第二画像の加算比率が高くなるように、それぞれの加算比率を算出する。

また、ブレンディング比率算出部５３は、画像を加算するときに、画素単位で画素値の加算を行うため、ブロック単位で算出した平坦度、第一信頼度、第二信頼度をそれぞれ画素単位に変換する必要がある。本実施の形態では、ブレンディング比率算出部５３は、注目ブロックの情報と周辺ブロックの情報とを利用して、ブロック単位から画素単位に補間処理を行う。例えば、図８に示す補間方法を利用する。

図８は、本発明の実施の形態におけるブレンディング比率算出部５３が行う線形補間方法の一例を示す図である。ここでは、ブロック単位の信頼度から画素単位の信頼度への算出方法を例にして説明する。

同図に示すように、ブレンディング比率算出部５３は、注目ブロックの画素単位の信頼度を算出するために、注目ブロックのブロック単位の信頼度及び周辺の隣接している８ブロックのブロック単位の信頼度を利用して、補間を行う。具体的には、ブレンディング比率算出部５３は、ブロック単位の信頼度をブロックの中央の位置での信頼度として、線形補間を行うことで、注目ブロックの各画素の信頼度を算出する。

なお、本実施の形態において、ブレンディング比率算出部５３が信頼度及び平坦度をブロック単位から画素単位へ算出するときに、線形補間を利用したが、必ずしも線形補間でなくてもよい。

ブレンディング比率算出部５３が算出した画素単位の平坦度をＦｌａｔ、画素単位の第一信頼度をＣｏｎｆ＿ｒｅｆ、画素単位の第二信頼度をＣｏｎｆ＿ｍｃとすると、ブレンディング比率算出部５３は、それぞれの加算比率を以下の式で算出する。

つまり、ブレンディング比率算出部５３は、平坦度に第一信頼度を乗じることで第一画像の加算比率Ｒ＿ｒｅｆを算出し、また、１から平坦度を減じた値に第二信頼度を乗じることで第二画像の加算比率Ｒ＿ｍｃを算出する。

また、ブレンディング比率算出部５３は、処理後の画像の平均輝度が変わらないように、以下のように、１から第一画像の加算比率と第二画像の加算比率とを減じることで入力画像の加算比率Ｒ＿ｃｕｒｒを算出する。

このように、ブレンディング比率算出部５３は、平坦度と信頼度とを用いて、加算比率を算出する。

図９Ａは、本発明の実施の形態における平坦度とブレンディング比率算出部５３が算出する加算比率との関係を示す図である。なお、同図では、信頼度を一定値に固定したときの、第一画像の加算比率を実線Ａで示し、第二画像の加算比率を点線Ｂで示している。

同図に示すように、信頼度を一定値に固定した場合、平坦度が高くなるほど、第一画像（実線Ａ）の加算比率が高くなる。また、平坦度が高くなるほど、第二画像（点線Ｂ）の加算比率が低くなる。このように、ブレンディング比率算出部５３は、加算比率が平坦度に応じて連続的に変化するように、それぞれの加算比率を制御することができる。

図９Ｂは、本発明の実施の形態における信頼度とブレンディング比率算出部５３が算出する加算比率との関係を示す図である。なお、同図は、平坦度を一定値に固定したときの、第一画像又は第二画像の加算比率を示している。

同図に示すように、平坦度を一定値に固定した場合、第一信頼度が高くなるほど、第一画像の加算比率が高くなり、また、第二信頼度が高くなるほど、第二画像の加算比率が高くなる。このように、ブレンディング比率算出部５３は、加算比率が信頼度に応じて連続的に変化するように、それぞれの加算比率を制御することができる。

なお、第一信頼度Ｃｏｎｆ＿ｒｅｆと第二信頼度Ｃｏｎｆ＿ｍｃとがともに１の場合、入力画像の加算比率Ｒ＿ｃｕｒｒが０になるため、第一信頼度Ｃｏｎｆ＿ｒｅｆ又は第二信頼度Ｃｏｎｆ＿ｍｃに上限値を設けることにしてもよい。この上限値は、０．８程度が好ましいが、１よりも小さい値であればどのような数値であっても構わない。

図３に戻り、最後に、画素加算部６０は、ブレンディング比率算出部５３が算出した画素単位の加算比率を利用して、第一画像と第二画像と入力画像とを加算し、出力画像を生成する（Ｓ１１４）。

具体的には、入力画像の画素値をＩ（ｉ）、第一画像の画素値をＲｅｆ（ｉ）、第二画像の画素値をＭＣ（ｉ）とすると、画素加算部６０は、出力画像の画素値Ｏ（ｉ）を以下の式で算出する。

つまり、画素加算部６０は、入力画像の画素値に入力画像の加算比率を乗じた値と、第一画像の画素値に第一画像の加算比率を乗じた値と、第二画像の画素値に第二画像の加算比率を乗じた値とを加算することで、出力画像を生成する。

このようにして、画像処理装置１が入力画像中のノイズを除去する動作は終了する。

係る構成によれば、入力画像の平坦度に応じて、第一画像と第二画像と入力画像との加算比率を連続的に制御することで、出力画像の画質劣化を防ぐことができ、ノイズを除去しながら良好な画質を得ることができる。また、これによって時間方向に連続している複数の画像でも画像間の急激な変化がないため、チラツキや揺らぎといった現象が発生しない。

つまり、入力画像の平坦度を用いて、入力画像と動き補償前の参照画像と動き補償後の参照画像とのそれぞれの加算比率が算出され、当該加算比率に従って、それぞれの画像が加算される。ここで、平坦度が低ければ動き推定を正確に行うことができる傾向にあるので、平坦度の大きさを、動き推定を正確に行うことができるか否かの指標として用いて、当該加算比率を算出することができる。そして、当該平坦度から算出された加算比率で、入力画像に動き補償前後の参照画像が加算されるので、入力画像に加算される参照画像が動き補償前の参照画像と動き補償後の参照画像とで切り替わるような、画像の急激な変化が生じない。

また、平坦ではない領域ほど動き推定を正確に行うことができるため、平坦度が低いほど、動き補償処理を行う度合いを高くする。これにより、動き補償処理の結果を適切に反映しつつ、また、平坦度の変化に伴って加算比率を連続的に変化させることができる。また、画素値のばらつき又はエッジの量から平坦度が算出される。このため、簡易に平坦度を算出することができる。

また、平坦度に加えて信頼度をさらに用いて、入力画像と動き補償前の参照画像と動き補償後の参照画像とのそれぞれの加算比率が算出され、当該加算比率に従って、それぞれの画像が加算される。ここで、信頼度の大きさで、入力画像に加算する参照画像の比率の大きさを判断することができる。そして、当該平坦度及び信頼度から算出された比率で、入力画像に動き補償前後の参照画像が加算されるので、入力画像に加算される参照画像が動き補償前の参照画像と動き補償後の参照画像とで切り替わるような、画像の急激な変化が生じない。

また、入力画像との信頼度が高い参照画像ほど、加算比率を高くする。つまり、入力画像と類似した参照画像ほど、加算比率を高くして加算を行う。これにより、動き補償処理の結果を適切に反映しつつ、また、信頼度の変化に伴って加算比率を連続的に変化させることができる。

以上により、本発明に係る画像処理装置１によれば、時間ノイズ除去方式を利用して画像のノイズを軽減する際に、画像内では、動き補償処理を行うブロック間の境界でのブロック歪を低減し、良好な画質を得ることができる。また、時間方向に連続している複数の画像でも画像間の急激な変化がないため、チラツキや揺らぎといった現象を低減することができる。

ここで、本発明に係る画像処理装置１が備える各処理部は、典型的には、集積回路であるＬＳＩとして実現される。

図１０は、本発明の実施の形態における画像処理装置１を制御する画像処理集積回路２を示す図である。

同図に示すように、図１に示された画像処理装置１のメモリ１０以外の処理部が、画像処理集積回路２として構成される。なお、画像処理集積回路２に含まれる各処理部は、個別に１チップ化されてもよいし、一部又はすべてを含むように１チップ化されてもよい。

ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサ を利用してもよい。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

以上、本発明に係る画像処理装置について、上記実施の形態を用いて説明したが、本発明は、これに限定されるものではない。

つまり、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

例えば、本実施の形態では、加算比率算出部５０は、第一信頼度算出部５１と第二信頼度算出部５２とを備え、ブレンディング比率算出部５３は、信頼度と平坦度とから、加算比率を算出することとした。しかし、加算比率算出部５０は、第一信頼度算出部５１と第二信頼度算出部５２とを備えておらず、ブレンディング比率算出部５３は、平坦度から、加算比率を算出することにしてもよい。なお、平坦度のみからでは入力画像の加算比率を算出することができない場合でも、ブレンディング比率算出部５３は、入力画像の加算比率を予め定めておくことで、それぞれの加算比率を算出することができる。

また、本実施の形態では、画像処理装置１が備える各処理部は、集積回路によって実現されていることとしたが、当該各処理部は、ソフトウェアによって実現されていてもよい。

本発明に係る画像処理装置及びその方法は、時間方向に画素を加算してノイズを除去する際、入力画像と、動き補償前の参照画像と、動き補償後の参照画像とを加算することで高効率のノイズ除去を実現する。また、入力画像の平坦度を利用して、動き補償前の参照画像と動き補償後の参照画像の加算比率を制御することによって、加算する画像の成分が急激に変化することなく、出力画像中のブロック歪を抑制できる。これによって、動画や連続した複数の画像に適用する場合は、時間方向のチラツキや揺らぎといった現象が発生しないという特徴を有し、動画や連続した複数の画像からノイズを除去することができる画像処理装置等に適用できる。

１ 画像処理装置
２ 画像処理集積回路
１０ メモリ
２０ 動き推定部
３０ 動き補償部
４０ 平坦度算出部
５０ 加算比率算出部
５１ 第一信頼度算出部
５２ 第二信頼度算出部
５３ ブレンディング比率算出部
６０ 画素加算部
７０ 画像処理装置
７１ メモリ
７２ 動き推定部
７３ 動き補償部
７５ 加算比率算出部
７６ 画素加算部
７７ 選択制御部
７８ 参照画像設定部

Claims (8)

1. 入力画像に参照画像を加算することで、前記入力画像中のノイズを除去する画像処理装置であって、
   前記入力画像の動きを推定した動き情報を生成する動き推定部と、
   生成された前記動き情報を用いた動き補償を行うことで、動き補償前の参照画像である第一画像に対応する動き補償後の参照画像である第二画像を生成する動き補償部と、
   前記入力画像の平坦度を算出する平坦度算出部と、
   算出された前記平坦度を用いて、前記入力画像、前記第一画像及び前記第二画像のそれぞれの加算比率を算出する比率算出部と、
   算出されたそれぞれの前記加算比率に従って、前記入力画像と前記第一画像と前記第二画像とを加算することで、出力画像を生成する画素加算部とを備え、
   前記平坦度算出部は、前記入力画像の画素値のばらつきが小さいほど、又は前記入力画像に含まれるエッジの量が少ないほど、前記平坦度が高くなるように、前記入力画像の平坦度を算出し、
   前記比率算出部は、前記平坦度が高いほど、前記第一画像の加算比率が高くなるとともに前記第二画像の加算比率が低くなり、前記平坦度が低いほど、前記第一画像の加算比率が低くなるとともに前記第二画像の加算比率が高くなるように、それぞれの加算比率を算出する
   画像処理装置。
2. さらに、
   前記入力画像と前記第一画像との一致度合いを示す第一信頼度を算出する第一信頼度算出部と、
   前記入力画像と前記第二画像との一致度合いを示す第二信頼度を算出する第二信頼度算出部とを備え、
   前記比率算出部は、算出された前記第一信頼度と前記第二信頼度とをさらに用いて、前記入力画像、前記第一画像及び前記第二画像のそれぞれの加算比率を算出する
   請求項１に記載の画像処理装置。
3. 前記比率算出部は、前記第一信頼度が高いほど前記第一画像の加算比率が高くなり、かつ、前記第二信頼度が高いほど前記第二画像の加算比率が高くなるように、それぞれの加算比率を算出する
   請求項２に記載の画像処理装置。
4. 前記平坦度算出部は、０以上１以下の数値である前記平坦度を算出し、
   前記第一信頼度算出部は、０以上１以下の数値である前記第一信頼度を算出し、
   前記第二信頼度算出部は、０以上１以下の数値である前記第二信頼度を算出し、
   前記比率算出部は、前記平坦度に前記第一信頼度を乗じることで前記第一画像の加算比率を算出し、１から前記平坦度を減じた値に前記第二信頼度を乗じることで前記第二画像の加算比率を算出し、１から前記第一画像の加算比率と前記第二画像の加算比率とを減じることで前記入力画像の加算比率を算出し、
   前記画素加算部は、前記入力画像の画素値に前記入力画像の加算比率を乗じた値と、前記第一画像の画素値に前記第一画像の加算比率を乗じた値と、前記第二画像の画素値に前記第二画像の加算比率を乗じた値とを加算することで、前記出力画像を生成する
   請求項２又は３に記載の画像処理装置。
5. 入力画像に参照画像を加算することで、前記入力画像中のノイズを除去する画像処理方法であって、
   前記入力画像の動きを推定した動き情報を生成する動き推定ステップと、
   生成された前記動き情報を用いた動き補償を行うことで、動き補償前の参照画像である第一画像に対応する動き補償後の参照画像である第二画像を生成する動き補償ステップと、
   前記入力画像の平坦度を算出する平坦度算出ステップと、
   算出された前記平坦度を用いて、前記入力画像、前記第一画像及び前記第二画像のそれぞれの加算比率を算出する比率算出ステップと、
   算出されたそれぞれの前記加算比率に従って、前記入力画像と前記第一画像と前記第二画像とを加算することで、出力画像を生成する画素加算ステップとを含み、
   前記平坦度算出ステップでは、前記入力画像の画素値のばらつきが小さいほど、又は前記入力画像に含まれるエッジの量が少ないほど、前記平坦度が高くなるように、前記入力画像の平坦度を算出し、
   前記比率算出ステップでは、前記平坦度が高いほど、前記第一画像の加算比率が高くなるとともに前記第二画像の加算比率が低くなり、前記平坦度が低いほど、前記第一画像の加算比率が低くなるとともに前記第二画像の加算比率が高くなるように、それぞれの加算比率を算出する
   画像処理方法。
6. 入力画像に参照画像を加算することで入力画像中のノイズを除去する画像処理を行うためのプログラムであって、
   前記入力画像の動きを推定した動き情報を生成する動き推定ステップと、
   生成された前記動き情報を用いた動き補償を行うことで、動き補償前の参照画像である第一画像に対応する動き補償後の参照画像である第二画像を生成する動き補償ステップと、
   前記入力画像の平坦度を算出する平坦度算出ステップと、
   算出された前記平坦度を用いて、前記入力画像、前記第一画像及び前記第二画像のそれぞれの加算比率を算出する比率算出ステップと、
   算出されたそれぞれの前記加算比率に従って、前記入力画像と前記第一画像と前記第二画像とを加算することで、出力画像を生成する画素加算ステップとをコンピュータに実行させ、
   前記平坦度算出ステップでは、前記入力画像の画素値のばらつきが小さいほど、又は前記入力画像に含まれるエッジの量が少ないほど、前記平坦度が高くなるように、前記入力画像の平坦度を算出し、
   前記比率算出ステップでは、前記平坦度が高いほど、前記第一画像の加算比率が高くなるとともに前記第二画像の加算比率が低くなり、前記平坦度が低いほど、前記第一画像の加算比率が低くなるとともに前記第二画像の加算比率が高くなるように、それぞれの加算比率を算出する
   プログラム。
7. 入力画像に参照画像を加算することで入力画像中のノイズを除去する画像処理を行うためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
   前記入力画像の動きを推定した動き情報を生成する動き推定ステップと、
   生成された前記動き情報を用いた動き補償を行うことで、動き補償前の参照画像である第一画像に対応する動き補償後の参照画像である第二画像を生成する動き補償ステップと、
   前記入力画像の平坦度を算出する平坦度算出ステップと、
   算出された前記平坦度を用いて、前記入力画像、前記第一画像及び前記第二画像のそれぞれの加算比率を算出する比率算出ステップと、
   算出されたそれぞれの前記加算比率に従って、前記入力画像と前記第一画像と前記第二画像とを加算することで、出力画像を生成する画素加算ステップとをコンピュータに実行させ、
   前記平坦度算出ステップでは、前記入力画像の画素値のばらつきが小さいほど、又は前記入力画像に含まれるエッジの量が少ないほど、前記平坦度が高くなるように、前記入力画像の平坦度を算出し、
   前記比率算出ステップでは、前記平坦度が高いほど、前記第一画像の加算比率が高くなるとともに前記第二画像の加算比率が低くなり、前記平坦度が低いほど、前記第一画像の加算比率が低くなるとともに前記第二画像の加算比率が高くなるように、それぞれの加算比率を算出する
   プログラムを記録したコンピュータ読み取り可能な記録媒体。
8. 入力画像に参照画像を加算することで前記入力画像中のノイズを除去する画像処理装置を制御する集積回路であって、
   前記入力画像の動きを推定した動き情報を生成する動き推定部と、
   生成された前記動き情報を用いた動き補償を行うことで、動き補償前の参照画像である第一画像に対応する動き補償後の参照画像である第二画像を生成する動き補償部と、
   前記入力画像の平坦度を算出する平坦度算出部と、
   算出された前記平坦度を用いて、前記入力画像、前記第一画像及び前記第二画像のそれぞれの加算比率を算出する比率算出部と、
   算出されたそれぞれの前記加算比率に従って、前記入力画像と前記第一画像と前記第二画像とを加算することで、出力画像を生成する画素加算部とを備え、
   前記平坦度算出部は、前記入力画像の画素値のばらつきが小さいほど、又は前記入力画像に含まれるエッジの量が少ないほど、前記平坦度が高くなるように、前記入力画像の平坦度を算出し、
   前記比率算出部は、前記平坦度が高いほど、前記第一画像の加算比率が高くなるとともに前記第二画像の加算比率が低くなり、前記平坦度が低いほど、前記第一画像の加算比率が低くなるとともに前記第二画像の加算比率が高くなるように、それぞれの加算比率を算出する
   集積回路。

Images