JP5203824B2 - 画像処理装置及び撮像システム - Google Patents

Description

本発明は、画像処理装置及び撮像システムに係り、特にノイズ低減方法に関するものである。

画像に含まれるノイズ信号を除去するノイズ低減方法として、多重解像度変換を用いたノイズ低減方法が知られている。これは、フィルタバンクやラプラシアンピラミッドの手法を用いて、画像を複数の周波数帯域の信号に分割し、それぞれの帯域信号に対して何らかのノイズ低減処理を施した後、これらを再合成するものである。この方法によれば、分割した帯域それぞれに適した強度のノイズ低減処理を行うことが可能となる。

図１２に、ラプラシアンピラミッドによる多重解像度変換と、それを用いたノイズ低減方法の一例を示す。図１２において、入力画像１００は、フィルタ・縮小処理部１０１にてローパスフィルタ処理後に縮小される。この処理により、画像サイズは水平方向、垂直方向共に半分となる。縮小された画像は、次段のフィルタリング部１１１に供給され、順次、縮小されていく。

フィルタ・縮小処理部１０１にて縮小された画像は、拡大処理部１０２において元の画像サイズに拡大された後、減算部１０３に供給される。減算部１０３では、入力画像１００と拡大処理部１０２から供給された画像との差分信号が生成される。この差分信号は、フィルタ・縮小処理部１０１で用いられたローパスフィルタ特性により遮断された高域成分に相当する。この高域成分を多く含む差分信号はノイズ低減部１０４に供給され、ノイズ低減処理が施される。

そして、同様の処理が、２段目以降においても行われる。即ち、フィルタ・縮小処理部１１１、拡大処理部１１２、減算部１１３により、２段目に相当する帯域信号が生成され、これに対してノイズ低減部１１４でノイズ低減処理が行われる。このようにして順次、帯域分割された信号に対してノイズ低減処理が適用されることとなる。

最も周波数の低い帯域におけるノイズ低減部１３４の出力は、低域側の信号と加算部１３６で加算された後、高域側の処理に送られる。このようにして順次低域側から信号が再合成されていき、最終的に最高域の信号が加算部１０６により加算されて、出力画像１２１となる。
なお図１１に示した例においては、最後段のフィルタ・縮小処理部１３１においてローパスフィルタ処理及び縮小処理をした後、拡大処理部１３２、拡大処理部１３５にて拡大処理を行うこととしたが、フィルタ・縮小処理部１３１における縮小処理、及び、拡大処理部１３２、１３５については、省く構成としてもよい。

特許文献１には、図１１におけるノイズ低減部１０４、１１４、・・・１３４相当の処理に、方向性を有するフィルタ処理を適用した構成（例えば、特許文献２参照）が開示されている。また、特許文献３には、周波数分割としてウェーブレット変換を使用し、分割した各帯域信号に対して、閾値以下の信号を０にするというコアリング処理を施す方法が開示されている。
特開２００１−５７６７７号公報 特開昭５５−１３３１７９号公報 特開平９−２１２６２３号公報

上述したような多重解像度変換を用いたノイズ低減方法は、分割した帯域信号それぞれに適した強度のノイズ低減処理を行えるという利点を有すると共に、多重解像度変換の段数を増やして分割する帯域数を増やせば、より低周波に存在するノイズ成分もノイズ低減の対象とすることができるという利点を有する。

しかしながら、多重解像度変換の段数を増やすと、必要とされる演算量もそれに応じて増えるという問題がある。特に、ＬＳＩ等によるハードウェア実現を想定した場合、ハードウェア規模の制約から、多重解像度変換の段数が制限される場合があり、これによりノイズ量が大きい場合等に、所望のノイズ低減性能を得られないという問題があった。

本発明は、上記問題を解決するためになされたもので、ハードウェア規模の増大を抑制しつつ、ノイズ低減性能の向上を図ることのできる画像処理装置及び撮像システムを提供することを目的とする。

上記課題を解決するために、本発明は以下の手段を採用する。
本発明の第１の態様は、画像信号中の一部の周波数帯域の信号をフィルタリングにより遮断し、その他の周波数帯域の信号を出力する第１のフィルタリング手段を有するとともに、該画像信号の第１の周波数帯域に含まれる信号を生成する第１の帯域信号生成手段と、前記第１の周波数帯域に含まれる信号のノイズ量を低減する第１のノイズ低減手段と、前記画像信号の第２の周波数帯域に含まれ、ノイズ量が低減された信号を記憶する第１の記憶手段と、前記第１のノイズ低減手段によりノイズ量が低減された前記第１の周波数帯域の信号と入力された信号とを合成する第１の画像合成手段と、前記第１の画像合成手段に入力される前記信号として、前記第１のフィルタリング手段から出力される信号に基づく信号及び前記第１の記憶手段から出力される前記第２の周波数帯域に含まれる信号のいずれかを選択する第１の選択手段とを具備することを特徴とする画像処理装置である。

この態様によれば、第１の帯域信号生成手段により取得され、第１のノイズ低減手段によりノイズ量が低減された第１の周波数帯域に含まれる信号と第１の記憶手段に記憶された第２の周波数帯域に含まれ、ノイズ量が低減された信号とを合成する構成を備えるので、第１の周波数帯域に含まれる信号と第２の周波数帯域に含まれる信号との両方を、それぞれに対応する別個の帯域信号生成手段及びノイズ低減手段を用いてノイズ低減する構成と比較して、ハードウェアの規模を抑制することが可能となる。

本発明の第２の態様は、画像信号の第１の周波数帯域に含まれる信号を生成する第１の帯域信号生成手段と、前記第１の周波数帯域に含まれる信号のノイズ量を低減する第１のノイズ低減手段と、前記画像信号の第２の周波数帯域に含まれるとともに、ノイズ量が低減された信号と前記第１のノイズ低減手段によりノイズ量が低減された前記第１の周波数帯域の信号とを合成する第１の画像合成手段とを有し、前記第１の帯域信号生成手段は、前記画像信号中の一部の周波数帯域の信号をフィルタリングにより遮断する第１のフィルタリング手段を有し、前記第１の画像合成手段に入力される前記第２の周波数帯域に含まれる信号は、前記第１のフィルタリング手段から出力される信号に基づく信号ではないことを特徴とする画像処理装置である。

本発明の第３の態様は、画像信号の第１の周波数帯域に含まれる信号を生成する帯域信号生成手段と、前記第１の周波数帯域に含まれる信号のノイズ量を低減するノイズ低減手段と、前記画像信号の第２の周波数帯域に含まれる信号のノイズ量を低減するプロセッサと、前記ノイズ低減手段によりノイズ量が低減された前記第１の周波数帯域に含まれる信号と前記プロセッサによりノイズ量が低減された前記第２の周波数帯域に含まれる信号とを合成する画像合成手段とを具備することを特徴とする画像処理装置である。

本発明の第４の態様は、被写体を撮影する撮像手段と、前記撮像手段にて取得された画像信号を処理する上記いずれかに記載の画像処理装置とを具備する撮像システムである。

本発明の第５の態様は、画像信号の第１の周波数帯域に含まれる信号に対しノイズ低減手段を用いてノイズ量を低減し、前記画像信号の第２の周波数帯域に含まれる信号に対し前記ノイズ低減手段を用いてノイズ量を低減し、前記ノイズ量が低減された第１の周波数帯域に含まれる信号と第２の周波数帯域に含まれる信号を合成することを特徴とする画像処理方法である。

本発明の第６の態様は、画像信号が入力され、入力された前記画像信号から高帯域信号と低帯域信号とを生成する第１帯域信号生成手段と、前記帯域信号生成手段によって生成された低帯域信号を格納する第１記憶手段と、前記帯域信号生成手段によって生成された高帯域信号のノイズを低減する第１ノイズ低減手段と、前記第１ノイズ低減手段によってノイズが低減された高帯域信号と低帯域信号とを合成する第１画像合成手段と、前記第１画像合成手段によって合成された後の合成画像信号を格納する第２記憶手段と、前記第１帯域信号生成手段に入力される前記画像信号を、原画像信号と前記第１記憶手段に格納された低帯域信号とのいずれかに切り替える第１切替手段と、前記第１画像合成手段に入力される信号を、前記第１帯域信号生成手段から出力される低帯域信号と前記第２記憶手段に格納された合成画像信号とのいずれかに切り替える第２切替手段とを具備する画像処理装置である。

本態様によれば、入力された画像信号から高帯域信号と低帯域信号とが第１帯域信号生成手段により生成され、このうちの低帯域信号については、第１記憶手段に格納される。この場合において、第１記憶手段に格納された低帯域信号は、第１切替手段を介して第１帯域信号生成手段に再度入力可能とされているので、この低帯域信号から、高帯域信号と低域信号とが更に生成されることとなる。このようにして、繰り返し第１帯域信号生成手段を用いることにより、元の画像信号から複数の帯域の信号を生成することが可能となり、第１帯域信号生成手段が有する能力以上の能力を発揮させることが可能となる。
第１帯域信号生成手段によって生成された高帯域信号については、ノイズ低減手段によりノイズが低減され、ノイズ低減後の高帯域信号と第１帯域信号生成手段によって生成された低帯域信号とが第１画像合成手段によって合成される。この場合において、第１画像合成手段によって合成された後の合成画像信号は、第２記憶手段に格納され、更に、第２切替手段を介して第１画像合成手段に入力させることが可能とされているので、上述の如く、第１帯域信号生成手段を繰り返し用いて複数の帯域の信号を生成した場合であっても、ノイズ低減手段から出力される高帯域信号と対となる低帯域信号を第１画像合成手段に入力させることが可能となる。
このように、本発明によれば、第１帯域信号生成手段、ノイズ低減手段、第１画像合成手段を繰り返し利用することができるため、ハードウェアの規模増大を抑制しつつ、高いノイズ低減性能を得ることが可能となる。
上記高帯域信号とは、例えば、後述する第１の実施形態において、各フィルタリング部から拡大処理部へ流れる信号を意味している。また、低帯域信号とは、例えば、後述する第１の実施形態において、フレームメモリ２２３に格納される信号を意味している。

本発明の第７の態様は、画像信号が入力され、入力された前記画像信号から高帯域信号と低帯域信号とを生成する帯域信号生成手段と、前記帯域信号生成手段によって生成された高帯域信号のノイズを低減する第１ノイズ低減手段と、前記帯域信号生成手段によって生成された低帯域信号のノイズを低減する第２ノイズ低減手段と、前記第１ノイズ低減手段によってノイズが低減された高帯域信号と前記第２ノイズ低減手段によってノイズが低減された低帯域信号とを合成する画像合成手段とを備え、前記第２ノイズ低減手段が、プロセッサによるプログラム制御により前記低帯域信号のノイズを低減する画像処理装置である。

本態様によれば、処理負担が少ない低帯域信号のノイズ低減処理ついては、ソフトウェアによるノイズ低減処理を採用するので、専用回路を設ける場合に比べて、処理負担を軽減しつつ、装置の小型化を図ることが可能となる。

本発明の第８の態様は、入力された画像信号から第１の周波数帯域信号と第２の周波数帯域信号とを生成し、前記第１の周波数帯域信号と前記第２の周波数帯域信号に含まれるノイズを共通のノイズ低減手段を用いて除去し、ノイズ低減後の前記第１の周波数帯域信号と前記第２の周波数帯域信号とを合成することを特徴とする画像処理方法である。

本発明によれば、ハードウェア規模の増大を抑制しつつ、ノイズ低減性能の向上を図ることができるという効果を奏する。

以下に、本発明に係る画像処理装置及び画像処理方法並びに撮像システムについて、図面を参照して説明する。

〔第１の実施形態〕
図１は、本発明の第１の実施形態に係る画像処理装置の概略構成を示したブロック図である。図１に示されるように、本実施形態に係る画像処理装置１は、ラプラシアンピラミッドにより多重解像度変換を施し、各帯域信号に対してノイズ低減をする方式を採用している。
具体的には、画像処理装置１は、画像信号中の一部の周波数帯域の信号をフィルタリングにより遮断し、その他の周波数帯域の信号を出力するフィルタリング部（フィルタリング手段）を有するとともに、該画像信号の第１の周波数帯域に含まれる信号を生成する帯域信号生成部（第１帯域信号生成手段）２と、第１の周波数帯域に含まれる信号のノイズ量を低減するノイズ低減処理部３と、ノイズ低減処理部３によりノイズ量が低減された第１の周波数帯域の信号と入力された信号とを合成する画像合成部（第１の画像合成手段）４とを備えている。
画像処理装置１は、更に、画像信号の第２の周波数帯域に含まれ、ノイズ量が低減された信号を記憶するフレームメモリ２２４（第１の記憶手段）と、画像合成部４に入力される前記信号として、帯域信号生成部２が備えるフィルタリング部から出力される信号に基づく信号及びフレームメモリ２２４から出力される信号のいずれかを選択する第１の選択部（第１の選択手段）２２２と、該フィルタリング部から出力された信号を記憶するフレームメモリ（第２の記憶手段）２２３と、帯域信号生成部２に入力される信号として、入力画像２００及びフレームメモリ２２３に記憶された信号のうちのいずれかを選択する第２の選択部（第２の選択手段）２２５と、フィルタリング部とフレームメモリ２２３との接続と非接続とを切り替える接続切替部（接続切替手段）２２０とを備えている。

帯域信号生成部２は、Ｎ（Ｎは１以上の整数）段のフィルタリング部２０１，２１１を有するとともに、各フィルタリング部２０１、２１１に対応してそれぞれ設けられた拡大処理部２０２，２１２、及び減算部２０３，２１３を備えている。
ノイズ低減処理部３は、各フィルタリング部２０１，２１１に対応してそれぞれ設けられたＮ個のノイズ低減部２０４，２１４を備えている。画像合成部４は、各フィルタリング部２０１，２１１に対応して設けられたＮ段の合成部２０９，２１９を有している。各合成部２０９，２１９は、拡大処理部２０５，２１５、及び加算部２０６、２１６をそれぞれ備えている。なお、本実施形態では、Ｎ＝２の場合を一例に挙げて説明している。

１段目のフィルタリング部２０１は、入力画像２００にローパスフィルタ処理を施した後、所定のサイズに縮小する。これにより、例えば、入力画像２００の画像サイズは、水平方向、垂直方向ともに半分とされる。フィルタリング部２０１により生成された縮小画像は、拡大処理部２０２及び後段のフィルタリング部２１１に供給可能な構成とされている。
拡大処理部２０２は、フィルタリング部２０１からの縮小画像を、フィルタリング部２０１による縮小処理がされる前の大きさに拡大し、即ち、ここでは入力画像２００のサイズに拡大し、減算部２０３に出力する。減算部２０３は、拡大処理部２０２から入力された画像と、フィルタリング部２０１に入力された画像、即ち、入力画像２００との差分信号を算出することで、帯域信号を生成し、これをノイズ低減部２０４に出力する。ノイズ低減部２０４は、入力された帯域信号に所定のノイズ低減処理を施し、出力する。

２段目のフィルタリング部２１１は、フィルタリング部２０１からの縮小画像に対してローパスフィルタ処理を行った後、縮小処理を行う。このように、各フィルタリング部２０１，２１１は、前段のフィルタリング部から出力された画像（１段目のフィルタリング部２０１に関しては、入力画像２００）を更に縮小した縮小画像を生成して出力する。
縮小処理２１１により生成された縮小画像は、拡大処理部２１２，接続切替部２２０，第１の選択部２２２に供給可能な構成とされている。

拡大処理部２１２は、入力された縮小画像を、フィルタリング部２１１による縮小処理がされる前の大きさに拡大し、減算部２１３に出力する。減算部２１３は、拡大処理部２１２から供給された画像と、フィルタリング部２１１に入力された画像との差分をとることで帯域信号を生成し、ノイズ低減部２１４に出力する。ノイズ低減部２１４は、入力された帯域信号に所定のノイズ低減処理を施し、出力する。

接続切替部２２０は、フィルタリング部２１１とフレームメモリ２２３との接続と非接続を切り替える手段である。具体的には、接続切替部２２０の両端の配線が接続状態にあるときには、フィルタリング部２１１から出力される縮小画像がフレームメモリ２２３に供給され、接続切替部２２０の両端の配線が非接続状態にあるときには、フィルタリング部２１１から出力される縮小画像はフレームメモリ２２３に供給されない。
第１の選択部２２２は、画像合成部４のＮ段目の合成部２１９に入力される縮小画像の供給元を切り替える手段である。具体的には、フィルタリング部２１１からの縮小画像またはフレームメモリ２２４に保持されているノイズ低減済み縮小画像４００を合成部２１９に供給する。
第２の選択部２２５は、帯域信号生成部２に入力される信号を切り替える手段である。具体的には、帯域信号生成部２に入力される信号として、入力画像２００及びフレームメモリ２２３に記憶された信号のうちのいずれかを選択し、いずれか一方を帯域信号生成部２の１段目のフィルタリング部２０１に供給する。

Ｎ段目の合成部２１９の拡大処理部２１５は、入力された縮小画像を、対応するフィルタリング部２１１に入力された縮小画像のサイズまで拡大し、加算部２１６に出力する。加算部２１６は、ノイズ低減部２１４から供給されるノイズ低減済みの帯域信号と拡大処理部２１５から供給される縮小画像とを加算して、Ｎ−１段目の合成部２０９に出力する。
合成部２０９の拡大処理部２０５は、合成部２１９からの縮小画像を拡大処理し、加算部２０６に出力する。加算部２０６は、ノイズ低減部２０４から供給されるノイズ低減済みの帯域信号と拡大処理部２０５から供給される縮小画像とを加算して出力する。これにより、所定のサイズに戻されたノイズ低減済みの画像が出力される。

次に、上述した構成を備える本実施形態に係る画像処理装置１によって実現される画像処理方法について説明する。まず、本実施形態に係る画像処理方法は、接続切替部２２０、第１の選択部２２２及び第２の選択部２２５の設定により３つのモードで構成される。

〔第１モード〕
まず、第１モードでは、図２に示されるように、第２の選択部２２５により、入力画像２００がフィルタリング部２０１に供給され、接続切替部２２０によりフィルタリング部２１１がフレームメモリ２２３に接続され、第１の選択部２２２は、開状態とされているか、あるいは第１の選択部により合成部２１９はフィルタリング部２１１の出力ライン、又はフレームメモリ２２４に接続される。

このように接続されることで、入力画像２００は、Ｎ段設けられているフィルタリング部２０１，２１１により段階的に縮小される。フィルタリング部２１１から出力された縮小画像３００は、接続切替部２２０を経由してフレームメモリ２２３に保存される。
この第１モードでは、縮小画像３００を得ることが目的である。したがって、縮小画像３００を得るために不要な構成要素については、動作させる必要はない。
ただし、第１の選択部２２２により合成部２１９をフィルタリング部２１１の出力ラインに接続した状態とし、更に、他のブロックも動作させた場合には、上述の縮小画像３００に加えて、２段相当のノイズ低減処理を適用した出力画像を得ることが可能である。

〔第２モード〕
次に、第２モードでは、図３に示されるように、第２の選択部２２５によりフィルタリング部２０１はフレームメモリ２２３に接続され、接続切替部２２０は開状態となる。更に、第１の選択部２２２により合成部２１９はフィルタリング部２１１の出力ラインに接続される。
このように接続されることで、第２モードでは、第１モードにおいてフレームメモリ２２３に保存した縮小画像３００が帯域信号生成部２、具体的には、１段目のフィルタリング部２０１に入力される。
入力された縮小画像３００は、フィルタリング部２０１、２１１によって更に縮小され、縮小画像３０１が第１の選択部２２２を経由して合成部２１９に出力される。

他方、各フィルタリング部２０１、２１１により生成された縮小画像は、拡大処理部２０２，２１２及び減算部２０３，２１３にそれぞれ供給されることにより、各帯域信号が生成される。各帯域信号は、ノイズ低減部２０４，２１４にそれぞれ供給されることで、ノイズ低減処理が実施され、ノイズ低減後の帯域信号がそれぞれの合成部２０９，２１９に出力される。

合成部２１９では、縮小画像３０１が拡大処理された後に、ノイズ低減部２１４からの帯域信号と合成される。この合成画像は、合成部２０９に供給され、拡大処理後にノイズ低減部２０４からの帯域信号と合成され、ノイズ低減済み縮小画像４００として出力される。このノイズ低減済み縮小画像４００は、フレームメモリ２２４に保存される。

このように、第２モードでは、縮小画像３００が帯域信号生成部２に再度入力されるので、帯域信号生成部２から出力される縮小画像３０１は、２×Ｎ段のフィルタリング部を経由して作成される場合の縮小画像に相当することとなる。これにより、帯域信号生成部２に本来備えている能力以上の能力を発揮させることが可能となる。

〔第３モード〕
続いて、第３モードでは、図４に示されるように、第２の選択部２２５により入力画像２００がフィルタリング部２０１に入力され、接続切替部２２０は開状態となり、第１の選択部２２２により合成部２１９はフレームメモリ２２４に接続される。
このように接続されることで、入力画像２００が帯域信号生成部２に供給され、フィルタリング部２０１，２１１により段階的な縮小処理が施され、それぞれの縮小画像が拡大処理部２０２，２１２，減算部２０３，２１３に供給されることにより、各帯域信号が生成される。各帯域信号は、ノイズ処理部２０４，２１４によってノイズ低減処理が実施された後、対応する合成部２０９，２１９に出力される。

また、第１の選択部２２２により合成部２１９がフレームメモリ２２４に接続されることから、フレームメモリ２２４に保存されているノイズ低減済み縮小画像４００が、第１の選択部２２２を経由して合成部２１９に供給される。これにより、ノイズ低減済み縮小画像４００に対して拡大、合成処理が行われることにより、ノイズ低減部２１４からの帯域信号との合成画像が作成され、更に、合成部２０９においても拡大、合成処理が行われることにより、最終的に入力画像２００と略同じサイズのノイズ低減済み原画像５００が出力されることとなる。

以上、説明してきたように、本実施形態に係る画像処理装置１及び画像処理方法によれば、共通の帯域信号生成部２、ノイズ低減処理部３、及び画像合成部４を複数回（上記実施形態では２回）に渡って利用するので、帯域信号生成部２等が有する能力以上の能力を発揮させることが可能となる。これにより、ハードウェアの規模増大を抑制しつつ、ノイズ低減性能の向上を図ることが可能となる。

なお、本実施形態では、２段分の多重解像度変換能力を持つ装置構成を２回利用して、４段相当のノイズ低減性能を得る形態について示したが、帯域信号生成部２に対して縮小画像の入力を再帰的に行うことにより、３×Ｎ段相当、４×Ｎ段相当のノイズ低減性能を得ることも可能である。

また、本実施形態では、第１モードにおいては縮小画像３００を得ることだけを目的とし、第３モードにおいて、入力画像２００に対する帯域信号の生成、並びに、ノイズ低減処理を実施した。しかしながら、この態様に代えて、第１のモードにおいて、帯域信号生成部２及びノイズ低減処理部３を作動させることにより、ノイズ低減済みの各帯域信号を生成、保存しておき、第３モードにおいて、保存しておいたノイズ低減済みの帯域信号とノイズ低減済み縮小画像４００との合成処理を行うこととしてもよい。

また、本実施形態では、第２モードにおいて、縮小画像３００を１段目のフィルタリング部２０１に再度入力することとしたが、これに代えて、フィルタリング部２１１の出力信号を帯域信号生成部２に再度入力することとし、合成部２１９の出力をノイズ低減済み縮小画像４００としてもよい。このようにすれば、３段相当のノイズ低減性能を得ることが可能となる。

また例えば、ノイズ低減以外の画像処理において画像縮小機能が存在し、入力画像２００の縮小画像が作成されている場合であり、これがフィルタリング部２０１、２１１によって作成される縮小画像３００と略同一とみなせる画像であるならば、第１モードを実施することなく、この画像を第２モードでの入力画像とすることで処理速度を向上することが可能である。

〔第２の実施形態〕
次に、本発明の第２の実施形態に係る画像処理装置及び画像処理方法について説明する。図５に示されるように、本実施形態の画像処理装置が第１の実施形態と異なる点は、接続切替部２２０´の出力側及び第１の選択部２２２´の入力側にＭ（Ｍは１以上の整数）段の帯域信号生成部（第２の帯域信号生成手段）５、Ｍ個のノイズ低減部を含むノイズ低減処理部（第２のノイズ低減手段）６、Ｍ段の画像合成部（第２の画像合成手段）７が設けられていることである。
以下、本実施形態に係る画像処理装置について、第１の実施形態と共通する点については説明を省略し、異なる点について主に説明する。なお、本実施形態では、Ｍ＝１の場合を例示して説明するが、Ｍの数については限定されない。

図５は、本実施形態に係る画像処理装置の概略構成を示す図である。この図に示すように、接続切替部２２０´の出力側と第１の選択部２２２´の入力側には、帯域信号生成部５、ノイズ低減処理部６、及び画像合成部７が設けられている。帯域信号生成部５、ノイズ低減処理部６、及び画像合成部７の各構成については、上述した帯域信号生成部２、ノイズ低減処理部３、及び画像合成部４と略同様であるが、ノイズ低減処理部６については、ノイズ低減処理の方法がノイズ低減処理部３に比べて簡略化されている。

帯域信号生成部５には、接続切替部２２０´を経由して、フィルタリング部２１１から出力される縮小画像が入力可能とされている。
フィルタリング部６１２は、入力された縮小画像に対してローパスフィルタ処理を行った後、縮小処理を行う。フィルタリング部６１２により生成された縮小画像は、拡大処理部６２２及び画像合成部７の合成部６２９に入力可能とされている。

帯域信号生成部５の拡大処理部６２２は、入力された縮小画像を、フィルタリング部６１２による縮小処理がされる前の大きさに拡大し、減算部６２３に出力する。減算部６２３は、拡大処理部６２２から供給された画像と、フィルタリング部６１２に入力された縮小画像との差分をとることで帯域信号を生成し、ノイズ低減部６２４に出力する。ノイズ低減部６２４は、入力された帯域信号に所定のノイズ低減処理を施し、出力する。ここで、ノイズ低減部６２４は、ノイズ低減部２０４，２１４に比べて機能が簡略化されている。例えば、ノイズ低減部２０４，２１４が方向判別処理を伴うフィルタ処理とコアリング処理を組み合わせたノイズ低減処理を行うものとした場合には、ノイズ低減部６２４は、例えば、コアリング処理によるノイズ低減処理のみを行う。このように、ノイズ低減部６２４の機能を簡略化させることで、処理速度の向上を図ることが可能となる。

ノイズ低減部６２４によりノイズ低減処理が施された帯域信号は、画像合成部７の合成部６２９に供給される。合成部６２９の拡大処理部６２５は、フィルタリング部６１２からの縮小画像をフィルタリング部６１２に入力された縮小画像のサイズまで拡大し、加算部６２６に出力する。加算部６２６は、ノイズ低減部６２４から供給されるノイズ低減済みの帯域信号と拡大処理部６２５から供給される縮小画像とを加算して、出力する。

接続切替部２２０´は、フィルタリング部２１１から出力される縮小画像の供給先を切り替える手段である。具体的には、フィルタリング部２１１からの縮小画像をフィルタリング部６１２或いはフレームメモリ２２３に供給する。ただし、接続切替部２２０´により、フィルタリング部２１１はフィルタリング部６１２とフレームメモリ２２３の両方に同時に接続することも可能であり、フィルタリング部６１２及びフレームメモリ２２３の両方に対して縮小画像を出力することが可能である。
第１の選択部２２２´は、画像合成部４のＮ段目の合成部２１９に入力される縮小画像の供給元を切り替える手段である。具体的には、合成部６２９の加算部６２６から出力されるノイズ低減済み縮小画像またはフレームメモリ２２４に保持されているノイズ低減済み縮小画像７００を合成部２１９に供給する。

次に、上述した構成を備える本実施形態に係る画像処理装置によって実現される画像処理方法について説明する。まず、本実施形態に係る画像処理方法は、第２の選択部２２５、接続切替部２２０´、及び第１の選択部２２２´の設定により３つのモードで構成される。

〔第１モード〕
まず、第１モードでは、図６に示されるように、第２の選択部２２５により入力画像２００がフィルタリング部２０１に入力され、接続切替部２２０´によりフレームメモリ２２３はフィルタリング部２１１に接続され、第１の選択部２２２´は、開状態となるか、加算部６２６の出力ラインと合成部２１９とを接続する。なお、接続切替部２２０´は、フィルタリング部２１１を、フィルタリング部６１２とフレームメモリ２２３の両方に接続してもよい。
このように接続されることで、入力画像２００は、Ｎ段設けられているフィルタリング部２０１、フィルタリング部２１１により段階的に縮小される。フィルタリング部２１１から出力される縮小画像６００は、接続切替部２２０を経由してフレームメモリ２２３に保存される。
この第１モードでは、縮小画像６００を得ることが目的である。したがって、縮小画像６００を得るために不要な構成要素については、動作させる必要はない。

ただし、接続切替部２２０´により、フィルタリング部２１１はフィルタリング部６１２とフレームメモリ２２３の両方に接続され、第１の選択部２２２´により合成部２１９は加算部６２６の出力ラインに接続され、他のブロックも動作させた場合には、上述の縮小画像６００に加えて、３段相当のノイズ低減を適用した出力画像を得ることが可能である。

〔第２モード〕
次に、第２モードでは、図７に示されるように、第２の選択部２２５によりフィルタリング部２０１がフレームメモリ２２３に接続され、接続切替部２２０´によりフィルタリング部２１１がフィルタリング部６１２と接続され、第１の選択部２２２´により合成部２１９が合成部６２９に接続される。
これにより、第２モードに係る画像処理装置は、３段の周波数帯域分割機能を備える装置として機能する。

具体的には、第２モードでは、第１モードにおいてフレームメモリ２２３に保存した縮小画像６００が第２の選択部２２５により帯域信号生成部２の１段目のフィルタリング部２０１に入力される。
縮小画像６００は、フィルタリング部２０１、２１１によって段階的に縮小された後、接続切替部２２０´を経由してフィルタリング部６１２に入力され、更に縮小され、合成部６２９に供給される。
また、各フィルタリング部２０１，２１１，６１２によって縮小された縮小画像は、各拡大処理部２０２，２１２，６２２に供給され、更に、減算部２０３，２１３，６２３、ノイズ低減部２０４，２１４，６２４をそれぞれ経由することで、ノイズ低減済みの各帯域信号が、それぞれの合成部２０９，２１９，６２９に出力される。そして、合成部６２９，２１９，２０９により画像合成が段階的に行われることにより、合成部２０９からノイズ低減済み縮小画像７００が出力される。このノイズ低減済み縮小画像７００は、フレームメモリ２２４に保存される。

〔第３モード〕
続いて、第３モードでは、図８に示されるように、第２の選択部２２５により入力画像２００がフィルタリング部２０１に入力され、接続切替部２２０´は開状態となり、第１の選択部２２２´により合成部２１９はフレームメモリ２２４に接続される。
これにより、入力画像２００がフィルタリング部２０１，２１１により段階的な縮小処理が施され、それぞれの縮小画像が拡大処理部２０２，２１２，減算部２０３，２１３に供給されることにより、各帯域信号が生成される。各帯域信号は、ノイズ処理部２０４，２１４によってノイズ低減処理が実施された後、対応する合成部２０９，２１９に出力される。

また、第１の選択部２２２´により合成部２１９がフレームメモリ２２４に接続されることから、フレームメモリ２２４に保存されているノイズ低減済み縮小画像７００が、合成部２１９に供給される。これにより、ノイズ低減済み縮小画像７００に対して拡大、合成処理が行われることにより、ノイズ低減部２１４からの帯域信号との合成画像が作成され、更に、合成部２０９においても拡大、合成処理が行われることにより、最終的に入力画像２００と同じサイズのノイズ低減済み原画像８００が合成部２０９から出力されることとなる。

以上、説明してきたように、本実施形態に係る画像処理装置によれば、一つの構成要素を複数回にわたって利用して、帯域信号の作成、ノイズ低減処理、画像合成等を行うので、本来の構成が備える能力以上の能力を発揮させることが可能となる。これにより、ハードウェアの規模増大を抑制しつつ、ノイズ低減性能の向上を図ることが可能となる。

更に、本実施形態に係る画像処理装置によれば、処理速度を速くする必要があり、第１から第３のモードを実施することができず、第１のモードのみで出力画像を得る必要がある場合であっても、ノイズ低減処理部３に加えて、簡略化されたノイズ低減処理部６を付加した簡易な構成で、段数の多いノイズ低減処理を実現できる。
加えて、接続切替部２２０´、第１の選択部２２２´の前後において、ノイズ低減性能の異なるノイズ低減部（ノイズ低減処理部３、ノイズ低減処理部６）を分けて配置することにより、第１から第３のモードを実施する場合に、ノイズ低減性能の異なる帯域信号が不規則に合成されることを防止することができ、自然な画像を得ることが可能となる。

〔第３の実施形態〕
次に、本発明の第３の実施形態に係る画像処理装置及び画像処理方法について説明する。上述した第１の実施形態及び第２の実施形態においては、専用回路による処理を前提としていたが、本実施形態係る画像処理装置においては、プロセッサによるプログラム制御を一部のノイズ低減処理に採用する。

通常、画像処理装置には、制御などの処理を担当するプロセッサが搭載されている場合が多い。プロセッサによりノイズ低減処理ができれば、専用回路の場合と比較して、プログラム制御による柔軟かつ複雑な処理が可能となることが期待できる。
ところで、画像処理は、処理する画素数が膨大なため、通常のプロセッサでは処理時間が大量に必要となってしまうという問題がある。そこで、本実施形態に係る画像処理装置においては、縮小画像に対してノイズ低減処理を行う、上述の第２モードの処理に相当する処理をプロセッサによるプログラム制御で実現し、その他の処理、即ち、原画像に対するノイズ低減処理については、専用回路を用いて実現する。
このように、原画像に比べて画素数が少ない縮小画像を取り扱う第２モードの処理にソフトウェアによる処理を適用し、画素数が多い原画像を取り扱う第１モード及び第３モードの処理については専用回路を用いて処理することにより、処理時間の増大並びに装置の大型化を抑制しつつ、柔軟かつ複雑なノイズ低減処理を実現できるという利点を得ることができる。

以下、本実施形態に係る画像処理装置について図を参照して説明する。
図９は、本実施形態に係る画像処理装置の概略構成を示すブロック図である。図９において、上述した第１の実施形態と共通の構成要素については、同一の符号を付している。

〔第１モード〕
第１モードでは、上述した第１の実施形態と同様、入力画像２００がフィルタリング部２０１、２１１に段階的に入力されることにより縮小画像３００が生成され、縮小画像３００が接続切替部２２０を経由してフレームメモリ２２３に保存される。

〔第２モード〕
第２モードでは、フレームメモリ２２３から縮小画像３００がプロセッサ２５０に供給され、プロセッサ２５０によるノイズ低減処理が行われる。このプロセッサ２５０によって実現されるノイズ低減処理は、例えば、図３に示したような、２段分相当の多重解像度変換を用いたノイズ低減処理に相当する処理である。これにより、第１の実施形態で得られるノイズ低減済み縮小画像４００が作成され、このノイズ低減済み縮小画像４００がフレームメモリ２２４に保存される。

〔第３モード〕
第３モードでは、入力画像２００が入力されることにより、フィルタリング部２０１，２１１によって縮小画像が段階的に生成され、それぞれの縮小画像が拡大処理部２０２，２１２，減算部２０３，２１３に供給されることにより、各帯域信号が生成される。各帯域信号は、ノイズ低減部２０４，２１４によってノイズ低減処理が実施された後、対応する合成部２０９，２１９に出力される。
また、合成部２１９には、フレームメモリ２２４に格納されているノイズ低減済み縮小画像４００が入力される。これにより、ノイズ低減済み縮小画像４００に対して拡大、合成処理が行われることにより、ノイズ低減部２１４からの帯域信号との合成画像が作成され、更に、合成部２０９においても拡大、合成処理が行われることにより、最終的に入力画像２００と略同じサイズのノイズ低減済み原画像５００が合成部２０９から出力されることとなる。

専用回路の場合、回路内のメモリ量の制約から、画像全体のヒストグラム等、画像全体の情報を使用したノイズ低減方式は実現が困難な場合が多い。これに対し、プロセッサ２５０による処理の場合、原画像等が格納されているフレームメモリ（図示略）に格納された画像全体の情報に比較的容易にアクセス可能なことから、画像全体の情報を用いてノイズ低減を行うノイズ低減方式も採用することが可能となる。
以上説明したように、本実施形態に係る画像処理装置及び画像処理方法によれば、第１の実施形態や第２の実施形態における第２モードに相当する処理をプロセッサ２５０によるプログラム処理で実現することで、ハードウェア規模の増加を抑えつつ、高いノイズ低減性能を得ることが可能となるとともに、プログラム制御による柔軟かつ複雑なノイズ低減処理が可能となる。

なお、本実施形態において、プロセッサ２５０により実現されるノイズ低減処理は上述した多重解像度変換を用いたノイズ低減処理に限られることはなく、プロセッサ２５０によるプログラム処理に適したノイズ低減処理を採用することも可能である。例えば、画像全体のヒストグラム等に基づくノイズ低減処理を採用することとしてもよい。

また、プロセッサ２５０への入力は、フィルタリング部２０１，２１１によって得られた縮小画像３００に限られることなく、例えば、ノイズ低減以外の画像処理において、入力画像２００の縮小画像が作成されており、これがフィルタリング部２０１，２１１によって作成される縮小画像３００と略同一とみなせる画像であるならば、フレームメモリ２２３に格納されている縮小画像３００に代えて、図１０に示すように、他の処理部Ａによって得られた縮小画像をプロセッサ２５０への入力画像として用いることとしてもよい。

〔適用例〕
図１１は、上述したいずれかの実施形態に係る画像処理装置をデジタルカメラ等の撮像システムに適用したときの全体構成例を示した図である。
図１１に示されるように、撮像システムは、被写体を撮影する撮像部９００と、撮像部９００にて取得された画像を処理する処理装置９０１とを備えている。撮像部９００は、レンズ系９１０、ＣＣＤ等の撮像素子９１１を備えている。処理装置９０１は、画像処理部９１２、画像圧縮部９１３、及び記録メディア９１４等を備えている。
画像処理部９１２は、ホワイトバランス処理、エッジ強調処理、色信号処理等の通常の画像処理機能を有するとともに、上述した第１から第３のいずれかの実施形態に係る画像処理装置が備えるノイズ低減機能を備えている。

このような構成を備える撮像システムにおいて、レンズ系９１０を通して撮像素子９１１で撮像された画像は、画像処理部９１２に転送される。画像処理部９１２は、入力された画像に対してホワイトバランス処理、エッジ強調処理、色信号処理等の通常の画像処理を施すとともに、上述したいずれかの実施形態に係る多重解像度変換を用いたノイズ低減処理を施す。ノイズ低減処理後の画像は、画像圧縮部９１３でＪＰＥＧ形式等に圧縮された後、メモリカード等の記録メディア９１４に保存される。

このような撮像システムによれば、装置コストを抑えつつ、高いノイズ低減性能を実現することができる。

以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

本発明の第１の実施形態に係る画像処理装置の概略構成を示したブロック図である。 本発明の第１の実施形態に係る画像処理装置の第１モードについて説明するための図である。 本発明の第１の実施形態に係る画像処理装置の第２モードについて説明するための図である。 本発明の第１の実施形態に係る画像処理装置の第３モードについて説明するための図である。 本発明の第２の実施形態に係る画像処理装置の概略構成を示したブロック図である。 本発明の第２の実施形態に係る画像処理装置の第１モードについて説明するための図である。 本発明の第２の実施形態に係る画像処理装置の第２モードについて説明するための図である。 本発明の第２の実施形態に係る画像処理装置の第３モードについて説明するための図である。 本発明の第３の実施形態に係る画像処理装置の概略構成を示したブロック図である。 本発明の第３の実施形態に係る画像処理装置の概略構成の変形例を示したブロック図である。 本発明の一実施形態に係る撮像システムの概略構成例を示したブロック図である。 従来のラプラシアンピラミッドによる多重解像度変換と、それを用いた画像処理方法の一例を示した図である。

符号の説明

１ 画像処理装置
２ 帯域信号生成部
３ ノイズ低減処理部
４ 画像合成部
２０１，２１１，６１２ フィルタリング部
２０２，２１２，６２２，２０５，２１５，６２５ 拡大処理部
２０３，２１３，６２３ 減算部
２０４，２１４，６２４ ノイズ低減部
２０６，２１６，６２６ 加算部
２０９，２１９，６２９ 合成部
２２０，２２０´ 接続切替部
２２２，２２２´ 第１の選択部
２２３，２２４ フレームメモリ
２２５ 第２の選択部

Claims (11)

1. 画像信号中の一部の周波数帯域の信号をフィルタリングにより遮断し、その他の周波数帯域の信号を出力する第１のフィルタリング手段を有するとともに、該画像信号の第１の周波数帯域に含まれる信号を生成する第１の帯域信号生成手段と、
   前記第１の周波数帯域に含まれる信号のノイズ量を低減する第１のノイズ低減手段と、
   前記画像信号の第２の周波数帯域に含まれ、ノイズ量が低減された信号を記憶する第１の記憶手段と、
   前記第１のノイズ低減手段によりノイズ量が低減された前記第１の周波数帯域の信号と入力された信号とを合成する第１の画像合成手段と、
   前記第１の画像合成手段に入力される前記信号として、前記第１のフィルタリング手段から出力される信号に基づく信号及び前記第１の記憶手段から出力される前記第２の周波数帯域に含まれる信号のいずれかを選択する第１の選択手段と
   を具備することを特徴とする画像処理装置。
2. 前記第１のフィルタリング手段から出力され、前記第１の選択手段により選択される信号は、前記第１のノイズ低減手段によってノイズ量が低減されないことを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の記憶手段に記憶され、前記第２の周波数帯域に含まれる信号は、前記第１のノイズ低減手段によりノイズ量が低減された信号に基づく信号であることを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記第１のフィルタリング手段から出力された信号を記憶する第２の記憶手段と、
   前記第１の帯域信号生成手段に入力される信号として、前記画像信号及び前記第２の記憶手段に記憶された信号のうちのいずれかを選択する第２の選択手段と
   を有することを特徴とする請求項１から請求項３のいずれかに記載の画像処理装置。
5. 前記第１のフィルタリング手段と前記第２の記憶手段との接続と非接続を切り替える接続切替手段を有する請求項４に記載の画像処理装置。
6. 前記第１のフィルタリング手段から出力された信号から第３の周波数帯域に含まれる信号と第４の周波数帯域に含まれる信号とを生成する第２の帯域信号生成手段と、
   前記第３の周波数帯域に含まれる信号のノイズ量を低減する第２のノイズ低減手段と、
   前記第２のノイズ低減手段によりノイズ量が低減された前記第３の周波数帯域に含まれる信号と前記第４の周波数帯域に含まれる信号とを合成する第２の画像合成手段と
   を有し、
   前記第１の選択手段は、前記第１の画像合成手段に入力される前記信号として、前記第２の画像合成手段から出力された信号及び前記第１の記憶手段から出力される前記第２の周波数帯域に含まれる信号のうちのいずれかを選択することを特徴とする請求項１から請求項５のいずれかに記載の画像処理装置。
7. 画像信号の第１の周波数帯域に含まれる信号を生成する第１の帯域信号生成手段と、
   前記第１の周波数帯域に含まれる信号のノイズ量を低減する第１のノイズ低減手段と、
   前記画像信号の第２の周波数帯域に含まれるとともに、ノイズ量が低減された信号と前記第１のノイズ低減手段によりノイズ量が低減された前記第１の周波数帯域の信号とを合成する第１の画像合成手段と
   を有し、
   前記第１の帯域信号生成手段は、前記画像信号中の一部の周波数帯域の信号をフィルタリングにより遮断する第１のフィルタリング手段を有し、
   前記第１の画像合成手段に入力される前記第２の周波数帯域に含まれる信号は、前記第１のフィルタリング手段から出力される信号に基づく信号ではないことを特徴とする画像処理装置。
8. 画像信号の第１の周波数帯域に含まれる信号を生成する帯域信号生成手段と、
   前記第１の周波数帯域に含まれる信号のノイズ量を低減するノイズ低減手段と、
   前記画像信号の第２の周波数帯域に含まれる信号のノイズ量を低減するプロセッサと、
   前記ノイズ低減手段によりノイズ量が低減された前記第１の周波数帯域に含まれる信号と前記プロセッサによりノイズ量が低減された前記第２の周波数帯域に含まれる信号とを合成する画像合成手段と
   を具備することを特徴とする画像処理装置。
9. 前記プロセッサには、前記帯域信号生成手段から出力された信号が入力されないことを特徴とする請求項８に記載の画像処理装置。
10. 第２のノイズ低減手段と、
    第２の画像合成手段と
    を有し、
    前記第１の帯域信号生成手段は、第２のフィルタリング手段を有し、
    前記第２のノイズ低減手段は、前記第２のフィルタリング手段を用いて生成された第３の周波数帯域に含まれる信号に対してノイズ低減処理を施し、
    前記第２の画像合成手段は、前記第１の画像合成手段から出力された信号と前記第２のノイズ低減手段によりノイズ量が低減された前記第３の周波数帯域に含まれる信号とを合成することを特徴とする請求項１から請求項５及び請求項７及び請求項８のいずれかに記載の画像処理装置。
11. 被写体を撮影する撮像手段と、
    前記撮像手段にて取得された画像信号を処理する請求項１から請求項１０のいずれかに記載の画像処理装置と
    を具備する撮像システム。

Images