JP5249111B2 - 画像処理装置、方法、プログラム、及び撮像システム - Google Patents

Description

本発明は、画像処理装置、方法、プログラム、及び撮像システムに関するものである。

画像信号に含まれるノイズ信号を低減するノイズ低減方法として、多重解像度変換を用いたノイズ低減方法が知られている。これは、画像信号をフィルタバンクやラプラシアンピラミッドの手法を用いて複数の周波数帯域の信号に分割し、それぞれの帯域の信号に対して何らかのノイズ低減処理を施した後、これらを再合成するものであり、分割した帯域それぞれに適した強度のノイズ低減処理を行えるという利点を有するものである。

図１３に、ラプラシアンピラミッドによる多重解像度変換を用いたノイズ低減処理を実現する一構成例を示す。入力画像１００は、フィルタリング部１０１にてローパスフィルタ処理後に縮小される。この処理により、画像サイズは水平方向、垂直方向共に半分となる。縮小された画像は、次段のフィルタリング部１１１に供給され、順次さらに縮小されていく。フィルタリング部１０１において縮小された画像は、拡大処理部１０２にて元の画像サイズに拡大された後、減算器１０３にて帯域画像信号が作成される。この帯域画像信号は、フィルタリング部１０１で用いられたローパスフィルタ特性により遮断された高域成分に相当する。この高域成分を多く含む帯域画像信号に対して、ノイズ低減部１０４にてノイズ低減処理を施す。

２段目の処理でも同様に、フィルタリング部１１１、拡大処理部１１２、減算器１１３により、２段目に相当する帯域画像信号が生成され、これに対してノイズ低減部１１４でノイズ低減処理を適用する。このようにして順次の帯域分割された信号に対してノイズ低減処理が適用されることとなる。図１３に示した例は、計３段分の処理の例である。

最も低周波の帯域におけるノイズ低減部１２４の出力は、低域側の信号と加算器１２６で加算され、拡大処理部１１５によって拡大された後、高域側の処理に送られる。このようにして順次低域側から信号が再合成されていき、最終的に最高域の信号が加算器１０６により加算されて、出力画像１３０となる。
なお、図１３に示した例においては、３段目のフィルタリング部１２１において縮小処理をした後、拡大処理部１２２，１２５にて拡大処理がなされているが、これら縮小処理、拡大処理を省く構成も可能である。

特許文献１には、図１３におけるノイズ低減部１０４、１１４、１２４に、方向性を有するフィルタを用いたノイズ低減処理（例えば、特許文献２参照）を適用する方法が開示されている。また、特許文献３には、周波数分割としてウェーブレット変換を使用し、分割した各帯域の信号に対して、閾値以下の信号を０にするというコアリング処理を施す方法が開示されている。

以上説明したような多重解像度変換を用いたノイズ低減方法は、分割した帯域それぞれに適した強度のノイズ低減処理を行えるという利点を有すると共に、多重解像度変換の段数を増やして分割する帯域数を増やせば、より低周波に存在するノイズ成分もノイズ低減の対象とすることができるという利点を有する。

特開２００１−５７６７７号公報 特開昭５５−１３３１７９号公報 特開平９−２１２６２３号公報

しかしながら、多重解像度変換の段数を増やすと、出力画像の外周部に含まれる無効画素数が増加するという問題がある。例えば、図１３に示した例において、フィルタリング部１０１、１１１、１２１のフィルタサイズが５×５であった場合、フィルタリング部１０１の出力に１画素の有効な計算結果を出力するためには、入力画像として５×５画素を入力する必要がある。

同様に、フィルタリング部１１１の出力に１画素の有効な計算結果を出力するためには、入力画像１００のサイズを１３×１３とする必要があり、フィルタリング部１２１の出力の場合には、入力画像１００のサイズを２９×２９とする必要がある。
このように多重解像度変換の段数が増えるにつれ、入力画像サイズと出力画像に含まれる有効画素数の差、すなわち無効画素数が増加していくこととなる。

このように出力画像の外周部に無効画素数が増加すると、入力画像に対して出力画像が実質的に小さくなる。一般に、このような問題に対処するために、入力画像の最外周部の画素を画面外に拡張した後に、この入力画像に対して上述した多重解像度処理等を行うことにより、入力画像と同一サイズの出力画像を得る方法が知られている。
しかしながら、このようにして処理された出力画像の外周部は、拡張の影響を受け画質が劣化するおそれがある。更に、外周部を拡張することにより、処理する画素数が増大するため、結果として処理速度が遅くなるという問題が発生する。

また、ハードウェア実現を想定した場合、ラインメモリのサイズに制限があるため、画像を幾つかのブロックに分割してそれぞれのブロックを入力画像として処理し、各出力画像を組み合わせて最終出力画像とする必要がある。このような場合に、ブロックの外周部を単純に拡張すると、組み合わせた後のブロック境界で不連続が生じるという問題があった。

本発明は、上記問題に鑑みてなされたもので、多重解像度変換を用いたノイズ低減方法を適用する場合において、画素拡張による不連続等の画質への影響を抑え、かつ、処理画素数の増大を抑えながら、外周部の無効画素数を削減できる画像処理装置、方法、プログラム、及び撮像システムを提供することを目的とする。

上記課題を解決するために、本発明は以下の部を採用する。
本発明の第１の態様は、入力画像をフィルタリング処理する複数段のフィルタリング手段と、前記複数段のフィルタリング手段の出力画像から互いに異なる周波数帯域を持つ複数の帯域画像信号を作成する複数の帯域画像信号作成手段と、該帯域画像信号作成手段によって作成された前記複数の帯域画像信号に含まれるノイズ成分を低減するノイズ低減処理を行うノイズ低減処理手段と、ノイズ低減処理が施された前記複数の帯域画像信号を合成する複数の画像合成手段とを具備する画像処理装置であって、初段のフィルタリング手段を除く他の前記複数のフィルタリング手段のうちの１つに入力される画像、又は、前記複数の帯域画像信号作成手段のうちの１つから出力された画像の外周部の画素を拡張する画素拡張処理を行う第１の画素拡張手段を備える画像処理装置である。

このような構成によれば、入力画像から互いに異なる帯域を持つ帯域画像信号が帯域画像信号作成手段により作成され、これらの帯域画像信号の各々に含まれるノイズ成分がノイズ低減処理手段により低減される。ノイズ低減後の各帯域画像信号は、画像合成手段により合成され、入力画像と略同サイズの出力画像が得られる。

ここで、初段のフィルタリング手段を除く他のフィルタリング手段のうち、少なくとも１つのフィルタリング手段の入力側に第１の画像拡張手段が設けられる場合には、この第１の画像拡張手段により、該フィルタリング手段に入力される画像の外周部の画素を拡張する画素拡張処理が行われるので、後段のフィルタリング手段においては、画素拡張がなされた画像に対して、フィルタリング処理が行われることとなる。

また、複数の帯域画像信号作成手段のうち、少なくとも１つの帯域画像信号作成手段の出力側に第１の画像拡張手段が設けられる場合には、第１の画像拡張手段によって画素拡張がなされた帯域画像信号に対してノイズ低減処理が行われることとなる。

このように、入力画像に対して一括して画素拡張処理を行うことで、複数段のフィルタリング処理やノイズ低減処理によって発生する無効画素を抑制するのではなく、フィルタリングにより得られた出力画像や帯域画像信号に対して画素拡張処理を行うので、一回の画素拡張処理における拡張画素数を削減することができる。これにより、演算処理量を低減させることができるとともに、画素拡張による不連続等の画質への影響を抑えることが可能となる。

本発明の第２の態様は、画像を取得する撮像手段と、該撮像手段によって取得された画像信号に対して画像処理を行う上記第１の様態の画像処理装置とを具備する撮像システムである。

本発明の第３の態様は、入力画像に対して複数回のフィルタリングを行う過程と、前記複数回のフィルタリングにより得られた複数の出力画像から互いに異なる周波数帯域を有する複数の帯域画像信号を作成する過程と、前記フィルタリングにより得られた複数の出力画像及び前記複数の帯域画像信号の少なくとも１つの画像の外周部の画素を拡張する画素拡張処理を行う過程と、前記複数の帯域画像信号に含まれるノイズ成分を低減するノイズ低減処理を行う過程と、ノイズ低減処理が施された前記複数の帯域画像信号を合成する過程とを有する画像処理方法である。
である。

本発明の第４の態様は、入力画像に対して複数回のフィルタリングを行なう処理と、前記複数回のフィルタリングにより得られた複数の出力画像から互いに異なる周波数帯域を有する複数の帯域画像信号を作成する処理と、前記フィルタリングにより得られた複数の出力画像及び前記複数の帯域画像信号の少なくとも１つの画像の外周部の画素を拡張する画素拡張処理を行う処理と、前記複数の帯域画像信号に含まれるノイズ成分を低減するノイズ低減処理を行う処理と、ノイズ低減処理が施された前記複数の帯域画像信号を合成する処理とをコンピュータに実行させるための画像処理プログラムである。

本発明によれば、多重解像度変換を用いたノイズ低減方法を適用する場合において、画素拡張による不連続等の画質への影響を抑え、かつ、処理画素数の増大を抑えながら、外周部の無効画素数を削減できるという効果を奏する。

本発明の第１の実施形態に係る画像処理装置の概略構成を示したブロック図である。 本発明の第１の実施形態に係る画素拡張部の動作について説明するための図である。 本発明の第１の実施形態に係る画素拡張部の動作について説明するための図である。 本発明の第２の実施形態に係る画像処理装置の概略構成を示したブロック図である。 本発明の第３の実施形態に係る画像処理装置の概略構成を示したブロック図である。 本発明の第４の実施形態に係る画像処理装置の概略構成を示したブロック図である。 本発明の第５の実施形態に係る画像処理装置の概略構成を示したブロック図である。 図７に示したノイズ低減強度制御部の概略構成を示した図である。 混合率制御部の動作の一例を説明する図である。 本発明の第６の実施形態に係る画像処理装置の概略構成を示したブロック図である。 本発明の第７の実施形態に係る混合率制御部の動作の一例を説明する図である。 いずれかの実施形態に係る画像処理装置をデジタルカメラ等の撮像システムに適用したときの全体構成例を示した図である。 従来のラプラシアンピラミッドによる多重解像度変換を用いたノイズ低減処理を実現する一構成例を示した図である。

以下に、本発明に係る画像処理装置、方法、プログラム、及び撮像システムの実施形態について、図面を参照して説明する。

〔第１の実施形態〕
図１は、本発明の第１の実施形態に係る画像処理装置の概略構成を示したブロック図である。
図１に示されるように、本実施形態に係る画像処理装置１は、フィルタリング画像作成部２と、画素拡張部（第１の画素拡張手段）２００と、帯域画像信号作成部（帯域画像信号作成手段）３と、ノイズ低減処理部（ノイズ低減処理手段）４と、画像合成部（画像合成手段）５とを主な構成要素として備えている。

フィルタリング画像作成部２は、入力画像１００から互いに異なる解像度を有する複数の画像（縮小画像）を作成する。具体的には、フィルタリング画像作成部２は、Ｎ（Ｎは２以上の整数）段のフィルタリング部（フィルタリング手段）１０１，１１１，１２１を備えており、前段のフィルタリング部によってフィルタリングにより作成された縮小画像がその後段のフィルタリング部に入力されることで、入力画像から互いに異なる解像度を有する複数の縮小画像を逐次的に作成する。本実施形態では、Ｎ＝３の場合を例示している。なお、ここではフィルタリング部によるフィルタリングによって縮小画像が作成されることとしているが、フィルタリング部では縮小処理を行わない構成としても良い。例えば、ローパスフィルタを行なうが、縮小処理は行わない構成としても良い。

画素拡張部２００は、初段のフィルタリング部１０１以外のフィルタリング部１１１，１２１のうち、少なくとも１つのフィルタリング部の入力側に設けられ、前段のフィルタリング部から出力された縮小画像に対して画像外周部の画素を拡張する画素拡張処理を行う。本実施形態においては、画像拡張部２００は、最終段のフィルタリング部１２１の入力側に設けられており、フィルタリング部１１１から出力された縮小画像に対して画像外周部の画素を拡張する画素拡張処理を行う。なお、「画素を拡張する」とは、画像中の画素の画素値を用いて画像の外側の領域に新たに画素値を設定し、画素値が存在する領域を拡大することを示す。

帯域画像信号作成部３は、フィルタリング画像作成部２によって作成された複数の縮小画像の各々から互いに異なる帯域を持つ帯域画像信号をそれぞれ作成する。具体的には、帯域画像信号作成部４は、各フィルタリング部１０１，１１１，１２１に対応してそれぞれ設けられた拡大処理部１０２，１１２、１２２、及び減算部１０３，１１３，１２３を備えている。

ノイズ低減処理部４は、帯域画像信号作成部３によって作成された各帯域画像信号に含まれるノイズ成分を低減する。具体的には、ノイズ低減処理部４は、各フィルタリング部１０１，１１１，１２１に対応してそれぞれ設けられたノイズ低減部１０４，１１４，１２４を備えている。

画像合成部６は、ノイズ低減処理が施された各帯域画像信号を合成する。具体的には、画像合成部６は、各フィルタリング部１０１，１１１，１２１に対応してそれぞれ設けられた拡大処理部１０５，１１５，１２５及び加算部１０６，１１６，１２６をそれぞれ備えている。

上記構成を備える画像処理装置１において、入力画像１００は、フィルタリング部１０１にてローパスフィルタ処理後に縮小される。この処理により、画像サイズは水平方向、垂直方向共に半分となる。縮小された画像は、次段のフィルタリング部１１１に供給され、さらに縮小される。このとき、フィルタリング部１１１の出力には、無効画素が存在することとなる。

例えば、入力画像１００のサイズが２５６×２５６、フィルタリング部１０１、１１１のフィルタサイズがそれぞれ５×５であった場合、１段目のフィルタ処理により、２５６×２５６の画像のうち、最外周の２画素分が無効画素となる。そして、この無効画素が低減された画像を更に縮小することにより、画像サイズは１２６×１２６となる。２段目のフィルタ処理により、１２６×１２６の画像のうち、最外周の２画素分が無効画素となる。この無効画素が低減された画像を更に縮小することにより、画像サイズは６１×６１となる。

本実施形態においては、フィルタリング部１１１の出力に対して、画素拡張部２００により最外周部の画素を拡張することにより、フィルタリング部１２１で新たな無効画素が発生しないようにする。例えば、フィルタリング部１２１のフィルタサイズが５×５の場合、画素拡張部２００は、６１×６１の画像を外周部において２画素拡張し６５×６５とする。

以下、画素拡張部２００の動作について、図２及び図３を用いて詳しく説明する。
図２に示す外周部画素拡張方法は、拡張する画素値を、最外周画素の中で最も距離が近い画素と同一にするものである。図２中の１〜５で示す画素の内、同一の番号が付された画素は、それぞれ同一の画素値であり、拡張される画面外画素値が、画面内の最外周画素の中で距離が最も近い画素の画素値となっている様子を示している。
なお、画素拡張の方法については、図２で示した方法に限られることはない。例えば、図３には、画面外画素と画面内画素が、境界部に関して鏡像の関係になるような拡張方法を示している。

図１に戻り、フィルタリング部１０１、１１１、１２１の出力は、それぞれ拡大処理部１０２、１１２、１２２で拡大処理された後、減算器１０３、１１３、１２３にて減算処理がされ、各帯域の帯域画像信号が生成される。これら帯域画像信号には、ノイズ低減部１０４、１１４、１２４においてノイズ低減処理がそれぞれ施される。ノイズ低減処理の内容については、例えば、帯域画像信号の絶対値が閾値以下の信号を０（ゼロ）にするというコアリング処理等が考えられるが、この方法に限られるものではない。
ノイズ低減処理がなされた帯域画像信号は、画像合成部５において順次低域側から再合成されて、出力画像１３０が作成される。

本実施形態においては、上述したように、３段目のフィルタ処理において新たな無効画素が発生しないように、最終段のフィルタリング部１２１の入力側に画素拡張部２００を配置している。以下、このような位置に画素拡張部２００を設け、最も低域の縮小画像（多重解像度画像）に対してのみ画素拡張処理を行うことの利点について説明する。

通常、画素拡張により拡張された画素値は、本来の正しい画素値と異なり、この差が不連続等の画質への悪影響となる。しかしながら、エイリアスによる影響を抑えるために、縮小処理前のフィルタ処理において、強めのローパスフィルタが採用された場合、このようなローパスフィルタを通過した低域の縮小画像は、変化の少ない滑らかな画像となっていることが期待できる。

したがって、このような低域の縮小画像に対して外周部の画素を拡張した場合には、本来の正しい画素値との差は小さいことが期待できる。すなわち、低域の縮小画像のみに対して画素拡張を行えば、画質への悪影響を小さく抑えることが可能となる。

また、後段に設けられたフィルタリング部ほど、入力画像に対する縮小率が高くなっているため、画素拡張による無効画素削減の効果は、前段に設けられたフィルタリング部における効果よりも大きい。例えば、図１において、フィルタリング部１０１の入力側で、２画素分の画素拡張を行った場合、出力画像１３０の無効画素を２画素削減する効果があるとする。このとき、本実施形態のように、フィルタリング部１２１の入力側において、低域の縮小画像に対して２画素分の画素拡張を行うことは、出力画像１３０においては無効画素を８画素削減する効果がある。

また、入力画像に対して画素拡張するのではなく、無効画素が発生する要因であるフィルタリング部１２１の直前で画素拡張することにより、フィルタリング部１０１、１１１での無駄な演算処理を省くことが可能となるため、処理速度に対する悪影響も軽減することができる。

以上、本実施形態に係る画像処理装置１によれば、フィルタリング部１１１の出力に対して、画素拡張部２００で最外周部の画素を拡張することにより、フィルタリング部１２１で新たな無効画素が発生しないようにすることができる。これにより、多重解像度変換を用いたノイズ低減方法において、画素拡張による不連続等の画質への影響を抑え、かつ、処理画素数の増大を抑えながら、外周部の無効画素数を削減できる。

なお、本実施形態においては、入力画像１００を処理し、出力画像１３０を出力する構成について説明したが、入力画像１００は、原画像をブロックに分割した場合のブロック画像であってもよく、また、原画像そのものであってもよい。入力画像１００が原画像そのものの場合には、ブロックに分割した場合のように、ブロック境界での不連続の抑制という効果は無いが、原画像の外周部における画質劣化の抑制という効果を得ることができる。

また、本実施形態においては、図１に示すように、拡大処理部１１２の入力は、画素拡張部２００の出力とはなっていないが、拡大処理部１１２における処理で無効画素が発生する場合には、この入力を画素拡張部２００の出力とする構成としてもよい。

〔第２の実施形態〕
次に、本発明の第２の実施形態について、図４を参照して説明する。
図４は、本実施形態に係る画像処理装置の概略構成を示したブロック図である。図４に示すように、本実施形態に係る画像処理装置は、画素拡張部２００の配置位置が上述した第１の実施形態に係る画像処理装置と異なっている。

具体的には、上述した第１の実施形態においては、フィルタリング部１２１で発生する無効画素を問題とし、最終段のフィルタリング部１２１の入力側に画素拡張部２００を配置して、新たな無効画素が発生しないようにしていた。本実施形態においては、最終段以外のフィルタリング部１０１，１１１の入力側に画素拡張部２０１，２０２をそれぞれ配置することで、無効画素数を削減する構成となっている。以下、本実施形態の画像処理装置について、第１の実施形態と共通する点については説明を省略し、異なる点についてのみ説明する。

まず、入力画像１００は、画素拡張部２０１で最外周部の画素が拡張される。これによりフィルタリング部１０１では無効画素が発生しないこととなる。更に、フィルタリング部１０１の出力は画素拡張部２０２で最外周部の画素が拡張され、フィルタリング部１１１での無効画素の発生はない。画素拡張部２０１、２０２の動作は、図１に示した画素拡張部２００の動作と同様である。

以下、入力画像のサイズが２５６×２５６、フィルタリング部１０１、１１１、１２１のフィルタサイズがそれぞれ５×５であった場合について説明する。画素拡張部２０１により最外周部の画素が２画素拡張され、画像サイズは２６０×２６０となる。これに対し、１段目のフィルタ処理により、画像サイズは２５６×２５６となり入力画像と同一サイズのままとなる。この画像を縮小することにより、画像サイズは１２８×１２８となる。画素拡張部２０２により、最外周部の画素が２画素拡張され、画像サイズは１３２×１３２となる。これに対し、２段目のフィルタ処理により、画像サイズは１２８×１２８となり、縮小により画像サイズは６４×６４となる。３段目のフィルタ処理により最外周の２画素分が無効画素となるため、画像サイズは６０×６０となる。以降の構成は第１の実施形態と同様であるため省略する。

本実施形態においては、画素拡張部２０１，２０２が２つ設けられているため、第１の実施形態における画像処理装置と比較して、ハードウェア規模の観点で不利であるが、無効画素の削減という観点では第１の実施形態に近い削減数を得ることができている。また、無効画素が発生する要因であるフィルタリング部１０１，１１１の直前で必要最低限の画素拡張をすることにより、入力画像１００に対してのみ、広い画素拡張を行う場合と比較して処理速度に対する悪影響を軽減できる。

また、本実施形態では、第１の実施形態と異なり、高域の画像信号において画素拡張をしているので、不連続等の影響が大きいことが危惧される。しかしながら、本実施形態においては、３段目のフィルタ処理において敢えて無効画素を発生させており、画像サイズが小さくなっているため、加算器１１６，１０６を介して画素拡張の影響が出力画像１３０に直接混入することはない。

また、画素拡張部２０１、２０２において拡張された画素は、１段目や２段目のフィルタ処理を介して３段目の処理に入力されるため、第１の実施形態のように３段目のフィルタリング部１２１の入力側で画素拡張するよりも、不連続等の影響は緩和されることとなる。

なお、画素拡張部の配置については、上記第１または第２の実施形態に係る配置に限られない。例えば、全てのフィルタリング部の入力側に、画素拡張部を配置することとしてもよいし、２段目のフィルタリング部１１１の入力側にのみ画素拡張部を設けることとしても良い。
なお、２段目のフィルタリング部１１１の入力側にのみ画素拡張部を設けた場合には、フィルタリング部１１１、１２１の双方で無効画素が発生しないようにするために、広く画素拡張をする必要がある。従って、２段目及び３段目のそれぞれに画素拡張部２００を配置した場合と比較して、処理画素数が増えるという欠点はある。しかし、画素拡張部２００の挿入場所が少なくなるので、ハードウェア規模の観点から有利となる。

〔第３の実施形態〕
次に、本発明の第３の実施形態について、図５を用いて説明する。
上述した第１の実施形態においては、フィルタリング部１２１で発生する無効画素を問題とし、最終段のフィルタリング部１２１の入力側に画素拡張部２００を挿入して、新たな無効画素が発生しないようにしていた。しかし、この他にもノイズ低減処理部４で無効画素が発生することも考えられる。例えば、ノイズ低減処理部４で実行されるノイズ低減処理が単純なコアリング処理の場合、ここで新たな無効画素が発生することはない。しかし、ノイズ低減処理として、例えば、方向性を有するフィルタ処理（例えば、特許文献２参照）を採用した場合、使用するフィルタのサイズに応じた無効画素が発生することになる。

このような場合に対応するため、本実施形態においては、ノイズ低減処理部４の入力側に、画素拡張処理を行う画素拡張部（第２の画素拡張手段）３００を設け、帯域画像信号を外周部で拡張することにより無効画素の発生を抑える構成としている。

以下、本実施形態に係る画像処理装置について、上述した第１の実施形態に係る画像処理装置と共通する点については説明を簡略し、異なる点について主に説明する。
入力画像１００は、フィルタリング部１０１，１１１，１２１にて順次ローパスフィルタ処理後に縮小される。それぞれの縮小画像は、拡大処理部１０２、１１２、１２２で拡大処理された後、減算器１０３、１１３、１２３にて減算処理がされ、各帯域の帯域画像信号が生成される。これら帯域画像信号は、ノイズ低減処理部４が備える各ノイズ低減部１０４，１１４，１２４においてノイズ低減処理がそれぞれ実行される。ノイズ低減処理の内容については、例えば、方向性を有するフィルタ処理等が考えられるが、この方法に限られるものではない。

本実施形態においては、３段目のフィルタリング部１２１に対応するノイズ低減部１２４の入力側に画素拡張部３００が設けられている。ノイズ低減部１２４で使用するフィルタのサイズが５×５の場合、画素拡張部３００は、最外周部の画素を２画素分周囲に拡張する動作をすることで、ノイズ低減部１２４で新たな無効画素が発生しないようにする。拡張の方法については、第１の実施形態と同様に、図２で示されるような単純な拡張でもよく、また、図３で示されるような境界部に関して鏡像の関係となるような拡張でもよい。

ノイズ低減処理がなされた各帯域画像信号は、拡大処理部１２５、１１５、１０５、加算器１２６、１１６、１０６によって順次低域側から再合成されて、出力画像１３０となる。

以上、本実施形態に係る画像処理装置によれば、３段目のフィルタリング部１２１に対応する帯域画像信号の画素を拡張するための画素拡張部３００を設け、画素拡張部３００によって拡大された帯域画像信号をノイズ低減部１２４に入力することとしたので、ノイズ低減部１２４におけるノイズ低減処理において、新たな無効画素の発生を抑制することができる。
このように、低域の帯域画像信号においてのみ画素拡張を行うことにより、画素拡張による不連続等の画質への影響を抑えることができるとともに、処理画素数の増大を抑えることにより、演算処理による処理負担を低減させることができる。

なお、本実施形態においては、３段目のフィルタリング部１２１に対応するノイズ低減部１２４の入力側にのみ画素拡張部３００を配置したが、これに加えて、或いは、これに代えて、ノイズ低減部１１４，１０４の入力側にそれぞれ画素拡張部３００を配置することとしてもよい。また、更に、上述した第１または第２の実施形態と組み合わせて、各フィルタリング部１０１，１１１，１２１の入力側に画素拡張部を設けることとしてもよい。

〔第４の実施形態〕
次に、本発明の第４の実施形態について、図６を用いて説明する。
本実施形態では、ノイズ低減部１１４の入力側に画素拡張部３００を更に設けている点で上述した第１の実施形態に係る画像処理装置と異なる。
以下、本実施形態に係る画像処理装置において、上述した第１の実施形態と共通する点については説明を簡略化し、異なる点について主に説明する。

図６に示した画像処理装置において、入力画像１００は、フィルタリング部１０１、１１１、１２１にてローパスフィルタ処理が施された後、逐次的に縮小される。ここで作成される縮小画像は、後段に設けられたフィルタリング部によって作成されるものほど、解像度の低い画像となる。
本実施形態においては、最終段のフィルタリング部１２１の入力側に画素拡張部２００を設け、フィルタリング部１１１において新たな無効画素が発生しないようにしている。

各フィルタリング部１０１，１１１，１２１により作成された縮小画像は、それぞれ拡大処理部１０２，１１２，１２２、減算部１０３，１１３，１２３に入力され、各帯域の帯域画像信号が作成される。
各帯域画像信号は、ノイズ低減部１０４，１１４，１２４によりノイズ成分が低減され、その後、画像合成部５により合成され、出力画像１３０が作成される。この場合において、ノイズ低減部１１４の入力側に画像拡張部３００が設けられていることから、ノイズ低減処理部１１４で発生する無効画素を抑制することが可能となる。

ここで、無効画素が発生するか否かについては、ノイズ低減部において採用されるノイズ低減処理に依存する。例えば、コアリング等のノイズ低減処理を採用した場合には無効画素は発生せず、また、上述した方向を有するフィルタ等を用いるノイズ低減処理を採用した場合には、無効画素が発生する。
従って、画素拡張部３００については、各ノイズ低減部１０４，１１４，１２４が採用するノイズ低減処理を検討し、無効画素が発生するノイズ低減処理を採用している場合には、そのノイズ低減部の入力側に画素拡張部３００を配置し、後続のノイズ低減処理によって発生する無効画素に相当する画素数を拡張するような画素拡張処理を実施することが好ましい。

以上、本実施形態に係る画像処理装置によれば、複数のフィルタリング部のうち、少なくとも１つのフィルタリング部１２１の入力側に画素拡張部２００を設けるとともに、複数のノイズ低減部のうち、少なくとも１つのノイズ低減部１１４の入力側に画素拡張部３００を設けたので、フィルタリング部による縮小処理によって発生する無効画素を抑制することができるとともに、ノイズ低減処理により発生する無効画素についても抑制することが可能となる。

〔第５の実施形態〕
次に、本発明の第５の実施形態について説明する。
第１の実施形態においては、フィルタリング部で発生する無効画素を問題とし、最終段のフィルタリング部１２１の入力側に画素拡張部２００を配置して、新たな無効画素が発生しないようにしていた。このような低域の画像信号に対してのみの画素拡張であれば、画質への悪影響を小さく抑えることが可能となる。

しかしながら、外周部に強いエッジ成分が存在した場合等には、本来の正しい画素値と画素拡張により得た画素値との間に無視できない誤差が発生する場合もありうる。この誤差成分は、減算器１２３による減算を介して帯域画像信号中に誤差反対成分として混入することになる。

一方、ノイズ低減部１２４によるノイズ低減の強度が十分に弱い場合、誤差反対成分はノイズ低減により消失することなく、加算器１２６により画像中に戻されるため、画素拡張により発生した誤差はキャンセルされることとなる。
逆に、ノイズ低減部１２４によるノイズ低減の強度が強く、誤差反対成分の一部もノイズと共に消失する場合には、加算器１２６による加算後にも画像に誤差成分が残留することとなる。
このような問題に対応するため、本実施形態においては、ノイズ低減強度制御部４００をノイズ低減部１２４の後段に配置し、画素拡張により発生する誤差成分の残留を抑える構成としている。

以下、本実施形態に係る画像処理装置について図７を参照して詳しく説明する。
本実施形態に係る画像処理装置は、図１に示した第１の実施形態に係る画像処理装置の構成において、ノイズ低減部１２４の後段にノイズ低減強度制御部４００が更に設けられている。
ノイズ低減強度制御部４００には、ノイズ低減部１２４に入力されるノイズ低減前の帯域画像信号４０１と、ノイズ低減部１２４によるノイズ低減処理が施された後の帯域画像信号４０２とが入力されるようになっている。ノイズ低減強度制御部４００は、入力されたこれらの信号を混合することで、ノイズ低減強度を制御する。

図８にノイズ低減強度制御部４００の構成を示す。ノイズ低減強度制御部４００は、混合部４０３と混合率制御部４０４とを備えている。ノイズ低減前の信号４０１とノイズ低減後の信号４０２とは、混合部４０３において加重平均処理により混合される。ノイズ低減後の信号４０２の混合率を小さくすることは、ノイズ低減処理の強度を弱めることを意味し、これにより画素拡張により発生する誤差成分の残留を抑える制御を可能とする。混合率は、混合率制御部４０４にて計算される。

図９に、混合率制御部４０４の動作の一例を説明する図を示す。混合率制御部４０４では、ノイズ低減後の信号４０２とノイズ低減前の信号４０１との差分の絶対値を計算し、この差分の絶対値に応じて混合率を制御する。
差分の絶対値が小さい場合には、ノイズ低減処理の結果、大きな画素値の変動がなく、画素拡張により発生する誤差反対成分の消失も軽微であることが予想される。従って、このような場合には、ノイズ低減後の信号の混合率を大きくし、ノイズ低減処理の効果を大きくすることとしている。
一方、差分の絶対値が大きい場合には、ノイズ低減処理の結果、大きな画素値の変動があり、画素拡張により発生する誤差反対成分の消失も予想される。従って、このような場合には、ノイズ低減後の信号の混合率を小さくし、画素拡張により発生する誤差成分の残留を抑える。
具体的には、混合率制御部４０４は、図９に示すような混合率と信号差分とが対応付けられたテーブルを有しており、このテーブルからノイズ低減後の信号４０２とノイズ低減前の信号４０１との差分の絶対値に対応する混合率を取得し、取得した混合率を混合部４０３に出力する。

なお、本実施形態では、図９に示されるように、ノイズ低減後の信号とノイズ低減前の信号の画素値の差分値を用いて混合率を制御しているが、これに限られることはなく、例えば、ノイズ低減処理の結果による画素値の変動の量を表す指標を用いて混合率を制御することとしてもよい。

以上、本実施形態に係る画像処理装置によれば、ノイズ低減強度制御部４００をノイズ低減部１２４の後段に配置したので、ノイズ低減の強度を事後的に調整することが可能となる。これにより、画素拡張により発生する誤差成分の残留を抑えることが可能となる。

なお、本実施形態においては、第１の実施形態に係る構成に対してノイズ低減強度制御部４００を追加した態様としたが、これに代えて、例えば、第２の実施形態に係る構成に対してノイズ低減強度制御部４００を追加した態様としてもよい。例えば、第２の実施形態においても、減算器１０３、１１３、１２３のそれぞれにおいて、これら減算器のいずれかの入力が画素拡張の影響を受けている場合には、画素拡張による誤差成分の反対成分が各帯域の帯域画像信号中に混入することとなる。これをノイズ低減強度制御部４００により過度に消失することを抑えることにより、出力画像に残留する誤差成分を抑えることが可能となる。
このように、ノイズ低減強度制御部４００については、ノイズ低減部１２４の後段だけでなく、ノイズ低減部１０４，１１４のいずれか一つ、或いは、両方の後段に設けることとしてもよい。

〔第６の実施形態〕
次に、本発明の第６の実施形態について説明する。
第６の実施形態は、図１０に示すように、上述した第３の実施形態に係る画像処理装置の構成（図５参照）において、ノイズ低減部１２４の後段にノイズ低減強度制御部４００を更に設けた構成をとる。例えば、少なくとも一つのノイズ低減部の入力側に画素拡張部が設けられた場合、この画素拡張により後段で行われるノイズ低減処理が影響を受け、画質が不自然に劣化するおそれがある。

ノイズ低減部によるノイズ低減の強度が弱い場合、このような劣化が発生したとしても、ノイズ低減の強度が弱い分、劣化の度合いも弱いことが予想される。しかしながら、ノイズ低減処理部によるノイズ低減の強度が強い場合、強い劣化が発生するおそれがあり好ましくない。
このような問題に対応するため、本実施形態においては、画素拡張部が設けられた段のノイズ低減部の後段にノイズ低減強度制御部４００を設け、画素拡張により発生するノイズ低減処理での不自然な画質劣化を抑える構成としている。
例えば、図１０では、３段目のノイズ低減部１２４の入力側に画素拡張部３００を設けているため、これに対応するように、ノイズ低減部１２４の後段にノイズ低減強度制御部４００を設けている。このような構成により、画素拡張部３００による画素拡張によって発生するノイズ低減処理での不自然な画質劣化をノイズ低減強度制御部４００により抑制することができる。

〔第７の実施形態〕
次に、本発明の第７の実施形態について説明する。
上述した第５または６の実施形態に係る画像処理装置では、ノイズ低減強度制御部４００の動作は、処理対象の画素位置にかかわらず同一の動作となっている。しかしながら、ノイズ低減後の信号の混合率を低下させることは、画素拡張により発生する誤差成分の残留を抑える効果、あるいは、ノイズ低減処理での不自然な画質劣化を抑える効果と共に、ノイズ低減能力の低下という弊害を伴う。
本実施形態においては、この弊害を軽減するために、処理対象画素が外周部に近いか遠いかに応じて、ノイズ低減強度制御部４００の動作特性を異ならせる。

ノイズ低減強度制御部４００は、例えば、図１１に示すようなテーブルを有しており、このテーブルに基づいて混合率を決定する。図１１に示すように、処理対象の画素の位置に応じて異なる複数の制御特性が設定されており、処理対象の画素の位置に応じて異なる混合率が採用されるようになっている。
具体的には、図１１に示すように、処理対象の画素が周辺部に近い場所にあるときは、ノイズ低減後の信号の混合率を低めにし、誤差成分の残留を抑える、或いは、ノイズ低減処理での不自然な画質劣化を抑えるようにする。
また、処理対象の画素が周辺部から遠い場所にあるときには、ノイズ低減後の信号の混合率を高めにし、本来のノイズ低減性能が出るようにする。また、処理対象画素と周辺部からの距離に応じて、これら２つの制御特性から補間した特性を制御特性とする。

以上、本実施形態に係る画像処理装置によれば、処理対象の画素が周辺部に近いか遠いかに応じて、ノイズ低減強度制御部４００の動作特性を可変としたので、ノイズ低減能力の低下を緩和することが可能となる。

〔適用例〕
図１２は、上述したいずれかの実施形態に係る画像処理装置をデジタルカメラ等の撮像システムに適用したときの全体構成例を示した図である。
図１２に示されるように、撮像システムは、被写体を撮影する撮像部９００と、撮像部９００にて取得された画像を処理する処理装置９０１とを備えている。撮像部９００は、レンズ系９１０、ＣＣＤ等の撮像素子９１１を備えている。処理装置９０１は、画像処理部９１２、ノイズ低減部９１３、画像圧縮部９１４、記録メディア９１５、及びフレームメモリ９１６等を備えている。

このような構成において、レンズ系９１０を通して撮像素子９１１で撮像された画像信号は、画像処理部９１２においてホワイトバランス処理やエッジ強調処理、色信号処理等が施された後、ノイズ低減部９１３においてノイズ低減がなされる。ノイズが低減された画像信号は画像圧縮部９１４でＪＰＥＧ形式等に圧縮された後、メモリカード等の記録メディア９１５に保存される。ノイズ低減部９１３は、本発明の第１から第７の実施形態において説明したノイズ低減方法を適用したものである。入力画像１００は適宜フレームメモリ９１６に格納され、画像処理部９１２、ノイズ低減部９１３によりアクセスされる。

このような撮像システムによれば、ノイズ低減処理を行う際において、処理画素数の増大による速度低下と、画素拡張による不連続等の画質への影響を抑えることができる。

なお、上述してきた各実施形態では、画像処理装置としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。この場合、画像処理装置は、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を備えている。そして、ＣＰＵが上記記憶媒体に記録されているプログラムを読み出して、情報の加工・演算処理を実行することにより、上述の画像処理装置と同様の処理を実現させる。
ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。

１ 画像処理装置
２ フィルタリング画像作成部
３ 帯域画像信号作成部
４ ノイズ低減処理部
５ 画像合成部
１０１，１１１，１２１ フィルタリング部
１０２，１１２，１２２，１０５，１１５，１２５ 拡大処理部
１０３，１１３，１２３ 減算部
１０４，１１４，１２４ ノイズ低減部
１０６，１１６，１２６ 加算部
２００，２０１，２０２，３００ 画素拡張部
４００ ノイズ低減強度制御部
４０３ 混合部
４０４ 混合率制御部

Claims (12)

1. 入力画像をフィルタリング処理する複数段のフィルタリング手段と、
   前記複数段のフィルタリング手段の出力画像から互いに異なる周波数帯域を持つ複数の帯域画像信号を作成する複数の帯域画像信号作成手段と、
   該帯域画像信号作成手段によって作成された前記複数の帯域画像信号に含まれるノイズ成分を低減するノイズ低減処理を行うノイズ低減処理手段と、
   ノイズ低減処理が施された前記複数の帯域画像信号を合成する複数の画像合成手段と
   を具備する画像処理装置であって、
   初段のフィルタリング手段を除く他の前記複数のフィルタリング手段のうちの１つに入力される画像、又は、前記複数の帯域画像信号作成手段のうちの１つから出力された画像の外周部の画素を拡張する画素拡張処理を行う第１の画素拡張手段を備えることを特徴とする画像処理装置。
2. 前記複数のフィルタリング手段のうちの初段のフィルタリング手段の入力側に設けられ、前記入力画像の外周部の画素を拡張する画素拡張処理を行う第２の画素拡張手段を備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記複数のフィルタリング手段の少なくとも１つは、前記入力画像又は前段に設けられた前記フィルタリング手段の出力画像を縮小することを特徴とする請求項１又は請求項２に記載の画像処理装置。
4. 前記第１の画素拡張手段は、前記複数のフィルタリング手段のうち最終段のフィルタリング手段の入力側に設けられていることを特徴とする請求項１に記載の画像処理装置。
5. 前記複数の帯域画像信号作成手段から出力された前記複数の帯域画像信号のうち、少なくとも帯域周波数が２番目に低い帯域画像信号の画像の外周部の画素を拡大する画素拡張処理を行なう第２の画素拡張手段を有することを特徴とする請求項１に記載の画像処理装置。
6. 前記ノイズ低減処理手段におけるノイズ低減の強度を制限するノイズ低減強度制限手段を備え、
   該ノイズ低減強度制限手段は、前記ノイズ低減処理手段によるノイズ低減処理前の該帯域画像信号と、ノイズ低減処理後の該帯域画像信号とを混合する混合手段を有し、該混合率を制御することによりノイズ低減強度を制御することを特徴とする請求項１から請求項５のいずれかに記載の画像処理装置。
7. 前記混合率は、画像外周部以外の部分と比較して、画像外周部におけるノイズ低減後の帯域画像信号の混合割合が少なくなるように調整されることを特徴とする請求項６に記載の画像処理装置。
8. 画像を取得する撮像手段と、
   該撮像手段によって取得された画像信号に対して画像処理を行う請求項１から請求項７のいずれかに記載の画像処理装置と
   を具備することを特徴とする撮像システム。
9. 入力画像に対して複数回のフィルタリングを行う過程と、
   前記複数回のフィルタリングにより得られた複数の出力画像から互いに異なる周波数帯域を有する複数の帯域画像信号を作成する過程と、
   前記フィルタリングにより得られた複数の出力画像及び前記複数の帯域画像信号の少なくとも１つの画像の外周部の画素を拡張する画素拡張処理を行う過程と、
   前記複数の帯域画像信号に含まれるノイズ成分を低減するノイズ低減処理を行う過程と、
   ノイズ低減処理が施された前記複数の帯域画像信号を合成する過程と、
   を有することを特徴とする画像処理方法。
10. 前記入力画像に対して画像外周部の画素を拡張する画素拡張処理を行うことを特徴とする請求項９に記載の画像処理方法。
11. 入力画像に対して複数回のフィルタリングを行なう処理と、
    前記複数回のフィルタリングにより得られた複数の出力画像から互いに異なる周波数帯域を有する複数の帯域画像信号を作成する処理と、
    前記フィルタリングにより得られた複数の出力画像及び前記複数の帯域画像信号の少なくとも１つの画像の外周部の画素を拡張する画素拡張処理を行う処理と、
    前記複数の帯域画像信号に含まれるノイズ成分を低減するノイズ低減処理を行う処理と、
    ノイズ低減処理が施された前記複数の帯域画像信号を合成する処理と
    をコンピュータに実行させるための画像処理プログラム。
12. 前記入力画像に対して画像外周部の画素を拡張する画素拡張処理をコンピュータに実行させることを特徴とする請求項１１に記載の画像処理プログラム。

Images