JP5672527B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、入力画像に生じたぼやけ（ｂｌｕｒ）を低減するための画像処理装置及び画像処理方法に関するものである。

撮影時にフォーカスが合っていないこと（焦点外れ：ｏｕｔ−ｏｆ−ｆｏｃｕｓ）、あるいは手振れ（ｃａｍｅｒａ ｓｈａｋｅ）などにより入力画像にぼやけが生じる。そこで、ぼやけが生じた入力画像に対して画像復元処理を行うことにより、高精細な出力画像を得ることができる。しかし、画像復元処理では、入力画像の高周波数成分が強調されるため、入力画像に含まれるノイズも増幅される。このため、入力画像にノイズが含まれている場合には、画像復元処理により良好な出力画像を得ることが難しい。

そこで、従来、画像復元処理によってノイズが強調されないように、ノイズ情報を利用して復元関数を設計する方法が提案されている（例えば、特許文献１参照）。一般的に、画像復元処理において、以下に示す式（１）のように、劣化関数Ｈ（ｕ，ｖ）の逆関数が復元関数Ｍ（ｕ，ｖ）として利用されている。

ぼやけなどで劣化した画像は、高周波数成分が少ない。つまり、高周波数成分を強調することによって、ぼやけを低減することができる。しかし、このように高周波成分が強調されることにより、ノイズも強調される。

特許文献１に記載の方法では、ノイズのスペクトル密度Ｓｎ（ｕ，ｖ）、及び近似理想画像スペクトル密度Ｓｆ（ｕ，ｖ）を利用して、以下に示す式（２）のように復元関数Ｍ（ｕ，ｖ）が設計されている。

式（２）では、ノイズの密度関数Ｓｎ（ｕ，ｖ）と近似理想画像スペクトル密度Ｓｆ（ｕ，ｖ）との比からおおよそノイズの量が推定されることを利用して、復元関数が設計されている。つまり、式（２）に示す復元関数では、推定されるノイズの量に基づいて、画像復元処理による復元度合いが調整される。具体的には、ノイズが少ない場合（Ｓｎ（ｕ，ｖ）／Ｓｆ（ｕ，ｖ）が非常に小さい場合）、式（２）に示す復元関数は、式（１）に示す一般的な復元関数（劣化関数の逆関数）と略同一となり、画像を十分に復元することができる。一方、ノイズが多い場合（Ｓｎ（ｕ，ｖ）／Ｓｆ（ｕ，ｖ）が大きい場合）、式（２）に示す復元関数では、式（１）に示す一般的な復元関数よりも復元度合いが小さくなり、画像復元処理によってノイズが強調されることが抑制される。

また、画像復元処理の前後に、ノイズを低減する方法が提案されている（例えば、特許文献２参照）。図１０は、特許文献２に記載された従来の画像復元処理を示す図である。

図１０に示す従来の画像復元処理において、まず、露出情報検出４０において検出された露出情報に基づいて、入力画像のノイズを低減する第１ノイズ低減フィルタ処理３０が行われる。次に、ノイズが低減された画像に対して復元処理５０が行われる。このように、復元処理５０の前にノイズを低減する第１ノイズ低減フィルタ処理３０が行われることによって、復元処理５０によってノイズが強調されることが抑えられる。また、復元処理５０の後に、第２ノイズ低減フィルタ処理６０が行われることにより、さらにノイズが低減される。

特開平８−１７２５３３号公報 国際公開第２００７／０１３６２１号

しかしながら、特許文献１に記載の方法では、ノイズが多い場合、画像復元処理における復元度合いが弱くなるため、画像が十分に復元されない。つまり、特許文献１に記載の方法では、ノイズが多い場合、ボケあるいはブレなどが復元結果画像に残るという課題がある。

また、特許文献２に記載の方法では、第１ノイズ低減フィルタ処理によってノイズではない真の画像信号まで加工される場合がある。このような場合、第１ノイズ低減フィルタ処理によって画像の劣化が起こり、さらに、復元処理によってその画像の劣化が強調されるという課題がある。

そこで、本発明は、上記従来の課題を解決するものであって、入力画像に生じたぼやけを低減する際に、入力画像に含まれるノイズを低減しつつ、ノイズ処理によって発生する画像の劣化が画像復元処理によって強調されることを抑制することができる画像処理装置及び画像処理方法を提供することを目的とする。

上記従来の課題を解決するために、本発明の一態様に係る画像処理装置は、入力画像に生じたぼやけを低減するための画像処理装置であって、ノイズを低減するノイズ処理を前記入力画像に対して行うことによりノイズ処理画像を生成するノイズ処理部と、ぼやけを低減するための復元関数を用いた画像復元処理を前記ノイズ処理画像に対して行う復元処理部とを備え、前記ノイズ処理部は、前記画像復元処理に用いられる前記復元関数が示す復元度合いが大きいほど前記入力画像に対する前記ノイズ処理画像の変化度合いが制限されるように、前記ノイズ処理を行う。

この構成によれば、画像復元処理を行う前にノイズ処理を行うので、入力画像に含まれるノイズを低減することができる。さらに、画像復元処理の特性に基づいてノイズ処理を行うので、ノイズ処理によって発生する画像の劣化が画像復元処理によって強調されることを抑制することもできる。

また、前記ノイズ処理部は、前記復元度合いが大きいほど、前記入力画像に対する前記ノイズ処理画像の周波数領域における変化度合いが制限されるように、前記ノイズ処理を行うことが好ましい。

この構成によれば、入力画像に対するノイズ処理画像の周波数領域における変化度合いを画像復元処理の特性に応じて制限することができるので、ノイズ処理によって発生する画像の劣化が画像復元処理によって強調されることを効率的に抑制することができる。

また、前記復元関数は、周波数領域における周波数ごとの復元度合いを示すことが好ましい。

この構成によれば、復元関数が示す復元度合いに応じて、変化度合いを制限することができるので、ノイズ処理によって発生する画像の劣化が画像復元処理によって強調されることを効率的に抑制することができる。

また、前記ノイズ処理部は、前記復元度合いが大きい周波数ほど当該周波数における前記変化度合いが制限されるように、前記ノイズ処理を行うことが好ましい。

この構成によれば、復元度合いが大きい周波数ほど当該周波数における変化度合いを制限することができる。したがって、画像の劣化が強調されやすい周波数ほど画像の劣化が発生しないようにすることができ、ノイズ処理によって発生する画像の劣化が画像復元処理によって強調されることを効率的に抑制することができる。

また、前記ノイズ処理部は、前記入力画像に対して空間領域でノイズ低減処理を行うことにより、ノイズ低減画像を生成するノイズ低減部と、前記復元度合いが大きい周波数ほど当該周波数における前記変化度合いを制限するための第１変動幅が小さくなるように、第１変動幅を周波数ごとに設定する第１変動幅設定部と、前記変化度合いの大きさを示す変化度が前記第１変動幅を超えないように前記ノイズ低減画像を加工することにより、前記ノイズ処理画像を生成する周波数制限部とを有することが好ましい。

この構成によれば、変化度が第１変動幅を超えないようにノイズ低減画像を加工することにより、復元度合いが大きい周波数ほど当該周波数における変化度合いが制限されるノイズ処理画像を容易に生成することができる。

また、前記周波数制限部は、前記入力画像及び前記ノイズ低減画像を空間領域から周波数領域に変換する領域変換部と、周波数領域に変換された入力画像の振幅と周波数領域に変換されたノイズ低減画像の振幅との差分値の絶対値を前記変化度として周波数ごとに算出する比較部と、算出された前記変化度が前記第１変動幅を超えるか否かを周波数ごとに判定し、前記変化度が前記第１変動幅を超えると判定された場合に、当該周波数における前記変化度が前記第１変動幅と一致するように前記ノイズ低減画像の振幅を加工する加工部とを有することが好ましい。

この構成によれば、変化度が第１変動幅を超える場合には、変化度が第１変動幅と一致するようにノイズ低減画像を加工することができる。したがって、できる限りノイズを低減しつつ、ノイズ処理によって発生する画像の劣化が画像復元処理によって強調されることを抑制することができる。

また、さらに、前記入力画像のノイズ情報に基づいて、周波数に関わらず均一の第２変動幅を設定する第２変動幅設定部を備え、前記周波数制限部は、前記変化度が前記第１変動幅及び前記第２変動幅を超えないように前記ノイズ低減画像を加工することにより、前記ノイズ処理画像を生成することが好ましい。

この構成によれば、さらに、ノイズの振幅が周波数に関わらず均一であることを利用して、ノイズ処理によって画像が劣化することを抑制することができる。

また、前記ノイズ情報は、カメラのセンサー特性、前記入力画像が撮影された時のＩＳＯ感度、及び前記入力画像の輝度を利用して算出されることが好ましい。

この構成によれば、カメラのセンサー特性、入力画像が撮影された時のＩＳＯ感度、及び入力画像の輝度を利用して算出されたノイズ情報に基づいて第２変動幅を高精度に設定することが可能となる。

また、前記ノイズ処理部は、前記画像復元処理の特性と前記入力画像のノイズ情報とに基づいて、前記ノイズ処理を行うことが好ましい。

この構成によれば、さらに、ノイズ情報に基づいてノイズ処理を行うことができるので、ノイズ処理によって画像が劣化することを抑制することができる。

また、前記ノイズ情報は、カメラのセンサー特性、前記入力画像が撮影された時のＩＳＯ感度、及び前記入力画像の輝度を利用して算出されることが好ましい。

この構成によれば、カメラのセンサー特性、入力画像が撮影された時のＩＳＯ感度、及び入力画像の輝度を利用して算出されたノイズ情報に基づいてノイズ処理を行うことができるので、ノイズ処理によって画像が劣化することをさらに抑制することができる。

また、前記復元関数は、前記入力画像の画像劣化関数を利用して導出されることが好ましい。

この構成によれば、入力画像の画像劣化関数を利用して導出される画像復元処理の特性に基づいて、ノイズ処理を行うことができる。

また、上記画像処理装置は集積回路として構成されてもよい。

また、本発明は、このような画像処理装置として実現することができるだけでなく、このような画像処理装置が備える特徴的な構成部の動作をステップとする画像処理方法として実現することができる。また、本発明は、画像処理方法に含まれる各ステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等のコンピュータ読み取り可能な非一時的な記録媒体あるいはインターネット等の伝送媒体を介して配信することができるのは言うまでもない。

本発明によれば、画像復元処理を行う前にノイズ処理を行うので、入力画像に含まれるノイズを低減することができる。さらに、画像復元処理の特性に基づいてノイズ処理を行うので、ノイズ処理によって発生する画像の劣化が画像復元処理によって強調されることを抑制することもできる。

本発明の実施の形態１に係る画像処理装置の機能構成を示すブロック図 本発明の実施の形態１に係るノイズ処理部の機能構成を示すブロック図 本発明の実施の形態１に係る周波数制限部の機能構成を示すブロック図 本発明の実施の形態１に係る画像処理装置における処理の流れを示すフローチャート 本発明の実施の形態１に係る第１変動幅設定部における処理を説明するための図 本発明の実施の形態１に係る周波数制限部における処理の流れを示すフローチャート 本発明の実施の形態１に係るノイズ処理部によって生成されるノイズ処理画像を説明するための図 本発明の実施の形態２に係るノイズ処理部の機能構成を示すブロック図 本発明の実施の形態２に係る周波数領域での画像信号の変動の一例を示す図 従来の画像復元処理を示す図

以下、本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置１００の機能構成を示すブロック図である。

画像処理装置１００は、入力画像に生じたぼやけを低減する。図１に示すように、画像処理装置１００は、ノイズ処理部１０と、復元処理部２０とを備える。

ノイズ処理部１０は、入力された入力画像のノイズ低減を行う。つまり、ノイズ処理部１０は、ノイズを低減するノイズ処理を入力画像に対して行うことによりノイズ処理画像を生成する。このとき、ノイズ処理部１０は、復元処理部２０が行う画像復元処理の特性に基づいてノイズ処理を行う。つまり、ノイズ処理部１０は、画像復元処理の特性に基づいて、ノイズが低減される度合いを調整しながらノイズ処理を行う。

具体的には、ノイズ処理部１０は、ノイズ処理画像の変化度合いが画像復元処理の特性に応じて制限されるようにノイズ処理を行う。ここで、ノイズ処理画像の変化度合いとは、入力画像に対するノイズ処理画像の周波数領域における変化の度合いを示す。

より具体的には、ノイズ処理部１０は、復元関数が示す復元度合いに応じて変化度合いが制限されるようにノイズ処理を行う。本実施の形態では、ノイズ処理部１０は、復元度合いが大きい周波数ほど当該周波数における変化度合いが制限されるようにノイズ処理を行う。

ここで、復元度合いとは、画像復元処理によって処理対象画像の周波数成分が変更される度合いを示す。つまり、復元度合いが大きいほど、画像復元処理によって周波数成分が大きく変更される。

復元処理部２０は、ぼやけを低減する画像復元処理をノイズ処理画像に対して行うことにより、出力画像を生成する。具体的には、復元処理部２０は、周波数領域における周波数ごとの復元度合いを示す復元関数を用いて画像復元処理を行う。

なお、画像復元処理のアルゴリズムは、ぼやけが低減されればどのようなアルゴリズムであってもよい。例えば最も単純には、画像復元処理は、式（１）に示す復元関数を周波数領域においてノイズ処理画像に乗算する処理である。また例えば、画像復元処理は、公知のリチャードソンルーシ（ＬＲ）法あるいはウィーナフィルタ法などを用いた処理であってもよい。

次に、ノイズ処理部１０の機能構成の詳細について説明する。

図２は、本発明の実施の形態１に係るノイズ処理部１０の機能構成を示すブロック図である。

図２に示すように、ノイズ処理部１０は、ノイズ低減部１１と、第１変動幅設定部１２と、周波数制限部１３とを有する。本実施の形態では、これらのノイズ低減部１１と第１変動幅設定部１２と周波数制限部１３とによってノイズ処理が実行される。

ノイズ低減部１１は、入力画像に対して空間領域でノイズ低減処理を行うことにより、ノイズ低減画像を生成する。

第１変動幅設定部１２は、画像復元処理の特性に基づいて、変化度合いを制限するための第１変動幅を周波数ごとに設定する。具体的には、第１変動幅設定部１２は、復元度合いが大きい周波数ほど当該周波数における第１変動幅が小さくなるように、第１変動幅を周波数ごとに設定する。

周波数制限部１３は、変化度合いの大きさを示す変化度が第１変動幅を超えないように、ノイズ低減画像を周波数領域において加工することにより、ノイズ処理画像を生成する。

図３は、本発明の実施の形態１に係る周波数制限部１３の機能構成を示すブロック図である。図３に示すように、周波数制限部１３は、領域変換部１３ａと、比較部１３ｂと、加工部１３ｃとを備える。

領域変換部１３ａは、入力画像及びノイズ低減画像を空間領域から周波数領域に変換する。具体的には、領域変換部１３ａは、入力画像及びノイズ低減画像をフーリエ変換する。

比較部１３ｂは、周波数領域に変換された入力画像の振幅と周波数領域に変換されたノイズ低減画像の振幅との差分値の絶対値を変化度として周波数ごとに算出する。

加工部１３ｃは、算出された差分値の絶対値が第１変動幅を超えるか否かを周波数ごとに判定する。ここで、差分値の絶対値が第１変動幅を超えると判定された場合に、加工部１３ｃは、当該周波数における差分値の絶対値が第１変動幅と一致するようにノイズ低減画像の振幅を加工する。一方、差分値の絶対値が第１変動幅を超えないと判定された場合には、加工部１３ｃは、当該周波数におけるノイズ低減画像の振幅を加工しない。

以上のように、ノイズ処理部１０は、復元度合いが大きい周波数ほど当該周波数における変化度合いが制限されるようにノイズ処理を行う。

次に、以上のように構成された画像処理装置１００における各種動作について説明する。

図４は、本発明の実施の形態１に係る画像処理装置１００における処理の流れを示すフローチャートである。

まず、ノイズ処理部１０は、ノイズを低減するノイズ処理を前記入力画像に対して行うことによりノイズ処理画像を生成する（Ｓ１０１）。

具体的には、ステップＳ１０１では、以下のステップＳ１０２〜Ｓ１０４の処理が実行される。ノイズ低減部１１は、入力画像に対して空間領域においてノイズ低減処理を行う（Ｓ１０２）。本実施の形態では、ノイズ低減処理は、特に限定される必要はなく、ノイズ低減効果があればどのような処理であってもよい。例えば、ノイズ低減処理は、一般的なローパスフィルタ、バイラテラルフィルタ、又はウェーブレットによるノイズ低減処理などであってもよい。

次に、第１変動幅設定部１２は、画像復元処理の特性に基づいて、周波数ごとに第１変動幅を設定する（Ｓ１０２）。ここでは、画像復元処理の特性は、復元処理部２０が画像復元処理を行う時に用いる復元関数が示す復元度合いを示す。

復元関数は、撮影時の画像のボケあるいはブレなどを表すＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）から導出される。最も原始的には、復元関数は、ＰＳＦの逆関数で表され、図５の（ａ）に示すような特徴を持っている。なお、復元関数は、必ずしもＰＳＦの逆関数である必要はなく、ＰＳＦの逆関数に近似する変換関数であってもよい。

図５は、本発明の実施の形態１に係る第１変動幅設定部１２における処理を説明するための図である。具体的には、図５の（ａ）は復元関数の一例を示す図であり、図５の（ｂ）は第１変動幅の一例を示す図である。

入力画像にぼやけが生じている場合、入力画像の高周波数成分が減衰され、入力画像の細部あるいはエッジなどがくっきりしていない。そのため、入力画像を復元するためには、高周波成分を強調する必要がある。そこで、復元関数は、一般的に、図５の（ａ）に示すように設定される。つまり、復元関数は、高周波数ほど復元度合いが大きくなうように設定される。ここで、ノイズ低減部１１がノイズ低減処理を行った際に画像の劣化が発生した場合は、この画像の劣化も画像復元処理によって強調されてしまう。

そこで、画像復元処理によって、ノイズ低減処理で発生した画像の劣化が強調されないように、第１変動幅設定部１２は、復元度合いが大きい周波数ほど当該周波数における第１変動幅が小さくなるように、第１変動幅を周波数ごとに設定する。

例えば周波数ごとの第１変動幅をＲａｎｇｅ（ｕ，ｖ）と表した場合、Ｒａｎｇｅ（ｕ，ｖ）は、図５の（ｂ）に示すように、周波数が高いほど値が小さくなるように設定される。具体的には、Ｒａｎｇｅ（ｕ，ｖ）は、例えば、予め定められた一定値から復元度合いを示す値を減じることにより算出される。また例えば、Ｒａｎｇｅ（ｕ，ｖ）は、予め定められた一定値を、復元度合いを示す値で除算することにより算出されてもよい。つまり、Ｒａｎｇｅ（ｕ，ｖ）は、復元度合いが大きいほど値が小さくなるように算出されれば、どのような方法で算出されてもよい。

次に、周波数制限部１３は、第１変動幅設定部１２によって設定された第１変動幅に従って、ノイズ低減部１１によってノイズが低減されたノイズ低減画像を加工する（Ｓ１０４）。ステップＳ１０４の処理の詳細は、図６を用いて後述する。

最後に、復元処理部２０は、ぼやけを低減する画像復元処理をノイズ処理画像に対して行い（Ｓ１０５）、処理を終了する。

以下、周波数制限部１３における処理（Ｓ１０４）について、図６を用いて詳細に説明する。

図６は、本発明の実施の形態１に係る周波数制限部１３における処理の流れを示すフローチャートである。

まず、領域変換部１３ａは、入力画像及びノイズ低減画像をフーリエ変換で周波数領域に変換し、入力画像及びノイズ低減画像の振幅特性Ａ１（ｕ，ｖ）及びＡ２（ｕ，ｖ）を算出する（Ｓ１３１）。そして、比較部１３ｂは、周波数ごとに振幅特性Ａ１（ｕ，ｖ）及びＡ２（ｕ，ｖ）の比較を行い、以下の式（３）に示すように、振幅の差Ｄｉｆｆ（ｕ，ｖ）を算出する（Ｓ１３２）。

Ｄｉｆｆ（ｕ，ｖ）は、ノイズ低減処理後の画像であるノイズ低減画像とノイズ低減処理前の画像である入力画像との周波数領域における振幅の変化度合いを表す。このＤｉｆｆ（ｕ，ｖ）の絶対値は、ノイズ低減処理による画像の変化度合いを示している。Ｄｉｆｆ（ｕ，ｖ）の絶対値が大きければ、ノイズ低減処理によって、画像が大きく変化したことを意味する。つまり、このＤｉｆｆ（ｕ，ｖ）の絶対値は、入力画像に対するノイズ低減画像の周波数領域における変化度合いを示す変化度に相当する。

次に、加工部１３ｃは、算出した振幅の差Ｄｉｆｆ（ｕ，ｖ）の絶対値及び第１変動幅設定部１２が設定した第１変動幅Ｒａｎｇｅ（ｕ，ｖ）の大小関係を利用して、周波数領域における変化度合いを制限する（Ｓ１３３）。具体的には、加工部１３ｃは、振幅の差Ｄｉｆｆ（ｕ，ｖ）の絶対値と変動幅Ｒａｎｇｅ（ｕ，ｖ）とを比較する。そして、加工部１３ｃは、振幅の差Ｄｉｆｆ（ｕ，ｖ）の絶対値が第１変動幅Ｒａｎｇｅ（ｕ，ｖ）より大きい場合は、当該周波数において、振幅の差の絶対値が第１変動幅と一致するように、ノイズ低減画像の振幅特性Ａ２（ｕ，ｖ）を加工する。つまり、加工部１３ｃは、ノイズ低減処理によって画像が劣化している可能性があるので、ノイズ低減された画像の振幅数特性Ａ２（ｕ，ｖ）を以下の式（４）により加工する。

ここで、ｓｉｇｎ（ｘ）は、ｘの符号を表す符号関数（ｓｉｇｎｕｍ ｆｕｎｃｔｉｏｎ）である。

図７は、本発明の実施の形態１に係るノイズ処理部１０によって生成されるノイズ処理画像を説明するための図である。具体的には、図７の（ａ）は、ノイズ低減部１１によって生成されたノイズ低減画像の振幅特性の一例を示す図である。また、図７の（ｂ）は、周波数制限部１３によって生成されたノイズ処理画像の振幅特性の一例を示す図である。なお、図７には、ｕ軸方向の一断面の振幅特性を示す。

図７に示すように、周波数制限部１３は、ノイズ低減画像において、入力画像の振幅との差分値の絶対値が第１変動幅を超える振幅を、入力画像の振幅と第１変動幅だけ異なる振幅に加工する。このように加工された結果、復元度合いが大きい周波数において振幅の変化度が小さい画像がノイズ処理画像として生成される。

以上のように、本実施の形態に係る画像処理装置１００によれば、画像復元処理を行う前にノイズ処理を行うので、入力画像に含まれるノイズを低減することができ、画像復元処理によってノイズが強調されることを抑制することができる。また、画像復元処理の特性に基づいてノイズ処理を行うので、ノイズ処理によって発生する画像の劣化が画像復元処理によって強調されることを抑制することができる。

また、画像処理装置１００によれば、復元度合いが大きい周波数ほど当該周波数における変化度合いを制限することができる。したがって、画像の劣化が強調されやすい周波数ほど画像の劣化が発生しないようにノイズ処理を行うことができ、ノイズ処理によって発生する画像の劣化が画像復元処理によって強調されることを効率的に抑制することができる。

なお、本実施の形態では、復元関数は、ＰＳＦから導出されたが、必ずしもＰＳＦから導出される必要はない。例えば、復元関数は、カメラの光学系による劣化を表わす劣化関数あるいはカメラの動きによる劣化を表わす劣化関数から導出されてもよい。つまり、復元関数は、入力画像の劣化を表す劣化関数から導出されればよい。

なお、本実施の形態では、第１変動幅設定部１２では、図５の（ｂ）に示すに第１変動幅を設定したが、復元度合いが大きいほど第１変動幅を小さくするという条件を満たしていれば、必ずしも同図に示すように第１変動幅を設定する必要はない。また、第１変動幅設定部１２は、さらに、第１変動幅が予め定められた上限値及び下限値の範囲内の値となるように、第１変動幅を設定してもよい。

なお、本実施の形態では、領域変換部１３ａは、画像を周波数領域に変換する際にフーリエ変換を利用したが、画像を周波数領域に変換できれば、他の変換方法を利用してもよい。

（実施の形態２）
次に、本発明の実施の形態２について説明する。

本実施の形態に係る画像処理装置は、実施の形態１に係る画像処理装置とノイズ処理部１０の一部が異なるが、他の部分については同様である。そこで、実施の形態１と異なる部分を中心に実施の形態２について、図面を参照しながら説明する。

図８は、本発明の実施の形態２に係るノイズ処理部１０の機能構成を示すブロック図である。図８において、図２と同じ構成要素については同じ符号を用い、適宜、説明を省略する。

ノイズ周波数特性算出部１４は、入力画像及びノイズ情報を利用して、ノイズの周波数特性を算出する。

第２変動幅設定部１５は、ノイズ周波数特性算出部１４により算出されたノイズの周波数特性に基づいて、周波数に関わらず均一の第２変動幅を設定する。

まず、ノイズ周波数特性算出部１４における処理の詳細を説明する。

一般に画像に含まれるランダム性のノイズは、画像の輝度が一定の場合は、全ての周波数において振幅がほぼ同じという特性がある。また、撮影時のＩＳＯ感度が高められることによって、撮影画像がゲインアップされ、ノイズも増幅される。ここで、平均輝度及びＩＳＯ感度の組み合わせが互い異なる複数の画像においてノイズ量が予め算出されていれば、平均輝度とＩＳＯ感度とにノイズの周波数特性（例えば振幅の最大値）を対応付けたテーブルを生成することができる。

この場合、ノイズ周波数特性算出部１４は、テーブルを参照することによって、カメラのセンサー特性、入力画像領域の平均輝度及び撮影時のＩＳＯ感度情報に対応するノイズの周波数特性を算出できる。つまり、ノイズ周波数特性算出部１４は、カメラのセンサー特性、入力画像領域の平均輝度及び撮影時のＩＳＯ感度情報に対応する、周波数領域におけるノイズの振幅の最大値を算出できる。

そこで、ノイズ周波数特性算出部１４は、まず入力画像の平均輝度を算出する。そして、ノイズ周波数特性算出部１４は、予め保存されているテーブルを参照して、算出した平均輝度及び取得したＩＳＯ情報に対応する、周波数領域におけるノイズの振幅の最大値Ｎ＿ｍａｘを算出する。

次に、第２変動幅設定部１５における処理の詳細を説明する。

ここで、入力画像をＦ（ｕ，ｖ）、真の画像信号をＳ（ｕ，ｖ）、ノイズをＮ（ｕ，ｖ）と表した場合、入力画像は以下の式（５）のように表される。

また、算出されたノイズの振幅の最大値はＮ＿ｍａｘである。したがって、図９に示すように、各周波数成分において、真の画像信号Ｓ（ｕ，ｖ）は、（Ｆ（ｕ，ｖ）±Ｎ＿ｍａｘ）の範囲（ハッチングされた領域）で変動することがわかる。つまり、ノイズ低減画像が、この範囲（ハッチングされた領域）を超えた場合は、真の画像信号がノイズ低減処理によって劣化されたことがわかる。

そこで、入力画像の劣化を抑制するために、第２変動幅設定部１５は、周波数に関わらず均一な第２変動幅として、ノイズの振幅の最大値Ｎ＿ｍａｘを設定する。

次に、周波数制限部１３は、入力画像に対するノイズ処理画像の周波数領域における変化度合いを示す変化度が第１変動幅及び第２変動幅を超えないようにノイズ低減画像を加工する。

具体的には、周波数制限部１３は、例えば、第２変動幅設定部１５が設定した第２変動幅Ｎ＿ｍａｘを利用して、第１変動幅設定部１２が設定した第１変動幅Ｒａｎｇｅ（ｕ，ｖ）を補正する。

第１変動幅Ｒａｎｇｅ（ｕ，ｖ）は、ノイズ特性を利用せず算出された値であるため、実際のノイズよりも大きな変化度合いを許容する値である可能性がある。そこで、周波数制限部１３は、Ｒａｎｇｅ（ｕ，ｖ）の最大値がＮ＿ｍａｘになるようにＲａｎｇｅ（ｕ，ｖ）を補正する。具体的には、周波数制限部１３は、例えば、Ｒａｎｇｅ（ｕ，ｖ）の最大値がＮ＿ｍａｘになるようにスケール処理する。また例えば、周波数制限部１３は、Ｒａｎｇｅ（ｕ，ｖ）のうちＮ＿ｍａｘを超える部分がＮ＿ｍａｘと一致するように、Ｒａｎｇｅ（ｕ，ｖ）を補正してもよい。そして、周波数制限部１３は、補正したＲａｎｇｅ（ｕ，ｖ）を利用して実施の形態１と同様の処理を行う。

以上のように、本実施の形態に係る画像処理装置１００によれば、ノイズの情報を利用してノイズの周波数特性を算出することによって、ノイズの振幅の最大値を正確に推定することができる。このノイズの振幅の最大値を利用して、入力画像に対するノイズ処理画像の周波数領域における変化度合いを制限することによって、ノイズ処理による画像の劣化を抑制することができる。

なお、本実施の形態では、ノイズ周波数特性算出部１４では、入力画像の平均輝度を算出したが、ノイズ低減画像の平均輝度を算出してもよい。これは、ノイズ低減処理によって平均輝度はほとんど変化しないからである。

なお、本実施の形態では、ノイズ周波数特性算出部１４は、平均輝度とＩＳＯ感度とにノイズの振幅の最大値を対応付けたテーブルを用いて、ノイズの振幅の最大値を算出していたが、必ずしもテーブルを用いてノイズの振幅の最大値を算出する必要はない。例えば、ノイズ周波数特性算出部１４は、平均輝度とＩＳＯ感度とからノイズの振幅の最大値を算出することができる数式を用いて、ノイズの振幅の最大値を算出してもよい。

なお、本実施の形態では、ノイズ周波数特性算出部１４は、画像全体に対してノイズの周波数特性を算出したが、画像領域ごとにノイズの周波数特性を算出してもよい。これによれば、ノイズ周波数特性算出部１４は、画像領域の平均輝度がより正確に求められ、それに伴って、ノイズの周波数特性もより正確に算出できる。

なお、本実施の形態では、周波数制限部１３は、第２変動幅を用いて第１変動幅を補正していたが、必ずしも第１変動幅を補正する必要はない。この場合、周波数制限部１３は、例えば、第１変動幅及び第２変動幅を順に用いて変化度合いを制限してもよい。具体的には、周波数制限部１３は、例えば、第１変動幅を用いてノイズ低減画像を加工した後、加工後の画像を第２変動幅を用いて加工してもよい。

以上、本発明の一態様に係る画像処理装置１００について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、あるいは異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。

例えば、上記実施の形態１及び２において、第１変動幅設定部１２は、周波数ごとに第１変動幅を設定していたが、必ずしも周波数ごとに第１変動幅を設定する必要はない。例えば、第１変動幅設定部１２は、所定の周波数帯域ごとに、第１変動幅を設定してもよい。

また、上記実施の形態１または２における画像処理装置１００が備える構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。例えば、画像処理装置１００は、図１に示すように、ノイズ処理部１０と復元処理部２０とを有するシステムＬＳＩ１０１から構成されてもよい。

システムＬＳＩ１０１は、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｍｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。

なお、ここでは、システムＬＳＩとしたが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、あるいはＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

また、本発明は、このような特徴的な処理部を備える画像処理装置として実現することができるだけでなく、画像処理装置に含まれる特徴的な処理部をステップとする画像処理方法として実現することもできる。また、画像処理方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムとして実現することもできる。そして、そのようなコンピュータプログラムは、ＣＤ−ＲＯＭ等のコンピュータ読取可能な非一時的な記録媒体あるいはインターネット等の通信ネットワークを介して流通させることができる。

また、本発明は、画像処理装置と撮像素子とを備える撮像装置として実現されてもよい。

本発明に係る画像処理装置は、画像のぼやけを低減する際に、画像復元処理の特性に基づいてノイズ低減処理を調整することによって、ノイズを低減しながら画像の劣化を抑制することができる画像処理装置及び画像処理方法として有用である。

１０ ノイズ処理部
１１ ノイズ低減部
１２ 第１変動幅設定部
１３ 周波数制限部
１３ａ 領域変換部
１３ｂ 比較部
１３ｃ 加工部
１４ ノイズ周波数特性算出部
１５ 第２変動幅設定部
２０ 復元処理部
１００ 画像処理装置
１０１ システムＬＳＩ

Claims (15)

1. 入力画像に生じたぼやけを低減するための画像処理装置であって、
   ノイズを低減するノイズ処理を前記入力画像に対して行うことによりノイズ処理画像を生成するノイズ処理部と、
   ぼやけを低減するための復元関数を用いた画像復元処理を前記ノイズ処理画像に対して行う復元処理部とを備え、
   前記ノイズ処理部は、前記画像復元処理に用いられる前記復元関数が示す復元度合いが大きいほど前記入力画像に対する前記ノイズ処理画像の変化度合いが制限されるように、前記ノイズ処理を行う、
   画像処理装置。
2. 前記ノイズ処理部は、前記復元度合いが大きいほど、前記入力画像に対する前記ノイズ処理画像の周波数領域における変化度合いが制限されるように、前記ノイズ処理を行う、
   請求項１に記載の画像処理装置。
3. 前記復元関数は、周波数領域における周波数ごとの復元度合いを示す、
   請求項２に記載の画像処理装置。
4. 前記ノイズ処理部は、前記復元度合いが大きい周波数ほど当該周波数における前記変化度合いが制限されるように、前記ノイズ処理を行う、
   請求項３に記載の画像処理装置。
5. 前記ノイズ処理部は、
   前記入力画像に対して空間領域でノイズ低減処理を行うことにより、ノイズ低減画像を生成するノイズ低減部と、
   前記復元度合いが大きい周波数ほど当該周波数における前記変化度合いを制限するための第１変動幅が小さくなるように、第１変動幅を周波数ごとに設定する第１変動幅設定部と、
   前記変化度合いの大きさを示す変化度が前記第１変動幅を超えないように前記ノイズ低
   減画像を加工することにより、前記ノイズ処理画像を生成する周波数制限部とを有する、
   請求項４に記載の画像処理装置。
6. 前記周波数制限部は、
   前記入力画像及び前記ノイズ低減画像を空間領域から周波数領域に変換する領域変換部と、
   周波数領域に変換された入力画像の振幅と周波数領域に変換されたノイズ低減画像の振幅との差分値の絶対値を前記変化度として周波数ごとに算出する比較部と、
   算出された前記変化度が前記第１変動幅を超えるか否かを周波数ごとに判定し、前記変化度が前記第１変動幅を超えると判定された場合に、当該周波数における前記変化度が前記第１変動幅と一致するように前記ノイズ低減画像の振幅を加工する加工部とを有する、
   請求項５に記載の画像処理装置。
7. さらに、前記入力画像のノイズ情報に基づいて、周波数に関わらず均一の第２変動幅を設定する第２変動幅設定部を備え、
   前記周波数制限部は、前記変化度が前記第１変動幅及び前記第２変動幅を超えないように前記ノイズ低減画像を加工することにより、前記ノイズ処理画像を生成する、
   請求項５又は６に記載の画像処理装置。
8. 前記ノイズ情報は、カメラのセンサー特性、前記入力画像が撮影された時のＩＳＯ感度、及び前記入力画像の輝度を利用して算出される、
   請求項７に記載の画像処理装置。
9. 前記ノイズ処理部は、前記復元度合いと前記入力画像のノイズ情報とに基づいて、前記ノイズ処理を行う、
   請求項１に記載の画像処理装置。
10. 前記ノイズ情報は、カメラのセンサー特性、前記入力画像が撮影された時のＩＳＯ感度、及び前記入力画像の輝度を利用して算出される、
    請求項９に記載の画像処理装置。
11. 前記復元関数は、前記入力画像の画像劣化関数を利用して導出される、
    請求項１〜１０のいずれか１項に記載の画像処理装置。
12. 前記画像処理装置は集積回路として構成されている、
    請求項１〜１１のいずれか１項に記載の画像処理装置。
13. 入力画像に生じたぼやけを低減するための画像処理方法であって、
    ノイズを低減するノイズ処理を前記入力画像に対して行うことによりノイズ処理画像を生成するノイズ処理ステップと、
    ぼやけを低減するための復元関数を用いた画像復元処理を前記ノイズ処理画像に対して行う復元処理ステップとを含み、
    前記ノイズ処理ステップにおいて、前記画像復元処理に用いられる前記復元関数が示す復元度合いが大きいほど前記入力画像に対する前記ノイズ処理画像の変化度合いが制限されるように、前記ノイズ処理を行う、
    画像処理方法。
14. 請求項１３に記載の画像処理方法をコンピュータに実行させるプログラム。
15. 請求項１３に記載の画像処理方法をコンピュータに実行させるプログラムが記録されたコンピュータ読み取り可能な記録媒体。

Images