JP7209867B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、画像処理装置および画像処理方法に関する。本発明は特に、画像に含まれるボケを補正する技術に関する。

従来から、ボケ処理のためデコンボリューション方法を用いることが知られている（例えば特許文献１）。

特表２０１６－５３２３６７号公報

従来の画像処理方法では、入力画像中の局所的な画素値のパターンに応じて適切な処理を行えないという問題があった。

本発明は、入力画像中の局所的な画素値のパターンに応じて適切な処理を行い得るようにすることを目的とする。

本発明の画像処理装置は、
入力画像の画素毎にエッジ強度を計算するエッジ強度計算部と、
前記エッジ強度に応じて、第１のマスク値又は第２のマスク値の少なくとも一方の大きさを制御するマスク値制御部と、
潜在画像に対して計算される評価関数を最小化する評価関数最小化部とを備え、
前記評価関数は、忠実度項と正則化項との和で表され、
前記忠実度項は、
前記潜在画像に前記入力画像のボケ量を表すカーネルを畳み込んだ画像と前記入力画像との差分に対するｐ次のノルム（ｐは正の実数）を含み、
前記正則化項は、少なくとも、
前記潜在画像の１次微分のｑ１次のノルム（ｑ１は正の実数）に前記第１のマスク値および第１の定数を乗じた項と、
前記潜在画像の２次微分のｑ２次のノルム（ｑ２は正の実数）に前記第２のマスク値および第２の定数を乗じた項との和を少なくとも含み、
前記評価関数を最小化する前記潜在画像を出力画像とする
ことを特徴とする。

また、本発明の画像処理方法は、
入力画像の画素毎にエッジ強度を計算するエッジ強度計算ステップと、
前記エッジ強度に応じて、第１のマスク値又は第２のマスク値の少なくとも一方の大きさを制御するマスク値制御ステップと、
潜在画像に対して計算される評価関数を最小化する評価関数最小化ステップとを備え、
前記評価関数は、忠実度項と正則化項との和で表され、
前記忠実度項は、
前記潜在画像に前記入力画像のボケ量を表すカーネルを畳み込んだ画像と前記入力画像との差分に対するｐ次のノルム（ｐは正の実数）を含み、
前記正則化項は、少なくとも、
前記潜在画像の１次微分のｑ１次のノルム（ｑ１は正の実数）に前記第１のマスク値および第１の定数を乗じた項と、
前記潜在画像の２次微分のｑ２次のノルム（ｑ２は正の実数）に前記第２のマスク値および第２の定数を乗じた項との和を少なくとも含み、
前記評価関数を最小化する前記潜在画像を出力画像とする
ことを特徴とする。

本発明によれば、入力画像中の局所的な画素値のパターンに応じて適切な処理を行うことができる。

本発明の実施の形態１に係る画像処理装置を示すブロック図である。 局所的な画素値の変化と正則化項との関係を示す表である。 本発明の実施の形態２に係る画像処理装置を示すブロック図である。 本発明の実施の形態３に係る画像処理装置を示すブロック図である。 本発明の実施の形態４に係る画像処理装置の一構成例を示すブロック図である。 本発明の実施の形態４に係る画像処理装置の他の構成例を示すブロック図である。 本発明の実施の形態１～５に係る画像処理装置の機能を実現するコンピュータの構成例を示す。 図７のコンピュータで、図１の画像処理装置の機能を実現する場合のプロセッサにおける処理の手順を示すフローチャートである。 図７のコンピュータで、図３又は図５の画像処理装置の機能を実現する場合のプロセッサにおける処理の手順を示すフローチャートである。 図７のコンピュータで、図４又は図６の画像処理装置の機能を実現する場合のプロセッサにおける処理の手順を示すフローチャートである。

実施の形態１．
図１は本発明の実施の形態１の画像処理装置を示す。図示の画像処理装置は、エッジ強度計算部１、マスク値制御部２、および評価関数最小化部３を有する。

実施の形態１の画像処理装置は、ボケを含む入力画像Ｂの補正をデコンボリューション問題として扱い、入力画像Ｂを補正した画像（出力画像）Ｌを出力する。
入力画像Ｂは、例えば図示しないカメラで構成される撮像装置による撮像で得られたものである。その場合、入力画像Ｂに含まれるボケの原因としては、撮像装置としてのカメラの光学系によるボケ（光学系ボケ）、撮像時にカメラが動くことによるボケ（動きボケ）などが挙げられる。

以下、入力画像Ｂをボケ画像と呼ぶこともある。これは入力画像Ｂにボケが含まれるためである。
ボケ画像Ｂは、ぶれを含まない潜在画像Ｌをある点像分布関数Ｋをカーネルとして用いて畳み込んだ後、ノイズＮを加算したものとして下記の式１のようにモデル化できる。

式１で＊は畳み込み演算を表す。

上記のデコンボリューション問題は、ボケ画像Ｂと点像分布関数Ｋとが与えられたときに、式１のモデルの下、潜在画像Ｌを求める問題、あるいは、ボケ画像Ｂが与えられたときに、式１のモデルの下、潜在画像Ｌと点像分布関数Ｋとを求める問題である。

この問題は数学的には、最適化問題として定義可能で、適切な評価関数を最小化する潜在画像Ｌあるいは、潜在画像Ｌおよび点像分布関数Ｋを求めることと等価である。

以下、点像分布関数Ｋは既知であるとする。この場合、最小化したい評価関数をＣ（Ｌ）とすると、Ｃ（Ｌ）は忠実度項と正則化項との和からなり、例えば下記の式２の形をとる。

式２でｗは定数であり、Ｄｓは畳み込みカーネルを表す。
また、｜｜・｜｜^ｐおよび｜｜・｜｜^ｑという記号はそれぞれｐ次およびｑ次のノルムを表す。
ｐおよびｑの値は正の実数であればよく、画像処理ではｐとしては２が、ｑとしては２以下の値が使われることが多い。

式２において、第１項が忠実度項に相当する。忠実化度は式１の関係が成立する場合、最小値をとる関数である。
第２項は正則化項に相当する。正則化項は最適化問題の解に一定の制限を課すための項である。例えば、式２の第１項を最小とする潜在画像Ｌは複数個存在する。式２の第２項により潜在画像Ｌに一定の制限を課すことで最適化問題の解を一意に定める意味合いをもつ。

式２の第２項（正則化項）のΣという記号は、Ｄｓとして複数個の畳み込みカーネルを使用する場合、各畳み込みカーネルについて得られるｑ次のノルムの和をとることを意味する。

なお、式２の最適化処理については例えば上記の特許文献１に詳しく記載されている。

上記の評価関数を最小にする潜在画像Ｌを求める処理は、評価関数最小化部３で行われる。評価関数としては式２で表されるものが用いられる。式２で表される評価関数の具体例として、本実施の形態では、Ｄｓとして画像の１次微分を表すカーネルと画像の２次微分を表すカーネルとの両方を含むものが用いられる。１次微分を表すカーネルと２次微分を表すカーネルとを行列形式で表した場合、本実施の形態で用いられる評価関数Ｃ（Ｌ）は、下記の式３の如く書き下せる。

式３で、第１項が忠実度項に対応し、第２項と第３項との和が正則化項に対応する。
ｍ１、ｍ２はボケ画像Ｂの画素ごとに計算される係数であり、第１および第２のマスク値と呼ばれる。その計算方法は後述する。またｗ１、ｗ２は定数であり、ボケ画像Ｂの画素によらず一定の値である。

式３で記号◎は画素ごとの積を表す。画素ごとの積とは、ある水平座標ｘおよび垂直座標ｙで表される位置のボケ画像Ｂの画素に対して計算されたマスク値ｍ１、ｍ２と、同じ水平座標ｘおよび垂直座標ｙで表される位置の潜在画像Ｌの画素に対して計算された１次微分値、２次微分値との積をとることを表す。
また、記号×は乗算を表す。

マスク値ｍ１、ｍ２は、マスク値制御部２から出力される。
以下、エッジ強度計算部１の動作およびマスク値制御部２の動作を説明し、これによりマスク値ｍ１、ｍ２の生成方法を説明する。

エッジ強度計算部１は、入力画像Ｂの各画素について、当該画素の近傍領域での画素値のばらつきを計算し、計算されたばらつきに基づいてエッジ強度Ｅを生成して出力する。エッジ強度Ｅとしては、ばらつきが大きいほど大きい値を取るものが生成される。

ばらつきを表す指標としては、入力画像Ｂの画素値の局所的な分散又は標準偏差を用いることができる。以下では、分散が用いられるものとして説明する。

この場合、エッジ強度計算部１はまず、入力画像Ｂの各画素について、当該画素を中心とする予め定められた大きさの領域を当該画素の近傍領域と定義し、その領域内の画素値の分散を計算する。

次にエッジ強度計算部１は入力画像Ｂの各画素について求めた分散をマッピングした値を求め、エッジ強度Ｅとして出力する。
マッピングの結果は分散の値が小さいほど小さい値をとり、逆に分散の値が大きいほど大きい値をとるのがよい。

このようなマッピングの一例においては、閾値εを設定し、下記の式４で表される演算により、分散の値νを、０以上１以下の値をとるエッジ強度Ｅに変換する。

なお、マッピングの方法は上記の式４に限らず、入力画像Ｂの各画素近傍で求めた画素値のばらつきに相当する値（例えば分散）が閾値より大きいほど、エッジ強度Ｅが大きい値になり、逆に閾値より小さいほどエッジ強度Ｅが小さい値になればよい。

上記のエッジ強度Ｅの値は入力画像Ｂの各画素について個別に計算できる。よって、各画素について個別に計算されるエッジ強度Ｅの値を画素値とみなせば、エッジ強度計算部１の出力をあたかも画像のようにみなすことができる。そこで以下ではエッジ強度計算部１の出力をエッジ強度画像と呼ぶこともある。また、エッジ強度画像の画素値は、入力画像Ｂの各画素について計算されるエッジ強度Ｅの値を指すこととする。さらにエッジ強度画像をエッジ強度と同じ符号Ｅで表すこともある。

以上ばらつきを表す指標として局所的な分散を用いる場合について説明したが、代わりに局所的な標準偏差を用いても良い。要するに、エッジ強度計算部１は、入力画像Ｂの画素値の局所的な標準偏差又は分散をもとにエッジ強度Ｅを計算するものであれば良い。

マスク値制御部２は、エッジ強度計算部１の出力するエッジ強度画像Ｅの画素値に基づき、第１および第２のマスク値ｍ１、ｍ２を計算して出力する。第１のマスク値ｍ１はエッジ強度画像Ｅの画素値が大きいほど小さくなり、第２のマスク値ｍ２はエッジ強度画像Ｅの画素値が大きいほど大きくなる。

ここで式３の正則化項をＲ（Ｌ）とすると、該正則化項Ｒ（Ｌ）は、下記の式５で表される。

また、正則化項Ｒ（Ｌ）の第１項および第２項のうち、マスク値ｍ１、ｍ２、および定数ｗ１、ｗ２を除いたものをＲ１（Ｌ）、Ｒ２（Ｌ）とすると、Ｒ１（Ｌ）、Ｒ２（Ｌ）は下記の式６Ａ、式６Ｂで表される。

正則化項Ｒ（Ｌ）の第１項Ｒ１（Ｌ）は潜在画像Ｌの１次微分のノルムに基づいている。この場合、Ｒ１（Ｌ）の値は潜在画像Ｌの画素値の変化が小さいほど、あるいは潜在画像Ｌが平坦な画像になるほど小さくなる。逆に潜在画像Ｌにエッジのような画素値の段差、あるいはグラデーションのような画素値が単調に増加あるいは減少する部分が多くあると、Ｒ１（Ｌ）は大きな値となる。また、潜在画像Ｌの中にノイズが多く発生した場合、Ｒ１（Ｌ）は大きな値となる。

正則化項Ｒ（Ｌ）の第２項Ｒ２（Ｌ）は潜在画像Ｌの２次微分のノルムに基づいている。この場合、Ｒ２（Ｌ）の値は潜在画像Ｌの画素値の変化が小さい場合だけでなく、エッジ部分あるいはグラデーション部分でも小さくなる。また、潜在画像Ｌの中にノイズが多く発生した場合、Ｒ２（Ｌ）は大きな値となる。

また、エッジ強度画像Ｅは入力画像Ｂの画素値の局所的な分散、あるいは画素値の局所的な値の変化に基づいて、画素値の局所的な値のばらつきが大きくなるほど大きい値をとるようにしているので、入力画像Ｂが平坦な領域では小さい値に、エッジあるいはグラデーションの領域では大きい値となる。また、入力画像Ｂにノイズが多く含まれる場合、エッジ強度画像Ｅは大きな値となる。

マスク値ｍ１はエッジ強度画像Ｅの画素値が大きいほど小さくなり、マスク値ｍ２はエッジ強度画像Ｅの画素値が大きいほど大きくなる。

以上を踏まえ、局所的な画素値の変化と正則化項Ｒ（Ｌ）との関係は図２に示す如くとなる。つまり、平坦な領域、エッジの領域、およびグラデーションの領域のいずれに対しても潜在画像Ｌに対して計算されるＲ（Ｌ）の値は小さな値となるので、ボケ画像Ｂに平坦な領域、エッジの領域、およびグラデーションの領域があっても適切に処理することが可能である。つまりエッジ部でのジャギー発生を抑えることができる。

また、Ｒ（Ｌ）の値は潜在画像Ｌに含まれるノイズが多いほど大きな値となるので、潜在画像Ｌにはノイズが乗りにくい。つまり入力画像Ｂとしてノイズを多く含む画像が入力された場合にも、潜在画像Ｌに含まれるノイズを少なくすることができる。即ち、適切にノイズを除去できる。

なお、上記の説明では便宜上、Ｒ１（Ｌ）、Ｒ２（Ｌ）ともノルムの次数は同じ値にしているが、異なる値であっても良い。

また、上記の説明で、第１のマスク値ｍ１はエッジ強度画像Ｅの画素値が大きいほど小さくなることとしたが、これは必ずしも、第１のマスク値ｍ１が、エッジ強度画像Ｅの画素値に対して単調減少することを意味しない。要するに、第１のマスク値ｍ１がエッジ強度画像Ｅの画素値に対して単調非増加となるようにすれば良い。

同様に、第２のマスク値ｍ２はエッジ強度画像Ｅの画素値が大きいほど大きくなると説明したが、これは必ずしも、第２のマスク値ｍ２が、エッジ強度画像Ｅの画素値に対して単調増加することを意味しない。要するに、第２のマスク値ｍ２がエッジ強度画像Ｅの画素値に対して単調非減少となるようにすれば良い。

さらに、マスク値ｍ１およびｍ２のいずれか一方のみを制御することとしても良い。

また、エッジ強度画像Ｅの画素値は入力画像Ｂの局所的な画素値のばらつきに応じて決まるものであればよく、単純には局所的な画素値の分散あるいは標準偏差そのものを出力することとしてもよい。

以上を要するに、
画像処理装置が、
入力画像Ｂの画素毎にエッジ強度Ｅを計算するエッジ強度計算部１と、
エッジ強度Ｅに応じて、係数(第１及び第２のマスク値)ｍ１およびｍ２の少なくとも一方の大きさを制御するマスク値制御部２と、
潜在画像Ｌに対して計算される評価関数Ｃ（Ｌ）を最小化する評価関数最小化部３とを備え、
評価関数Ｃ（Ｌ）は、忠実度項と正則化項との和で表され、
忠実度項は、
潜在画像Ｌに入力画像Ｂのボケ量を表すカーネル（Ｋ）を畳み込んだ画像と入力画像Ｂとの差分に対するｐ次のノルム（ｐは正の実数）を少なくとも含み、
正則化項は、
潜在画像の１次微分のｑ１次のノルム（ｑ１は正の実数）に係数（第１のマスク値）ｍ１および第１の定数ｗ１を乗じた項と、
潜在画像の２次微分のｑ２次のノルム（ｑ２は正の実数）に係数（第２のマスク値）ｍ２および第２の定数ｗ２を乗じた項との和を少なくとも含み、
評価関数Ｃ（Ｌ）を最小化する潜在画像Ｌを出力画像とする
こととすれば良い。

実施の形態２．
実施の形態１の変形例として、式３の定数ｗ１又はｗ２を入力画像Ｂの特性に応じて変化させてもよい。この場合の画像処理装置の構成例を図３に示す。図３の画像処理装置は、図１の画像処理装置に対し、入力画像解析部５が付加されている点で異なる。
入力画像解析部５は入力画像Ｂを解析し、解析結果が評価関数最小化部３に供給され、解析結果に基づいて評価関数最小化部３の動作が制御される。

例えば、入力画像解析部５で、入力画像Ｂに含まれるノイズの量が推定され、推定結果に基づいて、評価関数最小化部３で用いられる定数ｗ１、ｗ２の値が制御される。
定数ｗ１、ｗ２の制御のため、例えば、入力画像解析部５は、上記の推定結果に基づいて、制御信号Ｓａを生成する。

評価関数最小化部３は、制御信号Ｓａに基づいて定数ｗ１、ｗ２を制御する。
例えば、推定されたノイズ量に対して定数ｗ１、ｗ２が単調非減少となるように制御が行われる。

制御信号Ｓａは、推定されたノイズ量を表す信号であっても良く、上記のノイズ量に対応する定数ｗ１、ｗ２の値を示すものであっても良い。制御信号Ｓａはまた、定数ｗ１、ｗ２に対する変更の必要性の有無、並びに変更の内容を示すものであっても良い。変更の内容には、変更の方向（大きくすべきか、小さくすべき）が含まれる。変更の内容がさらに変更の幅を含んでいても良い。

定数ｗ１、ｗ２は忠実度項と正則化項との間の重みを調整する値であり、定数ｗ１、ｗ２を大きくするほど、式３に占める正則化項の割合が多くなる。

潜在画像Ｌにランダムなノイズが多く含まれていると、正則化項が大きくなり式３のＣ（Ｌ）も大きくなる。評価関数最小化部３は、式３のＣ（Ｌ）が最小となる潜在画像Ｌを求めるので、定数ｗ１、ｗ２を大きくするほど、潜在画像Ｌとして、ランダムなノイズが少ない画像を出力することになる。つまり、ボケ画像Ｂにランダムなノイズが多く含まれる場合、定数ｗ１、ｗ２を大きくすることでノイズがより完全に除去された潜在画像Ｌが得られる。一方で、テキスチャと呼ばれる、画像中にある細かい模様も画素値の変化はランダムであるので、定数ｗ１、ｗ２が大き過ぎると、潜在画像Ｌではテキスチャが失われ、かえって不自然な出力画像が生じることになる。

つまり定数ｗ１、ｗ２の値はボケ画像Ｂに含まれるノイズの量に応じて変えるのがよく、ノイズ量が小さいときは定数ｗ１、ｗ２の値を小さくし、ノイズ量が大きいときは定数ｗ１、ｗ２の値を大きくするのがよい。このようにすることで、ボケ画像Ｂにノイズが多く含まれる場合はノイズ処理を適度に行い、逆にボケ画像Ｂに含まれるノイズが少ない場合、必要以上にテキスチャを失うことなく、ボケ補正を行うことが可能となる。

図３の画像処理装置では、入力画像解析部５が入力画像Ｂに含まれるノイズの量を推定し、その結果を評価関数最小化部３に出力し、評価関数最小化部３で用いられる定数ｗ１、ｗ２の値を制御することで、上記の効果を得るものである。

入力画像解析部５でのノイズ量推定は、例えば以下のように行われる。
通常ノイズ量（ノイズが含まれている度合い）は、信号量（信号の絶対量）を、信号に含まれるノイズの絶対量で割ったＳ／Ｎ比の逆数で定義できる。Ｓ／Ｎ比が大きいほどノイズ量は少なく、逆にＳ／Ｎ比が小さいほどノイズ量は多いと言える。

画像は複数の画素からなるため、入力画像中には様々な画素値が現れる。よって、入力画像解析部５では、入力画像Ｂの画素値から代表的な値を抽出し、抽出された値を信号量Ｓとする。代表的な値としては、単純な例では、入力画像Ｂ中の画素値の平均値、あるいは最頻値を使うことができる。また、入力画像Ｂ中の画素値の最大値と最小値との差を信号量とすることもできる。さらに、入力画像Ｂの画素値のヒストグラム分布を集計し、画素値の上位、下位のあらかじめ定められた割合を占めるものはアウトライヤーとして除去した後、平均値、最頻値、あるいは最大値と最小値との差を信号量として使うことができる。

上記のようにヒストグラム分布を用いて信号量を求め、信号量に応じて定数ｗ１、ｗ２を決める場合、ヒストグラム分布に基づいて定数ｗ１、ｗ２を決めていると言える。

Ｓ／Ｎ比を概算する最も単純な例では上記のように求めた信号量ＳのみでＳ／Ｎ比を判断することができる。つまり信号量Ｓが多いほど、ノイズ量は少ないと判断して定数ｗ１、ｗ２を小さくし、信号量Ｓが少ないほど、ノイズ量は多いと判断して定数ｗ１、ｗ２を大きくすることとしても良い。

なお、入力画像Ｂの画素値の最大値と最小値との差を信号量Ｓとして使う方法を採用すれば、入力画像Ｂに一定のオフセット成分がある場合でも信号量Ｓを推定することが可能となる。以下、カメラによる撮像で得られた入力画像Ｂにオフセット成分が発生する例をいくつか示す。

まず、カメラによる撮像として、航空機カメラなど、上空から地表を撮る場合を考える。この場合、カメラと地上の被写体との間に雲があると、雲での太陽光の反射により入力画像Ｂ中にオフセット成分が発生する。
また、地上でのカメラによる撮像の場合も、霧の日などは大気中（霧）で散乱した太陽光に由来する入射光がオフセット成分の原因となる。

このようにカメラによる撮像で得られた画像には意図しないオフセット成分が発生することがあるが、実施の形態２の画像処理装置ではカメラによる撮像で得られた画像でも適切に処理できる。

なお、上記の説明では定数ｗ１、ｗ２の両方を変化させることとしたが、定数ｗ１、ｗ２のどちらか一方のみを変化させることとしても良い。

実施の形態３．
実施の形態２に対する変形例として、ノイズ量を入力画像Ｂの撮像条件から求めてもよい。その場合の画像処理装置の構成例を図４に示す。図４の画像処理装置は、図３の画像処理装置に対し、入力画像解析部５の代わりに撮像条件解析部６が設けられている点で異なる。
撮像条件解析部６は、入力画像Ｂの取得のための撮像を行なったときの撮像条件を解析する。解析結果は評価関数最小化部３に供給され、解析結果に基づいて評価関数最小化部３の動作が制御される。

例えば、撮像条件解析部６には撮像条件ＤＣとして撮像時間が通知され、撮像条件解析部６は通知された撮像時間に基づいてノイズ量を推定し、上記の推定結果に基づいて、評価関数最小化部３で用いられる定数ｗ１、ｗ２の値が制御される。
定数ｗ１、ｗ２の制御のため、例えば、撮像条件解析部６は制御信号Ｓｂを生成する。

評価関数最小化部３では、制御信号Ｓｂに基づいて定数ｗ１、ｗ２を制御する。
例えば、通知された撮像時間が短いほどノイズが多いと推定され、推定されたノイズのの量に対して定数ｗ１、ｗ２が単調非減少となるように制御が行われる。この場合、間接的には、通知された撮像時間に対して定数ｗ１、ｗ２が単調非増加となるように制御が行われると言える。

制御信号Ｓｂは、推定されたノイズ量を表す信号であっても良く、撮像時間を表す信号であっても良く、上記のノイズ量又は撮像時間に対応する定数ｗ１、ｗ２の値を示すものであっても良い。制御信号Ｓｂはまた、定数ｗ１、ｗ２に対する変更の必要性の有無、並びに変更の内容を示すものであっても良い。変更の内容には、変更の方向（大きくすべきか、小さくすべき）が含まれる。変更の内容がさらに変更の幅を含んでいても良い。

一般的に入力画像Ｂに含まれるノイズは撮像時間（露光時間）が長くなるほど少なくなる。よって撮像条件解析部６では、撮像時間が長いほどノイズ量が小さいと推定できる。そこで撮像時間が長い場合は、定数ｗ１、ｗ２が小さくなるように、評価関数最小化部３の動作が制御される。

このように動作することで、入力画像Ｂに含まれるノイズの量に応じた処理が可能となる。つまり、ノイズ量が小さいときは定数ｗ１、ｗ２を小さくし、ノイズ量が大きいときは定数ｗ１、ｗ２を大きくする。これにより、入力画像Ｂにノイズが多く含まれる場合はノイズ処理を適度に行い、逆に入力画像Ｂに含まれるノイズが少ない場合、必要以上にテキスチャを失うことなく、ボケ補正を行うことが可能となる。

なお、上記の説明では定数ｗ１、ｗ２の両方を変化させることとしたが、定数ｗ１、ｗ２のどちらか一方のみを変化させることとしても良い。

実施の形態４．
実施の形態２および３では、ノイズ量（入力画像の解析の結果推定されたノイズ量或いは撮像条件に基づいて推定されたノイズ量）に応じて定数ｗ１、ｗ２を調整することとした。定数ｗ１、ｗ２を調整する代わりに、エッジ強度計算部１で用いられる、式４の閾値εを調整してもよい。閾値εを大きくすると、エッジ強度画像Ｅには画素値が０に近い画素が増え、逆に閾値εを小さくすると、エッジ強度画像Ｅには大きい画素値の画素が増える。

実施の形態２と同様に入力画像解析部５で入力画像を解析し、解析結果に基づいて閾値εを調整する画像処理装置の構成例を図５に示す。
図５の画像処理装置は、図３の画像処理装置の構成に対し、入力画像解析部５の出力がエッジ強度計算部１に入力される点が異なる。

図５の入力画像解析部５は、実施の形態２と同様に、入力画像Ｂを解析し、解析結果がエッジ強度計算部１に供給され、解析結果に基づいてエッジ強度計算部１の動作が制御される。入力画像の解析においては、例えば実施の形態１と同様にノイズ量の推定が行われる。エッジ強度計算部１の動作の制御においては、閾値εの制御が行われる。
閾値εの制御のため、入力画像解析部５は、解析結果に基づいて制御信号Ｓｃを生成する。
エッジ強度計算部１は、制御信号Ｓｃに基づいて閾値εを制御する。
例えば、推定されたノイズ量に対して閾値εが単調非減少となるように制御が行われる。

制御信号Ｓｃは、推定されたノイズ量を表す信号であっても良く、上記のノイズ量に対応する閾値εを示すものであっても良い。制御信号Ｓｃはまた、閾値εに対する変更の必要性の有無、並びに変更の内容を示すものであっても良い。変更の内容には、変更の方向（大きくすべきか、小さくすべき）が含まれる。変更の内容がさらに変更の幅を含んでいても良い。

エッジ強度計算部１は、入力画像解析部５でノイズ量が小さいと判断された場合は閾値εを小さくし、逆にノイズ量が大きいと判断された場合は閾値εを大きくする。
入力画像解析部５から出力される制御信号Ｓｃがノイズ量を表すものである場合、エッジ強度計算部１が、制御信号Ｓｃで表されるノイズ量に応じて閾値εを調整することとしても良い。

なお、実施の形態２と同様の方法でノイズ量を推定する方法には、実施の形態２で述べたように、ヒストグラム分布を用いて信号量を求め、信号量に応じてノイズ量を推定する方法が含まれる。この方法でノイズ量を推定し、ノイズ量に応じて閾値εを決める場合、ヒストグラム分布に基づいて閾値εを決めているともいえる。

次に、実施の形態３と同様に撮像条件解析部６で撮像条件を解析し、解析結果に基づいて閾値εを調整する画像処理装置の構成例を図６に示す。
図６の画像処理装置は、図４の画像処理装置に対し、撮像条件解析部６の出力がエッジ強度計算部１に入力される点が異なる。

図６の撮像条件解析部６は、実施の形態３の撮像条件解析部６と同様に、入力画像Ｂの取得のための撮像を行なったときの撮像条件を解析する。解析結果はエッジ強度計算部１に供給され、解析結果に基づいてエッジ強度計算部１の動作が制御される。

例えば、撮像条件解析部６には撮像条件ＤＣとして撮像時間が通知され、撮像条件解析部６は通知された撮像時間に基づいてノイズ量を推定し、上記の推定結果に基づいて、エッジ強度計算部１で用いられる閾値εが制御される。
閾値εの制御のため、例えば、撮像条件解析部６は制御信号Ｓｄを生成する。
エッジ強度計算部１では、制御信号Ｓｄに基づいて閾値εを制御する。
例えば、通知された撮像時間が短いほどノイズが多いと推定され、推定されたノイズのの量に対して閾値εが単調非減少となるように制御が行われる。この場合、間接的には、通知された撮像時間に対して閾値εが単調非増加となるように制御が行われると言える。

制御信号Ｓｄは、推定されたノイズ量を表す信号であっても良く、撮像時間を表す信号であっても良く、上記のノイズ量又は撮像時間に対応する閾値εを示すものであっても良い。制御信号Ｓｄはまた、閾値εに対する変更の必要性の有無、並びに変更の内容を示すものであっても良い。変更の内容には、変更の方向（大きくすべきか、小さくすべき）が含まれる。変更の内容がさらに変更の幅を含んでいても良い。

実施の形態３で述べたように、一般的に入力画像Ｂに含まれるノイズは撮像時間（露光時間）が長くなるほど少なくなる。よって撮像条件解析部６では、撮像時間が長いほどノイズ量が小さいと推定できる。そこで撮像時間が長い場合は、閾値εが小さくなるように、エッジ強度計算部１の動作が制御される。

ここで入力画像Ｂに含まれるノイズとエッジ強度画像Ｅとの関係について述べる。エッジ強度計算部１は入力画像Ｂの局所的な画素のばらつき（例えば標準偏差又は分散）に従ってエッジ強度画像Ｅを計算している。エッジ強度画像Ｅは図２に示すように入力画像Ｂが平坦な場合には、その画素値が小さくなる。

しかし、標準偏差、分散などの画素のばらつきを表す値は、入力画像Ｂに含まれるノイズの分だけ大きくなりやすい。よって、入力画像Ｂにノイズ量が大きいときは式４の閾値εの値を大きくし、エッジ強度画像Ｅの画素値が小さくなりやすいようにすることで、ノイズ量に応じてエッジ強度画像Ｅの出力値を適宜調整することができる。

なお、エッジ強度画像Ｅの出力値を求める関数は式４に限らず、ある閾値に応じて、出力値の大小を調整できる関数であればよい。

実施の形態５．
式３の定数ｗ１、ｗ２、あるいは式４の閾値εを、撮像地点の情報から決めることができる。撮像地点とは、撮像の対象となった場所を意味する。撮像地点の情報として例えば、緯度、経度を使い、緯度、経度に基づいて撮像地点の特徴を判断する場合を考える。

例えば航空機に搭載されているカメラなどによる上空からの撮像では、事前の撮像計画から撮像地点の緯度、経度を判断でき、この場合、緯度、経度と撮像地点の特徴とを対応付けるテーブルを備えていれば、このテーブルを参照することで緯度、経度に基づいて撮像地点の特徴を特定することができる。

例えば、上空から、人工物、例えば住宅、ビル等の建物が多い風景を撮った場合と、砂漠あるいは海上といった自然物が多い風景を撮った場合とでは、画像に含まれる信号変化の大きさが異なる。例えば、建物が多い場合、例えば建物と建物との境目などエッジが多いと考えられる。この場合、定数ｗ２の値を大きな値とすれば、エッジの強度が強いほど評価関数Ｃ（Ｌ）が小さくなるので、建物と建物との境目のエッジを強調したような処理が可能となる。

逆に砂漠あるいは海上といった自然物が多い風景では輝度が急激に変化するエッジ状の箇所は少ないと考えられる。この場合、定数ｗ１を大きくすれば、急峻な輝度の変化が少ないほど評価関数Ｃ（Ｌ）が小さくなるので、自然物の中に不自然な輝度の変化を持った出力画像を生じにくくなる。

なお、上記のような定数ｗ１、ｗ２の調整はエッジ強度画像Ｅの計算に用いる閾値εを調整することで可能となる。実施の形態３および４の関係（即ち、撮像条件から推定したノイズ量を用いて定数ｗ１、ｗ２を調整する代わりに閾値εを調整することとしても良いこと）と上記の定数ｗ１、ｗ２の値を制御する構成との対比から、例えば、人工物が多い風景を撮像した場合は、閾値εを予め定められた値より小さくすればよいことがわかる。

また、このように撮像地点に基づいて定数ｗ１、ｗ２を調整する例は、上空からの撮像に限らない。例えば監視カメラなどの観測カメラで、海岸沿いの地点から周囲の景色を撮像する場合、海側を撮るか、陸側を撮るかでエッジ強度画像Ｅの計算のための閾値εを調整してもよい。陸側を撮る場合、被写体には住宅などの人工物が多く含まれることが予想されるので、そこにはエッジ状の輝度変化が多いと予想できる。よってこの場合、エッジ強度画像Ｅの画素値がより大きくなるよう閾値εを小さい値へと調整してもよい。逆に海側を撮る場合、被写体に、海あるいは空といった輝度変化が少ないものが多く含まれることが予想されるので、その場合は逆に、閾値εを大きな値に調整してもよい。

上記の動作を実現するための画像処理装置の構成としては、図４あるいは図６と同じものが使用できる。ただし、撮像条件解析部６の動作が異なる。この場合、撮像条件解析部６はカメラによる撮像の際の条件から、撮像地点の緯度、経度を求め、緯度、経度に基づいて評価関数最小化部３およびエッジ強度計算部１の一方又は双方の動作を制御するための信号を出力する。

具体的には、撮像条件解析部６には、撮像条件ＤＣとして撮像地点、撮像方向等が通知され、撮像条件解析部６は、通知された撮像地点、撮像方向等に基づいて、制御信号Ｓｂ及び制御信号Ｓｄの一方又は双方を生成する。
評価関数最小化部３では、制御信号Ｓｂに基づいて定数ｗ１、ｗ２を制御する。
エッジ強度計算部１では、制御信号Ｓｄに基づいて閾値εを制御する。

なお、撮像の際の条件から緯度、経度を求める方法においては、事前の撮像計画から緯度、経度を判断することも可能である。

この場合、撮像条件解析部６には、撮像条件ＤＣとして、事前の撮像計画が通知され、撮像条件解析部６は、通知された撮像計画に基づいて、制御信号Ｓｂ又は制御信号Ｓｄの少なくとも一方を生成する。

実施の形態６．
実施の形態１～５の画像処理装置の全部又は一部は、処理回路で構成することができる。
例えば、画像処理装置の各部分の機能をそれぞれ別個の処理回路で実現しても良いし、複数の部分の機能を纏めて１つの処理回路で実現しても良い。

処理回路はハードウェアで構成されていても良く、ソフトウェアで、即ちプログラムされたコンピュータで構成されていても良い。
画像処理装置の各部分の機能のうち、一部をハードウェアで実現し、他の一部をソフトウェアで実現するようにしても良い。

図７は、画像処理装置の全ての機能を実現するコンピュータ９の構成例を示す。
図示の例ではコンピュータ９は、プロセッサ９１及びメモリ９２を有する。
メモリ９２には、画像処理装置の各部の機能を実現するためのプログラムが記憶されている。

プロセッサ９１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、マイクロプロセッサ、マイクロコントローラ、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等を用いたものである。

メモリ９２は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）若しくはＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の半導体メモリ、磁気ディスク、光ディスク、又は光磁気ディスク等を用いたものである。

プロセッサ９１は、メモリ９２に記憶されているプログラムを実行することにより、画像処理装置の機能を実現する。

図７のコンピュータは単一のプロセッサを含むが、２以上のプロセッサを含んでいても良い。

以下、図７のコンピュータで、図１の画像処理装置の機能を実現する場合の、プロセッサにおける処理の手順を図８を参照して説明する。

エッジ強度計算ステップＳＴ１では、図１のエッジ強度計算部１における処理と同様の処理が行われる。
マスク値制御ステップＳＴ２では、図１のマスク値制御部２における処理と同様の処理が行われる。
評価関数最小化ステップＳＴ３では、図１の評価関数最小化部３における処理と同様の処理が行われる。

次に、図７のコンピュータで、図３又は図５の画像処理装置の機能を実現する場合の、プロセッサにおける処理の手順を図９を参照して説明する。
図９に示される処理の手順は、図８に示される処理の手順と概して同じであるが、入力画像解析ステップＳＴ５が付加されている。

入力画像解析ステップＳＴ５では、図３又は図５の入力画像解析部５における処理と同様の処理が行われる。
エッジ強度計算ステップＳＴ１では、図３又は図５のエッジ強度計算部１における処理と同様の処理が行われる。
マスク値制御ステップＳＴ２では、図３又は図５のマスク値制御部２における処理と同様の処理が行われる。
評価関数最小化ステップＳＴ３では、図３又は図５の評価関数最小化部３における処理と同様の処理が行われる。

次に、図７のコンピュータで、図４又は図６の画像処理装置の機能を実現する場合の、プロセッサにおける処理の手順を図１０を参照して説明する。
図１０に示される処理の手順は、図１の処理の手順と概して同じであるが、撮像条件解析ステップＳＴ６が付加されている。

撮像条件解析ステップＳＴ６では、図４又は図６の撮像条件解析部６における処理と同様の処理が行われる。
エッジ強度計算ステップＳＴ１では、図４又は図６のエッジ強度計算部１における処理と同様の処理が行われる。
マスク値制御ステップＳＴ２では、図４又は図６のマスク値制御部２における処理と同様の処理が行われる。
評価関数最小化ステップＳＴ３では、図４又は図６の評価関数最小化部３における処理と同様の処理が行われる。

画像処理装置の全部又は一部が処理回路で構成される場合にも、実施の形態１～５で述べたのと同様の効果が得られる。

上記の実施の形態には種々の変形が可能である。例えば、実施の形態２及び３では、入力画像の解析結果又は撮像条件の解析結果に基づいて定数ｗ１、ｗ２を制御し、実施の形態４では入力画像の解析結果又は撮像条件の解析結果に基づいて閾値εを制御するが、定数ｗ１、ｗ２の制御と、閾値εの制御の双方を行なっても良い。このような処理は、入力画像の解析結果又は撮像条件の解析結果に基づいて、エッジ強度計算部（１）におけるエッジ強度の計算及び評価関数最小化部（３）における定数（ｗ１，ｗ２）の制御の双方を行う処理であるとも言える。

以上本発明の画像処理装置について説明したが、上記の画像処理装置で実施される画像処理方法もまた本発明の一部を成す。また、上記の画像処理装置又は方法における処理をコンピュータに実行させるためのプログラム、及びそのようなプログラムを記録した、コンピュータで読取可能な記録媒体、例えば非一時的な記録媒体も本発明の一部を成す。

１ エッジ強度計算部、 ２ マスク値制御部、 ３ 評価関数最小化部、 ５ 入力画像解析部、 ６ 撮像条件解析部、 ＳＴ１ エッジ強度計算ステップ、 ＳＴ２ マスク値制御ステップ、 ＳＴ３ 評価関数最小化ステップ、 ＳＴ５ 入力画像解析ステップ、 ＳＴ６ 撮像条件解析ステップ。

Claims (10)

1. 入力画像の画素毎にエッジ強度を計算するエッジ強度計算部と、
   前記エッジ強度に応じて、第１のマスク値又は第２のマスク値の少なくとも一方の大きさを制御するマスク値制御部と、
   潜在画像に対して計算される評価関数を最小化する評価関数最小化部とを備え、
   前記評価関数は、忠実度項と正則化項との和で表され、
   前記忠実度項は、
   前記潜在画像に前記入力画像のボケ量を表すカーネルを畳み込んだ画像と前記入力画像との差分に対するｐ次のノルム（ｐは正の実数）を含み、
   前記正則化項は、少なくとも、
   前記潜在画像の１次微分のｑ１次のノルム（ｑ１は正の実数）に前記第１のマスク値および第１の定数を乗じた項と、
   前記潜在画像の２次微分のｑ２次のノルム（ｑ２は正の実数）に前記第２のマスク値および第２の定数を乗じた項との和を少なくとも含み、
   前記評価関数を最小化する前記潜在画像を出力画像とする
   ことを特徴とする画像処理装置。
2. 前記マスク値制御部が、前記エッジ強度に対し単調非増加となるよう前記第１のマスク値を計算することを特徴とする請求項１に記載の画像処理装置。
3. 前記マスク値制御部が、前記エッジ強度に対し単調非減少となるよう前記第２のマスク値を計算することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記エッジ強度計算部が、前記エッジ強度を、前記入力画像の画素値の局所的な標準偏差又は分散をもとに計算することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記入力画像は撮像装置による撮像で得られた画像であり、
   前記エッジ強度計算部における前記エッジ強度の計算又は前記評価関数最小化部における前記第１および第２の定数の制御の少なくとも一方が、前記撮像装置の撮像条件に応じて行われる
   ことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記撮像装置において前記入力画像の取得のための撮像を行なった際の撮像時間に応じて決まる閾値を用いて、前記エッジ強度計算部が前記エッジ強度を計算することを特徴とする請求項５に記載の画像処理装置。
7. 前記撮像装置において前記入力画像の取得のための撮像を行なった際の撮像時間に応じて、前記評価関数最小化部が、前記第１の定数又は前記第２の定数の少なくとも一方を決めることを特徴とする請求項５に記載の画像処理装置。
8. 前記入力画像のヒストグラム分布に応じて決まる閾値を用いて、前記エッジ強度計算部が前記エッジ強度を計算することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
9. 前記入力画像のヒストグラム分布に応じて、前記評価関数最小化部が、前記第１の定数又は前記第２の定数の少なくとも一方を決めることを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
10. 入力画像の画素毎にエッジ強度を計算するエッジ強度計算ステップと、
    前記エッジ強度に応じて、第１のマスク値又は第２のマスク値の少なくとも一方の大きさを制御するマスク値制御ステップと、
    潜在画像に対して計算される評価関数を最小化する評価関数最小化ステップとを備え、
    前記評価関数は、忠実度項と正則化項との和で表され、
    前記忠実度項は、
    前記潜在画像に前記入力画像のボケ量を表すカーネルを畳み込んだ画像と前記入力画像との差分に対するｐ次のノルム（ｐは正の実数）を含み、
    前記正則化項は、少なくとも、
    前記潜在画像の１次微分のｑ１次のノルム（ｑ１は正の実数）に前記第１のマスク値および第１の定数を乗じた項と、
    前記潜在画像の２次微分のｑ２次のノルム（ｑ２は正の実数）に前記第２のマスク値および第２の定数を乗じた項との和を少なくとも含み、
    前記評価関数を最小化する前記潜在画像を出力画像とする
    ことを特徴とする画像処理方法。

Images