JP5076757B2

JP5076757B2 - 画像処理方法およびプログラム

Info

Publication number: JP5076757B2
Application number: JP2007234556A
Authority: JP
Inventors: 司村田
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2007-09-10
Filing date: 2007-09-10
Publication date: 2012-11-21
Anticipated expiration: 2027-09-10
Also published as: JP2009069901A

Description

本発明は、ボケ画像から鮮明な画像の復元または低解像度画像の高精細化を行う画像処理方法およびプログラムに関する。

従来、ベイズ理論と呼ばれる統計理論に基づいて画像を復元する方法の開発が盛んに行われている。非特許文献１は、ボケ画像の基となる鮮明な画像とは、ベイズ理論に基づいて計算される目的関数が最小となるときであるとして、準ニュートン法を用いる画像の復元処理を行う手法を開示している。非特許文献２では、目的関数の計算において、非特許文献１の準ニュートン法の代わりに、Ｓｈｅｒｍａｎ−Ｍｏｒｒｉｓ行列を用いる最小化手法によって、非特許文献１よりも短い時間で画像復元する手法を開示している。
G. K. Chantas, N. P. Galatsanos, and A. C. Likas, `Bayesian Restoration Using a New Nonstationary Edge-Preserving Image Prior', IEEE Trans. Image Process, Vol.15, No.10, pp.2987-2997, 2006 R. Pan and S. J. Reeves,`Effect Huber-Markov Edge-Preserving Image Restoration', IEEE Trans. Image Process, Vol.15, No.12, pp.3728-3735, 2006

しかしながら、非特許文献１および非特許文献２の画像復元方法では、復元処理において膨大なサイズの行列演算を行う必要があり、メモリ容量の増大を招き処理時間が非常に長くなる。さらに、近年の電子カメラ等における撮像素子の画素数増大により、画像をブロック分割しなければメモリ容量が足りず復元処理できない。ところが、このブロック分割を行うと、各々のブロックの境界において画素値の誤差（リンキング）が生じ、画像の不連続性が目立つようになる場合がある。

また、共役勾配法または最急降下法の１種類の手法のみで処理を行うと、画像処理が収束せず最適解を見つけ出すことができない場合がある。

上記従来技術が有する問題に鑑み、本発明の目的は、行列演算を回避するとともに複数の数値最適化法を用いることで、ボケ画像を復元または低解像度画像を高精細化する画像処理の技術を提供することにある。

第１の発明の画像処理方法は、ボケ画像の画素値を格納する画像データの配列を２次元から１次元ベクトルに変換する工程と、１次元ベクトルに作用する２次元行列演算をボケ画像の画像データに対する平滑化またはエッジ成分抽出のフィルタリング処理に置き換え、鮮明な画像を推定する目的関数の計算に必要となる統計パラメータの値とともに目的関数の第１の勾配ベクトルを算出する工程と、行列演算を伴わない第１の数値最適化法または第２の数値最適化法と算出した第１の勾配ベクトルとを用いて、目的関数の値が最大または最小となるように鮮明な画像の画像データを更新する工程と、更新された鮮明な画像の画像データから得られる目的関数の第２の勾配ベクトルを算出する工程と、第１の勾配ベクトルの大きさと第２の勾配ベクトルの大きさとの比の値と所定値との比較に応じて、第１の数値最適化法または第２の数値最適化法を選択する工程とを備える。

第２の発明の画像処理方法は、ボケ画像の画素値を格納する画像データの配列を２次元から１次元ベクトルに変換する工程と、１次元ベクトルに作用する２次元行列演算をボケ画像の画像データに対する平滑化またはエッジ成分抽出のフィルタリング処理に置き換え、鮮明な画像を推定する目的関数の計算に必要となる統計パラメータの値とともに目的関数の第１の勾配ベクトルを算出する工程と、行列演算を伴わない第１の数値最適化法または第２の数値最適化法と算出した第１の勾配ベクトルとを用いて、目的関数の値が最大または最小となるように鮮明な画像の画像データを更新する工程と、更新された鮮明な画像の画像データから得られる目的関数の第２の勾配ベクトルを算出する工程と、第１の勾配ベクトル成分の最大値と第２の勾配ベクトル成分の最大値との比の値と所定値との比較に応じて、第１の数値最適化法または第２の数値最適化法を選択する工程とを備える。

第３の発明は、第１の発明または第２の発明の画像処理方法において、第１の数値最適化法とは、最急降下法であることを特徴とする。

第４の発明は、第１の発明または第２の発明の画像処理方法において、第２の数値最適化法とは、共役勾配法であることを特徴とする。

第５の発明のプログラムは、第１の発明ないし第４の発明のいずれかの画像処理方法の各工程を、コンピュータに実行させることを特徴とする。

本発明によれば、画像のフィルタリング処理と行列演算のない数値最適化法とを採用することにより、１枚の画像をブロック分割することなく、且つより少ないメモリ容量で高速な処理が可能となる。また、複数の数値最適化法を用いることにより確実に処理は収束して、最適解を見つけ出すことができる。

図１は、本発明の一実施形態に係る画像処理方法の全体の流れを示す。以下、図１の流れに沿って、本実施形態の処理について説明する。

ステップＳ１では、鮮明な画像に復元したいボケ画像を取得する。本実施形態におけるボケ画像とは、例えば、電子カメラ等の撮像装置の撮像レンズが焦点ズレを起こすことによって生じた画像である。

ステップＳ２では、図２に示すように、ボケ画像ｇの画素の外周に新たに画素（点線）を付加する。新たに付加した画素、例えば、画素２０と画素２１とには、隣接する画像の画素１０と同じ画素値が入る。そして、ボケ画像データを２次元配列の行列から１次元配列のベクトル型に変換する。

ここで、ボケ画像ｇの画素の周りに新たに画素を付加する理由は、ボカシフィルタが中心対称の場合、後述する式（１）におけるボカシフィルタ行列Ｈとその転置行列Ｈ^Tとはほぼ等しいとして扱え、以下にて説明する演算を容易にする。すなわち、ボカシフィルタが中心対称の場合でも、原則的にボカシフィルタ行列Ｈとその転置行列Ｈ^Tとは等しくない。その原因は、ボカシフィルタが中心対称の場合には、図２に示すように、例えば、ボケ画像ｇの画素の外周上にある画素１０の周りには隣接する画素が存在しない部分があり、それゆえボケ画像ｇの画素の外周上にある画素１０と他の領域にある画素とで扱い方が異なるからであり、中心対称でない場合は、ＨとＨ^Tとは全く異なる。そこで、図２に示すように、ボケ画像ｇの画素の外周上にある画素１０と同じ画素値を有する画素２０と画素２１とを付加させることで、ボケ画像ｇの画素の外周上にある画素１０と他の領域にある画素に対する扱い方の違いをなくす。これにより、ボカシフィルタが中心対称の場合に、ボカシフィルタ行列Ｈとその転置行列Ｈ^Tとが等しいとして扱っても、処理結果にはあまり影響しない。なお、新たに付加する画素の幅は任意に決めることができ、図２においては２画素分の幅を加えているが、状況に応じて適宜変更が可能であり、本実施形態ではフィルタ半径より大きい画素数の幅分を付加させる。

次に、ステップＳ３へ進む前に、ベイズ統計、確率モデル、目的関数、共益勾配法および最急降下法について簡単に説明する。

１次元ベクトル表現されたボケ画像ｇに対する同様に１次元ベクトル表現された本来の鮮明な画像をｆとすると、両画像は次の式（１）のように関係付けることができる。

式（１）のｎは、１次元ベクトル表現された画像に付加されるホワイトノイズである。

一方、ベイズ統計とは、例えば、ある２つの事象Ａ、Ｂがあるときに、事象Ａが生じたときに事象Ｂが生じる確率が、事象Ｂが生じたときに事象Ａが生じる確率を用いて次式（２）のように表せる関係をいう。

式（２）により、本実施形態におけるボケ画像ｇから鮮明な画像ｆを求めるということを、鮮明な画像ｆがあるとき、ボケ画像ｇになる確率を用いて表すことができる。そのような確率を、ベイズ統計および非特許文献１のモデルに基づいて表すと次式（３）となる。

式（３）のβは、ホワイトノイズｎの分布をガウス分布としたときの分散の逆数である。ａは画像ｆのエッジ成分の分散を与える行列で、画像の縦、横、斜め４５度および斜め１３５度方向の成分から成る。統計パラメータｍおよびｌは、行列ａの対角成分の平均と分散を用いて見積もることができ、４方向の成分から成るベクトルある。この式（３）は確率モデルと呼ばれる。確率モデルの式（３）が最大となるときの鮮明な画像ｆが、当該モデルにおける求める鮮明な画像ｆである。ただし、本実施形態では、式（３）の最大となる鮮明な画像ｆを求める代わりに、目的関数Ｊ_B（ｇ，ｆ；β，ｍ，ｌ）＝−ｌｎＰ（ｇ，ｆ；β，ｍ，ｌ）の値が最小となる鮮明な画像ｆを求める。本実施形態における目的関数Ｊ_Bを、非特許文献１のモデルを基に具体的に表すと次式（４）のようになる。

式（４）のＮは、画像の画素数を表し、統計パラメータｍおよびｌの添え字ｋは、画像の縦（ｋ＝１）、横（ｋ＝２）、斜め４５度（ｋ＝３）および斜め１３５度（ｋ＝４）の各方向における行列ａの対角成分の平均と分散を用いて見積もることを表す。Ｑ^kは、各方向の画像のエッジ成分を求める２次元行列の演算子を表す。

本実施形態では、目的関数Ｊ_Bを最小にする鮮明な画像ｆを求めるために、非特許文献１に用いられた行列演算を伴う準ニュートン法でなく、内部処理において行列演算を行わない共役勾配法および最急降下法を用いる。共役勾配法では、最適解を見つけ出す現在位置（ｉ）での検索方向ｄ_iを、現在位置での目的関数Ｊ_Bの勾配の方向とともに前の位置（ｉ−１）での検索方向ｄ_i-1も考慮して決め、最適解を見つけ出す手法である。共役勾配法を式で表すと式（５）のようになる。

式（５）のε_iは、次の式（６）で求まる値であり、現在位置（ｉ）と前の位置（ｉ−１）とでの目的関数Ｊ_Bの勾配の絶対値の比で表される。

一方、最急降下法では、最適解を見つけ出す検索方向ｄ_iを目的関数Ｊ_Bの勾配の方向として、その勾配をパラメータμで調節しながら最適解を見つけ出す手法である。最急降下法を式で表すと式（７）のようになる。

どちらの手法を用いる場合にしても、目的関数Ｊ_Bの勾配が０になる位置、すなわち目的関数が極値になるときの鮮明な画像ｆが求めるべきものである。本実施形態では、どちらの数値最適化法を使用するかの判断は、ε_iの値の大きさで決める。即ち、ε_i≦１、つまり、｜∇Ｊ_B（ｆ_i）｜≦｜∇Ｊ_B（ｆ_i-1）｜で目的関数Ｊ_Bの勾配が小さくなっている場合には、共役勾配法を用いる。一方、ε_i＞１、つまり、｜∇Ｊ_B（ｆ_i）｜＞｜∇Ｊ_B（ｆ_i-1）｜で目的関数Ｊ_Bの勾配が大きくなっている場合には、最急降下法を用いる。

目的関数Ｊ_Bの勾配は、式（４）よりベクトル形式で表すと式（８）のようになる。

なお、式（８）中のギリシャ文字の添え字αおよびγは１〜Ｎで和を取ることを示す。ｖ^k _iは次式（９）のように表される。

ステップＳ３では、Ｊ_Bを計算するのに必要となる統計パラメータｍおよびｌを、ｆ＝ｇとして求める。本来であれば鮮明な画像ｆからそれらの値を算出すべきである。しかしながら、鮮明な画像ｆは現ステップにおいてはまだ不明であり、ボケ画像ｇから求める値と最終的に得られた鮮明な画像ｆから求める値とでは処理結果に大きな違いが経験的に無いことから、ｆ＝ｇとして計算する。

ステップＳ４では、本実施形態において式（１）のボカシフィルタが拡張したガウス型フィルタＧ₀ｅｘｐ（−（ｒ／σ）^δ）である仮定として復元処理を行うため、ユーザから当該フィルタのパラメータσの値の入力を受け付ける。なお、δは任意に決めることができるが、本実施形態ではδ＝０．５とする。

ステップＳ５では、ステップＳ３およびステップＳ４にて得られたパラメータの値を用いて式（８）および式（９）を計算して、目的関数Ｊ_Bの勾配ベクトルを求める。ここで、式（８）および式（９）の中にＨｆ、Ｑ^kｆおよびＱ^T _kｖ^kの行列演算の項が存在する。しかしながら、ＨｆおよびＱ^kｆは平滑化およびエッジ成分抽出を行う行列演算であり、さらに、Ｑ^T _kも同様にしてエッジ成分の抽出フィルタにできる。すなわち、Ｈｆ、Ｑ^kｆおよびＱ^T _kｖ^kの行列演算を平滑化およびエッジ成分抽出のフィルタリング処理に置き換えることが可能である。これにより、ステップＳ２におけるボカシフィルタ行列Ｈとその転置行列Ｈ^Tとが等しいとする処理と併せることで、勾配ベクトルの計算において直接行列演算を行なわない処理が可能となり、目的関数Ｊ_Bの勾配ベクトルが少ないメモリ領域で高速に計算できる。

ステップ６では、数値最適化法として共役勾配法か最急降下法かのいずれかを使用することを決定するために、式（６）のε_iを求める。ステップ７へ移行する。ただし、処理の開始直後で当該ステップ６に移行して来た場合、前の位置（ｉ−１）における検索方向ｄ_i-1は分からないことから、ε_iを計算することができない。本実施形態では、処理開始直後の場合、ステップ６およびステップ７の処理はスキップされて、ステップ９へ直接移行する。

ステップ７では、ステップ６で求めたε_iの値が１以上であるか否か、即ち画像処理が収束する方向に向かっているか否かを判定する。ε_i＞１の場合には、ステップ８（ＹＥＳ側）に移行する。ε_i≦１の場合には、ステップ９（ＮＯ側）に移行する。だだし、上述したように、処理開始直後の場合には、当該ステップ７の処理はスキップされて、ステップ９へ直接移行する。

ステップＳ８では、ステップＳ５にて求めた目的関数Ｊ_Bの勾配ベクトルと式（７）でε_i＝０とした場合の最急降下法とを用いて、鮮明な画像ｆを新たに算出された鮮明な画像ｆ’に更新する（ｆ＝ｆ’）。上述したように、ステップＳ８の処理において、行列演算を伴わない最適化を用いることで、全ての処理において行列演算を用いないようにできる。なお、本実施形態では、勾配を調節するパラメータμはホワイトノイズｎの分散β^-1に等しいとする。

ステップＳ９では、ステップＳ５にて求めた目的関数Ｊ_Bの勾配ベクトルと式（５）の共役勾配法とを用いて、式（７）により鮮明な画像ｆを新たに算出された鮮明な画像ｆ”に更新する（ｆ＝ｆ”）。ステップＳ８と同様に、行列演算を伴わない最適化を用いることで、全ての処理において行列演算を用いないようにできる。

ステップＳ１０では、ステップＳ８またはステップＳ９において更新した鮮明な画像ｆを用いて、目的関数Ｊ_Bの勾配ベクトルを求める。

ステップＳ１１では、ステップＳ７で求めた目的関数Ｊ_Bの勾配ベクトルの成分のうち、最大値となる成分が１より小さいか否かを判定する。１より小さい場合には、最急降下法によるボケ画像処理は収束したとして、ステップＳ１２（ＹＥＳ側）に移行する。一方、１以上の場合には、画像処理はまだ収束していないとして、ステップＳ６（ＮＯ側）に戻り、目的関数Ｊ_Bの勾配ベクトル成分の最大値が１より小さくなるまでステップＳ６からステップＳ１１の処理を行い、鮮明な画像ｆを求める。

ステップＳ１２では、得られた鮮明な画像ｆを１次元配列のベクトルから２次元配列のデータ型に変換する。ステップＳ２において付加した画素を鮮明な画像ｆから取り除く。残りのものが、ボケ画像ｇの基である鮮明な画像ｆであり、保存して画像処理を終了する。

このように本実施形態は、目的関数Ｊ_Bの勾配ベクトル計算における行列演算を平滑化およびエッジ成分抽出のフィルタリング処理に置き換え、且つ行列演算を必要としない共役勾配法または最急降下法を用いて鮮明な画像ｆを求めることにより、大幅なメモリ容量削減が可能となり、高速な演算処理が実現できる。そして、処理装置の回路規模を小型化することもできる。

また、本実施形態において、行列演算を回避することよって、膨大な画素数を有する画像の復元処理についても、従来技術において行われていた画像のブロック分割を行う必要が無くなる。これにより、各ブロックの境界で生じる画像の不連続性（リンキング）を回避することができる。

また、本実施形態において、共役勾配法と最急降下法とを適宜切り替え用いることによって、確実に最適解を見つけ出すことができ、ボケ画像を鮮明な画像に復元することができる。
≪本実施形態に関する補足事項≫
本実施形態では、復元処理において鮮明な画像ｆを求めるために共役勾配法または最急降下法を用いたが、本発明はこれに限定されない。行列演算を伴わない数値最適化法を適宜選択して使用することができる。

なお、本実施形態では、処理開始直後のステップ６においてε_iが求められない場合、直接ステップ９へ移行して共役勾配法による処理を行うとしたが、本発明はこれに限定されない。直接ステップ８へ移行して、最急降下法による処理を行ってもよい。

なお、本実施形態では、ステップ６においてε_iは、式（７）のように目的関数Ｊ_Bの勾配ベクトルの絶対値の比から求めたが、本発明はこれに限定されない。ε_iは、現在位置（ｉ）と前の位置（ｉ−１）とにおける目的関数Ｊ_Bの勾配ベクトル成分のうち、それぞれの最大となる成分の比から求めてもよい。

なお、本実施形態では、ステップＳ１１において、更新された鮮明な画像ｆを用いて求められる目的関数Ｊ_Bの勾配ベクトル成分の最大値が１より小さいか否かで判定したが、本発明はこれに限定されない。例えば、画像処理のループの回数が所定の値より大きいか否かで判定してもよいし、目的関数Ｊ_Bの勾配ベクトル成分の最大値およびループの回数との両方を用いて判定してもよい。

なお、本実施形態では、ボカシフィルタが中心対称の場合を考え、ボカシフィルタ行列Ｈとその転置行列Ｈ^Tとは等しいとしたが、本発明はこれに限定されない。ボカシフィルタが中心対称でない場合には、ボカシフィルタ行列Ｈとその転置行列Ｈ^Tとは互いに別々のボカシフィルタとして扱うことができる。

なお、本実施形態では、復元処理が施されるボケ画像として、電子カメラ等の撮像装置の撮像レンズが焦点ズレを起こすことによって生じた画像としたが、本発明はこれに限定されない。例えば、平滑化処理によって取得される画像でもよいし、低解像度画像を１より大きな拡大率を用いて拡大して取得される画像でもよい。

なお、本実施形態では、復元処理におけるボカシフィルタとしてガウス型フィルタを拡張したものを用いたが、本発明はこれに限定されない。例えば、井戸型フィルタ等を適宜選択して行ってもよい。または、実際の撮像装置における光学系によるボカシの影響をボカシフィルタとして評価したものを用いることも好適である。

なお、本実施形態では、ボケ画像を復元する画像処理に対して適用されたが、本発明はこれに限定されない。例えば、画像の圧縮・解凍処理に対しても適用可能である。すなわち、画像を圧縮する時に、性質の明らかなボカシフィルタを用いて画像の平滑化処理を行えば、非常に効率よく圧縮が可能となる。そこで、平滑化処理された画像データを圧縮して、用いたボカシフィルタの情報と統計パラメータｍおよびｌとを付加したファイルを生成することで、解凍時において、平滑化処理された画像を解凍作業とともに復元処理することが可能となる。これにより、効率良く画像が圧縮できるだけでなく、ネットワークに無駄な負荷をかけること無く画像を送受信することが可能となる。

なお、本発明は、低解像度画像の高精細化処理に対しても適用可能である。例えば、電子ビデオカメラ等で撮像される動画ファイルは、撮像素子の画素値の一部を間引いて高速に読み出しすることで作成される。したがって、動画の１コマの画像は、一般的に静止画像と比較して低解像度であり、その画像を引き伸ばして印刷してもぼやけたものになる。そこで、引き伸ばす際に、本発明による画像の復元処理を行えば、鮮明な画像で印刷が可能となる。また、防犯カメラ等で撮影された画像の高精細化に用いることも可能である。

なお、本発明に係る画像処理方法における各工程を実現するためのプログラムを備え、ボケ画像から鮮明な画像を復元または低解像度画像を高精細化する画像処理装置に対しても適用可能である。

なお、本発明に係る画像処理方法における各工程を実現するためのプログラムを備え、ボケ画像から鮮明な画像を復元または低解像度画像を高精細化する画像処理装置としてコンピュータを機能させることに対しても適用可能である。

なお、本発明に係る画像処理方法における各工程を実現するためのコンピュータプログラムを記憶する記録媒体に対しても適用可能である。

なお、本発明は、その精神またはその主要な特徴から逸脱することなく他の様々な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈されてはならない。本発明は、特許請求の範囲によって示されるものであって、本発明は明細書本文には何ら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。

以上説明したように、本発明は、ボケ画像の復元または低解像度画像の高精細化の高速処理が要求される、電子カメラ等の画像の画像処理装置等に応用可能な技術である。

本発明の一実施形態に係る画像処理における手順を示すフローチャートボケ画像ｇの外周に新たな画素を付加する手順を示す図

Claims

ボケ画像から鮮明な画像を求める画像処理方法であって、
前記ボケ画像の画素値を格納する画像データの配列を２次元から１次元ベクトルに変換する工程と、
前記１次元ベクトルに作用する２次元行列演算を前記ボケ画像の画像データに対する平滑化またはエッジ成分抽出のフィルタリング処理に置き換え、前記鮮明な画像を推定する目的関数の計算に必要となる統計パラメータの値とともに前記目的関数の第１の勾配ベクトルを算出する工程と、
行列演算を伴わない第１の数値最適化法または第２の数値最適化法と算出した前記第１の勾配ベクトルとを用いて、前記目的関数の値が最大または最小となるように前記鮮明な画像の画像データを更新する工程と、
更新された前記鮮明な画像の画像データから得られる前記目的関数の第２の勾配ベクトルを算出する工程と、
前記第１の勾配ベクトルの大きさと前記第２の勾配ベクトルの大きさとの比の値と所定値との比較に応じて、前記第１の数値最適化法または前記第２の数値最適化法を選択する工程と、
を備えることを特徴とする画像処理方法。
ボケ画像から鮮明な画像を求める画像処理方法であって、
前記ボケ画像の画素値を格納する画像データの配列を２次元から１次元ベクトルに変換する工程と、
前記１次元ベクトルに作用する２次元行列演算を前記ボケ画像の画像データに対する平滑化またはエッジ成分抽出のフィルタリング処理に置き換え、前記鮮明な画像を推定する目的関数の計算に必要となる統計パラメータの値とともに前記目的関数の第１の勾配ベクトルを算出する工程と、
行列演算を伴わない第１の数値最適化法または第２の数値最適化法と算出した前記第１の勾配ベクトルとを用いて、前記目的関数の値が最大または最小となるように前記鮮明な画像の画像データを更新する工程と、
更新された前記鮮明な画像の画像データから得られる前記目的関数の第２の勾配ベクトルを算出する工程と、
前記第１の勾配ベクトル成分の最大値と前記第２の勾配ベクトル成分の最大値との比の値と所定値との比較に応じて、前記第１の数値最適化法または前記第２の数値最適化法を選択する工程と、
を備えることを特徴とする画像処理方法。
請求項１または請求項２に記載の画像処理方法において、
前記第１の数値最適化法とは、最急降下法であることを特徴とする画像処理方法。
請求項１または請求項２に記載の画像処理方法において、
前記第２の数値最適化法とは、共役勾配法であることを特徴とする画像処理方法。
請求項１ないし請求項４のいずれか１項に記載の画像処理方法の各工程を、コンピュータに実行させることを特徴とするプログラム。