JP5146159B2

JP5146159B2 - 画像復元方法、画像復元プログラム、および画像復元装置

Info

Publication number: JP5146159B2
Application number: JP2008172470A
Authority: JP
Inventors: 司村田
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2008-07-01
Filing date: 2008-07-01
Publication date: 2013-02-20
Anticipated expiration: 2028-07-01
Also published as: JP2010016470A

Description

本発明は、画像復元方法、画像復元プログラムおよび画像復元装置に関する。

従来、カメラ等の撮像装置で撮像した画像から、撮像レンズの焦点ズレによって生じたボケ等を除去し復元する手法として、画像からエッジ成分を抽出して、このエッジ成分を元の画像に割合を変えながら付加してエッジ強調を行うことで、鮮明にする手法が知られている。

一方、上記手法とは異なる画像を復元する方法の開発も盛んに行われている。例えば、非特許文献１では、Super-ResolutionおよびDemosaicingに基づいたモデルを、非特許文献２では、ベイズ理論に基づいたモデルを用いて決まる関数が、最小となるときであるとして復元処理を行う手法をそれぞれ開示している。これらの手法は、ボケた画像はボケの無い理想画像がボカされて生じるものであると言う仮定と、モデルにより得られるコスト関数とを用いて、ボケ画像から元画像を予測する手法である。
S. Farsiu, M. Elad, and P. Milanfar, IEEE Trans. 'Multi-Frame Demosaicing and Super-Resolution of Color Images', Image Processing, Vol.15, No.1, pp. 141-159, Jan. 2006 G. K. Chantas, N. P. Galatsanos, and A. C. Likas, 'Bayesian Restoration Using a New Nonstationary Edge-Preserving Image Prior', IEEE Trans. Image Process, Vol.15, No.10, pp.2987-2997, 2006

しかしながら、従来技術である画像のエッジ成分を元の画像に割合を変えながら付加して復元する手法は、強いエッジ強調をする場合にはノイズが目立ってしまう。

一方、非特許文献１や非特許文献２の画像復元方法では、元の画像に含まれる画像劣化（ボケやノイズ）の強度を予測することが必要になる。しかし、基準とするある領域に合わせて復元強度を予測すると、その領域以外の部分において過度な復元処理を行ってしまったり、逆に十分な復元処理が行われない場合がある。このような場合には、復元処理後の画像が違和感のある画像となってしまう。

上記従来技術が有する問題に鑑み、本発明の目的は、画像における画像劣化を復元処理する際に、違和感を抑え、自然な画像を生成することができる技術を提供することにある。

上記課題を解決するために、本発明の画像復元方法は、読み込まれた画像を複数の領域に分割する領域分割工程と、前記複数の領域毎に、その領域に含まれる画像劣化に関する評価値を算出する算出工程と、前記評価値の最大値と最小値との差分に基づいて、前記画像劣化を軽減する復元処理における復元強度を表す設定値を変化させる範囲を決定し、決定した範囲で前記設定値を変化させて前記復元処理を行うことで前記復元強度の異なる複数の復元画像を生成する生成工程と、前記生成工程で生成した複数の復元画像の中から、前記評価値に基づいて一の復元画像を前記領域毎に選択する選択工程と、前記選択工程で選択した復元画像のうち、対応する領域に含まれる部分画像を抽出し、領域毎に抽出した部分画像をそれぞれ合成して合成画像を生成する合成工程と、を備える。

この発明のプログラムは、この発明の各工程を、コンピュータに実行させる。

この発明の画像復元装置は、画像のデータを読み込む入力部と、前記画像を複数の領域に分割する領域分割部と、前記複数の領域毎に、その領域に含まれる画像劣化に関する評価値を算出する算出部と、前記評価値の最大値と最小値との差分に基づいて、前記画像劣化を軽減する復元処理における復元強度を表す設定値を変化させる範囲を決定し、決定した範囲で前記設定値を変化させて前記復元処理を行うことで前記復元の強度が異なる複数の復元画像を生成する生成部と、前記生成工程で生成した複数の復元画像の中から、前記評価値に基づいて一の復元画像を前記領域毎に選択する選択部と、前記選択工程で選択した復元画像のうち、対応する領域に含まれる部分画像を抽出し、領域毎に抽出した部分画像をそれぞれ合成して合成画像を生成する合成部と、を備える。

本発明によれば、画像における画像劣化を復元処理する際に、違和感を抑え、自然な画像を生成することができる。

図１は、本発明の一の実施形態に係る画像復元方法をコンピュータ１０へ適用した場合の概念図である。

図１に示すコンピュータ１０は、ＣＰＵ１、記憶部２、入出力インタフェース（入出力Ｉ／Ｆ）３およびバス４から構成され、ＣＰＵ１、記憶部２および入出力Ｉ／Ｆ３は、バス４を介して情報伝達可能に接続される。また、コンピュータ１０には、入出力Ｉ／Ｆ３を介して、画像処理の途中経過や処理結果を表示する出力装置２０、ユーザからの入力を受け付ける入力装置３０がそれぞれ接続される。出力装置２０には、一般的な液晶モニタやプリンタ等を用いることができ、入力装置３０には、キーボードやマウス等をそれぞれ適宜選択して使用できる。

ＣＰＵ１は、入力装置３０で受け付けたユーザからの指示に基づいて、記憶部２に記憶されている画像復元プログラムを読み込み、記憶部２に記憶されている画像の復元処理を行う。ＣＰＵ１は、その画像の復元処理の結果を、出力装置２０に表示する。ＣＰＵ１には、一般的な中央演算装置を用いることができる。

記憶部２は、被写体が撮像された画像のデータだけでなく、その画像における画像劣化を復元処理するための画像復元プログラム等を記録する。記憶部２に記憶される画像データやプログラム等は、バス４を介して、ＣＰＵ１から適宜参照することができる。記憶部２には、一般的なハードディスク装置、光磁気ディスク装置等の記憶装置を選択して用いることができる。なお、図１の記憶部２は、コンピュータ１０に組み込まれているが、外付けの記憶装置でも良い。この場合、記憶部２は、入出力Ｉ／Ｆ３を介してコンピュータ１０に接続される。

本実施形態における画像の復元処理の手法は、ベイズ理論に基づいた手法を用いる。以下に、ベイズ統計、確率モデル、最急降下法および目的関数について簡単に説明する。

復元処理の対象の画像をｇおよび復元処理後の画像をｆとすると、両画像は次の式（１）のように関係付けることができる。

ｇ＝Ｈｆ＋ｎ …式（１）
式（１）のｎは、画像に付加されるホワイトノイズである。なお、画像ｇ、画像ｆおよびホワイトノイズｎは、一次元ベクトルで表される。また、Ｈは、ボカシフィルタ行列を表す。本実施形態では、復元処理の対象の画像ｇに応じて、復元処理に用いる実際のボケ関数等も変化するため、次式（２）の関数に示すように、汎用的なボカシフィルタを用いて復元処理を行う。

なお、式（２）のパラメータσは、フィルタ強度（ボケの復元強度）を示す。また、フィルタ強度は、復元処理におけるボカシ半径とも言い換えることができる。

一方、ベイズ統計とは、例えば、ある２つの事象Ａ、Ｂがあるときに、事象Ａが生じたときに事象Ｂが生じる確率が、事象Ｂが生じたときに事象Ａが生じる確率を用いて次式（３）のように表される関係をいう。

Ｐ（Ｂ｜Ａ）＝Ｐ（Ｂ）・Ｐ（Ａ｜Ｂ）÷Ｐ（Ａ） …式（３）
式（３）により、本実施形態における画像ｇから画像ｆを求めるということを、画像ｆがあるとき、画像ｇになる確率を用いて表すことができる。この確率は、ベイズ統計および非特許文献２のモデルに基づいて求めることができる。

本実施形態では、上述した式（１）から式（３）に基づいて目的関数を求め、この関数の値が最小となる画像ｆを求める。

ところで、式（２）におけるパラメータσを大きくすると、復元処理の対象の画像ｇにおいてボケている部分の復元効果も大きくなる。しかし、その一方で、パラメータσを大きくすると、復元処理の対象の画像ｇにおいてある程度ピントの合っている部分では、画像の過剰補正が起こってしまう場合がある。すなわち、ある程度ピントの合っている部分において過度な復元処理が行われてしまうことになる。

そこで、式（２）におけるパラメータσを小さくすると、復元処理の対象の画像ｇにおいてある程度ピントの合っている部分では適度な復元処理が行われるが、復元処理の対象の画像ｇにおいてボケている部分では復元効果が小さくなり、十分な復元処理が行われない場合がある。

このような問題は、復元処理の対象の画像ｇにおけるピントの合い具合（ボケ具合）が局所的に異なる場合に発生する。例えば、復元処理の対象の画像ｇが、図２に示すように、手前に人物Ｐが存在し、奥に樹木Ｔが存在する画像である場合、撮影時の撮影条件（絞り、焦点距離など）によっては、人物Ｐ近辺の領域と樹木Ｔ近辺の領域とでピントの合い具合が異なる。このような画像ｇに対して、人物Ｐを基準として復元処理を行うと、樹木Ｔに関しては過度な復元処理が行われるか、または、十分な復元処理が行われない。逆に、樹木Ｔを基準として復元処理を行うと、人物Ｐに関しては過度な復元処理が行われるか、または、十分な復元処理が行われない。

そこで、本実施形態では、復元処理の対象の画像ｇに合わせた復元処理を行い、違和感を抑えた自然な画像を生成する。

本実施形態に係る画像復元方法の処理の手順について、図３のフローチャートを参照しながら説明する。

ユーザが、入力装置３０を用いて、画像復元プログラムのコマンドを入力、または、そのプログラムのアイコンをダブルクリックすることにより、プログラムの起動命令を出す。ＣＰＵ１は、その命令を入出力Ｉ／Ｆ３を通じて受け付け、記憶部２に記憶されている画像復元プログラムを実行する。その結果、図３のステップＳ１０からの処理が行われる。なお、本実施形態では、記憶部２にあらかじめ復元処理の対象となる、電子カメラ等で被写体を撮像した画像が記憶されているものとする。

ステップＳ１０：ＣＰＵ１は、ユーザの指示に基づいて、復元処理によって、少なくとも電子カメラ等の撮像レンズの焦点ズレによるボケや、撮像素子において生じたノイズ等による画像劣化を軽減したい画像（以下、画像ｇ）を、記憶部２より読み込む。図４は、読み込まれた画像ｇの一例を示す。

ステップＳ１１：ＣＰＵ１は、ステップＳ１０で読み込んだ画像ｇを予め定められた複数の領域に分割する。例えば、ＣＰＵ１は、画像ｇを１０〜２０ｐｉｘｅｌ四方の領域に分割する。なお、この分割数は、入力装置３０などを介したユーザ操作により指定可能としても良い。また、画像ｇの画素数に応じて、ＣＰＵ１がその都度分割数を決定する構成としても良い。また、画像ｇの撮影時の撮影情報（合焦位置、絞り、焦点距離）などに応じて、ＣＰＵ１がその都度分割数を決定する構成としても良い。

以下では、説明のため、図４に示すように画像ｇを縦横にそれぞれ６等分することにより、領域Ａ１〜領域２４の計２４の領域に分割したものとして説明する。

ステップＳ１２：ＣＰＵ１は、ステップＳ１１で分割した領域ごとにエッジ判定値Ｅ（エッジ判定値Ｅ１〜Ｅ２４）を算出する。エッジ判定値Ｅとは、画像劣化に関する一評価値である。ＣＰＵ１は、ステップＳ１１で分割した領域ごとに公知技術と同様にエッジの分布を求め、求めたエッジの分布からエッジ判定値Ｅを求める。エッジの分布は、例えば、画像ｇのコントラストや画像ｇにおけるボケ量に基づいて求めることができる。また、エッジ判定値Ｅに代えて、画像劣化の程度や傾向を示す他の評価値を用いても良い。

図５は、ステップＳ１１で分割した領域ごとに算出したエッジ判定値Ｅの一例である。図５において、色が暗い（黒に近い）領域ほどエッジ判定値Ｅが大きく、色が明るい（白に近い）領域ほどエッジ判定値Ｅが小さいことを示す。また、エッジ判定値Ｅが大きいほどピントが合っていることを示し、エッジ判定値Ｅが小さいほどピントが合っていない（ボケが大きい）ことを示す。図５の例では、背景の山並みの部分に最もピントが合っていて、手前に存在する人物の部分のボケが最も大きい。

ステップＳ１３：ＣＰＵ１は、式（２）のパラメータσを変化させてｎ枚の復元画像を生成する。ＣＰＵ１は、予め定められた間隔（例えば、０．５間隔）でパラメータσを変化させて画像ｇに対する復元処理をｎ回行い、画像ｇからｎ枚の復元画像を生成する。なお、図６に示すように、生成したｎ枚の画像を復元画像Ｉ１〜Ｉｎと称する。復元画像Ｉ１〜Ｉｎは、それぞれ異なるパラメータσ（σ１〜σｎ）を用いて行われた復元処理により生成された画像である。また、復元画像Ｉ１〜Ｉｎは、フィルタ強度（ボケの復元強度）が異なる画像である。

なお、パラメータσを変化させる間隔および生成する復元画像の枚数（上述の例ではｎ枚）は、予め定められていても良いし、入力装置３０などを介したユーザ操作により指定可能としても良い。また、ステップＳ１２で算出したエッジ判定値Ｅに応じて、ＣＰＵ１がその都度決定する構成としても良い。例えば、エッジ判定値Ｅの最大値と最小値との差分に基づいて、パラメータσを変化させる範囲を決定し、決定した範囲において所定の枚数の復元画像を生成するようにパラメータσを変化させる間隔を決定しても良い。

また、復元処理において、画像ｇの画素の外周上にある画素と他の領域にある画素との扱いを揃えるために、画像ｇの画素の外周に新たに画素を付加してから復元処理を行っても良い。

ステップＳ１４：ＣＰＵ１は、ステップＳ１２で算出したエッジ判定値Ｅに基づいて、ステップＳ１３で生成した復元画像を合成する。

ＣＰＵ１は、まず、ステップＳ１１で分割した領域ごとに、ステップＳ１２で算出したエッジ判定値Ｅに基づいて、ステップＳ１３で生成したｎ枚の復元画像から１枚の画像を選択する。ＣＰＵ１は、領域Ａ１については、エッジ判定値Ｅ１に基づいて、復元画像Ｉ１〜Ｉｎのうち１枚の画像を選択する。例えば、エッジ判定値Ｅ１により画像ｇの領域Ａ１における画像劣化の程度を推測し、その画像劣化を最も適当なフィルタ強度（ボケの復元強度）で復元していると見なすことができる復元画像を選択する。ＣＰＵ１は、同様の処理を領域Ａ２〜Ａ２４について行い、領域ごとに復元画像Ｉ１〜Ｉｎのうち１枚の画像を選択する。

なお、復元画像Ｉ１〜Ｉｎのうち選択されない（後の合成に使用されない）画像があっても良い。例えば、図６の例では、復元画像Ｉ３に基づく部分画像ｉ３は、領域Ａ２〜Ａ２４の何れにおいても選択されない（後の合成に使用されない）。

また、この選択処理を簡単にするため、エッジ判定値Ｅの値とパラメータσの値とを関連付けたテーブルなどを用意しても良い。また、領域ごとに復元画像Ｉ１〜Ｉｎのうち１枚の画像を選択する際に、ステップＳ１０で読み込んだ画像ｇも選択の対象としても良い。すなわち、画像ｇにおいて、十分にピントが合っている領域については、復元画像Ｉ１〜Ｉｎではなく、元画像である画像ｇを選択して後述する合成に用いても良い。

上記したように、領域ごとに、エッジ判定値Ｅに基づいてｎ枚の復元画像から１枚の画像を選択すると、ＣＰＵ１は、図６に示すように、ステップＳ１３で生成した復元画像Ｉ１〜Ｉｎから、それぞれ部分画像ｉ（ｉ１〜ｉｎ）を取得する。そして、ＣＰＵ１は、取得した部分画像を合成し、合成画像を生成する。

ステップＳ１５：ＣＰＵ１は、ステップＳ１４で生成した合成画像を画像ｆとして記憶部２に記録して復元処理を終了する。

このように本実施形態は、処理対象の画像ｇを複数の領域に分割し、複数の領域ごとに、画像劣化に関する評価値を算出する。そして、画像ｇに対して、画像劣化を軽減する復元処理を行い、復元処理における復元強度の異なる複数の画像を生成する。そして、算出した評価値に基づいて、復元強度の異なる複数の画像を合成して合成画像を生成することによって、復元処理の際に、違和感を抑え、自然な画像を生成することができる。
≪本実施形態に関する補足事項≫
本実施形態では、ベイズ理論に基づいた目的関数を最小にする方法で画像の復元処理を行ったが、本発明はこれに限定されない。例えば、特許文献１のDemosaicingとSuper-Resolutionとから求まるコスト関数を最小にするなど、公知の他の手法による復元処理を用いて行っても良い。

また、本実施形態では、ステップＳ１３において複数枚の復元画像を生成する際に、予め定められた間隔（例えば、０．５間隔）でパラメータσを変化させて画像ｇに対する復元処理をｎ回行い、合成の対象となる複数枚の復元画像を画像ｇから生成する例を挙げた。しかし、所定の条件で生成した復元画像に対して、ステップＳ１１で説明した領域分割およびステップＳ１２で説明したエッジ判定値Ｅの算出を行い、後の合成にさらに最適化した復元画像を生成する構成としても良い。例えば、ＣＰＵ１は、ステップＳ１３において所定の条件で復元画像を１枚のみ生成し、生成した復元画像に対して、ステップＳ１１で説明した領域分割およびステップＳ１２で説明したエッジ判定値Ｅの算出を行う。そして、算出したエッジ判定値Ｅをもとに、領域Ａ１〜Ａ２４の全ての領域において、所定の閾値以上のエッジ判定値Ｅが得られているか否かを判定する。そして、得られていない場合には、パラメータσを変化させて、１枚目の復元画像とはフィルタ強度（ボケの復元強度）が異なる２枚目の復元画像を生成する。そして、２枚目の復元画像に対して、同様に領域分割およびエッジ判定値Ｅの算出を行い、算出したエッジ判定値Ｅをもとに、領域Ａ１〜Ａ２４の全ての領域において、所定の閾値以上のエッジ判定値Ｅが得られているか否かを判定する。そして、得られていない場合には、パラメータσを変化させて、１枚目および２枚目の復元画像とはフィルタ強度（ボケの復元強度）が異なる３枚目の復元画像を生成する。ＣＰＵ１は、領域Ａ１〜Ａ２４の全ての領域において、所定の閾値以上のエッジ判定値Ｅが得られるまで同様の処理を繰り返すことにより、ステップＳ１４で合成画像を生成する際に、領域Ａ１〜Ａ２４の全ての領域において、ある程度のフィルタ強度（ボケの復元強度）で復元していると見なすことができる復元画像を選択することができる。そして、領域ごとに選択した復元画像から合成画像を生成することにより、全体に同程度のエッジ判定値Ｅを有する自然な画像を生成することができる。なお、このような構成とする場合には、後述する重み付け加算を行う必要はない。

また、本実施形態では、ステップＳ１４において合成画像を生成する際に、１つの領域については、１枚の復元画像（復元画像Ｉ１〜Ｉｎのうち１枚の画像）から部分画像を取得する例を挙げたが、２枚以上の画像を選択し、重み付け加算する構成としても良い。例えば、エッジ判定値Ｅによって、ある領域Ａにおける画像劣化の程度を推測したときに、２枚の復元画像の中間画像が、最も適当なフィルタ強度（ボケの復元強度）で復元処理を行った画像であると見なすことができる場合には、２枚の画像をエッジ判定値Ｅに基づいて重み付け加算し、上述した部分画像として用いることにより、より適した部分画像を用いて合成画像を生成することができる。

また、本実施形態のステップＳ１３において複数枚の復元画像を生成する際に、ステップＳ１１で分割した領域ごとに生成する構成としても良い。ただし、この場合には、ステップＳ１３において説明したように、画像ｇの画素の外周上にある画素と他の領域にある画素との扱いを揃えるために、画像ｇの画素の外周に新たに画素を付加してから復元処理するのが好ましい。

また、本実施形態では、ステップＳ１１における領域分割時の領域の大きさと、ステップＳ１４における合成画像生成時の領域の大きさとが同一である例を示したが、両者は必ずしも同一でなくても良い。一般的に、領域分割時の領域が小さすぎるとエッジ判定値Ｅの算出精度が低下する傾向がある。一方、合成画像生成時に選択する部分画像の大きさが大きすぎると合成画像の画質が劣る傾向がある。そこで、例えば、ステップＳ１１における領域分割時の領域の大きさを、ステップＳ１４における合成画像生成時の領域の大きさのＮ倍（ただし、Ｎは自然数）とすることにより、ステップＳ１１における領域分割時の領域の大きさと、ステップＳ１４における合成画像生成時の領域の大きさとが同一でなくても、本実施形態と同様の処理を行い、本実施形態と同様の効果を得ることができる。

また、ステップＳ１１において説明した領域分割時の分割数および領域の形状は一例であり、この例以外の分割数および領域の形状を採用しても良い。例えば、均等分割せずに、撮影情報などに応じて局所的に領域の大きさを変えても良い。また、複数の領域の周辺部において、重なり部分を持たせて領域分割を行っても良い。

また、本実施形態のステップＳ１４で説明した復元画像の合成時に、部分画像の境界に調整処理を施しても良い。例えば、境界が自然な表現となるように部分画像の外周上の画素の画素値を調整したり、合成画像に対して、境界を平滑化する処理などを行っても良い。

また、本実施形態では、復元処理が施される画像ｇとして、電子カメラ等の撮像装置によって撮像された画像としたが、本発明はこれに限定されない。例えば、平滑化処理によって取得された画像でも良い。また、低解像度画像を１より大きな拡大率で拡大した結果、少なくともその拡大によって生じたボケを有することとなった画像でも良い。

また、本実施形態では、復元処理におけるボカシフィルタとして式（２）の例ではガウス型フィルタを拡張したものを用いたが、本発明はこれに限定されない。例えば、井戸型フィルタ等を適宜選択して行っても良い。または、実際の撮像装置における光学系によるボカシの影響をボカシフィルタとして評価したものを用いることも好適である。

また、本発明は、低解像度画像の高精細化処理に対しても適用可能である。例えば、電子ビデオカメラ等で撮像される動画ファイルは、撮像素子の画素値の一部を間引いて高速に読み出しすることで作成される。したがって、動画の１コマの画像は、一般的に静止画像と比較して低解像度であり、その画像を引き伸ばして印刷してもぼやけたものになる。そこで、引き伸ばす際に、本発明による画像の復元処理を行えば、鮮明な画像で印刷が可能となる。また、防犯カメラ等で撮影された画像の高精細化に用いることも可能である。なお、この場合には、少なくとも画像を拡大することで生じるボケを考慮して行う必要がある。

また、本発明に係る画像復元方法における各工程を実現するためのプログラムを備え、撮像した画像を復元または低解像度画像を高精細化する画像復元装置に対しても適用可能である。

また、本発明に係る画像復元方法における各工程を実現するためのプログラムを備え、撮像した画像を復元または低解像度画像を高精細化する画像復元装置としてコンピュータを機能させることに対しても適用可能である。

また、本発明に係る画像復元方法における各工程を実現するためのコンピュータプログラムを記憶する記録媒体に対しても適用可能である。

また、本発明は、その精神またはその主要な特徴から逸脱することなく他の様々な形で実施することができる。本発明は、特許請求の範囲によって示されるものであって、本発明は明細書本文には何ら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。

本発明の一の実施形態に係る画像復元方法をコンピュータ１０へ適用した場合の概念図画像ｇの一例を示す図本発明の一の実施形態に係る復元処理における手順を示すフローチャート本発明の一の実施形態に係る画像の分割例を示す図本発明の一の実施形態に係るエッジ判定値Ｅの一例を示す図本発明の一の実施形態に係る処理の模式図

符号の説明

１ＣＰＵ、２記憶部、３入出力Ｉ／Ｆ、４バス、１０コンピュータ、２０出力装置、３０入力装置

Claims

読み込まれた画像を複数の領域に分割する領域分割工程と、
前記複数の領域毎に、その領域に含まれる画像劣化に関する評価値を算出する算出工程と、
前記評価値の最大値と最小値との差分に基づいて、前記画像劣化を軽減する復元処理における復元強度を表す設定値を変化させる範囲を決定し、決定した範囲で前記設定値を変化させて前記復元処理を行うことで前記復元強度の異なる複数の復元画像を生成する生成工程と、
前記生成工程で生成した複数の復元画像の中から、前記評価値に基づいて一の復元画像を前記領域毎に選択する選択工程と、
前記選択工程で選択した復元画像のうち、対応する領域に含まれる部分画像を抽出し、領域毎に抽出した部分画像をそれぞれ合成して合成画像を生成する合成工程と、
を備えることを特徴とする画像復元方法。
請求項１に記載の画像復元方法において、
前記生成工程では、［数１］に示す関数を使用したボカシフィルタを用い、前記関数の値が最小になる画像ｆを求めることで前記復元処理を行うことを特徴とする画像復元方法。

ここで、ｆは復元処理後の画像、σは前記設定値である。
請求項１又は２記載の画像復元方法において、
前記設定値は、前記復元処理におけるボカシ半径であるフィルタ強度となっていることを特徴とする画像復元方法。
請求項１から３のいずれか１項に記載の画像復元方法において、
前選択工程は、前記評価値に基づいて前記領域における画像劣化の程度を推測し、その画像劣化を最も適当な復元強度で復元していると見なすことができる復元画像を選択することを特徴とする画像復元方法。
請求項１から４のいずれか1項に記載の画像復元方法において、
前記合成工程では、前記領域のうちピントが合っている領域の場合、前記読み込まれた画像から前記領域に含まれる部分画像を抽出することを特徴とする画像復元方法。
請求項１から５のいずれか１項に記載の画像復元方法において、
前記評価値は、前記領域毎にエッジの分布を求め、求めたエッジ分布に基づいて算出するエッジ判定値となっていることを特徴とする画像復元方法。
請求項１から請求項６の何れか１項に記載の画像復元方法の各工程を、コンピュータに実行させることを特徴とする画像復元プログラム。
画像のデータを読み込む入力部と、
前記画像を複数の領域に分割する領域分割部と、
前記複数の領域毎に、その領域に含まれる画像劣化に関する評価値を算出する算出部と、
前記評価値の最大値と最小値との差分に基づいて、前記画像劣化を軽減する復元処理における復元強度を表す設定値を変化させる範囲を決定し、決定した範囲で前記設定値を変化させて前記復元処理を行うことで前記復元の強度が異なる複数の復元画像を生成する生成部と、
前記生成工程で生成した複数の復元画像の中から、前記評価値に基づいて一の復元画像を前記領域毎に選択する選択部と、
前記選択工程で選択した復元画像のうち、対応する領域に含まれる部分画像を抽出し、領域毎に抽出した部分画像をそれぞれ合成して合成画像を生成する合成部と、を備えることを特徴とする画像復元装置。
読み込まれた画像に含まれる画像劣化を軽減する復元の強度に関わる設定値を予め決めた値に設定して前記画像に対して復元処理を施した一の復元画像を生成する生成工程と、
前記生成工程で生成した一の復元画像に対して、複数の領域に分割する領域分割工程と、
前記複数の領域毎に、その領域に含まれる画像劣化に関する評価値を算出する算出工程と、
前記領域毎に前記評価値と閾値とを比較し、各領域での比較結果が閾値以上の評価値となる復元画像が得られるまで、前記設定値とは異なる設定値に変えて前記復元処理を施した復元画像を生成する処理を繰り返して、最も適当な復元強度で復元していると見なすことができる復元画像を前記領域毎に選択する選択工程と、
前記選択工程で選択した復元画像のうち、対応する領域に含まれる部分画像を抽出し、領域毎に抽出した部分画像をそれぞれ合成して合成画像を生成する合成工程と、
を備えることを特徴とする画像復元方法。
画像のデータを読み込む入力部と、
前記画像に含まれる画像劣化を軽減する復元の強度に関わる設定値を予め決めた値に設定して前記画像に対して復元処理を施した一の復元画像を生成する生成部と、
前記生成工程で生成した一の復元画像に対して、複数の領域に分割する領域分割部と、
前記複数の領域毎に、その領域に含まれる画像劣化に関する評価値を算出する算出部と、
前記領域毎に前記評価値と閾値とを比較し、各領域での比較結果が閾値以上の評価値となる復元画像が得られるまで、前記設定値とは異なる設定値に変えて前記復元処理を施した復元画像を生成する処理を繰り返して、最も適当な復元強度で復元していると見なすことができる復元画像を前記領域毎に選択する選択部と、
前記選択工程で選択した復元画像のうち、対応する領域に含まれる部分画像を抽出し、領域毎に抽出した部分画像をそれぞれ合成して合成画像を生成する合成部と、
を備えることを特徴とする画像復元装置。