JP6538469B2 - 画像処理装置、画像処理方法、及びそれを用いた画像処理システム - Google Patents

Description

本発明は、画像を撮影する過程で生じたボケ（焦点ボケやカメラブレにより生じたボケ）を含む画像から、ボケの少ない画像を回復する画像処理に関し、特に、画像内にボケ方が異なる複数の被写体が存在する場合に適した画像処理装置及びその方法に関する。

カメラによって画像を撮影する際に、レンズの焦点がボケたりカメラがブレたりすることによって、画像にボケが生じることがあり、ボケを含む画像からボケの少ない画像を回復する画像処理システムの実現が望まれている。

このような画像処理は、画像回復（Ｉｍａｇｅ Ｒｅｓｔｏｒａｔｉｏｎ）やボケ修復（Ｉｍａｇｅ Ｄｅｂｌｕｒｉｎｇ）などと呼ばれており、以下、これらをまとめて画像回復処理と称することにする。一般に、下記（数１）に示すように、ボケを含む画像（観測画像）は、ボケを含まない理想的な画像（潜在画像）に対してボケの特性を表す点広がり関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）が畳み込まれていると捉える。画像回復処理では、下記（数２）に示すように、観測画像に対してＰＳＦの逆畳み込み演算を施すことによって潜在画像を推定する。

観測画像 ＝ 潜在画像 ＊ ＰＳＦ …（数１）
（ただし、＊は畳み込み演算（すなわち周波数領域での乗算）を示す）
潜在画像 ＝ 観測画像 ／ ＰＳＦ …（数２）
（ただし、／は逆畳み込み演算（すなわち周波数領域での除算）を示す）
画像回復処理に関し、これまでに数多くの技術が提案されている。

例えば、ＰＳＦが既知な場合に観測画像から潜在画像を推定するＮｏｎ−ｂｌｉｎｄ法（Ｎｏｎ−ｂｌｉｎｄ Ｄｅｃｏｎｖｏｌｕｔｉｏｎ）が提案されており、Ｗｉｅｎｅｒ Ｆｉｌｔｅｒなどが良く知られている。また、一般的な画像ではＰＳＦが未知であることから、観測画像からＰＳＦと潜在画像の両方を推定するＢｌｉｎｄ法（Ｂｌｉｎｄ Ｄｅｃｏｎｖｏｌｕｔｉｏｎ）が提案されており、ＡＤ法（Ａｙｅｒｓ−Ｄａｉｎｔｙ法）やＲＬ法（Ｒｉｃｈａｒｄｓｏｎ−Ｌｕｃｙ法）などが良く知られている。これらのＢｌｉｎｄ法では、いずれも観測画像と仮のＰＳＦ（第１世代のＰＳＦ）を用いてＮｏｎ−ｂｌｉｎｄ法で第１世代の潜在画像を推定し、観測画像と第１世代の潜在画像を用いてＮｏｎ−ｂｌｉｎｄ法で第２世代のＰＳＦを推定し、観測画像と第２世代のＰＳＦを用いてＮｏｎ−ｂｌｉｎｄ法で第３世代の潜在画像を推定し、という処理を反復することにより、最終的な潜在画像を得る。これらの技術では、ＰＳＦは画像内で一定であるという前提に基づいて、画像回復処理を行う。

画像に含まれるボケは、特に、遠方にある被写体を望遠撮影したり拡大表示したりするときに顕著に知覚される。このため、遠方を撮影するための監視カメラなどで、画像回復による大きな画質改善効果が期待されている。その一方で、撮影するときの俯角や仰角が水平に近いと、１枚の画像に遠景と近景が同時に映り込むことが多くなり、ボケ方（すなわちＰＳＦ）が異なる複数の被写体が画像内に存在することが多くなるため、前述したような、ＰＳＦは画像内で一定であるという前提に基づいたＢｌｉｎｄ法の画像回復処理を用いると、画像回復の精度が低下してしまう課題があった。

Ｂｌｉｎｄ法を用いながらこの課題を解決する画像回復処理技術が、例えば、特開２０１２−１５５４５６号公報（特許文献１）およびＷＯ２０１０／０９８０５４号公報（特許文献２）に開示されている。

特許文献１では、入力画像（観測画像）を複数の小領域画像に分割する小領域分割部と、前記小領域画像のＰＳＦを推定する局所ＰＳＦ推定部と、推定された前記ＰＳＦの形状を識別し、類似性の高いＰＳＦ形状の小領域画像が同一グループに属するように、前記小領域画像を分類するＰＳＦ形状識別部と、同一グループに分類され、かつ隣接する前記小領域画像をグループ毎に統合することで、各グループに分離された被写体画像を得る技術が開示されている。また、各被写体画像を用いて、各被写体画像のＰＳＦを推定する被写体ＰＳＦ推定部と、前記被写体ＰＳＦ推定部によって推定されたＰＳＦと、前記被写体画像と、を用いて、前記被写体画像の劣化を補正した回復画像（潜在画像）を得る技術が開示されている。

特許文献２では、入力画像（観測画像）を構成する画素の画素値に応じて、入力画像（観測画像）を複数の適応的領域に分割する適応的領域分割部と、分割された複数の適応的領域ごとに算出される、画像のブレの特徴を示すＰＳＦを用いて、複数の適応的領域のそれぞれを代表する画素である代表画素間に位置する画素のＰＳＦを補間するＰＳＦ補間部と、補間後のＰＳＦを用いて入力画像（観測画像）を補正することにより、目的画像（潜在画像）を生成する技術が開示されている。また、ブレ（ＰＳＦ）が共通する領域を１つの適応的領域として決定する技術が開示されている。

特開２０１２−１５５４５６号公報 ＷＯ２０１０／０９８０５４号公報

前述した特許文献１および２に開示されている技術は、いずれも入力画像（観測画像）を複数の小領域画像に分割し、分割された小領域画像ごとにＰＳＦを推定したのちに、ＰＳＦが類似する小領域画像を１つの適応的領域（グループ）にまとめ、この適応的領域（グループ）ごとに再度ＰＳＦを推定することによって、より精度の高い最終的な回復画像（潜在画像）を得ようとしている。

しかしながら、分割された小領域画像ごとにＰＳＦを推定する際に、小領域画像を構成する縦横の画素数が少ない場合、すなわち、小領域の面積が小さい場合や、小領域画像の中に明確なエッジなどの特徴的な絵柄を含まない場合、すなわち、小領域画像の中の輝度値の変化が少なく平坦な絵柄の場合などでは、ＰＳＦの推定精度が低下してしまい、誤ったＰＳＦが得られてしまったり、あるいは反復演算の過程で結果が発散してしまいＰＳＦを求めることができなかったりする課題がある。

また、Ｂｌｉｎｄ法では前述のような反復処理が必要であり、ＰＳＦを推定するために長い時間が必要であることが良く知られている。特許文献１および２に開示されている技術では、分割された小領域画像ごとにＰＳＦを推定したのちに、ＰＳＦが類似する小領域画像を１つの適応的領域（グループ）にまとめ、この適応的領域（グループ）ごとに再度ＰＳＦを推定する、というように２段階でＰＳＦを推定する必要があるため、最終的な潜在画像を得るために、非常に長い時間が必要となってしまう課題がある。

本発明はこのような状況に鑑みてなされたものであり、画像内にボケ方が異なる複数の被写体が存在する場合でも、ボケの少ない潜在画像を安定して得ることができ、また比較的短時間で潜在画像が得られるようにするための画像処理装置及び画像処理方法、及びそれを用いた画像処理システムを提供するものである。

上記課題を解決するために、例えば特許請求の範囲に記載の構成を採用する。本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、画像処理方法であって、画像を入力するステップと、画像を複数の第１領域に分割し、第１領域ごとの周波数成分分布を求めるステップと、周波数成分分布どうしの類似度を算出し、類似度が所定値より高い第１領域を第２領域として統合するステップと、第２領域ごとに該第２領域以外の領域を所定値で塗りつぶした画像を生成するステップと、塗りつぶした画像を生成するステップで得た画像に第２領域ごとに画像回復処理を行うステップと、画像回復処理を行うステップの結果を一枚の画像に合成して出力するステップとで構成する。

本発明によれば、画像内にボケ方が異なる複数の被写体が存在する場合でも、ボケの少ない潜在画像を安定して得ることができ、また比較的短時間で潜在画像が得られる画像処理装置及び画像処理方法、及びそれを用いた画像処理システムを実現できる。

実施例１における画像処理装置の概略構成を示す図である。 実施例１における周波数成分分布解析部と類似領域統合部の各詳細構成の一例を示す図である。 実施例１における塗りつぶし部の動作を説明する図である。 実施例２における画像処理システムの概略構成図である。 実施例２における画像処理部の詳細を説明する図である。 実施例２における画像処理部の他の例を説明する図である。 実施例２における画像処理部の他の例を説明する図である。 実施例３における画像処理装置の概略構成を示す図である。 実施例４における画像処理装置の概略構成を示す図である。 実施例４におけるＰＳＦ補間部の構成例を示す図である。 実施例５における画像回復処理の手順の一例を示すフローチャートである。

以下、添付図面を参照して本発明の実施例について説明する。なお、各図において共通の構成については同一の参照番号が付される。また、本発明の実施例は、汎用コンピュータ上で稼動するソフトウェアで実装しても良いし専用ハードウェア又はソフトウェアとハードウェアの組み合わせで実装しても良い。

本実施例では、画像内にボケ方が異なる複数の被写体が存在する場合でも、ボケの少ない潜在画像を安定して得ることができ、また比較的短時間で潜在画像が得られるようにするための画像回復処理について説明する。本実施例では、前述した特許文献１および２に記載されている技術と同様に、入力された観測画像を小領域画像に分割し、特徴が類似している小領域をまとめて類似領域とし、類似領域ごとに独立して画像回復を行い、各画像回復結果を１枚の画像に合成することによって、最終的な潜在画像を出力する。

ここで、前述した特許文献１および２に記載されている技術では、小領域どうしが類似しているか否かを判別する特徴量として、小領域ごとに推定したＰＳＦの形状を用いているが、このＰＳＦの推定が不安定になったり、計算の途中で発散したり、長い時間が必要になったりすることが課題であった。

そこで、本実施例では、分割された小領域ごとにＰＳＦを推定するのではなく、観測画像の小領域ごとの周波数成分分布を特徴量として、小領域どうしが類似しているか否かを判別し、周波数成分分布が類似した小領域をまとめて類似領域とする。すなわち、ほぼ同一距離にある同一の被写体が複数の小領域画像に写っていれば、各小領域の観測画像の周波数成分分布どうしも、潜在画像の周波数成分分布どうしも、ＰＳＦどうしも、互いに類似しているはずである、という仮定を導入する。これにより、前述した特許文献１および２に記載されている技術のように、分割された小領域ごとに潜在画像とＰＳＦとを分離するための画像回復処理（ＰＳＦ推定処理）が不要となるため、前述した課題を解決することができるようになる。

ただし、この仮定に誤りを含む例として、以下の２とおりのケースが考えられる。
（１）異なる小領域どうしの間で、本来のＰＳＦが略同一であるにも関わらず、小領域ごとの潜在画像の絵柄に対応する周波数成分分布が互いに大きく異なることが原因で、小領域ごとの観測画像の周波数成分分布が互いに大きく異なってしまい、本来は同一の類似領域と判別されるべきなのに別々の類似領域と判別されてしまうケース。
（２）異なる小領域どうしの間で、本来のＰＳＦが略同一でないにも関わらず、小領域ごとの潜在画像の絵柄に対応する周波数成分分布が互いに大きく異なることが原因で、数１に示したように、観測画像は潜在画像とＰＳＦの掛け算なので、たまたま観測画像の周波数成分分布が略同一になってしまい、本来は別々の類似領域と判別されるべきなのに同一の類似領域と判別されてしまうケース。

前記（１）のケースでは、異なる小領域どうしが別々の類似領域と判別されるため、類似領域の大きさは本来あるべき類似画像の大きさよりも小さくなってしまうが、後述のように、類似領域ごとに別々に画像回復処理を行うため、大きな問題は生じない。

前記（２）のケースでは、本来のＰＳＦが略同一でない小領域どうしが同一の類似領域と判別されるため、このまま類似領域を画像回復処理してしまうと、正しいＰＳＦが求められず、一見大きな問題となるように思える。しかし、潜在画像の絵柄に対応する周波数成分分布とボケ方に対応するＰＳＦが互いに異なり、かつ、観測画像（数１参照）の周波数成分分布が互いに類似する確率は相当に低いと考えてよく、前記（２）のケースは稀にしか生じないと考えられる。

したがって、ほぼ同一距離にある同一の被写体が複数の小領域画像に写っていれば、各小領域の観測画像の周波数成分分布どうしも、潜在画像の周波数成分分布どうしも、ＰＳＦどうしも、互いに類似しているはずである、という仮定のもとで、観測画像の小領域ごとの周波数成分分布を特徴量として、小領域どうしが類似しているか否かを判別し、周波数成分分布が類似した小領域をまとめて類似領域とし、類似領域ごとに画像回復処理を行っても大きな問題は生じないと考えられる。

この考え方にしたがい、前述の課題を解決するために、本実施例では、以下に述べるような構成を有する画像処理装置を提案する。

図１は、本実施例における画像処理装置の概略構成を示す図である。図１において、入力された観測画像（１０７）は、領域分割部（１０１）にてｍ個（ただし、ｍは２以上の整数）の小領域画像（１０８）に分割する。続いて、周波数成分分布解析部（１０２）にて、分割された小領域画像（１０８）ごとに水平周波数と垂直周波数からなる２次元周波数成分の分布（１０９）を計算し、分割前の観測画像（１０７）の全体に対する小領域ごとの周波数分布（１１０）を求める。このとき、小領域の分割数（ｍ）に合わせて、図１に示すように周波数成分分布解析部（１０２）をｍ個用意してもよいし、１個の周波数成分分布解析部（１０２）をｍ回繰り返して動作させてもよい。この周波数成分分布解析部（１０２）の詳細については、図２を用いて後述する。

図１における類似領域統合部（１０３）では、周波数成分分布解析部（１０２）にて求めた周波数分布が類似している小領域をまとめて、類似領域を生成する。ここで、例えば観測画像（１０７）では、遠くの船が写っている類似領域（１１１−１）と、海面だけが写っている類似領域（１１１−２）と、近くの船が写っている類似領域（１１１−ｎ）で、それぞれの周波数分布が類似していて、領域分割部（１０１）から出力されたｍ個（図１の例ではｍ＝１２）の小領域をｎ個（ただし、ｎは１以上の整数。図１の例ではｎ＝３）の類似領域にまとめたことを示している。この類似領域統合部（１０３）の詳細については、図２を用いて後述する。

図１における塗りつぶし部（１０４）では、類似領域（１１１）ごとに類似領域以外の領域を所定値、例えば黒色（輝度値＝０）で塗りつぶした画像（１１２）を生成する。この塗りつぶしの動作の詳細については、図３を用いて後述する。

図１における画像回復部（１０５）では、塗りつぶされた画像（１１２）に対して、類似領域ごとに一般的なＮｏｎ−ｂｌｉｎｄ法によって画像回復を行う。

図１における合成部（１０６）では、図示しない画像回復結果の画像のうち、それぞれの塗りつぶしていない領域を１枚の画像に合成し、最終的な潜在画像（１１３）を出力する。

図２に、前述した周波数成分分布解析部（１０２）と類似領域統合部（１０３）の各詳細構成の一例をまとめて示す。図２において、小領域ごとに用意したｍ個の周波数成分分布解析部（１０２−１〜ｍ）は、それぞれフーリエ変換部（２０１）とレベル正規化部（２０２）で構成される。フーリエ変換部（２０１）では、入力された小領域画像をフーリエ変換し、周波数ごとの電力分布（すなわち、電力スペクトル）を求める。レベル正規化部（２０２）では、小領域どうしの電力スペクトルの類似度を判別しやすいように、電力スペクトルのピーク（最大値）が一定となるように正規化する。一般的な画像では、直流成分の電力が他の周波数成分の電力よりも大きくなるので、すべての周波数成分の電力値を直流成分の電力値で割り算すればよい。また、特定の周波数成分（例えば直流成分）の電力値が他の周波数成分の電力値よりも突出して大きいことが原因で、小領域どうしの電力スペクトルの類似度の判別が困難になることを防ぐために、各周波数成分の電力値の対数（ｌｏｇ）を用いて電力スペクトルの類似度を判別してもよい。

図２における類似領域統合部（１０３）では、前述した周波数成分分布解析部（１０２）の結果をもとにして、類似した周波数成分分布を持った小領域どうしを１つの類似領域(クラスタ)に統合する。この類似領域統合部（１０３）として、例えば小領域ごとの電力スペクトル間の周波数ごとの相関値が、予め定めた閾値以下のときに類似領域としてもよい。また、一般に知られているクラスタリング技術（最短距離法、最長距離法、平均法、メジアン法、ｗａｒｄ法、ｋ−ｍｅａｎｓ法など）を用いて動的に閾値を求め、閾値以下のときに類似領域としてもよい。このとき、クラスタを形成する際に用いる距離として、例えば小領域ごとの電力スペクトル間の周波数ごとの相関値を用いてもよい。また、小領域の個数（ｍ）が増えると、相関を計算する際の組合せの数（ｍ（ｍ＋１）／２）が２乗のオーダーで増加するため、計算コストが非常に大きくなってしまう。そこで、計算コストを抑えるために処理を簡略化し、図２に示すように、平均値算出部（２０３）を用いてすべての周波数成分の電力値の平均値を小領域ごとに求め、この平均値の差を、クラスタを形成する際の距離としてもよい。このとき、例えば明確なエッジが多く存在する小領域、すなわち、ピントが比較的に合っている小領域では、直流成分から高周波成分までの全周波数帯で各成分の電力が比較的大きくなるため、直流成分の電力が一定値となるように正規化したあとの全周波数帯の電力値の平均値も比較的大きい値になる。一方、明確なエッジが少ない小領域、すなわち、ピントが比較的に合っていない小領域では、直流成分の電力に対して高周波成分の電力が比較的小さくなるため、直流成分の電力が一定値となるように正規化したあとの全周波数帯の電力値の平均値も比較的小さい値となる。

その後、前述のクラスタリング技術を実装したクラスタリング部（２０４）にて、平均値が類似している小領域に同一のクラスタＩＤ（２０６）を付与する。なお、クラスタ数ｎ（２０５）は、「２」（遠景と近景）や「３」（遠景と近景とその中間）などのように予め定めておいてクラスタリング部（２０４）に入力してもよいし、広く知られている一般的なクラスタリング技術（ｘ−ｍｅａｎｓ法など）を用いてクラスタ数ｎ（２０５）を自動的に決定してもよい。

図３を用いて、前述した塗りつぶし部（１０４）の動作を説明する。一例として、前述した遠くの船が写っている類似領域（１１１−１）に対応した領域だけを残し、他の領域（１１１−２）（１１１−ｎ）を所定値、例えば黒色（輝度値＝０）で塗りつぶした画像（１１２−１）を生成する場合の動作を示す。

塗りつぶす場合に、他の領域（１１１−２）（１１１−ｎ）を単純に黒色（輝度値＝０）で塗りつぶしてしまうと、領域どうしの境界（３０１）の輝度値（信号レベル）が急峻に変化し、強い電力を持った高周波成分が発生してしまうことになり、後段の画像回復部（１０５）におけるＰＳＦと潜在画像の分離が正しく行われなくなってしまう。

そこで、図３（ａ）に示すような、元の画像の信号レベルが境界（３０１）の付近で急峻に変化しないように、図３（ｂ）（ｃ）に示すような、位置とともに０．０と１．０の間を緩やかに変化する値を持った２個（１組）の信号（係数）を用い、境界（３０１）の左側では図３（ａ）の信号に図３（ｂ）の信号（係数）を乗じて図３（ｄ）の信号とし、これを後段の画像回復部（１０５−１）に入力する。一方、境界（３０１）の右側では図３（ａ）の信号に図３（ｃ）の信号（係数）を乗じて図３（ｅ）の信号とし、これを後段の画像回復部（１０５−２）に入力する。垂直方向の境界に対しても、同様の処理を行うことにより、水平方向・垂直方向ともに、境界の輝度値（信号レベル）が急峻に変化しないようにでき、後段の画像回復部におけるＰＳＦと潜在画像の分離を正しく行なうことができる。

以上のように、本実施例は、画像処理装置であって、入力画像をｍ（ただし、ｍは２以上の整数）個の第１領域に分割する領域分割部と、第1領域ごとに周波数成分分布を求める周波数成分分布解析部と、周波数成分分布どうしの類似度を算出し、類似度が所定値より高い第１領域を第２領域として結合する類似領域結合部と、第２領域ごとに該第２領域以外の領域を所定値で塗りつぶした画像を生成する塗りつぶし部と、塗りつぶし部で得た画像に前記第２領域ごとに画像回復処理を行う画像回復部と、画像回復部の結果を一枚の画像に合成して出力する画像合成部とで構成する。

これにより、分割された小領域ごとに潜在画像とＰＳＦとを分離するための画像回復処理（ＰＳＦ推定処理）が不要となり、ＰＳＦの推定が不安定になったり、計算の途中で発散したり、長い時間が必要になったりする課題を解決できるようになる。すなわち、観測画像内にボケ方が異なる複数の被写体が存在する場合でも、ボケの少ない潜在画像を安定して得ることができ、また比較的短時間で潜在画像が得られるようにするための画像処理装置および画像処理方法を実現できる。

本実施例は、実施例１の画像回復処理を応用した画像拡大処理システムについて説明する。

図４に、本実施例による画像処理システムの概略構成を示す。図４において、飛行機などの移動体（４０１）に、カメラ（４０４）、後述する画像処理部−１（４０５）、符号化部（４０６）、および図示しない無線送信部などを備えた送信部（４０３）を装備し、遠くの被写体（４０２−１）を望遠撮影した観測画像（４１３）を、下り回線（４１５）を介して地上の監視所（４０７）に無線伝送することを想定する。監視所（４０７）では、アンテナ（４０８）で受信した無線信号を、図示しない無線受信部を介して復号部（４０９）で画像を復号し、後述する画像処理部−２（４１０）を介して、表示部（４１１）にて監視対象の被写体（４０２−１）の拡大画像（４１４）を表示する。また、一般的なキーボードやマウス等のポインティングシステムによる操作部（４１２）を備え、画像処理部−２（４１０）や、上り回線（４１６）を介した画像処理部−１（４０５）に対して、後述するコマンドやパラメータを送ることができるものとする。

このとき、移動体（４０１）に搭載されたカメラ（４０４）で被写体を撮影すると、移動体（４０１）が画像撮影中に移動したり、移動体（４０１）の振動がカメラに伝搬したりすることなどによって、画像にブレが生じることが多い。また、撮影する際の俯角や仰角が水平に近い場合には、カメラ（４０４）で撮影された観測画像（４１３）に、監視したい対象の被写体（４０２−１）以外にも、カメラとの距離が異なる被写体（４０２−２）（４０２−３）が写り込んでしまうことがあり、これらのすべての被写体に対してレンズの焦点を同時に合わせることは困難なため、被写体ごとに異なるボケが生じることが多い。

画像処理部−１（４０５）あるいは画像処理部−２（４１０）では、カメラで撮影した観測画像の一部の領域あるいは全部の領域を拡大し、前述した画像回復処理によってボケの少ない画像を回復し、表示に用いる拡大画像を得るための画像処理を行う。これらの画像処理は、符号化する前の画像に対して画像処理部−１（４０５）だけで行ってもよいし、符号化および復号化した後の画像に対して画像処理部−２（４１０）だけで行ってもよいし、画像処理部−１（４０５）および画像処理部−２（４１０）の両方で分担して処理してもよい。

前述したように、画像回復には反復処理を伴うため、時系列で連続する画像（動画）をオンライン（すなわち、リアルタイム）で処理することは比較的困難である。したがって、処理対象の画像（観測画像）を図示しないストレージ（半導体メモリ、ハードディスクドライブ（磁気ディスク）、光ディスク、等）に格納しておき、その中から１枚（１フレーム）ずつの画像（静止画）を取り出して、オフラインで画像回復するような使い方が想定される。

このとき、符号化および復号化によって生じる画質劣化が少なければ、画像処理部−１（４０５）あるいは画像処理部−２（４１０）のうち、どちら側で画像回復処理を行ってもよい。

一方、図４に示す下り回線（４１５）の伝送帯域が狭い場合など、低いビットレートでしか画像を伝送できないような用途では、符号化および復号化による画質劣化が大きくなり、画像回復が困難になってしまう場合がある。このような場合には、カメラ（４０４）の直後に図示しないバッファメモリ（画像を一時的に格納しておくメモリ）を備え、このバッファメモリに格納された画像に対して、画像処理部−１（４０５）にて画像回復処理を行ってもよい。あるいは、通常の画像伝送モード（低画質）とは別に、高画質（低劣化）で画像を伝送する画像伝送モードを設け、画像回復を行うときには高画質（低劣化）で画像を伝送する画像伝送モードに変更するようにシステムを構成してもよい。

図５〜図７に、前述した画像処理部−１（４０５）あるいは画像処理部−２（４１０）の構成例を示す。

図５において、前述した画像処理部−１（４０５）あるいは画像処理部−２（４１０）では、端子（５０１）を介して観測画像（４１３）を入力し、画像拡大部（５０２）で画像を拡大したのちに、画像回復部（５０５）で前述した画像回復処理を行って、端子（５０６）を介して拡大画像（４１４）を出力する。また、端子（５０７）を介して入力されたコマンドおよびパラメータに基づき、画像拡大部（５０２）と画像回復部（５０５）を制御する。このコマンドは、画像拡大処理のオン（する）とオフ（しない）、画像回復処理のオン（する）とオフ（しない）を選択して各部（５０２）（５０５）に指示するための制御命令を含む。また、パラメータは、水平および垂直方向の拡大率（あるいは、対象領域と拡大画像の各画素数）や、画像拡大する対象領域（５０８）の座標を含む。水平および垂直方向の拡大率（あるいは、対象領域と拡大画像の各画素数）のパラメータは拡大率設定部（５０３）を介して、対象領域（５０８）の座標パラメータは対象領域設定部（５０４）を介して、それぞれ画像拡大部（５０２）に設定する。なお、画像拡大部（５０２）としては、一般的に知られているバイリニア拡大やバイキュービック拡大などのような、畳み込み演算を利用した線形フィルタ（ポリフェーズフィルタ）による画像拡大処理をそのまま用いることができるため、詳細な図示は省略する。また、画像回復部（５０５）として、前述した図１に示す構成や、後述する図８〜図１０に示す構成を、そのまま用いることができる。

周波数特性図（５０９）は、一例として、拡大率を４倍に設定したときの一般的な線形フィルタにおける周波数と利得の関係を示した図である。画像拡大部（５０２）に一般的な線形フィルタを用いると、直流（ｆ＝０）からナイキスト周波数（ｆ＝ｆＮ）までの通過帯域特性が理想特性（５１０）にはならず、実際のフィルタ特性（５１１）と理想特性（５１０）の差が減衰成分（５１２）となって、画像にボケが生じることが良く知られている。このため、画像回復部（５０５）を画像拡大部（５０２）の後段に配置することによって、画像の撮影過程で生じるレンズ焦点ボケやカメラブレと、画像拡大部（５０２）で生じた画像ボケを併せて、画像回復することができるようになる。

図６は、図５に示した構成における画像回復部（５０５）と画像拡大部（５０２）の処理順序を交換し、画像回復のあとで画像拡大を行うようにした構成である。画像拡大部（５０２）に一般的な線形フィルタを用いる場合、フィルタの通過帯域を広く設定することによって画像ボケの原因のひとつとなる図５に示した減衰成分（５１２）を減らしたり、拡大率を大きくしたりすると、ナイキスト周波数（ｆ_Ｎ）よりも高い周波数の成分が折返し成分（５１３）となり、画像の歪み（折返し歪み（エイリアシング））が増えることが良く知られている。このような折返し成分は、画像回復処理によって除去することができないだけでなく、画像回復処理の障害となって、画像回復の精度が低下してしまうことが多い。したがって、画像拡大処理に用いる線形フィルタの周波数特性を吟味し、折返し成分の電力が減衰成分の電力よりも大きくなるような画像拡大を行うときには、図６に示すように、画像回復を行ったあとで画像拡大を行ったほうが、画質劣化の少ない高画質の拡大画像が得られる。

図７に、図５と図６に示した各処理を統合し、画像回復部（５０５）の前に画像拡大−１（７０１）を備え、画像回復部（５０５）の後に画像拡大−２（７０２）を備えた構成を示す。前述のように、画像回復部（５０５）より前段の画像拡大−１（７０１）で生じた画像ボケは、画像回復部（５０５）で回復できる可能性がある一方で、画像拡大−１（７０１）で生じた折返し歪みは画像回復の障害となることもある。そこで、所望の拡大率（ｚ）を行うためには、画像拡大−１（７０１）では画像回復の障害とならない範囲の拡大率（ｚ１）で拡大し、画像回復部（５０５）で画像回復を行ったのちに、画像拡大部−２（７０２）で残りの拡大率（ｚ２＝ｚ／ｚ１）の拡大を行えばよい。具体的には、前述のように、画像拡大−１（７０１）に用いる線形フィルタの周波数特性を吟味し、折返し成分の電力が減衰成分の電力よりも小さくなるような固定倍率（ｚ１、例えば１倍（等倍）、１．５倍、２倍、など）の画像拡大−１（７０１）を事前に設計して用意しておき、端子（５０７）を介して入力されたコマンドおよびパラメータに基づいて、拡大率設定部（７０３）にて所望の拡大率（ｚ）を超えない最大の固定倍率（ｚ１）を選択して、画像拡大部−１（７０１）に設定する。また、拡大率設定部（７０４）にて残りの拡大率（ｚ２＝ｚ／ｚ１）を計算し、画像拡大部−２（７０２）に設定することによって、所望の拡大率で拡大された高画質の拡大画像が得られるようになる。

なお、画像にブレが多く発生する場合の一例として移動体（例えば、有人の飛行機、自動操縦あるいは遠隔地からリモートで手動操縦される無人の飛行機、船、自動車、など）を挙げたが、本実施例の応用例はこれに限定されるわけではない。例えば、強風を受ける場所に設置された固定カメラ、長い棒の先に取り付けられたカメラ、手持ちのカメラなどによって撮影された画像にはブレが多く発生するため、本実施例による画像処理システムの好適な例となりうる。

前述した符号化部（４０６）、復号化部（４０９）については、一般に知られているＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４、ＶＣ−１、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）、Ｍｏｔｉｏｎ ＪＰＥＧ、ＪＰＥＧ−２０００などの標準規格化された符号化および復号化を行ってもよいし、非標準の符号化および復号化を行ってもよい。これらは、一般的な公知技術によって容易に実現可能なため、図示は省略する。

以上のように、本実施例は、実施例１に記載の画像処理装置を用いた画像処理システムであって、撮影した画像の画素数を増加して第１の画像サイズに拡大する第１の画像拡大部と、該第1の画像拡大部の出力を実施例１に記載の画像処理装置に入力して画像回復処理を行い、該画像処理装置の出力画像の画素数を増加して第２の画像サイズに拡大して出力する第２の画像拡大部とで構成する。

また、第１の画像拡大部によって生じる折返し歪み成分の電力が第１の画像拡大部によって減衰する信号成分の電力以下になるように第１の画像サイズを制御する拡大率設定部を有する構成とする。

これにより、画像拡大と画像回復を高画質で適切に行う画像処理システムを構成できる。

本実施例は、撮影距離の違いを近似した画像回復処理について説明する。

実施例２で図４を用いて説明したような望遠撮影では、画像の上部には概ね遠景が、画像の下部には概ね近景が写る。したがって、画像を横長の短冊状に分割すると、その短冊内では、カメラからの距離が概ね等しい被写体が写っており、ＰＳＦも略同一であると考えられる。

そこで、本実施例では、図８に示すように、観測画像（８０１）を横長の短冊状に分割して画像小領域（８０２）とし、この小領域の中ではＰＳＦは一定であるとみなして、小領域ごとに用意した画像回復部（８０４）（８０５）（８０６）（８０７）（８０８）（８０９）によって各領域を画像回復し、合成部（８１０）によって１枚の画像を合成して、潜在画像（８１１）を出力する。図８では、一例として、垂直方向に６個の画像小領域に分割した場合の構成について示しているが、この分割数（６）に限定されるわけではなく、分割数を柔軟に増減してもよいことは明らかである。

この処理は、図１に示した構成における周波数分布解析部（１０２）と類似領域統合部（１０３）を省略し、観測画像の垂直座標に基づいて類似領域を作成する構成であり、処理が簡略化されることによって、処理に必要な時間を短縮できる効果がある。

さらに、図１に示した構成では、画像回復（１０５−１）（１０５−２）（１０５−ｎ）で処理する画像（１１２−１）（１１２−２）（１１２−ｎ）のトータルの画素数が、観測画像（１０７）の画素数のｎ倍になってしまうため、観測画像（１０７）をそのまま画像回復する処理と比べて、画像回復に必要な処理時間もほぼｎ倍になってしまう。一方、図８に示す構成では、画像回復部（８０４）（８０５）（８０６）（８０７）（８０８）（８０９） で処理する画像のトータルの画素数は、観測画像（１０７）の画素数とほぼ等しくなるため、図１に示した構成よりも処理時間を大幅（約１／ｎ）に短縮できる。

なお、画像回復部（８０４）（８０５）（８０６）（８０７）（８０８）（８０９）として、前述した、観測画像からＰＳＦと潜在画像の両方を推定するＢｌｉｎｄ法による反復処理をそのまま用いることができる。

また、図８における小領域（８０２）どうしの境界部分は、図３に示したような緩やかに変化する値を持った２個（１組）の信号（図３（ｂ）（ｃ））を乗じることにより、合成部（８１０）において境界部分を目立たないように合成することができる。

以上のように、本実施例は、画像処理装置であって、入力画像をｍ（ただし、ｍは２以上の整数）個の横長の領域に分割する領域分割部と、横長の領域ごとに画像回復処理を行う画像回復部と、画像回復部の結果を一枚の画像に合成して出力する画像合成部とで構成する。

また、画像処理方法であって、画像を入力するステップと、画像を複数個の横長の領域に分割するステップと、横長の領域ごとに画像回復処理を行うステップと、画像回復処理を行うステップの結果を一枚の画像に合成して出力するステップとで構成する。
これにより、観測画像の垂直座標に基づいて類似領域を簡略的に作成することにより、画像全体の画像回復を短時間で行う画像処理装置及び画像処理方法を構成できる。

本実施例は、撮影距離の違いを近似し、さらに処理時間を短縮した画像回復処理について説明する。

図９は、本実施例における画像回復処理の構成であって、図８に示した画像回復処理をベースとして、さらに処理時間を短縮できる。前述のように、画像の上部には概ね遠景が、画像の下部には概ね近景が写るため、画像を横長の短冊状に分割すると、カメラからの距離が概ね等しい被写体が写っていると考えられる。このとき、最上部と最下部の間の領域（中間部）の画像のボケ方は、最上部の画像のボケ方と、最下部の画像のボケ方の、中間的なボケ方になるとみなすことによって、処理時間の短縮を図ることができる。なお、図９では、一例として、垂直方向に６個の画像小領域に分割した場合の構成について示しているが、この分割数（６）に限定されるわけではなく、分割数を柔軟に増減してもよいことは明らかである。

図９に示すように、観測画像（８０１）を横長の短冊状に分割して画像小領域（８０２）とし、この小領域の中ではＰＳＦは一定であるとみなす。続いて、画像の最上部と最下部の各小領域については、前述したＢｌｉｎｄ法による反復処理により画像回復部（８０４）（８０９）で、潜在画像とＰＳＦ（ＰＳＦ−１およびＰＳＦ−６）を求める。

一方、画像の中間部については、Ｂｌｉｎｄ法による反復処理を行うのではなく、後述するＰＳＦ補間部（１００２）により、先ほど求めた最上部のＰＳＦ（ＰＳＦ−１）と最下部のＰＳＦ（ＰＳＦ−６）から補間ＰＳＦを生成する。すなわち、画像の中間部については反復処理を行わないようにすることにより、画像全体の処理時間の短縮を図ることができる。

その後、後述するＰＳＦ補間部（１００２）で生成した補間ＰＳＦと観測画像を用いて、図９に示した最終の推定部（９０８）にて最終的な潜在画像を推定し、先ほど求めた最上部の潜在画像と最下部の潜在画像を合成部（８１０）で併せることにより、全体の潜在画像（１００７）を生成する。

図１０に、前述したＰＳＦ補間部（１００２）の構成例を示す。このＰＳＦ補間部（１００２）では、入力された画像最上部のＰＳＦ（ＰＳＦ−１）と画像最下部（ＰＳＦ−６）から各画像小領域に対応した補間ＰＳＦ（ＰＳＦ−２〜ＰＳＦ−５）を生成するために、各画像小領域に対応した加重加算部（１１０１−２〜１１０１−５）を用いる。加重加算部（１１０１−２）は、乗算器（１１０２）（１１０３）と係数演算器（１１０４）と加算器（１１０５）から構成される。ここで、加重加算部（１１０１−２）に対して後述する係数ｋ２（１１０６−２）を設定し、係数演算器（１１０４）により係数ｋ２を１．０から減じて生成した係数（１−ｋ２）とＰＳＦ−１とを乗算器（１１０２）にて乗算した結果と、係数ｋ２（１１０６−２）とＰＳＦ−６とを乗算器（１１０３）にて乗算した結果とを、加算器（１１０５）にて加算することによって、補間ＰＳＦ（ＰＳＦ−２）を得る。

すなわち、ＰＳＦ−１とＰＳＦ−６を係数ｋ２に応じて加重加算して補間ＰＳＦ（ＰＳＦ−２）を得る。他の画像小領域についても、加重加算部（１１０１−２）と同一構成の加重加算部（１１０１−３）（１１０１−４）（１１０１−５）を用いて、ＰＳＦ−１とＰＳＦ−６をそれぞれの係数ｋ３（１１０６−３）、係数ｋ４（１１０６−４）、係数ｋ５（１１０６−５） に応じて加重加算し、補間ＰＳＦ（ＰＳＦ−３〜ＰＳＦ−５）を得る。

ここで、各係数ｋ２（１１０６−２）〜ｋ５（１１０６−５）は、各画像小領域の重心の垂直座標に応じて、最上部の小領域の重心の垂直座標を０．０（基準）とし、最下部の小領域の重心の垂直座標を１．０としたときの内分比とする。例えば、図９に示した一例のように、観測画像を垂直方向に６個の小領域に分割し、各小領域の垂直画素数をすべて同じ値に設定した場合には、係数ｋ２＝０．２（＝１／（６−１））、係数ｋ３＝０．４（＝２／（６−１））、係数ｋ４＝０．６（＝３／（６−１））、係数ｋ４＝０．８（＝４／（６−１））とすればよい。

以上のように、本実施例は、画像処理装置であって、入力画像を、画像最上部の横長の第１領域と、画像最下部の横長の第２領域と、第１領域と第２領域との間の画像中央部をｍ（ただし、ｍは１以上の整数）個の横長の第３領域とに分割する領域分割部と、第１領域に対して画像回復処理を行う第１の画像回復部と、第２領域に対して画像回復処理を行う第２の画像回復部と、第1の画像回復部から出力される第１の点広がり関数（ＰＳＦ）と、第２の画像回復部から出力される第２の点広がり関数とを用いて第３の点広がり関数を求める点広がり関数補間部と、第３領域に対して第３の点広がり関数を用いて画像回復処理を行う第３の画像回復部と、第１、第２、第３の画像回復部の結果を一枚の画像に合成して出力する画像合成部とで構成する。

また、画像処理方法であって、画像を入力するステップと、画像を、画像最上部の横長の第１領域と、画像最下部の横長の第２領域と、第１領域と第２領域との間の画像中央部をｍ（ただし、ｍは１以上の整数）個の横長の第３領域とに分割するステップと、第１領域に対して画像回復処理を行うステップと、第２領域に対して画像回復処理を行うステップと、第1領域に対して画像回復処理を行うステップから出力される第１の点広がり関数（ＰＳＦ）と、第２領域に対して画像回復処理を行うステップから出力される第２の点広がり関数とを用いて第３の点広がり関数を求めるステップと、第３領域に対して第３の点広がり関数を用いて画像回復処理を行うステップと、第１、第２、第３領域に対して画像回復処理を行った結果を一枚の画像に合成して出力するステップとで構成する。

これにより、観測画像の垂直座標に基づいて類似領域を簡略的に作成することに加え、画像の最上部と最下部を除く中間部の反復処理を省略することにより、画像全体の画像回復をさらに短時間で行う画像処理装置及び画像処理方法を構成できる。

本実施例は、画像回復処理の手順について説明する。前述の課題を解決するために、本実施例では、以下に述べるような手順を有する画像回復処理とする。

図１１は、本実施例による画像回復処理の手順の一例を示すフローチャートであり、図１に示した画像処理装置の構成における各部の動作を、各手順を示す処理ステップに対応させたものである。図１１において、ステップ（１２０１）から画像回復処理を開始し、ステップ（１２０２）にて処理対象の画像（観測画像）を入力し、ステップ（１２０３）にて観測画像をｍ個の小領域に分割する。続いて、ステップ（１２０４）にて小領域ごとに周波数分布解析を行い、ステップ（１２０５）にて周波数分布解析の結果が類似した小領域どうしを統合してｎ個の類似領域を作成する。

ステップ（１２０６）で、類似領域ごとに類似領域以外の領域を所定値、例えば黒色（輝度値＝０）で塗りつぶした画像を生成する。ステップ（１２０７）にて、塗りつぶされた画像に対して、ｎ個の類似領域のそれぞれで一般的な画像回復処理を行い、ステップ（１２０８）にてｎ個の画像を１枚の潜在画像に合成し、ステップ（１２０９）にて画像（潜在画像）を出力し、ステップ（１２１０）にて画像回復処理を終了する。ここで述べた各ステップの詳細な動作については、前述した図１〜図３を用いて説明した各部の動作と同一なので、説明を省略する。

以上のように、本実施例は、画像処理方法であって、画像を入力するステップと、画像を複数の第１領域に分割し、第１領域ごとの周波数成分分布を求めるステップと、周波数成分分布どうしの類似度を算出し、類似度が所定値より高い第１領域を第２領域として統合するステップと、第２領域ごとに該第２領域以外の領域を所定値で塗りつぶした画像を生成するステップと、塗りつぶした画像を生成するステップで得た画像に第２領域ごとに画像回復処理を行うステップと、画像回復処理を行うステップの結果を一枚の画像に合成して出力するステップとで構成する。

以上述べたような手順を用いることにより、分割された小領域ごとに潜在画像とＰＳＦとを分離するための画像回復処理（ＰＳＦ推定処理）の手順が不要となり、ＰＳＦの推定が不安定になったり、計算の途中で発散したり、長い時間が必要になったりする課題を解決できるようになる。

なお、実施例２の図５〜図７を用いて説明した画像処理装置、実施例３の図８を用いて説明した画像処理装置、実施例４の図９、図１０を用いて説明した画像処理装置についても同様に、各構成における各部の動作を処理ステップに容易に対応させることができるため、各手順を示す処理ステップの図示および説明を省略する。

以上、本発明の実施例を説明したが、上記実施例は、その機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をシステム或は装置に提供し、そのシステム或は装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。

また、プログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した実施例の機能が実現されるようにしてもよい。さらに、記憶媒体から読み出されたプログラムコードが、コンピュータ上のメモリに書きこまれた後、そのプログラムコードの指示に基づき、コンピュータのＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した実施例の機能が実現されるようにしてもよい。

さらに、実施例の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することにより、それをシステム又は装置のハードディスクやメモリ等の記憶回路又はＣＤ−ＲＷ、ＣＤ−Ｒ等の記憶媒体に格納し、使用時にそのシステム又は装置のコンピュータ（又はＣＰＵやＭＰＵ）が当該記憶回路や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしても良い。なお、記述したソフトウェアは、アセンブラ、Ｃ／Ｃ＋＋、ｐｅｒｌ、Ｓｈｅｌｌ、ＰＨＰ、Ｊａｖａ（登録商標）等の広範囲のプログラム又はスクリプト言語で実現できる。

また、上記実施例は、その機能を実現するために、ハードウェア、ソフトウェア、及びファームウエアを組み合わせてもよい。

さらに、上記実施例は、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。

また、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。また、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

１０１・・・領域分割部
１０２・・・周波数成分分布解析部
１０３・・・類似領域統合部
１０４・・・塗りつぶし部
１０５・・・画像回復部
１０６・・・合成部
１０７・・・入力画像（観測画像）
１１０・・・小領域画像ごとの周波数成分分布
１１２・・・周波数成分分布が類似した小領域以外を塗りつぶした画像
１１３・・・出力画像（潜在画像）

Claims (5)

1. 入力画像をｍ（ただし、ｍは２以上の整数）個の第１領域に分割する領域分割部と、
   前記第1領域ごとに周波数成分分布を求める周波数成分分布解析部と、
   前記周波数成分分布どうしの類似度を算出し、前記類似度が所定値より高い前記第１領域を第２領域として結合する類似領域結合部と、
   前記第２領域ごとに該第２領域以外の領域を所定値で塗りつぶした画像を生成する塗りつぶし部と、
   前記塗りつぶし部で得た画像に前記第２領域ごとに画像回復処理を行う画像回復部と、
   前記画像回復部の結果を一枚の画像に合成して出力する画像合成部と、を有することを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置を用いた画像処理システムであって、
   撮影した画像の画素数を増加して第１の画像サイズに拡大する第１の画像拡大部と、該第１の画像拡大部の出力を前記画像処理装置に入力して画像回復処理を行い、前記画像処理装置の出力画像の画素数を増加して第２の画像サイズに拡大して出力する第２の画像拡大部と、を有することを特徴とする画像処理システム。
3. 請求項２記載の画像処理システムであって、
   前記第１の画像拡大部によって生じる折返し歪み成分の電力が第１の画像拡大部によって減衰する信号成分の電力以下になるように第１の画像サイズを制御する拡大率設定部を有することを特徴とする画像処理システム。
4. 入力画像をｍ（ただし、ｍは２以上の整数）個の横長の領域に分割する領域分割部と、
   前記横長の領域ごとに画像回復処理を行う画像回復部と、
   前記画像回復部の結果を一枚の画像に合成して出力する画像合成部と、を有することを特徴とする画像処理装置。
5. 画像を入力するステップと、
   前記画像を、画像最上部の横長の第１領域と、画像最下部の横長の第２領域と、前記第１領域と第２領域との間の画像中央部をｍ（ただし、ｍは１以上の整数）個の横長の第３領域とに分割するステップと、
   前記第１領域に対して画像回復処理を行うステップと、
   前記第２領域に対して画像回復処理を行うステップと、
   前記第1領域に対して画像回復処理を行うステップから出力される第１の点広がり関数（ＰＳＦ）と、前記第２領域に対して画像回復処理を行うステップから出力される第２の点広がり関数とを用いて第３の点広がり関数を求めるステップと、
   前記第３領域に対して前記第３の点広がり関数を用いて画像回復処理を行うステップと、
   前記第１、第２、第３領域に対して画像回復処理を行った結果を一枚の画像に合成して出力するステップと、
   を有することを特徴とする画像処理方法。

Images