JP5207250B2 - 画像処理装置、撮像装置及び画像処理プログラム - Google Patents

Description

本発明は、入力された観測対象の像が多重になっている重像画像に含まれる重像を形成する像間の変形量を計測する画像処理装置及びそれを用いた撮像装置、並びに、コンピュータにそのような画像処理装置の手順を実行させる画像処理プログラムに関する。

ここで、本明細書中において、「重像画像」とは、図５に示すように、観測対象がある変位を持って多重に撮像されている画像全般を表し、重像画像に含まれる重像を形成する各像間は、ある変形量を持って対応している。本明細書中では、各像間の変形の方向を「像間の変形方向」、変形の量を「像間の変形量」と称している。

なお、ここでいう「重像画像」は、具体的には、撮像装置により積極的に撮像された重像画像だけではなく、期せずして観測対象がある変位を持って取得された画像であればどの様な形態の画像でも構わないものとする。その様な重像画像の例としては、例えばテレビジョンシステムにおける、電波受信に問題があった場合のテレビジョン映像等が該当する。

また、「多重」とは、少なくとも一部が重なっている状態を意味する。

さらに、「復元画像」とは、重像画像内に多重に映り込んだ像が、多重ではない状態、すなわち一重になった状態の画像を表す。

重像画像に含まれる重像を形成する多重像の像間の変形量を計測する方法として、自己相関関数を用いた手法が存在する。例えば、特許文献１では、ビデオカメラにおける撮像素子からの画像情報に基づく測距法として、自己相関関数による像間の変形量計測が行われている。
特開平７−１３５５９７号公報

しかしながら、上記特許文献１に開示されているような、重像画像に含まれる重像を形成する多重像の像間の変形量を自己相関関数を用いて計測する方法では、像間の変形量の計測精度が悪いことがあった。例えば、自己相関による計測法では、第１ピークを除く最大のピーク（第２ピーク）位置に対応する値を求めることで重像を形成する像間の変形量を求めることが可能であるが、実際には自己相関関数の第１ピークの山内に第２ピークが埋もれてしまい、像間の変形量の計測が難しい場合があった。

本発明は、上記の点に鑑みてなされたもので、重像画像に含まれる重像を形成する像間の変形量の計測をより高精度に行うことが可能な画像処理装置、撮像装置及び画像処理プログラムを提供することを目的とする。

本発明の画像処理装置の一態様は、
画像の入力処理を行う画像入力手段と、
上記画像入力手段により入力された観測対象の像が多重化されている重像画像に含まれる多重化された重像を形成する像間の変形量を設定する像間変形量設定手段と、
上記像間変形量設定手段で設定された変形量を用い、上記重像画像の復元画像を推定する復元手段と、
上記復元画像から信号の強度の変動量を評価値として算出する評価値算出手段と、
上記像間変形量設定手段で設定された像間の変形量を変化させながら、上記像間変形量設定手段、上記復元手段及び上記評価値算出手段の３つの手段の処理を繰り返し、算出された複数の評価値に基づいて上記画像入力手段で入力された重像画像に含まれる重像を形成する像間の変形量を決定する像間変形量決定手段と、
を有することを特徴とする。

また、本発明の画像処理装置の別の態様は、
画像の入力処理を行う画像入力手段と、
上記画像入力手段により入力された観測対象の像が多重化されている重像画像に含まれる多重化された重像を形成する像間の変形量を複数設定する像間変形量設定手段と、
上記像間変形量設定手段で設定された複数の変形量を用い、上記重像画像の復元画像を複数推定する復元手段と、
上記複数の復元画像から信号の強度の変動量を評価値として複数算出する評価値算出手段と、
上記複数の評価値に基づいて上記画像入力手段で入力された重像画像に含まれる重像を形成する像間の変形量を決定する像間変形量決定手段と、
を有することを特徴とする。

本発明の撮像装置の一態様は、
被写体の光束を結像する撮影光学系と、
上記撮影光学系内において像を多重に結像させる多重像結像手段と、
上記撮影光学系からの光を電気信号に変換する光電変換手段と、
上記光電変換手段で変換された電気信号から画像信号を生成する画像信号生成手段と、
上記撮影光学系、上記多重像結像手段、上記光電変換手段及び上記画像信号生成手段により生成された、少なくとも２つ以上の像が多重化されている重像画像に含まれる多重化された重像を形成する像間の変形量を推定する像間変形量設定手段と、
上記像間変形量設定手段で設定された変形量を用い、上記重像画像の復元画像を推定する復元手段と、
上記復元画像から信号の強度の変動量を評価値として算出する評価値算出手段と、
上記像間変形量設定手段で設定された像間の変形量を変化させながら、上記像間変形量設定手段、上記復元手段及び上記評価値算出手段の３つの手段の処理を繰り返し、算出された複数の評価値に基づいて、上記生成された重像画像に含まれる重像を形成する像間の変形量を決定する像間変形量決定手段と、
を有することを特徴とする。

また、本発明の撮像装置の別の態様は、
被写体の光束を結像する撮影光学系と、
上記撮影光学系内において像を多重に結像させる多重像結像手段と、
上記撮影光学系からの光を電気信号に変換する光電変換手段と、
上記光電変換手段で変換された電気信号から画像信号を生成する画像信号生成手段と、
上記撮影光学系、上記多重像結像手段、上記光電変換手段及び上記画像信号生成手段により生成された、少なくとも２つ以上の像が多重化されている重像画像に含まれる多重化された重像を形成する像間の変形量を複数設定する像間変形量設定手段と、
上記像間変形量設定手段で設定された複数の変形量を用い、上記重像画像の復元画像を複数推定する復元手段と、
上記複数の復元画像から信号の強度の変動量を評価値として複数算出する評価値算出手段と、
上記複数の評価値に基づいて、上記生成された重像画像に含まれる重像を形成する像間の変形量を決定する像間変形量決定手段と、
を有することを特徴とする。

本発明の画像処理プログラムの一態様は、
画像の入力処理を行う画像入力ステップと、
上記画像入力ステップにより入力された観測対象の像が多重化されている重像画像に含まれる多重化された重像を形成する像間の変形量を設定する像間変形量設定ステップと、
上記像間変形量設定ステップで設定された変形量を用い、上記重像画像の復元画像を推定する復元ステップと、
上記復元画像から信号の強度の変動量を評価値として算出する評価値算出ステップと、
上記像間変形量設定ステップで設定された像間の変形量を変化させながら、上記像間変形量設定ステップ、上記復元手段及び上記評価値算出ステップの３つのステップの処理を繰り返し行い、
上記繰り返しの結果として算出された複数の評価値に基づいて上記画像入力ステップで入力された重像画像に含まれる重像を形成する像間の変形量を決定する像間変形量決定ステップと、
をコンピュータに発揮させることを特徴とする。

また、本発明の画像処理プログラムの別の態様は、
画像の入力処理を行う画像入力ステップと、
上記画像入力ステップにより入力された観測対象の像が多重化されている重像画像に含まれる多重化された重像を形成する像間の変形量を複数設定する像間変形量設定ステップと、
上記像間変形量設定ステップで設定された複数の変形量を用い、上記重像画像の復元画像を複数推定する復元ステップと、
上記複数の復元画像から信号の強度の変動量を評価値として複数算出する評価値算出ステップと、
上記複数の評価値に基づいて上記画像入力ステップで入力された重像画像に含まれる重像を形成する像間の変形量を決定する像間変形量決定ステップと、
をコンピュータに発揮させることを特徴とする。

本発明によれば、復元画像を用いた新規な像間変形量計測法を用いることにより、重像画像に含まれる重像を形成する像間の変形量を高精度に計測することが可能な画像処理装置、撮像装置及び画像処理プログラムを提供することができる。

以下、本発明を実施するための最良の形態を図面を参照して説明する。

［第１実施形態］
図１は、本発明の第１実施形態に係る画像処理装置１０の構成を示す図であり、該画像処理装置１０は、入力部１１、記録部１２、像間変形方向算出・記憶部１３、像間強度比設定部１４、像間変形量設定部１５、復元部１６、像間変形量決定部１７、復元画像出力部１８、出力部１９、制御部２０及び外部Ｉ／Ｆ部２１から構成されている。

ここで、入力部１１は、記録部１２に接続されている。記録部１２は、像間変形方向算出・記憶部１３、像間強度比設定部１４、復元部１６及び出力部１９に接続されている。像間変形方向算出・記憶部１３は、像間変形量設定部１５に接続されている。像間強度比設定部１４は、復元部１６に接続されている。像間変形量設定部１５は、復元部１６に接続されている。復元部１６は、像間変形量決定部１７及び復元画像出力部１８に接続されている。像間変形量決定部１７は、記録部１２に接続されている。復元画像出力部１８は、記録部１２に接続されている。制御部２０は、制御信号線により、入力部１１、記録部１２、像間変形方向算出・記憶部１３、像間強度比設定部１４、像間変形量設定部１５、復元部１６、像間変形量決定部１７、復元画像出力部１８及び外部Ｉ／Ｆ部２１と双方向に接続されている。

次に、本実施形態の作用を説明する。

入力部１１は、画像の入力処理を行う画像入力手段であり、該入力部１１より、図５に示すような、観測対象の像が多重化されている重像画像が入力されると、記録部１２に記録される。

像間変形方向算出・記憶部１３、像間強度比設定部１４、像間変形量設定部１５、復元部１６、像間変形量決定部１７及び復元画像出力部１８は、上記記録部１２に記録された重像画像について、制御部２０による当該重像画像に存在する重像を形成する像間の変形量計測を開始する指示信号により、重像を形成する像間の変形量の計測を開始する。この、制御部２０からの指示信号は、外部Ｉ／Ｆ部２１においてユーザが直接信号を発生させるように操作させ発生させても良いし、記録部１２に記録された時点で制御部２０が自動的に信号を発生させても良い。

重像を形成する像間の変形量計測が開始されると、像間変形量設定部１５では、重像を形成する像間の変形量示す仮の変形量を複数設定する。

ここで、像間変形量設定部１５で設定される重像を形成する像間の変形量は任意の設定値を取ることができるが、より効率的な変形量設定の方法として、予め重像を形成する像間の変形方向を取得しておき、その方向に沿った変形量のみを設定するという形態をとっても構わないものとする。例えば、重像画像を取得する撮像装置が予め特定されており、その撮像装置の光学系では重像を形成する像間の変形方向がどちらの方向であるのかが一意に決まるような場合がある。この場合の重像を形成する像間の変形方向は、予め自己相関演算等の何らかの方法で取得しておき、像間変形方向記憶手段としての像間変形方向算出・記憶部１３に記憶しておいたものを用いる。これにより、像間の変形方向を算出する必要が無く、また、設定する変形量の数も少なくすることができるので、より高速に測定結果が得られる。

また、そのように予め像間変形方向算出・記憶部１３に記憶しておく代わりに、重像画像の付加情報として画像のヘッダ等、画像の情報が記述可能な領域に、重像を形成する像間の変形方向を記載しておき、それを像間変形方向算出・記憶部１３で読み取って重像を形成する像間の変形方向として利用するという構成をとっても良い。あるいは、像間変形方向算出・記憶部１３では、重像を形成する像間の変形方向を算出する重像変形方向算出手段の機能を備え、その場で自己相関演算等の何らかの方法で像間の変形方向を取得し、その方向を像間の変形方向として利用するという構成をとっても良い。このようにすることで、像間の変形方向が未知の重像画像についても計測が可能となる。

像間強度比設定手段である像間強度比設定部１４は、重像画像に含まれる重像を形成する像間の信号の強度比を設定する。この像間強度比設定部１４で設定される像間の信号の強度比は、任意の設定値を取ることができる。

この像間強度比設定部１４で設定する重像を形成する像間の信号の強度比は、通常、一つの値であり、重像画像に特有の像間の信号の強度比を設定すれば良い。この値は、予め像間強度比設定部１４において保持しておいても良いし、重像画像の付加情報として画像のヘッダ等画像の情報が記述可能な領域に像間の信号の強度比を記載しておき、それを像間強度比設定部１４で読み取り、像間の信号の強度比として利用するという構成をとっても良いし、外部Ｉ／Ｆ部２１を介してユーザが直接像間の信号の強度比を設定するという構成をとっても良い。

また、像間の信号の強度比が未知である場合や、既知であるが誤差を含みより正しい信号の強度比を求めたい場合などは、像間強度比設定部１４において像間の信号の強度比を複数設定し、その複数設定された信号の強度比毎に復元部１６において復元処理を行って復元画像を作成し、それらの復元画像を用いて像間変形量決定部１７において評価値を算出し、その算出された評価値に基づき一つの信号の強度比を求めるという構成をとっても構わない。

なお、本実施形態に係る画像処理装置１０は本来、重像を形成する像間の変形量を求めるものであるが、重像を形成する像間の変形量が既知であり、像間の信号の強度比が未知の場合は、像間変形量設定部１５の設定値を一つにし、像間強度比設定部１４の設定を複数個にすることで、重像画像に含まれる重像を形成する像間の信号の強度比を求める画像処理装置とすることが出来る。

次に、記録部１２に記録された処理対象となる重像画像が、復元部１６へ送信される。また、像間変形量設定部１５で設定された複数（又は１つ）の重像を形成する像間の変形量のうち一つが、復元部１６へ送信される。さらに、像間強度比設定部１４で設定された１つ又は複数の重像を形成する像間の信号の強度比のうち一つが、復元部１６へ送信される。復元部１６では、これら送信されてきた重像画像、像間の変形量及び像間の信号の強度比を用いて重像画像の復元画像を推定する復元処理が行われる。

この復元部１６における復元処理は、以下の様に行われる。
まず、ここでは、復元の対象となる重像画像が２重像の場合の説明を行う。復元処理を行う為の式は以下の（１）式のようになる。

ここで、ｇは２重像画像、ｘは画像座標、ｆは復元画像、ｐは像間変形量設定部１５から送信された重像を形成する像間の変形量、Ａ（ｐ）は重像を形成する像間の変形量ｐで画像を変形する為の行列、γは像間強度比設定部１４から送信された像間の信号強度の減衰量（像間強度比設定部１４で設定される像間の信号の強度比はこの減衰量γである）、βは像の明るさを正規化させる正規化変数である。ｎは復元処理の精度を制御する変数である。

重像を形成する像間の変形量ｐは、平行移動の他、回転移動、アフィン変形、射影変換等、任意の変形パラメータを利用することが出来る。

また、正規化変数βは任意の値を取ることも可能だが、減衰量γに応じて決定される変数とし、例えばβ＝１／（１＋γ）としても良い。

次に、より一般的な、重像画像がＮ重像（Ｎ≧２）の場合の説明を行う。この場合、復元処理の為の式は、以下の（２）式のようになる。

ここで、ｇはＮ重像画像、ｆは復元画像、ｐは像間変形量設定部１５から送信された重像を形成する像間の変形量、Ａ（ｐ）は重像を形成する像間の変形量ｐで画像を変形する為の行列、γは像間強度比設定部１４から送信された重像を形成する像間の信号強度の減衰量、βは像の明るさを正規化させる正規化変数である。ｎは復元処理の精度を制御する変数である。なお、正規化変数βは任意の値をとることも可能だが、次式のようにしても良い。

ここで、Ｉは単位行列であり、変形を行わない変形（重像を形成する像間の変形量が０の場合の変形）という位置づけとし、変形の一種としている。

また、重像画像内に含まれる重像が無限個である（即ちＮ＝∞の無限重像）と想定した場合の、復元処理の為の式は、以下の（３）式のようになる。

無限重像を復元する上記（３）式は、非常に簡便な式となっているため、場合によっては重像画像の種類によらずこの（３）式を用いても良い。

なお、上記（１）乃至（３）式にそれぞれ性質の異なる重像画像の復元式を表したが、実際はこれらを用いて入力部１１より入力される重像画像の種類により適切に復元処理の形態を変えても良い。

以下、上記（１）式として示した２重像画像に対する復元式を用いて説明を行う。

なお、例えば３重像画像において、第１の像と第２の像との減衰率の関係が、第２の像と第３の像との減衰率の関係と異なる場合は、そのそれぞれを用いて復元処理を行うといったことも可能である。即ち、減衰量γは任意の値をとり得る。よって、正規化変数βは通常、減衰量γが特定された時点で上式の関係より値を特定する。

また、上記（１）乃至（３）式における重像を形成する像間の変形量ｐは、重像画像の場所ごとに異なることがあるが、その場合は、画像の部分領域毎に処理を行うことで、部分領域毎に重像を形成する像間の変形量を求めることとする。

上記（１）式を用いて、重像画像の復元処理を行う復元部１６の詳細な構成は、図２の様になる。即ち、この場合、復元部１６は、画像変形部１６Ａと信号処理部１６Ｂとから構成されることとなる。

以下、図２の処理の流れについて説明を行う。

復元部１６には、記録部１２からの重像画像ｇ、像間強度比設定部１４からの像間の信号の強度比（減衰量γ）、及び像間変形量設定部１５からの像間の変形量ｐが入力される。入力された重像画像ｇ及び像間の変形量ｐは、画像変形部１６Ａに送信される。像間の信号の強度比（減衰量γ）は、信号処理部１６Ｂに送信される。

画像変形手段である画像変形部１６Ａにおいて、入力された重像画像ｇは、入力された像間の変形量ｐを用いて幾何学的な画像の変形が行われる。例えば、２重像の場合（Ｎ＝２）に、復元処理の精度をｎ＝５とした場合は、
Ｉ，Ａ（ｐ），Ａ^２（ｐ），Ａ^３（ｐ），Ａ^４（ｐ） …（４）
の５つの変形量により重像画像の変形処理を行う。

ここで、Ｉは単位行列であり、変形を行わない変形（重像を形成する像間の変形量が０の場合の変形）という位置づけとし、変形の一種としている。Ａ（ｐ）は重像を形成する像間の変形量ｐにより、重像画像を変形させる行列を表し、Ａ^２（ｐ），Ａ^３（ｐ），Ａ^４（ｐ）はその変形行列演算をそれぞれ２回、３回、４回と繰り返す処理を表す。それぞれの変形処理を以下の（５）式のように表す。

ｇ_０（ｘ，ｐ）＝Ｉｇ（ｘ）
ｇ_１（ｘ，ｐ）＝Ａ（ｐ）ｇ（ｘ）
ｇ_２（ｘ，ｐ）＝Ａ^２（ｐ）ｇ（ｘ）
ｇ_３（ｘ，ｐ）＝Ａ^３（ｐ）ｇ（ｘ）
ｇ_４（ｘ，ｐ）＝Ａ^４（ｐ）ｇ（ｘ） …（５）
なお、ここで行列という言葉を用いているが、実際にはこの様な行列を画像処理装置１０内で構成する必要は必ずしも無く、重像を形成する像間の変形量ｐで重像画像を変形させる演算が処理可能であれば、どの様な形態で処理を行っても構わない。

また、復元処理の精度を表す変数ｎは、任意の整数値を取って構わず、この変数ｎを制御することで計算演算量と復元精度のどちらに重点を置くかを決めることが可能となる。変数ｎは予め画像処理装置内で決定し保持しておいても良いが、その他の形態として、ユーザが外部Ｉ／Ｆ部２１を介して自由に設定できる構成としても良い。無限重像の復元式（（３）式）を用いる場合には、変数ｎの設定は必要ない。

像間強度比設定部１４からの像間の信号の強度比（減衰量γ）及び画像変形部１６Ａで変形された一枚以上の重像画像は、信号処理部１６Ｂへ送られる。信号処理手段である信号処理部１６Ｂでは、これらのデータを用いて重像画像の復元処理が行われる。この重像画像の復元処理は、画像変形部１６Ａで変形された一枚以上の重像画像の像間の減衰量γを用いた重み付き加算処理で実現される。例えば、２重像の場合（Ｎ＝２）に、復元処理の精度をｎ＝５とした場合は、以下の（６）式に示す処理で復元画像が生成される。

ここで、正規化変数βは、β＝１／（γ＋１）で値が決定される。

上記信号処理部１６Ｂの処理で生成された、画像座標ｘ、像間の変形量ｐで復元処理が行われた復元画像ｆ（ｘ，ｐ）は、像間の変形量ｐとともに復元部１６より像間変形量決定部１７へと送信される。

なお、上記復元部１６における復元処理の例は２重像の場合を例にとって示したが、Ｎが３以上の場合のＮ重像画像の復元処理を行う場合も同様の手順により復元を行うことが出来ることは言うまでもない。

評価値算出手段の機能を備える像間変形量決定部１７では、復元部１６より送信された復元画像ｆ（ｘ，ｐ）により、その復元画像を推定することに用いられた像間の変形量ｐに関して、その真の値としての妥当性を表す評価値を算出し、その評価値を用いて重像画像に含まれる重像を形成する像間の変形量を一つ真の値として決定する。

以下、像間変形量決定部１７内での処理の流れを説明する。

像間変形量決定部１７に、復元部１６において復元処理が行われた複数の復元画像が送信される。これらの復元画像は、像間変形量設定部１５において複数設定された異なる重像を形成する像間の変形量それぞれを用いて復元処理が行われた画像であり、異なる重像を形成する像間の変形量を、
ｐ_１，ｐ_２，ｐ_３，ｐ_４，ｐ_５，… …（７）
とすると、複数の復元画像は、
ｆ（ｘ，ｐ_１），ｆ（ｘ，ｐ_２），ｆ（ｘ，ｐ_３），ｆ（ｘ，ｐ_４），ｆ（ｘ，ｐ_５）
…（８）
となる。

即ち、復元画像ｆ（ｘ，ｐ_ｋ）は、変形量ｐ_ｋに対応している（ｋ＝１，２，３，４，５，…）。この対応関係から、変形量ｐ_ｋの真の値としての妥当性を復元画像ｆ（ｘ，ｐ_ｋ）から求める。なお、妥当性の評価は、復元画像ｆ（ｘ，ｐ_ｋ）に正規化変数βをかけたもの（即ち、明るさの正規化を行っていないもの）で行っても構わない。

像間変形量決定部１７では、変形量ｐ_ｋの真の値としての妥当性を復元画像ｆ（ｘ，ｐ_ｋ）から求めるために、復元画像ｆ（ｘ，ｐ_ｋ）の画像信号の強度の変動量を調べて、評価値とする。なお、「画像信号の変動量」とは、ある画素の画素値に対して、その近隣の画素値がどれだけ変化しているかを表す量である。

画像信号の強度の変動量を調べる方法として、一例として、画像のフィルタリング方法を用いる。

さらにフィルタリングの種類としては、ラプラシアンフィルタを用いたフィルタリング処理を行っても良い。

ラプラシアンフィルタは、以下の（９）式のような形状をしたフィルタである。

像間変形量決定部１７は、このようなフィルタを用いて、画像信号の強度の変動量を算出するフィルタリング手段を備えることができる。即ち、このフィルタリング処理による評価値の算出は、以下の（１０）式のようにして行う。
ｆ_Ｌ（ｘ，ｐ_ｋ）＝Ｌ＊ｆ（ｘ，ｐ_ｋ） …（１０）
ここで、＊はフィルタの畳み込み演算子である。

なお、本実施形態ではラプラシアンフィルタを例に説明を行っているが、ここで用いるフィルタの種類は任意のものを用いることができる。例えば、ラプラシアンフィルタの他には、ハイパスフィルタであるソーベルフィルタやプリューウィットフィルタ、バンドパスフィルタであるＬＯＧフィルタやＤＯＧフィルタ、等を利用することが可能となる。

特に、上記ソーベルフィルタやプリューウィットフィルタを用いることで、方向指向性を持つフィルタリングを行うことで、重像を形成する像間の変形方向に沿ったフィルタリングを行い、より精度を高めることが可能となる。

また、特にバンドパスフィルタであるＬＯＧフィルタ、ＤＯＧフィルタを用いることで、重像画像にノイズが存在する場合でも良好に復元画像の画像信号の強度の変動量を算出することを可能としたり、多重解像度解析により処理を高速にしたりすることが出来る。

また、上記評価値ｆ_Ｌ（ｘ，ｐ_ｋ）は、復元画像の画像信号の強度の変動量を画素毎に算出しているが、さらにこれらの変動量をまとめる為に、以下の（１１）式の様にノルムを用いる。

像間変形量決定部１７は、このようなノルムにより画像信号の強度の変動量を統合することで、一つの評価値を算出する統合手段を備え、座標周辺の変動量をまとめて評価することが可能となる。座標周辺の領域の大きさは、画像処理内で自由に設定できる（画像の部分領域でも、画像全体でも良い）。なお、ここではノルムの種類にＬ２ノルムを用いているが、実際はＬ１ノルム、その他任意形状のノルムを利用しても構わないものとする。

また、像間変形量決定部１７は、上記フィルタリング処理の代わりに、例えば復元画像ｆ（ｘ，ｐ_ｋ）の周波数変換により、復元画像ｆ（ｘ，ｐ_ｋ）の画像信号の強度の変動量を評価値として算出しても構わない。周波数変換処理の手法としては通常、ＤＣＴ、ＦＦＴ、Ｗａｖｅｌｅｔ変換等の処理を用いるが、実際には任意の周波数変換手段を用いて周波数係数の算出を行っても構わない。この場合の統合手段は、周波数変換手段によって算出された周波数係数について、上記フィルタリング処理の場合と同様にノルムを用いて、周波数係数をまとめる処理を行う。

ここで、上記像間強度比設定部１４における重像を形成する像間の信号の強度比（減衰量γ）の設定、像間変形量設定部１５における複数の像間の変形量ｐ_ｋの設定、復元部１６における重像画像の復元処理、像間変形量決定部１７における復元画像ｆ（ｘ，ｐ_ｋ）の画像信号の強度の変動量算出処理という一連の処理は、各重像を形成する像間の変形量に対し繰り返し処理を行う形態をとっても良いし、一度に複数の変形量に対し並列的に処理を行うという形態をとっても良い。このとき、繰り返し処理を行う場合は、良好な画像信号の強度の変動量が得られた場合は途中で処理を打ち切るという処理で高速化を行うことが出来る。また、ＧＰＵ等の並列化処理が得意な計算機環境においては並列的に処理を行う実行形態をとることが可能になる。

像間変形量決定手段である上記像間変形量決定部１７は、上述の様にして算出した複数の復元画像ｆ（ｘ，ｐ_ｋ）から求められる複数の画像信号の強度の変動量を評価値として用いて、以下の（１２）式に示すように、重像画像の重像を形成する像間の変形量を一つ決定する。

このように、復元画像ｆ（ｘ，ｐ_ｋ）から求められる複数の画像信号の強度の変動量のうち、最も少ない変動量を持つ復元画像に対応する重像を形成する像間の変形量を、最終的に求めたい真の変形量ｐ＾として決定する。

なお、その他の重像を形成する像間の変形量の決定の方法として、以下の（１３）式に示すように、復元画像ｆ（ｘ，ｐ_ｋ）から求められる複数の画像信号の強度の変動量を用いた重み付き加算処理により、重像を形成する像間の変形量ｐ＾を決定しても良いものとする。

ここで、φは復元画像ｆ（ｘ，ｐ_ｋ）から求められる、上記（１１）式の画像信号の強度の変動量に応じた重みを生成する関数であり、ここでは以下の（１４）式のようなガウシアン関数を用いる。

ここで、σはガウシアン関数の広がりを制御するパラメータである。なお、φに用いる関数はガウシアン関数に限らず、任意形状の関数を用いることが出来る。

なお、復元画像の画像信号の強度の変動量から重像を形成する像間の変形量を算出する場合に、復元画像の画像信号の強度の変動量が殆どないと評価された場合は、その領域はノンテクスチャ領域である可能性がある。その様な場合は、像間の変形量を精度良く決定することが難しくなる可能性があるため、その領域は像間の変形量の決定値を利用しない、という形態をとっても良い。

以上のようにして、像間変形量決定部１７では、復元部１６より送信された複数の復元画像ｆ（ｘ，ｐ_ｋ）の画像信号の強度の変動量から、一つの変形量ｐ＾を決定する。像間変形量決定部１７で決定された画像信号の強度の変動量は、記録部１２へ送信され、記録部１２に記録されている重像画像の重像を形成する像間の変形量に関する情報として記録、保持される。

また、復元部１６で推定された復元画像を、復元画像出力手段である復元画像出力部１８を介して記録部１２へ送信しても良い。この様な処理を行うことで、従来重像画像でしか記録されていなかった被写体の像が、鑑賞用途として適している復元画像として記録でき、表示装置等の出力部１９にて観測対象を確認する際のユーザの視認性を向上させることが出来る。

なお、上記一連の処理は、重像全体に対して適用することも可能であるが、実際には重像画像の部分領域により重像を形成する像間の変形量が異なる場合がある。このような場合は特に、上記一連の処理を画像（重像画像及び復元画像）の部分領域毎に行う。部分領域毎に処理が行われた場合は、画像の部分領域毎に、詳細な重像を形成する像間の変形量を求めることが出来る。

さらに、部分領域毎に決定された変形量（及び重像を形成する像間の信号の強度比）を統合する処理を行っても良い。即ち、重像を形成する像間の変形量（及び重像を形成する像間の信号の強度比）が部分領域毎に出力された場合に、それらの値を一つのマップに統合する処理を行っても良い。

この様な処理を行うことで、画像の部分領域毎に決定された重像を形成する像間の変形量（及び重像を形成する像間の信号の強度比）が一つに統合され、一つのマップとして後に利用する画像認識手法等で利用し易くなる。

統合処理は、例えば処理結果が重複して出力された部分領域を平均化するなどの処理で一つのマップとする。重像を形成する像間の変形量及び重像を形成する像間の信号の強度比は、像間変形量決定部１７においてマップ化が行われる。

また、同時に部分領域毎に復元処理を行った復元画像も取得している場合は、その部分領域毎の復元画像を上記同様に処理結果が重複して出力された部分領域を平均化するなどの処理で一つに統合した復元画像を生成しても良い。この様な処理を行うことで、部分領域毎に重像を形成する像間の変形量が異なる重像画像でも良好に復元処理が出来、さらにそれを統合し画像全体を一つの画像として鑑賞可能となる。このような復元画像の統合は、復元画像出力部１８において行われることができる。

なお、取得された変形量が、仮に重像画像内の観測対象である被写体の被写体距離に関係するものであった場合、取得された変形量を被写体距離に変換することが出来る。この処理を実現する為には、予め、画像処理装置１０内に距離取得手段を設け、該距離取得手段に被写体距離と重像を形成する像間の変形量の対応表を用意して置き、その対応表を参照して重像画像の重像を形成する像間の変形量から被写体距離情報を求めても良いし、重像画像の付加情報として画像のヘッダ等画像の情報が記述可能な領域に被写体距離と重像を形成する像間の変形量の対応表を記載しておき、距離取得手段がそれを参照して重像画像の重像を形成する像間の変形量から被写体距離情報を求めても良い。この被写体距離情報は、被写体認識技術等に利用することが出来る。

以上のように、本発明の第１実施形態に係る画像処理装置によれば、復元画像を用いた新しい像間変形量計測を行う為、重像画像に含まれる重像を形成する像間の変形量を高精度に計測することが可能となる。

また、復元画像を像間変形量計測に用いることにより、復元画像の結果も同時に利用することが可能となり、像間変形量計測と同時に、本来鑑賞用途には適していなかった重像画像から、鑑賞用途に適した復元画像を生成することが可能となる。

なお、像間変形量計測時の復元画像には必ずしも最終的な結果を用いる必要は無く、復元処理の中間結果としての復元画像を利用しても良いため、実際に最終的な復元画像を生成する必要は必ずしも無い。

［第２実施形態］
上記第１実施形態では、ハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、重像画像を図示しないコンピュータに入力して、ソフトウェアにて処理する構成も可能である。勿論、このソフトウェアは、予めコンピュータにインストールされているものであっても良いし、ＣＤ−ＲＯＭ等の記録媒体やネットワークを介してコンピュータに供給されるものであっても良い。

図３は、不図示コンピュータによる画像処理のソフトウェア処理に関するフローチャートを示す図である。なお、本フローチャートの処理は、重像を形成する像間の信号の強度比（ここでは減衰率）の設定、像間の変形量の設定、重像画像の復元処理、復元画像の画像信号の強度の変動量算出処理を繰り返し処理の手法で行う場合の例を示している。なお、ここでは重像を形成する像間の減衰率の推定を行っていないが、上記第１実施形態で説明した様に、重像を形成する像間の減衰率を複数設定することで重像を形成する像間の減衰率の推定も出来る。また、本フローチャートの処理は、画像の部分領域ごとに行う場合の例である。

即ち、コンピュータはまず、重像画像の入力処理を行う（ステップＳ１）。その際、重像画像にヘッダ情報等の付加情報が含まれる場合は、その付加情報も読み込む。

次に、上記入力された重像画像における復元処理を行う部分領域を指定する（ステップＳ２）。また、このステップＳ２で指定された部分領域に関して、重像を形成する像間の減衰率を取得・設定する（ステップＳ３）。

そして、変形量の候補を複数想定し、複数の変形量の中から変形量を一つ設定する（ステップＳ４）。次に、上記ステップＳ４で設定された変形量と、上記ステップＳ２で設定された部分領域周辺の重像画像とを用いて、上記（６）式により、復元画像を生成する（ステップＳ５）。そして、該ステップＳ５で生成された復元画像にハイパスフィルタリング処理を行い（ステップＳ６）、上記（１１）式により、評価値として復元画像の画像信号の強度の変動量を算出する（ステップＳ７）。

その後、上記ステップＳ４で想定した複数の変形量全てにおいて画像信号の強度の変動量の算出がされているか調べる（ステップＳ８）。ここで、まだ全ての変形量についての評価値算出が終わっていないと判別した場合には、上記ステップＳ４に戻って、次の変形量についての復元処理及び評価値算出処理を行うことになる。

上記のようにして、上記ステップＳ４乃至上記ステップＳ７を繰り返し実行する。

そして、上記ステップＳ８において全ての変形量についての評価値算出が終わったと判別されたならば、上記ステップＳ４乃至上記ステップＳ７で繰り返し算出された画像信号の強度の変動量のうち、最小となる変動量に対応する重像を形成する像間の変形量を、真の変形量として決定する（ステップＳ９）。同時にその変形量に対応する復元画像を取得する。

その後、全ての部分領域についての変形量の決定が終わったか否かを判別する（ステップＳ１０）。ここで、まだ全ての部分領域について終わっていないと判別した場合は、上記ステップＳ２に戻って、異なる部分領域について、上記ステップＳ３乃至上記ステップＳ９を繰り返す。

而して、上記ステップＳ１０において全ての部分領域について変形量の決定が終了したと判別したならば、全ての部分領域を統合し、統合された重像を形成する像間の変形量マップ、及び復元画像を生成する（ステップＳ１１）。そして、上記ステップＳ１１で生成された統合された重像を形成する像間の変形量マップ、及び復元画像を出力して、処理を終了する。

以上のように、コンピュータのソフトウェアによっても、上記第１実施形態に係る画像処理装置と同様に、重像画像に含まれる重像を形成する像間の変形量を高精度に計測することが可能となる。

なお、重像を形成する像間の信号の強度比（ここでは減衰率）の設定、像間の変形量の設定、重像画像の復元処理、復元画像の画像信号の強度の変動量算出処理を繰り返し処理の手法で行うのではなく、上記ステップＳ４乃至ステップＳ７においてそれぞれ複数の結果を得ることで、一度に複数の変形量に対し並列的に処理を行うことが可能なことは言うまでもない。その場合には、ステップＳ８の判断を省略できる。

［第３実施形態］
図４は、本発明の第３実施形態に係る撮像装置３０の構成を示す図であり、該撮像装置３０は、撮影光学系３１、撮像部３２、記録部３３、像間変形方向算出・記憶部３４、像間強度比設定部３５、像間変形量設定部３６、復元部３７、像間変形量決定部３８、復元画像出力部３９、出力部４０、制御部４１及び外部Ｉ／Ｆ部４２、ＡＦモータ４３及び合焦点制御部４４から構成されている。

ここで、被写体の光束を結像する撮影光学系３１には、像を多重に結像させる多重像結像手段３１Ａが含まれている。撮像部３２は、この多重像結像手段３１Ａを含む撮影光学系３１で結像される像を取得可能な構成となっている。この撮像部３２は、記録部３３と接続されている。また、ＡＦモータ４３は、撮影光学系３１を制御し、結像される像の合焦点位置を変化させることが可能な構成となっている。

記録部３３は、像間変形方向算出・記憶部３４、像間強度比設定部３５、復元部３７及び出力部４０と接続されている。像間変形方向算出・記憶部３４は、像間変形量設定部３６と接続されている。像間強度比設定部３５は、復元部３７と接続されている。像間変形量設定部３６は、復元部３７と接続されている。復元部３７は、像間変形量決定部３８及び復元画像出力部３９と接続されている。像間変形量決定部３８は、記録部３３及び合焦点制御部４４と接続されている。復元画像出力部３９は、記録部３３と接続されている。制御部４１は、制御信号線により、撮像部３２、記録部３３、像間変形方向算出・記憶部３４、像間強度比設定部３５、像間変形量設定部３６、復元部３７、像間変形量決定部３８、復元画像出力部３９、外部Ｉ／Ｆ部４２及び合焦点制御部４４と双方向に接続されている。合焦点制御部４４は、ＡＦモータ４３と接続されている。

次に、本実施形態の作用を説明する。

撮影光学系３１によって、被写体の像は、撮像部３２に結像される。この撮像部３２は、特に図示はしていないが、ＣＣＤ等の光を電気信号に変換する光電変換手段と、該光電変換手段で変換された電気信号から画像信号を生成する信号処理回路等の画像信号生成手段とを含んでいる。この撮像部３２に結像された被写体の像は電気的な信号に変換され、記録部３３へ送信され記録される。

ここで、撮影光学系３１に含まれる多重像結像手段３１Ａは、図示しない駆動手段により、撮影光路内に挿脱自在に構成されており、多重像結像手段３１Ａを用いた撮像を行った場合は重像画像が、多重像結像手段３１Ａを用いない撮像を行った場合は通常の画像が記録される。

像間変形方向算出・記憶部３４、像間強度比設定部３５、像間変形量設定部３６、復元部３７、像間変形量決定部３８及び復元画像出力部３９は、上記記録部３３に記録された重像画像について、制御部４１による当該重像画像に存在する重像を形成する像間の変形量計測を開始する指示信号により、重像を形成する像間の変形量の計測を開始する。この、制御部４１からの指示信号は、外部Ｉ／Ｆ部４２においてユーザが直接信号を発生させるように操作させ発生させても良いし、記録部３３に記録された時点で制御部４１が自動的に信号を発生させても良い。

重像を形成する像間の変形量計測が開始されると、像間変形量設定部３６では、重像を形成する像間の変形量を示す仮の変形量が複数設定される。

ここで、像間変形量設定部３６で設定される重像を形成する像間の変形量は任意の設定値を取ることができるが、より効率的な変形量設定の方法として、例えば、撮影光学系３１（多重像結像手段２１Ａを含む）及び撮像部３２で撮像される受像画像の変形方向がその装置形態において一定値となる場合は、予め像間の変形方向を取得しておき、その方向に沿った変形のみを設定するという形態をとっても構わないものとする。この場合の像間の変形方向は、予め自己相関演算等の何らかの方法で取得しておき、像間変形方向算出・記憶部３４に記憶しておいたものを用いる。また、予め像間変形方向算出・記憶部３４に記憶しておく代わりに、撮像された重像画像の付加情報として画像のヘッダ等画像の情報が記述可能な領域に像間の変形方向を記載しておき、それを像間変形方向算出・記憶部３４で読み取り像間の変形方向として利用するという構成をとっても良い。また、像間変形方向算出・記憶部３４では、その場で自己相関演算等の何らかの方法で像間変形方向を取得し、その方向を像間の変形方向として利用するという構成をとっても良い。

また、像間強度比設定部３５で設定される重像を形成する像間の信号の強度比は、任意の設定値を取ることができる。

この像間強度比設定部３５で設定する重像を形成する像間の信号の強度比は、通常、一つの値であり、重像画像に特有の像間の信号の強度比を設定すれば良い。この値は、予め像間強度比設定部３５において保持しておいても良いし、重像画像の付加情報として画像のヘッダ等画像の情報が記述可能な領域に像間の信号の強度比を記載しておき、それを像間強度比設定部３５で読み取り、像間の信号の強度比として利用するという構成をとっても良いし、外部Ｉ／Ｆ部４２を介してユーザが直接像間の信号の強度比を設定するという構成をとっても良い。

また、像間の信号の強度比が未知である場合や、既知であるが誤差を含みより正しい信号の強度比を求めたい場合などは、像間強度比設定部３５において像間の信号の強度比を複数設定し、その複数設定された信号の強度比毎に復元部３７において復元処理を行って復元画像を生成し、それらの復元画像を用いて像間変形量決定部３８において評価値を算出し、その算出された評価値に基づき一つの信号の強度比を求めるという構成をとっても構わない
なお、本実施形態に係る撮像装置３０に用いている画像処理装置は本来、重像を形成する像間の変形量を求めるものであるが、重像を形成する像間の変形量が既知であり、像間の信号の強度比が未知の場合は、像間変形量設定部３６の設定値を一つにし、像間強度比設定部３５の設定を複数個にすることで、重像画像に含まれる重像を形成する像間の信号の強度比を求める画像処理装置とすることが出来る。

次に、記録部３３に記録された処理対象となる重像画像が、復元部３７へ送信される。また、像間変形量設定部３６で設定された複数（又は１つ）の重像を形成する像間の変形量のうち一つが、復元部３７へ送信される。さらに、像間強度比設定部３５で設定された１つ又は複数の重像を形成する像間の信号の強度比のうち一つが、復元部３７へ送信される。復元部３７では、これら送信されてきた重像画像、像間の変形量及び像間の信号の強度比を用いて重像画像の復元画像を推定する復元処理が行われる。

この復元部３７における復元処理は、上述した第１実施形態における復元部１６と同様の処理を行うので、ここでは処理の説明を省略する。

復元部３７で生成された、画像座標ｘ、像間の変形量ｐで復元処理が行われた復元画像ｆ（ｘ，ｐ）は、像間の変形量ｐとともに復元部３７より像間変形量決定部３８へと送信される。

像間変形量決定部３８では、復元部３７より送信された復元画像ｆ（ｘ，ｐ）により、その復元画像を推定することに用いられた像間の変形量ｐに関して、その真の値としての妥当性を表す評価値を算出し、その評価値を用いて重像画像に含まれる重像を形成する像間の変形量を一つ真の値として決定する。

像間変形量決定部３８内での処理の流れは、上述した第１実施形態における像間変形量決定部１７と同様の処理を行うので、ここでは処理の説明を省略する。

像間変形量決定部３８では、復元部３７より送信された複数の復元画像ｆ（ｘ，ｐ_ｋ）の画像信号の強度の変動量から、一つの変形量ｐ＾を決定する。像間変形量決定部３８で決定された画像信号の強度の変動量は、記録部３３へ送信され、記録部３３に記録されている重像画像の重像を形成する像間の変形量に関する情報として記録、保持される。

ここで、上記像間強度比設定部３５における重像を形成する像間の信号の強度比（減衰量γ）の設定、像間変形量設定部３６における複数の像間の変形量ｐ_ｋの設定、復元部３７における重像画像の復元処理、像間変形量決定部３８における復元画像ｆ（ｘ，ｐ_ｋ）の画像信号の強度の変動量算出処理という一連の処理は、各重像を形成する像間の変形量に対し繰り返し処理を行う形態をとっても良いし、一度に複数の変形量に対し並列的に処理を行うという形態をとっても良い。このとき、繰り返し処理を行う場合は、良好な画像信号の強度の変動量が得られた場合は途中で処理を打ち切るという処理で高速化を行うことが出来る。また、ＧＰＵ等の並列化処理が得意な計算機環境においては並列的に処理を行う実行形態をとることが可能になる。

また、復元部３７で推定された復元画像を、復元画像出力部３９を介して記録部３３へ送信しても良い。この様な処理を行うことで、従来重像画像でしか記録されていなかった被写体の像が、鑑賞用途として適している復元画像として記録でき、液晶モニタ等の出力部４０にて被写体を確認する際のユーザの視認性を向上させることが出来る。

なお、上記一連の処理は、重像全体に対して適用することも可能であるが、実際には重像画像の部分領域により重像を形成する像間の変形量が異なる場合がある。このような場合は特に、上記一連の処理を画像（重像画像及び復元画像）の部分領域毎に行う。部分領域毎に処理が行われた場合は、画像の部分領域毎に、詳細な重像を形成する像間の変形量を求めることが出来る。

さらに、部分領域毎に決定された変形量（及び重像を形成する像間の信号の強度比）を統合する処理を行っても良い。即ち、重像を形成する像間の変形量（及び重像を形成する像間の信号の強度比）が部分領域毎に出力された場合に、それらの値を一つのマップに統合する処理を行っても良い。

この様な処理を行うことで、画像の部分領域毎に決定された重像を形成する像間の変形量（及び重像を形成する像間の信号の強度比）が一つに統合され、一つのマップとして後に利用する画像認識手法等で利用し易くなる。

統合処理は、例えば処理結果が重複して出力された部分領域を平均化するなどの処理で一つのマップとする。重像を形成する像間の変形量及び重像を形成する像間の信号の強度比は像間変形量決定部３８においてマップ化が行われる。

また、同時に部分領域毎に復元処理を行った復元画像も取得している場合は、その部分領域毎の復元画像を上記同様に処理結果が重複して出力された部分領域を平均化するなどの処理で一つに統合した復元画像を生成しても良い。この様な処理を行うことで、部分領域毎に重像を形成する像間の変形量が異なる重像画像でも良好に復元処理が出来、さらにそれを統合し画像全体を一つの画像として鑑賞可能となる。このような復元画像の統合は、復元画像出力部３９において行われることができる。

なお、取得された変形量が、仮に重像画像内の被写体の被写体距離に関係するものであった場合、取得された変形量を被写体距離に変換することが出来る。この処理を実現する為には、予め、像間変形量決定部３８内に被写体距離取得手段を設け、該被写体距離取得手段に被写体距離と重像を形成する像間の変形量の対応表を用意して置き、その対応表を参照して重像画像の重像を形成する像間の変形量から被写体距離情報を求めても良いし、重像画像の付加情報として画像のヘッダ等画像の情報が記述可能な領域に被写体距離と重像を形成する像間の変形量の対応表を記載しておき、被写体距離取得手段がそれを参照して重像画像の重像を形成する像間の変形量から被写体距離情報を求めても良い。この被写体距離情報は、被写体認識技術等に利用することが出来る。

また、この被写体距離情報は、像間変形量決定部３８より合焦点制御部４４に送信され、該合焦点制御部４４を介して行われる、撮影光学系３１及びＡＦモータ４３間で行われる被写体の合焦動作に利用されても良い。この様な構成とすることにより、像間変形量決定部３８において決定された重像を形成する像間の変形量から、高精度に被写体の合焦動作を行うことが可能となる。なおこのとき、制御部４１が図示しない駆動手段により多重像結像手段３１Ａを撮影光軸から外すことは言うまでもない。

以上のように、本発明の第３実施形態に係る撮像装置によれば、復元画像を用いた新しい像間変形量計測を行う為、重像画像に含まれる重像を形成する像間の変形量を高精度に計測することが可能となる。そして、その高精度に計測された重像画像に含まれる重像を形成する像間の変形量から被写体距離情報を求めて撮影光学系３１の合焦動作を行うことで、被写体に高精度に合焦することが可能となる。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

（付記）
前記の具体的実施形態から、以下のような構成の発明を抽出することができる。

（１） 画像の入力処理を行う画像入力手段と、
上記画像入力手段により入力された観測対象の像が多重化されている重像画像に含まれる多重化された重像を形成する像間の変形量を設定する像間変形量設定手段と、
上記像間変形量設定手段で設定された変形量を用い、上記重像画像の復元画像を推定する復元手段と、
上記復元画像から信号の強度の変動量を評価値として算出する評価値算出手段と、
上記像間変形量設定手段で設定された像間の変形量を変化させながら、上記像間変形量設定手段、上記復元手段及び上記評価値算出手段の３つの手段の処理を繰り返し、算出された複数の評価値に基づいて上記画像入力手段で入力された重像画像に含まれる重像を形成する像間の変形量を決定する像間変形量決定手段と、
を有することを特徴とする画像処理装置。

（対応する実施形態）
この（１）に記載の画像処理装置に関する実施形態は、第１実施形態が対応する。その実施形態において、例えば、入力部１１が上記画像入力手段に、像間変形量設定部１５が上記像間変形量設定手段に、復元部１６が上記復元手段に、像間変形量決定部１７が上記評価値算出手段及び像間変形量決定手段に、それぞれ対応する。

（作用効果）
この（１）に記載の画像処理装置によれば、復元画像を用いた新しい像間変形量計測を行う為、重像画像に含まれる重像を形成する像間の変形量を高精度に計測することが可能となる。

（２） 画像の入力処理を行う画像入力手段と、
上記画像入力手段により入力された観測対象の像が多重化されている重像画像に含まれる多重化された重像を形成する像間の変形量を複数設定する像間変形量設定手段と、
上記像間変形量設定手段で設定された複数の変形量を用い、上記重像画像の復元画像を複数推定する復元手段と、
上記複数の復元画像から信号の強度の変動量を評価値として複数算出する評価値算出手段と、
上記複数の評価値に基づいて上記画像入力手段で入力された重像画像に含まれる重像を形成する像間の変形量を決定する像間変形量決定手段と、
を有することを特徴とする画像処理装置。

（対応する実施形態）
この（２）に記載の画像処理装置に関する実施形態は、第１実施形態が対応する。その実施形態において、例えば、入力部１１が上記画像入力手段に、像間変形量設定部１５が上記像間変形量設定手段に、復元部１６が上記復元手段に、像間変形量決定部１７が上記評価値算出手段及び像間変形量決定手段に、それぞれ対応する。

（作用効果）
この（２）に記載の画像処理装置によれば、復元画像を用いた新しい像間変形量計測を行う為、重像画像に含まれる重像を形成する像間の変形量を高精度に計測することが可能となる。

（３） 上記復元手段で推定された復元画像を出力する復元画像出力手段をさらに有することを特徴とする（１）又は（２）に記載の画像処理装置。

（対応する実施形態）
この（３）に記載の画像処理装置に関する実施形態は、第１実施形態が対応する。その実施形態において、例えば、復元画像出力部１８が上記復元画像出力手段に対応する。

（作用効果）
この（３）に記載の画像処理装置によれば、復元画像を像間変形量計測に用いることにより、復元画像の結果も同時に利用することが可能となり、像間変形量計測と同時に、本来鑑賞用途には適していなかった重像画像から、鑑賞用途に適した復元画像を生成することが可能となり、この復元画像を観賞用に出力することができる。

（４） 上記重像画像に含まれる重像を形成する像間の信号の強度比を設定する像間強度比設定手段をさらに有し、
上記復元手段は、上記像間変形量設定手段で設定された重像を形成する像間の変形量及び上記像間強度比設定手段で設定された像間の信号の強度比を用いて上記重像画像の復元画像を推定し、
上記像間変形量決定手段は、上記評価値算出手段で算出された上記評価値に基づいて上記重像画像に含まれる重像を形成する像間の信号の強度比及び像間の変形量を決定する、
ことを特徴とする（１）又は（２）に記載の画像処理装置。

（対応する実施形態）
この（４）に記載の画像処理装置に関する実施形態は、第１実施形態が対応する。その実施形態において、例えば、像間強度比設定部１４が上記像間強度比設定手段に対応する。

（作用効果）
この（４）に記載の画像処理装置によれば、強度比を用いることで重像画像の復元画像を推定することが可能となる。

（５） 上記重像画像に含まれる重像を形成する像間の変形方向を記憶する像間変形方向記憶手段をさらに有することを特徴とする（１）又は（２）に記載の画像処理装置。

（対応する実施形態）
この（５）に記載の画像処理装置に関する実施形態は、第１実施形態が対応する。その実施形態において、例えば、像間変形方向算出・記憶部１３が上記像間変形方向記憶手段に対応する。

（作用効果）
この（５）に記載の画像処理装置によれば、像間の変形方向を算出する必要が無いので、より高速に測定結果が得られる。

（６） 上記重像画像に含まれる重像を形成する像間の変形方向を算出する重像変形方向算出手段と、
上記重像変形方向算出手段で算出された上記像間の変形方向を記憶する像間変形方向記憶手段と、
をさらに有することを特徴とする（１）又は（２）に記載の画像処理装置。

（対応する実施形態）
この（６）に記載の画像処理装置に関する実施形態は、第１実施形態が対応する。その実施形態において、例えば、像間変形方向算出・記憶部１３が上記重像変形方向算出手段及び像間変形方向記憶手段に対応する。

（作用効果）
この（６）に記載の画像処理装置によれば、像間の変形方向が未知の重像画像についても計測が可能となる。

（７） 上記像間変形量設定手段は、上記像間変形方向記憶手段に記憶された像間の変形方向に沿った変形量を設定することを特徴とする（５）又は（６）に記載の画像処理装置。

（対応する実施形態）
この（７）に記載の画像処理装置に関する実施形態は、第１実施形態が対応する。

（作用効果）
この（７）に記載の画像処理装置によれば、設定する変形量の数も少なくすることができるので、より高速に測定結果が得られる。

（８） 上記復元手段は、
上記像間変形量設定手段で設定された変形量を用いて上記重像画像を幾何的に変形させる画像変形手段と、
上記像間強度比設定手段で取得された像間の信号の強度比を用いて上記画像変形手段で変形を行った画像の加算処理を行う信号処理手段と、
を有することを特徴とする（４）に記載の画像処理装置。

（対応する実施形態）
この（８）に記載の画像処理装置に関する実施形態は、第１実施形態が対応する。その実施形態において、例えば、画像変形部１６Ａが上記画像変形手段に、信号処理部１６Ｂが上記信号処理手段に、それぞれ対応する。

（作用効果）
この（８）に記載の画像処理装置によれば、変形量と像間の強度比を用いて重像画像から復元画像を推定することが可能となる。

（９） 上記評価値算出手段は、
上記復元画像の所定の領域に対してフィルタリング処理を行うフィルタリング手段と、
上記フィルタリング手段によりフィルタリングが行われた領域の画素値を用いて評価値を一つ算出する統合手段と、
を有することを特徴とする（１）又は（２）に記載の画像処理装置。

（対応する実施形態）
この（９）に記載の画像処理装置に関する実施形態は、第１実施形態が対応する。その実施形態において、例えば、像間変形量決定部１７のラプラシアンフィルタ、ハイパスフィルタ、バンドパスフィルタ等のフィルタリング処理を行うフィルタリング手段が上記フィルタリング手段に、像間変形量決定部１７のノルムを用いる統合手段が上記統合手段に、それぞれ対応する。

（作用効果）
この（９）に記載の画像処理装置によれば、復元画像の所定量域毎にフィルタリング処理により復元画像の画像信号の強度の変動量を調べ、結果を統合して一つの評価値を得ることで、像間変形量決定手段での評価値に基づく変形量の決定を可能とすることができる。

（１０） 上記フィルタリング手段は、上記フィルタリング処理において、上記重像画像に含まれる重像を形成する像間の変形方向に沿ったフィルタリングを行うことを特徴とする（９）に記載の画像処理装置。

（対応する実施形態）
この（１０）に記載の画像処理装置に関する実施形態は、第１実施形態が対応する。

（作用効果）
この（１０）に記載の画像処理装置によれば、重像を形成する像間の変形方向に沿ったフィルタリングを行うことで、より精度を高めることが可能となる。

（１１） 上記評価値算出手段は、
上記復元画像の所定の領域に対して周波数変換処理を行う周波数変換手段と、
上記周波数変換手段により周波数変換処理が行われた領域の周波数係数値を用いて評価値を一つ算出する統合手段と、
を有することを特徴とする（１）又は（２）に記載の画像処理装置。

（対応する実施形態）
この（１１）に記載の画像処理装置に関する実施形態は、第１実施形態が対応する。その実施形態において、例えば、像間変形量決定部１７のＤＣＴ、ＦＦＴ、Ｗａｖｅｌｅｔ変換等の周波数変換処理を行う周波数変換手段が上記周波数変換手段に、像間変形量決定部１７のノルムを用いる統合手段が上記統合手段に、それぞれ対応する。

（作用効果）
この（１１）に記載の画像処理装置によれば、復元画像の所定量域毎に周波数変換処理により復元画像の画像信号の強度の変動量を調べ、結果を統合して一つの評価値を得ることで、像間変形量決定手段での評価値に基づく変形量の決定を可能とすることができる。

（１２） 上記所定の領域は、上記復元画像の部分領域であることを特徴とする（９）又は（１１）に記載の画像処理装置。

（対応する実施形態）
この（１２）に記載の画像処理装置に関する実施形態は、第１実施形態が対応する。

（作用効果）
この（１２）に記載の画像処理装置によれば、画像の部分領域毎に、詳細な重像を形成する像間の変形量を求めることができる。

（１３） 上記像間変形量決定手段により決定された上記重像画像に含まれる重像を形成する像間の変形量に基づき、上記観測対象までの距離を取得する距離取得手段をさらに含むことを特徴とする（１）又は（２）に記載の画像処理装置。

（対応する実施形態）
この（１３）に記載の画像処理装置に関する実施形態は、第１実施形態が対応する。その実施形態において、例えば、像間変形量決定部１７の距離取得手段が上記距離取得手段に対応する。

（作用効果）
この（１３）に記載の画像処理装置によれば、観測対象までの距離が取得できるようになる。

（１４） 被写体の光束を結像する撮影光学系と、
上記撮影光学系内において像を多重に結像させる多重像結像手段と、
上記撮影光学系からの光を電気信号に変換する光電変換手段と、
上記光電変換手段で変換された電気信号から画像信号を生成する画像信号生成手段と、
上記撮影光学系、上記多重像結像手段、上記光電変換手段及び上記画像信号生成手段により生成された、少なくとも２つ以上の像が多重化されている重像画像に含まれる多重化された重像を形成する像間の変形量を推定する像間変形量設定手段と、
上記像間変形量設定手段で設定された変形量を用い、上記重像画像の復元画像を推定する復元手段と、
上記復元画像から信号の強度の変動量を評価値として算出する評価値算出手段と、
上記像間変形量設定手段で設定された像間の変形量を変化させながら、上記像間変形量設定手段、上記復元手段及び上記評価値算出手段の３つの手段の処理を繰り返し、算出された複数の評価値に基づいて、上記生成された重像画像に含まれる重像を形成する像間の変形量を決定する像間変形量決定手段と、
を有することを特徴とする撮像装置。

（対応する実施形態）
この（１４）に記載の撮像装置に関する実施形態は、第３実施形態が対応する。その実施形態において、例えば、撮影光学系３１が上記撮影光学系に、多重像結像手段３１Ａが上記多重像結像手段に、撮像部３２が上記光電変換手段及び画像信号生成手段に、像間変形量設定部３６が上記像間変形量設定手段に、復元部３７が上記復元手段に、像間変形量決定部３８が上記評価値算出手段及び像間変形量決定手段に、それぞれ対応する。

（作用効果）
この（１４）に記載の撮像装置によれば、復元画像を用いた新しい像間変形量計測を行う為、重像画像に含まれる重像を形成する像間の変形量を高精度に計測することが可能となる。

（１５） 被写体の光束を結像する撮影光学系と、
上記撮影光学系内において像を多重に結像させる多重像結像手段と、
上記撮影光学系からの光を電気信号に変換する光電変換手段と、
上記光電変換手段で変換された電気信号から画像信号を生成する画像信号生成手段と、
上記撮影光学系、上記多重像結像手段、上記光電変換手段及び上記画像信号生成手段により生成された、少なくとも２つ以上の像が多重化されている重像画像に含まれる多重化された重像を形成する像間の変形量を複数設定する像間変形量設定手段と、
上記像間変形量設定手段で設定された複数の変形量を用い、上記重像画像の復元画像を複数推定する復元手段と、
上記複数の復元画像から信号の強度の変動量を評価値として複数算出する評価値算出手段と、
上記複数の評価値に基づいて、上記生成された重像画像に含まれる重像を形成する像間の変形量を決定する像間変形量決定手段と、
を有することを特徴とする撮像装置。

（対応する実施形態）
この（１５）に記載の撮像装置に関する実施形態は、第３実施形態が対応する。その実施形態において、例えば、撮影光学系３１が上記撮影光学系に、多重像結像手段３１Ａが上記多重像結像手段に、撮像部３２が上記光電変換手段及び画像信号生成手段に、像間変形量設定部３６が上記像間変形量設定手段に、復元部３７が上記復元手段に、像間変形量決定部３８が上記評価値算出手段及び像間変形量決定手段に、それぞれ対応する。

（作用効果）
この（１５）に記載の撮像装置によれば、復元画像を用いた新しい像間変形量計測を行う為、重像画像に含まれる重像を形成する像間の変形量を高精度に計測することが可能となる。

（１６） 上記復元手段で推定された復元画像を出力する復元画像出力手段をさらに有することを特徴とする（１４）又は（１５）に記載の撮像装置。

（対応する実施形態）
この（１６）に記載の撮像装置に関する実施形態は、第３実施形態が対応する。その実施形態において、例えば、復元画像出力部３９が上記復元画像出力手段に対応する。

（作用効果）
この（１６）に記載の撮像装置によれば、復元画像を像間変形量計測に用いることにより、復元画像の結果も同時に利用することが可能となり、像間変形量計測と同時に、本来鑑賞用途には適していなかった重像画像から、鑑賞用途に適した復元画像を生成することが可能となり、この復元画像を観賞用に出力することができる。

（１７） 上記重像画像に含まれる重像を形成する像間の信号の強度比を設定する像間強度比設定手段をさらに有し、
上記復元手段は、上記像間変形量設定手段で設定された重像を形成する像間の変形量及び上記像間強度比設定手段で設定された像間の信号の強度比を用いて上記重像画像の復元画像を推定し、
上記像間変形量決定手段は、上記評価値算出手段で算出された上記評価値に基づいて上記重像画像に含まれる重像を形成する像間の信号の強度比及び像間の変形量を決定する、
ことを特徴とする（１４）又は（１５）に記載の撮像装置。

（対応する実施形態）
この（１７）に記載の撮像装置に関する実施形態は、第３実施形態が対応する。その実施形態において、例えば、像間強度比設定部３５が上記像間強度比設定手段に対応する。

（作用効果）
この（１７）に記載の撮像装置によれば、強度比を用いることで重像画像の復元画像を推定することが可能となる。

（１８） 上記重像画像に含まれる重像を形成する像間の変形方向を記憶する像間変形方向記憶手段をさらに有することを特徴とする（１４）又は（１５）に記載の撮像装置。

（対応する実施形態）
この（１８）に記載の撮像装置に関する実施形態は、第３実施形態が対応する。その実施形態において、例えば、像間変形方向算出・記憶部３４が上記像間変形方向記憶手段に対応する。

（作用効果）
この（１８）に記載の撮像装置によれば、像間の変形方向を算出する必要が無いので、より高速に測定結果が得られる。

（１９） 上記重像画像に含まれる重像を形成する像間の変形方向を算出する重像変形方向算出手段と、
上記重像変形方向算出手段で算出された上記像間の変形方向を記憶する像間変形方向記憶手段と、
をさらに有することを特徴とする（１４）又は（１５）に記載の撮像装置。

（対応する実施形態）
この（１９）に記載の撮像装置に関する実施形態は、第３実施形態が対応する。その実施形態において、例えば、像間変形方向算出・記憶部３４が上記重像変形方向算出手段及び像間変形方向記憶手段に対応する。

（作用効果）
この（１９）に記載の撮像装置によれば、像間の変形方向が未知の重像画像についても計測が可能となる。

（２０） 上記像間変形量設定手段は、上記像間変形方向記憶手段に記憶された像間の変形方向に沿った変形量を設定することを特徴とする請求項１８又は１９に記載の撮像装置。

（対応する実施形態）
この（２０）に記載の撮像装置に関する実施形態は、第３実施形態が対応する。

（作用効果）
この（２０）に記載の撮像装置によれば、設定する変形量の数も少なくすることができるので、より高速に測定結果が得られる。

（２１） 上記復元手段は、
上記像間変形量設定手段で設定された変形量を用いて上記重像画像を幾何的に変形させる画像変形手段と、
上記像間強度比設定手段で取得された像間の信号の強度比を用いて上記画像変形手段で変形を行った画像の加算処理を行う信号処理手段と、
を有することを特徴とする（１７）に記載の撮像装置。

（対応する実施形態）
この（２１）に記載の撮像装置に関する実施形態は、第３実施形態が対応する。その実施形態において、例えば、復元部３７が備える画像変形部１６Ａが上記画像変形手段に、復元部３７が備える信号処理部１６Ｂが上記信号処理手段に、それぞれ対応する。

（作用効果）
この（２１）に記載の撮像装置によれば、変形量と像間の強度比を用いて重像画像から復元画像を推定することが可能となる。

（２２） 上記評価値算出手段は、
上記復元画像の所定の領域に対してフィルタリング処理を行うフィルタリング手段と、
上記フィルタリング手段によりフィルタリングが行われた領域の画素値を用いて評価値を一つ算出する統合手段と、
を有することを特徴とする（１４）又は（１５）に記載の撮像装置。

（対応する実施形態）
この（２２）に記載の撮像装置に関する実施形態は、第３実施形態が対応する。その実施形態において、例えば、像間変形量決定部１７のラプラシアンフィルタ、ハイパスフィルタ、バンドパスフィルタ等のフィルタリング処理を行うフィルタリング手段が上記フィルタリング手段に、像間変形量決定部１７のノルムを用いる統合手段が上記統合手段に、それぞれ対応する。

（作用効果）
この（２２）に記載の撮像装置によれば、復元画像の所定量域毎にフィルタリング処理により復元画像の画像信号の強度の変動量を調べ、結果を統合して一つの評価値を得ることで、像間変形量決定手段での評価値に基づく変形量の決定を可能とすることができる。

（２３） 上記フィルタリング手段は、上記フィルタリング処理において、上記重像画像に含まれる重像を形成する像間の変形方向に沿ったフィルタリングを行うことを特徴とする（２２）に記載の撮像装置。

（対応する実施形態）
この（２３）に記載の撮像装置に関する実施形態は、第３実施形態が対応する。

（作用効果）
この（２３）に記載の撮像装置によれば、重像を形成する像間の変形方向に沿ったフィルタリングを行うことで、より精度を高めることが可能となる。

（２４） 上記評価値算出手段は、
上記復元画像の所定の領域に対して周波数変換処理を行う周波数変換手段と、
上記周波数変換手段により周波数変換処理が行われた領域の周波数係数値を用いて評価値を一つ算出する統合手段と、
を有することを特徴とする（１４）又は（１５）に記載の撮像装置。

（対応する実施形態）
この（２４）に記載の撮像装置に関する実施形態は、第３実施形態が対応する。その実施形態において、例えば、像間変形量決定部１７のＤＣＴ、ＦＦＴ、Ｗａｖｅｌｅｔ変換等の周波数変換処理を行う周波数変換手段が上記周波数変換手段に、像間変形量決定部１７のノルムを用いる統合手段が上記統合手段に、それぞれ対応する。

（作用効果）
この（２４）に記載の撮像装置によれば、復元画像の所定量域毎に周波数変換処理により復元画像の画像信号の強度の変動量を調べ、結果を統合して一つの評価値を得ることで、像間変形量決定手段での評価値に基づく変形量の決定を可能とすることができる。

（２５） 上記所定の領域は、上記復元画像の部分領域であることを特徴とする（２２）又は（２４）に記載の撮像装置。

（対応する実施形態）
この（２５）に記載の撮像装置に関する実施形態は、第３実施形態が対応する。

（作用効果）
この（２５）に記載の撮像装置によれば、画像の部分領域毎に、詳細な重像を形成する像間の変形量を求めることができる。

（２６） 上記像間変形量決定手段により決定された上記重像画像に含まれる重像を形成する像間の変形量に基づき、上記被写体までの距離を取得する被写体距離取得手段をさらに含むことを特徴とする（１４）又は（１５）に記載の撮像装置。

（対応する実施形態）
この（２６）に記載の撮像装置に関する実施形態は、第３実施形態が対応する。その実施形態において、例えば、像間変形量決定部３８の距離取得手段が上記距離取得手段に対応する。

（作用効果）
この（２６）に記載の撮像装置によれば、被写体までの被写体距離が取得できるようになり、その取得した被写体距離に基づいて撮影光学系の合焦動作を行うことが可能となり、被写体に高精度に合焦させられるようになる。

（２７） 画像の入力処理を行う画像入力ステップと、
上記画像入力ステップにより入力された観測対象の像が多重化されている重像画像に含まれる多重化された重像を形成する像間の変形量を設定する像間変形量設定ステップと、
上記像間変形量設定ステップで設定された変形量を用い、上記重像画像の復元画像を推定する復元ステップと、
上記復元画像から信号の強度の変動量を評価値として算出する評価値算出ステップと、
上記像間変形量設定ステップで設定された像間の変形量を変化させながら、上記像間変形量設定ステップ、上記復元手段及び上記評価値算出ステップの３つのステップの処理を繰り返し行い、
上記繰り返しの結果として算出された複数の評価値に基づいて上記画像入力ステップで入力された重像画像に含まれる重像を形成する像間の変形量を決定する像間変形量決定ステップと、
をコンピュータに発揮させることを特徴とする画像処理プログラム。

（対応する実施形態）
この（２７）に記載の画像処理プログラムに関する実施形態は、第２実施形態が対応する。その実施形態において、ステップＳ１が上記画像入力ステップに、ステップＳ４が上記像間変形量設定ステップに、ステップＳ５が上記復元ステップに、ステップＳ７が上記評価値算出ステップに、ステップＳ４乃至ステップＳ８のループが上記３つのステップの処理を繰り返し行うことに、ステップＳ９が上記像間変形量決定ステップに、それぞれ対応する。

（作用効果）
この（２７）に記載の画像処理プログラムによれば、復元画像を用いた新しい像間変形量計測を行う為、重像画像に含まれる重像を形成する像間の変形量を高精度に計測することが可能となる。

（２８） 画像の入力処理を行う画像入力ステップと、
上記画像入力ステップにより入力された観測対象の像が多重化されている重像画像に含まれる多重化された重像を形成する像間の変形量を複数設定する像間変形量設定ステップと、
上記像間変形量設定ステップで設定された複数の変形量を用い、上記重像画像の復元画像を複数推定する復元ステップと、
上記複数の復元画像から信号の強度の変動量を評価値として複数算出する評価値算出ステップと、
上記複数の評価値に基づいて上記画像入力ステップで入力された重像画像に含まれる重像を形成する像間の変形量を決定する像間変形量決定ステップと、
をコンピュータに発揮させることを特徴とする画像処理プログラム。

（対応する実施形態）
この（２８）に記載の画像処理プログラムに関する実施形態は、第２実施形態が対応する。その実施形態において、ステップＳ１が上記画像入力ステップに、ステップＳ４が上記像間変形量設定ステップに、ステップＳ５が上記復元ステップに、ステップＳ７が上記評価値算出ステップに、ステップＳ９が上記像間変形量決定ステップに、それぞれ対応する。

（作用効果）
この（２８）に記載の画像処理プログラムによれば、復元画像を用いた新しい像間変形量計測を行う為、重像画像に含まれる重像を形成する像間の変形量を高精度に計測することが可能となる。

図１は、本発明の第１実施形態に係る画像処理装置の構成を示す図である。 図２は、図１中の復元部の構成図である。 図３は、本発明の第２実施形態に係る画像処理プログラムのフローチャートを示す図である。 図４は、本発明の第３実施形態に係る撮像装置の構成を示す図である。 図５は、重像画像の例を示す図である。

１０…画像処理装置、 １１…入力部、 １２，３３…記録部、 １３，３４…像間変形方向算出・記憶部、 １４，３５…像間強度比設定部、 １５，３６…像間変形量設定部、 １６，３７…復元部、 １６Ａ…画像変形部、 １６Ｂ…信号処理部、 １７，３８…像間変形量決定部、 １８，３９…復元画像出力部、 １９，４０…出力部、 ２０，４１…制御部、 ２１，４２…外部Ｉ／Ｆ部、 ３０…撮像装置、 ３１…撮影光学系、 ３１Ａ…多重像結像手段、 ３２…撮像部、 ４３…ＡＦモータ、 ４４…合焦点制御部。

Claims (28)

1. 画像の入力処理を行う画像入力手段と、
   上記画像入力手段により入力された観測対象の像が多重化されている重像画像に含まれる多重化された重像を形成する像間の変形量を設定する像間変形量設定手段と、
   上記像間変形量設定手段で設定された変形量を用い、上記重像画像の復元画像を推定する復元手段と、
   上記復元画像から信号の強度の変動量を評価値として算出する評価値算出手段と、
   上記像間変形量設定手段で設定された像間の変形量を変化させながら、上記像間変形量設定手段、上記復元手段及び上記評価値算出手段の３つの手段の処理を繰り返し、算出された複数の評価値に基づいて上記画像入力手段で入力された重像画像に含まれる重像を形成する像間の変形量を決定する像間変形量決定手段と、
   を有することを特徴とする画像処理装置。
2. 画像の入力処理を行う画像入力手段と、
   上記画像入力手段により入力された観測対象の像が多重化されている重像画像に含まれる多重化された重像を形成する像間の変形量を複数設定する像間変形量設定手段と、
   上記像間変形量設定手段で設定された複数の変形量を用い、上記重像画像の復元画像を複数推定する復元手段と、
   上記複数の復元画像から信号の強度の変動量を評価値として複数算出する評価値算出手段と、
   上記複数の評価値に基づいて上記画像入力手段で入力された重像画像に含まれる重像を形成する像間の変形量を決定する像間変形量決定手段と、
   を有することを特徴とする画像処理装置。
3. 上記復元手段で推定された復元画像を出力する復元画像出力手段をさらに有することを特徴とする請求項１又は２に記載の画像処理装置。
4. 上記重像画像に含まれる重像を形成する像間の信号の強度比を設定する像間強度比設定手段をさらに有し、
   上記復元手段は、上記像間変形量設定手段で設定された重像を形成する像間の変形量及び上記像間強度比設定手段で設定された像間の信号の強度比を用いて上記重像画像の復元画像を推定し、
   上記像間変形量決定手段は、上記評価値算出手段で算出された上記評価値に基づいて上記重像画像に含まれる重像を形成する像間の信号の強度比及び像間の変形量を決定する、
   ことを特徴とする請求項１又は２に記載の画像処理装置。
5. 上記重像画像に含まれる重像を形成する像間の変形方向を記憶する像間変形方向記憶手段をさらに有することを特徴とする請求項１又は２に記載の画像処理装置。
6. 上記重像画像に含まれる重像を形成する像間の変形方向を算出する重像変形方向算出手段と、
   上記重像変形方向算出手段で算出された上記像間の変形方向を記憶する像間変形方向記憶手段と、
   をさらに有することを特徴とする請求項１又は２に記載の画像処理装置。
7. 上記像間変形量設定手段は、上記像間変形方向記憶手段に記憶された像間の変形方向に沿った変形量を設定することを特徴とする請求項５又は６に記載の画像処理装置。
8. 上記復元手段は、
   上記像間変形量設定手段で設定された変形量を用いて上記重像画像を幾何的に変形させる画像変形手段と、
   上記像間強度比設定手段で取得された像間の信号の強度比を用いて上記画像変形手段で変形を行った画像の加算処理を行う信号処理手段と、
   を有することを特徴とする請求項４に記載の画像処理装置。
9. 上記評価値算出手段は、
   上記復元画像の所定の領域に対してフィルタリング処理を行うフィルタリング手段と、
   上記フィルタリング手段によりフィルタリングが行われた領域の画素値を用いて評価値を一つ算出する統合手段と、
   を有することを特徴とする請求項１又は２に記載の画像処理装置。
10. 上記フィルタリング手段は、上記フィルタリング処理において、上記重像画像に含まれる重像を形成する像間の変形方向に沿ったフィルタリングを行うことを特徴とする請求項９に記載の画像処理装置。
11. 上記評価値算出手段は、
    上記復元画像の所定の領域に対して周波数変換処理を行う周波数変換手段と、
    上記周波数変換手段により周波数変換処理が行われた領域の周波数係数値を用いて評価値を一つ算出する統合手段と、
    を有することを特徴とする請求項１又は２に記載の画像処理装置。
12. 上記所定の領域は、上記復元画像の部分領域であることを特徴とする請求項９又は１１に記載の画像処理装置。
13. 上記像間変形量決定手段により決定された上記重像画像に含まれる重像を形成する像間の変形量に基づき、上記観測対象までの距離を取得する距離取得手段をさらに含むことを特徴とする請求項１又は２に記載の画像処理装置。
14. 被写体の光束を結像する撮影光学系と、
    上記撮影光学系内において像を多重に結像させる多重像結像手段と、
    上記撮影光学系からの光を電気信号に変換する光電変換手段と、
    上記光電変換手段で変換された電気信号から画像信号を生成する画像信号生成手段と、
    上記撮影光学系、上記多重像結像手段、上記光電変換手段及び上記画像信号生成手段により生成された、少なくとも２つ以上の像が多重化されている重像画像に含まれる多重化された重像を形成する像間の変形量を推定する像間変形量設定手段と、
    上記像間変形量設定手段で設定された変形量を用い、上記重像画像の復元画像を推定する復元手段と、
    上記復元画像から信号の強度の変動量を評価値として算出する評価値算出手段と、
    上記像間変形量設定手段で設定された像間の変形量を変化させながら、上記像間変形量設定手段、上記復元手段及び上記評価値算出手段の３つの手段の処理を繰り返し、算出された複数の評価値に基づいて、上記画生成された重像画像に含まれる重像を形成する像間の変形量を決定する像間変形量決定手段と、
    を有することを特徴とする撮像装置。
15. 被写体の光束を結像する撮影光学系と、
    上記撮影光学系内において像を多重に結像させる多重像結像手段と、
    上記撮影光学系からの光を電気信号に変換する光電変換手段と、
    上記光電変換手段で変換された電気信号から画像信号を生成する画像信号生成手段と、
    上記撮影光学系、上記多重像結像手段、上記光電変換手段及び上記画像信号生成手段により生成された、少なくとも２つ以上の像が多重化されている重像画像に含まれる多重化された重像を形成する像間の変形量を複数設定する像間変形量設定手段と、
    上記像間変形量設定手段で設定された複数の変形量を用い、上記重像画像の復元画像を複数推定する復元手段と、
    上記複数の復元画像から信号の強度の変動量を評価値として複数算出する評価値算出手段と、
    上記複数の評価値に基づいて、上記生成された重像画像に含まれる重像を形成する像間の変形量を決定する像間変形量決定手段と、
    を有することを特徴とする撮像装置。
16. 上記復元手段で推定された復元画像を出力する復元画像出力手段をさらに有することを特徴とする請求項１４又は１５に記載の撮像装置。
17. 上記重像画像に含まれる重像を形成する像間の信号の強度比を設定する像間強度比設定手段をさらに有し、
    上記復元手段は、上記像間変形量設定手段で設定された重像を形成する像間の変形量及び上記像間強度比設定手段で設定された像間の信号の強度比を用いて上記重像画像の復元画像を推定し、
    上記像間変形量決定手段は、上記評価値算出手段で算出された上記評価値に基づいて上記重像画像に含まれる重像を形成する像間の信号の強度比及び像間の変形量を決定する、
    ことを特徴とする請求項１４又は１５に記載の撮像装置。
18. 上記重像画像に含まれる重像を形成する像間の変形方向を記憶する像間変形方向記憶手段をさらに有することを特徴とする請求項１４又は１５に記載の撮像装置。
19. 上記重像画像に含まれる重像を形成する像間の変形方向を算出する重像変形方向算出手段と、
    上記重像変形方向算出手段で算出された上記像間の変形方向を記憶する像間変形方向記憶手段と、
    をさらに有することを特徴とする請求項１４又は１５に記載の撮像装置。
20. 上記像間変形量設定手段は、上記像間変形方向記憶手段に記憶された像間の変形方向に沿った変形量を設定することを特徴とする請求項１８又は１９に記載の撮像装置。
21. 上記復元手段は、
    上記像間変形量設定手段で設定された変形量を用いて上記重像画像を幾何的に変形させる画像変形手段と、
    上記像間強度比設定手段で取得された像間の信号の強度比を用いて上記画像変形手段で変形を行った画像の加算処理を行う信号処理手段と、
    を有することを特徴とする請求項１７に記載の撮像装置。
22. 上記評価値算出手段は、
    上記復元画像の所定の領域に対してフィルタリング処理を行うフィルタリング手段と、
    上記フィルタリング手段によりフィルタリングが行われた領域の画素値を用いて評価値を一つ算出する統合手段と、
    を有することを特徴とする請求項１４又は１５に記載の撮像装置。
23. 上記フィルタリング手段は、上記フィルタリング処理において、上記重像画像に含まれる重像を形成する像間の変形方向に沿ったフィルタリングを行うことを特徴とする請求項２２に記載の撮像装置。
24. 上記評価値算出手段は、
    上記復元画像の所定の領域に対して周波数変換処理を行う周波数変換手段と、
    上記周波数変換手段により周波数変換処理が行われた領域の周波数係数値を用いて評価値を一つ算出する統合手段と、
    を有することを特徴とする請求項１４又は１５に記載の撮像装置。
25. 上記所定の領域は、上記復元画像の部分領域であることを特徴とする請求項２２又は２４に記載の撮像装置。
26. 上記像間変形量決定手段により決定された上記重像画像に含まれる重像を形成する像間の変形量に基づき、上記被写体までの距離を取得する被写体距離取得手段をさらに含むことを特徴とする請求項１４又は１５に記載の撮像装置。
27. 画像の入力処理を行う画像入力ステップと、
    上記画像入力ステップにより入力された観測対象の像が多重化されている重像画像に含まれる多重化された重像を形成する像間の変形量を設定する像間変形量設定ステップと、
    上記像間変形量設定ステップで設定された変形量を用い、上記重像画像の復元画像を推定する復元ステップと、
    上記復元画像から信号の強度の変動量を評価値として算出する評価値算出ステップと、
    上記像間変形量設定ステップで設定された像間の変形量を変化させながら、上記像間変形量設定ステップ、上記復元手段及び上記評価値算出ステップの３つのステップの処理を繰り返し行い、
    上記繰り返しの結果として算出された複数の評価値に基づいて上記画像入力ステップで入力された重像画像に含まれる重像を形成する像間の変形量を決定する像間変形量決定ステップと、
    をコンピュータに発揮させることを特徴とする画像処理プログラム。
28. 画像の入力処理を行う画像入力ステップと、
    上記画像入力ステップにより入力された観測対象の像が多重化されている重像画像に含まれる多重化された重像を形成する像間の変形量を複数設定する像間変形量設定ステップと、
    上記像間変形量設定ステップで設定された複数の変形量を用い、上記重像画像の復元画像を複数推定する復元ステップと、
    上記複数の復元画像から信号の強度の変動量を評価値として複数算出する評価値算出ステップと、
    上記複数の評価値に基づいて上記画像入力ステップで入力された重像画像に含まれる重像を形成する像間の変形量を決定する像間変形量決定ステップと、
    をコンピュータに発揮させることを特徴とする画像処理プログラム。

Images