JP5403400B2 - 画像処理装置、撮像装置及び画像処理プログラム - Google Patents

Description

本発明は、入力された観測対象の像が多重になっている重像画像に含まれる重像を形成する像間の変形量を計測する画像処理装置及びそれを用いた撮像装置、並びに、コンピュータにそのような画像処理装置の手順を実行させる画像処理プログラムに関する。

ここで、本明細書中において、「重像画像」とは、図６に示すように、観測対象がある変位を持って多重に撮像されている画像全般を表し、重像画像に含まれる重像を形成する各像間は、ある変形量を持って対応している。本明細書中では、各像間の変形の方向を「像間の変形方向」、変形の量を「像間の変形量」と称している。

なお、ここでいう「重像画像」は、具体的には、撮像装置により積極的に撮像された重像画像だけではなく、期せずして観測対象がある変位を持って取得された画像であればどの様な形態の画像でも構わないものとする。その様な重像画像の例としては、例えばテレビジョンシステムにおける、電波受信に問題があった場合のテレビジョン映像等が該当する。

また、「多重」とは、少なくとも一部が重なっている状態を意味する。

重像画像に含まれる重像を形成する多重像の像間の変形量を計測する方法として、自己相関関数を用いた手法が存在する。例えば、特許文献１では、ビデオカメラにおける撮像素子からの画像情報に基づく測距法として、自己相関関数による像間の変形量計測が行われている。
特開平７−１３５５９７号公報

しかしながら、上記特許文献１に開示されているような、重像画像に含まれる重像を形成する多重像の像間の変形量を自己相関関数を用いて計測する方法では、像間の変形量の計測精度が悪いことがあった。例えば、自己相関による計測法では、第１ピークを除く最大のピーク（第２ピーク）位置に対応する値を求めることで重像を形成する像間の変形量を求めることが可能であるが、実際には自己相関関数の第１ピークの山内に第２ピークが埋もれてしまい、像間の変形量の計測が難しい場合があった。また、そのような場合に、計測された値の精度が良いものであるのか、悪いものであるのかを調べることが行われていなかった。

本発明は、上記の点に鑑みてなされたもので、重像画像に含まれる重像を形成する像間の変形量を計測する場合に、より安定して像間の変形量を計測することが可能な画像処理装置、撮像装置及び画像処理プログラムを提供することを目的とする。

本発明の画像処理装置の一態様は、
画像の入力処理を行う画像入力手段と、
上記画像入力手段により入力された観測対象の像が多重になっている重像画像に含まれる重像を形成する像間の変形量を推定する像間変形量推定手段と、
上記像間変形量推定手段により推定された上記重像を形成する像間の変形量の信頼度を算出する信頼度算出手段と、
上記信頼度算出手段により算出された信頼度と、上記像間変形量推定手段で推定された重像を形成する像間の変形量と、に基づいて、上記画像入力手段で入力された重像画像に含まれる重像を形成する像間の変形量を決定する重像間変形量決定手段と、
上記重像画像に含まれる重像を形成する一つの像が他の一つの像に対して本来変形する方向を記憶する像間変形方向記憶手段と、
を有し、
上記信頼度算出手段は、上記像間変形量推定手段で推定された上記重像を形成する像間の変形量の変形方向と、上記像間変形方向記憶手段に記憶されている上記変形する方向と、の方向の同一性を上記信頼度として算出することを特徴とする。
また、本発明の画像処理装置の別の態様は、
画像の入力処理を行う画像入力手段と、
上記画像入力手段により入力された観測対象の像が多重になっている重像画像に含まれる重像を形成する像間の変形量を推定する像間変形量推定手段と、
上記像間変形量推定手段により推定された上記重像を形成する像間の変形量の信頼度を算出する信頼度算出手段と、
上記信頼度算出手段により算出された信頼度と、上記像間変形量推定手段で推定された重像を形成する像間の変形量と、に基づいて、上記画像入力手段で入力された重像画像に含まれる重像を形成する像間の変形量を決定する重像間変形量決定手段と、
を有し、
上記信頼度算出手段は、上記像間変形量推定手段で推定された上記重像を形成する像間の変形量と、既に周囲で求められている重像を形成する像間の変形量と、の同一性を上記信頼度として算出することを特徴とする。

また、本発明の撮像装置の一態様は、
被写体の光束を結像する撮影光学系と、
上記撮影光学系内において像を多重に結像させる多重像結像手段と、
上記撮影光学系からの光を電気信号に変換する光電変換手段と、
上記光電変換手段で変換された電気信号から画像信号を生成する画像信号生成手段と、 上記撮影光学系、上記多重像結像手段、上記光電変換手段及び上記画像信号生成手段により生成された、少なくとも２つ以上の像が多重化されている重像画像に含まれる重像を形成する像間の変形量を推定する像間変形量推定手段と、
上記像間変形量推定手段により推定された上記重像を形成する像間の変形量の信頼度を算出する信頼度算出手段と、
上記信頼度算出手段により算出された信頼度と、上記像間変形量推定手段で推定された重像を形成する像間の変形量と、に基づいて、上記生成された重像画像に含まれる重像を形成する像間の変形量を決定する重像間変形量決定手段と、
上記重像画像に含まれる重像を形成する一つの象が他の一つの像に対して本来変形する方向を記憶する像間変形方向記憶手段と、
を有し、
上記信頼度算出手段は、上記像間変形量推定手段で推定された上記重像を形成する像間の変形量の変形方向と、上記像間変形方向記憶手段に記憶されている上記変形する方向と、の方向の同一性を上記信頼度として算出することを特徴とする。
また、本発明の撮像装置の別の態様は、
被写体の光束を結像する撮影光学系と、
上記撮影光学系内において像を多重に結像させる多重像結像手段と、
上記撮影光学系からの光を電気信号に変換する光電変換手段と、
上記光電変換手段で変換された電気信号から画像信号を生成する画像信号生成手段と、 上記撮影光学系、上記多重像結像手段、上記光電変換手段及び上記画像信号生成手段により生成された、少なくとも２つ以上の像が多重化されている重像画像に含まれる重像を形成する像間の変形量を推定する像間変形量推定手段と、
上記像間変形量推定手段により推定された上記重像を形成する像間の変形量の信頼度を算出する信頼度算出手段と、
上記信頼度算出手段により算出された信頼度と、上記像間変形量推定手段で推定された重像を形成する像間の変形量と、に基づいて、上記生成された重像画像に含まれる重像を形成する像間の変形量を決定する重像間変形量決定手段と、
を有し、
上記信頼度算出手段は、上記像間変形量推定手段で推定された上記重像を形成する像間の変形量と、既に周囲で求められている重像を形成する像間の変形量と、の同一性を上記信頼度として算出することを特徴とする。

また、本発明の画像処理プログラムの一態様は、
画像の入力処理を行う画像入力ステップと、
上記画像入力ステップで入力された観測対象の像が多重になっている重像画像に含まれる重像を形成する像間の変形量を推定する像間変形量推定ステップと、
上記像間変形量推定ステップで推定された上記重像を形成する像間の変形量の信頼度を算出する信頼度算出ステップと、
上記信頼度算出ステップで算出された信頼度と、上記像間変形量推定ステップで推定された重像を形成する像間の変形量と、に基づいて、上記画像入力ステップで入力された重像画像に含まれる重像を形成する像間の変形量を決定する重像間変形量決定ステップと、
上記重像画像に含まれる重像を形成する一つの像が他の一つの像に対して本来変形する方向を記憶する像間変形方向記憶ステップと、
をコンピュータに発揮させ、
上記信頼度算出ステップにおいて、上記像間変形量推定ステップで推定された上記重像を形成する像間の変形量の変形方向と、上記像間変形方向記憶ステップで記憶されている上記変形する方向と、の方向の同一性を上記信頼度として算出することを特徴とする。
また、本発明の画像処理プログラムの別の態様は、
画像の入力処理を行う画像入力ステップと、
上記画像入力ステップで入力された観測対象の像が多重になっている重像画像に含まれる重像を形成する像間の変形量を推定する像間変形量推定ステップと、
上記像間変形量推定ステップで推定された上記重像を形成する像間の変形量の信頼度を算出する信頼度算出ステップと、
上記信頼度算出手段ステップで算出された信頼度と、上記像間変形量推定ステップで推定された重像を形成する像間の変形量と、に基づいて、上記画像入力ステップで入力された重像画像に含まれる重像を形成する像間の変形量を決定する重像間変形量決定ステップと、
をコンピュータに発揮させ、
上記信頼度算出ステップにおいて、上記像間変形量推定ステップで推定された上記重像を形成する像間の変形量と、既に周囲で求められている重像を形成する像間の変形量と、の同一性を上記信頼度として算出することを特徴とする。

本発明によれば、重像画像に含まれる重像を形成する像間の変形量を計測する場合に、その計測結果に対する信頼度を算出し、その信頼度の度合いにより、より信頼度の高い計測結果を重視し、信頼度の低い計測結果を低く評価することで、より安定した像間の変形量の計測が可能となる画像処理装置、撮像装置及び画像処理プログラムを提供することができる。

以下、本発明を実施するための最良の形態を図面を参照して説明する。

［第１実施形態］
図１は、本発明の第１実施形態に係る画像処理装置１０の構成を示す図であり、該画像処理装置１０は、入力部１１、記録部１２、像間変形方向算出・記憶部１３、像間変形量推定部１４、信頼度算出部１５、像間変形量決定部１６、出力部１７、制御部１８及び外部Ｉ／Ｆ部１９から構成されている。

ここで、入力部１１は、記録部１２に接続されている。記録部１２は、像間変形方向算出・記憶部１３、像間変形量推定部１４、信頼度算出部１５及び出力部１７に接続されている。像間変形方向算出・記憶部１３は、像間変形量推定部１４、信頼度算出部１５に接続されている。像間変形量推定部１４は、信頼度算出部１５に接続されている。信頼度算出部１５は、像間変形量決定部１６に接続されている。像間変形量決定部１６は、記録部１２に接続されている。制御部１８は、制御信号線により、入力部１１、記録部１２、像間変形方向算出・記憶部１３、像間変形量推定部１４、信頼度算出部１５、像間変形量決定部１６及び外部Ｉ／Ｆ部１９と双方向に接続されている。

次に、本実施形態の作用を説明する。

入力部１１は、画像の入力処理を行う画像入力手段であり、該入力部１１より、図６に示すような、観測対象の像が多重化されている重像画像が入力されると、記録部１２に記録される。

像間変形方向算出・記憶部１３、像間変形量推定部１４、信頼度算出部１５及び像間変形量決定部１６は、上記記録部１２に記録された重像画像について、制御部１８による当該重像画像に存在する重像を形成する像間の変形量計測を開始する指示信号により、重像を形成する像間の変形量の計測を開始する。この、制御部１８からの指示信号は、外部Ｉ／Ｆ部１９においてユーザが直接信号を発生させるように操作させ発生させても良いし、記録部１２に記録された時点で制御部１８が自動的に信号を発生させても良い。

重像を形成する像間の変形量計測が開始されると、像間変形量推定部１４では、重像を形成する像間の変形量を推定する。この像間変形量推定部１４では、例えば重像画像の自己相関関数の算出により重像を形成する像間の変形量計測を行う。以下、自己相関関数による重像を形成する像間の変形量計測法について説明を行う。

自己相関関数による重像を形成する像間の変形量計測に用いる自己相関関数の形態は、以下の（１）式のようになる。

ここで、ｘは重像画像、ｔは座標、τは座標ｔをτだけ移動させる重像画像に含まれる重像を形成する像間の変形量、Ｃ（τ）は変形量がτである場合の自己相関値、Ｒは座標ｔの走査領域を表す。上記（１）式により、高い自己相関値を示すτを、重像を形成する像間の変形量として推定する。実際には、重像画像の自己相関関数値のマップ（自己相関関数の形状）は、図２の様になる。

図２に示すように、重像画像における自己相関関 数値のマップは、τ＝０場合に最も大きい第１のピークの自己相関関数値を持ち、τが重像を形成する像間の変形量である場合に第２に大きい第２のピークの自己相関関数値を持つ。即ち、重像を形成する像間の変形量を計測する場合には、第２の自己相関関数のピークに対応するτを求めれば良い。

なお、像間変形量推定部１４における重像を形成する像間の変形量の推定方法は、上記自己相関関数による方法によらず、重像を形成する像間の変形量が推定できる方法であればどの様な方法を用いても構わないものとする。例えば、類似度として、自己相関値を用いる代わりに、ＳＳＤ（Sum of Squared Differences）値やＳＡＤ値（Sum of Absolute Differences）を用いても構わない。

また、上記の様に、自己相関関数により像間変形量を求める場合は、変形量τをある領域で走査し、自己相関関数のマップを求め、そのマップの第２のピークを求める、という処理を行う。

ここで、変形量τを走査する領域は任意の領域で良いが、より効率的な変形量の操作方法として、予め重像を形成する像間の変形方向を取得しておき、その方向に沿った変形のみを設定するという形態をとっても構わないものとする。例えば、重像画像を取得する撮像装置が予め特定されており、その撮像装置の光学系では重像を形成する像間の変形方向がどちらの方向であるのかが一意に決まるような場合がある。

この場合の重像を形成する像間の変形方向、つまり重像を形成する一つの象が他の一つの像に対して本来変形する方向は、予め自己相関演算等の何らかの方法で取得しておき、像間変形方向記憶手段としての像間変形方向算出・記憶部１３に記憶しておいたものを用いる。これにより、像間の変形方向を算出する必要が無いので、より高速に測定結果が得られる。

また、そのように予め像間変形方向算出・記憶部１３に記憶しておく代わりに、重像画像の付加情報として画像のヘッダ等、画像の情報が記述可能な領域に、重像を形成する像間の変形方向を記載しておき、それを像間変形方向算出・記憶部１３で読み取って重像を形成する像間の変形方向として利用するという構成をとっても良い。

また、像間変形方向算出・記憶部１３では、その場で自己相関演算等の何らかの方法で像間の変形方向を取得し、その方向を像間の変形方向として利用するという構成をとっても良い。

上記の様にして像間変形量推定部１４において推定が行われた重像を形成する像間の変形量は、信頼度算出部１５へ送信される。また、像間変形方向算出・記憶部１３で算出、記憶された重像を形成する像間の変形方向に関する情報も、信頼度算出部１５へと送信される。

なお、重像画像の種類によっては、重像を形成する像間の変形方向が予め決定されない場合もある。その様な場合は、必ずしも像間変形方向算出・記憶部１３から信頼度算出部１５へ重像を形成する像間の変形方向に関する情報を送信する必要はない。

信頼度算出手段としての信頼度算出部１５は、像間変形量推定部１４により推定された重像を形成する像間の変形量に対する信頼度を算出する。この信頼度の算出法としては、種々の方法を用いることができる。以下、各信頼度算出の詳細な方法について説明を行う。

（１）［信頼度＝画像信号の強度の変動量の大きさ］
（２）［信頼度＝像間変形方向の画像信号の強度の変動量］
信頼度算出部１５における、信頼度として、記録部１２に記録されている重像画像の画像信号の強度の変動量を計測して用いることができる。なお、「画像信号の変動量」とは、ある画素の画素値に対して、その近隣の画素値がどれだけ変化しているかを表す量である。

例えば画像信号の強度の変動量が０の場合、即ち、図３に示すような平坦部１００の場合は、重像画像は生成されず、平坦部のままとなる。この様に、平坦部１００である場合は、重像画像が生成されないので、重像を形成する像間の変形量について、計測が不能である。そのような場合に、信頼度を低くする指標として、重像画像の信号の強度の変動量の大きさを用いる。このように、重像画像の生成されない平坦部から推定した像間の変形量を低い信頼度とすることができるので、より信頼度の精度を高めることが可能となる。

このとき、画像信号の強度の変動量を計測する対象の画像は、通常は記録部１２に記録されている重像画像であるが、その他の形態として、その重像画像をデノイズした画像、デブラー処理等を用いて重像画像を復元し１重の画像に戻した復元画像、等を対象としても良い。この様に、重像画像にデノイズやデブラーを施した後に信頼度算出を行う処理は、以下の信頼度算出法に対しても同様に行うことができる。これらデノイズやデブラー等の処理は信頼度算出部１５において行われることとする。

上記、画像信号の強度の変動量は、一例として、画像のフィルタリング処理により、ラプラシアンフィルタをかけ、そのラプラシアンフィルタ後の画素値について、絶対値をとり、所定の領域で総和をとったものとすることができる。

ラプラシアンフィルタは、以下の（２）式のような形状をしたフィルタである。

ここで、フィルタリング処理の具体例としてラプラシアンフィルタを例に挙げたが、実際にはラプラシアンフィルタによらず、画像の中域〜高域の周波数を取得する任意のフィルタを用いて良い。例えば、ラプラシアンフィルタの他には、ハイパスフィルタであるソーベルフィルタやプリューウィットフィルタ、バンドパスフィルタであるＬＯＧフィルタやＤＯＧフィルタ、等を利用することが可能となる。

特に、上記ソーベルフィルタやプリューウィットフィルタを用いることで、方向指向性を持つフィルタリング、即ち重像を形成する像間の変形方向に沿ったフィルタリングを行うことによって画像信号の強度の変動量を算出し、それを信頼度として用いることで、より信頼度の精度を高めることが可能となる。これは、重像画像中で重像を形成する像間の変形量推定に利用されるエッジは、主に重像を形成する像間の変形方向に直交するエッジであるからである。このような場合は、像間変形方向算出・記憶部１３に記憶されている、像間変形方向を信頼度算出部１５において参照し、その像間変形方向に沿ったフィルタリング処理を行う。

また、特にバンドパスフィルタであるＬＯＧフィルタ、ＤＯＧフィルタを用いることで、重像画像にノイズが存在する場合でも良好に復元画像の画像信号の強度の変動量を算出することを可能にしたり、多重解像度解析により処理を高速にしたりすることが出来る。

その他の画像信号の強度の変動量算出の方法としては、画像の周波数変換処理を用いても良い。例えば、重像画像に対し、ＦＦＴ処理を施し、算出された周波数係数の絶対値をとり、所定の領域で総和をとり、信頼度としても良い。なお、周波数変換処理はＦＦＴだけによらず、ＤＣＴ、Ｗａｖｅｌｅｔ等任意の方法で周波数変換処理を行い画像の強度の変動量を算出してかまわないものとする。

（３）［信頼度＝像間変形方向の画像信号の強度の変動量と像間変形方向に直交する方向の画像信号の強度の変動量の相対値］
また、信頼度算出部１５は、信頼度として、重像画像に含まれる重像を形成する像間の変形方向の強度の変動量と、その像間の変形方向に直交する方向と、の相対値を用いることができる。これにより、より信頼度の精度を高めることが可能となる。これは、重像画像中で重像を形成する像間の変形量推定に利用されるエッジは主に像間の変形方向に直交するエッジ１０１（図３参照）であり、重像を形成する像間の変形方向に沿ったエッジ１０２（図３参照）は像間の変形量推定に寄与しづらいという性質を利用する為である。このような性質は、像間の変形方向に沿ったエッジ１０２は、重像になっても一つのエッジ形態を保持する傾向にある（つまり、重像になる前と後で画像の形態が変わりづらい）が、像間の変形方向に直交するエッジ１０１は、重像になった場合に明らかにエッジがずれる傾向にある（つまり、重像になる前と後で画像の形態が変わりやすい）ということに起因する。

ここで、画像信号の強度の変動量としては、上述したフィルタリングまたは周波数変換処理による強度の変動量算出を行い利用する。この強度の変動量を、重像を形成する像間の変形方向及び重像を形成する像間の変形方向に直交する方向で算出し、それらの比を算出することで、信頼度とする。この時、その比は像間の変形方向に直交する方向の強度の変動量が多い方が好ましいので、（重像を形成する像間の変形方向に直交する強度の変動量）／（重像を形成する像間の変形方向の強度の変動量）という形態をとることが好ましい。なお、ここでは信頼度として比を用いているが、実際には像間の変形方向及び像間の変形方向に直交する方向の画像信号の強度の変動量間の相対値を用いるのであれば、どの様なかたちをとってもよく、例えば、強度の変動量の差を利用しても良い。

（４）［信頼度＝像間変形方向の画像信号の強度の変動量の周期性］
また、信頼度算出部１５は、信頼度として、像間変形方向算出・記憶部１３に記憶されている像間変形方向における画像信号の強度の変動量の周期性を用いることができる。これは、例えば観測対象である被写体のテクスチャ等に代表される構造的性質により、像間変形方向算出・記憶部１３に記憶されている像間変形方向では画像信号に何らかの周期性が存在する場合、その周期的性質と、重像画像に含まれる重像を形成する像間の周期的性質とが入り混じり、像間の周期的性質が計測しづらくなる、という傾向に基づき考案された信頼度である。これにより、周期性をもった部分から推定した像間の変形量を低い信頼度とすることができるので、より信頼度の精度を高めることが可能となる。

本信頼度で用いられる像間変形方向の画像信号の強度の変動量の周期性計測には、例えば、記録部１２に記録されている重像画像のＦＦＴ変換により、画像の周期的な性質を抽出しても良いし、像間変形量推定部１４において、重像を形成する像間の変形量推定の為に自己相関関数値等を用いた類似度探索を行った場合は、その類似度探索結果のマップの周期性を調べても良い（調べる場合には、上記同様ＦＦＴ変換等を用いる）。ＦＦＴ変換で周期性を調べる為には、像間変形量推定部１４において推定が行われた変形量から、その変形量に対応する周期性を求め、その周期性を示すＦＦＴ変換係数をＦＦＴ変換で調べるという処理を行う。このとき、ＦＦＴ変換係数の絶対値が大きい場合は信頼度が低くなるという構成をもつ。

（５）［信頼度＝像間変形方向算出・記憶部１３に記憶されている像間変形量と像間変形量推定部１４で推定された像間変形量の同一性］
また、信頼度算出部１５は、信頼度として、像間変形方向算出・記憶部１３に記憶されている像間変形量と像間変形量推定部１４で推定された像間変形量の同一性を用いることができる。これは、例えば同一性の指標として、像間変形量推定部１４において重像画像に含まれる重像を形成する像間の変形量を２次元的に探索し、その結果、推定値を得たとき、その推定値の変形方向と、像間変形方向算出・記憶部１３に記憶されている像間の変形方向との差異を数値化したものを用いる。例えば、像間の変形量が平行移動を想定した場合に、像間変形量推定部１４における像間の変形量の推定値が［ａ，ｂ］であり、像間変形方向算出・記憶部１３に記憶されている像間の変形量が［ｃ，ｄ］であった場合、これら変形量間の差異を変形量のベクトルの角度で表すと、この角度はこれら変形量間の内積により以下の（３）式のように書ける。

上記（３）式により、θが小さい場合（即ちｃｏｓθが大きい場合）に高くなるような信頼度を用いる。これにより、記憶されている変形方向と異なる方向を持つ変形量が推定された場合に、その変形量の信頼度を低くすることで、より信頼度の精度を高めることが可能となる。

なお、この時、信頼度には、ｃｏｓθをそのまま用いても良い。その他の形態として、ｃｏｓθを何らかの関数の引数とし、その関数値を信頼度とするという形態をとっても構わない。

（６）［信頼度＝既に周囲で求められている像間の変形量との同一性］
また、信頼度算出部１５は、信頼度として、既に周囲で求められている像間の変形量との同一性を用いることができる。ここでは、重像画像に含まれる重像を形成する像間の変形量は重像画像の局所領域では余り変化しない、という前提を用いている。即ち、周囲で求められている像間の変形量と同様の像間の変形量であればあるほど、像間の変形量として尤もらしいので、このような場合は信頼度を高くするという処理を行う。これにより、より信頼度の精度を高めることが可能となる。

信頼度としては、以下の（４）式により算出し、利用する。

ここで、ｐ＾は信頼度を算出する対象となる像間の変形量、ｐ_ｉはｐ＾の周囲で既に求められている像間の変形量、Ｒはｐ＾の周辺領域を表す。

上記（４）式により、信頼度を算出する対象となる像間の変形量と、既に周囲で求められている像間の変形量との間の差異を算出している。なお、信頼度の算出法は、この式によらず、既に周囲で求められている像間変形量との同一性を算出する方法であれば、どの様な式を利用しても構わないものとする。

（７）［信頼度＝類似度の大きさ］
また、像間変形量推定部１４が、重像画像の異なる位置にある重像を形成する像間の類似度を算出する類似度算出手段として類似度算出部を含む場合には、信頼度算出部１５は、信頼度として、その類似度算出部において算出された類似度値の大きさに基づく値を用いることができる。本信頼度は、像間変形量推定部１４に、類似度算出部が含まれている場合に、算出が可能となる。ただし、類似度算出部を像間変形量推定部１４以外のブロックに有する画像処理装置という構成をとっても構わない。その場合は、信頼度算出部１５は、像間変形量推定部１４以外のブロックに含まれる類似度算出部から類似度を取得し、信頼度を計算する。

類似度算出部では、重像画像の異なる位置に存在する像間の類似度を算出する。ここで言う類似度は、例えば上述した自己相関関数の計算による自己相関関数値としても良い。その場合、上述の様に、始めに第２のピークの自己相関関数値を探索し、その第２のピークに対応する像間の変形量に対する信頼度として、第２のピークの自己相関関数値つまり第２ピークの大きさ１０３（図２参照）を信頼度とする。

このような信頼度を用いることで、類似度が高く評価された像間の変形量ほど、より信頼度が高い変形量であるとすることができるので、より信頼度の精度を高めることが可能となる。

なお、ここでは類似度の一例として、第２のピークの自己相関関数値をそのまま信頼度とする例を示したが、実際には、像間変形量推定部１４に含まれる、像間の変形量の推定に用いられた類似度であれば、どの様なものであっても構わない。

（８）［信頼度＝類似度の分布］
また、信頼度算出部１５は、信頼度として、像間変形量推定部１４に含まれる類似度算出部において算出された類似度値の分布に基づく値を用いることができる。本信頼度は、像間変形量推定部１４に、類似度算出部が含まれている場合に算出が可能となる。ただし、類似度算出部を像間変形量推定部１４以外のブロックに有する画像処理装置という構成をとっても構わない。その場合は、信頼度算出部１５は、像間変形量推定部１４以外のブロックに含まれる類似度算出部から類似度を取得し、信頼度を計算する。

類似度算出部では、重像画像の異なる位置に存在する像間の類似度を複数算出し、類似度の分布を求める。ここで言う類似度は、例えば上述した自己相関関数の計算による自己相関関数値としても良い。その場合、上述の様に、始めに第２のピークの自己相関関数値を探索し、その第２のピークに対応する像間の変形量に対する信頼度として、例えば、第２のピークの自己相関関数値とその他の自己相関関数値との関係を信頼度とする。より具体的には、図２に示すように、第２のピークと第３のピークとの間の自己相関関数値の落差である第２ピークと第３ピークの落差１０４を信頼度とする。この第２ピークと第３ピークの落差１０４が大きい場合には、第２のピークがより際立っていると考えられるので、この場合は信頼度を大きくする。その他には、第２のピークの自己相関関数値とその周辺の自己相関関数値の落差を信頼度としても同様の効果を得られる。

このような信頼度を用いることで、類似度のピークがよりはっきりとした形で現れた像間の変形量ほど、より信頼度が高い変形量であるとすることができるので、より信頼度の精度を高めることが可能となる。なお、ここでは類似度の一例として、第２のピークの自己相関関数値とその他の自己相関関数値との落差である第２ピークと第３ピークの落差１０４から信頼度を算出する例を示したが、実際には、像間変形量推定部１４に含まれる、像間の変形量の推定に用いられた類似度の分布からはっきりとしたピークを調べることが出来る方法であれば、どの様な方法を用いて信頼度を算出しても構わない。

以上説明した様な信頼度算出方法の何れか、あるいはそれらの任意の組み合わせによって信頼度算出部１５で算出された信頼度は、像間変形量推定部１４で推定された像間の変形量と共に、信頼度算出部１５から像間変形量決定部１６に送信される。

重像間変形量決定手段としての像間変形量決定部１６では、上記像間変形量推定部１４において推定が行われた像間の変形量と、上記信頼度算出部１５で算出された信頼度と、に基づき、上記入力部１１で入力されて記録部１２に記録された重像画像に含まれる重像を形成する像間の変形量を決定する。例えば、像間変形量推定部１４において推定された像間の変形量に対応する信頼度が低ければ、その推定された像間の変形量は、記録部１２に記録された重像画像に含まれる重像を形成する像間の変形量として決定しないようにする。そして、そのような場合には、その像間の変形量を再度、別の方法により推定する、という構成をとっても良い。また例えば、像間変形量推定部１４において推定された像間の変形量及び信頼度算出部１５において算出されたそれに対応する信頼度を、記録部１２に記録すると同時に表示装置等の出力部１７によって直接的にユーザに提示しても良い。

また、像間変形量推定部１４及び信頼度算出部１５において像間の変形量及び信頼度が部分的に推定及び算出される場合は、以下に示すような流れにより、像間変形量決定部１６における像間の変形量の決定が行われる。

即ち、上記一連の信頼度算出方法は重像画像全体に対して適用することも可能であるが、実際には、重像画像の部分領域により重像を形成する像間の変形量が異なる場合がある。このような場合は特に、上記一連の処理を重像画像の部分領域毎に行う。部分領域毎に処理が行われた場合は、重像画像の部分領域毎に、詳細な像間の変形量を求めることが出来、また、同時にその部分領域毎の像間の変形量に対する信頼度も詳細に求めることが出来る。

さらに、部分領域毎に決定された像間の変形量を、上記一連の信頼度算出方法で算出された信頼度に基づき統合する処理を行っても良い。即ち、像間変形量推定部１４において重像を形成する像間の変形量が部分領域毎に推定された場合に、それらの値を一つのマップに統合する処理を行っても良い。

この様な処理を行うことで、画像の部分領域毎に決定された重像を形成する像間の変形量が一つに統合され、一つのマップとして後に利用する画像認識手法等で利用し易くなる。

統合処理には、例えば像間の変形量が重複して出力された部分領域について、信頼度を重みとした重み付き平均化等の処理で一つのマップとすれば良い。このとき、重像を形成する像間の変形量は、像間変形量決定部１６に変形量統合手段を設けることで、その変形量統合手段においてマップ化が行われる。なお、信頼度をある閾値により２値化することで、重み付き平均化時の重みを０か１かの２値の重みとし、信頼度の低い場合の変形量は出力しないという構成としても良い。

さらに、部分領域毎に決定された信頼度を統合する処理を行っても良い。即ち、像間変形量推定部１４において重像を形成する像間の変形量が部分領域毎に推定された場合に、それらの値を一つのマップに統合する処理を行っても良い。

この様な処理を行うことで、画像の部分領域毎に決定された信頼度が一つに統合され、一つのマップとして後に利用する画像認識手法等で利用し易くなる。統合処理には、例えば信頼度が重複して出力された部分領域について、平均化する等の処理で一つのマップとすれば良い。このとき、信頼度は、信頼度算出部１５に信頼度マップ生成手段を設けることで、その信頼度マップ生成手段においてマップ化が行われる。

上記、像間変形量決定部１６において生成された像間の変形量に関するマップ、及び信頼度算出部１５において生成された信頼度に関するマップは、記録部１２に送信、記憶保持され、場合によりユーザによって利用されることができる。

以上のように、本発明の第１実施形態に係る画像処理装置によれば、重像画像に含まれる重像を形成する像間の変形量を計測する場合に、その計測結果に対する信頼度を算出し、その信頼度の度合いにより、より信頼度の高い計測結果を重視し、信頼度の低い計測結果を低く評価することで、より安定して像間の変形量を計測することが可能となる。

また、重像画像に含まれる重像を形成する像間の変形量を計測する場合に、その計測結果に対する信頼度を算出して提示することで、その計測結果をどの程度信頼できるかをユーザが把握することが可能となる。

さらに、推定された像間の変形量を信頼度で統合することで、視認性のより高い推定結果を取得することが出来る。

［第２実施形態］
上記第１実施形態では、ハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、重像画像を図示しないコンピュータに入力して、ソフトウェアにて処理する構成も可能である。勿論、このソフトウェアは、予めコンピュータにインストールされているものであっても良いし、ＣＤ−ＲＯＭ等の記録媒体やネットワークを介してコンピュータに供給されるものであっても良い。

図４は、不図示コンピュータによる画像処理のソフトウェア処理に関するフローチャートを示す図である。なお、本フローチャートの処理は、重像画像の部分領域毎に行う場合の例である。

即ち、コンピュータはまず、重像画像の入力処理を行う（ステップＳ１）。その際、重像画像にヘッダ情報等の付加情報が含まれる場合は、その付加情報も読み込む。

次に、上記入力された重像画像における所定の部分領域を指定する（ステップＳ２）。また、このステップＳ２で指定された所定の部分領域に関して、重像画像に像間変形方向があれば予めその方向を取得しておく（ステップＳ３）。取得方法は、その場で算出又は重像画像にヘッダ情報等の付加情報として付加されていればそこから読み取る。

そして、上記ステップＳ２で指定された所定の部分領域の変形量の推定を行う（ステップＳ４）。次に、上記ステップＳ４で推定されたある部分領域の変形量に対して、その変形量の信頼度を算出する（ステップＳ５）。算出する信頼度は、上記第１実施形態で説明したような複数の指標のいずれかを用いるか、またはそれらを組み合わせても良い。

その後、全ての部分領域の像間の変形量及び信頼度が求め終わったか否かを判別する（ステップＳ６）。ここで、まだ全ての部分領域で求め終わっていないと判別した場合は、上記ステップＳ２に戻って、所定の部分領域を変化させて、その部分領域の像間の変形量及び信頼度を求めることとなる。

而して、上記ステップＳ６において全ての部分領域の像間の変形量及び信頼度が求め終わったと判別したならば、上記ステップＳ４で推定された像間の変形量の推定値と、上記ステップＳ５で算出された信頼度とを複数用いて、像間の変形量の統合処理を行い、一つの像間の変形量のマップを生成する（ステップＳ７）。

また、上記ステップＳ５で算出された信頼度を複数用いて、像間の変形量の統合処理を行い、一つの信頼度のマップを生成する（ステップＳ８）。

そして、それらの２つのマップを出力し、コンピュータが備えるハードディスク等の記録部に保持したり、表示装置に表示したりする（ステップＳ９）。

以上のように、コンピュータのソフトウェアによっても、上記第１実施形態に係る画像処理装置と同様に、重像画像に含まれる重像を形成する像間の変形量を計測する場合に、より安定して像間の変形量を計測することが可能となる。

［第３実施形態］
図５は、本発明の第３実施形態に係る撮像装置２０の構成を示す図であり、該撮像装置２０は、撮影光学系２１、撮像部２２、記録部２３、像間変形方向算出・記憶部２４、像間変形量推定部２５、信頼度算出部２６、像間変形量決定部２７、出力部２８、制御部２９、外部Ｉ／Ｆ部３０、ＡＦモータ３１及び合焦点制御部３２から構成されている。

ここで、被写体の光束を結像する撮影光学系２１には、像を多重に結像させる多重像結像手段２１Ａが含まれている。撮像部２２は、この多重像結像手段２１Ａを含む撮影光学系２１で結像される像を取得可能な構成となっている。この撮像部２２は、記録部２３と接続されている。また、ＡＦモータ３１は、撮影光学系２１を制御し、結像される像の合焦点位置を変化させることが可能な構成となっている。

記録部２３は、像間変形方向算出・記憶部２４、像間変形量推定部２５、信頼度算出部２６及び出力部２８に接続されている。像間変形方向算出・記憶部２４は、像間変形量推定部２５及び信頼度算出部２６に接続されている。像間変形量推定部２５は、信頼度算出部２６に接続されている。信頼度算出部２６は、像間変形量決定部２７に接続されている。像間変形量決定部２７は、記録部２３及び合焦点制御部３２に接続されている。制御部２９は、制御信号線により、撮像部２２、記録部２３、像間変形方向算出・記憶部２４、像間変形量推定部２５、信頼度算出部２６、像間変形量決定部２７、外部Ｉ／Ｆ部３０及び合焦点制御部３２と双方向に接続されている。合焦点制御部３２は、ＡＦモータ３１に接続されている。

次に、本実施形態の作用を説明する。

撮影光学系２１によって、被写体の像は、撮像部２２に結像される。この撮像部２２は、特に図示はしていないが、ＣＣＤ等の光を電気信号に変換する光電変換手段と、該光電変換手段で変換された電気信号から画像信号を生成する信号処理回路等の画像信号生成手段とを含んでいる。この撮像部２２に結像された被写体の像は電気的な信号に変換され、記録部２３へ送信され記録される。

ここで、撮影光学系２１に含まれる多重像結像手段２１Ａは、図示しない駆動手段により、撮影光路内に挿脱自在に構成されており、多重像結像手段２１Ａを用いた撮像を行った場合は重像画像が、多重像結像手段２１Ａを用いない撮像を行った場合は通常の画像が記録される。

像間変形方向算出・記憶部２４、像間変形量推定部２５、信頼度算出部２６及び像間変形量決定部２７は、上記記録部２３に記録された重像画像について、制御部２９による当該重像画像に存在する重像を形成する像間の変形量計測を開始する指示信号により、重像を形成する像間の変形量の計測を開始する。この、制御部２９からの指示信号は、外部Ｉ／Ｆ部３０においてユーザが直接信号を発生させるように操作させ発生させても良いし、記録部２３に記録された時点で制御部２９が自動的に信号を発生させても良い。

重像を形成する像間の変形量計測が開始されると、像間変形量推定部２５では、重像を形成する像間の変形量を推定する。この像間変形量推定部２５では、例えば重像画像の自己相関関数の算出により重像を形成する像間の変形量計測を行う。自己相関関数による重像を形成する像間の変形量計測法については、上述した第１実施形態と同様の方法を用いる為、その詳しい説明を省略する。

上記第１実施形態で説明した様に、像間の変形量を求める場合は、変形量τをある領域で走査し、自己相関関数のマップを求め、そのマップの第２のピークを求める、という処理を行う。

ここで、変形量τを走査する領域は任意の領域で良いが、より効率的な変形量の操作方法として、予め重像を形成する像間の変形方向を取得しておき、その方向に沿った変形のみを設定するという形態をとっても構わないものとする。この場合の重像を形成する像間の変形方向は、撮影光学系２１（多重像結像手段２１Ａを含む）及び撮像部２２に特有な重像を形成する像間の変形法である場合は、予め自己相関演算等の何らかの方法で取得しておき、像間変形方向記憶手段としての像間変形方向算出・記憶部２４に記憶しておいたものを用いる。また、そのように予め像間変形方向算出・記憶部２４に記憶しておく代わりに、重像画像の付加情報として画像のヘッダ等、画像の情報が記述可能な領域に、重像を形成する像間の変形方向を記載しておき、それを像間変形方向算出・記憶部２４で読み取って重像を形成する像間の変形方向として利用するという構成をとっても良い。また、像間変形方向算出・記憶部２４では、重像画像を撮影したその都度、自己相関演算等の何らかの方法で像間変形方向を取得し、その方向を像間の変形方向として利用するという構成をとっても良い。

上記の様にして像間変形量推定部２５において推定が行われた重像を形成する像間の変形量は、信頼度算出部２６へ送信される。また、像間変形方向算出・記憶部２４で算出、記憶された重像を形成する像間の変形方向に関する情報も、信頼度算出部２６へと送信される。なお、重像画像の種類によっては、重像を形成する像間の変形方向が予め決定されない場合もある。その様な場合は、必ずしも像間変形方向算出・記憶部２４から信頼度算出部２６へ重像を形成する像間の変形方向に関する情報を送信する必要はない。

信頼度算出手段としての信頼度算出部２６は、像間変形量推定部２５により推定された重像を形成する像間の変形量に対する信頼度を算出する。この信頼度の算出法としては、種々の方法を用いることができる。その信頼度算出の詳細な方法については、上述の第１実施形態と同様の信頼度算出法を用いるので、ここでは、処理の内容の説明を省略する。

上記の様に、像間変形量推定部２５で推定された像間の変形量、及び信頼度算出部２６で算出された信頼度は、像間変形量決定部２７に送信される。重像間変形量決定手段としての像間変形量決定部２７では、上記像間変形量推定部２５において推定が行われた像間の変形量と、上記信頼度算出部２６で算出された信頼度と、に基づき、上記生成されて記録部２３に記録された重像画像に含まれる重像を形成する像間の変形量を決定する。例えば、像間変形量推定部２５において推定された像間の変形量に対応する信頼度が低ければ、その推定された像間の変形量は、記録部２３に記録された重像画像に含まれる重像を形成する像間の変形量として決定しないようにする。そして、そのような場合には、再撮影を行って、もう一度同じ方法で変形量の計測を行っても良い。ノイズの影響や誤動作による計測ミスをリカバーできる。あるいは、その像間の変形量を再度、別の方法により推定する、という構成をとっても良い。

また、この再撮影時、別の方法として、撮像装置２０に備わっている撮影光学系２１（多重像結像手段２１Ａ）及び撮像部２２の撮像時の構成を変更して撮像を行い、再度像間の変形量を推定しても良い。例えば、多重像結像手段２１Ａを回転自在に構成しておき、再撮影時には、制御部２９の制御により図示しない駆動手段により多重像結像手段２１Ａを回転させる。これにより、重像画像の重像を形成する像間の変形方向を回転させ、再度、像間の変形量の推定を行っても良い。この様な処理を行うことで、重像を形成する像間の変形方向と被写体のエッジの方向性に起因する変形量推定の不明確さを改善し、信頼度を高めることが可能となる。

また例えば、像間変形量推定部２５において推定された像間の変形量及び信頼度算出部２６において算出されたそれに対応する信頼度を、記録部２３に記録すると同時に液晶モニタ等の出力部２８によって直接的にユーザに提示しても良い。

さらに、像間の変形量と被写体との距離とが対応する場合には、上記像間変形量決定部２７において信頼度に基づき決定された像間の変形量から、被写体までの距離情報を求めることができる。従って、像間の変形量と被写体との距離の対応関係は、像間変形量決定部２７に記録保持しておくことで、像間変形量決定部２７において、その決定された像間の変形量から被写体までの距離情報を求め、それ用いて、合焦点制御部３２において、被写体に対する合焦動作を行っても良い。合焦点制御部３２は、ＡＦモータ３１の制御を行い、ＡＦモータ３１は、被写体が合焦するように、撮影光学系２１の光学関係を変更する。このとき、制御部２９が図示しない駆動手段により多重像結像手段２１Ａを撮影光軸から外すことは言うまでもない。

また、像間変形量推定部２５及び信頼度算出部２６において像間の変形量及び信頼度が部分的に推定及び算出される場合は、以下に示すような流れにより、像間変形量決定部２７における像間の変形量の決定が行われる。

即ち、上記一連の信頼度算出方法は重像画像全体に対して適用することも可能であるが、実際には、重像画像の部分領域により重像を形成する像間の変形量が異なる場合がある。このような場合は特に、上記一連の処理を重像画像の部分領域毎に行う。部分領域毎に処理が行われた場合は、重像画像の部分領域毎に詳細な像間の変形量を求めることが出来、また、同時にその部分領域毎の像間の変形量に対する信頼度も詳細に求めることが出来る。

さらに、部分領域毎に決定された像間の変形量を、上記一連の信頼度算出方法で算出された信頼度に基づき統合する処理を行っても良い。即ち、像間変形量推定部２５において重像を形成する像間の変形量が部分領域毎に推定された場合に、それらの値を一つのマップに統合する処理を行っても良い。

この様な処理を行うことで、画像の部分領域毎に決定された重像を形成する像間の変形量が一つに統合され、一つのマップとして後に利用する画像認識手法等で利用し易くなる。

統合処理には、例えば像間の変形量が重複して出力された部分領域について、信頼度を重みとした重み付き平均化等の処理で一つのマップとすれば良い。このとき、重像を形成する像間の変形量は、像間変形量決定部２７に変形量統合手段を設けることで、その変形量統合手段においてマップ化が行われる。なお、信頼度をある閾値により２値化することで、重み付き平均化時の重みを０か１かの２値の重みとし、信頼度の低い場合の変形量は出力しないという構成としても良い。

さらに、部分領域毎に決定された信頼度を統合する処理を行っても良い。即ち、像間変形量推定部２５において重像を形成する像間の変形量が部分領域毎に推定された場合に、それらの値を一つのマップに統合する処理を行っても良い。

この様な処理を行うことで、画像の部分領域毎に決定された信頼度が一つに統合され、一つのマップとして後に利用する画像認識手法等で利用し易くなる。統合処理には、例えば信頼度が重複して出力された部分領域について、平均化する等の処理で一つのマップとすれば良い。このとき、信頼度は、信頼度算出部２６に信頼度マップ生成手段を設けることで、その信頼度マップ生成手段においてマップ化が行われる。

上記、像間変形量決定部２７において生成された像間の変形量に関するマップ、及び信頼度算出部２６において生成された信頼度に関するマップは、記録部２３または合焦点制御部３２に送信、記憶保持され、場合によりユーザによって利用されることができる。

以上のように、本発明の第３実施形態に係る撮像装置によれば、重像画像に含まれる重像を形成する像間の変形量を計測する場合に、その計測結果に対する信頼度を算出し、その信頼度の度合いにより、より信頼度の高い計測結果を重視し、信頼度の低い計測結果を低く評価することで、より安定して像間の変形量を計測することが可能となる。そして、その計測された重像画像に含まれる重像を形成する像間の変形量から被写体距離情報を求めて撮影光学系２１の合焦動作を行うことで、被写体への合焦動作も安定して行うことができる。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

（付記）
前記の具体的実施形態から、以下のような構成の発明を抽出することができる。

（１） 画像の入力処理を行う画像入力手段と、
上記画像入力手段により入力された観測対象の像が多重になっている重像画像に含まれる重像を形成する像間の変形量を推定する像間変形量推定手段と、
上記像間変形量推定手段により推定された上記重像を形成する像間の変形量の信頼度を算出する信頼度算出手段と、
上記信頼度算出手段により算出された信頼度と、上記像間変形量推定手段で推定された重像を形成する像間の変形量と、に基づいて、上記画像入力手段で入力された重像画像に含まれる重像を形成する像間の変形量を決定する重像間変形量決定手段と、
を有することを特徴とする画像処理装置。

（対応する実施形態）
この（１）に記載の画像処理装置に関する実施形態は、第１実施形態が対応する。その実施形態において、例えば、入力部１１が上記画像入力手段に、像間変形量推定部１４が上記像間変形量推定手段に、信頼度算出部１５が上記信頼度算出手段に、像間変形量決定部１６が上記重像間変形量決定手段に、それぞれ対応する。

（作用効果）
この（１）に記載の画像処理装置によれば、重像画像に含まれる重像を形成する像間の変形量を計測する場合に、その計測結果に対する信頼度を算出し、その信頼度の度合いにより、より信頼度の高い計測結果を重視し、信頼度の低い計測結果を低く評価することで、より安定して像間の変形量を計測することが可能となる。

（２） 上記信頼度算出手段は、処理対象となる重像画像の強度の変動量を上記信頼度として算出することを特徴とする（１）に記載の画像処理装置。

（対応する実施形態）
この（２）に記載の画像処理装置に関する実施形態は、第１実施形態が対応する。

（作用効果）
この（２）に記載の画像処理装置によれば、重像画像の生成されない平坦部から推定した像間の変形量を低い信頼度とすることができるので、より信頼度の精度を高めることが可能となる。

（３） 上記重像画像に含まれる重像を形成する一つの象が他の一つの像に対して本来変形する方向を記憶する像間変形方向記憶手段をさらに有することを特徴とする（１）に記載の画像処理装置。

（対応する実施形態）
この（３）に記載の画像処理装置に関する実施形態は、第１実施形態が対応する。その実施形態において、例えば、像間変形方向算出・記憶部１３が上記像間変形方向記憶手段に対応する。

（作用効果）
この（３）に記載の画像処理装置によれば、像間の変形方向を算出する必要がないので、より高速に測定結果が得られる。

（４） 上記信頼度算出手段は、上記像間変形方向記憶手段に記憶されている上記変形する方向の、処理対象となる重像画像の強度の変動量を上記信頼度として算出することを特徴とする（３）に記載の画像処理装置。

（対応する実施形態）
この（４）に記載の画像処理装置に関する実施形態は、第１実施形態が対応する。

（作用効果）
この（４）に記載の画像処理装置によれば、像間の変形方向に直交するエッジから推定した変形量を信頼度の高い推定値とすることで、より信頼度の精度を高めることが可能となる。

（５） 上記信頼度算出手段は、上記像間変形方向記憶手段に記憶されている上記変形する方向の、処理対象となる重像画像の強度の変動量と、上記変形する方向に直交する方向の、処理対象となる重像画像の強度の変動量と、の相対値を上記信頼度として算出することを特徴とする（３）に記載の画像処理装置。

（対応する実施形態）
この（５）に記載の画像処理装置に関する実施形態は、第１実施形態が対応する。

（作用効果）
この（５）に記載の画像処理装置によれば、像間の変形量推定に利用される像間の変形方向に直交するエッジと、変形量推定に寄与しづらい像間の変形方向に沿ったエッジとの比を利用することで、より信頼度の精度を高めることが可能となる。

（６） 上記信頼度算出手段は、上記像間変形方向記憶手段に記憶されている上記変形する方向の、処理対象となる重像画像の強度の変動量の周期性を上記信頼度として算出することを特徴とする（３）に記載の画像処理装置。

（対応する実施形態）
この（６）に記載の画像処理装置に関する実施形態は、第１実施形態が対応する。

（作用効果）
この（６）に記載の画像処理装置によれば、周期性をもった部分から推定した像間の変形量を低い信頼度とすることができるので、より信頼度の精度を高めることが可能となる。

（７） 上記信頼度算出手段は、上記像間変形量推定手段で推定された上記重像を形成する像間の変形量の変形方向と、上記像間変形方向記憶手段に記憶されている上記変形する方向と、の方向の同一性を上記信頼度として算出することを特徴とする（３）に記載の画像処理装置。

（対応する実施形態）
この（７）に記載の画像処理装置に関する実施形態は、第１実施形態が対応する。

（作用効果）
この（７）に記載の画像処理装置によれば、記憶されている変形方向と異なる方向を持つ変形量が推定された場合に、その変形量の信頼度を低くすることで、より信頼度の精度を高めることが可能となる。

（８） 上記信頼度算出手段は、上記像間変形量推定手段で推定された上記重像を形成する像間の変形量と、既に周囲で求められている重像を形成する像間の変形量と、の同一性を上記信頼度として算出することを特徴とする（１）に記載の画像処理装置。

（対応する実施形態）
この（８）に記載の画像処理装置に関する実施形態は、第１実施形態が対応する。

（作用効果）
この（８）に記載の画像処理装置によれば、周囲で求められている像間の変形量と同様の像間の変形量が推定されたときに、その変形量の信頼度を高くすることで、より信頼度の精度を高めることが可能となる。

（９） 上記像間変形量推定手段は、上記重像画像の異なる位置にある重像を形成する像間の類似度を算出する類似度算出手段を有し、
上記信頼度算出手段は、上記像間変形量推定手段で推定された重像を形成する像間の変形量に対応する上記類似度算出手段で算出される類似度の大きさを上記信頼度として算出とする、
ことを特徴とする（１）に記載の画像処理装置。

（対応する実施形態）
この（９）に記載の画像処理装置に関する実施形態は、第１実施形態が対応する。

（作用効果）
この（９）に記載の画像処理装置によれば、類似度が高く評価された像間の変形量ほど、より信頼度が高い変形量であるとすることができるので、より信頼度の精度を高めることが可能となる。

（１０） 上記像間変形量推定手段は、上記重像画像の異なる位置にある重像を形成する像間の類似度を算出する類似度算出手段を有し、
上記信頼度算出手段は、上記類似度算出手段で求められる類似度の分布の形状から上記類似度を算出する、
ことを特徴とする（１）に記載の画像処理装置。

（対応する実施形態）
この（１０）に記載の画像処理装置に関する実施形態は、第１実施形態が対応する。

（作用効果）
この（１０）に記載の画像処理装置によれば、類似度のピークがよりはっきりとした形で現れた像間の変形量ほど、より信頼度が高い変形量であるとすることができるので、より信頼度の精度を高めることが可能となる。

（１１） 上記信頼度算出手段は、上記信頼度の算出処理を上記画像入力手段により入力された画像の部分領域毎に行うことを特徴とする（１）に記載の画像処理装置。

（対応する実施形態）
この（１１）に記載の画像処理装置に関する実施形態は、第１実施形態が対応する。

（作用効果）
この（１１）に記載の画像処理装置によれば、重像画像の部分領域毎に、詳細な像間の変形量を求めることができ、また、同時にその部分領域毎の像間の変形量に対する信頼度も詳細に求めることができる。

（１２） 上記信頼度算出手段は、上記信頼度の算出処理を上記画像入力手段により入力された画像の部分領域毎に行って部分毎の信頼度を生成し、それらを統合して一つの信頼度マップを生成する信頼度マップ生成手段を有することを特徴とする（１）に記載の画像処理装置。

（対応する実施形態）
この（１２）に記載の画像処理装置に関する実施形態は、第１実施形態が対応する。

（作用効果）
この（１２）に記載の画像処理装置によれば、画像の部分領域毎に決定された信頼度が一つに統合され、一つのマップとして後に利用する画像認識手法等で利用し易くなる。

（１３） 上記像間変形量推定手段は、上記画像入力手段により入力された画像の部分領域毎に重像を形成する像間の変形量を推定し、
上記信頼度算出手段は、上記画像の上記部分領域毎に信頼度を生成し、
上記像間変形量決定手段は、上記像間変形量推定手段の上記部分領域毎の重像を形成する像間の変形量の推定結果を、上記信頼度生成手段の上記部分領域毎の信頼度に基づき統合処理を行う変形量統合手段を有する
ことを特徴とする（１）に記載の画像処理装置。

（対応する実施形態）
この（１３）に記載の画像処理装置に関する実施形態は、第１実施形態が対応する。

（作用効果）
この（１３）に記載の画像処理装置によれば、画像の部分領域毎に決定された重像を形成する像間の変形量が一つに統合され、一つのマップとして後に利用する画像認識手法等で利用し易くなる。

（１４） 被写体の光束を結像する撮影光学系と、
上記撮影光学系内において像を多重に結像させる多重像結像手段と、
上記撮影光学系からの光を電気信号に変換する光電変換手段と、
上記光電変換手段で変換された電気信号から画像信号を生成する画像信号生成手段と、
上記撮影光学系、上記多重像結像手段、上記光電変換手段及び上記画像信号生成手段により生成された、少なくとも２つ以上の像が多重化されている重像画像に含まれる重像を形成する像間の変形量を推定する像間変形量推定手段と、
上記像間変形量推定手段により推定された上記重像を形成する像間の変形量の信頼度を算出する信頼度算出手段と、
上記信頼度算出手段により算出された信頼度と、上記像間変形量推定手段で推定された重像を形成する像間の変形量と、に基づいて、上記生成された重像画像に含まれる重像を形成する像間の変形量を決定する重像間変形量決定手段と、
を有することを特徴とする撮像装置。

（対応する実施形態）
この（１４）に記載の撮像装置に関する実施形態は、第３実施形態が対応する。その実施形態において、例えば、撮影光学系２１が上記撮影光学系に、多重像結像手段２１Ａが上記多重像結像手段に、撮像部２２が上記光電変換手段及び画像信号生成手段に、像間変形量推定部２５が上記像間変形量推定手段に、信頼度算出部２６が上記信頼度算出手段に、像間変形量決定部２７が上記重像間変形量決定手段に、それぞれ対応する。

（作用効果）
この（１４）に記載の撮像装置によれば、重像画像に含まれる重像を形成する像間の変形量を計測する場合に、その計測結果に対する信頼度を算出し、その信頼度の度合いにより、より信頼度の高い計測結果を重視し、信頼度の低い計測結果を低く評価することで、より安定して像間の変形量を計測することが可能となる。

（１５） 上記撮像装置は、上記信頼度算出手段において算出された信頼度が低かった場合に、上記撮影光学系、上記多重像結像手段、上記光電変換手段及び上記画像信号生成手段より重像画像の再撮影を行うことを特徴とする（１４）に記載の撮像装置。

（対応する実施形態）
この（１５）に記載の撮像装置に関する実施形態は、第３実施形態が対応する。

（作用効果）
この（１５）に記載の撮像装置によれば、ノイズの影響や誤動作による計測ミスをリカバーできる。

（１６） 上記撮像装置は、上記信頼度算出手段において算出された信頼度が低かった場合に、上記撮像光学系、上記多重像結像手段及び上記光電変換手段で構成されるシステムの構成を変化させて、上記撮影光学系、上記多重像結像手段、上記光電変換手段及び上記画像信号生成手段より重像画像の再撮影を行うことを特徴とする（１４）に記載の撮像装置。

（対応する実施形態）
この（１６）に記載の撮像装置に関する実施形態は、第３実施形態が対応する。

（作用効果）
この（１６）に記載の撮像装置によれば、重像を形成する像間の変形方向と被写体のエッジの方向性に起因する変形量推定の不明確さを改善し、信頼度を高めることが可能となる。

（１７） 上記信頼度算出手段は、処理対象となる重像画像の強度の変動量を上記信頼度として算出することを特徴とする（１４）に記載の撮像装置。

（対応する実施形態）
この（１７）に記載の撮像装置に関する実施形態は、第３実施形態が対応する。

（作用効果）
この（１７）に記載の撮像装置によれば、重像画像の生成されない平坦部から推定した像間の変形量を低い信頼度とすることができるので、より信頼度の精度を高めることが可能となる。

（１８） 上記重像画像に含まれる重像を形成する一つの象が他の一つの像に対して本来変形する方向を記憶する像間変形方向記憶手段をさらに有することを特徴とする（１４）に記載の撮像装置。

（対応する実施形態）
この（１８）に記載の撮像装置に関する実施形態は、第３実施形態が対応する。その実施形態において、例えば、像間変形方向算出・記憶部２４が上記像間変形方向記憶手段に対応する。

（作用効果）
この（１８）に記載の撮像装置によれば、像間の変形方向を算出する必要がないので、より高速に測定結果が得られる。

（１９） 上記信頼度算出手段は、上記像間変形方向記憶手段に記憶されている上記変形する方向の、処理対象となる重像画像の強度の変動量を上記信頼度として算出することを特徴とする（１８）に記載の撮像装置。

（対応する実施形態）
この（１９）に記載の撮像装置に関する実施形態は、第３実施形態が対応する。

（作用効果）
この（１９）に記載の撮像装置によれば、像間の変形方向に直交するエッジから推定した変形量を高い推定値とすることで、より信頼度の精度を高めることが可能となる。

（２０） 上記信頼度算出手段は、上記像間変形方向記憶手段に記憶されている上記変形する方向の、処理対象となる重像画像の強度の変動量と、上記変形する方向に直交する方向の、処理対象となる重像画像の強度の変動量と、の相対値を上記信頼度として算出することを特徴とする（１８）に記載の撮像装置。

（対応する実施形態）
この（２０）に記載の撮像装置に関する実施形態は、第３実施形態が対応する。

（作用効果）
この（２０）に記載の撮像装置によれば、像間の変形量推定に利用される像間の変形方向に直交するエッジと、変形量推定に寄与しづらい像間の変形方向に沿ったエッジとの比を利用することで、より信頼度の精度を高めることが可能となる。

（２１） 上記信頼度算出手段は、上記像間変形方向記憶手段に記憶されている上記変形する方向の、処理対象となる重像画像の強度の変動量の周期性を上記信頼度として算出することを特徴とする（１８）に記載の撮像装置。

（対応する実施形態）
この（２１）に記載の撮像装置に関する実施形態は、第３実施形態が対応する。

（作用効果）
この（２１）に記載の撮像装置によれば、周期性をもった部分から推定した像間の変形量を低い信頼度とすることができるので、より信頼度の精度を高めることが可能となる。

（２２） 上記信頼度算出手段は、上記像間変形量推定手段で推定された上記重像を形成する像間の変形量の変形方向と、上記像間変形方向記憶手段に記憶されている上記変形する方向と、の方向の同一性を上記信頼度として算出することを特徴とする（１８）に記載の撮像装置。

（対応する実施形態）
この（２２）に記載の撮像装置に関する実施形態は、第３実施形態が対応する。

（作用効果）
この（２２）に記載の撮像装置によれば、記憶されている変形方向と異なる方向を持つ変形量が推定された場合に、その変形量の信頼度を低くすることで、より信頼度の精度を高めることが可能となる。

（２３） 上記信頼度算出手段は、上記像間変形量推定手段で推定された上記重像を形成する像間の変形量と、既に周囲で求められている重像を形成する像間の変形量と、の同一性を上記信頼度として算出することを特徴とする（１４）に記載の撮像装置。

（対応する実施形態）
この（２３）に記載の撮像装置に関する実施形態は、第３実施形態が対応する。

（作用効果）
この（２３）に記載の撮像装置によれば、周囲で求められている像間の変形量と同様の像間の変形量が推定されたときに、その変形量の信頼度を高くすることで、より信頼度の精度を高めることが可能となる。

（２４） 上記像間変形量推定手段は、上記重像画像の異なる位置にある重像を形成する像間の類似度を算出する類似度算出手段を有し、
上記信頼度算出手段は、上記像間変形量推定手段で推定された重像を形成する像間の変形量に対応する上記類似度算出手段で算出される類似度の大きさを上記信頼度として算出とする、
ことを特徴とする（１４）に記載の撮像装置。

（対応する実施形態）
この（２４）に記載の撮像装置に関する実施形態は、第３実施形態が対応する。

（作用効果）
この（２４）に記載の撮像装置によれば、類似度が高く評価された像間の変形量ほど、より信頼度が高い変形量であるとすることができるので、より信頼度の精度を高めることが可能となる。

（２５） 上記像間変形量推定手段は、上記重像画像の異なる位置にある重像を形成する像間の類似度を算出する類似度算出手段を有し、
上記信頼度算出手段は、上記類似度算出手段で求められる類似度の分布の形状から上記類似度を算出する、
ことを特徴とする（１４）に記載の撮像装置。

（対応する実施形態）
この（２５）に記載の撮像装置に関する実施形態は、第３実施形態が対応する。

（作用効果）
この（２５）に記載の撮像装置によれば、類似度のピークがよりはっきりとした形で現れた像間の変形量ほど、より信頼度が高い変形量であるとすることができるので、より信頼度の精度を高めることが可能となる。

（２６） 上記信頼度算出手段は、上記信頼度の算出処理を上記画像入力手段により入力された画像の部分領域毎に行うことを特徴とする（１４）に記載の撮像装置。

（対応する実施形態）
この（２６）に記載の撮像装置に関する実施形態は、第３実施形態が対応する。

（作用効果）
この（２６）に記載の撮像装置によれば、重像画像の部分領域毎に、詳細な像間の変形量を求めることができ、また、同時にその部分領域毎の像間の変形量に対する信頼度も詳細に求めることができる。

（２７） 上記信頼度算出手段は、上記信頼度の算出処理を上記画像入力手段により入力された画像の部分領域毎に行って部分毎の信頼度を生成し、それらを統合して一つの信頼度マップを生成する信頼度マップ生成手段を有することを特徴とする（１４）に記載の撮像装置。

（対応する実施形態）
この（２７）に記載の撮像装置に関する実施形態は、第３実施形態が対応する。

（作用効果）
この（２７）に記載の撮像装置によれば、画像の部分領域毎に決定された信頼度が一つに統合され、一つのマップとして後に利用する画像認識手法等で利用し易くなる。

（２８） 上記像間変形量推定手段は、上記画像入力手段により入力された画像の部分領域毎に重像を形成する像間の変形量を推定し、
上記信頼度算出手段は、上記画像の上記部分領域毎に信頼度を生成し、
上記像間変形量決定手段は、上記像間変形量推定手段の上記部分領域毎の重像を形成する像間の変形量の推定結果を、上記信頼度生成手段の上記部分領域毎の信頼度に基づき統合処理を行う変形量統合手段を有する
ことを特徴とする（１４）に記載の撮像装置。

（対応する実施形態）
この（２８）に記載の撮像装置に関する実施形態は、第３実施形態が対応する。

（作用効果）
この（２８）に記載の撮像装置によれば、画像の部分領域毎に決定された重像を形成する像間の変形量が一つに統合され、一つのマップとして後に利用する画像認識手法等で利用し易くなる。

（２９） 画像の入力処理を行う画像入力ステップと、
上記画像入力ステップで入力された観測対象の像が多重になっている重像画像に含まれる重像を形成する像間の変形量を推定する像間変形量推定ステップと、
上記像間変形量推定ステップで推定された上記重像を形成する像間の変形量の信頼度を算出する信頼度算出ステップと、
上記信頼度算出ステップで算出された信頼度と、上記像間変形量推定ステップで推定された重像を形成する像間の変形量と、に基づいて、上記画像入力ステップで入力された重像画像に含まれる重像を形成する像間の変形量を決定する重像間変形量決定ステップと、
をコンピュータに発揮させることを特徴とする画像処理プログラム。

（対応する実施形態）
この（２９）に記載の画像処理プログラムに関する実施形態は、第２実施形態が対応する。その実施形態において、ステップＳ１が上記画像入力ステップに、ステップＳ４が上記像間変形量推定ステップに、ステップＳ５が上記信頼度算出ステップに、ステップＳ７が上記重像間変形量決定ステップに、それぞれ対応する。

（作用効果）
この（２９）に記載の画像処理プログラムによれば、重像画像に含まれる重像を形成する像間の変形量を計測する場合に、その計測結果に対する信頼度を算出し、その信頼度の度合いにより、より信頼度の高い計測結果を重視し、信頼度の低い計測結果を低く評価することで、より安定して像間の変形量を計測することが可能となる。

図１は、本発明の第１実施形態に係る画像処理装置の構成を示す図である。 図２は、重像画像の自己相関関数値のマップ（自己相関関数の形状）の例を示す図である。 図３は、重像画像の性質を説明するための図である。 図４は、本発明の第２実施形態に係る画像処理プログラムのフローチャートを示す図である。 図５は、本発明の第３実施形態に係る撮像装置の構成を示す図である。 図６は、重像画像の例を示す図である。

１０…画像処理装置、 １１…入力部、 １２，２３…記録部、 １３，２４…像間変形方向算出・記憶部、 １４，２５…像間変形量推定部、 １５，２６…信頼度算出部、 １６，２７…像間変形量決定部、 １７，２８…出力部、 １８，２９…制御部、 １９，３０…外部Ｉ／Ｆ部、 ２０…撮像装置、 ２１…撮影光学系、 ２１Ａ…多重像結像手段、 ２２…撮像部、 ３１…ＡＦモータ、 ３２…合焦点制御部、 １００…平坦部、 １０１…像間の変形方向に直交するエッジ、 １０２…像間の変形方向に沿ったエッジ、 １０３…第２ピークの大きさ、 １０４…第２ピークと第３ピークの落差。

Claims (14)

1. 画像の入力処理を行う画像入力手段と、
   上記画像入力手段により入力された観測対象の像が多重になっている重像画像に含まれる重像を形成する像間の変形量を推定する像間変形量推定手段と、
   上記像間変形量推定手段により推定された上記重像を形成する像間の変形量の信頼度を算出する信頼度算出手段と、
   上記信頼度算出手段により算出された信頼度と、上記像間変形量推定手段で推定された重像を形成する像間の変形量と、に基づいて、上記画像入力手段で入力された重像画像に含まれる重像を形成する像間の変形量を決定する重像間変形量決定手段と、
   上記重像画像に含まれる重像を形成する一つの像が他の一つの像に対して本来変形する方向を記憶する像間変形方向記憶手段と、
   を有し、
   上記信頼度算出手段は、上記像間変形量推定手段で推定された上記重像を形成する像間の変形量の変形方向と、上記像間変形方向記憶手段に記憶されている上記変形する方向と、の方向の同一性を上記信頼度として算出することを特徴とする画像処理装置。
2. 画像の入力処理を行う画像入力手段と、
   上記画像入力手段により入力された観測対象の像が多重になっている重像画像に含まれる重像を形成する像間の変形量を推定する像間変形量推定手段と、
   上記像間変形量推定手段により推定された上記重像を形成する像間の変形量の信頼度を算出する信頼度算出手段と、
   上記信頼度算出手段により算出された信頼度と、上記像間変形量推定手段で推定された重像を形成する像間の変形量と、に基づいて、上記画像入力手段で入力された重像画像に含まれる重像を形成する像間の変形量を決定する重像間変形量決定手段と、
   を有し、
   上記信頼度算出手段は、上記像間変形量推定手段で推定された上記重像を形成する像間の変形量と、既に周囲で求められている重像を形成する像間の変形量と、の同一性を上記信頼度として算出することを特徴とする画像処理装置。
3. 上記信頼度算出手段は、上記信頼度の算出処理を上記画像入力手段により入力された画像の部分領域毎に行うことを特徴とする請求項１又は２に記載の画像処理装置。
4. 上記信頼度算出手段は、上記信頼度の算出処理を上記画像入力手段により入力された画像の部分領域毎に行って部分毎の信頼度を生成し、それらを統合して一つの信頼度マップを生成する信頼度マップ生成手段を有することを特徴とする請求項１又は２に記載の画像処理装置。
5. 上記像間変形量推定手段は、上記画像入力手段により入力された画像の部分領域毎に重像を形成する像間の変形量を推定し、
   上記信頼度算出手段は、上記画像の上記部分領域毎に信頼度を生成し、
   上記像間変形量決定手段は、上記像間変形量推定手段の上記部分領域毎の重像を形成する像間の変形量の推定結果を、上記信頼度生成手段の上記部分領域毎の信頼度に基づき統合処理を行う変形量統合手段を有する
   ことを特徴とする請求項１又は２に記載の画像処理装置。
6. 被写体の光束を結像する撮影光学系と、
   上記撮影光学系内において像を多重に結像させる多重像結像手段と、
   上記撮影光学系からの光を電気信号に変換する光電変換手段と、
   上記光電変換手段で変換された電気信号から画像信号を生成する画像信号生成手段と、 上記撮影光学系、上記多重像結像手段、上記光電変換手段及び上記画像信号生成手段により生成された、少なくとも２つ以上の像が多重化されている重像画像に含まれる重像を形成する像間の変形量を推定する像間変形量推定手段と、
   上記像間変形量推定手段により推定された上記重像を形成する像間の変形量の信頼度を算出する信頼度算出手段と、
   上記信頼度算出手段により算出された信頼度と、上記像間変形量推定手段で推定された重像を形成する像間の変形量と、に基づいて、上記生成された重像画像に含まれる重像を形成する像間の変形量を決定する重像間変形量決定手段と、
   上記重像画像に含まれる重像を形成する一つの象が他の一つの像に対して本来変形する方向を記憶する像間変形方向記憶手段と、
   を有し、
   上記信頼度算出手段は、上記像間変形量推定手段で推定された上記重像を形成する像間の変形量の変形方向と、上記像間変形方向記憶手段に記憶されている上記変形する方向と、の方向の同一性を上記信頼度として算出することを特徴とする撮像装置。
7. 被写体の光束を結像する撮影光学系と、
   上記撮影光学系内において像を多重に結像させる多重像結像手段と、
   上記撮影光学系からの光を電気信号に変換する光電変換手段と、
   上記光電変換手段で変換された電気信号から画像信号を生成する画像信号生成手段と、 上記撮影光学系、上記多重像結像手段、上記光電変換手段及び上記画像信号生成手段により生成された、少なくとも２つ以上の像が多重化されている重像画像に含まれる重像を形成する像間の変形量を推定する像間変形量推定手段と、
   上記像間変形量推定手段により推定された上記重像を形成する像間の変形量の信頼度を算出する信頼度算出手段と、
   上記信頼度算出手段により算出された信頼度と、上記像間変形量推定手段で推定された重像を形成する像間の変形量と、に基づいて、上記生成された重像画像に含まれる重像を形成する像間の変形量を決定する重像間変形量決定手段と、
   を有し、
   上記信頼度算出手段は、上記像間変形量推定手段で推定された上記重像を形成する像間の変形量と、既に周囲で求められている重像を形成する像間の変形量と、の同一性を上記信頼度として算出することを特徴とする撮像装置。
8. 上記撮像装置は、上記信頼度算出手段において算出された信頼度が低かった場合に、上記撮影光学系、上記多重像結像手段、上記光電変換手段及び上記画像信号生成手段より重像画像の再撮影を行うことを特徴とする請求項６又は７に記載の撮像装置。
9. 上記撮像装置は、上記信頼度算出手段において算出された信頼度が低かった場合に、上記撮像光学系、上記多重像結像手段及び上記光電変換手段で構成されるシステムの構成を変化させて、上記撮影光学系、上記多重像結像手段、上記光電変換手段及び上記画像信号生成手段より重像画像の再撮影を行うことを特徴とする請求項６又は７に記載の撮像装置。
10. 上記信頼度算出手段は、上記信頼度の算出処理を上記画像入力手段により入力された画像の部分領域毎に行うことを特徴とする請求項６又は７に記載の撮像装置。
11. 上記信頼度算出手段は、上記信頼度の算出処理を上記画像入力手段により入力された画像の部分領域毎に行って部分毎の信頼度を生成し、それらを統合して一つの信頼度マップを生成する信頼度マップ生成手段を有することを特徴とする請求項６又は７に記載の撮像装置。
12. 上記像間変形量推定手段は、上記画像入力手段により入力された画像の部分領域毎に重像を形成する像間の変形量を推定し、
    上記信頼度算出手段は、上記画像の上記部分領域毎に信頼度を生成し、
    上記像間変形量決定手段は、上記像間変形量推定手段の上記部分領域毎の重像を形成する像間の変形量の推定結果を、上記信頼度生成手段の上記部分領域毎の信頼度に基づき統合処理を行う変形量統合手段を有する
    ことを特徴とする請求項６又は７に記載の撮像装置。
13. 画像の入力処理を行う画像入力ステップと、
    上記画像入力ステップで入力された観測対象の像が多重になっている重像画像に含まれる重像を形成する像間の変形量を推定する像間変形量推定ステップと、
    上記像間変形量推定ステップで推定された上記重像を形成する像間の変形量の信頼度を算出する信頼度算出ステップと、
    上記信頼度算出手段ステップで算出された信頼度と、上記像間変形量推定ステップで推定された重像を形成する像間の変形量と、に基づいて、上記画像入力ステップで入力された重像画像に含まれる重像を形成する像間の変形量を決定する重像間変形量決定ステップと、
    上記重像画像に含まれる重像を形成する一つの像が他の一つの像に対して本来変形する方向を記憶する像間変形方向記憶ステップと、
    をコンピュータに発揮させ、
    上記信頼度算出ステップにおいて、上記像間変形量推定ステップで推定された上記重像を形成する像間の変形量の変形方向と、上記像間変形方向記憶ステップで記憶されている上記変形する方向と、の方向の同一性を上記信頼度として算出することを特徴とする画像処理プログラム。
14. 画像の入力処理を行う画像入力ステップと、
    上記画像入力ステップで入力された観測対象の像が多重になっている重像画像に含まれる重像を形成する像間の変形量を推定する像間変形量推定ステップと、
    上記像間変形量推定ステップで推定された上記重像を形成する像間の変形量の信頼度を算出する信頼度算出ステップと、
    上記信頼度算出手段ステップで算出された信頼度と、上記像間変形量推定ステップで推定された重像を形成する像間の変形量と、に基づいて、上記画像入力ステップで入力された重像画像に含まれる重像を形成する像間の変形量を決定する重像間変形量決定ステップと、
    をコンピュータに発揮させ、
    上記信頼度算出ステップにおいて、上記像間変形量推定ステップで推定された上記重像を形成する像間の変形量と、既に周囲で求められている重像を形成する像間の変形量と、の同一性を上記信頼度として算出することを特徴とする画像処理プログラム。

Images