JP5079552B2 - 画像処理装置、撮像装置及び画像処理方法 - Google Patents

Description

本発明は、撮像された被写体像が多重となっている多重像画像から重像間の変位を取得する画像処理装置、撮像装置及び画像処理方法に関する。

従来、カメラなどの撮像装置で、被写体像を多重に撮像可能な機能を有するものがある。図１１はこのような多重像画像の１つを例示するものである。同図では、「木の枝に止まっている雀」が２重像の画像として撮影されている。

以下本発明で多重像画像とは、被写体像が複数の像として多重に存在している画像全般を示し、具体的には、被写体像を多重に結像することで撮像された画像、または電気的、光学的作用によって被写体像が多重化されているゴースト画像、フレア画像、または複数画像の位置合わせ、重ね合わせを行なった際の画像処理の失敗によって被写体像が多重化されている画像などを指すものとする。

多重像画像の重像間変位、すなわち多重像画像内での複数の被写体像の「ずれ」の幅を計測することにより、被写体までの距離を計測する手法が提案されている。

具体的には、例えば、透明板に映る２重像を用いた被写体距離測定を行なう技術（特許文献１）や、複数開口を持つ絞り装置を利用して２重像を取得し、被写体距離を計測する技術（特許文献２）がある。

前記各技術における重像間変位の計測方法では、多重像画像の自己相関を表す自己相関関数の値である自己相関値を算出し、得た自己相関値における第２ピークを探索することにより重像間変位を計測している。
因みに、自己相関値の計算式の例として次式

を示す。
前記（１）式によって表される重像間変位τの変化に伴う自己相関値の変化を図１２に示す。このような自己相関関数Ｒ（τ）の値である自己相関値を算出して、重像間の相関の度合いを表す、図示するような第２ピークを検出することで重像間の変位量を計測している。

より具体的には、第１ピークと第２ピークのτの値の差を実際の重像間変位としている。ここで、第１ピークと第２ピークの各々のピークトップのτを用いてもよいが、この方法に限定されない。公知の方法により求めた第１ピークと第２ピークに各々対応するτを適宜用いれば良い。なお、重像間変位の単位としてピクセル数を用いることが可能である。ここで第１ピーク、第２ピークとはピーク強度がそれぞれ１番目と２番目に大きなピークを指す。

なお、ここでは１次元空間において自己相関関数の算出を行なっている。
例えば、重像画像の重像間の変位方向が既知であるとすれば、重像間の変位方向に沿った１次元探索により重像間変位が探索可能となる。

前記特許文献１記載の透明板に映る２重像を撮像する構成において、光学的キャリブレーション手法により得られる光学情報から、重像間の変位方向を予め取得することが可能となる。

光学情報を得るための構成として、図１３及び図１４を挙げる。図１３は、撮像素子ＩＰと多重結像手段（透明板ＴＰ）との関係を示す。すなわち多重結合手段とは、デジタルカメラ等の撮像装置が備えている撮像光学系において、同一被写体を異なる光路を介して撮影し、撮像素子ＩＰ上で同一の被写体による複数の被写体像を異なる位置に結像させることのできる光学装置を指すものとする。図１４は、前記図１３のｕ−ｖ平面における多重像の重像間変位方向を図中の矢印で示す。

また、重像画像の重像間の変位方向が未知である場合には、２次元空間における自己相関値の測定結果から第２ピークの検出を行なえばよい。
特開２００６−３２９８９７号公報 特開平７−１３５５９７号公報

前記特許文献１及び２に記載された技術を用い、撮像装置で重像画像を撮影して、得た重像画像の重像間変位を計測することで被写体距離の計測を行なう場合、被写体距離の計測を行なうこと自体は可能であるが、重像間の変位計測については精度が足りず、結果として被写体距離の計測精度も不十分となる場合があった。また、変位計測の精度が画像（あるいは画像の撮影状態）に依存して、画像によっては精度が著しく落ちる場合もあった。

本発明は前記のような実情に鑑みてなされたもので、その目的とするところは、重像間の変位計測を高い精度で行うことが可能な画像処理装置、撮像装置及び画像処理方法を提供することにある。

本発明の一態様は、被写体像が多重化された多重像画像を取得する画像取得部と、前記画像取得部で取得した多重像画像に対してフィルタリングを行なうフィルタリング部と、前記フィルタリング部で得たフィルタリング済みの画像から、多重像の自己相関値を算出する自己相関値算出部と、前記自己相関値算出部で得た自己相関値を用いて多重像画像に含まれる同一の被写体像の変位量である重像間変位を算出する重像間変位算出部と、前記多重像画像に含まれる前記同一の被写体像の変位方向である重像間変位方向が記憶された重像間変位方向記憶部とを具備し、前記フィルタリング部は、前記重像間変位方向記憶部に記憶された重像間変位方向におけるフィルタリングを行なうことを特徴とする画像処理装置である。

本発明の他の態様は、被写体像を多重に結像させる撮像光学系と、前記撮像光学系による結像光を光電変換して画像信号を取得する撮像素子と、前記撮像素子で撮像した、被写体像が多重化された多重像画像に対し、フィルタリングを行なうフィルタリング部と、前記フィルタリング部で得たフィルタリング済みの画像から、多重像に含まれる同一の被写体像の変位量である自己相関値を算出する自己相関値算出部と、前記自己相関値算出部で得た自己相関値を用いて多重像画像の重像間変位を算出する重像間変位算出部と、前記多重像画像に含まれる前記同一の被写体像の変位方向である重像間変位方向が記憶された重像間変位方向記憶部とを具備し、前記フィルタリング部は、前記重像間変位方向記憶部に記憶された重像間変位方向におけるフィルタリングを行なうことを特徴とする撮像装置である。

本発明により、重像間の変位計測の精度を充分高いものとすることが可能となる。

（第１の実施形態）
以下本発明の画像処理装置の第１の実施形態について図面を参照して説明する。
なお、以下に示す画像信号はすべて非圧縮のデジタル化された画像信号であり、フィルタリング処理等も同様にデジタル値による演算で実現するものである。この演算に関しては、ハードウェア回路及びソフトウェア処理のいずれでも実現することが可能である。

図１は、同実施形態に係る画像処理装置１０の機能回路の構成を示すもので、１０Ａが画像取得部、１０Ｂが重像間変位計測部である。

前記画像取得部１０Ａは、画像記憶部１０１、多重像画像読出部１０２、及び重像間変位方向記憶部１０３から構成される。画像記憶部１０１が記憶する多重像画像を多重像画像読出部１０２により重像間変位計測部１０Ｂへ読出す。

また、重像間変位方向記憶部１０３は前記画像記憶部１０１が記憶する多重像画像中の重像間の変位方向の情報を記憶しており、その記憶内容は重像間変位計測部１０Ｂに読出される。

なお、多重像画像中の重像間変位方向は、重像間のズレの方向であり、多重像画像中の画素或いは所定の単位領域毎に与えられる。本実施形態においては、このような多重像画像中の重像間変位方向は、多重像を撮像した時の撮像条件で決まるものであり、重像間変位方向記憶部１０３に、画像に対する付加情報として記憶されている。

重像間変位計測部１０Ｂは、フィルタリング部１０４、リング済み画像記憶部１０５、自己相関値算出部１０６、及び重像間変位算出部１０７から構成される。

前記画像取得部１０Ａの多重像画像読出部１０２が読出した多重像画像、及び重像間変位方向記憶部１０３から読出した重像間変位方向の情報は、共にフィルタリング部１０４に入力される。

フィルタリング部１０４は、後述するフィルタリングにより多重像画像読出部１０２からの多重像画像をフィルタリングした後にフィルタリング済み画像記憶部１０５にフィルタリングされた多重像画像のデータを記憶させる。

このフィルタリング済み画像記憶部１０５に記憶された、フィルタリングされた多重像画像のデータは、自己相関値算出部１０６に読出される。自己相関値算出部１０６では、フィルタリングされた多重像画像のデータから自己相関値が算出され、この自己相関値が重像間変位算出部１０７へ出力される。

自己相関値算出部１０６では、前記重像間変位方向記憶部１０３から読出した重像間変位方向についての自己相関値を算出する。自己相関値を算出する方向を重像間変位方向とすることで自己相関値を算出するための処理時間をより短くすることができる。なお、重像間変位方向の情報が取得できない、または情報がない場合には、２次元空間の全方向において自己相関値を取得する。

重像間変位算出部１０７は、自己相関値算出部１０６からの自己相関値について、多重像の１次元変化方向について第２ピークを検出し、重像間の変位を算出する。

次に前記実施形態の動作について説明する。
図２は、前記画像処理装置１０で実行される処理内容を示すフローチャートである。その処理当初に、画像取得部１０Ａが例えば前記図１１で説明したような多重像画像を取得し、この多重像画像を画像記憶部１０１に記憶する（ステップＳ１０１）。

この画像記憶部１０１に記憶した多重像画像を多重像画像読出部１０２が読出して重像間変位計測部１０Ｂのフィルタリング部１０４に送り、フィルタリングが実行される（ステップＳ１０２）。

フィルタリング部１０４が多重像画像に対して実行するフィルタリングとしては、ハイパスフィルタリング、あるいはハイパスフィルタとローパスフィルタとを組み合わせたバンドパスフィルタリングがある。

ハイパスフィルタリングで用いるフィルタ構成の一例を図３に例示する。
図３は、ハイパスフィルタであるラプラシアンフィルタの構成を示すもので、この種のハイパスフィルタとしては他に、高域強調フィルタなどが考えられる。

また、バンドパスフィルタリングでは、前述した如く前記ハイパスフィルタとローパスフィルタとを組み合わせることで、所定の空間周波数帯域のみを通過させる。

図４は、バンドパスフィルタとしてハイパスフィルタと組み合わせるローパスフィルタを例示するもので、ここではＬＯＧ（Ｌａｐｌａｃｉａｎ Ｏｆ Ｇａｕｓｓｉａｎ）フィルタの通過特性を示す。

このＬＯＧフィルタの他に、ＤＯＧ（Ｄｉｆｆｅｒｅｎｃｅ Ｏｆ Ｇａｕｓｓｉａｎ）フィルタなどのローパスフィルタをハイパスフィルタと組み合わせることで、バンドパスフィルタを構成できる。

なお、前記ＤＯＧフィルタに関しては、Ｄａｖｉｄ Ｇ． Ｌｏｗｅ，”Ｄｉｓｔｉｎｃｔｉｖｅ ｉｍａｇｅ ｆｅａｔｕｒｅｓ ｆｒｏｍ ｓｃａｌｅ−ｉｎｖａｒｉａｎｔ ｋｅｙｐｏｉｎｔｓ，”Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，６０，２（２００４），ｐｐ．９１−１１０に記載されている。

また、前記多重像画像に対するフィルタリングにおいて、重像間変位方向記憶部１０３から重像間変位方向の情報を読出し（ステップＳ１０５）、この重像間変位方向記憶部１０３から読出した重像間変位方向においてフィルタリング部１０４でフィルタリングするものとしてもよい（ステップＳ１０２）。

この場合も、重像間変位方向においてハイパスフィルタリングを行なうものとしてもよいし、ハイパスフィルタとローパスフィルタとを組み合わせてバンドパスフィルタリングを行なうものとしてもよい。

重像間変位方向において使用するハイパスフィルタとしては、前述したものの他に、微分フィルタ、プリューウィットフィルタ、ソーベルフィルタなどが考えられる。
図５にハイパスフィルタであるプリューウィットフィルタの構成を示す。

また、重像間変位方向においてバンドパスフィルタとしてハイパスフィルタと組み合わせて使用するローパスフィルタは、前記多重像画像の場合と同様に、ＬＯＧフィルタやＤＯＧフィルタが考えられる。

前述した如くフィルタリング部１０４がフィルタリングを行ない、その結果をフィルタリング済み画像記憶部１０５に記憶させる。そして、このフィルタリング済み画像記憶部１０５に記憶されたフィルタリング済みの多重像画像が自己相関値算出部１０６に読出されて自己相関を表す自己相関値を算出する（ステップＳ１０３）。自己相関値はたとえば、（１）式により算出することができる。

この自己相関値算出部１０７が算出した自己相関値を用いて、重像間変位算出部１０７が前記図１２で説明した如く第２ピークの位置により重像間の変位量を算出する（ステップＳ１０４）。第１ピークと第２ピークの間隔が重像間の変位量となる。

図１５は、図２におけるステップ１０２のフィルタリングを行なわずに重像間変位算出部１０７を用いて得られた重像間変位τと自己相関値との関係を表している。

図６は、前記フィルタリング部１０４で多重像画像に対して前記図３で示したラプラシアンフィルタを用いたハイパスフィルタリング処理を行なった場合の、重像間変位算出部１０７での算出結果を例示するものである。図１５で示したフィルタリングを行なわない場合においては第２ピークを検出することは不可能であるが、図６においては非常に明瞭な自己相関値の第２ピークが得られていることがわかる。

このように、フィルタリングを行なわない場合においては第２ピークの検出を行なうことが困難であるが、フィルタリングを行なうことにより明瞭な第２ピークを検出することが可能となる。

特に、フィルタリング部１０４で重像間変位方向記憶部１０３から読出した重像間変位方向の情報に対応して多重像画像のハイパスフィルタリングを行なった場合は、より短時間で第２ピークの位置を明確に検出できるため、第１ピークと第２ピークの間隔から、重像間変位算出部１０７は重像間の変位量をより高速に算出することができる。

図７は、前記フィルタリング部１０４で多重像画像に対して前記図３で示したラプラシアンフィルタと前記図４で通過特性を示したＬＯＧフィルタとを組み合わせたバンドパスフィルタリングを行なった場合の、重像間変位算出部１０７での算出結果を例示するものである。この場合も、図１５に示したフィルタリングを行なわない場合に比べて、自己相関値の第２ピークがはるかに明瞭に検出されていることがわかる。

図示する如く、前記図６と比してピーク部分の幅が大きく検出されているものの、やはり第２ピークの位置が明確に検出できるため、重像間変位算出部１０７は重像間の変位量を正確に算出することができる。

また、前記フィルタリング部１０４で重像間変位方向記憶部１０３から読出した結像位置の変化方向の情報に対応して多重像画像のハイパスフィルタリング処理を行なった場合は、前記図７に示した算出結果以上に第２ピークの位置を明確に検出できるため、重像間変位算出部１０８は重像間の変位量をより正確に算出することができる。

図８は、前記フィルタリング部１０４で重像間変位方向記憶部１０３から読出した重像間変位方向の情報に対応して多重像画像に対して前記図５で示したプリューウィットフィルタを用いたハイパスフィルタリングを行なった場合の、重像間変位算出部１０７での算出結果を例示するものである。

図示する如く、ピーク部分の幅が前記図６と図７の中間的な検出結果となっており、同様に第２ピークの位置が図１５に示したフィルタリングを行わない場合に比べてはるかに明確に検出できるため、重像間変位算出部１０７は重像間の変位量を正確に算出することができる。

このように前記実施形態によれば、対象とする多重像画像及び多重像画像の撮影状態に影響を受けず、より高精度に重像間の変位を計測することが可能となる。

加えて、重像間の変位方向に対応してフィルタリングを行なうことにより、自己相関値を算出する重像間変位方向を指定することでより短い時間で処理を行うことが可能である。また、重像画像や重像画像の撮影状態に影響を受けにくくなる。したがって、より高精度に、且つより短時間のうちに重像間の変位を計測することができる。

また、前記実施形態では、フィルタリング部１０４にハイパスフィルタを用いた場合を説明したが、ハイパスフィルタを用いて多重像画像の空間周波数成分中、高周波成分のみを抽出して自己相関値を算出することで、重像間変位を高精度に算出することが可能となる。

さらに前記実施形態では、フィルタリング部１０４にバンドパスフィルタを用いた場合を説明したが、バンドパスフィルタを用いて多重像画像の空間周波数成分中、ノイズを除去しながら高周波成分のみを抽出して自己相関値を算出することで、重像間変位をより高精度に算出することが可能となる。

また、上記実施形態では、重像間変位方向記憶部１０３から読出した重像間変位方向の情報を用いてフィルタリング部１０４でハイパスフィルタまたはバンドパスフィルタを用いる場合について説明したが、これに加えて、重像間変位方向と直交する方向でローパスフィルタによるフィルタリングを実行するものとしてもよい。

例えば、重像間変位方向記憶部１０３からの重像間変位方向に沿ってハイパスフィルタによるフィルタリングを、重像間変位方向とは直交する方向に沿ってローパスフィルタによるフィルタリングを行なうものとすれば、多重像画像の空間周波成分中、ノイズの影響を受けずに高周波成分のみを抽出することで、重像間変位をより高精度に算出することが可能となると共に、一定の重像間変位方向にのみ自己相関値の算出を行えばよいので、処理時間をより短縮できる。

さらに前記とは異なり、重像間変位方向記憶部１０３からの重像間変位方向に沿ってローパスフィルタをハイパスフィルタと組み合わせたバンドパスフィルタによるフィルタリング処理を、重像間変位方向とは直交する方向に沿ってローパスフィルタによるフィルタリング処理を行なうことにより、多重像画像の空間周波成分中、ノイズの影響を受けずに高周波成分のみを抽出することができる。これにより、重像間変位をより高精度に算出することが可能となると共に、一定の重像間変位方向にのみ自己相関値の算出を行えばよいので、処理時間をより短縮できる。

（第２の実施形態）
以下本発明の画像処理装置を撮像装置に適用した場合の第２の実施形態について図面を参照して説明する。
図９は、同実施形態に係る撮像機能を備えた撮像装置２０の機能回路構成を示すもので、２０Ａが撮像部、２０Ｂが重像間変位計測部である。図１０は、前記撮像装置２０で実行される処理内容を示すフローチャートである。

撮像部２０Ａは、撮像光学系２０１、撮像素子２０３、画像記憶部２０４、及び重像間変位方向記憶部２０５を備える。撮像光学系２０１は、撮影光軸に沿った被写体側に多重化部２０２を備え、上記撮像素子２０３の撮像面に多重像画像を結像させる。多重化部２０２は、被写体像を多重化するための機構である。多重化部２０２として、例えば、図１３に示す透明板ＴＰを用いることができる。この場合、多重化部２０２を備えた撮像光学系において、同一被写体を異なる光路を介して撮影することで、撮像素子２０３上で同一の被写体による複数の被写体像を異なる位置に結像させることができる。

なお、多重化部２０２は、図１３の構成に限定されるものではなく、相互にズレを有する重像を得ることができるものであれば、他の構成であってもよい。

この撮像素子２０３で得られた多重像画像の信号は、図示しないＡＧＣ（自動利得制御）アンプ、Ａ／Ｄ変換器等を経てデジタル化された後に画像記憶部２０４に記憶される。そして、この画像記憶部２０４が記憶する多重像画像が重像間変位計測部２０Ｂに読出される。

また、重像間変位方向記憶部２０５には、前記画像記憶部２０４が記憶する多重像画像に対応する重像間変位方向が記憶されている。重像間変位方向は、重像間のズレの方向であり、多重像画像中の画素或いは所定の単位領域毎に与えられる。本実施形態においては、このような多重像画像中の重像間変位方向は、多重像を撮像した時の撮像条件で決まるものであり、重像間変位方向記憶部２０５に画像に対する付加情報として記憶されている。結像位置変化情報記憶部２０５に記憶されている結像位置の変化方向の情報は重像間変位計測部２０Ｂに読出される。

重像間変位計測部２０Ｂは、フィルタリング部２０６及びフィルタリング済み画像記憶部２０７、自己相関値算出部２０８、及び重像間変位算出部２０９を備える。

なお、重像間変位計測部２０Ｂの構成及びその機能は、上記図１の重像間変位計測部１０Ｂと基本的に同様である。重像間変位計測部２０Ｂは、図１における多重像画像読出部１０２、重像間変位方向記憶部１０３に代えて前記画像記憶部２０４、重像間変位方向記憶部２０５からのそれぞれ同様の情報を取得し、重像間変位計測部１０Ｂと同様の処理を行なうもので、その詳細な内容については割愛する。

次に前記実施形態の動作について説明する。
図１０は、前記重像間変位計測装置２０で実行される処理内容を示すフローチャートである。以下、前記図２での処理内容と重複する部分については簡略化し、異なる点について詳述する。

ステップＳ２０１で、撮像部２０Ａで例えば前記図１１で説明したような多重像画像を撮影動作により取得し、画像記憶部２０４に記憶する。

ステップＳ２０２で、画像記憶部２０４に記憶した多重像画像を重像間変位計測部２０Ｂのフィルタリング部２０６がフィルタリングする。

続くステップＳ２０３でフィルタリング済みの多重像画像が自己相関値算出部２０８に読出されて自己相関値が算出される。

ステップＳ２０４で、算出された自己相関値を用いて、重像間変位算出部２０９が第２ピークの位置により重像間の変位量を算出する。第１ピークと第２ピークの間隔が重像間の変位量となる。

また、前記多重像画像に対するフィルタリングにおいて、重像間変位方向記憶部２０５から重像間変位方向の情報を読出し（ステップＳ２０５）、この重像間変位方向記憶部２０５から読出した重像間変位方向においてフィルタリング部２０６でフィルタリングするものとしてもよい（ステップＳ２０２）。

このように前記実施形態によれば、撮像部２０Ａの撮像光学系２０１及び撮像素子２０３を用いた撮影で多重像画像を得た場合に、その多重像画像及び多重像画像の撮影状態に影響を受けず、より高精度に重像間の変位を計測することが可能となる。

加えて、重像間の変位方向に対応してフィルタリングを行なうことにより、自己相関値を算出する重像間変位方向を指定することでより短い時間で処理を行なうことが可能である。また、重像画像や重像画像の撮影状態に影響を受け難くなる。したがって、より高精度に、且つより短時間のうちに重像間の変位を計測することができる。

なお、前記第１及び第２の実施形態ではいずれも、多重像画像として被写体像が２重に存在する２重像画像を用いる場合について説明した。
このように多重像画像を２重像画像に限定して装置を構成することで、重像間変位計測を行なうケース中の多くの画像処理に対処しながら、多重被写体像の変位量を算出する際の算出精度の向上及び算出速度の向上を図ることが可能となる。

しかしながら、本発明で測定の対象とする多重像画像については、前記各実施形態で説明した２重像画像に限らず、３つ以上の重像を持つ多重像であっても、構成を拡張することで容易に対応が可能である。

また、前記第１及び第２の実施形態でフィルタリング部１０４，２０６で用いるものとして説明したハイパスフィルタ及びローパスフィルタの種類については、文中で説明したものに限定しないものとする。

その他、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施形態で実行される機能は可能な限り適宜組合わせて実施しても良い。上述した実施形態には種々の段階が含まれており、開示される複数の構成要件を適宜組合せることにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。

本発明の第１の実施形態に係る画像処理装置の機能回路構成を示すブロック図。 同実施形態に係る重像間変位計測の処理過程を示すフローチャート。 同実施形態に係るハイパスフィルタの一例としてのラプラシアンフィルタの構成を示す図。 同実施形態に係るローパスフィルタの一例としてのＬＯＧフィルタの通過特性を示す図。 同実施形態に係るハイパスフィルタの一例としてのプリューウィットフィルタの構成を示す図。 同実施形態に係る重像間の変位の算出結果を例示する図。 同実施形態に係る重像間の変位の算出結果を例示する図。 同実施形態に係る重像間の変位の算出結果を例示する図。 本発明の第２の実施形態に係る重像間変位計測装置の機能回路構成を示すブロック図。 同実施形態に係る重像間変位計測の処理過程を示すフローチャート。 ２重像画像を例示する図。 ２重像画像の重像間変位と自己相関値との関係を例示する図。 撮像素子と多重結像手段との関係を例示する図。 多重像の結像位置変化方向を例示する図。 フィルタリングを行なわない場合の重像間変位の算出結果を例示する図。

符号の説明

１０…画像処理装置、１０Ａ…画像取得部、１０Ｂ…重像間変位計測部、２０…撮像装置、２０Ａ…撮像部、２０Ｂ…重像間変位計測部、１０１…画像記憶部、１０２…多重像画像読出部、１０３…重像間変位方向記憶部、１０４…フィルタリング部、１０５…フィルタリング済み画像記憶部、１０６…自己相関値算出部、１０７…重像間変位算出部、２０１…撮像光学系、２０２…多重化部、２０３…撮像素子、２０４…画像記憶部、２０５…重像間変化方向記憶部、２０６…フィルタリング部、２０７…フィルタリング済み画像記憶部、２０８…自己相関値算出部、２０９…重像間変位算出部。

Claims (9)

1. 被写体像が多重化された多重像画像を取得する画像取得部と、
   前記画像取得部で取得した多重像画像に対してフィルタリングを行なうフィルタリング部と、
   前記フィルタリング部で得たフィルタリング済みの画像から、多重像の自己相関値を算出する自己相関値算出部と、
   前記自己相関値算出部で得た自己相関値を用いて多重像画像に含まれる同一の被写体像の変位量である重像間変位を算出する重像間変位算出部と、
   前記多重像画像に含まれる前記同一の被写体像の変位方向である重像間変位方向が記憶された重像間変位方向記憶部と
   を具備し、
   前記フィルタリング部は、前記重像間変位方向記憶部に記憶された重像間変位方向におけるフィルタリングを行なうことを特徴とする画像処理装置。
2. 前記フィルタリング部は、ハイパスフィルタによるフィルタリングを行なうことを特徴とする請求項１記載の画像処理装置。
3. 前記フィルタリング部は、バンドパスフィルタによるフィルタリングを行なうことを特徴とする請求項１記載の画像処理装置。
4. 前記フィルタリング部は、前記重像間変位方向記憶部に記憶された重像間変位方向においてハイパスフィルタによるフィルタリングを、結像位置変化方向に対し直交する方向においてローパスフィルタによるフィルタリングを行なうことを特徴とする請求項１記載の画像処理装置。
5. 前記フィルタリング部は、前記重像間変位方向記憶部に記憶された重像間変位方向においてバンドパスフィルタによるフィルタリングを、重像間変位方向に対し直交する方向においてローパスフィルタによるフィルタリングを行なうことを特徴とする請求項１記載の画像処理装置。
6. 前記多重像画像は２重像画像であることを特徴とする請求項１記載の画像処理装置。
7. 被写体像を多重に結像させる撮像光学系と、
   前記撮像光学系による結像光を光電変換して画像信号を取得する撮像素子と、
   前記撮像素子で撮像した、被写体像が多重化された多重像画像に対し、フィルタリングを行なうフィルタリング部と、
   前記フィルタリング部で得たフィルタリング済みの画像から、多重像に含まれる同一の被写体像の変位量である自己相関値を算出する自己相関値算出部と、
   前記自己相関値算出部で得た自己相関値を用いて多重像画像の重像間変位を算出する重像間変位算出部と、
   前記多重像画像に含まれる前記同一の被写体像の変位方向である重像間変位方向が記憶された重像間変位方向記憶部と
   を具備し、
   前記フィルタリング部は、前記重像間変位方向記憶部に記憶された重像間変位方向におけるフィルタリングを行なうことを特徴とする撮像装置。
8. 前記多重像画像の重像間変位方向が記憶された重像間変位方向記憶部をさらに具備し、
   前記フィルタリング部は、前記重像間変位方向記憶部で記憶した重像間変位方向においてフィルタリングを行なう
   ことを特徴とする請求項７記載の撮像装置。
9. 被写体像が多重化された多重像画像を取得する取得工程と、
   前記画像取得工程で取得した多重像画像に対してフィルタリングを行なうフィルタリング工程と、
   前記フィルタリング工程で得たフィルタリング済みの画像から、多重像に含まれる同一の被写体像の変位量である自己相関値を算出する自己相関値算出工程と、
   前記自己相関値算出工程で得た自己相関値を用いて多重像画像の重像間変位を算出する重像間変位算出工程と、
   前記多重像画像に含まれる前記同一の被写体像の変位方向である重像間変位方向を読み出す重像間変位方向読み出し工程と
   を有し、
   前記フィルタリング部は、前記重像間変位方向記憶部に記憶された重像間変位方向におけるフィルタリングを行なうことを特徴とする画像処理方法。

Images