JP6120547B2 - 画像処理装置、画像処理方法およびプログラム、並びに画像処理装置を備えた撮像装置 - Google Patents

Description

本発明は、画像処理装置に関し、特に視差の異なる複数の画像を処理する装置に関する。

近年、撮像素子により得られたデータに対して演算を行い、それに応じたデジタル画像処理を行うことで様々な画像の出力を行う撮像装置が提案されている。非特許文献１、２では各々構成は異なるが、「Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ」を用いて、被写体空間の光の２次元強度分布と光線の角度情報、つまり視差情報とを同時に取得する撮像装置が開示されている。ここで、光の２次元強度分布と光線の角度情報を合わせてライトフィールドと呼び、ライトフィールドを取得することで被写体空間の３次元的な情報を得ることができる。前述の撮像装置では、ライトフィールドの取得と撮影後の画像再構成処理によって、リフォーカスと呼ばれる画像のピント位置変更や、撮影視点の変更、被写界深度の調節等が可能となる。

一方で、表示デバイスの進歩に伴い、撮像装置の更なる高画質化も要求されている。高画質化のためには画像のノイズを低減することが重要となる。特許文献１には、複数の撮像系で取得した画像を合成することでノイズを低減する方法が開示されている。

特開平６−８６３３２号公報

Ｒｅｎ Ｎｇ，ｅｔ ａｌ．，"Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ａ Ｈａｎｄ−ｈｅｌｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ"，２００５ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ＣＴＳＲ Ｔｏｄｏｒ Ｇｅｏｒｇｉｅｖ，ｅｔ ａｌ．，"Ｓｕｐｅｒｒｅｓｏｌｕｔｉｏｎ ｗｉｔｈ Ｐｌｅｎｏｐｔｉｃ ２．０ Ｃａｍｅｒａ"，２００９ Ｏｐｔｉｃａｌ Ｓｏｃｉｅｔｙ ｏｆ Ａｍｅｒｉｃａ

しかし、特許文献１で開示されている手法は、同一の被写体を撮像している画素を単純に合成することで、ノイズの低減を行っている。この時、ノイズがポワソン分布に従うとすると、Ｎ個の画素を合成した場合、平均化によりノイズはＮ^−１／２倍まで低減される。しかし、表示デバイスの進歩によって、画像には更なる高画質化が望まれており、従来のノイズ低減だけでは不十分であった。

そこで本発明の目的は、視差画像を合成した画像のノイズを更に低減する画像処理装置を提供することである。

本発明の一観点によれば、互いに視差を有する複数の視差画像を処理する画像処理装置であって、前記複数の視差画像から抽出した参照画像に類似する類似画像を前記複数の視差画像から探索する探索手段であり、前記参照画像が抽出された視差画像から前記類似画像を探索する第１のモードと、前記参照画像が抽出された視差画像とは異なる視差画像から前記類似画像を探索する第２のモードとを有する探索手段と、前記探索手段が各モードにおいて探索した前記類似画像を用いて前記参照画像と置換されるべき置換画像を生成する置換画像生成手段と、前記参照画像が抽出された前記視差画像における前記参照画像を前記置換画像で置き換えた視差画像を生成して出力する出力画像生成手段と、を備えることを特徴とする画像処理装置が提供される。

本発明によれば、視差画像を合成した画像のノイズを低減する画像処理装置を提供することが可能となる。

本発明の第１の実施例に係る画像処理装置の動作構成の好適な例を示す図。 本発明を適用可能な撮像装置の構成を示す図。 図２の撮像装置の光学系を示す図。 本発明を適用可能な撮像装置の他の光学系を示す図。 視差のある像の間の関係を説明するための図。 本発明の第１の実施例に係る画像処理装置の動作構成の一部を示す図。 本発明の第１の実施例に係る画像処理装置の動作構成の変形例を示す図。 本発明の第１の実施例に係る画像処理装置の動作構成の他の変形例を示す図。 本発明の第２の実施例に係る画像処理装置の動作構成および画像処理システムを示す図。

本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

なお、各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

以下、図１から図８を参照して、本発明の第１の実施例に係る画像処理装置および当該画像処理装置を備えた撮像装置について説明する。

図２（ａ）は、本実施例に係る画像処理装置を適用可能な撮像装置であるデジタルカメラシステムの中央断面図、図２（ｂ）は当該システムの電気的構成を示すブロック図である。図２（ａ）および図２（ｂ）で対応する部分については、同一の符号を付して示す。

図２（ａ）において、２００は撮像装置を、２０２は撮像装置２００に装着するレンズユニットを、２０３は撮影光学系を形成するレンズを、２０４は撮影光学系の光軸を、２０６は撮像素子を、２０９は背面表示装置を示す。また、２１１は撮像装置２００とレンズユニット２０２の電気接点を、２１２はレンズユニット２０２に設けられたレンズシステム制御部を、２１４はクイックリターン機構を、２１６は撮像装置２００に設けられたファインダ表示手段をそれぞれ示す。

図２（ｂ）は撮像装置であるデジタルカメラおよびレンズの電気的構成を示すブロック図である。カメラ２００およびレンズ２０２からなるカメラシステムは、撮像系、画像処理系、記録再生系、制御系を有する。撮像系は、撮影光学系２０３ 、撮像素子２０６を含み、画像処理系は、画像処理部２０７を含む。また、記録再生系は、メモリ手段２０８、表示手段２０９を含み、制御系は、カメラシステム制御回路２０５、操作検出部２１０、およびレンズシステム制御回路２１２、レンズ駆動手段２１３を含む。レンズ駆動手段２１３は、焦点レンズ、ブレ補正レンズ、絞りなどを駆動することができる。

撮像系は、物体からの光を、撮影光学系２０３を介して撮像素子２０６の撮像面に結像する光学処理系である。撮影素子２０６の表面(前面)にはマイクロレンズが格子状に配置してあり、いわゆるマイクロレンズアレイ２２０（以下 ＭＬＡ）を形成している。ＭＬＡ２２０は本実施例において、光線制御手段を構成する。ＭＬＡ２２０の機能や配置の詳細については図３を用いて後述する。後述するように、撮影素子２０６からは、ピント評価量／適当な露光量が得られるので、この信号に基づいて適切に撮影光学系２０３を調整することで、適切な光量の被写体光を撮像素子２０６に露光するとともに、撮像素子２０６の近傍で被写体像が結像する。

画像処理部２０７は、内部にＡ／Ｄ変換器、ホワイトバランス回路、ガンマ補正回路、補間演算回路等を有しており、記録用の画像を生成することができる。また、本実施例に係る画像処理装置（視差画像生成手段、画像比較手段、置換画像生成手段、出力画像生成手段、参照画像位置制御手段などからなる）等を含めることも可能である。本実施例では、上記画像処理装置を含む画像処理部２０７の構成要素はカメラシステム制御部２０５に配置するものとする。これは、本実施例に係る画像処理装置の動作を、カメラシステム制御部２０７のＣＰＵがプログラムを実行することで電子的に実現する構成である。

メモリ手段２０８は実際の記憶部に加えて記録に必要な処理回路を備えている。メモリ手段は、記録部へ出力を行うとともに、表示手段２０９に出力する像を生成、保存する。また、メモリ手段２０８ は、予め定められた方法を用いて画像、動画、音声などの圧縮を行う。

カメラシステム制御回路２０５は撮像の際のタイミング信号などを生成して出力する。外部操作に応動して撮像系、画像処理系、記録再生系をそれぞれ制御する。例えば、不図示のシャッターレリーズ釦の押下を操作検出回路２１０が検出して、撮像素子２０６の駆動、画像処理部２０７の動作、メモリ手段２０８の圧縮処理などを制御する。さらに表示手段２０９によって液晶モニタ等に情報表示を行う情報表示装置の各セグメントの状態を制御する。

制御系の光学系の調整動作について説明する。カメラシステム制御回路２０５には画像処理部２０７が接続されており、撮像素子２０６からの信号に基づいて適切な焦点位置、絞り位置を求める。カメラシステム制御回路２０５は、電気接点２１１を介してレンズシステム制御回路２１２に指令を出し、レンズシステム制御回路２１２はレンズ駆動手段２１３を適切に制御する。さらにレンズシステム制御回路２１２には不図示の手ぶれ検出センサが接続されており、手ぶれ補正を行うモードにおいては、手ぶれ検出センサの信号に基づいてレンズ駆動手段２１３を介してブレ補正レンズを適切に制御する。

図３は、本実施例における撮影光学系の要部を説明する図である。他の撮影光学系についても適用可能であるがそれについては図４を用いて説明する。本発明を適用するためには、いわゆる視差画像といわれる複数の視点からの被写体像を取得する必要がある。本明細書では異なる視点から撮影した画像を「視差画像」、視点が異なることを「視差がある」、視点の距離を「視差量」と表現する。本実施例では、角度情報の取得のために撮影光学系２０３の結像面近傍にＭＬＡを配置するとともに、ＭＬＡ２２０を構成する１つのレンズに対して撮像素子２０６の複数の画素を対応させている。

図３（ａ）は撮像素子２０６とＭＬＡ２２０の関係を模式的に示す図である。図３（ｂ）は撮像素子の画素とＭＬＡ２２０の対応を示す模式図である。図３（ｃ）はＭＬＡによってＭＬＡ下に配設されている画素が特定の瞳領域と対応づけられることを示す図である。

図３（ａ）に示すように、撮像素子２０６上にはＭＬＡ２２０が設けられており、ＭＬＡ２２０の前側主点は撮影光学系２０３の結像面近傍になるように配置されている。図３（ａ）は撮像装置の横からと、正面からＭＬＡ２２０を見た状態を示しており、撮像装置正面から見るとＭＬＡ２２０のレンズが撮像素子２０６上の画素を覆うように配置されている。なお、図３（ａ）ではＭＬＡを構成する各マイクロレンズを見やすくするために、大きく記載したが、実際には各マイクロレンズは画素の数倍程度の大きさしかない。なお、実際の大きさについては図３（ｂ）を用いて説明する。

図３（ｂ）は図３（ａ）の装置正面からの図を一部拡大した図である。図３（ｂ）に示す格子状の枠は、撮像素子２０６の各画素を示している。一方、ＭＬＡ２２０を構成する各マイクロレンズは円３２０ａ，３２０ｂ，３２０ｃ，３２０ｄで示す。図３（ｂ）から明らかなようにマイクロレンズ１つに対して複数の画素が割り当てられており、図３（ｂ）の例では、５行x５列＝２５個の画素が１つのマイクロレンズに割り当てられている。すなわち、各マイクロレンズの大きさは画素の大きさの５倍x５倍の大きさである。

図３（ｃ）は、撮像素子２０６を、マイクロレンズの光軸を含みセンサの長手方向が図の横方向になるように切断したときの断面図である。図３（ｃ）の３２１、３２２、３２３、３２４、３２５は撮像素子２０６の画素（１つの光電変換素子）を示している。一方、図３（ｃ）の上方に示した図は撮影光学系２０３の射出瞳面を示している。実際には、図３（ｃ）の下方に示したセンサの図と方向を合わせると、射出瞳面は図３（ｃ）の紙面垂直方向になるが、説明のために投影方向を変化させている。また、図３（ｃ）においては説明を簡単にするために、１次元の投影／信号処理について説明する。実際の装置においては、これを容易に２次元に拡張することができる。

図３（ｃ）の画素３２１、３２２、３２３、３２４、３２５は、図３（ｂ）の３２１ａ、３２２ａ、３２３ａ、３２４ａ、３２５ａとそれぞれ対応する位置関係にある。図３（ｃ）に示すように、マイクロレンズ２２０によって各画素は撮影光学系２０３の射出瞳面上の特定の領域と共役になるように設計されている。図３（ｃ）の例では画素３２１と領域３３１が、画素３２２と領域３３２が、画素３２３と領域３３３が、画素３２４と領域３３４が、画素３２５と領域３３５がそれぞれ対応している。すなわち画素３２１には、撮影光学系２０３の射出瞳面上の領域３３１を通過した光束のみが入射する。他の画素も同様である。結果として、瞳面上での通過領域と撮像素子２０６上の位置関係から角度の情報を取得することが可能となる。

本実施例の画像処理装置の視差画像生成手段は、取得される角度情報などの視差情報に基づいて、各マイクロレンズの同じ瞳面に対応する画素データを配列して複数の視差画像の画像データを生成するよう構成されている。

ここで、以後の説明を簡単にするために記号を導入する。図３（ｃ）に示すように、撮像素子２０６の画素ピッチをΔx、角度分解能をΔθとする。さらに角度の分割数をN_θ（図３の例ではN_θ=5）とする。画素ピッチは撮像素子２０６の形状によって決定され、Δθは光線の角度を取得する範囲と角度分割数N_θで決定される。すなわち、物理的な構造（撮像素子２０６およびＭＬＡ２２０の構造）のみによってこれらのパラメータは決定される。

図４を用いて他の撮影光学系について説明する。前述したように、本発明を適用するためには、いわゆる視差画像といわれる複数の視点からの画像を取得する必要がある。このような光学系が、非特許文献１、２のライトフィールドカメラやいわゆる多眼カメラなどとして知られている。なお、引用した文献では撮影光学系から得られる角度情報が光線空間情報と記載されているが、これと視差画像とは等価な情報を持っている。

図４は物体（被写体）からの光線が撮像素子２０６上に結像する状態を模式的に示した図である。図４（ａ）は図３で説明した光学系と対応しており、撮影光学系２０３の結像面近傍にＭＬＡ２２０を配置した例である。これは非特許文献１で開示されている光学系と対応している。図４（ｂ）は撮影光学系３の結像面よりも物体寄りにＭＬＡ２２０を配置した例である。図４（ｃ）は撮影光学系２０３の結像面よりも物体から遠い側にＭＬＡ２２０を配置した例である。これは非特許文献２に開示されている光学系と対応している。図４（ｄ）はいわゆる多眼光学系である。なお、本実施例の画像処理装置の視差画像生成手段を、多眼光学系で取得される同じ被写体の複数の画像を、視差情報に基づいて視差画像として入力するよう適宜構成することも可能である。

図４において、２０６は撮像素子を、４０６ａ，４０６ｂ，４０６ｃは多眼光学系を構成する各々の撮像素子を、２２０はＭＬＡを、３３１から３３５は図３で示した瞳領域を、３３１ａから３３５ａは多眼光学系の各々のメインレンズを示す。また、４５０はメインレンズの仮想結像面（物体との共役面）を、４５１は物体平面を、４５１ａ，４５１ｂは物体上の適当な点を、４５２は撮影光学系の瞳平面を示す。さらに、４６１、４６２、４７１，４７２，４７３，４８１，４８２，４８３，４８４はＭＬＡ上の特定のマイクロレンズをそれぞれ示す。また、物体上の点４５１ａから出て瞳平面上の領域３３１および３３３を通過する光束を実線で、物体上の点４５１ｂから出て瞳平面上の領域３３１および３３３を通過する光束を一点鎖線で図示す。

図４（ａ）の例では、図３でも説明したように、撮影光学系２０３の結像面近傍にＭＬＡ２２０を配置することで、撮像素子２０６と撮影光学系の瞳平面４５２が共役の関係にある。さらに、物体平面４５１とＭＬＡ２２０が共役の関係にある。このため物体上の点４５１ａから出た光束はマイクロレンズ４６１に、４５１ｂを出た光束はマイクロレンズ４６２に到達し、領域３３１から３３５それぞれを通過した光束はマイクロレンズ下に設けられたそれぞれに対応する画素に到達する。

図４（ｂ）の例では、マイクロレンズ２２０で撮影光学系２０３からの光束を結像させ、その結像面に撮像素子２０６を設ける。このように配置することで、物体平面４５１と撮像素子２０６は共役の関係にある。物体上の点４５１ａから出で瞳平面上の領域３３１を通過した光束はマイクロレンズ４７１に到達し、物体上の点４５１ａから出で瞳平面上の領域３３３を通過した光束はマイクロレンズ４７２に到達する。物体上の点４５１ｂから出で瞳平面上の領域３３１を通過した光束はマイクロレンズ４７２に到達し、物体上の点４５１ｂから出で瞳平面上の領域３３３を通過した光束はマイクロレンズ４７３に到達する。各マイクロレンズを通過した光束は、マイクロレンズ下に設けられたそれぞれ対応する画素に到達する。このように被写体光は、物体上の点と瞳平面上の通過領域によって、異なる位置にそれぞれ結像する。これらを、メインレンズの仮想結像面４５０上の位置に並べなおせば、図４（ａ）と同様の情報を得ることができる。すなわち、通過した瞳領域（入射角度）と撮像素子上の位置の情報を得ることができる。

図４（ｃ）の例では、マイクロレンズ２２０で撮影光学系２０３からの光束を再結像させ（一度結像した光束が拡散する状態にあるものを結像させるので再結像と呼んでいる）、その結像面に撮像素子２０６を設ける。このように配置することで、物体平面４５１と撮像素子２０６は共役の関係にある。物体上の点４５１ａから出で瞳平面上の領域３３１を通過した光束はマイクロレンズ４８２に到達し、物体上の点４５１ａから出で瞳平面上の領域３３３を通過した光束はマイクロレンズ４８１に到達する。物体上の点４５１ｂから出で瞳平面上の領域３３１を通過した光束はマイクロレンズ４８４に到達し、物体上の点４５１ｂから出で瞳平面上の領域３３３を通過した光束はマイクロレンズ４８３に到達する。各マイクロレンズを通過した光束は、マイクロレンズ下に設けられたそれぞれ対応する画素に到達する。図４（ｂ）と同様に、メインレンズの仮想結像面４５０上の位置に並べなおせば、図４（ａ）と同様の情報を得ることができる。すなわち、通過した瞳領域（入射角度）と撮像素子上の位置の情報を得ることができる。

図４（ｄ）の例ではメインレンズとＭＬＡという構成ではなく、いわゆる多眼光学系によって同様の情報を得ている。この光学系においては、図４の瞳位置３３１から３３５にメインレンズ３３１ａから３３５ａを直接配置して視差像を得ていると考えることが可能である。撮像素子４０６ａ，４０６ｂ，４０６ｃのそれぞれの撮影画像は、いわゆる視差のある画像となっている。この光学系では、撮像素子４０６ａ，４０６ｂ，４０６ｃの位置関係情報が視差情報を与える。

図４ではＭＬＡ（位相変調素子）を瞳分割手段として用いて、位置情報と角度情報を取得可能な例を示したが、位置情報と角度情報（瞳の通過領域を制限することと等価）を取得可能なものであれば他の光学構成も利用可能である。例えば、適当なパターンを施したマスク（ゲイン変調素子）を撮影光学系の光路中に挿入する方法も利用できる。

その他の方法としては、時分割で光線空間情報を取得する方法も考えられる。この方法においては、撮影装置において時間的に離間した多数の画像を得るとともに、手振れやユーザのスイングを利用して多数の視点からの像（視差のある像）を取得する。

図１、図５および図６を用いて本実施例に係わる画像処理装置の動作構成について説明する。

図１において１００は視差画像生成手段が生成又は入力する複数の視差画像を、１００ａ，１００ｂ，１００ｃは比較に用いる画像を、１０１は画像比較手段を、１０２は画像比較手段に含まれる比較手段を、１０３は置換画像生成手段を示す。また、１０４は出力画像生成手段を、１０５は参照画像位置制御手段を、１０６は出力画像をそれぞれ示している。なお、本実施例の場合、図３および図４を用いて説明した、ＭＬＡにより複数の視点からの像を取得する撮影光学系を有する撮像装置を例としているので、視差画像生成手段は各マイクロレンズの同じ瞳面に対応する画素データを配列して複数の視差画像を生成する。本実施例の画像処理装置は、これを入力画像１００とし、この入力画像１００の画像データに対してノイズ低減の処理を施す。

また、図１は本実施例の画像処理装置の動作構成を処理順序に従って示す図であり、撮像装置のカメラシステム制御部２０７により各処理を実現する場合、カメラシステム制御部２０７は図１の動作構成に対応するフローチャート(不図示)に従って処理を実行する。このことは、ＰＣなどの情報処理装置のＣＰＵにより本発明の画像処理装置の動作（画像処理方法）を実現する場合でも同様である。以下、図１の矢印で示す処理順序に沿って本実施例の画像処理装置の動作を説明する。

画像比較手段１０１において、参照画像位置制御手段１０５が指示する画像範囲を参照画像として、参照画像に類似する画像を探索する。より具体的には複数ある視差画像の中に参照画像となる領域を指定する。図１では、参照画像を四角い枠と“参照画像”という文字で模式的に示した。画像比較手段においては、参照画像と同じ大きさの比較画像を選んで比較手段１０２において類似度を判定する。比較画像は第１のモードにおいては同じ視差画像から選択され、第２のモードにおいては他の視差画像から選択される。

参照画像はノイズを低減したい場所に設定される。どこに設定するかは参照画像位置制御手段１０５によって指示される。指示するための構成としては、画面全体のノイズ低減のために複数ある視差画像のすべてに対して参照画像の領域をずらしながら画面全体を順次指示する方法がある。また、他の方法としては、視差画像のすべてに対して主被写体があると判断した領域を図示しないピント検知手段によって求め、その領域を指示する方法などが考えられる。なお、視差画像からピントを検知する方法については、後述する本実施例の変形例において説明する。

比較画像は参照画像そのものを除く同一視差画像内（第１のモード）または他の視差画像（第２のモード）に設定される。第１および第２のモードを設ける意義などについては図５を用いて後述する。

前述した比較手段１０２においては画像の類似度を算出するが、差分絶対値の積分（ＳＡＤ＝Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）や差分の自乗和（ＳＳＤ＝Ｓｕｍ ｏｆ ＳｑｕａｒｅｄＤｉｆｆｅｒｅｎｃｅ）などを利用することができる。ここで、類似度を算出する式を示す。
数１および数２において、Ｘ（ｉ）は抽出された参照画像、Ｙ（ｉ）は抽出された比較画像をそれぞれ示し、ｉは参照画像および比較画像の画素に対応する添え字である。例えば８ｘ８の領域であればｉは１から６４までの値をとり、抽出されたすべての画素の差分が積分される。

さらに別の例としては重みを視差量に応じて可変にすることも考えられる。この場合の式をＳＡＤの場合についてのみ示す。

ここで数３においてＷ_ｉは視差量に応じて設定される重みである。図４から分かるように、図４（ａ）〜図４（ｃ）に示すような光学系においては通過する瞳領域によってＭＬＡ２２０に対する像高が異なってくる。このため近い視差であるほど収差状況などが類似しており、視差量が少ない画像に大きな重みをつけて加算するほうが、後に収差補正を施す場合などに好都合である。また、図５を用いて後述する距離の異なる被写体が存在する場合においても、視差量が少ないほうが類似した画像が得られ、本発明に用いるようなブロックマッチングに基づくノイズ処理においては都合がよい。そのため重みＷ_ｉを視差量に応じて（視差量が小さいものに小さい重みをかけて）加算することにより視差量が小さい画像が優先的に選択される。すなわち収差によって歪んだ結果、類似度が高いと判定された画像などを排除することが可能となる。

ここでは類似度の指標としてＳＡＤ、ＳＳＤを例示したが、他の方法（正規化相互相関や位相限定相関等が考えられる）で類似度を判定しても良い。

置換画像生成手段１０３において、前述の画像比較手段１０１から与えられる判定結果に従って類似度が高い（ＳＡＤやＳＳＤでは値が小さい）順に予め定められた数の画像を合成して置換に用いる画像（＝置換画像）を生成する。この動作については図６を用いて詳しく述べる。

出力画像生成手段１０４において、前述の置換画像生成手段１０３で作られた置換画像で元の画像の一部（参照画像に対応）を置き換えて出力画像１０６を生成する。この動作についても図６を用いて述べる）。

次に、図５を用いて撮像装置の画角の中に異なる距離に被写体がある場合を例に、本実施例における第１のモードと第２のモードを設けた意義を説明する。

図５（ａ）は、上記異なる被写体を視差がある状態で複数の撮影を行うときの、被写体と撮像手段との配置関係の平面図と各撮像手段で撮影される画像を示す図。図５（ｂ）は、図５（ａ）の中央の撮像手段で撮影された画像を示す図、図５（ｃ）は、図５（ａ）の右端の撮像手段で撮影された画像を示す図である。図５（ｄ）および図５（ｅ）は、遠距離の被写体にグラデーションがある図で、図５（ｄ）は図５（ｂ）と同じ視点からの撮影画像を、図５（ｅ）は図５（ｃ）と同じ視点からの撮影画像をそれぞれ示す。

図５（ａ）において、５２１，５２２，５２３は視差がある像を撮影していることを模式的に示す撮像手段を、５２４，５２５は被写体を、５３１，５３２，５３３はそれぞれ撮像手段５２１，５２２，５２３で撮影される画像を示す。なお、撮像手段５２１，５２２，５２３は、被写体５２４，５２５の複数の視差画像が撮像により取得される場合であることを例示するもで、図４（ｄ）の多眼光学系を用いた撮像に限定するものではない。

図５（ｂ）および図５（ｃ）は、それぞれ５３２，５３３を拡大した図であり、５４１，５５１は参照画像の領域を、５４２，５４３，５４４は参照画像５４１に類似する比較画像の領域を、５５２は参照画像５５１に類似する比較画像の領域をそれぞれ示している。図５（ｄ）および図５（ｅ）は、図５（ｂ）および図５（ｃ）と同様に、それぞれ５３２，５３３を拡大した図である。これらの図において、５６１は参照画像の領域を、５６２は参照画像５６１に類似する比較画像の領域を、５６３および５６４は参照画像５６１に類似していない比較画像の領域をそれぞれ示している。

図５（ａ）に示すように視差が存在して且つ撮像装置と距離の異なる被写体が混在する場合には、距離に応じて視差による画像内での移動量が異なる。これは結像倍率が異なるために、撮像装置が平行に移動した時の画像内での物体の移動量が異なるために生じる。すなわち近距離にある物体が視差によって生じる画面内での移動量に対して、遠距離の物体は相対的に小さくしか移動しない。図５（ａ）では“Ａ”と記載した被写体５２４が相対的に遠距離にあり、“Ｂ”と記載した被写体５２５が相対的に近距離にある。このとき“Ａ”と記載した被写体５２４と“Ｂ”と記載した被写体５２５の重なり具合は視差によって異なり、５２１，５２２，５２３の位置から撮影するとそれぞれ５３１，５３２，５３３のような像が得られる。

図５（ａ）で注意することは、被写体５２５に隠されることで、被写体５２４のＡの文字が見えている視差画像５３３と見えていない視差画像５３１が得られ、いわゆるオクルージョン（occlusion）が生じることである。このような状態で参照画像の領域として５４１，５５１を設定すると、各参照画像に対応する同一物体の画像は、左側からの視点の画像５３１からは得られない。同一視差の画像内では、参照画像の領域５４１に対しては、類似する比較画像の領域がは５４２のような場所が得られ、他の視差画像５３２においては５４３，５４４のような領域が得られる。一方、参照画像の領域１５１に対しては、類似する比較画像の領域が同一視差画像内では５５２のような領域が得られるが、他の視差画像５３１，５３２からは得ることができない。このようにオクルージョンが存在して対応点がない場合は、他の視差画像で必ずしも同一物体からの光線を参照できるわけではない。このような場合、第２のモードでは、類似度が低い類似画像しか得られない可能性が高くなる。

一方、同一視差画像内に類似する比較画像の領域が発見できる場合も多い。例えば、NL-Means(=Non Local Means)での画像ノイズ低減は、意味のある画像は空間的に一定の広がりや周期性を持っているため近傍などに非常に類似した画像があるという原理を利用している。

図５（ｄ）および図５（ｅ）を用いて、オクルージョン以外の場面で同一視差画像を利用したほうが有利な場合について説明する。図５（ｄ）および図５（ｅ）は図５（ｂ）および図５（ｃ）と同じ状況で撮影され、相対的に遠距離にある被写体１２４にグラデーションを付与した場合である。

このとき参照画像の領域５６１のように遠距離の物体と近距離の物体の双方にまたがるような領域に参照画像を設定した場合を考える。図５（ｄ）および図５（ｅ）から明らかなように、他の視差画像においては物体の別の領域が混在する状況になり他の視差画像には類似する画像が存在しない。例えば相対的に近距離にある被写体５２５に対して同一の被写体と対応する領域５６３を考える。遠距離の被写体５２４と較べたとき、領域５６３は、“Ａ”の文字にかかってして、グラデーションの濃度も異なっていることから、別の被写体位置に対応してしまい、類似しているとは言い難い。一方、相対的に遠距離にある被写体５２４に対して領域５６１に対応する同一の被写体の領域５６４を考えると、近距離の被写体５２４に隠されてしまいこちらも類似しているとは言い難い。これに対して同一視差の画像内の近傍の領域５６２は５６３，５６４に比べて類似しているといえる。このように、遠距離の物体と近距離の物体の双方にまたがるような領域では他の視差を参照するだけでは（第２のモード）、類似度が低い類似画像しか得られない可能性が高くなる場合もある。

同様の例を、さらに示す。一つの例は、物体が、例えば光沢のある面などが相当するランバート面（Lanbertian surface）であるという仮定が大きく崩れているときである。この場合には、視差によって反射光の影響等が大きく異なっているために同一物体の同一の箇所を見ているにもかかわらず、視差によっては大きく異なった画像が得られる。

他の例は、リフォーカスと呼ばれる処理を施して出力画像を生成する場合である。リフォーカスにおいては、ピントを合わせたい物体の位相を合わせてから加算合成を行うことで画像を再構成する。なお、リフォーカスについては非特許文献１などで開示されており公知技術のためここでは詳述しないが、例えば、図５（ａ）の５３１，５３２，５３３に対して“Ｂ”の文字がぴったり重なるようにして加算合成することに対応する。このような処理を施した場合、他の視差画像の同一物体上の点（例えば“Ｂ”の文字の周辺）で後述するようなフィルタ処理を施しても、後の合成処理で効果が相殺され（合成処理によってそもそもノイズが低減される）、それ以上の改善は見込めない。一方、同一視差画像を利用した場合には同一視差画像内の類似画像を利用することで、単にリフォーカスによって加算合成を行うことによるノイズ低減よりもより良い効果を得られる場合もある。

上述したように、
・オクルージョンが存在する場合
・遠距離の物体と近距離の物体の双方にまたがるような領域
・ランバート面から大きく異なる反射面
・リフォーカス動作のピント位置近傍
等においては同一視差の類似画像を利用することで、他の視差の同一被写体の画像のみを用いるよりも良いノイズ低減効果が得られる場合がある。そこで本実施例に係る画像処理装置では、同一視差画像内で類似画像を検索する第１のモードと、他の視差画像で類似画像を検索する第２のモードを備え、各モードで探索された類似画像を用いて置換画像を生成する。この場合、画像比較手段１０１の動作の結果である類似度を参照することで、上記第２のモードの探索された類似度の低い類似画像の使用によるノイズ低減効果の低下を改善することが可能になる。

ここで、図６を用いて置換画像生成手段１０３および出力画像生成手段１０４の動作について詳述する。なお、図６も、図１と同様に、処理の内容を表わす図になっている。同図において、１００ａは現在参照画像の領域を設定している視差画像を、６１０ａ，６１０ｂ，６１０ｎは類似すると判断された比較画像（＝類似画像）を含む視差画像を、６１１は生成された置換画像をそれぞれ示している。なお、ｎは固定値として設定してもよいし、所定の類似度以上の比較画像の数として可変にしてもよい。

置換画像生成手段１０３には、上からの矢印で図示したように前述の画像比較手段１０１の動作の結果である類似画像の位置および類似度とその視差画像の情報が入力される。置換画像生成手段１０３は、図６に示すように、参照画像と入力された類似画像に適当な重みをつけて加算するフィルタ処理を行う。この加算を式で示すと次式のようになる。
数４において、Ｚ（ｉ）は置換画像を、Ｘ（ｉ）は参照画像を、Ｙ（ｉ）は画像比較手段１０１での比較の結果類似しているとされた類似画像を、ｈ₀、ｈ₁、ｈ₂、ｈ_nは各画像を加算合成するときの重みをそれぞれ示す。NL-Meansは平均化処理なので、ｈ₀からｈ_nをすべて1/nとすれば良い。

なお、重みは、類似度に応じて可変にしてもよい。また別の例としては、前述の類似度計算と同様に、重みｈ₀〜ｈ_nを視差量に応じて可変にすることも考えられる。図４を用いて説明した光学系を見ると分かるように、図４（ａ）〜図４（ｃ）に示すような光学系においては、通過する瞳領域によってＭＬＡに対する像高が異なってくる。このため視差が近いほど収差状況などが類似しており、視差量が少ない画像に大きな重みをつけて加算するほうが、後に収差補正を施す場合などに好都合である。また、図５を用いて説明した距離の異なる被写体が存在する場合においても、視差量が少ないほうが類似した画像が得られ、本実施例で用いるようなブロックマッチングに基づくノイズ処理においては都合がよい。そのため、視差量に応じて重みｈ₀〜ｈ_nを変更して（視差量が小さいものに大きい重みをかけて）加算する方法も考えられる。

出力画像生成手段１０４は、参照画像の領域を置換画像６１１で置き換えることで出力画像１０６を生成する。ここでいう出力画像とは、撮像装置において記録される画像という意味ではなく、参照画像の領域について処理が終了した画像という意味である。

図１、図５および図６を用いて説明した処理によって１つの参照画像を設定した領域に対してノイズ低減処理が完了する。前述したように、この動作を何度も繰り返すことで画像全体に対してノイズ低減処理を施すことなどが可能となる。

次に、上述した本発明の第１の実施例の変形例を図７および図８を用いて説明する。本変形例は、視差画像の測距情報を利用して類似画像の存在位置を推定して類似画像の探索範囲を設定し、探索処理の効率化を図る構成を提供する。

図７および図８において７０７は入力された複数の視差画像から選ばれた一対の視差画像を、７０７ａ，７０７ｂは前記一対の視差画像のそれぞれを、７０８はピント検知手段を示す。

最初に、図７の変形例を説明する。同図の変形例では、図１と異なり、画像処理装置にピント検知手段７０８を設けている。ピント検知手段７０８では、ピント検出で用いられる一対の視差画像を入力された複数の視差画像から選択する。どのような視差画像を選択するかは適宜設定すればよい。例えば、撮影光学系によるケラレなどの影響がなければ視差量が大きいほうが精度よくピント検知可能であるが、ピントの検出範囲は相対的に狭くなるので、ここでは適当に離間した視差画像を用いるとする。例としては、図３の瞳領域３３２に対応する画素からなる画像と、瞳領域３３４に対応する画素からなる画像を用いればよい。

ピント検知手段７０８では、測距枠と呼ばれるピントを検知する範囲を予め設定する。測距枠は１つであっても良いし複数あっても良い。以下では１つの場合について述べるが複数の測距枠がある場合は繰り返し処理を行えばよい。測距枠内の画像は物体の距離と視差量に応じて像の結像位置が変化するのでそれを利用して三角測量の原理に基づいて物体の距離を求めることができる。

ピント検知手段７０８が画像比較手段１０１と異なる箇所がある。画像比較手段１０１では物体上では別の場所であっても類似している画像を探索するのに対し、ピント検知手段７０８においては同一物体を探索する必要があるので探索方向が限定される。すなわち視差がある像に対してエピポーラ拘束 (epipolar constraint)があるので、同じ物体の像は視差の方向にしか存在しない。例えば、図３の瞳領域３３２に対応する画素からなる像と、瞳領域３３４に対応する画素からなる像を用いた場合は同一物体の像はＸ方向にずれた位置に存在している。従って、ピント検知のための画像探索は、この方向のみを探索すればよい。そうすれば、比較器１０２で比較すべき回数が非常に少なくてすむ。前述の探索方向にＳＡＤやＳＳＤを計算して最もマッチングの良い場所を探索すれば、視差量と合わせて物体までの距離が算出される。この結果を利用すると、同一物体を他の視点から見た場合の像の位置を知ることができる。例えば瞳領域３３２に対応する画素からなる被写体像に対して、瞳領域３３４に対応する画素からなる同一の被写体像が２画素右にシフト存在していたとする。そうであると、瞳領域３３に対応する画素からなる像においては瞳領域３２に対応する画素からなる像に対して１画素右にシフトして存在しているはずである。他の視差についても同様に視差量および視差の方向と前述の一対の視差像での像のずれ量を用いて同一物体の像の位置を推定することができる。すなわち、他の視点から同一物体を見込んだ情報を利用してノイズ低減を図る場合には、ピント検知手段の結果を利用して類似画像の探索範囲を大きく絞り込むことが可能となる。

さらにピント検知手段７０８においては、像の一致度を判定することも可能である。例えば特開２００７−５２０７２号などに開示された方法を用いればよい。これらの指標によると、一対の視差像の違いを把握することができる。前述したように物体がランバート面という仮定が大きく崩れているときには、視差によって反射光の影響等が大きく異なっている。このような場合には第１のモードのみを用いて、比較領域を同一視差内に限定してしまえばよい。

図７に示した例では、ピント検知手段７０８の結果を画像比較手段１０１に入力することで前述したように比較画像の領域を大幅に絞り込んで計算量を削減することが可能となる。

ところで、図７の構成において、ピント検知手段７０８の結果を画像比較手段１０１だけでなく置換画像生成手段１０３にも入力してもよい。そうすれば、前述の像の一致度を利用して加算の重みを変化させることが可能となる。すなわち数４のｈ₀〜ｈ_nを視差量に応じて変化させる場合に、ピント検知手段７０８での画像の一致度の関数にするという意味である。図８は、ピント検知手段７０８の結果を画像比較手段１０１だけでなく置換画像生成手段１０３にも入力する画像処理装置の動作構成を示す。他の部分は、図７と同じである。

以上に説明したように本発明によると、視差画像を合成した画像のノイズを低減する画像処理装置および画像処理装置を備えた撮像装置を提供することが可能となる。

次に、本発明の第２の実施例を、図９を参照して説明する。本実施例は、本発明に係わる画像処理装置をＰＣなどの情報処理装置のＣＰＵが実行する処理として実現する構成である。

図９は、本実施例に係る画像処理装置の動作構成および当該画像処理装置と情報処理装置とを含む画像処理システムの構成例を示す図である。同図において、９０１は撮像装置、９０２は情報処理装置、９０３は撮像装置９０１での情報を９０２に伝達するための伝達手段、９１０は撮像装置で生成されるメタデータをそれぞれ示し、他の部分は図７と同様である。なお、本画像処理システムでの画像処理装置は、図７の構成に限られず、図１又は図８の構成の画像処理装置であってもよい。

撮像装置９０１は、第１の実施例に示したように複数の視差像を取得することが可能となっている。本実施例においては、撮像装置は本発明に係る画像処理装置を備えておらず、複数の視差像または複数の視差像に加えてメタデータを記録することが可能となっている。ここでいうメタデータの内容については後述する。

撮像装置９０１で撮影又は記録された複数の視差像は伝達手段９０３を介して情報処理装置９０２に送られる。情報処理装置９０２には、第１の実施例で説明した画像処理装置が備えられており、受信した視差画像にノイズ低減の処理を施すことが可能となっている。

ここで図１に示した画像処理装置を用いる場合には、情報処理装置９０２には複数の視差像のみあれば良く、その他のデータは必要ない。すなわち第１の実施例で説明した方法をそのまま情報処理装置９０２に適用可能である。これは図１の構成は、類似画像検索のみを利用したノイズ低減処理であるために光学系の情報などを必要としないためである。

一方、図７および図８で説明した画像処理装置を用いる場合は、複数の視差像に加えてメタデータ９１０があることが望ましい。ここでいうメタデータとは複数の視差像がそれぞれどのような視差量に対応しているのかという情報である。図４（ａ）から（ｃ）に示した光学系であれば対応する瞳領域などの情報、図４（ｄ）に示した光学系であればそれぞれの光学系の相対的な位置関係の情報があればよい。

第１の実施例で説明したように、ピント検知手段７０８においては、一対の視差画像を選択するがその選択基準、測距枠の大きさ、一対の視差像でのピント検知手段での結果から他の視差画像の探索範囲を絞り込む場合になどに活用できる。その他は第１の実施例で説明した方法をそのまま適用可能である。

以上に説明したように、本発明によれば、視差画像を合成した画像のノイズを低減する画像処理装置および画像処理装置を備えた撮像装置を提供することが可能となる。

他の実施の形態
本発明の目的は、以下の処理を実行することによっても達成される。即ち、上述した実施の形態の機能を実現するプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、次のものを用いることができる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等である。または、プログラムコードをネットワークを介してダウンロードしてもよい。

また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現される場合も本発明に含まれる。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれる。

更に、前述した実施の形態の機能が以下の処理によって実現される場合も本発明に含まれる。即ち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う場合である。

前述した本発明の実施形態における画像処理装置を構成する各手段、並びに画像処理方法の各工程は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記憶したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（図１、図７、図８及び図９に示す動作構成に対応したプログラム）を、システムまたは装置に直接、または遠隔から供給する場合も含む。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などもある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記憶媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、その他の方法として、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、その他の方法として、まず記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

Claims (18)

1. 互いに視差を有する複数の視差画像を処理する画像処理装置であって、
   前記複数の視差画像から抽出した参照画像に類似する類似画像を前記複数の視差画像から探索する探索手段であり、前記参照画像が抽出された視差画像から前記類似画像を探索する第１のモードと、前記参照画像が抽出された視差画像とは異なる視差画像から前記類似画像を探索する第２のモードとを有する探索手段と、
   前記探索手段が各モードにおいて探索した前記類似画像を用いて前記参照画像と置換されるべき置換画像を生成する置換画像生成手段と、
   前記参照画像が抽出された前記視差画像における前記参照画像を前記置換画像で置き換えた視差画像を生成して出力する出力画像生成手段と、
   を備えることを特徴とする画像処理装置。
2. 前記探索手段は、前記参照画像とは異なる領域の画像である比較画像を前記複数の視差画像から抽出し、前記参照画像と前記比較画像との差分に基づいて比較画像の類似度を判定して類似画像を探索し、
   前記置換画像生成手段は、前記複数の視差画像の視差情報と前記類似度の少なくとも一つに基づいて、探索された前記類似画像を合成して前記置換画像を生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記探索手段は、前記視差情報に従って前記差分に重み付けをして前記類似度を判定することを特徴とする請求項２に記載の画像処理装置。
4. 前記置換画像生成手段は、前記類似度に従って、予め定められた数の類似画像を選択して合成し、前記類似画像の合成は前記視差情報に応じて重みを変更するフィルタ処理であることを特徴とする請求項２または３に記載の画像処理装置。
5. 前記複数の視差画像から選択した一対の視差画像のずれ量を検知する測距手段を備え、
   前記探索手段は、前記第２のモードにおける前記類似画像の探索範囲を、前記ずれ量に基づいて決定することを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。
6. 前記置換画像生成手段は、前記類似度に従って、予め定められた数の類似画像を選択して合成し、前記類似画像の合成は前記視差情報に応じて重みを変更するフィルタ処理であり、
   前記複数の視差画像から選択した一対の視差画像のずれ量を検知する測距手段を備え、
   前記探索手段は、前記第２のモードにおける前記類似画像の探索範囲を、前記ずれ量に基づいて決定し、
   前記置換画像生成手段は、前記ずれ量に基づいて前記フィルタ処理の重みを変更することを特徴とする請求項２又は３に記載の画像処理装置。
7. 前記探索手段が前記参照画像を抽出する位置を指定する参照画像位置制御手段を備え、
   前記参照画像位置制御手段は、前記参照画像が抽出される前記視差画像に含まれる被写体の位置に基づいて決定することを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
8. 前記複数の視差画像から選択した一対の視差画像のずれ量を検知する測距手段と、
   前記探索手段が前記参照画像を抽出する位置を指定する参照画像位置制御手段とを備え、
   前記測距手段は、前記視差画像における被写体の位置を検知し、
   前記参照画像位置制御手段は、前記参照画像が抽出される位置を、前記測距手段により検知された被写体の位置に基づいて決定することを特徴とする請求項１に記載の画像処理装置。
9. 前記測距手段は、前記複数の視差画像とともに記録された、前記複数の視差画像を撮像した撮影光学系に関するメタデータに基づいて前記ずれ量を検知することを特徴とする請求項５、６又は８に記載の画像処理装置。
10. 視差情報を得るための光線制御手段を有する撮影光学系と、
    前記撮影光学系が形成した被写体像を撮像して視差情報を含む画像データを生成する撮像手段と、
    前記視差情報を含む画像データから、複数の視差画像を生成する視差画像生成手段と、
    請求項１乃至９のいずれか一項に記載の画像処理装置と
    を備えることを特徴とする撮像装置。
11. 生成された前記画像データと前記画像データのメタデータとを記録する記録手段を備え、前記メタデータは光線制御手段に関する情報を含むことを特徴とする請求項１０に記載の撮像装置。
12. 前記光線制御手段は、前記撮像手段の前面に配置されたマイクロレンズアレイであることを特徴とする請求項１０又は１１に記載の撮像装置。
13. 前記光線制御手段は、多眼光学系であり、前記撮像手段は前記多眼光学系に対応した複数の撮像手段で構成されていることを特徴とする請求項１０又は１１に記載の撮像装置。
14. 互いに視差を有する複数の視差画像を処理する画像処理装置の制御方法であって、
    前記複数の視差画像から抽出した参照画像に類似する類似画像を前記複数の視差画像から探索する探索ステップであり、前記参照画像が抽出された視差画像から前記類似画像を探索する第１のモードと、前記参照画像が抽出された視差画像とは異なる視差画像から前記類似画像を探索する第２のモードとを有する探索ステップと、
    前記探索ステップが各モードにおいて探索した前記類似画像を用いて前記参照画像と置換されるべき置換画像を生成する置換画像生成ステップと、
    前記参照画像が抽出された前記視差画像における前記参照画像を前記置換画像生成ステップで生成された前記置換画像で置き換えた視差画像を生成して出力する出力画像生成ステップと、
    を備えることを特徴とする制御方法。
15. 互いに視差を有する複数の視差画像を処理する画像処理装置を制御するプログラムであって、コンピュータを、
    前記複数の視差画像から抽出した参照画像に類似する類似画像を前記複数の視差画像から探索する探索手段であり、前記参照画像が抽出された視差画像から前記類似画像を探索する第１のモードと、前記参照画像が抽出された視差画像とは異なる視差画像から前記類似画像を探索する第２のモードとを有する探索手段、
    前記探索手段が各モードにおいて探索した前記類似画像を用いて前記参照画像と置換されるべき置換画像を生成する置換画像生成手段、
    前記参照画像が抽出された前記視差画像における前記参照画像を前記置換画像生成手段が生成した前記置換画像で置き換えた視差画像を生成して出力する出力画像生成手段、
    として機能させるプログラム。
16. 請求項１５に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
17. コンピュータを、請求項１乃至９のいずれか一項に記載された画像処理装置の各手段として機能させるプログラム。
18. コンピュータを、請求項１乃至９のいずれか一項に記載された画像処理装置の各手段として機能させるプログラムを格納した記憶媒体。