JP7378219B2

JP7378219B2 - 撮像装置、画像処理装置、制御方法、及びプログラム

Info

Publication number: JP7378219B2
Application number: JP2019076564A
Authority: JP
Inventors: 秀敏椿
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2019-04-12
Filing date: 2019-04-12
Publication date: 2023-11-13
Anticipated expiration: 2039-04-12
Also published as: JP2020174331A; US20200326609A1; US11347133B2

Description

本発明は、撮像装置、画像処理装置、制御方法、及びプログラムに関する。

画像測距機能を安価に実現するステレオカメラを更にコンパクトにする撮像装置の光学系の工夫として、瞳分割光学系が知られている。これは、撮像素子上の１つのマイクロレンズの下に複数の光電変換部を形成し、光学系の瞳を通過する被写体光束を２つ以上に分割して複数の視差画像を一度に撮像可能にする光学技術である。

しかしながら、瞳分割光学系を用いた撮像系である瞳分割撮像系は、一般的に光学系を２つ並べたステレオカメラに比べて基線長が短い。そのため、高精度の距離像を得ようとする場合、被写体に近づいて撮影しなければならない。被写体に近づいて撮影しようと近距離にフォーカスを合わせると、被写界深度が浅くなり、合焦近傍以外の被写体はボケてしまう。このため、奥行方向の広い範囲の距離像を得ることは難しい。具体的には、大きいものを撮る場合や距離精度を上げるために被写体に寄って撮る場合、狭い合焦近傍以外はボケてしまうため、絞りを絞って撮影しないと画角全体の距離像を得ることは難しい。一方、絞りを絞ってしまうと、測距ができなくなるか、測距精度が悪くなってしまう。瞳分割撮像系には、測距精度を高めようとして絞りを開いてＦ値を小さくしようとすればするほど、また、被写体に近づいて撮影しようとすればするほど、測距可能な奥行範囲は狭くなるという特性がある。

そこで、瞳分割撮像系の距離像取得では、フォーカスブラケットで合焦位置を奥行き方向に変化させて複数の合焦位置それぞれについて距離像を取得し、複数の距離像を統合することにより測距範囲の広い距離像を得る技術が提案されている（特許文献１）。この技術におけるブラケットは、ブラケット間でボケの違いを解析して測距するＤＦＤ（ＤｅｐｔｈＦｒｏｍＤｅｆｏｃｕｓ）技術などとは違い、測距範囲をシフトさせることを目的としている。このため、フォーカスブラケットのステップ幅を大きく取ることができ、処理する画像量や利用メモリを減らすことができるメリットがある。

また、眼数の少ないステレオ測距では、ステレオ対応付けに誤対応を含み易い特性もある。この場合において、手持ち撮影における視点の揺らぎや照明の揺らぎ、被写体の微小な揺らぎが利用できる場合がある。この場合に、フォーカス固定の連写で何度も距離取得を行い、時間方向のフィルタリングで誤対応による距離誤検出のアウトライアを抑えて測距精度を向上させることもできる。

特開２０１６－９９３２２号公報

しかしながら、特許文献１の構成では、瞳分割撮像系の撮影に手ぶれや三脚ぶれなどが混入すると、連写で取得した複数の距離像に位置ずれが生じるため、距離像の統合が難しい。また、被写体の存在領域が奥行き方向に離散的であったり、フォーカスブラケットの変化ステップが大きいと、各ブラケット画像間のボケの違いにより、ブラケット画像間の被写体の共通領域や距離像間の共通領域が存在しない場合がある。

また、フォーカス固定の連写でも、絞りが開放寄りで被写界深度が浅い場合、前後方向の手ぶれにより、特許文献１の構成と同様に連写の撮影間で被写体テクスチャのボケ方や測距結果の距離像に違いが生じ、共通領域が無くなり距離像の統合が難しくなる。

従って、瞳分割撮像系の手持ち撮影において、任意の構図、画角に対して高精度で奥行き方向の測距範囲の広い距離像が得られないという課題がある。

本発明はこのような状況に鑑みてなされたものであり、連写で取得した複数の距離像の間の位置ずれを高精度で補正する技術を提供することを目的とする。

上記課題を解決するために、本発明は、１回の撮影で視点の異なる複数の視差画像を出力する撮像素子と、前記撮像素子を用いて、複数回の撮影と、前記複数回の撮影よりも被写界深度の深い撮影条件での１回の撮影とを行う撮影制御手段と、前記複数回の撮影に対応する複数の距離像を生成する生成手段であって、各距離像は各撮影により生成される複数の視差画像の間の視差に基づいて生成される、生成手段と、前記１回の撮影により生成される第１の画像に対する、前記複数回の撮影により生成される複数の第２の画像の各々の位置ずれ量を検出する検出手段と、前記第１の画像に対する前記複数の第２の画像の各々の前記位置ずれ量に基づいて、前記複数の距離像の間の位置ずれを補正する補正手段と、前記補正手段により補正された前記複数の距離像を統合する統合手段と、を備え、前記統合手段は、前記複数の距離像間で同一箇所の測距値が同時に得られる場合、最小のデフォーカスから作られた距離像値を前記統合のために利用することを特徴とする撮像装置を提供する。

本発明によれば、連写で取得した複数の距離像の間の位置ずれを高精度で補正することが可能となる。

なお、本発明のその他の特徴及び利点は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

第１の実施形態に係る撮像装置１００の構成を示すブロック図。瞳分割撮像系について説明する図。第１の実施形態に係る、統合距離像を生成する処理のフローチャート。視差画像セットから距離像を生成する処理のフローチャート。デフォーカス量から距離値への変換方法を説明する図。合焦被写体距離と測距可能範囲との関係を説明する図。パンフォーカス撮影及びフォーカスブラケット連写で得られる混合画像の例を示す図。距離像及び統合距離像の例を示す図。パンフォーカス撮影及びフォーカスブラケット連写で得られる視差画像、混合画像、及び距離像の概念図。パンフォーカス画像（ガイド画像）と各ブラケット画像との間での位置ずれ量を算出する処理のフローチャート。（ａ）パンフォーカス画像上で特徴点を抽出した様子を例示する図、（ｂ）パンフォーカス画像に関するボケ像の画像バンクを例示する図。相対位置姿勢の関係を示す図。相対位置姿勢をリファインする処理を説明する図。ユーザに再撮影を促す表示の例を示す図。視点変換による位置ずれ補正を説明する図。第２の実施形態に係る撮像装置１６００の構成を示すブロック図。第２の実施形態に係る、統合距離像を生成する処理のフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
図１は、画像処理装置の一例である撮像装置１００の構成を示すブロック図である。図１において、光学系１０１は、被写体１５０からの入射光を結像させるコンポーネントであり、複数のレンズ及びミラーを含む。撮像部１０２は、光学系１０１により結像された光学像を受光して電子像に変換するコンポーネントである。撮像部１０２の受光面上に形成された１つのマイクロレンズの下に複数の光電変換部を形成することにより光学系１０１の瞳を通過する被写体光束を分割すると、複数の視差画像を一度に撮像可能となる。このように構成された撮像系を、瞳分割撮像系と呼ぶ。

図２を参照して、光学系１０１及び撮像部１０２により構成される瞳分割撮像系について説明する。図２（ａ）には、被写体１５０、結像光学系２０１、結像光学系２０１の光軸２０２、撮像素子２０３、及び演算処理部２０４を図示している。撮像素子２０３は、図２（ｂ）に示すように、ｘｙ平面上に配列された多数の画素２１０Ｒ、２１０Ｇ、２１０Ｂが並置されて構成されている。

撮像素子２０３の各画素は、図２（ｃ）の断面図に示すように、マイクロレンズ２１１、カラーフィルタ２２２Ｒ、２２２Ｇ、２２２Ｂ、光電変換部２１０Ｒａ、２１０Ｒｂ、２１０Ｇａ、２１０Ｇｂ、２１０Ｂａ、２１０Ｂｂ、及び導波路２１３を含む。撮像素子２０３においては、画素毎にカラーフィルタ２２２Ｒ、２２２Ｇ、２２２Ｂによって検出する波長帯域に応じた分光特性が与えられ、各画素は主として赤光、緑光、又は青光を取得する。各画素は、公知の配色パターンによってｘｙ平面上に配置されている。基板２２４は、検出する波長帯域で吸収を有する材料、例えばＳｉであり、イオン打ち込みなどで、内部の少なくとも一部の領域に各光電変換部が形成される。各画素は、図示しない配線を備えている。

光電変換部２１０Ｘａ（Ｘ＝Ｒ，Ｇ，Ｂ）及び光電変換部２１０Ｘｂには、それぞれ射出瞳２３０の異なる領域である瞳領域２３１ａを通過した光束２３２ａ及び瞳領域２３１ｂを通過した光束２３２ｂが入射する。これにより、光電変換部２１０Ｘａ及び光電変換部２１０Ｘｂは、それぞれ第１の信号及び第２の信号を得る。Ａ像を形成する第１の信号を取得する光電変換部２１０ＸａをＡ画素と呼び、Ｂ像を形成する第２の信号を取得する光電変換部２１０ＸｂをＢ画素と呼ぶ。各光電変換部で取得された信号は、演算処理部２０４に伝送される。演算処理部２０４は、これらの信号に基づいて、２つの視差画像と、出力の１つである特定の視点のカラー画像とを生成する処理を行う。

図２（ｄ）は、撮像素子２０３上のマイクロレンズ２１１毎の画素構造を光軸の入射方向から見た、光電変換部２１０Ｘａ（Ａ画素）及び光電変換部２１０Ｘｂ（Ｂ画素）の配置を示す図である。図２（ｄ）は、水平方向又は垂直方向に２視点の場合の配置例である。なお、視点数（１つの画素が有する光電変換部の数）は２に限定されない。例えば、図２（ｅ）に示した撮像素子２０３は、１つの画素が４つの光電変換部を有し、水平方向及び垂直方向に瞳分割が行われる場合の配置例である。光電変換部の分割数を更に増やして視点数を増加させてもよい。

図２（ｆ）は、図２（ａ）の光軸２０２と撮像素子２０３の交点（中心像高）から、結像光学系２０１の射出瞳２３０を見た図である。光電変換部２１０Ｘａ及び光電変換部２１０Ｘｂには、それぞれ射出瞳２３０の異なる領域である瞳領域２３１ａを通過した光束２３２ａ及び瞳領域２３１ｂを通過した光束２３２ｂが入射する。重心位置２４１ａは、瞳領域２３１ａの重心位置（第１の重心位置）であり、重心位置２４１ｂは、瞳領域２３１ｂの重心位置（第２の重心位置）である。重心位置２４１ａは、射出瞳２３０の中心からｘ軸２００に沿って偏心（移動）している。一方、重心位置２４１ｂは、ｘ軸２００に沿って、重心位置２４１ａとは逆の方向に偏心（移動）している。重心位置２４１ａと重心位置２４１ｂとを結ぶ方向を瞳分割方向と呼ぶ。また、重心位置２４１ａと重心位置２４１ｂとの間の距離（重心間距離）が基線長２６２となる。基線長２６２は、画素の入射角に対する感度分布を射出瞳２３０面上に投影した瞳感度分布の重心間隔に相当する。

Ａ画像とＢ画像は、デフォーカスによって瞳分割方向と同じ方向（本実施形態ではｘ軸方向）に位置が変化する。この画像間の相対的な位置変化量、即ちＡ画像とＢ画像との間の視差量は、デフォーカス量に応じた量となる。よって、この視差量を後述の手法により取得し、既知の変換手法によって視差量をデフォーカス量又は距離に変換することができる。

演算処理部２０４は、伝送された信号がアナログ信号の場合、電子像に対して相関二重サンプリング（ＣＤＳ）によるノイズ除去、オートゲインコントロール（ＡＧＣ）でのゲインアップによる露出制御、黒レベル補正、Ａ／Ｄ変換等の基礎的な処理を行う。これにより、演算処理部２０４は、デジタル信号に変換された画像信号を得る。アナログ信号に対する前処理が主であるため、一般的に演算処理部２０４内の主要コンポーネントは、ＡＦＥ（アナログフロントエンド）とも呼ばれる。一方、デジタル出力センサと対で使われるコンポーネントは、ＤＦＥ（デジタルフロントエンド）と呼ばれることがある。加えて、演算処理部２０４は、ベイヤー配列補間等によるカラー画像生成を行ってもよい。また、演算処理部２０４は、距離像算出部１０３への出力用の画像に対しては、輝度画像変換を行ってもよい。輝度画像変換は、距離像算出向けの簡易レベルでもよい。また、距離像算出の精度やロバスト性を向上させるために、ローパス、ハイパス等のフィルタリング処理、トーンマッピング等の階調調整処理を行ってもよい。表示部（不図示）に表示するプレビュー画像や距離像と対となる最終出力のカラー画像を作成する際には、演算処理部２０４は、複数の視差画像のいずれかを選択するか、複数の視差画像を混合することにより出力カラー画像又は輝度画像を生成してもよい。複数の視差画像が混合された画像（射出瞳内の複数の瞳領域を通過する光束に対応する画像）を、混合画像と呼ぶ。混合画像は、図２（ｆ）の射出瞳２３０の開口全てを利用して形成される１つの像に対応する。混合画像の視点から射出瞳２３０を見ると、重心位置２７０が視点の重心位置である。

図１に戻り、距離像算出部１０３は、撮像部１０２から出力される複数の視差画像から距離像を算出するコンポーネントである。距離像算出部１０３は、光学系１０１のズーム状態により定まる焦点距離や絞り値などのカメラパラメータ、及び撮像素子２０３の画素ピッチなどの撮像素子情報が含まれる、撮影情報を基に距離像を生成する。

光学系制御部１０４は、光学系１０１の絞りとズームを制御するコンポーネントである。位置ずれ補正部１０５は、ブラケット連写などの複数回撮像により得られた複数の視差画像セット（各セットが複数の視差画像を含む）、及び距離像算出部１０３により生成された複数の距離像に関して、位置と姿勢のずれ量を算出する。そして、位置ずれ補正部１０５は、必要に応じて、複数の視差画像のいずれか又は距離像に関して、位置と姿勢のずれ補正（以下、単に「位置ずれ補正」とも呼ぶ）を実施する。なお、位置ずれ補正は距離像統合部１０６で行ってもよい。

距離像統合部１０６は、ブラケット連写などの複数回撮影により得られた複数の視差画像セット（複数回の撮影分の視差画像セット）に対応する複数の距離像を１つの距離像（統合距離像）に統合する処理を行う。また、距離像統合部１０６は、基準として選択した別の画像の撮像位置に関して、３次元的に幾何変形を行ってもよい。また、距離像統合部１０６は、ブラケット連写した複数回撮像の視差画像セットと位置ずれ補正量とを用いて距離像を再計算してもよい。

制御部１０７は、制御プログラムを格納したＲＯＭと、ワークメモリとして使用されるＲＡＭとを含み、制御プログラムを実行することにより撮像装置１００全体を制御する。

図３は、統合距離像を生成する処理のフローチャートである。Ｓ１０１及びＳ１０２の処理は、ユーザが望みの構図で撮像装置１００のシャッター（不図示）を押した後に、一連の動作として実行される。Ｓ１０３の処理は、Ｓ１０１及びＳ１０２から連続した処理として実行してもよいし、ＧＵＩなどによりユーザに対して実行可否を確認した後に実行してもよい。

なお、図３に示すようにＳ１０１、Ｓ１０２の順で処理が実行される場合、後述のように視差画像の連写撮影及び距離像生成に対し逐次に手ぶれの大小判定を行いエラー処理に活用するなどの制御を行うことが可能となる。しかしながら、視差画像ブラケット撮影により生成した複数の距離像の、手ぶれに起因する位置ずれを補正する目的に関しては、Ｓ１０１及びＳ１０２の実行順序は特に限定されず、反対の順序で実行してもよい。

Ｓ１０１で、制御部１０７は、パンフォーカスで画像を撮影する制御を行うことにより、パンフォーカス画像を生成する。パンフォーカス画像とは、撮像装置１００からの距離が近い被写体と遠い被写体の両方にピントが合っているように見える被写界深度の深い画像である。パンフォーカス撮影のために、光学系制御部１０４は、光学系１０１の絞りを、後述するＳ１０２における撮影時よりも開口部が小さくなるように絞る。パンフォーカス撮影により、視差画像セット（Ａ像及びＢ像）及び混合画像を得ることができる。

Ｓ１０２で、制御部１０７は、測距のために絞りを拡げ、連写ブラケット撮影により複数の視差画像セットを生成する制御を行う。この時、距離像算出部１０３は、各ブラケット撮影により生成される各視差画像セットに対応する距離像を生成する。本実施形態では、光学系制御部１０４によりフォーカス（合焦位置）を変更しながらブラケット撮影を実施するフォーカスブラケット連写の場合について説明する。

制御部１０７は、フォーカスを、無限遠側から近距離側へと変化させてもよいし、近距離側から無限遠側へと変化させてもよい。ブラケットのフォーカス変更のステップは、均一であってもよいし、不均一であってもよい。例えば、制御部１０７は、後述のように各合焦被写体距離における奥行方向の測距可能範囲を考慮してブラケットのフォーカス変更のステップを設定してもよい。変更ステップを大きくすると、測距可能範囲の重複範囲を少なくしてブラケット連写数を減らすことができる。

なお、「合焦被写体距離」とは、その距離に被写体が存在する場合にその被写体のデフォーカス量が０になる距離を意味する。従って、合焦被写体距離は、撮影時に実際に被写体が存在する距離と一致するとは限らない。

また、制御部１０７は、別途撮影した画像（例えばＳ１０１で得られた複数の視差画像のいずれか又は混合画像）に対する画像解析を行って、フォーカスブラケットの設定を決定してもよい。制御部１０７は、画像解析により画像内の１以上の被写体領域の検出を実施する。そして、制御部１０７は、優先順位順に被写体領域に合焦するようにＡＦ機構（不図示）の測距によりフォーカス変更を行うことで、順次ブラケット撮影を行ってもよい（特許文献１参照）。或いは、制御部１０７は、ＤｅｅｐＬｅａｒｎｉｎｇなどの画像解析により、複数の被写体領域とその深さ距離をまず算出してもよい。制御部１０７は、算出した複数の被写体の深さ距離のみに対応する合焦被写体距離をカバーするように、非等間隔にブラケット連写してもよい。或いは、ユーザが撮像装置１００のＧＵＩを介して被写体を選択し、制御部１０７は、いくつかの注目被写体に対する合焦被写体距離のみでブラケット連写してもよい。

連写の各ブラケットを撮影する度に、複数の視差画像（１つの視差画像セット）が撮像部１０２により生成される。距離像算出部１０３は、１つの視差画像セットから１つの距離像を生成する。

ここで、図４を参照して、視差画像セットから距離像を生成する処理について説明する。Ｓ２０１で、距離像算出部１０３は、視差画像セットに含まれる複数の視差画像間の像ずれ量を算出する。本実施形態では、図２（ｄ）に示す画素構造の場合（視差画像セットがＡ像及びＢ像の２つの視差画像からなる場合）を例に説明を進める。距離像算出部１０３は、Ａ像とＢ像との間の相対的な位置ずれ量である像ずれ量の算出を行う。像ずれ量の算出には公知の手法を用いることができる。例えば、距離像算出部１０３は、次の式１を用いて、Ａ像とＢ像の像信号データＡ（ｉ）、Ｂ（ｉ）から相関値Ｓ（ｒ）を算出する。

ここで、ｒは２つの像の相対的な像シフト量であり、Ｓ（ｒ）は像シフト量ｒにおける２つの像の間の相関度を示す相関値であり、ｉは画素番号である。また、ｐ及びｑは、相関値Ｓ（ｒ）の算出に用いる対象画素範囲を示している。相関値Ｓ（ｒ）の極小値を与える像シフト量ｒを求めることで、像ずれ量を算出することができる。

なお、像ずれ量の算出方法は、本実施形態で説明する方法に限定されるものではなく、他の公知の手法を用いてもよい。式１の手法は、輝度値又はカラー値の差の絶対値を計算し、その和を算出する手法であり、ＳＡＤ（ＳｕｍｏｆＡｂｓｏｌｕｔｅＤｉｆｆｅｒｅｎｃｅ）と呼ばれる。他の手法としては、例えば、ＳＳＤ（ＳｕｍｏｆＳｑｕａｒｅｄＤｉｆｆｅｒｅｎｃｅ）及び正規相互相関ＮＣＣ（ＮｏｒｍａｌｉｚｅｄＣｒｏｓｓ－Ｃｏｒｒｅｌａｔｉｏｎ）などが知られている。また、ＺＮＣＣ（Ｚｅｒｏ－ｍｅａｎＮｏｒｍａｌｉｚｅｄＣｒｏｓｓ－Ｃｏｒｒｅｌａｔｉｏｎ）も知られている。像ずれ量算出を画像間全体に行うことで、像ずれ量マップを取得できる。

相関値Ｓ（ｒ）は、２つの像が一致すると限りなくゼロに近い小さな値となり、２つの像の相関が低くなると大きな値となる。相関値Ｓ（ｒ）の逆数を用いたり更に正規化して扱ったりすることで、相関値Ｓ（ｒ）に基づく値を距離値の信頼度として用いることも可能である。

式１において、Ａ（ｉ）をＡ像に対応させ、Ｂ（ｉ）をＢ像に対応させた場合、Ｂ像の視点を基準とした視差値により形成される像ずれ量マップが得られる。反対に、Ａ（ｉ）をＢ像に対応させ、Ｂ（ｉ）をＡ像に対応させた場合、Ａ像の視点を基準とした像ずれ量マップが得られる。混合画像に視点を合わせた像ずれ量マップを得るためには、後述の視点変換処理を視差画像に実施する必要がある。

画像と距離像の対を得ようとする場合、タイミングやフォーカスの違い、更に手持ち撮影の場合は構図や手ぶれ、動きぶれの具合などに応じて、距離像に対応させる画像を変更したい場合がある。また、後述するように、手持ち撮影の場合に手ぶれが生じる場合には、各ブラケットに対応する距離像のどの基準像に合わせて位置ずれの補正を実施するのかが、距離像の統合に影響を与える。例えば、式１によりＢ像の視点を基準とした像ずれ量マップを取得した場合、ＶｉｅｗＭｏｒｐｈｉｎｇと呼ばれる公知の視点変換手法により、容易に混合画像の視点の距離像を得ることができる。ＶｉｅｗＭｏｒｐｈｉｎｇについては、必要であれば下記の文献を参照されたい。
“ＶｉｅｗＭｏｒｐｈｉｎｇ”，Ｐｒｏｃ．ＳＩＧＧＲＡＰＨ９６，ｐ．ｐ．２１－３０

図２（ｆ）で説明したように、射出瞳２３０を像側から見た視点は、各々の視差画像を形成する光束の重心位置により決定される。従って、混合画像の視点は、例えばＡ像及びＢ像の２眼の場合、光束の総和の重心位置で決定されるため、Ａ像の視点とＢ像の視点の中点、つまり光軸上となる。そこで、得られた像ずれ量マップの半値を移動ベクトルに用いて像ずれ量マップの像ずれ量にＶｉｅｗＭｏｒｐｈｉｎｇによる画素移動を実施すると、幾何学的にも正しい、混合画像の視点の距離像を得ることができる。

本実施形態においては、図２（ｄ）の２眼の画素構造の場合を例に像ずれ量の算出、像ずれ量マップの算出、及び像ずれ量マップの視点変換の一例を示したが、図２（ｅ）の４眼、又はそれ以上の眼数の場合に対しても、同様の手法を用いることができる。

次に、Ｓ２０２で、距離像算出部１０３は、像ずれ量から距離情報であるデフォーカス量を算出する。図２（ａ）に示すように、被写体１５０の像は、結像光学系２０１を介して撮像素子２０３に結像される。図２（ａ）では、射出瞳２３０を通過した光束が結像面２０７で焦点を結び、焦点がデフォーカスした状態を示している。なお、デフォーカスとは、結像面２０７と撮像面（受光面）とが一致せず、光軸２０２方向にずれが生じた状態のことをいう。デフォーカス量は、撮像素子２０３の撮像面と結像面２０７との間の距離を示す。

ここで、図５に示す簡略化した撮像装置の光学配置を参照して、デフォーカス量から距離値への変換方法の一例を説明する。但し、図５では、被写体１５０が撮像素子２０３に対してデフォーカスした状態の光線２３２を示し、２０２は光軸、２０８は開口絞り、２０５は前側主点、２０６は後側主点、２０７は結像面である。また、ｒは像ずれ量、Ｗは基線長、ｐは撮像素子２０３と射出瞳２３０との間の距離、Ｚは結像光学系２０１の前側主点２０５と被写体１５０との間の距離、Ｌは撮像素子２０３（撮像面）から後側主点２０６までの距離、ΔＬはデフォーカス量である。

本実施形態では、デフォーカス量ΔＬに基づいて被写体１５０の距離Ｚが検出される。画素２１０の各光電変換部で取得したＡ像とＢ像との相対的位置ずれを示す像ずれ量ｒと、デフォーカス量ΔＬとは、下記の式２の関係を有している。

式２は、比例係数Ｋを用いて、式３のように簡略化して書くことができる。

像ずれ量をデフォーカス量に変換する係数を「換算係数」と呼ぶ。換算係数は、例えば、前述の比例係数Ｋ又は基線長Ｗのことを言う。基線長Ｗの補正は、換算係数の補正と等価である。なお、デフォーカス量の算出方法は、本実施形態の方法に限定されるものではなく、他の公知の手法を用いてもよい。

デフォーカス量から被写体距離への変換は、結像光学系２０１と撮像素子２０３の結像関係に関する式４を用いることができる。或いは、像ずれ量から変換係数を用いて直接被写体距離に変換してもよい。

ここで、ｆは焦点距離である。

入力された複数の視差画像間（例えばＡ像とＢ像との間）の、例えば全ての画素についてデフォーカス量を求めることで、入力画像に対応したデフォーカスマップを算出することができる。デフォーカスマップを式４の関係により変換することで、対応する距離像を算出できる。

以上説明したような測距演算処理の手順により、ワンショットで得られる複数の視差画像（１つの視差画像セット）から距離像を算出できる。

また、光学系１０１の被写界深度の近似式は、以下の式５及び式６で与えられる。

ここで、ΔＬ_{ＤＯＦ＿Ｆ}は前方被写界深度、ΔＬ_{ＤＯＦ＿Ｒ}は後方被写界深度、ｆは焦点距離、Ｆは絞り値、ｌは合焦被写体距離、δは許容錯乱円径である。許容錯乱円径δは、撮像部１０２の画素サイズなどにより決定される。一方、測距は上述のように像の相関により求める像ずれ量から算出する。このため、像が許容錯乱円径δのｎ倍までボケたら相関演算が難しくなる、という観点から測距可能範囲を定義することができる。

ｌを合焦被写体距離とすると、前側測距可能範囲Ｌ_{ＤＭＬ＿Ｆ}と後側測距可能範囲Ｌ_{ＤＭＬ＿Ｒ}は、以下の式７及び式８で表すことができる。

瞳分割光学系の測距可能距離範囲は、合焦被写体距離ｌに関して、被写体位置より手前側のＬ_{ＤＭＬ＿Ｆ}から後ろ側のＬ_{ＤＭＬ＿Ｒ}までの距離範囲となる。例えば、光学系１０１の焦点距離ｆ、絞り値Ｆ、許容錯乱円径δ、測距の相関が可能なボケの倍率ｎなどに具体的な値を設定する。これにより、例えば図６（ａ）のように、合焦被写体距離６０１、前側測距可能範囲６０２、後側測距可能範囲６０３の３つのグラフを描くことができる。横軸が合焦被写体距離ｌを示し、縦軸が合焦被写体距離ｌに対応する前側測距可能範囲６０２及び後側測距可能範囲６０３の距離を示す。合焦被写体距離６０１については、横軸も縦軸も合焦被写体距離ｌに対応する。なお、図の簡易化のため、グラフの縦軸と横軸はスケールを異ならせてある。

図６（ｂ）は、フォーカスブラケット連写の設定の一例を示す図である。前側測距可能範囲Ｌ_{ＤＭＬ＿Ｆ}と後側測距可能範囲Ｌ_{ＤＭＬ＿Ｒ}との関係で設定される測距可能範囲に抜けが生じない限りでブラケットのステップを大きくシフトさせることが可能である。例えば、図６（ｂ）に示すように測距可能範囲の重複を可能な限り少なくして３回のブラケットで撮影しても、奥行方向に広い距離範囲を持つ被写体空間全域の測距が可能となる。

仮にＤＦＤ（ＤｅｐｔｈＦｒｏｍＤｅｆｏｃｕｓ）技術を用いる場合には、わずかなボケの変化の違いの解析から距離を求めるため、ブラケットのステップを小さくしなければならず、必要な撮影回数が増加する。多くの場合、本実施形態の技術を用いることにより、ＤＦＤ技術を用いる場合と比べてブラケットのステップを大きくして撮影回数を減少させるとが可能である。

図７（ａ）は、フィギュアと箱庭のシーンをパンフォーカスで撮影した混合画像を示す。また、図７（ｂ）、（ｃ）、（ｄ）は、図６（ｂ）のＢＲ１、ＢＲ２、ＢＲ３の３つの設定に対応するフォーカスブラケット連写で得られた混合画像を示す。また、図８（ａ）、（ｂ）、（ｃ）は図７（ｂ）、（ｃ）、（ｄ）に示す混合画像に対応する視差画像セットから生成された距離像である。距離像中の白領域は、測距可能範囲外で距離値が得られなかった領域を表す。階調のある領域については、遠距離が高階調（明るい色）で表され、近距離が低階調（暗い色）で表されている。ブラケット間で奥行方向の測距可能範囲が異なるため、図８（ａ）、（ｂ）、（ｃ）の距離像間には、共通の被写体領域の距離値が存在しない。なお、仮にブラケットのステップを小さくして奥行方向の測距可能範囲に重なりを持たせても、被写体空間において被写体の奥行方向の存在領域が飛び飛びで各ブラケットの測距可能範囲の重なりの奥行範囲に被写体が存在しない場合がある。この場合にも、距離像間には、共通の被写体領域の距離値が存在しない。

撮像装置１００が静止している場合（例えば、撮像装置１００が三脚上に据えられている場合）、図８（ａ）、（ｂ）、（ｃ）の距離像を単純に合成するだけで統合距離像を生成することができる。

図３のＳ１０３は、Ｓ１０２において生成された距離像を統合して統合距離像を生成するステップである。各ブラケット間で距離像の画角内における領域的な重複がない場合には、距離像を単純に重ねていくことにより統合距離像が生成される。図８（ｄ）、（ｅ）は、ブラケット連写により生成された距離像を逐次統合する例を示した図である。図８（ｄ）は、ブラケットＢＲ１、ＢＲ２に対応する距離像である図８（ａ）、（ｂ）を統合した距離像である。図８（ｅ）は、ブラケットＢＲ１、ＢＲ２、ＢＲ３に対応する距離像である図８（ａ）、（ｂ）、（ｃ）を統合した距離像である。撮像装置１００を三脚上に据えているような場合には、単純に距離像を合成していくだけで、奥行き方向の測距範囲の広い、被写体空間の望みの奥行方向全域を測距した距離像を得ることができる。

重複している距離部分が得られている場合には、平均を取るなど統計的な処理により、精度や信頼度を向上させた新たな距離値を得ることができる。又は、複数の距離像間で同一箇所の測距値が同時に得られる場合、合焦被写体距離に一番近いデフォーカス（最小のデフォーカス）から作られた距離像値を利用するなど、複雑でヒューリスティックなアルゴリズムを用いることもできる。また、合焦被写体距離に一番近いデフォーカスかつ一番遠い合焦被写体距離を満たすものを採用することもできる。逆に、後側測距範囲の距離値を優先したい場合には、近い合焦被写体距離（最短の合焦被写体距離）を選択してもよい。更に、パンフォーカス画像の同一箇所と比較して各ブラケットの対応する部分の視差画像間で相関値もしくは信頼度、空間周波数が近いもの、又は後者が上回るブラケットの画像の部分に対応する距離像を選択して採用することもできる。

しかしながら、撮像装置１００が手持ちでブラケット連写の間に手ぶれが生じる場合、手ぶれの混入により連写のブラケット間で撮像装置１００の位置姿勢の関係にずれが生じてしまう。この手ぶれ動きによる撮像装置１００の位置と姿勢のずれ量（以下、単に「位置ずれ量」とも呼ぶ）を位置ずれ補正部１０５にてまず算出する。位置ずれ量算出は、Ｓ１０１で撮影したパンフォーカス画像をガイド画像として行う。また、位置ずれ量算出は、パンフォーカス画像撮影時の複数の視差画像のいずれか又は混合画像と、測距画像撮影時の複数の視差画像のいずれか又は混合画像との間で行う。対応する眼位置同士の視差画像との間、もしくは混合画像同士での位置ずれ関係から位置ずれ量を算出するのが好ましい。

図９は、Ｓ１０１及びＳ１０２で撮影した複数の視差画像と、生成された混合画像と、距離像との関係の一例を示す図である。図２（ｄ）の２眼の例を示している。パンフォーカス撮影に関しては、光学系制御部１０４により設定された光学系１０１の絞りが大きく絞り込まれＦ値が大きい場合、距離像は生成できないことがある。距離像は、複数の視差画像及び混合画像のいずれかの視点に対応している。一方、各視差画像と混合画像の視点は、図２（ｆ）を用いて説明したように異なる。

位置ずれ量算出においては、ブラケット間、又はパンフォーカス画像といずれかのブラケットとの間で、対応する眼位置同士の視差画像との間、もしくは混合画像同士で位置ずれ量を求める。仮に、異なる眼位置の視差画像間又は個別の視差画像と混合画像との間の位置ずれ量を求めて、そのような位置ずれ量を距離像の統合に用いた場合、距離像を正しく統合できない。

また、各ブラケットの距離像の視点位置は揃えて生成しておく必要がある。さもないと、距離像統合時にブラケット間で距離像が同じ視点位置になるようにいずれかの距離像の視点変換を行うことが必要となる。式１による距離値（相関値）算出のための画像選択において、ブラケット間で画像の眼位置を揃えておくことが好ましい。もしくは、それぞれで混合画像の視点位置への視点変換を実施しておくことが好ましい。

また、図２（ｆ）を用いて説明したように、瞳分割撮像系の各視差画像の視点位置は、光学系１０１の瞳領域を通過する光束の重心位置で決まる。そのため、光学系制御部１０４で設定する絞り及びフォーカスの状態に応じて、基線長２６２も変化してしまう。一方、混合画像は各々の視差画像の瞳領域を通過する光束の総和であるため、視点位置は常に光軸上に存在する。つまり、絞り及びフォーカスが同じ状態における各視差画像の視点位置と混合画像の視点位置との関係は、撮像装置１００に手ぶれが生じても一定である。しかし、ブラケット連写間で絞り又はフォーカスを変化させてしまうと、各視差画像の視点位置と、混合画像の視点位置との関係は変化してしまう。

そのため、フォーカスブラケット連写におけるブラケット間の位置ずれ量推定、及びガイド画像として用いるパンフォーカス画像と各ブラケットとの間の位置ずれ量推定は、混合画像の視点位置を基準として算出することが好ましい。

例えば、最終的にパンフォーカス画像と統合距離像との対を得たい場合は、パンフォーカス撮影の混合画像と視差画像ブラケット撮影毎の混合画像とを基準として位置ずれ量算出を行うことが好ましい。この場合、位置ずれ量に余計な視点変換を行う必要がなく効率的である。また、各ブラケットの距離像はＡ画像視点に対応したもの、又はＢ画像視点、もしくは混合画像視点に対応したものと生成方法を揃えておく。Ａ画像視点もしくはＢ画像視点で距離像を生成した場合は、統合後に、混合画像の視点へと距離像の視点変換をする必要がある。ゆえに、距離像についても、各ブラケットでの生成時に混合画像の視点に揃えておくことが好ましい。

そして、各ブラケット画像の間で直接位置ずれ量を算出しようとすると、フォーカスブラケットによる焦点位置の変化により、像のぼけ方が異なる。このため、ブラケット間の対応付けが非常に困難であり、ブラケット間での位置ずれ量算出が難しい。この課題に対して直接的には、ボケの異なる画像間でボケの違いをうまく考慮し吸収して対応付けを実施したり、ボケをデブラー処理により回復し調整して対応付けたりする方法が考えられるが、実現は難しい。そこでまず、各ブラケット画像とパンフォーカス画像との間で位置ずれ量算出を行い、変換して各ブラケット間の位置ずれ量を算出する。また、パンフォーカス画像に対してボケを付加してデフォーカスによる像変化を模した画像を作成し、測距撮影用のボケを生じた画像と対応付けて位置ずれ量を算出していく方法を例示する。

図１０は、パンフォーカス画像（ガイド画像）と各ブラケット画像との間での位置ずれ量算出を繰り返し行う場合のフローチャートを示す。Ｓ３０１で、位置ずれ補正部１０５は、パンフォーカス画像上で特徴点又はエッジを抽出する。画像間での位置ずれ量算出の方法としては、ＳＩＦＴやＳＵＲＦなどの特徴点やエッジの抽出を利用し、それぞれの画像内で抽出した特徴点間の対応付けを行う方法が知られている。しかし、測距用の画像は測距性能の向上のため絞りを開いて撮影するため被写界深度が浅い。そのため、各画像中の被写体像はデフォーカスによりボケが生じている可能性が高く、特徴点やエッジを抽出することが困難な場合が多い。そこで、位置ずれ量算出の方法は、領域ベースの対応付け方法を利用する方が、安定性が高い。しかし、領域ベースの対応付け方法を特徴のない領域や一方向のみのエッジ上で行っても対応付けが難しく無駄も多くなる。このため、位置ずれ補正部１０５は、好適な対応付けを得られるコーナー点やエッジ部の像領域のみを対応付けに用いることができるように、パンフォーカス画像上で特徴点又はエッジを抽出する。

ここでは、特徴点抽出の例としてＨａｒｒｉｓオペレータを用いた特徴点抽出を説明する。画像のコーナー位置を特徴点として抽出することにより、適切な特徴のない位置を選んで領域ベース手法で探索することにより発生する開口問題やいわゆる「滑り」の問題を抑制し、探索可能率を向上したリ、アウトライア率の低下、精度の向上が期待できる。

Ｈａｒｒｉｓオペレータはまず、ウィンドウサイズＷを決定し、水平及び垂直方向についての微分画像（Ｉ_ｄｘ，Ｉ_ｄｙ）を計算する。微分画像の計算には、Ｓｏｂｅｌフィルタ等を用いればよい。例えば、フィルタとしては、ｈ＝［１，√２，１］／（２＋√２）を横方向にし、縦方向に３つにならべた３×３フィルタｈ_ｘと、ｈを縦方向にし、横方向に３つならべた３×３フィルタｈ_ｙとを画像に適用し、（Ｉ_ｄｘ，Ｉ_ｄｙ）を得る。

そして、画像内の全ての座標（ｘ、ｙ）について、ウィンドウサイズＷを用いて、式９に従ってマトリクスＧを計算する。

マトリクスＧの最小特異値が大きい座標（ｘ、ｙ）の順に特徴点を抽出していく。その際、特徴点があまり密集しないほうが好ましい。そこで、既に特徴点が抽出済みの座標（ｘ、ｙ）のウィンドウサイズＷの周辺についてはもう特徴点を算出しない、等の約束を設けてもよい。特徴点は、パンフォーカス画像上で例えば２００～３００点抽出する。

図１１（ａ）に、パンフォーカス画像上で特徴点を抽出した様子を例示する。なお、特徴点抽出方法は本実施形態の方法に限定されるものではなく、ＳＩＦＴやＳＵＲＦなどのより高度な特徴点抽出方法などを含む他の公知の手法を用いてもよい。また、特徴点の抽出ではなくエッジ抽出を用いてもよい。

Ｓ３０２で、位置ずれ補正部１０５は、パンフォーカス画像上で算出した特徴点位置について、パンフォーカス画像と各ブラケット画像との間で像ずれ量を算出する。位置ずれ補正部１０５は、パンフォーカス画像上で設定した特徴点位置近傍をパッチとみなし、各ブラケット画像内でのずれ位置の変位となる２次元の動きベクトルを像ずれ量としてそれぞれ算出する。画像パッチは、カラー画像でも輝度画像でもよい。本実施形態では簡単のため輝度画像とする。

像ずれ量算出には、例えば式１を２次元の像シフトに拡張した式１０用いることができる。

ここで、ｒ、ｓは２つの像の相対的な水平垂直方向の像シフト量であり、Ｓ（ｒ，ｓ）は２次元的な像シフト量（ｒ，ｓ）における２つの像の間の相関度を示す相関値であり、ｉ、ｊは画素番号である。ｐ及びｑ、ｔ及びｕは、相関値Ｓ（ｒ，ｓ）の算出に用いる対象画素範囲を示している。相関値Ｓ（ｒ，ｓ）の極小値を与える像シフト量（ｒ，ｓ）を求めることで、個々の特徴点毎の像ずれ量を算出することができる。

なお、式１の場合と同様、像ずれ量の算出方法は、本実施形態の方法に限定されるものではなく、他の公知の手法を用いてもよい。

しかし、絞りを絞って撮影したパンフォーカス画像と、測距演算用に絞りを開いて撮影した測距演算用の各ブラケット画像とでは、ボケ方が異なる。そのため、式１０のような単純な相関演算では正しい像ずれ量を算出できない場合がある。

そこで、位置ずれ補正部１０５は、パンフォーカス画像に対して、カーネルサイズを少しずつ変化させたボケカーネルによるボケ像処理を適用することにより、画像バンクを作成する。

図１１（ｂ）は、パンフォーカス画像に関するボケ像の画像バンクを例示する図である。カーネルサイズの変化ステップは、細かければ細かい方がよいが、バンクの画像数に基づくメモリ量及び相関の演算量が増大する。単に位置ずれ量を算出するための相関の取れる類似のボケ画像が得られればよいので、例えば画素サイズのステップでカーネルサイズを変化させる。また、カーネルサイズは、理想的な合焦状態に対応するサイズ０から、測距の限界として定義する前ボケもしくは後ボケの被写界深度のボケに対応するカーネルサイズまで変化させればよい。つまり、測距可能範囲Ｌ_{ＤＭＬ＿Ｆ}及びＬ_{ＤＭＬ＿Ｒ}を定義する許容錯乱円径δのｎ倍のボケサイズを基に、最大のカーネルサイズを定義する。そして、画像バンクのそれぞれのボケ像と、像ずれ算出対象である各ブラケット画像との間で、像ずれ量算出を行う。つまり、例えば画像バンクの画像番号をｋとおくと、下記の式１１の演算が行われる。

ここで、Ｂ_ｋは、パンフォーカス画像に関するボケを変化させた画像バンクの画像ｋであり、Ａは、像ずれ量を算出するブラケット画像である。画像バンク中の全ての画像と対応付けを行い、最も残差スコア小さな画像バンク中の画像ｋにおける位置（ｒ，ｓ）が、対応する特徴点に関する像ずれ量となる（式１２参照）。

この探索を、ガイド画像との位置ずれ量を算出するため選んだブラケット画像との間で、パンフォーカス画像上で抽出した特徴点分実施する。すると、特徴点位置に関する２次元的な像ずれ量を疎に算出した像ずれ量（ｒ，ｓ）マップを得ることができる。また、像ずれ量算出時に、その特徴点位置のボケ画像バンクのインデックスｋから、符号未知のデフォーカス量の大小が分かる。デフォーカス量の大きな特徴点位置は、像ずれ量の信頼性が低くなる。デフォーカス量は、次のステップにおける重み演算の重みに利用してもよい。

Ｓ３０３で、位置ずれ補正部１０５は、Ｓ３０２において算出した各特徴点位置の像ずれ量のマップから、パンフォーカス画像撮影時の撮像装置１００の位置姿勢に対する、各ブラケット撮影時の相対位置姿勢を算出する。像ずれ量マップは、パンフォーカス画像を基準とした、対象ブラケット画像上における特徴点位置のずれ量を表している。そこで、像ずれ量マップを再度パンフォーカス画像と対象ブラケット画像上における特徴点の対応点座標に戻して、撮像装置１００の相対的な位置姿勢の変化を求める。

位置ずれ補正部１０５は、特徴点の対応点座標から基本行列を求めて、撮像装置１００の相対的な位置姿勢の変化情報に変換する。例えば、ガイド画像を基準に像ずれ量マップを算出した場合は、像ずれ量ベクトルの根元座標がパンフォーカス画像上での座標となり、ベクトルの終点が対象ブラケット画像上における特徴点位置の座標となる。

ここで、ある空間点Ｐの、ガイド画像及びあるブラケット撮像ｉにおける画像への射像は、ｐｉである。Ｋ_ｉは、パンフォーカス撮影及びブラケット撮影ｉの際のカメラ内部パラメータであるとする。すると、正規化座標が以下のように定義される。例えば、パンフォーカスがｉ＝０、ＢＲ１がｉ＝１、ＢＲ２がｉ＝２とする。

ここで、ｐ、ｑは画像座標、ｘ、ｙは正規化座標である。

フォーカスブラケット連写の場合、焦点距離ｆ_ｉは光学系制御部１０４により設定されるズーム状態により変化する。焦点距離ｆ_ｉは、パンフォーカス及びブラケットｉ撮影時の光学系１０１の焦点距離とする。Ｃ_ｘ、Ｃ_ｙは、光軸と画像の交点である画像中心である。正規化された２画像間の対応点を用いて撮像装置１００の相対位置姿勢を求めることができる。

ここで、例えば空間点Ｐのパンフォーカス撮像ｉ＝０における射像をｐ_０、ブラケットＢＲ１における射像をｐ_１とすると、

となる。ここで、ｘ_１及びｘ_２は以下の斉次関係を満たす。

エピポーラ制約は以下のように記述できる。

もし、基本行列が以下のように定義されるなら、

以下の関係が得られる。

Ｅの性質は次の通りである。

従って、式２２及び式２３により、基本行列Ｅを求めることができる。ここでの添字は、画像のインデックスではなく同一画像内での特徴点及び対応点の識別番号である。「’」の有無が、基準となるパンフォーカス画像と相対位置姿勢を求めるブラケット画像とを区別する。

式１８の定義を用い、２つのカメラ間のモーションを［Ｉ｜０］，［Ｒ｜ｔ^→］とすると、Ｅ行列分解より、

である。そして、Ｒ、ｔ^→を以下のように復元できる。

４つの解がありうるが、１つのみ意味がある。正しい解の組み合わせを求めるため、対応点を用いてデプス正制約テストを行う。Ｐ＝［Ｉ｜０］，Ｐ’＝［Ｒ｜ｔ^→］として、対応点を用いた以下の式２８に基づく逆投影により、

であるから、三角視（式２９）を行い、空間点Ｘを得る。

ここで、Ｐ_ｉは、Ｐの行ベクトルである。得られた対応点に対応する空間点Ｘのｚ座標に最も正符号が多い解の組み合わせが、幾何学的に正しいＲ、ｔ^→の解として得られる。

以上で述べた手法により、複数の撮像間における、撮像装置１００の相対位置姿勢Ｒ、ｔ^→を求めることができる。但し、この演算で求まるｔ^→はスケールのない２自由度である。空間点Ｘとｔ^→の間でスケールが相殺されている。ブラケット画像は距離像と対となっているため、特徴点位置の空間点Ｘとの対応付けでスケールを決定する。具体的には、パンフォーカス画像上の特徴点座標（ｘ，ｙ）は、ブラケット画像上の対応点座標（ｘ’，ｙ’）と対応しており、ブラケット画像は距離像と対になっているため、カメラ行列Ｐ’＝［Ｒ｜ｔ^→］における距離値ｄは既知である。また、式２９の演算よりこの空間点Ｘのカメラ行列Ｐ＝［Ｉ｜０］におけるスケール不定時の座標は既知であるから、カメラ行列Ｐ’の空間点Ｘ”に変換してｚ座標を距離値ｄと比較することにより、スケールλを確定できる。式で表すと以下の式３０のように表される。

ここで、Ｘ”_３はＸ”の第３要素である。

以上で述べたような手順により、パンフォーカス画像撮影時の撮像装置１００の位置姿勢に対する、いずれかのあるブラケット画像撮影時の相対位置姿勢の算出値が得られる。このような処理のループを、連写撮影した各ブラケットの視差画像と生成した距離像のセットにそれぞれ実施する。これにより、パンフォーカス画像撮影時の撮像装置１００の位置姿勢に対する、全連写ブラケット撮影時の撮像装置１００の相対位置姿勢が得られる。相対位置姿勢は、単純な変換処理により、連写の各ブラケット間の位置姿勢の変化量に変換可能である。

図１２に、演算により求められた相対位置姿勢の関係を示す。図１２は、図６（ｂ）のフォーカスブラケット設定により３回のフォーカスブラケット連写を行った場合の例である。Ｍ_ｉｊは撮像装置１００の相対位置姿勢であり、撮影ｉから撮影ｊへの相対位置姿勢変化が回転Ｒ、並進ｔ^→とすると、

である。まず、パンフォーカス画像（Ｐ）と各ブラケット画像（ＢＲ１，ＢＲ２，ＢＲ３，．．．：＝１，２，３）との間で相対位置姿勢Ｍ_Ｐ１、Ｍ_Ｐ２、Ｍ_Ｐ３を推定する。パンフォーカス画像と各連写ブラケット画像との間で相対位置姿勢が求まると、演算により連写ブラケット画像間で相対位置姿勢Ｍ_１２及びＭ_２３を求めることが可能となる。例えばＭ_１２は、

により求めることができる。

ここまで述べた手法は、パンフォーカス画像と各ブラケット画像との間の関係から、位置ずれ量、言い換えれば撮像装置１００の相対位置姿勢の変化を算出した。但し、フォーカスブラケットの変化のステップ幅が狭かったり、被写体の奥行き方向の配置が連続している場合は、距離像の間においてもブラケット間で共通領域が存在する。そのため、カラー画像又は輝度画像においてブラケット間の位置ずれ量を求めた後、これを初期値として、ブラケット毎に求めた距離像間で３次元的に位置ずれ量算出を行うことができる。距離像を用いて３次元的に位置ずれ量を算出できると（言い換えれば撮像装置１００の位置姿勢の変化を算出することができると）、距離値そのもので求めるため、画像間で求める場合よりも精度を単純な計算で上げることが可能となる。また、画像からの算出値を初期値に設定して変動範囲に制約を与えられると、ブラケット間の距離像の共通領域が少なくても、発散することなく安定して３次元的に位置姿勢の変化を算出することができる。

そこで、図６（ｃ）のように測距範囲についてブラケット数を増やして撮影する場合における、各ブラケット間の撮像装置１００の相対位置姿勢変化の算出について説明する。図６（ｂ）のように少ないブラケット数で奥行方向の測距範囲にマージンなしで連写ブラケットを設定して距離取得する場合と比べて、各ブラケットの距離像間で共通する奥行領域が生まれやすくなる。図６（ｃ）のブラケット間で測距可能範囲の重複がある奥行き位置に被写体が存在する場合、距離像に共通領域が生じ、３次元的に直接相対位置姿勢を求めることが可能となる。

以下、距離像の情報を用いた撮像装置１００の相対位置姿勢変化の推定の方法を説明する。既に、ガイド画像撮影時の撮像装置１００の位置姿勢に対する、全連写ブラケット撮影時の撮像装置１００の相対位置姿勢から、連写の各ブラケット間の位置姿勢の変化量が求められているものとする。

ここでは、距離像を逆射影した点群間の位置姿勢推定により相対位置姿勢の初期値Ｒ、ｔ^→をリファインする手法を説明する。図１３（ａ）のようなカメラ配置で隣接２ブラケットの撮像が行われているとする。Ｐは先行するブラケット撮影のカメラ行列、Ｐ’は続いて実施したブラケット撮影のカメラ行列である。手ぶれによりカメラ位置姿勢が変化している。まず、各ブラケットの距離像を、それぞれ撮影時の撮影情報を基に、ローカルカメラ座標の空間に逆射影して空間点の点群を得る。式１４より、各ブラケット撮影時のカメラ内部パラメータＫ_ｉは既知である。一方のブラケットのカメラ内部パラメータをＫ、他方のブラケットのカメラ内部パラメータＫ’とおく。そして、それぞれの距離像の画像座標ｐ、ｑ及び距離値ｄ、画像座標ｐ’、ｑ’及び距離値ｄ’をベクトル化して扱い、（ｐ_ｉ，ｑ_ｉ，ｄ_ｉ）、（ｐ’_ｉ，ｑ’_ｉ，ｄ’_ｉ）、ｉ＝１，２，…，Ｎとして、逆射影変換を行う。

但し、

これにより、距離像の値をそれぞれのローカル座標における空間点の点群に変換できる。

図１３（ｂ）に、それぞれのブラケット撮影のカメラのローカル座標にて距離像の値を逆射影して空間点の点群に変換した例を示している。この例では、先行ブラケットはフォーカスが近景側にあり、近景側の距離値を取得している。続くブラケットはより遠景側にフォーカスがあり、距離像もより遠景側を取得している。但し、中景領域の距離情報に共通領域がある。

ここで一例として、一般的に公知のＩＣＰ手法（「コンピュータビジョン最先端ガイド３第２章ＩＣＰアルゴリズム」，増田健ｐ．ｐ．３３－６２）を用いて、３次元空間同士の対応付けによる位置姿勢推定の方法を説明する。あるブラケットの距離像を逆射影により変換した空間点Ｘ^→と、異なるブラケットの距離像から求めた空間点Ｘ”^→との間の３次元剛体位置合わせからカメラ座標間の相対位置姿勢の推定を行うことができる。

つまり、異なるブラケット撮影における空間点Ｘ^→及びＸ”^→を静止領域とみなして３次元剛体変形することでカメラ座標間の相対位置姿勢について推定する。カメラ位置姿勢の探索は、下記の式３７及び式３８により実施される。

ここで、Ｘ^→、Ｘ’^→は、距離像より逆射影した空間点であり、Ｒ、ｔ^→はそれぞれの距離像から逆射影した空間点のカメラ座標間の位置姿勢の関係である。Ｘ”^→は、カメラの位置姿勢を使って３次元空間点Ｘ’^→を座標変換した空間点である。そして、画像間の関係から算出した相対位置姿勢Ｒ_ｉｎｉ ^→、ｔ_ｉｎｉ ^→をＲ、ｔ^→の初期値に用いて探索の最適化を行う。最適化を収束させると、点群の位置合わせによりリファインされた撮像装置１００の相対位置姿勢変化Ｒ_ｒｅｆ ^→、ｔ_ｒｅｆ ^→を得ることができる。

内部的にＲＡＮＳＡＣを含んでいるため、空間点Ｘ^→とＸ”^→との間、又は対応する距離像間で要素数が異なっていたり、事前の対応付けを行っていなくても３次元空間点の幾何学的な位置関係からカメラ座標間の相対位置姿勢をリファインした値を取得できる。

図１３（ｃ）は、点群の位置合わせにより隣接するブラケットの位置姿勢のリファイン値Ｒ_ｒｅｆ ^→、ｔ_ｒｅｆ ^→を得た図である。中景領域の点群が一致するカメラ間の位置姿勢Ｒ_ｒｅｆ ^→、ｔ_ｒｅｆ ^→を得ることができている。

本実施形態の説明においては、距離像の全点を逆射影して位置合わせに用いたが、ブラケットの測距可能領域の共通領域に該当する奥行きの距離像の要素のみを逆射影してカメラ座標間の相対位置姿勢リファインに用いてもよい。

画像でのカメラ座標間の相対位置姿勢推定、距離像を用いてのカメラ座標間の相対位置姿勢のリファインと順を追って推定することで、精度の高いカメラ座標間の相対位置姿勢を取得することが可能となる。

ここまでの位置ずれ量算出方法の説明は、連写ブラケット撮影中の逐次演算か完全に終了した後に算出する手順なのかを特定せずに説明をおこなった。連写ブラケットの各ブラケット撮影時に逐次計算してユーザへのリアクションに利用してもよい。

例えば、撮像装置１００は、パンフォーカス撮影（図３のＳ１０１）の後に、Ｓ１０２の各ブラケット撮影時に、図１０のＳ３０２又はＳ３０３の処理を実施する。そして、撮像装置１００は、Ｓ３０２で算出された特徴点に対して像ずれ量動きベクトルの求まった割合やベクトルの大きさに基づいて、ブラケット間の手ぶれによる撮像装置１００の位置と姿勢のずれの大きさを判定する。或いは、撮像装置１００は、Ｓ３０３において得られた位置ずれ量を用いて、姿勢や位置の変化を基に手ぶれによる動きの大きさをチェックする。例えば、姿勢変化ならば回転軸・回転量表現に直した際の回転量の大きさ、位置変化ならば空間点との一定距離スケールにおける変位の大きさに基づいて、手ぶれによる撮像装置１００の動きの大きさをチェックする。つまり、もしガイド画像に対する現在のブラケット画像の写っている像の重複が小さくなったり、撮像装置１００の位置姿勢変化が大きい場合には、ユーザに警告することが可能となる。

例えば、あるブラケット撮影時に手ぶれが大きい旨の警告が位置ずれ補正部１０５より制御部１０７に発せられた場合を考える。この場合、制御部１０７は、ブラケットのフォーカスを変化させないように光学系制御部１０４を制御し、再度同一フォーカスにて自動でやり直し撮影を試みることができる。或いは、制御部１０７は、一通りブラケット連写にてフォーカス変動範囲を変化させた後、再度ループして再撮影を行い、手ぶれが所定の範囲内で行われたブラケット連写の視差画像セット及び距離像が取得できるまで、ループ撮影するように制御してもよい。或いは、図１４に示すように、制御部１０７は、撮像装置１００の表示部に、ブラケット連写中に手ぶれが大きかった旨を表示し、ユーザに再撮影を促してもよい。

位置ずれ補正部１０５は、各ブラケットの撮影（複数回の撮影の各々）が行われる度に、現在の撮影に関する位置ずれ量を算出（検出）し、位置ずれ量が閾値以上であるか否かを判定してもよい。位置ずれ量が閾値以上であると判定された場合、制御部１０７は、次の撮影を行う前に、現在の撮影をやり直すように制御する。これにより、手ぶれの大きい撮影を速やかにやり直すことが可能になる。

そして、各ブラケット間の撮像装置１００の位置姿勢の変化を求めることができたら、撮像装置１００のいずれかの位置姿勢を基準座標として、ブラケット毎の距離像に対して位置ずれ補正を行う。図１２に示すように、パンフォーカス画像撮影時の撮像装置１００の位置姿勢と各ブラケット撮影との間の相対位置姿勢は求まっているので、この関係を用いて全ての距離像に対し位置ずれ補正を行う。

例えば、あるブラケットＢＲ１の距離像をパンフォーカス画像撮影時の撮像装置１００のカメラ座標に変換する位置ずれ補正を実施する場合を考える。この場合、図１５（ａ）に示すように、まず式３３及び式３４により、ＢＲ１のブラケット画像撮影時のカメラ内部行列を用いて、一旦距離像を空間点に逆射影する。そして、パンフォーカス画像撮影時の撮像装置１００に対する、ＢＲ１のブラケット画像撮影時の撮像装置１００の相対位置姿勢Ｍ_Ｐ１を用いて、空間点に３次元座標変換を実施する（式３９）。図１５（ｂ）は、逆射影した点群に３次元変換を適用する処理を示す図である。

ここで、Ｘは逆射影した空間点、Ｘ”は位置ずれ補正を適用した空間点である。最後に、位置ずれ補正後の空間点をパンフォーカス画像撮影時のカメラ内部行列を用いて距離像に再び射影することで、位置ずれ補正を施した距離像を取得できる（式４０参照）。図１５（ｃ）は、点群の射影により距離像を再び取得する処理を示す図である。

により、距離像の要素

を取得できる。（ｐ_ｉ，ｑ_ｉ）は距離像上の画像座標であり、Ｚ”_ｉは距離値である。同様の位置ずれ補正を他の距離像に対しても実施する。

なお、位置ずれ補正の基準をパンフォーカス画像撮影時の撮像装置１００の位置姿勢としたが、いずれのブラケット撮影時の撮像装置１００の位置姿勢を位置ずれ補正の変換先のカメラ座標としてもよい。好例としては、統合する距離像と対とする画像のカメラ座標を、位置ずれ補正の基準座標、つまり変換先のカメラ座標とするとよい。パンフォーカス画像を選択しても、いずれかのブラケット撮影時の複数の視差画像のいずれかを選択してもよい。

手持ち撮影で手ぶれがあり、図３のＳ１０２における位置ずれ補正が完了している場合は、Ｓ１０３で、距離像統合部１０６は、単純に距離像を重ねていく。Ｓ１０２では位置ずれ量推定のみ実施する場合には、Ｓ１０３で、距離像統合部１０６は、各ブラケット撮影の距離像に対して位置ずれ補正を適用した後に、統合を実施する。

ブラケット間で距離像の画角内における領域的な重複がある場合がある。この場合、距離像統合部１０６は、前述のように統計的に統合したり、合焦被写体距離やデフォーカス量の大小に基づいたアルゴリズムで優先順位付けや重み付けをして、複数の距離像を１枚の距離像に統合する。また、Ｓ１０２の位置ずれ補正処理において位置ずれ量算出処理のみが実行される場合は、距離像統合時に各ブラケットの距離像に対し順次位置ずれ補正を行い、距離像を蓄積していってもよい。

また、統合距離像を生成したカメラ座標に対応するパンフォーカス撮影又は連写ブラケット撮影の視差画像又は混合画像を距離像と対の画像とするのではなく、他のブラケット又は他視点のカラー画像を視点変換して最終出力のカラー画像としてもよい。

画像の視点変換は、式３３、式３４、式３９、式４０、及び式４１で説明した距離像の位置ずれ補正方法により行うことができる。例えば混合画像の場合、まず、対としたい距離像を、一旦逆に、画像のカメラ座標への視点変換を行う。そして、画像のカラー値もしくは輝度と距離像の要素と対応付ける。そして、位置ずれ補正方法により、元の距離像のカメラ座標への視点変換を行う。その際に、距離像の逆射影時に、カラーもしくは輝度値を距離値の点群に結び付けて、上述のように逆射影、３次元剛体変換、射影を行うことで、距離像のカメラ座標系へ画像視点変換を行うことが可能である。画像が視差画像の場合は、視差画像と混合画像のカメラ座標の関係の視点変換を加えて実施すればよい。

以上説明したように、第１の実施形態によれば、撮像装置１００は、フォーカスブラケット連写（複数回の撮影）と、パンフォーカス撮影（１回の撮影）とを行うように、撮影制御を行う。パンフォーカス撮影は、フォーカスブラケット連写よりも絞りを絞った状態で、即ち、フォーカスブラケット連写よりも被写界深度の深い撮影条件で行われる。撮像装置１００は、フォーカスブラケット連写に対応する複数の距離像を生成する。各距離像は各ブラケットにより生成される複数の視差画像の間の視差に基づいて生成される。撮像装置１００は、パンフォーカス撮影により生成される第１の画像（混合画像又は視差画像）に対する、フォーカスブラケット連写により生成される複数の第２の画像（混合画像又は視差画像セットに含まれる視差画像）の各々の位置ずれ量を検出する。そして、撮像装置１００は、第１の画像に対する複数の第２の画像の各々の位置ずれ量に基づいて、複数の距離像の間の位置ずれを補正する。これにより、連写で取得した複数の距離像の間の位置ずれを高精度で補正することが可能となり、複数の距離像から高精度な統合距離像を生成することが可能となる。

［第２の実施形態］
第２の実施形態では、連写の際にフォーカスブラケットを実施せず、フォーカス固定のまま連写して複数の距離像を生成する構成について説明する。眼数の少ないステレオ測距では、ステレオ対応付けに誤対応を含み易い特性がある。この場合において、手持ち撮影における視点の揺らぎや照明の揺らぎ、被写体の微小な揺らぎが利用できる場合を考える。この場合、フォーカス固定の連写で何度も距離取得を行って時間方向のフィルタリングを行うことで、誤対応による距離誤検出のアウトライアを抑えて測距精度を向上させることができる。しかしながら、手持ち撮影で手ぶれが混入する場合、連写で取得した距離像を正しく統合できない。特に、被写界深度が浅いカメラ設定で撮像装置の前後方向に手ぶれが発生する場合、画像の見えや距離値について連写間で共通領域が存在しにくくなる性質がある。本実施形態では、このような場合における距離像統合の技術に関する。以下、主に第１の実施形態と異なる点について説明する。

図１６は、第２の実施形態に係る撮像装置１６００の構成を示すブロック図である。撮像装置１６００は、光学系１０１、撮像部１０２、距離像算出部１０３、制御部１０７、光学系制御部１６０１、位置ずれ補正部１６０２、及び距離像統合部１６０３を含む。図１の撮像装置１００と同一の符号を持つブロックについては説明を省略する。

光学系制御部１６０１は、光学系１０１の絞りを制御するコンポーネントである。位置ずれ補正部１６０２は、連写で得られた複数の視差画像セット（各セットが複数の視差画像を含む）、及び距離像算出部１０３により生成された複数の距離像に関して、位置と姿勢のずれ量を算出する。そして、位置ずれ補正部１６０２は、複数の視差画像のいずれか又は距離像に関して、位置と姿勢のずれ補正を実施する。

距離像統合部１６０３は、連写で得られた複数の視差画像セットに対応する複数の距離像を１つの距離像（統合距離像）に統合する処理を行う。また、距離像統合部１６０３は、基準として選択した別の画像の撮像位置に関して、３次元的に幾何変形を行ってもよい。距離像統合部１６０３は、統計的な統合を行い、距離像における誤対応値を補正し、距離値の穴を減少させる。

図１７は、第２の実施形態に係る、統合距離像を生成する処理のフローチャートである。図３のフローチャートと同一の符号を持つブロックについては説明を省略する。

Ｓ１７０２で、制御部１０７は、距離像の計算に用いる複数の視差画像セットを連写撮影により取得するように制御する。この時、距離像算出部１０３は、各撮影により生成される各視差画像セットに対応する距離像を生成する。また、位置ずれ補正部１６０２は、位置ずれを逐次補正する。測距演算処理については、第１の実施形態で説明した処理と同様である。距離像の位置ずれ補正の詳細についても第１の実施形態と同様であり、位置ずれ補正部１６０２は、Ｓ１０１で撮影したパンフォーカス画像を基準として、距離像に対して位置ずれ補正を逐次実施していく。

Ｓ１７０２の連写間は、第１の実施形態と異なり、絞り及びフォーカスを変化させない。このため、連写間の位置ずれ量推定においては、混合画像及び視差画像セットに含まれる視差画像のいずれの視点位置を基準としてもよい。しかし、パンフォーカス撮影といずれかの測距撮影との間で位置ずれ量推定を行う場合は、位置ずれ補正の基準としてパンフォーカス画像の混合画像を用いると、余計な変換を追加する必要がなく簡単である。統一したカメラ座標に基づく連写により取得した複数の距離像が出力される。複数の距離像間には、手持ち撮影に起因する視点の揺らぎや照明の揺らぎ、被写体の微小な揺らぎが含まれていることとなる。

Ｓ１７０３は、連写により取得され位置ずれ補正が完了した距離像を統計的に統合していくステップである。連写の撮影間で距離像の画角内における領域的な重複がある場合がある。この場合、前述のように距離値の大きく外れたアウトライアの距離値は外し、統計的に統合したり、合焦被写体距離やデフォーカス量の大小に基づいたアルゴリズムで優先順位付けや重み付けをして、複数の距離像を１枚の距離像に統合する。手持ち撮影に起因する視点の揺らぎや照明の揺らぎ、被写体の微小な揺らぎが含まれていると、１ショットの場合の対応誤差による距離値の抜けや鏡面反射による測距不能部分の距離を、別のショットで効果的に取得できる。また、揺らぎを含む統計処理により、距離値もより精度よく求められることになる。

以上説明したように、第２の実施形態によれば、撮像装置１６００は、フォーカス固定の連写（複数回の撮影）と、パンフォーカス撮影（１回の撮影）とを行うように、撮影制御を行う。パンフォーカス撮影は、フォーカス固定の連写よりも絞りを絞った状態で、即ち、フォーカス固定の連写よりも被写界深度の深い撮影条件で行われる。撮像装置１６００は、フォーカス固定の連写に対応する複数の距離像を生成する。各距離像は連写の各撮影により生成される複数の視差画像の間の視差に基づいて生成される。撮像装置１６００は、パンフォーカス撮影により生成される第１の画像（混合画像又は視差画像）に対する、フォーカス固定の連写により生成される複数の第２の画像（混合画像又は視差画像セットに含まれる視差画像）の各々の位置ずれ量を検出する。そして、撮像装置１６００は、第１の画像に対する複数の第２の画像の各々の位置ずれ量に基づいて、複数の距離像の間の位置ずれを補正する。これにより、連写で取得した複数の距離像の間の位置ずれを高精度で補正することが可能となり、複数の距離像から高精度な統合距離像を生成することが可能となる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００…撮像装置、１０１…光学系、１０２…撮像部、１０３…距離像算出部、１０４…光学系制御部、１０５…位置ずれ補正部、１０６…距離像統合部、１０７…制御部

Claims

１回の撮影で視点の異なる複数の視差画像を出力する撮像素子と、
前記撮像素子を用いて、複数回の撮影と、前記複数回の撮影よりも被写界深度の深い撮影条件での１回の撮影とを行う撮影制御手段と、
前記複数回の撮影に対応する複数の距離像を生成する生成手段であって、各距離像は各撮影により生成される複数の視差画像の間の視差に基づいて生成される、生成手段と、
前記１回の撮影により生成される第１の画像に対する、前記複数回の撮影により生成される複数の第２の画像の各々の位置ずれ量を検出する検出手段と、
前記第１の画像に対する前記複数の第２の画像の各々の前記位置ずれ量に基づいて、前記複数の距離像の間の位置ずれを補正する補正手段と、
前記補正手段により補正された前記複数の距離像を統合する統合手段と、
を備え、
前記統合手段は、前記複数の距離像間で同一箇所の測距値が同時に得られる場合、最小のデフォーカスから作られた距離像値を前記統合のために利用する
ことを特徴とする撮像装置。
前記撮像素子は、結像光学系の射出瞳内の異なる複数の瞳領域を通過する光束を受光するように構成されている
ことを特徴とする請求項１に記載の撮像装置。
前記第１の画像は、前記１回の撮影において前記複数の瞳領域を通過する光束に対応する画像であり、
前記複数の第２の画像の各々は、前記複数回の撮影の各々において前記複数の瞳領域を通過する光束に対応する画像である
ことを特徴とする請求項２に記載の撮像装置。
前記第１の画像は、前記１回の撮影において前記複数の瞳領域のうちの第１の瞳領域を通過する光束に対応する画像であり、
前記複数の第２の画像の各々は、各撮影により生成される前記複数の視差画像のうちの前記第１の瞳領域に対応する視差画像である
ことを特徴とする請求項２に記載の撮像装置。
前記複数の第２の画像に対応する複数の前記位置ずれ量の各々について、前記位置ずれ量が閾値以上であるか否かを判定する判定手段を更に備え、
前記撮影制御手段は、前記複数回の撮影のうち、前記閾値以上であると判定された前記位置ずれ量に対応する撮影をやり直すように制御する
ことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
前記撮影制御手段は、前記複数回の撮影の前に前記１回の撮影を行うように制御し、
前記複数回の撮影の各々が行われる度に、
前記検出手段は、現在の撮影により生成された前記第２の画像に対応する前記位置ずれ量を検出し、
前記判定手段は、前記現在の撮影により生成された前記第２の画像に対応する前記位置ずれ量が前記閾値以上であるか否かを判定し、
前記現在の撮影により生成された前記第２の画像に対応する前記位置ずれ量が前記閾値以上であると判定された場合、前記撮影制御手段は、次の撮影を行う前に前記現在の撮影をやり直すように制御する
ことを特徴とする請求項５に記載の撮像装置。
前記検出手段は、前記複数の距離像に更に基づいて、前記第１の画像に対する前記複数の第２の画像の各々の前記位置ずれ量を検出する
ことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
前記複数回の撮影は、合焦位置の異なる複数回の撮影を行うフォーカスブラケット連写である
ことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
前記複数回の撮影は、フォーカス固定の連写である
ことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
１回の撮影で視点の異なる複数の視差画像を出力する撮像素子と、
前記撮像素子を用いて、複数回の撮影と、前記複数回の撮影よりも被写界深度の深い撮影条件での１回の撮影とを行う撮影制御手段と、
前記複数回の撮影に対応する複数の距離像を生成する生成手段であって、各距離像は各撮影により生成される複数の視差画像の間の視差に基づいて生成される、生成手段と、
前記１回の撮影により生成される第１の画像に対する、前記複数回の撮影により生成される複数の第２の画像の各々の位置ずれ量を検出する検出手段と、
前記第１の画像に対する前記複数の第２の画像の各々の前記位置ずれ量に基づいて、前記複数の距離像の間の位置ずれを補正する補正手段と、
前記複数の第２の画像に対応する複数の前記位置ずれ量の各々について、前記位置ずれ量が閾値以上であるか否かを判定する判定手段と、
を備え、
前記撮影制御手段は、前記複数回の撮影のうち、前記閾値以上であると判定された前記位置ずれ量に対応する撮影をやり直すように制御する
ことを特徴とする撮像装置。
視点の異なる複数の視差画像を複数回の撮影分と、前記複数回の撮影よりも被写界深度の深い撮影条件での１回の撮影で得られる画像とを取得する取得手段と、
前記複数回の撮影の各回の撮影で得られる複数の視差画像の間の視差に基づいて、各回の撮影に対応した距離像をそれぞれ生成する生成手段と、
前記１回の撮影で得られる第１の画像に対する、前記複数回の撮影により得られる複数の第２の画像の各々の位置ずれ量を検出する検出手段と、
前記第１の画像に対する前記複数の第２の画像の各々の前記位置ずれ量に基づいて、複数の前記距離像の間の位置ずれを補正する補正手段と、
前記補正手段により補正された複数の前記距離像を統合する統合手段と、
を備え、
前記統合手段は、複数の前記距離像間で同一箇所の測距値が同時に得られる場合、最小のデフォーカスから作られた距離像値を前記統合のために利用する
ことを特徴とする画像処理装置。
１回の撮影で視点の異なる複数の視差画像を出力する撮像素子を備える撮像装置が実行する制御方法であって、
前記撮像素子を用いて、複数回の撮影と、前記複数回の撮影よりも被写界深度の深い撮影条件での１回の撮影とを行う撮影制御工程と、
前記複数回の撮影に対応する複数の距離像を生成する生成工程であって、各距離像は各撮影により生成される複数の視差画像の間の視差に基づいて生成される、生成工程と、
前記１回の撮影により生成される第１の画像に対する、前記複数回の撮影により生成される複数の第２の画像の各々の位置ずれ量を検出する検出工程と、
前記第１の画像に対する前記複数の第２の画像の各々の前記位置ずれ量に基づいて、前記複数の距離像の間の位置ずれを補正する補正工程と、
前記補正工程により補正された前記複数の距離像を統合する統合工程と、
を備え、
前記統合工程は、前記複数の距離像間で同一箇所の測距値が同時に得られる場合、最小のデフォーカスから作られた距離像値を前記統合のために利用する
ことを特徴とする制御方法。
１回の撮影で視点の異なる複数の視差画像を出力する撮像素子を備える撮像装置が実行する制御方法であって、
前記撮像素子を用いて、複数回の撮影と、前記複数回の撮影よりも被写界深度の深い撮影条件での１回の撮影とを行う撮影制御工程と、
前記複数回の撮影に対応する複数の距離像を生成する生成工程であって、各距離像は各撮影により生成される複数の視差画像の間の視差に基づいて生成される、生成工程と、
前記１回の撮影により生成される第１の画像に対する、前記複数回の撮影により生成される複数の第２の画像の各々の位置ずれ量を検出する検出工程と、
前記第１の画像に対する前記複数の第２の画像の各々の前記位置ずれ量に基づいて、前記複数の距離像の間の位置ずれを補正する補正工程と、
前記複数の第２の画像に対応する複数の前記位置ずれ量の各々について、前記位置ずれ量が閾値以上であるか否かを判定する判定工程と、
を備え、
前記撮影制御工程は、前記複数回の撮影のうち、前記閾値以上であると判定された前記位置ずれ量に対応する撮影をやり直すように制御する
ことを特徴とする制御方法。
画像処理装置が実行する制御方法であって、
視点の異なる複数の視差画像を複数回の撮影分と、前記複数回の撮影よりも被写界深度の深い撮影条件での１回の撮影で得られる画像とを取得する取得工程と、
前記複数回の撮影の各回の撮影で得られる複数の視差画像の間の視差に基づいて、各回の撮影に対応した距離像をそれぞれ生成する生成工程と、
前記１回の撮影で得られる第１の画像に対する、前記複数回の撮影により得られる複数の第２の画像の各々の位置ずれ量を検出する検出工程と、
前記第１の画像に対する前記複数の第２の画像の各々の前記位置ずれ量に基づいて、複数の前記距離像の間の位置ずれを補正する補正工程と、
前記補正工程により補正された複数の前記距離像を統合する統合工程と、
を備え、
前記統合工程は、複数の前記距離像間で同一箇所の測距値が同時に得られる場合、最小のデフォーカスから作られた距離像値を前記統合のために利用する
ことを特徴とする制御方法。
コンピュータを、請求項１乃至１０のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。
コンピュータを、請求項１１に記載の画像処理装置の各手段として機能させるためのプログラム。