JP7091048B2 - 撮像装置およびその制御方法 - Google Patents

Description

本発明は、撮像装置及び撮像装置の制御方法に関する。

撮像装置の焦点検出方法の１つとして、撮像素子に形成された焦点検出画素により位相差方式の焦点検出を行う撮像面位相差方式がある。特許文献１に開示された撮像装置は、１つの画素に対して、１つのマイクロレンズと複数に分割された光電変換部が形成されている２次元撮像素子を用いる。複数に分割された光電変換部は、１つのマイクロレンズを介して撮影レンズの射出瞳の異なる領域を受光するように構成され、瞳分割を行う。複数に分割された光電変換部で、それぞれ受光した信号から視点信号を生成し、複数の視点信号間の視差から像ずれ量を算出してデフォーカス量に換算することで、位相差方式の焦点検出が行われる。また、特許文献２では、複数に分割された光電変換部によって受光した複数の視点信号を加算することで、撮像信号を生成することが開示されている。

米国特許第４４１０８０４号公報 特開２００１－０８３４０７号公報

しかしながら、カメラ撮影では、主被写体にピントを合わせ、その一方、前景や背景を大きくボカすことにより、主被写体を効果的に際立たせる撮影表現が多く用いられる。撮影条件によって主被写体を際立たせる効果がわかりにくい場合があり、撮影後に画像処理を行って確認するしかなかった。

本発明は、上記課題を鑑みて、合焦近傍の被写体をボケた前景や背景との対比により際立たせる効果の有無を撮影前に報知する撮像装置を提供することを目的とする。

上記の課題を解決するために、本発明の撮像装置は、撮像手段により異なる複数の視点で撮像された複数の視点画像を取得する取得手段と、前記複数の視点画像間の視点関連情報を検出する検出手段と、前記複数の視点画像の撮影条件である第１撮影条件または第２撮影条件を設定する設定手段と、前記設定手段により前記第２撮影条件を設定した場合に、前記第２撮影条件をユーザに報知する報知手段とを備え、前記第２撮影条件は、前記第１撮影条件に基づいて設定され、前記第１撮影条件よりも前記視点関連情報に基づく画像処理前後の画像変化が大きくなる条件であり、前記撮影条件は、ＩＳＯ感度と、被写体距離と焦点距離の除算値との少なくともいずれか１つを含む。

本発明によれば、合焦近傍の被写体をボケた前景や背景との対比により際立たせる効果の有無を撮影前に報知する撮像装置撮像装置を提供することができる。

画像処理装置としてのデジタルカメラの機能構成例を示すブロック図である。 画像処理部の機能構成例を示すブロック図である。 画素配列を模式的に示す図である。 画素を模式的に示す平面図及び断面図である。 瞳分割の概要を説明する図である。 画素内部の光強度分布の例を説明する図である。 瞳強度分布の例を説明する図である。 撮像素子と瞳分割の関係、及びデフォーカス量と像ずれ量の関係示す図である。 撮像画像のコントラスト分布の例を示す図である。 視点画像間の差を拡大した視差強調の例を説明する図である。 リフォーカス処理の概略を説明する図である。 アンシャープネス処理の概要を説明する図である。 リフォーカス可能範囲を説明する図である。 視点移動処理の原理を説明する図である。 撮像素子の周辺像高における瞳ずれを説明する図である。 メインフローチャートである。 視点画像処理効果判定処理の一連の動作を示すフローチャートである。 視点画像処理効果判定処理の一連の動作を示すフローチャートである。 現像処理の一連の動作を示すフローチャートである。 画素配列を模式的に示す図である。 画素を模式的に示す平面図及び断面図である。

以下、本発明を実施するための最良の形態について図面などを参照して説明する。なお、以下では画像処理装置の一例として、ＬＦデータを取得可能な任意のデジタルカメラに本発明を適用した例を説明する。しかし、本発明は、デジタルカメラに限らず、取得したＬＦデータを処理可能な任意の機器にも適用可能である。これらの機器には、例えば携帯電話機、ゲーム機、タブレット端末、パーソナルコンピュータ、時計型や眼鏡型の情報端末、監視システム、車載システム、内視鏡などの医療システム、画像を提供可能なロボットなどが含まれてよい。また、任意の機器がインターネット又はローカルネットワーク上の、プロセッサ等の処理手段を備えたサーバ機器（仮想マシンを含む）にＬＦデータと操作内容を送信し、ＬＦデータに対する処理の一部又は全部をサーバ機器で実行する構成が含まれてよい。この場合、任意の機器はサーバ機器から処理結果を受信して表示させる構成が含まれてよい。

（第１実施形態）
（デジタルカメラ１００の全体構成）
図１は、本実施形態に係る画像処理装置の一例としてのデジタルカメラ１００の機能構成例を示すブロック図である。なお、図１に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよく、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現される。

第１レンズ群１０１は、結像光学系を構成するズームレンズを含み、結像光学系の先端に配置されると共に、光軸方向に進退可能に保持される。シャッタ１０２は、絞りを含み、その開口径を調節することにより撮影時に撮像素子１０７に入射する光量を調節する。また、静止画を撮影する際には、露光する時間を調節するシャッタとして機能する。シャッタ１０２と、結像光学系を構成する第２レンズ群１０３とは一体となって光軸方向に進退し、第１レンズ群１０１の進退動作との連動により、変倍作用（ズーム機能）を構成する。

第３レンズ群１０５は、結像光学系を構成する例えば焦点レンズを含み、光軸方向の進退により焦点調節を行う。光学素子１０６、は光学的ローパスフィルタを含み、撮像画像の偽色やモアレを軽減する。撮像素子１０７は、例えば、ＣＭＯＳフォトセンサーと周辺回路とから構成される撮像素子を含み、結像光学系の結像面に配置される。

ズームアクチュエータ１１１は、第１レンズ群１０１乃至第３レンズ群１０３の進退動作を発生させる駆動装置を含み、不図示のカム筒を回動することにより、第１レンズ群１０１乃至第３レンズ群１０３を光軸方向に進退駆動させる。絞りシャッタアクチュエータ１１２は、シャッタ１０２の動作を発生させる駆動装置を含み、シャッタ１０２の開口径やシャッタ動作を、絞りシャッタ駆動部１２８の制御に応じて制御する。フォーカスアクチュエータ１１４は、第３レンズ群１０５の進退動作を発生させる駆動装置を含み、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行う。

照明装置１１５は、撮影時の被写体照明用電子フラッシュを含み、例えば、キセノン管を用いた閃光照明装置、或いは連続発光するＬＥＤを備えた照明装置である。補助光発光部１１６は、ＡＦ補助光の発光装置を含み、所定の開口パターンを有したマスクの像を、投光レンズを介して被写界に投影し、暗い被写体あるいは低コントラストの被写体に対する焦点検出能力を向上させる。

制御部１２１は、ＣＰＵ（又はＭＰＵ）、ＲＯＭ、及びＲＡＭを含み、ＲＯＭに記憶されたプログラムをＲＡＭに展開、実行することによりデジタルカメラ１００全体の各部を制御して、ＡＦ、撮影、画像処理と記録等の一連の動作を実行する。また、制御部１２１は、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、通信インターフェース回路等を備えてもよい。さらに、制御部１２１は、表示部１３１に表示する表示内容を制御する表示制御部としての機能を含み、撮影条件設定手段として、制御部１２１で撮影条件の設定、変更を行い、表示部１３１に結果を出力する。また、画像処理部１２５によって実行される処理を代わりに実行してもよい。

電子フラッシュ制御部１２２は、制御回路又は制御モジュールを含み、撮影動作に同期して照明装置１１５の点灯を制御する。補助光駆動部１２３は、焦点検出動作に同期して補助光発光部１１６の点灯を制御する。撮像素子駆動部１２４は、撮像素子１０７の撮像動作を制御するとともに、取得した画像信号をＡ／Ｄ変換して制御部１２１に送信する。駆動モードには、複数の視点画像を出力するモードと１視点画像を取得するモードを有する。画像処理回路１２５は、撮像素子１０７が取得した画像のγ変換、カラー補間、ＪＰＥＧ圧縮等の処理を行う。

フォーカス駆動部１２６、絞りシャッタ駆動部１２８、及びズーム駆動部１２９は、それぞれ制御回路又は制御モジュールを含む。フォーカス駆動部１２６は、焦点検出結果に基づいてフォーカスアクチュエータ１１４を制御する。また、絞りシャッタ駆動部１２８は、撮影動作の所定のタイミングで絞りシャッタアクチュエータ１１２を制御する。さらに、ズーム駆動部１２９は、撮影者のズーム操作に応じてズームアクチュエータ１１１を制御する。

表示部１３１は、ＬＣＤ等の表示装置を含み、例えば、カメラの撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態の表示画像等を表示する。さらに、制御部１２１による撮影条件の設定値や変更値を表示する。操作部１３２は、デジタルカメラ１００を操作するためのスイッチ群を含み、例えば、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等を含む。操作部１３２が入力されたユーザ操作を制御部１２１に送信すると、制御部１２１は、ユーザ操作に対応した動作を実行するために、デジタルカメラ１００の各部を制御する。記録媒体１３３は、例えば、着脱可能なフラッシュメモリを含み、撮影済み画像を記録する。

通信部１３４は、通信回路又はモジュールを含み、所定の規格に準拠した通信方式を用いて、外部装置（例えば、外部に設置されたサーバ）との通信を確立する。通信部１３４は、外部装置と、例えば、画像データのアップロードやダウンロード、アップロードした画像データに対して外部装置が行った所定の処理の結果の受信等を行う。

（画像処理部１２５の構成）
次に、画像処理部１２５の構成について、図２を参照して説明する。画像取得部１５１は、記録媒体１３３から読み出された画像データを保存する。画像データは、後述する第１の視点画像と第２の視点画像とを合成した画像（Ａ＋Ｂ像ともいう）と、第１の視点画像とから構成される画像データである。

減算部１５２は、Ａ＋Ｂ像から第１の視点画像を減算することで第２の視点画像を生成する。シェーディング処理部１５３は、第１の視点画像と第２の視点画像の像高による光量変化を補正する。操作情報取得部１５４は、ユーザが変更した視点移動とリフォーカス用の調整値を受け取り、視点変更処理部１５５とリフォーカス処理部１５６へユーザが操作した調整値を供給する。

本実施形態の視点画像処理手段としての視点変更処理部１５５は、第１の視点画像と第２の視点画像の加算比率（重み付け）を変更して視点を変更した画像を合成する。詳細は後述するが、視点変更処理部１５５の処理により被写界深度を拡大又は縮小した画像を生成することができる。本実施形態の視点画像処理手段としてのリフォーカス処理部１５６は、第１の視点画像と第２の視点画像とを瞳分割方向にシフト加算することにより合成画像を生成し、異なるピント位置の画像を生成する。また、リフォーカス処理部１５６は、視点情報検出手段として、視点画像間の視点関連情報であるコントラスト分布と像ずれ分布を生成する。なお、リフォーカス処理部１５６による処理についても詳細は後述する。

また、画像処理部１２５は、以下に説明するホワイトバランス部１５７、デモザイキング部１５８、ガンマ変換部１５９、色調整部１６０の構成により現像処理（画像処理）を行う。ホワイトバランス部１５７は、ホワイトバランス処理を行う。具体的には、白の領域のＲ、Ｇ、Ｂが等色になるようにＲ、Ｇ、Ｂの各色にゲインをかける。このホワイトバランス処理をデモザイキング処理前に行うことにより、彩度を算出する際に、色かぶり等により偽色の彩度よりも高い彩度になることを回避し、誤判定を防止することができる。

デモザイキング部１５８は、各画素において欠落している３原色のうち２色のカラーモザイク画像データを補間することによって、全ての画素においてＲ、Ｇ、Ｂのカラー画像データが揃ったカラー画像を生成する。デモザイキング部１５８は、注目画素に対して、注目画素の周辺の画素を用いた補間を行う。その後、各画素について補間処理結果としてのＲ、Ｇ、Ｂの３原色のカラー画像データを生成する。

ガンマ変換部１５９は、各画素のカラー画像データにガンマ補正処理を適用して、例えば、表示部１３１の表示特性に整合させたカラー画像データを生成する。色調整部１６０は、画像の見栄えを改善するための処理である、例えばノイズ低減、彩度強調、色相補正、エッジ強調といった各種の色調整処理をカラー画像データに適用する。

圧縮部１６１は、色調整されたカラー画像データをＪＰＥＧ等の所定の圧縮方式に準拠した方法で圧縮し、記録する際のカラー画像データのデータサイズを小さくする。出力部１６３は、上述したカラー画像データ、圧縮された画像データ、又はユーザインターフェース用の表示データを出力する。

（撮像素子１０７の構成）
次に、本実施形態に係る撮像素子１０７の画素及び副画素の配列について、図３を参照して説明する。図３は、２次元状に配置された画素配列を４列×４行の範囲で示しており、さらに各画素に含まれる副画素配列を８列×４行の範囲で示している。

図３に示す画素配列のうち、２列×２行の画素群では、左上の位置にＲ（赤）の分光感度を有する画素２００Ｒを、右上と左下の位置にＧ（緑）の分光感度を有する画素２００Ｇを、右下の位置にＢ（青）の分光感度を有する画素２００Ｂをそれぞれ有する。各画素は、２列×１行に配列された副画素２０１と副画素２０２を有する。

また、図３に示す４列×４行の画素（８列×４行の副画素）を面状に多数配置することにより、撮像画像（或いは焦点検出信号）の取得が可能になる。撮像素子１０７は、例えば、画素の配置される周期Ｐが４μｍ、画素数Ｎが横５５７５列×縦３７２５行＝約２０７５万画素、副画素の列方向周期ＰＳが２μｍ、副画素数ＮＳが横１１１５０列×縦３７２５行＝約４１５０万画素である。

次に、図３に示す画素２００Ｇの構造をより詳細に説明する。図４（Ａ）は、画素２００Ｇを、撮像素子１０７の受光面側（＋ｚ側）から見た平面図を示す。また、図４（Ｂ）は、図４（Ａ）のａ－ａ断面を－ｙ側から見た断面図を示す。画素２００Ｇは、ｘ方向にＮＨ分割（２分割）、ｙ方向にＮＶ分割（１分割）された光電変換部３０１と光電変換部３０２とを有する。なお、光電変換部３０１と光電変換部３０２とは、副画素２０１と副画素２０２とにそれぞれ対応する。

また、画素２００Ｇは、画素の受光側（＋ｚ方向）に入射光を集光するためのマイクロレンズ３０５を有し、マイクロレンズ３０５を通過して入射した光束が、光電変換部３０１又は光電変換部３０２により受光される。光電変換部３０１と光電変換部３０２は、ｐ型層とｎ型層の間にイントリンシック層を挟んだｐｉｎ構造フォトダイオードとしてもよく、必要に応じて、イントリンシック層を省略し、ｐｎ接合フォトダイオードとしてもよい。カラーフィルタ３０６は、マイクロレンズ３０５と、光電変換部３０１および光電変換部３０２との間に配置され、所定の周波数の光を通過させる。なお、図４（Ｂ）では、カラーフィルタ３０６を画素２００Ｇに対して１つ設ける例を示しているが、必要に応じて、副画素毎に分光透過率の異なるカラーフィルタを設けてもよく、或いはカラーフィルタを省略してもよい。

光電変換部３０１と光電変換部３０２では、受光量に応じて電子とホールが対生成され、更に空乏層で分離される。その後、負電荷の電子はｎ型層に蓄積され、ホールは定電圧源（不図示）に接続されたｐ型層３００を通じて撮像素子１０７の外部へ出力される。光電変換部３０１と光電変換部３０２のｎ型層に蓄積された電子は、転送ゲートを介して静電容量部（ＦＤ）に転送され、電圧信号に変換される。

（撮像素子１０７の画素構造と瞳分割の関係）
次に、図４に示す撮像素子１０７の画素構造と瞳分割との対応関係を、図５を参照して説明する。図５は、図４（Ａ）に示した画素２００Ｇのａ－ａ断面を＋ｙ側から見た断面図と、結像光学系の射出瞳面の対応関係を示している。なお、図５では、射出瞳面の座標軸と対応を取るために、画素２００Ｇの断面図のｘ軸とｙ軸を図４に対して反転させている。

副画素２０１の瞳部分領域５０１は、副画素２０１で受光可能な瞳領域を表している。副画素２０１の瞳部分領域５０１は、瞳面上で＋Ｘ側に重心が偏心しており、重心が－ｘ方向に偏心している光電変換部３０１の受光面と、マイクロレンズによって、概ね、共役関係になっている。

一方、副画素２０２の瞳部分領域５０２は、副画素２０２で受光可能な瞳領域を表している。副画素２０２の瞳部分領域５０２は、瞳面上で－Ｘ側に重心が偏心しており、重心が＋ｘ方向に偏心している光電変換部３０２の受光面と、マイクロレンズによって、概ね、共役関係になっている。なお、瞳領域５００は、光電変換部３０１と光電変換部３０２（副画素２０１と副画素２０２）を全て合わせた際の画素２００Ｇ全体で受光可能な瞳領域である。

上述した構成の画素２００Ｇに光が入射した際の様子をより具体的に説明する。図６は、画素２００Ｇに形成されたマイクロレンズ３０５に、光が入射した場合の光強度分布の例を示す。図６（Ａ）は、マイクロレンズ光軸に平行な断面における光強度分布を示し、図６（Ｂ）は、マイクロレンズ焦点位置でのマイクロレンズ光軸に垂直な断面における光強度分布を示す。図６において、面Ｈは、マイクロレンズ３０５の凸側の面を、焦点距離ｆは、マイクロレンズの焦点距離を、可動範囲ｎＦΔは、後述するリフォーカスによる焦点位置の可動範囲を、角度φは、入射する光束の最大角度を示す。

入射光は、マイクロレンズ３０５によって焦点位置に集光されるが、光の波動性による回折の影響により、集光スポットの直径は回折限界Δより小さくならず、例えば、図６（Ａ）及び図６（Ｂ）に示すように有限の大きさとなる。例えば、光電変換部３０１の受光面サイズが約１～２μｍ程度である場合、マイクロレンズの集光スポットも約１μｍ程度である。そのため、光電変換部３０１の受光面とマイクロレンズ３０５を介して共役の関係にある瞳部分領域５０１（光電変換部３０２には瞳部分領域５０２）は、回折ボケのため、明瞭に瞳分割がされていない受光率分布（瞳強度分布）となる。

この画素２００Ｇにおける瞳強度分布は、更に横軸を瞳座標、縦軸を受光率として模式的に示すと図７のようになる。なお、瞳強度分布７０１は図５の瞳部分領域５０１のＸ軸に沿った瞳強度分布の例（実線）を、瞳強度分布７０２は瞳部分領域５０２のＸ軸に沿った瞳強度分布の例（破線）をそれぞれ示している。瞳部分領域５０１と瞳部分領域５０２とが異なる瞳位置においてなだらかな瞳強度のピークを有しており、マイクロレンズ３０５を通過した光がなだらかに瞳分割されることを示している。

また、撮像素子１０７の位置の異なる画素と瞳分割との対応関係は、図８（Ａ）のようになる。異なる瞳部分領域（瞳部分領域５０１と瞳部分領域５０２）を通過したそれぞれの光束は、撮像面８００を通過して撮像素子１０７の各画素に異なる角度で入射する。そして、２×１分割された各画素の副画素２０１（光電変換部３０１）と副画素２０２（光電変換部３０２）とによって受光される。すなわち、撮像素子１０７は、結像光学系の異なる瞳部分領域を通過する光束を受光するように構成された複数の副画素が設けられた画素を、複数配列している。

このような構成の撮像素子１０７を用いることにより、各画素の副画素２０１の受光信号を集めて第１視点画像を生成し、各画素の副画素２０２の受光信号を集めて第２視点画像を生成することができる。つまり、撮像素子１０７の各画素により取得される入力画像から、異なる瞳部分領域毎に複数の視点画像を生成することができる。なお、本実施形態では、第１視点画像と第２視点画像は、それぞれ、ベイヤー配列の画像となるため、必要に応じて第１視点画像と第２視点画像とにデモザイキング処理を適用してもよい。また、撮像素子の画素毎に、副画素２０１と副画素２０２の信号を加算して読み出すことにより、有効画素数Ｎの解像度の撮像画像を生成することができる。

本実施形態では、複数の視点画像（第１視点画像と第２視点画像）から生成した撮像画像を用いる例を説明する。なお、図８（Ａ）では、瞳領域が水平方向に２つに瞳分割される例を示したが、副画素の分割方法に応じて瞳分割が垂直方向に行われてもよい。しかしこれに限らず、本実施形態も他の実施形態も、公知の技術により複数の視点画像を取得できるものであれば適用出来る。例えば特開２０１１－２２７９６号公報のように、複数の視点の異なるカメラをまとめて撮像素子１０７とみなす構成でもよい。また、図１の光学系と異なり、物体平面と撮像素子が共役の関係にあるように、マイクロレンズアレイ上で撮影光学系からの光束を結像させ、その結像面に撮像素子を設ける構成でもよい。さらには、マイクロレンズアレイ上で撮影光学系からの光束を再結像させ（一度結像した光束が拡散する状態にあるものを結像させるので再結像と呼んでいる）、その結像面に撮像素子を設けるような構成でも良い。また、適当なパターンを施したマスク（ゲイン変調素子）を撮影光学系の光路中に挿入する方法も利用できる。

（視点画像間のデフォーカス量と像ずれ量の関係）
次に、撮像素子１０７から出力される第１視点画像と第２視点画像との間のデフォーカス量と像ずれ量の関係について説明する。図８（Ｂ）は、第１視点画像と第２視点画像とのデフォーカス量と、第１視点画像と第２視点画像との間の像ずれ量との関係を模式的に示している。撮像面８００に撮像素子１０７（図８（Ｂ）では不図示）が配置され、図５、図８（Ａ）及び図８（Ｂ）と同様に、結像光学系の射出瞳が、瞳部分領域５０１と瞳部分領域５０２に２分割される。

デフォーカス量ｄは、被写体の結像位置から撮像面８００までの距離を大きさ｜ｄ｜で表わす。デフォーカス量ｄは、例えば、被写体の結像位置が撮像面８００より被写体側にある状態（前ピン状態ともいう）を負符号（ｄ＜０）で表す。一方、被写体の結像位置が撮像面８００より被写体の反対側にある状態（後ピン状態ともいう）を正符号（ｄ＞０）で表す。被写体の結像位置が撮像面にある合焦状態はｄ＝０である。図９では、被写体８０１が合焦状態（ｄ＝０）である例を、被写体８０２が前ピン状態（ｄ＜０）である例を、それぞれ示している。なお、前ピン状態（ｄ＜０）と後ピン状態（ｄ＞０）を合わせて、デフォーカス状態（｜ｄ｜＞０）とする。

前ピン状態（ｄ＜０）である場合、被写体８０２からの光束のうち、瞳部分領域５０１（瞳部分領域５０２）を通過した光束は、一度、集光した後、光束の重心位置Ｇ１（Ｇ２）を中心として幅Γ１（Γ２）に広がり、撮像面８００でボケた像となる。ボケた像は、撮像素子に配列された各画素を構成する副画素２０１（副画素２０２）により受光され、第１視点画像（第２視点画像）が生成される。よって、第１視点画像（第２視点画像）は、撮像面８００上の重心位置Ｇ１（Ｇ２）に、被写体８０２が幅Γ１（Γ２）にボケた被写体像として記録される。被写体像のボケ幅Γ１（Γ２）は、デフォーカス量ｄの大きさ｜ｄ｜の増加に伴い、概ね、比例して増加する。同様に、第１視点画像と第２視点画像間の被写体像の像ずれ量ｐ（＝光束の重心位置の差Ｇ１－Ｇ２）の大きさ｜ｐ｜も、デフォーカス量ｄの大きさ｜ｄ｜の増加に伴い、概ね、比例して増加する。後ピン状態（ｄ＞０）である場合、第１視点画像と第２視点画像間の被写体像の像ずれ方向が前ピン状態である場合と反対となるが、同様である。

従って、本実施形態では、第１視点画像と第２視点画像、もしくは、第１視点画像と第２視点画像を加算した撮像信号のデフォーカス量の大きさの増加に伴い、第１視点画像と第２視点画像間の像ずれ量の大きさが増加する。

（視点画像修正とリフォーカス）
次に、本実施形態に係る視点画像処理である視点画像修正処理とリフォーカス処理について説明する。本実施形態のリフォーカス処理では、第１段階として、視点変更処理部１５５が撮像画像の各画素値に基づくコントラストの高低を表すコントラスト分布を算出する。第２段階として、視点変更処理部１５５は算出したコントラスト分布に基づいて、画素毎に複数の視点画像（第１視点画像と第２視点画像）間の差を拡大して視差を強調する変換を行い、複数の修正視点画像（第１修正視点画像と第２修正視点画像）を生成する。第３段階として、リフォーカス処理部１５６は複数の修正視点画像（第１修正視点画像と第２修正視点画像）を相対的にシフト加算して、リフォーカス画像を生成する。

なお、以下ではｉ、ｊを整数として、撮像素子１０７の行方向ｊ番目、列方向ｉ番目の位置を（ｊ、ｉ）と表わす。また、位置（ｊ、ｉ）の画素の第１視点画像をＡ０（ｊ、ｉ）、第２視点画像をＢ０（ｊ、ｉ）、撮像画像をＩ（ｊ、ｉ）＝Ａ０（ｊ、ｉ）＋Ｂ０（ｊ、ｉ）と表わす。

（第１段階：コントラスト分布の算出）
視点変更処理部１５５は、ベイヤー配列の撮像画像Ｉ（ｊ、ｉ）に対し、式（１）に従って、位置（ｊ、ｉ）毎にＲＧＢ毎の色重心を一致させて、輝度Ｙ（ｊ、ｉ）を算出する。

次に、視点変更処理部１５５は、輝度Ｙ（ｊ、ｉ）に対して、瞳分割方向である水平方向（列ｉ方向）に、［１、２、－１、－４、－１、２、１］などのラプラシアン型フィルタ処理を適用して、水平方向の高周波成分ｄＹ（ｊ、ｉ）を算出する。視点変更処理部１５５は、必要に応じて、瞳分割方向ではない垂直方向（行ｊ方向）に［１、１、１、１、１、１、１］などの高周波カットフィルタ処理を適用して、垂直方向の高周波ノイズを抑制してもよい。

次に、視点変更処理部１５５は、規格化（正規化）された水平方向の高周波成分ｄＺ（ｊ、ｉ）を、式（２）に従って算出する。ここで、定数Ｙ０を分母に加えるのは、０で除算することにより式（２）が発散することを防止するためである。視点変更処理部１５５は、必要に応じて、式（２）で規格化する前に、輝度Ｙ（ｊ、ｉ）に高周波カットフィルタ処理を適用して高周波ノイズを抑制してもよい。

視点変更処理部１５５は、コントラスト分布Ｃ（ｊ、ｉ）を式（３）に従って算出する。式（３）の１行目は、撮像画像の輝度が所定輝度Ｙｃよりも低輝度の場合、コントラスト分布Ｃ（ｊ、ｉ）を０とすることを示す。一方、式（３）の３行目は、規格化された高周波成分ｄＺ（ｊ、ｉ）が所定値Ｚｃより大きい場合、コントラスト分布Ｃ（ｊ、ｉ）を１とすることを示す。それ以外（すなわち式（３）の２行目）は、ｄＺ（ｊ、ｉ）をＺｃで規格化した値がコントラスト分布Ｃ（ｊ、ｉ）となることを示す。

ここで、コントラスト分布Ｃ（ｊ、ｉ）は、［０、１］の範囲の値をとり、０に近いほどコントラストが低く、１に近いほどコントラストが高くなる。

図９は、式（３）によって得られる、撮像画像のコントラスト分布Ｃ（ｊ、ｉ）の一例を示している。このコントラスト分布において、白い部分は水平方向の高周波成分が多くコントラストが高いことを示し、黒い部分は水平方向の高周波成分が少なくコントラストが低いことを示している。

（第２段階：視点画像の視差強調処理）
次に、視点画像の視差強調処理について説明する。視差強調処理では、まず視点画像の像ずれ分布を算出する。像ずれ分布の算出は、第１視点画像Ａ０と第２視点画像Ｂ０の１対の像に対して相関演算を行って、１対の像の相対的な位置ずれ量を計算することにより得られる。相関演算には、様々な公知の方法が知られているが、視点変更処理部１５５は、例えば式（４）に示すような一対の像の差の絶対値を加算することにより、像の相関値を得ることができる。

ここで、Ａ０ｉ、Ｂ０ｉは、それぞれ第１視点画像Ａ０、第２視点画像Ｂ０のｉ番目の画素の輝度を表す。またｎｉは、演算に用いる画素数を表す数字で、像ずれ分布の最小演算範囲に応じて適切に設定される。

視点変更処理部１５５は、例えば式（４）のＣＯＲ（ｋ）が最小となるｋを、像ずれ量として算出する。すなわち、１対の像をｋ画素ずらした状態で、行方向のｉ番目の各Ａ０画素とＢ０画素の差の絶対値を取り、その絶対値を行方向の複数画素について加算する。そして、視点変更処理部１５５は、加算された値、すなわちＣＯＲ（ｋ）が最も小さくなるときのｋをＡ０とＢ０の像ずれ量とみなし、ずらし量ｋ画素を算出する。

これに対し、２次元的な像を瞳分割方向のみにｋ画素分動かして第１視点画像Ａ０の画素と第２視点画像Ｂ０の差分をとるようにし、複数列について加算する場合、相関演算は式（５）で定義される。

ここで、Ａ０ｉｊ、Ｂ０ｉｊは、それぞれ第１視点画像Ａ０、第２視点画像Ｂ０のｊ列目ｉ番目の画素の輝度を表す。また、ｎｉは、演算に用いる画素数、ｎｊは相関演算を行う１対の像の列方向の数をそれぞれ表す。

視点変更処理部１５５は、式（４）と同様に式（５）のＣＯＲ（ｋ）が最小となるｋを像ずれ量として算出する。なお、添え字ｋはｉにのみ加算されてｊとは無関係である。これは、２次元的な像を瞳分割方向のみに移動させながら相関演算をしていることに対応する。視点変更処理部１５５は、式（５）に従って第１視点画像Ａ０、第２視点画像Ｂ０の各領域の像ずれ量を算出し、像ずれ分布を算出することができる。

後述する本実施形態のリフォーカス処理では、高コントラスト部分のみに後述のシャープネス処理を行って、リフォーカス処理を行う。従って、上述したコントラスト分布の算出処理において、コントラスト分布Ｃ（ｊ、ｉ）が０である領域（すなわち所定輝度Ｙｃよりも低輝度の位置）には、式（５）による相関演算を行わないようにしてもよい。

次に、具体的な視差強調処理の例について説明する。瞳強度分布の例を図７に示したように、画素毎に形成されるマイクロレンズと複数に分割された光電変換部による瞳分割では、回折ボケのために、なだらかな瞳分割となる。そのため、なだらかに分割された瞳強度分布に応じた複数の視点画像では、瞳分割方向の実効Ｆ値が十分に暗く（大きく）ならないため、実効的な焦点深度が深くなりにくい。

従って、本実施形態では、視点変更処理部１５５は、複数の視点画像（第１視点画像と第２視点画像）に対して、画素毎に視点画像間の差を拡大して視差を強調する処理を行う。視点変更処理部１５５は、視差強調処理により、複数の修正視点画像（第１修正視点画像と第２修正視点画像）を生成する。

視点変更処理部１５５は、第１視点画像Ａ０（ｊ、ｉ）と第２視点画像Ｂ０（ｊ、ｉ）に対して、式（６）および式（７）に従って視点画像間の差を拡大し、第１修正視点画像Ａ（ｊ、ｉ）と第２修正視点画像Ｂ（ｊ、ｉ）を生成する。ここで、ｋ（０≦ｋ≦１）、α（０≦α≦１）を実数とする。

図１０は、視差強調処理によって、所定の位置において視点画像間の差が拡大した例を示している。視差強調処理を行う前の第１視点画像Ａ０（１０１）と第２視点画像Ｂ０（１０２）の例を破線で示し、式（４）および式（５）による視差強調処理を行った後の第１修正視点画像Ａ（１０３）と第２修正視点画像Ｂ（１０４）の例を実線で示している。図１０では、横軸は１１５２番目～１１５６番目の画素を副画素（サブピクセル）単位で示し、縦軸は各画素における視差の大きさを示している。視差強調処理により、視点画像間の差が小さかった部分はあまり変化しない（例えば１１５４番目付近）が、視点画像間の差が大きかった部分はより拡大（例えば１１５３番目や１１５５番目付近）して、視差が強調されている。

このように、本実施形態では、視点変更処理部１５５は、複数の視点画像毎に、複数の視点画像間の差を拡大させて視差を強調した複数の修正視点画像を生成する。なお、視点変更処理部１５５は、式（６）及び式（７）のように、画素内に含まれる複数の副画素の信号を用いて演算することにより、視差強調処理の負荷を抑制することができる。

式（６）では、ｋの値を大きくして視差強調を強くすると、複数の修正視点画像（第１修正視点画像と第２修正視点画像）間の視差が大きくなる。従って、ｋの値を大きくすることにより、分割方向の実効Ｆ値を暗く（大きく）し、分割方向の実効的な焦点深度を深く修正することができる。しかし、視差強調を過剰に強くすると、修正視点画像のノイズが増加してＳ／Ｎが低下してしまう。

このため、本実施形態では、コントラスト分布Ｃ（ｊ、ｉ）に基づいて、視差強調の変換の強さを領域適応的に調整する。例えば、視点変更処理部１５５は、コントラストが高い領域では、視差を大きくして視差強調の強度を強くし、分割方向の実効Ｆ値を暗く（大きく）する。一方、コントラストが低い領域では、Ｓ／Ｎを維持するため視差強調の強度を弱くして、Ｓ／Ｎ低下を抑制する。このようにすることで、複数の修正視点画像（第１修正視点画像と第２修正視点画像）間の視差を大きくして、分割方向の実効Ｆ値を暗く（大きく）し、分割方向の実効的な焦点深度を深く修正することができる。また、後述するリフォーカス処理では、複数の修正視点画像（第１修正視点画像と第２修正視点画像）を用いてリフォーカス画像を生成ことにより、リフォーカス効果を向上（リフォーカスによる画像変化を強調）させることができる。

視点変更処理部１５５は、必要に応じて、撮像画像の低輝度の領域よりも高輝度の領域における視差強調の強度を強くすれば、例えばＳ／Ｎ低下を抑制することができる。また、必要に応じて、撮像画像の高周波成分が少ない領域よりも高周波成分が多い領域において、視差強調の強度をより強くしても、同様に例えばＳ／Ｎ低下を抑制することができる。

（第３段階：リフォーカス処理）
複数の修正視点画像（第１修正視点画像と第２修正視点画像）を用いた、瞳分割方向（列方向或いは水平方向）のリフォーカス処理について、図１１を参照して説明する。図１１は、撮像面８００に配置された撮像素子１０７の列方向ｉ番目の画素の信号を含む、第１修正視点画像Ａｉと第２修正視点画像Ｂｉとを模式的に示している。第１修正視点画像Ａｉは、（図８（Ａ）の瞳部分領域５０１に対応した）主光線角度θａでｉ番目の画素に入射した光束の受光信号を含む。第２修正視点画像Ｂｉは、（図８（Ａ）の瞳部分領域５０２に対応した）主光線角度θｂでｉ番目の画素に入射した光束の受光信号を含む。つまり、第１修正視点画像Ａｉと第２修正視点画像Ｂｉは、光強度分布情報に加えて、入射角度情報も有している。

入射角情報を有することにより、リフォーカス処理部１５６は、所定の仮想的な結像面におけるリフォーカス画像を生成することができる。具体的に、リフォーカス処理部１５６は、第１修正視点画像Ａｉを角度θａに沿って、第２修正視点画像Ｂｉを角度θｂに沿って、それぞれ仮想結像面８１０まで平行移動させる。そして、平行移動した各修正視点画像を画素毎に加算することにより、仮想結像面８１０におけるリフォーカス画像を生成することができる。図１１の例では、第１修正視点画像Ａｉを角度θａに沿って仮想結像面８１０まで平行移動させることは、第１修正視点画像Ａｉを列方向に＋０．５画素シフトすることに対応する。一方、第２修正視点画像Ｂｉを角度θｂに沿って仮想結像面８１０まで平行移動させることは、第２修正視点画像Ｂｉを列方向に－０．５画素シフトすることに対応する。つまり、図１１の例における、仮想結像面８１０における第１修正視点画像Ａｉと第２修正視点画像Ｂｉの組み合わせは、第１修正視点画像Ａｉと第２修正視点画像Ｂｉとを相対的に＋１画素シフトすることにより得られる。このため、第１修正視点画像Ａｉと、シフトした第２修正視点画像Ｂｉ＋１とを画素毎に加算することにより、仮想結像面８１０におけるリフォーカス画像を生成することができる。

このようにリフォーカス処理部１５６は、整数シフト量ｓとして、式（８）に従って第１修正視点画像Ａと第２修正視点画像Ｂをシフト加算することにより、整数シフト量ｓに応じた各仮想結像面におけるリフォーカス画像Ｉ（ｊ、ｉ；ｓ）を生成する。

本実施形態では、第１修正視点画像Ａと第２修正視点画像Ｂはベイヤー配列で構成されるため、リフォーカス処理部１５６は、２の倍数のシフト量ｓ＝２ｎ（ｎ：整数）で、同色毎に式（８）に従ったシフト加算を行う。すなわち、リフォーカス処理部１５６は、画像のベイヤー配列を保ったままリフォーカス画像Ｉ（ｊ、ｉ；ｓ）を生成し、その後、生成したリフォーカス画像Ｉ（ｊ、ｉ；ｓ）にデモザイキング処理を施す。なお、リフォーカス処理部１５６は、必要に応じて、まず第１修正視点画像Ａと第２修正視点画像Ｂとにデモザイキング処理を施し、デモザイキング処理後の第１修正視点画像と第２修正視点画像を用いてシフト加算処理を行ってもよい。さらに、リフォーカス処理部１５６は、必要に応じて、第１修正視点画像Ａと第２修正視点画像Ｂの各画素間の補間信号を生成して、非整数シフト量に応じたリフォーカス画像を生成してもよい。このようにすれば、仮想結像面の位置をより詳細な粒度で変更したリフォーカス画像を生成することができる。

次に、リフォーカス処理部１５６が、より効果的なリフォーカス画像を生成するために適用するシャープネス処理、及びリフォーカス可能範囲の算出について説明する。

（シャープネス処理）
上述したように、リフォーカス処理では、第１修正視点画像Ａと第２修正視点画像Ｂとがシフト加算されて、仮想結像面におけるリフォーカス画像が生成される。シフト加算により第１修正視点画像Ａと第２修正視点画像Ｂの像をずらすため、リフォーカス処理前の画像に対する相対的なずらし量（像ずらし量ともいう）がわかる。ここで、上述したリフォーカス処理による整数シフト量ｓは、この像ずらし量に対応する。このため、リフォーカス処理部１５６は、像ずらし量ｓに対応した領域にシャープネス処理を行うことにより、リフォーカス画像における被写体の輪郭強調を実現することができる。

本実施形態に係るシャープネス処理では、例えば、図１２に概要を示すアンシャープマスク処理を用いる。アンシャープマスク処理は、注目画素を中心とした局所領域（元の信号）に、ぼかしフィルタを適用し、ぼかし処理を適用する前後の画素値の差分を注目画素の画素値に反映することにより、輪郭強調を実現する。処理対象の画素値Ｐに対するアンシャープマスク処理は、式（９）に従って算出される。但し、Ｐ'は処理適用後の画素値、Ｒはぼかしフィルタの半径、Ｔは適用量（％）である。

式（９）においてＦ（ｉ、ｊ、Ｒ）は、画素Ｐ（ｉ、ｊ）に対して半径Ｒのぼかしフィルタを適用して得られる画素値である。なお、ぼかしフィルタには、公知の方法、例えばガウスぼかしを用いることができる。ガウスぼかしは、処理対象の画素からの距離に応じてガウス分布に従った重み付けを適用して平均化する処理であり、自然な処理結果を得ることができる。また、ぼかしフィルタの半径Ｒの大きさは、シャープネス処理を適用したい画像上の周波の波長に関係する。すなわち、Ｒが小さいほど細かい模様が強調され、Ｒが大きいほど緩やかな模様が強調される。適用量Ｔ（ｉ、ｊ）は、像ずれ分布に応じてアンシャープマスク処理による輪郭強調の適用量を変化させる値である。具体的には、各画素の位置の像ずれ量をｐｒｅｄ（ｉ、ｊ）とし、リフォーカス処理によるシフト量ｓとすると、｜ｓ－ｐｒｅｄ（ｉ、ｊ）｜が小さい値（例えば像ずれ１画素以内）となる領域、すなわち仮想結像面で合焦状態となる領域、では適用量Ｔを大きくする。一方、｜ｓ－ｐｒｅｄ（ｉ、ｊ）｜が大きい値（例えば像ずれ量が３画素以上の場合）となる領域では、適用量Ｔを小さくする。このようにすることで、デフォーカス量が小さいピント位置または合焦近傍である領域には輪郭強調することができ、かつデフォーカス量が大きいボケ領域にはアンシャープマスク処理をかけない（またはぼかし処理）ようにすることができる。つまり、リフォーカス処理によるピント位置の移動の効果をより強調することができる。

（リフォーカス可能範囲の算出）
リフォーカス可能範囲は、リフォーカス処理によって変更可能なピント位置の範囲を表す。例えば、図１３は、本実施形態に係るリフォーカス可能範囲を模式的に示している。許容錯乱円をδ、結像光学系の絞り値をＦとすると、絞り値Ｆにおける被写界深度は±Ｆδである。これに対して、ＮＨ×ＮＶ（２×１）分割されて狭くなった瞳部分領域５０１（５０２）の水平方向の実効絞り値Ｆ０１（Ｆ０２）は、Ｆ０１＝ＮＨＦと暗くなる。第１修正視点画像（第２修正視点画像）毎の実効的な被写界深度は±ＮＨＦδとＮＨ倍深くなり、合焦範囲がＮＨ倍に広がる。すなわち、実効的な被写界深度±ＮＨＦδの範囲内では、第１修正視点画像（第２修正視点画像）毎に合焦した被写体像が取得されている。このため、リフォーカス処理部１５６は、図１１に示した主光線角度θａ（θｂ）に沿って第１修正視点画像（第２修正視点画像）を平行移動するリフォーカス処理により、撮影後に、ピント位置を再調整（リフォーカス）することができる。換言すれば、撮影後にピント位置を再調整（リフォーカス）できる撮像面からのデフォーカス量ｄは限定されており、デフォーカス量ｄのリフォーカス可能範囲は、概ね、式（１０）の範囲である。

許容錯乱円δは、例えばδ＝２ΔＸ（画素周期ΔＸのナイキスト周波数１／（２ΔＸ）の逆数）などで規定される。このように、リフォーカス可能範囲を算出することにより、ユーザ操作によってピント位置を変更（リフォーカス）する際の操作可能な範囲に対応させることができる。また、リフォーカス処理によって合焦させることのできる光線（被写体）を予め把握することができるため、例えば、所定の被写体がリフォーカス可能範囲に含まれるように、結像光学系の状態等の撮影条件を制御して再び撮影することも可能になる。

（視点移動処理）
次に、視点変更処理部１５５によって実行される、本実施形態に係る視点移動処理について説明する。なお、視点移動処理は、手前側の非主被写体のボケが主被写体に被る場合に、非主被写体によるボケを低減するための処理である。

図１４（Ａ）～図１４（Ｃ）は、視点移動処理の原理を示している。本実施形態では、撮像素子１０７（不図示）が撮像面６００に配置されており、図１１と同様に、結像光学系の射出瞳が瞳部分領域５０１と瞳部分領域５０２とに２分割される。図１４（Ａ）は、主被写体ｑ１の合焦像ｐ１に、手前の被写体ｑ２のボケ像Γ１＋Γ２が重なって撮影される場合（主被写体への前ボケ被りともいう）の一例を示す。また、図１４（Ｂ）と図１４（Ｃ）は、図１４（Ａ）に示す例を、結像光学系の瞳部分領域５０１を通過する光束と、瞳部分領域５０２を通過する光束とに、それぞれ分けて示している。図１４（Ｂ）では、主被写体ｑ１からの光束は、瞳部分領域５０１を通過して、合焦状態で像ｐ１に結像する。

一方、手前の被写体ｑ２からの光束は、瞳部分領域５０１を通過して、デフォーカス状態でボケ像Γ１に広がる。それぞれの光束は、撮像素子１０７の異なる画素の副画素２０１により受光されて、第１視点画像が生成される。図１４（Ｂ）に示すように、第１視点画像では、主被写体ｑ１の像ｐ１と手前の被写体ｑ２のボケ像Γ１とは重ならずに受光される。これは、所定領域（被写体ｑ１の像ｐ１近傍）において、複数の視点画像（第１視点画像と第２視点画像）のうち、至近側の被写体（被写体ｑ２のボケ像Γ１）が最も狭い範囲で撮影されている視点画像となる。換言すれば、所定領域（被写体ｑ１の像ｐ１近傍）において、複数の視点画像（第１視点画像と第２視点画像）のうち、被写体ｑ２のボケ像Γ１の写りが少なく、コントラスト評価値が最も大きい視点画像が得られる。

一方、図１４（Ｃ）では、主被写体ｑ１からの光束は、瞳部分領域５０２を通過して、合焦状態で像ｐ１に結像する。一方、手前の被写体ｑ２からの光束は、瞳部分領域５０２を通過して、デフォーカス状態でボケ像Γ２に広がる。それぞれの光束は、撮像素子１０７の各画素の副画素２０２で受光されて、第２視点画像が生成される。図１４（Ｃ）に示すように、第２視点画像では、主被写体ｑ１の像ｐ１と手前の被写体ｑ２のボケ像Γ２が重なって受光される。これは、所定領域（被写体ｑ１の像ｐ１近傍）において、複数の視点画像（第１視点画像と第２視点画像）のうち、至近側の被写体（被写体ｑ２のボケ像Γ２）が最も広い範囲で撮影されている視点画像となる。換言すれば、所定領域（被写体ｑ１の像ｐ１近傍）において、複数の視点画像（第１視点画像と第２視点画像）のうち、被写体ｑ２のボケ像Γ２の写りが多く、コントラスト評価値が最も小さい視点画像が得られる。従って、像ｐ１近傍において、像ｐ１とボケ像Γ１の重なりが少ない第１視点画像の重みを大きくし、像ｐ１とボケ像Γ２の重なりが多い第２視点画像の重みを小さくして加算すれば、主被写体に対する前ボケ被りを低減させることができる。

次に、視点変更処理部１５５が、第１視点画像と第２視点画像とを、重みを用いて重ね合わせる処理について説明する。なお、視点変更処理部１５５は、上述した第１視点画像Ａ（ｊ、ｉ）と第２視点画像Ｂ（ｊ、ｉ）とを入力する。第１ステップとして、視点変更処理部１５５は、視点移動を行う所定領域Ｒ＝［ｊ１、ｊ２］×［ｉ１、ｉ２］と所定領域の境界幅σとを設定したうえで、式（１１）に従って所定領域Ｒと所定領域の境界幅σに応じたテーブル関数Ｔ（ｊ、ｉ）を算出する。

なお、テーブル関数Ｔ（ｊ、ｉ）は、所定領域Ｒの内側で１、所定領域Ｒの外側で０となる関数であり、所定領域Ｒの境界幅σで１から０に概ね連続的に変化する。なお、視点変更処理部１５５は、必要に応じて、所定領域を円形やその他の任意の形状としてもよく、また、複数の所定領域及び複数の境界幅を設定してもよい。

第２ステップとして、視点変更処理部１５５は、実係数ｗ（－１≦ｗ≦１）を用いて、式（１２Ａ）に従う第１視点画像Ａ（ｊ、ｉ）の第１重み係数Ｗａ（ｊ、ｉ）を算出する。また、視点変更処理部１５５は、式（１２Ｂ）に従う第２視点画像Ｂ（ｊ、ｉ）の第２重み係数Ｗｂ（ｊ、ｉ）を算出する。

第３ステップとして、視点変更処理部１５５は、第１視点画像Ａ（ｊ、ｉ）と、第２視点画像Ｂ（ｊ、ｉ）と、第１重み係数Ｗａ（ｊ、ｉ）と、第２重み係数Ｗｂ（ｊ、ｉ）とを用いて、式（１３）に従って出力画像Ｉ（ｊ、ｉ）を生成する。

或いは、視点変更処理部１５５は、シフト量ｓを用いたリフォーカス処理と組み合わせて、式（１４Ａ）もしくは式（１４Ｂ）に従って出力画像Ｉｓ（ｊ、ｉ）を生成してもよい。

このようにして出力された出力画像Ｉｓ（ｊ、ｉ）は、視点が移動した画像であると共に、ピント位置が再調整（リフォーカス）された画像となる。

このように、出力画像の領域に応じて連続的に変化する重み係数を用いて、複数の視点画像毎に重み係数をかけて合成し、出力画像を生成するようにした。視点変更処理部１５５が式（１３）で主被写体に対する前ボケ被りを低減させる場合、像ｐ１近傍で、像ｐ１とボケ像Γ１の重なりが少ない第１視点画像の第１重み係数Ｗａを、像ｐ１とボケ像Γ２の重なりが多い第２視点画像の第２重み係数Ｗｂより大きくする。そして、出力画像を生成する。

換言すれば、視点変更処理部１５５は、画像の所定領域において、至近側の被写体が最も広い範囲で撮影されている視点画像の重み係数を最も小さくし、もしくは、至近側の被写体が最も狭い範囲で撮影されている視点画像の重み係数を最も大きくする。また、視点変更処理部１５５は、出力画像の所定領域において、コントラスト評価値が最も小さい視点画像の重み係数を最も小さくし、もしくは、コントラスト評価値が最も大きい視点画像の重み係数を最も大きくする。

なお、視点変更処理部１５５は、必要に応じて、視点移動処理を行わない所定領域以外では、結像光学系のボケ形状を変化させないために、複数の視点画像毎の重み係数（第１重み係数、第２重み係数）を、概ね均等に加算し、出力画像を生成してもよい。また、ユーザの指定に応じて重み係数（すなわち加算比率）を変更した出力画像を生成する方法を後述するが、視点移動処理を行う所定領域をユーザが指定するようにしてもよい。

（瞳ずれに対する視点移動処理）
次に、撮像素子１０７の周辺像高における瞳ずれについて説明する。図１５（Ａ）～図１５（Ｃ）は、各画素の副画素２０１と副画素２０２がそれぞれ受光する瞳部分領域（５０１、５０２）と結像光学系の射出瞳４００との関係を示している。

図１５（Ａ）は、結像光学系の射出瞳距離Ｄｌと撮像素子１０７の設定瞳距離Ｄｓが同じ場合を示している。この場合、結像光学系の射出瞳４００は、中央像高の場合も周辺像高の場合も同様に、瞳部分領域５０１と瞳部分領域５０２によって概ね均等に瞳分割される。

これに対して、図１５（Ｂ）は、結像光学系の射出瞳距離Ｄｌが撮像素子１０７の設定瞳距離Ｄｓより短い場合を示している。この場合、周辺像高では、結像光学系の射出瞳４００が、瞳部分領域５０１と瞳部分領域５０２によって不均一に瞳分割される。図１５（Ｂ）の例では、瞳部分領域５０１に対応した第１視点画像の実効絞り値が、瞳部分領域５０２に対応した第２視点画像の実効絞り値より小さい（明るい）値となる。反対側の像高（不図示）では、逆に、瞳部分領域５０１に対応した第１視点画像の実効絞り値が、瞳部分領域５０２に対応した第２視点画像の実効絞り値より大きい（暗い）値となる。

図１５（Ｃ）は、結像光学系の射出瞳距離Ｄｌが撮像素子１０７の設定瞳距離Ｄｓより長い場合である。この場合も、周辺像高では、結像光学系の射出瞳４００が、瞳部分領域５０１と瞳部分領域５０２によって不均一に瞳分割される。図１５（Ｃ）の例では、瞳部分領域５０１に対応した第１視点画像の実効絞り値が、瞳部分領域５０２に対応した第２視点画像の実効絞り値より大きい（暗い）値となる。反対側の像高（不図示）では、逆に、瞳部分領域５０１に対応した第１視点画像の実効絞り値が、瞳部分領域５０２に対応した第２視点画像の実効絞り値より小さい（明るい）値となる。

すなわち、瞳ずれにより周辺像高で瞳分割が不均一になることに伴って、第１視点画像と第２視点画像の実効Ｆ値も不均一になる。このため、第１視点画像と第２視点画像のいずれかのボケの広がり方が大きくなり、他方のボケの広がり方が小さくなる。従って、視点変更処理部１５５は、必要に応じて、出力画像の所定領域において、実効絞り値が最も小さい視点画像の重み係数を最も小さくし、もしくは、実効絞り値が最も大きい視点画像の重み係数を最も大きくすることが望ましい。このような視点移動処理を行うことにより、主被写体への前ボケ被りを低減させることができる。

（被写界深度拡大処理）
次に、視点変更処理部１５５による深度拡大処理について、再び図１４を参照して説明する。上述したように、図１４（Ｂ）において瞳部分領域５０１を通過した像が第１視点画像、瞳部分領域５０２を通過した像が第２視点画像である。各視点画像は、図からも明らかなように、本来の瞳領域の半分を通過して得られる画像であるため、水平方向２分割の瞳分割領域の場合には水平方向の絞り径が半分となる。このため、水平方向の被写界深度は４倍になる。一方、本実施形態では垂直方向に瞳分割した構成ではないため、垂直方向の被写界深度の変化はない。従って、第１視点画像または第２視点画像は、第１視点画像と第２視点画像とを合成した画像（Ａ＋Ｂ像）の被写界深度に対して、縦横平均として２倍の被写界深度を有する画像となる。

このように視点変更処理部１５５は、第１視点画像または第２視点画像の加算比率を１：１以外に変更して合成画像を生成することにより、被写界深度が拡大した画像を生成することができる。更に、視点変更処理部１５５は、上述したコントラスト分布と像ずれ分布を用いたアンシャープマスク処理を、第１視点画像又は第２視点画像の加算比率を変更した画像に対して適用する。このようにすることで、被写界深度を拡大し、かつ輪郭を強調した合成画像を生成することができる。また、深度拡大処理では、視点移動処理と同様に、所定領域をユーザの指定に応じて処理するようにしてもよい。なお、視点画像から合成画像は、視点変更処理部１５５から出力されると、上述した現像処理が適用され、現像処理の適用された画像が画像処理部１２５から出力される。

次に、図１６を参照して本実施形態に係る処理について説明する。まず、ステップＳ１０１では、ユーザが撮影する構図を設定し、ステップＳ１０２へ進む。次に、ステップＳ１０２では、ステップＳ１０１の構図に対して第１撮影条件を設定し、ステップＳ１０３へ進む。ここで、第１撮影条件とは、絞り値、シャッタースピード、ＩＳＯ感度、焦点距離であり、撮影条件を設定する方法は被写体の明度に応じた露出を自動設定して算出した値、またはユーザがマニュアルで値を設定する。次に、ステップＳ１０３では、視点画像を取得し、ステップＳ１０４へ進む。なお、ステップＳ１０３の視点画像の取得は必須ではなく、前述の第１撮影条件から後述の第２撮影条件を設定して、処理を行ってもよい。

次に、ステップＳ１０４では、視点画像処理の効果（画像処理前後の画像変化）があるか否かの判定処理を行う。この処理の詳細については、図１７、図１８のサブフローチャートで後述する。なお、ステップＳ１０４の視点画像処理の効果判定処理は必須ではなく、前述の第１撮影条件から後述の第２撮影条件を設定して、処理を行ってもよい。次に、ステップＳ１０５では、本撮影ＯＫか否かと第１撮影条件または第２撮影条件で本撮影するか否かを判定し、ＯＫの場合にはステップＳ１０６へ進み、ＮＧの場合にはステップＳ１０１へ戻る。

次に、ステップＳ１０６では、本撮影を行い複数の視点画像を取得し、ステップＳ１０７へ進む。そして、ステップＳ１０７では、前述のリフォーカス処理または視点変更処理である視点画像処理を行い、ステップＳ１０８へ進む。なお、視点画像処理については、撮像装置で行ってもよく、ＰＣ等の別の画像処理装置で行ってもよい。次に、ステップＳ１０８では、現像処理を行い、ステップＳ１０９へ進む。なお、現像処理については、図１９を用いて後述する。次に、ステップＳ１０９では、ステップＳ１０８で現像処理した画像を表示し、本フローを終了する。

次に、図１７、図１８を用いて視点画像処理の効果判定処理について説明する。まず、ステップＳ２０１では、絞り値が所定値以下か否かを判定し、所定値以下の場合にはステップＳ２０３へ進み、所定値より大きい場合にはステップＳ２０２へ進む。ここで、絞り値が大きいほど、第１の視点画像と第２の視点画像間の視差が小さくなるため画像処理の効果が小さくなる。そのため、所定値（例えばＦ８）を設定して判定を行う。次に、ステップＳ２０２では、視点画像処理の効果が出やすい絞り値にするため、絞り値を所定値以下に設定し、ステップＳ２０３へ進む。

次に、ステップＳ２０３では、ＩＳＯ感度が所定値以下か否かを判定し、所定値以下の場合にはステップＳ２０５へ進み、所定値より大きい場合はステップＳ２０４へ進む。ここで、ＩＳＯ感度が大きいほどＳ／Ｎが小さいため、視点画像処理の効果が視認しづらくなる。そのため、ＩＳＯ感度は、所定値（例えば、ＩＳＯ６４００）より小さい方がよい。次に、ステップＳ２０４では、ＩＳＯ感度を所定値以下に設定し、ステップＳ２０５へ進む。そして、ステップＳ２０５では、被写体距離／焦点距離（被写体距離と焦点距離の除算値）が所定値以上であるか否かを判定し、所定値以上である場合にはステップＳ２０７へ進み、所定値より小さい場合にはステップＳ２０６へ進む。なお、被写体距離については、リフォーカス処理におけるデフォーカス量の実距離換算値が縦倍率（横倍率の２乗）に比例する。そのため、被写体距離/焦点距離が小さい近距離の被写体ではリフォーカス処理によるデフォーカス変化量の実距離換算値が小さいため、効果が視認しづらい。

従って、被写体距離／焦点距離が所定値（例えば３０）以上であるか否かで判定する。次に、ステップＳ２０６では、焦点距離を所定値（例えば５０ｍｍ）以下に設定し、ステップＳ２０７へ進む。次に、ステップＳ２０７では、被写体距離／焦点距離が所定値以下であるか否かを判定し、所定値以下である場合にはステップＳ２０９へ進み、所定値より大きい場合にはステップＳ２０８へ進む。ここで、被写体距離／焦点距離が大きい遠距離の被写体ではリフォーカス処理によるデフォーカス変化量の実距離換算値が大きい。そのため、被写体に対してリフォーカス処理によるフォーカスの変化量が大きく、微調整できない。従って、被写体距離／焦点距離が所定値（例えば２００）以下であるか否かで判定する。次に、ステップＳ２０８では、焦点距離を所定値（例えば３００ｍｍ）以上に設定し、ステップＳ２０９へ進む。

次に、ステップＳ２０９では、これまでの判定条件から撮影条件を変更したか否かを判定し、変更した場合にはステップＳ２１８へ進み、変更してない場合にはステップＳ２１２へ進む。次に、ステップＳ２１８では、絞り値またはＩＳＯ感度の設定を変更したか否かを判定する。これは、ステップＳ２０２での絞り値の設定変更とステップＳ２０４でのＩＳＯ感度の設定変更がなされた場合には、適切な露光にするためにシャッタースピードの変更が必要であるためである。ステップＳ２１８で絞り値またはＩＳＯ感度の設定を変更した場合にはステップＳ２１０に進み、変更していない場合にはステップＳ２１９に進む。次に、ステップＳ２１９では、シャッタースピードを適切な露光にするために変更（再設定）して、ステップＳ２１０に進む。次に、ステップＳ２１０では、設定変更された撮影条件を第２撮影条件として設定し、ステップＳ２１１へ進む。次に、ステップＳ２１１では、第２撮影条件を報知するため、表示部に表示し、ユーザへ知らせ、処理を完了する。なお、第２撮影条件の報知は、順次画像を取得するライブビュー動作中に行ってもよい。

次に、Ｓ２１２では、前述のコントラスト分布生成し、ステップＳ２１３へ進む。そして、ステップＳ２０２では、前述の像ずれ量分布を生成し、ステップＳ２１４へ進む。次に、ステップＳ２１４では、被写体の像ずれ量が最大値をとるように像ずれ分布を正規化し、コントラスト分布を掛け合わせた分布を生成し、ステップＳ２１５へ進む。次に、ステップＳ２１５では、像ずれ分布とコントラスト分布を掛け合わせた分布の値が所定値以上であるか否かを判定し、所定値以上の場合にはステップＳ２１６へ進む。そして、所定値より小さい場合にはステップＳ２１７へ進む。次に、ステップＳ２１６では、視点画像処理効果フラグをＯＮし、処理を完了する。次に、ステップＳ２１７では、視点画像処理効果フラグをＯＦＦにし、視点画像処理効果判定処理を完了し、メインフローに戻る。

（現像処理に係る一連の動作）
次に、Ｓ１０８における現像処理について、図１８を参照して説明する。まず、ステップＳ３０１では、画像処理部１２５は、白の領域のＲ，Ｇ，Ｂが等色になるようにＲ，Ｇ，Ｂの各色にゲインをかけてホワイトバランス処理を行う。次に、ステップＳ３０２にでは、画像処理部１２５は、デモザイキング処理を行う。具体的には、画像処理部１２５は、入力画像に対して、それぞれの規定方向で補間を行って、その後方向選択を行うことにより、各画素について補間処理結果としてＲ、Ｇ，Ｂの３原色のカラー画像信号を生成する。

次に、ステップＳ３０３では、画像処理部１２５は、ガンマ処理を行う。次に、ステップＳ３０４では、画像処理部１２５は、画像の見栄えを改善するためのノイズ低減、彩度強調、色相補正、エッジ強調といった各種の色調整処理を行う。次に、ステップＳ３０５では、画像処理部１２５は、ステップＳ３０４において色調整されたカラー画像信号をＪＰＥＧ等の所定の方式で圧縮処理して、圧縮された画像データを出力する。次に、ステップＳ３０６では、制御部１２１は、画像処理部１２５から出力された画像データを、記録媒体１３３に記録して現像処理に係る一連の動作を終了して呼び出し元に処理を戻す。

以上、本実施形態によれば、合焦近傍の被写体をボケた前景や背景との対比により際立たせる効果の有無を撮影前に報知する撮像装置撮像装置を提供することができる。

（第２実施形態）
本実施形態では、各画素が水平方向と垂直方向とにそれぞれ２分割された撮像素子を用いる点が異なる。このため、この点以外のデジタルカメラ１００の構成は、第１実施形態と同一であるため、同一の構成については同一の符号を付して、重複する説明は省略し、相違点について重点的に説明する。

本実施形態に係る撮像素子１０７の画素及び副画素の配列について、図２０を参照して説明する。図２０は、本実施形態の撮像素子１０７について、画素の配列を４列×４行の範囲で、副画素の配列を８列×８行の範囲で示す。図２０に示す２列×２行の画素群２００では、Ｒ（赤）の分光感度を有する画素２００Ｒが左上に、Ｇ（緑）の分光感度を有する画素２００Ｇが右上と左下に、Ｂ（青）の分光感度を有する画素２００Ｂが右下にそれぞれ配置される。また、各画素は２列×２行に配列された副画素２２１から副画素２２４により構成される。

撮像素子１０７は、図２０に示す４列×４行の画素（８列×８行の副画素）を面上に多数配置して、撮像画像（副画素信号）の取得を可能としている。撮像素子１０７は、例えば、画素の周期Ｐが４μｍ、画素数Ｎが横５５７５列×縦３７２５行＝約２０７５万画素、副画素の周期ＰＳＵＢが２μｍ、副画素数ＮＳＵＢが横１１１５０列×縦７４５０行＝約８３００万画素の撮像素子１０７となる。

図２０に示す１つの画素２００Ｇを、撮像素子１０７の受光面側（＋ｚ側）から見た平面図を図２１（Ａ）に示し、図２１（Ａ）のａ－ａ断面を－ｙ側から見た断面図を図２１（Ｂ）に示す。図２１（Ａ）に示すように、本実施形態の画素２００Ｇでは、ｘ方向にＮＨ分割（２分割）、ｙ方向にＮＶ分割（２分割）された光電変換部２３０１～２３０４が形成される。光電変換部２３０１～２３０４は、それぞれ副画素２２１～２２４に対応する。

本実施形態では、第１視点画像は、各画素の副画素２０１の受光信号を集めて生成される。同様に、第２視点画像は、各画素の副画素２０２の受光信号を、第３視点画像は、各画素の副画素２０３の受光信号を、第４視点画像は、各画素の副画素２０４の受光信号を集めて、それぞれ生成される。なお、本実施形態では、第１視点画像から第４視点画像は、それぞれ、ベイヤー配列の画像であり、必要に応じて、第１視点画像から第４視点画像に、デモザイキング処理を行ってもよい。

ｊ、ｉを整数として、撮像素子１０７の行方向ｊ番目、列方向ｉ番目の位置を（ｊ、ｉ）、位置（ｊ、ｉ）の画素の第１視点画像をＡ０（ｊ、ｉ）、第２視点画像をＢ０（ｊ、ｉ）、第３視点画像をＣ０（ｊ、ｉ）、第４視点画像をＤ０（ｊ、ｉ）とする。このとき、撮像画像Ｉは、Ｉ（ｊ、ｉ）＝Ａ０（ｊ、ｉ）＋Ｂ０（ｊ、ｉ）＋Ｃ０（ｊ、ｉ）＋Ｄ０（ｊ、ｉ）である。

（視点画像修正とリフォーカス）
視点変更処理部１５５は、第１実施形態と同様に、コントラスト処理を行う。すなわち、ベイヤー配列の撮像画像Ｉ（ｊ、ｉ）に対し、式（１）に従って輝度Ｙ（ｊ、ｉ）を算出する。また、視点変更処理部１５５は、高周波成分ｄＹ（ｊ、ｉ）、高周波成分ｄＺ（ｊ、ｉ）、コントラスト分布Ｃ（ｊ、ｉ）を算出する。

次に、視点変更処理部１５５は、視点画像の視差強調処理を行う。視点変更処理部１５５は、第１視点画像Ａ０（ｊ、ｉ）から第４視点画像Ｄ０（ｊ、ｉ）に対して、式（１５）および式（１６）に従って視点画像間の差を拡大し、視差強調する変換を行う。視点変更処理部１５５は、この処理によって第１修正視点画像Ａ（ｊ、ｉ）から第４修正視点画像Ｄ（ｊ、ｉ）を生成する。ここで、０≦ｋＡＢ、ｋＡＣ、ｋＡＤ、ｋＢＣ、ｋＢＤ、ｋＣＤ ≦１の実数とする。

そして、リフォーカス処理部１５６は、視点変更処理部１５５によって出力された修正視点画像を用いてリフォーカス処理を行う。具体的に、リフォーカス処理部１５６は、整数シフト量ｓとして、式（１７）に従い第１修正視点画像Ａから第４修正視点画像Ｄをシフト加算する。

すなわち、整数シフト量ｓに応じた各仮想結像面でのリフォーカス画像Ｉ（ｊ、ｉ；ｓ）を生成することができる。なお、第１修正視点画像Ａから第４修正視点画像Ｄがベイヤー配列であるため、２の倍数のシフト量ｓ＝２ｎ（ｎ：整数）で、同色毎に式（１０）のシフト加算を行い、ベイヤー配列を保って、リフォーカス画像Ｉ（ｊ、ｉ；ｓ）を生成する。画像処理部１２５は、生成されたリフォーカス画像Ｉ（ｊ、ｉ；ｓ）にデモザイキング処理を行う。

なお、必要に応じて、第１修正視点画像から第４修正視点画像にデモザイキング処理を適用し、リフォーカス処理部１５６はデモザイキング処理後の第１修正視点画像から第４修正視点画像にシフト加算処理を行ってリフォーカス画像を生成してもよい。また、リフォーカス処理部１５６は、必要に応じて、第１修正視点画像から第４修正視点画像の各画素間の補間信号を生成し、非整数シフト量に応じたリフォーカス画像を生成してもよい。

（像ずれ分布）
次に、本実施形態における視点画像の像ずれ分布について説明する。水平方向の瞳分割方向の像ずれ分布は第１実施形態と同様のため省略し、垂直方向の瞳分割方向の像ずれ分布について説明する。視点変更処理部１５５は、２次元的な像を垂直方向の瞳分割方向のみにｋ画素分動かして第１視点画像Ａ０の画素と第３視点画像Ｃ０の差分をとる。従って、複数行について加算する相関演算の式は、式（１８）で定義される。

但し、Ａ０ｉｊ、Ｃ０ｉｊはそれぞれ第１視点画像Ａ０、第３視点画像Ｂ０のｊ列目ｉ番目の画素の輝度を表す。またｎｉは演算に用いる画素数を表す数字、ｎｊは相関演算を行う１対の像の列方向の数である。

視点変更処理部１５５は、式（１８）に示すＣＯＲ’(ｋ)が最小となるｋを像ずれ量として算出する。なお、添え字ｋはｊにのみ加算されてｉとは無関係である。これは、２次元的な像を垂直方向の瞳分割方向のみに移動させながら相関演算をしていることに対応する。このように、視点変更処理部１５５は、第１視点画像Ａ０、第３視点画像Ｃ０の各領域の像ずれ量を算出することにより、像ずれ分布を生成することができる。なお、本実施形態ではＡ０とＣ０を用いたが、Ｂ０とＤ０を用いて相関演算をしてもよいし、Ａ０とＢ０を加算した信号とＣ０とＤ０と加算した信号で相関演算してもよい。

（被写界深度拡大処理）
視点変更処理部１５５は、実係数ｗ（－１≦ｗ≦１）として、式（１９Ａ）～（１９Ｄ）に従って各視点画像の重み係数をそれぞれ算出する。

ここで、Ｗａ（ｊ、ｉ）は第１視点画像Ａ（ｊ、ｉ）の第１重み係数、Ｗｂ（ｊ、ｉ）は第２視点画像Ｂ（ｊ、ｉ）の第２重み係数、Ｗｃ（ｊ、ｉ）は第３視点画像Ｃ（ｊ、ｉ）の第３重み係数、Ｗｄ（ｊ、ｉ）は第４視点画像Ｄ（ｊ、ｉ）の第４重み係数である。

視点変更処理部１５５は、各視点画像と対応する重み係数から、式（２０）に従って出力画像Ｉ（ｊ、ｉ）を生成する。

以上、本実施形態によれば、合焦近傍の被写体をボケた前景や背景との対比により際立たせる効果の有無を撮影前に報知する撮像装置撮像装置を提供することができる。

また、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

１２５ 画像処理部
１３１ 表示部
１５１ 画像取得部

Claims (7)

1. 撮像手段により異なる複数の視点で撮像された複数の視点画像を取得する取得手段と、
   前記複数の視点画像間の視点関連情報を検出する検出手段と、
   前記複数の視点画像の撮影条件である第１撮影条件または第２撮影条件を設定する設定手段と、
   前記設定手段により前記第２撮影条件を設定した場合に、前記第２撮影条件をユーザに報知する報知手段と
   を備え、
   前記第２撮影条件は、前記第１撮影条件に基づいて設定され、前記第１撮影条件よりも前記視点関連情報に基づく画像処理前後の画像変化が大きくなる条件であり、
   前記撮影条件は、ＩＳＯ感度と、被写体距離と焦点距離の除算値との少なくともいずれか１つを含む
   ことを特徴とする撮像装置。
2. 前記設定手段は、前記第１撮影条件における絞り値が所定値より大きい場合に、前記絞り値を、前記第１撮影条件よりも第２撮影条件の方が小さい値になるように設定する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記設定手段は、前記第１撮影条件における前記ＩＳＯ感度が所定値より大きい場合に、前記ＩＳＯ感度を、前記第１撮影条件よりも第２撮影条件の方が小さい値になるように設定する
   ことを特徴とする請求項１に記載の撮像装置。
4. 前記設定手段は、前記第１撮影条件における被写体距離と焦点距離の除算値が第１の所定値より小さい場合に、焦点距離を、前記第１撮影条件より第２撮影条件の方が小さい値に設定する
   ことを特徴とする請求項１に記載の撮像装置。
5. 前記設定手段は、前記第１撮影条件における被写体距離と焦点距離の除算値が第２の所定値以上の場合に、焦点距離を、前記第１撮影条件より第２撮影条件の方が大きい値に設定する
   ことを特徴とする請求項１に記載の撮像装置。
6. 前記報知手段は、前記取得手段から順次画像を取得するライブビュー動作中に前記第２撮影条件を報知する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
7. 撮像装置の制御方法であって、
   撮像手段により異なる複数の視点で撮像された複数の視点画像を取得する取得工程と、
   前記複数の視点画像間の視点関連情報を検出する検出工程と、
   前記複数の視点画像の撮影条件である第１撮影条件または第２撮影条件を設定する設定工程と、
   前記設定工程で前記第２撮影条件を設定した場合に、前記第２撮影条件をユーザに報知する報知工程と
   を有し、
   前記第２撮影条件は、前記第１撮影条件に基づいて設定され、前記第１撮影条件より前記視点関連情報に基づく画像処理前後の画像変化が大きくなる条件であり、
   前記撮影条件は、ＩＳＯ感度と、被写体距離と焦点距離の除算値との少なくともいずれか１つを含む
   ことを特徴とする撮像装置の制御方法。

Images