JP7204357B2

JP7204357B2 - 撮像装置およびその制御方法

Info

Publication number: JP7204357B2
Application number: JP2018123774A
Authority: JP
Inventors: 暁彦上田; 嘉人玉木; 英之浜野
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2017-09-20
Filing date: 2018-06-29
Publication date: 2023-01-16
Anticipated expiration: 2038-06-29
Also published as: JP2019057908A

Description

本発明は、撮像装置およびその制御方法に関する。

撮像装置に採用される撮像面位相差方式では、撮像素子に形成された焦点検出画素により位相差方式の焦点検出が行われる。特許文献１に開示された撮像装置は、１つの画素に対して、１つのマイクロレンズと複数に分割された光電変換部が形成されている２次元撮像素子を用いる。複数に分割された光電変換部は、１つのマイクロレンズを介して撮影レンズの射出瞳の異なる領域を受光するように構成され、瞳分割を行う。各光電変換部が受光した光から視点信号を生成する。複数の視点信号間の視差から像ずれ量を算出してデフォーカス量に換算することで、位相差方式の焦点検出が行われる。特許文献２では、複数に分割された光電変換部によって生成された複数の視点信号を加算することで、撮像信号を生成することが開示されている。

複数の視点信号を包含するファイルを生成する場合、通常よりも画像ファイルのデータサイズが大きくなり、記録メディア容量を圧迫してしまう。特願２０１６－０９４０２０号では、視点信号に基づく所定の処理の実行後、視点信号が必要でなくなった場合に削除する制御方法が開示されている。

米国特許第４４１０８０４号明細書特開２００１－０８３４０７号公報

しかしながら、特許文献３では、カメラ内で視点信号に基づく所定の処理を実行した後に視点信号の記録の有無を判定する為、撮影直後には記録メディア容量を圧迫してしまう。また、カメラ内で視点信号に基づく所定の処理を実行しない場合には、視点信号を記録メディアに保存するしかないため、記録メディアの容量を圧迫してしまう。

本発明は、記録するデータ容量を抑制することが可能な撮像装置を提供することを目的とする。

上記課題を解決するために、本発明の撮像装置は、複数の視点画像を取得する取得手段と、前記視点画像を撮影した際の撮影条件を取得する撮影条件取得手段と、前記視点画像に基づいて、コントラスト分布に対応するコントラスト情報を算出する算出手段と、前記撮影条件に応じて、記録手段に記録する前記視点画像を圧縮する圧縮手段と、を備える。前記圧縮手段は、前記コントラスト情報において所定のコントラスト以上の領域が所定の値未満である場合、前記視点画像を圧縮する。

また、上記課題を解決するために、本発明の撮像装置は、複数の視点画像を取得する取得手段と、前記視点画像を撮影した際の撮影条件を取得する撮影条件取得手段と、記録手段に記録するデータを決定する決定手段と、を備え、前記決定手段は、前記撮影条件に応じて、前記視点画像を前記記録手段に記録するか否か決定する。

本発明によれば、記録するデータ容量を抑制することが可能な撮像装置を提供することができる。

撮像装置の概略構成を示すブロック図である。画像処理回路の構成を示すブロック図である。画素配列の概略図である。画素の概略平面図および概略断面図である。画素と瞳分割の概略説明図である。画素内部の光強度分布例を示す図である。瞳強度分布を例示する図である。撮像素子と瞳分割の概略説明図である。デフォーカス量と、像ずれ量の概略関係図である。撮像画像のコントラスト分布の例を示す図である。視点画像間の差を拡大した視差強調の例を説明する図である。リフォーカス処理の概略を説明する図である。アンシャープネス処理の概要を説明する図である。リフォーカス可能範囲を説明する図である。視点移動処理の原理を説明する図である。撮像素子の周辺像高における瞳ずれを説明する図である。情報を記録する処理を示すフローチャートである。記録する情報を決定する処理を示すフローチャートである。視点画像を圧縮する処理を示すフローチャートである。

（第１実施形態）
図１は、撮像素子を有する撮像装置の構成例を示すブロック図である。なお、以下ではＬＦデータを取得可能な任意のデジタルカメラ等の撮像装置に適用した場合の実施形態を説明するが、本発明は、ＬＦデータを処理可能な画像処理装置や情報処理装置、電子機器等に幅広く適用可能である。また、任意の機器がネットワーク上のプロセッサー等の処理手段を備えたサーバ機器（仮想マシンを含む）にＬＦデータと操作内容を送信し、ＬＦデータに対する処理の一部又は全部をサーバ機器で実行する構成が含まれていてもよい。

撮像装置は、第１レンズ群１０１、絞り兼用シャッタ１０２、第２レンズ群１０３、第３レンズ群１０５、光学的ローパスフィルタ１０６、撮像素子１０７、電子フラッシュ１１５およびＡＦ補助光源１１６を備える。また、撮像装置は、ズームアクチュエータ１１１、絞りシャッタアクチュエータ１１２、フォーカスアクチュエータ１１４、ＣＰＵ１２１、各種回路１２２～１２９、表示部１３１、操作部１３２およびフラッシュメモリ１３３を備える。

第１レンズ群１０１は、撮像光学系（結像光学系）の前端部に配置され、レンズ鏡筒にて光軸方向に進退可能に保持される。絞り兼用シャッタ１０２は、開口径を調節することで撮影時の光量調節を行う他、静止画撮影時には露光秒時調節用シャッタとしての機能をもつ。第２レンズ群１０３は、絞り兼用シャッタ１０２と一体となって光軸方向に進退し、第１レンズ群１０１の進退動作との連動により、変倍動作を行い、ズーム機能を実現する。第３レンズ群１０５は、光軸方向の進退により焦点調節を行うフォーカスレンズである。光学的ローパスフィルタ１０６は、撮影画像の偽色やモアレを軽減するための光学素子である。撮像素子１０７は、例えば２次元ＣＭＯＳ（相補型金属酸化膜半導体）フォトセンサと周辺回路を備え、撮像光学系の結像面に配置される。

ズームアクチュエータ１１１は、レンズ鏡筒のカム筒を回動させることで、第１レンズ群１０１および第２レンズ群１０３を光軸方向に移動させて変倍動作を行う。絞りシャッタアクチュエータ１１２は、絞り兼用シャッタ１０２の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行う。フォーカスアクチュエータ１１４は、第３レンズ群１０５を光軸方向に移動させて焦点調節動作を行う。

被写体照明用の電子フラッシュ１１５は、撮影時に使用し、キセノン管を用いた閃光照明装置または連続発光するＬＥＤ（発光ダイオード）を備えた照明装置が用いられる。ＡＦ（オートフォーカス）補助光源１１６は、所定の開口パターンを有したマスクの像を、投光レンズを介して被写界に投影する。これにより、低輝度の被写体または低コントラストの被写体に対する焦点検出能力が向上する。

カメラ本体部の制御部を構成するＣＰＵ（中央演算処理装置）１２１は、種々の制御を司る制御中枢機能をもつ。ＣＰＵ１２１は、演算部、ＲＯＭ（リード・オンリー・メモリ）、ＲＡＭ（ランダム・アクセス・メモリ）、Ａ（アナログ）／Ｄ（デジタル）コンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路等を有する。ＣＰＵ１２１は、ＲＯＭに記憶された所定のプログラムに従って、撮像装置内の各種回路を駆動し、ＡＦ制御、撮像処理、画像処理、記録処理等の一連の動作を実行する。ＡＦ制御では撮像光学系の焦点状態検出および焦点調節の制御が行われる。

電子フラッシュ制御回路１２２は、ＣＰＵ１２１の制御指令に従い、撮影動作に同期して電子フラッシュ１１５を点灯制御する。補助光源駆動回路１２３は、ＣＰＵ１２１の制御指令に従い、焦点検出動作に同期してＡＦ補助光源１１６を点灯制御する。撮像素子駆動回路１２４は、撮像素子１０７の撮像動作を制御するとともに、取得した撮像信号をＡ／Ｄ変換してＣＰＵ１２１に出力する。画像処理回路１２５は、ＣＰＵ１２１の制御指令に従い、撮像素子１０７により取得された画像のガンマ変換、カラー補間、ＪＰＥＧ（ＪｏｉｎｔＰｈｏｔｏｇｒａｐｈｉｃＥｘｐｅｒｔｓＧｒｏｕｐ）圧縮等の処理を行う。

フォーカス駆動回路１２６は、ＣＰＵ１２１の制御指令に従い、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動し、第３レンズ群１０５を光軸方向に移動させて焦点調節を行う。絞りシャッタ駆動回路１２８は、ＣＰＵ１２１の制御指令に従い、絞りシャッタアクチュエータ１１２を駆動し、絞り兼用シャッタ１０２の開口径を制御する。ズーム駆動回路１２９は、ＣＰＵ１２１の制御指令に従い、撮影者のズーム操作指示に応じてズームアクチュエータ１１１を駆動する。

表示部１３１は、ＬＣＤ（液晶表示装置）等の表示デバイスを有し、撮像装置の撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像等を表示する。操作部１３２は、各種の操作スイッチを備え、操作指示信号をＣＰＵ１２１に出力する。フラッシュメモリ１３３は、カメラ本体部に着脱可能な記録媒体であり、撮影済み画像データ等を記録する。所定の画像データが表示部１３１の画面に表示され、またはフラッシュメモリ１３３に記録される。所定の画像データとは、例えば撮像素子１０７により撮像されてから画像処理回路１２５により処理された複数の視点画像データ、または複数の視点画像データを撮像素子１０７内または画像処理回路１２５内で合成した合成画像データである。

図２は、画像処理回路１２５の構成例を示すブロック図である。画像処理回路１２５は、画像取得部１５１、減算部１５２、シェーディング処理部１５３、操作情報取得部１５４、視点変更処理部１５５およびリフォーカス処理部１５６を備える。また、画像処理回路１２５は、ホワイトバランス部１５７、デモザイキング部１５８、ガンマ変換部１５９、色調整部１６０、圧縮部１６１および出力部１６３を備える。

画像取得部１５１は、フラッシュメモリ１３３から画像データを取得し、取得した画像データを保存する。画像データは、後述する第１視点画像と第２視点画像とを合成した撮像画像（Ａ＋Ｂ像）および第１視点画像（もしくは第２視点画像）である。減算部１５２は、撮像画像（Ａ＋Ｂ像）から第１視点画像（Ａ像）を減算することで第２視点画像（Ｂ像）を生成する。

シェーディング処理部１５３は、第１の視点画像と第２の視点画像の像高による光量変化を補正する。操作情報取得部１５４は、ユーザがユーザインタフェースにて設定した視点移動とピント調整（リフォーカス）の調整値を受け取る。そして、操作情報取得部１５４は、ユーザが操作した調整値を、視点変更処理部１５５とリフォーカス処理部１５６へ転送する。また、操作情報取得部１５４は、撮影の際の撮影条件を取得する撮影条件取得手段としての機能も有する。撮影条件には、絞り値、ＩＳＯ値、被写体距離などが含まれる。視点変更処理部１５５は、操作情報取得部１５４から取得した調整値に基づき、複数の視点画像を用いて画像処理を行う。視点変更処理部１５５は、第１視点画像と第２視点画像の加算比率（重み付け）を変更して視点を変更した画像や被写界深度を変更した画像を生成する。リフォーカス処理部１５６は、第１視点画像と第２視点画像とを瞳分割方向にシフト加算することにより合成画像を生成し、異なるピント位置の画像を生成する。

次に、画像処理回路１２５において現像処理を行う構成要素について説明する。ホワイトバランス部１５７は、ホワイトバランス処理を行う。具体的には、白の領域のＲ，Ｇ，Ｂが等色になるようにＲ，Ｇ，Ｂの各色にゲインをかける。ホワイトバランス処理をデモザイキング処理前に行うことにより、彩度を算出する際に色かぶり等により偽色の彩度よりも高い彩度になることを回避し、誤判定を防止することができる。

デモザイキング部１５８は、各画素において欠落している３原色のうち２色のカラーモザイク画像データを補間することによって、全ての画素においてＲ，Ｇ，Ｂのカラー画像データが揃ったカラー画像を生成する。具体的には、まず注目画素に対してその周辺の画素を用いてそれぞれの規定方向で補間を行い、その後、方向選択を行うことで、各画素について補間処理結果としてＲ、Ｇ，Ｂの３原色のカラー画像信号を生成する。

ガンマ変換部１５９は、各画素のカラー画像データにガンマ補正処理を行い、基本的なカラー画像データを生成する。ガンマ変換部１５９は、例えば、基本的なカラー画像データとして表示部１３１の表示特性に整合させたカラー画像データを生成する。色調整部１６０は、画像の見栄えを改善するための処理である、ノイズ低減、彩度強調、色相補正、エッジ強調といった各種の色調整処理をカラー画像データに適用する。

圧縮部１６１は、色調整されたカラー画像データをＪＰＥＧ等の所定の圧縮方式に準拠した方法で圧縮し、記録する際のカラー画像データのデータサイズを小さくする。出力部１６３は、カラー画像データ、圧縮された画像データ、ユーザインタフェース用の表示データなど各種画像データを撮像装置の表示部１３１や外部の表示装置、フラッシュメモリ１３３等に出力する。

図３は、撮像素子の画素と副画素の配列の概略図を示す図である。図３の左右方向をｘ軸方向とし、上下方向をｙ軸方向とし、ｘ軸方向およびｙ軸方向に直交する方向（紙面に垂直な方向）をｚ軸方向と定義する。図３は、本実施形態の２次元ＣＭＯＳセンサー（撮像素子）の画素配列を４列×４行の範囲で、副画素配列を８列×４行の範囲で示したものである。

図３に示した２列×２行の画素２００では、Ｒ（赤）の分光感度を有する画素２００Ｒが左上の位置に、Ｇ（緑）の分光感度を有する画素２００Ｇが右上と左下の位置に、Ｂ（青）の分光感度を有する画素２００Ｂが右下の位置に配置されている。さらに、各画素は、ｘ軸方向に２分割、ｙ軸方向に１分割された第１副画素２０１と第２副画素２０２を有している。つまり、ｘ方向における分割数をＮｘと表記し、ｙ方向における分割数をＮｙと表記し、分割数をＮＬＦと表記すると、図３はＮｘ＝２、Ｎｙ＝１、ＮＬＦ＝Ｎｘ×Ｎｙ＝２の例を示している。副画素はそれぞれ、焦点検出信号を出力する焦点検出画素としての機能を有する。

図３に示す例では、４列×４行の画素（８列×４行の副画素）を面上に多数配置することで、表示部１３１での表示やフラッシュメモリ１３３への記録などにも用いる撮像画像（Ａ＋Ｂ像）および複数の視点画像を生成するための信号を取得可能である。本実施形態においては、画素の周期Ｐが４μｍ、画素数Ｎが横５５７５列×縦３７２５行＝約２０７５万画素、副画素の列方向周期ＰＳが２μｍ、副画素数ＮＳが横１１１５０列×縦３７２５行＝約４１５０万画素の撮像素子として説明を行う。

図４（Ａ）は、図３に示す撮像素子の１つの画素２００Ｇを、撮像素子の受光面側（＋ｚ側）から見た平面図である。図４（Ａ）の紙面に垂直な方向にｚ軸を設定し、手前側をｚ軸の正方向と定義する。また、ｚ軸に直交する上下方向にｙ軸を設定して上方をｙ軸の正方向とし、ｚ軸およびｙ軸に直交する左右方向にｘ軸を設定して右方をｘ軸の正方向と定義する。図４（Ｂ）は、図４（Ａ）のａ－ａ切断線に沿って－ｙ側から見た場合の断面図である。

図４（Ａ）および図４（Ｂ）に示されるように、画素２００Ｇには、各画素の受光面側（＋ｚ軸方向）に入射光を集光するためのマイクロレンズ３０５が形成されている。さらに、ｘ方向に２分割、ｙ方向に１分割された分割数２の複数の光電変換部が形成されている。第１光電変換部３０１と第２光電変換部３０２が、それぞれ、第１副画素２０１と第２副画素２０２に対応する。なお、光電変換部（副画素）の分割数については２に限定されない。分割の方向もｘ方向に限定されず、ｙ方向に分割してもよい。

第１光電変換部３０１と第２光電変換部３０２は、２つの独立したｐｎ接合フォトダイオードであり、ｐ型層とｎ型層の間にイントリンシック層を挟んだｐｉｎ構造フォトダイオードである。また、必要に応じてイントリンシック層を省略し、ｐｎ接合フォトダイオードとしてもよい。各画素には、マイクロレンズ３０５と、第１光電変換部３０１および第２光電変換部３０２との間に、カラーフィルター３０６が形成される。また、必要に応じて、画素毎や光電変換部毎（副画素毎）にカラーフィルター３０６の分光透過率を変えてもよいし、カラーフィルターを省略しても構わない。

画素２００Ｇに入射した光は、マイクロレンズ３０５により集光され、カラーフィルター３０６で分光されたのち、第１光電変換部３０１と第２光電変換部３０２それぞれで受光される。第１光電変換部３０１と第２光電変換部３０２では、受光量に応じて電子とホール（正孔）が対生成し、空乏層で分離された後、負電荷の電子はｎ型層（不図示）に蓄積される。一方、ホールは定電圧源（不図示）に接続されたｐ型層を通じて撮像素子外部へ排出される。第１光電変換部３０１と第２光電変換部３０２のｎ型層（不図示）に蓄積された電子は、転送ゲートを介して、静電容量部（ＦＤ）に転送され、電圧信号に変換される。

図５は、画素構造と瞳分割との対応関係を示す概略説明図である。図５には、図４（Ａ）に示した画素構造のａ－ａ切断線での断面を＋ｙ側から見た断面図と、結像光学系の射出瞳面を－ｚ軸方向から見た図を示す。図５では、射出瞳面の座標軸と対応を取るために、断面図のｘ軸とｙ軸を図４に示す状態に対して反転させて示している。撮像素子は、撮影レンズ（結像光学系）の結像面近傍に配置され、被写体からの光束は、結像光学系の射出瞳４００を通過して、それぞれの画素に入射する。撮像素子が配置された面を撮像面とする。

第１副画素２０１の第１瞳部分領域５０１は、重心が－ｘ方向に偏心している第１光電変換部３０１の受光面と、マイクロレンズ３０５によって、概ね光学的に共役関係になっている。第１瞳部分領域５０１は、第１副画素２０１で受光可能な瞳領域を表している。第１副画素２０１の第１瞳部分領域５０１は、瞳面上で＋Ｘ側に重心が偏心している。
第２副画素２０２の第２瞳部分領域５０２は、重心が＋ｘ方向に偏心している第２光電変換部３０２の受光面と、マイクロレンズ３０５によって、概ね光学的に共役関係になっている。第２瞳部分領域５０２は、第２副画素２０２で受光可能な瞳領域を表している。第２副画素２０２の第２瞳部分領域５０２は、瞳面上で－Ｘ側に重心が偏心している。

瞳領域５００は、第１光電変換部３０１と第２光電変換部３０２を全て合わせた受光面と、マイクロレンズ３０５によって、概ね光学的に共役な関係になっている。瞳領域５００は、第１副画素２０１と第２副画素２０２を全て合わせた画素２００Ｇ全体で受光可能な瞳領域である。

図６は、各画素に形成されたマイクロレンズに、光が入射した場合の光強度分布の例を示す図である。図６（Ａ）はマイクロレンズの光軸に平行な断面での光強度分布を示す。図６（Ｂ）はマイクロレンズの焦点位置において、マイクロレンズの光軸に垂直な断面での光強度分布を示す。入射光は、マイクロレンズにより、焦点位置に集光される。しかし、光の波動性による回折の影響のため、集光スポットの直径は回折限界Δより小さくすることはできず、有限の大きさとなる。光電変換部の受光面サイズは約１～２μｍ程度であり、これに対してマイクロレンズの集光スポットが約１μｍ程度である。そのため、光電変換部の受光面とマイクロレンズを介して共役の関係にある、図５の第１瞳部分領域５０１と第２瞳部分領域５０２は、回折ボケのため、明瞭に瞳分割されず、光の入射角に依存した受光率分布（瞳強度分布）となる。

図７は、光の入射角に依存した受光率分布（瞳強度分布）の例を示す図である。横軸は瞳座標を表し、縦軸は受光率を表す。図７に実線で示すグラフ線Ｌ１は、図５の第１瞳部分領域５０１のＸ軸に沿った瞳強度分布を表す。グラフ線Ｌ１で示す受光率は、左端から急峻に上昇してピークに到達した後で徐々に低下してから変化率が緩やかになって右端へと至る。また、図７に破線で示すグラフ線Ｌ２は、第２瞳部分領域５０２のＸ軸に沿った瞳強度分布を表す。グラフ線Ｌ２で示す受光率は、グラフ線Ｌ１とは反対（左右対称的）に、右端から急峻に上昇してピークに到達した後で徐々に低下してから変化率が緩やかになって左端へと至る。図示のように、緩やかに瞳分割されることがわかる。

図８は、撮像素子と瞳分割との対応関係を示す概略図である。第１光電変換部３０１と第２光電変換部３０２が、それぞれ、第１副画素２０１と第２副画素２０２に対応する。撮像素子の各画素において、２×１分割された第１副画素２０１と第２副画素２０２は、それぞれ結像光学系の第１瞳部分領域５０１と第２瞳部分領域５０２の異なる瞳部分領域を通過した光束を受光する。すなわち、第１瞳部分領域５０１と第２瞳部分領域５０２の異なる瞳部分領域を通過した光束は、撮像素子の各画素にそれぞれ異なる角度で入射し、２×１分割された第１副画素２０１と第２副画素２０２でそれぞれ受光される。

各副画素で受光された信号から、画素毎に第１副画素２０１と第２副画素２０２の中から特定の副画素の信号を選択することで、結像光学系の第１瞳部分領域５０１と第２瞳部分領域５０２の中の特定の瞳部分領域に対応した視点画像を生成できる。例えば、各画素において、第１副画素２０１の信号を選択することで、結像光学系の第１瞳部分領域５０１に対応した画素数Ｎの解像度を有する第１視点画像を生成できる。他の副画素でも同様である。本実施形態の撮像素子は、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の光電変換部（副画素）が設けられた画素が複数配列された構造を有し、異なる瞳部分領域毎に複数の視点画像を生成することができる。

本実施形態では、第１視点画像および第２視点画像は、それぞれベイヤー配列の画像となる。必要に応じて、第１視点画像、第２視点画像に、デモザイキング処理を行ってもよい。また、撮像素子の画素毎に、第１副画素２０１と第２副画素２０２の信号を加算して読み出すことで、有効画素数Ｎの解像度の撮像画像を生成することができる。

次に、本実施形態の撮像素子により取得される第１視点画像と第２視点画像のデフォーカス量と像ずれ量の関係について説明する。図９は、第１視点画像と第２視点画像のデフォーカス量と第１視点画像と第２視点画像間の像ずれ量の概略関係を示す図である。撮像面６００に撮像素子（不図示）が配置され、図５、図８の場合と同様に、結像光学系の射出瞳が、第１瞳部分領域５０１と第２瞳部分領域５０２に２×１分割される。

デフォーカス量ｄは、その大きさ｜ｄ｜が被写体像の結像位置から撮像面６００までの距離を表す。被写体の結像位置が撮像面より被写体側にある前ピン状態を負符号（ｄ＜０）、被写体の結像位置が撮像面より被写体の反対側にある後ピン状態を正符号（ｄ＞０）として向きを定義する。被写体の結像位置が撮像面（合焦位置）にある合焦状態は、ｄ＝０である。図９で、被写体８０１は合焦状態（ｄ＝０）のに対応する位置の例を示しており、被写体８０２は前ピン状態（ｄ＜０）のに対応する位置の例を示している。以下では、前ピン状態（ｄ＜０）と後ピン状態（ｄ＞０）を合わせて、デフォーカス状態（｜ｄ｜＞０）という。

前ピン状態（ｄ＜０）では、被写体８０２からの光束のうち、第１瞳部分領域５０１（または第２瞳部分領域５０２）を通過した光束は、一度、集光した後、光束の重心位置Ｇ１（Ｇ２）を中心として幅Γ１（Γ２）に広がる。この場合、撮像面６００上でボケ像となる。ボケ像は、撮像素子に配列された各画素を構成する第１副画素２０１（または第２副画素２０２）により受光され、第１視点画像（または第２視点画像）が生成される。よって、被写体８０２は、第１視点画像（または第２視点画像）では、撮像面６００上の重心位置Ｇ１（またはＧ２）にて、ボケ幅Γ１（Γ２）をもった被写体像（ボケ像）の画像データとして記録される。

被写体像のボケ幅Γ１（またはΓ２）は、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね比例して増加する。同様に、第１視点画像と第２視点画像間の被写体像の像ずれ量ｐ（＝光束の重心位置の差Ｇ１－Ｇ２）の大きさ｜ｐ｜も、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね比例して増加する。なお、後ピン状態（ｄ＞０）では、第１視点画像と第２視点画像間の被写体像の像ずれ方向が前ピン状態とは反対となるが、同様の傾向がある。

したがって、本実施形態では、第１視点画像と第２視点画像、または、第１視点画像と第２視点画像を加算した撮像信号のデフォーカス量の大きさが増加するのに伴い、第１視点画像と第２視点画像間の像ずれ量の大きさが増加する。

次に、視点画像を用いた画像処理について説明する。視点画像を用いた画像処理には、リフォーカス処理、視点移動処理、ボケ調整、不要成分低減処理などがある。
視点画像修正処理とリフォーカス処理について説明する。本実施形態のリフォーカス処理では、３段階の処理を実行する。第１段階として、視点変更処理部１５５が撮像画像の各画素値に基づくコントラストの高低を表すコントラスト分布を算出する。第２段階として、第１段階で算出したコントラスト分布に基づいて、視点変更処理部１５５が画素毎に複数の視点画像（第１視点画像と第２視点画像）間の差を拡大して視差を強調する変換を行う。この第２段階の処理により、複数の修正視点画像（第１修正視点画像と第２修正視点画像）が生成される。第３段階として、リフォーカス処理部１５６が複数の修正視点画像（第１修正視点画像と第２修正視点画像）を相対的にシフト加算して、リフォーカス画像を生成する。

以下では、撮像素子１０７の行方向ｊ番目、列方向ｉ番目の位置を（ｊ，ｉ）と表記する。ｊ，ｉは整数の変数である。また、位置（ｊ，ｉ）の画素の第１視点画像をＡ０（ｊ，ｉ）と表記し、第２視点画像をＢ０（ｊ，ｉ）と表記する。撮像画像をＩ（ｊ，ｉ）を表記し、Ｉ（ｊ，ｉ）＝Ａ０（ｊ，ｉ）＋Ｂ０（ｊ，ｉ）とする。

まず、コントラスト分布の算出について説明する。視点変更処理部１５５は、ベイヤー配列の撮像画像Ｉ（ｊ，ｉ）に対し、式（１）に従って、位置（ｊ，ｉ）ごとに各色ＲＧＢの色重心を一致させて、輝度Ｙ（ｊ，ｉ）を算出する。

次に、視点変更処理部１５５は、輝度Ｙ（ｊ，ｉ）に対して、瞳分割方向である水平方向（列ｉ方向）に、［１，２，－１，－４，－１，２，１］などのラプラシアン型フィルタ処理を行い、水平方向の高周波成分ｄＹ（ｊ，ｉ）を算出する。視点変更処理部１５５は、必要に応じて、瞳分割方向ではない垂直方向（行ｊ方向）には、［１，１，１，１，１，１，１］などの高周波カットフィルタ処理を行い、垂直方向の高周波ノイズを抑制してもよい。

次に、視点変更処理部１５５は、規格化（正規化）された水平方向の高周波成分ｄＺ（ｊ，ｉ）を、式（２）に従って算出する。ここで、ゼロでない定数Ｙ０を分母に加えることにより、０で除算することによって式（２）が発散することが防止される。視点変更処理部１５５は、必要に応じて、式（２）で規格化する前に、輝度Ｙ（ｊ，ｉ）に高周波カットフィルタ処理を施して、高周波ノイズを抑制してもよい。

視点変更処理部１５５は、コントラスト分布Ｃ（ｊ，ｉ）を、式（３）に従って算出する。式（３）の１行目は、撮像画像の輝度が所定輝度Ｙｃよりも小さく、低輝度である場合、コントラスト分布Ｃ（ｊ，ｉ）を０とすることを示す。一方、式（３）の３行目は、規格化された高周波成分ｄＺ（ｊ，ｉ）が所定値Ｚｃより大きい場合、コントラスト分布Ｃ（ｊ，ｉ）を１とすることを示す。それ以外の場合は、式（３）の２行目で示すように、ｄＺ（ｊ，ｉ）をＺｃで除算することで規格化した値がコントラスト分布Ｃ（ｊ，ｉ）となることを示す。

このように、コントラスト分布Ｃ（ｊ，ｉ）は、［０，１］（０以上１以下）の範囲の値をとる。Ｃ（ｊ，ｉ）の値が、０に近いほどコントラストが低く、１に近いほどコントラストが高くなることを意味する。

図１０は、式（３）によって得られる、撮像画像のコントラスト分布Ｃ（ｊ，ｉ）の一例を示す図である。図１０に示す分布図では、右側のグレースケール表示にてコントラストの高低の指標を表している。白い部分は水平方向の高周波成分が多くコントラストが高いことを示し、黒い部分は水平方向の高周波成分が少なくコントラストが低いことを示している。

次に、視差強調処理について説明する。視差強調処理では、まず視点画像の像ずれ分布を算出する。像ずれ分布は、第１視点画像Ａ０と第２視点画像Ｂ０の１対の像に対して相関演算を行って、１対の像の相対的な位置ずれ量を計算することにより算出される。相関演算には、様々な公知の方法が知られているが、視点変更処理部１５５は、例えば、式（４）に示すような一対の像の差の絶対値を加算することにより、像の相関値を算出する。

ここで、Ａ０_ｉ、Ｂ０_ｉは、それぞれ第１視点画像Ａ０、第２視点画像Ｂ０のｉ番目の画素の輝度を表す。またｎｉは、演算に用いる画素数を表す数字で、像ずれ分布の最小演算範囲に応じて適切に設定される。

視点変更処理部１５５は、例えば、式（４）のＣＯＲ（ｋ）が最小となるｋを、像ずれ量として算出する。すなわち、１対の像をｋ画素ずらした状態で、行方向のｉ番目の各Ａ０画素とＢ０画素の差の絶対値を取り、その絶対値を行方向の複数画素について加算する。そして、視点変更処理部１５５は、加算された値、すなわちＣＯＲ（ｋ）が最も小さくなるときのｋをＡ０とＢ０の像ずれ量とみなし、ずらし量ｋ画素を算出する。

これに対し、２次元的な像を瞳分割方向のみにｋ画素分動かして第１視点画像Ａ０の画素と第２視点画像Ｂ０の差分をとるようにし、複数列について加算する場合、相関演算は式（５）で定義される。

ここで、Ａ０_ｉｊ、Ｂ０_ｉｊは、それぞれ第１視点画像Ａ０、第２視点画像Ｂ０のｊ列目ｉ番目の画素の輝度を表す。また、ｎｉは演算に用いる画素数を表し、ｎｊは相関演算を行う１対の像の列方向の数を表す。

視点変更処理部１５５は、式（４）と同様に、式（５）のＣＯＲ（ｋ）が最小となるｋを像ずれ量として算出する。なお、添え字ｋはｉにのみ加算されてｊとは無関係である。これは、２次元的な像を瞳分割方向のみに移動させながら相関演算をしていることに対応する。視点変更処理部１５５は、式（５）に従って第１視点画像Ａ０、第２視点画像Ｂ０の各領域の像ずれ量を算出し、像ずれ分布を算出する。なお、後述する本実施例のリフォーカス処理では、高コントラスト部分のみに後述のシャープネス処理を行って、リフォーカス処理を行う。従って、上述したコントラスト分布の算出処理において、コントラスト分布Ｃ（ｊ，ｉ）が０である領域（すなわち所定輝度Ｙｃよりも低輝度の位置）には、式（５）による相関演算を行わないようにしてもよい。

次に、具体的な視差強調処理の例について説明する。図７において瞳強度分布の例を示したように、画素ごとに形成されるマイクロレンズと複数に分割された光電変換部による瞳分割では、回折ボケのために、なだらかな瞳分割となる。そのため、複数の視点画像（第１視点画像と第２視点画像）の点像についても、なだらかな分割となり、視差がつきにくく、瞳分割方向の実効Ｆ値が十分に暗く（大きく）ならないため、実効的な焦点深度が深くなりにくい。そこで、本実施形態では、視点変更処理部１５５が、複数の視点画像（第１視点画像と第２視点画像）に対して、画素ごとに視点画像間の差を拡大して視差を強調する処理を行う。この視差を強調する処理により、複数の修正視点画像（第１修正視点画像と第２修正視点画像）が生成される。

視点変更処理部１５５は、第１視点画像Ａ_０（ｊ，ｉ）と第２視点画像Ｂ_０（ｊ，ｉ）に対して、式（６）および式（７）に従って視点画像間の差を拡大し、視差を強調する処理を行う。そして、第１修正視点画像Ａ（ｊ，ｉ）と第２修正視点画像Ｂ（ｊ，ｉ）を生成する。ここで、係数ｋは「０≦ｋ≦１」を満たす実数とし、係数αは「０≦α≦１」を満たす実数とする。

なお、ｋ_１とｋ_２、Ａ1（ｊ，ｉ）とＢ1（ｊ，ｉ）は、第１修正視点画像Ａ（ｊ，ｉ）と第２修正視点画像Ｂ（ｊ，ｉ）の算出過程で式（６）にて定義される変数である。Ａ1（ｊ，ｉ）は、第１視点画像Ａ_０（ｊ，ｉ）と第２視点画像Ｂ_０（ｊ，ｉ）に対して、ｋ_１とｋ_２をそれぞれ乗算した項の和として算出される。またＢ_１（ｊ，ｉ）は、第１視点画像Ａ_０（ｊ，ｉ）と第２視点画像Ｂ_０（ｊ，ｉ）に対して、ｋ_２とｋ_１をそれぞれ乗算した項の和として算出される。

修正視点画像はそれぞれ、式（７）の右辺第１項と右辺第２項との和により算出される。つまり、右辺第１項は、Ａ_１（ｊ，ｉ）またはＢ_１（ｊ，ｉ）と、それらの絶対値との平均値を示す項である。右辺第２項は、Ｂ_１（ｊ，ｉ）またはＡ_１（ｊ，ｉ）の絶対値と、Ｂ_１（ｊ，ｉ）またはＡ_１（ｊ，ｉ）との差分を２で除算して係数αを乗算した項である。

図１１は、視差強調処理によって、視点画像間の差が拡大した例を示す図である。横軸は１１５２番目～１１５６番目の画素を副画素（サブピクセル）単位で示し、縦軸は各画素における視差の大きさを示している。つまり、横軸は画素位置を表し、縦軸は画素値（信号レベル）を表す。図１１においては、視差強調処理を行う前の第１視点画像Ａ_０（修正前Ａ）と第２視点画像Ｂ_０（修正前Ｂ）を破線で示す。また、式（４）および式（５）による視差強調処理を行った後の第１修正視点画像Ａ（修正後Ａ）と第２修正視点画像Ｂ（修正後Ｂ）の例を実線で示す。変換前に視点画像間の差が大きい部分は、より拡大され視差が強調されるが、変換前に視点画像間の差が小さい部分はあまり変化しない。

以上のように、本実施形態では、視点変更処理部１５５は、複数の視点画像ごとに、複数の視点画像間の差を拡大して視差を強調する処理により、複数の修正視点画像を生成する。視点変更処理部１５５は、視差強調処理の負荷を抑制するために、式（６）および式（７）のように、画素内に含まれる複数の副画素の信号間の重み付け演算による変換を行う。

式（６）では、ｋの値を大きくして変換による視差強調の度合いを強くすると、複数の修正視点画像（第１修正視点画像と第２修正視点画像）間の視差が大きくなり、分割方向の実効Ｆ値を深く修正することができる。一方、視差強調の度合を過剰に強くすると、修正視点画像のノイズが増加し、Ｓ／Ｎ比（信号対ノイズ比）が低下してしまう。そこで、本実施形態では、コントラスト分布Ｃ（ｊ，ｉ）に基づいて、視差強調の変換の強さを領域ごとに適応的に調整する。すなわち、視点変更処理部１５５は、コントラストが相対的に高い領域では、視差を大きくし、分割方向の実効Ｆ値を暗く（大きく）するため、視差強調の度合いを強くするように調整する。一方、コントラストが低い領域では、Ｓ／Ｎ比を維持するため、視差強調の強度を弱くするよう調整する。これにより、Ｓ／Ｎ比の低下を抑制してリフォーカス効果を向上させることができる。

視点変更処理部１５５は、必要に応じて、撮像画像の低輝度の領域よりも高輝度の領域における視差強調の強度を強く調整する処理を行い、Ｓ／Ｎ低下を抑制する。また、必要に応じて、撮像画像の高周波成分が少ない領域よりも高周波成分が多い領域において、視差強調の強度をより強く調整する処理を行い、Ｓ／Ｎ低下を抑制することができる。以上のように、複数の修正視点画像（第１修正視点画像と第２修正視点画像）間の視差を大きくすることで、分割方向の実効Ｆ値を暗く（大きく）し、分割方向の実効的な焦点深度を深く修正することができる。また、後述するリフォーカス処理では、複数の修正視点画像（第１修正視点画像と第２修正視点画像）を用いてリフォーカス画像を生成ことにより、リフォーカス効果を向上（リフォーカスによる画像の変化を強調）させることができる。

次に、リフォーカス処理について説明する。図１０は、複数の修正視点画像（第１修正視点画像と第２修正視点画像）による瞳分割方向（水平方向）のリフォーカス処理（第３の生成処理）について概要を示す説明図である。図１２の撮像面６００は、図８に示した撮像面６００に対応している。図１２では、ｉを整数の変数として、撮像面６００に配置された撮像素子の列方向におけるｉ番目の画素の第１修正視点画像をＡｉと表記し、第２修正視点画像をＢｉと表記して、模式的に表している。第１修正視点画像Ａｉは、（図８の第１瞳部分領域５０１に対応した）主光線角度θａでｉ番目の画素に入射した光束の受光信号を含む。第２修正視点画像Ｂｉは、（図８の第２瞳部分領域５０２に対応した）主光線角度θｂでｉ番目の画素に入射した光束の受光信号を含む。つまり、第１修正視点画像Ａｉと第２修正視点画像Ｂｉは、光強度分布情報に加えて入射角度情報も有している。

第１修正視点画像Ａｉと第２修正視点画像Ｂｉは、光強度分布情報だけでなく、入射角度情報も有している。よって、リフォーカス処理部１５６は、所定の仮想的な結像面（仮想結像面６１０）におけるリフォーカス画像を生成することができる。リフォーカス処理部１５６は、平行移動処理および加算処理を行うことにより、仮想結像面６１０でのリフォーカス信号を生成する。

具体的には、まず、リフォーカス処理部１５６は、第１修正視点画像Ａｉを主光線角度θａに沿って仮想結像面６１０まで平行移動させ、第２修正視点画像Ｂｉを主光線角度θｂに沿って仮想結像面６１０まで平行移動させる処理を行う。次に、リフォーカス処理部１５６は、それぞれ平行移動させた第１修正視点画像Ａｉと第２修正視点画像Ｂｉを加算する処理を行う。

第１修正視点画像Ａｉを角度θａに沿って仮想結像面６１０まで平行移動させることは、第１修正視点画像Ａｉを列方向に＋０．５画素シフトすることに対応する。また、第２修正視点画像Ｂｉを角度θｂに沿って仮想結像面６１０まで平行移動させることは、第２修正視点画像Ｂｉを列方向に－０．５画素シフトすることに対応する。したがって、第１修正視点画像Ａｉと第２修正視点画像Ｂｉを相対的に＋１画素分シフトさせ、ＡｉとＢｉ＋１を対応させて加算することで、仮想結像面６１０でのリフォーカス信号を生成できる。つまり、第１修正視点画像Ａｉと第２修正視点画像Ｂｉを整数の画素分だけシフトさせて画素ごとに加算することで、整数のシフト量に応じた各仮想結像面におけるリフォーカス画像を生成できる。

リフォーカス処理部１５６は、式（８）に従って、第１修正視点画像Ａと第２修正視点画像Ｂをシフト加算することにより、整数シフト量ｓに応じた各仮想結像面におけるリフォーカス画像Ｉ（ｊ，ｉ；ｓ）を生成する。

本実施形態では、第１修正視点画像Ａと第２修正視点画像Ｂはベイヤー配列で構成されるため、リフォーカス処理部１５６は、２の倍数のシフト量ｓ＝２ｎ（ｎ：整数）で、同色ごとに式（８）に従ったシフト加算を行う。すなわち、リフォーカス処理部１５６は、画像のベイヤー配列を保ったままリフォーカス画像Ｉ（ｊ，ｉ；ｓ）を生成し、その後、生成したリフォーカス画像Ｉ（ｊ，ｉ；ｓ）にデモザイキング処理を施す。

なお、リフォーカス処理部１５６は、必要に応じて、まず第１修正視点画像Ａと第２修正視点画像Ｂとにデモザイキング処理を施し、デモザイキング処理後の第１修正視点画像と第２修正視点画像を用いてシフト加算処理を行ってもよい。また、リフォーカス処理部１５６は、必要に応じて、第１修正視点画像Ａと第２修正視点画像Ｂの各画素間の補間信号を生成して、非整数シフト量に応じたリフォーカス画像を生成してもよい。これにより、仮想結像面の位置をより詳細な粒度で変更したリフォーカス画像を生成することができる。

次に、リフォーカス処理部１５６が、より効果的なリフォーカス画像を生成するために適用する、シャープネス処理について説明する。シャープネス処理は、被写体の輪郭協調を行う処理である。上述したように、リフォーカス処理では、第１修正視点画像Ａと第２修正視点画像Ｂとがシフト加算されて、仮想結像面におけるリフォーカス画像が生成される。シフト加算により第１修正視点画像Ａと第２修正視点画像Ｂの像をずらすため、リフォーカス処理前の画像に対する相対的なずらし量（像ずらし量ともいう）が分かる。リフォーカス処理による整数シフト量ｓは、この像ずらし量に対応する。リフォーカス処理部１５６は、像ずらし量ｓに対応した領域にシャープネス処理を行うことにより、リフォーカス画像における被写体の輪郭強調を実現することができる。

本実施形態では、例えば、シャープネス処理として、アンシャープマスク処理を用いる。図１３は、アンシャープマスク処理の概要を説明する図である。アンシャープマスク処理では、注目画素を中心とした局所領域（元の信号）にぼかしフィルタを適用し、ぼかしフィルタ適用後の信号を生成する。そして、ぼかし処理を適用する前後の画素値の差分を注目画素の画素値に反映することにより、輪郭強調を実現する。

処理対象の画素値Ｐに対するアンシャープマスク処理は、式（９）に従って算出される。式（９）において、Ｐ'（ｉ，ｊ）は処理適用後の画素値、Ｒはぼかしフィルタの半径、Ｔ（ｉ，ｊ）は適用量（％）を表す。ぼかしフィルタの半径Ｒの大きさは、シャープネス処理を適用したい画像上の周波の波長に関係する。すなわち、Ｒが小さいほど細かい模様が強調され、Ｒが大きいほど緩やかな模様が強調される。

Ｆ（ｉ，ｊ，Ｒ）は、画素Ｐ（ｉ，ｊ）に対して半径Ｒのぼかしフィルタを適用して得られる画素値である。ぼかしフィルタには、公知の方法、例えば、ガウスぼかしを用いることができる。ガウスぼかしは、処理対象の画素からの距離に応じてガウス分布に従った重み付けを適用して平均化する処理であり、自然な処理結果を得ることができる。

適用量Ｔ（ｉ，ｊ）は、像ずれ分布に応じてアンシャープマスク処理による輪郭強調の適用量を変化させる値である。各画素の位置の像ずれ量をｐｒｅｄ（ｉ，ｊ）とし、リフォーカス処理によるシフト量ｓとする。｜ｓ－ｐｒｅｄ（ｉ，ｊ）｜が小さい値（例えば像ずれ１画素以内）となる領域、すなわち仮想結像面で合焦状態となる領域、では適用量Ｔを大きくする。一方、｜ｓ－ｐｒｅｄ（ｉ，ｊ）｜が大きい値（例えば像ずれ量が３画素以上の場合）となる領域では、適用量Ｔを小さくする。このようにすることで、デフォーカス量が小さいピント位置または合焦近傍である領域には輪郭強調することができ、かつデフォーカス量が大きいボケ領域にはアンシャープマスク処理をかけないようにすることができる。つまり、リフォーカス処理によるピント位置の移動の効果をより強調することができる。

次に、リフォーカス可能範囲について説明する。リフォーカス可能範囲は、リフォーカス処理によって変更可能なピント位置の範囲である。図１４は、本実施例に係るリフォーカス可能範囲を模式的に示す図である。許容錯乱円をδとし、結像光学系の絞り値をＦとすると、絞り値Ｆにおける被写界深度は±Ｆ×δである。これに対して、Ｎ_Ｈ×Ｎ_Ｖ（例えば、２×１）に分割されて狭くなった第１瞳部分領域５０１（または第２瞳部分領域５０２）の水平方向の実効絞り値Ｆ_０１（またはＦ_０２）は、Ｆ_０１＝Ｎ_Ｈ×Ｆ（またはＦ０２＝ＮＨ×Ｆ）となって暗くなる。第１修正視点画像（または第２修正視点画像）ごとの実効的な被写界深度は、±Ｎ_Ｈ×Ｆ×δで、Ｎ_Ｈ倍深くなり、合焦範囲がＮ_Ｈ倍に広がる。すなわち、実効的な被写界深度「±Ｎ_Ｈ×Ｆ×δ」の範囲内では、第１修正視点画像（または第２修正視点画像）ごとに合焦した被写体像が取得されている。よって、リフォーカス処理部１５６は、図１２に示した主光線角度θａ（またはθｂ）に沿って第１修正視点画像（第２修正視点画像）を平行移動させて加算するリフォーカス処理により、撮影後に、ピント位置を再調整（リフォーカス）することができる。

撮影後にピント位置を再調整（リフォーカス）可能な、撮像面からのデフォーカス量ｄは限定される。デフォーカス量ｄのリフォーカス可能範囲は、概ね、式（１０）の範囲である。

許容錯乱円δは、例えば、δ＝２・ΔＸ（画素周期ΔＸのナイキスト周波数１／（２ΔＸ）の逆数）などで規定される。このように、リフォーカス可能範囲を算出することにより、ユーザ操作によってピント位置を変更（リフォーカス）する際の操作可能な範囲に対応させることができる。また、リフォーカス処理によって合焦させることのできる光線（被写体）を予め把握することができるため、例えば、所定の被写体がリフォーカス可能範囲に含まれるように、結像光学系の状態等の撮像条件を制御して再び撮影することも可能になる。

次に、視点移動処理について説明する。視点移動処理は、手前側の非主被写体のボケが主被写体に被る場合に、非主被写体によるボケを低減するため、視点変更処理部１５５によって実行される処理である。図１５は、視点移動処理の概略を説明する図である。図１５においては、撮像素子１０７が撮像面６００に配置されており、図１２と同様に、結像光学系の射出瞳が第１瞳部分領域５０１と第２瞳部分領域５０２とに２分割される。第１瞳部分領域５０１を通過した像が第１視点画像となり、第２瞳部分領域５０２を通過した像が第２視点画像となる。視点移動は、複数の光電変換部を有する撮像素子により取得された、複数の視点画像を用いて行われる。本実施形態では、第１視点画像と第２視点画像により視点移動を行い、合成画像を生成する。

図１５（Ａ）は、主被写体ｑ１の合焦像ｐ１に、手前の被写体ｑ２のボケ像Γ１＋Γ２が重なって撮影され、撮影画像において遠近競合（主被写体への前ボケ被り）が生じている例である。図１５（Ａ）に示す例を、結像光学系の第１瞳部分領域５０１を通過する光束と、第２瞳部分領域５０２を通過する光束とに、それぞれ分けたものを、図１０（Ｂ）および図１０（Ｃ）に示す。

図１５（Ｂ）では、主被写体ｑ１からの光束は、第１瞳部分領域５０１を通過して、合焦状態で像ｐ１に結像する。一方、手前の被写体ｑ２からの光束は、第１瞳部分領域５０１を通過して、デフォーカス状態でボケ像Γ１に広がる。それぞれの光束は、撮像素子１０７の各画素の第１副画素２０１により受光され、第１視点画像が生成される。図１５（Ｂ）に示すように、第１視点画像では、主被写体ｑ１の像ｐ１と手前の被写体ｑ２のボケ像Γ１とは重ならずに受光される

図１５（Ｃ）では、主被写体ｑ１からの光束は、第２瞳部分領域５０２を通過して、合焦状態で像ｐ１に結像する。一方、手前の被写体ｑ２からの光束は、第２瞳部分領域５０２を通過して、デフォーカス状態でボケ像Γ２に広がる。それぞれの光束は、撮像素子１０７の各画素の第２副画素２０２で受光されて、第２視点画像が生成される。図１５（Ｃ）に示すように、第２視点画像では、主被写体ｑ１の像ｐ１と手前の被写体ｑ２のボケ像Γ２が重なって受光される。

図１５（Ｂ）および図１５（Ｃ）において、主被写体ｑ１の像ｐ１近傍の領域を、所定領域とする。図１５（Ｂ）では、所定領域における至近側の被写体ｑ２のボケ像Γ１の範囲は狭くなっており、写りも少ない。そのため、所定領域におけるコントラスト評価値は大きくなる。一方、図１５（Ｃ）では、所定領域における至近側の被写体ｑ２のボケ像Γ１の範囲は広がっており、写りも多い。そのため、所定領域におけるコントラスト評価値は大きくなる。そのため、所定領域におけるコントラスト評価値は小さくなる。そのため、所定領域において、像ｐ１とボケ像Γ１の重なりが少ない第１視点画像の重みを大きくし、像ｐ１とボケ像Γ２の重なりが多い第２視点画像の重みを小さくして加算する。これにより、主被写体に対する前ボケ被りを低減させることができる。

次に、視点変更処理部１５５が、第１視点画像と第２視点画像とを、重みを用いて重ね合わせる処理について説明する。視点変更処理部１５５は、上述した第１視点画像Ａ（ｊ，ｉ）と第２視点画像Ｂ（ｊ，ｉ）とを入力する。

まず、視点変更処理部１５５は、視点移動を行う所定領域Ｒ＝［ｊ１，ｊ２］×［ｉ１，ｉ２］および所定領域の境界幅σを設定する。そして、式（１１）に従って、所定領域Ｒと所定領域の境界幅σに応じたテーブル関数Ｔ（ｊ，ｉ）を算出する。

テーブル関数Ｔ（ｊ，ｉ）の値は、所定領域Ｒの内側で１、所定領域Ｒの外側で０となり、所定領域Ｒの境界幅σで、概ね１から０へ連続的に変化する。なお、視点変更処理部１５５は、必要に応じて、所定領域を円形やその他の任意の形状としてもよい。また、複数の所定領域および複数の境界幅を設定してもよい。

次に、視点変更処理部１５５は、重み係数を算出する。実係数ｗ（－１≦ｗ≦１）として、第１視点画像Ａ（ｊ，ｉ）の第１重み係数Ｗａ（ｊ，ｉ）は、式（１２Ａ）により算出される。第２視点画像Ｂ（ｊ，ｉ）の第２重み係数Ｗｂ（ｊ，ｉ）は、式（１２Ｂ）により算出される。

所定領域において、第１視点画像Ａ（ｊ，ｉ）の加算比率を上げて、被写界深度を修正する場合には、－１≦ｗ＜０の範囲で設定が行われる。一方、第２視点画像Ｂ（ｊ，ｉ）の加算比率を上げて、被写界深度を修正する場合には、０＜ｗ≦１の範囲で設定が行われる。ｗ＝０に設定して、Ｗ１≡Ｗ２≡１とし、被写界深度を修正しない場合もある。

次に、視点変更処理部１５５は、出力画像Ｉ（ｊ，ｉ）を生成する。視点変更処理部１５５は、式（１３）に従い、第１重み係数Ｗａ（ｊ，ｉ）で重み付けした第１視点画像Ａ（ｊ，ｉ）と、第２重み係数Ｗｂ（ｊ，ｉ）で重み付けした第２視点画像Ｂ（ｊ，ｉ）とを加算し、出力画像Ｉ（ｊ，ｉ）を生成する。

また、視点変更処理部１５５は、シフト量ｓを用いたリフォーカス処理と組み合わせて、式（１４Ａ）もしくは式（１４Ｂ）に従って、出力画像Ｉｓ（ｊ，ｉ）を生成してもよい。

生成された出力画像Ｉ_ｓ（ｊ，ｉ）は、視点が移動した画像であると共に、ピント位置が再調整（リフォーカス）された画像となる。

このように、出力画像の領域に応じて連続的に変化する重み係数を用いて、複数の視点画像毎に重み係数をかけて合成し、出力画像を生成する。所定領域において、像ｐ１とボケ像Γ１の重なりが少ない第１視点画像の第１重み係数Ｗ_ａを、第２重み係数Ｗ_ｂより大きくして出力画像を生成することで、主被写体ｑ１に対する前ボケ被りを低減した画像を生成することができる。すなわち、前ボケ被り低減のため、視点変更処理部１５５は、所定領域において、至近側の被写体が最も広い範囲で撮影されている視点画像の重み係数を小さく、もしくは、至近側の被写体が最も狭い範囲で撮影されている視点画像の重み係数を大きくすればよい。同様に、前ボケ被り低減のため、視点変更処理部１５５は、所定領域において、コントラスト評価値が最も小さい視点画像の重み係数を小さく、もしくは、コントラスト評価値が最も大きい視点画像の重み係数を大きくすればよい。

なお、視点変更処理部１５５は、必要に応じて、視点移動処理を行わない所定領域以外では、結像光学系のボケ形状を変化させないために、複数の視点画像毎の重み係数（第１重み係数、第２重み係数）を、概ね均等に加算し、出力画像を生成してもよい。また、ユーザの指定に応じて重み係数（すなわち加算比率）を変更した出力画像を生成する方法を後述するが、視点移動処理を行う所定領域をユーザが指定するようにしてもよい。

次に、撮像素子１０７の周辺像高における瞳ずれについて説明する。図１６は、撮像素子の周辺像高での瞳ずれの概略説明図である。図１６は、具体的には、撮像素子に配列された各画素の第１副画素２０１が受光する第１瞳部分領域５０１、第２副画素２０２が受光する第２瞳部分領域５０２および結像光学系の射出瞳４００との関係を示している。

図１６（Ａ）は、結像光学系の射出瞳距離Ｄｌと撮像素子１０７の設定瞳距離Ｄｓが、同じ場合を示している。この場合、結像光学系の射出瞳４００は、中央像高の場合も周辺像高の場合も、第１瞳部分領域５０１と第２瞳部分領域５０２によって概ね均等に瞳分割される。

これに対して、図１６（Ｂ）は、結像光学系の射出瞳距離Ｄｌが撮像素子１０７の設定瞳距離Ｄｓより短い場合を示している。この場合、周辺像高では、結像光学系の射出瞳４００が、第１瞳部分領域５０１と第２瞳部分領域５０２によって不均一に瞳分割される。図１６（Ｂ）の例では、第１瞳部分領域５０１に対応した第１視点画像の実効絞り値が、第２瞳部分領域５０２に対応した第２視点画像の実効絞り値より小さい（明るい）値となる。反対側の像高（不図示）では、逆に、第１瞳部分領域５０１に対応した第１視点画像の実効絞り値が、第２瞳部分領域５０２に対応した第２視点画像の実効絞り値より大きい（暗い）値となる。

図１６（Ｃ）は、結像光学系の射出瞳距離Ｄｌが撮像素子１０７の設定瞳距離Ｄｓより長い場合を示している。この場合も、周辺像高では、結像光学系の射出瞳４００が、第１瞳部分領域５０１と第２瞳部分領域５０２によって不均一に瞳分割される。図１６（Ｃ）の例では、第１瞳部分領域５０１に対応した第１視点画像の実効絞り値が、第２瞳部分領域５０２に対応した第２視点画像の実効絞り値より大きい（暗い）値となる。反対側の像高（不図示）では、逆に、第１瞳部分領域５０１に対応した第１視点画像の実効絞り値が、第２瞳部分領域５０２に対応した第２視点画像の実効絞り値より小さい（明るい）値となる。

すなわち、瞳ずれにより周辺像高で瞳分割が不均一になることに伴って、第１視点画像と第２視点画像の実効Ｆ値も不均一になる。このため、第１視点画像と第２視点画像のいずれかのボケの広がり方が大きくなり、他方のボケの広がり方が小さくなる。そのため、視点変更処理部１５５は、必要に応じて、出力画像の所定領域において、実効絞り値が最も小さい視点画像の重み係数を最も小さく、もしくは、実効絞り値が最も大きい視点画像の重み係数を最も大きくすることが望ましい。このような視点移動処理を行うことにより、主被写体への前ボケ被りを低減させることができる。

次に、視点変更処理部１５５による深度拡大処理について説明する。図１５および図１６を用いて説明したように、第１瞳部分領域５０１を通過した像が第１視点画像となり、第２瞳部分領域５０２を通過した像が第２視点画像となる。各視点画像は、本来の瞳領域の半分を通過して得られる画像であるため、水平方向２分割の瞳分割領域の場合には水平方向の絞り径が半分となる。このため、水平方向の被写界深度は４倍になる。なお、本実施形態は垂直方向に瞳分割した構成ではないため、垂直方向の被写界深度の変化はない。従って、第１視点画像または第２視点画像は、第１視点画像と第２視点画像とを合成した画像（Ａ＋Ｂ像）の被写界深度に対して、縦横平均として２倍の被写界深度を有する画像となる。

視点変更処理部１５５は、第１視点画像または第２視点画像の加算比率を１：１以外に変更して合成画像を生成することにより、被写界深度が拡大した画像を生成することができる。さらに、視点変更処理部１５５は、コントラスト分布と像ずれ分布を用いたアンシャープマスク処理を第１視点画像または第２視点画像の加算比率を変更した画像に対して適用することで、被写界深度を拡大しかつ輪郭を強調した合成画像を生成することができる。また、深度拡大処理では、視点移動処理と同様に、所定領域をユーザの指定に応じて処理するようにしてもよい。なお、視点変更処理部１５５から出力された合成画像には上述した現像処理が適用され、現像処理の適用された画像が画像処理回路１２５から出力される。

また、第１視点画像と第２視点画像を用いた視点変更処理により、主被写体の手前に位置する前景が大きくボケることにより主被写体が隠れてしまう前ボケ被りを低減させる処理（ボケ調整処理）が可能である。また、第１視点画像と第２視点画像を用いた視点変更処理により、撮像光学系に入射した光の一部が撮影画像中に現れるゴーストなどの不要成分と視差成分とを分離し、ゴーストなどの不要成分のみを低減させる処理（不要成分低減処理）が可能である。

次に、リフォーカス処理、視点移動処理、ボケ調整、不要成分低減処理などの画像処理に必要な情報を、撮影条件やコントラスト情報、処理情報によって選択し、保存する方法について図１７～図１９を用いて説明する。図１７は、情報を記録する処理を示すフローチャートである。図１８は、記録する情報を決定する処理を示すフローチャートである。図１９は、視点画像を圧縮する処理を示すフローチャートである。なお、図１７～図１９の処理は、画像処理回路１２５とＣＰＵ１２１によって実行される。

ステップＳ１００で、設定された撮影条件によって、撮像素子駆動回路１２４が撮像素子１０７を制御し、視点画像を取得する。撮像条件には、絞り値、シャッタースピード、ＩＳＯ感度、焦点距離、被写体距離が含まれる。撮像条件、被写体の明度に応じた露出を自動設定して算出した値に基づいて設定してもよいし、ユーザがマニュアルで値を設定してもよい。

ステップＳ２００で、ステップＳ１００で設定した撮影条件から、視点画像をフラッシュメモリ１３３に記録するか否かを判定する。ここで、視点画像をフラッシュメモリ１３３に記録するか否かを判定する方法について、図１８を用いて説明する。

ステップＳ２０１で、撮影条件に基づいて視点画像をフラッシュメモリ１３３に記録するか否かを判定する。視点画像を利用した画像処理により得られる効果が大きい場合は視点画像を記録し、効果が小さい場合は視点画像を記録しない。画像処理による効果が大きいか否かは、撮影条件により判断される。ここでの撮像条件とは、例えば、絞り値、ＩＳＯ感度、焦点距離などである。

まず、絞り値での判定方法について説明する。絞り値が大きいほど、被写界深度が深くなり、第１視点画像と第２視点画像間の視差が小さくなる。第１視点画像と第２視点画像間の視差が小さいと、画像処理（特に、ボケ調整処理や不要成分低減処理）の効果が小さくなる。そのため、絞り値が所定の値以上である場合には視点画像を記録しないと判定する。一方、絞り値が所定の値よりも小さい場合には視点画像を記録すると判定する。

次に、ＩＳＯ感度での判定方法について説明する。ＩＳＯ感度が高くなるほど、Ｓ／Ｎが小さくなり（すなわち悪化し）、画像処理前後の変化が視認しづらくなる。画像処理前後の変化が小さいことは、画像処理の効果が小さいことを意味する。そのため、ＩＳＯ感度が所定の値以上である場合には、視点画像を記録しないと判定する。一方、ＩＳＯ感度が所定の値よりも低い場合には、視点画像を記録すると判定する。

最後に、焦点距離での判定方法について説明する。リフォーカス処理におけるデフォーカス量の実距離換算値は、縦倍率（横倍率の２乗）に比例し、近距離の被写体ではリフォーカス処理によるデフォーカス変化量の実距離換算値が小さいため、効果が視認しづらい。また、遠距離（例えば、無限遠）では、リフォーカス処理によるデフォーカス変化量の実距離換算値が大きいため、被写体サイズに応じた適切な画像処理（特に、リフォーカス処理）の効果を適用できない。そのため、焦点距離が所定の焦点距離の範囲外の場合には、視点画像を記録しないと判定する。一方、焦点距離が所定の焦点距離の範囲内の場合には、視点画像を記録すると判定する。なお、リフォーカス処理によるデフォーカス変化量の効果を十分得られる所定の焦点距離の範囲は、レンズの焦点距離ごとに設定される。

ステップＳ２０１で視点画像を記録すると判定した場合、ステップＳ２０１へ移行する。一方、視点画像を記録しないと判定した場合には、ステップＳ２０６へ移行する。なお、ステップＳ２０１では撮影条件として、絞り値、ＩＳＯ感度、焦点距離について説明したが、これらに限定されない。例えば、シェーディング処理部１５３で、第１の視点画像と第２の視点画像の像高による光量変化を補正しきれていない場合に、視点画像をフラッシュメモリ１３３に記録するか否かを判定することができる。また、撮影者の手振れやパンニング動作、またはレンズのフォーカス状態等に基づいて、視点画像をフラッシュメモリ１３３に記録するか否かを判定するようにしてもよい。

ステップＳ２０２では、視差関連情報である撮像画像のコントラスト情報を生成する。コントラスト情報は、コントラストの分布に対応する情報である。コントラスト情報は、第１視点画像と第２視点画像とを合成して生成される。コントラスト情報を生成した後、ステップＳ２０３へ移行する。

ステップＳ２０３では、視差関連情報である像ずれ情報を生成する。像ずれ情報は、像ずれ量の分布に対応する情報である。像ずれ情報は、視点画像から生成される。像ずれ情報を生成した後、ステップＳ２０４へ移行する。

ステップＳ２０４では、視差関連情報である像ずれ・コントラスト情報を生成する。像ずれ・コントラスト情報は、ステップＳ２０２で生成したコントラスト情報とステップＳ２０３で生成した像ずれ情報を統合した情報である。像ずれ・コントラスト情報を生成した後、ステップＳ２０５へ移行する。

ステップＳ２０５では、ステップＳ２０４で生成した像ずれ・コントラスト情報に基づいて、視点画像をフラッシュメモリ１３３に記録するか否かを判定する。視点画像を記録するか否かは、像ずれ・コントラスト情報において所定のコントラスト以上の領域が、所定の値（所定の領域の大きさ）以上存在するか否かに応じて判定される。像ずれ・コントラスト情報において所定のコントラスト以上の領域が、所定の値以上存在する場合には、画像処理による効果が大きいため、視点画像を記録すると判定する。一方、所定のコントラスト以上の領域が、所定の値未満の場合には、画像処理による効果が小さいため、視点画像を記録しないと判定する。

像ずれ・コントラスト情報における所定のコントラスト以上の領域が、所定の値以上存在する場合、すなわち視点画像を記録する場合に、フラッシュメモリ１３３にコントラスト情報、もしくは像ずれ・コントラスト情報をさらに記録するとしてもよい。ステップＳ２０５で、視点画像を記録すると判定した場合には、ステップＳ２０６へ移行する。一方、視点画像を記録しないと判定した場合には、ステップＳ２０８へ移行する。

ステップＳ２０６では、視点画像に対して画像処理を実施して、合成画像を生成する。生成した後、ステップＳ２０７へ移行する。画像処理は、例えば、リフォーカス処理、視点移動処理、ボケ調整、不要成分低減処理などである。

ステップＳ２０７では、画像処理に基づいて、視点画像を記録するか否か判定する。ステップＳ２０６で実施された視点画像の画像処理において、視点画像を使用する所定の画像処理、例えば、リフォーカス処理、視点移動処理、ボケ調整、不要成分低減処理のうち１つ以上が実施済みであれば、視点画像を記録しないと判定する。また、前述の画像処理を実施していない場合でも、ステップＳ２０７以降の画像処理においても視点画像を使用する所定の画像処理を実施しない場合には、視点画像を記録しないと判定してもよい。

一方で、ステップＳ２０６での画像処理において視点画像を使用する所定の画像処理が行われていた場合であっても、ステップＳ２０７以降の画像処理において視点画像を使用する所定の画像処理を実施する場合には、視点画像を記録すると判定してもよい。また、ステップＳ２０７以降の画像処理において視点画像を使用したリフォーカス処理を実施する場合には、視点画像は記録せず、撮像画像と像ずれ・コントラスト情報を保存するようにしてもよい。なお、ステップＳ２０７では、ユーザ指示によって、視点画像を記録するか否かを判定してもよい。視点画像を記録するか否か判定した後、ステップＳ２０８へ移行する。

ステップＳ２０８では、フラッシュメモリ１３３に記録する情報を決定する。フラッシュメモリ１３３に記録する情報は、ステップＳ２０１、ステップＳ２０５およびステップＳ２０７の判定に基づいて決定される。各ステップにおいて視点画像を記録すると判定された場合には、例えば、第１視点画像または第２視点画像、第１視点画像と第２視点画像とを合成した撮像画像およびステップＳ２０４で生成した像ずれ・コントラスト情報を記録する。一方、視点画像を記録しないと判定された場合には、第１視点画像と第２視点画像とを合成した撮像画像のみを記録する。フラッシュメモリ１３３に記録する情報を決定した後、本サブルーチンを終了して、メインルーチンのステップＳ３００へ移行する。

なお、視点画像を記録するか否かの判定にかかわらず、ステップＳ２０４で生成した像ずれ・コントラスト情報を記録するようにしてもよい。像ずれ・コントラスト情報を記録することより、例えば、ステップＳ２０１、ステップＳ２０５、ステップＳ２０７で視点画像を記録しないと判定された場合においても、撮像画像と像ずれ・コントラスト情報を用いた画像処理を実施することが可能になる。

図１７の説明に戻る。ステップＳ３００では、ステップＳ２００で視点画像を記録すると決定した場合に、フラッシュメモリ１３３に記録する視点画像を圧縮するか否か判定する。ここで、ステップＳ３００の視点画像圧縮を実施するか否かの判定及び圧縮処理について、図１９を用いて説明する。なお、ステップＳ３００においてユーザが視点画像を圧縮するか否かを選択するようにしてもよい。

ステップＳ３０１では、視点画像撮影時の撮影条件であるＩＳＯ感度が所定の値以上であるかを判定する。ＩＳＯ感度が所定の値以上である場合には、Ｓ／Ｎが小さくなる（悪化する）ため、視点画像を水平垂直加算して圧縮することでＳ／Ｎを増加させる。ＩＳＯ感度が所定の値（例えば、ＩＳＯ６４００）以上である場合には、Ｓ３０３へ移行する。一方、ＩＳＯ感度が所定の値以上でない場合には、Ｓ３０２へ移行する。

Ｓ３０２では、Ｓ２０２で生成したコントラスト情報を用いて、コントラストが所定の値以上であるかを判定する。コントラストが所定の値以上でない場合には高周波被写体がいない視点画像と判定できるため、水平垂直加算による視点画像の圧縮をしてもよい。コントラストが所定の値以上でない場合には、Ｓ３０３へ移行する。一方、コントラストが所定の値以上である場合には、視点画像の圧縮を行わず視点画像圧縮判定を終了し、メインフローに戻る。

Ｓ３０３では、視点画像を水平または垂直方向にＲＧＢごとに加算し、画素数を低減することで圧縮する。視点画像を圧縮して記録することにより、後処理で像ずれ分布を生成する際にＳ／Ｎと像ずれの精度を向上させた像ずれ分布を生成することがでる。また、視点画像の圧縮によりデータ容量を削減できる。なお、本実施形態では、視点画像の圧縮方法を水平、垂直加算で説明したが、ローパスフィルタ処理やデモザイキング処理を用いてもよい。

視点画像を圧縮する際の水平または垂直加算数、すなわち圧縮する際の圧縮率を、撮影条件やコントラストの値に応じて変更してもよい。例えば、ＩＳＯ感度が高いほど、水平垂直加算画素数を増やし、高い圧縮率で圧縮する。また、コントラストの値が高いほど、水平垂直加算画素数を増やし、高い圧縮率で圧縮する。さらに、絞り値が大きいほど、水平垂直加算画素数を増やし、高い圧縮率で圧縮するようにしてもよい。

図１９に示したように、ＩＳＯ感度はコントラスト値より優先順位の高い判定条件とする。ＩＳＯ感度が高い場合には、コントラスト値が高い場合でも、Ｓ／Ｎが小さくなるため像ずれの精度が低下する。そのため、ＩＳＯ感度が高い場合には、コントラスト値に関わらず、視点画像の水平または垂直加算を行いＳ／Ｎを向上させてから、相関演算を行った方がよい。ステップＳ３０３の圧縮処理が完了した後、視点画像圧縮判定を終了し、メインフローに戻る。

ステップＳ４００では、ステップＳ２００およびステップＳ３００で用意された記録情報をフラッシュメモリ１３３に記録する。記録した後、本メインフローを終了する。

また、上述した本実施形態では、撮影条件や画像処理の結果によっては視点画像を記録しない例について説明したが、これに限らず、視点画像の記録の有無を制御する代わりに視点画像を圧縮するあるいは圧縮率を制御するようにしてもよい。すなわち、ＣＰＵ１２１はステップＳ２０１、ステップＳ２０５、ステップＳ２０７での各条件の判定の結果、記録の有無ではなく圧縮の有無あるいは圧縮率の制御を行う。このとき、視点画像が記録されない分岐（各判定フローでＮＯ）が、視点画像の圧縮が行われない分岐あるいは圧縮率がより高く設定される分岐と対応する。視点画像が記録される分岐（各判定フローでＹＥＳ）が視点画像の圧縮が行われないあるいはより低い圧縮率が設定される分岐と対応する。

以上のように、本実施形態によれば、撮影条件や画像処理の実施に応じて、記録するデータを決定し圧縮するため、視点画像を適切な容量で記録することができる。そのため、フラッシュメモリ１３３に記録するデータ容量を抑制することが可能となる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

１２１ＣＰＵ
１２５画像処理回路
１５１画像取得部
１５４操作情報取得部
１５５視点変更処理部
１５６リフォーカス処理部
１６１圧縮部

Claims

複数の視点画像を取得する取得手段と、
前記視点画像を撮影した際の撮影条件を取得する撮影条件取得手段と、
前記視点画像に基づいて、コントラスト分布に対応するコントラスト情報を算出する算出手段と、
前記撮影条件に応じて、記録手段に記録する前記視点画像を圧縮する圧縮手段と、を備え、
前記圧縮手段は、前記コントラスト情報において所定のコントラスト以上の領域が所定の値未満である場合、前記視点画像を圧縮することを特徴とする撮像装置。
前記撮影条件は、ＩＳＯ感度もしくは絞り値であることを特徴とする請求項１に記載の撮像装置。
前記撮影条件はＩＳＯ感度であり、前記圧縮手段は、前記ＩＳＯ感度が所定の値以上である場合、前記視点画像を圧縮することを特徴とする請求項１または２に記載の撮像装置。
前記圧縮手段は、ＩＳＯ感度に応じて、前記視点画像を圧縮する圧縮率を変更することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
前記圧縮手段は、絞り値に応じて、前記視点画像を圧縮する圧縮率を変更することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
前記圧縮手段は、前記コントラスト情報の値に応じて、前記視点画像を圧縮する圧縮率を変更することを特徴とする請求項１に記載の撮像装置。
撮像装置の制御方法であって、
複数の視点画像を取得する取得工程と、
前記視点画像を撮影した際の撮影条件を取得する撮影条件取得工程と、
前記視点画像に基づいて、コントラスト分布に対応するコントラスト情報を算出する算出工程と、
前記撮影条件に応じて、記録手段に記録する前記視点画像を圧縮する圧縮工程と、を備え、
前記圧縮工程では、前記コントラスト情報において所定のコントラスト以上の領域が所定の値未満である場合、前記視点画像を圧縮することを特徴とする制御方法。