JP6701023B2 - 撮像装置、画像処理方法、画像処理システム、及び画像処理プログラム - Google Patents

Description

本発明は、複数の副画素を有する画素が出力する画素信号に基づいて生成された視点画像の処理技術に関するものである。

複数の副画素（瞳画素）に分割された画素を備えることにより、副画素が出力する画素信号から視点画像を生成することが可能な撮像装置が提案されている。このような撮像装置によれば、位相差検出方式のＡＦ（オートフォーカス）や、リフォーカス等の機能を実現することができる。例えば、特許文献１には、ＡＦセンサによって得られたデフォーカス量を、画像とともにファイルとして記録する技術が記載されている。

特開２０１１−１３５１９１号公報

しかし、特許文献１ではデフォーカス量のみが画像とともに記録されているため、ファイルを参照するアプリケーション等では、例えば像ずれ量が必要なリフォーカス処理などの一部の画像処理を行うのに不便である。

本発明に係る撮像装置は、光学系の互いに異なる瞳部分領域を通過した光束を受光する複数の副画素に分割された画素を備える撮像装置であって、複数の副画素が出力する画素信号に基づいて視点画像を生成する視点画像生成部と、視点画像から像ずれ量を算出する像ずれ量算出部と、像ずれ量をデフォーカス量へ換算する換算係数を算出する換算係数算出部と、換算係数、像ずれ量、及びデフォーカス量のうちの少なくとも２つを、視点画像、又は視点画像から得られる画像と関連付けてメタデータとして記憶媒体に記録する記録部とを備えることを特徴とする。

また、本発明に係る画像処理方法は、光学系の互いに異なる瞳部分領域を通過した光束を受光する複数の副画素に分割された画素を備える撮像装置によって生成された視点画像の処理方法であって、視点画像から像ずれ量を算出する像ずれ量算出ステップと、撮像装置によって算出されて像ずれ量をデフォーカス量へ換算する換算係数と、像ずれ量と、デフォーカス量のうちの少なくとも２つを、視点画像、又は視点画像から得られる画像と関連付けてメタデータとして記憶媒体に記録する記録ステップとを有することを特徴とする。

本発明によれば、像ずれ量とデフォーカス量とを用途に応じて使い分けて画像処理を行うことが可能な撮像装置及び画像処理方法を得ることができる。

第１実施形態に係る撮像装置の構成を示す概略図である。 第１実施形態に係る撮像装置における撮像素子の画素配列を示す概略図である。 第１実施形態に係る撮像装置における画素の構造を示す概略図である。 第１実施形態に係る撮像装置における副画素と瞳部分領域との対応関係を示す第１の図である。 第１実施形態に係る撮像装置における副画素と瞳部分領域との対応関係を示す第２の図である。 第１実施形態に係る撮像装置におけるデフォーカス量と像ずれ量との関係を示す図である。 第１実施形態に係る撮像装置における焦点検出処理を示すフローチャートである。 第１実施形態に係るＪＰＥＧフォーマットの例を示す図である。 第１実施形態に係るＲＡＷデータ形式の例を示す図である。 第１実施形態に係るコンテナファイルのフォーマットの例を示す図である。 第１実施形態に係る撮像装置における実効絞り値と周辺光量情報との関係を示す図である。 第１実施形態に係る撮像装置における換算係数算出処理を示すフローチャートである。

以下、本発明の例示的な実施の形態を、図面に基づいて詳細に説明する。なお、本発明は以下の実施形態に限定されるものではなく、その要旨を逸脱しない範囲において適宜変更可能である。また、以下で説明する図面において、同じ機能を有するものは同一の符号を付し、その説明を省略又は簡潔にすることもある。

（第１実施形態）
撮像面上における視点画像間の被写体像のずれ量は、視点画像間の相対位置を変化させて画像内の焦点位置を調整するリフォーカス処理等において利用する。一方、デフォーカス量は、像高毎の光軸方向のボケ（ピントのずれ量）を表しており、像高毎にボケ味（レンズによるボケの違い）を修正するボケ処理や、ＡＦの際にカメラから撮影対象物までの実距離を計測する距離計測処理等において利用する。

このように、像ずれ量とデフォーカス量とでは有する情報の性質が異なっており、利用する用途も異なる。このため、本実施形態では、像ずれ量とデフォーカス量とを用途に応じて使い分けて適切に画像処理を行うことを目的として、両者の情報をどちらも取得可能にするための情報を画像と関連付けて記録することを特徴とする。

［全体構成］
図１は、第１実施形態に係る撮像装置の構成を示す概略図であって、本実施形態の撮像装置をカメラに適用した例を示している。同図において、第１レンズ群１０１は、結像光学系の先端に配置され、光軸方向に進退可能に保持される。絞りシャッタ１０２は、その開口径を調節することにより撮影時の光量を調節する。絞りシャッタ１０２は、静止画撮影時には露光時間調節用シャッタとしても兼用される。第２レンズ群１０３は、絞りシャッタ１０２と一体となって光軸方向に進退し、第１レンズ群１０１の進退動作との連動により変倍作用（ズーム機能）をなす。第３レンズ群１０５は、光軸方向の進退により焦点調節を行なう。ローパスフィルタ１０６は、撮影画像の偽色やモアレを軽減するための光学素子である。撮像素子１０７は、２次元ＣＭＯＳフォトセンサーと周辺回路からなり、結像光学系の結像面に配置される。

ズームアクチュエータ１１１は、不図示のカム筒を回動させることより、第１レンズ群１０１又は第２レンズ群１０３を光軸方向に進退駆動して変倍操作を行なう。絞りシャッタアクチュエータ１１２は、絞りシャッタ１０２の開口径を制御して撮影光量を調節するとともに、静止画撮影時の露光時間を制御する。フォーカスアクチュエータ１１４は、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行なう。

照明手段１１５は、撮影時の被写体照明用電子フラッシュであって、キセノン管を用いた閃光照明装置が好適だが、連続発光するＬＥＤを備えた照明装置を用いてもよい。ＡＦ補助光手段１１６は、所定の開口パターンを有したマスクの像を、投光レンズを介して被写体に投影し、暗い被写体あるいは低コントラスト被写体に対する焦点検出能力を向上させる。

ＣＰＵ１２１は、カメラ本体の種々の制御を司るカメラ内ＣＰＵで、演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路等を有する。ＣＰＵ１２１は、ＲＯＭに記憶された所定のプログラムに基づいて、カメラが有する各種回路を駆動し、ＡＦ、撮影、画像処理と記録等の一連の動作を実行する。具体的には、ＣＰＵ１２１は、例えば後述する視点画像生成部、像ずれ量算出部、換算係数算出部、デフォーカス量算出部、及び記録部の処理を実行する。

電子フラッシュ制御回路１２２は、撮影動作に同期して照明手段１１５を点灯制御する。補助光源駆動回路１２３は、焦点検出動作に同期してＡＦ補助光手段１１６を点灯制御する。撮像素子駆動回路１２４は、撮像素子１０７の撮像動作を制御するとともに、撮像素子１０７から取得した画像をＡ／Ｄ変換してＣＰＵ１２１に送信する。画像処理回路１２５は、撮像素子１０７から取得した画像のγ変換、カラー補間、ＪＰＥＧ圧縮等の処理を行なう。

フォーカス駆動回路１２６は、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動制御し、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行なう。絞りシャッタ駆動回路１２８は、絞りシャッタアクチュエータ１１２を駆動制御して絞りシャッタ１０２の開口を制御する。ズーム駆動回路１２９は、撮影者のズーム操作に応じてズームアクチュエータ１１１を駆動する。

表示器１３１は、ＬＣＤ等の表示装置であって、カメラの撮影モードに関する情報、撮影前のプレビュー画像、撮影後の確認用画像、焦点検出時の合焦状態表示画像等を表示する。操作スイッチ１３２は、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等で構成される。記憶媒体１３３は、フラッシュメモリ等の着脱可能な記憶媒体であり、撮影済み画像や後述のメタデータを記録する。

［撮像素子］
図２は、第１実施形態に係る撮像装置における撮像素子１０７の画素配列を示す概略図である。説明を平易にするために、図２には４列×４行の画素２０のみを示しているが、実際の撮像素子１０７は更に多くの列及び行の画素２０を有している。また、図２に示す画素群２は、異なるカラーフィルターを有する２列×２行の画素２０Ｒ、２０Ｇ、２０Ｂを有している。画素群２では、Ｒ（赤）の分光感度を有する画素２０Ｒが左上に、Ｇ（緑）の分光感度を有する画素２０Ｇが右上と左下に、Ｂ（青）の分光感度を有する画素２０Ｂが右下に配置されている。また、各画素２０は一対の副画素２０１、２０２に分割されている。副画素２０１、２０２は、光学系の互いに異なる瞳部分領域を通過した光束を単一のマイクロレンズを介して受光することにより、視差情報を有する画素信号を出力することが可能である。なお、画素２０の分割数は２に限定されず、各画素２０の配置も図２に示す構成に限定されない。

本実施形態の撮像素子１０７は、図２に示すように行列状に配置された副画素２０１、２０２を用いて焦点検出用の視点画像を得ることができる。以下の説明では、画素２０の周期Ｐが４μｍ、画素数Ｎが横５５７５列×縦３７２５行＝２０７５万、副画素２０１、２０２の列方向周期Ｐ_Ｓが２μｍ、副画素２０１、２０２の数Ｎ_Ｓが１１１５０列×３７２５行＝４１５０万画素であることを想定する。但しこのような構成に限定されるものではない。

図３は、第１実施形態に係る撮像装置における画素２０の構造を示す概略図である。図３（ａ）は、図２に示す画素２０を受光面側（＋Ｚ側）から見た平面図を示している。また、図３（ｂ）は、図３（ａ）に示す画素２０のＡ−Ａ´線に沿った断面を、−Ｙ側から見た図を示している。図３（ｂ）に示すように、画素２０には、Ｘ方向にＮ_Ｈ（＝２）分割、Ｙ方向にＮ_Ｖ（＝１）分割された光電変換部３０１、３０２が、それぞれ副画素２０１、２０２に形成されている。光電変換部３０１、３０２は、ｐ型層とｎ型層の間にイントリンシック層を挟んだｐｉｎ構造フォトダイオードとしてもよいし、必要に応じて、イントリンシック層を省略してｐｎ接合フォトダイオードとしてもよい。

画素２０の受光面側（＋Ｚ側）には、入射光を集光するためのマイクロレンズ３０５が形成されている。また、マイクロレンズ３０５と光電変換部３０１、３０２との間には、カラーフィルター３０６が形成されている。必要に応じて、副画素毎にカラーフィルターの分光透過率を変えてもよいし、カラーフィルターを省略してもよい。図３（ｂ）に示す画素２０の上方（＋Ｚ側）から光軸３０３に沿って入射した光は、マイクロレンズ３０５により集光され、カラーフィルター３０６で分光された後、光電変換部３０１、３０２の受光面３０４において受光される。

光電変換部３０１、３０２では、受光量に応じて電子とホールが対生成し、空乏層で分離された後、負電荷の電子はｎ型層に蓄積される。一方、ホールは不図示の定電圧源に接続されたｐ型層を介して画素２０の外部へ排出される。光電変換部３０１、３０２のｎ型層に蓄積された電子は、転送ゲートを介して浮遊拡散部（Ｆｌｏａｔｉｎｇ Ｄｉｆｆｕｓｉｏｎ）へ転送され、不図示の読み出し回路によって画素信号に変換される。

図４は、第１実施形態に係る撮像装置における副画素２０１、２０２と瞳部分領域４０１、４０２との対応関係を示す第１の図である。図４の下段には、図３（ｂ）と同様に、画素２０のＡ−Ａ´線に沿った断面が示されている。また、図４の上段には、光学系の射出瞳面が示されている。なお、画素２０と射出瞳面とで座標軸を対応させるために、図４に示す画素２０の断面図は、図３（ｂ）に示す画素２０の断面図に対してＸ軸及びＹ軸を反転させている。

瞳領域４００は、画素２０によって受光可能な瞳領域を表している。また、瞳部分領域４０１、４０２は、それぞれ副画素２０１、２０２で受光可能な瞳領域を表している。瞳部分領域４０１は、＋Ｘ側に重心が偏心しており、マイクロレンズ３０５によって、重心が−Ｘ方向に偏心した光電変換部３０１の受光面と共役関係になっている。同様に、瞳部分領域４０２は、瞳面において−Ｘ側に重心が偏心しており、マイクロレンズ３０５によって、重心が＋Ｘ方向に偏心した光電変換部３０２の受光面と共役関係になっている。

瞳領域４１０は、枠（レンズ枠や絞り枠の総称）によるケラレを考慮した瞳領域である。瞳領域４１０の大きさ、位置及び形状は、絞りシャッタ１０２の絞り値、射出瞳から受光面３０４までの距離等により定まる射出瞳距離、及び撮像素子１０７の像高の組み合わせにより変化する。

画素２０に入射する光は、マイクロレンズ３０５によって焦点位置に集光される。しかし、光の波動性による回折の影響により、集光スポットの直径は回折限界Δより小さくすることはできず、有限の大きさとなる。光電変換部３０１、３０２の受光面のサイズが約１〜２μｍ程度なのに対し、マイクロレンズ３０５の集光スポットも約１μｍ程度である。そのため、瞳部分領域４０１と瞳部分領域４０２は、回折ボケのため明瞭に瞳分割されない受光率分布（瞳強度分布）となる。

図５は、第１実施形態に係る撮像装置における副画素２０１、２０２と、瞳部分領域４０１、４０２との対応関係を示す第２の図である。図５の右側には、画素２０ａ、２０ｂ、…が配列され、画素２０ａ及び画素２０ｂは、それぞれ、副画素２０１ａ、２０２ａ、及び副画素２０１ｂ、２０２ｂに分割されている。瞳部分領域４０１、４０２を通過した被写体５０３上の点ａからの光束は、それぞれ、画素２０ａの副画素２０１ａ、２０２ａによって受光される。同様に、瞳部分領域４０１、４０２を通過した被写体５０３上の点ｂからの光束は、それぞれ、画素２０ｂの副画素２０１ｂ、２０２ｂによって受光される。撮像装置は、副画素２０１で受光された光量に基づく画素信号と、副画素２０２で受光された光量に基づく画素信号とを、画素２０毎に加算して、画素数Ｎの画像（以下「加算画像」という）を生成する。

このようにして得られた加算画像に加えて、更に、視差情報を有する視点画像を生成する場合は、各画素２０の副画素２０１が出力する画素信号から第１視点画像を生成して、加算画像から第１視点画像を減算して第２視点画像を得る。あるいは、必要に応じて、各画素２０の副画素２０１から読み出した画素信号から第１視点画像を生成するとともに、各画素２０の副画素２０２から読み出した画素信号から第２視点画像を生成して、一対の視点画像を生成してもよい。加算画像、第１視点画像、及び第２視点画像は、例えばベイヤー（Ｂａｙｅｒ）配列データとして生成される。

加算画像、第１視点画像、及び第２視点画像は、それぞれ視点が異なるデータであるから、後述するシェーディング補正を行うことにより、像の一致度を向上させることができる。また、必要に応じてデモザイキング処理等を行ってもよい。なお、図５には、画素２０が水平方向に分割された副画素２０１、２０２の例を示したが、画素２０は、垂直方向に分割されていてもよく、また、水平方向及び垂直方向の両方に分割されていてもよい。

［デフォーカス量と像ずれ量の関係］
図６は、第１実施形態に係る撮像装置におけるデフォーカス量ｄと像ずれ量ｐとの関係を示す図である。以下、図６を参照しながら、視点画像から算出されるデフォーカス量及び像ずれ量について説明する。図５と同様に、瞳部分領域４０１、４０２を通過した光束は、図６に示す撮像面６００に配置された撮像素子１０７の各画素２０に入射し、それぞれ、副画素２０１、２０２により受光される。

図６に示すデフォーカス量ｄの大きさ｜ｄ｜は、被写体像の結像位置から撮像面６００までの距離として定義される。デフォーカス量ｄの符号は、被写体像の結像位置が撮像面６００より被写体６０１、６０２の側にある前ピン状態において負（ｄ＜０）となり、被写体像の結像位置が撮像面６００より被写体６０１、６０２の反対側にある後ピン状態において正（ｄ＞０）となる。また、被写体像の結像位置が撮像面６００にある合焦状態においてはｄ＝０となる。図６では、被写体６０１の像は合焦状態（ｄ＝０）であり、被写体６０２の像は前ピン状態（ｄ＜０）である。以下では、前ピン状態又は後ピン状態のことを、デフォーカス状態（｜ｄ｜＞０）という。

前ピン状態（ｄ＜０）である被写体６０２からの光束のうち、瞳部分領域４０１を通過した光束は一度集光した後、撮像面６００において光束の重心位置Ｇ１を中心として幅Γ１だけ広がり、ボケた像となる。ボケた像は、撮像面６００に配列された画素２０の副画素２０１により受光され、撮像面６００上の重心位置Ｇ１を中心として幅Γ１だけ広がった被写体像として記録される。瞳部分領域４０２を通過した光束についても同様に、撮像面６００に配列された画素２０の副画素２０２により受光され、撮像面６００上の重心位置Ｇ２を中心として幅Γ２だけ広がったボケた被写体像として記録される。

被写体像の幅Γ１、Γ２は、デフォーカス量ｄの大きさ｜ｄ｜に概ね比例して大きくなる。この結果、副画素２０１が出力する第１焦点検出信号と副画素２０１が出力する第２焦点検出信号との間の被写体像の像ずれ量ｐ（＝Ｇ１−Ｇ２）の大きさ｜ｐ｜も、デフォーカス量ｄの大きさ｜ｄ｜に概ね比例して大きくなる。後ピン状態（ｄ＞０）の場合も、第１焦点検出信号と第２焦点検出信号間の被写体像の像ずれ方向が前ピン状態と反対となることを除いて同様である。

このように、第１焦点検出信号及び第２焦点検出信号から算出されるデフォーカス量の大きさ｜ｄ｜は、第１焦点検出信号及び第２焦点検出信号から算出される像ずれ量の大きさ｜ｐ｜に概ね比例して増加する。

［焦点検出］
以下、本実施形態における位相差方式による焦点検出処理について説明する。位相差方式による焦点検出では、副画素２０１が出力する第１焦点検出信号と副画素２０２が出力する第２焦点検出信号を相対的にシフトさせながら、信号の一致度を表す相関量を計算し、相関（信号の一致度）が高くなるシフト量から像ずれ量を検出する。また、撮像信号のデフォーカス量の大きさ｜ｄ｜が、像ずれ量の大きさ｜ｐ｜に概ね比例して増加する関係を利用して、像ずれ量ｐからデフォーカス量ｄを算出する。

図７は、第１実施形態に係る撮像装置における焦点検出処理を示すフローチャートである。図７に示す焦点検出処理を行う視点画像生成部、像ずれ量算出部、換算係数算出部、デフォーカス量算出部、及び記録部は、主として図１に示す画像処理回路１２５又はＣＰＵ１２１によって実行され得る。

ステップＳ１１０において、視点画像生成部は、まず、撮像素子１０７の有効画素領域の中から、焦点調節を行う焦点検出領域を設定する。次に、視点画像生成部は、焦点検出領域における各副画素２０１から第１焦点検出信号を読み出す。同様に、視点画像生成部は、焦点検出領域における各副画素２０２から第２焦点検出信号を読み出す。

ステップＳ１２０において、視点画像生成部は、焦点検出信号のデータ量を抑制するために、所定数の列方向の画素２０毎に、撮影条件に応じて第１焦点検出信号及び第２焦点検出信号をそれぞれ加算処理する。更に、視点画像生成部は、ＲＧＢ信号を輝度Ｙ信号にするためにベイヤー（ＲＧＢ）加算処理を行う。図７には、これら２つの加算処理を合わせたものを画素加算処理と表している。

ステップＳ１３０において、像ずれ量算出部は、第１焦点検出信号及び第２焦点検出信号のそれぞれに対してシェーディング補正処理（光学補正処理）を行い、像の一致度を向上させる。また、ステップＳ１４０において、像ずれ量算出部は、第１焦点検出信号及び第２焦点検出信号のそれぞれに対してフィルター処理を行い、一部の帯域の信号成分を抽出して焦点検出性能を向上させる。

ステップＳ１５０において、像ずれ量算出部は、フィルター処理後の第１焦点検出信号と第２焦点検出信号とを、瞳分割方向に互いに相対的にシフトさせるシフト処理を行い、信号の一致度を表す相関量を評価値として算出する。例えば、相関量ＣＯＲは、下式（１）により算出される。ここで、フィルター処理後のｋ１番目の第１焦点検出信号をＡ（ｋ１）、第２焦点検出信号をＢ（ｋ１）、焦点検出領域に対応する番号ｋ１の範囲をＷ、第１シフト処理によるシフト量をｓ１、シフト量ｓ１のシフト範囲をΓ１とした。

像ずれ量算出部は、シフト量ｓ１の第１シフト処理により、ｋ１番目の第１焦点検出信号Ａ（ｋ１）とｋ１−ｓ１番目の第２焦点検出信号Ｂ（ｋ１−ｓ１）とを対応させて減算し、シフト減算信号を生成する。続いて、像ずれ量算出部は、生成されたシフト減算信号の絶対値を計算し、焦点検出領域に対応する範囲Ｗ内で番号ｋ１の和をとり、相関量ＣＯＲ（ｓ１）を算出する。必要に応じて、行毎に算出された相関量ＣＯＲを、シフト量毎に複数行に渡って加算してもよい。

ステップＳ１６０において、像ずれ量算出部は、算出した相関量ＣＯＲから、サブピクセル演算により、相関量が最小値となる実数値のシフト量を算出し、シフト量から像ずれ量を算出する。ステップＳ１１０において複数の像高分の焦点検出信号を取得していた場合には、複数の像高における像ずれ量が算出される。

ステップＳ１７０において、記録部は、ステップＳ１６０で算出した像ずれ量を、第１焦点検出信号及び第２焦点検出信号から生成された視点画像、又は視点画像から得られる画像と関連付けてメタデータとして記憶媒体１３３に記録する。メタデータは、何らかの形で当該画像と関連付けられて記録されていればよく、フォーマットは特に限定されない。例えば、図８に示すようにＪＰＥＧフォーマットで記録された画像内にＥｘｉｆ情報として記録してもよいし、図９に示すようにＲＡＷデータ形式で画像付加情報としてもよい。また、図１０に示すように、関連する複数のデータをまとめて格納することができるコンテナファイルとして画像とともに記録してもよい。また、画像と関連付けて別ファイルとして記録してもよい。

また、像ずれ量から２次元的な像ずれ量マップを生成して記憶媒体１３３に記録するようにしてもよい。像ずれ量マップとは、ステップＳ１１０からステップＳ１６０の処理によって得られる焦点検出領域における像ずれ量を、複数の像高で２次元的に算出したものである。

このように、算出した像ずれ量をメタデータとして記録しておき、必要に応じて再利用することで、像ずれ量を再計算する処理を省略することができる。また、像ずれ量を、撮像装置の外部に設けた外部処理装置によって後から利用することもできる。例えば、撮像装置では、像ずれ量を算出してメタデータとして記録しておき、外部処理装置で、メタデータとして記録された像ずれ量を利用して画像処理を行うような画像処理システムを構成することも可能である。これにより、撮像装置における画像処理の負荷を低減させることができる。

ステップＳ１８０において、換算係数算出部は、絞り値、射出瞳距離、及び撮像素子１０７における像高等を含む情報に基づいて、像ずれ量からデフォーカス量を得るための換算係数を算出する。この換算係数は、像ずれ量とデフォーカス量とを相互に換算するものであってもよい。続いて、記録部は、換算係数算出部が算出した換算係数を、画像と関連付けてメタデータとして記憶媒体１３３に記録する。このステップＳ１８０の処理については、後で図１２を用いてより詳しく説明する。なお、撮像装置の記録部では、換算係数をメタデータとして記録せずに、代わりに、撮像装置から換算係数を受信した外部処理装置の記録部によって、換算係数をメタデータとして記録するようにしてもよい。これにより、撮像装置における記録処理の負荷を低減させることができる。

ステップＳ１９０において、デフォーカス量算出部は、ステップＳ１６０で算出した像ずれ量に、ステップＳ１８０で算出した換算係数を乗算してデフォーカス量を算出する。続いて、記録部は、デフォーカス量算出部が算出したデフォーカス量を、画像と関連付けてメタデータとして記憶媒体１３３に記録する。なお、撮像装置のデフォーカス量算出部では、デフォーカス量を算出せずに、代わりに、外部処理装置のデフォーカス量算出部で、デフォーカス量を算出するようにしてもよい。また、撮像装置の記録部では、デフォーカス量をメタデータとして記録せずに、代わりに、外部処理装置の記録部で、デフォーカス量をメタデータとして記録するようにしてもよい。これらにより、撮像装置における負荷を低減させることができる。

また、デフォーカス量から２次元的なデフォーカス量マップを生成して記憶媒体１３３に記録するようにしてもよい。デフォーカス量マップとは、デフォーカス量を複数の像高で２次元的に算出したものである。同様に、像ずれ量マップからデフォーカス量マップを得るための換算係数マップを算出してもよい。換算係数マップは像ずれ量マップとデフォーカス量マップとを相互に換算するものであってもよい。

ところで、上述のステップＳ１８０の処理において、換算係数を算出する際に参照される撮影時の絞り値は、ケラレの発生により像高に応じて実効的な絞り値（実効絞り値）が変化することがある。

図１１は、第１実施形態に係る撮像装置における実効絞り値と周辺光量情報との関係を示す図である。図１１（ａ）に示すように、ケラレを発生させるレンズ枠や絞り枠等の枠１１０１が１つの場合には、瞳領域４１１の面積は、像高による変化はほとんどないので、実効絞り値の変化はそれほど生じない。しかしながら、図１１（ｂ）に示すように、実際の結像光学系のレンズ等には複数の枠１１０１、１１０２がある。この場合、枠１１０１、１１０２によるケラレに対応する瞳領域４１１、４１２の重なり部分である瞳領域４１３の面積が像高によって変化する。よって、実効絞り値は、複数の枠１１０１、１１０２によるケラレの結果として、像高に応じて変化することがある。

多くの場合、レンズ等によるケラレが発生すると、撮像素子１０７の撮像面の端に近づくにつれて光量の低下（周辺光量低下）が発生する。この周辺光量低下はレンズごとに固有の分布を有する。そのため、撮像装置に結像光学系の周辺光量に関する情報（周辺光量情報）を記憶させておき、撮影後に周辺光量低下を補正する機能を撮像装置が有していてもよい。この周辺光量情報を参照することにより、レンズ枠によるケラレの発生量が推定できる。そのため、周辺光量情報を参照して撮像素子１０７の像高に応じた実効絞り値を取得することができる。

撮像素子１０７の像高（ｘ,ｙ）における周辺光量情報がＶ（ｘ,ｙ）のときの実効絞り値Ｆ´は、撮影絞り値Ｆを用いて下式（２）により算出される。

ここで、ｆ（Ｖ（ｘ,ｙ））は、Ｖ（ｘ,ｙ）の関数である。ｆ（Ｖ（ｘ,ｙ））はレンズによるケラレの形状に応じて最適な関数形が異なるため、レンズ毎で適した関数を用いる必要がある。下式（３）は、ケラレの形状が円形に近い場合のｆ（Ｖ（ｘ,ｙ））を示し、下式（４）は、ケラレの形状が楕円形に近い場合のｆ（Ｖ（ｘ,ｙ））を示している。

ケラレ形状を表すモデル及び式は様々であり、周辺光量情報Ｖ（ｘ,ｙ）の関数形は上式（３）又は上式（４）に基づくものに限定されるものではない。絞り値が大きくなって小絞りになるにつれ、レンズ枠のケラレによる影響は低減し、絞り枠のケラレのみになる。そのため、所定以上絞った場合には周辺光量落ちによる補正は不要となる。

図１２は、第１実施形態に係る撮像装置における換算係数算出処理を示すフローチャートである。図１２に示すフローチャートは、図７に示すステップＳ１８０の処理をより詳細に示すものである。図１２に示す換算係数算出処理を行う換算係数算出部、及び記録部は、主として撮像装置内のＣＰＵ１２１により実行され得る。

ステップＳ１８１において、換算係数算出部は、画像の撮影に用いる焦点検出方法の設定を判定する。焦点位置合わせは、ＡＦ（オートフォーカス）又はＭＦ（マニュアルフォーカス）によって実行される。

焦点検出方法の設定がＡＦの場合、換算係数算出部は、ステップＳ１８２に進み、ＡＦの処理において合焦させた像高（ｘ，ｙ）を含む位置情報を、撮像装置の記憶媒体１３３等から取得する。一方、焦点位置合わせの設定がＭＦの場合、換算係数算出部は、ステップＳ１８３に進み、所定の基準位置に対応する像高（ｘ，ｙ）を含む位置情報を、撮像装置の記憶媒体１３３等から取得する。なお、焦点検出方法によらず一定の像高（ｘ，ｙ）を以下の処理に用いてもよく、その場合、ステップＳ１８１からステップＳ１８３は省略してもよい。

ステップＳ１８４において、換算係数算出部は、撮影条件として少なくとも射出瞳距離及び絞り値を、撮像装置の記憶媒体１３３やレンズユニットに備えられたメモリ等から取得する。ステップＳ１８５において、換算係数算出部は、図１１で説明した周辺光量情報を、撮像装置の記憶媒体１３３やレンズユニットに備えられたメモリ等から取得する。焦点検出方法の設定がＡＦの場合、換算係数算出部は、合焦させた像高の周辺光量情報のみを取得してもよく、全ての像高の周辺光量情報を取得してもよい。一方、焦点検出方法の設定がＭＦの場合、換算係数算出部は、基準像高のみの周辺光量情報を取得してもよく、全ての像高の周辺光量情報を取得してもよい。

ステップＳ１８６において、換算係数算出部は、ステップＳ１８５で取得した周辺光量情報を用いて、換算係数の取得に用いる１つ又は複数の像高に対して、実効絞り値を算出して取得する。なお、実効絞り値Ｆ´の代わりに撮影絞り値Ｆをそのまま撮影条件として用いてもよく、このような場合、ステップＳ１８５及びステップＳ１８６は省略してもよい。ステップＳ１８７において、換算係数算出部は、射出瞳距離、絞り値又は実効絞り値、及び像高を用いて換算係数を算出する。

ステップＳ１８８において、撮像装置の記録部は、算出した換算係数を、視点画像、又は視点画像から得られる画像と関連付けて、像ずれ量とともにメタデータとして記録する。あるいは、撮像装置は、画像及び像ずれ量とともに換算係数を外部処理装置へ送信し、換算係数を受信した外部処理装置の記録部が、換算係数を画像と関連付けて像ずれ量とともにメタデータとして記録してもよい。像ずれ量と同様に、換算係数を記録するフォーマットは問わない。これにより、画像と関連付けられた換算係数を像ずれ量とともにメタデータから取得して、いつでもデフォーカス量を算出することができるようになる。

また、撮像装置の記憶媒体１３３の記録容量に余裕があれば、算出したデフォーカス量を、視点画像、又は視点画像から得られる画像と関連付けて、換算係数とともにメタデータとして記録してもよい。像ずれ量や換算係数と同様に、デフォーカス量を記録するフォーマットは問わない。これにより、画像と関連付けられたデフォーカス量をメタデータから取得できるので、デフォーカス量を再計算する処理を省略することができる。また、以上の説明では、像ずれ量に換算係数を乗算してデフォーカス量を算出する方法を説明したが、デフォーカス量を換算係数で除算して像ずれ量を算出することも可能であり、どちらを用いてもよい。

［像ずれ量とデフォーカス量の関係］
像ずれ量とデフォーカス量では物理的な性質が異なるため、画像処理の用途が異なる。像ずれマップは撮像素子１０７に対して平面方向の視差のついた一対の画像同士の視差量を表している。そのため、画像処理の用途としては、視差の異なる画像同士の相対位置を変化させ、画像内のピント位置を変更するリフォーカス処理等に利用される。対して、デフォーカス量は撮像素子１０７に対して垂直方向の各像高毎のピントのずれ量を表している。そのため、各像高毎でボケ味を変更するボケ処理や、デフォーカス量と焦点検出距離を用いてカメラから撮影対象物までの実距離が算出できるため距離計測処理等に利用される。

２次元状に配列されたデータをマップと定義すると、像ずれ量マップ（又はデフォーカス量マップ）は細分して取得すればそれだけ細やかな被写体情報を取得できる。一方、換算係数は、被写体条件によらず、撮影条件によって一意に決まる。かつ、換算係数は、像高変化が連続的であるため、間引き記憶して使用時に補間する、もしくは、像高の近似関数を用いて像ずれ量を記憶することでデータ量を低減して高精度に算出することが可能である。そのため、データ量の低減を図るためには、高精度な像ずれ量マップとデフォーカス量マップを両方記憶するよりも、高精度な像ずれ量マップとデフォーカス量マップのいずれか一方と、換算係数を記憶することが望ましい。しかし、本発明は、これに限定されるものではなく、換算係数、像ずれ量、及びデフォーカス量のうちの少なくとも２つが、画像と関連付けてメタデータとして記録されていればよい。

以上のように、本実施形態の撮像装置は、視点画像から像ずれ量を算出する像ずれ量算出部と、像ずれ量をデフォーカス量へ換算する換算係数を算出する換算係数算出部とを備えている。そして、本実施形態の撮像装置は、換算係数、像ずれ量、及びデフォーカス量のうちの少なくとも２つを、視点画像、又は視点画像から得られる画像と関連付けてメタデータとして記憶媒体に記録する記録部を更に備えている。これにより、像ずれ量とデフォーカス量とを用途に応じて使い分けて画像処理を行うことが可能な撮像装置及び画像処理方法を得ることができる。

［変形実施形態］
本発明は、上記実施形態に限らず種々の変形が可能である。例えば、上記実施形態に記載の撮像装置の構成は一例を示したものであり、本発明を適用可能な撮像装置は上記実施形態の構成に限定されるものではない。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならない。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

２ ：画素群
２０ ：画素
２０１、２０２ ：副画素
３０１、３０２ ：光電変換部
３０５ ：マイクロレンズ
３０６ ：カラーフィルター
４００ ：瞳領域
４０１、４０２ ：瞳部分領域

Claims (14)

1. 光学系の互いに異なる瞳部分領域を通過した光束を受光する複数の副画素に分割された画素を備える撮像装置であって、
   前記複数の副画素が出力する画素信号に基づいて視点画像を生成する視点画像生成手段と、
   前記視点画像から像ずれ量を算出する像ずれ量算出手段と、
   前記像ずれ量をデフォーカス量へ換算する換算係数を算出する換算係数算出手段と、
   前記換算係数、前記像ずれ量、及び前記デフォーカス量のうちの少なくとも２つを、前記視点画像、又は前記視点画像から得られる画像と関連付けてメタデータとして出力する出力手段と、
   を備えることを特徴とする撮像装置。
2. 前記出力手段は、前記像ずれ量及び前記換算係数を前記メタデータとして出力する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記換算係数を用いて、前記像ずれ量から前記デフォーカス量を算出するデフォーカス量算出手段を更に有する
   ことを特徴とする請求項１に記載の撮像装置。
4. 前記換算係数は、前記像ずれ量と前記デフォーカス量とを相互に換算する
   ことを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
5. 前記出力手段は、前記メタデータを前記視点画像、又は前記視点画像から得られる画像とは別のファイルに出力する
   ことを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
6. 前記出力手段は、前記メタデータを前記視点画像、又は前記視点画像から得られる画像とともに１つのファイルとして出力する
   ことを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
7. 前記出力手段は、前記視点画像、又は前記視点画像から得られる画像をＪＰＥＧフォーマットで出力し、前記メタデータを前記ＪＰＥＧフォーマットのＥｘｉｆ情報として出力する
   ことを特徴とする請求項１から６のいずれか１項に記載の撮像装置。
8. 前記換算係数算出手段は、前記換算係数を、絞り値、射出瞳距離、及び像高を含む情報に基づいて算出する
   ことを特徴とする請求項１から７のいずれか１項に記載の撮像装置。
9. 前記換算係数算出手段は、前記絞り値を、周辺光量情報を含む情報に基づいて算出する
   ことを特徴とする請求項８に記載の撮像装置。
10. 前記視点画像、又は前記視点画像から得られる画像と、前記メタデータとを記録媒体に記録する記録手段を備えることを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
11. 光学系の互いに異なる瞳部分領域を通過した光束を受光する複数の副画素に分割された画素を備える撮像装置によって生成された視点画像の処理方法であって、
    前記視点画像から像ずれ量を算出する像ずれ量算出ステップと、
    前記撮像装置によって算出されて前記像ずれ量をデフォーカス量へ換算する換算係数と、前記像ずれ量と、前記デフォーカス量のうちの少なくとも２つを、前記視点画像、又は前記視点画像から得られる画像と関連付けてメタデータとして記憶媒体に出力する出力ステップと、
    を有することを特徴とする画像処理方法。
12. 光学系の互いに異なる瞳部分領域を通過した光束を受光する複数の副画素から出力される画素信号を用いて得られる視点画像を処理するプログラムであって、
    コンピュータを、
    前記視点画像から像ずれ量を算出する像ずれ量算出手段と、
    前記像ずれ量をデフォーカス量へ換算する換算係数と、前記像ずれ量と、前記デフォーカス量のうちの少なくとも２つを、前記視点画像、又は前記視点画像から得られる画像と関連付けてメタデータとして記憶媒体に出力する出力手段と、
    として機能させることを特徴とするプログラム。
13. 請求項１１に記載のプログラムを記録したコンピュータが読み取り可能な記憶媒体。
14. 光学系の互いに異なる瞳部分領域を通過した光束を受光する複数の副画素に分割された画素を備え、前記複数の副画素が出力する画素信号に基づいて視点画像を生成する撮像装置と、前記視点画像を処理する外部処理装置と、を有する画像処理システムであって、
    前記撮像装置は、前記視点画像から像ずれ量を算出する像ずれ量算出手段と、前記像ずれ量をデフォーカス量へ換算する換算係数を算出する換算係数算出手段とを備え、
    前記外部処理装置は、前記換算係数、前記像ずれ量、及び前記デフォーカス量のうちの少なくとも２つを、前記視点画像、又は前記視点画像から得られる画像と関連付けてメタデータとして記憶媒体に出力する出力手段を備える
    ことを特徴とする画像処理システム。