JP6968650B2

JP6968650B2 - 撮像装置およびその制御方法

Info

Publication number: JP6968650B2
Application number: JP2017197899A
Authority: JP
Inventors: 明治伊藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2017-10-11
Filing date: 2017-10-11
Publication date: 2021-11-17
Anticipated expiration: 2037-10-11
Also published as: JP2019071591A

Description

本発明は、撮像装置及び撮像装置の制御方法に関する。ホワイトバランス処理機能を有する撮像装置に関する

従来技術として、１つの画素に対して１つのマイクロレンズと複数に分割された光電変換部が形成されている２次元撮像素子や複数の光電変換部が１つのマイクロレンズを共有する２次元撮像素子を搭載した撮像装置が開示されている。複数の光電変換部は、１つのマイクロレンズを介して撮影レンズの射出瞳の異なる領域を透過した光を受光するように構成され、瞳分割を行っている。複数の光電変換部で、それぞれ、受光した信号から視点信号を生成し、複数の視点信号間の視差から像ずれ量を算出してデフォーカス量に換算することで、位相差方式の焦点検出を行う。前記の構造を有する２次元撮像素子を用いた撮像装置において、デフォーカス方向とデフォーカス量を同時に検出することが可能であり、高速に焦点調節を行うことができる。

特許文献１に記載の撮像装置は、撮影レンズと、２次元に配置された複数の画素から成る光電変換部と、光電変換部の複数の領域それぞれに対応する複数のマイクロレンズとを有する。そして、複数の領域に含まれる画素のうち、光学系の特性と光電変換部の特性とに起因して各領域内で相対的に受光量の少ない画素を、光電変換部から出力される電気信号の基準値の算出用の画素として構成する。また、特許文献２に記載の撮像装置は、マイクロレンズを共有する複数の光電変換手段を有する撮像素子を用いて、通常撮影時とライブビュー駆動時で読み出す画素数を切り替える。そして、ライブビュー駆動時には通常撮影時よりも少ないマイクロレンズの光軸中心付近の画素のみを読み出す。

特開２０１３−１４５９８１号公報特許第５８７１６２５号公報

しかしながら、複数の光電変換部が１つのマイクロレンズを共有することにより、光電変化部のそれぞれの配置により各領域内で受光量が異なる。特許文献１に記載の撮像装置は、光電変換部の特性に起因して各領域内で相対的に受光量の少ない画素を、前記光電変換部から出力される電気信号の基準値の算出用の画素として利用しているが、有効画素が少なくなる恐れがある。また、特許文献２に記載の撮像装置は、ライブビュー駆動時時に光軸中央付近の像を利用し光学的に良好な画像を取得可能であるが、通常撮影時に受光量の違いが発生する恐れがある。さらに、２次元撮像素子は、一般にベイヤー配列などに応じた、Ｒ（赤）画素、Ｇ（緑）画素、Ｂ（青）画素を配置する。複数の光電変換部の受光量が異なることで生じる色シェーディングによりホワイトバランス評価値が取得できない恐れがある。

本発明は、上記課題を鑑みて、良好なホワイトバランスを実施し高品質な画像を出力することができる撮像装置を提供することを目的とする。

上記の課題を解決するために、本発明の撮像装置は、１つのマイクロレンズに対して複数の光電変換部を有する撮像素子と、前記複数の光電変換部のうち、第１の光電変換部からの信号に基づく第１の画像を取得する第１の取得手段と、前記複数の光電変換部のうち、前記第１の光電変換部および前記第１の光電変換部と異なる第２の光電変換部からの信号を加算した第２の画像を取得する第２の取得手段と、前記第１の画像と前記第２の画像からホワイトバランス評価値を算出する算出手段と、を備え、前記算出手段は、前記第１の画像からホワイトバランス評価値を算出する場合には前記ホワイトバランス評価値の算出エリアを制限し、前記第２の画像からホワイトバランス評価値を算出する場合には前記制限を行わないことを特徴とする。

本発明によれば、良好なホワイトバランスを実施し高品質な画像を出力することができる撮像装置撮像装置を提供することができる。これにより、撮影シーンに応じた良好なホワイトバランス処理を行うことで高品質な画像生成が可能となる。

撮像装置の概略構成図である。画素配列の概略図である。画素の概略平面図と概略断面図である。画素構造と瞳分割の概略説明図である。焦点検出信号のデフォーカス量と像ずれ量との概略関係図である。焦点検出信号の瞳ずれによるシェーディングの概略説明図である。色シェーディング発生画像の一例を示する図である。撮像シーケンスを示すフローチャートである。ホワイトバランス処理を示すフローチャートである。白検出範囲を示す模式図である。色シェーディング発生エリアを示す模式図である。色シェーディングを補正する補正量を示す模式図である。画素配列の概略図である。

以下、本発明を実施するための最良の形態について図面などを参照して説明する。

（第１実施形態）
図１は本実施形態に係る撮像素子を有する撮像装置であるカメラの概略構成を示す図である。図１において、第１レンズ群１０１は、結像光学系の先端に配置され、光軸方向に進退可能に保持される。絞り兼用シャッタ１０２は、その開口径を調節することで撮影時の光量調節を行う他、静止画撮影時には露光秒時調節用シャッタとしての機能も備える。第２レンズ群１０３は、絞り兼用シャッタ１０２と一体となって光軸方向に進退し、第１レンズ群１０１の進退動作との連動により、変倍作用（ズーム機能）を実現することができる。

第３レンズ群１０５（フォーカスレンズ）は、光軸方向の進退により焦点調節を行う。光学的ローパスフィルタ１０６は、撮影画像の偽色やモアレを軽減するための光学素子である。撮像素子１０７は、２次元ＣＭＯＳフォトセンサとその周辺回路からなり、結像光学系の結像面に配置される。上述した第１レンズ群１０１、絞り兼用シャッタ１０２、第２レンズ群１０３、第３レンズ群１０５、光学的ローパスフィルタ１０６は、結像光学系を構成している。

ズームアクチュエータ１１１は、不図示のカム筒を回動することで、第１レンズ群１０１ないし第３レンズ群１０３を光軸方向に進退駆動し、変倍操作を行う。絞りシャッタアクチュエータ１１２は、絞り兼用シャッタ１０２の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行う。フォーカスアクチュエータ１１４は、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行う。

撮影時の被写体照明用電子フラッシュ１１５で、キセノン管を用いた閃光照明装置が好適ではあるが、連続発光するＬＥＤを備えた照明装置を用いてもよい。補助光源１１６は、所定の開口パターンを有したマスクの像を、投光レンズを介して被写界に投影し、暗い被写体あるいは低コントラスト被写体に対する焦点検出能力を向上させる。

制御部１２１は、カメラ本体の種々の制御を司るカメラ内ＣＰＵで、演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路等を有する。制御部１２１は、ＲＯＭに記憶された所定のプログラムに基づいて、カメラが有する各種回路を駆動し、ＡＦ、撮影、画像処理と記録等の一連の動作を実行する。また、本実施形態では、結像光学系の状態に応じた焦点検出補正値も記憶されている。

焦点検出補正値は、第３レンズ群１０５の位置に対応したフォーカス状態、第１レンズ群１０１の位置に対応したズーム状態、結像光学系のＦナンバー毎に複数用意されている。そして、撮像素子１０７の出力信号を用いて焦点調節を行う際には、結像光学系の第１レンズ群１０１、第３レンズ群１０５の位置及びＦナンバーに対応した最適な焦点検出補正値が選択される構成となっている。

なお、本実施形態では、焦点検出補正値を制御部１２１に記憶するように構成したが、本発明はこれに限るものではない。例えば、交換レンズ式の撮像装置においては、結像光学系を有する交換レンズが不揮発性メモリを有し、そのメモリに上述の焦点検出補正値を記憶してもよい。この場合には、結像光学系の状態に応じて、焦点検出補正値を撮像装置に送信すればよい。

電子フラッシュ制御回路１２２は、撮影動作に同期して電子フラッシュ１１５を点灯制御する。補助光源駆動回路１２３は、焦点検出動作に同期して補助光源１１６を点灯制御する。撮像素子駆動回路１２４は、撮像素子１０７の撮像動作を制御するとともに、取得した画像信号をＡ／Ｄ変換したディジタル画像信号を制御部１２１に送信する。撮像信号処理回路１２５は、撮像素子１０７が取得した画像のγ変換、カラー補間、ＪＰＥＧ圧縮等の処理を行う。

画像処理部１３４は、撮像素子駆動回路１２４から出力されたディジタル画像信号に対して各種画像処理を行い、処理済みのディジタル画像信号を出力する。さらに、画像処理部１３４は、ディジタル画像信号を直接画像メモリ部１３５に記憶し、記憶したディジタル画像信号を画像処理部１３４へ入力し画像処理を行うことも可能な構成となっている。ホワイトバランス制御部１３６は、画像メモリ部１３５に記憶されたディジタル画像信号からの情報に基づいてホワイトバランス補正値を算出し画像のホワイトバランス制御を行う。制御部１２１は、算出したホワイトバランス補正値を画像処理部１３４へ送り、画像処理部１３４にてディジタル画像信号に対してホワイトバランス補正を行う。なお、ホワイトバランス補正値の算出方法については、後述する。

フォーカス駆動回路１２６は、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動制御し、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行う。絞りシャッタ駆動回路１２８は、絞りシャッタアクチュエータ１１２を駆動制御して絞り兼用シャッタ１０２の開口を制御する。ズーム駆動回路１２９は、撮影者のズーム操作に応じてズームアクチュエータ１１１を駆動する。

ＬＣＤ等の表示部１３１は、制御部１２１の指示により生成された画像データを表示する。表示部１０９は、画像データを連続して表示を行うことにより、ライブ画像表示を行う。ライブ画像は、静止画像よりも少ない画素数を高速に読み出すことで高フレームレートの表示を行う。さらに、表示部１３１は、カメラの撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の焦点検出領域の指標や合焦状態等を表示する。操作スイッチ群１３２は、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等で構成される。着脱可能なフラッシュメモリ１３３は、撮影済み画像を記録する。制御部１２１は、ライブ画像、静止画像を連続的に記録することで動画記録を行う。

次に、本実施形態における撮像素子１０７の撮像画素と焦点検出画素の配列の概略を図２に示す。図２は、本実施形態の２次元ＣＭＯＳセンサー（撮像素子）の画素（撮像画素）配列を２列×２行の範囲で、焦点検出画素配列を４列×２行の範囲で示す図である。画素２００は、一例としてベイヤー配列に応じた配置となっている。Ｒ（赤）の分光感度を有する画素が左上に、Ｇ（緑）の分光感度を有する画素が右上と左下に、Ｂ（青）の分光感度を有する画素が右下に配置されている。さらに、各画素は２列×１行に配列された第１焦点検出画素２０１と第２焦点検出画素２０２により構成されている。

図２に示す２列×２行の画素（４列×２行の焦点検出画素）を面上に多数配置し、撮像画像および焦点検出信号の取得を可能としている。一例として本実施形態では、画素の周期Ｐが４μｍ、画素数Ｎが横５５７５列×縦３７２５行＝約２０７５万画素、焦点検出画素の列方向周期ＰＡＦが２μｍ、焦点検出画素数ＮＡＦが横１１１５０列×縦３７２５行＝約４１５０万画素の撮像素子を用いる。

図２に示す撮像素子１０７の１つの画素２００を、撮像素子１０７の受光面側（＋ｚ側）から見た平面図を図３（Ａ）に示し、図３（Ａ）のａ−ａ断面を−ｙ側から見た断面図を図３（Ｂ）に示す。図３に示すように、本実施形態の画素２００では、各画素の受光側に入射光を集光するためのマイクロレンズ３０５が形成され、ｘ方向にＮＨ分割（２分割）、ｙ方向にＮＶ分割（１分割）された光電変換部３０１と光電変換部３０２が形成される。光電変換部３０１及び３０２が、それぞれ、第１焦点検出画素２０１と第２焦点検出画素２０２に対応する。光電変換部３０１及び３０２は、ｐ型層とｎ型層の間にイントリンシック層を挟んだｐｉｎ構造フォトダイオードとしても良いし、必要に応じて、イントリンシック層を省略し、ｐｎ接合フォトダイオードとしても良い。各画素には、マイクロレンズ３０５と、光電変換部３０１及び３０２との間に、カラーフィルタ３０６が形成される。

図３に示す画素２００に入射した光は、マイクロレンズ３０５により集光され、カラーフィルタ３０６で分光されたのち、光電変換部３０１及び３０２で受光される。光電変換部３０１及び３０２では、受光量に応じて電子とホールが対生成し、空乏層で分離された後、負電荷の電子はｎ型層（不図示）に蓄積され、一方、ホールは定電圧源（不図示）に接続されたｐ型層を通じて撮像素子１０７の外部へ排出される。光電変換部３０１及び３０２のｎ型層（不図示）に蓄積された電子は、転送ゲートを介して、静電容量部（ＦＤ）に転送され、電圧信号に変換されて出力される。

図３に示す本実施形態の画素構造と瞳分割との対応関係を図４を参照して説明する。図４は、図３（Ａ）に示した本実施形態の画素構造のａ−ａ断面を＋ｙ側から見た断面図と結像光学系の射出瞳面を示す図である。なお、図４では、射出瞳面の座標軸と対応を取るために、断面図のｘ軸とｙ軸を図３に対して反転させている。

第１焦点検出画素２０１の第１瞳部分領域５０１は、重心が−ｘ方向に偏心している光電変換部３０１の受光面と、マイクロレンズ３０５によって概ね共役関係になっており、第１焦点検出画素２０１で受光可能な瞳領域を表している。第１焦点検出画素２０１の第１瞳部分領域５０１は、瞳面上で＋Ｘ側に重心が偏心している。

また、第２焦点検出画素２０２の第２瞳部分領域５０２は、重心が＋ｘ方向に偏心している光電変換部３０２の受光面と、マイクロレンズ３０５によって概ね共役関係になっており、第２焦点検出画素２０２で受光可能な瞳領域を表している。第２焦点検出画素２０２の第２瞳部分領域５０２は、瞳面上で−Ｘ側に重心が偏心している。

また、瞳領域５００は、光電変換部３０１及び３０２（第１焦点検出画素２０１と第２焦点検出画素２０２）を全て合わせた際の画素２００全体で受光可能な瞳領域である。本実施形態の撮像素子１０７は、第１瞳部分領域５０１と第２瞳部分領域５０２をそれぞれ通過した一対の光束が、撮像素子１０７の各画素にそれぞれ異なる角度で入射し、２×１に分割された第１焦点検出画素２０１と第２焦点検出画素２０２で受光される。本実施形態は、瞳領域が水平方向に２つに瞳分割されている例である。必要に応じて、垂直方向に瞳分割を行っても良い。

本実施形態では、撮像素子１０７の各画素の第１焦点検出画素２０１の受光信号を集めて第１焦点検出信号を生成し、各画素の第２焦点検出画素２０２の受光信号を集めて第２焦点検出信号を生成して焦点検出を行う。また、撮像素子１０７の各画素毎に、第１焦点検出画素２０１と第２焦点検出画素２０２の信号を加算することで、有効画素数Ｎの解像度の撮像信号（撮像画像）を生成する。第１焦点検出画素２０１と第２焦点検出画素２０２の信号を加算した撮像信号と、第１焦点検出画素２０１のみの撮像信号の差分を取ることで第２焦点検出画素２０２と同じ撮像信号を得られるため、第２焦点検出画素２０２は、差分信号を用いてもよい。また、第１焦点検出画素２０１と第２焦点検出画素２０２の信号を加算した撮像信号と、第２焦点検出画素２０２のみの撮像信号の差分を取ることで第１焦点検出画素２０１と同じ撮像信号を得られる。そのため、第１焦点検出画素２０１信号として前記差分信号を用いてもよい。また、ライブ画像を表示するための撮像モードを制御部１２１から撮像素子駆動回路へ指示を行うことで、撮像素子１０７の有効画素数Ｎを間引き及びまたは、加算することにより有効画素数Ｎよりも少ない画素数の撮像信号（撮像画像）を生成する。

以下、本実施形態の撮像素子１０７により取得される第１焦点検出信号と第２焦点検出信号のデフォーカス量と、像ずれ量との関係について説明する。図５は、第１焦点検出信号と第２焦点検出信号のデフォーカス量と第１焦点検出信号と第２焦点検出信号間の像ずれ量の概略関係図である。撮像面６００に本実施形態の撮像素子１０７が配置され、結像光学系の射出瞳が、第１瞳部分領域５０１と第２瞳部分領域５０２に２分割される。

デフォーカス量ｄは、被写体の結像位置から撮像面６００までの距離を大きさ｜ｄ｜とする。そして、被写体の結像位置が撮像面６００より被写体側にある前ピン状態を負符号（ｄ＜０）、被写体の結像位置が撮像面６００より被写体の反対側にある後ピン状態を正符号（ｄ＞０）として定義される。被写体の結像位置が撮像面（合焦位置）にある合焦状態はｄ＝０である。図５で、被写体８０１は合焦状態（ｄ＝０）の例を示しており、被写体８０２は前ピン状態（ｄ＜０）の例を示している。前ピン状態（ｄ＜０）と後ピン状態（ｄ＞０）を合わせて、デフォーカス状態（｜ｄ｜＞０）とする。

前ピン状態（ｄ＜０）では、被写体８０２からの光束のうち、第１瞳部分領域５０１（第２瞳部分領域５０２）を通過した光束は、一度、集光した後、光束の重心位置Ｇ１（Ｇ２）を中心として幅Γ１（Γ２）に広がり、撮像面６００でボケた像となる。ボケた像は、撮像素子１０７に配列された各画素を構成する第１焦点検出画素２０１（第２焦点検出画素２０２）により受光され、第１焦点検出信号（第２焦点検出信号）が生成される。よって、第１焦点検出信号（第２焦点検出信号）は、撮像面６００上の重心位置Ｇ１（Ｇ２）に、被写体８０２が幅Γ１（Γ２）にボケた被写体像として記録される。被写体像のボケ幅Γ１（Γ２）は、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね、比例して増加していく。同様に、第１焦点検出信号と第２焦点検出信号間の被写体像の像ずれ量ｐ（＝光束の重心位置の差Ｇ１−Ｇ２）の大きさ｜ｐ｜も、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね、比例して増加していく。後ピン状態（ｄ＞０）でも、第１焦点検出信号と第２焦点検出信号間の被写体像の像ずれ方向が前ピン状態と反対となるが、同様である。

このように、第１焦点検出信号と第２焦点検出信号、もしくは、第１焦点検出信号と第２焦点検出信号を加算した撮像信号のデフォーカス量の大きさが増加するのに伴い、第１焦点検出信号と第２焦点検出信号間の像ずれ量の大きさが増加する。第１焦点検出信号と第２焦点検出信号のデフォーカス量と、像ずれ量から被写体が合焦状態か否かを検出する。また、非合焦被写体に対しては、合焦状態になるまで第３レンズ群１０５の位置にを移動させることで焦点調整を行う。

次に、第１焦点検出信号と第２焦点検出信号の瞳ずれによるシェーディングについて説明する。図６に、撮像素子１０７の周辺像高における第１焦点検出画素２０１の第１瞳部分領域５０１、第２焦点検出画素２０２の第２瞳部分領域５０２、および結像光学系の射出瞳４００の関係を示す。図６（Ａ）は、結像光学系の射出瞳距離Ｄ１と撮像素子１０７の設定瞳距離Ｄｓが同じ場合である。この場合は、第１瞳部分領域５０１と第２瞳部分領域５０２により、結像光学系の射出瞳４００が、概ね、均等に瞳分割される。

これに対して、図６（Ｂ）に示した結像光学系の射出瞳距離Ｄ１が撮像素子１０７の設定瞳距離Ｄｓより短い場合、撮像素子１０７の周辺像高では、結像光学系の射出瞳と撮像素子１０７の入射瞳の瞳ずれを生じる。そのため、結像光学系の射出瞳４００が、不均一に瞳分割されてしまう。同様に、図６（Ｃ）に示した結像光学系の射出瞳距離Ｄ１が撮像素子の設定瞳距離Ｄｓより長い場合、撮像素子１０７の周辺像高では、結像光学系の射出瞳と撮像素子１０７の入射瞳の瞳ずれを生じ、結像光学系の射出瞳４００が、不均一に瞳分割されてしまう。周辺像高で瞳分割が不均一になるのに伴い、第１焦点検出信号と第２焦点検出信号の強度も不均一になり、第１焦点検出信号と第２焦点検出信号のいずれか一方の強度が大きくなり、他方の強度が小さくなるシェーディングが生じる。

図７は、色シェーディング発生画像の一例を示する図である。光の波長が短いほど屈折率が大きくなるため、射出瞳距離Ｄ１と設定瞳距離Ｄｓは、波長により距離が異なる。青、緑の光は、赤の光よりも波長が短く屈折率が大きいため、瞳ずれ量が大きくなる。図７（Ａ）に示すように、青（Ｂ）、緑（Ｇ）のシェーディング量に対して赤（Ｒ）のシェーディング量が少なくなるため、高像高になるほど色信号の差分が大きくなる色シェーディングが生じる。図７（Ｂ）の画像では、画像中央の人物は色シェーディングの影響は無いが、画像右側の木や空が赤み掛かり、画像左側では逆に赤みが足りなくなる。一方、第１焦点検出画素２０１と第２焦点検出画素２０２の信号を加算する、加算読み出しにおいては瞳ずれが相殺されるため、色シェーディングは発生しない。

次に、図８を用いて、焦点検出を行いながら、ライブ画像の表示を行うシーケンスについて説明する。有効画素数Ｎよりも少ない撮像画像を読み出すライブ画像（表示用画像）と有効画素数Ｎの撮像画像を読み出しを行う静止画像記録用画像（静止画像）を交互に撮像素子から撮像信号を読み出す。ライブ画像は、撮像装置に備え付けた表示部１０７に画像を表示するために必要な画像サイズのみを読み出す。通常、間引き読み出しを行うことで高速に読み出す読み出しモードを使用する。

ライブ画像と静止画像は、それぞれ第１焦点検出画素２０１または、第２焦点検出画素２０２のみを読み出す焦点検出画素読み出しと、第１焦点検出画素２０１と第２焦点検出画素２０２の信号を加算する加算読み出しを行う。以上の動作を繰り返すことにより、表示及び焦点検出を行いながら静止画像を記録する。
本実施形態では、一例として制御部１２１から以下の４つの駆動指示を繰り返し行う。
１．ライブ画像焦点検出画像読み出し駆動。
２．ライブ画像加算読み出し駆動。
３．静止画像焦点検出画像読み出し駆動。
４．静止画像加算読み出し駆動。

ライブ画像（上記１及び２の駆動）は、焦点検出を行いながらライブ画の表示を行う。静止画像は、静止画像焦点検出画像読み出し画像（上記３の駆動）と静止画像加算読み出し画像（上記４の駆動）を記録する。また、制御部１２１は、記録した２つの静止画像（上記３及び４の駆動画像）の差分をとり、信号処理を行うことで複数の視点から撮影した画像を生成する。そして、複数の焦点位置で撮影した静止画像を生成し記録することや焦点位置を可変し最適な焦点位置の画像を生成し記録することも可能である。

図８において、撮像動作が開始すると、ステップＳ８０１にて、ライブ画像焦点検出画像読み出し駆動によりライブ画像焦点検出画像を取得する。次に、ステップＳ８０２にて、ライブ画像加算読み出し駆動によりライブ画像表示画像を取得し、ライブ画像を表示部１３１に表示する。次に、ステップＳ８０３にて、静止画像焦点検出画像読み出し駆動（３の駆動）により、静止画記録用焦点検出画像を取得し画像メモリ部１３５へ記録した後に制御部１２１によりフラッシュメモリ１３３へ記録する。次に、ステップＳ８０４にて、ステップＳ８０３で取得した画像から、後述するホワイトバランス制御を行い、ホワイトバランス評価値、ホワイトバランス係数を算出する。次に、ステップＳ８０５にて、静止画像加算読み出し駆動により静止画記録用加算画像を取得する。そして、ステップＳ８０４にて算出されたホワイトバランス係数を用いて静止画記録用加算画像の画像処理を行う。

次に、本実施形態のホワイトバランス制御について説明する。ホワイトバランス制御部１３６におけるホワイトバランス評価値（以下ＷＢ評価値）算出方法について図９を用いて詳細に述べる。まず、画像メモリ部１３５に記憶された画像信号を読み出し（ステップＳ９０１）、ステップＳ９０２にて、色値（Ｒ，Ｇ，Ｂ）からＷＢ評価値（Ｃｘ，Ｃｙ）を算出する。ＷＢ評価値の算出式は下記（１）から求める。
Ｃｘ＝（Ｒ−Ｂ）／Ｙ×１０２４
Ｃｙ＝（Ｒ＋Ｂ−２Ｇ）／Ｙ×１０２４・・・（１）
ただし、Ｙ＝（Ｒ＋２Ｇ＋Ｂ）／４

ＷＢ評価値が算出できる最小画素単位で色値（Ｒ，Ｇ，Ｂ）からＷＢ評価値（ｐｉｘｅｌ＿Ｃｘ，ｐｉｘｅｌ＿Ｃｙ）を算出するピクセル白サーチを行う。また、その画面を任意のｋ個のブロックに分割し、分割したブロック毎に積分しＷＢ評価値（ｂｌｏｃｋ＿Ｃｘ，ｂｌｏｃｋ＿Ｃｙ）を算出するブロック白サーチを行う。ピクセル白サーチ、ブロック白サーチを実行する場合は、全画素を用いずに間引き処理を行うことで算出時間を短縮することもできる。ブロック白サーチを行う場合は、各ブロック毎に、画素値を各色に加算平均して色平均値を算出する。ピクセル白サーチ、ブロック白サーチともに同じ計算式で算出可能であり、専用のハードウエアまたは制御部１２１に搭載された演算回路を用いてソフトウエアプログラムにより算出する。

以下、簡略化のため（Ｃｘ，Ｃｙ）として表記するが（ｐｉｘｅｌ＿Ｃｘ，ｐｉｘｅｌ＿Ｃｙ）、（ｂｌｏｃｋ＿Ｃｘ，ｂｌｏｃｋ＿Ｃｙ）がそれぞれ算出しされる。また、ｉは画素またはブロックの番号、Ｒ［ｉ］，Ｇ［ｉ］，Ｂ［ｉ］は、画素またはブロックｉに含まれるＲＧＢ画素値から、ＷＢ評価値（Ｃｘ［ｉ］，Ｃｙ［ｉ］）を算出する。
下式（２）を用いてＷＢ評価値（Ｃｘ［ｉ］、Ｃｙ［ｉ］）を算出する。
Ｃｘ［ｉ］＝（Ｒ［ｉ］−Ｂ［ｉ］）／Ｙ［ｉ］×１０２４
Ｃｙ［ｉ］＝（Ｒ［ｉ］＋Ｂ［ｉ］−２Ｇ［ｉ］）／Ｙ［ｉ］×１０２４・・・（２）
ただし、Ｙ［ｉ］＝（Ｒ［ｉ］＋２Ｇ［ｉ］＋Ｂ［ｉ］）／４

次に、ステップＳ９０３にて、ＷＢ評価値積分判別を行う。具体的には、図１０のような座標軸を持つグラフを用いて白検出を行う。図１０は、ｘ座標（Ｃｘ）の負方向が高色温度被写体の白を撮影したときのＷＢ評価値を表し、正方向が低色温度被写体の白を撮影したときのＷＢ評価値を表す。また、ｙ座標（Ｃｙ）は、光源の緑成分の度合いを意味しており、負方向になるにつれＧｒｅｅｎ成分が大きくなり、つまり蛍光灯であることを示している。

そして、ステップＳ９０３では、ステップＳ９０２で算出したｉ番目のＷＢ評価値（Ｃｘ［ｉ］、Ｃｙ［ｉ］）が、図１０に示す予め設定した白検出範囲に含まれるか否かを判断する。さらに、ｉ番目の画素または、ブロックが色シェーディング発生エリアで有るか否かを判断する。色シェーディングが発生しない駆動モードにおいては、全てのブロックにおいて、色シェーディング発生エリアで無いとして処理を行う。

白検出範囲は、予め異なる光源下で白を撮影し、算出したＷＢ評価値をプロットしたものである。図１０に示す白検出範囲は、日中の太陽光のプロットエリア１００１と、日陰や曇り時の高色温度光１００２と、夕景などの低色温度光１００３と、蛍光灯のプロットエリア１００４を示す。この白検出範囲は、撮影モードによって別設定できるものとする。ステップＳ９０３で算出したＷＢ評価値（Ｃｘ［ｉ］、Ｃｙ［ｉ］）が日中の太陽光のプロットエリア１００１〜蛍光灯のプロットエリア１００４に示した白検出範囲に含まれて、且つ色シェーディング発生エリアで無い場合（ＹＥＳ）、ステップＳ９０４に進む。ステップＳ９０４にて、そのブロックの色平均値（Ｒ［ｉ］、Ｇ［ｉ］、Ｂ［ｉ］）を積算（積分）する。一方、ステップＳ９０３で白検出範囲に含まれない、もしくは色シェーディング発生エリアである場合（ＮＯ）、加算せずにステップＳ９０５に進む。白検出範囲に含まれたか否かを判断するステップＳ９０３及びステップＳ９０４の処理は、下式により表すことができる。なお、ｉ番目の画素または、ブロックが色シェーディング発生エリアであるか否かを判断する方法については、後述する。

ここで、（３）式において、ＷＢ評価値（Ｃｘ［ｉ］、Ｃｙ［ｉ］）が白検出範囲（図１０の日中の太陽光のプロットエリア１００１〜蛍光灯のプロットエリア１００４）に含まれる場合はＳｗ［ｉ］を１に、含まれない場合にはＳｗ［ｉ］を０とする。従って、ステップＳ９０３の判断によりＷＢ評価値（Ｒ［ｉ］、Ｇ［ｉ］、Ｂ［ｉ］）加算を行うか、行わないかの処理を実質的に行っている。そして、加算された、画素数（ピクセル白サーチ数）またはブロック数（ブロック白サーチ数）を記憶する。ステップＳ９０５にて、すべての画素またはブロックについて上記処理を行ったか否かを判断し、未処理である場合（ＮＯ）、ステップＳ９０２に戻って上記処理を繰り返し、すべての処理が終了している場合（ＹＥＳ）、ステップＳ９０６に進む。

次に、ステップＳ９０６にて、（３）式で得られたＷＢ評価値の積分値（ＳｕｍＲ、ＳｕｍＧ、ＳｕｍＢ）から、以下の（４）式を用いて、ホワイトバランス補正値（ＷＢＣｏｌ＿Ｒ、ＷＢＣｏｌ＿Ｇ、ＷＢＣｏｌ＿Ｂ）を算出する。算出されたホワイトバランス補正値を制御部１２１が内部記憶領域に記憶する。
ＷＢＣｏｌ＿Ｒ＝ＳｕｍＹ×１０２４／ＳｕｍＲ
ＷＢＣｏｌ＿Ｇ＝ＳｕｍＹ×１０２４／ＳｕｍＧ・・・（４）
ＷＢＣｏｌ＿Ｂ＝ＳｕｍＹ×１０２４／ＳｕｍＢ
ただし、ＳｕｍＹ＝（ＳｕｍＲ＋２×ＳｕｍＧ＋ＳｕｍＢ）／４

なお、記憶された、ピクセル白サーチ数及びブロック白サーチ数に応じて最終ホワイトバランス補正値を算出し直してもよい。一例として、ピクセル白サーチ数が全画素数の１０％以上有る場合は、ピクセル白サーチ結果から算出されたホワイトバランス補正値を用い、１０％を下回る場合にブロック白サーチ結果をブロック白サーチ数に応じて重み付けし、ホワイトバランス補正値を算出する。そして、算出されたホワイトバランス補正値を制御部１２１が内部記憶領域に記憶する。

次に、色シェーディング発生エリアの判別方法を説明する。前述した様に、射出瞳距離Ｄｌと撮像素子の設定瞳距離Ｄｓより、第１焦点検出信号と第２焦点検出信号のいずれか一方の強度が強くなることで色シェーディングが発生する。言い換えると、射出瞳距離Ｄｌと撮像素子の設定瞳距離Ｄｓの関係から、色シェーディング量が決定する。射出瞳距離Ｄｌと撮像素子の設定瞳距離Ｄｓは、撮影された被写体距離に応じて変化する。光学的にシミュレーションを行い被写体距離と色シェーディングの関係を事前に算出し、または撮像装置を用いて被写体距離を可変し撮影した均一白色板の画像から実験的に求めるなどする。通常、色シェーディング量は、各色の３％以内の差分は画像に影響しないため、例えば、３％以内となる画像領域を色シェーディングの発生しないエリアとしてフラッシュメモリ１３３に記録する。

図１１は、フラッシュメモリ１３３に記録された色シェーディング発生エリアを表した模式図である。図１１の太枠内（１１０１）が色シェーディングの発生しないエリアとなり、太枠の外側（１１０２）が色シェーディング発生エリアである。なお、前述した、ライブ画像焦点検出画像読み出し駆動（１の駆動）、静止画像焦点検出画像読み出し駆動（３の駆動）で取得した画像においては、色シェーディングが発生するため、ホワイトバランス評価値算出エリアを制限する必要がある。ライブ画像加算読み出し駆動（２の駆動）、静止画像加算読み出し駆動（４の駆動）で取得した画像では、色シェーディングが発生しないためホワイトバランス評価値算出エリアを制限する必要がない。なお、本実施形態では、画素２００を縦に２分割した撮像素子を用いて説明したが、後述する図１３に示す様に、画素２００を３列×３行に分割するなど、ｍ列×ｎ行（ｍ、ｎは自然数）に分割した撮像素子を用いてもよい。

以上、本実施形態によれば、良好なホワイトバランスを実施し高品質な画像を出力することができる撮像装置撮像装置を提供することができる。これにより、撮影シーンに応じた良好なホワイトバランス処理を行うことで高品質な画像生成が可能となる。

（第２実施形態）
本実施形態に係る撮像装置の色シェーディング発生エリアの判別方法を説明する。なお、第１実施形態と同じ構成、動作についての詳細な説明は省略する。図１１に示す色シェーディング発生エリアにおいては、式（３）の換わりに下記の式（５）を用いることにより、色シェーディング発生量に応じて重み付けを行いホワイトバランス評価値を算出する。

gain［ｉ］は０から１までの係数である。白検出範囲に含まれない場合にはＳｗ［ｉ］を０とする。また、色シェーディングが無いエリアでは、係数を１とし色シェーディングが大きくなるに従い０へ近づけることで色シェーディングの影響を除外する。

（第３実施形態）
本実施形態に係る撮像装置は、ホワイトバランス評価値算出用画像を取得する駆動を行う。なお、第１実施形態と第２実施形態と同じ構成、動作についての詳細な説明は省略する。本実施形態では、制御部１２１から５つ目の駆動指示として、図１１に示す太枠内（１１０１）の色シェーディングの発生しないエリアのみを読み出す。色シェーディングの発生しないエリアの画像からホワイトバランス評価値を算出する。ホワイトバランス評価値算出用画像であるため間引き読み出しを行ってもよい。

（第４実施形態）
本実施形態に係る撮像装置は、制御部１２１により取得した画像の解析を行う。なお、第１〜第３実施形態と同じ構成、動作についての詳細な説明は省略する。本実施形態では、画面を任意のｋ個のブロックに分割し、分割したブロック毎に積分しブロック色積分値（ｂｌｏｃｋ＿Ｒ，ｂｌｏｃｋ＿Ｇ、ｂｌｏｃｋ＿Ｂ）を算出する。ブロック毎に色積分値を算出する場合は、全画素を用いずに間引き処理を行うことで算出時間を短縮することもできる。

そして、ブロック毎に色積分値を積分した画素数で除算し、画素積分値のブロック色平均値を算出する。ブロック色積分値、ブロック色平均値の算出は、専用のハードウエアまたは制御部に搭載された演算回路を用いてソフトウエアプログラムにより算出する。制御部１２１は、ブロック色平均値のヒストグラムと取得するなどし、統計的に解析を行う。Ｒ、Ｇ、Ｂの差分値が平均的なブロックから異なるブロックを検出し、式（３）のＳｗ［ｉ］または、式（５）のｇａｉｎ［ｉ］をブロック色平均値に応じて可変させることで色シェーディングを除外したホワイトバランス係数を算出する。

また、制御部１２１は、撮影条件を判別しブロック色積分値に応じて式（３）のＳｗ［ｉ］または、式（５）のｇａｉｎ［ｉ］を可変する様にする。絞り、シャッター速度、センサーの感度情報から、例えば夜景など暗い撮影条件であると判別する。夜景画像においては、画像信号を平均化することにより信号値が小さくなるが、ブロック色積分値を使用することで色シェーディング発生量の判別が容易となる。さらに、制御部１２１は、撮影時の光学情報に応じて式（３）のＳｗ［ｉ］または、式（５）のｇａｉｎ［ｉ］を可変する。絞り値や焦点距離に応じて撮影された画像の光学的に発生する収差量が変化する。色収差が発生する画像エリアのＲ、Ｇ、Ｂの差分が大きくなるため、ブロック色積分結果にかかわらず、ホワイトバランス評価値算出エリアから除外する。

光学収差の発生するエリアを予め、絞り、焦点距離、被写体距離から光学シミュレーションを行い、フラッシュメモリ１３３に記録し、同一撮影条件に近いデータを補間して使用する。予め撮像装置で撮影した実画像からデータ光学的収差の発生するエリアを特定し、フラッシュメモリ１３３に記録してもよい。第１焦点検出画素２０１と第２焦点検出画素２０２の信号を加算した、撮像画像からホワイトバランス評価値を算出する場合においても光学収差の発生するエリアのみを除外する。

（第５実施形態）
本実施形態に係る撮像装置は、制御部１２１が取得した画像から被写体検出を行う。なお、第１〜第４実施形態と同じ構成、動作についての詳細な説明は省略する。本実施形態では、ライブ画像と静止画像は、それぞれ第１焦点検出画素２０１のみを読み出す駆動と、第２焦点検出画素２０２のみを読み出す駆動を行うことにより、色シェーディング特性の異なる２つの焦点検出画像を取得する。制御部１２１は、被写体が存在するエリアの色シェーディング量が少ない焦点検出画像を用いてホワイトバランス評価値の算出を行う。

（第６実施形態）
本実施形態に係る撮像装置の第１焦点検出画素２０１のみを読みだした画像の色シェーディングを補正する動作について説明する。なお、第１〜第４実施形態と同じ構成、動作についての詳細な説明は省略する。図１２は、色シェーディングを補正する補正量を示す模式図である。図１２（Ａ）は、図７と同様に、青（Ｂ）、緑（Ｇ）のシェーディング量に対して赤（Ｒ）のシェーディング量が少なくなることを示している。像高に応じて光量の逆数を求めて像高０の光量で正規化する。
Ｒ＿ｈｏｓｅｉ＿ｇａｉｎ［ｈ］＝Ｙ０／Ｒ［ｈ］
Ｇ＿ｈｏｓｅｉ＿ｇａｉｎ［ｈ］＝Ｙ０／Ｇ［ｈ］・・・（６）
Ｂ＿ｈｏｓｅｉ＿ｇａｉｎ［ｈ］＝Ｙ０／Ｂ［ｈ］
ここで、Ｙ０は像高０の輝度値、ｈは像高を表す。Ｒ［ｈ］は像高ｈでのＲの光量、Ｇ［ｈ］は像高ｈでのＧの光量、Ｂ［ｈ］は像高hでのＢの光量を表す。Ｒ＿ｈｏｓｅｉ＿ｇａｉｎ［ｈ］は像高ｈでのＲの補正量、Ｇ＿ｈｏｓｅｉ＿ｇａｉｎ［ｈ］は像高ｈでのＧの補正量、Ｂ＿ｈｏｓｅｉ＿ｇａｉｎ［ｈ］は像高ｈでのＢの補正量を表す。模式的に示すと図１２（Ｂ）となる。

そして、式（７）により、撮影画像の入力されたＲ、Ｇ、ＢにそれぞれＲ＿ｈｏｓｅｉ＿ｇａｉｎ、Ｇ＿ｈｏｓｅｉ＿ｇａｉｎ、Ｂ＿ｈｏｓｅｉ＿ｇａｉｎを乗算すると図１２（Ｃ）に示す様に色シェーディングの無い画像となる。
Ｈｏｓｅｉｇｏ＿Ｒ［ｈ］＝Ｒ＿ｈｏｓｅｉ＿ｇａｉｎ［ｈ］×Ｒ［ｈ］
Ｈｏｓｅｉｇｏ＿Ｇ［ｈ］＝Ｇ＿ｈｏｓｅｉ＿ｇａｉｎ［ｈ］×Ｇ［ｈ］・・・（７）
Ｈｏｓｅｉｇｏ＿Ｂ［ｈ］＝Ｂ＿ｈｏｓｅｉ＿ｇａｉｎ［ｈ］×Ｂ［ｈ］
ここで、ｈは像高を表す。Ｈｏｓｅｉｇｏ＿Ｒ［ｈ］、Ｈｏｓｅｉｇｏ＿Ｇ［ｈ］、Ｈｏｓｅｉｇｏ＿Ｂ［ｈ］は像高ｈの補正後のＲ、Ｇ、Ｂ画素値である。上記の計算式を用いて、入力された画像信号の全ての画素を補正する。補正計算は、専用のハードウエアまたは制御部１２１に搭載された演算回路を用いてソフトウエアプログラムにより算出する。

補正後の画像信号は、色シェーディングは発生しない第１焦点検出画素２０１と第２焦点検出画素２０２の信号を加算した加算画像と同じ信号処理を行う。信号処理を施した、第１焦点検出画素２０１のみを読みだした画像をライブ表示画像や記録用静止画像とする。詳細の説明は省略するが、第２焦点検出画素２０２のみを読み出した画像についても、第２焦点検出画素２０２に対応した補正量を用いることで同様に補正する。

また、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

１０７撮像素子
１３６ホワイトバランス制御部
３０１光電変換部
３０２光電変換部

Claims

１つのマイクロレンズに対して複数の光電変換部を有する撮像素子と、
前記複数の光電変換部のうち、第１の光電変換部からの信号に基づく第１の画像を取得する第１の取得手段と、
前記複数の光電変換部のうち、前記第１の光電変換部および前記第１の光電変換部と異なる第２の光電変換部からの信号を加算した第２の画像を取得する第２の取得手段と、
前記第１の画像と前記第２の画像からホワイトバランス評価値を算出する算出手段と、
を備え、
前記算出手段は、前記第１の画像からホワイトバランス評価値を算出する場合には前記ホワイトバランス評価値の算出エリアを制限し、前記第２の画像からホワイトバランス評価値を算出する場合には前記制限を行わない
ことを特徴とする撮像装置。
前記算出手段は、前記第１の画像からホワイトバランス評価値を算出する場合、色シェーディングの発生量に応じて重み付けを行い、前記ホワイトバランス評価値を算出する
ことを特徴とする請求項１に記載の撮像装置。
前記算出手段は、前記第１の画像からホワイトバランス評価値を算出する場合、色シェーディングの発生していないエリアを前記算出エリアとして、前記ホワイトバランス評価値を算出する
ことを特徴とする請求項１に記載の撮像装置。
前記算出手段は、光学収差の発生するエリアのみを除外して前記ホワイトバランス評価値を算出する
ことを特徴とする請求項１に記載の撮像装置。
前記算出手段は、被写体が存在する焦点検出画像を用いて前記ホワイトバランス評価値を算出する
ことを特徴とする請求項１に記載の撮像装置。
１つのマイクロレンズに対して複数の光電変換部を有する撮像素子を備える撮像装置の制御方法であって、
前記複数の光電変換部のうち、第１の光電変換部からの信号に基づく第１の画像を取得する第１の取得工程と、
前記複数の光電変換部のうち、前記第１の光電変換部および前記第１の光電変換部と異なる第２の光電変換部からの信号を加算した第２の画像を取得する第２の取得工程と、
前記第１の画像と前記第２の画像からホワイトバランス評価値を算出する算出工程と、
を有し、
前記算出工程では、前記第１の画像からホワイトバランス評価値を算出する場合には前記ホワイトバランス評価値の算出エリアを制限し、前記第２の画像からホワイトバランス評価値を算出する場合には前記制限を行わない
ことを特徴とする撮像装置の制御方法。