JP6253272B2 - 撮像装置、撮像システム、信号処理方法、プログラム、および、記憶媒体 - Google Patents

Description

本発明は、撮像素子を用いた撮像装置に係り、特に、一画素ごとに複数の副画素を有する撮像素子を用いた撮像装置に関する。

近年、ＣＭＯＳセンサなどの撮像素子を用いた撮像装置では、多機能化が進み、静止画や動画などの撮像画像の生成だけでなく、例えば焦点調節のような撮像装置の制御についても、撮像素子で得られた被写体情報に基づいて行われる。

特許文献１には、撮像素子から得られた信号を用いて瞳分割方式の焦点検出が可能な構成が開示されている。特許文献１の構成では、撮像素子の画素ごとに一つのマイクロレンズおよび二つのフォトダイオードが設けられており、それぞれのフォトダイオードは撮影レンズの互いに異なる瞳領域を通過した光を受光する。このような構成により、二つのフォトダイオードからの出力信号を比較することで焦点検出が可能となり、二つのフォトダイオードからの出力信号を加算することで撮像画像の生成が可能となる。

特開２００１−１２４９８４号公報

一方、ＣＭＯＳセンサなどの撮像素子においては、撮像素子の信号読出し回路に起因する固定パターンノイズを除去するため、画素ごと（または、画素列ごと、画素行ごと）のオフセット補正やゲイン補正などの補正が必要である。

しかしながら、特許文献１のように各画素に対して複数のフォトダイオードが設けられている場合、フォトダイオードごとに補正を行うと補正データ量が大きくなり、大きなメモリ容量が必要となる。

そこで本発明は、少ない補正データ量で、撮像素子から撮像信号および焦点検出信号の両方を高精度に生成可能な撮像装置、撮像システム、信号処理方法、プログラム、および、記憶媒体を提供する。

本発明の一側面としての撮像装置は、複数のマイクロレンズのそれぞれに対応する複数の画素を備え、該複数のマイクロレンズのうちの一つのマイクロレンズを共有するように、該複数の画素のうちの一画素に含まれる第１光電変換部および第２光電変換部を備えた撮像素子と、前記一画素に含まれる前記第１光電変換部および前記第２光電変換部からの出力であって画像生成に用いられる加算信号、および、前記複数のマイクロレンズに対応する複数の第１光電変換部の複数の信号を加算して生成された焦点検出に用いられる第１の信号を補正する信号処理部とを有し、前記信号処理部は、前記一画素ごとに前記加算信号を補正し、前記複数の第１光電変換部ごとに前記第１の信号を補正する。

本発明の他の側面としての撮像システムは、前記撮像装置と、前記撮像装置に着脱可能に取り付けられたレンズ装置とを有する。

本発明の他の側面としての信号処理方法は、複数のマイクロレンズのそれぞれに対応する複数の画素を備え、該複数のマイクロレンズのうちの一つのマイクロレンズを共有するように、該複数の画素のうちの一画素に含まれる第１光電変換部および第２光電変換部を備えた撮像素子から得られる信号を処理する信号処理方法であって、前記一画素に含まれる前記第１光電変換部および前記第２光電変換部からの出力であって画像生成に用いられる加算信号を取得するステップと、前記複数のマイクロレンズに対応する複数の第１光電変換部の複数の信号を取得するステップと、前記複数の信号を加算して生成された焦点検出に用いられる第１の信号を生成するステップと、前記一画素ごとに前記加算信号を補正し、前記複数の第１光電変換部ごとに前記第１の信号を補正するステップとを有する。

本発明の他の側面としてのプログラムは、前記信号処理方法の手順が記述されたコンピュータで実行可能なプログラムである。

本発明の他の側面としての記憶媒体は、コンピュータに、前記信号処理方法の各工程を実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体である。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、少ない補正データ量で、撮像素子から撮像信号および焦点検出信号の両方を高精度に生成可能な撮像装置、撮像システム、信号処理方法、プログラム、および、記憶媒体を提供することができる。

本実施形態における撮像装置のブロック図である。 本実施形態における撮像素子の画素配置図 本実施形態における撮影レンズの射出瞳から出る光束と画素との関係を示す模式図である。 本実施形態における撮像素子の副画素から得られる像信号波形を示す模式図である。 本実施形態における撮像素子の全体構成図である。 本実施形態における撮像素子の単位画素（一画素）の回路構成図である。 本実施形態における撮像素子の列共通読出し回路の構成図である。 本実施形態における撮像素子の各行の読出し動作を示すタイミングチャートである。 実施例１における撮像装置のＤＳＰのブロック図および信号処理の説明図である。 実施例１における別形態としての撮像装置のＤＦＥとＤＳＰのブロック図および信号処理の説明図である。 実施例２における撮像装置のＤＳＰのブロック図および信号処理の説明図である。 実施例３における撮像装置のＤＳＰのブロック図および信号処理の説明図である。 実施例４における撮像装置のＤＦＥとＤＳＰのブロック図および信号処理の説明図である。 実施例４における撮像装置のＤＳＰからＤＦＥへの補正値の転送タイミングの説明図である。 実施例５における撮像装置のＤＦＥとＤＳＰのブロック図および信号処理の説明図である。 実施例５における撮像装置のＤＳＰからＤＦＥへの補正値の転送タイミングの説明図である。 実施例６における像信号Ａの読出し領域と補正値の説明図である。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

まず、図１を参照して、本実施形態における撮像装置の構成について説明する。図１は、本実施形態における撮像装置１００のブロック図である。１０１は、結像光学系の先端に配置された第１レンズ群であり、光軸方向に進退可能に保持される。１０２は絞りであり、その開口径を調節することにより撮影時の光量調節を行う。１０３は第２レンズ群であり、第１レンズ群１０１の進退動作と連動することにより、変倍動作（ズーム機能）を行う。１０４は第３レンズ群であり、光軸方向の進退により焦点調節を行う。１０５は光学的ローパスフィルタであり、撮影画像の偽色やモアレを軽減するための光学素子である。

本実施形態において、前述の各レンズ群により撮像光学系が構成される。また、撮像光学系を有するレンズ装置と撮像装置本体とは一体的に構成されているが、本実施形態はこれに限定されるものではない。本実施形態は、撮像装置本体と、撮像装置本体に着脱可能に取り付けられたレンズ装置（撮像光学系）とにより構成された撮像システムにも適用可能である。

１０６は撮像素子であり、撮像光学系（前述の各レンズ群）により結像された被写体像（光学像）を光電変換する。本実施形態において、撮像素子１０６として、ベイヤー配列のＣＭＯＳイメージセンサが用いられる。撮像素子１０６から出力されるアナログ画像信号は、ＡＦＥ１０７によりデジタル信号に変換される。ＡＦＥ１０７（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）から出力されるデジタル画像信号は、ＤＦＥ１０８（Ｄｉｇｉｔａｌ Ｆｒｏｎｔ Ｅｎｄ）に入力され、所定の演算処理が行われる。ＤＦＥ１０８は、後述のＤＳＰ１０９とともに信号処理部を構成する。

１０９はＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｅｒ）であり、ＤＦＥ１０８から出力されるデジタル画像信号に対する補正処理や現像処理などを行う。またＤＳＰ１０９は、画像信号（デジタル画像信号）から焦点ずれ量を算出するＡＦ（オートフォーカス）演算も行う。１１０は、画像データを記録する記録媒体である。１１１は、撮影画像や各種のメニュー画面などを表示するための表示部であり、液晶ディスプレイ（ＬＣＤ）などが用いられる。１１２は、画像データなどを一時的に記憶するＲＡＭであり、ＤＳＰ１０９と接続されている。１１３はタイミングジェネレータ（ＴＧ）であり、撮像素子１０６に駆動信号を供給する。

１１４はＣＰＵであり、ＡＦＥ１０７、ＤＦＥ１０８、ＤＳＰ１０９、ＴＧ１１３、および、絞り駆動回路１１５の制御を行う。またＣＰＵ１１４は、ＤＳＰ１０９のＡＦ演算結果に基づいて、フォーカス駆動回路１１６を制御する。１１５は絞り駆動回路であり、絞りアクチュエータ１１７を制御することにより、絞り１０２を駆動する。１１６はフォーカス駆動回路であり、フォーカスアクチュエータ１１８を制御することにより、第３レンズ群１０４を光軸方向に進退させて（駆動して）焦点調節を行う。１１９は、各種の補正データなどを記憶するＲＯＭである。

続いて、図２を参照して、本実施形態における撮像素子１０６の画素配置について説明する。図２は、撮像素子１０６の画素配置図である。図２に示されるように、撮像素子１０６には、単位画素３００（一画素）が行列状に配列され、各画素上にはそれぞれＲ（Ｒｅｄ）／Ｇ（Ｇｒｅｅｎ）／Ｂ（Ｂｌｕｅ）のカラーフィルタがベイヤー配列により配置されている。また、単位画素３００内にはそれぞれ副画素ａ（第１光電変換部）、副画素ｂ（第２光電変換部）が配置されている。図２中の４０１ａ、４０１ｂは、副画素ａ、ｂのそれぞれのフォトダイオード（以下、「ＰＤ」という。）である。副画素ａ、ｂの各々の出力信号は焦点検出に利用される。また、副画素ａ、ｂの出力信号を加算して得られた信号（ａ／ｂ加算信号）は、画像生成（撮像画像の生成）に用いられる。

続いて、図３を参照して、第１レンズ群１０１、絞り１０２、第２レンズ群１０３、および、第３レンズ群１０４により構成される撮像光学系（撮影レンズ）の射出瞳から出る光束と撮像素子１０６の単位画素３００との関係について説明する。図３は、撮像光学系（撮影レンズ）の射出瞳から出る光束と単位画素３００との関係を示す模式図である。

２０１はカラーフィルタ、２０２はマイクロレンズである。カラーフィルタ２０１およびマイクロレンズ２０２は、それぞれ、単位画素３００上（ＰＤ４０１ａ、４０１ｂ上）に形成されている。２０３は、撮像光学系（撮影レンズ）の射出瞳である。２０４は光軸であり、マイクロレンズ２０２を有する画素（単位画素３００）に対して射出瞳２０３から出た光束の中心を示している。射出瞳２０３を通過した光束は、光軸２０４を中心として単位画素３００に入射する。

２０５、２０６は、撮像光学系（撮影レンズ）の射出瞳のうち互いに異なる瞳領域（一部領域）である。図３に示されるように、瞳領域２０５を通過する光束は、マイクロレンズ２０２を介して、副画素ａにより受光される。一方、瞳領域２０６を通過する光束は、マイクロレンズ２０２を介して、副画素ｂにより受光される。このように、副画素ａ、ｂは、それぞれ、撮影レンズの射出瞳の別々の領域（互いに異なる領域）の光を受光している。このため、副画素ａ、ｂの出力信号を比較することにより、位相差方式の焦点検出が可能となる。

続いて、図４を参照して、撮像素子１０６の副画素ａ、ｂから得られる像信号波形について説明する。図４は、副画素ａ、ｂから得られる像信号波形の模式図であり、図４（ａ）は合焦状態から外れている場合（非合焦状態）、図４（ｂ）は合焦状態（略合焦状態）をそれぞれ示している。図４（ａ）、（ｂ）において、縦軸は信号出力を示し、横軸は位置（画素水平位置）を示している。

図４（ａ）に示されるように合焦状態から外れている場合（非合焦状態の場合）、副画素ａ、ｂから得られる像信号波形（副画素ａ信号、副画素ｂ信号）は互いに一致せず、大きくずれた状態となる。非合焦状態から合焦状態に近づくと、図４（ｂ）に示されるように副画素ａ、ｂの互いの像信号波形のずれは小さくなる。そして合焦状態において、これらの像信号波形は互いに重なる。このように、副画素ａ、ｂから得られる像信号波形のずれ（ズレ量）から焦点のズレ量（デフォーカス量）を検出することにより、焦点調節を行うことができる。

続いて、図５を参照して、撮像素子１０６の全体構成について説明する。図５は、撮像素子１０６の全体構成図である。ＰＡは撮像素子１０６の画素領域である。画素領域ＰＡには、単位画素３００がｐ１１〜ｐｋｎのように二次元状（行列状）に配置されている。

ここで、図６を参照して、単位画素３００（一画素）の回路構成について説明する。図６は、単位画素３００の回路構成図である。副画素ａ、ｂのＰＤ４０１ａ、４０１ｂは、入射した光信号（光学像）を光電変換し、露光量に応じた電荷を蓄積する。４０２ａ、４０２ｂは転送ゲートであり、信号ｔｘａ、ｔｘｂをＨｉｇｈレベルにすることにより、ＰＤ４０１ａ、４０１ｂに蓄積されているそれぞれの電荷がＦＤ部４０３（フローティングディフュージョン部）に転送される。ＦＤ部４０３は、ＦＤアンプ４０４（フローティングディフュージョンアンプ）のゲートに接続されており、ＦＤアンプ４０４によりＰＤ４０１ａ、４０１ｂから転送された電荷量が電圧量に変換される。

４０５は、ＦＤ部４０３をリセットするためのＦＤリセットスイッチであり、信号ｒｅｓをＨｉｇｈレベルとすることにより、ＦＤ部４０３がリセットされる。また、ＰＤ４０１ａ、４０１ｂの電荷をリセットする場合、信号ｒｅｓと信号ｔｘａ、ｔｘｂとを同時にＨｉｇｈレベルとすることにより、転送ゲート４０２ａ、４０２ｂおよびＦＤリセットスイッチ４０５の両方をオンにする。そして、ＦＤ部４０３を経由して、ＰＤ４０１ａ、４０１ｂのリセットを行う。４０６は、画素選択スイッチであり、信号ｓｅｌをＨｉｇｈレベルとすることにより、ＦＤアンプ４０４で電圧に変換された画素信号が単位画素３００（画素）の出力ｖｏｕｔに出力される。

図５に戻り、垂直走査回路３０１は、前述の各画素（単位画素３００）のトランジスタを制御する信号ｒｅｓ、ｔｘａ、ｔｘｂ、ｓｅｌなどの駆動信号を単位画素３００に供給する。これらの駆動信号は、画素領域ＰＡの行ごとに共通である。各画素の出力ｖｏｕｔは、列ごとに垂直出力線３０２を介して列共通読出し回路３０３（ｃｌｍ１、ｃｌｍ２、…、ｃｌｍｋ）に接続されている。

ここで、図７を参照して、列共通読出し回路３０３の回路構成について説明する。図７は、列共通読出し回路３０３の構成図である。垂直出力線３０２は、列ごとに設けられ、一列分の単位画素３００の出力ｖｏｕｔが接続されている。垂直出力線３０２には、電流源３０４が接続されており、電流源３０４と、垂直出力線３０２に接続された単位画素３００のＦＤアンプ４０４とにより、ソースフォロワ回路が構成される。５０１はクランプ容量Ｃ１、５０２はフィードバック容量Ｃ２、５０３は演算増幅器であり、非反転入力端子には基準電源Ｖｒｅｆが接続されている。５０４は、フィードバック容量Ｃ２の両端をショートさせるためのスイッチであり、信号ｃｆｓで制御される。

転送スイッチ５０５〜５０８は、それぞれ、単位画素３００から読み出された信号を容量５０９〜５１２にそれぞれ転送するスイッチである。後述する読出し動作により、容量５０９（第１のＳ信号保持容量）には副画素ａの画素信号Ｓａが記憶され、容量５１１（第２のＳ信号保持容量）には副画素ａ、ｂの信号を加算して得られたａ／ｂ加算信号Ｓａｂが記憶される。また、容量５１０（第１のＮ信号保持容量）および容量５１２（第２のＮ信号保持容量）には、それぞれ、単位画素３００のノイズ信号Ｎが記憶される。容量５０９〜５１２は、列共通読出し回路３０３の出力ｖｓａ、ｖｎａ、ｖｓｂ、ｖｎｂにそれぞれ接続されている。

図５に戻り、列共通読出し回路３０３の出力ｖｓａ、ｖｎａは、水平転送スイッチ３０５、３０６にそれぞれ接続されている。水平転送スイッチ３０５、３０６は、水平走査回路３１１の出力信号ｈａ＊（「＊」は列番号１〜ｋ）により制御される。そして、信号ｈａ＊がＨｉｇｈレベルになることにより、容量５０９（第１のＳ信号保持容量）および容量５１０（第１のＮ信号保持容量）の信号が水平出力線３０９、３１０へそれぞれ転送される。また、列共通読出し回路３０３の出力ｖｓｂ、ｖｎｂは、水平転送スイッチ３０７、３０８にそれぞれ接続されている。水平転送スイッチ３０７、３０８は、水平走査回路３１１の出力信号ｈｂ＊（「＊」は列番号１〜ｋ）により制御される。そして、信号ｈｂ＊がＨｉｇｈレベルになることにより、容量５１１（第２のＳ信号保持容量）および容量５１２（第２のＮ信号保持容量）の信号が水平出力線３０９、３１０へそれぞれ転送される。

水平出力線３０９、３１０は、差動増幅器３１４の入力部に接続されている。差動増幅器３１４は、Ｓ信号とＮ信号との差分をとると同時に、所定のゲインをかけ、最終的な出力信号を出力端子３１５へ出力する。３１２、３１３は水平出力線リセットスイッチであり、信号ｃｈｒｅｓがＨｉｇｈになることによりオンになり、水平出力線３０９、３１０はそれぞれ、リセット電圧Ｖｃｈｒｅｓにリセットされる。

次に、図８を参照して、撮像素子１０６の読出し動作について説明する。図８は、撮像素子１０６の各行の読出し動作を示すタイミングチャートである。まず、信号ｃｆｓをＨｉｇｈレベルにしてスイッチ５０４をオンにすることにより、演算増幅器５０３をバッファ状態にする。続いて、信号ｓｅｌをＨｉｇｈレベルにして画素の画素選択スイッチ４０６をオンにする。その後、信号ｒｅｓをＬｏｗレベルにしてＦＤリセットスイッチ４０５をオフし、ＦＤ部４０３のリセットを開放する。

続いて、信号ｃｆｓをＬｏｗレベルに戻してスイッチ５０４をオフした後、信号ｔｎａ、ｔｎｂをＨｉｇｈレベルに設定する。これにより、転送スイッチ５０６、５０８を介して、容量５０１（第１のＮ信号保持容量）および容量５１２（第２のＮ信号保持容量）にＮ信号を記憶させる。

続いて、信号ｔｎａ、ｔｎｂをＬｏｗにし、転送スイッチ５０６、５０８をオフにした後、信号ｔｓａをＨｉｇｈレベルにして転送スイッチ５０５をオンにするとともに、信号ｔｘａをＨｉｇｈレベルにすることにより転送ゲート４０２ａをオンにする。この動作により、副画素ａのＰＤ４０１ａに蓄積されていた信号は、ＦＤアンプ４０４および画素選択スイッチ４０６を介して、垂直出力線３０２へ出力される。垂直出力線３０２の信号は、演算増幅器５０３においてクランプ容量Ｃ１とフィードバック容量Ｃ２との容量比に応じたゲインで増幅され、転送スイッチ５０５を介して、容量５０９（第１のＳ信号保持容量）に記憶される（画素信号Ｓａ）。

次に、信号ｔｘａと信号ｔｓａとを順次Ｌｏｗレベルにした後、信号ｔｓｂをＨｉｇｈレベルにして転送スイッチ５０７をオンにするとともに、信号ｔｘａ、ｔｘｂをＨｉｇｈレベルにすることにより、転送ゲート４０２ａ、４０２ｂをオンにする。この動作により、副画素ｂのＰＤ４０２ｂに蓄積されていた信号は、ＦＤ部４０３において副画素ａの信号と加算され、加算信号はＦＤアンプ４０４および画素選択スイッチ４０６を介して、垂直出力線３０２へ出力される。垂直出力線３０２の信号は、演算増幅器５０３においてクランプ容量Ｃ１とフィードバック容量Ｃ２との容量比に応じたゲインで増幅され、転送スイッチ５０５を介して、容量５１１（第２のＳ信号保持容量）に記憶される（ａ／ｂ加算信号Ｓａｂ）。そして、転送ゲート４０２ａ、４０２ｂおよび転送スイッチ５０７を順次オフにした後、信号ｒｅｓをＨｉｇｈレベルにしてＦＤリセットスイッチ４０５をオンにし、ＦＤ部４０３をリセットする。

次に、水平走査回路３１１の出力ｈａ１がＨｉｇｈレベルになることにより、水平転送スイッチ３０５、３０６がオンになる。そして、容量５０９（第１のＳ信号保持容量）および容量５１０（第１のＮ信号保持容量）の信号が水平出力線３０９、３１０および差動増幅器３１４を介して、出力端子３１５に出力される。水平走査回路３１１は、各列の選択信号である出力信号ｈａ１、ｈａ２、…、ｈａｋを順次Ｈｉｇｈにすることにより、一行分の副画素ａの信号（像信号Ａ）を出力する。

像信号Ａの読出しが終了すると、続いて、水平走査回路３１１の出力信号ｈｂ１がＨｉｇｈレベルになることにより、水平転送スイッチ３０７、３０８がオンになる。そして、容量５１１（第１のＳ信号保持容量）および容量５１２（第１のＮ信号保持容量）の信号が水平出力線３０９、３１０および差動増幅器３１４を介して、出力端子３１５に出力される。水平走査回路３１１は、各列の選択信号である出力信号ｈｂ１、ｈｂ２、…、ｈｂｋを順次Ｈｉｇｈにすることにより、一行分のａ／ｂ加算信号（像信号ＡＢ）を出力する。

なお、出力信号ｈａ１〜ｈａｋおよび出力信号ｈｂ１〜ｈｂｋにより各列の信号が読み出される間、信号ｃｈｒｅｓをＨｉｇｈレベルにする。これにより、水平出力線リセットスイッチ３１２、３１３をオンにし、一旦、水平出力線３０９、３１０をリセット電圧Ｖｃｈｒｅｓのレベルにリセットする。

以下、本実施形態における撮像装置１００および信号処理方法について、各実施例において詳述する。

まず、図９を参照して、本発明の実施例１における像信号Ａおよび像信号ＡＢの信号処理方法について説明する。図９は、本実施例におけるＤＳＰ１０９のブロック図および信号処理の説明図である。

６０１は入力データ処理部である。入力データ処理部６０１には、前述の読出し動作により撮像素子１０６から読み出された信号（像信号Ａ、像信号ＡＢ）が、ＡＦＥ１０７およびＤＦＥ１０８を経由して入力される。入力データ処理部６０１は、ＤＦＥ１０８から入力された像信号Ａを、画素加算処理部６０４に出力する。また入力データ処理部６０１は、ＤＦＥ１０８から入力された像信号ＡＢを、第１オフセット補正部６０２および画素加算処理部６０４に出力する。

第１オフセット補正部６０２は、ＲＯＭ１１９に予め記憶されたデータを用いて、像信号ＡＢに対するオフセット補正を行う。本実施例において、第１オフセット補正部６０２は、画素列ごとにオフセット加減算を行う。６０３は第１ゲイン補正部である。第１ゲイン補正部６０３は、ＲＯＭ１１９に予め記憶されたデータを用いて、像信号ＡＢに対するゲイン補正を行う。本実施例において、第１ゲイン補正部６０３は、画素列ごとに所定のゲインを乗じ、列ごとのゲイン差を補正する。第１オフセット補正部６０２および第１ゲイン補正部６０３により補正された信号は、その後、現像処理が行われ、静止画や動画などの画像生成に用いられる。

画素加算処理部６０４は、像信号Ａおよび像信号ＡＢに対して、画素加算処理を行う。本実施例において、画素加算処理部６０４は、２×２画素のベイヤー単位で画素信号（像信号Ａまたは像信号ＡＢ）を加算して輝度信号Ａおよび輝度信号ＡＢを生成する。この処理により、像信号Ａおよび像信号ＡＢのデータ数は、それぞれ、水平方向において１／２、垂直方向において１／２に減少する。６０５は像信号減算部である。像信号減算部６０５は、輝度信号ＡＢ（Ｙａｂ）から輝度信号Ａ（Ｙａ）を減算することにより、輝度信号Ｂ（Ｙｂ）を生成する。輝度信号ＡＢ（Ｙａｂ）は、副画素ａ、ｂの信号を加算して得られた信号であり、輝度信号Ａ（Ｙａ）は副画素ａの信号である。このため、その差（Ｙａｂ−Ｙａ）は、副画素ｂの輝度信号Ｂ（Ｙｂ）を表す。

第２オフセット補正部６０６は、ＲＯＭ１１９に予め記憶されたデータを用いて、輝度信号Ａおよび輝度信号Ｂに対するオフセット補正を行う。本実施例において、第２オフセット補正部６０６は、画素加算処理部６０４で加算した後の列単位で、輝度信号Ａおよび輝度信号Ｂに対するオフセット加減算を行う。６０７は第２ゲイン補正部である。第２ゲイン補正部６０７は、ＲＯＭ１１９に予め記憶されたデータを用いて、輝度信号Ａおよび輝度信号Ｂに対するゲイン補正を行う。本実施例において、第２ゲイン補正部６０７は、画素加算処理部６０４で加算した後の列単位で、所定のゲインを乗じて列ごとのゲイン差を補正する。第２オフセット補正部６０６および第２ゲイン補正部６０７により補正された信号は、ＡＦ演算部６０８（焦点検出部）に出力される。そしてＡＦ演算部６０８は、補正信号に基づいてＡＦ演算を行い、デフォーカス量を検出する（被写体の焦点ずれ量を算出する）。このときＡＦ演算部６０８は、輝度信号Ａ（第１の信号）と輝度信号Ｂ（第３の信号）に基づいて焦点検出を行う。そしてＣＰＵ１１４は、ＡＦ演算部６０８の演算結果に基づいてフォーカス駆動回路１１６を制御し、焦点調節を行う。

なお本実施例においては、ＤＳＰ１０９が一連の処理の全てを行うものとして説明したが、これに限定されるものではない。例えば、図１０に示されるように、第１オフセット補正部６０２および第２ゲイン補正部６０３の機能をＤＳＰ１０９で行うように構成し、それ以外の機能をＤＦＥ１０８で行うように構成してもよい。

図１０は、本実施例における別形態としてのＤＦＥ１０８ａとＤＳＰ１０９ａのブロック図および信号処理の説明図である。図１０に示されるように、本形態において、ＤＦＥ１０８ａは、入力データ処理部６１１、画素加算処理部６１４、像信号減算部６１５、第２オフセット補正部６１６ａ、第２ゲイン補正部６１７、ＡＦ演算部６１８を含む。また、ＤＳＰ１０９ａは、第１オフセット補正部６０２および第１ゲイン補正部６０３を含む。このような構成でも、本実施例の前記効果を得ることができる。

以上のとおり、撮像素子１０６は、複数のマイクロレンズのそれぞれに対応する複数の画素（複数の単位画素３００）を備えている。また撮像素子１０６は、複数のマイクロレンズのうちの一つのマイクロレンズを共有するように、複数の画素のうちの一画素に含まれる第１光電変換部（副画素ａ）および第２光電変換部（副画素ｂ）を備えている。

そして、信号処理部（ＤＦＥ１０８、ＤＳＰ１０９）は、一画素に含まれる第１光電変換部および第２光電変換部の加算信号（像信号ＡＢ）を取得して補正する。また信号処理部は、複数のマイクロレンズに対応する複数の第１光電変換部の複数の信号（像信号Ａ）を取得し、複数の信号を用いて生成された第１の信号（輝度信号Ａ）を補正する。

このように、撮像素子１０６は、加算信号（像信号ＡＢ）および複数の信号（像信号Ａ）を信号処理部（ＤＦＥ１０８またはＤＳＰ１０９）に出力する。信号処理部は、複数の信号を用いて第１の信号を生成する。そして信号処理部は、一画素ごとに加算信号を補正し、複数の第１光電変換部ごとに第１の信号を補正する。好ましくは、信号処理部は、加算信号および第１の信号のそれぞれに対して、オフセット補正またはゲイン補正を行う。

本実施例において、信号処理部（画素加算処理部６０４、６１４）は、複数のマイクロレンズに対応する複数の第１光電変換部（複数の副画素ａ）および複数の第２光電変換部（複数の副画素ｂ）の複数の加算信号を用いて第２の信号（輝度信号ＡＢ）を生成する。また、信号処理部（像信号減算部６０５、６１５）は、第２の信号から第１の信号を減算することにより第３の信号（輝度信号Ｂ）を生成する。そして信号処理部（第２オフセット補正部６０６、６１６、第２ゲイン補正部６０７、６１７）は、複数の第２光電変換部ごとに第３の信号を補正する。

本実施例の構成によれば、ＡＦ演算に用いられる信号（像信号Ａおよび像信号ＡＢ）に関して、画素加算処理部６０４でデータ数を削減した後に補正（オフセット補正およびゲイン補正）が行われる。このため、像信号Ａおよび像信号ＡＢに用いられる補正データ量を削減することができる。本実施例では、水平方向のデータ数が１／２になっている。このため、補正データ量は、画素加算せずに補正する場合と比較して、１／２のデータ量になる。これにより、補正データを格納するＲＯＭ１１９のメモリ容量を削減することが可能である。

次に、図１１を参照して、本発明の実施例２における像信号Ａおよび像信号ＡＢに対する信号処理方法について説明する。図１１は、本実施例におけるＤＳＰ１０９ｂのブロック図および信号処理の説明図である。本実施例では、輝度信号Ｂ（Ｙｂ）に対する補正データを不要とすることにより、実施例１と比較して補正データ量の更なる削減を図ることができる。

図１１において、入力データ処理部７０１は、ＤＦＥ１０８から出力された像信号Ａおよび像信号ＡＢを入力する。そして入力データ処理部７０１は、像信号ＡをＡ画素加算処理部７０４に出力する。また入力データ処理部７０１は、像信号ＡＢを第１オフセット補正部７０２に出力する。

本実施例において、第１オフセット補正部６０２および第１ゲイン補正部６０３は実施例１と同じである。７０９はＡＢ画素加算処理部である。ＡＢ画素加算処理部７０９は、第１オフセット補正部６０２および第１ゲイン補正部６０３で補正が施された像信号ＡＢに対して、画素加算処理を行う。ＡＢ画素加算処理部７０９は、実施例１で説明した画素加算処理部６０４と同様に、２×２画素のベイヤー単位で画素信号（補正後の像信号ＡＢ）を加算して、輝度信号ＡＢ（Ｙａｂ）を生成する。また、Ａ画素加算処理部７０４は、像信号Ａに対して同様の画素加算処理を行い、輝度信号Ａ（Ｙａ）を生成する。ＡＢ画素加算処理部７０９およびＡ画素加算処理部７０４における処理により、像信号ＡＢおよび像信号Ａのデータ数は、それぞれ、水平方向において１／２、垂直方向において１／２に減少する。

Ａ画素加算処理部７０４による画素加算処理後、第２オフセット補正部７０６および第２ゲイン補正部７０７は、輝度信号Ａに対してオフセット補正およびゲイン補正を行う。これらの補正は、実施例１と同様である。像信号減算部７０５は、ＡＢ画素加算処理部７０９から出力された輝度信号ＡＢ（Ｙａｂ）から第２ゲイン補正部７０７から出力された輝度信号Ａ（Ｙａ）を減算することにより、輝度信号Ｂ（Ｙｂ）を生成する。像信号減算部７０５から出力された輝度信号Ａおよび輝度信号Ｂは、ＡＦ演算部６０８に入力される。ＡＦ演算部６０８は、実施例１と同様に、輝度信号Ａおよび輝度信号Ｂに基づいてＡＦ演算を行う。

以上のとおり、本実施例の信号処理部（第１オフセット補正部６０２、第１ゲイン補正部６０３）は、複数のマイクロレンズに対応する複数の第１光電変換部および複数の第２光電変換部の複数の加算信号（像信号ＡＢ）を一画素ごとに補正する。その後、信号処理部（ＡＢ画素加算処理部７０９）は、複数の加算信号を用いて第２の信号（輝度信号ＡＢ）を生成する。そして信号処理部（像信号減算部７０５）は、第２の信号（輝度信号ＡＢ）から、複数の第１光電変換部ごとに補正した後の第１の信号（補正後の輝度信号Ａ）を減算することにより、第３の信号（輝度信号Ｂ）を生成する。

本実施例の構成によれば、第２オフセット補正部７０６および第２ゲイン補正部７０７において輝度信号Ｂに対する補正を行うことが不要となる。このため、全体の補正データ量を更に削減することができる。

次に、図１２を参照して、本発明の実施例３における像信号Ａおよび像信号ＡＢに対する信号処理方法について説明する。図１２は、本実施例におけるＤＳＰ１０９ｃのブロック図および信号処理の説明図である。本実施例では、像信号ＡＢの補正部と輝度信号Ａの補正部とを共有し、小さな回路規模で双方の補正を実現することが可能である。

図１２において、入力データ処理部７０１およびＡ画素加算処理部７０４は実施例２と同様である。８０１はデータ選択部である。データ選択部８０１は、像信号ＡＢと輝度信号Ａとを時分割で共通のオフセット補正部８０２に出力するように制御する。オフセット補正部８０２は、像信号ＡＢおよび輝度信号Ａに対するオフセット補正を行う。オフセット補正部８０２は、データ選択部８０１から入力されるデータに対して、列ごとのオフセット補正を行う。これにより、像信号ＡＢに対しては画素列ごとのオフセット補正が施され、輝度信号Ａに対しては加算列単位でのオフセット補正が施される。ゲイン補正部８０３は、像信号ＡＢおよび輝度信号Ａに対するゲイン補正を行う。ゲイン補正部８０３は、入力データに対して、列ごとのゲイン補正を行う。これにより、像信号ＡＢに対しては画素列ごとのゲイン補正が施され、輝度信号Ａに対しては加算列単位でのゲイン補正が施される。

８０４はデータ分離部である。データ分離部８０４は、補正後の像信号ＡＢを現像処理ブロック（不図示）へ出力するとともに、ＡＢ画素加算処理部７０９にも出力する。またデータ分離部８０４は、輝度信号Ａを像信号減算部７０５に出力する。ＡＢ画素加算処理部７０９および像信号減算部７０５は、実施例２と同様である。また、像信号減算部７０５で生成された輝度信号Ａおよび輝度信号Ｂは、実施例１、２と同様に、ＡＦ演算部６０８によるＡＦ演算に用いられる。

このように本実施例において、信号処理部（データ選択部８０１、オフセット補正部８０２、ゲイン補正部８０３）は、時分割で、一画素ごとに加算信号（像信号ＡＢ）を補正し、複数の第１光電変換部ごとに第１の信号（輝度信号Ａ）を補正する。本実施例の構成によれば、像信号ＡＢの補正部と輝度信号Ａの補正部とを共有することにより、小さな回路規模で双方の補正を実現することが可能となる。

次に、図１３を参照して、本発明の実施例４における像信号Ａおよび像信号ＡＢに対する信号処理方法について説明する。図１３は、本実施例におけるＤＦＥ１０８ｄとＤＳＰ１０９ｄのブロック図および信号処理の説明図である。

６１１は入力データ処理部である。入力データ処理部６１１には、上述の読出し動作により撮像素子１０６から読み出された信号（像信号Ａ、像信号ＡＢ）が、ＡＦＥ１０７を経由して入力される。入力データ処理部６１１は、像信号Ａを画素加算処理部６１４に出力する。また入力データ処理部６１１は、像信号ＡＢを画素加算処理部６１４およびＤＳＰ１０９ｄの第１オフセット補正部６０２（ダークシェーディング補正部）に出力する。

像信号ＡＢがＤＳＰ１０９に入力されると、第１オフセット補正部６０２は、ＲＯＭ１１９に予め記憶されたデータを用いて像信号ＡＢに対するオフセット補正（ダークシェーディング補正）を行う。本実施例において、第１オフセット補正部６０２は、画素列ごとのオフセット加減算を行う。６０３は第１ゲイン補正部である。第１ゲイン補正部６０３は、ＲＯＭ１１９に予め記憶されたデータを用いて、像信号ＡＢに対するゲイン補正を行う。本実施例において、第１ゲイン補正部６０３は、画素列ごとに所定のゲインを乗じ列ごとのゲイン差を補正する。第１オフセット補正部６０２および第１ゲイン補正部６０３により補正された信号に対しては、その後、現像処理が行われ、この信号に基づいて静止画や動画などの画像（撮像画像）が生成される。

画素加算処理部６１４は、像信号Ａおよび像信号ＡＢに対して画素加算処理を行う。本実施例において、画素加算処理部６１４は、２×２画素のベイヤー単位で画素信号を加算して輝度信号を生成する。この処理により、像信号Ａおよび像信号ＡＢのデータ数は、それぞれ、水平方向において１／２、垂直方向において１／２に減少する。６１５は像信号減算部である。像信号減算部６１５は、輝度信号ＡＢ（Ｙａｂ）から輝度信号Ａ（Ｙａ）を減算することにより、輝度信号Ｂ（Ｙｂ）を生成する。輝度信号ＡＢ（Ｙａｂ）は、副画素ａ、ｂの信号の加算信号に相当し、輝度信号Ａ（Ｙａ）は副画素ｂの信号に相当する。このため、その差（Ｙａｂ−Ｙａ）である輝度信号Ｂ（Ｙｂ）は、副画素ｂの輝度信号を表す。

第２オフセット補正部６１６は、輝度信号Ａおよび輝度信号Ｂに対するオフセット補正を行う。本実施例において、第２オフセット補正部６１６は、画素加算処理部６１４による加算後の列単位でオフセット加減算を行う。６１６ａはオフセット補正値記憶部である。オフセット補正値記憶部６１６ａは、ＲＡＭを備えて構成され、１ライン分のオフセット補正値を保持することが可能である。第２オフセット補正部は、オフセット補正値記憶部６１６ａに格納されているオフセット補正値を輝度信号Ａおよび輝度信号Ｂから減算することにより、オフセット補正を行う。オフセット補正値記憶部６１６ａには、オフセット補正値として、ＲＯＭ１１９に予め記憶されたデータがＤＳＰ１０９を経由して書き込まれる。

６１７は第２ゲイン補正部である。第２ゲイン補正部６１７は、輝度信号Ａおよび輝度信号Ｂに対するゲイン補正が行われる。本実施例において、第２ゲイン補正部６１７は、画素加算処理部６１４で加算後の列単位で、所定のゲインを乗じ列毎のゲイン差を補正する。６１７ａはゲイン補正値記憶部である。ゲイン補正値記憶部６１７ａは、ＲＡＭを備えて構成され、１ライン分のゲイン補正値を保持することが可能である。第２ゲイン補正部６１７は、ゲイン補正値記憶部６１７ａに格納されているゲイン補正データを輝度信号Ａおよび輝度信号Ｂから減算することにより、ゲイン補正を行う。ゲイン補正値記憶部６１７ａには、ゲイン補正値として、ＲＯＭ１１９に予め記憶されたデータがＤＳＰ１０９を経由して書き込まれる。

第２オフセット補正部６１６および第２ゲイン補正部６１７により補正された信号（輝度信号Ａ、輝度信号Ｂ）は、ＡＦ演算部６１８に出力される。ＡＦ演算部６１８は、輝度信号Ａおよび輝度信号Ｂを用いて、デフォーカス量を検出するためのＡＦ演算を行う。そしてＣＰＵ１１４は、ＡＦ演算部６１８の演算結果に基づいてフォーカス駆動回路１１６を制御し、焦点調節を行う。なお、６０９は補正値送信制御部である。補正値送信制御部６０９は、ＲＯＭ１１９に記憶されたオフセット補正値およびゲイン補正値を読み出してＤＦＥ１０８ｄへ送信するように制御する。

続いて、図１４を参照して、ＤＳＰ１０９ｄからＤＦＥ１０８ｄへの送信（転送）について説明する。図１４は、ＤＳＰ１０９ｄからＤＦＥ１０８ｄへのオフセット補正値およびゲイン補正値の転送タイミングの説明図である。

オフセット補正値およびゲイン補正値は、図１４に示されるように、各フレーム中の撮像素子１０６の信号読出し期間外に転送される。ＤＳＰ１０９ｄからは、次フレームのＩＳＯ感度設定に応じた補正値（オフセット補正値およびゲイン補正値）が転送され、撮像素子１０６から読み出された輝度信号Ａおよび輝度信号Ｂの補正に用いられる。本実施例において、補正値の転送は毎フレームで行われる。このような構成により、あるフレームからＩＳＯ感度設定が切り替わった際に、切り替わった後のＩＳＯ感度に応じた補正値が用いられるため、適切な補正動作が可能となる。

このように本実施例において、信号処理部（ＤＦＥ１０８ｄ）は、第１の信号（輝度信号Ａ）または第３の信号（輝度信号Ｂ）の補正に用いられる補正値を記憶する補正値記憶部（オフセット補正値記憶部６１６ａ、ゲイン補正値記憶部６１７ａ）を有する。また信号処理部（ＤＳＰ１０９ｄ）は、補正値記憶部に対して補正値を送信する補正値送信制御部６０９を有する。本実施例の構成によれば、ＤＦＥ１０８ｄに大容量の記憶部（ＲＡＭ）を設けることなく、撮像素子１０６から読み出された信号を適切に補正し、高精度の焦点調節を行うことが可能となる。

次に、図１５を参照して、本発明の実施例５における像信号Ａおよび像信号ＡＢに対する信号処理方法について説明する。図１５は、本実施例におけるＤＦＥ１０８ｅとＤＳＰ１０９ｄのブロック図および信号処理の説明図である。

実施例４では、撮像素子１０６の信号読出し期間外にオフセット補正値およびゲイン補正値は、撮像素子１０６の信号読出し期間外に転送される。しかし、各フレーム期間において、信号読出し期間外の時間は限られている。このため、転送する補正値のデータ量が多い場合や転送速度が遅い場合、時間が足りなくなる可能性がある。そこで本実施例では、補正値の転送動作が撮像素子１０６の信号読出し期間内に行われても構わないように構成されている。

図１５に示されるように、第２オフセット補正部６１６は、オフセット補正値記憶部Ｂ（６１６ｂ）およびオフセット補正値記憶部Ｃ（６１６ｃ）の二つの記憶部を有する。そして、フレーム毎にいずれの記憶部のデータを用いるかを交互に切り替えながら補正が行われる。同様に、第２ゲイン補正部６１７は、ゲイン補正値記憶部Ｂ（６１７ｂ）およびゲイン補正値記憶部Ｃ（６１７ｃ）の二つの記憶部を有する。

続いて、図１６を参照して、ＤＳＰ１０９ｄからＤＦＥ１０８ｅへのオフセット補正値およびゲイン補正値の転送タイミングについて説明する。図１６は、ＤＳＰ１０９ｄからＤＦＥ１０８ｅへのオフセット補正値およびゲイン補正値の転送タイミングの説明図である。あるフレーム（第ｎフレーム）における補正値送信制御部６０９からの補正値転送動作は、オフセット補正値記憶部Ｂ（６１６ｂ）およびゲイン補正値記憶部Ｂ（６１７ｂ）に対して行われる。次の第ｎ＋１フレームにおいては、第ｎフレーム期間中に転送された補正値を用いて、第２オフセット補正部６１６および第２ゲイン補正部６１７の補正動作が行われる。これに並行して、オフセット補正値記憶部Ｃ（６１６ｃ）およびゲイン補正値記憶部Ｃ（６１７ｃ）に対する補正値転送動作が行われる。更に続く第ｎ＋２フレームでは、第ｎ＋１フレームに転送された補正値を用いてそれぞれの補正が行われるとともに、これに並行してオフセット補正値記憶部Ｂおよびゲイン補正値記憶部Ｂに補正データが転送される。

このように補正値記憶部は、第１補正値記憶部（オフセット補正値記憶部Ｂ（６１６ｂ）、ゲイン補正値記憶部Ｂ（６１７ｂ））および第２補正値記憶部（（オフセット補正値記憶部Ｃ（６１６ｃ）、ゲイン補正値記憶部Ｃ（６１７ｃ））を有する。そして信号処理部（ＤＦＥ１０８ｅ）は、第１補正値記憶部と第２補正値記憶部に記憶されたいずれの補正値を用いて第１の信号（輝度信号Ａ）または第３の信号（輝度信号Ｂ）を補正するかをフレームごとに選択する。

本実施例の構成によれば、第２オフセット補正部６１６および第２ゲイン補正部６１７が補正動作を行う撮像素子１０６の信号読出し期間中に、補正値送信制御部６０９が補正値転送動作を行うことが可能となる。これにより、転送データ量が多い場合や転送速度が遅い場合にも転送時間を十分確保することができる。

なお本実施例では、第２オフセット補正部６１６の参照先として、オフセット補正値記憶部Ｂ（６１６ｂ）とオフセット補正値記憶部Ｃ（６１６ｃ）からフレーム毎に交互に選択するように構成されている。ただし本実施例はこれに限定されるものではなく、二つの記憶部の一方を補正値参照用、他方を補正値送信制御部６０９からの書込み用としても構わない。例えば、第２オフセット補正部６１６は常にオフセット補正値記憶部Ｂ（６１６ｂ）に格納されている補正値を参照し、補正値送信制御部６０９は常にオフセット補正値記憶部Ｃ（６１６ｃ）に対して補正値の書込みを行うような構成である。この場合、毎フレームの補正開始前にオフセット補正値記憶部Ｃ（６１６ｃ）からオフセット補正値記憶部Ｂ（６１６ｂ）に補正値を転送する必要がある。

この場合、信号処理部（ＤＦＥ１０８ｅ）は、第１補正値記憶部（オフセット補正値記憶部Ｂ（６１６ｂ）、ゲイン補正値記憶部Ｂ（６１７ｂ））に記憶された補正値を用いて第１の信号（輝度信号Ａ）または第３の信号（輝度信号Ｂ）を補正する。また、補正値送信制御部６０９は、第２補正値記憶部（（オフセット補正値記憶部Ｃ（６１６ｃ）、ゲイン補正値記憶部Ｃ（６１７ｃ））に対して補正値を送信する。

次に、図１７を参照して、本発明の実施例６における信号処理について説明する。図１７は、像信号Ａの読出し領域および補正値（オフセット補正値）の説明図である。なお、撮像素子１０６の読出し動作においては、フレームレートの関係上、像信号Ａを１ライン分全て読み出すのでなく、焦点検出領域の近傍のみの信号を読み出す場合が考えられる。本実施例において、水平方向の一部のみの領域の像信号Ａを読み出す場合についての構成について説明する。

図１７（ａ）は、焦点検出領域と像信号Ａ読出し領域の関係図である。図１７（ａ）に示されるように、画面左側に焦点検出領域が存在する場合、点線で囲まれた領域の像信号Ａが読み出される。一方、画面右側に焦点検出領域が存在する場合、一点鎖線で囲まれた領域の像信号Ａが読み出される。

なお、図１７（ａ）中の点線で囲まれた領域を読み出すには、図８に示されるタイミングチャートにおいて、像信号Ａを読み出すための水平走査回路３１１の動作を信号ｈａ１の出力から開始し、点線枠の右端まで走査した段階で停止すればよい。また、一点鎖線で囲まれた領域を読み出すには、水平走査回路３１１の動作を一点鎖線枠の左端に相当する列から開始し、右端の信号ｈａｋまで走査して停止すればよい。

図１７（ｂ）は、オフセット補正値記憶部６１６ａ（または、６１６ｂ、６１６ｃ）に格納される補正値と、オフセット補正部６１６において補正に用いられる部分との関係図である。まず、オフセット補正値の書き込みについては、補正値送信制御部６０９の転送動作により、１ライン分の補正値が書き込まれる。次に、オフセット補正部６１６で用いられる補正値については、画面左側の焦点検出時には図１７（ａ）の点線枠で囲まれた部分の補正値を用いる。一方、画面右側の焦点検出時には図１７（ａ）の一点鎖線枠に囲まれた部分の補正値を用いる。なお、詳細な説明は省略するが、ゲイン補正についても同様である。ゲイン補正値記憶部６１７ａ（６１７ｂ、６１７ｃ）に格納された１ライン分の補正値から、像信号Ａの読出し領域に応じた部分を選択して用いる。

このように本実施例において、信号処理部は、補正値記憶部に記憶された複数の補正値のうちの一部の補正値を選択して補正を行う。そして信号処理部は、第１の信号（輝度信号Ａ）または第３の信号（輝度信号Ｂ）の補正に用いられる補正値をフレームごとに変更する。本実施例の構成によれば、補正値送信制御部６０９は、像信号Ａの読出し領域に応じて異なる補正値を送信する必要がなくなり、処理の煩雑化を回避することができる。

各実施例によれば、少ない補正データ量で、撮像素子から撮像信号および焦点検出信号の両方を高精度に生成可能な撮像装置、撮像システム、信号処理方法、プログラム、および、記憶媒体を提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

例えば、補正値の転送は１フレームごとに行われるものとして説明したが、ＩＳＯ感度設定を切り替える場合にのみ行うようにしても構わない。この場合、転送動作を行う回数が減る分だけ消費電力を低減することができる。また、ＩＳＯ感度設定を切り替える場合だけに限定されるものではなく、絞り設定やシャッター速度設定など他の撮影条件に応じて補正値を変更する場合、それらの条件の変更のたびに補正値の転送を行うように構成してもよい。

また、各実施例のオフセット補正に関して、列ごとのオフセット差を補正する構成について説明しているが、各実施例はこれに限定されるものではなく、画素行ごとに異なるオフセット補正を行うように構成してもよい。同様に、ゲイン補正に関しても、画素行ごとに異なるゲインを乗じるような構成としてもよい。また、光学シェーディングの補正などの別のゲイン補正と同時に行うように構成することもできる。

また各実施例では、画素加算に関して、Ｒ／Ｇ／Ｇ／Ｂの各色の信号を同比率で加算するように構成されているが、色ごとに重み付けを変えて加算してもよい。また、異なる色を加算せず、同色の信号同士を加算するように構成することもできる。

また、各実施例の加算画素数に関して、２×２の画素加算を行う構成について説明しているが、これに限定されるものではない。ＡＦ演算でデフォーカス量を高精度に検出することができる範囲であれば、より大きな単位で加算してもよい。

また、各実施例の副画素の配置に関して、副画素ａ、ｂは水平方向に二分割された構成を説明しているが、これに限定されるものではない。一つのマイクロレンズに対応する一画素を２×２の四分割するように構成してもよい。また、それ以外の分割数とすることも可能である。

また、副画素ａの信号と副画素ｂの信号の加算方法について、ＦＤ部４０３により加算される構成を説明しているが、撮像素子１０６の他の部分で加算してもよい。列共通読出し回路内の信号保持容量で加算することもできる。また、撮像素子１０６内での加算に限定されるものではなく、デジタル値への変換後にＤＦＥやＤＳＰにおいて加算するように構成してもよい。

（他の実施形態）
本発明の目的は、以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行する。この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。

また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。

更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。

また、本発明はデジタルカメラのような撮影を主目的とした機器に限定されず、携帯電話、パーソナルコンピュータ（ラップトップ型、デスクトップ型、タブレット型など）、ゲーム機など、撮像装置を内蔵もしくは外部接続する任意の機器に適用可能である。従って、本明細書における「撮像装置」は、撮像機能を備えた任意の電子機器を包含することが意図されている。

１００ 撮像装置
１０６ 撮像素子
１０８ ＤＦＥ
１０９ ＤＳＰ

Claims (16)

1. 複数のマイクロレンズのそれぞれに対応する複数の画素を備え、該複数のマイクロレンズのうちの一つのマイクロレンズを共有するように、該複数の画素のうちの一画素に含まれる第１光電変換部および第２光電変換部を備えた撮像素子と、
   前記一画素に含まれる前記第１光電変換部および前記第２光電変換部からの出力であって画像生成に用いられる加算信号、および、前記複数のマイクロレンズに対応する複数の第１光電変換部の複数の信号を加算して生成された焦点検出に用いられる第１の信号を補正する信号処理部と、を有し、
   前記信号処理部は、前記一画素ごとに前記加算信号を補正し、前記複数の第１光電変換部ごとに前記第１の信号を補正する、ことを特徴とする撮像装置。
2. 前記信号処理部は、前記加算信号および前記第１の信号のそれぞれに対して、オフセット補正を行うことを特徴とする請求項１に記載の撮像装置。
3. 前記信号処理部は、前記加算信号および前記第１の信号のそれぞれに対して、ゲイン補正を行うことを特徴とする請求項１または２に記載の撮像装置。
4. 前記信号処理部は、
   前記複数のマイクロレンズに対応する前記複数の第１光電変換部および複数の第２光電変換部の複数の加算信号を用いて第２の信号を生成し、
   前記第２の信号から前記第１の信号を減算することにより第３の信号を生成し、
   前記複数の第２光電変換部ごとに前記第３の信号を補正する、ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記信号処理部は、
   前記複数のマイクロレンズに対応する前記複数の第１光電変換部および複数の第２光電変換部の複数の加算信号を前記一画素ごとに補正した後、該複数の加算信号を用いて第２の信号を生成し、
   前記第２の信号から、前記複数の第１光電変換部ごとに補正した後の前記第１の信号を減算することにより、第３の信号を生成する、ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
6. 前記信号処理部は、時分割で、前記一画素ごとに前記加算信号を補正し、前記複数の第１光電変換部ごとに前記第１の信号を補正することを特徴とする請求項５に記載の撮像装置。
7. 前記信号処理部は、
   前記第１の信号または前記第３の信号の補正に用いられる補正値を記憶する補正値記憶部と、
   前記補正値記憶部に対して前記補正値を送信する補正値送信制御部と、を有することを特徴とする請求項４乃至６のいずれか１項に記載の撮像装置。
8. 前記補正値記憶部は、第１補正値記憶部および第２補正値記憶部を有し、
   前記信号処理部は、前記第１補正値記憶部と前記第２補正値記憶部に記憶されたいずれの補正値を用いて前記第１の信号または前記第３の信号を補正するかをフレームごとに選択することを特徴とする請求項７に記載の撮像装置。
9. 前記補正値記憶部は、第１補正値記憶部および第２補正値記憶部を有し、
   前記信号処理部は、前記第１補正値記憶部に記憶された補正値を用いて前記第１の信号または前記第３の信号を補正し、
   前記補正値送信制御部は、前記第２補正値記憶部に対して前記補正値を送信することを特徴とする請求項７に記載の撮像装置。
10. 前記信号処理部は、前記補正値記憶部に記憶された複数の補正値のうちの一部の補正値を選択して補正を行い、前記第１の信号または前記第３の信号の補正に用いられる補正値をフレームごとに変更することを特徴とする請求項７乃至９のいずれか１項に記載の撮像装置。
11. 被写体の焦点ずれ量を算出する焦点検出部を更に有し、
    前記焦点検出部は、前記第１の信号と前記第３の信号に基づいて焦点検出を行うことを特徴とする請求項４乃至１０のいずれか１項に記載の撮像装置。
12. 前記加算信号は、撮像画像を生成するために用いられることを特徴とする請求項１乃至１１のいずれか１項に記載の撮像装置。
13. 請求項１乃至１２のいずれか１項に記載の撮像装置と、
    前記撮像装置に着脱可能に取り付けられたレンズ装置と、を有することを特徴とする撮像システム。
14. 複数のマイクロレンズのそれぞれに対応する複数の画素を備え、該複数のマイクロレンズのうちの一つのマイクロレンズを共有するように、該複数の画素のうちの一画素に含まれる第１光電変換部および第２光電変換部を備えた撮像素子から得られる信号を処理する信号処理方法であって、
    前記一画素に含まれる前記第１光電変換部および前記第２光電変換部からの出力であって画像生成に用いられる加算信号を取得するステップと、
    前記複数のマイクロレンズに対応する複数の第１光電変換部の複数の信号を取得するステップと、
    前記複数の信号を加算して生成された焦点検出に用いられる第１の信号を生成するステップと、
    前記一画素ごとに前記加算信号を補正し、前記複数の第１光電変換部ごとに前記第１の信号を補正するステップと、を有することを特徴とする信号処理方法。
15. 請求項１４に記載の信号処理方法の手順が記述されたコンピュータで実行可能なプログラム。
16. コンピュータに、請求項１４に記載の信号処理方法の各工程を実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。