JP7481313B2 - 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム - Google Patents

Description

本開示の技術は、撮像素子、撮像装置、撮像素子の作動方法、及びプログラムに関する。

特開２０１４－１７８６０３号公報には、撮像手段、注目領域決定手段、制御手段、及び焦点検出手段を備えた撮像装置が開示されている。

特開２０１４－１７８６０３号公報に記載の撮像装置において、撮像手段は、複数の撮像領域を有し、撮像領域に入射した光線に応じた画像信号を生成する。注目領域決定手段は、撮像手段から出力された画像信号に基づいて、画像信号の示す画像の注目領域を決定する。

制御手段は、第１制御部及び第２制御部を有する。第１制御部は、複数の撮像領域のうち注目領域に対応する光像が入射した撮像領域を第１撮像条件で撮像するように制御する。第２制御部は、複数の撮像領域のうち注目領域に対応する光像が入射した撮像領域以外の撮像領域を第１撮像条件とは異なる第２撮像条件で撮像するように制御する。焦点検出手段は、注目領域の焦点調節状態を検出する。第１制御部は、第２制御部よりも高いフレームレートで撮像を行うように制御する。

本開示の技術に係る一つの実施形態は、１フレーム分の画像を読み出す読出期間内にオートフォーカス専用画素から画素データが複数回読み出される場合に比べ、簡素な構成でオートフォーカスを高精度化することができる撮像素子、撮像装置、撮像素子の作動方法、及びプログラムを提供する。

本開示の技術に係る第１の態様は、位相差画素を含む撮像素子であって、第１フレームレートで被写体が撮像されることで得られた画素データを読み出し、かつ、撮像素子に内蔵された読出部と、読出部により読み出された画素データを記憶し、かつ、撮像素子に内蔵された記憶部と、記憶部に記憶された画素データに基づく画像データを第２フレームレートで出力し、かつ、撮像素子に内蔵された出力部と、を含み、第１フレームレートは、第２フレームレートよりも高いフレームレートであり、画素データは、位相差画素データと、位相差画素データとは異なる非位相差画素データと、を含み、読出部は、画像データが１フレーム分出力される期間として第２フレームレートで規定された出力期間内に、複数のフレームの各々の画素データを並行して読み出し、かつ、出力期間内に、非位相差画素データの読み出しと、位相差画素データの複数回の読み出しとを行う撮像素子である。これにより、１フレーム分の画像を読み出す読出期間内にオートフォーカス専用画素から画素データが複数回読み出される場合に比べ、簡素な構成でオートフォーカスを高精度化することができる。

本開示の技術に係る第２の態様は、読出部は、非位相差画素データの読み出しと、位相差画素データの読み出しとを並行して行う第１の態様に係る撮像素子である。これにより、非位相差画素データ及び位相差画素データの一方の読み出しが完了してから他方の読み出しが開始される場合に比べ、限られた時間内で位相差画素データ及び非位相差画素データを多く読み出すことができる。

本開示の技術に係る第３の態様は、読出部は、画素データをライン単位で読み出す第１の態様又は第２の態様に係る撮像素子である。これにより、画素データをライン単位で間引くことができる。

本開示の技術に係る第４の態様は、位相差画素データは、位相差画素の画素データであり、非位相差画素データは、位相差画素とは異なる画素である非位相差画素の画素データである第１の態様から第３の態様の何れか１つの態様に係る撮像素子である。位相差画素データが位相差画素以外の画素の画素データから生成され、非位相差画素データが非位相差画素以外の画素の画素データから生成される場合に比べ、位相差画素データ及び非位相差画素データを容易に得ることができる。

本開示の技術に係る第５の態様は、非位相差画素データの読み出しは、非位相差画素からの非位相差画素データの読み出しであり、位相差画素データの複数回の読み出しは、位相差画素からの位相差画素データの複数回の読み出しである第４の態様に係る撮像素子である。これにより、位相差画素データの位相差画素からの読み出しと、非位相差画素データの非位相差画素からの読み出しとが出力期間毎に交互に１回ずつ行われる場合に比べ、出力期間内に非位相差画素データと複数の位相差画素データとを得ることができる。

本開示の技術に係る第６の態様は、位相差画素を含む複数の第１ラインと非位相差画素のみからなる複数の第２ラインとが配列された撮像面を含み、読出部は、複数の第１ラインに含まれる位相差画素の各々から位相差画素データを読み出す第１読出部と、複数の第２ラインに含まれる非位相差画素の各々から非位相差画素データを読み出す第２読出部と、を有する第４の態様又は第５の態様に係る撮像素子である。これにより、位相差画素データの読み出しにかかる負荷と非位相差画素データの読み出しにかかる負荷とを分散させることができる。

本開示の技術に係る第７の態様は、第１読出部による位相差画素からの位相差画素データの読み出しと、第２読出部による非位相差画素からの非位相差画素データの読み出しとが独立して行われる第６の態様に係る撮像素子である。これにより、位相差画素データの読み出し及び非位相差画素データの読み出しのうちの一方が他方に影響を及ぼすことを回避することができる。

本開示の技術に係る第８の態様は、１フレーム分の読出期間内において、第１読出部による位相差画素からの位相差画素データの読み出しは、第２読出部による非位相差画素からの非位相差画素データの読み出しよりも先に行われる第７の態様に係る撮像素子である。これにより、非位相差画素データの読み出しが位相差画素データの読み出しよりも先に行われる場合に比べ、位相差画素データを早くオートフォーカスの処理に供することができる。

本開示の技術に係る第９の態様は、第１ラインは、位相差画素と非位相差画素とが周期的に配列されたラインである第６の態様から第８の態様の何れか１つの態様に係る撮像素子である。これにより、位相差画素と非位相差画素とが局所的に集中して配列されたラインを用いる場合に比べ、広範なエリアに対するオートフォーカスの精度を高めることができる。

本開示の技術に係る第１０の態様は、撮像面において、第１ラインと、第１ラインのライン方向に交差する方向に沿って既定ライン数分の第２ラインとが交互に配列されている第６の態様から第９の態様の何れか１つの態様に係る撮像素子である。これにより、第１ラインのライン方向に交差する方向において第１ラインと第２ラインとが局所的に集中して配列されている場合に比べ、広範なエリアに対するオートフォーカスの精度を高めることができる。

本開示の技術に係る第１１の態様は、読出部は、１フレーム分の読出期間内に１フレーム分の非位相差画素データを記録用画素データとして読み出し、記録用画素データとして非位相差画素データが読み出されている間に位相差画素データを読み出す第１の態様から第１０の態様の何れか１つの態様に係る撮像素子である。これにより、非位相差画素データが記録用画素データとして読み出されるのを待ってから位相差画素データが読み出される場合に比べ、限られた時間内で、記録用画素データとしての非位相差画素データ及び位相差画素データを多く読み出すことができる。

本開示の技術に係る第１２の態様は、読出部は、１フレーム分の読出期間内に非位相差画素データ及び位相差画素データを表示用画素データとして読み出し、既定条件を満足した場合に非位相差画素データを記録用画素データとして読み出す第１１の態様に係る撮像素子である。これにより、常に非位相差画素データが記録用画素データとして読み出される場合に比べ、汎用性を高めることができる。

本開示の技術に係る第１３の態様は、読出部は、連写モードの場合に非位相差画素データを記録用画素データとして読み出す第１１の態様に係る撮像素子である。これにより、連写モードの場合に、記録用画素データとして読み出された非位相差画素データを記録することができる。

本開示の技術に係る第１４の態様は、位相差画素に起因して生じる減光特性を補正する補正係数を位相差画素データに基づいて導出する導出部を更に含み、出力部は、導出部により導出された補正係数を出力する第１の態様から第１３の態様の何れか１つの態様に係る撮像素子である。これにより、位相差画素データに基づく画像に現れる減光特性を補正することができる。

本開示の技術に係る第１５の態様は、画像データは、非位相差画素データに基づく第１画素データと、複数回の読み出しにより得られた位相差画素データに基づく第２画素データと、を含み、出力部は、１フレーム分の画像データを出力する場合、第１画素データと第２画素データとを異なるタイミングで出力する第１の態様から第１４の態様の何れか１つの態様に係る撮像素子である。これにより、位相差画素データと非位相差画素データとの各々に対して専用の出力回路を用いる場合に比べ、撮像素子の小型化に寄与することができる。

本開示の技術に係る第１６の態様は、出力部は、第２画素データの出力が完了してから、第１画素データを出力する第１５の態様に係る撮像素子である。これにより、非位相差画素データの出力が完了してから、位相差画素データが出力される場合に比べ、位相差画素データを早くオートフォーカスの処理に供することができる。

本開示の技術に係る第１７の態様は、画像データは、非位相差画素データに基づく画素データと、複数回の読み出しにより得られた位相差画素データの統計値に基づく画素データと、を含む第１の態様から第１６の態様の何れか１つの態様に係る撮像素子である。これにより、各フレームの各々について得られた複数の位相差画素データを出力する場合に比べ、撮像素子からの出力データ量を少なくすることができる。

本開示の技術に係る第１８の態様は、統計値は、位相差画素データの加算平均値である第１７の態様に係る撮像素子である。これにより、各フレームの各々について得られた複数の位相差画素データを出力する場合に比べ、撮像素子からの出力データ量を少なくすることができる。

本開示の技術に係る第１９の態様は、位相差画素データ及び非位相差画素データに対して共用されるＡ／Ｄ変換器を含み、Ａ／Ｄ変換器は、位相差画素データ及び非位相差画素データについて、異なるタイミングでＡ／Ｄ変換を行う第１の態様から第１８の態様の何れか１つの態様に係る撮像素子である。これにより、位相差画素データと非位相差画素データとの各々に対して専用のＡ／Ｄ変換器を用いる場合に比べ、撮像素子の小型化に寄与することができる。

本開示の技術に係る第２０の態様は、複数のＡ／Ｄ変換器を含み、複数のＡ／Ｄ変換器は、位相差画素データのみに対して用いられる第１Ａ／Ｄ変換器と非位相差画素データのみに対して用いられる第２Ａ／Ｄ変換器と、を含む第１の態様から第１８の態様の何れか１つの態様に係る撮像素子である。これにより、出力期間内において、位相差画素データのＡ／Ｄ変換と非位相差画素データのＡ／Ｄ変換とを並行して行うことができる。

本開示の技術に係る第２１の態様は、少なくとも光電変換素子と記憶部とが１チップ化された第１の態様から第２０の態様の何れか１つの態様に係る撮像素子である。これにより、光電変換素子と記憶部とが１チップ化されていない撮像素子に比べ、撮像素子の可搬性が高くなる。

本開示の技術に係る第２２の態様は、撮像素子は、光電変換素子に記憶部が積層された積層型撮像素子である第２１の態様に係る撮像素子である。これにより、光電変換素子と記憶部とが積層されていない場合に比べ、光電変換素子から記憶部への画像データの転送速度を高めることができる。

本開示の技術に係る第２３の態様は、第１の態様から第２２の態様の何れか１つの態様に係る撮像素子と、出力部により出力された画像データに基づく画像を表示部に対して表示させる制御、及び出力部により出力された画像データを記憶装置に対して記憶させる制御のうちの少なくとも一方を行う制御部と、を含む撮像装置である。これにより、１フレーム分の画像を読み出す読出期間内にオートフォーカス専用画素から画素データが複数回読み出される場合に比べ、簡素な構成でオートフォーカスを高精度化することができる。

本開示の技術に係る第２４の態様は、位相差画素と、第１フレームレートで被写体が撮像されることで得られた画素データを読み出す読出部と、読出部により読み出された画素データを記憶する記憶部と、記憶部に記憶された画素データに基づく画像データを第２フレームレートで出力する出力部と、を含み、読出部、記憶部、及び出力部が内蔵された撮像素子の作動方法であって、第１フレームレートは、第２フレームレートよりも高いフレームレートであり、画素データは、位相差画素データと、位相差画素データとは異なる非位相差画素データと、を含み、読出部は、画像データが１フレーム出力される期間として第２フレームレートで規定された出力期間内に、複数のフレームの各々の画素データを並行して読出し、かつ、出力期間内に、非位相差画素データの読み出しと、位相差画素データの複数回の読み出しとを行うことを含む、撮像素子の作動方法である。これにより、１フレーム分の画像を読み出す読出期間内にオートフォーカス専用画素から画素データが複数回読み出される場合に比べ、簡素な構成でオートフォーカスを高精度化することができる。

本開示の技術に係る第２５の態様は、位相差画素と、第１フレームレートで被写体が撮像されることで得られた画素データを読み出す読出部と、読出部により読み出された画素データを記憶する記憶部と、記憶部に記憶された画素データに基づく画像データを第２フレームレートで出力する出力部と、を含み、読出部、記憶部、及び出力部が内蔵された撮像素子に含まれる読出部及び出力部としてコンピュータを機能させるためのプログラムであって、第１フレームレートは、第２フレームレートよりも高いフレームレートであり、画素データは、位相差画素データと、位相差画素データとは異なる非位相差画素データと、を含み、読出部は、画像データが１フレーム出力される期間として第２フレームレートで規定された出力期間内に、複数のフレームの各々の画素データを並行して読出し、かつ、出力期間内に、非位相差画素データの読み出しと、位相差画素データの複数回の読み出しとを行うプログラムである。これにより、１フレーム分の画像を読み出す読出期間内にオートフォーカス専用画素から画素データが複数回読み出される場合に比べ、簡素な構成でオートフォーカスを高精度化することができる。

本開示の技術に係る第２６の態様は、位相差画素を含み、プロセッサ、及びメモリが内蔵された撮像素子であって、プロセッサは、第１フレームレートで被写体が撮像されることで得られた画素データを読み出し、メモリは、プロセッサにより読み出された画素データを記憶し、メモリに記憶された画素データに基づく画像データを第２フレームレートで出力し、第１フレームレートは、第２フレームレートよりも高いフレームレートであり、画素データは、位相差画素データと、位相差画素データとは異なる非位相差画素データと、を含み、プロセッサは、画像データが１フレーム分出力される期間として第２フレームレートで規定された出力期間内に、複数のフレームの各々の画素データを並行して読み出し、かつ、出力期間内に、非位相差画素データの読み出しと、位相差画素データの複数回の読み出しとを行う。

第１及び第２実施形態に係る撮像装置の外観の一例を示す斜視図である。 第１及び第２実施形態に係る撮像装置の構成の一例を示すブロック図である。 第１及び第２実施形態に係る撮像装置に含まれる撮像素子の撮像フレームレートの説明に供する概念図である。 第１及び第２実施形態に係る撮像装置に含まれる撮像素子の出力フレームレートの説明に供する概念図である。 第１及び第２実施形態に係る撮像装置本体の電気系の構成の一例を示すブロック図である。 第１及び第２実施形態に係る撮像装置に含まれる撮像素子の積層構造の一例、並びに、撮像素子、信号処理部、及びコントローラの接続関係の一例を示すブロック図である。 第１及び第２実施形態に係る撮像装置に含まれる撮像素子の光電変換素子に含まれる各画素の撮像面での配置の一例を示す配置図である。 図６に示す光電変換素子に含まれる第１位相差画素及び第２位相差画素に対する被写体光の入射特性の一例を示す概念図である。 図６に示す光電変換素子に含まれる非位相差画素の構成の一例を示す概略構成図である。 第１実施形態に係る撮像装置に含まれる撮像素子の電気系の構成の一例を示すブロック図である。 第１実施形態に係る撮像装置に含まれる撮像素子の読出回路によるフレーム毎のアナログ位相差画素データ及びアナログ非位相差画素データの各々の読み出しタイミングの一例を示すタイムチャートである。 第１実施形態に係る撮像装置に含まれる撮像素子内でのアナログ画素データの読み出しタイミング、Ａ／Ｄ変換のタイミング、メモリへの記憶タイミング、及びデジタル画素データの出力タイミングの一例を示すタイムチャートである。 第１実施形態に係るタイミング制御処理の流れの一例を示すフローチャートである。 第１実施形態に係る位相差画素処理の流れの一例を示すフローチャートである。 第１実施形態に係る非位相差画素処理の流れの一例を示すフローチャートである。 第１実施形態に係る画素データ処理の流れの一例を示すフローチャートである。 第１実施形態に係る撮像装置に含まれる撮像素子内でのアナログ画素データの読み出しタイミング、Ａ／Ｄ変換のタイミング、メモリへの記憶タイミング、及びデジタル画素データの出力タイミングの第１変形例を示すタイムチャートである。 第１実施形態に係る撮像装置に含まれる撮像素子内でのアナログ画素データの読み出しタイミング、Ａ／Ｄ変換のタイミング、メモリへの記憶タイミング、及びデジタル画素データの出力タイミングの第２変形例を示すタイムチャートである。 第１実施形態に係る撮像装置に含まれる撮像素子内でのアナログ画素データの読み出しタイミング、Ａ／Ｄ変換のタイミング、メモリへの記憶タイミング、及びデジタル画素データの出力タイミングの第３変形例を示すタイムチャートである。 第２実施形態に係る撮像装置に含まれる撮像素子の電気系の構成の一例を示すブロック図である。 第２実施形態に係る撮像装置に含まれる撮像素子の読出回路によるフレーム毎のアナログ画素データの読み出しタイミングの一例を示すタイムチャートである。 第２実施形態に係る撮像装置に含まれる撮像素子内でのアナログ画素データの読み出しタイミング、Ａ／Ｄ変換のタイミング、メモリへの記憶タイミング、及びデジタル画素データの出力タイミングの一例を示すタイムチャートである。 第２実施形態に係る撮像素子内処理の流れの一例を示すフローチャートである。 図２２に示すフローチャートの続きである。 第２実施形態に係る画素データ処理の流れの一例を示すフローチャートである。 第２実施形態に係る撮像素子に含まれる第１位相差画素からの第１位相差画素データに基づく第１位相差画像の減光特性、及び第２位相差画素からの第２位相差画素データに基づく第２位相差画像の減光特性の一例を示すグラフである。 図２５に示す減光特性を補正する補正係数を算出する算出回路の一例を示すブロック図である。 第２実施形態に係る撮像素子に含まれる第１位相差画素からの第１位相差画素データに基づく第１位相差画像及び第２位相差画素からの第２位相差画素データに基づく第２位相差画像の補正前後の態様の一例を示す概念図である。 第１及び第２実施形態に係る撮像装置に含まれる撮像素子の電気系の構成の変形例を示すブロック図である。 各種プログラムが記憶された記憶媒体から、各種プログラムが撮像素子内のコンピュータにインストールされる態様の一例を示す概念図である。 第１及び第２実施形態に係る撮像素子が組み込まれたスマートデバイスの概略構成の一例を示すブロック図である。

以下、添付図面に従って本開示の技術に係る撮像装置の実施形態の一例について説明する。

先ず、以下の説明で使用される用語の意味について説明する。

ＣＰＵとは、“Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ”の略称を指す。ＲＡＭとは、“Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ”の略称を指す。ＲＯＭとは、“Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ”の略称を指す。ＤＲＡＭとは、“Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ”の略称を指す。ＳＲＡＭとは、“Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ”の略称を指す。

ＬＳＩとは、“Ｌａｒｇｅ－Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ”の略称を指す。ＡＳＩＣとは、“Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ”の略称を指す。ＰＬＤとは、“Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ”の略称を指す。ＦＰＧＡとは、“Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ”の略称を指す。

ＳＳＤとは、“Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ”の略称を指す。ＤＶＤ－ＲＯＭとは、“Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ”の略称を指す。ＵＳＢとは、“Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ”の略称を指す。ＨＤＤとは、“Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ”の略称を指す。ＥＥＰＲＯＭとは、“Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ”の略称を指す。

ＣＣＤとは、“Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ”の略称を指す。ＣＭＯＳとは、“Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ”の略称を指す。ＥＬとは、“Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ”の略称を指す。Ａ／Ｄとは、“Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ”の略称を指す。Ｉ／Ｆとは、“Ｉｎｔｅｒｆａｃｅ”の略称を指す。ＵＩとは、“Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ”の略称を指す。ＰＣとは、“Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ”の略称を指す。ＡＦとは、“Ａｕｔｏ－Ｆｏｃｕｓ”の略称を指す。ＡＥとは、“Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ”の略称を指す。ＳｏＣとは、“Ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ”の略称を指す。

［第１実施形態］
一例として図１に示すように、撮像装置１０は、レンズ交換式カメラである。撮像装置１０は、撮像装置本体１２と、撮像装置本体１２に交換可能に装着される交換レンズ１４と、を備えている。

撮像装置本体１２には、撮像素子４４が設けられている。交換レンズ１４が撮像装置本体１２に装着された場合に、被写体を示す被写体光は、交換レンズ１４を透過して撮像素子４４の撮像面４４Ａに結像される。

撮像装置本体１２の上面には、レリーズボタン２０及びダイヤル２２が設けられている。ダイヤル２２は、撮像系の動作モード及び再生系の動作モード等の設定の際に操作される。レリーズボタン２０は、撮像準備指示部及び撮像指示部として機能し、撮像準備指示状態と撮像指示状態との２段階の押圧操作が検出可能である。撮像準備指示状態とは、例えば待機位置から中間位置（半押し位置）まで押下される状態を指し、撮像指示状態とは、中間位置を超えた最終押下位置（全押し位置）まで押下される状態を指す。なお、以下では、「待機位置から半押し位置まで押下される状態」を「半押し状態」といい、「待機位置から全押し位置まで押下される状態」を「全押し状態」という。

撮像装置１０では、動作モードとして撮像モードと再生モードとがユーザの指示に応じて選択的に設定される。撮像モードは、表示動画用撮像モードと記録用撮像モードとに大別される。表示動画用撮像モード及び記録用撮像モードの各々では、ユーザの指示に従ってＡＦモードが設定される。

表示動画用撮像モードにおいて、ＡＦモードが設定されると、１フレーム毎に、ＡＥ機能が働いて露出状態が設定され、かつ、ＡＦ機能が働いて合焦制御され、表示動画像用の撮像が行われる。表示動画像用の撮像が行われることによりライブビュー画像が生成される。なお、一般的に、ライブビュー画像は、スルー画像とも称されている。

記録用撮像モードは、動画像記録用撮像モードと静止画像記録用撮像モードとに大別され、動画像記録用撮像モードと静止画像記録用撮像モードとが、ユーザの指示に応じて選択的に設定される。撮像装置１０では、動画像記録用撮像モードにおいて、ＡＦモードが設定されると、１フレーム毎に、ＡＥ機能が働いて露出状態が設定され、かつ、ＡＦ機能が働いて合焦制御され、記録動画像用の撮像が行われる。記録動画像用の撮像が行われることにより得られた動画像は、メモリカード又はＵＳＢメモリ等の既定の記録媒体（以下、単に「既定の記録媒体」とも称する）に記録される。なお、記録動画像用の撮像が行われることにより得られた動画像は、本開示の技術に係る「記録用画素データ」の一例である。

静止画像記録用撮像モードにおいて、ＡＦモードが設定されると、レリーズボタン２０を半押し状態にすることにより撮影条件の調整が行われ、その後、引き続き全押し状態にすると静止画像用の撮像が行われる。つまり、レリーズボタン２０を半押し状態にすることによりＡＥ機能が働いて露出状態が設定された後、ＡＦ機能が働いて合焦制御され、レリーズボタン２０を全押し状態にすると記録静止画像用の撮像が行われる。記録静止画像用の撮像が行われることにより得られた静止画像は、既定の記録媒体に記録される。なお、記録静止画像用の撮像が行われることにより得られた静止画像は、本開示の技術に係る「記録用画素データ」の一例である。

一例として図２に示すように、交換レンズ１４は、撮像レンズ４０を有する。撮像レンズ４０は、対物レンズ４０Ａ、フォーカスレンズ４０Ｂ、及び絞り４０Ｃを備えている。対物レンズ４０Ａ、フォーカスレンズ４０Ｂ、及び絞り４０Ｃは、被写体側から撮像装置本体１２側にかけて、光軸Ｌ１に沿って、対物レンズ４０Ａ、フォーカスレンズ４０Ｂ、及び絞り４０Ｃの順に配置されている。絞り４０Ｃは、モータ等の駆動源（図示省略）からの動力を受けることで作動する。これにより、絞り４０Ｃの開度が変更される。絞り４０Ｃの開度が変更されることで、露出が調節される。

フォーカスレンズ４０Ｂは、スライド機構１５に取り付けられている。スライド機構１５にはモータ１７が接続されている。モータ１７は、動力を生成し、生成した動力をスライド機構１５に伝達することで、スライド機構１５を作動させる。スライド機構１５は、モータ１７から与えられた動力に応じて光軸Ｌ１に沿ってフォーカスレンズ４０Ｂを移動させる。

モータ１７は、通信ライン５５を介して撮像装置本体１２のコントローラ４６に接続されている。モータ１７は、コントローラ４６によって制御される。ＡＦモードでは、フォーカスレンズ４０Ｂが、コントローラ４６の制御下で、光軸Ｌ１に沿って移動することで、被写体距離に応じた合焦位置で撮像素子４４の撮像面４４Ａに被写体光が結像される。ここで言う「合焦位置」とは、ピントが合っている状態でのフォーカスレンズ４０Ｂの光軸Ｌ１上での位置を指す。以下では、説明の便宜上、フォーカスレンズ４０Ｂを合焦位置に合わせる制御を「ＡＦ制御」と称する。

撮像装置本体１２は、メカニカルシャッタ４２及び撮像素子４４を備えている。メカニカルシャッタ４２は、モータ等の駆動源（図示省略）からの動力を受けることで作動する。交換レンズ１４が撮像装置本体１２に装着された場合に、被写体光は、撮像レンズ４０を透過し、メカニカルシャッタ４２を介して撮像素子４４の撮像面４４Ａに結像される。

撮像装置本体１２は、コントローラ４６、ＵＩ系デバイス４８、及び信号処理部５０を備えている。コントローラ４６及び信号処理部５０の各々は、ＬＳＩによって実現されている。また、コントローラ４６及び信号処理部５０の各々は、撮像素子４４の後段に位置しているので、撮像素子４４の後段回路とも言える。

コントローラ４６は、撮像装置１０の全体を制御する。ＵＩ系デバイス４８は、ユーザに対して情報を提示したり、ユーザからの指示を受け付けたりするデバイスである。コントローラ４６には、ＵＩ系デバイス４８が接続されており、コントローラ４６は、ＵＩ系デバイス４８からの各種情報の取得、及びＵＩ系デバイス４８の制御を行う。

撮像素子４４は、通信ライン５７を介してコントローラ４６に接続されており、コントローラ４６の制御下で、被写体を撮像することで、被写体の画像を示す画像データ６９を生成する。

撮像素子４４は、通信ライン５３を介して信号処理部５０に接続されている。信号処理部５０は、ＡＳＩＣを含むデバイスである。信号処理部５０には、通信ライン６０を介してコントローラ４６が接続されている。

信号処理部５０には、撮像素子４４から通信ライン５３を介して画像データ６９が入力される。信号処理部５０は、撮像素子４４から通信ライン５３を介して入力された画像データ６９に対して各種の信号処理を行う。各種の信号処理には、例えば、ホワイトバランス調整、シャープネス調整、ガンマ補正、色空間変換処理、及び色差補正などの公知の信号処理が含まれる。

なお、本第１実施形態では、信号処理部５０としてＡＳＩＣを含むデバイスを例示しているが、本開示の技術はこれに限定されず、信号処理部５０は、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスであってもよい。また、信号処理部５０は、ＣＰＵ、ＲＯＭ、及びＲＡＭを含むコンピュータであってもよい。ＣＰＵは、単数であってもよいし、複数であってもよい。また、信号処理部５０は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。

撮像素子４４は、本開示の技術に係る「積層型撮像素子」の一例である。本実施形態において、撮像素子４４は、ＣＭＯＳイメージセンサである。また、ここでは、撮像素子４４としてＣＭＯＳイメージセンサを例示しているが、本開示の技術はこれに限定されず、例えば、撮像素子４４がＣＣＤイメージセンサであっても本開示の技術は成立する。

撮像素子４４では、撮像フレームレートで被写体が撮像されることで、一例として図３Ａに示すように、被写体の画像を各々示す複数の画像データ６９が生成される。また、撮像素子４４では、生成された複数の画像データ６９が出力フレームレートで出力される。撮像フレームレート及び出力フレームレートは何れも可変なフレームレートである。なお、撮像フレームレートは、本開示の技術に係る「第１フレームレート」の一例であり、出力フレームレートは、本開示の技術に係る「第２フレームレート」の一例である。

撮像フレームレートと出力フレームレートは、“撮像フレームレート＞出力フレームレート”の関係性を有している。つまり、撮像フレームレートは、出力フレームレートよりも高いフレームレートである。例えば、撮像フレームレートは、図３Ａに示すように、期間Ｔ内に８フレーム分の撮像が行われるフレームレートであり、出力フレームレートは、図３Ｂに示すように、期間Ｔ内に２フレーム分の出力が行われるフレームレートである。具体的には、撮像フレームレートの一例として、２４０ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）が挙げられ、出力フレームレートの一例として、６０ｆｐｓが挙げられる。

一例として図４に示すように、コントローラ４６は、ＣＰＵ４６Ａ、ＲＯＭ４６Ｂ、ＲＡＭ４６Ｃ、第１通信Ｉ／Ｆ４６Ｄ１、第２通信Ｉ／Ｆ４６Ｄ２、及び第３通信Ｉ／Ｆ４６Ｄ３を備えている。ＣＰＵ４６Ａ、ＲＯＭ４６Ｂ、ＲＡＭ４６Ｃ、第１通信Ｉ／Ｆ４６Ｄ１、第２通信Ｉ／Ｆ４６Ｄ２、及び第３通信Ｉ／Ｆ４６Ｄ３は、バスライン８８を介して相互に接続されている。

ＲＯＭ４６Ｂには、各種プログラムが記憶されている。ＣＰＵ４６Ａは、ＲＯＭ４６Ｂから各種プログラムを読み出し、読み出した各種プログラムをＲＡＭ４６Ｃに展開する。ＣＰＵ４６Ａは、ＲＡＭ４６Ｃに展開した各種プログラムに従って撮像装置１０の全体を制御する。

ＲＯＭ４６Ｂに記憶されている各種プログラムには、タイミング制御プログラム４６Ｂ１及び画素データ処理プログラム４６Ｂ２が含まれている。ＣＰＵ４６Ａは、タイミング制御プログラム４６Ｂ１に従って、後述のタイミング制御処理（図１２参照）を実行する。また、ＣＰＵ４６Ａは、画素データ処理プログラム４６Ｂ２に従って、後述の画素データ処理（図１５参照）を実行する。

第１通信Ｉ／Ｆ４６Ｄ１、第２通信Ｉ／Ｆ４６Ｄ２、及び第３通信Ｉ／Ｆ４６Ｄ３の各々は、ＦＰＧＡを有する通信デバイスである。第１通信Ｉ／Ｆ４６Ｄ１は通信ライン６０を介して信号処理部５０に接続されている。第１通信Ｉ／Ｆ４６Ｄ１には、信号処理部５０により各種の信号処理が施された画像データ６９（図２、図３Ａ及び図３Ｂ参照）が通信ライン６０を介して入力される。第１通信Ｉ／Ｆ４６Ｄ１は、信号処理部５０から入力された画像データ６９をＣＰＵ４６Ａに転送する。

第２通信Ｉ／Ｆ４６Ｄ２は、通信ライン５７を介して撮像素子４４に接続されている。ＣＰＵ４６Ａは、第２通信Ｉ／Ｆ４６Ｄ２を介して撮像素子４４を制御する。

第３通信Ｉ／Ｆ４６Ｄ３は、通信ライン５５を介してモータ１７に接続されている。ＣＰＵ４６Ａは、第３通信Ｉ／Ｆ４６Ｄ３を介してモータ１７を制御する。

バスライン８８には、二次記憶装置８０及び外部Ｉ／Ｆ８２が接続されている。二次記憶装置８０は、ＳＳＤ、ＨＤＤ、又はＥＥＰＲＯＭ等の不揮発性のメモリである。ＣＰＵ４６Ａは、二次記憶装置８０に対して各種情報の読み書きを行う。

外部Ｉ／Ｆ８２は、ＦＰＧＡを有する通信デバイスである。外部Ｉ／Ｆ８２には、既定の記録媒体が接続される。また、外部Ｉ／Ｆ８２には、ＰＣ又はサーバ等の外部装置（図示省略）も接続される。外部Ｉ／Ｆ８２は、ＣＰＵ４６Ａと外部装置との間の各種情報の授受を司る。

ＵＩ系デバイス４８は、タッチパネル・ディスプレイ２６及び受付デバイス８４を備えている。ディスプレイ３２は、バスライン８８に接続されている。ディスプレイ３２の一例としては、液晶ディスプレイが挙げられる。ディスプレイ３２は、液晶ディスプレイではなく、有機ＥＬディスプレイ等の他種類のディスプレイであってもよい。ディスプレイ３２は、ＣＰＵ４６Ａの制御下で、ライブビュー画像及び静止画像等の各種画像の他、文字情報も表示する。なお、ディスプレイ３２は、本開示の技術に係る「表示部（ディスプレイ）」の一例である。また、ＣＰＵ４６Ａは、本開示の技術に係る「制御部（プロセッサ）」の一例である。

受付デバイス８４は、ハードキー部２５及びタッチパネル３４を備えている。ハードキー部２５は、レリーズボタン２０及びダイヤル２２を含む複数のハードキーである。タッチパネル３４は、透過型のタッチパネルであり、ディスプレイ３２の表示領域の表面に重ねられている。タッチパネル３４は、例えば、指又はスタイラスペン等の指示体による接触を検知する。ハードキー部２５及びタッチパネル３４は、バスライン８８に接続されており、ＣＰＵ４６Ａは、ハードキー部２５及びタッチパネル３４の各々によって受け付けられた各種指示に従って動作する。

一例として図５に示すように、撮像素子４４には、光電変換素子６１、処理回路６２、及びメモリ６４が内蔵されている。撮像素子４４は、光電変換素子６１、処理回路６２、及びメモリ６４が１チップ化された撮像素子である。すなわち、光電変換素子６１、処理回路６２、及びメモリ６４は１パッケージ化されている。撮像素子４４では、光電変換素子６１に対して処理回路６２及びメモリ６４が積層されている。具体的には、光電変換素子６１及び処理回路６２は、銅等の導電性を有するバンプ（図示省略）によって互いに電気的に接続されており、処理回路６２及びメモリ６４も、銅等の導電性を有するバンプ（図示省略）によって互いに電気的に接続されている。ここでは、光電変換素子６１、処理回路６２、及びメモリ６４の３層構造が例示されているが、本開示の技術はこれに限らず、処理回路６２とメモリ６４とを１層としたメモリ層と、光電変換素子６１との２層構造であってもよい。なお、メモリ６４は、本開示の技術に係る「記憶部（メモリ）」の一例である。

処理回路６２は、例えば、ＬＳＩであり、メモリ６４は、例えば、ＤＲＡＭである。但し、本開示の技術はこれに限らず、メモリ６４としてＤＲＡＭに代えてＳＲＡＭを採用してもよい。

処理回路６２は、ＡＳＩＣ及びＦＰＧＡを含むデバイスであり、コントローラ４６の指示に従って、撮像素子４４の全体を制御する。なお、ここでは、処理回路６２がＡＳＩＣ及びＦＰＧＡを含むデバイスによって実現される例を挙げているが、本開示の技術はこれに限定されるものではなく、例えば、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスであってもよい。また、処理回路６２として、ＣＰＵ、ＲＯＭ、及びＲＡＭを含むコンピュータが採用されてもよい。ＣＰＵは、単数であってもよいし、複数であってもよい。また、処理回路６２は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。

光電変換素子６１は、マトリクス状に配置された複数のフォトダイオードを有している。複数のフォトダイオードの一例としては、“４８９６×３２６５”画素分のフォトダイオードが挙げられる。

光電変換素子６１に含まれる各フォトダイオードには、カラーフィルタが配置されている。カラーフィルタは、輝度信号を得るために最も寄与するＧ（緑）に対応するＧフィルタ、Ｒ（赤）に対応するＲフィルタ、及びＢ（青）に対応するＢフィルタを含む。光電変換素子６１は、Ｒ画素、Ｇ画素、及びＢ画素を有する（図６参照）。Ｒ画素は、Ｒフィルタが配置されたフォトダイオードに対応する画素であり、Ｇ画素は、Ｇフィルタが配置されたフォトダイオードに対応する画素であり、Ｂ画素は、Ｂフィルタが配置されたフォトダイオードに対応する画素である。

撮像素子４４は、いわゆる電子シャッタ機能を有しており、コントローラ４６の制御下で電子シャッタ機能を働かせることで、光電変換素子６１内の各フォトダイオードの電荷蓄積時間を制御する。電荷蓄積時間とは、いわゆるシャッタスピードを指す。

撮像装置１０では、ローリングシャッタ方式で、静止画像用の撮像と、動画像用の撮像とが行われる。静止画像記録用撮像モードにおいて、静止画像用の撮像は、電子シャッタ機能を働かせ、かつ、メカニカルシャッタ４２（図２参照）を作動させることで実現される。また、静止画像記録用撮像モードにおいて、連写用の撮像は、メカニカルシャッタ４２を作動させずに、電子シャッタ機能を働かせることで実現される。また、動画像記録用撮像モードにおいて、動画像用の撮像も、メカニカルシャッタ４２を作動させずに、電子シャッタ機能を働かせることで実現される。更に、表示動画用撮像モードにおいて、ライブビュー画像用の撮像も、メカニカルシャッタ４２を作動させずに、電子シャッタ機能を働かせることで実現される。なお、ここでは、ローリングシャッタ方式が例示されているが、本開示の技術はこれに限らず、ローリングシャッタ方式に代えてグローバルシャッタ方式を適用してもよい。

処理回路６２は、光電変換素子６１により被写体が撮像されることで得られた画像データ６９を読み出す。画像データ６９は、光電変換素子６１に蓄積された信号電荷である。処理回路６２は、光電変換素子６１から読み出したアナログの画像データ６９に対してＡ／Ｄ変換を行う。処理回路６２は、アナログの画像データ６９に対してＡ／Ｄ変換を行うことで得たデジタルの画像データ６９をメモリ６４に記憶する。

処理回路６２は、通信ライン５３を介して信号処理部５０に接続されている。また、処理回路６２は、通信ライン５７を介してコントローラ４６の第２通信Ｉ／Ｆ４６Ｄ２に接続されている。

メモリ５４は、第１記憶領域６４Ａ、第２記憶領域６４Ｂ、第３記憶領域６４Ｃ、第４記憶領域６４Ｄ、及び第５記憶領域６４Ｅを含む複数の記憶領域を備えている。複数の記憶領域の各々には、例えば、１フレーム毎にデジタルの画像データ６９が光電変換素子６１の画素に対応するアドレスに画素単位で記憶される。また、複数の記憶領域に対しては処理回路６２によってランダムアクセスが行われる。

一例として図６に示すように、光電変換素子６１の撮像面４４Ａでは、Ｒ画素、Ｇ画素、及びＢ画素が、行方向（水平方向）及び列方向（垂直方向）の各々に既定の周期性で配置されている。本第１実施形態では、Ｒ画素、Ｇ画素、及びＢ画素がＸ－Ｔｒａｎｓ（登録商標）配列に対応した周期性で配列されている。なお、図６に示す例では、Ｘ－Ｔｒａｎｓ配列を例示しているが、本開示の技術はこれに限定されず、Ｒ画素、Ｇ画素、及びＢ画素の配列は、ベイヤ配列又はハニカム配列などであってもよい。

図６に示す例では、１行目で、Ｒ画素、Ｇ画素、及びＢ画素が、行方向にＧ画素、Ｂ画素、Ｒ画素、Ｇ画素、Ｒ画素、及びＢ画素の順に循環して配列されている。また、２行目で、Ｒ画素、Ｇ画素、及びＢ画素が、行方向にＲ画素、Ｇ画素、Ｇ画素、Ｂ画素、Ｇ画素、及びＧ画素の順に循環して配列されている。また、３行目で、Ｒ画素、Ｇ画素、及びＢ画素が、行方向にＢ画素、Ｇ画素、Ｇ画素、Ｒ画素、Ｇ画素、及びＧ画素の順に循環して配列されている。また、４行目で、Ｒ画素、Ｇ画素、及びＢ画素が、行方向にＧ画素、Ｒ画素、Ｂ画素、Ｇ画素、Ｂ画素、及びＲ画素の順に循環して配列されている。また、５行目で、Ｒ画素、Ｇ画素、及びＢ画素が、行方向にＢ画素、Ｇ画素、Ｇ画素、Ｒ画素、Ｇ画素、及びＧ画素の順に循環して配列されている。更に、６行目で、Ｒ画素、Ｇ画素、及びＢ画素が、行方向にＲ画素、Ｇ画素、Ｇ画素、Ｂ画素、Ｇ画素、及びＧ画素の順に循環して配列されている。そして、１行目～６行目のＲ画素、Ｇ画素、及びＢ画素の配列パターンが６行単位で列方向に繰り返されることによって光電変換素子６１の全体のＲ画素、Ｇ画素、及びＢ画素の配列パターンが形成されている。

光電変換素子６１は、位相差画素と、位相差画素とは異なる画素である非位相差画素Ｎとの２種類の感光画素によって形成されている。一般的に、非位相差画素Ｎは、通常画素とも称される。撮像面４４Ａには、複数の位相差画素ライン６１Ａと複数の非位相差画素ライン６１Ｂとが配列されている。位相差画素ライン６１Ａは、位相差画素を含む水平ラインである。具体的には、位相差画素ライン６１Ａは、位相差画素と非位相差画素Ｎとが混在している水平ラインである。非位相差画素ライン６１Ｂは、複数の非位相差画素Ｎのみを含む水平ライン、すなわち、複数の非位相差画素Ｎからなる水平ラインである。なお、位相差画素ライン６１Ａは、本開示の技術に係る「第１ライン」の一例であり、非位相差画素ライン６１Ｂは、本開示の技術に係る「第２ライン」の一例である。

一例として図６に示すように、撮像面４４Ａには、位相差画素ライン６１Ａと、既定ライン数分の非位相差画素ライン６１Ｂとが列方向に沿って交互に配置されている。ここで言う「既定ライン数」とは、例えば、２ラインを指す。なお、ここでは、既定ライン数として、２ラインを例示しているが、本開示の技術はこれに限らず、既定ライン数は、３ライン以上の数ラインであってもよいし、十数ライン、数十ライン、又は数百ライン等であってもよい。また、図６に示す例において、行方向は、本開示の技術に係る「第１ラインのライン方向」の一例であり、列方向は、本開示の技術に係る「第１ラインのライン方向に交差する方向」の一例である。

位相差画素ライン６１Ａは、１行目から最終行にかけて列方向に２行飛ばしで配列されている。位相差画素ライン６１Ａの一部の画素が位相差画素である。具体的には、位相差画素ライン６１Ａは、位相差画素と非位相差画素Ｎとが周期的に配列された水平ラインである。位相差画素は、第１位相差画素Ｌと第２位相差画素Ｒとに大別される。位相差画素ライン６１Ａには、Ｇ画素として第１位相差画素Ｌと第２位相差画素Ｒとがライン方向に数画素間隔で交互に配置されている。

第１位相差画素Ｌ及び第２位相差画素Ｒは、列方向で交互に現れるように配置されている。図６に示す例では、４列目において、１行目から列方向に沿って第１位相差画素Ｌ、第２位相差画素Ｒ、第１位相差画素Ｌ、及び第２位相差画素Ｒの順に配置されている。すなわち、第１位相差画素Ｌと第２位相差画素Ｒとが１行目から列方向に沿って交互に配置されている。また、図６に示す例では、１０列目において、１行目から列方向に沿って第２位相差画素Ｒ、第１位相差画素Ｌ、第２位相差画素Ｒ、及び第１位相差画素Ｌの順に配置されている。すなわち、第２位相差画素Ｒと第１位相差画素Ｌとが１行目から列方向に沿って交互に配置されている。

一例として図７に示すように、第１位相差画素Ｌは、マイクロレンズ１９、遮光部材２１Ａ、及びフォトダイオードＰＤを備えている。第１位相差画素Ｌでは、マイクロレンズ１９とフォトダイオードＰＤの受光面との間には遮光部材２１Ａが配置されている。フォトダイオードＰＤの受光面における行方向の左半分（受光面から被写体を臨む場合の左側（換言すると、被写体から受光面を臨む場合の右側））は、遮光部材２１Ａによって遮光されている。

第２位相差画素Ｒは、マイクロレンズ１９、遮光部材２１Ｂ、及びフォトダイオードＰＤを備えている。第２位相差画素Ｒでは、マイクロレンズ１９とフォトダイオードＰＤの受光面との間には遮光部材２１Ｂが配置されている。フォトダイオードＰＤの受光面における行方向の右半分（受光面から被写体を臨む場合の右側（換言すると、被写体から受光面を臨む場合の左側））は、遮光部材２１Ｂによって遮光されている。

撮像レンズ４０の射出瞳を通過する光束は、左領域通過光３００Ｌ及び右領域通過光３００Ｒに大別される。左領域通過光３００Ｌとは、撮像レンズ４０の射出瞳を通過する光束のうち、位相差画素側から被写体側を臨む場合の左半分の光束を指し、右領域通過光３００Ｒとは、撮像レンズ４０の射出瞳を通過する光束のうち、位相差画素側から被写体側を臨む場合の右半分の光束を指す。撮像レンズ４０の射出瞳を通過する光束は、瞳分割部として機能するマイクロレンズ１９及び遮光部材２１Ａ，２１Ｂにより左右に分割され、第１位相差画素Ｌが被写体光として左領域通過光３００Ｌを受光し、第２位相差画素Ｒが被写体光として右領域通過光３００Ｒを受光する。この結果、左領域通過光３００Ｌに対応する被写体像に相当する第１位相差画像と、右領域通過光３００Ｒに対応する被写体像に相当する第２位相差画像とが撮像素子４４によって生成される。

なお、以下では、説明の便宜上、第１位相差画素Ｌ及び第２位相差画素Ｒを区別して説明する必要がない場合、「位相差画素」と称する。また、以下では、説明の便宜上、遮光部材２１Ａ，２１Ｂを区別して説明する必要がない場合、符号を付さずに「遮光部材」と称する。

一例として図８に示すように、非位相差画素は、位相差画素に比べ、遮光部材を有しない点が異なる。非位相差画素のフォトダイオードＰＤは、被写体光として左領域通過光３００Ｌ及び右領域通過光３００Ｒを受光する。

一例として図９に示すように、処理回路６２は、読出回路６２Ａ、デジタル処理回路６２Ｂ、画像処理回路６２Ｃ、出力回路６２Ｄ、及び制御回路６２Ｅを備えている。読出回路６２Ａは、本開示の技術に係る「読出部（読出回路）」の一例である。出力回路６２Ｄは、本開示の技術に係る「出力部（出力回路）」の一例である。

読出回路６２Ａは、第１読出回路６２Ａ１及び第２読出回路６２Ａ２を備えている。第１読出回路６２Ａ１は、本開示の技術に係る「第１読出部（第１読出回路）」の一例であり、第２読出回路６２Ａ２は、本開示の技術に係る「第２読出部（第２読出回路）」の一例である。

第１読出回路６２Ａ１及び第２読出回路６２Ａ２の各々は、光電変換素子６１、デジタル処理回路６２Ｂ、及び制御回路６２Ｅに接続されている。メモリ６４は、制御回路６２Ｅに接続されている。画像処理回路６２Ｃも、制御回路６２Ｅに接続されている。出力回路６２Ｄも、制御回路６２Ｅに接続されている。制御回路６２Ｅは、通信ライン５７を介してコントローラ４６に接続されている。出力回路６２Ｄは、通信ライン５３を介して信号処理部５０に接続されている。

一例として図９に示すように、上述の画像データ６９は、アナログ画素データ６９Ａとデジタル画素データ６９Ｂとに大別される。なお、以下では、説明の便宜上、アナログ画素データ６９Ａとデジタル画素データ６９Ｂとを区別して説明する必要がない場合、「画像データ６９」と称する。

アナログ画素データ６９Ａは、位相差画素のアナログの画素データであるアナログ位相差画素データ６９Ａ１と、非位相差画素Ｎのアナログの画素データであるアナログ非位相差画素データ６９Ａ２とに大別される。デジタル画素データ６９Ｂは、デジタル位相差画素データ６９Ｂ１と、デジタル非位相差画素データ６９Ｂ２とに大別される。デジタル位相差画素データ６９Ｂ１は、アナログ位相差画素データ６９Ａ１がデジタル化されることで得られる画素データである。デジタル非位相差画素データ６９Ｂ２は、アナログ非位相差画素データ６９Ａ２がデジタル化されることで得られる画素データである。

なお、アナログ画素データ６９Ａ及びデジタル画素データ６９Ｂは、本開示の技術に係る「画素データ」の一例である。アナログ位相差画素データ６９Ａ１及びデジタル位相差画素データ６９Ｂ１は、本開示の技術に係る「第２画素データ」の一例である。アナログ非位相差画素データ６９Ａ２及びデジタル非位相差画素データ６９Ｂ２は、本開示の技術に係る「第１画素データ」の一例である。

コントローラ４６は、タイミング制御信号を、通信ライン５７を介して制御回路６２Ｅに供給する。タイミング制御信号は、撮像用垂直同期信号及び出力用垂直同期信号を含む。出力用垂直同期信号は、１フレーム単位の出力タイミングを規定する同期信号である。換言すると、出力用垂直同期信号は、出力フレームレートを規定する同期信号である。すなわち、デジタル画素データ６９Ｂが１フレーム分出力される出力期間（以下、単に「出力期間」と称する）は、出力用垂直同期信号によって規定される。撮像用垂直同期信号は、１フレーム単位の撮像タイミングを規定する同期信号である。換言すると、撮像用垂直同期信号は、撮像フレームレートを規定する同期信号である。すなわち、撮像が行われる間隔は、撮像用垂直同期信号によって規定される。

なお、本第１実施形態では、コントローラ４６から制御回路６２Ｅに対して、出力期間内に複数の撮像用垂直同期信号が供給され、これにより、出力期間内に、複数フレームの撮像が行われる。

読出回路６２Ａは、撮像フレームレートで被写体が撮像されることで得られたアナログ画素データ６９Ａを水平ライン単位で読み出す。すなわち、読出回路６２Ａは、制御回路６２Ｅの制御下で、光電変換素子６１を制御し、光電変換素子６１からアナログ画素データ６９Ａを水平ライン単位で読み出す。読出回路６２Ａは、光電変換素子６１に含まれる全画素について、アナログ位相差画素データ６９Ａ１とアナログ非位相差画素データ６９Ａ２とを選択的に読み出し可能な回路とされている。詳しくは後述するが、アナログ位相差画素データ６９Ａ１とアナログ非位相差画素データ６９Ａ２との選択的な読み出しは、第１読出回路６２Ａ１及び第２読出回路６２Ａ２によって実現される。なお、ここでは、光電変換素子６１に含まれる全画素について、アナログ位相差画素データ６９Ａ１とアナログ非位相差画素データ６９Ａ２とが選択的に読み出される形態例を挙げているが、本開示の技術はこれに限定されない。例えば、光電変換素子６１に含まれる全画素のうちの指定された一部の画素群について、アナログ位相差画素データ６９Ａ１とアナログ非位相差画素データ６９Ａ２とが選択的に読み出されるようにしてもよい。

光電変換素子６１からの１フレーム分のアナログ画素データ６９Ａの読み出しは、撮像用垂直同期信号に従って開始される。制御回路６２Ｅは、コントローラ４６から供給された撮像用垂直同期信号を読出回路６２Ａに転送する。読出回路６２Ａは、制御回路６２Ｅから撮像用垂直同期信号が入力されると、光電変換素子６１に対して１フレーム分のアナログ画素データ６９Ａの読み出しを開始する。

具体的には、制御回路６２Ｅは、コントローラ４６から供給された撮像用垂直同期信号を第１読出回路６２Ａ１及び第２読出回路６２Ａ２に転送する。第１読出回路６２Ａ１及び第２読出回路６２Ａ２の各々に撮像用垂直同期信号が入力されると、位相差画素からのアナログ位相差画素データ６９Ａ１の読み出しと非位相差画素Ｎからのアナログ非位相差画素データ６９Ａ２の読み出しとが独立して行われる。アナログ位相差画素データ６９Ａ１の読み出しは、第１読出回路６２Ａ１によって行われ、アナログ非位相差画素データ６９Ａ２の読み出しは、第２読出回路６２Ａ２によって行われる。

より詳細に説明すると、第１読出回路６２Ａ１は、制御回路６２Ｅから撮像用垂直同期信号が入力されると、光電変換素子６１に対して１フレーム分のアナログ位相差画素データを位相差画素ライン６１Ａ毎に位相差画素の各々から読み出す。第２読出回路６２Ａ２は、読出開始条件（後述）を満足した場合に、光電変換素子６１に対して１フレーム分のアナログ非位相差画素データを非位相差画素ライン６１Ｂ毎に非位相差画素Ｎの各々から読み出す。ここで言う「読出開始条件」とは、制御回路６２Ｅから撮像用垂直同期信号が入力され、かつ、第１読出回路６２Ａ１による１フレーム分のアナログ位相差画素データの読み出しが完了した、との条件を指す。

読出回路６２Ａは、光電変換素子６１から読み出されたアナログ画素データ６９Ａに対してアナログ信号処理を行う。アナログ信号処理には、ノイズキャンセル処理及びアナログゲイン処理などの公知の処理が含まれる。ノイズキャンセル処理は、光電変換素子６１に含まれる画素間の特性のばらつきに起因するノイズをキャンセルする処理である。アナログゲイン処理は、アナログ画素データ６９Ａに対してゲインをかける処理である。このようにしてアナログ信号処理が行われたアナログ画素データ６９Ａは、読出回路６２Ａによってデジタル処理回路６２Ｂに出力される。

デジタル処理回路６２Ｂは、Ａ／Ｄ変換器６２Ｂ１を備えている。デジタル処理回路６２Ｂは、読出回路６２Ａから入力されたアナログ画素データ６９Ａに対してデジタル信号処理を行う。デジタル信号処理には、例えば、相関二重サンプリング、Ａ／Ｄ変換器６２Ｂ１によるＡ／Ｄ変換、及びデジタルゲイン処理が含まれる。

アナログ画素データ６９Ａに対しては、デジタル処理回路６２Ｂによって相関二重サンプリングが行われる。相関二重サンプリングの信号処理が行われたアナログ画素データ６９Ａに対しては、Ａ／Ｄ変換器６２Ｂ１によってＡ／Ｄ変換が行われ、これによって、アナログ画素データ６９Ａがデジタル化され、デジタル画素データ６９Ｂが得られる。そして、デジタル画素データ６９Ｂに対しては、デジタル処理回路６２Ｂによってデジタルゲイン処理が行われる。デジタルゲイン処理とは、デジタル画素データ６９Ｂに対してゲインをかける処理を指す。

制御回路６２Ｅは、デジタル信号処理が行われるによって得られたデジタル画素データ６９Ｂをデジタル処理回路６２Ｂから取得し、取得したデジタル画素データ６９Ｂをメモリ６４に記憶する。

メモリ６４は、複数フレームのデジタル画素データ６９Ｂを記憶可能なメモリである。メモリ６４は、複数の記憶領域（図５参照）を有しており、デジタル画素データ６９Ｂが制御回路６２Ｅによって、メモリ６４のうちの対応する記憶領域に画素単位で記憶される。

制御回路６２Ｅは、メモリ６４に対してランダムアクセス可能であり、メモリ６４からデジタル非位相差画素データ６９Ｂ２を取得する。制御回路６２Ｅは、メモリ６４から取得したデジタル非位相差画素データ６９Ｂ２を画像処理回路６２Ｃに出力する。画像処理回路６２Ｃは、制御回路６２Ｅから入力されたデジタル非位相差画素データ６９Ｂ２に対して画像処理を行う。ここで言う「画像処理」としては、デモザイク処理、デジタル間引き処理、デジタル加算処理、及びデータ埋め込み処理などが挙げられる。

デモザイク処理は、カラーフィルタの配列に対応したモザイク画像から画素毎に全ての色情報を算出する処理である。例えば、ＲＧＢ３色のカラーフィルタからなる撮像素子の場合、ＲＧＢからなるモザイク画像から画素毎にＲＧＢ全ての色情報が算出される。

デジタル間引き処理は、デジタル非位相差画素データ６９Ｂ２に含まれる画素をライン単位で間引く処理である。ライン単位とは、例えば、水平ライン単位及び／又は垂直ライン単位を指す。デジタル加算処理は、例えば、デジタル非位相差画素データ６９Ｂ２に含まれる複数の画素について画素値を加算平均する処理である。データ埋め込み処理は、デジタル非位相差画素データ６９Ｂ２の下位の空きビットに対して特定のデータを埋める処理などが挙げられる。ここで言う「特定のデータ」としては、例えば、デジタル非位相差画素データ６９Ｂ２に対して行ったデジタル間引き処理の方法を特定可能な情報、又は、フレームを特定可能なフレーム番号等が挙げられる。

画像処理回路６２Ｃは、画像処理済みのデジタル非位相差画素データ６９Ｂ２を制御回路６２Ｅに出力する。制御回路６２Ｅは、画像処理回路６２Ｃから入力されたデジタル非位相差画素データ６９Ｂ２をメモリ６４に記憶する。なお、画像処理済みのデジタル非位相差画素データ６９Ｂ２は、本開示の技術に係る「画素データに基づく画像データ」及び「位相差画素データに基づく第１画素データ」の一例である。

制御回路６２Ｅは、メモリ６４からデジタル画素データ６９Ｂを取得する。制御回路６２Ｅは、メモリ６４から取得したデジタル画素データ６９Ｂを出力回路６２Ｄに出力する。

具体的には、制御回路６２Ｅは、メモリ６４に１フレーム分のデジタル位相差画素データ６９Ｂ１が記憶される毎に、デジタル非位相差画素データのメモリ６４への記憶を待つことなく、メモリ６４から１フレーム分のデジタル位相差画素データ６９Ｂ１を取得する。そして、制御回路６２Ｅは、メモリ６４から取得した最新の１フレーム分のデジタル位相差画素データ６９Ｂ１を出力回路６２Ｄに出力する。

制御回路６２Ｅは、出力期間内に第１読出回路６２Ａ１によって読み出された１フレーム分のアナログ位相差画素データ６９Ａ１に対応するデジタル位相差画素データ６９Ｂ１の取得が完了すると、メモリ６４からデジタル非位相差画素データ６９Ｂ２を取得する。メモリ６４から取得されるデジタル非位相差画素データ６９Ｂ２は、出力期間内に第２読出回路６２Ａ２によって読み出された１フレーム分のアナログ非位相差画素データ６９Ａ２に対応するデジタル非位相差画素データ６９Ｂ２である。そして、制御回路６２Ｅは、メモリ６４から取得したデジタル非位相差画素データ６９Ｂ２を出力回路６２Ｄに出力する。

出力回路６２Ｄは、１フレーム分のデジタル画素データ６９Ｂを出力する場合、デジタル位相差画素データ６９Ｂ１とデジタル非位相差画素データ６９Ｂ２とを異なるタイミングで出力する。具体的には、出力回路６２Ｄは、先ず、デジタル位相差画素データ６９Ｂ１を出力し、デジタル位相差画素データ６９Ｂ１の出力が完了してから、デジタル非位相差画素データ６９Ｂ２を出力する。

出力期間内に読み出された全フレーム分のデジタル位相差画素データ６９Ｂ１は、デジタル非位相差画素データ６９Ｂ２に先立って制御回路６２Ｅによって出力回路６２Ｄに出力される。出力回路６２Ｄは、制御回路６２Ｅから入力されたデジタル画素データ６９Ｂを、入力された順に信号処理部５０に出力する。出力回路６２Ｄは、先ず、出力期間内に読み出された全フレーム分のデジタル位相差画素データ６９Ｂ１を信号処理部５０に出力し、次いで、出力期間内に読み出された全フレーム分のデジタル非位相差画素データ６９Ｂ２を信号処理部５０に出力する。

ところで、撮像装置１０では、ローリングシャッタ方式での撮像が行われる。従って、一例として図１０に示すように、読出開始タイミングと読出終了タイミングとの間にずれが生じる。読出開始タイミングは、撮像素子４４の撮像領域の全ての水平ラインのうちの最初に読み出しを行う水平ラインとして予め定められた水平ライン（以下、「先頭水平ライン」とも称する）の読み出しを行うタイミングである。読出終了タイミングは、撮像素子４４の撮像領域の全ての水平ラインのうちの最後に読み出しを行う水平ラインとして予め定められた水平ライン（以下、「最終水平ライン」とも称する）の読み出しを行うタイミングである。ローリングシャッタ方式では、水平同期信号に従って撮像素子４４の撮像領域の全ての水平ラインについて１水平ライン毎に順次にアナログ画素データ６９Ａの読み出しが行われる。そのため、読出終了タイミングは、読出開始タイミングよりも遅れて到来する。これに伴って、先頭水平ラインに対して露光が行われるタイミングと最終水平ラインに対して露光が行われるタイミングとの間にずれが生じる。

図１０には、１つの出力期間内での４フレーム分の読出タイミング及びリセットタイミングの各態様例が示されている。図１０に示す例において、「Ｆ」は、「フレーム」の略称を示している。図１０に示す例では、１つの出力期間内に４フレーム分の撮像が行われている。すなわち、１つの出力期間内に複数のアナログ画素データ６９Ａの読み出しが並行して行われている。例えば、１つの出力期間内の１フレーム目から４フレーム目までの読み出しのうち、１フレーム目の読み出しと２フレーム目の読み出しとが並行して行われている。これに伴って、１フレーム目のリセットと２フレーム目のリセットも並行して行われている。つまり、１フレーム目の読出期間と２フレーム目の読出期間とが一部重複しており、１フレーム目のリセット期間と２フレーム目のリセット期間も一部重複している。なお、２フレーム目と３フレーム目についても、同様のことが言える。また、３フレーム目と４フレーム目についても同様のことが言える。

このように、１つの出力期間内に、４フレーム分のアナログ非位相差画素データ６９Ａ２の読み出しと、４フレーム分のアナログ位相差画素データ６９Ａ１の読み出しとが行われる。すなわち、１つの出力期間内に、アナログ非位相差画素データ６９Ａ２の読み出しに加え、アナログ位相差画素データ６９Ａ１の複数回の読み出しが行われる。ここで言う「アナログ非位相差画素データ６９Ａ２の読み出し」とは、非位相差画素Ｎからのアナログ非位相差画素データ６９Ａ２の読み出しを指す。また、ここで言う「アナログ位相差画素データ６９Ａ１の複数回の読み出し」とは、位相差画素からのアナログ位相差画素データ６９Ａ１の複数回の読み出しを指す。すなわち、これは、１つの出力期間内に、同一の位相差画素から何度もアナログ位相差画素データ６９Ａ１を読み出す、ということを意味する。

また、一例として図１０に示すように、各フレームにおいて、先ず、第１読出回路６２Ａ１によりアナログ位相差画素データ６９Ａ１が光電変換素子６１から読み出される。すなわち、１フレーム分の全ての位相差画素ライン６１Ａを読出対象として、１ラインずつアナログ位相差画素データ６９Ａ１が第１読出回路６２Ａ１によって読み出される。１つの位相差画素ライン６１Ａに対して、第１読出回路６２Ａ１による読み出しが完了する毎に第１読出回路６２Ａ１によるリセットが行われる。

全ての位相差画素ライン６１Ａに対してのアナログ位相差画素データ６９Ａ１の読み出しが完了すると、次いで、全ての非位相差画素ライン６１Ｂを読出対象として、１ラインずつアナログ非位相差画素データ６９Ａ２が第２読出回路６２Ａ２によって読み出される。１つの非位相差画素ライン６１Ｂに対して、第２読出回路６２Ａ２による読み出しが完了する毎に第２読出回路６２Ａ２によるリセットが行われる。

このように、１フレーム分の読出期間において、第１読出回路６２Ａ１による位相差画素からのアナログ位相差画素データ６９Ａ１の読み出しは、第２読出回路６２Ａ２による非位相差画素Ｎからのアナログ非位相差画素データ６９Ａ２の読み出しよりも先に行われる。

また、図１０に示す例では、１フレーム目のアナログ非位相差画素データ６９Ａ２の読み出しと、２フレーム目のアナログ位相差画素データ６９Ａ１の読み出しとが並行して行われている。すなわち、１フレーム目のアナログ非位相差画素データ６９Ａ２の読出期間と２フレーム目のアナログ位相差画素データ６９Ａ１の読出期間とが重複している。なお、２フレーム目と３フレーム目についても、同様のことが言える。また、３フレーム目と４フレーム目についても同様のことが言える。

一例として図１１に示すように、１つの出力期間内の各フレームについて第１読出回路６２Ａ１によって読み出されたアナログ位相差画素データ６９Ａ１は、Ａ／Ｄ変換器６２Ｂ１によってデジタル化され、デジタル位相差画素データ６９Ｂ１に変換される。１つの出力期間内で読み出された全てのアナログ位相差画素データ６９Ａ１のデジタル化が完了すると、１つの出力期間内の各フレームについて第２読出回路６２Ａ２によって読み出されたアナログ非位相差画素データ６９Ａ２のＡ／Ｄ変換が行われる。すなわち、各フレームについて第２読出回路６２Ａ２によって読み出されたアナログ非位相差画素データ６９Ａ２は、Ａ／Ｄ変換器６２Ｂ１によってデジタル化され、デジタル非位相差画素データ６９Ｂ２に変換される。

このように、アナログ位相差画素データ６９Ａ１及びアナログ非位相差画素データ６９Ａ２は、Ａ／Ｄ変換器６２Ｂ１によって異なるタイミングでＡ／Ｄ変換される。これは、アナログ位相差画素データ６９Ａ１及びアナログ非位相差画素データ６９Ａ２に対してＡ／Ｄ変換器６２Ｂ１が共用されるからである。

一例として図１１に示すように、各フレームについてＡ／Ｄ変換が行われることで得られたデジタル位相差画素データ６９Ｂ１の各々は、メモリ６４の対応する記憶領域に記憶される。図１１に示す例では、１フレーム目のデジタル位相差画素データ６９Ｂ１は第１記憶領域６４Ａに記憶されている。また、２フレーム目のデジタル位相差画素データ６９Ｂ１は第２記憶領域６４Ｂに記憶されている。また、３フレーム目のデジタル位相差画素データ６９Ｂ１は第３記憶領域６４Ｃに記憶されている。また、４フレーム目のデジタル位相差画素データ６９Ｂ１は第４記憶領域６４Ｄに記憶されている。

各フレームについてＡ／Ｄ変換が行われることで得られたデジタル非位相差画素データ６９Ｂ２は、第５記憶領域６４Ｅに１フレーム分に合成されて記憶される。ここで言う「合成」とは、例えば、１つの出力期間内に撮像されることで得られた複数フレーム分（図１１に示す例では、１フレーム目から４フレーム目）のデジタル非位相差画素データ６９Ｂ２の画素単位での加算平均を指す。このように、複数フレーム分のデジタル非位相差画素データ６９Ｂ２が画素単位で加算平均されることで１フレーム分のデジタル非位相差画素データ６９Ｂ２が生成される。

なお、ここでは、複数フレーム分のデジタル非位相差画素データ６９Ｂ２が１フレーム分にまとめられる例を挙げて説明しているが、本開示の技術はこれに限定されない。例えば、複数フレーム分のデジタル非位相差画素データ６９Ｂ２の全てがメモリ６４に記憶されるようにしてもよい。また、複数フレームのうちの代表の１フレーム（例えば、１フレーム目）のみ、第２読出回路６２Ａ２によりアナログ非位相差画素データ６９Ａ２が読み出されるようにしてもよい。詳しくは変形例として後述するが、この場合、他のフレーム（例えば、２フレーム目から４フレーム目）について第２読出回路６２Ａ２によってアナログ非位相差画素データ６９Ａ２が読み出されない（図１６参照）。そのため、１フレーム分のアナログ非位相差画素データ６９Ａ２のみがＡ／Ｄ変換され、上述の「合成」も不要となる。

フレーム単位でメモリ６４にデジタル位相差画素データ６９Ｂ１が記憶されると、メモリ６４への１フレーム分のデジタル位相差画素データ６９Ｂ１の記憶が完了したタイミングで、メモリ６４内のデジタル位相差画素データ６９Ｂ１が出力回路６２Ｄに転送される。すなわち、メモリ６４内のデジタル位相差画素データ６９Ｂ１は、制御回路６２Ｅによってメモリ６４から取得され、出力回路６２Ｄに出力される。出力回路６２Ｄは、制御回路６２Ｅから入力されたデジタル位相差画素データ６９Ｂ１を信号処理部５０に出力する。

メモリ６４内のデジタル位相差画素データ６９Ｂ１が出力回路６２Ｄによって出力された後、メモリ６４内のデジタル非位相差画素データ６９Ｂ２は、制御回路６２Ｅによってメモリ６４から取得され、出力回路６２Ｄに出力される。出力回路６２Ｄは、制御回路６２Ｅから入力されたデジタル非位相差画素データ６９Ｂ２を信号処理部５０に出力する。

次に、撮像装置１０の作用について説明する。

先ず、タイミング制御処理の実行を開始する条件を満足した場合にタイミング制御プログラム４６Ｂ１に従ってＣＰＵ４６Ａによって実行されるタイミング制御処理について図１２を参照しながら説明する。なお、タイミング制御処理の実行を開始する条件としては、例えば、撮像モードが設定された、との条件が挙げられる。

図１２に示すタイミング制御処理では、先ず、ステップＳＴ１０で、ＣＰＵ４６Ａは、読出開始タイミングが到来したか否かを判定する。読出開始タイミングとは、光電変換素子６１からのアナログ画素データ６９Ａの読み出しの開始を撮像素子４４に対して指示するタイミングを指す。ステップＳＴ１０において、読出開始タイミングが到来していない場合は、判定が否定されて、タイミング制御処理はステップＳＴ１８へ移行する。ステップＳＴ１０において、読出開始タイミングが到来した場合は、判定が肯定されて、タイミング制御処理はステップＳＴ１２へ移行する。

ステップＳＴ１２で、ＣＰＵ４６Ａは、撮像用垂直同期信号を撮像素子４４に出力し、その後、タイミング制御処理はステップＳＴ１４へ移行する。本ステップＳＴ１２の処理が実行されることで出力された撮像用垂直同期信号は、撮像素子４４の制御回路６２Ｅによって受け付けられる。撮像素子４４では、制御回路６２Ｅによって受け付けられた撮像用垂直同期信号に応じて定められた撮像フレームレートで撮像が行われる。

ステップＳＴ１４で、ＣＰＵ４６Ａは、撮像用垂直同期信号の出力回数が既定回数（例えば、４回）に到達したか否かを判定する。ステップＳＴ１４において、撮像用垂直同期信号の出力回数が既定回数に到達していない場合は、判定が否定されて、タイミング制御処理はステップＳＴ１８へ移行する。ステップＳＴ１４において、撮像用垂直同期信号の出力回数が既定回数に到達した場合は、判定が肯定されて、タイミング制御処理はステップＳＴ１６へ移行する。

ステップＳＴ１６で、ＣＰＵ４６Ａは、出力用垂直同期信号を撮像素子４４に出力し、その後、タイミング制御処理はステップＳＴ１８へ移行する。本ステップＳＴ１６の処理が実行されることで出力された出力用垂直同期信号は、撮像素子４４の制御回路６２Ｅによって受け付けられる。撮像素子４４では、制御回路６２Ｅによって受け付けられた出力用垂直同期信号に応じて定められた出力フレームレートでデジタル画素データ６９Ｂが出力回路６２Ｄによって出力される。

ステップＳＴ１８で、ＣＰＵ４６Ａは、タイミング制御処理を終了する条件（以下、「タイミング制御処理終了条件」と称する）を満足したか否かを判定する。タイミング制御処理終了条件としては、例えば、タイミング制御処理を終了させる指示が受付デバイス８４（図４参照）によって受け付けられた、との条件が挙げられる。ステップＳＴ１８において、タイミング制御処理終了条件を満足していない場合は、判定が否定されて、タイミング制御処理はステップＳＴ１０へ移行する。ステップＳＴ１８において、タイミング制御処理終了条件を満足した場合は、判定が肯定されて、タイミング制御処理が終了する。

次に、出力期間内に処理回路６２によって実行される位相差画素処理について図１３を参照しながら説明する。

図１３に示す位相差画素処理では、先ず、ステップＳＴ３０で、制御回路６２Ｅは、上記のタイミング制御処理のステップＳＴ１２の処理が実行されることで出力された撮像用垂直同期信号を受け付けたか否かを判定する。ステップＳＴ３０において、撮像用垂直同期信号を受け付けていない場合は、判定が否定されて、位相差画素処理はステップＳＴ４０へ移行する。ステップＳＴ３０において、撮像用垂直同期信号を受け付けた場合は、判定が肯定されて、位相差画素処理はステップＳＴ３２へ移行する。

ステップＳＴ３２で、第１読出回路６２Ａ１は、１フレーム分の全ての位相差画素ライン６１Ａを対象として、位相差画素からアナログ位相差画素データ６９Ａ１を読み出し、その後、位相差画素処理はステップＳＴ３４へ移行する。

ステップＳＴ３４で、デジタル処理回路６２Ｂは、第１読出回路６２Ａ１によって読み出されたアナログ位相差画素データ６９Ａ１に対してデジタル信号処理を施すことでアナログ位相差画素データ６９Ａ１をデジタル位相差画素データ６９Ｂ１に変換する。

次のステップＳＴ３６で、制御回路６２Ｅは、デジタル処理回路６２Ｂからデジタル位相差画素データ６９Ｂ１を取得し、取得したデジタル位相差画素データ６９Ｂ１をメモリ６４に記憶し、その後、位相差画素処理はステップＳＴ３８へ移行する。

メモリ６４にデジタル位相差画素データ６９Ｂ１が記憶されると、制御回路６２Ｅによってメモリ６４からデジタル位相差画素データ６９Ｂ１が取得され、取得されたデジタル位相差画素データ６９Ｂ１は出力回路６２Ｄに転送される。

次のステップＳＴ３８で、出力回路６２Ｄは、制御回路６２Ｅから入力されたデジタル位相差画素データ６９Ｂ１を信号処理部５０に出力し、その後、位相差画素処理はステップＳＴ４０へ移行する。

ステップＳＴ４０で、制御回路６２Ｅは、位相差画素処理を終了する条件（以下、「位相差画素処理終了条件」と称する）を満足したか否かを判定する。位相差画素処理終了条件としては、例えば、位相差画素処理を終了させる指示が受付デバイス８４（図４参照）によって受け付けられた、との条件が挙げられる。ステップＳＴ４０において、位相差画素処理終了条件を満足していない場合は、判定が否定されて、位相差画素処理はステップＳＴ３０へ移行する。ステップＳＴ４０において、位相差画素処理終了条件を満足した場合は、判定が肯定されて、位相差画素処理が終了する。

次に、出力期間内に処理回路６２によって実行される非位相差画素処理について図１４を参照しながら説明する。

図１４に示す非位相差画素処理では、先ず、ステップＳＴ６０で、第１読出回路６２Ａ１による１フレーム分のアナログ位相差画素データ６９Ａ１の読み出しが終了したか否かを判定する。ステップＳＴ６０において、第１読出回路６２Ａ１による１フレーム分のアナログ位相差画素データ６９Ａ１の読み出しが終了していない場合は、判定が否定されて、非位相差画素処理はステップＳＴ７２へ移行する。ステップＳＴ６０において、第１読出回路６２Ａ１による１フレーム分のアナログ位相差画素データ６９Ａ１の読み出しが終了した場合は、判定が肯定されて、非位相差画素処理はステップＳＴ６２へ移行する。

ステップＳＴ６２で、第２読出回路６２Ａ２は、１フレーム分の全ての非位相差画素ライン６１Ｂを対象として、非位相差画素Ｎからアナログ非位相差画素データ６９Ａ２を読み出し、その後、非位相差画素処理はステップＳＴ６４へ移行する。

ステップＳＴ６４で、デジタル処理回路６２Ｂは、第２読出回路６２Ａ２によって読み出されたアナログ非位相差画素データ６９Ａ２に対してデジタル信号処理を施すことでアナログ非位相差画素データ６９Ａ２をデジタル非位相差画素データ６９Ｂ２に変換する。

次のステップＳＴ６６で、制御回路６２Ｅは、デジタル処理回路６２Ｂからデジタル非位相差画素データ６９Ｂ２を取得し、取得したデジタル非位相差画素データ６９Ｂ２をメモリ６４に記憶し、その後、非位相差画素処理はステップＳＴ６８へ移行する。なお、メモリ６４には、画像処理回路６２Ｃによって画像処理が行われたデジタル非位相差画素データ６９Ｂ２が記憶される。

ステップＳＴ６８で、制御回路６２Ｅは、非位相差画素データ出力タイミングが到来したか否かを判定する。非位相差画素データ出力タイミングとは、メモリ６４内のデジタル非位相差画素データ６９Ｂ２を信号処理部５０に出力するタイミングを指す。非位相差画素データ出力タイミングは、同じ出力期間内の全フレーム分のデジタル位相差画素データ６９Ｂ１の信号処理部５０への出力タイミングと重複しないタイミングであればよい。非位相差画素データ出力タイミングとしては、例えば、同じ出力期間内の全フレーム分のデジタル位相差画素データ６９Ｂ１の信号処理部５０への出力が完了したタイミングが挙げられる。

ステップＳＴ６８において、非位相差画素データ出力タイミングが到来していない場合は、判定が否定されて、ステップＳＴ６８の判定が再び行われる。ステップＳＴ６８において、非位相差画素データ出力タイミングが到来した場合は、判定が肯定されて、非位相差画素処理はステップＳＴ７０へ移行する。

ステップＳＴ７０で、制御回路６２Ｅは、メモリ６４からデジタル非位相差画素データ６９Ｂ２を取得し、取得したデジタル非位相差画素データ６９Ｂ２を出力回路６２Ｄに転送する。出力回路６２Ｄは、制御回路６２Ｅから入力されたデジタル非位相差画素データ６９Ｂ２を信号処理部５０に出力し、その後、非位相差画素処理はステップＳＴ７２へ移行する。

ステップＳＴ７２で、制御回路６２Ｅは、非位相差画素処理を終了する条件（以下、「非位相差画素処理終了条件」と称する）を満足したか否かを判定する。非位相差画素処理終了条件としては、例えば、非位相差画素処理を終了させる指示が受付デバイス８４（図４参照）によって受け付けられた、との条件が挙げられる。ステップＳＴ７２において、非位相差画素処理終了条件を満足していない場合は、判定が否定されて、非位相差画素処理はステップＳＴ６０へ移行する。ステップＳＴ７２において、非位相差画素処理終了条件を満足した場合は、判定が肯定されて、非位相差画素処理が終了する。

信号処理部５０では、撮像素子４４から入力されたデジタル画素データ６９Ｂに対して各種の信号処理が行われ、各種の信号処理が行われたデジタル画素データ６９Ｂがコントローラ４６に出力される。

次に、信号処理部５０からコントローラ４６にデジタル画素データ６９Ｂが入力された場合に画素データ処理プログラム４６Ｂ２に従ってＣＰＵ４６Ａによって実行される画素データ処理について図１５を参照しながら説明する。

図１５に示す画素データ処理では、先ず、ステップＳＴ１５０で、ＣＰＵ４６Ａは、信号処理部５０から入力されたデジタル画素データ６９Ｂがデジタル非位相差画素データ６９Ｂ２か否かを判定する。ステップＳＴ１５０において、信号処理部５０から入力されたデジタル画素データ６９Ｂがデジタル位相差画素データ６９Ｂ１の場合は、判定が否定されて、画素データ処理はステップＳＴ１５４へ移行する。ステップＳＴ１５０において、信号処理部５０から入力されたデジタル画素データ６９Ｂがデジタル非位相差画素データ６９Ｂ２の場合は、判定が肯定されて、画素データ処理はステップＳＴ１５２へ移行する。

ステップＳＴ１５２で、ＣＰＵ４６Ａは、デジタル非位相差画素データ６９Ｂ２をディスプレイ３２に出力し、その後、画素データ処理はステップＳＴ１５６へ移行する。

デジタル非位相差画素データ６９Ｂ２がディスプレイ３２に出力されると、ディスプレイ３２は、デジタル非位相差画素データ６９Ｂ２に基づく画像を表示する。

ステップＳＴ１５４で、ＣＰＵ４６Ａは、信号処理部５０から入力されたデジタル位相差画素データ６９Ｂ１を用いてＡＦ制御を実行し、その後、画素データ処理はステップＳＴ１５６へ移行する。

ステップＳＴ１５６で、ＣＰＵ４６Ａは、画素データ処理を終了する条件（以下、「画素データ処理終了条件」と称する）を満足したか否かを判定する。画素データ処理終了条件としては、例えば、画素データ処理を終了させる指示が受付デバイス８４（図４参照）によって受け付けられた、との条件が挙げられる。ステップＳＴ１５６において、画素データ処理終了条件を満足していない場合は、判定が否定されて、画素データ処理はステップＳＴ１５０へ移行する。ステップＳＴ１５６において、画素データ処理終了条件を満足した場合は、判定が肯定されて、画素データ処理が終了する。

以上説明したように、本第１実施形態に係る撮像装置１０では、出力期間内に、読出回路６２Ａによって、複数のフレームの各々のアナログ画素データ６９Ａが並行して読み出される。また、出力期間内に、読出回路６２Ａによって、アナログ非位相差画素データ６９Ａ２読み出しと、アナログ位相差画素データ６９Ａ１の複数回の読み出しとが行われる。

ところで、１フレーム分のアナログ画素データ６９Ａを読み出す読出期間内に、例えば、ＡＦ専用画素から画素データを複数回読み出す場合、ＡＦ専用画素毎にＡ／Ｄ変換器の搭載が要求され、撮像素子の構成が複雑になる。

これに対し、本第１実施形態に係る撮像素子４４の構成は、位相差画素毎にＡ／Ｄ変換器を搭載していないので、ＡＦ専用画素（例えば、位相差画素）毎にＡ／Ｄ変換器の搭載される撮像素子の構成に比べ、簡素である。しかも、出力期間内に、複数のフレームの各々のアナログ画素データ６９Ａが並行して読み出され、かつ、アナログ非位相差画素データ６９Ａ２の読み出しと、アナログ位相差画素データ６９Ａ１の複数回の読み出しとが行われる。

複数のアナログ位相差画素データ６９Ａ１がデジタル化されて得られた複数のデジタル位相差画素データ６９Ｂ１はＡＦ制御に供される。複数のデジタル位相差画素データ６９Ｂ１は、１つのデジタル位相差画素データ６９Ｂ１に比べ、ＡＦの高精度化に寄与することは明らかである。従って、本第１実施形態に係る撮像素子４４によれば、１フレーム分の画像を読み出す読出期間内にＡＦ専用画素から画素データが複数回読み出される場合に比べ、簡素な構成でＡＦを高精度化することができる。

また、本第１実施形態に係る撮像素子４４では、読出回路６２Ａによってアナログ非位相差画素データ６９Ａ２の読み出しと、アナログ位相差画素データ６９Ａ１の読み出しとが並行して行われる。従って、アナログ位相差画素データ６９Ａ１及びアナログ非位相差画素データ６９Ａ２の一方の読み出しが完了してから他方の読み出しが開始される場合に比べ、限られた時間内でアナログ位相差画素データ６９Ａ１及びアナログ非位相差画素データ６９Ａ２を多く読み出すことができる。

また、本第１実施形態に係る撮像素子４４では、読出回路６２Ａによってアナログ画素データ６９Ａが水平ライン単位で読み出される。従って、水平ライン単位での間引きを実現することができる。

また、本第１実施形態に係る撮像素子４４では、アナログ位相差画素データ６９Ａ１として、位相差画素の画素データが採用されており、アナログ非位相差画素データ６９Ａ２として、非位相差画素Ｎの画素データが採用されている。従って、アナログ位相差画素データ６９Ａ１が位相差画素以外の画素の画素データから生成され、アナログ非位相差画素データ６９Ａ２が非位相差画素以外の画素の画素データから生成される場合に比べ、アナログ位相差画素データ６９Ａ１及びアナログ非位相差画素データ６９Ａ２を容易に得ることができる。

また、本第１実施形態に係る撮像素子４４では、出力期間内に、アナログ非位相差画素データ６９Ａ２は非位相差画素Ｎから読み出され、アナログ位相差画素データ６９Ａ１は位相差画素から複数回読み出される。従って、アナログ非位相差画素データ６９Ａ２の非位相差画素Ｎからの読み出しと、アナログ位相差画素データ６９Ａ１の位相差画素からの読み出しとが出力期間毎に交互に１回ずつ行われる場合に比べ、出力期間内にアナログ非位相差画素データ６９Ａ２と複数のアナログ位相差画素データ６９Ａ１とを得ることができる。

また、本第１実施形態に係る撮像素子４４では、第１読出回路６２Ａ１により、複数の位相差画素ライン６１Ａに含まれる位相差画素の各々からアナログ位相差画素データ６９Ａ１が読み出される。また、第２読出回路６２Ａ２により、複数の非位相差画素ライン６１Ｂに含まれる非位相差画素Ｎの各々からアナログ非位相差画素データ６９Ａ２が読み出される。従って、アナログ位相差画素データ６９Ａ１の読み出しにかかる負荷とアナログ非位相差画素データ６９Ａ２の読み出しにかかる負荷とを分散させることができる。

また、本第１実施形態に係る撮像素子４４では、第１読出回路６２Ａ１によるアナログ位相差画素データ６９Ａ１の読み出しと、第２読出回路６２Ａ２によるアナログ非位相差画素データ６９Ａ２の読み出しとが独立して行われる。従って、アナログ位相差画素データ６９Ａ１の読み出し及びアナログ非位相差画素データ６９Ａ２の読み出しのうちの一方が他方に影響を及ぼすことを回避することができる。

また、本第１実施形態に係る撮像素子４４では、第１読出回路６２Ａ１による位相差画素からのアナログ位相差画素データ６９Ａ１の読み出しは、第２読出回路６２Ａ２による非位相差画素Ｎからのアナログ非位相差画素データ６９Ａ２の読み出しよりも先に行われる。従って、アナログ非位相差画素データ６９Ａ２の読み出しがアナログ位相差画素データ６９Ａ１の読み出しよりも先に行われる場合に比べ、デジタル位相差画素データ６９Ｂ１を早くＡＦ制御に供することができる。

また、本第１実施形態に係る撮像素子４４では、位相差画素ライン６１Ａとして、位相差画素と非位相差画素Ｎとが周期的に配列された水平ラインが採用されている。従って、位相差画素と非位相差画素Ｎとが局所的に集中して配列された水平ラインを用いる場合に比べ、広範なエリアに対するＡＦの精度を高めることができる。

また、本第１実施形態に係る撮像素子４４では、撮像面４４Ａにおいて、位相差画素ライン６１Ａと、既定ライン数分の非位相差画素ライン６１Ｂとが列方向に沿って交互に配置されている。従って、列方向において位相差画素ライン６１Ａと非位相差画素ライン６１Ｂとが局所的に集中して配列されている場合に比べ、広範なエリアに対するＡＦの精度を高めることができる。

また、本第１実施形態に係る撮像素子４４では、１フレーム分のデジタル画素データ６９Ｂが出力回路６２Ｄによって出力される場合、デジタル位相差画素データ６９Ｂ１とデジタル非位相差画素データ６９Ｂ２とが異なるタイミングで出力される。従って、デジタル位相差画素データ６９Ｂ１とデジタル非位相差画素データ６９Ｂ２との各々に対して専用の出力回路を用いる場合に比べ、撮像素子４４の小型化に寄与することができる。

また、本第１実施形態に係る撮像素子４４では、デジタル位相差画素データ６９Ｂ１の出力が完了してから、デジタル非位相差画素データ６９Ｂ２が出力される。従って、デジタル非位相差画素データ６９Ｂ２の出力が完了してから、デジタル位相差画素データ６９Ｂ１が出力される場合に比べ、デジタル位相差画素データ６９Ｂ１を早くＡＦ制御に供することができる。

また、本第１実施形態に係る撮像素子４４では、アナログ位相差画素データ６９Ａ１及びアナログ非位相差画素データ６９Ａ２について、異なるタイミングでＡ／Ｄ変換が行われる。従って、アナログ位相差画素データ６９Ａ１とアナログ非位相差画素データ６９Ａ２との各々に対して専用のＡ／Ｄ変換器を用いる場合に比べ、撮像素子４４の小型化に寄与することができる。

また、本第１実施形態に係る撮像素子４４は、光電変換素子６１、処理回路６２、及びメモリ６４が１チップ化された撮像素子である。これにより、光電変換素子６１、処理回路６２、及びメモリ６４が１チップ化されていない撮像素子に比べ、撮像素子４４の可搬性が高くなる。また、光電変換素子６１、処理回路６２、及びメモリ６４が１チップ化されていない撮像素子に比べ、設計の自由度も高めることができる。更に、光電変換素子６１、処理回路６２、及びメモリ６４が１チップ化されていない撮像素子に比べ、撮像装置本体１２の小型化にも寄与することができる。

また、図５に示すように、撮像素子４４として、光電変換素子６１にメモリ６４が積層された積層型撮像素子が採用されている。これにより、光電変換素子６１とメモリ６４とを接続する配線を短くすることができるため、配線遅延を減らすことができ、この結果、光電変換素子６１とメモリ６４とが積層されていない場合に比べ、光電変換素子６１からメモリ６４への画像データ６９の転送速度を高めることができる。転送速度の向上は、処理回路６２全体での処理の高速化にも寄与する。また、光電変換素子６１とメモリ６４とが積層されていない場合に比べ、設計の自由度も高めることができる。更に、光電変換素子６１とメモリ６４とが積層されていない場合に比べ、撮像装置本体１２の小型化にも寄与することができる。

更に、撮像装置１０では、デジタル画素データ６９Ｂに基づくライブビュー画像等がディスプレイ３２に表示される。また、デジタル画素データ６９Ｂが二次記憶装置８０に記憶される。従って、デジタル画素データ６９Ｂの汎用性を高めることができる。

なお、上記第１実施形態では、撮像素子４４として、光電変換素子６１、処理回路６２、及びメモリ６４が１チップ化された撮像素子を例示したが、本開示の技術はこれに限定されない。例えば、光電変換素子６１、処理回路６２、及びメモリ６４のうち、少なくとも光電変換素子６１及びメモリ６４が１チップ化されていればよい。

また、上記第１実施形態では、Ａ／Ｄ変換が行われて得られたデジタル非位相差画素データ６９Ｂ２に対して画像処理回路６２Ｃによって画像処理が行われ、画像処理が行われたデジタル非位相差画素データ６９Ｂ２が出力対象とされているが、本開示の技術はこれに限定されない。デジタル非位相差画素データ６９Ｂ２に対して画像処理を行わずに、Ａ／Ｄ変換が行われて得られたデジタル非位相差画素データ６９Ｂ２そのものを出力回路６２Ｄによって出力されるようにしてもよい。この場合、画像処理回路６２Ｃに代えて、撮像素子４４の後段回路である信号処理部５０及び／又はコントローラ４６によってデジタル非位相差画素データ６９Ｂ２に対して画像処理が行われるようにすればよい。

また、上記第１実施形態では、デジタル位相差画素データ６９Ｂ１に対して画像処理回路６２Ｃによって画像処理が行われていないが、本開示の技術はこれに限定されない。例えば、デジタル位相差画素データ６９Ｂ１に対して画像処理回路６２Ｃによって画像処理が行われるようにしてもよい。この場合、画像処理回路６２Ｃによって画像処理が行われたデジタル位相差画素データ６９Ｂ１が出力回路６２Ｄによって信号処理部５０に出力される。なお、画像処理回路６２Ｃによって画像処理が行われたデジタル非位相差画素データ６９Ｂ２は、本開示の技術に係る「画像データ」及び「位相差画素データに基づく第２画素データ」の一例である。

また、上記第１実施形態では、通信ライン５３を介して撮像素子４４と信号処理部５０との間において有線形式で通信が行われる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、撮像素子４４と信号処理部５０との間において無線形式で通信が行われるようにしてもよい。これと同様に、撮像素子４４とコントローラ４６との間において無線形式で通信が行われるようにしてもよいし、信号処理部５０とコントローラ４６との間において無線形式で通信が行われるようにしてもよい。

また、上記第１実施形態では、出力期間内での全てのフレームについてアナログ位相差画素データ６９Ａ１及びアナログ非位相差画素データ６９Ａ２が読み出される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図１６に示すように、出力期間内での全フレームのうちの１つの代表フレーム（図１６に示す例では１フレーム目）のみについて、アナログ位相差画素データ６９Ａ１及びアナログ非位相差画素データ６９Ａ２が読み出されるようにしてもよい。この場合、他のフレーム（図１６に示す例では、２フレーム目から４フレーム目）の各々についてはアナログ位相差画素データ６９Ａ１のみが読み出されるようにすればよい。これにより、代表フレーム以外のフレームについてはアナログ非位相差画素データ６９Ａ２の読み出しが行われないので、全てのフレームの各々についてアナログ位相差画素データ６９Ａ１及びアナログ非位相差画素データ６９Ａ２が読み出される場合に比べ、消費電力を低減することができる。

また、上記第１実施形態では、メモリ６４にデジタル位相差画素データ６９Ｂ１が記憶される毎に、次のフレームのデジタル位相差画素データ６９Ｂ１のメモリ６４への記憶を待つことなく、デジタル位相差画素データ６９Ｂ１が信号処理部５０に出力される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図１７に示すように、１つの出力期間内において全てのフレームのデジタル位相差画素データ６９Ｂ１がメモリ６４に記憶されるのを待ってから、全てのフレームのデジタル位相差画素データ６９Ｂ１が出力回路６２Ｄによって信号処理部５０に出力されるようにしてもよい。この場合、全てのフレームのデジタル位相差画素データ６９Ｂ１の信号処理部５０への出力が完了するのを待ってから、デジタル非位相差画素データ６９Ｂ２が出力回路６２Ｄによって信号処理部５０に出力されるようにすればよい。これにより、デジタル位相差画素データ６９Ｂ１の出力タイミングとデジタル非位相差画素データ６９Ｂ２の出力タイミングとを異ならせることができる。

また、上記第１実施形態では、各フレームの各々についてのデジタル位相差画素データ６９Ｂ１が出力回路６２Ｄによって信号処理部５０に出力される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、各フレームの各々について得られた複数のデジタル位相差画素データ６９Ｂ１の統計値に基づく画素データが出力回路６２Ｄによって信号処理部５０に出力されるようにしてもよい。これにより、各フレームの各々について得られた複数のデジタル位相差画素データ６９Ｂ１を信号処理部５０に出力する場合に比べ、撮像素子４４から信号処理部５０への出力データ量を少なくすることができる。

上記の統計値としては、出力期間内の各フレームの各々について得られた複数のデジタル位相差画素データ６９Ｂ１の加算平均値が挙げられる。ここでは、例えば、複数フレームのデジタル位相差画素データ６９Ｂ１間の位置が対応する画素間での加算平均値が算出されることで、複数フレームのデジタル位相差画素データ６９Ｂ１が、１フレーム分のデジタル位相差画素データ６９Ｂ１としてまとめられる。これにより、各フレームの各々について得られた複数のデジタル位相差画素データ６９Ｂ１を信号処理部５０に出力する場合に比べ、撮像素子４４から信号処理部５０への出力データ量を少なくすることができる。なお、上記の統計値の他の例としては、加算平均値の他に、中央値又は最頻値等が挙げられる。

［第２実施形態］
上記第１実施形態では、ＡＦ制御に用いるアナログ位相差画素データ６９Ａ１とＡＦ制御以外の用途で用いるアナログ非位相差画素データ６９Ａ２とが読み出される形態例を挙げて説明したが、本第２実施形態では、アナログ位相差画素データ６９Ａ１もＡＦ制御以外の用途で用いられる場合について説明する。なお、本第２実施形態では、上記第１実施形態と同一の構成要素については同一の符号を付し、その説明を省略する。以下では、主に上記第１実施形態と異なる部分について説明する。

一例として図４に示すように、本第２実施形態に係る撮像装置１０は、上記第１実施形態に係る撮像装置１０に比べ、コントローラ４６のＲＯＭ４６Ｂに画素データ処理プログラム４６Ｂ２に代えて画素データ処理プログラム４６Ｂ３が記憶されている点が異なる。

一例として図１９に示すように、本第２実施形態に係る撮像装置１０では、受付デバイス８４（図４参照）によって、撮像装置１０の動作モードを連写モードにする指示が受け付けられた場合に、コントローラ４６から制御回路６２Ｅに通信ライン５７を介して連写指示信号が供給される。連写指示信号とは、撮像素子４４に対して連写モードでの撮像を指示する信号を指す。

撮像装置１０が連写モードに設定された場合、一例として図２０に示すように、各出力期間において、１つの代表フレーム（図２０に示す例では、１フレーム目）について全てのアナログ画素データ６９Ａが第２読出回路６２Ａ２によって記録用画素データとして読み出される。図２０に示す例において、第２読出回路６２Ａ２は、１フレーム目について、光電変換素子６１の１行目から最終行にかけて順にアナログ画素データ６９Ａを読み出す。すなわち、位相差画素ライン６１Ａ及び非位相差画素ライン６１Ｂを含めて全ての水平ラインについてアナログ画素データ６９Ａの読み出しが行われる。

なお、ここでは、説明の便宜上、全ての水平ラインを対象として読み出しが行われる形態例を挙げて説明しているが、位相差画素及び非位相差画素Ｎを対象として、数行単位及び／又は数列単位で間引いてアナログ画素データ６９Ａが読み出されるようにしてもよい。

図２０に示す例において、１つの出力期間内において、２フレーム目以降は、第１読出回路６２Ａ１によってアナログ位相差画素データ６９Ａ１が読み出され、アナログ非位相差画素データ６９Ａ２の読み出しは行われない。

また、一例として図２０に示すように、撮像素子４４では、１フレーム分のアナログ画素データ６９Ａの読出期間において、他のフレームについてのアナログ位相差画素データ６９Ａ１の読み出しが第１読出回路６２Ａ１によって行われる。ここで言う「１フレーム分のアナログ画素データ６９Ａ」には、アナログ位相差画素データ６９Ａ１及びアナログ非位相差画素データ６９Ａ２が含まれる。

図２０に示す例では、１フレーム目の読出期間内にアナログ画素データ６９Ａが記録用画素データとして読み出されている間に、他の複数フレームについてアナログ位相差画素データ６９Ａ１が第１読出回路６２Ａ１によって読み出される。他の複数フレームとは、図２０に示す例において、２フレーム目から４フレーム目を指す。

なお、ここでは、１フレーム分の読出期間内にアナログ画素データ６９Ａが記録用画素データとして読み出されている間に他の複数フレームについてアナログ位相差画素データ６９Ａ１が第１読出回路６２Ａ１によって読み出されるが、本開示の技術はこれに限定されない。例えば、１フレーム分の読出期間内にアナログ画素データ６９Ａが記録用画素データとして読み出されている間に次の１フレームについてアナログ位相差画素データ６９Ａ１が第１読出回路６２Ａ１によって読み出されるようにしてもよい。

このように、１フレーム目の読出期間内にアナログ画素データ６９Ａが第２読出回路６２Ａ２によって記録用画素データとして読み出されると、一例として図２１に示すように、記録用画素データとして読み出されたアナログ画素データ６９Ａに対してＡ／Ｄ変換が行われる。これにより、アナログ画素データ６９Ａはデジタル画素データ６９Ｂに変換され、メモリ６４に記憶される。そして、メモリ６４に記憶されたデジタル画素データ６９Ｂは、出力回路６２Ｄによって信号処理部５０に出力される。

次に、本第２実施形態に係る撮像装置１０の作用について説明する。

先ず、撮像素子４４の処理回路６２によって出力期間内に実行される撮像素子内処理について図２２及び図２３を参照しながら説明する。

図２２に示す撮像素子内処理では、先ず、ステップＳＴ１００で、制御回路６２Ｅは、上記第１実施形態で説明したタイミング制御処理のステップＳＴ１２の処理が実行されることで出力された撮像用垂直同期信号を受け付けたか否かを判定する。ステップＳＴ１００において、撮像用垂直同期信号を受け付けていない場合は、判定が否定されて、撮像素子内処理はステップＳＴ１１２へ移行する。ステップＳＴ１００において、撮像用垂直同期信号を受け付けた場合は、判定が肯定されて、撮像素子内処理はステップＳＴ１０２へ移行する。

ステップＳＴ１０２で、制御回路６２Ｅは、読出回路６２Ａによって行われるアナログ画素データ６９Ａの読み出しが１フレーム目の読み出しか否かを判定する。ステップＳＴ１０２において、読出回路６２Ａによって行われるアナログ画素データ６９Ａの読み出しが２フレーム目以降の読み出しの場合は、判定が否定されて、撮像素子内処理は、図２３に示すステップＳＴ１１４へ移行する。ステップＳＴ１０２において、読出回路６２Ａによって行われるアナログ画素データ６９Ａの読み出しが１フレーム目の読み出しの場合は、判定が肯定されて、撮像素子内処理はステップＳＴ１０４へ移行する。ここで、読み出されたアナログ画素データ６９Ａには、１フレーム分のアナログ位相差画素データ６９Ａ１及び１フレーム分のアナログ非位相差画素データ６９Ａ２が含まれる。

ステップＳＴ１０４で、第２読出回路６２Ａ２は、光電変換素子６１から１フレーム分のアナログ画素データ６９Ａを読み出し、その後、撮像素子内処理はステップＳＴ１０６へ移行する。

ステップＳＴ１０６で、デジタル処理回路６２Ｂは、第２読出回路６２Ａ２によって読み出されたアナログ画素データ６９Ａに対してデジタル信号処理を施すことでアナログ画素データ６９Ａをデジタル画素データ６９Ｂに変換する。

次のステップＳＴ１０７で、制御回路６２Ｅは、デジタル処理回路６２Ｂからデジタル画素データ６９Ｂを取得し、取得したデジタル画素データ６９Ｂをメモリ６４に記憶し、その後、撮像素子内処理はステップＳＴ１１０へ移行する。なお、メモリ６４には、画像処理回路６２Ｃによって画像処理が行われたデジタル画素データ６９Ｂが記憶される。

メモリ６４にデジタル画素データ６９Ｂが記憶されると、制御回路６２Ｅによってメモリ６４からデジタル画素データ６９Ｂが取得され、取得されたデジタル画素データ６９Ｂは出力回路６２Ｄに転送される。

次のステップＳＴ１１０で、出力回路６２Ｄは、制御回路６２Ｅから入力されたデジタル画素データ６９Ｂを信号処理部５０に出力し、その後、撮像素子内処理はステップＳＴ１１２へ移行する。

図２３に示すステップＳＴ１１４で、第１読出回路６２Ａ１は、光電変換素子６１から１フレーム分のアナログ位相差画素データ６９Ａ１を読み出し、その後、撮像素子内処理はステップＳＴ１１６へ移行する。

ステップＳＴ１１６で、デジタル処理回路６２Ｂは、第１読出回路６２Ａ１によって読み出されたアナログ位相差画素データ６９Ａ１に対してデジタル信号処理を施すことでアナログ位相差画素データ６９Ａ１をデジタル位相差画素データ６９Ｂ１に変換する。

次のステップＳＴ１１８で、制御回路６２Ｅは、デジタル処理回路６２Ｂからデジタル位相差画素データ６９Ｂ１を取得し、取得したデジタル位相差画素データ６９Ｂ１をメモリ６４に記憶し、その後、撮像素子内処理はステップＳＴ１２０へ移行する。

ステップＳＴ１２０で、制御回路６２Ｅは、位相差画素データ出力タイミングが到来したか否かを判定する。位相差画素データ出力タイミングとは、メモリ６４内のデジタル位相差画素データ６９Ｂ１を信号処理部５０に出力するタイミングを指す。位相差画素データ出力タイミングは、同じ出力期間内の１フレーム目のデジタル画素データ６９Ｂの信号処理部５０への出力タイミングと重複しないタイミングであればよい。位相差画素データ出力タイミングとしては、例えば、同じ出力期間内の１フレーム目のデジタル画素データ６９Ｂの信号処理部５０への出力が完了したタイミングが挙げられる。

ステップＳＴ１２０において、位相差画素データ出力タイミングが到来していない場合は、判定が否定されて、ステップＳＴ１２０の判定が再び行われる。ステップＳＴ１２０において、位相差画素データ出力タイミングが到来した場合は、判定が肯定されて、撮像素子内処理はステップＳＴ１２２へ移行する。

ステップＳＴ１２２で、制御回路６２Ｅは、メモリ６４からデジタル位相差画素データ６９Ｂ１を取得し、取得したデジタル位相差画素データ６９Ｂ１を出力回路６２Ｄに転送する。出力回路６２Ｄは、制御回路６２Ｅから入力されたデジタル位相差画素データ６９Ｂ１を信号処理部５０に出力し、その後、撮像素子内処理は図２２に示すステップＳＴ１１２へ移行する。

ステップＳＴ１１２で、制御回路６２Ｅは、撮像素子内処理を終了する条件（以下、「撮像素子内処理終了条件」と称する）を満足したか否かを判定する。撮像素子内処理終了条件としては、例えば、撮像素子内処理を終了させる指示が受付デバイス８４（図４参照）によって受け付けられた、との条件が挙げられる。ステップＳＴ１１２において、撮像素子内処理終了条件を満足していない場合は、判定が否定されて、撮像素子内処理はステップＳＴ１００へ移行する。ステップＳＴ１１２において、撮像素子内処理終了条件を満足した場合は、判定が肯定されて、撮像素子内処理が終了する。

信号処理部５０では、撮像素子４４から入力されたデジタル画素データ６９Ｂに対して各種の信号処理が行われ、各種の信号処理が行われたデジタル画素データ６９Ｂがコントローラ４６に出力される。

次に、信号処理部５０からコントローラ４６にデジタル画素データ６９Ｂが入力された場合に画素データ処理プログラム４６Ｂ３に従ってＣＰＵ４６Ａによって実行される画素データ処理について図２４を参照しながら説明する。

図２４に示す画素データ処理では、先ず、ステップＳＴ２５０で、ＣＰＵ４６Ａは、信号処理部５０から入力されたデジタル画素データ６９Ｂが記録用画素データか否かを判定する。ここで言う「記録用画素データ」とは、１フレーム目のデジタル画素データ６９Ｂ（ステップＳＴ１１０で出力されたデジタル画素データ６９Ｂ）に対して信号処理部５０によって各種の信号処理が施された画素データを指す。また、ここで言う「１フレーム目のデジタル画素データ６９Ｂ」とは、出力期間内に第２読出回路６２Ａ２によって読み出された１フレーム目のアナログ画素データ６９Ａ（ステップＳＴ１０４で読み出されたアナログ画素データ６９Ａ）がデジタル化されることで得られたデジタル画素データ６９Ｂを指す。

ステップＳＴ２５０において、信号処理部５０から入力されたデジタル画素データ６９Ｂがデジタル位相差画素データ６９Ｂ１の場合は、判定が否定されて、画素データ処理はステップＳＴ２５６へ移行する。ステップＳＴ２５０において、信号処理部５０から入力されたデジタル画素データ６９Ｂが記録用画素データの場合は、判定が肯定されて、画素データ処理はステップＳＴ２５２へ移行する。

ステップＳＴ２５２で、ＣＰＵ４６Ａは、記録用画素データを既定の記録媒体に記録し、その後、画素データ処理はステップＳＴ２５４へ移行する。

ステップＳＴ２５４で、ＣＰＵ４６Ａは、ステップＳＴ２５０で既定の記録媒体に記録された記録用画素データを既定の記録媒体から取得し、記録用画素データを間引いてディスプレイ３２に出力し、その後、画素データ処理はステップＳＴ２５４へ移行する。記録用画素データの間引き方法としては、例えば、列方向に沿って偶数ライン又は奇数ラインを間引く方法が挙げられる。記録用画素データがディスプレイ３２に出力されると、ディスプレイ３２は、記録用画素データに基づく画像を表示する。

ステップＳＴ２５６で、ＣＰＵ４６Ａは、信号処理部５０から入力されたデジタル位相差画素データ６９Ｂ１を用いてＡＦ制御を実行し、その後、画素データ処理はステップＳＴ２６０へ移行する。

ステップＳＴ２６０で、ＣＰＵ４６Ａは、上記第１実施形態で説明した画素データ処理終了条件を満足したか否かを判定する。ステップＳＴ２６０において、画素データ処理終了条件を満足していない場合は、判定が否定されて、画素データ処理はステップＳＴ２５０へ移行する。ステップＳＴ２６０において、画素データ処理終了条件を満足した場合は、判定が肯定されて、画素データ処理が終了する。

以上説明したように、本第２実施形態に係る撮像素子４４では、１フレーム分の読出期間内に１フレーム分のアナログ位相差画素データ６９Ａ１及びアナログ非位相差画素データ６９Ａ２を含むアナログ画素データ６９Ａが記録用画素データとして第２読出回路６２Ａ２によって読み出される。そして、アナログ画素データ６９Ａが記録用画素データとして読み出されている間に他のフレームのアナログ位相差画素データ６９Ａ１が第１読出回路６２Ａによって読み出される。従って、アナログ画素データ６９Ａが記録用画素データとして読み出されるのを待ってからアナログ位相差画素データ６９Ａ１が読み出される場合に比べ、限られた時間内で、記録用画素データとしてのアナログ画素データ６９Ａ、及びアナログ位相差画素データ６９Ａ１を多く読み出すことができる。

また、本第２実施形態に係る撮像素子４４では、連写モードの場合にアナログ非位相差画素データ６９Ａ２が記録用画素データとして読み出される。従って、連写モードの場合に、記録用画素データとして読み出されたアナログ非位相差画素データ６９Ａ２がデジタル化されることで得られたデジタル非位相差画素データ６９Ｂ２を既定の記録媒体に記録することができる。

なお、上記第２実施形態では、連写モードの場合にアナログ非位相差画素データ６９Ａ２が記録用画素データとして読み出される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、既定条件を満足した場合にアナログ非位相差画素データ６９Ａ２が記録用画素データとして読み出されるようにしてもよい。上記の既定条件の第１の例としては、既定の記録媒体が外部Ｉ／Ｆ８２に電気的に接続された、との条件が挙げられる。上記の既定条件の第２の例としては、撮像装置１０が動画像記録用撮像モードに設定された、との条件が挙げられる。上記の既定条件の第３の例としては、撮像装置１０が静止画像記録用撮像モードに設定された、との条件が挙げられる。上記の既定条件の第４の例としては、撮像フレームレートが第１の既定フレームレート（例えば、１２０ｆｐｓ）よりも高いフレームレートに設定された、との条件が挙げられる。上記の既定条件の第５の例としては、出力フレームレートが第２の既定フレームレート（例えば、３０ｆｐｓ）よりも高いフレームレートに設定された、との条件が挙げられる。このように、既定条件を満足した場合にアナログ非位相差画素データ６９Ａ２が記録用画素データとして読み出されることで、常にアナログ非位相差画素データ６９Ａ２が記録用画素データとして読み出される場合に比べ、汎用性を高めることができる。

ところで、一例として図７に示すように、撮像レンズ４０の射出瞳を通過した左領域通過光３００Ｌは、第１位相差画素Ｌに対応するマイクロレンズ１９を通過し、第１位相差画素ＬのフォトダイオードＰＤによって受光される。しかし、左領域通過光３００Ｌは、第２位相差画素Ｒに対応するマイクロレンズ１９を通過しても遮光部材２１Ｂによって遮光されるので、第２位相差画素ＲのフォトダイオードＰＤによって受光されない。

一方、撮像レンズ４０の射出瞳を通過した右領域通過光３００Ｒは、第２位相差画素Ｒに対応するマイクロレンズ１９を通過し、第２位相差画素ＲのフォトダイオードＰＤによって受光される。しかし、右領域通過光３００Ｒは、第１位相差画素Ｌに対応するマイクロレンズ１９を通過しても遮光部材２１Ａによって遮光されるので、第１位相差画素ＬのフォトダイオードＰＤによって受光されない。

このように画素の半分に対して遮光部材が配置されている上、左領域通過光３００Ｌ及び右領域通過光３００Ｒの各々の中心が、撮像レンズ４０の光軸から偏倚しているため、第１位相差画素Ｌ及び第２位相差画素Ｒの各々では、水平ライン上の画素位置に応じて減光特性が線形的に変化する。減光特性の変化は、例えば、記録用画素データとしてデジタル位相差画素データ６９Ｂ１が採用される場合に、記録用画素データに基づく画像の出力の変化となって現れる。例えば、図２５に示すように、第１位相差画素Ｌから得られたデジタル位相差画素データ６９Ｂ１に基づく第１位相差画像は、右方向の画素位置ほど輝度が小さくなる。また、第２位相差画素Ｒから得られたデジタル位相差画素データ６９Ｂ１に基づく第２位相差画像は、左方向の画素位置ほど輝度が小さくなる。

そこで、位相差画素に起因して生じる減光特性を補正する補正係数が制御回路６２Ｅによって導出されるようにしてもよい。補正係数を導出するために、一例として図２６に示すように、制御回路６２Ｅは、算出回路６２Ｅ１を備えている。算出回路６２Ｅ１は、本開示の技術に係る「導出部（導出回路）」の一例であり、補正係数を算出する。補正係数は、第１位相差画素用補正係数と第２位相差画素用補正係数とに大別される。

第１位相差画素用補正係数とは、互いに隣接する非位相差画素Ｎと第１位相差画素Ｌとを対象とした場合の非位相差画素Ｎのデジタル非位相差画素データ６９Ｂ２に対する第１位相差画素Ｌのデジタル位相差画素データ６９Ｂ１の割合Ａ_ｎを指す。図２６に示す例では、割合Ａ_ｎの一例として、割合Ａ_０及び割合Ａ_１が示されている。

第２位相差画素用補正係数とは、互いに隣接する非位相差画素Ｎと第２位相差画素Ｒとを対象とした場合の非位相差画素Ｎのデジタル非位相差画素データ６９Ｂ２に対する第２位相差画素Ｒのデジタル位相差画素データ６９Ｂ１の割合Ｂ_ｎを指す。図２６に示す例では、割合Ｂ_ｎの一例として、割合Ｂ_０及び割合Ｂ_１が示されている。

算出回路６２Ｅ１によって算出された補正係数は、出力回路６２Ｄによって信号処理部５０に出力される。信号処理部５０では、一例として図２７に示すように、補正係数を用いて減光特性が補正される。このように、減光特性を補正する補正係数が算出回路６２Ｅ１によって算出され、算出された補正係数が出力回路６２Ｄによって信号処理部５０に出力されることで、デジタル位相差画素データ６９Ｂ１に基づく画像に現れる減光特性を補正することができる。

なお、ここでは、補正係数が算出される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、制御回路６２Ｅが、非位相差画素Ｎのデジタル非位相差画素データ６９Ｂ２及びデジタル位相差画素データ６９Ｂ１と補正係数とが対応付けられた対応付けテーブルを用いて補正係数を導出するようにしてもよい。

また、ここでは、補正係数が信号処理部５０に出力される形態例を挙げて説明したが、本開示の技術は、これに限定されず、例えば、画像処理回路６２Ｃ及び／又は制御回路６２Ｅが補正係数を用いて、デジタル位相差画素データ６９Ｂ１に基づく画像に現れる減光特性を補正するようにしてもよい。

上記各実施形態では、アナログ位相差画素データ６９Ａ１及びアナログ非位相差画素データ６９Ａ２に対して共用されるＡ／Ｄ変換器６２Ｂ１を例示したが、本開示の技術はこれに限定されず、複数のＡ／Ｄ変換器を適用してもよい。この場合、例えば、図２８に示すように、上記各実施形態で説明したデジタル処理回路６２Ｂ（図９及び図１９参照）に代えてデジタル処理回路６２０Ｂを適用する。デジタル処理回路６２０Ｂは、複数のＡ／Ｄ変換器を有する。ここで言う「複数のＡ／Ｄ変換器」には、第１Ａ／Ｄ変換器６２０Ｂ１及び第２Ａ／Ｄ変換器６２０Ｂ２が含まれている。第１Ａ／Ｄ変換器６２０Ｂ１は、アナログ位相差画素データ６９Ａ１のみに対して用いられるＡ／Ｄ変換器であり、第２Ａ／Ｄ変換器６２０Ｂ２は、アナログ非位相差画素データ６９Ａ２のみに対して用いられるＡ／Ｄ変換器である。第１Ａ／Ｄ変換器６２０Ｂ１及び第２Ａ／Ｄ変換器６２０Ｂ２の各々は、互いに独立してＡ／Ｄ変換を行う。従って、第１Ａ／Ｄ変換器６２０Ｂ１及び第２Ａ／Ｄ変換器６２０Ｂ２を用いることで、出力期間内において、アナログ位相差画素データ６９Ａ１のＡ／Ｄ変換とアナログ非位相差画素データ６９Ａ２のＡ／Ｄ変換とを並行して行うことができる。

上記各実施形態では、出力回路６２Ｄがデジタル位相差画素データ６９Ｂ１そのものを撮像素子４４から信号処理部５０に出力する形態例を挙げたが、本開示の技術はこれに限定されない。例えば、出力回路６２Ｄが相関データを信号処理部５０に出力するようにしてもよい。この場合、制御回路６２Ｅは、コントローラ４６から被写体光の入射角度の特性を示す情報、絞り値、及びデフォーカス量等の各種情報を取得する。制御回路６２Ｅは、取得した各種情報に従って、第１位相差画素Ｌに関するデジタル位相差画素データ６９Ｂ１の輝度と第２位相差画素Ｒに関するデジタル位相差画素データ６９Ｂ１の輝度とを補正する。すなわち、制御回路６２Ｅは、第１位相差画素Ｌに関するデジタル位相差画素データ６９Ｂ１及び第２位相差画素Ｒに関するデジタル位相差画素データ６９Ｂ１に対して感度比補正を行う。制御回路６２Ｅは、感度比補正されたデジタル位相差画素データ６９Ｂ１を用いて相関演算を行い、出力回路６２Ｄは、相関演算の結果である相関データを信号処理部５０に出力する。

このように、相関データが撮像素子４４から信号処理部５０に出力されることで、出力回路６２Ｄからデジタル位相差画素データ６９Ｂ１そのものが出力される場合に比べ、出力回路６２Ｄから信号処理部５０への出力データ量を少なくすることができる。この結果、ＡＦの高速化を図ることが可能となる。

なお、相関演算では、パターンマッチングを行うため、第１位相差画素Ｌに関するデジタル位相差画素データ６９Ｂ１の輝度と第２位相差画素Ｒに関するデジタル位相差画素データ６９Ｂ１の輝度とが同じ又は近似していることが好ましい。そのため、制御回路６２Ｅによって行われる相関演算は、正規化相互相関演算であってもよい。この場合、被写体の明るさに変動があったとしても、第１位相差画素Ｌに関するデジタル位相差画素データ６９Ｂ１と第２位相差画素Ｒに関するデジタル位相差画素データ６９Ｂ１との類似度を安定的に算出することができる。

上記各実施形態では、撮像フレームレートが固定されている場合について説明したが、本開示の技術はこれに限定されない。例えば、撮像フレームレートは、露光時間に連動して変更されるようにしてもよい。また、撮像フレームレートは、露光時間が短くになるに従って高くなるようにしてもよい。また、光電変換素子６１に対する露光は、露光開始後、読出回路６２Ａによる少なくとも１画素分のアナログ画素データ６９Ａの読み出しが完了してから再開されるようにしてもよい。また、読出回路６２Ａによるアナログ画素データ６９Ａの読出速度は、アナログ画素データ６９Ａを並行して読み出すフレームの数に応じて変更されるようにしてもよい。また、読出回路６２Ａは、アナログ画素データ６９ＡがＡ／Ｄ変換される場合のアナログ画素データ６９Ａのデータ量を、アナログ画素データ６９Ａを並行して読み出すフレームの数と、読み出したアナログ画素データ６９ＡをＡ／Ｄ変換するＡ／Ｄ変換器の個数とに応じて変更するようにしてもよい。

また、上記各実施形態では、処理回路６２がＡＳＩＣ及びＦＰＧＡを含むデバイスによって実現される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、上述した撮像処理は、コンピュータによるソフトウェア構成により実現されるようにしてもよい。

この場合、例えば、図２９に示すように、撮像素子４４に内蔵されたコンピュータ８５２に、上述した位相差画素処理、非位相差画素処理、及び撮像素子内処理を実行させるための各種プログラムを記憶媒体９００に記憶させておく。

各種プログラムとは、位相差画素処理プログラム９０２、非位相差画素処理プログラム９０４、及び撮像素子内処理プログラム９０６を指す。位相差画素処理プログラム９０２は、上述した位相差画素処理をコンピュータ８５２に実行させるためのプログラムである。非位相差画素処理プログラム９０４は、上述した非位相差画素処理をコンピュータ８５２に実行させるためのプログラムである。撮像素子内処理プログラム９０６は、上述した撮像素子内処理をコンピュータ８５２に実行させるためのプログラムである。

一例として図２９に示すように、コンピュータ８５２は、ＣＰＵ８５２Ａ、ＲＯＭ８５２Ｂ、及びＲＡＭ８５２Ｃを備えている。そして、記憶媒体９００に記憶されている各種プログラムは、コンピュータ８５２にインストールされる。ＣＰＵ８５２Ａは、位相差画素処理プログラム９０２に従って、上述した位相差画素処理を実行する。また、ＣＰＵ８５２Ａは、非位相差画素処理プログラム９０４に従って、上述した非位相差画素処理を実行する。更に、ＣＰＵ８５２Ａは、撮像素子内処理プログラム９０６に従って、上述した撮像素子内処理を実行する。

ここでは、ＣＰＵ８５２Ａとして、単数のＣＰＵを例示しているが、本開示の技術はこれに限定されず、ＣＰＵ８５２Ａに代えて複数のＣＰＵを採用してもよい。なお、記憶媒体は、非一時的記憶媒体である。記憶媒体９００の一例としては、ＳＳＤ又はＵＳＢメモリなどの任意の可搬型の記憶媒体が挙げられる。

図２９に示す例では、記憶媒体９００に各種プログラムが記憶されているが、本開示の技術はこれに限定されない。例えば、ＲＯＭ８５２Ｂに各種プログラムを予め記憶させておき、ＣＰＵ８５２ＡがＲＯＭ８５２Ｂから各種プログラムを読み出し、ＲＡＭ８５２Ｃに展開し、展開した各種プログラムを実行するようにしてもよい。

また、通信網（図示省略）を介してコンピュータ８５２に接続される他のコンピュータ又はサーバ装置等の記憶部に各種プログラムを記憶させておき、撮像装置１０の要求に応じて各種プログラムがコンピュータ８５２にダウンロードされるようにしてもよい。この場合、ダウンロードされた各種プログラムがコンピュータ８５２のＣＰＵ８５２Ａによって実行される。

また、コンピュータ８５２は、撮像素子４４の外部に設けられるようにしてもよい。この場合、コンピュータ８５２が各種プログラムに従って処理回路６２を制御するようにすればよい。

上記各実施形態で説明した位相差画素処理、非位相差画素処理、撮像素子内処理、タイミング制御処理、及び画素データ処理（以下、「各種処理」と称する）を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、上述したように、ソフトウェア、すなわち、プログラムを実行することで、各種処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。

各種処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、各種処理を実行するハードウェア資源は１つのプロセッサであってもよい。

１つのプロセッサで構成する例としては、第１に、クライアント及びサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、撮像装置内処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣなどに代表されるように、各種処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、撮像装置内処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。

更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。

また、上記各実施形態では、撮像装置１０としてレンズ交換式カメラを例示したが、本開示の技術はこれに限定されない。例えば、図３０に示すスマートデバイス９５０に対して本開示の技術を適用するようにしてもよい。一例として図３０に示すスマートデバイス９５０は、本開示の技術に係る撮像装置の一例である。スマートデバイス９５０には、上記実施形態で説明した撮像素子４４が搭載されている。このように構成されたスマートデバイス９５０であっても、上記各実施形態で説明した撮像装置１０と同様の作用及び効果が得られる。なお、スマートデバイス９５０に限らず、パーソナル・コンピュータ又はウェアラブル端末装置に対しても本開示の技術は適用可能である。

また、上記各実施形態では、ディスプレイ３２を例示したが、本開示の技術はこれに限定されない。例えば、撮像装置本体１２に対して後付けされた別体のディスプレイを、本開示の技術に係る「表示部（ディスプレイ）」として用いるようにしてもよい。

また、上記の各種処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (25)

1. 被写体の合焦状態に関するデータを取得可能な画素を含む撮像素子であって、
   第１フレームレートで前記被写体が撮像されることで得られた画素データを読み出し、かつ、前記撮像素子に内蔵された読出回路と、
   前記読出回路により読み出された画素データを記憶し、かつ、前記撮像素子に内蔵されたメモリと、
   前記メモリに記憶された画素データに基づく画像データを第２フレームレートで出力し、かつ、前記撮像素子に内蔵された出力回路と、を含み、
   前記第１フレームレートは、前記第２フレームレートよりも高いフレームレートであり、
   前記画素データは、前記被写体の合焦状態に関するデータである合焦関連画素データと、前記合焦関連画素データとは異なる非合焦関連画素データと、を含み、
   前記読出回路は、前記画像データが１フレーム分出力される期間として前記第２フレームレートで規定された出力期間内に、複数のフレームの各々の前記画素データを並行して読み出し、かつ、前記出力期間内に、前記非合焦関連画素データの読み出しと、複数回の前記合焦関連画素データの読み出しとを行う
   撮像素子。
2. 前記読出回路は、前記非合焦関連画素データの読み出しと、前記合焦関連画素データの読み出しとを並行して行う請求項１に記載の撮像素子。
3. 前記読出回路は、前記画素データをライン単位で読み出す請求項１又は請求項２に記載の撮像素子。
4. 前記合焦関連画素データは、前記画素の画素データであり、
   前記非合焦関連画素データは、前記画素とは異なる非合焦関連画素の画素データである請求項１から請求項３の何れか一項に記載の撮像素子。
5. 前記非合焦関連画素データの読み出しは、前記非合焦関連画素からの前記非合焦関連画素データの読み出しであり、
   複数回の前記合焦関連画素データの読み出しは、前記画素からの複数回の前記合焦関連画素データの読み出しである請求項４に記載の撮像素子。
6. 前記画素を含む複数の第１ラインと前記非合焦関連画素のみからなる複数の第２ラインとが配列された撮像面を含み、
   前記読出回路は、前記複数の第１ラインに含まれる前記画素の各々から前記合焦関連画素データを読み出す第１読出回路と、前記複数の第２ラインに含まれる前記非合焦関連画素の各々から前記非合焦関連画素データを読み出す第２読出回路と、を有する請求項４又は請求項５に記載の撮像素子。
7. 前記第１読出回路による前記画素からの前記合焦関連画素データの読み出しと、前記第２読出回路による前記非合焦関連画素からの前記非合焦関連画素データの読み出しとが独立して行われる請求項６に記載の撮像素子。
8. １フレーム分の読出期間内において、前記第１読出回路による前記画素からの前記合焦関連画素データの読み出しは、前記第２読出回路による前記非合焦関連画素からの前記非合焦関連画素データの読み出しよりも先に行われる請求項７に記載の撮像素子。
9. 前記第１ラインは、前記画素と前記非合焦関連画素とが周期的に配列されたラインである請求項６から請求項８の何れか一項に記載の撮像素子。
10. 前記撮像面において、前記第１ラインと、前記第１ラインのライン方向に交差する方向に沿って既定ライン数分の前記第２ラインとが交互に配列されている請求項６から請求項９の何れか一項に記載の撮像素子。
11. 前記読出回路は、１フレーム分の読出期間内に１フレーム分の前記非合焦関連画素データを記録用画素データとして読み出し、前記記録用画素データとして前記非合焦関連画素データが読み出されている間に前記合焦関連画素データを読み出す請求項１から請求項１０の何れか一項に記載の撮像素子。
12. 前記読出回路は、１フレーム分の読出期間内に前記非合焦関連画素データ及び前記合焦関連画素データを表示用画素データとして読み出し、既定条件を満足した場合に前記非合焦関連画素データを前記記録用画素データとして読み出す請求項１１に記載の撮像素子。
13. 前記読出回路は、連写モードの場合に前記非合焦関連画素データを前記記録用画素データとして読み出す請求項１１に記載の撮像素子。
14. 前記画素に起因して生じる減光特性を補正する補正係数を前記合焦関連画素データに基づいて導出する導出回路を更に含み、
    前記出力回路は、前記導出回路により導出された前記補正係数を出力する請求項１から請求項１３の何れか一項に記載の撮像素子。
15. 前記画像データは、前記非合焦関連画素データに基づく第１画素データと、複数回の前記合焦関連画素データの読み出しにより得られた前記合焦関連画素データに基づく第２画素データと、を含み、
    前記出力回路は、１フレーム分の前記画像データを出力する場合、前記第１画素データと前記第２画素データとを異なるタイミングで出力する請求項１から請求項１４の何れか一項に記載の撮像素子。
16. 前記出力回路は、前記第２画素データの出力が完了してから、前記第１画素データを出力する請求項１５に記載の撮像素子。
17. 前記画像データは、前記非合焦関連画素データに基づく画素データと、複数回の前記合焦関連画素データの読み出しにより得られた前記合焦関連画素データの統計値に基づく画素データと、を含む請求項１から請求項１６の何れか一項に記載の撮像素子。
18. 前記統計値は、前記合焦関連画素データの加算平均値である請求項１７に記載の撮像素子。
19. 前記合焦関連画素データ及び前記非合焦関連画素データに対して共用されるＡ／Ｄ変換器を含み、
    前記Ａ／Ｄ変換器は、前記合焦関連画素データ及び前記非合焦関連画素データについて、異なるタイミングでＡ／Ｄ変換を行う請求項１から請求項１８の何れか一項に記載の撮像素子。
20. 複数のＡ／Ｄ変換器を含み、
    前記複数のＡ／Ｄ変換器は、前記合焦関連画素データのみに対して用いられる第１Ａ／Ｄ変換器と前記非合焦関連画素データのみに対して用いられる第２Ａ／Ｄ変換器と、を含む請求項１から請求項１８の何れか一項に記載の撮像素子。
21. 少なくとも光電変換素子と前記メモリとが１チップ化された請求項１から請求項２０の何れか一項に記載の撮像素子。
22. 前記撮像素子は、前記光電変換素子に前記メモリが積層された積層型撮像素子である請求項２１に記載の撮像素子。
23. 請求項１から請求項２２の何れか一項に記載の撮像素子と、
    前記出力回路により出力された前記画像データに基づく画像をディスプレイに対して表示させる制御、及び前記出力回路により出力された前記画像データを記憶装置に対して記憶させる制御のうちの少なくとも一方を行うプロセッサと、
    を含む撮像装置。
24. 被写体の合焦状態に関するデータを取得可能な画素と、第１フレームレートで前記被写体が撮像されることで得られた画素データを読み出す読出回路と、前記読出回路により読み出された画素データを記憶するメモリと、前記メモリに記憶された画素データに基づく画像データを第２フレームレートで出力する出力回路と、を含み、前記読出回路、前記メモリ、及び前記出力回路が内蔵された撮像素子の作動方法であって、
    前記第１フレームレートは、前記第２フレームレートよりも高いフレームレートであり、
    前記画素データは、前記被写体の合焦状態に関するデータである合焦関連画素データと、前記合焦関連画素データとは異なる非合焦関連画素データと、を含み、
    前記読出回路は、前記画像データが１フレーム出力される期間として前記第２フレームレートで規定された出力期間内に、複数のフレームの各々の前記画素データを並行して読出し、かつ、前記出力期間内に、前記非合焦関連画素データの読み出しと、複数回の前記合焦関連画素データの読み出しとを行うことを含む、撮像素子の作動方法。
25. 被写体の合焦状態に関するデータを取得可能な画素と、第１フレームレートで前記被写体が撮像されることで得られた画素データを読み出す読出回路と、前記読出回路により読み出された画素データを記憶するメモリと、前記メモリに記憶された画素データに基づく画像データを第２フレームレートで出力する出力回路と、を含み、前記読出回路、前記メモリ、及び前記出力回路が内蔵された撮像素子に含まれる前記読出回路及び前記出力回路としてコンピュータを機能させるためのプログラムであって、
    前記第１フレームレートは、前記第２フレームレートよりも高いフレームレートであり、
    前記画素データは、前記被写体の合焦状態に関するデータである合焦関連画素データと、前記合焦関連画素データとは異なる非合焦関連画素データと、を含み、
    前記読出回路は、前記画像データが１フレーム出力される期間として前記第２フレームレートで規定された出力期間内に、複数のフレームの各々の前記画素データを並行して読出し、かつ、前記出力期間内に、前記非合焦関連画素データの読み出しと、複数回の前記合焦関連画素データの読み出しとを行う
    プログラム。