WO2020230675A1

WO2020230675A1 - 撮像素子および電子機器

Info

Publication number: WO2020230675A1
Application number: PCT/JP2020/018455
Authority: WO
Inventors: 泰志片山
Original assignee: ソニーセミコンダクタソリューションズ株式会社
Priority date: 2019-05-10
Filing date: 2020-05-01
Publication date: 2020-11-19
Also published as: CN113692647A; TW202044566A; US11930287B2; US20220232183A1; EP3968377A1; KR20220006522A; JPWO2020230675A1; EP3968377A4

Abstract

撮像素子は、格子状の配列で配置される複数の光電変換素子（１１０）と、複数の光電変換素子のうち互いに隣接して配置される２以上の光電変換素子からなる素子の組のそれぞれに１対１に設けられる複数のレンズ（３０）と、を有する受光部（１１）を備える。受光部は、それぞれが、素子の組と、複数のレンズのうち素子の組に設けられるレンズと、を含む複数の画素セットのうち互いに隣接する少なくとも２つの画素セットの瞳補正量が互いに異なる。

Description

撮像素子および電子機器

　本発明は、撮像素子および電子機器に関する。

　それぞれマイクロレンズを備える複数の画素が配列された画素アレイに対して主レンズからの光を照射する構成が知られている。この構成において、各画素の主レンズの光軸位置に対する像高に応じて画素に対する入射瞳径が変化し、画素に対して照射される光量が変化する。そのため、各画素のマイクロレンズなどの位置を像高に応じてずらすことにより入射瞳径の変化を抑制する瞳補正の技術が知られている。

　また、上述の画素アレイにおいて行方向（または列方向）に配列される複数の画素の画素信号による位相差に基づきオートフォーカス（ＡＦ）処理や視差検出を行う、像面位相差ＡＦ方式が知られている。

特開２０１７－１８８６３３号公報特開２０１８－０１４４７６号公報

　既存技術では、１つの画素アレイに含まれる各画素に対する瞳補正の補正量は、各画素で固定的とされていた。一方、当該画素アレイが一般的なカメラに搭載される場合、レンズ交換やズーム操作などにより主レンズが変更された場合に、主レンズの入射瞳径が変化する。このように、主レンズの入射瞳径が変わるような場合、適切に瞳補正がなされず、画像信号の位相差を高精度に取得することが難しくなる。

　本開示は、画像信号の位相差をより広い入射瞳径の範囲で高精度に取得可能とする撮像素子および電子機器を提供することを目的とする。

　本開示に係る撮像素子は、格子状の配列で配置される複数の光電変換素子と、複数の光電変換素子のうち互いに隣接して配置される２以上の光電変換素子からなる素子の組のそれぞれに１対１に設けられる複数のレンズと、を有する受光部を備え、受光部は、それぞれが、素子の組と、複数のレンズのうち素子の組に設けられるレンズと、を含む複数の画素セットのうち互いに隣接する少なくとも２つの画素セットの瞳補正量が互いに異なる。

各実施形態に共通して適用可能な電子機器の一例の構成を示すブロック図である。各実施形態に共通して適用可能な撮像素子の基本的な構成例を示すブロック図である。一般的に用いられるベイヤ配列の例を示す図である。第１の実施形態に適用可能な画素構成の例を示す図である。各実施形態に適用可能な、２個の画素に対して１個のＯＣＬが設けられた例を概略的に示す図である。各実施形態に適用可能な画素セットの断面を概略的に示す図である。像面位相差ＡＦ方式を実現するための既存技術による方法の第１の例を説明するための図である。像面位相差ＡＦ方式を実現するための既存技術による方法の第２の例を説明するための図である。像面位相差ＡＦ方式を実現するための既存技術による方法の第２の例を説明するための図である。第１の実施形態に係る画素構成の一例を示す図である。図１０は、画素アレイ部を概略的に示す図である。第１の実施形態に係る、強い瞳補正を行う画素セットの断面を概略的に示す図である。第１の実施形態に係る、弱い瞳補正を行う画素セットの断面を概略的に示す図である。第１の実施形態に係る、１つの画素ブロックにおいて複数の瞳補正量により瞳補正を行う場合の効果を説明するための図である。画素アレイ部における、像高中心に対する方向が異なる各領域の例を示す図である。第１の実施形態に係る、領域Ｃにおける瞳補正の例を示す図である。第１の実施形態に係る、領域Ｌにおける瞳補正の例を示す図である。第１の実施形態に係る、領域Ｒにおける瞳補正の例を示す図である。第１の実施形態に係る、領域ＣＢにおける瞳補正の例を示す図である。第１の実施形態に係る、領域ＣＴにおける瞳補正の例を示す図である。第１の実施形態に係る、領域ＬＴにおける瞳補正の例を示す図である。第１の実施形態に係る、領域ＲＢにおける瞳補正の例を示す図である。第１の実施形態に係る、各画素ブロックそれぞれにおいて、各画素から信号を読み出す第１の方法を説明するための図である。第１の実施形態に係る、各画素ブロックそれぞれにおいて、各画素から信号を読み出す第２の方法を説明するための図である。第１の実施形態に適用可能な、画素セット間での混色を抑制するための画素の構成の第１の例を示す断面図である。第１の実施形態に適用可能な、画素セット間での混色を抑制するための画素の構成の第２の例を示す断面図である。第１の実施形態に適用可能な、各画素ブロックの境界に配置された遮光体の例を示す図である。第１の実施形態に適用可能な、各画素セットの境界に配置された遮光体の例を示す図である。第１の実施形態の変形例に係る、領域Ｃにおける瞳補正の例を示す図である。第１の実施形態の変形例に係る、領域ＣＴにおける瞳補正の例を示す図である。第１の実施形態の変形例に係る、領域ＣＢにおける瞳補正の例を示す図である。第１の実施形態の変形例に係る、領域Ｌにおける瞳補正の例を示す図である。第１の実施形態の変形例に係る、領域Ｒにおける瞳補正の例を示す図である。第１の実施形態の変形例に係る、領域ＬＴにおける瞳補正の例を示す図である。第１の実施形態の変形例に係る、領域ＲＢにおける瞳補正の例を示す図である。第２の実施形態に適用可能な画素構成の例を示す図である。第２の実施形態に係る、領域Ｃにおける瞳補正の例を示す図である。第２の実施形態に係る、領域Ｌにおける瞳補正の例を示す図である。第２の実施形態に係る、領域Ｒにおける瞳補正の例を示す図である。第２の実施形態に係る、領域ＣＴにおける瞳補正の例を示す図である。第２の実施形態に係る、領域ＣＢにおける瞳補正の例を示す図である。第２の実施形態に係る、領域ＬＴにおける瞳補正の例を示す図である。第２の実施形態に係る、領域ＲＢにおける瞳補正の例を示す図である。第２の実施形態の変形例に係る、領域Ｃにおける瞳補正の例を示す図である。第２の実施形態の変形例に係る、領域Ｌにおける瞳補正の例を示す図である。第２の実施形態の変形例に係る、領域Ｒにおける瞳補正の例を示す図である。第２の実施形態の変形例に係る、領域ＣＴにおける瞳補正の例を示す図である。第２の実施形態の変形例に係る、領域ＣＢにおける瞳補正の例を示す図である。第２の実施形態の変形例に係る、領域ＬＴにおける瞳補正の例を示す図である。第２の実施形態の変形例に係る、領域ＲＢにおける瞳補正の例を示す図である。第１の実施形態およびその変形例、ならびに、第２の実施形態およびその変形例に係る撮像素子を使用する使用例を示す図である。本開示に係る技術が適用され得る、カプセル型内視鏡を用いた患者の体内情報取得システムの概略的な構成の一例を示すブロック図である。本開示に係る技術が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。カメラヘッドおよびＣＣＵの機能構成の一例を示すブロック図である。本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。撮像部の設置位置の例を示す図である。

　以下、本開示の実施形態について、図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより、重複する説明を省略する。

（各実施形態に共通して適用可能な構成）
　図１は、各実施形態に共通して適用可能な電子機器の一例の構成を示すブロック図である。図１において、電子機器１は、光学系２と、制御部３と、撮像素子４と、画像処理部５と、メモリ６と、記憶部７と、表示部８と、インタフェース（Ｉ／Ｆ）部９と、入力デバイス１０と、を備える。

　ここで、電子機器１としては、デジタルスチルカメラ、デジタルビデオカメラ、撮像機能付きの携帯電話やスマートフォンなどを適用することができる。また、電子機器１として、監視カメラや車載用カメラ、医療用のカメラなどを適用することも可能である。

　撮像素子４は、例えば格子状の配列で配置される複数の光電変換素子を含む。光電変換素子は、受光した光を光電変換にて電荷に変換する。撮像素子４は、この複数の光電変換素子を駆動する駆動回路と、複数の光電変換素子それぞれから電荷を読み出し、読み出した電荷に基づき画像データを生成する信号処理回路と、を含む。

　光学系２は、１または複数枚のレンズの組み合わせによる主レンズと、主レンズを駆動するための機構と、を含み、被写体からの像光（入射光）を、主レンズを介して撮像素子４の受光面上に結像させる。また、光学系２は、制御信号に従いフォーカスを調整するオートフォーカス機構や、制御信号に従いズーム率を変更するズーム機構を備える。また、電子機器１は、光学系２を着脱可能とし、他の光学系２と交換できるようにしてもよい。

　画像処理部５は、撮像素子４から出力された画像データに対して所定の画像処理を実行する。例えば、画像処理部５は、フレームメモリなどによるメモリ６が接続され、撮像素子４から出力された画像データをメモリ６に書き込む。画像処理部５は、メモリ６に書き込まれた画像データに対して所定の画像処理を実行し、画像処理された画像データを再びメモリ６に書き込む。

　記憶部７は、例えばフラッシュメモリやハードディスクドライブなどの不揮発性のメモリであって、画像処理部５から出力された画像データを不揮発に記憶する。表示部８は、例えばＬＣＤ(Liquid　Crystal　Display)といった表示デバイスと、当該表示デバイスを駆動する駆動回路と、を含み、画像処理部５が出力された画像データに基づく画像を表示することができる。Ｉ／Ｆ部９は、画像処理部５から出力された画像データを外部に送信するためのインタフェースである。Ｉ／Ｆ部９としては、例えばＵＳＢ(Universal　Serial　Bus)を適用することができる。これに限らず、Ｉ／Ｆ部９は、有線通信または無線通信によりネットワークに接続可能なインタフェースであってもよい。

　入力デバイス１０は、ユーザ入力を受け付けるための操作子などを含む。電子機器１が例えばデジタルスチルカメラ、デジタルビデオカメラ、撮像機能付きの携帯電話やスマートフォンであれば、入力デバイス１０は、撮像素子４による撮像を指示するためのシャッタボタン、あるいは、シャッタボタンの機能を実現するための操作子を含むことができる。

　制御部３は、例えばＣＰＵ(Central　Processing　Unit)などのプロセッサと、ＲＯＭ(Read　Only　Memory)およびＲＡＭ(Random　Access　Memory)を含み、ＲＯＭに予め記憶されたプログラムに従い、ＲＡＭをワークメモリとして用いて、この電子機器１の全体の動作を制御する。例えば、制御部３は、入力デバイス１０に受け付けられたユーザ入力に応じて、電子機器１の動作を制御することができる。また、制御部３は、画像処理部５の画像処理結果に基づき、光学系２におけるオートフォーカス機構を制御することができる。

　図２は、各実施形態に共通して適用可能な撮像素子４の基本的な構成例を示すブロック図である。図２において、撮像素子４は、画素アレイ部１１と、垂直走査部１２と、ＡＤ(Analog　to　Digital)変換部１３と、画素信号線１６と、垂直信号線１７と、出力部１８と、制御部１９と、信号処理部２０と、を含む。

　画素アレイ部１１は、それぞれ受光した光に対して光電変換を行う光電変換素子を有する複数の画素１１０を含む。光電変換素子としては、フォトダイオードを用いることができる。画素アレイ部１１において、複数の画素１１０は、水平方向（行方向）および垂直方向（列方向）に二次元格子状に配列される。画素アレイ部１１において、画素１１０の行方向の並びをラインと呼ぶ。この画素アレイ部１１において所定数のラインから読み出された画素信号により、１フレームの画像（画像データ）が形成される。例えば、３０００画素×２０００ラインで１フレームの画像が形成される場合、画素アレイ部１１は、少なくとも３０００個の画素１１０が含まれるラインを、少なくとも２０００ライン、含む。

　また、画素アレイ部１１には、各画素１１０の行および列に対し、行毎に画素信号線１６が接続され、列毎に垂直信号線１７が接続される。

　画素信号線１６の画素アレイ部１１と接続されない端部は、垂直走査部１２に接続される。垂直走査部１２は、後述する制御部１９の制御に従い、画素１１０から画素信号を読み出す際の駆動パルスなどの制御信号を、画素信号線１６を介して画素アレイ部１１へ伝送する。垂直信号線１７の画素アレイ部１１と接続されない端部は、ＡＤ変換部１３に接続される。画素から読み出された画素信号は、垂直信号線１７を介してをＡＤ変換部１３に伝送される。

　画素からの画素信号の読み出し制御について、概略的に説明する。画素からの画素信号の読み出しは、露光により光電変換素子に蓄積された電荷を浮遊拡散層（ＦＤ；Floating　Diffusion）に転送し、浮遊拡散層において転送された電荷を電圧に変換することで行う。浮遊拡散層において電荷が変換された電圧は、アンプを介して垂直信号線１７に出力される。

　より具体的には、画素１１０において、露光中は、光電変換素子と浮遊拡散層との間をオフ（開）状態として、光電変換素子において、光電変換により入射された光に応じて生成された電荷を蓄積させる。露光終了後、画素信号線１６を介して供給される選択信号に応じて浮遊拡散層と垂直信号線１７とを接続する。さらに、画素信号線１６を介して供給されるリセットパルスに応じて浮遊拡散層を電源電圧ＶＤＤまたは黒レベル電圧の供給線と短期間において接続し、浮遊拡散層をリセットする。垂直信号線１７には、浮遊拡散層のリセットレベルの電圧（電圧Ｐとする）が出力される。その後、画素信号線１６を介して供給される転送パルスにより光電変換素子と浮遊拡散層との間をオン（閉）状態として、光電変換素子に蓄積された電荷を浮遊拡散層に転送する。垂直信号線１７に対して、浮遊拡散層の電荷量に応じた電圧（電圧Ｑとする）が出力される。

　ＡＤ変換部１３は、垂直信号線１７毎に設けられたＡＤ変換器１３００と、参照信号生成部１４と、水平走査部１５と、を含む。ＡＤ変換器１３００は、画素アレイ部１１の各列（カラム）に対してＡＤ変換処理を行うカラムＡＤ変換器である。ＡＤ変換器１３００は、垂直信号線１７を介して画素１１０から供給された画素信号に対してＡＤ変換処理を施し、ノイズ低減を行う相関二重サンプリング（ＣＤＳ：Correlated　Double　Sampling）処理のための２つのディジタル値（電圧Ｐおよび電圧Ｑにそれぞれ対応する値）を生成する。

　ＡＤ変換器１３００は、生成した２つのディジタル値を信号処理部２０に供給する。信号処理部２０は、ＡＤ変換器１３００から供給される２つのディジタル値に基づきＣＤＳ処理を行い、ディジタル信号による画素信号（画素データ）を生成する。信号処理部２０により生成された画素データは、撮像素子４の外部に出力される。

　信号処理部２０から出力された画像データは、例えば画像処理部５に供給され、例えばフレームバッファであるメモリ６に順次記憶される。フレームバッファに１フレーム分の画素データが記憶されると、記憶された画素データが１フレームの画像データとしてフレームバッファから読み出される。

　参照信号生成部１４は、制御部１９から入力されるＡＤＣ制御信号に基づき、各ＡＤ変換器１３００が画素信号を２つのディジタル値に変換するために用いるランプ信号ＲＡＭＰを生成する。ランプ信号ＲＡＭＰは、レベル（電圧値）が時間に対して一定の傾きで低下する信号、または、レベルが階段状に低下する信号である。参照信号生成部１４は、生成したランプ信号ＲＡＭＰを、各ＡＤ変換器１３００に供給する。参照信号生成部１４は、例えばＤＡ(Digital　to　Analog)変換回路などを用いて構成される。

　水平走査部１５は、制御部１９の制御の下、各ＡＤ変換器１３００を所定の順番で選択する選択走査を行うことによって、各ＡＤ変換器１３００が一時的に保持している各ディジタル値を信号処理部２０へ順次出力させる。水平走査部１５は、例えばシフトレジスタやアドレスデコーダなどを用いて構成される。

　制御部１９は、垂直走査部１２、ＡＤ変換部１３、参照信号生成部１４および水平走査部１５などの駆動制御を行う。制御部１９は、垂直走査部１２、ＡＤ変換部１３、参照信号生成部１４および水平走査部１５の動作の基準となる各種の駆動信号を生成する。制御部１９は、外部（例えば制御部３）から供給される垂直同期信号または外部トリガ信号と、水平同期信号とに基づき、垂直走査部１２が画素信号線１６を介して各画素１１０に供給するための制御信号を生成する。制御部１９は、生成した制御信号を垂直走査部１２に供給する。

　垂直走査部１２は、制御部１９から供給される制御信号に基づき、画素アレイ部１１の選択された画素行の画素信号線１６に駆動パルスを含む各種信号を、ライン毎に各画素１１０に供給し、各画素１１０から、画素信号を垂直信号線１７に出力させる。垂直走査部１２は、例えばシフトレジスタやアドレスデコーダなどを用いて構成される。

　このように構成された撮像素子４は、ＡＤ変換器１３００が列毎に配置されたカラムＡＤ方式のＣＭＯＳ(Complementary　Metal　Oxide　Semiconductor)イメージセンサである。

（カラーフィルタ配列の概略）
　各画素１１０は、所定の波長帯域の光を選択的に透過させるフィルタを配置することができる。透過させる波長帯域が可視光領域の波長帯域の場合、当該フィルタは、カラーフィルタと呼ばれる。以下では、各画素１１０に対して、三原色を構成する赤色（Ｒ）、緑色（Ｇ）および青色（Ｂ）の各波長帯域のカラーフィルタを配置するものとする。これに限らず、各画素１１０に対して補色関係にある各色のカラーフィルタを配置してもよいし、赤外領域の波長帯域の光を選択的に透過させるフィルタや、可視光領域の全波長帯域の光を透過させるフィルタであってもよい。以下、特に記載の無い限り、これらの各種のフィルタを、カラーフィルタで代表させて説明を行う。

　図３は、一般的に用いられるベイヤ配列の例を示す図である。図３において、ベイヤ(Bayer)配列は、それぞれＧ色のカラーフィルタが配置される２つの画素１１０Ｇと、Ｒ色のカラーフィルタが配置される１つの画素１１０Ｒと、Ｂ色のカラーフィルタが配置される画素１１０Ｂと、を含む。ベイヤ配列においては、これら４つの画素が、２つの画素１１０Ｇが隣接しないように、２画素×２画素の格子状に配列されて構成される。換言すれば、ベイヤ配列は、同一波長帯域の光を透過させるカラーフィルタが配置された画素１１０が隣接しないような配列である。

　なお、以下では、特に記載の無い限り、「Ｒ色のカラーフィルタが配置される画素１１０Ｒ」を、「Ｒ色の画素１１０Ｒ」、あるいは、単に「画素１１０Ｒ」と呼ぶ。Ｇ色のカラーフィルタが配置される画素１１０Ｇ、および、Ｂ色のカラーフィルタが配置される画素１１０Ｂ、についても、同様である。また、カラーフィルタを特に問題にしない場合、各画素１１０Ｒ、１１０Ｇおよび１１０Ｂを、画素１１０で代表させて記述する。

　図４は、後述する第１の実施形態に適用可能な画素構成の例を示す図である。図４の画素構成では、同一色による２画素×２画素が格子状に配列された画素ブロックを単位とし、４個のＲ色の画素１１０Ｒと、４個のＧ色の画素１１０Ｇと、４個のＢ色の画素１１０Ｂと、による各画素ブロックが、ベイヤ配列に準じた画素配列にて配置されて構成されている。以下では、特に記載の無い限り、このような画素配列を、４分割ベイヤ型ＲＧＢ配列と呼ぶ。

　より具体的には、４分割ベイヤ型ＲＧＢ配列は、Ｒ色の画素１１０Ｒ、Ｇ色の画素１１０Ｇ、および、Ｂ色の画素１１０Ｂによる各画素ブロックが、画素１１０Ｒ、画素１１０Ｇおよび画素１１０Ｂの数が１：２：１の割合となり、且つ、同一色の画素による画素ブロックが隣接しないように、２×２の格子状に配列される。図４の例では、Ｂ色の画素１１０Ｂによる画素ブロックの左および下にＧ色の画素１１０Ｇによる画素ブロックが配置され、Ｂ色の画素１１０Ｂによる画素ブロックの対角に、Ｒ色の画素１１０Ｒによる画素ブロックが配置されている。

（各実施形態に共通して適用可能なＯＣＬの配置の概略）
　画素アレイ部１１に配置される各画素１１０は、ＯＣＬ(On　Chip　Lense)がそれぞれ設けられる。各実施形態においては、互いに隣接する複数の画素１１０に対して１個のＯＣＬが共通して設けられる。図５は、各実施形態に適用可能な、２個の画素１１０に対して１個のＯＣＬが設けられた例を概略的に示す図である。

　図５に示される、４分割ベイヤ型ＲＧＢ配列におけるＧ色の４個の画素１１０Ｇ₁、１１０Ｇ₂、１１０Ｇ₃および１１０Ｇ₄を例に取ってより具体的に説明する。図５において水平方向に互いに隣接する２個の画素１１０Ｇ₁および１１０Ｇ₂の組に対して１個のＯＣＬ３０が設けられている。同様に、水平方向に互いに隣接する２個の画素１１０Ｇ₃および１１０Ｇ₄の組に対して、１個のＯＣＬ３０が設けられている。Ｒ色の画素１１０ＲおよびＢ色の画素１１０Ｂについても同様に、図５において水平方向に互いに隣接する２個の画素１１０Ｒの組、および、互いに隣接する２個の画素１１０Ｂの組に対して、それぞれ１個のＯＣＬ３０が設けられている。

　なお、以下では、適宜、１個のＯＣＬ３０が共通して設けられる、互いに隣接する複数の画素１１０の組と、当該ＯＣＬ３０とを纏めて「画素セット」と呼ぶ。図５の例では、画素アレイ部１１の水平方向に隣接する２つの画素１１０を含んで画素セットが構成されている。なお、以下では、図５のような、画素１１０の２次元格子上の配置を示す各図において、図の左右方向を水平方向、図の上下方向を垂直方向として説明を行う。

　図６は、各実施形態に適用可能な画素セットの断面を概略的に示す図である。図６の例では、画素セットは、互いに隣接して配置される２つの画素１１０を含む。図６において、画素セットに含まれる２個の画素１１０は、それぞれ、概略的には、入射した光に応じて電荷を生成する光電変換部１１１の入射面に対してカラーフィルタ１１２が設けられた構造となっている。１つの画素セットに含まれる２つのカラーフィルタ１１２は、同一波長帯域の光を透過させる。この２個の画素１１０それぞれのカラーフィルタ１１２上に、当該２個の画素１１０に共通してＯＣＬ３０が設けられている。

（像面位相差ＡＦ方式について）
　次に、像面位相差ＡＦ方式について、概略的に説明する。像面位相差ＡＦ方式では、位置の異なる画素１１０から抽出した画素信号の位相差に基づきオートフォーカス制御や視差検出を行う。図５の例では、例えば１つのＯＣＬ３０を共通とする２つの画素１１０Ｇ₁および１１０Ｇ₂を含む画素セットについて、画素１１０Ｇ₁および１１０Ｇ₂それぞれによる各画素信号の位相差を検出し、検出された位相差に基づき例えばオートフォーカス制御を行うための情報を取得する。

　図７は、像面位相差ＡＦ方式を実現するための既存技術による方法の第１の例を説明するための図である。この第１の例では、１つの画素１１０ｗは、隣接して配置される２つの光電変換部１１１ｗａおよび１１１ｗｂを含んで構成される。光電変換部１１１ｗａおよび１１１ｗｂは、１つのカラーフィルタ１１２ａと、１つのＯＣＬ３１とが共通に設けられる。カラーフィルタ１１２ａと、当該カラーフィルタ１１２ａに隣接する、当該カラーフィルタ１１２ａとは透過させる波長帯域が異なる他のカラーフィルタ１１２ｂと、の間には遮光体１１３が設けられ、カラーフィルタ１１２ａとカラーフィルタ１１２ｂとの間での光の漏れ込みが抑制されている。

　このような構成において、例えば光電変換部１１１ｗａおよび１１１ｗｂそれぞれによる各画素信号の位相差を検出することで、像面位相差ＡＦや視差検出を実現できる。すなわち、図７の構成では、隣接して配置される２つの光電変換部１１１ｗａおよび１１１ｗｂを含む画素１１０ｗが位相差検出用の画素となる。以下、適宜、「位相差検出用の画素」を「位相差画素」と記述する。

　ここで、図７の例では、画素１１０ｗに含まれる各光電変換部１１１ｗａおよび１１１ｗｂによる入射面に対して、カラーフィルタ１１２ａ（遮光体１１３）およびＯＣＬ３１が、図７上で右方向に向けて、それぞれ所定の距離ずつずらして配置されている。これにより、当該入射面に対して斜め方向から入射される光４０に対する瞳補正がなされる。瞳補正を行うことで、光４０が当該入射面に入射される範囲４１を適正とすることができ、像面位相差ＡＦや視差検出の精度を向上させることができる。

　瞳補正の量、すなわち、入射面に対するカラーフィルタ１１２ａ（遮光体１１３）およびＯＣＬ３１のずらし量は、画素１１０ｗが配列される画素アレイにおける、主レンズの光軸位置に対する像高に応じて設定される。例えば、画素１１０ｗが配置される位置の像高が高いほど、瞳補正量を大きくする。当該画素アレイにおける主レンズの光軸位置に対応する位置（像高中心）に配置される画素１１０ｗの瞳補正量は、例えばゼロとする。

　この図７に示す構成によれば、瞳補正量が各像高毎に固定的である。そのため、精度を出すためには、その瞳補正量に対応するＥＰＤ(Exit　Pupil　Distance)の主レンズを用いる必要がある。したがって、レンズ交換などにより主レンズがＥＰＤの異なる他の主レンズに交換された場合や、ズーム動作によりＥＰＤが変わるような場合に、高精度を得ることが困難となる。

　図８Ａおよび図８Ｂは、像面位相差ＡＦ方式を実現するための既存技術による方法の第２の例を説明するための図である。この第２の例では、画素アレイにおいて、位相差画素を、画像を構成するための画素とは別個に設ける。図８Ａの例では、位相差画素の例として、画素１１０ａおよび１１０ｂの２つの画素が示されている。

　図８Ａにおいて、画素１１０ａおよび１１０ｂは、それぞれ１つの光電変換部１１１ａおよび１１１ｂを有する。画素１１０ａは、光電変換部１１１ａの入射面の図８Ａにおける右半分が遮光体５０を用いて遮光され、左半分が開口状態とている。一方、画素１１０ｂは、光電変換部１１１ｂの入射面の図８Ａにおける左半分が遮光体５０を用いて遮光され、右半分が開口状態とされている。

　これら画素１１０ａおよび１１０ｂを、光電変換部１１１ａおよび１１１ｂに対する遮光体５０の開口位置のずれ方向に沿って近接して（例えば隣接させて）配置する。画素１１０ａおよび１１０ｂそれぞれによる各画素信号の位相差を検出することで、像面位相差ＡＦや視差検出を実現できる。すなわち、この第２の例では、２つの画素１１０ａおよび１１０ｂにより、１つの位相差画素が構成されると考えることができる。

　ここで、図８Ａの例は、画素アレイの図８Ａ上における左端側に配置される画素１１０ａおよび１１０ｂを示している。画素１１０ａおよび１１０ｂは、光電変換部１１１ａおよび１１１ｂそれぞれの入射面に対して、各ＯＣＬ３１が図８Ａ上で右にずらされて配置され、画素アレイ上の位置（像高）に応じた瞳補正がなされている。

　この第２の例では、画素アレイ上において上述の画素１１０ａおよび１１０ｂと像高が略等しい位置に、瞳補正量が当該画素１１０ａおよび１１０ｂとは異なる他の位相差画素を設ける。

　図８Ｂは、この第２の例による他の位相差画素の例を示す図である。図８Ｂにおいて、位相差画素を構成する２つの画素１１０ａ’および１１０ｂ’は、図８Ａに示した画素１１０ａおよび１１０ｂに対して、より短いＥＰＤの主レンズに対応可能なように、より瞳補正量を多くした例である。

　図８Ｂにおいて、画素１１０ａ’は、図８Ａに示した画素１１０ａと比べて、光電変換部１１１ａ’の遮光体５０による開口部が左端側に向けてより狭くされている。一方、画素１１０ｂ’は、図８Ａに示した画素１１０ｂと比べて、光電変換部１１１ｂ’の遮光体５０による開口部が右方向に向けてより広くされている。すなわち、図８Ｂの構成は、図８Ａの画素１１０ａおよび１１０ｂが瞳補正可能な光４０ａおよび４０ｂと比較してより大きな角度で入射した光４０ａ’および４０ｂ’に対する瞳補正が可能とされている。

　第２の例では、このように、画素アレイに対して瞳補正量の異なる複数の位相差画素を配置することで、像面位相差ＡＦによるオートフォーカス処理が可能なＥＰＤの範囲を広げることが可能である。しかしながら、第２の例では、位相差画素は、画像を構成するための画素として用いられないため、瞳補正量の異なる位相差画素を多く配置すると、画像を構成するための画素数が減少し、画質が低下してしまう。

［第１の実施形態］
　次に、第１の実施形態について説明する。図９は、第１の実施形態に係る画素構成の一例を示す図である。なお、図９は、図１０に概略的に示す画素アレイ部１１において、像高中心に対して図１０上で左端側の領域Ｌにおける画素構成の例を示している。

　図９において、各画素１１０Ｒ、１１０Ｇおよび１１０Ｂは、図４を用いて説明した４分割ベイヤ型配列とされ、４つの画素１１０Ｒ、４つの画素１１０Ｇおよび４つの画素１１０Ｂにより、それぞれ画素ブロックが構成される。また、図５を用いて説明したように、各画素１１０Ｒ、１１０Ｇおよび１１０Ｂのうち、水平方向に隣接する同一色の２つの画素に１つのＯＣＬ３０が共通して配置され、画素セットが構成される。すなわち、各画素ブロックは、上段の２画素による画素セットと、下段の２画素による画素セットと、の２つの画素セットを含む。

　ここで、第１の実施形態では、各画素ブロックに含まれる２つの画素セットの瞳補正量が互いに異ならされる。より具体的には、各画素ブロックの、図９上で上段の画素セットでは、図９上において右方向の像高中心に向けて、より多い瞳補正量により強い瞳補正が行われる（以下、「強い瞳補正」と呼ぶ）。また、各画素ブロックの、図９上で下段の画素セットでは、図９上において右方向の像高中心に向けて、画素ブロックの上段の画素セットと比較して少ない瞳補正量により弱い瞳補正が行われる（以下、「弱い瞳補正」と呼ぶ）。

　このように、第１の実施形態では、同一色の画素１１０が２画素×２画素の配列で配置される画素ブロックにおいて、当該画素ブロックに含まれる２つの画素セットそれぞれで瞳補正量を異ならせている。そのため、ＥＰＤが異なる２種類の主レンズに対してそれぞれ適切に瞳補正を行うことが可能となる。

　図１１Ａおよび図１１Ｂを用いて、第１の実施形態に係る瞳補正について、より具体的に説明する。

　図１１Ａは、第１の実施形態に係る、強い瞳補正を行う画素セットの断面を概略的に示す図である。図１１Ａは、上述の図９に示す各画素ブロックの上段の画素セットの断面に対応する。例えば４個の画素１１０Ｇを含む画素ブロックに対し、図５を参照し、当該画素ブロックの上段の２つの画素１１０Ｇ₁および１１０Ｇ₂を含む画素セットを例にとって説明する。

　図１１Ａにおいて、画素１１０Ｇ₁および１１０Ｇ₂それぞれに設けられるカラーフィルタ１１２Ｇ₁および１１２Ｇ₂は、画素１１０Ｇ₁および１１０Ｇ₂それぞれの光電変換部１１１Ｇ₁および１１１Ｇ₂の各入射面に対して、像高中心（図１１Ａ上の右方向）に向けて位置をずらして配置される。さらに、画素１１０Ｇ₁および１１０Ｇ₂に共通に設けられるＯＣＬ３０は、カラーフィルタ１１２Ｇ₁および１１２Ｇ₂に対して像高中心に向けて位置をずらして配置される。

　このように、光電変換部１１１Ｇ₁および１１１Ｇ₂と、カラーフィルタ１１２Ｇ₁および１１２Ｇ₂と、ＯＣＬ３０と、をそれぞれ同一方向に位置をずらして配置する。これにより、各画素１１０Ｇ₁および１１０Ｇ₂において、光電変換部１１１Ｇ₁および１１１Ｇ₂の入射面に対して所定の入射角αで入射される光４０ｃに対する瞳補正が行われる。

　この瞳補正は、各カラーフィルタ１１２Ｇ₁および１１２Ｇ₂、ならびに、画素１１０Ｇ₁および１１０Ｇ₂に共通に設けられるＯＣＬ３０それぞれの、各光電変換部１１１Ｇ₁および１１１Ｇ₂に対するずらし量に応じた瞳補正量に基づき行われる。この瞳補正により、光４０ｃが光電変換部１１１Ｇ₁および１１１Ｇ₂の入射面に入射角αで入射される範囲４１ｃを適正とすることができる。

　図１１Ｂは、第１の実施形態に係る、弱い瞳補正を行う画素セットの断面を概略的に示す図である。図１１Ｂは、上述の図９に示す各画素ブロックの下段の画素セットの断面に対応する。例えば４個の画素１１０Ｇを含む画素ブロックに対し、図５を参照し、当該画素ブロックの下段の２つの画素１１０Ｇ₃および１１０Ｇ₄による画素セットを例にとって説明する。

　図１１Ｂにおいて、画素１１０Ｇ₃および１１０Ｇ₄それぞれに設けられるカラーフィルタ１１２Ｇ₃および１１２Ｇ₄は、画素１１０Ｇ₃および１１０Ｇ₄それぞれの光電変換部１１１Ｇ₃および１１１Ｇ₄の各入射面に対して、像高中心（図１１Ｂ上の右方向）に向けて、図１１Ａの場合よりも小さいずらし量で位置をずらして配置される。さらに、画素１１０Ｇ₃および１１０Ｇ₄に共通に設けられるＯＣＬ３０は、カラーフィルタ１１２Ｇ₃および１１２Ｇ₄に対して、像高中心に向けて、図１１Ａの場合よりも小さいずらし量で位置をずらして配置される。

　このように、光電変換部１１１Ｇ₃および１１１Ｇ₄と、カラーフィルタ１１２Ｇ₃および１１２Ｇ₄と、ＯＣＬ３０と、をそれぞれ同一方向に、図１１Ａの場合よりも小さいずらし量で位置をずらして配置する。これにより、各画素１１０Ｇ₃および１１０Ｇ₄において、光電変換部１１１Ｇ₃および１１１Ｇ₄の入射面に対して、入射角αより小さい所定の入射角βで入射される光４０ｄに対する瞳補正が行われる。

　この瞳補正は、各カラーフィルタ１１２Ｇ₃および１１２Ｇ₄、ならびに、画素１１０Ｇ₃および１１０Ｇ₄に共通に設けられるＯＣＬ３０それぞれの、各光電変換部１１１Ｇ₃および１１１Ｇ₄に対するずらし量に応じた瞳補正量に基づき行われる。この瞳補正により、光４０ｄが光電変換部１１１Ｇ₃および１１１Ｇ₄の入射面に入射される範囲４１ｄを適正とすることができる。

　なお、図１１Ａおよび図１１Ｂの構成において、例えば入射光を制限するための金属膜（メタルマスク）をさらに設けることができる。図１１Ａを例に取ると、各光電変換部１１１Ｒ、１１１Ｇ₁および１１１Ｇ₂と、各カラーフィルタ１１２Ｒ、１１２Ｇ₁および１１２Ｇ₂との間に、瞳補正量に応じて各光電変換部１１１Ｒ、１１１Ｇ₁および１１１Ｇ₂に対して位置がずらされた開口部を有するメタルマスクを設ける構成が考えられる。

　図１２は、第１の実施形態に係る、１つの画素ブロックにおいて複数の瞳補正量により瞳補正を行う場合の効果を説明するための図である。図１２は、主レンズによるＥＰＤに対するオートフォーカス（ＡＦ）および視差検出の精度を模式的に示す図である。図１２において、横軸は主レンズＥＰＤを示し、縦軸はＡＦおよび視差検出の精度（ＡＦ・視差検出精度）を示している。

　図１２において、特性線５１は、特定の主レンズによるＥＰＤに対応する瞳補正量で瞳補正を行った場合のＡＦ・視差検出精度の例を模式的に示している。特性線５１のピーク位置が主レンズによるＥＰＤに対応し、ＡＦ・視差検出精度は、主レンズによるＥＰＤに対してＥＰＤの方向に広がりを持って減衰する。

　図１２において、特性線５０ａは、強い瞳補正を行った場合の例を示し、特性線５０ｂは、弱い瞳補正を行った場合の例を示している。この例では、強い瞳補正は、特性線５０ａに示されるように、特性線５１が示す特定の主レンズによるＥＰＤに対して短いＥＰＤにピークを持つように設定されている。一方、弱い瞳補正は、特性線５０ｂに示されるように、特性線５１が示す特定の主レンズによるＥＰＤに対して長いＥＰＤにピークを持つように設定されている。

　ここで、必要とされるＡＦ・視差検出精度（必要精度）が、各特性線５０ａ、５０ｂおよび５１のピークに対して余裕を持って設定されているものとする。図１２の例では、必要精度が特性線５０ａおよび５０ｂの交点位置より低い精度に設定されている。

　この場合において、特定の主レンズによるＥＰＤに対応する瞳補正量で瞳補正を行った場合に必要精度を得ることができるＥＰＤの範囲を、特性線５１に基づき範囲Ａとする。この場合、例えば広角から望遠まで広い範囲でズームを行うと、広角側および望遠側それぞれの比較的広い範囲で、必要とされる精度でのオートフォーカスの実行が困難となる。

　これに対して、強い瞳補正と、弱い瞳補正とを組み合わせた場合、特性線５０ａおよび５０ｂに示されるように、強い瞳補正により必要精度を得ることができるＥＰＤの範囲と、弱い瞳補正により必要精度を得ることができるＥＰＤの範囲とに重複部分が生じる。これにより、強い瞳補正と、弱い瞳補正とを組み合わせた場合に、範囲Ａより広い範囲ＢのＥＰＤにおいて、必要精度を得ることができるようになる。したがって、上述した広角から望遠まで広い範囲でズームを行った場合でも、広角側および望遠側それぞれにおいて、必要とされる精度でオートフォーカスを実行することが可能である。

（第１の実施形態に係る瞳補正の具体例）
　上述では、図１０に示したように、画素アレイ部１１の像高中心に対して図１０上で左端側の領域Ｌを例にとって、第１の実施形態に係る瞳補正について説明した。実際には、画素アレイ部１１の像高中心に対する各方向において、像高および像高中心に向けた方向に応じた瞳補正が実行される。

　図１３は、画素アレイ部１１における、像高中心に対する方向が異なる各領域の例を示す図である。図１３において、領域Ｃは、像高中心に対応する領域である。領域ＬおよびＲは、それぞれ像高中心に対して水平方向の端部の領域である。領域ＣＴおよびＣＢは、それぞれ像高中心に対して垂直方向の端部の領域である。また、領域ＬＴおよびＲＢは、それぞれ像高中心に対して図１３上で左上および右下の端部（角部）の領域である。

　図１４Ａ～図１４Ｇを用いて、第１の実施形態に係る、上述した領域Ｃ、Ｌ、Ｒ、ＣＴ、ＣＢ、ＬＴおよびＲＢにおける瞳補正の方向の例について説明する。なお、図１４Ａ～図１４Ｇにおいて、右端の「無し」は、対応する行において瞳補正を行わないことを示している。また、右端の「強」は、対応する行において強い瞳補正を行うことを示し、「弱」は、対応する行において弱い瞳補正を行うことを示している。

　図１４Ａは、第１の実施形態に係る、領域Ｃにおける瞳補正の例を示す図である。領域Ｃにおいては、図１４Ａの各行の右端に示すように、各画素ブロックの各画素セットにおいて、瞳補正を行わない。

　図１４Ｂは、第１の実施形態に係る、領域Ｌにおける瞳補正の例を示す図である。図１４Ｂは、上述した図９と同様の図であって、領域Ｌでは、図１４Ｂ上で右側（像高中心）に向けて、各画素ブロックの上段の画素セットにおいて強い瞳補正、下段の画素セットにおいて弱い瞳補正を行う。

　図１４Ｃは、第１の実施形態に係る、領域Ｒにおける瞳補正の例を示す図である。領域Ｒでは、図１４Ｃ上で左側（像高中心）に向けて、各画素ブロックの上段の画素セットにおいて強い瞳補正、下段の画素セットにおいて弱い瞳補正を行う。

　図１４Ｄは、第１の実施形態に係る、領域ＣＢにおける瞳補正の例を示す図である。領域ＣＢでは、図１４Ｄ上で上側（像高中心）に向けて、各画素ブロックの上段および下段の画素セットにおいて同一の瞳補正量により瞳補正を行う。

　図１４Ｅは、第１の実施形態に係る、領域ＣＴにおける瞳補正の例を示す図である。領域ＣＴでは、図１４Ｅ上で下側（像高中心）に向けて、各画素ブロックの上段および下段の画素セットにおいて同一の瞳補正量により瞳補正を行う。

　図１４Ｆは、第１の実施形態に係る、領域ＬＴにおける瞳補正の例を示す図である。領域ＬＴでは、図１４Ｆ上で右斜め下側（像高中心）に向けて、各画素ブロックの上段の画素セットにおいて強い瞳補正、下段の画素セットにおいて弱い瞳補正を行う。図１４Ｆの例では、領域ＬＴにおいて、図１４Ｂの領域Ｌにおける瞳補正の方向（右側）と、図１４Ｅの領域ＣＴにおける瞳補正の方向（下側）とを組み合わせた方向で、瞳補正を行うものとしている。

　図１４Ｇは、第１の実施形態に係る、領域ＲＢにおける瞳補正の例を示す図である。領域ＲＢでは、図１４Ｇ上で左斜め上側（像高中心）に向けて、各画素ブロックの上段の画素セットにおいて強い瞳補正、下段の画素セットにおいて弱い瞳補正を行う。図１４Ｇの例では、領域ＲＢにおいて、図１４Ｃの領域Ｒにおける瞳補正の方向（左側）と、図１４Ｄの領域ＣＢにおける瞳補正の方向（上側）とを組み合わせた方向で、瞳補正を行うものとしている。

　なお、上述した像高中心に対する各方向に応じた瞳補正に加えて、像高に応じて瞳補正量を変更することができる。

　また、上述では、画素アレイ部１１に含まれる、領域Ｃ、ＣＴおよびＣＢを含む水平方向に所定の幅を持つ領域以外の全ての領域で、各画素ブロックが強い瞳補正を行う画素セットと弱い瞳補正を行う画素セットとを含むように説明したが、これはこの例に限定されない。例えば、画素アレイ部１１に含まれる、領域Ｃ、領域Ｃ、ＣＴおよびＣＢを含む水平方向に所定の幅を持つ領域以外の全ての領域において、少なくとも１つの画素ブロックが、強い瞳補正を行う画素セットと弱い瞳補正を行う画素セットとを含むような構成でもよい。

（第１の実施形態に係る各画素ブロックにおける読み出し方法）
　次に、第１の実施形態に係る、各画素ブロックにおける各画素１１０（光電変換部１１１）からの信号の読み出し方法について説明する。第１の実施形態では、各画素ブロックのそれぞれにおいて、各画素１１０から個別に信号を読み出す第１の読み出し方法と、各画素１１０の信号を加算して纏めて読み出す第２の読み出し方法と、を実行可能としている。

　図１５は、第１の実施形態に係る、各画素ブロックそれぞれにおいて、各画素１１０から信号を読み出す第１の方法を説明するための図である。図１５および後述する図１６では、図５の画素１１０Ｇ₁、１１０Ｇ₂、１１０Ｇ₃および１１０Ｇ₄を含む画素ブロックを例にとって説明を行う。ここで、画素ブロックは、各画素１１０Ｇ₁、１１０Ｇ₂、１１０Ｇ₃および１１０Ｇ₄が１つの浮遊拡散層を共有する構成となっている。

　第１の読み出し方法では、画素１１０Ｇ₁、１１０Ｇ₂、１１０Ｇ₃および１１０Ｇ₄において、順次に、上述した読み出し制御に従い光電変換素子（光電変換部１１１）から電荷を読み出す。

　すなわち、例えば、制御部１９の制御に従い、垂直走査部１２は、画素ブロックにおいて浮遊拡散層のリセットを行い、その後、画素１１０Ｇ₁において光電変換部１１１から電荷の読み出しを行い、読み出された電荷を浮遊拡散層に転送する。浮遊拡散層において、転送された電荷が電荷量に応じた電圧に変換されて、画素１１０Ｇ₁から読み出された画素信号として垂直信号線１７に出力される。

　次に、垂直走査部１２は、画素ブロックにおいて浮遊拡散層のリセットを行い、その後、画素１１０Ｇ₂において光電変換部１１１から電荷の読み出しを行い、読み出された電荷を浮遊拡散層に転送する。浮遊拡散層において、転送された電荷が電荷量に応じた電圧に変換されて、画素１１０Ｇ₂から読み出された画素信号として垂直信号線１７に出力される。

　垂直走査部１２は、画素１１０Ｇ₃および１１０Ｇ₄からの画素信号の読み出しも同様にして、それぞれ浮遊拡散層のリセットを行った後に、光電変換部１１１からの電荷の読み出しと、読み出した電荷の浮遊拡散層への転送とを実行する。

　各画素１１０Ｇ₁～１１０Ｇ₄から読み出された各画素信号は、それぞれ例えば画像処理部５に供給される。画像処理部５は、供給された各画素信号のうち、例えば画素セットを構成する２画素、例えば画素１１０Ｇ₁および１１０Ｇ₂の各画素信号や、画素１１０Ｇ₃および１１０Ｇ₄の各画素信号に基づき、水平方向における位相差を検出する。画像処理部５は、検出された位相差を示す情報を制御部３に渡す。

　制御部３は、画像処理部５から渡された位相差を示す情報に基づき、例えば像面位相差ＡＦを実行するための制御信号を生成する。制御部３は、この制御信号に基づき光学系２の制御を行い、光学系２に対してＡＦ動作を実行させる。これに限らず、制御部３は、画像処理部５から渡された位相差を示す情報に基づき、視差情報を求めることも可能である。

　図１６は、第１の実施形態に係る、各画素ブロックそれぞれにおいて、各画素１１０から信号を読み出す第２の方法を説明するための図である。第２の読み出し方法では、画素１１０Ｇ₁、１１０Ｇ₂、１１０Ｇ₃および１１０Ｇ₄において各光電変換部１１１に蓄積された電荷を画素ブロック内部で加算して読み出す。

　すなわち、例えば、制御部１９の制御に従い、垂直走査部１２は、画素ブロックにおいて浮遊拡散層のリセットを行い、その後、所定のタイミングで、画素１１０Ｇ₁～１１０Ｇ₄において各光電変換部１１１から電荷の読み出しを行い、読み出された電荷を浮遊拡散層に転送する。浮遊拡散層では、各光電変換部１１１から転送された電荷が加算部１２０において加算される。この場合、加算部１２０は、画素１１０Ｇ₁～１１０Ｇ₄に共通の浮遊拡散層に対応する。浮遊拡散層において、各光電変換部１１１から転送され加算された電荷が電荷量に応じた電圧に変換されて、各画素１１０Ｇ₁～１１０Ｇ₄の合計の画素信号として垂直信号線１７に出力される。

　各画素１１０Ｇ₁～１１０Ｇ₄の合計の画素信号は、例えば画像処理部５に供給される。画像処理部５は、供給された画素信号に対して所定の画像処理を施し、例えば１フレーム単位の画像データとしてメモリ６に格納する。例えば制御部３は、画像処理部５で画像処理されメモリ６に格納された画像データを記憶部７に記憶させ、また、表示部８に表示させる。制御部３は、当該画像データをＩ／Ｆ部９を介して外部に送信することもできる。

　これら第１の読み出し方法および第２の読み出し方法の活用例について、概略的に説明する。図１に示す電子機器１がデジタルスチルカメラである場合、シャッタボタンの押下操作は、一般的に、半押し操作でオートフォーカス動作が指示され、半押し操作に続く全押し操作で露光が指示される。そこで、制御部３は、入力デバイス１０としてのシャッタボタンに対する半押し操作に応じて上述した第１の読み出し方法を実行し、位相差に基づくオートフォーカスを実行する。その後のシャッタボタンに対する全押し操作に応じて上述した第２の読み出し方法を実行し、画素ブロックに含まれる４つの画素による電荷を合計した電荷に基づく画素信号を取得する。

　このような制御とすることで、例えばデジタルスチルカメラとしての電子機器１は、シャッタボタンの一連の操作に応じて、位相差に基づくオートフォーカス制御を実行し、複数の画素１１０単位での画素信号に基づく画像データを取得することが可能である。このとき、位相差に基づくオートフォーカスは、画素アレイ部１１に含まれる全ての画素１１０を用いて実行できるため、より高精度のオートフォーカス制御が可能である。また、取得される画像データは、画素ブロックに含まれる４つの画素１１０を纏めて得られた画素信号に基づき構成されるため、より明るい画面を実現できる。

　これに限らず、第１の実施形態に係る電子機器１は、第１の読み出し方法により、画素ブロックに含まれる各画素１１０による各画素信号を個別に読み出すことができる。そのため、第１の実施形態に係る電子機器１は、３Ｄ(Dimension)画像の生成を行うアプリケーションや、ライトフィールドカメラの機能を実現するためのアプリケーションを容易に搭載することが可能である。

（混色に対する対応）
　次に、第１の実施形態に適用可能な、画素間での混色に対する対応について説明する。第１の実施形態では、ある画素セットに対するＯＣＬ３０が、当該画素セットに隣接する、当該画素セットに含まれる各画素１１０に設けられるカラーフィルタ１１２とは異なる色のカラーフィルタ１１２が各画素１１０に設けられる画素セットに掛かる場合がある。この場合、主レンズの主光線入射角度（ＣＲＡ(Chief　Ray　Angle)）によっては、隣接する画素セットの間で混色が発生するおそれがある。

　図１７は、第１の実施形態に適用可能な、画素セット間（画素１１０間）での混色を抑制するための画素１１０の構成の第１の例を示す断面図である。なお、図１７は、便宜上、１つの光電変換部１１１に対して１つのＯＣＬ３１が設けられる構成を示している。

　図１７において、シリコンによる基板１０００の上側が基板１０００の裏面、下側が表面である。すなわち、基板１０００は、表面側に光電変換部１１１および各配線などが形成された後、裏返され、裏面に平坦化膜１０１１が形成される。平坦化膜１０１１に対して遮光体１１３とＲ色のカラーフィルタ１１２Ｒが形成される。カラーフィルタ１１２Ｒの左隣には、Ｇ色のカラーフィルタ１１２Ｇが形成されている。カラーフィルタ１１２Ｒおよび１１２Ｇに対して、ＯＣＬ３１が形成され、ＯＣＬ３１に対して保護膜１０１０が形成される。

　また、図１７において、光電変換部１１１に対して遮光体１１３およびカラーフィルタ１１２Ｒが図１７の右側にずらして形成され、ＯＣＬ３１がさらに右側にずらして配置されている。これにより、右上方向から左下方向に向けて入射する光に対する瞳補正が行われる。

　この構成によれば、光電変換部１１１に対して直接的にカラーフィルタ１１２Ｒおよび遮光体１１３が形成される。そのため、図１７の右上方向から左下方向に向けて、ＯＣＬ３１およびカラーフィルタ１１２Ｒを介して光電変換部１１１に入射する光の、左隣のカラーフィルタ１１２Ｇが設けられる光電変換部１１１への漏れ込みを抑制することができる。

　図１８は、第１の実施形態に適用可能な、画素セット間（画素１１０間）での混色を抑制するための画素１１０の構成の第２の例を示す断面図である。図１７と同様に、図１８は、便宜上、１つの光電変換部１１１に対して１つのＯＣＬ３１が設けられる構成を示している。また、シリコンによる基板１０００の表裏関係も、図１７の例と同様である。

　図１８において、シリコンによる基板１０００の上側が基板１０００の裏面、下側が表面である。図１８の例では、基板１０００は、上述と同様にして表面側に光電変換部１１１および各配線などが形成された後、裏返される。裏面側にトレンチによる遮光体１０２０が形成され、さらに平坦化膜１０１１が形成される。平坦化膜１０１１上の構成は、図１７の例と同様であるので、ここでの説明を省略する。

　この構成によれば、図１８の右上方向から左下方向に向けて、例えばカラーフィルタ１１２Ｒを介して光電変換部１１１に入射される光（矢印Ｃで示す）は、遮光体１０２０の表面で反射される（矢印Ｄで示す）。そのため、当該光電変換部１１１に入射する光の、隣接するカラーフィルタ１１２Ｇが設けられる光電変換部１１１への漏れ込みが抑制される。

　図１９および図２０は、第１の実施形態に適用可能な、図１８に例示する遮光体１０２０の配置の例を示す図である。

　図１９は、第１の実施形態に適用可能な、各画素ブロックの境界に配置された遮光体１０２０ａの例を示す図である。この図１９の遮光体１０２０ａは、色の異なるカラーフィルタ１１２が各画素１１０に設けられた画素ブロックへの光の漏れ込みを抑制するものであって、例えば図１６を用いて説明した第２の読み出し方法に対してより効果的である。例えば、この図１９に示す遮光体１０２０ａを用いることで、画素ブロック毎の画素信号に基づく画像データによる画像の画質を向上させることができる。

　図２０は、第１の実施形態に適用可能な、各画素セットの境界に配置された遮光体１０２０ｂの例を示す図である。この図２０の遮光体１０２０ｂは、位相差を検出する各画素セット間での光の漏れ込みを抑制するものであって、例えば図１５を用いて説明した第１の読み出し方法に対してより効果的である。例えば、この図２０に示す遮光体１０２０ｂを用いることで、位相差の検出をより高精度に行うことができる。また、この図２０に示す遮光体１０２０ｂは、上述した図１９に示した遮光体１０２０ａと同等の効果も得ることができる。

［第１の実施形態の変形例］
　次に、第１の実施形態の変形例について説明する。第１の実施形態の変形例では、画素ブロックにおける画素セットを、上述した第１の実施形態における画素セットとは異なる方向に隣接する画素１１０により構成する例である。より具体的には、例えば図９を例に取ると、上述した第１の実施形態における画素セットは、水平方向に隣接する２つの画素１１０により構成していた。これに対して、第１の実施形態の変形例では、垂直方向に隣接する２つの画素１１０により画素セットを構成する。

（第１の実施形態の変形例に係る瞳補正の具体例）
　図２１Ａ～図２１Ｇを用いて、第１の実施形態の変形例による画素セットについて説明すると共に、図１３に示した領域Ｃ、Ｌ、Ｒ、ＣＴ、ＣＢ、ＬＴおよびＲＢにおける瞳補正の方向の例について説明する。なお、図２１Ａ～図２１Ｇにおいて、下端の「無し」は、対応する列において瞳補正を行わないことを示している。また、下端の「強」は、対応する列において強い瞳補正を行うことを示し、「弱」は、対応する列において弱い瞳補正を行うことを示している。

　図２１Ａは、第１の実施形態の変形例に係る、領域Ｃにおける瞳補正の例を示す図である。ここで、図２１Ａに示すように、第１の実施形態の変形例では、２画素×２画素からなる各画素ブロックにおいて、垂直方向に隣接する２つの画素１１０Ｇ、垂直方向に隣接する２つの画素１１０Ｒ、および、垂直方向に隣接する２つの画素１１０Ｂ、によりそれぞれ画素セットが構成される。各画素セットに対して、それぞれ１つのＯＣＬ３０が設けられる。

　図２１Ａに示すように、領域Ｃにおいては、図２１Ａの各列の下端に示すように、各画素ブロックの各画素セットにおいて、瞳補正を行わない。

　図２１Ｂは、第１の実施形態の変形例に係る、領域ＣＴにおける瞳補正の例を示す図である。図２１Ｂは、領域ＣＴでは、図２１Ｂ上で下側（像高中心）に向けて、各画素ブロックの右側の画素セットにおいて強い瞳補正、左側の画素セットにおいて弱い瞳補正を行う。

　図２１Ｃは、第１の実施形態の変形例に係る、領域ＣＢにおける瞳補正の例を示す図である。領域ＣＢでは、図２１Ｃ上で上側（像高中心）に向けて、各画素ブロックの右側の画素セットにおいて強い瞳補正、左側の画素セットにおいて弱い瞳補正を行う。

　図２１Ｄは、第１の実施形態の変形例に係る、領域Ｌにおける瞳補正の例を示す図である。領域Ｌでは、図２１Ｄ上で右側（像高中心）に向けて、各画素ブロックの右側および左側の画素セットにおいて同一の瞳補正量により瞳補正を行う。

　図２１Ｅは、第１の実施形態の変形例に係る、領域Ｒにおける瞳補正の例を示す図である。領域Ｒでは、図２１Ｅ上で左側（像高中心）に向けて、各画素ブロックの右側および左側の画素セットにおいて同一の瞳補正量により瞳補正を行う。

　図２１Ｆは、第１の実施形態の変形例に係る、領域ＬＴにおける瞳補正の例を示す図である。領域ＬＴでは、図２１Ｆ上で右斜め下側（像高中心）に向けて、各画素ブロックの右側の画素セットにおいて強い瞳補正、左側の画素セットにおいて弱い瞳補正を行う。図２１Ｆの例では、領域ＬＴにおいて、図２１Ｂの領域ＣＴにおける瞳補正の方向（下側）と、図２１Ｄの領域Ｌにおける瞳補正の方向（右側）とを組み合わせた方向で、瞳補正を行うものとしている。

　図２１Ｇは、第１の実施形態の変形例に係る、領域ＲＢにおける瞳補正の例を示す図である。領域ＲＢでは、図２１Ｇ上で左斜め上側（像高中心）に向けて、各画素ブロックの右側の画素セットにおいて強い瞳補正、左側の画素セットにおいて弱い瞳補正を行う。図２１Ｇの例では、領域ＲＢにおいて、図２１Ｃの領域ＣＢにおける瞳補正の方向（上側）と、図２１Ｅの領域Ｒにおける瞳補正の方向（左側）とを組み合わせた方向で、瞳補正を行うものとしている。

　この第１の実施形態の変形例によれば、垂直方向の位相差情報に基づき像面位相差ＡＦや視差検出を、より高精度に実行できる。

［第２の実施形態］
　次に、第２の実施形態について説明する。上述した第１の実施形態およびその変形例では、２画素×２画素の４つの画素１１０により画素ブロックが構成されていた。これに対して、第２の実施形態では、ｎを３以上の整数とし、ｎ画素×ｎ画素の、（ｎ×ｎ）個の画素１１０により画素ブロックを構成する。また、画素ブロックにおける画素セットを、上述した第１の実施形態における画素セットと同様に、水平方向に隣接する２つの画素１１０により構成する。

　第２の実施形態では、１つの画素ブロックにおいて、３以上の異なる瞳補正量による瞳補正を実現できる。これにより、上述した第１の実施形態およびその変形例と比較して、主レンズによるＥＰＤのより広い範囲において、高い精度で像面位相差ＡＦや視差検出を実行することが可能となる。

　図２２は、第２の実施形態に適用可能な画素構成の例を示す図である。図２２の画素構成では、上述のｎ＝４とし、同一色による４画素×４画素が格子状に配列された画素ブロックを単位とし、１６個のＲ色の画素１１０Ｒと、１６個のＧ色の画素１１０Ｇと、１６個のＢ色の画素１１０Ｂと、による各画素ブロックが、ベイヤ配列に準じた画素配列にて配置されて構成されている。以下では、特に記載の無い限り、このような画素配列を、４分割ベイヤ型ＲＧＢ配列（ｎ＝４）と呼ぶ。

　より具体的には、４分割ベイヤ型ＲＧＢ配列（ｎ＝４）は、上述した４分割ベイヤ型ＲＧＢ配列と同様に、Ｒ色の画素１１０Ｒ、Ｇ色の画素１１０Ｇ、および、Ｂ色の画素１１０Ｂによる各画素ブロックが、画素１１０Ｒ、画素１１０Ｇおよび画素１１０Ｂの数が１：２：１の割合となり、且つ、同一色の画素による画素ブロックが隣接しないように、４×４の格子状に配列される。図２２の例では、Ｂ色の画素１１０Ｂによる画素ブロックの左および下にＧ色の画素１１０Ｇによる画素ブロックが配置され、Ｂ色の画素１１０Ｂによる画素ブロックの対角に、Ｒ色の画素１１０Ｒによる画素ブロックが配置されている。

（第２の実施形態に係る瞳補正の具体例）
　図２３Ａ～図２３Ｇを用いて、第２の実施形態による画素セットについて説明すると共に、図１３に示した領域Ｃ、Ｌ、Ｒ、ＣＴ、ＣＢ、ＬＴおよびＲＢにおける瞳補正の方向の例について説明する。

　なお、図２３Ａ～図２３Ｇにおいて、右端の「無し」は、対応する行において瞳補正を行わないことを示している。右端の「強」は、対応する行において強い瞳補正を行うことを示し、「強強」は、対応する行において「強」と比較してさらに強い瞳補正（「より強い瞳補正」と呼ぶ）を行うことを示している。さらに、右端の「弱」は、対応する行において弱い瞳補正を行うことを示し、「弱弱」は、対応する行において「弱」と比較してさらに弱い瞳補正（「より弱い瞳補正」と呼ぶ）を行うことを示している。

　これに限らず、「弱弱」は、マイナスの瞳補正、すなわち、「強強」、「強」および「弱」とは逆の方向に向けた瞳補正としてもよい。例えば、主レンズの径が受光面（画素アレイ部１１）の幅より大きな場合に、主レンズの縁部分からの光が、主レンズの中央部分の光とは逆の方向から画素アレイ部１１に入射することが起こり得る。このように主レンズの中央部分の光とは逆の方向から画素アレイ部１１に入射する光に対して、マイナスの瞳補正を行う。

　図２３Ａは、第２の実施形態に係る、領域Ｃにおける瞳補正の例を示す図である。ここで、図２３Ａに示すように、第２の実施形態では、４画素×４画素からなる各画素ブロックにおいて、水平方向に隣接する２つの画素１１０Ｇ、水平方向に隣接する２つの画素１１０Ｒ、および、水平方向に隣接する２つの画素１１０Ｂ、によりそれぞれ画素セットが構成される。すなわち、第２の実施形態では、１つの画素ブロックが８個の画素セットを含む。各画素セットに対して、それぞれ１つのＯＣＬ３０が設けられる。

　図２３Ａに示すように、領域Ｃにおいては、図２３Ａの各列の右端に示すように、各画素ブロックの各画素セットにおいて、瞳補正を行わない。

　図２３Ｂは、第２の実施形態に係る、領域Ｌにおける瞳補正の例を示す図である。領域Ｌでは、図２３Ｂ上で右側（像高中心）に向けて、各画素ブロックの最上段の２つの画素セットにおいてより強い瞳補正、上から２段目の２つの画素セットにおいて強い瞳補正、上から３段目の画素セットにおいて弱い瞳補正、最下段の画素セットにおいてより弱い瞳補正を行う。

　図２３Ｃは、第２の実施形態に係る、領域Ｒにおける瞳補正の例を示す図である。領域Ｒでは、図２３Ｃ上で左側（像高中心）に向けて、各画素ブロックの最上段の２つの画素セットにおいてより強い瞳補正、上から２段目の２つの画素セットにおいて強い瞳補正、上から３段目の画素セットにおいて弱い瞳補正、最下段の画素セットにおいてより弱い瞳補正を行う。

　図２３Ｄは、第２の実施形態に係る、領域ＣＴにおける瞳補正の例を示す図である。領域ＣＴでは、図２３Ｄ上で下側（像高中心）に向けて、各画素ブロックの各段の画素セットにおいて同一の瞳補正量により瞳補正を行う。

　図２３Ｅは、第２の実施形態に係る、領域ＣＢにおける瞳補正の例を示す図である。領域ＣＴでは、図２３Ｅ上で上側（像高中心）に向けて、各画素ブロックの各段の画素セットにおいて同一の瞳補正量により瞳補正を行う。

　図２３Ｆは、第２の実施形態に係る、領域ＬＴにおける瞳補正の例を示す図である。領域ＬＴでは、図２３Ｆ上で右斜め下側（像高中心）に向けて、各画素ブロックの最上段の２つの画素セットにおいてより強い瞳補正、上から２段目の２つの画素セットにおいて強い瞳補正、上から３段目の画素セットにおいて弱い瞳補正、最下段の画素セットにおいてより弱い瞳補正を行う。図２３Ｆの例では、領域ＬＴにおいて、図２３Ｂの領域Ｌにおける瞳補正の方向（右側）と、図２３Ｄの領域ＣＴにおける瞳補正の方向（下側）とを組み合わせた方向で、瞳補正を行うものとしている。

　図２３Ｇは、第２の実施形態に係る、領域ＲＢにおける瞳補正の例を示す図である。領域ＲＢでは、図２３Ｇ上で左斜め上側（像高中心）に向けて、各画素ブロックの最上段の２つの画素セットにおいてより強い瞳補正、上から２段目の２つの画素セットにおいて強い瞳補正、上から３段目の画素セットにおいて弱い瞳補正、最下段の画素セットにおいてより弱い瞳補正を行う。図２３Ｇの例では、領域ＲＢにおいて、図２３Ｃの領域Ｒにおける瞳補正の方向（左側）と、図２３Ｅの領域ＣＢにおける瞳補正の方向（上側）とを組み合わせた方向で、瞳補正を行うものとしている。

　また、第２の実施形態においても、上述した第１の実施形態の変形例と同様に、各画素セットを、垂直方向に隣接する２つの画素１１０と、この２つの画素１１０に共通して設けられる１つのＯＣＬ３０により構成することもできる。

［第２の実施形態の変形例］
　次に、第２の実施形態の変形例について説明する。第２の実施形態の変形例では、上述した第２の実施形態に係る、ｎを３以上の整数とし、ｎ画素×ｎ画素の、（ｎ×ｎ）個の画素１１０により構成した画素ブロックにおいて、互いに隣接する画素１１０の方向が異なる複数の画素セットを混在させる。例えば、１つの画素ブロックにおいて、水平方向に隣接する２つの画素１１０による画素セット（水平画素セットと呼ぶ）と、垂直方向に隣接する２つの画素１１０による画素セット（垂直画素セットと呼ぶ）と、を混在させる。

　第２の実施形態の変形例では、１つの画素ブロックにおいて、互いに隣接する画素１１０の方向が異なる複数の画素セットを混在させるため、異なる方向それぞれの位相差を検出することが可能である。より具体的には、１つの画素ブロックに対して水平画素セットと垂直画素セットとを混在させることで、水平方向および垂直方向それぞれについて位相差を検出することが可能となる。これにより、像面位相差ＡＦや視差検出を、より高精度に行うことが可能となる。

（第２の実施形態の変形例に係る瞳補正の具体例）
　図２４Ａ～図２４Ｇを用いて、第２の実施形態の変形例による画素セットについて説明すると共に、図１３に示した領域Ｃ、Ｌ、Ｒ、ＣＴ、ＣＢ、ＬＴおよびＲＢにおける瞳補正の方向の例について説明する。

　なお、図２４Ａ～図２４Ｇにおいて、右端の「無し」は、対応する行において瞳補正を行わないことを示している。右端の「強」は、対応する行において強い瞳補正を行うことを示し、右端の「弱」は、対応する行において弱い瞳補正を行うことを示している。また、右端の「狙いＣＲＡ」は、主レンズによるＥＰＤに対して最適な瞳補正を行うことを示している。例えば、「狙いＣＲＡ」は、強い瞳補正と、弱い瞳補正と、の中間程度の強度の瞳補正を行うことが考えられる。

　図２４Ａは、第２の実施形態の変形例に係る、領域Ｃにおける瞳補正の例を示す図である。ここで、図２４Ａに示すように、第２の実施形態の変形例では、ｎ＝４とし、４画素×４画素からなる各画素ブロックにおいて、４つの水平画素セットと、４つの垂直画素セットと、を混在させている。このとき、各画素ブロックにおいて、上段に２つの水平画素セットが水平方向に隣接させて配置され、中段に４つの垂直画素セットが水平方向に順次隣接させて配置され、下段に２つの水平画素セットが水平方向に隣接させて配置される。各画素セットに対して、それぞれ１つのＯＣＬ３０が設けられる。

　図２４Ａに示すように、領域Ｃにおいては、図２４Ａの各列の右端に示すように、各画素ブロックの上段および下段の各水平画素セットにおいて、瞳補正を行わない。中段の各垂直画素セットは、主レンズによるＥＰＤに対して最適な瞳補正を行う。領域Ｃは、像高中心に位置するため、図２４Ａに示す中段の各垂直画素セットは、実際には瞳補正が行われない。

　図２４Ｂは、第２の実施形態の変形例に係る、領域Ｌにおける瞳補正の例を示す図である。領域Ｌでは、図２４Ｂ上で右側（像高中心）に向けて、各画素ブロックの上段の２つの水平画素セットにおいて強い瞳補正、下段の２つの画素セットにおいて弱い瞳補正を行う。また、中段の各垂直画素セットは、各垂直画素セットの像高および像高中心に対する方向に応じて、主レンズによるＥＰＤに対して最適な瞳補正を行う。

　図２４Ｃは、第２の実施形態の変形例に係る、領域Ｒにおける瞳補正の例を示す図である。領域Ｒでは、図２４Ｃ上で左側（像高中心）に向けて、各画素ブロックの上段の２つの画素セットにおいて強い瞳補正、下段の２つの画素セットにおいて弱い瞳補正を行う。また、中段の各垂直画素セットは、各垂直画素セットの像高および像高中心に対する方向に応じて、主レンズによるＥＰＤに対して最適な瞳補正を行う。

　図２４Ｄは、第２の実施形態の変形例に係る、領域ＣＴにおける瞳補正の例を示す図である。領域ＣＴでは、図２４Ｄ上で下側（像高中心）に向けて、各画素ブロックの上段および下段の各水平画素セットと、中段の各垂直画素セットと、において同一の瞳補正量により瞳補正を行う。

　図２４Ｅは、第２の実施形態の変形例に係る、領域ＣＢにおける瞳補正の例を示す図である。領域ＣＴでは、図２４Ｅ上で下側（像高中心）に向けて、各画素ブロックの上段および下段の各水平画素セットと、中段の各垂直画素セットと、において同一の瞳補正量により瞳補正を行う。

　図２４Ｆは、第２の実施形態の変形例に係る、領域ＬＴにおける瞳補正の例を示す図である。領域ＬＴでは、図２４Ｆ上で右斜め下側（像高中心）に向けて、各画素ブロックの上段の２つの水平画素セットにおいて強い瞳補正、下段の２つの画素セットにおいて弱い瞳補正を行う。また、中段の各垂直画素セットは、各垂直画素セットの像高および像高中心に対する方向に応じて、主レンズによるＥＰＤに対して最適な瞳補正を行う。図２４Ｆの例では、領域ＬＴにおいて、図２４Ｂの領域Ｌにおける瞳補正の方向（右側）と、図２４Ｄの領域ＣＴにおける瞳補正の方向（下側）とを組み合わせた方向で、瞳補正を行うものとしている。

　図２４Ｇは、第２の実施形態の変形例に係る、領域ＲＢにおける瞳補正の例を示す図である。領域ＲＢでは、図２４Ｇ上で左斜め上側（像高中心）に向けて、各画素ブロックの上段の２つの水平画素セットにおいて強い瞳補正、下段の２つの画素セットにおいて弱い瞳補正を行う。また、中段の各垂直画素セットは、各垂直画素セットの像高および像高中心に対する方向に応じて、主レンズによるＥＰＤに対して最適な瞳補正を行う。図２４Ｇの例では、領域ＲＢにおいて、図２４Ｃの領域Ｒにおける瞳補正の方向（左側）と、図２４Ｅの領域ＣＢにおける瞳補正の方向（上側）とを組み合わせた方向で、瞳補正を行うものとしている。

［第３の実施形態］
　次に、第３の実施形態として、本開示に係る、第１の実施形態およびその変形例、ならびに、第２の実施形態およびその変形例による撮像素子４の適用例について説明する。図２５は、上述の第１の実施形態およびその変形例、ならびに、第２の実施形態およびその変形例に係る撮像素子４を使用する使用例を示す図である。

　上述した各撮像素子４は、例えば、以下のように、可視光や、赤外光、紫外光、Ｘ線等の光をセンシングする様々なケースに使用することができる。

・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置。
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置。
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、ＴＶや、冷蔵庫、エアーコンディショナ等の家電に供される装置。
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置。
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置。
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置。
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置。
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置。

［本開示に係る技術のさらなる適用例］
　本開示に係る技術（本技術）は、様々な製品へ適用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。

（体内情報取得システムへの適用例）
　図２６は、本開示に係る技術（本技術）が適用され得る、カプセル型内視鏡を用いた患者の体内情報取得システムの概略的な構成の一例を示すブロック図である。

　体内情報取得システム１０００１は、カプセル型内視鏡１０１００と、外部制御装置１０２００とから構成される。

　カプセル型内視鏡１０１００は、検査時に、患者によって飲み込まれる。カプセル型内視鏡１０１００は、撮像機能および無線通信機能を有し、患者から自然排出されるまでの間、胃や腸等の臓器の内部を蠕動運動等によって移動しつつ、当該臓器の内部の画像（以下、体内画像ともいう）を所定の間隔で順次撮像し、その体内画像についての情報を体外の外部制御装置１０２００に順次無線送信する。

　外部制御装置１０２００は、体内情報取得システム１０００１の動作を統括的に制御する。また、外部制御装置１０２００は、カプセル型内視鏡１０１００から送信されてくる体内画像についての情報を受信し、受信した体内画像についての情報に基づいて、表示装置（図示しない）に当該体内画像を表示するための画像データを生成する。

　体内情報取得システム１０００１では、このようにして、カプセル型内視鏡１０１００が飲み込まれてから排出されるまでの間、患者の体内の様子を撮像した体内画像を随時得ることができる。

　カプセル型内視鏡１０１００と外部制御装置１０２００の構成および機能についてより詳細に説明する。

　カプセル型内視鏡１０１００は、カプセル型の筐体１０１０１を有し、その筐体１０１０１内には、光源部１０１１１、撮像部１０１１２、画像処理部１０１１３、無線通信部１０１１４、給電部１０１１５、電源部１０１１６、および制御部１０１１７が収納されている。

　光源部１０１１１は、例えばＬＥＤ(Light　Emitting　Diode)等の光源から構成され、撮像部１０１１２の撮像視野に対して光を照射する。

　撮像部１０１１２は、撮像素子、および当該撮像素子の前段に設けられる複数のレンズからなる光学系から構成される。観察対象である体組織に照射された光の反射光（以下、観察光という）は、当該光学系によって集光され、当該撮像素子に入射する。撮像部１０１１２では、撮像素子において、そこに入射した観察光が光電変換され、その観察光に対応する画像信号が生成される。撮像部１０１１２によって生成された画像信号は、画像処理部１０１１３に提供される。

　画像処理部１０１１３は、ＣＰＵやＧＰＵ(Graphics　Processing　Unit)等のプロセッサによって構成され、撮像部１０１１２によって生成された画像信号に対して各種の信号処理を行う。画像処理部１０１１３は、信号処理を施した画像信号を、ＲＡＷデータとして無線通信部１０１１４に提供する。

　無線通信部１０１１４は、画像処理部１０１１３によって信号処理が施された画像信号に対して変調処理等の所定の処理を行い、その画像信号を、アンテナ１０１１４Ａを介して外部制御装置１０２００に送信する。また、無線通信部１０１１４は、外部制御装置１０２００から、カプセル型内視鏡１０１００の駆動制御に関する制御信号を、アンテナ１０１１４Ａを介して受信する。無線通信部１０１１４は、外部制御装置１０２００から受信した制御信号を制御部１０１１７に提供する。

　給電部１０１１５は、受電用のアンテナコイル、当該アンテナコイルに発生した電流から電力を再生する電力再生回路、および昇圧回路等から構成される。給電部１０１１５では、いわゆる非接触充電の原理を用いて電力が生成される。

　電源部１０１１６は、二次電池によって構成され、給電部１０１１５によって生成された電力を蓄電する。図２６では、図面が煩雑になることを避けるために、電源部１０１１６からの電力の供給先を示す矢印等の図示を省略しているが、電源部１０１１６に蓄電された電力は、光源部１０１１１、撮像部１０１１２、画像処理部１０１１３、無線通信部１０１１４、および制御部１０１１７に供給され、これらの駆動に用いられ得る。

　制御部１０１１７は、ＣＰＵ等のプロセッサによって構成され、光源部１０１１１、撮像部１０１１２、画像処理部１０１１３、無線通信部１０１１４、および、給電部１０１１５の駆動を、外部制御装置１０２００から送信される制御信号に従って適宜制御する。

　外部制御装置１０２００は、ＣＰＵ、ＧＰＵ等のプロセッサ、又はプロセッサとメモリ等の記憶素子が混載されたマイクロコンピュータ若しくは制御基板等で構成される。外部制御装置１０２００は、カプセル型内視鏡１０１００の制御部１０１１７に対して制御信号を、アンテナ１０２００Ａを介して送信することにより、カプセル型内視鏡１０１００の動作を制御する。カプセル型内視鏡１０１００では、例えば、外部制御装置１０２００からの制御信号により、光源部１０１１１における観察対象に対する光の照射条件が変更され得る。また、外部制御装置１０２００からの制御信号により、撮像条件（例えば、撮像部１０１１２におけるフレームレート、露出値等）が変更され得る。また、外部制御装置１０２００からの制御信号により、画像処理部１０１１３における処理の内容や、無線通信部１０１１４が画像信号を送信する条件（例えば、送信間隔、送信画像数等）が変更されてもよい。

　また、外部制御装置１０２００は、カプセル型内視鏡１０１００から送信される画像信号に対して、各種の画像処理を施し、撮像された体内画像を表示装置に表示するための画像データを生成する。当該画像処理としては、例えば現像処理（デモザイク処理）、高画質化処理（帯域強調処理、超解像処理、ノイズリダクション処理、手ブレ補正処理等）、拡大処理（電子ズーム処理）等、それぞれ単独で、あるいは、組み合わせて、各種の信号処理を行うことができる。外部制御装置１０２００は、表示装置の駆動を制御して、生成した画像データに基づいて撮像された体内画像を表示させる。あるいは、外部制御装置１０２００は、生成した画像データを記録装置（図示しない）に記録させたり、印刷装置（図示しない）に印刷出力させてもよい。

　以上、本開示に係る技術が適用され得る体内情報取得システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部１０１１２に適用され得る。本開示に係る撮像素子４を撮像部１０１１２に適用することで、ズームなどを行った場合でも良好なオートフォーカスを行うことが可能となり、より高品質な体内画像などを取得することが可能となる。

（内視鏡手術システムへの適用例）
　本開示に係る技術は、さらに、内視鏡手術システムに適用されてもよい。図２７は、本開示に係る技術（本技術）が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。

　図２７では、術者（医師）１１１３１が、内視鏡手術システム１１０００を用いて、患者ベッド１１１３３上の患者１１１３２に手術を行っている様子が図示されている。図示するように、内視鏡手術システム１１０００は、内視鏡１１１００と、気腹チューブ１１１１１やエネルギー処置具１１１１２等の、その他の術具１１１１０と、内視鏡１１１００を支持する支持アーム装置１１１２０と、内視鏡下手術のための各種の装置が搭載されたカート１１２００と、から構成される。

　内視鏡１１１００は、先端から所定の長さの領域が患者１１１３２の体腔内に挿入される鏡筒１１１０１と、鏡筒１１１０１の基端に接続されるカメラヘッド１１１０２と、から構成される。図示する例では、硬性の鏡筒１１１０１を有するいわゆる硬性鏡として構成される内視鏡１１１００を図示しているが、内視鏡１１１００は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。

　鏡筒１１１０１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１１１００には光源装置１１２０３が接続されており、当該光源装置１１２０３によって生成された光が、鏡筒１１１０１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者１１１３２の体腔内の観察対象に向かって照射される。なお、内視鏡１１１００は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。

　カメラヘッド１１１０２の内部には光学系および撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera　Control　Unit）１１２０１に送信される。

　ＣＣＵ１１２０１は、ＣＰＵやＧＰＵ等によって構成され、内視鏡１１１００および表示装置１１２０２の動作を統括的に制御する。さらに、ＣＣＵ１１２０１は、カメラヘッド１１１０２から画像信号を受け取り、その画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。

　表示装置１１２０２は、ＣＣＵ１１２０１からの制御により、当該ＣＣＵ１１２０１によって画像処理が施された画像信号に基づく画像を表示する。

　光源装置１１２０３は、例えばＬＥＤ(Light　Emitting　Diode)等の光源から構成され、術部等を撮影する際の照射光を内視鏡１１１００に供給する。

　入力装置１１２０４は、内視鏡手術システム１１０００に対する入力インタフェースである。ユーザは、入力装置１１２０４を介して、内視鏡手術システム１１０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡１１１００による撮像条件（照射光の種類、倍率および焦点距離等）を変更する旨の指示等を入力する。

　処置具制御装置１１２０５は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具１１１１２の駆動を制御する。気腹装置１１２０６は、内視鏡１１１００による視野の確保および術者の作業空間の確保の目的で、患者１１１３２の体腔を膨らめるために、気腹チューブ１１１１１を介して当該体腔内にガスを送り込む。レコーダ１１２０７は、手術に関する各種の情報を記録可能な装置である。プリンタ１１２０８は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。

　なお、内視鏡１１１００に術部を撮影する際の照射光を供給する光源装置１１２０３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度および出力タイミングを高精度に制御することができるため、光源装置１１２０３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。

　また、光源装置１１２０３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれおよび白とびのない高ダイナミックレンジの画像を生成することができる。

　また、光源装置１１２０３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察(Narrow　Band　Imaging)が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること（自家蛍光観察）、又はインドシアニングリーン（ＩＣＧ）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置１１２０３は、このような特殊光観察に対応した狭帯域光および／又は励起光を供給可能に構成され得る。

　図２８は、図２７に示すカメラヘッド１１１０２およびＣＣＵ１１２０１の機能構成の一例を示すブロック図である。

　カメラヘッド１１１０２は、レンズユニット１１４０１と、撮像部１１４０２と、駆動部１１４０３と、通信部１１４０４と、カメラヘッド制御部１１４０５と、を有する。ＣＣＵ１１２０１は、通信部１１４１１と、画像処理部１１４１２と、制御部１１４１３と、を有する。カメラヘッド１１１０２とＣＣＵ１１２０１とは、伝送ケーブル１１４００によって互いに通信可能に接続されている。

　レンズユニット１１４０１は、鏡筒１１１０１との接続部に設けられる光学系である。鏡筒１１１０１の先端から取り込まれた観察光は、カメラヘッド１１１０２まで導光され、当該レンズユニット１１４０１に入射する。レンズユニット１１４０１は、ズームレンズおよびフォーカスレンズを含む複数のレンズが組み合わされて構成される。

　撮像部１１４０２は、撮像素子で構成される。撮像部１１４０２を構成する撮像素子は、１つ（いわゆる単板式）であってもよいし、複数（いわゆる多板式）であってもよい。撮像部１１４０２が多板式で構成される場合には、例えば各撮像素子によってＲＧＢそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部１１４０２は、３Ｄ(Dimensional)表示に対応する右目用および左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成されてもよい。３Ｄ表示が行われることにより、術者１１１３１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部１１４０２が多板式で構成される場合には、各撮像素子に対応して、レンズユニット１１４０１も複数系統設けられ得る。

　また、撮像部１１４０２は、必ずしもカメラヘッド１１１０２に設けられなくてもよい。例えば、撮像部１１４０２は、鏡筒１１１０１の内部に、対物レンズの直後に設けられてもよい。

　駆動部１１４０３は、アクチュエータによって構成され、カメラヘッド制御部１１４０５からの制御により、レンズユニット１１４０１のズームレンズおよびフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部１１４０２による撮像画像の倍率および焦点が適宜調整され得る。

　通信部１１４０４は、ＣＣＵ１１２０１との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４０４は、撮像部１１４０２から得た画像信号をＲＡＷデータとして伝送ケーブル１１４００を介してＣＣＵ１１２０１に送信する。

　また、通信部１１４０４は、ＣＣＵ１１２０１から、カメラヘッド１１１０２の駆動を制御するための制御信号を受信し、カメラヘッド制御部１１４０５に供給する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率および焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。

　なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザによって適宜指定されてもよいし、取得された画像信号に基づいてＣＣＵ１１２０１の制御部１１４１３によって自動的に設定されてもよい。後者の場合には、いわゆるＡＥ(Auto　Exposure)機能、ＡＦ(Auto　Focus)機能およびＡＷＢ(Auto　White　Balance)機能が内視鏡１１１００に搭載されていることになる。

　カメラヘッド制御部１１４０５は、通信部１１４０４を介して受信したＣＣＵ１１２０１からの制御信号に基づいて、カメラヘッド１１１０２の駆動を制御する。

　通信部１１４１１は、カメラヘッド１１１０２との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４１１は、カメラヘッド１１１０２から、伝送ケーブル１１４００を介して送信される画像信号を受信する。

　また、通信部１１４１１は、カメラヘッド１１１０２に対して、カメラヘッド１１１０２の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。

　画像処理部１１４１２は、カメラヘッド１１１０２から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。

　制御部１１４１３は、内視鏡１１１００による術部等の撮像、および、術部等の撮像により得られる撮像画像の表示に関する各種の制御を行う。例えば、制御部１１４１３は、カメラヘッド１１１０２の駆動を制御するための制御信号を生成する。

　また、制御部１１４１３は、画像処理部１１４１２によって画像処理が施された画像信号に基づいて、術部等が映った撮像画像を表示装置１１２０２に表示させる。この際、制御部１１４１３は、各種の画像認識技術を用いて撮像画像内における各種の物体を認識してもよい。例えば、制御部１１４１３は、撮像画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具１１１１２の使用時のミスト等を認識することができる。制御部１１４１３は、表示装置１１２０２に撮像画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させてもよい。手術支援情報が重畳表示され、術者１１１３１に提示されることにより、術者１１１３１の負担を軽減することや、術者１１１３１が確実に手術を進めることが可能になる。

　カメラヘッド１１１０２およびＣＣＵ１１２０１を接続する伝送ケーブル１１４００は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。

　ここで、図２８の例では、伝送ケーブル１１４００を用いて有線で通信が行われていたが、カメラヘッド１１１０２とＣＣＵ１１２０１との間の通信は無線で行われてもよい。

　以上、本開示に係る技術が適用され得る内視鏡手術システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、内視鏡１１１００や、カメラヘッド１１１０２の撮像部１１４０２に適用され得る。本開示に係る撮像素子４を撮像部１１４０２に適用することで、ズームなどを行った場合でも良好なオートフォーカスを行うことが可能となり、より高品質な撮像画像を取得することができる。これにより、術者１１１３１の負担を軽減することや、術者１１１３１が確実に手術を進めることが可能になる。

　なお、ここでは、一例として内視鏡手術システムについて説明したが、本開示に係る技術は、その他、例えば、顕微鏡手術システム等に適用されてもよい。

（移動体への適用例）
　本開示に係る技術は、さらにｍ自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボットといった各種の移動体に搭載される装置に対して適用されてもよい。

　図２９は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。

　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図２９に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、および統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、および車載ネットワークＩ／Ｆ（インタフェース）１２０５３が図示されている。

　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、および、車両の制動力を発生させる制動装置等の制御装置として機能する。

　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット１２０３０は、例えば、受信した画像に対して画像処理を施し、画像処理の結果に基づき物体検出処理や距離検出処理を行う。

　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。

　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。

　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ(Advanced　Driver　Assistance　System)の機能実現を目的とした協調制御を行うことができる。

　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。

　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声および画像のうちの少なくとも一方の出力信号を送信する。図２９の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２およびインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイおよびヘッドアップディスプレイの少なくとも一つを含んでいてもよい。

　図３０は、撮像部１２０３１の設置位置の例を示す図である。図３０では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４および１２１０５を有する。

　撮像部１２１０１、１２１０２、１２１０３、１２１０４および１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドアおよび車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１および車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１および１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

　なお、図３０には、撮像部１２１０１～１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２および１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２および１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１～１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。

　撮像部１２１０１～１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１～１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。

　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１～１２１０４から得られた距離情報を基に、撮像範囲１２１１１～１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１～１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。

　撮像部１２１０１～１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１～１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１～１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１～１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。

　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部１２０３１に適用され得る。本開示に係る撮像素子４を撮像部１２０３１に適用することで、ズームなどを行った場合でも良好なオートフォーカスを行うことが可能となり、より高品質な撮像画像を取得することが可能となる。

　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。

　なお、本技術は以下のような構成も取ることができる。
（１）
　格子状の配列で配置される複数の光電変換素子と、
　前記複数の光電変換素子のうち互いに隣接して配置される２以上の光電変換素子からなる素子の組のそれぞれに１対１に設けられる複数のレンズと、
を有する受光部を備え、
　前記受光部は、
　それぞれが、前記素子の組と、前記複数のレンズのうち該素子の組に設けられるレンズと、を含む複数の画素セットのうち互いに隣接する少なくとも２つの該画素セットの瞳補正量が互いに異なる
撮像素子。
（２）
　前記受光部は、
　それぞれ、前記複数の光電変換素子のうち同一の波長帯域の光を受光するｎ個×ｎ個（ｎは２以上の整数）の光電変換素子が格子状の配列で配置された複数の画素ブロックを含み、
　該複数の画素ブロックのうち配置される該光電変換素子が受光する波長帯域が同一の画素ブロックが隣接しないパターンに従い配列され、
　前記複数の画素ブロックのうち少なくとも１つは、前記瞳補正量が互いに異なる２つの前記画素セットを含む
前記（１）に記載の撮像素子。
（３）
　前記ｎが３以上の整数であり、前記複数の画素ブロックうち少なくとも１つの画素ブロックは、前記瞳補正量が互いに異なる３以上の前記画素セットを含む
前記（２）に記載の撮像素子。
（４）
　前記ｎが３以上の整数であり、前記複数の画素ブロックうち少なくとも１つの画素ブロックは、前記受光部が有する前記複数の光電変換素子のうち隣接する光電変換素子が前記配列上で整列する方向が互いに異なる２つの前記画素セットを含む
前記（２）または（３）に記載の撮像素子。
（５）
　前記複数の光電変換素子に対する読み出しを制御する制御部をさらに備え、
　前記制御部は、
　前記複数の画素ブロックのそれぞれにおいて、配置される各光電変換素子それぞれに１対１で対応する複数の出力のそれぞれを読み出す読み出しモードとして、
　前記複数の出力を個別に読み出すモードと、
　前記複数の出力を、該複数の出力に対応する各光電変換素子が配置される画素ブロック内で合成して１の出力として読み出すモードと、
を有する
前記（２）乃至（４）のいずれかに記載の撮像素子。
（６）
　前記ｎが２である、
前記（２）に記載の撮像素子。
（７）
　前記受光部は、
　前記複数の光電変換素子それぞれの入射面に設けられ、入射する光の波長帯域を制限するフィルタと、該フィルタの周囲に設けられる第１の遮光体と、をさらに有する
前記（２）乃至（６）のいずれかに記載の撮像素子。
（８）
　前記フィルタおよび前記第１の遮光体の、前記複数の光電変換素子のうち該フィルタおよび該第１の遮光体に対応する光電変換素子に対する位置が、それぞれ該光電変換素子を含む互いに隣接する少なくとも２つの前記画素セットで互いに異なることで前記瞳補正量が互いに異なる
前記（７）に記載の撮像素子。
（９）
　前記受光部は、
　前記複数の光電変換素子それぞれが形成される基板の、該複数の光電変換素子それぞれの入射面に対する深さ方向に形成される溝による第２の遮光体をさらに有し、
　前記第２の遮光体は、
　前記複数の画素ブロックそれぞれの間に形成される
前記（２）乃至（８）のいずれかに記載の撮像素子。
（１０）
　前記第２の遮光体は、さらに、
　前記画素セットそれぞれの間に形成される
前記（９）記載の撮像素子。
（１１）
　前記画素セットに含まれる前記レンズの、該画素セットに含まれる前記素子の組に対する位置が互いに隣接する少なくとも２つの前記画素セットで互いに異なることで、前記瞳補正量が互いに異なる
前記（１）乃至（１０）のいずれかに記載の撮像素子。
（１２）
　前記瞳補正量と、該瞳補正量による瞳補正を行う方向とが、前記複数の光電変換素子の各入射面を含む受光面において、該受光面に対して光を照射させる主レンズの光軸に対応する像高中心に対する位置に応じて、さらに異なる
前記（１）乃至（１１）のいずれかに記載の撮像素子。
（１３）
　前記受光部は、
　前記画素セットに含まれる前記素子の組に入射する光を制限するためのマスクをさらに有し、
　前記画素セットに含まれる前記素子の組に対する前記マスクの位置が、互いに隣接する少なくとも２つの前記画素セットで互いに異なることで前記瞳補正量が異なる
前記（１）乃至（１２）のいずれかに記載の撮像素子。
（１４）
　格子状の配列で配置される複数の光電変換素子と、
　前記複数の光電変換素子のうち互いに隣接して配置される２以上の光電変換素子からなる素子の組のそれぞれに１対１に設けられる複数のレンズと、
を有する受光部と、
　外部の光を前記受光部に導く光学部と、
　前記複数の光電変換素子それぞれから読み出された複数の出力に基づき画像処理を実行して画像データを生成する画像処理部と、
　前記画像処理部により生成された前記画像データを記憶する記憶部と、
を備え、
　前記受光部は、
　それぞれが、前記素子の組と、前記複数のレンズのうち該素子の組に設けられるレンズと、を含む複数の画素セットのうち互いに隣接する少なくとも２つの該画素セットの瞳補正量が互いに異なる
電子機器。

１　電子機器
４　撮像素子
５　画像処理部
１１　画素アレイ部
３０，３１　ＯＣＬ
５０，１１３，１０２０ａ，１０２０ｂ　遮光体
１１０，１１０ａ，１１０ｂ，１１０ａ’，１１０ｂ’，１１０Ｒ，１１０Ｇ，１１０Ｇ₁，１１０Ｇ₂，１１０Ｇ₃，１１０Ｇ₄，１１０Ｂ，１１０ｗ　画素
１１１，１１１ａ，１１１ｂ，１１１ａ’，１１１ｂ’，１１１Ｇ₁，１１１Ｇ₂，１１１Ｇ₃，１１１Ｇ₄，１１１ｗａ，１１１ｗｂ　光電変換部
１１２，１１２ａ，１１２ｂ，１１２Ｇ₁，１１２Ｇ₂，１１２Ｇ₃，１１２Ｇ₄，１１２Ｒ　カラーフィルタ

Claims

　格子状の配列で配置される複数の光電変換素子と、
　前記複数の光電変換素子のうち互いに隣接して配置される２以上の光電変換素子からなる素子の組のそれぞれに１対１に設けられる複数のレンズと、
を有する受光部を備え、
　前記受光部は、
　それぞれが、前記素子の組と、前記複数のレンズのうち該素子の組に設けられるレンズと、を含む複数の画素セットのうち互いに隣接する少なくとも２つの該画素セットの瞳補正量が互いに異なる
撮像素子。
　前記受光部は、
　それぞれ、前記複数の光電変換素子のうち同一の波長帯域の光を受光するｎ個×ｎ個（ｎは２以上の整数）の光電変換素子が格子状の配列で配置された複数の画素ブロックを含み、
　該複数の画素ブロックのうち配置される該光電変換素子が受光する波長帯域が同一の画素ブロックが隣接しないパターンに従い配列され、
　前記複数の画素ブロックのうち少なくとも１つは、前記瞳補正量が互いに異なる２つの前記画素セットを含む
請求項１に記載の撮像素子。
　前記ｎが３以上の整数であり、前記複数の画素ブロックうち少なくとも１つの画素ブロックは、前記瞳補正量が互いに異なる３以上の前記画素セットを含む
請求項２に記載の撮像素子。
　前記ｎが３以上の整数であり、前記複数の画素ブロックうち少なくとも１つの画素ブロックは、前記受光部が有する前記複数の光電変換素子のうち隣接する光電変換素子が前記配列上で整列する方向が互いに異なる２つの前記画素セットを含む
請求項２に記載の撮像素子。
　前記複数の光電変換素子に対する読み出しを制御する制御部をさらに備え、
　前記制御部は、
　前記複数の画素ブロックのそれぞれにおいて、配置される各光電変換素子それぞれに１対１で対応する複数の出力のそれぞれを読み出す読み出しモードとして、
　前記複数の出力を個別に読み出すモードと、
　前記複数の出力を、該複数の出力に対応する各光電変換素子が配置される画素ブロック内で合成して１の出力として読み出すモードと、
を有する
請求項２に記載の撮像素子。
　前記ｎが２である、
請求項２に記載の撮像素子。
　前記受光部は、
　前記複数の光電変換素子それぞれの入射面に設けられ、入射する光の波長帯域を制限するフィルタと、該フィルタの周囲に設けられる第１の遮光体と、をさらに有する
請求項２に記載の撮像素子。
　前記フィルタおよび前記第１の遮光体の、前記複数の光電変換素子のうち該フィルタおよび該第１の遮光体に対応する光電変換素子に対する位置が、それぞれ該光電変換素子を含む互いに隣接する少なくとも２つの前記画素セットで互いに異なることで前記瞳補正量が互いに異なる
請求項７に記載の撮像素子。
　前記受光部は、
　前記複数の光電変換素子それぞれが形成される基板の、該複数の光電変換素子それぞれの入射面に対する深さ方向に形成される溝による第２の遮光体をさらに有し、
　前記第２の遮光体は、
　前記複数の画素ブロックそれぞれの間に形成される
請求項２に記載の撮像素子。
　前記第２の遮光体は、さらに、
　前記画素セットそれぞれの間に形成される
請求項９に記載の撮像素子。
　前記画素セットに含まれる前記レンズの、該画素セットに含まれる前記素子の組に対する位置が互いに隣接する少なくとも２つの前記画素セットで互いに異なることで、前記瞳補正量が互いに異なる
請求項１に記載の撮像素子。
　前記瞳補正量と、該瞳補正量による瞳補正を行う方向とが、前記複数の光電変換素子の各入射面を含む受光面において、該受光面に対して光を照射させる主レンズの光軸に対応する像高中心に対する位置に応じて、さらに異なる
請求項１に記載の撮像素子。
　前記受光部は、
　前記画素セットに含まれる前記素子の組に入射する光を制限するためのマスクをさらに有し、
　前記画素セットに含まれる前記素子の組に対する前記マスクの位置が、互いに隣接する少なくとも２つの前記画素セットで互いに異なることで前記瞳補正量が異なる
請求項１に記載の撮像素子。
　格子状の配列で配置される複数の光電変換素子と、
　前記複数の光電変換素子のうち互いに隣接して配置される２以上の光電変換素子からなる素子の組のそれぞれに１対１に設けられる複数のレンズと、
を有する受光部と、
　外部の光を前記受光部に導く光学部と、
　前記複数の光電変換素子それぞれから読み出された複数の出力に基づき画像処理を実行して画像データを生成する画像処理部と、
　前記画像処理部により生成された前記画像データを記憶する記憶部と、
を備え、
　前記受光部は、
　それぞれが、前記素子の組と、前記複数のレンズのうち該素子の組に設けられるレンズと、を含む複数の画素セットのうち互いに隣接する少なくとも２つの該画素セットの瞳補正量が互いに異なる
電子機器。