JP6641135B2

JP6641135B2 - 撮像素子及び撮像装置

Info

Publication number: JP6641135B2
Application number: JP2015183246A
Authority: JP
Inventors: 石井　美絵; 美絵石井
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2015-09-16
Filing date: 2015-09-16
Publication date: 2020-02-05
Anticipated expiration: 2035-09-16
Also published as: JP2017060000A

Description

本発明は、撮像素子及び撮像装置に関するものである。

近年、ＣＭＯＳ撮像素子などを用いた撮像装置において、様々なニーズに対応するべく高機能化、多機能化が進んでいる。ＣＭＯＳ撮像素子は、多画素化、高速撮像化が進み、より高速に画素信号を読み出せる方式への要求が高まっている。

例えば、高速読み出しを行う方式としては、特許文献１に記載されているように、列毎にアナログ／デジタル変換回路（以下、列ＡＤＣ）を配置し、デジタル出力を行う方式が近年普及している。列ＡＤＣを導入することで、撮像素子の外部への画素信号の伝送をデジタルで行うことが可能となり、デジタル信号伝送の技術向上に伴い、高速読み出しが可能となる。

一方、多機能化の例としては、例えば光の強度分布のみならず、光の入射方向や距離情報をも取得可能な撮像装置が提案されている。特許文献２では、撮像素子から得られた信号を用いて焦点検出が可能な撮像素子について開示されている。１つのマイクロレンズに対応するフォトダイオード（以下、ＰＤ）を２つに分割することによって、各ＰＤが撮影レンズの異なる瞳面の光を受光するように構成されている。そして、２つのＰＤの出力を比較することによって、焦点検出を行っている。また、単位画素を構成する２つのＰＤからの出力信号を加算することで、通常の撮像画像を得ることもできる。

特開２００５−２７８１３５号公報特許第３７７４５９７号公報

しかし、特許文献２に開示されているような撮像素子において焦点検出を行う場合、全てのＰＤの信号を読み出す必要があるため、ＰＤの信号を読み出すのに必要な時間が長くなり、フレームレートが下がってしまうという課題がある。特許文献１のように列ＡＤＣを用いた読み出し方式により信号読み出し時間を高速化しても、今後更なる多画素化、高フレームレート化が進むことが予想され、信号読み出し時間の更なる短縮が望まれる。

本発明は上述した課題に鑑みてなされたものであり、その目的は、１フレーム内で、撮影画像データと焦点検出情報の両方の取得を高速に行うことが可能な撮像素子を提供することである。

本発明に係わる撮像素子は、１つのマイクロレンズと複数の光電変換部とを有する単位画素が行列状に複数配列された画素部と、前記画素部全体の単位画素から出力された信号を保持する信号保持部と、前記信号保持部により保持された信号を処理する信号処理部であって、前記信号保持部により保持された信号に撮像画像を生成するための信号処理を行う撮像画像用信号処理部と、前記信号保持部により保持された信号に焦点検出のための信号処理を行う焦点検出用信号処理部とを有する信号処理部と、前記信号処理部で処理された信号を出力する出力部と、を備えることを特徴とする。
また、本発明に係わる撮像装置は、撮像素子と、該撮像素子から読み出された信号を処理して画像を生成する画像処理手段と、前記読み出された信号を処理して焦点検出を行う焦点検出手段とを備え、前記撮像素子が、１つのマイクロレンズと複数の光電変換部とを有する単位画素が行列状に複数配列された画素部と、前記画素部全体の単位画素から出力された信号を保持する信号保持部と、前記信号保持部により保持された信号を処理する信号処理部であって、前記信号保持部により保持された信号に撮像画像を生成するための信号処理を行う撮像画像用信号処理部と、前記信号保持部により保持された信号に焦点検出のための信号処理を行う焦点検出用信号処理部とを有する信号処理部と、前記信号処理部で処理された信号を出力する出力部と、を有することを特徴とする。

本発明によれば、撮像画像データと焦点検出情報の両方を撮像素子内で高速に取得して出力することができる。

本発明の第１の実施形態に係わる撮像装置の構成を示すブロック図。第１の実施形態の撮像素子の構成を説明する図。撮影レンズの射出瞳から出射された光束が単位画素に入射する概念図。第１の実施形態の撮像素子の構成を示すブロック図。第１の実施形態の撮像素子の画素回路及び読み出し回路を説明する図。第１の実施形態の撮像素子の信号読み出し動作を示すタイミングチャート。第１の実施形態の撮像素子における信号処理部の構成を説明する図。第２の実施形態の画素領域における焦点検出用信号出力領域を示した図。第３の実施形態の撮像素子の構成を説明する図。第３の実施形態の撮像素子の画素回路及び読み出し回路を説明する図。第４の実施形態の撮像素子の全体構成図。第４の実施形態の撮像素子の全体構成図。第５の実施形態の撮像素子の全体構成図。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態の撮像素子を有する撮像装置の構成を示すブロック図である。撮像素子１００は、受光部１０２、読み出し部１０３、制御部１０４、信号処理部１０５、出力部１０６を備えて構成される。受光部１０２は、複数の単位画素が行列状に配置されており、撮影レンズ１０１により結像された光学像を受光する。受光部１０２の構成については後述する。読出し部１０３は、制御部１０４の制御信号を受けて、受光部１０２から出力される画素信号をＡ／Ｄ変換し、信号処理部１０５に送る。

信号処理部１０５は、Ａ／Ｄ変換された画像信号に対して、信号の加算、減算、乗算等の演算処理や、出力部１０６を介して撮像素子１００から外部に出力する信号の選択処理などを行う。また、信号処理部１０５では、基準レベル調整等の各種補正やデータの並べ替えなども行う。これらの処理は、制御部１０４からの制御信号を受けて実行される。信号処理部１０５の詳細は後述するが、信号処理部１０５においては、受光部１０２から得られた画素信号に対して、撮像画像用の信号処理と焦点検出用の信号処理を行い、それらを出力部１０６に送る。出力部１０６は、信号処理部１０５により処理された画素信号を撮像素子１００の外部に出力する。

画像処理部１０７は、撮像素子１００の出力部１０６から撮像画像用の信号を受け取り、欠陥画素の補正、ノイズリダクション、色変換、ホワイトバランス補正、画像補正等の画像処理や、解像度変換処理、画像圧縮処理などを行い、静止画像や動画像を生成する。位相差検出部１０８は、出力部１０６からの焦点検出用の信号を受けて、焦点検出を行うための位相差評価値を算出する。

全体制御・演算部１０９は、撮像素子１００や撮像装置全体の統括的な駆動及び制御を行う。表示部１１０は撮影後の画像やライブビュー画像、各種設定画面等を表示する。記録部１１１及びメモリ部１１２は、全体制御・演算部１０９から出力された画像信号等を記録保持する不揮発性メモリあるいはメモリカード等の記録媒体である。操作部１１３は撮像装置に備え付けられた操作部材によりユーザーの命令を受け付け、全体制御・演算回路１０６にその命令を入力する。レンズ制御部１１４は、位相差検出部１０８で算出された位相差評価値に基づいて光学系駆動情報を算出し、撮影レンズ１０１のフォーカスレンズ位置を制御する。

次に、本実施形態の撮像装置における撮影レンズ１０１、マイクロレンズアレイ、撮像素子１００の受光部１０２の関係と、画素の定義、及び瞳分割方式による焦点検出の原理について説明する。

図２は、撮像素子１００の受光部１０２とマイクロレンズアレイを光軸方向（Ｚ方向）から観察した図である。本実施形態では、マイクロレンズアレイを形成する個々のマイクロレンズ２０２を１つの画素と定義し、これを単位画素２００とする。また、１つのマイクロレンズ２０２に対してフォトダイオード（ＰＤ）からなる２つの光電変換部がＸ軸方向に並んで配置されており、それぞれ光電変換部２０１Ａ，２０１Ｂと定義する。

図３は、撮影レンズ１０１を通過した光が１つのマイクロレンズ２０２を通過して撮像素子１００の受光部１０２の単位画素２００で受光される様子を光軸（Ｚ軸）に対して垂直な方向（Ｙ軸方向）から観察した図である。３０２，３０３は撮影レンズの射出瞳を表す。３０１はレンズ絞りである。射出瞳を通過した光は、光軸を中心として単位画素２００に入射する。図３に示すように瞳領域３０２を通過する光束はマイクロレンズ２０２を通過して光電変換部２０１Ａで受光され、瞳領域３０３を通過する光束はマイクロレンズ２０２を通して光電変換部２０１Ｂで受光される。したがって、光電変換部２０１Ａ，２０１Ｂはそれぞれ撮影レンズの射出瞳の異なる領域の光を受光する。

撮影レンズ１０１からの光を瞳分割する光電変換部２０１Ａの信号をＸ軸方向に並ぶ複数の単位画素２００から取得し、これらの出力信号群で構成した被写体像をＡ像とする。同様に瞳分割する光電変換部２０１Ｂの信号をＸ軸方向に並ぶ複数の単位画素２００から取得し、これらの出力信号群で構成した被写体像をＢ像とする。

Ａ像とＢ像に対して相関演算を実施し、像のずれ量（瞳分割位相差）を検出する。さらに像のずれ量に対して撮影レンズ１０１の焦点位置と光学系から決まる変換係数を乗じることで、画面内の任意の被写体位置に対応した焦点位置を算出することができる。ここで算出された焦点位置情報に基づいて撮影レンズ１０１のフォーカス位置を制御することで撮像面位相差ＡＦ（オートフォーカス）が可能となる。また、Ａ像信号とＢ像信号との足し合わせをＡ＋Ｂ像信号とすることで、このＡ＋Ｂ像信号を通常の撮影画像に用いることができる。

次に、撮像素子１００の受光部１０２と読み出し部１０３の構成を図４、図５を用いて説明する。図４は、撮像素子１００の受光部１０２と読出し部１０３の構成例を示すブロック図である。

受光部１０２は、画素部４０１と駆動回路部４０２とを有する。画素部４０１には複数の単位画素２００が、水平方向（行方向）および垂直方向（列方向）に行列状に複数配列されている。図４においては単位画素２００を２行３列の計６個図示しているが、実際は数百万、数千万の単位画素２００が配置されている。駆動回路部４０２は画素部４０１を駆動するための電源回路、ＴＧ、走査回路などを含む。駆動回路部４０２によって駆動されて読み出された画素信号は、読み出し部１０３へ出力される。駆動回路部４０２は、図１の制御部１０４からの制御を受けて駆動される。読み出し部１０３には、画素部４０１からの画素信号が入力され、アナログデジタル変換（Ａ／Ｄ変換）が行われる。なお、読出し部１０３は複数の読み出し回路、例えば１列に１つの読み出し回路を備えて構成される。

図５は、撮像素子１００の単位画素２００、及び読み出し部１０３を構成する読み出し回路５０９の一例を示す図である。単位画素２００において、フォトダイオード（ＰＤ）からなる光電変換部２０１Ａには転送スイッチ５０２Ａが接続され、光電変換部２０１Ｂには転送スイッチ５０２Ｂが接続される。光電変換部２０１Ａ，２０１Ｂで発生した電荷は、それぞれ転送スイッチ５０２Ａ，５０２Ｂを介して共通のフローティングディフュージョン部（ＦＤ）５０４に転送され、一時的に保存される。ＦＤ５０４に転送された電荷は、選択スイッチ５０６がオンされると、ソースフォロワアンプを形成する増幅ＭＯＳトランジスタ（ＳＦ）５０５を介して電荷に対応した電圧として列出力線５０７に出力される。列出力線５０７には電流源５０８が接続されている。

リセットスイッチ５０３は、ＦＤ５０４の電位、及び転送スイッチ５０２Ａ，５０２Ｂを介して光電変換部２０１Ａ，２０１Ｂの電位をＶＤＤにリセットする。転送スイッチ５０２Ａ，５０２Ｂ、リセットスイッチ５０３、選択スイッチ５０６は、それぞれ周辺の駆動回路部４０２に接続されている信号線を介して、制御信号ＰＴＸＡ、ＰＴＸＢ、ＰＲＥＳ、ＰＳＥＬにより制御される。

次に、読み出し回路５０９の回路構成について説明する。アンプ５１０は、列出力線５０７に現れた信号を増幅し、容量５１２は信号電圧を保持するために用いられる。容量５１２への書き込みは、制御信号ＰＳＨによりオン、オフされるスイッチ５１１により制御される。比較器５１３の一方の入力には、不図示のスロープ電圧発生回路から供給された参照電圧であるＶｓｌｏｐｅが入力され、他方の入力には、容量５１２に書き込まれたアンプ５１０の出力が入力される。比較器５１３はアンプ５１０の出力と参照電圧Ｖｓｌｏｐｅを比較し、その大小関係によってローレベル、ハイレベルの２値のいずれかを出力する。具体的には、Ｖｓｌｏｐｅがアンプ５１０の出力に対して小さい時にはローレベル、大きい時にはハイレベルを出力する。参照電圧Ｖｓｌｏｐｅの遷移開始と同時にＣＬＫ（クロック）が動き出し、カウンタ５１４は比較器５１３の出力がハイレベルの時にＣＬＫに対応してカウントアップし、比較器５１３の出力がローレベルに反転すると同時にカウントの信号を停止する。

メモリ５１６には、ＦＤ５０４のリセットレベルの信号（以下、「Ｎ信号」）をＡＤ変換したデジタル信号が保持され、メモリ５１７には、光電変換部２０１Ａや光電変換部２０１Ｂの信号をＦＤ５０４のＮ信号に重畳した信号（以下「Ｓ信号」）をＡＤ変換したデジタル信号が保持される。メモリ５１６，５１７のどちらに書き込まれるかはスイッチ５１５により振り分けられる。メモリ５１６，５１７に保持された信号はＣＤＳ回路５１８にてＳ信号からＮ信号を差し引いた差分が算出される。そして、駆動回路部４０２の制御により、デジタル信号出力線５１９を介して信号処理部１０５へ出力される。

なお、読み出し回路５０９は画素の各列に対して１つ配置され、画素信号は行単位で読み出される。この場合、選択スイッチ５０６は行単位で制御され、選択された行の画素信号が一括して列出力線５０７に出力される。この読み出し回路５０９の数が多いほど、画素部４０１の画素信号を高速に信号処理部１０５に読み出すことができる。

図６は、図５に示す回路構成を有する撮像素子１００の単位画素２００からの電荷読み出し動作の一例を示すタイミングチャートである。各駆動パルスのタイミング、参照電圧Ｖｓｌｏｐｅ、ＣＬＫ、水平走査信号を模式的に示している。また、各タイミングにおける列出力線の電位Ｖｌも併せて示している。

光電変換部２０１Ａからの信号の読み出しに先立って、リセットスイッチ５０３の信号線ＰＲＥＳがＨｉとなる（ｔ６００）。これによって、ＳＦ（ソースフォロワアンプ）５０５のゲートがリセット電源電圧にリセットされる。時刻ｔ６０１で制御信号ＰＳＥＬをＨｉとし、ＳＦ５０５を動作状態とする。そして、ｔ６０２で制御信号ＰＲＥＳをＬｏとすることでＦＤ５０４のリセットを解除する。このときのＦＤ５０４の電位を列出力線５０７にリセット信号レベル（Ｎ信号）として読み出し、読み出し回路５０９に入力する。

時刻ｔ６０３、ｔ６０４で制御信号ＰＳＨをＨｉ、Ｌｏとしてスイッチ５１１をオン、オフすることで、列出力線５０７に読み出されたＮ信号はアンプ５１０で所望のゲインで増幅されたのち容量５１２に保持される。容量５１２に保持されたＮ信号の電位は比較器５１３の一方に入力される。時刻ｔ６０４でスイッチ５１１がオフされた後、時刻ｔ６０５からｔ６０７まで、不図示のスロープ電圧発生回路により、参照電圧Ｖｓｌｏｐｅを時刻と共に初期値から減少させていく。参照電圧Ｖｓｌｏｐｅの遷移開始と共に、ＣＬＫ（クロック）をカウンタ５１４に供給する。ＣＬＫの数に応じてカウンタ５１４の値は増加していく。そして、比較器５１３に入力した参照電圧ＶｓｌｏｐｅがＮ信号と同じレベルになると、比較器５１３の出力ＣＯＭＰはローレベルとなり、同時にカウンタ５１４の動作も停止する（時刻ｔ６０６）。この、カウンタ５１４の動作が停止した時の値が、Ｎ信号がＡＤ変換された値となり、スイッチ５１５により、カウンタ５１４とメモリ５１６が接続され、Ｎ信号のデジタル値がＮ信号用メモリ５１６に保持される。

次に、デジタル化されたＮ信号をＮ信号メモリ５１６に保持した後の時刻ｔ６０７、ｔ６０８で制御信号ＰＴＸＡを順次Ｈｉ、Ｌｏとして光電変換部２０１Ａに蓄積された光電荷をＦＤ５０４に転送する。すると、電荷量に応じたＦＤ５０４の電位変動が列出力線５０７に信号レベル（光成分＋リセットノイズ成分（Ｎ信号））として読み出され、読み出し回路５０９に入力される。入力された信号（Ｓ（Ａ）＋Ｎ）はアンプ５１０で所望のゲインで増幅されたのち、時刻ｔ６０９、ｔ６１０で制御信号ＰＳＨを順次Ｈｉ、Ｌｏとしてスイッチ５１１をオン、オフするタイミングで容量５１２に保持される。容量５１２に保持された電位は比較器５１３の一方に入力される。時刻ｔ６１０でスイッチ５１１がオフされた後、時刻ｔ６１１からｔ６１３まで、スロープ電圧発生回路により、参照電圧Ｖｓｌｏｐｅを時刻と共に初期値から減少させていく。参照電圧Ｖｓｌｏｐｅの遷移開始と共に、ＣＬＫをカウンタ５１４に供給する。ＣＬＫの数に応じてカウンタ５１４の値は増加していく。そして、比較器５１３に入力した参照電圧ＶｓｌｏｐｅがＳ信号と同じレベルになると、比較器５１３の出力ＣＯＭＰはローレベルとなり、同時にカウンタ５１４の動作も停止する（時刻ｔ６１２）。この、カウンタ５１４の動作が停止した時の値が、Ｓ（Ａ）＋Ｎ信号がＡＤ変換された値となる。そして、スイッチ５１５により、カウンタ５１４とメモリ５１７が接続され、Ｓ（Ａ）＋Ｎ信号のデジタル値がＳ信号用メモリ５１７に保持される。メモリ５１６及びメモリ５１７に保持された信号からＣＤＳ回路５１８により差動信号レベル（光成分）が算出され、リセットノイズ成分が除去されたＳ（Ａ）信号が得られる。Ｓ（Ａ）信号は、制御部１０４の制御により順次信号処理部１０５に送られる。

以上が、単位画素２００の光電変換部２０１Ａからの信号を読み出す動作である。単位画素２００のもう一方の光電変換部２０１Ｂからの信号を読み出す場合も同様に図６のタイミングチャートに従って駆動すればよい。ただし、この場合はｔ６０７、ｔ６０８において制御信号ＰＴＸＡの代わりにＰＴＸＢを順次Ｈｉ、Ｌｏする。すなわち、図６のｔ６００からｔ６１３の駆動を１回目に制御信号ＰＴＸＡをＨｉ、Ｌｏして画素信号Ｓ（Ａ）を読出し、続いて２回目に制御信号ＰＴＸＢをＨｉ、Ｌｏして画素信号Ｓ（Ｂ）を読み出すことで、１行の読み出しが完了する。これを全行分繰り返すことで、全画素の画素信号Ｓ（Ａ）、Ｓ（Ｂ）の読み出しが完了する。

図７は、撮像素子１００の信号処理部１０５及び出力部１０６の構成例を示す図である。信号処理部１０５は撮像画像用信号処理部７０１と焦点検出用信号処理部７０２を有する。読み出し部１０３から出力された画素信号はデジタル信号出力線５１９を介して信号処理部１０５に入力される。入力された信号は制御部１０４からの制御に従って処理される。なお、撮像画像用信号処理部７０１と焦点検出用信号処理部７０２は、それぞれ不図示のメモリを備えるものとする。

撮像画像用信号処理部７０１では、読み出された信号から、撮像画像用信号を算出する。すなわち、単位画素２００の光電変換部２０１Ａ、及び光電変換部２０１Ｂの画素信号Ｓ（Ａ）、Ｓ（Ｂ）を受けて、混合処理を行い、Ｓ（Ａ＋Ｂ）信号を算出する。そして、画素信号Ｓ（Ａ＋Ｂ）を撮像画像用信号出力線７０３を介して出力部１０６に送る。撮像画像用信号処理部７０１において、２つの光電変換部の画素信号Ｓ（Ａ）、Ｓ（Ｂ）を混合処理して出力部１０６から撮像素子１００の外部に出力することで、撮像素子１００の外部への信号伝送量を減らすことができる。なお、画素信号Ｓ（Ａ）とＳ（Ｂ）の演算は、単位画素の両方の信号がそろった段階で可能となる。先に読み出された画素信号Ｓ（Ａ）はメモリで保持しておき、画素信号Ｓ（Ｂ）が読み出され、撮像画像用信号処理部７０１に入力されると、順次Ｓ（Ａ）＋Ｓ（Ｂ）が演算され、出力部１０６から出力される。

なお、撮像画像用信号処理部では更に単位画素２００同士の信号を混合、平均化処理してもよい。例えば、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のベイヤ―配列のカラーフィルタが設けられた一般的な構成の画素部において、隣接する同色画素の信号を混合平均化演算して出力部１０６に送れば、更に信号伝送量を減らすことができる。また、画素部全ての信号を出力部１０６に出力するのではなく、必要な領域のみの信号を出力してもよい。これらの処理は制御部１０４により制御される。

続いて、焦点検出用信号処理部７０２の処理について説明する。焦点検出用信号処理部７０２では、読み出された信号から、焦点検出用信号を算出して出力する。位相差検出を行うためには、前述した通り、画素信号Ｓ（Ａ）とＳ（Ｂ）がそれぞれ必要である。しかし、画素部４０１の全ての画素の画素信号Ｓ（Ａ）とＳ（Ｂ）を出力部１０６から撮像素子１００の外部に出力するとなると信号伝送量が膨大になり、高速読み出しに望ましくない。

そこで、焦点検出用信号処理部７０２において演算処理を行い、信号量を減らして出力部１０６から出力する。例えば、画素信号Ｓ（Ａ）、Ｓ（Ｂ）をそれぞれベイヤ加算して輝度値Ｙ値を算出して、輝度信号Ｙ（Ａ）、Ｙ（Ｂ）を出力する。焦点検出演算は、信号をＹ値に変換してから演算することもあり、撮像素子１００から出力する前にＹ値を演算することで、信号伝送量を１／４に減らすことができる。なお、Ｙ値の演算にはベイヤ単位の信号が必要になるため、演算に必要な信号が揃うまで、焦点検出用信号処理部７０２に入力された画素信号をメモリに保持しておく。つまり、Ｒ・Ｇ行の信号が読み出された後、Ｇ・Ｂ行の信号が読み出されるので、Ｒ・Ｇ行の画素信号Ｓ（Ａ）とＳ（Ｂ）はメモリに保持しておき、Ｇ・Ｂ行の信号が読み出されたら順次輝度信号Ｙ（Ａ）、Ｙ（Ｂ）を演算し、信号線７０４を介して出力部１０６から出力する。

また、更に焦点検出用信号処理部７０２において相関演算を行い、その演算値を信号線７０４から出力部１０６に出力してもよい。なお、相関演算を用いた位相差検出は公知の手法により実施可能である。相関演算値のみの出力であれば、その演算時の領域分割数に依存するものの、出力する信号量は大幅に減らすことができる。

以上のように、撮像画像用信号処理部７０１と焦点検出用信号処理部７０２を備える撮像素子１００において、必要な信号のみを撮像素子１００の外部に出力する信号処理を行う。これにより、信号伝送量を減らすことができ、撮像画像データと焦点検出情報を共に高速に得ることができる。

なお、本実施形態においては、撮像画像用信号処理部７０１と焦点検出用信号処理部７０２それぞれにメモリを備える構成とした。しかし、これらの前段にメモリを備えて、各処理部における演算に必要な信号が揃った段階で、撮像画像用信号処理部７０１と焦点検出用信号処理部７０２に信号を送る構成であってもよい。

また、本実施形態の説明において、焦点検出用信号として、輝度信号Ｙ（Ａ）、及びＹ（Ｂ）を出力したが、出力部１０６からは輝度信号Ｙ（Ａ）のみを出力してもよい。具体的には、撮像画像用信号処理部７０１からは、撮像画像用信号、すなわち画素信号Ｓ（Ａ＋Ｂ）が出力されている。そのため、撮像素子１００の外部に出力された後、位相差検出部１０８などで画素信号Ｓ（Ａ＋Ｂ）から輝度信号Ｙ（Ａ＋Ｂ）を演算し、輝度信号Ｙ（Ａ）の減算処理を行い、輝度信号Ｙ（Ｂ）を算出することで、焦点検出用信号を得てもよい。このように、焦点検出用信号処理部７０２からは輝度信号Ｙ（Ａ）のみを出力することによって、信号伝送量を更に減らすことができる。

例えば、画素数が２０００万画素であった場合、信号処理部を備えない場合は全画素分の画素信号Ｓ（Ａ）、Ｓ（Ｂ）、すなわち４０００万個のデータを出力する必要がある。一方、本実施形態の信号処理部を備える撮像素子により焦点検出用信号としてＹ値を演算して出力する場合、撮像画像用の２０００万個のデータと焦点検出用の２０００万／４＝５００万個のデータを出力することになり、信号伝送量が減ることがわかる。その結果、高速読み出しが可能となる。また、焦点検出用信号が相関演算値である場合、更に信号伝送量が減ることは明らかである。

また、図６のタイミングチャートにおいて、ｔ６０７、ｔ６０８で制御信号ＰＴＸＡ、ＰＴＸＢを同時に制御して光電変換部２０１Ａと光電変換部２０１Ｂの電荷が混合された単位画素２００の信号を得ることも可能である。具体的には、図６のタイミングチャートに従って、光電変換部２０１Ａの信号を読み出した後、制御信号ＰＴＸＡ、ＰＴＸＢを同時にＨｉ、Ｌｏ制御して信号を読み出せば画素信号Ｓ（Ａ＋Ｂ）を得ることが可能である。この場合、リセット信号の読み出しが１回減るため、更に高速読み出しが可能となる。

画素から画素信号Ｓ（Ａ）とＳ（Ａ＋Ｂ）が読み出された場合には、焦点検出用信号処理部７０２において、画素信号Ｓ（Ａ＋Ｂ）から画素信号Ｓ（Ａ）を減算する処理を行えば、画素信号Ｓ（Ｂ）を得ることができる。もしくは、焦点検出処理部７０２においては、画素信号Ｓ（Ａ）のみ処理して出力し、位相差検出部１０８で画素信号Ｓ（Ｂ）あるいは輝度信号Ｙ（Ｂ）の算出を行ってもよい。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第１の実施形態においては、画素部の全領域において焦点検出用信号の出力を行ったが、焦点検出用信号については必要な領域のみの信号を選択して出力すれば、更に高速化を実現することができる。

図８は、画素領域における、焦点検出用信号の出力領域の例を示した図である。斜線で示した領域は、焦点検出用信号と撮像画像用信号を出力し、それ以外の領域は撮像画像用信号のみを出力する。例えば、図８（ａ）に示した例のように、画素の広範囲において目的とする領域のみの焦点検出用信号を離散的に（選択的に）出力する。これによって、画素領域全体の焦点検出情報を得ることが可能となる一方で、撮像素子１００の外部に出力する信号量を抑制することが可能となる。また、図８（ｂ）に示した例の場合、一部の領域について詳細な焦点検出情報を得ることが可能となり、また撮像素子１００の外部に出力する信号量を抑制することが可能となる。これらの出力する領域の選択は制御部１０４により制御される。焦点検出用信号処理部７０２において、出力対象領域の信号のみをメモリから読み出して演算する。

なお、図８に示したような一部の領域における焦点検出用信号の出力は、Ｙ値信号や相関演算結果でもよいが、画素信号Ｓ（Ａ)であってもよい。Ｙ値信号や相関演算結果に比べて伝送する信号量は多くなるが、必要領域のみ出力するため、信号伝送量の抑制は達成される。また、比較的小規模な信号処理回路でも実現可能である。

なお、焦点検出用信号処理部７０２においても、焦点検出用信号を混合、平均化処理してもよい。この場合、画素信号Ｓ（Ａ）同士、画素信号Ｓ（Ｂ）同士について混合、平均化処理を行う。

以上のように、撮像画像用信号処理部７０１と焦点検出用信号処理部７０２を備える撮像素子１００において、必要な信号のみを撮像素子１００の外部に出力する信号処理を行う。これにより、焦点検出用信号の伝送量を減らすことができ、撮像画像データと焦点検出情報を共に高速かつ効率的に得ることができる。

なお、このように焦点検出に使用する画素を限定することによって、１フレームの読み出し時間を短縮する方法がある。通常は、焦点検出処理に使用する行のみ単位画素内の２つの光電変換部の信号をそれぞれ読み出し、焦点検出処理に使用しない行は２つの光電変換部の信号を混合して画像生成用の信号のみを読み出すことで読み出し時間の増大を抑制する。この場合、焦点検出用として読み出された２つの光電変換部の個々の出力信号は混合して撮像画像用の画素信号として使用することが可能である。しかし、信号の読み出し方法や２つの光電変換部の出力信号の混合方法が焦点検出処理に使用する行としない行とで異なることにより、ノイズレベル等に差が生じてしまい、その結果得られる撮像画像が劣化するという問題が生じる。しかし、本実施形態のように焦点検出用信号処理部を備えることによって、画素部からの信号は全て同様の読み出しタイミングで読み出し、焦点検出用信号処理部７０２で出力する画素を選択できる。そのため、撮像画像に用いる画素信号Ｓ（Ａ＋Ｂ）のノイズ量が領域によって異なることもなく、高品質の撮像画像を得ることができる。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。第３の実施形態では、画素部４０２の単位画素２００の構成が異なる。図９は、撮像素子１００の受光部１０２及びマイクロレンズアレイを光軸方向（Ｚ方向）から観察した図である。１つのマイクロレンズ２０２に対して、４つの光電変換部９０１Ａ、９０１Ｂ、９０１Ｃ、９０１Ｄが配置されている。このように、Ｘ軸方向及びＹ軸方向それぞれ２つの合計４つの光電変換部を有することで、４つに分割された射出瞳領域の光をそれぞれ受光することができる。このような単位画素がそれぞれ４つの光電変換部を備えている画素部４０１により構成される撮像素子１００における、信号読み出し方法、及び信号処理部１０５の処理について説明する。

図１０は、単位画素９００及び読み出し部１０３の構成の一例を示す模式図である。図１０の構成では、各光電変換部のそれぞれに読み出し回路を備えている。すなわち、光電変換部９０１Ａの画素信号は読み出し回路１００１Ａにより読み出される。以下同様に、光電変換部９０１Ｂは読み出し回路１００１Ｂ、光電変換部９０１Ｃは読み出し回路１００１Ｃ、光電変換部９０１Ｄは読み出し回路１００１Ｄにより読み出される。光電変換部からの信号読み出し動作については、図５、図６で説明した駆動方法とほぼ同様の方法で実施可能であるため、説明は省略する。

各光電変換部から読み出された信号に対する信号処理部１０５の処理について説明する。撮像画像用信号処理部７０１では、読み出された信号から、撮像画像用信号を算出する。すなわち、単位画素９００の複数の光電変換部９０１Ａ、９０１Ｂ、９０１Ｃ、９０１Ｄの画素信号Ｓ（Ａ）、Ｓ（Ｂ）、Ｓ（Ｃ）、Ｓ（Ｄ）を受けて、混合処理を行い、画素信号Ｓ（Ａ＋Ｂ＋Ｃ＋Ｄ）を算出する。そして、画素信号Ｓ（Ａ＋Ｂ＋Ｃ＋Ｄ）を撮像画像用信号出力線７０３を介して出力部１０６に送る。撮像画像用信号処理部７０１において、複数の光電変換部の信号を混合処理して出力部１０６から撮像素子１００の外部に出力することで、撮像素子１００の外部への信号伝送量を減らすことができる。単位画素９００のように４つの光電変換部を備えるような撮像素子においては、その効果はより大きくなる。

続いて、焦点検出用信号処理部７０２の処理について説明する。図９に示した様な単位画素９００当たり４つの光電変換部を備える撮像素子の場合、焦点検出のためには４つの光電変換部の信号を個別に読み出す必要があり、信号伝送量が膨大になり、高速読み出しに望ましくない。第１の実施形態で説明したように、Ｙ値を演算して出力したり、相関演算結果のみを出力することが好適である。必要な領域のみの信号を出力すれば、更に信号伝送量を減らすことができる。

また、図９のように単位画素９００が２ｘ２の光電変換部を備える構成の場合、左右方向に加え、上下方向の位相差検出も行うことができる。例えば、画素信号Ｓ（Ａ）とＳ（Ｃ）を混合処理し、画素信号Ｓ（Ｂ）とＳ（Ｄ）を混合処理してそれぞれ出力する。この場合、得られた焦点検出用信号からは左右方向に瞳分割された位相差方式の焦点検出が可能となる。また、画素信号Ｓ（Ａ）とＳ（Ｂ）を混合処理し、画素信号Ｓ（Ｃ）とＳ（Ｄ）を混合処理してそれぞれ出力した場合は、得られた焦点検出用信号からは上下方向に瞳分割された位相差方式の焦点検出が可能となる。これらは、被写体に応じて切り替えて出力することで、縦縞、横縞それぞれの被写体に対して精度良く焦点検出することができる。また、画素の領域によって出力パターンを変えてもよい。

更に、焦点検出用信号処理部７０２において、得られた混合信号（例えば、Ｓ（Ａ＋Ｃ）とＳ（Ｂ＋Ｄ））を用いて相関演算を行い、その結果のみを出力してもよい。焦点検出用信号処理部７０２で相関演算処理をすれば撮像素子１００から出力する信号伝送量を減らすことができる。また、同一領域において左右方向と上下方向両方の相関演算を行って出力しても信号伝送量を抑えることができる。

このように、多分割画素を備えた撮像素子において、撮像素子内に焦点検出用信号処理部７０２を備えることで、撮像素子から出力する信号量の増加を抑制し、高速に撮像画像データと焦点検出情報を得ることができる。更に、左右方向と上下方向の位相差情報を取得できるため、精度良く焦点検出を行うことができる。本実施形態では、単位画素当たり４つの光電変換部を有する撮像素子を例に説明したが、更に多くの光電変換部を有する構成であってもよい。より視差を付けるために、必要なＰＤの信号のみを出力したり、斜め方向に信号を加算して出力してもよい。

（第４の実施形態）
第１および第２の実施形態で説明したような撮像素子１００の信号処理部１０５は大規模な回路となるため、撮像素子１００は全体として大面積なものとなる可能性が高い。そこで、本実施形態においては、面積の増大を抑制する撮像素子１００の構成について説明する。

図１１、図１２は、第３の実施形態における撮像素子１００の構成図である。本実施形態の撮像素子は画素領域チップ１１０１、信号処理チップ１１０２を積層させた構成（多層構造）を有する。各チップ間の配線は、公知の基板積層技術により、マイクロバンプ等を用いて電気的に接続される。

画素領域チップ１１０１は、複数の光電変換部を備えた単位画素２００が行列状に配置された画素部４０１と、駆動回路部４０２と、読み出し部１０３とを備える。駆動回路部４０２は、画素部４０１の画素に対して駆動信号を送る。なお、図１１では、単位画素２００は、２つの光電変換部を有するが、光電変換部の数はこれに限定されるものではない。

読み出し部１０３は多数の、例えば画素１列当たり１つの読み出し回路５０９を備えて構成され、画素部４０１の画素信号を読み出す。読み出された画素信号は駆動回路部４０２の制御により、垂直・水平選択がなされ、順次、信号処理部１０５に転送される。

信号処理チップ１１０２は、制御部１０４、信号処理部１０５、出力部１０６を備える。信号処理部１０５は、撮像画像用信号処理部７０１と焦点検出用信号処理部７０２を有し、読み出し部１０３から読み出された画素信号を処理して、出力部１０６を介して撮像素子１００の外部に出力する。信号処理部１０５における信号処理については、第１および第２の実施形態で説明した処理と同様であるため説明を省略する。撮像素子１００は、図１２に示したように、画素領域チップ１１０１、信号処理チップ１１０２が積層されて一体となった構成を有する。

以上のように、撮像素子が積層構造となることにより、信号処理部１０５に十分な面積を取ることができ、大規模な回路を実装することが可能となる。信号処理部１０５において、必要な信号のみを撮像素子１００の外部に出力する信号処理を行うことにより信号伝送量を減らすことができ、撮像画像データと焦点検出情報を共に高速に得ることが可能となる。

（第５の実施形態）
第１および第２の実施形態で説明したような単位画素当たり複数の光電変換部を備える画素部から構成される撮像素子においては、読み出し回路５０９が多い方が好ましい。例えば、単位画素当たり１つの読み出し回路を備える構成や、更に、１つの光電変換部当たり１つの読み出し回路を備える構成であれば、全画素同時に画素信号を読み出してＡ／Ｄ変換することができるため、より高速な読み出しが可能となる。この場合、読み出し回路を配するのに面積が必要であり、積層構造の撮像素子であることが望ましい。

図１３は、第５の実施形態における撮像素子１００の構成を示す図である。本実施形態の撮像素子は画素領域チップ１３０１、読み出し回路チップ１３０２、信号処理チップ１３０３を積層させた構成を有する。各チップ間の配線は、公知の基板積層技術により、マイクロバンプ等を用いて電気的に接続される。

画素領域チップ１３０１は、複数の光電変換部を備えた単位画素２００が行列状に配置された画素部４０１と駆動回路部４０２を備える。駆動回路部４０２は、画素部４０１の画素に対して駆動信号を送る。なお、図１３では、単位画素２００は２つの光電変換部を備えるが、光電変換部の数は２つに限定されるものではない。

読み出し回路チップ１３０２は、読み出し部１０３、垂直選択回路１３０４、水平選択回路１３０５を備える。読み出し部１０３は多数の読み出し回路５０９を有し、画素部４０１の画素信号を読み出す。読み出された画素信号は垂直選択回路１３０４、水平選択回路１３０５の制御により、順次信号処理部１０５に転送される。

信号処理チップ１３０３は、制御部１０４、信号処理部１０５、出力部１０６を備える。信号処理部１０５は、撮像画像用信号処理部７０１と焦点検出用信号処理部７０２を有し、読み出し部１０３により読み出された画素信号を信号処理部１０５で処理して、出力部１０６を介して撮像素子１００の外部に出力する。信号処理部１０５における信号処理については、第１および第２の実施形態で説明した処理と同様であるため、説明を省略する。

撮像素子１００は、画素領域チップ１３０１、読み出し回路チップ１３０２、信号処理チップ１３０３が積層されて一体となった構成を有する。ところで、本実施形態の構成のように、例えば１つの光電変換部当たり１つの読み出し回路を備える構成の場合、画素信号が信号処理部１０５に読み出される時間は飛躍的に速くなる。例えば、１つの光電変換部の読み出しにかかる時間をαとすると、１列当たり１つの読み出し回路を備える撮像素子の場合、１フレーム分の画素信号を読み出すにはαｘ行数分の時間がかかる。一方、１つの光電変換部当たり１つの読み出し回路を備える場合は、αの時間で１フレーム分の画素信号が読み出される。ただしこの場合は、画素信号を受け取る信号処理部１０５での信号の受け取り、及び信号処理が律速することが懸念される。しかし、本実施形態のように、積層構造からなる撮像素子１００の信号処理部１０５は面積を大きく配することができるため、読み出し回路チップ１３０２からの信号の伝送ラインを多数設けることができ、高速に画素信号を信号処理部１０５に送ることができる。また、信号処理部１０５には信号処理回路を多数実装することができるため、並列処理が可能となり、信号処理時間も高速化される。

以上のように、撮像素子が積層構造となることにより、読み出し部、信号処理部に十分な面積を取ることができる。本実施形態の撮像素子は、画素部からの信号読み出しも高速になり、更に信号処理部１０５において、必要な信号のみを撮像素子の外部に出力する信号処理を行うことにより、信号伝送量を減らすことができ、撮像画像データと焦点検出情報を共に高速に得ることができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：撮像素子、１０１：撮影レンズ、１０２：受光部、１０３：読み出し部、１０４：制御部、１０５：信号処理部、１０６：出力部、１０７：画像処理部、１０８：位相差検出部、１０９：全体制御・演算部

Claims

１つのマイクロレンズと複数の光電変換部とを有する単位画素が行列状に複数配列された画素部と、
前記画素部全体の単位画素から出力された信号を保持する信号保持部と、
前記信号保持部により保持された信号を処理する信号処理部であって、前記信号保持部により保持された信号に撮像画像を生成するための信号処理を行う撮像画像用信号処理部と、前記信号保持部により保持された信号に焦点検出のための信号処理を行う焦点検出用信号処理部とを有する信号処理部と、
前記信号処理部で処理された信号を出力する出力部と、
を備えることを特徴とする撮像素子。
前記焦点検出用信号処理部は、前記信号保持部により保持された前記画素部全体の信号から、前記画素部における目的とする領域の前記単位画素の信号を選択し、選択された単位画素それぞれの複数の光電変換部の信号のうち少なくとも１つの光電変換部の信号を出力することを特徴とする請求項１に記載の撮像素子。
前記焦点検出用信号処理部は、前記選択された単位画素それぞれの複数の光電変換部の信号をそれぞれ出力することを特徴とする請求項２に記載の撮像素子。
前記焦点検出用信号処理部は、前記選択された単位画素それぞれの複数の光電変換部の信号を選択的に混合して出力することを特徴とする請求項２に記載の撮像素子。
前記焦点検出用信号処理部は、前記信号保持部により保持された前記画素部全体の信号から、前記画素部における目的とする領域の前記単位画素の信号を選択し、前記選択された単位画素それぞれの複数の光電変換部の信号に対して相関演算を行い、該相関演算により算出された値を出力することを特徴とする請求項１に記載の撮像素子。
前記信号保持部は、それぞれの単位画素の前記光電変換部から出力された信号をそれぞれ保持する複数の保持回路を有することを特徴とする請求項１乃至５のいずれか１項に記載の撮像素子。
前記信号保持部は、それぞれの単位画素の前記光電変換部から列ごとに出力された信号をそれぞれ保持するための複数の保持回路を有することを特徴とする請求項１乃至５のいずれか１項に記載の撮像素子。
前記撮像画像用信号処理部は、それぞれの単位画素の前記複数の光電変換部の信号を圧縮して出力する圧縮処理手段を有することを特徴とする請求項１乃至７のいずれか１項に記載の撮像素子。
前記圧縮処理手段は、それぞれの単位画素の前記複数の光電変換部の信号を混合平均化することを特徴とする請求項８に記載の撮像素子。
複数の半導体基板から形成される多層構造を備え、前記画素部と前記信号処理部は互いに異なる基板に形成されていることを特徴とする請求項１乃至９のいずれか１項に記載の撮像素子。
撮像素子と、該撮像素子から読み出された信号を処理して画像を生成する画像処理手段と、前記読み出された信号を処理して焦点検出を行う焦点検出手段とを備え、
前記撮像素子が、
１つのマイクロレンズと複数の光電変換部とを有する単位画素が行列状に複数配列された画素部と、
前記画素部全体の単位画素から出力された信号を保持する信号保持部と、
前記信号保持部により保持された信号を処理する信号処理部であって、前記信号保持部により保持された信号に撮像画像を生成するための信号処理を行う撮像画像用信号処理部と、前記信号保持部により保持された信号に焦点検出のための信号処理を行う焦点検出用信号処理部とを有する信号処理部と、
前記信号処理部で処理された信号を出力する出力部と、
を有することを特徴とする撮像装置。
前記焦点検出用信号処理部は、前記信号保持部により保持された前記画素部全体の信号から、前記画素部における目的とする領域の前記単位画素の信号を選択し、選択された単位画素それぞれの複数の光電変換部の信号のうち少なくとも１つの光電変換部の信号を出力することを特徴とする請求項１１に記載の撮像装置。
前記焦点検出用信号処理部は、前記選択された単位画素それぞれの複数の光電変換部の信号をそれぞれ出力することを特徴とする請求項１２に記載の撮像装置。
前記焦点検出用信号処理部は、前記選択された単位画素それぞれの複数の光電変換部の信号を選択的に混合して出力することを特徴とする請求項１２に記載の撮像装置。
前記焦点検出用信号処理部は、前記信号保持部により保持された前記画素部全体の信号から、前記画素部における目的とする領域の前記単位画素の信号を選択し、前記選択された単位画素それぞれの複数の光電変換部の信号に対して相関演算を行い、該相関演算により算出された値を出力することを特徴とする請求項１１に記載の撮像装置。
前記信号保持部は、それぞれの単位画素の前記光電変換部から出力された信号をそれぞれ保持する複数の保持回路を有することを特徴とする請求項１１乃至１５のいずれか１項に記載の撮像装置。
前記信号保持部は、それぞれの単位画素の前記光電変換部から列ごとに出力された信号をそれぞれ保持するための複数の保持回路を有することを特徴とする請求項１１乃至１５のいずれか１項に記載の撮像装置。
前記撮像画像用信号処理部は、それぞれの単位画素の前記複数の光電変換部の信号を圧縮して出力する圧縮処理手段を有することを特徴とする請求項１１乃至１７のいずれか１項に記載の撮像装置。
前記圧縮処理手段は、それぞれの単位画素の前記複数の光電変換部の信号を混合平均化することを特徴とする請求項１８に記載の撮像装置。
前記撮像素子は、複数の半導体基板から形成される多層構造を備え、前記画素部と前記信号処理部は互いに異なる基板に形成されていることを特徴とする請求項１１乃至１９のいずれか１項に記載の撮像装置。