以下に、本発明を実施するための最良の形態を、実施例により詳しく説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は、図示された構成に限定されるものではない。
[第1の実施形態]
図1は、本発明の代表的な実施形態を示す撮像装置100のブロック図である。図1において、撮像装置100の撮像光学系は、撮像レンズ101、レンズ絞り102を備える。ここで、撮像レンズ101は被写体からの光を集光するレンズ部に相当する。また、撮像レンズ101は複数の光学部材を含み、1以上の光学部材をアクチュエータ等を用いて光軸方向に進退させることによって、焦点調整を行う焦点調整部を備える。なお、本焦点調整部の制御は後述する信号処理回路104によって行われる。この撮像光学系で結像された被写体像は、マイクロレンズアレイ111を有する撮像素子103の各光電変換部で受光される。ここで、光電変換部はPDであって、受光する光量に基づいて電気信号を生成する。撮像レンズ101を通過した光は撮像レンズ101の焦点位置近傍に結像する。マイクロレンズアレイ111は複数のマイクロレンズ112から構成されており、撮像レンズ101の焦点位置近傍に配置されることで、撮像レンズ101の異なる瞳領域を通過した光を瞳領域ごとに分割して射出する機能を有する。なお、本実施形態においてマイクロレンズアレイ111は撮像素子103とは別の構成としたが、撮像素子103上に集積して一体化させてもよい。
撮像素子103は例えば、CMOS撮像素子や光電変換膜を光電変換部として備えたエリア型撮像素子である。また、光電変換部を裏面側に持つ裏面照射型の撮像素子でもよいし、複数の周辺回路を積層した積層型撮像素子でもよい。
そして、1つのマイクロレンズ112に対して複数の光電変換部が対応するように配置されることで、マイクロレンズ112で瞳領域ごとに分割して射出された光を、分割情報を保ったまま受光し、データ処理可能な画像信号に変換する機能を有する。また、本実施形態の撮像素子103はAD変換回路を備えており、各画素で受光した光に対応するデジタル信号を出力可能である。
信号処理回路104は、撮像素子103から出力される画像信号に対して信号増幅、基準レベル調整、ノイズリダクション等の各種の補正や、データの並べ替えなどを行う。
タイミング発生回路105は撮像素子103や信号処理回路104に駆動タイミング信号を出力する。駆動タイミング信号には、電子シャッターを駆動させる信号、信号読み出し走査を駆動させる信号、その他各種パラメータの設定用の信号を含む。
全体制御・演算回路106は撮像素子103や信号処理回路104等、撮像装置100全体の統括的な駆動、制御、及び各種パラメータ等の設定等を行う。また、信号処理回路104から出力された画像信号に対して、後述するA像、B像の相関演算や焦点検出、また所定の画像処理や欠陥補正等を施す。また、CPUや一次メモリ、ロジック回路、I/O,その他の周辺回路等を具備する。
メモリ回路107および記録回路108は、全体制御・演算回路106から出力された画像信号等を記録保持する不揮発性メモリあるいはメモリカード等の記録媒体である。全体制御・演算回路106はこれに記憶されたプログラムを実行する。なお、メモリ回路107は、全体制御・演算回路106が実行するプログラム格納領域、プログラム実行中のワーク領域、データの格納領域等として使用される。加えて、メモリ回路107は撮像装置100が撮像する画像データや、メタデータ等を記憶する。
操作回路109は撮像装置100に備え付けられたボタンやレバー等の操作部材からの信号を受け付け、全体制御・演算回路106に対してユーザーの命令を反映する。表示回路110は撮像後の画像やライブビュー画像、各種設定画面等を表示する。なお、表示回路110の表示画面上にタッチパネルを設けて、タッチ操作によってユーザーの命令を反映するようにしてもよい。また、操作部109及び表示回路110は、有線または無線通信等で撮像装置100と接続されているスマートフォンやタブレット等の外部装置の操作部や表示回路を用いるようにしてもよい。
次に、本実施形態の撮像装置における撮像レンズ101、マイクロレンズアレイ111及び撮像素子103との関係と、画素の定義、及び瞳分割方式による焦点検出の原理について図2を用いて詳細に説明する。
図2は、撮像素子103及びマイクロレンズアレイ111を図1の光が入射するレンズ101からの方向(光軸Z方向)から観察した図である。本実施形態では、マイクロレンズアレイ111を形成する個々のマイクロレンズ112に対応する構成を1つの画素と定義し、これを単位画素200とする。より詳細には、単位画素200には、横2個と縦2個の計4個の光電変換部が対応する構成として含まれる。
図2においては、単位画素が2次元的に横4画素と縦4画素配列された計16単位画素を代表的に示している。図2の2x2の単位画素200は、撮像素子103に設けられた原色ベイヤー配列のカラーフィルタの繰り返し単位に対応している。従って、R(赤)の分光感度を有する画素200Rが左上に、G(緑)の分光感度を有する画素200Gが右上と左下に、B(青)の分光感度を有する画素200Bが右下に配置されている。本パターンは撮像素子103の全体に対して繰り返されている。単位画素200の光電変換領域がXY方向にそれぞれ2分割されており、各光電変換領域を分割画素とも称する。図2においては、単位画素200は横2画素×縦2画素の計4つの分割画素から構成される。ここでは、図に示したように単位画素200の左上を分割画素A、右上を分割画素B、左下を分割画素C、右下を分割画素Dと呼ぶ。単位画素においては、光電変換領域の他にもフローティングディフュージョン部(以下、FDと称する)、各所スイッチ(トランジスタ)等の周辺回路部を含む。
図3は、撮像素子103に含まれる一つの単位画素200が有する画素の構成例である。単位画素200を構成する4つの分割画素はそれぞれ光電変換部201A、201B、201C、201Dを有する。1つのマイクロレンズ112の下にある光電変換部を4つに分割したことによって、各PD201A、201B、201C、201Dは4つに分割された射出瞳領域の光を各々受光可能となる。そして、異なる射出瞳領域の光を受光した4つのPDからの信号を用いることで、撮像レンズ101の焦点調整を行うことができる。
ここで、撮像レンズ101からの光を瞳分割する分割画素のPD201Aから取得した信号を基に生成される被写体像をA像とする。同様に瞳分割されたPD201Bから取得した信号を基に生成される被写体像をB像とする。以下、C像、D像もPD201C及びPD201Dの信号から同様に生成される。
また、単位画素毎にPD201Aの信号とPD201Cの信号を加算した信号に基づいて生成した被写体像をA+C像とする。同様に、単位画素毎にPD201Bの信号とPD201Dの信号を加算した信号に基づいて生成した被写体像をB+D像とする。
各像信号を取得する場合において、各像を生成した後に演算によって再度生成することも可能である。具体的には、A+B像の信号からA像の信号を減算することによって、B像を生成することが可能である。
次に、生成したA+C像とB+D像を用いて焦点検出を行う。動作に関して説明する。焦点検出時には、A+C像およびB+D像の各信号を、各々列方向(もしくは行方向)に組み合わせ、同色単位画素群の出力として、A+C像及びB+D像を生成・データ化し、各々の対応点のずれを相関演算によって求める。相関演算の結果は下記式によって求められる。
[式1]
C = Σ|YAn − YBn|
ここで、nは水平のマイクロレンズ112の数である。また、YBnに対して対応画素をずらした際の値をプロットし、最も値の小さいずれ量が合焦位置である。つまり、合焦のときには、A+C像とB+D像はほぼ一致する。この時、相関演算で求められるA+C像用画素群とB+D像用画素群の像ずれ量(瞳分割位相差)は0に近似することを表している。
実際の合焦動作時には、像ずれ量と基線長から周知の技術によって求められるデフォーカス量に基づいて、レンズ101を移動させることで被写体への合焦動作を行う。
ここで、A+C像とB+D像を用いることで水平方向の相関演算を実施し、水平方向の像のずれ量を検出する。A+C像とB+D像の比較の場合、左右方向の像のずれ量を精度良く検出することができる。また、A+B像とC+D像に対して相関演算を実施することで、上下方向の像のずれ量を精度良く検出することができる。例えば、横縞状のパターンの多い被写体の場合、左右方向の位相差検出のみではうまく焦点検出できないが、上下方向の位相差検出も行うことで、焦点検出できるようになる。つまり、異なる2方向に分割された位相差信号を併用することで精度の良い焦点検出をすることができる。
また、PD201A、PD201B、PD201C、PD201Dそれぞれの信号を足し合わせたA+B+C+D像信号は通常の撮像画像に用いることができる。このように水平方向及び水平方向と直交する垂直方向に分割された画素を有することで、左右方向及び上下方向で位相差検出が可能となる。
次に、撮像素子103の回路構成を図4から図6を用いて説明する。
図4は、第1の実施形態における撮像素子103の構成例を示すブロック図である。撮像素子103には、複数の単位画素200が行列状に配置されている。図4においては単位画素200を4行4列の計16個として図示するが、実際は数百万、数千万の単位画素200で構成される。各単位画素200にはR(赤)、G(緑)、B(青)のベイヤ―配列のカラーフィルタの何れかが設けられる。なお、図2において単位画素200それぞれに記載されている文字及び数字は画素の色とアドレスを示している。例えばG01は、0行1列目のG(緑)画素を示す。各単位画素200は、垂直出力線401に画素信号を出力し、各垂直出力線401には定電流源402が接続されている。
列回路403には、垂直信号線上の画素信号が入力され、アナログデジタル変換(AD変換)を行う。スロープ電圧発生回路404は、列回路403で行うAD変換に使用するスロープ電圧を生成する。列回路403でAD変換された信号は水平走査回路405の駆動により、水平出力線406及び407、デジタル出力処理回路410を介して撮像素子の外部に順次出力される。垂直走査回路408は、行毎に接続される信号線409を介して行を選択・駆動する。なお、図4において、信号線409は単位画素行毎に1本のみ記載しているが、実際には複数本配線されている。詳細は図5を用いて後述する。
図5は、第1の実施形態における撮像素子103の単位画素200の周辺回路の一例を示す図である。
単位画素200において、PD201Aには転送スイッチ502Aが、PD201Bには転送スイッチ502Bが発生した電荷を転送可能に接続される。PD201A、201Bで発生した電荷は、それぞれ転送スイッチ502A、502Bを介して共通のFD504−1に転送され、一時的に保存される。FD504−1に転送された電荷は、選択スイッチ506−1がオンされると、ソースフォロワアンプを形成する増幅MOSトランジスタ(SF)505−1を介して電荷に対応した電圧信号として垂直出力線401に出力される。リセットスイッチ503−1は、FD504−1の電位、及び転送スイッチ502A、及び502Bを介してPD201A、201Bの電位をVDDにリセットする。転送スイッチ502A、502B、リセットスイッチ503−1、選択スイッチ506−1は、それぞれ垂直走査回路408に接続されている信号線を介して制御信号PTXA、PTXB、PRES1、PSEL1により制御される。
一方、PD201Cには転送スイッチ502Cが、PD201Dには転送スイッチ502Dが発生した電荷を転送可能に接続される。PD201C、201Dで発生した電荷は、それぞれ転送スイッチ502C、502Dを介して共通のFD504−2に転送され、一時的に保存される。FD504−2に転送された電荷は、選択スイッチ506−2がオンされると、ソースフォロワアンプを形成する増幅MOSトランジスタ(SF)505−2を介して電荷に対応した電圧信号として垂直出力線401に出力される。リセットスイッチ503−2は、FD504−2の電位、及び転送スイッチ502C、及び502Dを介してPD201C、201Dの電位をVDDにリセットする。転送スイッチ502C、502D、リセットスイッチ503−2、選択スイッチ506−2は、それぞれ垂直走査回路408に接続されている信号線を介して制御信号PTXC、PTXD、PRES2、PSEL2により制御される。
このように、実施形態1における撮像素子103の単位画素200は、4つのPDを有し、上側PD2つと下側のPD2つがそれぞれFDを共有する構成となっている。
なお、画素を制御する制御信号は分割画素における行毎に制御され、例えば選択スイッチ506−1により選択された行の画素信号が一括して垂直出力線401に出力される。
次に、列回路403の回路構成について説明する。図6は第1の実施形態における撮像素子103の列回路の一例を示す図である。アンプ601は、垂直出力線401に現れた信号を増幅し、容量603は信号電圧を保持するために用いられる。なお、不図示の参照電圧との差分を増幅する負帰還構成は公知のため省略する。この帰還容量の選択制御で増幅率も可変となる。容量603への書き込みは、制御信号PSHによりオン、オフされるスイッチ602により制御される。比較器604の一方の入力には、図4のスロープ電圧発生回路404から供給された参照電圧であるVslopeが入力され、他方の入力には、容量603に書き込まれたアンプ601の出力が入力される。比較器604はアンプ601の出力と参照電圧Vslopeを比較し、その大小関係によってローレベル、ハイレベルの2値のいずれかを出力する。具体的には、Vslopeがアンプ601の出力に対して小さい時にはローレベル、大きい時にはハイレベルを出力する。参照電圧Vslopeの遷移開始と同時にCLKが動き出し、カウンタ605は比較器604の出力がハイレベルの時にCLKに対応してカウントアップし、比較器604の出力がローレベルに反転すると同時にカウントの信号を停止する。
メモリ606には、例えばFD504−1のリセットレベルの信号(以下、「N信号」)をAD変換したデジタル信号が、保持される。そして、メモリ607には、PD201A及びPD201Bの信号をFD504−1のN信号に重畳した信号(以下「S信号」)をAD変換したデジタル信号が、保持される。メモリ606、607に保持されるS信号に関する詳細は後述する。メモリ606、607に保持された信号は水平走査回路405からの制御信号によって、水平出力線406、407を介してデジタル出力処理回路410へ出力される。そして、デジタル出力処理回路410にてS信号からN信号の差分が算出されて、ノイズの要因となるFD504−1のリセットノイズ成分が除去された信号が出力される。
続いて、図5に示す回路構成を有する撮像素子103の1行分の単位画素200からの電荷読み出し動作について説明する。本発明における撮像素子103は、左右方向の撮像面位相差AFモード(第1の制御モード)と上下方向の撮像面位相差AFモード(第2の制御モード)の2モードを有する。そして、静止画や動画等を生成するための撮像信号を取得する、通常撮像モード(第3の制御モード)を有する。図7から図9は、各モードにおける一水平期間における電荷読み出しの一例を示すタイミングチャートである。各駆動パルスのタイミング、参照電圧Vslope、CLK、水平走査信号を模式的に示している。また、各タイミングにおける、垂直出力線の電位Vlもあわせて示している。
図7は、左右方向の撮像面位相差AFモードにおける電荷読み出しの一例を示すタイミングチャートである。本モードでは、単位画素200が有する4つのPDの信号のうちPD201AとPD201Cの信号を混合して読み出し、続いてPD201BとPD201Dの信号を混合して読み出す駆動を行う。
PD201からの信号の読み出しに先立って、リセットスイッチ503−1、503−2の信号線PRES1、PRES2がHiとなる(t700)。これによって、SF505−1、505−2のゲートがリセット電源電圧にリセットされる。時刻t701で制御信号PSEL1及びPSEL2をHiとし、SF505−1、505−2が動作状態となる。そして、時刻t702で制御信号PRES1、PRES2がLoとなることでFD504−1、504−2のリセットが解除される。このときのFDの電位は垂直出力線401にリセット信号レベル(N信号)として読み出され、列回路403に入力される。左右方向の撮像面位相差AFモードにおいては、PSEL1及びPSEL2が同時にオンする。このことにより、選択スイッチ506−1と506−2が同時に選択され、FD504−1とFD504−2の電位に応じた信号が垂直出力線401に出力され、その結果としてそれぞれの信号の平均化された信号が列回路403に出力される。時刻t703、t704で制御信号PSHをHi、Loとしてスイッチ602をオン、オフする。このことで、垂直出力線401に読み出されたN信号はアンプ601で所望のゲインで増幅されたのち容量603に保持される。容量603に保持されたN信号の電位は比較器604の一方に入力される。時刻t704でスイッチ602がオフされた後、時刻t705からt707まで、スロープ電圧発生回路404により、参照電圧Vslopeを時刻と共に初期値から減少させていく。参照電圧Vslopeの遷移開始と共に、CLKをカウンタ605に供給する。CLKの数に応じてカウンタ605の値は増加していく。そして、比較器604に入力した参照電圧VslopeがN信号と同じレベルになると、比較器604の出力COMPはローレベルとなり、同時にカウンタ605の動作も停止する(時刻t706)。この、カウンタ605の動作が停止した時の値が、N信号がAD変換された値となり、N信号用メモリ606に保持される。
次に、デジタル化されたN信号をN信号メモリ606に保持した後の時刻t707、t708で制御信号PTXA、及びPTXCが順次Hi、Loとなる。そしてPD201Aに蓄積された光電荷はFD504−1、PD201Cに蓄積された光電荷はFD504−2にそれぞれ転送される。すると、電荷量に応じたFD504−1、FD504−2の電位変動が垂直出力線401に伝達される。垂直出力線401上でFD504−1とFD504−2の電位に応じた信号が垂直出力線401に出力され、その結果としてそれぞれの信号の平均化された信号が、S信号レベル(光成分+リセットノイズ成分(N信号))として列回路403に出力される。そして、S信号はアンプ601で所望のゲインで増幅されたのち、時刻t709、t710で制御信号PSHを順次Hi、Loとしてスイッチ602をオン、オフされるタイミングで容量603に保持される。容量603に保持された電位は比較器604の一方に入力される。時刻t710でスイッチ602がオフされた後、時刻t711からt713まで、スロープ電圧発生回路404により、参照電圧Vslopeを時刻と共に初期値から減少させていく。参照電圧Vslopeの遷移開始と共に、CLKをカウンタ605に供給する。CLKの数に応じてカウンタ605の値は増加していく。そして、比較器604に入力した参照電圧VslopeがS信号と同じレベルになると、比較器604の出力COMPはローレベルとなり、同時にカウンタ605の動作も停止する(時刻t712)。この、カウンタ605の動作が停止した時の値が、S信号がAD変換された値となり、S信号用のメモリであるメモリ607に保持される。なお、ここでのS信号はPD201AとPD201Cに蓄積された光電荷が垂直出力線401上で混合(加算平均)されて読み出されたものであり、以下、S(A+C)信号と表す。
続いて、メモリ606、607に保持された信号を水平走査回路405により読み出す。時刻t713より、列回路403ごとに順次動作させることでメモリ606、607に保持された信号は水平出力線406、407を通り、デジタル出力処理回路410に送られ、そこで差動信号レベル(光成分)が算出される。なお、時刻t713でリセットスイッチ503−1、503−2の信号線PRES1、PRES2はHiとなる。
このように、制御信号PTXAとPTXCを同時にオンすることにより、PD201A、PD201Cに蓄積された電荷を同時にFD504−1、FD504−2を介して垂直出力線401に転送して信号を読み出すことができる。
続いて、単位画素200のPD201BとPD201Dに蓄積された電荷の読み出しを行う。時刻t714で制御信号PRES1、PRES2をLoとなることでFD504−1、504−2のリセットが解除される。このときのFDの電位は垂直出力線401にリセット信号レベル(N信号)として読み出され、列回路403に入力される。時刻t715からt719のN信号がメモリ606に保持されるまでの駆動は、前述の時刻t703からt707までの駆動と同様であるため省略する。
次に、時刻t719、t720で制御信号PTXB、及びPTXDを順次Hi、LoとしてPD201Bに蓄積された光電荷はFD504−1、PD201Dに蓄積された光電荷はFD504−2にそれぞれ転送される。すると、電荷量に応じたFD504−1、FD504−2の電位変動が垂直出力線401に伝達される。垂直出力線401上でFD504−1とFD504−2の電位に応じた信号垂直出力線401に出力され、その結果としてそれぞれの信号の平均された信号が、S信号レベル(光成分+リセットノイズ成分(N信号))として列回路403に入力される。そして、列回路403に入力されたS信号は、時刻t721からt725までの駆動でデジタル信号に変換されてメモリ607に保持される。時刻t721からt725までの駆動は前述の時刻t709からt713までの駆動と同様となる。ここでのS信号はPD201BとPD201Dに蓄積された光電荷が垂直出力線401上で混合(加算平均)されて読み出されたものであり、以下、S(B+D)信号と表す。
そして、メモリ606、607に保持された信号を水平走査回路405により読み出す。時刻t725より、列回路403ごとに順次動作させることでメモリ606、607に保持された信号は水平出力線406、407を通り、デジタル出力処理回路410に送られ、そこで差動信号レベル(光成分)が算出される。
このように、制御信号PTXBとPTXDを同時にオンすることにより、PD201B、PD201Dに蓄積された電荷を同時にFD504−1、FD504−2を介して垂直出力線401に転送して信号を読み出すことができる。
以上が、左右方向の撮像面位相差AFモードにおける電荷読み出し動作の一例であり、左右方向の位相差検出に必要なS(A+C)信号とS(B+D)信号を得ることができる。このように、信号読み出しの際に垂直出力線上で信号を混合して読み出すことで各PDの信号を別々に読み出すよりも読み出し時間が短縮でき、高速に撮像素子103からの信号を得ることができる。更に、本モードで得られたS(A+C)信号とS(B+D)信号は、信号処理回路104や全体制御・演算回路106などで加算されたS(A+B+C+D)信号を取得して撮像画像用の信号として使用することができる。ただし、S(A+C)信号、及びS(B+D)信号は垂直出力線上で加算平均処理されているため、撮像画像信号として用いる際には、2倍のゲインをかけるといったゲイン補正をすることが望ましい。
図8は、上下方向の撮像面位相差AFモードにおける電荷読み出しの一例を示すタイミングチャートである。本モードでは、単位画素200が有する4つのPDの信号のうちPD201AとPD201Bの信号を混合して読み出し、続いてPD201CとPD201Dの信号を混合して読み出す駆動を行う。
PD201からの信号の読み出しに先立って、リセットスイッチ503−1、503−2の信号線PRES1、PRES2がHiとなる(t800)。これによって、SF505−1、505−2のゲートがリセット電源電圧にリセットされる。時刻t801で制御信号PSEL1をHiとし、SF505−1が動作状態となる。そして、時刻t802で制御信号PRES1がLoとなることでFD504−1のリセットが解除される。このときのFDの電位は垂直出力線401にリセット信号レベル(N信号)として読み出され、列回路403に入力される。上下方向の撮像面位相差AFモードにおいては、PSEL1のみオンしていることにより、選択スイッチ506−1が選択され、FD504−1の電位に応じた信号が垂直出力線401に伝達される。このときのFDの電位は垂直出力線401にリセット信号レベル(N信号)として読み出され、列回路403に出力される。時刻t802からt807のN信号がメモリ606に保持されるまでの駆動は、前述の上下方向の撮像面位相差AFモードにおける電荷読み出し例で説明した時刻t703からt707までの駆動と同様であるため省略する。
次に、デジタル化されたN信号をN信号メモリ606に保持した後の時刻t807、t808で制御信号PTXA、及びPTXBを順次Hi、LoとしてPD201A、PD201Bに蓄積された光電荷は共有されているFD504−1転送される。すると、両PD201の電荷量に応じたFD504−1の電位変動が垂直出力線401に伝達され、S信号レベル(光成分+リセットノイズ成分(N信号))として読み出されて列回路403に入力される。そして、列回路403に入力されたS信号は、時刻t809からt813までの駆動でデジタル信号に変換されてメモリ607に保持される。時刻t809からt813までの駆動は前述の時刻t709からt713までの駆動と同様となる。ここでのS信号はPD201AとPD201Bに蓄積された光電荷が共有のFD504−1上で混合(加算)されて読み出されたものであり、以下、S(A+B)信号と表す。
続いて、メモリ606、607に保持された信号は水平走査回路405により読み出される。時刻t813より、列回路403ごとに順次動作させることでメモリ606、607に保持された信号は水平出力線406、407を通り、デジタル出力処理回路410に送られ、そこで差動信号レベル(光成分)が算出される。なお、時刻t813でリセットスイッチ503−1の信号線PRES1はHiとなる。また、同時にPSEL1はLo、PSEL2はHiになり、SF505−2は動作状態となる。
このように、制御信号PTXAとPTXBを同時にオンすることにより、PD201A、PD201Bに蓄積された電荷を同時にFD504−1に転送して垂直出力線401より信号を読み出すことができる。
続いて、単位画素200のPD201CとPD201Dに蓄積された電荷の読み出しを行う。時刻t814で制御信号PRES2をLoとなることでFD504−2のリセットは解除される。このときのFDの電位は垂直出力線401にリセット信号レベル(N信号)として読み出され、列回路403に入力される。時刻t815からt819のN信号がメモリ606に保持されるまでの駆動は、前述の時刻t703からt707までの駆動と同様であるため省略する。
次に、時刻t819、t820で制御信号PTXC、及びPTXDを順次Hi、LoとしてPD201C、PD201Dに蓄積された光電荷はFD504−2にそれぞれ転送される。すると、電荷量に応じたFD504−2の電位変動が垂直出力線401に出力され、S信号レベル(光成分+リセットノイズ成分(N信号))として読み出されて列回路403に入力される。そして、列回路403に入力されたS信号は、時刻t821からt825までの駆動でデジタル信号に変換されてメモリ607に保持される。時刻t821からt825までの駆動は前述の時刻t709からt713までの駆動と同様となる。ここでのS信号はPD201CとPD201Dに蓄積された光電荷が共通FD504−2上で混合(加算)されて読み出されたものであり、以下、S(C+D)信号と表す。
そして、メモリ606、607に保持された信号を水平走査回路405により読み出す。時刻t825より、列回路403ごとに順次動作させることでメモリ606、607に保持された信号は水平出力線406、407を通り、デジタル出力処理回路410に送られ、そこで差動信号レベル(光成分)が算出される。なお、時刻t825でリセットスイッチ503−2の信号線PRES2はHiとなる。また、同時にPSEL2はLoとなる。
このように、制御信号PTXCとPTXDを同時にオンすることにより、PD201C、PD201Dに蓄積された電荷を同時にFD504−2に転送して垂直出力線401より信号を読み出すことができる。
以上が、上下方向の撮像面位相差AFモードにおける電荷読み出し動作の一例であり、上下方向の位相差検出に必要なS(A+B)信号とS(C+D)信号を得ることができる。このように、信号読み出しの際にFD上で信号を混合して読み出すことで各PDの信号を別々に読み出すよりも読み出し時間が短縮でき、高速に撮像素子103からの信号を得ることができる。更に、本モードで得られたS(A+B)信号とS(C+D)信号は、信号処理回路104や全体制御・演算回路106などで加算してS(A+B+C+D)信号を取得して撮像画像用の信号として使用することができる。
図9は、通常撮像モードにおける電荷読み出しの一例を示すタイミングチャートである。本モードでは、単位画素200が有する4つのPDの信号を混合して読み出す駆動を行う。
時刻t900から時刻t906までのN信号がN信号メモリ606に保持されるまでの駆動は、図7の左右方向の撮像面位相差AFモードにおけるt700から時刻t706までの駆動と同様であるため、省略する。
時刻t907、t908で制御信号PTXA、PTXB、PTXC及びPTXDが順次Hi、Loとなる。そして、PD201A及びPD201Bに蓄積された光電荷はFD504−1に、PD201C及びPD201Dに蓄積された光電荷はFD504−2にそれぞれ転送される。すると、電荷量に応じたFD504−1、FD504−2の電位変動が垂直出力線401に伝達される。垂直出力線401上でFD504−1とFD504−2の電位に応じた信号が出力信号線401に出力され、その結果としてそれぞれの信号の平均化された信号が、S信号レベル(光成分+リセットノイズ成分(N信号))として読み出される。そして、列回路403に出力される。そして、列回路403に出力されたS信号は、時刻t909からt913までの駆動でデジタル信号に変換されてメモリ607に保持される。時刻t909からt913までの駆動は前述の時刻t709からt713までの駆動と同様となる。ここでのS信号はPD201A、PD201B、PD201C及びPD201Dに蓄積された光電荷がFD504−1とFD504−2で加算された後、垂直出力線401上で混合(加算平均)されて読み出されたものである。以下、本信号をS(A+B+C+D)信号と表す。本モードで読み出されたS(A+B+C+D)信号は撮像画像信号として用いることができる。しかし、垂直出力線上で加算平均処理がされているため、後段の信号処理回路104や全体制御・演算回路106で2倍のゲインをかけるといったゲイン補正をすることが望ましい。
以上のように、撮像面位相差AFは行わず撮像画像のみ必要なモードの場合、本モードの駆動を行うことで高速に撮像信号を取得することができる。
以上、図7、図8、図9を用いて撮像素子103の駆動方法について3つのモードを説明した。左右方向の撮像面位相差AFモードでは、FDを共有するPDからの電荷を独立で読み出し、さらに2以上のFDの信号を同時に同一の垂直信号線に出力することで、垂直方向での信号の加算(平均)を実現した。一方で、上下方向の撮像面位相差AFモードでは、FDを共有するPDからの電荷を電荷状態で加算して読み出し、さらに2以上のFDの信号を独立して同一の垂直信号線に出力することで、水平方向での信号の加算を実現した。
撮像装置100はシーンや用途に応じて2つの撮像面位相差AFモードと通常撮像モードとを使い分けることができる。より精度の高い焦点検出を行うためには、左右方向及び上下方向の両方向の位相差情報を取得できることが望ましい。例えば、連続的に撮像し続ける動画駆動モードにおいて、フレーム毎に左右方向の撮像面位相差AFモードと上下方向の撮像面位相差AFモードを切り変えても良い。本実施形態の駆動は、図7、図8で説明した通り、立てるパルスが異なるだけで単位画素1行分の信号読み出し時間をそろえることができる。そのため、フレーム毎に駆動を切り替えてもフレームレートをそろえることができる。
なお、本実施形態において、左右方向の撮像面位相差AFモードにおいて、S(A+C)信号を読み出した後に再度N信号を読み出してS(B+D)信号の読み出しを行ったが、これに限られるものではない。例えば、S(A+C)信号を読み出した後に、FD504−1とFD504−2をリセットせずにS(B+D)を読み出すようにしても同様に本発明の効果を得ることができる。この場合、S(A+C)信号とS(A+B+C+D)信号が得られるために、S(B+D)信号はこれらを減算することで得るようにする必要がある。この動作に関しては、上下方向の撮像面位相差AFモードにおいても同様に適用可能である。
なお、本実形態においては、水平方向と垂直方向に2画素ずつ計4個のPDと2つのFDを備える例を示した。しかし、4以上のPDを持つ場合や2以上のFDを持つ場合においても同様の効果を得ることが可能となる。
[第2の実施形態]
これまでは、所定の行における複数のモードに関する動作に関して例示した。しかし、被写体は縦線や横線のみではなく、複数の線が存在するのが一般的である。本実施形態においては、1フレームの読み出しにおいて左右方向の撮像面位相差AFモードで読み出す行と、上下方向の撮像面位相差AFモードで読み出す行を混在させる動作に関して説明する。この動作によれば、1フレームで左右方向と上下方向の位相差情報を取得することができるため、より適切な焦点調節動作が可能となる。以下、このモードを行選択的撮像面位相差AFモードと呼ぶ。
図10は、撮像素子103の画素領域における、行選択的撮像面位相差AFモードでの読み出し方の一例を示す図である。各行における読み出しモードを示しており、ここでは2行は第1の制御モード(左右方向の撮像面位相差AFモード)で読み出し、続く2行は第2の制御モード(上下方向の撮像面位相差AFモード)で読み出す駆動としている。このように、行単位で所定の割合で、通常撮像モードと撮像面位相差AFモードとによる読み出しを交互に行う。第1の駆動モード、及び第2の駆動モードは、図7、図8のタイミングチャートに従うことで実施可能である。
また、更に通常撮像モードで駆動する行を混在させても良い。ここで、時刻t701から時刻t714までのPDから垂直出力線に信号が読み出された後、各列の信号がデジタル信号出力回路に転送される、1回の水平読み出しにかかる時間をTとする。左右方向及び上下方向の撮像面位相差AFモードは2×Tで単位画素の信号を読み出すことができ、通常撮像モードは1×Tで単位画素の信号を読み出すことができる。そのため、撮像面位相差AFモードで単位画素1行分の信号を読み出す時間で2行分の信号を読み出すことができ、高速に1フレーム分の信号を読み出すことができる。
なお、本発明の構成の撮像素子は、単位画素が有する4つのPDの転送スイッチは単位画素の外側に配することで、単位画素のPD間に電極を設けることなく、構成することが可能である。また、PD間に遮光膜を設けることなく構成することが可能である。そのため、単位画素における感度の不均一性が生じるといった、光学特性への悪化が抑制される。
なお、第1の制御モードと第2の制御モードを切換える動作に、通常撮像モード(第3の制御モードを含めて3つもモードを切換えるようにしてもよい。
以上のように、本発明の構成の撮像素子を備えた撮像装置によれば、高速に左右方向及び上下方向の焦点検出情報と撮像画像信号の取得が可能となる。また、単位画素の中央部に電極などを設けることなく実現可能であるため、光学特性を悪化させることもない。なお、本実施形態で説明した駆動は1例であり、これに限定するものではない。
[第3の実施形態]
本発明の第3の実施形態について説明する。本実施形態は撮像素子の画素の構成が特徴であり、撮像素子の効率的なレイアウトを提案する。
図11は本発明の本実施形態に係る撮像素子の画素の構成を説明する模式図である。1つのFDに対し、複数の単位画素からの信号を転送できる構成となっており、隣接行の画素とFDを共有することが特徴である。隣り合った行でFDを共有することにより、1単位画素辺り2つのFDを備えることなく、左右及び上下方向の撮像面位相差AF用画像を取得する駆動を実現することが可能となる。
図11の画素構成における、本発明の第1の駆動モード(左右方向の撮像面位相差AF用画像取得モード)の読み出し動作例について単位画素1100−1を例に説明する。単位画素の分割PD_Aに蓄積された電荷は転送スイッチTX_AをオンすることによりFD1104−1を介して垂直出力線401に出力される。同時に、分割PD_Cに蓄積された電荷は転送スイッチTX_CをオンすることによりFD1104−2を介して垂直出力線401に出力される。PD_A及びPD_Cより出力された信号は垂直出力線401上で混合(加算平均)されて不図示の列回路403よりを介して読み出される。
同様に、単位画素の分割PD_Bに蓄積された電荷は転送スイッチTX_BをオンすることによりFD1104−1を介して垂直出力線401に出力される。同時に、分割PD_Dに蓄積された電荷は転送スイッチTX_DをオンすることによりFD1104−2を介して垂直出力線401に出力される。PD_B及びPD_Dより出力された信号は垂直出力線401上で混合(加算平均)されて不図示の列回路403よりを介して読み出される。なお、上記の駆動は、図7のタイミングチャートに従って駆動可能である。
そして、次の行(1100−2)の読み出しにおいては、PD_AやPD_BはFD1104−2を介して垂直出力線401より出力される。
その他、第2の制御モード(上下方向の撮像面位相差AF用画像取得モード)や通常撮像モードにおける駆動も図8、図9のタイミングチャートに従って駆動することができる。
以上のように、本実施形態の撮像素子を備えた撮像装置においても、高速に左右方向及び上下方向の焦点検出情報と撮像画像信号の取得が可能となる。また、隣接行の画素とFDを共有することによって、効率的なレイアウトが実現できるため、例えばPDの面積を大きくすることも可能であり、より良好な光学特性を得ることができる。
[第4の実施形態]
図12は、本発明の第4の実施形態における撮像素子103の単位画素200の画素回路の一例を示す図である。本発明の第4の実施形態の撮像素子103は、単位画素辺り垂直出力線を平行に2本有し(1207−1、1207−2)、並列して信号を読み出すことでより高速な信号読出しができる構成となっている。
単位画素200において、PD1201Aには転送スイッチ1202Aが接続され、PD1201Bには転送スイッチ1202Bが接続される。PD1201A、1201Bで発生した電荷は、それぞれ転送スイッチ1202A、1202Bを介して共通のFD1204−1に転送され、一時的に保存される。FD1204−1に転送された電荷は、選択スイッチ1206−11がオンされると、SF1205−1を介して電荷に対応した電圧として垂直出力線1207−1に出力される。一方、選択スイッチ1206−12がオンされた時は、SF1205−1を介して垂直出力線1207−2に出力される。リセットスイッチ1203−1は、FD1204−1の電位、及び転送スイッチ1202A、及び1202Bを介してPD201A、201Bの電位をVDDにリセットする。転送スイッチ1202A、1202B、リセットスイッチ1203−1、選択スイッチ1206−11、1206−12は、それぞれ垂直走査回路408に接続されている信号線を介して制御される。
一方、PD1201Cには転送スイッチ1202Cが接続され、PD1201Dには転送スイッチ1202Dが接続される。PD1201C、1201Dで発生した電荷は、それぞれ転送スイッチ1202C、1202Dを介して共通のFD1204−2に転送され、一時的に保存される。FD1204−2に転送された電荷は、選択スイッチ1206−21がオンされると、SF1205−2を介して垂直出力線1207−1に出力される。選択スイッチ1206−22がオンされた場合は、SF1205−2を介して垂直出力線1207−2に出力される。リセットスイッチ1203−2は、FD1204−2の電位、及び転送スイッチ1202C、及び1202Dを介してPD1201C、1201Dの電位をVDDにリセットする。転送スイッチ1202C、1202D、リセットスイッチ1203−2、選択スイッチ1206−21、1206−22は、それぞれ第1の実施形態と同様に垂直走査回路408に接続されている信号線を介して制御信号により制御される。
次に、本実施形態の撮像素子103を用いた各モードの駆動例について説明する。まず、左右方向の撮像面位相差AFモードの動作例について説明する。左右方向の撮像面位相差AFモードの場合は、図7のタイミングチャートに従う。ただし、垂直出力線が2本あるので、同時に他の行の画素信号を読み出すことが可能である。どの行の信号をどちらの垂直出力線より読み出すかは、垂直走査回路408の制御により選択可能である。なお、第3の実施形態で説明したような隣接行とFDを共有する構成であっても、0行目と2行目の信号を同時に読み出した後、1行目と3行目の信号を読み出すといった駆動を行うことで2行同時読み出しが可能となる。
続いて、上下方向の撮像面位相差AFモードの動作例について図13のタイミングチャートを用いて説明する。なお、N信号の読み出し、S信号の読み出しの基本的な駆動は第1の実施形態で説明した駆動と同様なので、ここでは特徴的な箇所について説明する。
時刻t1301において、選択スイッチ1206−11、1206−22のそれぞれに接続されているPSEL11とPSEL22がHiとなり各選択スイッチはオン状態となる。そして、時刻t1307、t1308において、PTXA、PTXB、PTXC、PTXDが順次Hi、Loとなる。そして、PD201A、PD201Bに蓄積された光電荷はFD1204−1に、PD201C、PD201Dに蓄積された光電荷はFD1204−2に転送される。そして、FD1204−1に転送された電荷はPSEL11の制御により垂直出力線1207−1より出力される。一方、FD1204−2に転送された電荷は、PSEL22の制御により垂直出力線1207−2より出力される。このように2本の垂直出力線を有することにより、単位画素が有する2つのFDの信号をそれぞれ別の垂直出力線に振り分けることによって、高速に上下方向の撮像面位相差AF用の信号を読み出すことができる。
また、通常撮像モードにおいては、図9のタイミングチャートに従って読み出す。左右方向の撮像面位相差AFモードと同様に、同時に他の行の画素信号を読み出すことで信号読み出しの高速化が可能となる。
以上のように、本実施形態の構成の撮像素子を備えた撮像装置によれば、単位画素辺り垂直出力線を2本備える構成により、より高速に左右方向及び上下方向の焦点検出情報と撮像画像信号の取得が可能となる。また、単位画素の中央部に電極などを設けることなく実現可能であるため、光学特性を悪化させることもない。そして、本実施形態においても信号読み出しの駆動タイミングをそろえることができる。そのため、フレーム内で左右方向の撮像面位相差AFモードで読み出す行と上下方向の撮像面位相差AFモードで読み出す行を混在させる行選択的撮像面位相差AFモードで読み出すことも可能である。第1の実施形態で説明した、1回の水平読み出しにかかる時間をTとすると、左右方向の撮像面位相差AFモードの場合、2×Tで2行分の信号読み出しを行うことができる。一方、上下方向の撮像面位相差AFモードの場合は1×Tで1行分の信号読み出しを行うことができる。そして、通常撮像モードは1×Tで2行分の信号読み出しを行うことができる。2つの撮像面位相差AFモード及び、通常撮像モードを行単位で所定の割合で繰り返すことにより、高速に精度の高い焦点検出情報と撮像画像信号の取得が可能となる。
ここで、各選択スイッチ1206は垂直信号線に信号を出力するための出力スイッチに相当する。