[第1実施形態]
本発明の第1実施形態による撮像装置について、図1乃至図6を用いて説明する。
はじめに、本実施形態による撮像装置の構成例について、図1乃至図3を用いて説明する。図1は、本実施形態による撮像装置の構成例を示すブロック図である。図2は、本実施形態による撮像装置における撮像部の構成例を示すブロック図である。図3は、本実施形態による撮像装置における単位画素ブロックの構成例を示す回路図である。
本実施形態による撮像装置1は、図1に示すように、撮像部11と、プロセッサ12と、アクチュエータ13と、画像情報保持部14と、軸上色収差情報保持部15と、レンズ16と、により構成され得る。撮像部11は、画素アレイ111と、コントローラ112と、垂直走査回路113と、信号読み出し部114と、により構成され得る。
プロセッサ12は、画像情報保持部14、軸上色収差情報保持部15、レンズ16及びコントローラ112に接続されている。コントローラ112は、垂直走査回路113、信号読み出し部114及びアクチュエータ13に接続されている。画素アレイ111は、垂直走査回路113、信号読み出し部114及びアクチュエータ13に接続されている。
レンズ16は、被写体の光学像を撮像部11の撮像面(画素アレイ111)に結像可能な位置に配されている。また、レンズ16は、プロセッサ12による制御のもとで光軸方向に沿って移動することにより、焦点調節を行う機能を備え得る。本実施形態のレンズ16は、可視光の波長帯域において軸上色収差補正が施されているレンズであるものとする。例えば、レンズ16は、赤色、緑色、青色の波長差によって生じる軸上色収差がないレンズであることが望ましい。なお、レンズ16は、自身の仕様であるレンズの種類や焦点距離に関する情報を保持するように構成されていてもよく、また、それら情報を外部(例えば、後述する第3実施形態における測定画素選択部124)に送信する機能を備えていてもよい。
アクチュエータ13は、コントローラ112による制御のもと、撮像部11の撮像面(画素アレイ111)を光軸方向に移動させることにより、焦点調節を行う機能を備える。アクチュエータ13は、特に限定されるものではないが、例えば圧電素子により構成され得る。
プロセッサ12は、撮像部11のコントローラ112に対して通信可能に構成されている。プロセッサ12は、コントローラ112を介して垂直走査回路113及び信号読み出し部114を制御することにより被写体の画像データを取得し、取得した画像データを画像情報保持部14に保存する機能を備える。また、プロセッサ12は、コントローラ112を介してアクチュエータ13を駆動する。また、プロセッサ12は、レンズ16を駆動する。すなわち、プロセッサ12は、アクチュエータ13又はレンズ16を駆動することにより光の焦点位置を制御する焦点制御部としての機能を更に備える。
軸上色収差情報保持部15には、レンズの種類や焦点距離毎の軸上色収差量に関する情報(軸上色収差情報)が保持されている。プロセッサ12は、軸上色収差情報保持部15からレンズ16の種類や焦点距離に応じた軸上色収差量を取得し、取得した軸上色収差量に応じてアクチュエータ13を駆動する。これにより、アクチュエータ13は、レンズの軸上色収差の補正に利用可能である。すなわち、異なる波長帯域に感度を有する画素に対し、異なる変位量でアクチュエータ13を適宜駆動することにより、画素毎の軸上色収差を補正することができる。
なお、プロセッサ12は、例えば、各機能をプログラムすることが可能な集積回路やデバイス(例えば、FPGA(Field Programmable Gate Array)等のPLD(Programmable Logic Device))により構成され得る。或いは、プロセッサ12は、各機能を実現するためのMPU(Micro Processing Unit)、DSP(Digital Signal Processor)などの演算装置でもよい。或いは、プロセッサ12は、専用集積回路(ASIC(Application Specific Integrated Circuit)等)でもよい。或いは、プロセッサ12は、CPU及びメモリを備え、各機能はソフトウェア上で実現されてもよい。すなわち、プロセッサ12の機能は、ハードウェア及びソフトウェアのうちの一方又は両方によって実現され得る。
画素アレイ111は、図2に示すように、複数の行及び複数の列をなすように行列状に配列された複数の画素PXを含む。画素アレイ111を構成する複数の画素PXは、分光感度特性が互いに異なる複数種類の画素PXを含む。ここでは、画素アレイ111を構成する複数の画素PXが、可視光の波長帯域に感度を有する画素PX(λ1),PX(λ2),PX(λ3)と、赤外光の波長帯域に感度を有する画素PX(IR)と、の4種類の画素PXを含むものとする。画素アレイ111は、各々が画素PX(λ1),PX(λ2),PX(λ3),PX(IR)の4つの画素PXを含む2行2列の単位画素ブロック1111が、行方向及び列方向に繰り返し配列されてなる。図2では、単位画素ブロック1111の各々において、左上の画素PXを画素PX(λ1)、右上の画素PXを画素PX(λ2)、左下の画素PXを画素PX(λ3)、右下の画素PXを画素PX(IR)としているが、これら画素PXの配置は任意でよい。
画素PXの分光感度特性は、各々の画素PXが備えるカラーフィルタ(以下、「CF」と表記する)の種類によって変えることができる。例えば、画素PX(λ1)には、画素PX(λ2),PX(λ3),PX(IR)が備えるCFよりも緑色(G)の波長帯域の透過率が高いCFを適用可能である。画素PX(λ2)には、画素PX(λ1),PX(λ3),PX(IR)が備えるCFよりも赤色(R)の波長帯域の透過率が高いCFを適用可能である。画素PX(λ3)には、画素PX(λ1),PX(λ2),PX(IR)が備えるCFよりも青色(B)の波長帯域の透過率が高いCFを適用可能である。画素PX(IR)には、画素PX(λ1),PX(λ2),PX(λ3)が備えるCFよりも赤外光の波長帯域の透過率が高いCFを適用可能である。なお、CFの組み合わせはこの例に限定されるものではなく、また、可視光のCFにはRGB以外の配色のCFを適用してもよい。
垂直走査回路113は、画素アレイ111を構成する複数の画素PXを行単位で駆動するための制御信号を画素アレイ111に供給する制御回路である。垂直走査回路113は、シフトレジスタやアドレスデコーダを用いて構成され得る。
信号読み出し部114は、図2に示すように、画素アレイ111の各列に対応して設けられた複数の列増幅回路1141及びサンプリング回路1142と、マルチプレクサ1143と、水平走査回路1144と、により構成され得る。列増幅回路1141及びサンプリング回路1142は、垂直走査回路113からの制御信号に応じて画素アレイ111の各列の画素PXから読み出された画素信号に対して所定の処理を行う。水平走査回路1144は、シフトレジスタやアドレスデコーダを用いて構成され、画素信号を出力する列を指定する制御信号をマルチプレクサ1143に供給する制御回路である。マルチプレクサ1143は、水平走査回路1144からの制御信号に応じて、対応する列の画素信号を出力する出力回路である。信号読み出し部114は、各列の画素PXから読み出されたアナログ画素信号をデジタル画素信号に変換するアナログデジタル変換回路を更に備えていてもよい。なお、信号読み出し部114の詳細については後述する。
垂直走査回路113及び信号読み出し部114は、コントローラ112による制御のもと、複数の画素PXの光電変換部における電荷の蓄積及び複数の画素PXからの信号の読み出しを制御する画素制御部としての機能を備える。
コントローラ112は、タイミングジェネレータを含み、プロセッサ12による制御のもと、画素PX、垂直走査回路113及び信号読み出し部114の同期制御を行う機能を備える。
図3は、単位画素ブロック1111の構成例を示す回路図である。ここでは、第m行に配された画素PX(λ1)及び画素PX(λ2)と、第(m+1)行に配された画素PX(λ3)及び画素PX(IR)を例に挙げ、単位画素ブロック1111の構成例を説明する。
画素PX(λ1),PX(λ2),PX(λ3),PX(IR)の各々は、図3に示すように、光電変換部PD、トランジスタT_GS,T_TX,T_OFD,T_RES,T_SF,T_SEL及びキャパシタC_MEM,C_FDにより構成され得る。光電変換部PDは、例えばフォトダイオード等の光電変換素子であり得るが、他の公知の光検出素子であってもよい。トランジスタT_GS,T_TX,T_OFD,T_RES,T_SF,T_SELは、例えばN型MOSトランジスタであり得るが、P型MOSトランジスタや他の公知のスイッチ素子であってもよい。キャパシタC_MEM,C_FDは、PN接合容量や配線容量など、トランジスタT_GS,T_TX,T_RESのソース/ドレイン領域に結合する容量成分である。
光電変換部PDは、アノードが接地ノードに接続され、カソードがトランジスタT_GSのドレイン及びトランジスタT_OFDのソースに接続されている。トランジスタT_GSのソースは、トランジスタT_TXのドレインに接続されている。トランジスタT_GSのソースとトランジスタT_TXのドレインとの間の接続ノードに連なる容量成分が、キャパシタC_MEMである。トランジスタT_TXのソースは、トランジスタT_RESのソース及びトランジスタT_SFのゲートに接続されている。トランジスタT_TXのソースと、トランジスタT_RESのソースと、トランジスタT_SFのゲートとの間の接続ノードに連なる容量成分が、キャパシタC_FDである。トランジスタT_TXのソースと、トランジスタT_RESのソースと、トランジスタT_SFのゲートとの間の接続ノードは、浮遊拡散ノード(以下、「FDノード」と表記する)と称されることがある。
トランジスタT_SFのソースは、トランジスタT_SELのドレインに接続されている。トランジスタT_SELのソースは、列信号線LCに接続されている。トランジスタT_OFDのドレイン、トランジスタT_RESのドレイン及びトランジスタT_SFのドレインは、電圧VDDが供給される電源ノードに接続されている。なお、トランジスタT_OFDのドレイン、トランジスタT_RESのドレイン及びトランジスタT_SFのドレインに供給される電圧をここでは共通の電圧VDDとしているが、これらは必ずしも同じ電圧である必要はない。
画素PX(λ1)のトランジスタT_RESのゲート及び画素PX(λ2)のトランジスタT_RESのゲートは、第m行の画素PX(λ1),PX(λ2)に共通の制御信号P_RES(m)を供給するための信号線に接続されている。画素PX(λ1)のトランジスタT_TXのゲート及び画素PX(λ2)のトランジスタT_TXのゲートは、第m行の画素PX(λ1),PX(λ2)に共通の制御信号P_TX(m)を供給するための信号線に接続されている。画素PX(λ1)のトランジスタT_GSのゲート及び画素PX(λ2)のトランジスタT_GSのゲートは、第m行の画素PX(λ1),PX(λ2)に共通の制御信号P_GS(m)を供給するための信号線に接続されている。画素PX(λ1)のトランジスタT_OFDのゲート及び画素PX(λ2)のトランジスタT_OFDのゲートは、第m行の画素PX(λ1),PX(λ2)に共通の制御信号P_OFD(m)を供給するための信号線に接続されている。画素PX(λ1)のトランジスタT_SELのゲート及び画素PX(λ2)のトランジスタT_SELのゲートは、第m行の画素PX(λ1),PX(λ2)に共通の制御信号P_SEL(m)を供給するための信号線に接続されている。
画素PX(λ3)のトランジスタT_RESのゲート及び画素PX(IR)のトランジスタT_RESのゲートは、第(m+1)行の画素PX(λ3),PX(IR)に共通の制御信号P_RES(m+1)を供給するための信号線に接続されている。画素PX(λ3)のトランジスタT_TXのゲート及び画素PX(IR)のトランジスタT_TXのゲートは、第(m+1)行の画素PX(λ3),PX(IR)に共通の制御信号P_TX(m+1)を供給するための信号線に接続されている。画素PX(IR)のトランジスタT_GSのゲートは、第(m+1)行の画素PX(IR)に共通の制御信号P_GS-IR(m+1)を供給するための信号線に接続されている。画素PX(λ3)のトランジスタT_GSのゲートは、第(m+1)行の画素PX(λ3)に共通の制御信号P_GS(m+1)を供給するための信号線に接続されている。画素PX(λ3)のトランジスタT_OFDのゲート及び画素PX(IR)のトランジスタT_OFDのゲートは、第(m+1)行の画素PX(λ3),PX(IR)に共通の制御信号P_OFD(m+1)を供給するための信号線に接続されている。画素PX(λ3)のトランジスタT_SELのゲート及び画素PX(IR)のトランジスタT_SELのゲートは、第(m+1)行の画素PX(λ3),PX(IR)に共通の制御信号P_SEL(m+1)を供給するための信号線に接続されている。
制御信号P_RES,P_TX,P_GS,P_GS-IR,P_OFD,P_SELは、コントローラ112から出力される同期信号に基づいて垂直走査回路113で生成され、画素アレイ111の複数の画素PXに行単位で供給される。画素PXを構成する各トランジスタは、対応する制御信号を受けて、導通状態(オン)又は非導通状態(オフ)に制御される。各トランジスタがN型MOSトランジスタで構成されている場合、対応する制御信号がハイレベル(以下、「Hレベル」と表記する)のときにオンになり、対応する制御信号がローレベル(以下、「Lレベル」と表記する。)のときにオフになる。
光電変換部PDは、入射光をその光量に応じた量の電荷に変換(光電変換)するとともに、生じた電荷を蓄積する。トランジスタT_GSは、転送トランジスタとも称され、オンになることにより光電変換部PDが保持する電荷をキャパシタC_MEMに転送する転送部としての機能を備える。キャパシタC_MEMは、光電変換部PDから転送された電荷を保持する電荷保持部としての機能を備える。トランジスタT_TXは、転送トランジスタとも称され、オンになることによりキャパシタC_MEMが保持する電荷をキャパシタC_FDに転送する転送部としての機能を備える。キャパシタC_FDは、キャパシタC_MEMから転送された電荷を保持する電荷保持部としての機能を備える。また、キャパシタC_FDは、FDノードの電位をその容量値及び保持する電荷の量に応じた電位に設定する電荷電圧変換部としての機能をも備える。
トランジスタT_SFは、ドレインに電圧VDDが供給され、ソースにトランジスタT_SELを介して図示しない電流源からバイアス電流が供給される構成となっており、ゲートを入力ノードとする増幅部(ソースフォロワ回路)を構成している。これによりトランジスタT_SFは、FDノードの電位に応じた信号を、トランジスタT_SELを介して列信号線LCに出力する。
トランジスタT_RESは、リセットトランジスタとも称され、オンになることによりFDノードを電圧VDDに応じた電圧にリセットするリセット部としての機能を備える。トランジスタT_OFDは、オーバーフロードレイントランジスタとも称され、オンになることにより光電変換部PDが保持する電荷を排出するオーバーフロードレイン部としての機能を備える。或いは、トランジスタT_OFDは、オンになることにより光電変換部PDを電圧VDDに応じた電圧にリセットするリセット部としての機能を備える、とも言える。トランジスタT_SELは、選択トランジスタとも称され、トランジスタT_SFのソース電圧に応じた信号を画素信号として列信号線LCに出力するか否かを選択する選択部としての機能を備える。
なお、本実施形態では撮像部11をCMOSイメージセンサにより構成した例を説明するが、撮像部11はCCDイメージセンサにより構成してもよい。また、撮像部11は、1つの半導体チップからなるイメージセンサとして構成されていてもよいし、積層型多機能イメージセンサなどの一部として構成されていてもよい。
次に、本実施形態による撮像装置の駆動方法について、図4乃至図6を用いて説明する。図4乃至図6は、本実施形態による撮像装置の駆動例を示すタイミング図である。
図4は、動画撮影を行う場合の撮像装置の動作の概略を示している。図4には、「フレーム」、「アクチュエータ」、「蓄積電荷」、「保持信号(C_MEM1)」、「保持信号(C_MEM2)」及び「読み出し動作」の時間的変化が示されている。
図4中、「フレーム」は、画素アレイ111を構成する複数の画素PXの画素信号に基づいて生成される静止画1枚分の画像データ(フレームデータ)を取得するための期間(期間T_FR)である。図4には、n-1フレームからn+2フレームまでの連続する4フレームの動作を示している。図4において、n-1フレームのフレームデータFR(n-1)を取得するための期間が期間T_FR(n-1)である。また、nフレームのフレームデータFR(n)を取得するための期間が期間T_FR(n)である。また、n+1フレームのフレームデータFR(n+1)を取得するための期間が期間T_FR(n+1)である。また、n+2フレームのフレームデータFR(n+2)を取得するための期間が期間T_FR(n+2)である。期間T_FRの各々は、第1期間T1_FRと、第2期間T2_FRと、第3期間T3_FRと、第4期間T4_FRと、を含む。
図4中、「アクチュエータ」は、アクチュエータ13の駆動状態を示している。アクチュエータ13は、レンズの軸上色収差を補正するために画素アレイ111を光軸方向に位置制御するためのものであり、例えば、可視光の像を合焦、赤外光の像を合焦、インアクティブ、の3種類の駆動状態を取り得る。図4中、IR(n),IR(n+1),IR(n+2)は、赤外光の像を合焦するためにアクチュエータ13により画素アレイ111を光軸方向に移動させている状態を示している。また、λ(n),λ(n+1),λ(n+2)は、可視光の像を合焦するためにアクチュエータ13により画素アレイ111を光軸方向に移動させている状態を示している。図4中、斜線を付した期間は、アクチュエータ13を駆動していない期間を示している。この斜線を付した期間において、アクチュエータ13は、直前の期間に設定された状態を維持している。
図4中、「蓄積電荷」は、光電変換部PDにおける電荷保持期間を示している。ここでは、n-1フレームの第3期間T3_FR(n-1)の間に光電変換部PDに蓄積された電荷量をQ3(n-1)、nフレームの第1期間T1_FR(n)の間に光電変換部PDに蓄積された電荷量をQ1(n)と表すものとする。また、nフレームの第3期間T3_FR(n)の間に光電変換部PDに蓄積された電荷量をQ3(n)、n+1フレームの第1期間T1_FR(n+1)の間に光電変換部PDに蓄積された電荷量をQ1(n+1)と表すものとする。また、n+1フレームの第3期間T3_FR(n+1)の間に光電変換部PDに蓄積された電荷量をQ3(n+1)、n+2フレームの第1期間T1_FR(n+2)の間に光電変換部PDに蓄積された電荷量をQ1(n+2)と表すものとする。図4中、斜線を付した期間は、オーバーフロードレイン(OFD)動作が行われる期間であり、光電変換部PDに電荷は蓄積されない。
図4中、「保持信号(C_MEM1)」は、画素PX(λ1),PX(λ2),PX(λ3)のキャパシタC_MEMに保持される信号MEM1を示している。また、「保持信号(C_MEM2)」は、画素PX(IR)のキャパシタC_MEMに保持される信号MEM2を示している。キャパシタC_MEMに保持される信号MEM1,MEM2のレベルは、トランジスタT_GSによって光電変換部PDからキャパシタC_MEMに転送された電荷の量に対応する電圧値である。
図4中、「読み出し動作」は、複数の画素PXからの信号の読み出しが行単位で順次行われることを視覚的に示している。図4では、画素アレイ111が第1行から第X行のX行で構成されており(Xは2以上の整数)、第1行、第2行、第3行、…、第X行の順に読み出し動作を行う場合を想定している。図4に示される読み出し動作RO(m)は、第m行の画素PXからの信号の読み出し動作を表している(mは1~Xの整数)。
各フレームにおける動作は基本的には同じであるため、ここではフレームデータFR(n)の読み出し動作に着目して説明を行う。なお、前のフレーム(n-1フレーム)の第4期間T4_FR(n-1)では、アクチュエータ13を駆動し(アクチュエータ:λ(n))、画素PXに入射する可視光の像が合焦するように画素アレイ111が光軸方向に移動されている。
フレームデータFR(n)を読み出す期間T_FR(n)は、前述のように、第1期間T1_FR(n)、第2期間T2_FR(n)、第3期間T3_FR(n)及び第4期間T4_FR(n)を含む。
第1期間T1_FR(n)においては、アクチュエータ13を駆動しない状態(アクチュエータ:インアクティブ)で、画素PX(λ1),PX(λ2),PX(λ3)の光電変換部PDへの電荷の蓄積を行う。第1期間T1_FR(n)の間に光電変換部PDに蓄積される電荷量Q1(n)は、画素アレイ111に合焦し、画素PX(λ1),PX(λ2),PX(λ3)の各々に入射した可視光の光量に基づく。
第1期間T1_FR(n)の経過後、光電変換部PDが保持する電荷はキャパシタC_MEMへと転送される。これにより、キャパシタC_MEMには、その容量値及び電荷量Q1(n)に応じた信号MEM1(n)が保持される。キャパシタC_MEMは、nフレームの第2期間T2_FR(n)からn+1フレームの第1期間T1_FR(n+1)までの期間にわたって信号MEM1(n)を保持する。
続く第2期間T2_FR(n)においては、アクチュエータ13を駆動し(アクチュエータ:IR(n))、画素PX(IR)に入射する赤外光の像が合焦するように画素アレイ111を光軸方向に移動させる。詳細は後述するが、第2期間T2_FR(n)では、光電変換部PDに電荷は蓄積されない。具体的には、第2期間T2_FR(n)の間に光電変換部PDで発生した電荷は、トランジスタT_OFDにより排出される(OFD動作)。
なお、アクチュエータ13による移動量はレンズの種類や焦点距離によって異なるため、アクチュエータ駆動期間の長さはレンズの条件によって異なる。一般的なレンズは焦点距離に比例して軸上色収差が大きくなるので、焦点距離が長いほど移動量は大きく、すなわちアクチュエータ駆動期間は長くなる。
続く第3期間T3_FR(n)においては、アクチュエータ13を駆動しない状態(アクチュエータ:インアクティブ)で、画素PX(IR)の光電変換部PDへの電荷の蓄積を行う。第3期間T3_FR(n)の間に光電変換部PDに蓄積される電荷量Q3(n)は、画素アレイ111に合焦し、画素PX(IR)に入射した赤外光の光量に基づく。
第3期間T3_FR(n)の経過後、画素PX(IR)の光電変換部PDが保持する電荷はキャパシタC_MEMへと転送される。これにより、画素PX(IR)のキャパシタC_MEMには、その容量値及び電荷量Q3(n)に応じた信号MEM2(n)が保持される。キャパシタC_MEMは、nフレームの第4期間T4_FR(n)からn+1フレームの第3期間T3_FR(n+1)までの期間にわたって信号MEM2(n)を保持する。
続く第4期間T4_FR(n)においては、アクチュエータ13を駆動し(アクチュエータ:λ(n+1))、画素PX(λ1),PX(λ2),PX(λ3)に入射する可視光の像が合焦するように画素アレイ111を光軸方向に移動させる。また、詳細は後述するが、第4期間T4_FR(n)では、複数の画素PXからの信号の読み出し動作を行単位で順次行う。具体的には、第1行の読み出し動作RO(1)から第X行の読み出し動作RO(X)までの読み出し動作を行単位で順次行う。この読み出し動作は、信号MEM1(n)及び信号MEM2(n)がキャパシタC_MEMに保持されている第4期間T4_FR(n)の間に行われる。
プロセッサ12は、以上のようにして読み出された信号MEM1(n)及び信号MEM2(n)に基づいて、合焦された可視光及び赤外光に基づく画像信号を1フレームの間に取得することができる。取得した画像信号は、画像情報として画像情報保持部14に格納される。
図5及び図6は、図4の動作を行う際に垂直走査回路113から画素アレイ111の画素PXに供給される制御信号の波形を示している。図5及び図6には説明の簡略化のため第m行及び第(m+1)行の画素PXに供給される制御信号のみを示しているが、他の行の画素PXに供給される制御信号についても同様である。
図5には、画素PX(λ1),PX(λ2)の制御信号P_OFD(m),P_GS(m)と、画素PX(λ3),PX(IR)の制御信号P_OFD(m+1),P_GS(m+1),P_GS_IR(m+1)と、を示している。また、図5には、読み出し動作RO(m),RO(m+1)を、制御信号と同様のパルス波形で表現している。読み出し動作RO(m),RO(m+1)をHレベルで示している期間が読み出しを行う期間であり、読み出し動作RO(m),RO(m+1)をLレベルで示している期間が読み出しを行わない期間である。
n-1フレームの第4期間T4_FR(n-1)には、画素PXに入射する可視光の像が合焦するように、アクチュエータ13による画素アレイ111の光軸方向の位置調整が行われる。n-1フレームの第4期間T4_FR(n-1)の終期には、垂直走査回路113により、制御信号P_OFD(m),P_OFD(m+1)がLレベルからHレベルに制御される。これにより、第m行及び第(m+1)行の画素PXのトランジスタT_OFDがオンになり、画素PX(λ1),PX(λ2),PX(λ3),PX(IR)の光電変換部PDがリセットされる。
垂直走査回路113により制御信号P_OFD(m),P_OFD(m+1)がHレベルからLレベルに制御されることにより、画素PX(λ1),PX(λ2),PX(λ3),PX(IR)における光電変換部PDのリセットが解除される。これにより、画素PX(λ1),PX(λ2),PX(λ3),PX(IR)の光電変換部PDにおいて電荷の蓄積が開始される。制御信号P_OFD(m),P_OFD(m+1)がHレベルからLレベルに遷移するタイミングが、n-1フレームの第4期間T4_FR(n-1)の終了タイミングであり、nフレームの第1期間T1_FR(n)の開始タイミングである。
第1期間T1_FR(n)の終期には、垂直走査回路113により、制御信号P_GS(m),P_GS(m+1)がLレベルからHレベルに制御される。これにより、第m行及び第(m+1)行の画素PXのトランジスタT_GSがオンになり、画素PX(λ1),PX(λ2),PX(λ3)の光電変換部PDに蓄積された電荷がキャパシタC_MEMに転送される。
垂直走査回路113により制御信号P_GS(m),P_GS(m+1)がHレベルからLレベルに制御されることにより、画素PX(λ1),PX(λ2),PX(λ3)の光電変換部PDからキャパシタC_MEMへの電荷の転送動作が終了する。制御信号P_GS(m),P_GS(m+1)がHレベルからLレベルに遷移するタイミングが、第1期間T1_FR(n)の終了タイミングであり、第2期間T2_FR(n)の開始タイミングである。
このように、第1期間T1_FR(n)は、画素PX(λ1),PX(λ2),PX(λ3)の光電変換部PDにおける電荷の蓄積期間(露光期間)である。第1期間T1_FR(n)に、画素PX(λ1),PX(λ2),PX(λ3)の各々の光電変換部PDには、電荷量Q1(n)の電荷が蓄積される。また、電荷量Q1(n)の電荷がキャパシタC_MEMへと転送されることにより、画素PX(λ1),PX(λ2),PX(λ3)のキャパシタC_MEMに、合焦した可視光による画像信号として電荷量Q1(n)に相当する信号MEM1(n)が保持される。
第2期間T2_FR(n)には、画素PXに入射する赤外光の像が合焦するように、アクチュエータ13による画素アレイ111の光軸方向の位置調整が行われる。第2期間T2_FR(n)の終期には、垂直走査回路113により、制御信号P_OFD(m+1)がLレベルからHレベルに制御される。これにより、第(m+1)行の画素PXのトランジスタT_OFDがオンになり、画素PX(λ3),PX(IR)の光電変換部PDがリセットされる。
垂直走査回路113により制御信号P_OFD(m+1)がHレベルからLレベルに制御されることにより、画素PX(λ3),PX(IR)における光電変換部PDのリセットが解除される。これにより、画素PX(λ3),PX(IR)の光電変換部PDにおいて電荷の蓄積が開始される。制御信号P_OFD(m+1)がHレベルからLレベルに遷移するタイミングが、第2期間T2_FR(n)の終了タイミングであり、第3期間T3_FR(n)の開始タイミングである。
第3期間T3_FR(n)の終期には、垂直走査回路113により、制御信号P_GS_IR(m+1)がLレベルからHレベルに制御される。これにより、第(m+1)行の画素PX(IR)のトランジスタT_GSがオンになり、画素PX(IR)の光電変換部PDに蓄積された電荷がキャパシタC_MEMに転送される。
垂直走査回路113により制御信号P_GS_IR(m+1)がHレベルからLレベルに制御されることにより、画素PX(IR)の光電変換部PDからキャパシタC_MEMへの電荷の転送動作が終了する。制御信号P_GS_IR(m+1)がHレベルからLレベルに遷移するタイミングが、第3期間T3_FR(n)の終了タイミングであり、第4期間T4_FR(n)の開始タイミングである。
このように、第3期間T3_FR(n)は、画素PX(IR)の光電変換部PDにおける電荷の蓄積期間(露光期間)である。第3期間T3_FR(n)に、画素PX(IR)の光電変換部PDには、電荷量Q3(n)の電荷が蓄積される。また、電荷量Q3(n)の電荷が光電変換部PDからキャパシタC_MEMへと転送されることにより、キャパシタC_MEMには、合焦した赤外光による画像信号として、電荷量Q3(n)に相当する信号MEM2(n)が保持される。
第4期間T4_FR(n)には、第1行から第X行までの読み出し動作、すなわち読み出し動作RO(1)~RO(X)が順に実行される。なお、総ての画素PXについて電荷の蓄積時間が均一化され、また、総ての画素PXにおいて蓄積電荷がキャパシタC_MEMに保持されているため、読み出し動作RO(1)~RO(X)はどのような順序で実行されてもよい。また、図5において、読み出し動作RO(m)は第4期間T4_FR(n)の開始タイミングから開始しているが、第4期間T4_FR(n)の間であれば何れのタイミングで実行されてもよい。
図6は、図5の読み出し動作RO(m),RO(m+1)における具体的な動作を示すタイミング図である。図6には、画素PX(λ1),PX(λ2)の制御信号P_SEL(m),P_RES(m),P_TX(m)と、画素PX(λ3),PX(IR)の制御信号P_SEL(m+1),P_RES(m+1),P_TX(m+1)と、を示している。
また、図6には、信号読み出し部114におけるサンプリング動作を、制御信号と同様のパルス波形で表現している。「信号読み出し部のサンプリング」をHレベルで示している期間がサンプリングを行う期間であり、「 mmm読み出し部のサンプリング」をLレベルで示している期間がサンプリングを行わない期間である。前述の通り、信号読み出し部114は行ごとに画素PXから信号を読み出す。そのため、ある行の画素PXから信号を読み出す場合には、「信号読み出し部のサンプリング」のHレベルはその行の画素PXからの信号をサンプリングすることを示す。
本実施形態においては、第1行から第X行までの読み出し動作RO(1)~RO(X)を順に実行する。第(m-1)行から第(m+2)行に着目すると、図6に示すように、読み出し動作RO(m-1),RO(m),RO(m+1),RO(m+2)がこの順に実行される。図6において、読み出し動作RO(m)を行う期間が期間T_RO(m)であり、読み出し動作RO(m+1)を行う期間が期間T_RO(m+1)である。期間T_RO(m)は、期間T0_RO(m)と、期間T1_RO(m)と、期間T2_RO(m)とを含む。期間T_RO(m+1)は、期間T0_RO(m+1)と、期間T1_RO(m+1)と、期間T2_RO(m+1)とを含む。
まず、期間T_RO(m)における動作について説明する。
期間T_RO(m)の開始のタイミングにおいて、垂直走査回路113は、制御信号P_SEL(m)をLレベルからHレベルに制御する。これにより、第m行の画素PXのトランジスタT_SELがオンになり、第m行の画素PXから信号読み出し部114への信号の読み出しが可能な状態となる。垂直走査回路113は、期間T_RO(m)の間、制御信号P_SEL(m)をHレベルのまま維持する。
次いで、垂直走査回路113は、期間T0_RO(m)の間に、一時的に制御信号P_RES(m)をHレベルに制御する。これにより、第m行の画素PXのトランジスタT_RESがオンになり、FDノード(キャパシタC_FD)がリセットされる。そして、FDノードのリセット電位に応じた信号が、トランジスタT_SELを介して対応する列の列信号線LCに出力される。
次いで、制御信号P_RES(m)がLレベルに遷移した後の期間T1_RO(m)において、信号読み出し部114は、各列の列信号線LCに出力された信号をサンプリングする。このようにして画素PX(λ1),PX(λ2)から得られる信号が、信号MEM1(m)_Nである。
次いで、垂直走査回路113は、一時的に制御信号P_TX(m)をHレベルに制御する。これにより、第m行の画素PXのトランジスタT_TXがオンになり、キャパシタC_MEMが保持する電荷がキャパシタC_FDに転送される。これにより、FDノードは、キャパシタC_MEMから転送された電荷の量に応じた電位となる。そして、FDノードの電位に応じた信号が、トランジスタT_SELを介して対応する列の列信号線LCに出力される。
次いで、制御信号P_TX(m)がLレベルに遷移した後の期間T2_RO(m)において、信号読み出し部114は、各列の列信号線LCに出力された信号をサンプリングする。このようにして画素PX(λ1),PX(λ2)から得られる信号が、信号MEM1(m)_Sである。
信号読み出し部114では、このようにして取得された信号MEM1(m)_N及び信号MEM1(m)_Sに対し、CDS(Correlated Double Sampling:相関二重サンプリング)処理が施される。すなわち、信号MEM1(m)_Sから信号MEM1(m)_Nを差し引くことで、信号MEM1(m)_Sに重畳する回路構成や特性ばらつき等に起因するオフセット成分を除去する。
なお、図4の説明では、説明を容易にするために信号MEM1(n)が合焦した可視光による画像信号として取得されることを述べた。しかし、この画像信号は、実際には、信号MEM1(m)_N及びMEM1(m)_Sを用いた上記CDS処理に基づいて得られる。すなわち、この画像信号は、MEM1(m)_SからMEM1(m)_Nを減算して得られた信号である。
次に、期間T_RO(m+1)における動作について説明する。
期間T_RO(m+1)の開始のタイミングにおいて、垂直走査回路113は、制御信号P_SEL(m+1)をLレベルからHレベルに制御する。これにより、第(m+1)行の画素PXのトランジスタT_SELがオンになり、第(m+1)行の画素PXから信号読み出し部114への信号の読み出しが可能な状態となる。垂直走査回路113は、期間T_RO(m+1)の間、制御信号P_SEL(m+1)をHレベルのまま維持する。
次いで、垂直走査回路113は、期間T0_RO(m+1)の間に、一時的に制御信号P_RES(m+1)をHレベルに制御する。これにより、第(m+1)行の画素PXのトランジスタT_RESがオンになり、キャパシタC_FDがリセットされる。そして、FDノードのリセット電位に応じた信号が、トランジスタT_SELを介して対応する列の列信号線LCに出力される。
次いで、制御信号P_RES(m)がLレベルに遷移した後の期間T1_RO(m+1)において、信号読み出し部114は、各列の列信号線LCに出力された信号をサンプリングする。このようにして画素PX(λ3)から得られる信号が信号MEM1(m+1)_Nであり、画素PX(IR)から得られる信号が信号MEM2(m+1)_Nである。
次いで、垂直走査回路113は、一時的に制御信号P_TX(m+1)をHレベルに制御する。これにより、第(m+1)行の画素PXのトランジスタT_TXがオンになり、キャパシタC_MEMが保持する電荷がキャパシタC_FDに転送される。これにより、FDノードは、キャパシタC_MEMから転送された電荷の量に応じた電位となる。そして、FDノードの電位に応じた信号が、トランジスタT_SELを介して対応する列の列信号線LCに出力される。
次いで、制御信号P_TX(m+1)がLレベルに遷移した後の期間T2_RO(m+1)において、信号読み出し部114は、各列の列信号線LCに出力された信号をサンプリングする。このようにして画素PX(λ3)から得られる信号が信号MEM1(m+1)_Sであり、画素PX(IR)から得られる信号が信号MEM2(m+1)_Sである。
信号読み出し部114では、このようにして取得された信号MEM1(m+1)_N及び信号MEM1(m+1)_Sに対し、CDS処理が施される。すなわち、信号MEM1(m+1)_Sから信号MEM1(m+1)_Nを差し引くことで、信号MEM1(m+1)_Sに重畳する回路構成や特性ばらつき等に起因するオフセット成分を除去する。
また、信号読み出し部114では、このようにして取得された信号MEM2(m+1)_N及び信号MEM2(m+1)_Sに対し、CDS処理が施される。すなわち、信号MEM2(m+1)_Sから信号MEM2(m+1)_Nを差し引くことで、信号MEM2(m+1)_Sに重畳する回路構成や特性ばらつき等に起因するオフセット成分を除去する。
本実施形態では、可視光の範囲内で軸上色収差補正が施されたレンズを用い、合焦した可視光及び赤外光による画像信号を1フレーム内(総ての画素PXの光電変換部PDにおける電荷の蓄積開始から信号の読み出し完了まで)に取得することができる。したがって、可視光から赤外の範囲に渡って軸上色収差補正された高価なレンズを用いる場合よりも低コストで、可視光と赤外光の高画質画像を高速に取得可能な撮像装置を構成することが可能である。
例えば、遠方の動画撮影時において、赤外光は可視光線と比較して大気を構成する分子による散乱が少ないので、霞のない画像とカラー画像が得られ、高精度の遠方監視を低コスト・高速・高画質で可能とする。また、透過性が高いという赤外光の性質を利用して、例えば、産業分野の検査において、ベルトコンベアーを流れる被検査物のカラー画像による外観検査と、被検査物の赤外画像による内部の異物検査を低コスト・高速・高画質で可能とする。
なお、本実施形態では本発明を動画撮影に適用した例を示したが、本発明は静止画撮影に適用することも可能である。
このように、本実施形態によれば、異なる波長帯域に感度を有する複数種類の画素を有する撮像装置において、部品コストの増加を抑制しつつ当該複数種類の画素に対して合焦された高画質画像を高速に取得することが可能となる。
[第2実施形態]
本発明の第2実施形態による撮像装置について、図7乃至図10を用いて説明する。第1実施形態による撮像装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。図7は、本実施形態による単位画素ブロックの構成例を示す回路図である。図8乃至図10は、本実施形態による撮像装置の駆動例を示すタイミング図である。
本実施形態による撮像装置の全体構成及び撮像部の構成は、図1及び図2に示す第1実施形態による撮像装置と同様である。本実施形態による撮像装置は、画素アレイ111を構成する複数の画素PXの構成が、図3に示す第1実施形態による撮像装置とは異なっている。
すなわち、本実施形態による撮像装置において、複数の画素PXの各々は、図7に示すように、光電変換部PDと、トランジスタT_TX,T_RES,T_SF,T_SELと、キャパシタC_FDと、により構成され得る。画素PX(λ1),PX(λ2),PX(λ3),PX(IR)により単位画素ブロック1111が構成されている点は、第1実施形態と同様である。
光電変換部PDは、アノードが接地ノードに接続され、カソードがトランジスタT_TXのドレインに接続されている。トランジスタT_TXのソースは、トランジスタT_RESのソース及びトランジスタT_SFのゲートに接続されている。トランジスタT_TXのソースと、トランジスタT_RESのソースと、トランジスタT_SFのゲートとの間の接続ノードに連なる容量成分が、キャパシタC_FDである。トランジスタT_TXのソースと、トランジスタT_RESのソースと、トランジスタT_SFのゲートとの間の接続ノードは、浮遊拡散ノード(以下、「FDノード」)と称されることがある。
トランジスタT_SFのソースは、トランジスタT_SELのドレインに接続されている。トランジスタT_SELのソースは、列信号線LCに接続されている。トランジスタT_RESのドレイン及びトランジスタT_SFのドレインは、電圧VDDが供給される電源ノードに接続されている。なお、トランジスタT_RESのドレイン及びトランジスタT_SFのドレインに供給される電圧をここでは共通の電圧VDDとしているが、これらは必ずしも同じ電圧である必要はない。
画素PX(λ1)のトランジスタT_RESのゲート及び画素PX(λ2)のトランジスタT_RESのゲートは、第m行の画素PX(λ1),PX(λ2)に共通の制御信号P_RES1(m)を供給するための信号線に接続されている。画素PX(λ1)のトランジスタT_TXのゲート及び画素PX(λ2)のトランジスタT_TXのゲートは、第m行の画素PX(λ1),PX(λ2)に共通の制御信号P_TX1(m)を供給するための信号線に接続されている。画素PX(λ1)のトランジスタT_SELのゲート及び画素PX(λ2)のトランジスタT_SELのゲートは、第m行の画素PX(λ1),PX(λ2)に共通の制御信号P_SEL1(m)を供給するための信号線に接続されている。
画素PX(λ3)のトランジスタT_RESのゲートは、第(m+1)行の画素PX(λ3)に共通の制御信号P_RES1(m+1)を供給するための信号線に接続されている。画素PX(IR)のトランジスタT_RESのゲートは、第(m+1)行の画素PX(IR)に共通の制御信号P_RES2(m+1)を供給するための信号線に接続されている。画素PX(λ3)のトランジスタT_TXのゲートは、第(m+1)行の画素PX(λ3)に共通の制御信号P_TX1(m+1)を供給するための信号線に接続されている。画素PX(IR)のトランジスタT_TXのゲートは、第(m+1)行の画素PX(IR)に共通の制御信号P_TX2(m+1)を供給するための信号線に接続されている。画素PX(λ3)のトランジスタT_SELのゲートは、第(m+1)行の画素PX(λ3)に共通の制御信号P_SEL1(m+1)を供給するための信号線に接続されている。画素PX(IR)のトランジスタT_SELのゲートは、第(m+1)行の画素PX(IR)に共通の制御信号P_SEL2(m+1)を供給するための信号線に接続されている。
制御信号P_RES1,P_RES2,P_TX1,P_TX2,P_SEL1,P_SEL2は、コントローラ112から出力される同期信号に基づいて垂直走査回路113で生成され、画素PXに行単位で供給される。画素PXを構成する各トランジスタは、対応する制御信号を受けて、導通状態(オン)又は非導通状態(オフ)に制御される。各トランジスタがN型MOSトランジスタで構成されている場合、対応する制御信号がHレベルのときにオンとなり、対応する制御信号がLレベルのときにオフとなる。
光電変換部PDは、入射光をその光量に応じた量の電荷に変換(光電変換)するとともに、生じた電荷を蓄積する。トランジスタT_TXは、転送トランジスタとも称され、オンになることにより光電変換部PDが保持する電荷をキャパシタC_FDに転送する転送部としての機能を備える。キャパシタC_FDは、光電変換部PDから転送された電荷を保持する電荷保持部としての機能を備える。また、キャパシタC_FDは、FDノードの電位をその容量値及び保持する電荷の量に応じた電位に設定する電荷電圧変換部としての機能をも備える。
トランジスタT_SFは、ドレインに電圧VDDが供給され、ソースにトランジスタT_SELを介して図示しない電流源からバイアス電流が供給される構成となっており、ゲートを入力ノードとする増幅部(ソースフォロワ回路)を構成している。これによりトランジスタT_SFは、FDノードの電位に基づく信号を、トランジスタT_SELを介して列信号線LCに出力する。
トランジスタT_RESは、リセットトランジスタとも称され、オンになることによりFDノードを電圧VDDに応じた電圧にリセットするリセット部としての機能を備える。トランジスタT_SELは、選択トランジスタとも称され、トランジスタT_SFのソース電圧に応じた信号を画素信号として列信号線LCに出力するか否かを選択する選択部としての機能を備える。
本実施形態による撮像装置は、行ごとに光電変換部PDによる光電変換のタイミングが異なるローリングシャッター駆動を行うセンサであることが特徴である。
次に、本実施形態による撮像装置の駆動方法について、図8乃至図10を用いて説明する。図8乃至図10は、本実施形態による撮像装置の駆動例を示すタイミング図である。
図8は、動画撮影を行う場合の撮像装置の動作の概略を示している。図8には、「フレーム」、「アクチュエータ」、「可視光に基づく信号の読み出し動作」及び「赤外光に基づく信号の読み出し動作」の時間的変化が示されている。
図8中、「フレーム」は、画素アレイ111を構成する複数の画素PXの画素信号に基づいて生成される静止画1枚分の画像データ(フレームデータ)を取得するための期間(期間T_FR)である。図8には、n-1フレームからn+2フレームまでの連続する4フレームの動作を示している。図8において、n-1フレームのフレームデータFR(n-1)を取得するための期間が期間T_FR(n-1)である。また、nフレームのフレームデータFR(n)を取得するための期間が期間T_FR(n)である。また、n+1フレームのフレームデータFR(n+1)を取得するための期間が期間T_FR(n+1)である。また、n+2フレームのフレームデータFR(n+2)を取得するための期間が期間T_FR(n+2)である。期間T_FRの各々は、第1期間T1_FRと、第2期間T2_FRと、第3期間T3_FRと、第4期間T4_FRと、第5期間T5_FRと、第6期間T6_FRと、を含む。
図8中、「アクチュエータ」は、アクチュエータ13の駆動状態を示している。図8中、IR(n),IR(n+1)は、赤外光の像を合焦するためにアクチュエータ13により画素アレイ111を光軸方向に移動させている状態を示している。また、λ(n),λ(n+1),λ(n+2)は、可視光の像を合焦するためにアクチュエータ13により画素アレイ111を光軸方向に移動させている状態を示している。図8中、斜線を付した期間は、アクチュエータ13を駆動していない期間を示している。この斜線を付した期間において、アクチュエータ13は、直前の期間に設定された状態を維持している。
図8中、「可視光に基づく信号の読み出し動作」及び「赤外光に基づく信号の読み出し動作」は、可視光に基づく信号及び赤外光に基づく信号の読み出しが行単位で順次行われることを視覚的に示している。「可視光に基づく信号の読み出し動作」が画素PX(λ1),PX(λ2),PX(λ3)からの読み出し動作を示し、「赤外光に基づく信号の読み出し動作」が画素PX(IR)からの読み出し動作を示している。図8では、画素アレイ111が第1行から第X行のX行で構成されている場合を想定している(Xは2以上の整数)。また、可視光に基づく信号の読み出し動作は第1行、第2行、第3行、…、第X行の順に行い、赤外光に基づく信号の読み出しは第2行、第4行、第8行、第10行、…、第X行の順に行う場合を想定している。
図8に示されるリセット動作RES1(m),RES2(m)は、第m行の画素PXにおける光電変換部PDのリセット動作を表している(mは1~Xの整数)。また、図8に示される読み出し動作RO1(m),RO2(m)は、第m行の画素PXからの信号の読み出し動作を表している(mは1~Xの整数)。リセット動作RES1(m)の開始から読み出し動作RO1(m)の開始までの期間の長さが画素PX(λ1),PX(λ2),PX(λ3)の光電変換部PDにおける電荷の蓄積期間(可視光蓄積期間)に相当する。また、リセット動作RES2(m)の開始から読み出し動作RO2(m)の開始までの期間の長さが画素PX(IR)の光電変換部PDにおける電荷の蓄積期間(赤外光蓄積期間)に相当する。
各フレームにおける動作は基本的には同じであるため、ここではフレームデータFR(n)の読み出し動作に着目して説明を行う。なお、前のフレーム(n-1フレーム)の第6期間T6_FR(n-1)では、アクチュエータ13を駆動し(アクチュエータ:λ(n))、画素PXに入射する可視光の像が合焦するように画素アレイ111が光軸方向に移動されている。
フレームデータFR(n)を読み出す期間T_FR(n)は、前述のように、第1期間T1_FR(n)、第2期間T2_FR(n)、第3期間T3_FR(n)、第4期間T4_FR(n)、第5期間T5_FR(n)及び第6期間T6_FR(n)を含む。
第1期間T1_FR(n)においては、アクチュエータ13を駆動しない状態(アクチュエータ:インアクティブ)で、画素PX(λ1),PX(λ2),PX(λ3)の光電変換部PDへの電荷の蓄積を開始する。具体的には、第1期間T1_FR(n)の開始から終了までの間に、画素PX(λ1),PX(λ2),PX(λ3)における光電変換部PDのリセット動作RES1を行毎に順次実行する。例えば、第1期間T1_FR(n)の開始の後に第1行目のリセット動作RES1(1)を開始し、第1期間T1_FR(n)の終了の前に第X行目のリセット動作RES1(X)が終了するように、各行のリセット動作RES1を順次実行する。つまり、各行の画素PXにおいて、光電変換部PDへの電荷の蓄積を開始するタイミングは異なっている。光電変換部PDに蓄積された電荷は、その画素PXが属する行の読み出し動作RO1が実行されるまでの間、光電変換部PDに保持される。
続く第2期間T2_FR(n)においては、アクチュエータ13を駆動しない状態(アクチュエータ:インアクティブ)で、画素PX(λ1),PX(λ2),PX(λ3)からの信号の読み出し動作RO1を行単位で順次行う。具体的には、第2期間T2_FR(n)の間に、第1行の読み出し動作RO1(1)から第X行の読み出し動作RO1(X)までの読み出し動作を行単位で順次行う。光電変換部PDにおける電荷の蓄積が終了するタイミングは、光電変換部PDからFDノードへと電荷を転送するタイミングで規定される。読み出し動作RO1は、光電変換部PDからFDノードへの電荷の転送の後に開始される。読み出し動作RO1は、光電変換部PDから転送された電荷がキャパシタC_FDに保持されている間に実行される。
続く第3期間T3_FR(n)においては、アクチュエータ13を駆動し(アクチュエータ:IR(n))、画素PX(IR)に入射する赤外光の像が合焦するように画素アレイ111を光軸方向に移動させる。詳細は後述するが、第3期間T3_FR(n)では、光電変換部PDに電荷は蓄積されない。具体的には、第3期間T3_FR(n)の間に光電変換部PDで発生した電荷は、トランジスタT_TX,T_RESを介して排出される。
なお、アクチュエータ13による移動量はレンズの種類や焦点距離によって異なるため、アクチュエータ駆動期間(第3期間T3_FR(n))はレンズの条件によって異なる。一般的なレンズは焦点距離に比例して軸上色収差が大きくなるので、焦点距離が長いほど移動量は大きく、すなわちアクチュエータ駆動期間(第3期間T3_FR(n))は長くなる。
続く第4期間T4_FR(n)においては、アクチュエータ13を駆動しない状態(アクチュエータ:インアクティブ)で、画素PX(IR)の光電変換部PDへの電荷の蓄積を開始する。具体的には、第4期間T4_FR(n)の開始から終了までの間に、画素PX(IR)における光電変換部PDのリセット動作RES2を行毎に順次実行する。例えば、第4期間T4_FR(n)の開始の後に第2行目のリセット動作RES2(2)を開始し、第4期間T4_FR(n)の終了の前に第X行目のリセット動作RES2(X)が終了するように、各行のリセット動作RES2を順次実行する。つまり、各行の画素PXにおいて、光電変換部PDへの電荷の蓄積を開始するタイミングは異なっている。光電変換部PDに蓄積された電荷は、その画素PXが属する行の読み出し動作RO2が実行されるまでの間、光電変換部PDに保持される。
続く第5期間T5_FR(n)においては、アクチュエータ13を駆動しない状態(アクチュエータ:インアクティブ)で、画素PX(IR)からの信号の読み出し動作RO2を行単位で順次行う。具体的には、第5期間T5_FR(n)の間に、第2行の読み出し動作RO2(2)から第X行の読み出し動作RO2(X)までの読み出し動作を行単位で順次行う。光電変換部PDにおける電荷の蓄積が終了するタイミングは、光電変換部PDからFDノードへと電荷を転送するタイミングで規定される。読み出し動作RO2は、光電変換部PDからFDノードへの電荷の転送の後に開始される。読み出し動作RO2は、光電変換部PDから転送された電荷がキャパシタC_FDに保持されている間に実行される。
続く第6期間T6_FR(n)においては、アクチュエータ13を駆動し(アクチュエータ:λ(n+1))、画素PX(λ1),PX(λ2),PX(λ3)に入射する可視光の像が合焦するように画素アレイ111を光軸方向に移動させる。
プロセッサ12は、以上のようにして合焦された可視光及び赤外光に基づく画像信号を1フレームの間に取得することができる。取得した画像信号は、画像情報として画像情報保持部14に格納される。
図9及び図10は、図8の動作を行う際に垂直走査回路113から画素アレイ111の画素PXに供給される制御信号の波形を示している。図9及び図10には説明の簡略化のため第m行及び第(m+1)行の画素PXに供給される制御信号のみを示しているが、他の行の画素PXに供給される制御信号についても同様である。
図9には、画素PX(λ1),PX(λ2)の制御信号P_RES1(m),P_TX1(m),P_SEL1(m)と、画素PX(λ3)の制御信号P_RES1(m+1),P_TX1(m+1),P_SEL1(m+1)と、を示している。また、図9には、画素PX(IR)の制御信号P_RES2(m+1),P_TX2(m+1),P_SEL2(m+1)を示している。
制御信号P_SEL1(m),P_SEL1(m+1),P_SEL2(m+1)は、図5における読み出し動作に対応している。すなわち、制御信号P_SEL1(m),P_SEL1(m+1),P_SEL2(m+1)をHレベルで示している期間は、読み出し動作RO1(m),RO1(m+1),RO2(m+1)を行う期間である。また、制御信号P_SEL1(m),P_SEL1(m+1),P_SEL2(m+1)をLレベルで示している期間は、読み出しを行わない期間である。
n-1フレームの第6期間T6_FR(n-1)において、制御信号P_RES1(m),P_RES1(m+1),P_RES2(m+1)は、垂直走査回路113によってHレベルに制御されている。これにより、第m行の画素PX(λ1),PX(λ2)及び第(m+1)行の画素PX(λ3),PX(IR)のトランジスタT_RESはオンになっており、これら画素PXのキャパシタC_FDはリセット状態である。
また、n-1フレームの第6期間T6_FR(n-1)において、制御信号P_SEL1(m),P_SEL1(m+1),P_SEL2(m+1)は、垂直走査回路113によってLレベルに制御されている。これにより、第m行の画素PX(λ1),PX(λ2)及び第(m+1)行の画素PX(λ3),PX(IR)のトランジスタT_SELはオフになっており、これら画素PXの信号は列信号線LCに読み出されていない状態である。
続くnフレームの第1期間T1_FR(n)において、垂直走査回路113により、制御信号P_TX1(m)がLレベルからHレベルに制御される。これにより、第m行の画素PX(λ1),PX(λ2)のトランジスタT_TXがオンになり、画素PX(λ1),PX(λ2)の光電変換部PDがトランジスタT_RES,T_TXを介してリセットされる。垂直走査回路113により制御信号P_TX1(m)がHレベルからLレベルに制御されることにより、画素PX(λ1),PX(λ2)における光電変換部PDのリセットが解除される。これにより、画素PX(λ1),PX(λ2)の光電変換部PDにおいて電荷の蓄積が開始される。
また、制御信号P_TX1(m)がHレベルからLレベルに制御された後、制御信号P_TX1(m+1)がLレベルからHレベルに制御される。これにより、第(m+1)行の画素PX(λ3)のトランジスタT_TXがオンになり、画素PX(λ3)の光電変換部PDがトランジスタT_RES,T_TXを介してリセットされる。垂直走査回路113により制御信号P_TX1(m+1)がHレベルからLレベルに制御されることにより、画素PX(λ3)における光電変換部PDのリセットが解除される。これにより、画素PX(λ3)の光電変換部PDにおいて電荷の蓄積が開始される。
このようにして、第1期間T1_FR(n)の間に、第1行から第X行において順次、画素PX(λ1),PX(λ2)又は画素PX(λ3)の光電変換部PDにおける電荷の蓄積を開始する。
続く第2期間T2_FR(n)は、順次実行されるX個の期間T_RO1(1)~期間T_RO1(X)(いずれも不図示)を含む。これら期間の各々では、対応する行の画素PX(λ1),PX(λ2),PX(λ3)からの信号の読み出しが行われる。
第2期間T2_FR(n)の期間T_RO1(m)には、垂直走査回路113により、制御信号P_RES1(m)がLレベルに、制御信号P_SEL1(m)がHレベルに、それぞれ制御される。また、詳細は後述するが、期間T_RO1(m)内において、垂直走査回路113により、制御信号P_TX1(m)が一時的にHレベルに制御される。これにより、第m行の画素PX(λ1),PX(λ2)から、FDノードのリセット電位に応じたN信号と、光電変換部PDから転送された電荷の量に応じたS信号との読み出しを行う(読み出し動作RO1(m))。
また、第2期間T2_FR(n)の期間T_RO1(m+1)には、垂直走査回路113により、制御信号P_RES1(m+1)がLレベルに、制御信号P_SEL1(m+1)がHレベルに、それぞれ制御される。また、詳細は後述するが、期間T_RO1(m+1)内において、垂直走査回路113により、制御信号P_TX1(m+1)が一時的にHレベルに制御される。これにより、第(m+1)行の画素PX(λ3)から、FDノードのリセット電位に応じたN信号と、光電変換部PDから転送された電荷の量に応じたS信号との読み出しを行う(読み出し動作RO1(m+1))。
このようにして、第2期間T2_FR(n)の間に、第1行から第X行において順次、画素PX(λ1),PX(λ2)又は画素PX(λ3)からのN信号及びS信号の読み出し(読み出し動作RO1(1)~RO1(X))を行う。なお、ここでは、読み出し動作RO1(1)~RO1(X)を行番号の順に実行しているが、読み出し動作RO1(1)~RO1(X)はどのような順序で実行されてもよい。
続く第3期間T3_FR(n)には、垂直走査回路113により、制御信号P_RES1(m),P_RES1(m+1),P_RES2(m+1)が第2期間T2_FR(n)から継続してHレベルに維持されている。これにより、第m行の画素PX(λ1),PX(λ2)及び第(m+1)行の画素PX(λ3),PX(IR)のトランジスタT_RESはオンになっており、これら画素PXのキャパシタC_FDはリセット状態である。
ただし、第3期間T3_FR(n)において、制御信号P_TX1(m),P_TX1(m+1),P_TX2(m+1)は、垂直走査回路113によってLレベルに制御されている。これにより、第m行の画素PX(λ1),PX(λ2)及び第(m+1)行の画素PX(λ3),PX(IR)のトランジスタT_TXはオフになっており、これら画素PXの光電変換部PDはリセットされていない状態である。
また、第3期間T3_FR(n)において、制御信号P_SEL1(m),P_SEL1(m+1),P_SEL2(m+1)は、垂直走査回路113によってLレベルに制御されている。これにより、第m行の画素PX(λ1),PX(λ2)及び第(m+1)行の画素PX(λ3),PX(IR)のトランジスタT_SELはオフになっており、これら画素PXの信号は列信号線LCに読み出されていない状態である。
続く第4期間T4_FR(n)において、垂直走査回路113により、制御信号P_TX2(m+1)がLレベルからHレベルに制御される。これにより、第(m+1)行の画素PX(IR)のトランジスタT_TXがオンになり、画素PX(IR)の光電変換部PDがトランジスタT_RES,T_TXを介してリセットされる。垂直走査回路113により制御信号P_TX2(m+1)がHレベルからLレベルに制御されることにより、画素PX(IR)における光電変換部PDのリセットが解除される。これにより、第(m+1)行の画素PX(IR)の光電変換部PDにおいて電荷の蓄積が開始される。
同様にして、第4期間T4_FR(n)の間に、第2行から第X行において順次、画素PX(IR)の光電変換部PDにおける電荷の蓄積を開始する。
続く第5期間T5_FR(n)は、順次実行される(X/2)個の期間T_RO2(2)~期間T_RO1(X)(いずれも不図示)を含む。これら期間の各々では、対応する行の画素PX(IR)からの信号の読み出しが行われる。
第5期間T5_FR(n)の期間T_RO2(m+1)には、垂直走査回路113により、制御信号P_RES2(m+1)がLレベルに、制御信号P_SEL2(m+1)がHレベルに、それぞれ制御される。また、詳細は後述するが、期間T_RO2(m+1)内において、垂直走査回路113により、制御信号P_TX2(m+1)が一時的にHレベルに制御される。これにより、第(m+1)行の画素PX(IR)から、FDノードのリセット電位に応じたN信号と、光電変換部PDから転送された電荷の量に応じたS信号との読み出しを行う(読み出し動作RO2(m+1))。
同様にして、第5期間T5_FR(n)の間に、第2行から第X行において順次、画素PX(IR)からのN信号及びS信号の読み出し(読み出し動作RO2(2)~RO1(X))を行う。なお、ここでは、読み出し動作RO2(2)~RO2(X)を行番号の順に実行しているが、読み出し動作RO2(2)~RO2(X)はどのような順序で実行されてもよい。
続く第6期間T6_FR(n)には、垂直走査回路113により、制御信号P_RES1(m),P_RES1(m+1),P_RES2(m+1)が第5期間T5_FR(n)から継続してHレベルに維持されている。これにより、第m行の画素PX(λ1),PX(λ2)及び第(m+1)行の画素PX(λ3),PX(IR)のトランジスタT_RESはオンになっており、これら画素PXのキャパシタC_FDはリセット状態である。
ただし、第6期間T6_FR(n)において、制御信号P_TX1(m),P_TX1(m+1),P_TX2(m+1)は、垂直走査回路113によってLレベルに制御されている。これにより、第m行の画素PX(λ1),PX(λ2)及び第(m+1)行の画素PX(λ3),PX(IR)のトランジスタT_TXはオフになっており、これら画素PXの光電変換部PDはリセットされていない状態である。
また、第6期間T6_FR(n)において、制御信号P_SEL1(m),P_SEL1(m+1),P_SEL2(m+1)は、垂直走査回路113によってLレベルに制御されている。これにより、第m行の画素PX(λ1),PX(λ2)及び第(m+1)行の画素PX(λ3),PX(IR)のトランジスタT_SELはオフになっており、これら画素PXの信号は列信号線LCに読み出されていない状態である。
図10は、図9の読み出し動作RO1(m),RO1(m+1),RO2(m+1)における具体的な動作を示すタイミング図である。図10には、画素PX(λ1),PX(λ2)の制御信号P_SEL1(m),P_RES1(m),P_TX1(m)と、画素PX(λ3)の制御信号P_SEL1(m+1),P_RES1(m+1),P_TX1(m+1)と、を示している。また、図10には、画素PX(IR)の制御信号P_SEL2(m+1),P_RES2(m+1),P_TX2(m+1)を示している。
また、図10には、信号読み出し部114におけるサンプリング動作を、制御信号と同様のパルス波形で表現している。「信号読み出し部のサンプリング」をHレベルで示している期間がサンプリングを行う期間であり、「信号読み出し部のサンプリング」をLレベルで示している期間がサンプリングを行わない期間である。前述の通り、信号読み出し部114は行ごとに画素PXから信号を読み出す。そのため、ある行の画素PXから信号を読み出す場合には、「信号読み出し部のサンプリング」のHレベルはその行の画素PXからの信号をサンプリングすることを示す。
本実施形態においては、第1行から第X行までの読み出し動作RO1(1)~RO1(X)と、第2行から第X行までの読み出し動作RO2(2)~RO2(X)と、を順に実行する。第m行及び第(m+1)行のみに着目すると、図10に示すように、読み出し動作RO1(m),RO1(m+1),RO2(m+1)がこの順に実行される。図10において、読み出し動作RO1(m)を行う期間が期間T_RO1(m)であり、読み出し動作RO1(m+1)を行う期間が期間T_RO1(m+1)である。また、読み出し動作RO2(m+1)を行う期間が期間T_RO2(m+1)である。期間T_RO1(m)は、期間T1_RO1(m)と、期間T2_RO1(m)と、期間T3_RO1(m)とを含む。期間T_RO1(m+1)は、期間T1_RO1(m+1)と、期間T2_RO1(m+1)と、期間T3_RO1(m+1)とを含む。期間T_RO2(m+1)は、期間T1_RO2(m+1)と、期間T2_RO2(m+1)と、期間T3_RO2(m+1)とを含む。
まず、期間T_RO1(m)における動作について説明する。
期間T_RO1(m)の前の期間(期間T_RO1(m-1))において、制御信号P_RES1(m)は、垂直走査回路113によりHレベルに制御されている。これにより、第m行の画素PX(λ1),PX(λ2)のトランジスタT_RESはオンになっており、FDノード(キャパシタC_FD)はリセットされている。
期間T_RO1(m)の開始のタイミングにおいて、垂直走査回路113は、制御信号P_SEL1(m)をLレベルからHレベルに制御する。これにより、第m行の画素PX(λ1),PX(λ2)のトランジスタT_SELがオンになり、第m行の画素PX(λ1),PX(λ2)から信号読み出し部114への信号の読み出しが可能な状態となる。垂直走査回路113は、期間T_RO1(m)の間、制御信号P_SEL1(m)をHレベルのまま維持する。
また、期間T_RO1(m)の開始のタイミングにおいて、垂直走査回路113は、制御信号P_RES1(m)をHレベルからLレベルに制御する。これにより、第m行の画素PX(λ1),PX(λ2)のトランジスタT_RESがオフになり、FDノード(キャパシタC_FD)のリセット状態が解除される。そして、FDノードのリセット電位に応じた信号が、トランジスタT_SELを介して対応する列の列信号線LCに出力される。
次いで、制御信号P_RES1(m)がLレベルに遷移した後、信号読み出し部114は、各列の列信号線LCに出力された信号をサンプリングする。このようにして画素PX(λ1),PX(λ2)から得られる信号が、可視光信号SV(m)_Nである。
可視光信号SV(m)_Nのサンプリングの完了後、垂直走査回路113は、一時的に制御信号P_TX1(m)をHレベルに制御する。これにより、第m行の画素PX(λ1),PX(λ2)のトランジスタT_TXがオンになり、光電変換部PDが保持する電荷がキャパシタC_FDに転送される。これにより、FDノードは、光電変換部PDから転送された電荷の量に応じた電位となる。そして、FDノードの電位に応じた信号が、トランジスタT_SELを介して対応する列の列信号線LCに出力される。なお、制御信号P_TX1(m)がLレベルからHレベルに制御されるタイミングが、期間T2_RO1(m)の開始のタイミングである。また、制御信号P_TX1(m)がHレベルからLレベルに制御されるタイミングが、期間T2_RO1(m)の終了のタイミングであり、期間T3_RO1(m)の開始のタイミングである。
次いで、制御信号P_TX1(m)がLレベルに遷移した後の期間T3_RO1(m)において、信号読み出し部114は、各列の列信号線LCに出力された信号をサンプリングする。このようにして画素PX(λ1),PX(λ2)から得られる信号が、可視光信号SV(m)_Sである。
信号読み出し部114では、このようにして取得された信号SV(m)_N及び信号SV(m)_Sに対し、CDS処理が施される。すなわち、信号SV(m)_Sから信号SV(m)_Nを差し引くことで、信号SV(m)_Sに重畳する回路構成や特性ばらつき等に起因するオフセット成分を除去する。
次に、期間T_RO1(m+1)における動作について説明する。
期間T_RO1(m)において、制御信号P_RES1(m+1)は、垂直走査回路113によりHレベルに制御されている。これにより、第(m+1)行の画素PX(λ3)のトランジスタT_RESはオンになっており、FDノード(キャパシタC_FD)はリセットされている。
期間T_RO1(m+1)の開始のタイミングにおいて、垂直走査回路113は、制御信号P_SEL1(m)をHレベルからLレベルに制御し、制御信号P_SEL1(m+1)をLレベルからHレベルに制御する。これにより、第m行の画素PXのトランジスタT_SELがオフ、第(m+1)行の画素PX(λ3)のトランジスタT_SELがオンになり、第(m+1)行の画素PX(λ3)から信号読み出し部114への信号の読み出しが可能な状態となる。垂直走査回路113は、期間T_RO1(m+1)の間、制御信号P_SEL1(m+1)をHレベルのまま維持する。
また、期間T_RO1(m+1)の開始のタイミングにおいて、垂直走査回路113は、制御信号P_RES1(m)をLレベルからHレベルに制御し、制御信号P_RES1(m+1)をHレベルからLレベルに制御する。これにより、第(m+1)行の画素PX(λ3)のトランジスタT_RESがオフになり、FDノード(キャパシタC_FD)のリセット状態が解除される。そして、FDノードのリセット電位に応じた信号が、トランジスタT_SELを介して対応する列の列信号線LCに出力される。
次いで、制御信号P_RES1(m+1)がLレベルに遷移した後、信号読み出し部114は、各列の列信号線LCに出力された信号をサンプリングする。このようにして画素PX(λ3)から得られる信号が、可視光信号SV(m+1)_Nである。
可視光信号SV(m+1)_Nのサンプリングの完了後、垂直走査回路113は、一時的に制御信号P_TX1(m+1)をHレベルに制御する。これにより、第(m+1)行の画素PX(λ3)のトランジスタT_TXがオンになり、光電変換部PDが保持する電荷がキャパシタC_FDに転送される。これにより、FDノードは、光電変換部PDから転送された電荷の量に応じた電位となる。そして、FDノードの電位に応じた信号が、トランジスタT_SELを介して対応する列の列信号線LCに出力される。なお、制御信号P_TX1(m+1)がLレベルからHレベルに制御されるタイミングが、期間T2_RO1(m+1)の開始のタイミングである。また、制御信号P_TX1(m+1)がHレベルからLレベルに制御されるタイミングが、期間T2_RO1(m+1)の終了のタイミングであり、期間T3_RO1(m+1)の開始のタイミングである。
次いで、制御信号P_TX1(m+1)がLレベルに遷移した後の期間T3_RO1(m+1)において、信号読み出し部114は、各列の列信号線LCに出力された信号をサンプリングする。このようにして画素PX(λ3)から得られる信号が、可視光信号SV(m+1)_Sである。
信号読み出し部114では、このようにして取得された信号SV(m+1)_N及び信号SV(m+1)_Sに対し、CDS処理が施される。すなわち、信号SV(m+1)_Sから信号SV(m+1)_Nを差し引くことで、信号SV(m+1)_Sに重畳する回路構成や特性ばらつき等に起因するオフセット成分を除去する。
次に、期間T_RO2(m+1)における動作について説明する。
期間T_RO2(m+1)の前の期間(期間T_RO2(m-1))において、制御信号P_RES2(m+1)は、垂直走査回路113によりHレベルに制御されている。これにより、第(m+1)行の画素PX(IR)のトランジスタT_RESはオンになっており、FDノード(キャパシタC_FD)はリセットされている。
期間T_RO2(m+1)の開始のタイミングにおいて、垂直走査回路113は、制御信号P_SEL2(m+1)をLレベルからHレベルに制御する。これにより、第(m+1)行の画素PX(IR)のトランジスタT_SELがオンになり、第(m+1)行の画素PX(IR)から信号読み出し部114への信号の読み出しが可能な状態となる。垂直走査回路113は、期間T_RO2(m+1)の間、制御信号P_SEL2(m+1)をHレベルのまま維持する。
また、期間T_RO2(m+1)の開始のタイミングにおいて、垂直走査回路113は、制御信号P_RES2(m+1)をHレベルからLレベルに制御する。これにより、第(m+1)行の画素PX(IR)のトランジスタT_RESがオフになり、FDノード(キャパシタC_FD)のリセット状態が解除される。そして、FDノードのリセット電位に応じた信号が、トランジスタT_SELを介して対応する列の列信号線LCに出力される。
次いで、制御信号P_RES2(m+1)がLレベルに遷移した後、信号読み出し部114は、各列の列信号線LCに出力された信号をサンプリングする。このようにして画素PX(IR)から得られる信号が、赤外光信号SI(m+1)_Nである。
赤外光信号SI(m+1)_Nのサンプリングの完了後、垂直走査回路113は、一時的に制御信号P_TX2(m+1)をHレベルに制御する。これにより、第(m+1)行の画素PX(IR)のトランジスタT_TXがオンになり、光電変換部PDが保持する電荷がキャパシタC_FDに転送される。これにより、FDノードは、光電変換部PDから転送された電荷の量に応じた電位となる。そして、FDノードの電位に応じた信号が、トランジスタT_SELを介して対応する列の列信号線LCに出力される。なお、制御信号P_TX2(m+1)がLレベルからHレベルに制御されるタイミングが、期間T2_RO2(m+1)の開始のタイミングである。また、制御信号P_TX2(m+1)がHレベルからLレベルに制御されるタイミングが、期間T2_RO2(m+1)の終了のタイミングであり、期間T3_RO2(m+1)の開始のタイミングである。
次いで、制御信号P_TX2(m+1)がLレベルに遷移した後の期間T3_RO2(m+1)において、信号読み出し部114は、各列の列信号線LCに出力された信号をサンプリングする。このようにして画素PX(IR)から得られる信号が、赤外光信号SI(m+1)_Sである。
信号読み出し部114では、このようにして取得された信号SI(m+1)_N及び信号SI(m+1)_Sに対し、CDS処理が施される。すなわち、信号SI(m+1)_Sから信号SI(m+1)_Nを差し引くことで、信号SI(m+1)_Sに重畳する回路構成や特性ばらつき等に起因するオフセット成分を除去する。
本実施形態では、可視光の範囲内で軸上色収差補正が施されたレンズを用い、合焦した可視光及び赤外光による画像信号を1フレーム内(総ての画素PXの光電変換部PDにおける電荷の蓄積開始から信号の読み出し完了まで)に取得することができる。したがって、可視光から赤外の範囲に渡って軸上色収差補正された高価なレンズを用いる場合よりも低コストで、可視光と赤外光の高画質画像を高速に取得可能な撮像装置を構成することが可能である。
また、本実施形態の画素PXを構成するトランジスタ数は第1実施形態の画素PXを構成するトランジスタ数よりも少ないため、画素PXにおいて生じるノイズや暗電流を第1実施形態よりも抑制することができる。また、トランジスタ数が少ない分、光電変換部PDの受光面積を広げて感度の向上を図ることができ、また、キャパシタC_FDの容量を増加して画素の飽和電荷量を向上することができる。
このように、本実施形態によれば、異なる波長帯域に感度を有する複数種類の画素を有する撮像装置において、部品コストの増加を抑制しつつ当該複数種類の画素に対して合焦された高画質画像を高速に取得することが可能となる。
[第3実施形態]
本発明の第2実施形態による撮像装置について、図11乃至図15を用いて説明する。第1及び第2実施形態による撮像装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。図11は、本実施形態による撮像装置における撮像部の構成例を示すブロック図である。図12は、本実施形態による単位画素ブロックの構成例を示す回路図である。図13乃至図15は、本実施形態による撮像装置の駆動例を示すタイミング図である。
本実施形態による撮像装置の全体構成の構成は、図1に示す第1実施形態による撮像装置と同様である。本実施形態による撮像装置は、画素アレイ111を構成する単位画素ブロック1111の構成が、図2に示す第1実施形態による撮像装置とは異なっている。
すなわち、本実施形態による撮像装置において、単位画素ブロック1111は、図11に示すように、a列×b行の画素アレイにより構成されている(a及びbは1以上の整数)。この単位画素ブロック1111が行方向及び列方向に繰り返し配列されることにより、画素アレイ111が構成されている。図11には、単位画素ブロック1111を構成するa×b個の画素PXのうち、4角に位置する画素PX(λ1,1),PX(λa,1),PX(λ1,b),PX(λa,b)を示している。ここで、画素をPX(λx,y)の符号で表したとき、変数x,yは、単位画素ブロック1111内における座標(列,行)に対応している。
単位画素ブロック1111を構成する画素PXの各々は、任意の波長帯域に感度を有する。すなわち、単位画素ブロック1111は、最多で、分光感度特性が互いに異なるa×b種類の画素PXを含み得る。これら画素PXが感度を有する波長帯域は、可視光でもよいし、非可視光でもよい。1つの単位画素ブロック1111が、可視光に感度を有する画素PXと非可視光に感度を有する画素PXとを含んでもよい。また、1つの単位画素ブロック1111に含まれる2つ以上の画素PXが同じ波長帯域に感度を有していてもよい。
なお、本実施形態による撮像装置において、レンズ16は、光の軸上色収差が補正されているレンズでもよいし、光の軸上色収差が補正されていないレンズでもよい。例えば、レンズ16は、赤色、緑色、青色の波長差によって生じる軸上色収差が補正されているレンズでもよいし、補正されていないレンズでもよい。
図12は、単位画素ブロック1111の構成例を示す回路図である。ここでは、第m行に配された画素PX(λ1,1)及び画素PX(λa,1)と、第(m+b)行に配された画素PX(λ1,b)及び画素PX(λa,b)を例に挙げ、単位画素ブロック1111の構成例を説明する。これら4つの画素PXは、単位画素ブロック1111の四隅に配された画素PXである。
単位画素ブロック1111を構成する画素PXの各々は、第1実施形態と同様、光電変換部PD、トランジスタT_GS,T_TX,T_OFD,T_RES,T_SF,T_SEL及びキャパシタC_MEM,C_FDにより構成され得る。これら素子の接続関係は第1実施形態と同様であるため、ここでは説明を省略する。
第m行に配された画素PX(λ1,1)~PX(λa,1)の各々のトランジスタT_RESのゲートは、第m行の画素PX(λ1,1)~PX(λa,1)に共通の制御信号P_RES(m)を供給するための信号線に接続されている。第m行に配された画素PX(λ1,1)~PX(λa,1)の各々のトランジスタT_TXのゲートは、第m行の画素PX(λ1,1)~PX(λa,1)に共通の制御信号P_TX(m)を供給するための信号線に接続されている。第m行に配された画素PX(λ1,1)~PX(λa,1)の各々のトランジスタT_OFDのゲートは、第m行の画素PX(λ1,1)~PX(λa,1)に共通の制御信号P_OFD(m)を供給するための信号線に接続されている。第m行に配された画素PX(λ1,1)~PX(λa,1)の各々のトランジスタT_SELのゲートは、第m行の画素PX(λ1,1)~PX(λa,1)に共通の制御信号P_SEL(m)を供給するための信号線に接続されている。
第m行に配された画素PX(λ1,1)~PX(λa,1)のトランジスタT_GSのゲートは、これら画素PX(λ1,1)~PX(λa,1)に個別の制御信号P_GS_11(m)~P_GS_a1(m)を供給するための信号線に接続されている。すなわち、第m行に配された画素PX(λ1,1)のトランジスタT_GSのゲートは、制御信号P_GS_11(m)を供給するための信号線に接続されている。第m行に配された画素PX(λa,1)のトランジスタT_GSのゲートは、制御信号P_GS_a1(m)を供給するための信号線に接続されている。画素PX(λ2,1)~PX(λa-1,1)についても同様である。
また、第(m+b)行に配された画素PX(λ1,b)~PX(λa,b)の各々のトランジスタT_RESのゲートは、これら画素PX(λ1,b)~PX(λa,b)に共通の制御信号P_RES(m+b)を供給するための信号線に接続されている。第(m+b)行に配された画素PX(λ1,b)~PX(λa,b)の各々のトランジスタT_TXのゲートは、これら画素PX(λ1,b)~PX(λa,b)に共通の制御信号P_TX(m+b)を供給するための信号線に接続されている。第(m+b)行に配された画素PX(λ1,b)~PX(λa,b)の各々のトランジスタT_OFDのゲートは、これら画素PX(λ1,b)~PX(λa,b)に共通の制御信号P_OFD(m+b)を供給するための信号線に接続されている。第(m+b)行に配された画素PX(λ1,b)~PX(λa,b)の各々のトランジスタT_SELのゲートは、これら画素PX(λ1,b)~PX(λa,b)に共通の制御信号P_SEL(m+b)を供給するための信号線に接続されている。
第(m+b)行の画素PX(λ1,b)~PX(λa,b)のトランジスタT_GSのゲートは、これら画素PX(λ1,b)~PX(λa,b)に個別の制御信号P_GS_11(m)~P_GS_a1(m)を供給するための信号線に接続されている。すなわち、第(m+b)行に配された画素PX(λ1,b)のトランジスタT_GSのゲートは、制御信号P_GS_1b(m+b)を供給するための信号線に接続されている。第(m+b)行に配された画素PX(λa,b)のトランジスタT_GSのゲートは、制御信号P_GS_ab(m+b)を供給するための信号線に接続されている。画素PX(λ2,b)~PX(λa-1,b)についても同様である。
第(m+1)行から第(m+b-1)行についても同様である。
制御信号P_RES,P_TX,P_GS_11~P_GS_ab,P_OFD,P_SELは、コントローラ112から出力される同期信号に基づいて垂直走査回路113で生成され、画素PXに行単位で供給される。画素PXを構成する各トランジスタは、対応する制御信号を受けて、導通状態(オン)又は非導通状態(オフ)に制御される。各トランジスタがN型MOSトランジスタで構成されている場合、対応する制御信号がハイレベル(Hレベル)のときに導通状態(オン)となり、対応する制御信号がローレベル(Lレベル)のときに非導通状態(オフ)となる。
次に、本実施形態による撮像装置の駆動方法について、図13乃至図15を用いて説明する。図13乃至図15は、本実施形態による撮像装置の駆動例を示すタイミング図である。
図13は、動画撮影を行う場合の撮像装置の動作の概略を示している。図13には、「フレーム」、「アクチュエータ」、「蓄積電荷」、「保持信号(C_MEM_11)」、「保持信号(C_MEM_ab)」及び「読み出し動作」の時間的変化が示されている。
図13中、「フレーム」は、画素アレイ111を構成する複数の画素PXの画素信号に基づいて生成される静止画1枚分の画像データ(フレームデータ)を取得するための期間(期間T_FR)である。図13には、n-1フレームからn+2フレームまでの連続する4フレームの動作を示している。図13において、n-1フレームのフレームデータFR(n-1)を取得するための期間が期間T_FR(n-1)である。また、nフレームのフレームデータFR(n)を取得するための期間が期間T_FR(n)である。また、n+1フレームのフレームデータFR(n+1)を取得するための期間が期間T_FR(n+1)である。また、n+2フレームのフレームデータFR(n+2)を取得するための期間が期間T_FR(n+2)である。本実施形態では、期間T_FRの各々を、便宜的に、第1期間T1_FRと、第2期間T2_FRと、第3期間T3_FRと、第4期間T4_FRと、第5期間T5_FRと、第6期間T6_FRと、に分けている。
図13中、「アクチュエータ」は、アクチュエータ13の駆動状態を示している。アクチュエータ13は、レンズの軸上色収差を補正するために画素アレイ111を光軸方向に位置制御するためのものであり、例えば、可視光の像を合焦、赤外光の像を合焦、インアクティブ、の3種類の駆動状態を取り得る。図4中、λ1,1(n),λ1,1(n+1),λ1,1(n+2)は、画素PX(λ1,1)が感度を有する波長帯域の光の像を合焦するためにアクチュエータ13により画素アレイ111を光軸方向に移動させている状態を示している。また、λa,b(n),λa,b(n+1)は、画素PX(λa,b)が感度を有する波長帯域の光の像を合焦するためにアクチュエータ13により画素アレイ111を光軸方向に移動させている状態を示している。図13中、斜線を付した期間は、アクチュエータ13を駆動していない期間を示している。この斜線を付した期間において、アクチュエータ13は、直前の期間に設定された状態を維持している。
図13中、「蓄積電荷」は、光電変換部PDにおける電荷保持期間を示している。ここでは、n-1フレームの第5期間T5_FR(n-1)の間に光電変換部PDに蓄積された電荷量をQa,b(n-1)、nフレームの第1期間T1_FR(n)の間に光電変換部PDに蓄積された電荷量をQ1,1(n)と表すものとする。また、nフレームの第3期間T3_FR(n)の間に光電変換部PDに蓄積された電荷量をQa,b-1(n)、nフレームの第5期間T5_FR(n)の間に光電変換部PDに蓄積された電荷量をQa,b(n)と表すものとする。また、n+1フレームの第1期間T1_FR(n+1)の間に光電変換部PDに蓄積された電荷量をQ1,1(n+1)、n+1フレームの第3期間T3_FR(n+1)の間に光電変換部PDに蓄積された電荷量をQa,b-1(n+1)と表すものとする。また、n+1フレームの第5期間T5_FR(n+1)の間に光電変換部PDに蓄積された電荷量をQa,b(n+1)、n+2フレームの第1期間T1_FR(n+2)の間に光電変換部PDに蓄積された電荷量をQ1,1(n+2)と泡和すものとする。図4中、斜線を付した期間は、オーバーフロードレイン(OFD)動作が行われる期間であり、光電変換部PDにおける電荷の蓄積は行われない。
図13中、「保持信号(C_MEM_11)」は、画素PX(λ1,1)のキャパシタC_MEMに保持される信号MEM1,1を示している。また、「保持信号(C_MEM_ab)」は、画素PX(λa,b)のキャパシタC_MEMに保持される信号MEMa,bを示している。キャパシタC_MEMに保持される信号MEM1,1,MEMa,bのレベルは、トランジスタT_GSによって光電変換部PDからキャパシタC_MEMに転送された電荷の量に対応する電圧値である。なお、図13には保持信号(C_MEM_11)及び保持信号(C_MEM_ab)のみを示しているが、単位画素ブロック1111を構成する画素PXの各々に対して保持信号(C_MEM_xy)は存在する。
図13中、「読み出し動作」は、複数の画素PXからの信号の読み出しが行単位で順次行われることを視覚的に示している。図13では、画素アレイ111が第1行から第X行のX行で構成されており(Xは2以上の整数)、第1行、第2行、第3行、…、第X行の順に読み出し動作を行う場合を想定している。図13に示される読み出し動作RO(m)は、第m行の画素PXからの信号の読み出し動作を表している(mは1~Xの整数)。
各フレームにおける動作は基本的には同じであるため、ここではフレームデータFR(n)の読み出し動作に着目して説明を行う。なお、前のフレーム(n-1フレーム)の第6期間T6_FR(n-1)では、アクチュエータ13を駆動し(アクチュエータ:λ1,1(n))、画素PX(λ1,1)に入射する光の像が合焦するように画素アレイ111が光軸方向に移動されている。
フレームデータFR(n)を読み出す期間T_FR(n)は、前述のように、第1期間T1_FR(n)、第2期間T2_FR(n)、第3期間T3_FR(n)、第4期間T4_FR(n)、第5期間T5_FR(n)及び第6期間T6_FR(n)を含む。
第1期間T1_FR(n)においては、アクチュエータ13を駆動しない状態(アクチュエータ:インアクティブ)で、画素PX(λ1,1)の光電変換部PDへの電荷の蓄積を行う。第1期間T1_FR(n)の間に光電変換部PDに蓄積される電荷量Q1,1(n)は、画素アレイ111に合焦し、画素PX(λ1,1)に入射した可視光の光量に基づく。
第1期間T1_FR(n)の経過後、光電変換部PDが保持する電荷はキャパシタC_MEMへと転送される。これにより、画素PX(λ1,1)のキャパシタC_MEMには、その容量値及び電荷量Q1,1(n)に応じた信号MEM1,1(n)が保持される。画素PX(λ1,1)のキャパシタC_MEMは、nフレームの第2期間T2_FR(n)からn+1フレームの第1期間T1_FR(n+1)までの期間にわたって信号MEM1,1(n)を保持する。
続く第2期間T2_FR(n)においては、n-1フレームの第6期間T6_FR(n-1)及びnフレームの第1期間T1_FR(n)と同様にして、画素PX(λ1,2)から画素PX(λa,b-2)の各々における電荷蓄積及び電荷転送を実行する。
続く第3期間T3_FR(n)においては、アクチュエータ13を駆動しない状態(アクチュエータ:インアクティブ)で、画素PX(λa,b-1)の光電変換部PDへの電荷の蓄積を行う。第3期間T3_FR(n)の間に光電変換部PDに蓄積される電荷量Qa,b-1(n)は、画素アレイ111に合焦し、画素PX(λa,b-1)に入射した可視光の光量に基づく。
第3期間T3_FR(n)の経過後、光電変換部PDが保持する電荷はキャパシタC_MEMへと転送される。これにより、画素PX(λa,b-1)のキャパシタC_MEMには、その容量値及び電荷量Qa,b-1(n)に応じた信号MEMa,b-1(n)が保持される。画素PX(λa,b-1)のキャパシタC_MEMは、nフレームの第4期間T4_FR(n)からn+1フレームの第3期間T3_FR(n+1)までの期間にわたって信号MEMa,b-1(n)を保持する。
続く第4期間T4_FR(n)においては、アクチュエータ13を駆動し(アクチュエータ:λa,b(n))、画素PX(λa,b)に入射する光の像が合焦するように画素アレイ111を光軸方向に移動させる。詳細は後述するが、第4期間T4_FR(n)では、光電変換部PDへの電荷の蓄積は行わない。具体的には、第4期間T4_FR(n)の間に光電変換部PDで発生した電荷は、トランジスタT_OFDにより排出される(OFD動作)。
続く第5期間T5_FR(n)においては、アクチュエータ13を駆動しない状態(アクチュエータ:インアクティブ)で、画素PX(λa,b)の光電変換部PDへの電荷の蓄積を行う。第5期間T5_FR(n)の間に光電変換部PDに蓄積される電荷量Qa,b(n)は、画素アレイ111に合焦し、画素PX(λa,b)に入射した赤外光の光量に基づく。
第5期間T5_FR(n)の経過後、光電変換部PDが保持する電荷はキャパシタC_MEMへと転送される。これにより、画素PX(λa,b)のキャパシタC_MEMには、その容量値及び電荷量Qa,b(n)に応じた信号MEMa,b(n)が保持される。キャパシタC_MEMは、nフレームの第6期間T6_FR(n)からn+1フレームの第5期間T5_FR(n+1)までの期間にわたって信号MEMa,b(n)を保持する。
続く第6期間T6_FR(n)においては、アクチュエータ13を駆動し(アクチュエータ:λ1,1(n+1))、画素PX(λ1,1)に入射する可視光の像が合焦するように画素アレイ111を光軸方向に移動させる。また、詳細は後述するが、第6期間T6_FR(n)では、複数の画素PXからの信号の読み出し動作を行単位で順次行う。具体的には、第1行の読み出し動作RO(1)から第X行の読み出し動作RO(X)までの読み出し動作を行単位で順次行う。この読み出し動作は、信号MEM1,1(n)から信号MEMa,b(n)がキャパシタC_MEMに保持されている第6期間T6_FR(n)の間に行われる。
プロセッサ12は、以上のようにして読み出された信号MEM1,1(n)から信号MEMa,b(n)に基づいて、複数の画素PXの各々に対して合焦された光に基づく画像信号を1フレームの間に取得することができる。取得した画像信号は、画像情報として画像情報保持部14に格納される。
図14及び図15は、図13の動作を行う際に垂直走査回路113から画素アレイ111の画素PXに供給される制御信号の波形を示している。図14及び図15には説明の簡略化のため第m行及び第(m+b)行の画素PXに供給される制御信号のみを示しているが、他の行の画素PXに供給される制御信号についても同様である。
図14には、第m行の画素PX(λ1,1)~画素PX(λa,1)の制御信号P_OFD(m),P_GS_λ1,1(m)を示している。また、図14には、第(m+b)行の画素PX(λ1,b)~画素PX(λa,b)の制御信号P_OFD(m+b),P_GS_λa-1,b(m+b),P_GS_λa,b(m+b)を示している。また、図14には、読み出し動作RO(m),RO(m+b)を、制御信号と同様のパルス波形で表現している。読み出し動作RO(m),RO(m+b)をHレベルで示している期間が読み出しを行う期間であり、読み出し動作RO(m),RO(m+b)をLレベルで示している期間が読み出しを行わない期間である。
n-1フレームの第6期間T6_FR(n-1)には、画素PX(λ1,1)に入射する光の像が合焦するように、アクチュエータ13による画素アレイ111の光軸方向の位置調整が行われる。n-1フレームの第6期間T6_FR(n-1)の終期には、垂直走査回路113により、制御信号P_OFD(m)~P_OFD(m+b)がLレベルからHレベルに制御される。これにより、第m行から第(m+b)行の画素PXのトランジスタT_OFDがオンになり、画素PX(λ1,1)~PX(λa,b)の光電変換部PDがリセットされる。
垂直走査回路113により制御信号P_OFD(m)~P_OFD(m+b)がHレベルからLレベルに制御されることにより、画素PX(λ1,1)~PX(λa,b)における光電変換部PDのリセットが解除される。これにより、画素PX(λ1,1)~PX(λa,b)の光電変換部PDにおいて電荷の蓄積が開始される。制御信号P_OFD(m)~P_OFD(m+b)がHレベルからLレベルに遷移するタイミングが、n-1フレームの第6期間T6_FR(n-1)の終了タイミングであり、nフレームの第1期間T1_FR(n)の開始タイミングである。
第1期間T1_FR(n)の終期には、垂直走査回路113により、制御信号P_GS_λ1,1(m)がLレベルからHレベルに制御される。これにより、第m行の画素PX(λ1,1)のトランジスタT_GSがオンになり、第m行の画素PX(λ1,1)の光電変換部PDに蓄積された電荷がキャパシタC_MEMに転送される。
垂直走査回路113により制御信号P_GS_λ1,1(m)がHレベルからLレベルに制御されることにより、光電変換部PDからキャパシタC_MEMへの電荷の転送動作が終了する。制御信号P_GS_λ1,1(m)がHレベルからLレベルに遷移するタイミングが、第1期間T1_FR(n)の終了タイミングであり、第2期間T2_FR(n)の開始タイミングである。
このように、第1期間T1_FR(n)は、第m行の画素PX(λ1,1)の光電変換部PDにおける電荷の蓄積期間(露光期間)である。第1期間T1_FR(n)に、第m行の画素PX(λ1,1)の光電変換部PDには、電荷量Q1,1(n)の電荷が蓄積される。また、電荷量Q1,1(n)の電荷が転送されることにより、キャパシタC_MEMには、画素PX(λ1,1)に合焦された光に基づく画像信号として、電荷量Q1,1(n)に相当する信号MEM1,1(n)が保持される。
続く第2期間T2_FR(n)においては、n-1フレームの第6期間T6_FR(n-1)及びnフレームの第1期間T1_FR(n)と同様にして、画素PX(λ1,2)におけるアクチュエータ13の調整及び電荷蓄積並びに電荷転送を実行する。更に、画素PX(λ1,2)と同様にして、画素PX(λ1,3)から画素PX(λa,b-2)の各々におけるアクチュエータ13の調整及び電荷蓄積並びに電荷転送を順次実行する。第2期間T2_FR(n)の終期には、垂直走査回路113により、制御信号P_OFD(m)~P_OFD(m+b)がLレベルからHレベルに制御される。これにより、第m行から第(m+b)行の画素PXのトランジスタT_OFDがオンになり、画素PX(λ1,1)~PX(λa,b)の光電変換部PDがリセットされる。
垂直走査回路113により制御信号P_OFD(m)~P_OFD(m+b)がHレベルからLレベルに制御されることにより、画素PX(λ1,1)~PX(λa,b)における光電変換部PDのリセットが解除される。これにより、画素PX(λ1,1)~PX(λa,b)の光電変換部PDにおいて電荷の蓄積が開始される。制御信号P_OFD(m)~P_OFD(m+b)がHレベルからLレベルに遷移するタイミングが、第2期間T2_FR(n)の終了タイミングであり、第3期間T3_FR(n)の開始タイミングである。
第3期間T3_FR(n)の終期には、垂直走査回路113により、制御信号P_GS_λa-1,b(m)がLレベルからHレベルに制御される。これにより、第(m+b)行の画素PX(λa-1,b)のトランジスタT_GSがオンになり、第(m+b)行の画素PX(λa-1,b)の光電変換部PDに蓄積された電荷がキャパシタC_MEMに転送される。
垂直走査回路113により制御信号P_GS_λa-1,b(m+b)がHレベルからLレベルに制御されることにより、光電変換部PDからキャパシタC_MEMへの電荷の転送動作が終了する。制御信号P_GS_λa-1,b(m+b)がHレベルからLレベルに遷移するタイミングが、第3期間T3_FR(n)の終了タイミングであり、第4期間T4_FR(n)の開始タイミングである。
このように、第3期間T3_FR(n)は、第(m+b)行の画素PX(λa-1,b)の光電変換部PDにおける電荷の蓄積期間(露光期間)である。第3期間T3_FR(n)に、第(m+b)行の画素PX(λa-1,b)の光電変換部PDには、電荷量Qa-1,b(n)の電荷が蓄積される。また、電荷量Qa-1,b(n)の電荷が転送されることにより、キャパシタC_MEMには、画素PX(λa-1,b)に合焦された光に基づく画像信号として電荷量Qa-1,b(n)に相当する信号MEMa-1,b(n)が保持される。
続く第4期間T4_FR(n)においては、画素PX(λa,b)に入射する光の像が合焦するように、アクチュエータ13による画素アレイ111の光軸方向の位置調整が行われる。第4期間T4_FR(n)の終期には、垂直走査回路113により、制御信号P_OFD(m)~P_OFD(m+b)がLレベルからHレベルに制御される。これにより、第m行から第(m+b)行の画素PXのトランジスタT_OFDがオンになり、画素PX(λ1,1)~PX(λa,b)の光電変換部PDがリセットされる。
垂直走査回路113により制御信号P_OFD(m)~P_OFD(m+b)がHレベルからLレベルに制御されることにより、画素PX(λ1,1)~PX(λa,b)における光電変換部PDのリセットが解除される。これにより、画素PX(λ1,1)~PX(λa,b)の光電変換部PDにおいて電荷の蓄積が開始される。制御信号P_OFD(m)~P_OFD(m+b)がHレベルからLレベルに遷移するタイミングが、第4期間T4_FR(n)の終了タイミングであり、第5期間T5_FR(n)の開始タイミングである。
第5期間T5_FR(n)の終期には、垂直走査回路113により、制御信号P_GS_λa,b(m+b)がLレベルからHレベルに制御される。これにより、第(m+b)行の画素PX(λa,b)のトランジスタT_GSがオンになり、第(m+b)行の画素PX(λa,b)の光電変換部PDに蓄積された電荷がキャパシタC_MEMに転送される。
垂直走査回路113により制御信号P_GS_λa,b(m+b)がHレベルからLレベルに制御されることにより、光電変換部PDからキャパシタC_MEMへの電荷の転送動作が終了する。制御信号P_GS_λa,b(m+b)がHレベルからLレベルに遷移するタイミングが、第5期間T5_FR(n)の終了タイミングであり、第6期間T6_FR(n)の開始タイミングである。
このように、第5期間T5_FR(n)は、第(m+b)行の画素PX(λa,b)の光電変換部PDにおける電荷の蓄積期間(露光期間)である。第5期間T5_FR(n)に、第(m+b)行の画素PX(λa,b)の光電変換部PDには、電荷量Qa,b(n)の電荷が蓄積される。また、電荷量Qa,b(n)の電荷が転送されることにより、キャパシタC_MEMには、画素PX(λa,b)に合焦された光に基づく画像信号として電荷量Qa,b(n)に相当する信号MEMa,b(n)が保持される。
第6期間T6_FR(n)には、第1行から第X行までの読み出し動作、すなわち読み出し動作RO(1)~RO(X)が順に実行される。なお、総ての画素PXについて電荷の蓄積時間が均一化され、また、総ての画素PXにおいて蓄積電荷がキャパシタC_MEMに保持されているため、読み出し動作RO(1)~RO(X)はどのような順序で実行されてもよい。また、図14において、読み出し動作RO(m)は第6期間T6_FR(n)の開始タイミングから開始しているが、第6期間T6_FR(n)の間であれば何れのタイミングで実行されてもよい。
図15は、図14の読み出し動作RO(m),RO(m+b)における具体的な動作を示すタイミング図である。図15には、第m行の画素PXの制御信号P_SEL(m),P_RES(m),P_TX(m)と、第(m+b)行の画素PXの制御信号P_SEL(m+b),P_RES(m+b),P_TX(m+b)と、を示している。
また、図15には、信号読み出し部114におけるサンプリング動作を、制御信号と同様のパルス波形で表現している。「信号読み出し部のサンプリング」をHレベルで示している期間がサンプリングを行う期間であり、「信号読み出し部のサンプリング」をLレベルで示している期間がサンプリングを行わない期間である。前述の通り、信号読み出し部114は行ごとに画素PXから信号を読み出す。そのため、ある行の画素PXから信号を読み出す場合には、「信号読み出し部のサンプリング」のHレベルはその行の画素PXからの信号をサンプリングすることを示す。
本実施形態においては、第1行から第X行までの読み出し動作RO(1)~RO(X)を順に実行する。第(m-1)行から第(m+b+1)行に着目すると、図6に示すように、読み出し動作RO(m-1),RO(m),…,RO(m+b),RO(m+b+1)がこの順に実行される。図15において、読み出し動作RO(m)を行う期間が期間T_RO(m)であり、読み出し動作RO(m+b)を行う期間が期間T_RO(m+b)である。期間T_RO(m)は、期間T0_RO(m)と、期間T1_RO(m)と、期間T2_RO(m)とを含む。期間T_RO(m+b)は、期間T0_RO(m+b)と、期間T1_RO(m+b)と、期間T2_RO(m+b)とを含む。
まず、期間T_RO(m)における動作について説明する。
期間T_RO(m)の開始のタイミングにおいて、垂直走査回路113は、制御信号P_SEL(m)をLレベルからHレベルに制御する。これにより、第m行の画素PXのトランジスタT_SELがオンになり、第m行の画素PXから信号読み出し部114への信号の読み出しが可能な状態となる。垂直走査回路113は、期間T_RO(m)の間、制御信号P_SEL(m)をHレベルのまま維持する。
次いで、垂直走査回路113は、期間T0_RO(m)の間に、一時的に制御信号P_RES(m)をHレベルに制御する。これにより、第m行の画素PXのトランジスタT_RESがオンになり、FDノード(キャパシタC_FD)がリセットされる。そして、FDノードのリセット電位に応じた信号が、トランジスタT_SELを介して対応する列の列信号線LCに出力される。
次いで、制御信号P_RES(m)がLレベルに遷移した後の期間T1_RO(m)において、信号読み出し部114は、各列の列信号線LCに出力された信号をサンプリングする。このようにして画素PX(λ1,1)~PX(λa,1)から得られる信号が、信号MEM1,1(m)_N~MEMa,1(m)_Nである。
次いで、垂直走査回路113は、一時的に制御信号P_TX(m)をHレベルに制御する。これにより、第m行の画素PXのトランジスタT_TXがオンになり、キャパシタC_MEMが保持する電荷がキャパシタC_FDに転送される。これにより、FDノードは、キャパシタC_MEMから転送された電荷の量に応じた電位となる。そして、FDノードの電位に応じた信号が、トランジスタT_SELを介して対応する列の列信号線LCに出力される。
次いで、制御信号P_TX(m)がLレベルに遷移した後の期間T2_RO(m)において、信号読み出し部114は、各列の列信号線LCに出力された信号をサンプリングする。このようにして画素PX(λ1,1)~PX(λa,1)から得られる信号が、信号MEM1,1(m)_S~MEMa,1(m)_Sである。
信号読み出し部114では、このようにして取得された信号MEM1,1(m)_N~MEMa,1(m)_N及び信号MEM1,1(m)_S~MEMa,1(m)_Sに対し、CDS処理が施される。すなわち、信号MEM1,1(m)_S~MEMa,1(m)_Sの各々から、対応する信号MEM1,1(m)_N~MEMa,1(m)_Nを差し引く。これにより、信号MEM1,1(m)_S~MEMa,1(m)_Sに重畳する回路構成や特性ばらつき等に起因するオフセット成分を除去する。
続く期間T_RO(m+1)から期間T_RO(m+b-1)の各々における動作は、期間T_RO(m)における動作と同様である。
次に、期間T_RO(m+b)における動作について説明する。
期間T_RO(m+b)の開始のタイミングにおいて、垂直走査回路113は、制御信号P_SEL(m+b)をLレベルからHレベルに制御する。これにより、第(m+b)行の画素PXのトランジスタT_SELがオンになり、第(m+b)行の画素PXから信号読み出し部114への信号の読み出しが可能な状態となる。垂直走査回路113は、期間T_RO(m+b)の間、制御信号P_SEL(m+b)をHレベルのまま維持する。
次いで、垂直走査回路113は、期間T0_RO(m+b)の間に、一時的に制御信号P_RES(m+b)をHレベルに制御する。これにより、第(m+b)行の画素PXのトランジスタT_RESがオンになり、FDノード(キャパシタC_FD)がリセットされる。そして、FDノードのリセット電位に応じた信号が、トランジスタT_SELを介して対応する列の列信号線LCに出力される。
次いで、制御信号P_RES(m+b)がLレベルに遷移した後の期間T1_RO(m+b)において、信号読み出し部114は、各列の列信号線LCに出力された信号をサンプリングする。このようにして画素PX(λ1,b)~PX(λa,b)から得られる信号が、信号MEM1,b(m+b)_N~MEMa,b(m+b)_Nである。
次いで、垂直走査回路113は、一時的に制御信号P_TX(m+b)をHレベルに制御する。これにより、第(m+b)行の画素PXのトランジスタT_TXがオンになり、キャパシタC_MEMが保持する電荷がキャパシタC_FDに転送される。これにより、FDノードは、キャパシタC_MEMから転送された電荷の量に応じた電位となる。そして、FDノードの電位に応じた信号が、トランジスタT_SELを介して対応する列の列信号線LCに出力される。
次いで、制御信号P_TX(m+b)がLレベルに遷移した後の期間T2_RO(m+b)において、信号読み出し部114は、各列の列信号線LCに出力された信号をサンプリングする。このようにして画素PX(λ1,b)~PX(λa,b)から得られる信号が、信号MEM1,b(m+b)_S~MEMa,b(m+b)_Sである。
信号読み出し部114では、このようにして取得された信号MEM1,b(m+b)_N~MEMa,b(m+b)_N及び信号MEM1,b(m+b)_S~MEMa,b(m+b)_Sに対し、CDS処理が施される。すなわち、信号MEM1,b(m+b)_S~MEMa,b(m+b)_Sの各々から、対応する信号MEM1,b(m+b)_N~MEMa,b(m+b)_Nを差し引く。これにより、信号MEM1,b(m+b)_S~MEMa,b(m+b)_Sに重畳する回路構成や特性ばらつき等に起因するオフセット成分を除去する。
本実施形態では、レンズ16に軸上色収差補正がなされているか否かに関係なく、合焦した複数の波長帯域の光による画像信号を1フレーム内(総ての画素PXの光電変換部PDにおける電荷の蓄積開始から信号の読み出し完了まで)に取得することができる。したがって、軸上色収差補正をされたレンズを用いる場合よりも低コストで、マルチスペクトルの高画質画像を高速に取得可能な撮像装置を構成することが可能である。例えば単位画素ブロック1111が紫外光、赤外光及び7種類の可視光の波長帯域に感度を有する9種類の画素で構成される場合にも、軸上色収差補正がされていない単レンズを用い、各波長帯域で合焦された光に基づく画像を1フレームで取得することができる。これにより、低コストでマルチスペクトル撮像システムを構築することが可能になる。
このように、本実施形態によれば、異なる波長帯域に感度を有する複数種類の画素を有する撮像装置において、部品コストの増加を抑制しつつ当該複数種類の画素に対して合焦された高画質画像を高速に取得することが可能となる。
[第4実施形態]
本発明の第4実施形態による撮像装置について、図16及び図17を用いて説明する。第1乃至第3実施形態による撮像装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。図16は、本実施形態による撮像装置の構成例を示すブロック図である。図17は、本実施形態による撮像装置における軸上色収差情報の取得方法を示すフローチャートである。
本実施形態による撮像装置は、プロセッサ12の内部構成が異なるほかは、第1実施形態による撮像装置と同様である。すなわち、本実施形態による撮像装置のプロセッサ12は、図16に示すように、コントラスト算出部121と、コントラスト判定部122と、アクチュエータ移動量・方向決定部123と、測定画素選択部124と、を含んで構成され得る。本実施形態による撮像装置は、プロセッサ12の内部構成が異なることに応じて、第1実施形態において説明した機能に加え、後述する機能を更に備え得る。
コントラスト算出部121は、撮像部11から静止画の画像情報を取得し、感度を有する波長帯域が異なる画素PX(λ1),PX(λ2),PX(λ3),PX(IR)の各々におけるコントラストCを算出する機能を備える。
コントラスト判定部122は、コントラスト算出部121から取得したコントラストCが所定の条件を満たしているか否かを判定する機能を備える。コントラストCの判定条件は適宜設定されうるが、本実施形態ではコントラストCが最大値であるか否かを判定条件であるものとする。判定の結果、コントラストCが所定条件を満たしていない場合、コントラスト判定部122は、コントラストCに関する情報をアクチュエータ移動量・方向決定部123に出力する。一方、コントラストCが所定条件を満たしている場合、コントラスト判定部122は、画像を取得したときのアクチュエータ13の位置情報(移動量・方向)、つまり画素PXに合焦する条件に関する情報を測定画素選択部124に出力する。
アクチュエータ移動量・方向決定部123は、コントラスト算出部121からコントラスト判定部122を介して取得したコントラストCの値に基づき、コントラストCを最大値にするためのアクチュエータ13の移動量及び方向を推定する機能を備える。また、アクチュエータ移動量・方向決定部123は、推定したアクチュエータ13の移動量及び方向に関する情報を、コントローラ112を介してアクチュエータ13に送信する機能を備える。なお、アクチュエータ13の移動量及び方向の推定方法は、特に限定されるものではない。一般的なコントラストオートフォーカス法のように、フォーカスの方向と移動量を変えながらコントラストCの取得を行い、コントラストCが最大値になるフォーカスの方向と移動量からアクチュエータ13の移動量及び方向を推定してもよい。
測定画素選択部124は、画素PXのコントラストCが最大値のときのアクチュエータ13の移動量・方向(位置)に関する情報をコントラスト判定部122から取得する機能を備える。また、測定画素選択部124は、レンズ16からそのレンズの種類や焦点距離に関する情報を取得し、軸上色収差情報保持部15に送信する機能を備える。また、測定画素選択部124は、感度を有する波長帯域が異なる画素PX(λ1),PX(λ2),PX(λ3),PX(IR)の総てが合焦したか否かを判定し、総ての画素PXが合焦していない場合は判定結果をコントローラ112に送信する機能を備える。
コントローラ112は、アクチュエータ移動量・方向決定部123及び測定画素選択部124から取得した情報をもとにアクチュエータ13、垂直走査回路113及び信号読み出し部114を制御し、静止画や動画の撮像を実施する。
軸上色収差情報保持部15は、レンズの種類及び焦点距離に関する情報と画素PXのコントラストCが最大値になるときのアクチュエータ13の移動量・方向(位置)に関する情報とが紐づけられた情報(軸上色収差情報)を保持する。
以上の構成により、本実施形態の撮像装置では、本撮影の前にレンズの種類や焦点距離毎に軸上色収差情報を取得し、軸上色収差情報保持部15に保存しておくことが可能である。例えば、解像度チャートなどのコントラストが測定できる被写体を、任意の移動量でアクチュエータ13を駆動しながら撮影し、コントラストが最大になるときのアクチュエータ13の移動量を軸上色収差情報として軸上色収差情報保持部15に保存する。この操作を、感度を有する波長帯域が異なる画素PX(λ1),PX(λ2),PX(λ3),PX(IR)の各々に対して繰り返し行うことで、任意の種類、焦点距離のレンズの軸上色収差情報を取得することができる。
なお、画素アレイ111を構成する複数の画素PXの少なくとも一部を、複数の光電変換部を有する瞳分割画素で構成し、画像データから得た位相差情報を用いて当該画素PXに合焦させるためのアクチュエータ13の移動量・方向に関する情報を取得してもよい。この場合、コントラスト算出部121及びコントラスト判定部122は不要であり、コントローラ112からプロセッサ12へと送られる位相差情報に基づき、測定画素選択部124により総ての画素PXが合焦しているか否かを判定する。判定の結果、総ての画素PXが合焦していなければ、合焦していない画素PXに対するアクチュエータ13の移動量・方向をアクチュエータ移動量・方向決定部123により決定する。
次に、本実施形態による撮像装置における軸上色収差情報の取得方法について、図17を用いてより具体的に説明する。図17は、本実施形態による撮像装置における軸上色収差情報の取得方法を示すフローチャートである。
まず、プロセッサ12は、軸上色収差情報を取得するための予備撮影として、静止画画像を撮影するようにコントローラ112に命令する。コントローラ112は、プロセッサ12からの命令に応じて垂直走査回路113及び信号読み出し部114を制御し、レンズ16を介して画素アレイ111に入射する光学像の静止画画像を取得する(ステップS100)。撮像された静止画画像は、コントローラ112からプロセッサ12のコントラスト算出部121へと送られる。
次いで、コントラスト算出部121は、取得した静止画画像から画素PX(λ1),PX(λ2),PX(λ3),PX(IR)のデータをそれぞれ抜き出し、各々が1種類の画素PXのデータで構成された4種類の画像データに再構成する。このように再構成された画像データを、画像データIM(λ1),IM(λ2),IM(λ3),IM(IR)と呼ぶものとする。
次いで、コントラスト算出部121は、画像データIM(λ1),IM(λ2),IM(λ3),IM(IR)の各々において、任意の演算領域におけるコントラストを算出する(ステップS110)。コントラストの算出方法は、特に限定されるものではないが、例えば以下の演算式に基づいて算出することができる。ここで、Cは画像データ中の任意の演算領域のコントラストであり、Omaxは画像データ中の任意の演算領域における出力レベルの最大値であり、Ominは画像データ中の任意の演算領域における出力レベル最小値である。
C=(Omax-Omin)/(Omax+Omin)
次いで、コントラスト算出部121は、ステップS110で算出した画像データIM(λ1),IM(λ2),IM(λ3),IM(IR)の各々におけるコントラストCが所定の条件を満たしているか否かを判定する(ステップS120)。所定の条件とは、コントラストCの値が各画素PXに合焦しているときの値であることであり、具体的には、コントラストCの値がアクチュエータ13の可動範囲内で得られる最大値であることである。
ステップS120における判定の結果、少なくとも1つのコントラストCが所定の条件を満たしていない場合(図17の「NO」)には、ステップS130ヘと移行する。ステップS130において、アクチュエータ移動量・方向決定部123は、コントラストCが所定の条件を満たしていない画素PXについて、コントラストCが最大値となるアクチュエータ13の移動量及び方向を推定する。コントローラ112は、アクチュエータ移動量・方向決定部123の推定結果に基づいてアクチュエータ13を駆動する。その後、ステップS100へと戻り、静止画画像の撮影から繰り返す。
一方、画像データIM(λ1),IM(λ2),IM(λ3),IM(IR)の総てのコントラストCが所定の条件を満たしている場合(図17の「YES」)には、ステップS140ヘと移行する。ステップS140において、測定画素選択部124は、コントラスト判定部122から画素PXのコントラストCが最大値になるアクチュエータの移動量・方向(位置)情報をコントラスト判定部122から取得する。また、測定画素選択部124は、レンズの種類及び焦点距離に関する情報をレンズ16から取得する。測定画素選択部124は、レンズ16及びコントラスト判定部122から取得したこれら情報を互いに紐付け、軸上色収差情報として軸上色収差情報保持部15に保存する。
画素PX(λ1),PX(λ2),PX(λ3),PX(IR)の各々に対応する軸上色収差情報が軸上色収差情報保持部15に保存されることにより、レンズ16の軸上色収差情報の取得のための一連のフローは終了する。
本実施形態において説明した軸上色収差情報の取得方法は、レンズ16の軸上色収差情報が事前にわかっていない場合に特に有用である。例えば、レンズ開発技術の進歩により、可視光領域の範囲内の軸上色収差が限りなく0に近いセンサが開発されたとする。その場合、可視光と赤外光との間の軸上色収差が従来のレンズとは異なってしまい、第1実施形態のように事前に軸上色収差情報が保存されている撮像装置では、各画素PXにおける合焦の精度が低下してしまう。この点、本実施形態による軸上色収差情報の取得方法を適用すれば、本撮影の前の予備撮影により、レンズ16に好適な軸上色収差情報を構築することができる。
したがって、本実施形態によれば、既存のレンズだけでなく将来に開発されるレンズにも対応して各波長帯域において合焦が可能な撮像装置を実現することが可能である。
[第5実施形態]
本発明の第5実施形態による撮像装置について、図18及び図19を用いて説明する。第1乃至第4実施形態による撮像装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。図18は、本実施形態による撮像装置の構成例を示すブロック図である。図19は、本実施形態による撮像装置におけるフォーカス制御方法を示すフローチャートである。
本実施形態による撮像装置は、プロセッサ12の内部構成が異なるほかは、第1実施形態による撮像装置と同様である。すなわち、本実施形態による撮像装置のプロセッサ12は、図17に示すように、軸上色収差取得部125と、合焦判定部126と、アクチュエータ・レンズ制御切替部127と、を含んで構成され得る。本実施形態による撮像装置は、プロセッサ12の内部構成が異なることに応じて、第1実施形態において説明した機能に加え、後述する機能を更に備え得る。
軸上色収差取得部125は、事前に保存されたレンズ16の軸上色収差情報を軸上色収差情報保持部15から取得し、合焦判定部126へと出力する機能を備える。
合焦判定部126は、軸上色収差取得部125から取得した軸上色収差情報が、画素PX(λ1),PX(λ2),PX(λ3),PX(IR)の各々に合焦させるための所定条件を満たしているか否かを判定する機能を備える。また、合焦判定部126は、その判定結果をアクチュエータ・レンズ制御切替部127に出力する機能を備える。
アクチュエータ・レンズ制御切替部127は、合焦判定部126から取得した判定結果に応じて、フォーカス制御の方法として、アクチュエータ13による画素アレイ111の移動及びレンズ16によるオートフォーカス制御のいずれかを選択する機能を備える。
コントローラ112は、アクチュエータ・レンズ制御切替部127による選択結果に応じて、アクチュエータ13又はレンズ16にフォーカス制御を命令する機能を備える。
次に、本実施形態による撮像装置におけるフォーカス制御方法について、図19を用いてより具体的に説明する。図19は、本実施形態による撮像装置におけるフォーカス制御方法を示すフローチャートである。
まず、軸上色収差取得部125は、事前に保存されたレンズ16の軸上色収差情報を軸上色収差情報保持部15から取得し、合焦判定部126へと出力する(ステップS200)。
次いで、合焦判定部126は、軸上色収差取得部125から取得した軸上色収差情報が、画素PX(λ1),PX(λ2),PX(λ3),PX(IR)の各々に合焦させるための所定条件を満たしているか否かを判定する(ステップS210)。判定の基準となる所定条件としては、例えば、アクチュエータ13による合焦に要する時間がレンズ16による合焦に要する時間よりも短いこと、軸上色収差がアクチュエータ13の移動可能領域の最大量以下であること、などが挙げられる。これらは、焦点距離が長いレンズ16を用いて遠方撮影を行う場合に、アクチュエータ13による合焦に要する時間がレンズ16による合焦に要する時間よりも長くなり、或いは、そもそもアクチュエータ13だけでは合焦しきれない可能性を考慮したものである。ステップS210は、アクチュエータ13の制御のみによって画素PXに対して合焦できるか否かを判定するステップである。
ステップS210における判定の結果、軸上色収差取得部125から取得した軸上色収差情報が所定条件を満たしていない場合(図19の「NO」)には、ステップS220ヘと移行する。例えば、上述した2つの例のうちのいずれか1つでも成立しない場合に、軸上色収差情報が所定条件を満たしていないと判定することができる。或いは、上述した2つの例が同時に成立しない場合に、軸上色収差情報が所定条件を満たしていないと判定することができる。ステップS220では、アクチュエータ13による合焦の制御からレンズ16による合焦の制御に切り替えることを決定し、その結果をコントローラ112に出力する。この場合、フォーカス制御にはレンズ16によるオートフォーカス機能が用いられる。
一方、軸上色収差取得部125から取得した軸上色収差情報が所定条件を満たしている場合(図19の「YES」)には、フォーカス制御方法の選択のための一連のフローは終了する。この場合、第1実施形態において説明したように、フォーカス制御にはアクチュエータ13のみが用いられる。
なお、フォーカス制御の切り替えは、画素PX(λ1),PX(λ2),PX(λ3),PX(IR)毎に行うことができる。或いは、いずれか1種類の画素PXに対して所定条件を満たしていない場合に、総ての画素PXに対してレンズフォーカス制御に切り替えるようにフォーカス制御を行ってもよい。
本実施形態において説明したフォーカス制御方法は、レンズ16の軸上色収差情報が事前にわかっていない場合に特に有用である。例えば、レンズ開発技術の進歩により、可視光領域の範囲内の軸上色収差が限りなく0に近いセンサが開発されたとする。その場合、可視光と赤外光との間の軸上色収差が従来のレンズとは異なってしまい、第1実施形態のように事前に軸上色収差情報が保存されている撮像装置では、各画素PXにおける合焦の精度が低下してしまう。この点、本実施形態によるフォーカス制御方法を適用すれば、レンズ16に応じた最適なフォーカス制御を行うことが可能となる。
したがって、本実施形態によれば、既存のレンズだけでなく将来に開発されるレンズにも対応して各波長帯域において合焦が可能な撮像装置を実現することが可能である。
[第6実施形態]
本発明の第6実施形態による撮像システムについて、図20を用いて説明する。図20は、本実施形態による撮像システムの概略構成を示すブロック図である。
上記第1乃至第5実施形態で述べた撮像装置1は、種々の撮像システムに適用可能である。適用可能な撮像システムの例としては、デジタルスチルカメラ、デジタルカムコーダ、監視カメラ、複写機、ファックス、携帯電話、車載カメラ、観測衛星などが挙げられる。また、レンズなどの光学系と撮像装置とを備えるカメラモジュールも、撮像システムに含まれる。図20には、これらのうちの一例として、デジタルスチルカメラのブロック図を例示している。
図20に例示した撮像システム200は、撮像装置201、被写体の光学像を撮像装置201に結像させるレンズ202、レンズ202を通過する光量を可変にするための絞り204、レンズ202の保護のためのバリア206を有する。レンズ202及び絞り204は、撮像装置201に光を集光する光学系である。撮像装置201は、第1乃至第5実施形態のいずれかで説明した撮像装置1の構成要素のうちの少なくとも撮像部11とアクチュエータ13と、を含み、レンズ202により結像された光学像を画像データに変換する。レンズ202は、第1乃至第5実施形態のいずれかで説明した撮像装置1におけるレンズ16であり得る。
撮像システム200は、また、撮像装置201より出力される出力信号の処理を行う信号処理部208を有する。信号処理部208は、撮像装置201が出力するデジタル信号から画像データの生成を行う。また、信号処理部208は必要に応じて各種の補正、圧縮を行って画像データを出力する動作を行う。撮像装置201は、信号処理部208で処理されるデジタル信号を生成するAD変換部を備えうる。AD変換部は、撮像装置201の光電変換部が形成された半導体層(半導体基板)に形成されていてもよいし、撮像装置201の光電変換部が形成された半導体層とは別の半導体基板に形成されていてもよい。また、信号処理部208が撮像装置201と同一の半導体基板に形成されていてもよい。
撮像システム200は、更に、画像データを一時的に記憶するためのメモリ部210、外部コンピュータ等と通信するための外部インターフェース部(外部I/F部)212を有する。第1乃至第5実施形態において説明した画像情報保持部14及び軸上色収差情報保持部15は、メモリ部210に構成してもよい。更に撮像システム200は、撮像データの記録又は読み出しを行うための半導体メモリ等の記録媒体214、記録媒体214に記録又は読み出しを行うための記録媒体制御インターフェース部(記録媒体制御I/F部)216を有する。なお、記録媒体214は、撮像システム200に内蔵されていてもよく、着脱可能であってもよい。
更に撮像システム200は、各種演算とデジタルスチルカメラ全体を制御する全体制御・演算部218、撮像装置201と信号処理部208に各種タイミング信号を出力するタイミング発生部220を有する。ここで、タイミング信号などは外部から入力されてもよく、撮像システム200は少なくとも撮像装置201と、撮像装置201から出力された出力信号を処理する信号処理部208とを有すればよい。信号処理部208、全体制御・演算部218及びタイミング発生部220のうちの少なくとも一部は、第1乃至第5実施形態において説明したプロセッサ12であり得る。
撮像装置201は、撮像信号を信号処理部208に出力する。信号処理部208は、撮像装置201から出力される撮像信号に対して所定の信号処理を実施し、画像データを出力する。信号処理部208は、撮像信号を用いて、画像を生成する。
このように、本実施形態によれば、第1乃至第5実施形態による撮像装置1を適用した撮像システムを実現することができる。
[第7実施形態]
本発明の第7実施形態による撮像システム及び移動体について、図21を用いて説明する。図21は、本実施形態による撮像システム及び移動体の構成を示す図である。
図21(a)は、車載カメラに関する撮像システムの一例を示したものである。撮像システム300は、撮像装置310を有する。撮像装置310は、上記第1乃至第5実施形態のいずれかに記載の撮像装置1である。撮像システム300は、撮像装置310により取得された複数の画像データに対し、画像処理を行う画像処理部312と、撮像システム300により取得された複数の画像データから視差(視差画像の位相差)の算出を行う視差取得部314を有する。また、撮像システム300は、算出された視差に基づいて対象物までの距離を算出する距離取得部316と、算出された距離に基づいて衝突可能性があるか否かを判定する衝突判定部318と、を有する。ここで、視差取得部314や距離取得部316は、対象物までの距離情報を取得する距離情報取得手段の一例である。すなわち、距離情報とは、視差、デフォーカス量、対象物までの距離等に関する情報である。衝突判定部318はこれらの距離情報のいずれかを用いて、衝突可能性を判定してもよい。距離情報取得手段は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよい。また、FPGA(Field Programmable Gate Array)やASIC(Application Specific Integrated circuit)等によって実現されてもよいし、これらの組合せによって実現されてもよい。
撮像システム300は車両情報取得装置320と接続されており、車速、ヨーレート、舵角などの車両情報を取得することができる。また、撮像システム300は、衝突判定部318での判定結果に基づいて、車両に対して制動力を発生させる制御信号を出力する制御装置である制御ECU330が接続されている。また、撮像システム300は、衝突判定部318での判定結果に基づいて、ドライバーへ警報を発する警報装置340とも接続されている。例えば、衝突判定部318の判定結果として衝突可能性が高い場合、制御ECU330はブレーキをかける、アクセルを戻す、エンジン出力を抑制するなどして衝突を回避、被害を軽減する車両制御を行う。警報装置340は音等の警報を鳴らす、カーナビゲーションシステムなどの画面に警報情報を表示する、シートベルトやステアリングに振動を与えるなどしてユーザに警告を行う。
本実施形態では、車両の周囲、例えば前方又は後方を撮像システム300で撮像する。図21(b)に、車両前方(撮像範囲350)を撮像する場合の撮像システムを示した。車両情報取得装置320が、撮像システム300ないしは撮像装置310に指示を送る。このような構成により、測距の精度をより向上させることができる。
上記では、他の車両と衝突しないように制御する例を説明したが、他の車両に追従して自動運転する制御や、車線からはみ出さないように自動運転する制御などにも適用可能である。更に、撮像システムは、自車両等の車両に限らず、例えば、船舶、航空機あるいは産業用ロボットなどの移動体(移動装置)に適用することができる。加えて、移動体に限らず、高度道路交通システム(ITS)等、広く物体認識を利用する機器に適用することができる。
[変形実施形態]
本発明は、上記実施形態に限らず種々の変形が可能である。
例えば、いずれかの実施形態の一部の構成を他の実施形態に追加した例や、他の実施形態の一部の構成と置換した例も、本発明の実施形態である。
また、上記第1実施形態では、RGB配列のカラーフィルタを示したが、シアン色のカラーフィルタを備えたC画素と、マゼンダ色のカラーフィルタを備えたM画素と、黄色のカラーフィルタを備えたY画素と、を含むCMY配列のカラーフィルタであってもよい。また、RGBやCMY等の色画素のほかに、入射光を色分離せず直接検出する画素(ホワイト画素)を更に含んでもよい。
また、上記第4実施形態では、第1実施形態による撮像装置における軸上色収差情報の取得方法を示したが、第2及び第3実施形態による撮像装置においても同様の軸上色収差情報の取得方法を適用可能である。
また、上記第5実施形態では、第1実施形態による撮像装置におけるフォーカス制御方法を示したが、第2及び第3実施形態による撮像装置においても同様のフォーカス制御方法を適用可能である。
また、上記第1乃至第5実施形態では、画像の取得を目的とした装置、すなわち撮像装置を例示したが、本発明の適用例は必ずしも撮像装置に限定されるものではない。例えば、上記第7実施形態で説明したような測距を主たる目的とする装置に適用する場合にあっては、必ずしも画像を出力する必要はない。このような場合、当該装置は、光情報を所定の電気信号に変換する光電変換装置と言うことができる。撮像装置は、光電変換装置の1つである。
また、上記第6及び第7実施形態に示した撮像システムは、本発明の光電変換装置を適用しうる撮像システム例を示したものであり、本発明の光電変換装置を適用可能な撮像システムは図20及び図21に示した構成に限定されるものではない。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
なお、上記実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。