以下、本開示の実施の形態について、図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
1.実施の形態
2.撮像装置の使用例
3.移動体への応用例
<1.実施の形態>
[構成例]
図1は、一実施の形態に係る撮像装置(撮像装置1)の一構成例を表すものである。撮像装置1は、画素アレイ10と、走査部21と、信号生成部22,23と、読出部40(読出部40S,40N)と、制御部50と、信号処理部60とを備えている。撮像装置1には、後述するように3つの電源電圧VDD(電源電圧VDDH,VDDM,VDDL)が供給され、撮像装置1は、これらの電源電圧VDDに基づいて動作するようになっている。
画素アレイ10は、複数の画素Pがマトリックス状に配置されたものである。複数の画素Pは、複数の撮像画素P1、複数の遮光画素P2、複数のダミー画素P3、および複数のダミー画素P4を含んでいる。撮像画素P1は、フォトダイオードを有し、受光量に応じた画素電圧Vpixを生成するものである。遮光画素P2は、遮光された画素であり、後述するように、フォトダイオードの暗電流を検出するためのものである。ダミー画素P3,P4は、フォトダイオードを有しない画素である。画素アレイ10には、通常画素領域R1、遮光画素領域R21,R22、およびダミー画素領域R3,R4が設けられている。複数の撮像画素P1は通常画素領域R1に配置され、複数の遮光画素P2は遮光画素領域R21,R22に配置され、複数のダミー画素P3はダミー画素領域R3に配置され、複数のダミー画素P4は、ダミー画素領域R4に配置されている。この例では、画素アレイ10において、垂直方向(図1における縦方向)の上から下に向かって、ダミー画素領域R4、ダミー画素領域R3、遮光画素領域R21、遮光画素領域R22、通常画素領域R1がこの順に配置されている。
画素アレイ10は、垂直方向(図1における縦方向)に延伸する複数の信号線SGL(この例では4096本の信号線SGL(0)~SGL(4095))を有している。この複数の信号線SGLは、通常画素領域R1、遮光画素領域R21,R22、およびダミー画素領域R3,R4を貫くように配置されている。この例では、水平方向(図1における横方向)において、1列分の画素Pと2本の信号線SGLとが交互に配置されている。偶数番目の信号線SGL(SGL(0),SGL(2),…)は、読出部40Sに接続され、奇数番目の信号線SGL(SGL(1),SGL(3),…)は、読出部40Nに接続されている。
以下に、通常画素領域R1、遮光画素領域R21,R22、およびダミー画素領域R3,R4について説明する。
図2は、通常画素領域R1の一構成例を表すものである。画素アレイ10は、通常画素領域R1において、複数の制御線TGLLと、複数の制御線SELLと、複数の制御線RSTLとを有している。制御線TGLLは、水平方向(図2における横方向)に延伸するものであり、制御線TGLLには、走査部21により制御信号STGが印加される。制御線SELLは、水平方向に延伸するものであり、制御線SELLには、走査部21により制御信号SSELが印加される。制御線RSTLは、水平方向に延伸するものであり、制御線RSTLには、走査部21により制御信号SRSTが印加される。
複数の撮像画素P1は、複数の撮像画素P1Aと、複数の撮像画素P1Bとを含んでいる。撮像画素P1Aおよび撮像画素P1Bは、互いに同じ回路構成を有するものである。撮像画素P1A,P1Bは、垂直方向(図2における縦方向)において交互に配置されている。
撮像画素P1(撮像画素P1A,P1B)は、フォトダイオードPDと、トランジスタTG,RST,AMP,SELとを有している。トランジスタTG,RST,AMP,SELは、この例ではN型のMOS(Metal Oxide Semiconductor)トランジスタである。
フォトダイオードPDは、受光量に応じた量の電荷を生成して内部に蓄積する光電変換素子である。フォトダイオードPDのアノードは接地され、カソードはトランジスタTGのソースに接続されている。
トランジスタTGのゲートは制御線TGLLに接続され、ソースはフォトダイオードPDのカソードに接続され、ドレインはフローティングディフュージョンFDに接続されている。撮像画素P1AのトランジスタTGのゲートと、その撮像画素P1Aの下の撮像画素P1BのトランジスタTGのゲートは、同じ制御線TGLLに接続されている。
フローティングディフュージョンFDは、フォトダイオードPDから供給された電荷を蓄積するものであり、例えば、半導体基板の表面に形成された拡散層を用いて構成される。
この構成により、撮像画素P1では、制御信号STGに基づいてトランジスタTGがオン状態になり、撮像画素P1のフォトダイオードPDで発生した電荷がフローティングディフュージョンFDに転送される(電荷転送動作)ようになっている。
トランジスタRSTのゲートは制御線RSTLに接続され、ドレインには電源電圧VDDHが供給され、ソースはフローティングディフュージョンFDに接続されている。撮像画素P1AのトランジスタRSTのゲートと、その撮像画素P1Aの下の撮像画素P1BのトランジスタRSTのゲートは、同じ制御線RSTLに接続されている。
この構成により、撮像画素P1では、フォトダイオードPDからフローティングディフュージョンFDへの電荷の転送に先立ち、制御信号SRSTに基づいて、トランジスタRSTがオン状態になり、フローティングディフュージョンFDに電源電圧VDDHが供給される。これにより、撮像画素P1では、フローティングディフュージョンFDの電圧がリセットされる(リセット動作)ようになっている。
トランジスタAMPのゲートはフローティングディフュージョンFDに接続され、ドレインには電源電圧VDDHが供給され、ソースはトランジスタSELのドレインに接続されている。
トランジスタSELのゲートは制御線SELLに接続され、ドレインはトランジスタAMPのソースに接続され、ソースは信号線SGLに接続されている。撮像画素P1AのトランジスタSELのソースは、偶数番目の信号線SGL(例えば信号線SGL(0))に接続され、撮像画素P1BのトランジスタSELのソースは、奇数番目の信号線SGL(例えば信号線SGL(1))に接続されている。
この構成により、撮像画素P1(撮像画素P1A,P1B)では、トランジスタSELがオン状態になることにより、トランジスタAMPが、読出部40の電流源44(後述)に接続される。これにより、トランジスタAMPは、いわゆるソースフォロワとして動作し、フローティングディフュージョンFDの電圧に応じた電圧を、信号SIGとして、トランジスタSELを介して信号線SGLに出力する。具体的には、トランジスタAMPは、フローティングディフュージョンFDの電圧がリセットされた後のP相(Pre-charge相)期間TPにおいて、その時のフローティングディフュージョンFDの電圧に対応するリセット電圧Vresetを信号SIGとして出力する。また、トランジスタAMPは、フォトダイオードPDからフローティングディフュージョンFDへ電荷が転送された後のD相(Data相)期間TDにおいて、その時のフローティングディフュージョンFDの電圧に対応する、受光量に応じた画素電圧Vpixを信号SIGとして出力するようになっている。
次に、遮光画素領域R21,R22について説明する。図1に示したように、遮光画素領域R21には、2行分の遮光画素P2が配置されており、遮光画素領域R22には、2行分の遮光画素P2が配置されている。遮光画素領域R22の構成は、遮光画素領域R21の構成と同様であるので、以下に、遮光画素領域R21を例に挙げて説明する。
図3は、遮光画素領域R21の一構成例を表すものである。なお、この図3では、画素アレイ10の遮光画素領域R21に加え、走査部21をも描いている。画素アレイ10は、遮光画素領域R21において、制御線TGLLと、制御線SELLと、制御線RSTLとを有している。制御線TGLLは、水平方向(図3における横方向)に延伸するものであり、制御線TGLLには、走査部21により制御信号STGが印加される。制御線SELLは、水平方向に延伸するものであり、制御線SELLには、走査部21により制御信号SSELが印加される。制御線RSTLは、水平方向に延伸するものであり、制御線RSTLには、走査部21により制御信号SRSTが印加される。
複数の遮光画素P2は、複数の遮光画素P2Aと、複数の遮光画素P2Bとを含んでいる。遮光画素P2Aおよび遮光画素P2Bは、互いに同じ回路構成を有するものである。遮光画素P2Aは、2行分の遮光画素P2のうちの上の行の画素であり、遮光画素P2Bは、2行分の遮光画素P2のうちの下の行の画素である。
遮光画素P2(遮光画素P2A,P2B)は、フォトダイオードPDと、トランジスタTG,RST,AMP,SELとを有している。遮光画素P2は、撮像画素P1(図2)と同じ回路構成を有しており、撮像画素P1とは異なり、光がフォトダイオードPDに入射しないように遮光されたものである。
この構成により、遮光画素P2(遮光画素P2A,P2B)では、撮像画素P1と同様に、トランジスタSELがオン状態になることにより、トランジスタAMPが、フローティングディフュージョンFDの電圧に応じた信号SIGを、トランジスタSELを介して信号線SGLに出力する。遮光画素P2では、遮光されているため、D相期間TDにおけるフローティングディフュージョンFDの電圧は、フォトダイオードPDの暗電流に応じた電圧になる。よって、トランジスタAMPは、D相期間TDにおいて、暗電流に応じた画素電圧Vpixを信号SIGとして出力するようになっている。
次に、ダミー画素領域R3,R4について説明する。図1に示したように、ダミー画素領域R3には、2行分のダミー画素P3が配置されており、ダミー画素領域R4には、2行分のダミー画素P4が配置されている。
図4は、ダミー画素領域R3の一構成例を表すものである。なお、この図4では、画素アレイ10のダミー画素領域R3に加え、走査部21および信号生成部22をも描いている。画素アレイ10は、ダミー画素領域R3において、制御線SELLと、制御線VMALと、制御線VMBLとを有している。制御線SELLは、水平方向(図4における横方向)に延伸するものであり、制御線SELLには、走査部21により制御信号SSELが印加される。制御線VMALは、水平方向に延伸するものであり、制御線VMALには、信号生成部22の電圧生成部30A(後述)により制御信号VMAが印加される。制御線VMBLは、水平方向に延伸するものであり、制御線VMBLには、信号生成部22の電圧生成部30B(後述)により制御信号VMBが印加される。
複数のダミー画素P3は、複数のダミー画素P3Aと、複数のダミー画素P3Bとを含んでいる。ダミー画素P3Aおよびダミー画素P3Bは、互いに同じ回路構成を有するものである。ダミー画素P3Aは、2行分のダミー画素P3のうちの上の行の画素であり、ダミー画素P3Bは、2行分のダミー画素P3のうちの下の行の画素である。
ダミー画素P3(ダミー画素P3A,P3B)は、トランジスタAMP,SELを有している。すなわち、ダミー画素P3は、撮像画素P1(図2)から、フォトダイオードPDおよびトランジスタTG,RSTを省いたものである。
ダミー画素P3Aにおいて、トランジスタAMPのゲートは制御線VMALに接続され、ドレインには電源電圧VDDHが供給され、ソースはトランジスタSELのドレインに接続されている。トランジスタSELのゲートは制御線SELLに接続され、ドレインはトランジスタAMPのソースに接続され、ソースは偶数番目の信号線SGL(例えば信号線SGL(0))に接続されている。
ダミー画素P3Bにおいて、トランジスタAMPのゲートは制御線VMBLに接続され、ドレインには電源電圧VDDHが供給され、ソースはトランジスタSELのドレインに接続されている。トランジスタSELのゲートは制御線SELLに接続され、ドレインはトランジスタAMPのソースに接続され、ソースは奇数番目の信号線SGL(例えば信号線SGL(1))に接続されている。
この構成により、ダミー画素P3Aでは、トランジスタSELがオン状態になることにより、トランジスタAMPが、P相期間TPおよびD相期間TDにおいて、制御信号VMAの電圧に応じた信号SIGを、トランジスタSELを介して信号線SGLに出力する。同様に、ダミー画素P3Bでは、トランジスタSELがオン状態になることにより、トランジスタAMPが、P相期間TPおよびD相期間TDにおいて、制御信号VMBの電圧に応じた信号SIGを、トランジスタSELを介して信号線SGLに出力するようになっている。
図5は、ダミー画素領域R4の一構成例を表すものである。なお、この図5では、画素アレイ10のダミー画素領域R4に加え、走査部21および信号生成部23をも描いている。画素アレイ10は、ダミー画素領域R4において、制御線SELLと、制御線SUNLとを有している。制御線SELLは、水平方向(図5における横方向)に延伸するものであり、制御線SELLには、走査部21により制御信号SSELが印加される。制御線SUNLは、水平方向に延伸するものであり、制御線SUNLには、信号生成部23により制御信号SUNが印加される。
複数のダミー画素P4は、複数のダミー画素P4Aと、複数のダミー画素P4Bとを含んでいる。ダミー画素P4Aおよびダミー画素P4Bは、互いに同じ回路構成を有するものである。ダミー画素P4Aは、2行分のダミー画素P4のうちの上の行の画素であり、ダミー画素P4Bは、2行分のダミー画素P4のうちの下の行の画素である。
ダミー画素P4(ダミー画素P4A,P4B)は、トランジスタAMP,SELを有している。ダミー画素P4は、ダミー画素P3(図4)と同じ回路構成を有している。トランジスタAMPのゲートは制御線SUNLに接続され、ドレインには電源電圧VDDHが供給され、ソースはトランジスタSELのドレインに接続されている。トランジスタSELのゲートは制御線SELLに接続され、ドレインはトランジスタAMPのソースに接続され、ソースは信号線SGLに接続されている。ダミー画素P4AのトランジスタSELのソースは、偶数番目の信号線SGL(例えば信号線SGL(0))に接続され、ダミー画素P4BのトランジスタSELのソースは、奇数番目の信号線SGL(例えば信号線SGL(1))に接続されている。
このダミー画素P4では、後述するように、通常画素領域R1における撮像画素P1、遮光画素領域R21,R22における遮光画素P2、およびダミー画素領域R3におけるダミー画素P3が読出対象として選択されている場合に、トランジスタSELがオン状態になる。そして、例えば、撮像装置1が、非常に明るい被写体を撮像する場合に、ダミー画素P4は、P相期間TP前の所定の期間において、制御信号SUNに電圧に応じた電圧を、トランジスタSELを介して信号線SGLに出力する。これにより、ダミー画素P4は、後述するように、非常に明るい被写体を撮像する場合に、P相期間TP前の所定の期間において、信号SIGの電圧が低くなりすぎないように、信号SIGの電圧を制限するようになっている。
走査部21(図1)は、制御部50からの指示に基づいて、通常画素領域R1における複数の撮像画素P1を順次駆動するものであり、例えばアドレスデコーダおよびドライバを含んで構成されるものである。アドレスデコーダは、制御部50から供給されたアドレス信号に基づいて、画素アレイ10における、そのアドレス信号が示すアドレスに応じた画素ラインLを選択するものである。ドライバは、アドレスデコーダからの指示に基づいて、制御信号SRST,STG,SSELを生成するものである。
具体的には、走査部21は、通常画素領域R1における複数の制御線RSTLに対して制御信号SRSTを順次印加し、複数の制御線TGLLに対して制御信号STGを順次印加し、複数の制御線SELLに対して制御信号SSELを順次印加するようになっている。
また、走査部21は、後述するように、ブランキング期間T20において、遮光画素領域R21,R22における複数の遮光画素P2、およびダミー画素領域R3における複数のダミー画素P3を駆動する機能をも有している。
また、走査部21は、後述するように、通常画素領域R1における撮像画素P1、遮光画素領域R21,R22における遮光画素P2、およびダミー画素領域R3におけるダミー画素P3が読出対象として選択されている場合に、ダミー画素領域R4におけるダミー画素P4を駆動する機能をも有している。
この走査部21は、供給された3つの電源電圧VDDのうちの電源電圧VDDHおよび電源電圧VDDLに基づいて動作するようになっている。
信号生成部22は、制御部50からの指示に基づいて、画素アレイ10における制御線VMALに対して制御信号VMAを印加するとともに、制御線VMBLに対して制御信号VMBを印加するものである。信号生成部22は、図4に示したように、2つの電圧生成部30(電圧生成部30A,30B)を有している。電圧生成部30Aおよび電圧生成部30Bは、互いに同じ回路構成を有するので、以下に、電圧生成部30Aを例に挙げて説明する。
図6は、電圧生成部30Aの一構成例を表すものである。電圧生成部30Aは、抵抗回路部31と、セレクタ32と、温度センサ33と、セレクタ34とを有している。抵抗回路部31は、直列に接続された複数の抵抗素子を有するものであり、電源電圧VDDHを分圧することにより複数の電圧を生成するようになっている。セレクタ32は、制御部50から供給された制御信号に基づいて、抵抗回路部31において生成された複数の電圧のうちの1つを選択して出力するものである。温度センサ33は、温度を検出するとともに、検出された温度に応じた電圧Vtempを生成するものである。セレクタ34は、制御部50から供給された制御信号に基づいて、セレクタ32から供給された電圧、および温度センサ33から供給された電圧Vtempのうちの一方を選択し、制御信号VMAとして出力するものである。
電圧生成部30Aおよび電圧生成部30Bには、制御部50から、制御信号がそれぞれ別々に供給される。これにより、電圧生成部30A,30Bは、互いに同じ制御信号VMA,VMBを生成することができ、あるいは互いに異なる制御信号VMA,VMBを生成することができるようになっている。
信号生成部23(図1)は、制御部50からの指示に基づいて、画素アレイ10における制御線SUNLに対して、制御信号SUNを印加するものである。この制御信号SUNは、後述するように、撮像装置1が、非常に明るい被写体を撮像する場合に、P相期間TPの前の所定の期間において、信号SIGの電圧が低くなりすぎないように、信号SIGの電圧を制限するためのものである。
読出部40(読出部40S,40N)は、画素アレイ10から信号線SGLを介して供給された信号SIGに基づいてAD変換を行うことにより、画像信号DATA0(画像信号DATA0S,DATA0N)を生成するものである。読出部40Sは、偶数番目の信号線SGL(信号線SGL(0),SGL(2),SGL(4),…)に接続されており、この例では、垂直方向(図1における縦方向)において、画素アレイ10の下に配置されている。読出部40Nは、奇数番目の信号線SGL(信号線SGL(1),SGL(3),SGL(5),…)に接続されており、この例では、垂直方向において、画素アレイ10の上に配置されている。
図7Aは、読出部40Sの一構成例を表すものであり、図7Bは、読出部40Nの一構成例を表すものである。なお、図7Aには、読出部40Sに加え、制御部50および信号処理部60をも描いており、同様に、図7Bには、読出部40Nに加え、制御部50および信号処理部60をも描いている。読出部40Sは、供給された3つの電源電圧VDDのうちの電源電圧VDDHおよび電源電圧VDDLに基づいて動作するようになっている。
読出部40(読出部40S,40N)は、複数のAD(Analog to Digital)変換部ADC(AD変換部ADC(0),ADC(1),ADC(2),…)と、複数のスイッチ部SW(スイッチ部SW(0),SW(1),SW(2),…)と、バス配線100(バス配線100S,100N)とを有している。
AD変換部ADCは、画素アレイ10から供給された信号SIGに基づいてAD変換を行うことにより、画素電圧VpixをデジタルコードCODEに変換するものである。複数のAD変換部ADCは、複数の信号線SGLに対応して設けられている。具体的には、読出部40S(図7A)では、0番目のAD変換部ADC(0)は、0番目の信号線SGL(0)に対応して設けられ、2番目のAD変換部ADC(2)は、2番目の信号線SGL(2)に対応して設けられ、4番目のAD変換部ADC(4)は、4番目の信号線SGL(4)に対応して設けられている。同様に、読出部40N(図7B)では、1番目のAD変換部ADC(1)は、1番目の信号線SGL(2)に対応して設けられ、3番目のAD変換部ADC(3)は、3番目の信号線SGL(3)に対応して設けられ、5番目のAD変換部ADC(5)は、5番目の信号線SGL(5)に対応して設けられている。
AD変換部ADCは、容量素子41,42と、電流源44と、コンパレータ45と、カウンタ46と、ラッチ47とを有している。容量素子41の一端には、制御部50から供給された参照信号REFが供給され、他端はコンパレータ45の正入力端子に接続されている。この参照信号REFは、P相期間TPおよびD相期間TDにおいて、時間の経過に応じて電圧レベルが徐々に低下する、いわゆるランプ波形を有するものである。容量素子42の一端は信号線SGLに接続され、他端はコンパレータ45の負入力端子に接続されている。電流源44は、信号線SGLから接地に所定の電流値の電流を流すものである。コンパレータ45は、正入力端子における入力電圧と負入力端子における入力電圧とを比較して、その比較結果を信号CMPとして出力するものである。コンパレータ45の正入力端子には、容量素子41を介して参照信号REFが供給され、負入力端子には、容量素子42を介して信号SIGが供給されるようになっている。このコンパレータ45は、P相期間TP前の所定の期間において、正入力端子および負入力端子を電気的に接続するゼロ調整を行う機能をも有している。カウンタ46は、コンパレータ45から供給された信号CMPおよび制御部50から供給された制御信号CCに基づいて、制御部50から供給されたクロック信号CLKのパルスをカウントするカウント動作を行うものである。ラッチ47は、カウンタ46により得られたカウント値CNTを、複数のビット(この例では13ビット)を有するデジタルコードCODEとして保持するものである。この構成により、AD変換部ADCは、信号SIGに基づいてAD変換を行うことによりデジタルコードCODEを生成し、このデジタルコードCODEを出力するようになっている。
スイッチ部SWは、制御部50から供給された制御信号SSWに基づいて、AD変換部ADCから出力されたデジタルコードCODEをバス配線100に供給するものである。複数のスイッチ部SWは、複数のAD変換部ADCに対応して設けられている。具体的には、読出部40S(図7A)では、0番目のスイッチ部SW(0)は、0番目のAD変換部ADC(0)に対応して設けられ、2番目のスイッチ部SW(2)は、2番目のAD変換部ADC(2)に対応して設けられ、4番目のスイッチ部SW(4)は、4番目のAD変換部ADC(4)に対応して設けられている。同様に、読出部40N(図7B)では、1番目のスイッチ部SW(1)は、1番目のAD変換部ADC(1)に対応して設けられ、3番目のスイッチ部SW(3)は、3番目のAD変換部ADC(3)に対応して設けられ、5番目のスイッチ部SW(5)は、5番目のAD変換部ADC(5)に対応して設けられている。
スイッチ部SWは、この例では、デジタルコードCODEのビット数と同じ数(この例では13個)のトランジスタを用いて構成されている。これらのトランジスタは、制御部50から供給された制御信号SSWの各ビット(制御信号SSW[0]~SSW[4095])に基づいて、オンオフ制御される。具体的には、例えば、0番目のスイッチ部SW(SW(0))(図7A)は、制御信号SSW[0]に基づいて各トランジスタがオン状態になることにより、0番目のAD変換部ADC(0)から出力されたデジタルコードCODEをバス配線100Sに供給する。同様に、例えば、1番目のスイッチ部SW(SW(1))(図7B)は、制御信号SSW[1]に基づいて各トランジスタがオン状態になることにより、1番目のAD変換部ADC(1)から出力されたデジタルコードCODEをバス配線100Nに供給する。他のスイッチ部SWについても同様である。
バス配線100S(図7A)は、複数(この例では13本)の配線を有し、読出部40SのAD変換部ADCから出力されたデジタルコードCODEを伝えるものである。読出部40Sは、このバス配線100Sを用いて、読出部40SのAD変換部ADCから供給された複数のデジタルコードCODEを、画像信号DATA0Sとして、信号処理部60に供給するようになっている。
同様に、バス配線100N(図7B)は、複数(この例では13本)の配線を有し、読出部40NのAD変換部ADCから出力されたデジタルコードCODEを伝えるものである。読出部40Nは、このバス配線100Nを用いて、読出部40NのAD変換部ADCから供給された複数のデジタルコードCODEを、画像信号DATA0Nとして、信号処理部60に供給するようになっている。
制御部50(図1)は、走査部21、信号生成部22,23、読出部40(読出部40S,40N)、および信号処理部60に制御信号を供給し、これらの回路の動作を制御することにより、撮像装置1の動作を制御するものである。制御部50は、供給された3つの電源電圧VDDのうちの電源電圧VDDHおよび電源電圧VDDLに基づいて動作するようになっている。
制御部50は、参照信号生成部51を有している。参照信号生成部51は、参照信号REFを生成するものである。参照信号REFは、P相期間TPおよびD相期間TDにおいて、時間の経過に応じて電圧レベルが徐々に低下する、いわゆるランプ波形を有するものである。参照信号生成部51は、この参照信号REFにおけるランプ波形の傾きや、電圧オフセット量OFSを変更可能に構成されている。そして、参照信号生成部51は、生成した参照信号REFを、読出部40(読出部40S,40N)のAD変換部ADCに供給するようになっている。
この構成により、制御部50は、例えば、走査部21に対して制御信号を供給することにより、走査部21が、通常画素領域R1における複数の撮像画素P1を順次駆動し、ブランキング期間T20において、遮光画素領域R21,R22における複数の遮光画素P2、およびダミー画素領域R3における複数のダミー画素P3を駆動するように制御する。また、制御部50は、例えば、走査部21に対して制御信号を供給することにより、通常画素領域R1における撮像画素P1、遮光画素領域R21,R22における遮光画素P2、およびダミー画素領域R3におけるダミー画素P3が読出対象として選択されている場合に、走査部21が、ダミー画素領域R4におけるダミー画素P4を駆動するように制御する。
また、制御部50は、信号生成部22に対して制御信号を供給することにより、信号生成部22が、ダミー画素領域R3における制御線VMALに対して制御信号VMAを印加するとともに、制御線VMBLに対して制御信号VMBを印加するように制御する。また、制御部50は、信号生成部23に対して制御信号を供給することにより、信号生成部23が、ダミー画素領域R4における制御線SUNLに対して、制御信号SUNを印加するように制御する。
また、制御部50は、読出部40(読出部40S,40N)に対して、参照信号REF、クロック信号CLK、制御信号CC、および制御信号SSW(制御信号SSW[0]~SSW[4095])を供給することにより、読出部40が、信号SIGに基づいて画像信号DATA0(画像信号DATA0S,DATA0N)を生成するように制御する。
また、制御部50は、信号処理部60に対して制御信号を供給することにより、信号処理部60の動作を制御するようになっている。
信号処理部60は、読出部40から供給された画像信号DATA0(画像信号DATA0S,DATA0N)に基づいて、所定の信号処理を行い、信号処理が施された画像信号を画像信号DATAとして出力するものである。また、信号処理部60は、画像信号DATA0(画像信号DATA0S,DATA0N)に基づいて診断処理を行い、エラーフラグ信号XERRおよび診断結果RESを出力する機能をも有している。信号処理部60は、供給された3つの電源電圧VDDのうちの電源電圧VDDLに基づいて動作するようになっている。
図8は、信号処理部60の一構成例を表すものである。信号処理部60は、処理部70,80と、診断部61とを有している。
処理部70は、画像信号DATA0(画像信号DATA0S,DATA0N)に基づいて、この画像信号DATA0に含まれるデジタルコードCODEからフォトダイオードPDの暗電流の寄与分を差し引く暗電流補正を行うものである。処理部70は、平均値算出部71と、オフセット量算出部72と、平均値算出部73と、補正値算出部74と、補正部75とを有している。
平均値算出部71は、制御部50からの指示に基づいて、画像信号DATA0に含まれる、遮光画素領域R21における複数の遮光画素P2に係るデジタルコードCODEの平均値を求めるものである。すなわち、走査部21が、遮光画素領域R21における複数の遮光画素P2を駆動し、読出部40が、信号SIGに基づいてAD変換を行うことによりデジタルコードCODEを生成したときに、平均値算出部71は、これらのデジタルコードCODEの平均値を求めるようになっている。
オフセット量算出部72は、平均値算出部71の算出結果に基づいて、D相期間TDにおける参照信号REFの電圧オフセット量OFSを算出するものである。そして、オフセット量算出部72は、その算出結果を、制御部50に供給するようになっている。制御部50は、この電圧オフセット量OFSをレジスタに記憶し、制御部50の参照信号生成部51は、この電圧オフセット量OFSに基づいて、参照信号REFを生成する。これにより、参照信号生成部51は、これ以降、D相期間TDにおいて、電圧オフセット量OFSの分だけ電圧がずれた参照信号REFを生成する。そして、走査部21は、遮光画素領域R22における複数の遮光画素P2を駆動し、読出部40は、信号SIGに基づいて、この参照信号REFを用いてAD変換を行うことによりデジタルコードCODEを生成するようになっている。
平均値算出部73は、制御部50からの指示に基づいて、画像信号DATA0に含まれる、遮光画素領域R22における複数の遮光画素P2に係るデジタルコードCODEの平均値を求めるものである。このデジタルコードCODEは、読出部40が、D相期間TDにおいて、電圧オフセット量OFSの分だけ電圧がずれた参照信号REFを用いて生成したものである。平均値算出部73は、このようにして生成したデジタルコードCODEの平均値を求めるようになっている。
補正値算出部74は、平均値算出部73の算出結果に基づいて、デジタルコードCODEの補正値を算出するものである。
補正部75は、補正値算出部74が算出した補正値を用いて、画像信号DATA0に含まれる、通常画素領域R1における複数の撮像画素P1に係るデジタルコードCODEを補正するものである。
この構成により、処理部70は、遮光画素領域R21,R22の複数の遮光画素P2に係るデジタルコードCODEに基づいて、フォトダイオードPDの暗電流がデジタルコードCODEに与える影響を求め、通常画素領域R1の複数の撮像画素P1に係るデジタルコードCODEから、暗電流の寄与分を差し引くようになっている。
処理部80は、例えば1行分の撮像画素P1や1列分の撮像画素P1が正常に動作しないことにより、画像にライン状の筋が生じる場合に、画像を補正する処理を行うものである。処理部80は、行平均値算出部81と、判定部82と、横筋補正部83と、判定部84と、縦筋補正部85と、選択制御部86と、セレクタ87とを有している。
行平均値算出部81は、処理部70から供給された画像信号に基づいて、通常画素領域R1における1行分の撮像画素P1に係るデジタルコードCODEの平均値を算出するものである。
判定部82は、行平均値算出部81から供給された、複数行分のデジタルコードCODEの平均値に基づいて、水平方向に延びるライン状の筋が生じているかどうかを判定するものである。具体的には、例えば、着目した行の撮像画素P1に係るデジタルコードCODEの平均値と、着目した行の上の行の撮像画素P1に係るデジタルコードCODEの平均値との差が所定値より大きく、かつ、着目した行の撮像画素P1に係るデジタルコードCODEの平均値と、着目した行の下の行の撮像画素P1に係るデジタルコードCODEの平均値との差が所定値よりも大きい場合に、判定部82は、着目した行にライン状の筋が生じていると判定する。そして、判定部82は、その判定結果を選択制御部86に供給するようになっている。
横筋補正部83は、着目した行の上の行の撮像画素P1に係るデジタルコードCODEと、着目した行の下の行の撮像画素P1に係るデジタルコードCODEに基づいて、着目した行の撮像画素P1に係るデジタルコードCODEを算出するものである。具体的には、横筋補正部83は、例えば、着目した撮像画素P1の上の撮像画素P1に係るデジタルコードCODEと、着目した撮像画素P1の下の撮像画素P1に係るデジタルコードCODEとの平均値を求めることにより、着目した撮像画素P1に係るデジタルコードCODEを求めるようになっている。
判定部84は、処理部70から供給された画像信号に含まれる、着目した撮像画素P1に係るデジタルコードCODEと、着目した撮像画素P1の左の撮像画素P1に係るデジタルコードCODEと、着目した撮像画素P1の右の撮像画素P1に係るデジタルコードCODEに基づいて、垂直方向に延びるライン状の筋が生じ得るかどうかを判定するものである。具体的には、例えば、着目した撮像画素P1に係るデジタルコードCODEと、着目した撮像画素P1の左の撮像画素P1に係るデジタルコードCODEとの差が所定値より大きく、かつ、着目した撮像画素P1に係るデジタルコードCODEと、着目した撮像画素P1の右の撮像画素P1に係るデジタルコードCODEとの差が所定値よりも大きい場合に、判定部84は、着目した撮像画素P1を含む列にライン状の筋が生じ得ると判定する。そして、判定部84は、その判定結果を選択制御部86に供給するようになっている。
縦筋補正部85は、例えば、着目した撮像画素P1の右の撮像画素P1に係るデジタルコードCODEと、着目した撮像画素P1の左の撮像画素P1に係るデジタルコードCODEとの平均値を求めることにより、着目した撮像画素P1に係るデジタルコードCODEを求めるものである。
選択制御部86は、判定部82,84による判定結果に基づいて、処理部70から供給されたデジタルコードCODE、横筋補正部83から供給されたデジタルコードCODE、および縦筋補正部85から供給されたデジタルコードCODEのうちの選択すべきデジタルコードCODEを指示するための選択信号を生成するものである。
セレクタ87は、選択制御部86から供給された選択信号に基づいて、処理部70から供給されたデジタルコードCODE、横筋補正部83から供給されたデジタルコードCODE、および縦筋補正部85から供給されたデジタルコードCODEのうちの1つを選択して出力するものである。
この構成により、処理部80は、処理部70から供給された画像信号に基づいて、ライン状の筋を検出し、ライン状の筋が目立たなくなるように、デジタルコードCODEを補正する。そして、処理部80は、処理が施された画像信号を、画像信号DATAとして出力するようになっている。なお、この例では、処理部80を撮像装置1に設けたが、これに限定されるものではなく、撮像装置1に処理部80を設けず、撮像装置1とは別の信号処理部がこの処理部80の処理を行うようにしてもよい。
なお、この例では、処理部80は、1行分の撮像画素P1や1列分の撮像画素P1が正常に動作しないことにより、画像にライン状の筋が生じる場合に、ライン状の筋が目立たなくなるように、デジタルコードCODEを補正したが、これに限定されるものではない。例えば、隣り合う2行分の撮像画素P1が正常に動作しないことにより、画像にライン状の筋が生じる場合に、同様に、デジタルコードCODEを補正するようにしてもよい。
診断部61は、画像信号DATA0(画像信号DATA0S,DATA0N)に基づいて、診断処理を行うものである。具体的には、診断部61は、画像信号DATA0に含まれるデジタルコードCODEが、所定のスペックを満たしているかどうかを確認することにより診断処理を行い、エラーフラグ信号XERRおよび診断結果RESを出力するようになっている。
図9は、撮像装置1における、エラーフラグ信号XERRを出力する回路の一構成例を表すものである。撮像装置1には、3つの電源電圧VDD(電源電圧VDDH,VDDM,VDDL)と3つの接地電圧VSS(接地電圧VSSH,VSSM,VSSL)が供給される。電源電圧VDDHは、主に、撮像装置1内のアナログ回路に供給される電源電圧であり、例えば3.3Vである。電源電圧VDDLは、主に、撮像装置1内の論理回路に供給される電源電圧であり、例えば1.1Vである。電源電圧VDDMは、主に、撮像装置1の入出力バッファに供給される電源電圧であり、例えば1.8Vである。接地電圧VSSH,VSSL,VSSMは、ともに0Vである。
診断部61は、バッファBFを有している。バッファBFは、信号XERR1を生成するものである。診断部61には、電源電圧VDDLおよび接地電圧VSSLが供給されるので、バッファBFは、電源電圧VDDLおよび接地電圧VSSLに基づいて動作を行う。バッファBFが生成する信号XERR1は、電源電圧VDDLおよび接地電圧VSSLの間で遷移する論理信号である。信号XERR1は、診断部61における診断処理により不具合が確認されない場合には高レベル(電源電圧VDDL)になり、不具合が確認された場合には低レベル(接地電圧VSSL)になる、いわゆる負論理の信号である。
撮像装置1は、出力バッファBFOUTを有している。出力バッファBFOUTは、信号XERR1に基づいてエラーフラグ信号XERRを生成し、出力端子TOUTを介して出力するものである。出力バッファBFOUTは、電源電圧VDDMおよび接地電圧VSSMに基づいて動作を行う。エラーフラグ信号XERRは、電源電圧VDDMおよび接地電圧VSSMの間で遷移する論理信号である。エラーフラグ信号XERRは、図9,10に示したように、診断部61における診断処理により不具合が確認されない場合には高レベル(電源電圧VDDM)になり、不具合が確認された場合には低レベル(接地電圧VSSM)になる、いわゆる負論理の信号である。
次に、撮像装置1の実装について説明する。撮像装置1において、図1に示したブロックは、例えば1枚の半導体基板に形成されてもよいし、複数の半導体基板に形成されてもよい。
図11は、撮像装置1を1枚の半導体基板300に形成した場合における回路配置の一例を表すものである。半導体基板300には、画素アレイ10が形成される。そして、この図11において、画素アレイ10の左には走査部21が形成され、画素アレイ10の下には読出部40Sが形成され、画素アレイ10の上には、読出部40Nおよび周辺回路部301がこの順で形成される。周辺回路部301は、制御部50、信号生成部22,23、および信号処理部60に対応するものである。この周辺回路部301が形成された領域の領域内における左には、診断部61が形成される。また、半導体基板300の左端には複数の端子を含む端子部302が形成され、同様に、半導体基板300の右端には、複数の端子を含む端子部303が形成されている。エラーフラグ信号XERRが出力される出力端子TOUTは、例えば、端子部302における、診断部61に近い位置に配置される。これにより、出力端子TOUTと診断部61との間の信号経路を短くすることができる。
図12は、撮像装置1を2枚の半導体基板201,202に形成した場合における2枚の半導体基板201,202の接続例を表すものである。この例では、半導体基板201,202は重ね合わされ、複数のビア203を介して互いに接続されている。半導体基板201には、例えば、画素アレイ10を形成することができる。また、半導体基板202には、読出部40(読出部40S,40N)、信号生成部22,23、制御部50、および信号処理部60を形成することができる。このような積層構造により、レイアウトの観点から、有利な設計を実現することができる。また、撮像装置1では、例えば隣り合うビア203のショートや、電圧の固定などが生じた場合でも、これらの不具合を診断することができるようになっている。
図13は、半導体基板201,202における回路配置の一例を表すものである。
半導体基板201には、この例では画素アレイ10が形成されている。すなわち、半導体基板201には、複数の撮像画素P1(撮像画素P1A,P1B)、複数の遮光画素P2(遮光画素P2A,P2B)、複数のダミー画素P3(ダミー画素P3A,P3B)、複数のダミー画素P4(ダミー画素P4A,P4B)、制御線TGLL,SELL,RSTL,VMAL,VMBL,SUNL、および信号線SGLが形成される。
また、半導体基板201には、電極領域201A,201B,201Cが設けられている。電極領域201Aは、半導体基板201の下辺側に設けられ、電極領域201Bは、半導体基板201の上辺側に設けられ、電極領域201Cは、半導体基板201の左辺側に設けられている。電極領域201Aには、複数の電極が形成され、これらの複数の電極は、例えばTCV(Through Chip Via)などのビアを介して画素アレイ10における偶数番目の複数の信号線SGLに接続されている。電極領域201Bには、複数の電極が形成され、これらの複数の電極は、例えばTCVなどのビアを介して画素アレイ10における奇数番目の複数の信号線SGLに接続されている。電極領域201Cには、複数の電極が形成され、これらの電極は、例えばTCVなどのビアを介して画素アレイ10における制御線TGLL,SELL,RSTL,VMAL,VMBLに接続されている。
半導体基板202には、この例では、走査部21、読出部40S,40N、参照信号生成部51、および周辺回路部209が形成されている。ここで、周辺回路部209は、制御部50における参照信号生成部51以外の回路、信号生成部22,23、および信号処理部60に対応している。周辺回路部209は、図13における上下方向の中央付近に配置され、走査部21は、周辺回路部209の左側に配置され、参照信号生成部51は、周辺回路部209の右側に配置され、読出部40Sは周辺回路部209の下側に配置され、読出部40Nは周辺回路部209の上側に配置されている。参照信号生成部51から2つの読出部40S,40Nに供給される参照信号REFは、2つの読出部40S,40Nにおいて同じ波形であることが望ましい。よって、参照信号生成部51と読出部40Sとの間の距離は、参照信号生成部51と読出部40Nとの間の距離に等しいことが望ましい。なお、この例では、1つの参照信号生成部51を設けたが、これに限定されるものではなく、例えば、2つの参照信号生成部51(参照信号生成部51S,51N)を設け、参照信号生成部51Sが生成した参照信号REFを読出部40Sに供給し、参照信号生成部51Nが生成した参照信号REFを読出部40Nに供給してもよい。
また、半導体基板202には、電極領域202A,202B,202Cが設けられている。電極領域202Aは、半導体基板202の下辺側に、読出部40Sに隣り合うように設けられ、電極領域202Bは、半導体基板202の上辺側に、読出部40Nに隣り合うように設けられ、電極領域202Cは、半導体基板202の左辺側に、走査部21に隣り合うように設けられている。電極領域202Aには、複数の電極が形成され、これらの複数の電極は、例えばTCVなどのビアを介して読出部40Sに接続されている。電極領域202Bには、複数の電極が形成され、これらの複数の電極は、例えばTCVなどのビアを介して読出部40Nに接続されている。電極領域202Cには、複数の電極が形成され、これらの複数の電極は、例えばTCVなどのビアを介して走査部21、および周辺回路部209の信号生成部22,23に接続されている。
撮像装置1では、半導体基板201および半導体基板202が、互いに重ね合わされている。これにより、半導体基板201の電極領域201Aにおける複数の電極が、半導体基板202の電極領域202Aにおける複数の電極に電気的に接続され、半導体基板201の電極領域201Bにおける複数の電極が、半導体基板202の電極領域202Bにおける複数の電極に電気的に接続され、半導体基板201の電極領域201Cにおける複数の電極が、半導体基板202の電極領域202Cにおける複数の電極に電気的に接続される。
このように、半導体基板201に画素アレイ10を主に配置することにより、画素に特化した半導体製造工程を用いて半導体基板201を製造することができる。つまり、半導体基板201には、画素アレイ10以外に回路がないので、例えば、1000度でアニールする工程がある場合でも、画素アレイ10以外の回路に影響を与えることがない。よって、半導体基板201を製造する際、例えば白点対策の高温プロセスを導入することができ、その結果、撮像装置1における特性を改善することができる。
図14は、半導体基板202における出力端子TOUTの配置位置を表すものである。この例では、周辺回路部209が形成された領域の領域内における右上に、診断部61が形成される。エラーフラグ信号XERRが出力される出力端子TOUTは、診断部61に近い位置に配置される。これにより、出力端子TOUTと診断部61との間の信号経路を短くすることができる。
ここで、画素アレイ10、走査部21、信号生成部22,23、読出部40、および制御部50は、本開示における「撮像部」の一具体例に対応する。診断部61は、本開示における「診断部」の一具体例に対応する。出力バッファBFOUTは、本開示における「出力部」の一具体例に対応する。エラーフラグ信号XERRは、本開示における「フラグ信号」および「第1のフラグ信号」の一具体例に対応する。信号XERR1は、本開示における「第2のフラグ信号」の一具体例に対応する。電源電圧VDDMは、本開示における「第1の電源電圧」の一具体例に対応する。電源電圧VDDLは、本開示における「第2の電源電圧」の一具体例に対応する。処理部70,80は、本開示における「画像処理部」の一具体例に対応する。
[動作および作用]
続いて、本実施の形態の撮像装置1の動作および作用について説明する。
(全体動作概要)
まず、図1を参照して、撮像装置1の全体動作概要を説明する。信号生成部22は、制御信号VMA,VMBを生成する。信号生成部23は、制御信号SUNを生成する。走査部21は、通常画素領域R1における複数の撮像画素P1を順次駆動する。通常画素領域R1における撮像画素P1は、P相期間TPにおいて、リセット電圧Vresetを信号SIGとして出力し、D相期間TDにおいて、受光量に応じた画素電圧Vpixを信号SIGとして出力する。また、走査部21は、ブランキング期間T20において、遮光画素領域R21,R22における複数の遮光画素P2、およびダミー画素領域R3における複数のダミー画素P3を駆動する。遮光画素領域R21,R22における遮光画素P2は、P相期間TPにおいて、リセット電圧Vresetを信号SIGとして出力し、D相期間TDにおいて、暗電流に応じた画素電圧Vpixを信号SIGとして出力する。ダミー画素領域R3におけるダミー画素P3Aは、P相期間TPおよびD相期間TDにおいて、制御信号VMAの電圧に応じた信号SIGを出力し、ダミー画素P3Bは、制御信号VMBの電圧に応じた信号SIGを出力する。また、走査部21は、通常画素領域R1における撮像画素P1、遮光画素領域R21,R22における遮光画素P2、およびダミー画素領域R3におけるダミー画素P3が読出対象として選択されている場合に、ダミー画素領域R4におけるダミー画素P4を駆動する。
読出部40(読出部40S,40N)は、信号SIGに基づいてAD変換を行うことにより、画像信号DATA0(画像信号DATA0S,DATA0N)を生成する。信号処理部60は、画像信号DATA0に基づいて、所定の信号処理を行い、信号処理が施された画像信号を画像信号DATAとして出力するとともに、画像信号DATA0に基づいて診断処理を行い、エラーフラグ信号XERRおよび診断結果RESを出力する。制御部50は、走査部21、信号生成部22,23、読出部40(読出部40S,40N)、および信号処理部60に制御信号を供給し、これらの回路の動作を制御することにより、撮像装置1の動作を制御する。
(詳細動作)
撮像装置1において、通常画素領域R1における複数の撮像画素P1は、受光量に応じて電荷を蓄積し、受光量に応じた画素電圧Vpixを信号SIGとして出力する。以下に、この動作について詳細に説明する。
図15は、通常画素領域R1における撮像画素P1を走査する動作の一例を表すものである。図16は、撮像装置1の一動作例を表すものであり、(A)は水平同期信号XHSの波形を示し、(B)は1本目の制御線RSTL(1)における制御信号SRST(1)の波形を示し、(C)は1本目の制御線TGLL(1)における制御信号STG(1)の波形を示し、(D)は1本目の制御線SELL(1)における制御信号SSEL(1)の波形を示し、(E)は2本目の制御線RSTL(2)における制御信号SRST(2)の波形を示し、(F)は2本目の制御線TGLL(2)における制御信号STG(2)の波形を示し、(G)は2本目の制御線SELL(2)における制御信号SSEL(2)の波形を示し、(H)は3本目の制御線RSTL(3)における制御信号SRST(3)の波形を示し、(I)は3本目の制御線TGLL(3)における制御信号STG(3)の波形を示し、(J)は3本目の制御線SELL(3)における制御信号SSEL(3)の波形を示す。
撮像装置1は、図15に示したように、タイミングt0~t1の期間において、通常画素領域R1における撮像画素P1に対して、垂直方向において上から順に蓄積開始駆動D1を行う。
具体的には、例えば、図11に示したように、タイミングt21から開始する水平期間Hにおいて、走査部21は、パルス波形を有する制御信号SRST(1),STG(1)を生成する(図16(B),(C))。具体的には、走査部21は、タイミングt22において制御信号SRST(1)および制御信号STG(1)の電圧を低レベルから高レベルに変化させ、タイミングt23において制御信号SRST(1)および制御信号STG(1)の電圧を高レベルから低レベルに変化させる。制御信号SRST(1),STG(1)が供給された撮像画素P1では、タイミングt22において、トランジスタTG,RSTがともにオン状態になる。これにより、フローティングディフュージョンFDの電圧およびフォトダイオードPDのカソードの電圧が電源電圧VDDHに設定される。そして、タイミングt23において、トランジスタTG,RSTがともにオフ状態になる。これにより、フォトダイオードPDは、受光量に応じて電荷を蓄積し始める。このようにして、撮像画素P1において蓄積期間T10が開始する。
次に、タイミングt24から開始する水平期間Hにおいて、走査部21は、パルス波形を有する制御信号SRST(2),STG(2)を生成する(図16(E),(F))。これにより、制御信号SRST(2),STG(2)が供給された撮像画素P1は、タイミングt26において、受光量に応じて電荷を蓄積し始める。
次に、タイミングt27から開始する水平期間Hにおいて、走査部21は、パルス波形を有する制御信号SRST(3),STG(3)を生成する(図16(H),(I))。これにより、制御信号SRST(3),STG(3)が供給された撮像画素P1は、タイミングt29において、受光量に応じて電荷を蓄積し始める。
このようにして、走査部21は、蓄積開始駆動D1を行うことにより、撮像画素P1における電荷の蓄積を順次開始させる。そして、各撮像画素P1では、読出駆動D2が行われるまでの蓄積期間T10において、電荷が蓄積される。
そして、走査部21は、図15に示したように、タイミングt10~t11の期間において、通常画素領域R1における撮像画素P1に対して、垂直方向において上から順に読出駆動D2を行う。
具体的には、例えば、図16に示したように、タイミングt31から開始する水平期間Hにおいて、走査部21は、パルス波形を有する制御信号SRST(1),STG(1),SSEL(1)を生成する(図16(B)~(D))。これにより、制御信号SRST(1),STG(1),SSEL(1)が供給された撮像画素P1は、P相期間TPにおいてリセット電圧Vresetを信号SIGとして出力し、D相期間TDにおいて画素電圧Vpixを信号SIGとして出力する。そして、読出部40(読出部40S,40D)は、この信号SIGに基づいてAD変換を行うことによりデジタルコードCODEを生成する。
次に、タイミングt32から開始する水平期間Hにおいて、走査部21は、パルス波形を有する制御信号SRST(2),STG(2),SSEL(2)を生成する(図16(E)~(G))。これにより、制御信号SRST(2),STG(2),SSEL(2)が供給された撮像画素P1は信号SIGを出力し、読出部40は、この信号SIGに基づいてAD変換を行うことによりデジタルコードCODEを生成する。
次に、タイミングt33から開始する水平期間Hにおいて、走査部21は、パルス波形を有する制御信号SRST(3),STG(3),SSEL(3)を生成する(図16(H)~(J))。これにより、制御信号SRST(3),STG(3),SSEL(3)が供給された撮像画素P1は信号SIGを出力し、読出部40は、この信号SIGに基づいてAD変換を行うことによりデジタルコードCODEを生成する。
このようにして、撮像装置1は、読出駆動D2を行うことにより、撮像画素P1から信号SIG(リセット電圧Vresetおよび画素電圧Vpix)に基づいて、AD変換を順次行う。
撮像装置1は、このような蓄積開始駆動D1および読出駆動D2を繰り返す。具体的には、走査部21は、図15に示したように、タイミングt2~t3の期間において蓄積開始駆動D1を行い、タイミングt12~t13の期間において読出駆動D2を行う。また、走査部21は、タイミングt4~t5の期間において蓄積開始駆動D1を行い、タイミングt14~t15の期間において読出駆動D2を行う。
次に、読出駆動D2について、詳細に説明する。
図17は、着目した撮像画素P1における読出駆動D2の一動作例を表すものであり、(A)は水平同期信号XHSの波形を示し、(B)は制御信号SRSTの波形を示し、(C)は制御信号STGの波形を示し、(D)は制御信号SSELの波形を示し、(E)は参照信号REFの波形を示し、(F)は信号SIGの波形を示し、(G)はAD変換部ADCのコンパレータ45から出力される信号CMPの波形を示し、(H)はクロック信号CLKの波形を示し、(I)はAD変換部ADCのカウンタ46におけるカウント値CNTを示す。ここで、図17(E),(F)では、各信号の波形を同じ電圧軸で示している。図17(E)の参照信号REFは、コンパレータ45の正入力端子における波形を示し、図17(F)の信号SIGは、コンパレータ45の負入力端子における波形を示す。
撮像装置1では、ある水平期間(H)において、まず、走査部21が、撮像画素P1に対してリセット動作を行い、AD変換部ADCが、その後のP相期間TPにおいて、撮像画素P1が出力したリセット電圧Vresetに基づいてAD変換を行う。そして、走査部21が、撮像画素P1に対して電荷転送動作を行い、AD変換部ADCが、D相期間TDにおいて、撮像画素P1が出力した画素電圧Vpixに基づいてAD変換を行う。以下にこの動作について詳細に説明する。
まず、タイミングt41において、水平期間Hが開始すると、走査部21は、タイミングt42において、制御信号SSELの電圧を低レベルから高レベルに変化させる(図17(D))。これにより、撮像画素P1では、トランジスタSELがオン状態になり、撮像画素P1が信号線SGLと電気的に接続される。
次に、タイミングt43において、走査部21は、制御信号SRSTの電圧を低レベルから高レベルに変化させる(図17(B))。これにより、撮像画素P1では、トランジスタRSTがオン状態になり、フローティングディフュージョンFDの電圧が電源電圧VDDHに設定される(リセット動作)。また、コンパレータ45は、タイミングt43~t45の期間において、正入力端子および負入力端子を電気的に接続するゼロ調整を行う。
次に、タイミングt44において、走査部21は、制御信号SRSTの電圧を高レベルから低レベルに変化させる(図17(B))。これにより、撮像画素P1では、トランジスタRSTがオフ状態になる。そして、撮像画素P1は、このタイミングt44以降において、このときのフローティングディフュージョンFDの電圧に対応する電圧(リセット電圧Vreset)を出力する(図17(F))。
次に、タイミングt45において、コンパレータ45は、ゼロ調整を終了し、正入力端子および負入力端子を電気的に切断する。そして、このタイミングt45において、参照信号生成部51は、参照信号REFの電圧を電圧V1に変化させる(図17(E))。
次に、タイミングt46~t48の期間(P相期間TP)において、読出部40は、リセット電圧Vresetに基づいてAD変換を行う。具体的には、まず、タイミングt46において、制御部50は、クロック信号CLKの生成を開始する(図17(H))。これと同時に、制御部50の参照信号生成部51は、参照信号REFの電圧を、電圧V1から所定の変化度合い(変動パターン)で低下させ始める(図17(E))。これに応じて、AD変換部ADCのカウンタ46は、カウント動作を開始し、カウント値CNTを順次変化させる(図17(I))。
そして、タイミングt47において、参照信号REFの電圧が信号SIGの電圧(リセットVreset)を下回る(図17(E),(F))。これに応じて、AD変換部ADCのコンパレータ45は、信号CMPの電圧を高レベルから低レベルに変化させる(図17(G))。その結果、カウンタ46は、カウント動作を停止する(図17(I))。
次に、タイミングt48において、制御部50は、P相期間TPの終了に伴い、クロック信号CLKの生成を停止する(図17(H))。これと同時に、参照信号生成部51は、参照信号REFの電圧の変化を停止させ、その後のタイミングt49において、参照信号REFの電圧を電圧V2に変化させる(図17(E))。これに伴い、参照信号REFの電圧が信号SIGの電圧(リセット電圧Vreset)を上回るので(図17(E),(F))、AD変換部ADCのコンパレータ45は、信号CMPの電圧を低レベルから高レベルに変化させる(図17(G))。
次に、タイミングt50において、AD変換部ADCのカウンタ46は、制御信号CCに基づいて、カウント値CNTの極性を反転する(図17(I))。
次に、タイミングt51において、走査部21は、制御信号STGの電圧を低レベルから高レベルに変化させる(図17(C))。これにより、撮像画素P1では、トランジスタTGがオン状態になり、その結果、フォトダイオードPDで発生した電荷がフローティングディフュージョンFDに転送される(電荷転送動作)。これに応じて、信号SIGの電圧は低下する(図17(F))。
そして、タイミングt52において、走査部21は、制御信号STGの電圧を高レベルから低レベルに変化させる(図17(C))。これにより、撮像画素P1では、トランジスタTGがオフ状態になる。そして、撮像画素P1は、このタイミングt52以降において、このときのフローティングディフュージョンFDの電圧に対応する電圧(画素電圧Vpix)を出力する(図17(F))。
次に、タイミングt53~t55の期間(D相期間TD)において、読出部40は、画素電圧Vpixに基づいてAD変換を行う。具体的には、まず、タイミングt53において、制御部50は、クロック信号CLKの生成を開始する(図17(H))。これと同時に、制御部50の参照信号生成部51は、参照信号REFの電圧を、電圧V2から所定の変化度合い(変動パターン)で低下させ始める(図17(E))。これに応じて、AD変換部ADCのカウンタ46は、カウント動作を開始し、カウント値CNTを順次変化させる(図17(I))。
そして、タイミングt54において、参照信号REFの電圧が信号SIGの電圧(画素電圧Vpix)を下回る(図17(E),(F))。これに応じて、AD変換部ADCのコンパレータ45は、信号CMPの電圧を高レベルから低レベルに変化させる(図17(G))。その結果、カウンタ46は、カウント動作を停止する(図17(I))。このようにして、AD変換部ADCは、画素電圧Vpixとリセット電圧Vresetとの差に応じたカウント値CNTを得る。そして、AD変換部ADCのラッチ47は、このカウント値CNTを保持するとともに、保持したカウント値CNTをデジタルコードCODEとして出力する。
次に、タイミングt55において、制御部50は、D相期間TDの終了に伴い、クロック信号CLKの生成を停止する(図17(H))。これと同時に、参照信号生成部51は、参照信号REFの電圧の変化を停止させ、その後のタイミングt56において、参照信号REFの電圧を電圧V3に変化させる(図17(E))。これに伴い、参照信号REFの電圧が信号SIGの電圧(画素電圧Vpix)を上回るので(図17(E),(F))、AD変換部ADCのコンパレータ45は、信号CMPの電圧を低レベルから高レベルに変化させる(図17(G))。
次に、タイミングt57において、走査部21は、制御信号SSELの電圧を高レベルから低レベルに変化させる(図17(D))。これにより、撮像画素P1では、トランジスタSELがオフ状態になり、撮像画素P1が信号線SGLから電気的に切り離される。
そして、タイミングt58において、AD変換部ADCのカウンタ46は、制御信号CCに基づいて、カウント値CNTを“0”にリセットする(図17(I))。
このように、撮像装置1では、P相期間TPにおいてリセット電圧Vresetに基づいてカウント動作を行い、カウント値CNTの極性を反転したのちに、D相期間TDにおいて画素電圧Vpixに基づいてカウント動作を行うようにした。これにより、撮像装置1は、画素電圧Vpixとリセット電圧Vresetとの差電圧に応じたデジタルコードCODEを取得することができる。撮像装置1では、このような相関2重サンプリングを行うようにしたので、画素電圧Vpixに含まれるノイズ成分を取り除くことができ、その結果、撮像画像の画質を高めることができる。
読出部40(読出部40S,40N)は、複数のAD変換部ADCから出力されたデジタルコードCODEを、バス配線100(バス配線100S,100N)を介して、画像信号DATA0(画像信号DATA0S,DATA0N)として信号処理部60に供給する。次に、このデータ転送動作について詳細に説明する。
図18Aは、読出部40Sにおけるデータ転送動作の一例を模式的に表すものであり、図18Bは、読出部40Nにおけるデータ転送動作の一例を模式的に表すものである。図18A,18Bにおいて、太線は、複数ビット(この例では13ビット)のバス配線を示す。この図18A,18Bにおいて、例えば、AD変換部ADCにおける“0”は、0番目のAD変換部ADC(0)を示し、“1”は、1番目のAD変換部ADC(1)を示す。
図19は、図18A,18Bに示したデータ転送動作のタイミング図を表すものであり、(A)は水平同期信号XHSの波形を示し、(B)は制御信号SSWの偶数ビットを示し、(C)は制御信号SSWの奇数ビットを示す。図19(B)において、例えば“0”は、制御信号SSWの偶数ビット(制御信号SSW[0],SSW[2],SSW[4],…)のうちの“0”番目のビット(制御信号SSW[0])のみがアクティブであり、他のビットは非アクティブであることを示す。同様に、図19(C)において、例えば“1”は、制御信号SSWの奇数ビット(制御信号SSW[1],SSW[3],SSW[5],…)のうちの“1”番目のビット(制御信号SSW[1])のみがアクティブであり、他のビットは非アクティブであることを示す。
制御信号SSWの偶数ビットは、図19(B)に示したように、制御信号SSW[0]、制御信号SSW[2]、制御信号SSW[4]の順にアクティブになる。これにより、読出部40S(図18A)では、まず、0番目のAD変換部ADC(0)のデジタルコードCODEがバス配線100Sに供給され、次に、2番目のAD変換部ADC(2)のデジタルコードCODEがバス配線100Sに供給され、次に、4番目のAD変換部ADC(4)のデジタルコードCODEがバス配線100Sに供給される。このようにして、左のAD変換部ADCから順に(転送順序F)、デジタルコードCODEが画像信号DATA0Sとして信号処理部60に転送される。
同様に、制御信号SSWの奇数ビットは、図19(C)に示したように、制御信号SSW[1]、制御信号SSW[3]、制御信号SSW[5]の順にアクティブになる。これにより、読出部40N(図18B)では、まず、1番目のAD変換部ADC(1)のデジタルコードCODEがバス配線100Nに供給され、次に、3番目のAD変換部ADC(3)のデジタルコードCODEがバス配線100Nに供給され、次に、5番目のAD変換部ADC(5)のデジタルコードCODEがバス配線100Nに供給される。このようにして、左のAD変換部ADCから順に(転送順序F)、デジタルコードCODEが画像信号DATA0Nとして信号処理部60に転送される。
図20は、データ転送動作の他の動作例を表すものであり、(A)は水平同期信号XHSの波形を示し、(B)は制御信号SSWの偶数ビットを示し、(C)は制御信号SSWの奇数ビットを示す。
制御信号SSWの偶数ビットは、図20(B)に示したように、制御信号SSW[4094]、制御信号SSW[4092]、制御信号SSW[4090]の順にアクティブになる。これにより、読出部40Sでは、まず、4094番目のAD変換部ADC(4094)のデジタルコードCODEがバス配線100Sに供給され、次に、4092番目のAD変換部ADC(4092)のデジタルコードCODEがバス配線100Sに供給され、次に、4090番目のAD変換部ADC(4090)のデジタルコードCODEがバス配線100Sに供給される。このようにして、右のAD変換部ADCから順に、デジタルコードCODEが画像信号DATA0Sとして信号処理部60に転送される。
同様に、制御信号SSWの奇数ビットは、図20(C)に示したように、制御信号SSW[4095]、制御信号SSW[4093]、制御信号SSW[4091]の順にアクティブになる。これにより、読出部40Nでは、まず、4095番目のAD変換部ADC(4095)のデジタルコードCODEがバス配線100Nに供給され、次に、4093番目のAD変換部ADC(4093)のデジタルコードCODEがバス配線100Nに供給され、次に、4091番目のAD変換部ADC(4091)のデジタルコードCODEがバス配線100Nに供給される。このようにして、右のAD変換部ADCから順に、デジタルコードCODEが画像信号DATA0Nとして信号処理部60に転送される。
このように、撮像装置1では、複数のAD変換部ADCから信号処理部60にデジタルコードCODEを転送する際の順序を変更することができる。これにより、撮像装置1では、左右が反転した撮像画像が容易に得られるようになっている。
(自己診断について)
図15において、例えば、タイミングt11~t12の期間は、いわゆるブランキング期間T20(垂直ブランキング期間)であり、撮像装置1は、読出駆動D2を行わない。すなわち、この期間には、信号線SGLは、通常画素領域R1における撮像画素P1に係るリセット電圧Vresetおよび画素電圧Vpixを伝えない。撮像装置1は、このブランキング期間T20を利用して自己診断を行う。以下に、いくつかの自己診断を例に挙げて説明する。なお、撮像装置1は、一つのブランキング期間T20に、以下に説明する自己診断のうちの1つを行うとともに、ブランキング期間T20ごとに、互いに異なる自己診断を行うようにすることができる。また、撮像装置1は、一つのブランキング期間T20に、以下に説明する自己診断のうちの複数の自己診断を行うようにしてもよい。
(自己診断A1)
自己診断A1では、主に、信号線SGLが正常に信号SIGを伝えることができるかどうかを、AD変換部ADCの基本動作とともに診断する。具体的には、信号生成部22の電圧生成部30A,30Bが、制御信号VMAを制御線VMALに印加するとともに制御信号VMBを制御線VMBLに印加する。そして、ダミー画素P3が、ブランキング期間T20において、制御信号VMA,VMBの電圧に応じた信号SIGを信号線SGLに出力する。読出部40は、この信号SIGに基づいてAD変換を行うことにより、デジタルコードCODEを生成する。そして診断部61が、このデジタルコードCODEに基づいて、診断処理を行う。以下に、この動作について詳細に説明する。
図21は、自己診断A1の一例を表すものである。この自己診断A1では、信号生成部22の電圧生成部30Aは、P相期間TPにおいて電圧V10を生成するとともにD相期間TDにおいて電圧V10よりも低い電圧V11を生成することにより制御信号VMAを生成する。また、電圧生成部30Bは、P相期間TPにおいて電圧V10を生成するとともにD相期間TDにおいて電圧V11よりも低い電圧V12を生成することにより制御信号VMBを生成する。このように、電圧生成部30A,30Bは、D相期間TDにおいて、互いに異なる電圧を生成する。ダミー画素領域R3におけるダミー画素P3Aは、P相期間TPおよびD相期間TDにおいて、制御信号VMAの電圧に応じた信号SIGを偶数番目の信号線SGL(例えば信号線SGL(0))に出力し、ダミー画素P3Bは、制御信号VMBの電圧に応じた信号SIGを奇数番目の信号線SGL(例えば信号線SGL(1))に出力する。これにより、D相期間TDにおいて、偶数番目の信号線SGL(例えば信号線SGL(0))の電圧と、その信号線SGLに隣接する奇数番目の信号線SGL(例えば信号線SGL(1))の電圧は互いに異なる。
読出部40(読出部40S,40N)は、信号SIGに基づいてAD変換を行うことにより、画像信号DATA0(画像信号DATA0S,DATA0N)を生成し、信号処理部60の診断部61は、この画像信号DATA0に基づいて診断処理を行い、エラーフラグ信号XERRおよび診断結果RESを出力する。
以下に、0番目の信号線SGL(0)に接続されたダミー画素P3(ダミー画素P3A)と、1番目の信号線SGL(1)に接続されたダミー画素P3(ダミー画素P3B)に着目し、自己診断A1について説明する。
図22は、自己診断A1の一動作例を表すものであり、(A)は水平同期信号XHSの波形を示し、(B)は制御信号SSELの波形を示し、(C)は制御信号VMAの波形を示し、(D)は制御信号VMBの波形を示し、(E)は参照信号REFの波形を示し、(F)は信号線SGL(0)における信号SIG(信号SIG(0))の波形を示し、(G)は1番目の信号線SGL(1)における信号SIG(信号SIG(1))の波形を示し、(H)はクロック信号CLKの波形を示し、(I)は0番目のAD変換部ADC(0)のカウンタ46におけるカウント値CNT(カウント値CNT(0))を示し、(J)は1番目のAD変換部ADC(1)のカウンタ46におけるカウント値CNT(カウント値CNT(1))を示す。ここで、図22(C),(D)では、各信号の波形を同じ電圧軸で示しており、同様に、図22(E)~(G)では、各信号の波形を同じ電圧軸で示している。
まず、タイミングt61において、ブランキング期間T20内の水平期間Hが開始すると、走査部21は、タイミングt62において、制御信号SSELの電圧を低レベルから高レベルに変化させる(図22(B))。これにより、ダミー画素P3A,P3Bでは、トランジスタSELがオン状態になり、ダミー画素P3Aが信号線SGL(0)と電気的に接続されるとともに、ダミー画素P3Bが信号線SGL(1)と電気的に接続される。これにより、このタイミングt62以降において、ダミー画素P3Aは、制御信号VMAの電圧(電圧V10)に対応する電圧を信号SIG(0)として出力し(図22(C),(F))、ダミー画素P3Bは、制御信号VMBの電圧(電圧V10)に対応する電圧を信号SIG(1)として出力する(図22(D),(G))。
そして、コンパレータ45は、タイミングt63~t64の期間において、正入力端子および負入力端子を電気的に接続するゼロ調整を行う。
次に、タイミングt64において、コンパレータ45は、ゼロ調整を終了し、正入力端子および負入力端子を電気的に切断する。そして、このタイミングt64において、参照信号生成部51は、参照信号REFの電圧を電圧V1に変化させる。
次に、タイミングt65~t67の期間(P相期間TP)において、読出部40は、AD変換を行う。具体的には、まず、タイミングt65において、制御部50は、クロック信号CLKの生成を開始する(図22(H))。これと同時に、制御部50の参照信号生成部51は、参照信号REFの電圧を、電圧V1から所定の変化度合いで低下させ始める(図22(E))。AD変換部ADC(0)のカウンタ46は、カウント動作を開始し、カウント値CNT(0)を順次変化させ(図22(I))、同様に、AD変換部ADC(1)のカウンタ46は、カウント動作を開始し、カウント値CNT(1)を順次変化させる(図22(J))。
そして、タイミングt66において、参照信号REFの電圧が信号SIG(0)の電圧を下回ると(図22(E),(F))、AD変換部ADC(0)のカウンタ46は、信号CMPに基づいてカウント動作を停止する(図22(I))。同様に、このタイミングt66において、参照信号REFの電圧が信号SIG(1)の電圧を下回ると(図22(E),(G))、AD変換部ADC(1)のカウンタ46は、信号CMPに基づいてカウント動作を停止する(図22(J))。
次に、タイミングt67において、制御部50は、P相期間TPの終了に伴い、クロック信号CLKの生成を停止する(図22(H))。これと同時に、参照信号生成部51は、参照信号REFの電圧の変化を停止させ、その後のタイミングt68において、参照信号REFの電圧を電圧V2に変化させる(図22(E))。
次に、タイミングt69において、AD変換部ADC(0)のカウンタ46は、制御信号CCに基づいて、カウント値CNT(0)の極性を反転し(図22(I))、同様に、AD変換部ADC(1)のカウンタ46は、制御信号CCに基づいて、カウント値CNT(1)の極性を反転する(図22(J))。
次に、タイミングt70において、信号生成部22の電圧生成部30Aは、制御信号VMAの電圧を電圧V11に変化させ(図22(C))、電圧生成部30Bは、制御信号VMBの電圧を電圧V12に変化させる(図22(D))。これに応じて、信号SIG(0),SIG(1)の電圧は低下する(図22(F),(G))。
次に、タイミングt71~t74の期間(D相期間TD)において、読出部40は、AD変換を行う。具体的には、まず、タイミングt71において、制御部50は、クロック信号CLKの生成を開始する(図22(H))。これと同時に、制御部50の参照信号生成部51は、参照信号REFの電圧を、電圧V2から所定の変化度合いで低下させ始める(図22(E))。これに応じて、AD変換部ADC(0)のカウンタ46は、カウント動作を開始し、カウント値CNT(0)を順次変化させ(図22(I))、同様に、AD変換部ADC(1)のカウンタ46は、カウント動作を開始し、カウント値CNT(1)を順次変化させる(図22(J))。
そして、タイミングt72において、参照信号REFの電圧が信号SIG(0)の電圧を下回ると(図22(E),(F))、AD変換部ADC(0)のカウンタ46は、カウント動作を停止する(図22(I))。そして、AD変換部ADC(0)のラッチ47は、このカウント値CNT(0)を保持するとともに、保持したカウント値CNT(0)をデジタルコードCODEとして出力する。
また、タイミングt73において、参照信号REFの電圧が信号SIG(1)の電圧を下回ると(図22(E),(G))、AD変換部ADC(1)のカウンタ46は、カウント動作を停止する(図22(J))。そして、AD変換部ADC(1)のラッチ47は、このカウント値CNT(1)を保持するとともに、保持したカウント値CNT(1)をデジタルコードCODEとして出力する。
次に、タイミングt74において、制御部50は、D相期間TDの終了に伴い、クロック信号CLKの生成を停止する(図22(H))。これと同時に、参照信号生成部51は、参照信号REFの電圧の変化を停止させ、その後のタイミングt75において、参照信号REFの電圧を電圧V3に変化させる(図22(E))。
次に、タイミングt76において、走査部21は、制御信号SSELの電圧を高レベルから低レベルに変化させる(図22(B))。これにより、ダミー画素P3A,P3Bでは、トランジスタSELがオフ状態になり、ダミー画素P3Aが信号線SGL(0)と電気的に切り離されるとともに、ダミー画素P3Bが信号線SGL(1)と電気的に切り離される。
そして、タイミングt77において、AD変換部ADC(0)のカウンタ46は、制御信号CCに基づいて、カウント値CNT(0)を“0”にリセットし(図22(I))、同様に、AD変換部ADC(1)のカウンタ46は、制御信号CCに基づいて、カウント値CNT(1)を“0”にリセットする(図22(J))。
読出部40(読出部40S,40N)は、AD変換により生成したデジタルコードCODEを含む画像信号DATA0(画像信号DATA0S,DATA0N)を生成し、信号処理部60の診断部61は、この画像信号DATA0に基づいて診断処理を行う。
診断部61は、デジタルコードCODEに基づいて、例えば、画素アレイ10における信号線SGLが断線しているかどうかを診断することができる。具体的には、診断部61は、例えば、生成したデジタルコードCODEの値が、互いに異なる固定電圧値を有する電圧V11,V12に応じた所定の範囲内に収まっているかどうかを確認することにより、信号線SGLが断線しているかどうかを診断することができる。特に、図12に示したように、画素アレイ10が形成された半導体基板201と、読出部40が形成された半導体基板202とを、ビア203で接続する場合には、診断部61は、デジタルコードCODEに基づいて、例えば、ビア203による接続不良があるかどうかを診断することができる。
また、診断部61は、デジタルコードCODEに基づいて、例えば、隣り合う信号線SGLがショートしているかどうかを診断することができる。特に、信号生成部22は、D相期間TDにおいて、制御信号VMA,VMBの電圧を互いに異なる電圧に設定したので、偶数番目の信号線SGL(例えば信号線SGL(0))の電圧と、その信号線SGLに隣接する奇数番目の信号線SGL(例えば信号線SGL(1))の電圧は、互いに異なる。一方、例えばこれらの信号線SGLがショートしている場合には、デジタルコードCODEが同じになる。診断部61は、デジタルコードCODEに基づいて、隣り合う信号線SGLがショートしているかどうかを診断することができる。
また、診断部61は、デジタルコードCODEに基づいて、例えば、信号線SGLが、電源線やグランド線などの他の配線とショートしているかどうかを診断することができる。すなわち、このようなショートが生じている場合には、信号線SGLの電圧が、ショートしている配線(電源線など)における電圧と同じ電圧に固定され、デジタルコードCODEは、その電圧に応じた値になる。診断部61は、デジタルコードCODEに基づいて、信号線SGLが他の配線とショートしているかどうかを診断することができる。
また、診断部61は、デジタルコードCODEに基づいて、電流源44が信号線SGLに接続されているかどうかや、電流源44が他の配線とショートしているかどうかを診断することができる。
また、診断部61は、例えば、電圧V11,V12を適切に設定することにより、撮像装置1のダイナミックレンジを診断することができる。具体的には、例えば、電圧V12をハイライト相当の電圧に設定することができる。
また、診断部61は、デジタルコードCODEに基づいて、AD変換部ADCの特性を診断することができる。具体的には、例えば、診断部61は、P相期間TPにおいてAD変換を行うことができるかどうかを診断することができる。すなわち、P相期間TPは、D相期間TDよりも時間長が短いので、動作マージンが少ない。よって、診断部61は、例えば、電圧V10を様々な電圧に設定したときの、P相期間TP終了後のカウント値CNT(0)を確認することにより、P相期間TPにおける動作マージンを診断することができる。
(自己診断A2)
撮像装置1は、暗い被写体や明るい被写体を撮像するために、参照信号REFの電圧の変化度合い(変動パターン)を変更することにより、AD変換部ADCにおける変換ゲインを変更する。自己診断A2では、参照信号生成部51が参照信号REFの電圧の変化度合いを変更することができるかどうかを診断する。具体的には、参照信号生成部51は、ブランキング期間T20において、P相期間TPおよびD相期間TDにおける、参照信号REFの電圧の変化度合いを変更する。この例では、信号生成部22は、互いに同じ制御信号VMA,VMBを生成する。そして、ダミー画素P3が、ブランキング期間T20において、制御信号VMA,VMBの電圧に応じた信号SIGを信号線SGLに出力する。読出部40は、変化度合いが変更された参照信号REFを用いて、この信号SIGに基づいてAD変換を行うことにより、デジタルコードCODEを生成する。そして、診断部61が、このデジタルコードCODEに基づいて、診断処理を行い、エラーフラグ信号XERRおよび診断結果RESを出力する。以下に、この動作について詳細に説明する。
図23は、自己診断A2の一動作例を表すものであり、(A)は水平同期信号XHSの波形を示し、(B)は制御信号SSELの波形を示し、(C)は制御信号VMAの波形を示し、(D)は参照信号REFの波形を示し、(E)は信号線SGL(0)における信号SIG(信号SIG(0))の波形を示し、(F)はクロック信号CLKの波形を示し、(G)は0番目のAD変換部(0)のカウンタ46におけるカウント値CNT(カウント値CNT(0))を示す。
この例では、参照信号生成部51は、自己診断A1の場合よりも電圧の変化度合いが小さい参照信号REFを生成する。なお、この図23では、説明の便宜上、自己診断A1における参照信号REFを破線で示している。
まず、タイミングt61において、ブランキング期間T20内の水平期間Hが開始すると、走査部21は、タイミングt62において、制御信号SSELの電圧を低レベルから高レベルに変化させる(図23(B))。これにより、このタイミングt62以降において、ダミー画素P3Aは、制御信号VMAの電圧(電圧V10)に対応する電圧を信号SIG(0)として出力する(図23(C),(E))。
次に、コンパレータ45は、タイミングt63~t64の期間において、正入力端子および負入力端子を電気的に接続するゼロ調整を行う。そして、タイミングt64において、参照信号生成部51は、参照信号REFの電圧を電圧V4に変化させる(図23(D))。
そして、タイミングt65~t67の期間(P相期間TP)において、読出部40は、AD変換を行う。タイミングt65において、制御部50の参照信号生成部51は、参照信号REFの電圧を、電圧V4から所定の変化度合いで低下させ始める(図23(D))。AD変換部ADC(0)のカウンタ46は、タイミングt65においてカウント動作を開始し、タイミングt66においてカウント動作を停止する(図23(G))。
次に、タイミングt67において、参照信号生成部51は、参照信号REFの電圧の変化を停止させ、その後のタイミングt68において、参照信号REFの電圧を電圧V5に変化させる(図23(D))。そして、タイミングt69において、AD変換部ADC(0)のカウンタ46は、制御信号CCに基づいて、カウント値CNT(0)の極性を反転する(図23(G))。
次に、タイミングt70において、信号生成部22の電圧生成部30Aは、制御信号VMAの電圧を電圧V13に変化させる(図23(C))。これに応じて、信号SIG(0)の電圧は低下する(図23(E))。
次に、タイミングt71~t74の期間(D相期間TD)において、読出部40は、AD変換を行う。タイミングt71において、制御部50の参照信号生成部51は、参照信号REFの電圧を、電圧V5から所定の変化度合いで低下させ始める(図23(D))。AD変換部ADC(0)のカウンタ46は、タイミングt71においてカウント動作を開始し、タイミングt72においてカウント動作を停止する(図23(G))。そして、AD変換部ADC(0)は、このカウント値CNT(0)を、デジタルコードCODEとして出力する。
次に、タイミングt74において、参照信号生成部51は、参照信号REFの電圧の変化を停止させ、その後のタイミングt75において、参照信号REFの電圧を電圧V6に変化させる(図23(D))。
そして、タイミングt76において、走査部21は、制御信号SSELの電圧を高レベルから低レベルに変化させる(図23(B))。そして、タイミングt77において、AD変換部ADC(0)のカウンタ46は、制御信号CCに基づいて、カウント値CNT(0)を“0”にリセットする(図23(G))。
読出部40(読出部40S,40N)は、AD変換により生成したデジタルコードCODEを含む画像信号DATA0(画像信号DATA0S,DATA0N)を生成し、信号処理部60の診断部61は、この画像信号DATA0に基づいて診断処理を行う。
診断部61は、デジタルコードCODEに基づいて、例えば、参照信号生成部51が参照信号REFの傾き度合いを変更することができるかどうかを診断することができる。すなわち、撮像装置1では、例えば、明るい被写体や暗い被写体を撮像可能にするため、参照信号REFの傾き度合いを変更する。具体的には、撮像装置1は、暗い被写体を撮像する場合には、参照信号REFの傾き度合いを小さくすることにより、AD変換部ADCにおける変換ゲインを高くする。例えば、暗い被写体を撮像する際の変換ゲインは、明るい被写体を撮像する際の変換ゲインよりも30[dB]高くすることができる。診断部61は、例えば、参照信号REFの傾き度合いを変更した場合に生成したデジタルコードCODEに基づいて、参照信号生成部51が参照信号REFの傾き度合いを変更することができるかどうかを診断することができる。
また、診断部61は、自己診断A1の場合と同様に、例えば、参照信号REFの傾き度合いを様々な値に設定したときの、P相期間TP終了後のカウント値CNT(0)を確認することにより、例えば、P相期間TPにおける動作マージンを診断することができる。
(自己診断A3)
撮像装置1は、フォトダイオードPDの暗電流の寄与分を差し引くために、D相期間TDにおける参照信号REFの電圧オフセット量OFSを調節する。自己診断A3では、参照信号生成部51が、D相期間TDにおける参照信号REFの電圧を変更することができるかどうかを診断する。具体的には、参照信号生成部51は、ブランキング期間T20において、D相期間TDにおける参照信号REFの電圧オフセット量OFSを変更する。この例では、信号生成部22は、互いに同じ制御信号VMA,VMBを生成する。そして、ダミー画素P3が、ブランキング期間T20において、制御信号VMA,VMBの電圧に応じた信号SIGを信号線SGLに出力する。読出部40は、変化度合いが変更された参照信号REFを用いて、この信号SIGに基づいてAD変換を行うことにより、デジタルコードCODEを生成する。そして、診断部61が、このデジタルコードCODEに基づいて、診断処理を行い、エラーフラグ信号XERRおよび診断結果RESを出力する。以下に、この動作について詳細に説明する。
図24は、自己診断A3の一動作例を表すものであり、(A)は水平同期信号XHSの波形を示し、(B)は制御信号SSELの波形を示し、(C)は制御信号VMAの波形を示し、(D)は参照信号REFの波形を示し、(E)は信号線SGL(0)における信号SIG(信号SIG(0))の波形を示し、(F)はクロック信号CLKの波形を示し、(G)は0番目のAD変換部ADC(0)のカウンタ46におけるカウント値CNT(カウント値CNT(0))を示す。
この例では、参照信号生成部51は、D相期間TDにおける参照信号REFの電圧レベルを自己診断A1の場合よりも下げる。なお、この図24では、説明の便宜上、自己診断A1における参照信号REFを破線で示している。
まず、タイミングt61において、ブランキング期間T20内の水平期間Hが開始すると、走査部21は、タイミングt62において、制御信号SSELの電圧を低レベルから高レベルに変化させる(図24(B))。これにより、このタイミングt62以降において、ダミー画素P3Aは、制御信号VMAの電圧(電圧V10)に対応する電圧を信号SIG(0)として出力する(図24(C),(E))。
次に、コンパレータ45は、タイミングt63~t64の期間において、正入力端子および負入力端子を電気的に接続するゼロ調整を行う。そして、タイミングt64において、参照信号生成部51は、参照信号REFの電圧を電圧V1に変化させる(図24(D))。
そして、タイミングt65~t67の期間(P相期間TP)において、読出部40は、AD変換を行う。タイミングt65において、制御部50の参照信号生成部51は、参照信号REFの電圧を、電圧V1から所定の変化度合いで低下させ始める(図24(D))。AD変換部ADC(0)のカウンタ46は、タイミングt65においてカウント動作を開始し、タイミングt66においてカウント動作を停止する(図24(G))。
次に、タイミングt67において、参照信号生成部51は、参照信号REFの電圧の変化を停止させ、その後のタイミングt68において、参照信号REFの電圧を電圧V7に変化させる(図24(D))。そして、タイミングt69において、AD変換部ADC(0)のカウンタ46は、制御信号CCに基づいて、カウント値CNT(0)の極性を反転する(図24(G))。
次に、タイミングt70において、信号生成部22の電圧生成部30Aは、制御信号VMAの電圧を電圧V14に変化させる(図24(C))。これに応じて、信号SIG(0)の電圧は低下する(図24(E))。
次に、タイミングt71~t74の期間(D相期間TD)において、読出部40は、AD変換を行う。タイミングt71において、制御部50の参照信号生成部51は、参照信号REFの電圧を、電圧V7から所定の変化度合いで低下させ始める(図24(D))。AD変換部ADC(0)のカウンタ46は、タイミングt71においてカウント動作を開始し、タイミングt72においてカウント動作を停止する(図24(G))。そして、AD変換部ADC(0)のラッチ47は、このカウント値CNT(0)を保持するとともに、保持したカウント値CNT(0)をデジタルコードCODEとして出力する。
次に、タイミングt74において、参照信号生成部51は、参照信号REFの電圧の変化を停止させ、その後のタイミングt75において、参照信号REFの電圧を電圧V3に変化させる(図24(D))。
そして、タイミングt76において、走査部21は、制御信号SSELの電圧を高レベルから低レベルに変化させる(図24(B))。そして、タイミングt77において、AD変換部ADC(0)のカウンタ46は、制御信号CCに基づいて、カウント値CNT(0)を“0”にリセットする(図24(G))。
読出部40(読出部40S,40N)は、AD変換により生成したデジタルコードCODEを含む画像信号DATA0(画像信号DATA0S,DATA0N)を生成し、信号処理部60の診断部61は、この画像信号DATA0に基づいて診断処理を行う。
診断部61は、デジタルコードCODEに基づいて、例えば、参照信号生成部51が、D相期間TDにおける参照信号REFの電圧を変更することができるかどうかを診断することができる。すなわち、撮像装置1では、フォトダイオードPDの暗電流の寄与分を差し引くために、D相期間TDにおける参照信号REFの電圧オフセット量OFSを調節する。具体的には、撮像装置1は、暗電流が多い場合には、電圧オフセット量OFSを大きくする。診断部61は、例えば、D相期間TDにおける参照信号REFの電圧を変更した場合に取得したデジタルコードCODEに基づいて、参照信号生成部51が、D相期間TDにおける参照信号REFの電圧を変更することができるかどうかを診断することができる。
(自己診断A4)
撮像装置1は、非常に明るい被写体を撮像する場合に、P相期間TPの前の所定の期間において、信号SIGの電圧が低くなりすぎないように、ダミー画素P4を用いて信号SIGの電圧を制限する。以下に、この動作について説明する。
図25は、着目した撮像画素P1における読出駆動D2の一動作例を表すものであり、(A)は水平同期信号XHSの波形を示し、(B)は制御信号SUNの波形を示し、(C)は制御信号SRSTの波形を示し、(D)は制御信号STGの波形を示し、(E)は制御信号SSELの波形を示し、(F)は参照信号REF(参照信号REF1,REF2,REF3)の波形を示し、(G)は信号SIG(信号SIG1,SIG2,SIG3)の波形を示す。ここで、図25(F),(G)では、各信号の波形を同じ電圧軸で示している。図25(F),(G)において、参照信号REF1および信号SIG1は、通常の明るさの被写体を撮像した場合の参照信号REFおよび信号SIGである。すなわち、この参照信号REF1および信号SIG1は、図17に示したものと同じである。参照信号REF2および信号SIG2は、非常に明るい被写体を撮像した場合の参照信号REFおよび信号SIGであり、ダミー画素P4が機能しない場合の信号である。参照信号REF3および信号SIG3は、非常に明るい被写体を撮像した場合の参照信号REFおよび信号SIG信号であり、ダミー画素P4が機能する場合の信号である。
通常の明るさの被写体を撮像した場合には、AD変換部ADCは、図17の場合と同様に、参照信号REF1を用いて、信号SIG1に基づいて、P相期間TPにおいてAD変換を行うとともに、D相期間TDにおいてAD変換を行う。そして、AD変換部ADCは、図17の場合と同様に、カウント値CNTをデジタルコードCODEとして出力する。
一方、非常に明るい被写体を撮像した場合には、着目した撮像画素P1のフローティングディフュージョンFDに周辺の撮像画素P1のフォトダイオードPDから電子が漏れてくるため、タイミングt44以降において、信号SIG2が低くなる(図25(G))。コンパレータ45は、タイミングt43~t45の期間において、正入力端子および負入力端子を電気的に接続するゼロ調整を行うので、参照信号REF2もまた、この信号SIG2に合うように低くなる(図25(F))。その後、AD変換部ADCは、P相期間TPにおいてAD変換を行うとともに、D相期間TDにおいてAD変換を行う。しかしながら、この場合には、信号SIG2は低くなりすぎて飽和してしまい、信号SIG2はタイミングt51以降に変化することができない(図25(G))。よって、AD変換部ADCは、“0”に近い値をデジタルコードCODEとして出力する。すなわち、被写体は非常に明るいにもかかわらず、デジタルコードCODEは“0”に近い値になってしまう。
そこで、撮像装置1では、ダミー画素P4を用いて、P相期間TPの前の所定の期間における信号SIGの電圧を制限する。具体的には、信号生成部23は、タイミングt43~t45の期間において、制御信号SUNを高い電圧に設定する(図25(B))。ダミー画素P4は、タイミングt43~t45の期間において、この制御信号SUNに応じた電圧を信号線SGLに出力する。よって、このタイミングt43~t45の期間において、信号SIG3の電圧の低下が抑制される。このように、信号SIG3の電圧は、制御信号SUNの電圧に応じた電圧に制限される。コンパレータ45は、このタイミングt43~t45の期間において、正入力端子および負入力端子を電気的に接続するゼロ調整を行うので、参照信号REF3もまた、参照信号REF2に比べて高くなる。そして、タイミングt45において、制御信号SUNの電圧が低くなると(図25(B))、信号SIG3の電圧は、信号SIG2の電圧と同じ程度にまで低下する。この信号SIG3の電圧は、P相期間TPにおいて参照信号REF2よりも常に低い。よって、AD変換部ADCのカウンタ46は、P相期間TPにおいてカウント動作をし続け、クロック信号CLKの生成が停止されるタイミングt48において、所定のカウント値(フルカウント値)になる。このカウンタ46は、P相期間TPにおいてフルカウント値になった場合には、続くD相期間TDにおいて、コンパレータ45から出力される信号CMPにかかわらず、カウント動作をし続けるようになっている。これにより、撮像装置1は、被写体は非常に明るいにもかかわらず、デジタルコードCODEが“0”に近い値になることを回避することができる。
このように、撮像装置1は、非常に明るい被写体を撮像する場合に、P相期間TPの前の所定の期間において信号SIGの電圧が低くなりすぎないように、ダミー画素P4を用いて信号SIGの電圧を制限する。自己診断A4では、このような信号SIGの電圧を制限する機能が働くかどうかを診断する。具体的には、信号生成部22は、制御信号VMA,VMBを低い電圧に設定する。この例では、信号生成部22は、互いに同じ制御信号VMA,VMBを生成する。そして、ダミー画素P3が、ブランキング期間T20において、制御信号VMA,VMBの電圧に応じた信号SIGを信号線SGLに出力する。読出部40は、この信号SIGに基づいてAD変換を行うことにより、デジタルコードCODEを生成する。そして、診断部61が、このデジタルコードCODEに基づいて、診断処理を行い、エラーフラグ信号XERRおよび診断結果RESを出力する。以下に、この動作について詳細に説明する。
図26は、自己診断A4の一動作例を表すものであり、(A)は水平同期信号XHSの波形を示し、(B)は制御信号SSELの波形を示し、(C)は制御信号SUNの波形を示し、(D)は制御信号VMAの波形を示し、(E)は参照信号REFの波形を示し、(F)は信号線SGL(0)における信号SIG(信号SIG(0))の波形を示し、(G)はクロック信号CLKの波形を示す。
まず、タイミングt61において、ブランキング期間T20内の水平期間Hが開始すると、走査部21は、タイミングt62において、制御信号SSELの電圧を低レベルから高レベルに変化させる(図26(B))。
そして、タイミングt63において、信号生成部22は、制御信号VMAの電圧を低い電圧V15に変化させる(図26(D))。これに応じて、信号SIG(0)もまた低下する(図26(F))。また、このタイミングt63において、信号生成部23は、制御信号SUNの電圧を高い電圧に変化させる。これにより、信号SIG(0)の低下が抑制される(図26(F))。コンパレータ45は、このタイミングt63~t64の期間において、正入力端子および負入力端子を電気的に接続するゼロ調整を行う。
次にタイミングt64において、信号生成部23は、制御信号SUNの電圧を低い電圧に変化させる(図26(C))。これに応じて、信号SIG(0)は低下する(図26(F))。
そして、タイミングt65~t67の期間(P相期間TP)において、読出部40は、AD変換を行う。制御部50の参照信号生成部51は、タイミングt65において、参照信号REFの電圧を、電圧V1から所定の変化度合いで低下させ始める(図26(E))。AD変換部ADC(0)のカウンタ46は、タイミングt65においてカウント動作を開始する。しかしながら、信号SIG(0)の電圧は、P相期間TPにおいて参照信号REFよりも常に低いので、AD変換部ADC(0)のカウンタ46は、P相期間TPにおいてカウント動作をし続け、クロック信号CLKの生成が停止されるタイミングt67において、所定のカウント値(カウント値CNTF1)になる。これにより、カウンタ46は、次のD相期間TDにおいて、コンパレータ45から出力される信号CMPにかかわらず、カウント動作をし続けるべきと判断する。
タイミングt67において、参照信号生成部51は、参照信号REFの電圧の変化を停止させ、その後のタイミングt68において、参照信号REFの電圧を電圧V2に変化させる(図26(E))。そして、その後、図示しないが、AD変換部ADC(0)のカウンタ46は、制御信号CCに基づいて、カウント値CNT(0)の極性を反転する。
次に、タイミングt71~t74の期間(D相期間TD)において、読出部40は、AD変換を行う。制御部50の参照信号生成部51は、タイミングt71において、参照信号REFの電圧を、電圧V2から所定の変化度合いで低下させ始める(図26(E))。AD変換部ADC(0)のカウンタ46は、タイミングt71においてカウント動作を開始する。そして、カウンタ46は、D相期間TDにおいて、コンパレータ45から出力される信号CMPにかかわらず、カウント動作をし続ける。これにより、カウンタ46は、クロック信号CLKの生成が停止されるタイミングt74において、所定のカウント値(カウント値CNTF2)になる。そして、AD変換部ADC(0)は、このカウント値CNT(0)を、デジタルコードCODEとして出力する。
タイミングt74において、参照信号生成部51は、参照信号REFの電圧の変化を停止させ、その後のタイミングt75において、参照信号REFの電圧を電圧V3に変化させる(図26(E))。
そして、タイミングt76において、走査部21は、制御信号SSELの電圧を高レベルから低レベルに変化させる(図26(B))。その後、図示しないが、カウンタ46は、制御信号CCに基づいて、カウント値CNT(0)を“0”にリセットする。
読出部40(読出部40S,40N)は、AD変換により生成したデジタルコードCODEを含む画像信号DATA0(画像信号DATA0S,DATA0N)を生成し、信号処理部60の診断部61は、この画像信号DATA0に基づいて診断処理を行う。
診断部61は、デジタルコードCODEに基づいて、信号SIGの電圧を制限する機能が働くかどうかを診断する。具体的には、診断部61は、例えば、デジタルコードCODEが所定のカウント値(カウント値CNTF2)になっていることを確認することにより、信号SIGの電圧を制限する機能が働くことを診断することができる。
また、診断部61は、デジタルコードCODEに基づいて、カウンタ46の動作を確認することができる。具体的には、この動作では、カウンタ46がカウント動作をし続けることを利用して、診断部61は、P相期間TP終了後のカウント値CNT(0)やD相期間TD終了後のカウント値CNT(0)を確認することにより、カウンタ46がカウント動作を正常に行うことができるかどうかを診断する。また、診断部61は、P相期間TP終了後のカウント値CNT(0)と、D相期間TD開始前のカウント値CNT(0)を確認することにより、カウンタ46がカウント値CNTの極性を反転するかどうかを確認することができる。また、診断部61は、デジタルコードCODEに基づいて、D相期間TDの後に、カウンタ46がカウント値CNTを“0”にリセットすることができるかどうかを確認することができる。
(自己診断A5)
撮像装置1は、2つの電圧生成部30A,30Bが、それぞれ、温度センサ33を有している。これにより、撮像装置1は、温度を検出することができる。自己診断A5では、温度センサ33が、温度に応じた電圧Vtempを生成することができるかどうかを診断する。具体的には、信号生成部22は、ブランキング期間T20内のD相期間TDにおいて、温度センサ33から出力される電圧Vtempを制御信号VMA,VMBとして出力する。この例では、信号生成部22は、互いに同じ制御信号VMA,VMBを生成する。そして、ダミー画素P3が、ブランキング期間T20において、制御信号VMA,VMBの電圧に応じた信号SIGを信号線SGLに出力する。読出部40は、この信号SIGに基づいてAD変換を行うことにより、デジタルコードCODEを生成する。そして、診断部61が、このデジタルコードCODEに基づいて、診断処理を行い、エラーフラグ信号XERRおよび診断結果RESを出力する。以下に、この動作について詳細に説明する。
図27は、自己診断A5の一動作例を表すものであり、(A)は水平同期信号XHSの波形を示し、(B)は制御信号SSELの波形を示し、(C)は制御信号VMAの波形を示し、(D)は制御信号VMBの波形を示し、(E)は参照信号REFの波形を示し、(F)は信号線SGL(0)における信号SIG(信号SIG(0))の波形を示し、(G)は信号線SGL(1)における信号SIG(信号SIG(1))の波形を示し、(H)はクロック信号CLKの波形を示し、(I)は0番目のAD変換部ADC(0)のカウンタ46におけるカウント値CNT(カウント値CNT(0))を示し、(J)は1番目のAD変換部ADC(1)のカウンタ46におけるカウント値CNT(カウント値CNT(1))を示す。
まず、タイミングt61において、ブランキング期間T20内の水平期間Hが開始すると、走査部21は、タイミングt62において、制御信号SSELの電圧を低レベルから高レベルに変化させる(図27(B))。これにより、このタイミングt62以降において、ダミー画素P3Aは、制御信号VMAの電圧(電圧V10)に対応する電圧を信号SIG(0)として出力し(図27(C),(F))、ダミー画素P3Bは、制御信号VMBの電圧(電圧V10)に対応する電圧を信号SIG(1)として出力する(図27(D),(G))。
次に、コンパレータ45は、タイミングt63~t64の期間において、正入力端子および負入力端子を電気的に接続するゼロ調整を行う。そして、タイミングt64において、参照信号生成部51は、参照信号REFの電圧を電圧V1に変化させる(図27(E))。
そして、タイミングt65~t67の期間(P相期間TP)において、読出部40は、AD変換を行う。タイミングt65において、制御部50の参照信号生成部51は、参照信号REFの電圧を、電圧V1から所定の変化度合いで低下させ始める(図27(E))。AD変換部ADC(0)のカウンタ46は、タイミングt65においてカウント動作を開始し、タイミングt66においてカウント動作を停止する(図27(I))。同様に、AD変換部ADC(1)のカウンタ46は、タイミングt65においてカウント動作を開始し、タイミングt66においてカウント動作を停止する(図27(J))。
次に、タイミングt67において、参照信号生成部51は、参照信号REFの電圧の変化を停止させ、その後のタイミングt68において、参照信号REFの電圧を電圧V2に変化させる(図27(E))。
次に、タイミングt69において、AD変換部ADC(0)のカウンタ46は、制御信号CCに基づいて、カウント値CNT(0)の極性を反転し(図27(I))、同様に、AD変換部ADC(1)のカウンタ46は、制御信号CCに基づいて、カウント値CNT(1)の極性を反転する(図27(J))。
次に、タイミングt70において、信号生成部22の電圧生成部30Aは、電圧生成部30Aの温度センサ33から出力される電圧Vtempを制御信号VMAとして出力し(図27(C))、同様に、電圧生成部30Bは、電圧生成部30Bの温度センサ33から出力される電圧Vtempを制御信号VMBとして出力する(図27(D))。これに応じて、信号SIG(0),SIG(1)の電圧は低下する(図27(F),(G))。
次に、タイミングt71~t74の期間(D相期間TD)において、読出部40は、AD変換を行う。タイミングt71において、制御部50の参照信号生成部51は、参照信号REFの電圧を、電圧V2から所定の変化度合いで低下させ始める(図27(E))。AD変換部ADC(0)のカウンタ46は、タイミングt71においてカウント動作を開始し、タイミングt72においてカウント動作を停止する(図27(I))。そして、AD変換部ADC(0)は、このカウント値CNT(0)をデジタルコードCODEとして出力する。同様に、AD変換部ADC(1)のカウンタ46は、タイミングt71においてカウント動作を開始し、タイミングt72においてカウント動作を停止する(図27(J))。そして、AD変換部ADC(1)は、このカウント値CNT(1)をデジタルコードCODEとして出力する。
次に、タイミングt74において、参照信号生成部51は、参照信号REFの電圧の変化を停止させ、その後のタイミングt75において、参照信号REFの電圧を電圧V3に変化させる(図27(E))。
そして、タイミングt76において、走査部21は、制御信号SSELの電圧を高レベルから低レベルに変化させる(図27(B))。そして、タイミングt77において、AD変換部ADC(0)のカウンタ46は、制御信号CCに基づいて、カウント値CNT(0)を“0”にリセットし(図27(I))、同様に、AD変換部ADC(1)のカウンタ46は、制御信号CCに基づいて、カウント値CNT(1)を“0”にリセットする(図27(J))。
読出部40(読出部40S,40N)は、AD変換により生成したデジタルコードCODEを含む画像信号DATA0(画像信号DATA0S,DATA0N)を生成し、信号処理部60の診断部61は、この画像信号DATA0に基づいて診断処理を行う。
診断部61は、デジタルコードCODEに基づいて、例えば、電圧生成部30A,30Bの温度センサ33が、温度に応じた電圧Vtempを生成することができるかどうかを診断することができる。具体的には、診断部61は、例えば、生成したデジタルコードCODEの値が、所定の範囲内に収まっているかどうかを確認することにより、温度センサ33が、温度に応じた電圧Vtempを生成することができるかどうかを診断することができる。また、撮像装置1では、電圧生成部30A,30Bが、同じ回路構成を有する温度センサ33を有するようにしたので、電圧生成部30Aの温度センサ33が生成した電圧Vtempと、電圧生成部30Bの温度センサ33が生成した電圧Vtempを、互いにほぼ等しくすることができる。その結果、偶数番目の信号線SGL(例えば信号線SGL(0))の電圧と、その信号線SGLに隣接する奇数番目の信号線SGL(例えば信号線SGL(1))の電圧を互いにほぼ等しくすることができる。例えば、2つの温度センサ33のうちの一方が故障している場合には、デジタルコードCODEが異なるので、診断部61は、デジタルコードCODEに基づいて、温度センサ33に不具合が生じているかどうかを診断することができる。
(自己診断A6)
自己診断A6では、主に、複数のAD変換部ADCから出力されたデジタルコードCODEを、バス配線100(バス配線100S,100N)を介して、信号処理部60に供給することができるかどうかを診断する。具体的には、複数のAD変換部ADCのラッチ47が、ブランキング期間T20において、制御信号CCに基づいて所定のビットパターンを有するデジタルコードCODEを出力する。そして、制御部50が、制御信号SSWを生成し、読出部40Sの複数のスイッチ部SWが、制御信号SSWに基づいて、読出部40SのAD変換部ADCから出力されたデジタルコードCODEを画像信号DATA0Sとして信号処理部60に順次転送し、読出部40Nの複数のスイッチ部SWが、制御信号SSWに基づいて、読出部40NのAD変換部ADCから出力されたデジタルコードCODEを画像信号DATA0Nとして信号処理部60に順次転送する。そして、診断部61が、このデジタルコードCODEに基づいて、診断処理を行い、エラーフラグ信号XERRおよび診断結果RESを出力する。撮像装置1では、ビットパターンや、転送順序を変更しつつ、この一連の動作を複数回行う。以下に、この動作について詳細に説明する。
図28A,28Bは、自己診断A6の第1の診断A61におけるデータ転送動作の一例を模式的に表すものであり、図28Aは、読出部40Sにおける動作を示し、図28Bは、読出部40Nにおける動作を示す。この図28A,28Bにおいて、複数のAD変換部ADCのうちの網掛けされていないAD変換部ADC(例えばAD変換部ADC(0),ADC(1),ADC(4),ADC(5),…)は、制御信号CCに基づいて、すべてのビットが“0”であるデジタルコードCODEを出力する。また、網掛けされたAD変換部ADC(例えばAD変換部ADC(2),ADC(3),ADC(6),ADC(7),…)は、制御信号CCに基づいて、すべてのビットが“1”であるデジタルコードCODEを出力する。
図29は、図28A,28Bに示したデータ転送動作のタイミング図を表すものであり、(A)は水平同期信号XHSの波形を示し、(B)は制御信号SSWの偶数ビットを示し、(C)は制御信号SSWの奇数ビットを示し、(D)は画像信号DATA0Sを示し、(E)は画像信号DATA0Nを示す。図29の(D),(E)において、網掛けされておらず“L”が記載された部分は、すべてのビットが“0”(第1の論理値)であるデジタルコードCODEを示し、網掛けされ“H”が記載された部分は、すべてのビットが“1”(第2の論理値)であるデジタルコードCODEを示す。
制御信号SSWの偶数ビットは、図29(B)に示したように、制御信号SSW[0]、制御信号SSW[2]、制御信号SSW[4]の順にアクティブになる。これにより、読出部40Sでは、まず、0番目のAD変換部ADC(0)のデジタルコードCODEがバス配線100Sに供給される。AD変換部ADC(0)は、すべてのビットが“0”であるデジタルコードCODEを出力しているので(図28A)、このときの画像信号DATA0Sのすべてのビットが“0”になる(図29(D))。次に、2番目のAD変換部ADC(2)のデジタルコードCODEがバス配線100Sに供給される。AD変換部ADC(2)は、すべてのビットが“1”であるデジタルコードCODEを出力しているので(図28A)、このときの画像信号DATA0Sのすべてのビットが“1”になる(図29(D))。次に、4番目のAD変換部ADC(4)のデジタルコードCODEがバス配線100Sに供給される。AD変換部ADC(4)は、すべてのビットが“0”であるデジタルコードCODEを出力しているので(図28A)、このときの画像信号DATA0Sのすべてのビットが“0”になる(図29(D))。このようにして、左のAD変換部ADCから順に(転送順序F)、すべてのビットが“0”であるデジタルコードCODE、およびすべてのビットが“1”であるデジタルコードCODEが、交互に、画像信号DATA0Sとして信号処理部60に転送される(図28A,29(D))。
読出部40Nの動作についても同様であり、左のAD変換部ADCから順に(転送順序F)、すべてのビットが“0”であるデジタルコードCODE、およびすべてのビットが“1”であるデジタルコードCODEが、交互に、画像信号DATA0Nとして信号処理部60に転送される(図28B,29(E))。
信号処理部60の診断部61は、この画像信号DATA0(画像信号DATA0S,DATA0N)に基づいて、画像信号DATA0に含まれるデジタルコードCODEの各ビットを期待値と比較することにより、診断処理を行う。特に、第1の診断A61では、隣り合うAD変換部ADCに係るデジタルコードCODEが互いに異なるようにしたので、例えば、隣り合うAD変換部ADCに係るバス配線が互いにショートしていないかどうかを診断することができる。具体的には、診断部61は、例えば、読出部40S(図23A)において、0番目のAD変換部ADC(0)とバス配線100Sとを結ぶバス配線のうちのAD変換部ADC(2)に近い配線と、2番目のAD変換部ADC(2)とバス配線100Sとを結ぶバス配線のうちのAD変換部ADC(0)に近い配線とが、互いにショートしていないかどうかを診断することができる。
図30A,30Bは、自己診断A6の第2の診断A62におけるデータ転送動作の一例を模式的に表すものであり、図30Aは、読出部40Sにおける動作を示し、図30Bは、読出部40Nにおける動作を示す。図31は、図30A,30Bに示したデータ転送動作のタイミング図を表すものである。この第2の診断A62では、図30A,30Bに示したように、各AD変換部ADCが出力するデジタルコードCODEのビットパターンを、第1の診断A61(図28A,28B)におけるビットパターンと異なるパターンにしている。具体的には、例えばAD変換部ADC(0),ADC(1),ADC(4),ADC(5),…は、第1の診断A61では、すべてのビットが“0”であるデジタルコードCODEを出力したが(図28A,28B)、第2の診断A62では、すべてのビットが“1”であるデジタルコードCODEを出力する。同様に、例えばAD変換部ADC(2),ADC(3),ADC(6),ADC(7),…は、第1の診断A61では、すべてのビットが“1”であるデジタルコードCODEを出力したが(図28A,28B)、第2の診断A62では、すべてのビットが“0”であるデジタルコードCODEを出力する。
読出部40Sでは、まず、0番目のAD変換部ADC(0)のデジタルコードCODEがバス配線100Sに供給される(図31(B))。AD変換部ADC(0)は、すべてのビットが“1”であるデジタルコードCODEを出力しているので(図30A)、このときの画像信号DATA0Sのすべてのビットが“1”になる(図31(D))。次に、2番目のAD変換部ADC(2)のデジタルコードCODEがバス配線100Sに供給される(図31(B))。AD変換部ADC(2)は、すべてのビットが“0”であるデジタルコードCODEを出力しているので(図30A)、このときの画像信号DATA0Sのすべてのビットが“0”になる(図31(D))。次に、4番目のAD変換部ADC(4)のデジタルコードCODEがバス配線100Sに供給される(図31(B))。AD変換部ADC(4)は、すべてのビットが“1”であるデジタルコードCODEを出力しているので(図30A)、このときの画像信号DATA0Sのすべてのビットが“0”になる(図31(D))。このようにして、左のAD変換部ADCから順に(転送順序F)、すべてのビットが“1”であるデジタルコードCODE、およびすべてのビットが“0”であるデジタルコードCODEが、交互に、画像信号DATA0Sとして信号処理部60に転送される(図30A,31(D))。
読出部40Nの動作についても同様であり、左のAD変換部ADCから順に(転送順序F)、すべてのビットが“1”であるデジタルコードCODE、およびすべてのビットが“0”であるデジタルコードCODEが、交互に、画像信号DATA0Nとして信号処理部60に転送される(図30B,31(E))。
信号処理部60の診断部61は、第1の診断A61(図28A,28B,29)に加え、この第2の診断A62(図30A,30B,31)を行うことにより、AD変換部ADCに係るバス配線が、電源線やグランド線などの他の配線とショートしているかどうかを診断することができる。すなわち、このようなショートが生じている場合には、バス配線のうちのショートしている配線の電圧が固定される。診断部61は、第1の診断A61と、第2の診断A62とで、各AD変換部ADCが出力するデジタルコードCODEのビットパターンが異なるようにしたので、このような電圧の固定が生じているかどうかを検出することができる。その結果、診断部61は、AD変換部ADCに係るバス配線が他の配線とショートしているかどうかを診断することができる。
図32A,32Bは、自己診断A6の第3の診断A63におけるデータ転送動作の一例を模式的に表すものであり、図32Aは、読出部40Sにおける動作を示し、図32Bは、読出部40Nにおける動作を示す。図33は、図32A,32Bに示したデータ転送動作のタイミング図を表すものである。この第3の診断A63では、転送順序Fが第1の診断A61と異なるものである。
制御信号SSWの偶数ビットは、図33(B)に示したように、制御信号SSW[4094]、制御信号SSW[4092]、制御信号SSW[4090]の順にアクティブになる。これにより、読出部40Sでは、まず、4094番目のAD変換部ADC(4094)のデジタルコードCODEがバス配線100Sに供給される。AD変換部ADC(4094)は、すべてのビットが“1”であるデジタルコードCODEを出力しているので、このときの画像信号DATA0Sのすべてのビットが“1”になる(図33(D))。次に、4092番目のAD変換部ADC(4092)のデジタルコードCODEがバス配線100Sに供給される(図33(B))。AD変換部ADC(4092)は、すべてのビットが“0”であるデジタルコードCODEを出力しているので、このときの画像信号DATA0Sのすべてのビットが“0”になる(図33(D))。次に、4090番目のAD変換部ADC(4090)のデジタルコードCODEがバス配線100Sに供給される(図33(B))。AD変換部ADC(4090)は、すべてのビットが“1”であるデジタルコードCODEを出力しているので、このときの画像信号DATA0Sのすべてのビットが“1”になる(図33(D))。このようにして、右のAD変換部ADCから順に(転送順序F)、すべてのビットが“1”であるデジタルコードCODE、およびすべてのビットが“0”であるデジタルコードCODEが、交互に、画像信号DATA0Sとして信号処理部60に転送される(図32A,33(D))。
読出部40Nの動作についても同様であり、右のAD変換部ADCから順に(転送順序F)、すべてのビットが“1”であるデジタルコードCODE、およびすべてのビットが“0”であるデジタルコードCODEが、交互に、画像信号DATA0Nとして信号処理部60に転送される(図32B,33(E))。
信号処理部60の診断部61は、この第3の診断A63を行うことにより、複数のAD変換部ADCから信号処理部60にデジタルコードCODEを転送する際の転送順序を変更することができるかどうかを診断することができる。
以上のように、撮像装置1では、ブランキング期間T20において自己診断を行うようにしたので、被写体を撮像する撮像動作を行いながら、この撮像動作に影響を与えることなく、撮像装置1の不具合の有無を診断することができる。
撮像装置1では、ブランキング期間T20において、信号生成部22が制御信号VMA,VMBを生成し、ダミー画素領域R3の複数のダミー画素P3が、制御信号VMA,VMBに応じた信号SIGを信号線SGLに出力するようにしたので、例えば、信号線SGLの断線など、画素アレイ10に生じた不具合をも診断することができる。また、撮像装置1では、制御信号VMA,VMBの電圧を様々な電圧に設定できるようにしたので、撮像装置1における様々な動作を診断することができるので、診断性能を高めることができる。
また、撮像装置1では、ブランキング期間T20において、複数のAD変換部ADCが、制御信号CCに基づいて所定のビットパターンを有するデジタルコードCODEを出力するようにしたので、複数のAD変換部ADCから信号処理部60へのデータ転送動作を診断することができる。特に、撮像装置1では、AD変換部ADCが出力するデジタルコードCODEのビットパターンや、転送順序を変更できるようにしたので、診断性能を高めることができる。
また、撮像装置1では、図9,10に示したように、エラーフラグ信号XERRを、診断部61における診断処理により不具合が確認されない場合には高レベル(電源電圧VDDM)になり、不具合が確認された場合には低レベル(接地電圧VSSM)になる、いわゆる負論理の信号にしたので、不具合が生じたことをより確実に通知することができる。すなわち、例えば、エラーフラグ信号を、診断部61における診断処理により不具合が確認されない場合には低レベルになり、不具合が確認された場合には高レベルになる、いわゆる正論理の信号にした場合には、例えば電源電圧VDDMを生成する回路に不具合が生じ、あるいは撮像装置への電源電圧VDDMの供給経路が断線することにより、電源電圧VDDMが撮像装置に供給されなかった場合に、エラーフラグ信号は低レベルになる。よって、このエラーフラグ信号をモニタする監視装置は、エラーフラグ信号が低レベルであるので、不具合が生じていないと判断してしまう。
一方、本実施の形態に係る撮像装置1では、エラーフラグ信号XERRを、いわゆる負論理の信号にした。これにより、例えば、電源電圧VDDMが撮像装置に供給されなかった場合に、エラーフラグ信号XERRが低レベルになると、このエラーフラグ信号XERRをモニタする監視装置は、不具合が生じていると判断することができる。すなわち、撮像装置1は、診断部61が検出した不具合に加え、電源電圧VDDMが供給されないような不具合をも通知することができる。このように、撮像装置1では、エラーフラグ信号XERRを、いわゆる負論理の信号にしたので、不具合が生じたことをよりより確実に通知することができる。
また、エラーフラグ信号XERRが電源電圧VDDMと接地電圧VSSMとの間で遷移するようにした。これにより、診断部61が不具合を検出していない場合には、出力バッファBFOUTはエラーフラグ信号XERRの電圧を電源電圧VDDMにする。つまり、診断部61が不具合を検出していない場合におけるエラーフラグ信号XERRの電圧値は、撮像装置1に供給された電源電圧VDDMの電圧値になる。よって、このエラーフラグ信号XERRをモニタする監視装置は、このときのエラーフラグ信号XERRの電圧値をモニタすることにより、撮像装置1に、所望の電源電圧VDDMが供給されているかどうかを確認することができる。すなわち、例えば、電源電圧VDDMを生成する回路に不具合が生じ、電源電圧VDDMが所望の電圧からずれた場合には、エラーフラグ信号XERRの電圧値は、そのずれた電圧に応じた電圧になるので、監視回路は、撮像装置1に所望の電源電圧VDDMが供給されていないことを確認することができる。このように、撮像装置1では、診断部61が不具合を検出していない場合に、撮像装置1に供給された電源電圧VDDMをエラーフラグ信号XERRとして出力することができるので、所望の電源電圧VDDMが供給されているかどうかをも含めて、不具合が生じたことをより確実に通知することができる。
[効果]
以上のように本実施の形態では、エラーフラグ信号XERRを、診断部61における診断処理により不具合が確認されない場合には高レベルになり、不具合が確認された場合には低レベルになる、いわゆる負論理の信号にしたので、電源電圧が供給されないような不具合をも通知することができるため、不具合が生じたことをより確実に通知することができる
本実施の形態では、エラーフラグ信号が電源電圧VDDMと接地電圧VSSMとの間で遷移するようにしたので、診断部が不具合を検出していない場合に、撮像装置に供給された電源電圧VDDMをエラーフラグ信号として出力するので、不具合が生じたことをより確実に通知することができる
[変形例1]
上記実施の形態では、例えば、画素アレイ10の通常画素領域R1において、垂直方向(図1における縦方向)に隣り合う2つの撮像画素P1(撮像画素P1A,P1B)を、同じ制御線TGLL,SELL,RSTLに接続したが、これに限定されるものではない。以下に、本変形例について、いくつか例を挙げて説明する。
図34は、本変形例に係る撮像装置1Aの画素アレイ10Aにおける通常画素領域R1の一例を表すものである。この例では、水平方向(図34における横方向)において、1列分の撮像画素P1と4本の信号線SGLとが交互に配置されている。偶数番目の信号線SGL(SGL(0),SGL(2),…)は、読出部40Sに接続され、奇数番目の信号線SGL(SGL(1),SGL(3),…)は、読出部40Nに接続されている。複数の撮像画素P1は、複数の撮像画素P1Aと、複数の撮像画素P1Bと、複数の撮像画素P1Cと、複数の撮像画素P1Dとを含んでいる。撮像画素P1A~P1Dは、互いに同じ回路構成を有するものである。撮像画素P1A~P1Dは、垂直方向(図34における縦方向)において、この順で巡回するように配置されている。撮像画素P1A~P1Dは、同じ制御線TGLL,SELL,RSTLに接続されている。撮像画素P1Aは、例えば信号線SGL(0)に接続され、撮像画素P1Bは、例えば信号線SGL(1)に接続され、撮像画素P1Cは、例えば信号線SGL(2)に接続され、撮像画素P1Dは、例えば信号線SGL(3)に接続されている。なお、以上では、通常画素領域R1を例に挙げて説明したが、遮光画素領域R21,R22、ダミー画素領域R3,R4についても同様である。
図35は、本変形例に係る他の撮像装置1Bの画素アレイ10Bにおける通常画素領域の一例を表すものである。この例では、水平方向(図35における横方向)において、1列分の撮像画素P1と1本の信号線SGLとが交互に配置されている。偶数番目の信号線SGL(SGL(0),SGL(2),…)は、読出部40Sに接続され、奇数番目の信号線SGL(SGL(1),SGL(3),…)は、読出部40Nに接続されている。垂直方向(図35における縦方向)に並設された撮像画素P1は、互いに異なる制御線TGLL,SELL,RSTLに接続されている。なお、以上では、通常画素領域R1を例に挙げて説明したが、遮光画素領域R21,R22、ダミー画素領域R3,R4についても同様である。
[変形例2]
上記実施の形態では、読出部40Sに1つのバス配線100Sを設けるとともに、読出部40Nに1つのバス配線100Nを設けたが、これに限定されるものではない。これに代えて、例えば、読出部40S,40Nのそれぞれに、複数のバス配線を設けてもよい。以下に、本変形例について詳細に説明する。
図36A,36Bは、本変形例に係る撮像装置1Cの読出部40C(読出部40SC,40NC)の一構成例を模式的に表すものであり、図36Aは、読出部40SCの一例を示し、図36Bは、読出部40NCの一例を示す。
読出部40SCは、図36Aに示したように、4つのバス配線100S0,100S1,100S2,100S3を有している。バス配線100S0は、複数のデジタルコードCODEを画像信号DATA0Sとして信号処理部60に供給するものであり、バス配線100S1は、複数のデジタルコードCODEを画像信号DATA1Sとして信号処理部60に供給するものであり、バス配線100S2は、複数のデジタルコードCODEを画像信号DATA2Sとして信号処理部60に供給するものであり、バス配線100S3は、複数のデジタルコードCODEを画像信号DATA3Sとして信号処理部60に供給するものである。
読出部40SC(図36A)において、AD変換部ADC(0),ADC(2),ADC(4),ADC(6)は、バス配線100S0に対応づけられている。具体的には、AD変換部ADC(0),ADC(2),ADC(4),ADC(6)は、対応するスイッチ部SWがオン状態である場合に、デジタルコードCODEをバス配線100S0にそれぞれ供給する。同様に、AD変換部ADC(8),ADC(10),ADC(12),ADC(14)は、バス配線100S1に対応づけられ、AD変換部ADC(16),ADC(18),ADC(20),ADC(22)は、バス配線100S2に対応づけられ、AD変換部ADC(24),ADC(26),ADC(28),ADC(30)は、バス配線100S3に対応づけられている。また、AD変換部ADC(32),ADC(34),ADC(36),ADC(38)は、バス配線100S0に対応づけられ、AD変換部ADC(40),ADC(42),ADC(44),ADC(46)は、バス配線100S1に対応づけられ、AD変換部ADC(48),ADC(50),ADC(52),ADC(54)は、バス配線100S2に対応づけられ、AD変換部ADC(56),ADC(58),ADC(60),ADC(62)は、バス配線100S3に対応づけられている。AD変換部ADC(64)以降の偶数番目のAD変換部ADCについても同様である。
読出部40NCは、図36Bに示したように、4つのバス配線100N0,100N1,100N2,100N3を有している。バス配線100N0は、複数のデジタルコードCODEを画像信号DATA0Nとして信号処理部60に供給するものであり、バス配線100N1は、複数のデジタルコードCODEを画像信号DATA1Nとして信号処理部60に供給するものであり、バス配線100N2は、複数のデジタルコードCODEを画像信号DATA2Nとして信号処理部60に供給するものであり、バス配線100N3は、複数のデジタルコードCODEを画像信号DATA3Nとして信号処理部60に供給するものである。
読出部40NC(図36B)において、AD変換部ADC(1),ADC(3),ADC(5),ADC(7)は、バス配線100N0に対応づけられている。具体的には、AD変換部ADC(1),ADC(3),ADC(5),ADC(7)は、対応するスイッチ部SWがオン状態である場合に、デジタルコードCODEをバス配線100N0にそれぞれ供給する。同様に、AD変換部ADC(9),ADC(11),ADC(13),ADC(15)は、バス配線100N1に対応づけられ、AD変換部ADC(17),ADC(19),ADC(21),ADC(23)は、バス配線100N2に対応づけられ、AD変換部ADC(25),ADC(27),ADC(29),ADC(31)は、バス配線100N3に対応づけられている。また、AD変換部ADC(33),ADC(35),ADC(37),ADC(39)は、バス配線100N0に対応づけられ、AD変換部ADC(41),ADC(43),ADC(45),ADC(47)は、バス配線100N1に対応づけられ、AD変換部ADC(49),ADC(51),ADC(53),ADC(55)は、バス配線100N2に対応づけられ、AD変換部ADC(57),ADC(59),ADC(61),ADC(63)は、バス配線100N3に対応づけられている。AD変換部ADC(65)以降の奇数番目のAD変換部ADCについても同様である。
このように、撮像装置1Cでは、読出部40SC,40NCのそれぞれに複数のバス配線を設けるようにしたので、複数のAD変換部ADCから信号処理部60へのデータ転送時間を短くすることができる。
自己診断を行う場合には、複数のAD変換部ADCのうちの網掛けされていないAD変換部ADC(例えばAD変換部ADC(0),ADC(1),ADC(4),ADC(5),…)は、ブランキング期間T20において、制御信号CCに基づいて、すべてのビットが“0”であるデジタルコードCODEを出力する。また、網掛けされたAD変換部ADC(例えばAD変換部ADC(2),ADC(3),ADC(6),ADC(7),…)は、ブランキング期間T20において、制御信号CCに基づいて、すべてのビットが“1”であるデジタルコードCODEを出力する。
図37は、本変形例に係るデータ転送動作のタイミング図を表すものであり、(A)は水平同期信号XHSの波形を示し、(B)は制御信号SSWの偶数ビットを示し、(C)は制御信号SSWの奇数ビットを示し、(D)~(G)は画像信号DATA0S,DATA1S,DATA2S,DATA3Sをそれぞれ示し、(H)~(K)は画像信号DATA0N,DATA1N,DATA2N,DATA3Nをそれぞれ示す。
制御信号SSWの偶数ビットでは、図37(B)に示したように、まず、制御信号SSW[0],SSW[8],SSW[16],SSW[24]がアクティブになる。これにより、読出部40SCでは、AD変換部ADC(0)のデジタルコードCODEがバス配線100S0に供給され、AD変換部ADC(8)のデジタルコードCODEがバス配線100S1に供給され、AD変換部ADC(16)のデジタルコードCODEがバス配線100S2に供給され、AD変換部ADC(24)のデジタルコードCODEがバス配線100S3に供給される。AD変換部ADC(0),ADC(8),ADC(16),ADC(24)は、すべてのビットが“0”であるデジタルコードCODEをそれぞれ出力しているので(図36A)、このときの画像信号DATA0S,DATA1S,DATA2S,DATA3Sのすべてのビットが“0”になる(図37(D)~(G))。
次に、制御信号SSWの偶数ビットでは、制御信号SSW[2],SSW[10],SSW[18],SSW[26]がアクティブになる(図37(B))。これにより、読出部40SCでは、AD変換部ADC(2)のデジタルコードCODEがバス配線100S0に供給され、AD変換部ADC(10)のデジタルコードCODEがバス配線100S1に供給され、AD変換部ADC(18)のデジタルコードCODEがバス配線100S2に供給され、AD変換部ADC(26)のデジタルコードCODEがバス配線100S3に供給される。AD変換部ADC(2),ADC(10),ADC(18),ADC(26)は、すべてのビットが“1”であるデジタルコードCODEをそれぞれ出力しているので(図36A)、このときの画像信号DATA0S,DATA1S,DATA2S,DATA3Sのすべてのビットが“1”になる(図37(D)~(G))。
このようにして、すべてのビットが“0”であるデジタルコードCODE、およびすべてのビットが“1”であるデジタルコードCODEが、交互に、画像信号DATA0Sとして信号処理部60に転送される(図37(D))。画像信号DATA1S,DATA2S,DATA3Sについても同様であり(図37(E)~(G))、画像信号DATA0N,DATA1N,DATA2N,DATA3Nについても同様である(図37(I)~(K))。
[変形例3]
上記実施の形態では、デジタルコードCODEのすべてのビットを”0”または”1”にしたが、これに限定されるものではない。以下に、本変形例について詳細に説明する。
図38A,38Bは、本変形例に係る撮像装置1Dの読出部40D(読出部40SD,40ND)の一構成例を模式的に表すものであり、図38Aは、読出部40SDの一例を示し、図38Bは、読出部40NDの一例を示す。
読出部40SDは、図38Aに示したように、4つのバス配線100S0,100S1,100S2,100S3を有している。この例では、AD変換部ADC(0),ADC(2),ADC(4)は、バス配線100S0に対応づけられ、AD変換部ADC(6),ADC(8),ADC(10)は、バス配線100S1に対応づけられ、AD変換部ADC(12),ADC(14),ADC(16)は、バス配線100S2に対応づけられ、AD変換部ADC(18),ADC(20),ADC(22)は、バス配線100S3に対応づけられている。また、AD変換部ADC(24),ADC(26),ADC(28)は、バス配線100S0に対応づけられ、AD変換部ADC(30),ADC(32),ADC(34)は、バス配線100S1に対応づけられ、AD変換部ADC(36),ADC(38),ADC(40)は、バス配線100S2に対応づけられ、AD変換部ADC(42),ADC(44),ADC(46)は、バス配線100S3に対応づけられている。AD変換部ADC(48)以降の偶数番目のAD変換部ADCについても同様である。
読出部40NDは、図38Bに示したように、4つのバス配線100N0,100N1,100N2,100N3を有している。この例では、AD変換部ADC(1),ADC(3),ADC(5)は、バス配線100N0に対応づけられ、AD変換部ADC(7),ADC(9),ADC(11)は、バス配線100N1に対応づけられ、AD変換部ADC(13),ADC(15),ADC(17)は、バス配線100N2に対応づけられ、AD変換部ADC(19),ADC(21),ADC(23)は、バス配線100N3に対応づけられている。また、AD変換部ADC(25),ADC(27),ADC(29)は、バス配線100N0に対応づけられ、AD変換部ADC(31),ADC(33),ADC(35)は、バス配線100N1に対応づけられ、AD変換部ADC(37),ADC(39),ADC(41)は、バス配線100N2に対応づけられ、AD変換部ADC(43),ADC(45),ADC(47)は、バス配線100N3に対応づけられている。AD変換部ADC(49)以降の奇数番目のAD変換部ADCについても同様である。
自己診断を行う場合には、複数のAD変換部ADCのうちの網掛けされていないAD変換部ADC(例えばAD変換部ADC(0),ADC(1),ADC(4),ADC(5),…)は、ブランキング期間T20において、制御信号CCに基づいて、ビットパターンA(=0101010101010b)を有するデジタルコードCODEを出力する。また、網掛けされたAD変換部ADC(例えばAD変換部ADC(2),ADC(3),ADC(6),ADC(7),…)は、ブランキング期間T20において、制御信号CCに基づいて、ビットパターンB(=1010101010101b)を有するデジタルコードCODEを出力する。ビットパターンA,Bは、1/0交番パターンであり、互いに反転したパターンである。
図39は、本変形例に係るデータ転送動作のタイミング図を表すものであり、(A)は水平同期信号XHSの波形を示し、(B)は制御信号SSWの偶数ビットを示し、(C)は制御信号SSWの奇数ビットを示し、(D)~(G)は画像信号DATA0S,DATA1S,DATA2S,DATA3Sをそれぞれ示し、(H)~(K)は画像信号DATA0N,DATA1N,DATA2N,DATA3Nをそれぞれ示す。図39の(D)~(K)において、網掛けされておらず“A”が記載された部分は、ビットパターンA(=0101010101010b)を有するデジタルコードCODEを示し、網掛けされ“B”が記載された部分は、ビットパターンB(=1010101010101b)を有するデジタルコードCODEを示す。
制御信号SSWの偶数ビットでは、図39(B)に示したように、まず、制御信号SSW[0],SSW[6],SSW[12],SSW[18]がアクティブになる。これにより、読出部40SDでは、AD変換部ADC(0)のデジタルコードCODEがバス配線100S0に供給され、AD変換部ADC(6)のデジタルコードCODEがバス配線100S1に供給され、AD変換部ADC(12)のデジタルコードCODEがバス配線100S2に供給され、AD変換部ADC(18)のデジタルコードCODEがバス配線100S3に供給される。AD変換部ADC(0),ADC(12)は、ビットパターンAを有するデジタルコードCODEをそれぞれ出力しているので(図38A)、このときの画像信号DATA0S,DATA2SのデジタルコードCODEは、ビットパターンAを有する(図39(D),(F))。また、AD変換部ADC(6),ADC(18)は、ビットパターンBを有するデジタルコードCODEをそれぞれ出力しているので(図38A)、このときの画像信号DATA1S,DATA3SのデジタルコードCODEは、ビットパターンBを有する(図39(E),(G))。
次に、制御信号SSWの偶数ビットでは、制御信号SSW[2],SSW[8],SSW[14],SSW[20]がアクティブになる(図39(B))。これにより、読出部40SDでは、AD変換部ADC(2)のデジタルコードCODEがバス配線100S0に供給され、AD変換部ADC(8)のデジタルコードCODEがバス配線100S1に供給され、AD変換部ADC(14)のデジタルコードCODEがバス配線100S2に供給され、AD変換部ADC(20)のデジタルコードCODEがバス配線100S3に供給される。AD変換部ADC(2),ADC(14)は、ビットパターンBを有するデジタルコードCODEをそれぞれ出力しているので(図38A)、このときの画像信号DATA0S,DATA2SのデジタルコードCODEは、ビットパターンBを有する(図39(D),(F))。また、AD変換部ADC(8),ADC(20)は、ビットパターンAを有するデジタルコードCODEをそれぞれ出力しているので(図38A)、このときの画像信号DATA1S,DATA3SのデジタルコードCODEは、ビットパターンAを有する(図39(E),(G))。
このようにして、ビットパターンAを有するデジタルコードCODE、およびビットパターンBを有するデジタルコードCODEが、交互に、画像信号DATA0Sとして信号処理部60に転送される(図39(D))。画像信号DATA2S,DATA0N,DATA2Nについても同様である(図39(F),(H),(J))。また、ビットパターンBを有するデジタルコードCODE、およびビットパターンAを有するデジタルコードCODEが、交互に、画像信号DATA01Sとして信号処理部60に転送される(図39(E))。画像信号DATA3S,DATA1N,DATA3Nについても同様である(図39(G),(I),(K))。
このように、撮像装置1Dでは、デジタルコードCODEのビットパターンを1/0交番パターンにしたので、例えば、AD変換部ADCのそれぞれに係るバス配線のうちの隣接する配線が互いにショートしていないかどうかを診断することができる。具体的には、診断部61は、例えば、読出部40SD(図38A)において、0番目のAD変換部ADC(0)とバス配線100S0とを結ぶバス配線における、互いに隣り合う配線が互いにショートしていないかどうかを診断することができる。
[変形例4]
上記実施の形態において、診断部61は、上述した様々な自己診断に加え、電源電圧VDDHの電圧値を検出し、その電圧値が所望の電圧値であるかどうかの診断をも行うようにしてもよい。本変形例に係る撮像装置1Eでは、例えば、図40に示すように、撮像装置1を2枚の半導体基板201,202に形成している。この例では、電源電圧VDDHは、まず半導体基板202に供給される。そして、半導体基板202に供給された電源電圧VDDHは、TCV(Through Chip Via)などのビア203を介して半導体基板201に供給される。半導体基板201に供給された電源電圧VDDHは、画素アレイ10内の各画素Pに供給される。また、半導体基板201に供給された電源電圧VDDHは、さらに別のビア203を介して半導体基板202に供給される。そして、診断部61は、このようにして半導体基板202に供給された電源電圧VDDHの電圧値が所望の電圧値であるかどうかを診断する。なお、この例では、本変形例を電源電圧VDDHに適用したが、これに限定されるものではなく、電源電圧VDDM,VDDLにも適用してもよい。これにより、診断部61は、半導体基板201と半導体基板202との間のビア203による電気的な接続をも診断することができる。
[変形例5]
上記実施の形態では、撮像画素P1および遮光画素P2のそれぞれに1つのフォトダイオードを設けたが、これに限定されるものではない。以下に、本変形例に係る撮像装置2について、詳細に説明する。
図1に示したように、撮像装置2は、画素アレイ90と、走査部91と、制御部98と、信号処理部99とを備えている。
図41は、画素アレイ90における撮像画素P1の一構成例を表すものである。なお、遮光画素P2についても同様である。本変形例に係る画素アレイ90は、複数の制御線TGLLと、複数の制御線FDGLと、複数の制御線RSTLと、複数の制御線FCGLと、複数の制御線TGSLと、複数の制御線SELLと、複数の信号線SGLとを有している。制御線TGLLは、水平方向に延伸するものであり、制御線TGLLには、走査部91により制御信号STGLが印加される。制御線FDGLは、水平方向(図41における横方向)に延伸するものであり、制御線FDGLには、走査部91により制御信号SFDGが印加される。制御線RSTLは、水平方向に延伸するものであり、制御線RSTLには、走査部91により制御信号SRSTが印加される。制御線FCGLは、水平方向に延伸するものであり、制御線FCGLには、走査部91により制御信号SFCGが印加される。制御線TGSLは、水平方向に延伸するものであり、制御線TGSLには、走査部91により制御信号STGSが印加される。制御線SELLは、水平方向に延伸するものであり、制御線SELLには、走査部91により制御信号SSELが印加される。信号線SGLは、垂直方向(図41における縦方向)に延伸するものであり、読出部40に接続されている。
撮像画素P1は、フォトダイオードPD1と、トランジスタTGLと、フォトダイオードPD2と、トランジスタTGSと、容量素子FCと、トランジスタFCG,RST,FDGと、フローティングディフュージョンFDと、トランジスタAMP,SELとを有している。トランジスタTGL,TGS,FCG,RST,FDG,AMP,SELは、この例ではN型のMOSトランジスタである。
フォトダイオードPD1は、受光量に応じた量の電荷を生成して内部に蓄積する光電変換素子である。フォトダイオードPD1が光を受光可能な受光領域は、フォトダイオードPD2が光を受光可能な受光領域よりも広いものである。フォトダイオードPD1のアノードは接地され、カソードはトランジスタTGLのソースに接続されている。
トランジスタTGLのゲートは制御線TGLLに接続され、ソースはフォトダイオードPD1のカソードに接続され、ドレインはフローティングディフュージョンFDに接続されている。
フォトダイオードPD2は、受光量に応じた量の電荷を生成して内部に蓄積する光電変換素子である。フォトダイオードPD2が光を受光可能な受光領域は、フォトダイオードPD1が光を受光可能な受光領域よりも狭いものである。フォトダイオードPD2のアノードは接地され、カソードはトランジスタTGSのソースに接続されている。
トランジスタTGSのゲートは制御線TGSLに接続され、ソースはフォトダイオードPD2のカソードに接続され、ドレインは容量素子FCの一端、およびトランジスタFCGのソースに接続されている。
容量素子FCの一端はトランジスタTGSのドレインおよびトランジスタFCGのソースに接続され、他端には電源電圧VDDが供給されている。
トランジスタFCGのゲートは制御線FCGLに接続され、ソースは容量素子FCの一端およびトランジスタTGSのドレインに接続され、ドレインはトランジスタRSTのソースおよびトランジスタFDGのドレインに接続されている。
トランジスタRSTのゲートは制御線RSTLに接続され、ドレインには電源電圧VDDが供給され、ソースは、トランジスタFCG,FDGのドレインに接続されている。
トランジスタFDGのゲートは制御線FDGLに接続され、ドレインはトランジスタRSTのソースおよびトランジスタFCGのドレインに接続され、ソースはフローティングディフュージョンFDに接続されている。
フローティングディフュージョンFDは、フォトダイオードPD1,PD2から供給された電荷を蓄積するものであり、例えば、半導体基板の表面に形成された拡散層を用いて構成される。この図41では、フローティングディフュージョンFDを、容量素子のシンボルを用いて示している。
この構成により、撮像画素P1では、制御線SELLに印加された制御信号SSELに基づいてトランジスタSELがオン状態になることにより、撮像画素P1が信号線SGLと電気的に接続される。これにより、トランジスタAMPは、読出部40の電流源44に接続され、いわゆるソースフォロワとして動作する。そして、撮像画素P1は、フローティングディフュージョンFDにおける電圧に応じた画素電圧VPを、信号SIGとして、信号線SGLに出力する。具体的には、撮像画素P1は、後述するように、いわゆる水平期間H内の8つの期間(変換期間T1~T8)において、8つの画素電圧VP(VP1~VP8)を順次出力するようになっている。
図42は、画素アレイ10におけるフォトダイオードPD1,PD2の配列の一例を表すものである。図42において、“R”は赤色のカラーフィルタを示し、“G”は緑色のカラーフィルタを示し、“B”は青色のカラーフィルタを示す。各撮像画素P1において、フォトダイオードPD1の右上にフォトダイオードPD2が形成されている。各撮像画素P1における2つのフォトダイオードPD1,PD2には、同じ色のカラーフィルタが形成されている。この例では、フォトダイオードPD1は8角形の形状を有し、フォトダイオードPD2は4角形の形状を有している。この図に示したように、フォトダイオードPD1が光を受光可能な受光領域は、フォトダイオードPD2が光を受光可能な受光領域よりも広いものである。
走査部91(図1)は、制御信号STGL,SFDG,SRST,SFCG,STGS,SSELをそれぞれ生成するものである。
制御部98は、走査部91、信号生成部22,23、読出部40(読出部40S,40N)、および信号処理部99に制御信号を供給し、これらの回路の動作を制御することにより、撮像装置2の動作を制御するものである。
信号処理部99は、読出部40から供給された画像信号DATA0(画像信号DATA0S,DATA0N)に基づいて、画像合成処理を行う機能を有している。この画像合成処理では、信号処理部99は、読出部40から供給された、AD変換を行う8つの期間(変換期間T1~T8)において得られた8つのデジタルコードCODE(デジタルコードCODE1~CODE8)に基づいて、4枚の画像PIC(画像PIC1,PIC2,PIC3,PIC4)を生成する。そして、信号処理部99は、この4枚の画像PICを合成することにより、1枚の撮像画像PICAを生成するようになっている。
次に、読出駆動D2について、詳細に説明する。以下に、複数の撮像画素P1のうちの撮像画素P1Aに着目し、この撮像画素P1Aに係る動作について詳細に説明する。
図43,44A,44Bは、撮像装置2の一動作例を表すものである。図14において、(A)は水平同期信号XHSの波形を示し、(B)は撮像画素P1Aに供給される制御信号SSELの波形を示し、(C)は撮像画素P1Aに供給される制御信号SRSTの波形を示し、(D)は撮像画素P1Aに供給される制御信号SFDGの波形を示し、(E)は撮像画素P1Aに供給される制御信号STGLの波形を示し、(F)は撮像画素P1Aに供給される制御信号SFCGの波形を示し、(G)は撮像画素P1Aに供給される制御信号STGSの波形を示し、(H)は参照信号REFの波形を示し、(I)は撮像画素P1Aから出力される信号SIGの波形を示し、(J)は撮像画素P1Aに接続されたAD変換部ADCにおけるカウンタ46の動作を示す。図44Aは、図43に示した動作のうちの前半の動作を示し、図44Bは、図43に示した動作のうちの後半の動作を示す。図43(H)、図44A(H)、および図44B(H)の参照信号REFは、コンパレータ45の正入力端子における波形を示し、図43(I)、図44A(I)、および図44B(I)の信号SIGは、コンパレータ45の負入力端子における波形を示している。また、図43(J)、図44A(J)、図44B(J)において、斜線は、カウンタ46がカウント動作を行っていることを示している。
図45A~45Cは、撮像画素P1Aの状態を表すものである。この図45A~45Cでは、トランジスタTGL,RST,FDG,TGS,FCG,SELを、そのトランジスタの動作状態に応じたスイッチを用いてそれぞれ示している。
撮像装置2では、ある水平期間Hにおいて、まず、走査部91は、制御信号SSELを用いて、撮像画素P1Aを含む画素ラインLを選択し、撮像画素P1Aを、その撮像画素P1Aに対応する信号線SGLに電気的に接続させる。そして、走査部91は、制御信号SRST,SFDG,STGL,SFCG,STGSを用いて撮像画素P1Aの動作を制御し、撮像画素P1Aは、8つの変換期間T1~T8において、8つの画素電圧VP1~VP8を順次出力する。そして、読出部40のAD変換部ADCは、これらの8つの画素電圧VP1~VP8に基づいてそれぞれAD変換を行い、8つのデジタルコードCODE1~CODE8を出力する。以下にこの動作について詳細に説明する。
まず、タイミングt1において、水平期間Hが開始すると、走査部91は、タイミングt2において、制御信号SSELの電圧を低レベルから高レベルに変化させる(図44A(B))。これにより、撮像画素P1Aでは、トランジスタSELがオン状態になり、撮像画素P1Aが信号線SGLと電気的に接続される。
タイミングt11までの期間において、走査部91は、制御信号SRST,SFDGをともに高レベルにする(図44A(C),(D))。これにより、撮像画素P1Aでは、トランジスタRST,FDGがともにオン状態になり、フローティングディフュージョンFDの電圧が電源電圧VDDHに設定され、フローティングディフュージョンFDがリセットされる。
(タイミングt11~t21の動作)
次に、タイミングt11において、走査部91は、制御信号SFDGの電圧を高レベルから低レベルに変化させる(図44A(D))。これにより、撮像画素P1Aでは、トランジスタFDGがオフ状態になる。次に、タイミングt12において、走査部91は、制御信号SRSTの電圧を高レベルから低レベルに変化させる(図44A(C))。これにより、撮像画素P1Aでは、トランジスタRSTがオフ状態になる。次に、タイミングt13において、走査部91は、制御信号SFDGの電圧を低レベルから高レベルに変化させる(図44A(D))。これにより、撮像画素P1Aでは、トランジスタFDGがオン状態になる。また、コンパレータ45は、タイミングt13~t14までの期間において、正入力端子および負入力端子を電気的に接続するゼロ調整を行う。
次に、タイミングt14において、コンパレータ45は、ゼロ調整を終了し、正入力端子および負入力端子を電気的に切断する。そして、このタイミングt14において、参照信号生成部51は、参照信号REFの電圧を電圧V1に変化させる(図44A(H))。
これにより、撮像画素P1Aでは、図45Aに示したように、トランジスタFDG,SELはオン状態になり、その他のトランジスタは全てオフ状態になる。トランジスタFDGがオン状態であるので、フローティングディフュージョンFDおよびトランジスタFDGが合成容量を構成する。この合成容量は、撮像画素P1Aにおいて電荷を電圧へ変換する変換容量として機能する。撮像画素P1Aでは、このように、トランジスタFDGがオン状態であるので、撮像画素P1Aにおける変換容量の容量値が大きいため、電荷から電圧への変換効率が低い。この変換容量は、タイミングt12までの期間においてフローティングディフュージョンFDがリセットされたときの電荷を保持している。撮像画素P1Aは、このときのフローティングディフュージョンFDにおける電圧に応じた画素電圧VP(画素電圧VP1)を出力する。
次に、タイミングt15~t17の期間(変換期間T1)において、AD変換部ADCは、この画素電圧VP1に基づいてAD変換を行う。具体的には、タイミングt15において、制御部98は、クロック信号CLKの生成を開始し、これと同時に、参照信号生成部51は、参照信号REFの電圧を、電圧V1から所定の変化度合いで低下させ始める(図44A(H))。これに応じて、AD変換部ADCのカウンタ46は、カウント動作を開始する(図44A(J))。
そして、タイミングt16において、参照信号REFの電圧が信号SIGの電圧(画素電圧VP1)を下回る(図44A(H),(I))。これに応じて、AD変換部ADCのコンパレータ45は、信号CMPの電圧を変化させ、その結果、カウンタ46は、カウント動作を停止する(図44A(J))。カウント動作が停止したときのカウンタ46のカウント値CNTは、画素電圧VP1に対応している。AD変換部ADCは、このようにして、画素電圧VP1に基づいてAD変換を行い、AD変換部ADCのラッチ47は、カウンタ46のカウント値CNTを保持するとともに、保持したカウント値CNTをデジタルコードCODE1として出力する(図44A(J))。
そして、タイミングt17において、制御部98は、変換期間T1の終了に伴い、クロック信号CLKの生成を停止し、参照信号生成部51は、参照信号REFの電圧の変化を停止させ(図44A(H))、カウンタ46は、カウント値CNTをリセットする。
(タイミングt21~t31の動作)
次に、タイミングt21において、走査部91は、制御信号SFDGの電圧を高レベルから低レベルに変化させる(図44A(D))。これにより、撮像画素P1Aでは、トランジスタFDGがオフ状態になる。また、コンパレータ45は、タイミングt21~t22までの期間において、正入力端子および負入力端子を電気的に接続するゼロ調整を行う。
次に、タイミングt22において、コンパレータ45は、ゼロ調整を終了し、正入力端子および負入力端子を電気的に切断する。そして、このタイミングt22において、参照信号生成部51は、参照信号REFの電圧を電圧V1に変化させる(図44A(H))。
これにより、撮像画素P1Aでは、図45Bに示したように、トランジスタSELはオン状態になり、その他のトランジスタは全てオフ状態になる。撮像画素P1Aでは、このように、トランジスタFDGがオフ状態であるので、撮像画素P1Aにおける変換容量の容量値が小さいため、電荷から電圧への変換効率が高い。この変換容量は、タイミングt12までの期間においてフローティングディフュージョンFDがリセットされたときの電荷を保持している。撮像画素P1Aは、このときのフローティングディフュージョンFDにおける電圧に応じた画素電圧VP(画素電圧VP2)を出力する。
次に、タイミングt23~t25の期間(変換期間T2)において、AD変換部ADCは、この画素電圧VP2に基づいてAD変換を行う。この動作は、変換期間T1における動作と同様である。AD変換部ADCは、画素電圧VP2に基づいてAD変換を行い、AD変換部ADCのラッチ47は、カウンタ46のカウント値CNTを保持するとともに、保持したカウント値CNTをデジタルコードCODE2として出力する(図44A(J))。
(タイミングt31~t41の動作)
次に、タイミングt31において、走査部91は、制御信号STGLの電圧を低レベルから高レベルに変化させる(図44A(E))。これにより、撮像画素P1Aでは、トランジスタTGLがオン状態になる。これにより、フォトダイオードPD1で発生した電荷がフローティングディフュージョンFDに転送される。また、このタイミングt31において、参照信号生成部51は、参照信号REFの電圧を電圧V1に変化させる(図44A(H))。
次に、タイミングt32において、走査部91は、制御信号STGLの電圧を高レベルから低レベルに変化させる(図44A(E))。これにより、撮像画素P1Aでは、トランジスタTGLがオフ状態になる。
これにより、撮像画素P1Aでは、図45Bに示したように、トランジスタFDGがオフ状態であるので、撮像画素P1Aにおける変換容量の容量値が小さいので、電荷から電圧への変換効率が高い。この変換容量は、タイミングt31~t32においてフォトダイオードPD1から転送された電荷を保持している。撮像画素P1Aは、このときのフローティングディフュージョンFDにおける電圧に応じた画素電圧VP(画素電圧VP3)を出力する。
次に、タイミングt33~t35の期間(変換期間T3)において、AD変換部ADCは、この画素電圧VP3に基づいてAD変換を行う。この動作は、変換期間T1における動作と同様である。AD変換部ADCは、画素電圧VP3に基づいてAD変換を行い、AD変換部ADCのラッチ47は、カウンタ46のカウント値CNTを保持するとともに、保持したカウント値CNTをデジタルコードCODE3として出力する(図44A(J))。このデジタルコードCODE3は、同じく変換効率が高い時(変換期間T2)に得られたデジタルコードCODE2に対応するものである。
(タイミングt41~t51の動作)
次に、タイミングt41において、走査部91は、制御信号SFDGの電圧を低レベルから高レベルに変化させるとともに制御信号STGLの電圧を低レベルから高レベルに変化させる(図44A(D),(E))。これにより、撮像画素P1Aでは、トランジスタFDG,TGLがともにオン状態になる。また、このタイミングt41において、参照信号生成部51は、参照信号REFの電圧を電圧V1に変化させる(図44A(H))。次に、走査部91は、タイミングt42において、制御信号STGLの電圧を高レベルから低レベルに変化させる(図44A(E))。これにより、撮像画素P1Aでは、トランジスタTGLがオフ状態になる。
これにより、撮像画素P1Aでは、図45Aに示したように、トランジスタFDGがオン状態であるので、フローティングディフュージョンFDおよびトランジスタFDGが合成容量(変換容量)を構成する。よって、撮像画素P1Aにおける変換容量の容量値が大きいので、電荷から電圧への変換効率が低い。この変換容量は、タイミングt31~t32,t41~t42においてフォトダイオードPD1から転送された電荷を保持している。撮像画素P1Aは、このときのフローティングディフュージョンFDにおける電圧に応じた画素電圧VP(画素電圧VP4)を出力する。
次に、タイミングt43~t45の期間(変換期間T4)において、AD変換部ADCは、この画素電圧VP4に基づいてAD変換を行う。この動作は、変換期間T1における動作と同様である。AD変換部ADCは、画素電圧VP4に基づいてAD変換を行い、AD変換部ADCのラッチ47は、カウンタ46のカウント値CNTを保持するとともに、保持したカウント値CNTをデジタルコードCODE4として出力する(図44A(J))。このデジタルコードCODE4は、同じく変換効率が低い時(変換期間T1)に得られたデジタルコードCODE1に対応するものである。
(タイミングt51~t61の動作)
次に、タイミングt51において、走査部91は、制御信号SRSTの電圧を低レベルから高レベルに変化させる(図44B(C))。これにより、撮像画素P1Aでは、トランジスタRSTがオン状態になる。トランジスタFDGはオン状態であるので、これにより、フローティングディフュージョンFDの電圧が電源電圧VDDHに設定され、フローティングディフュージョンFDがリセットされる。次に、タイミングt52において、走査部91は、制御信号SRSTの電圧を高レベルから低レベルに変化させる(図44B(C))。これにより、撮像画素P1Aでは、トランジスタRSTがオフ状態になる。また、このタイミングt52において、参照信号生成部51は、参照信号REFの電圧を電圧V1に変化させる(図44B(H))。
次に、タイミングt53において、走査部91は、制御信号SFCGの電圧を低レベルから高レベルに変化させる(図44B(F))。これにより、撮像画素P1Aでは、トランジスタFCGがオン状態になる。また、コンパレータ45は、タイミングt53~t54までの期間において、正入力端子および負入力端子を電気的に接続するゼロ調整を行う。
次に、タイミングt54において、コンパレータ45は、ゼロ調整を終了し、正入力端子および負入力端子を電気的に切断する。また、このタイミングt54において、参照信号生成部51は、参照信号REFの電圧を電圧V1に変化させる(図44A(H))。
これにより、撮像画素P1Aでは、図45Cに示したように、トランジスタFDG,FCG,SELはオン状態になり、その他のトランジスタは全てオフ状態になる。トランジスタFDG,FCGがともにオン状態であるので、フローティングディフュージョンFD、トランジスタFDG,FCG、および容量素子FCが合成容量(変換容量)を構成する。この変換容量は、タイミングt53より前にフォトダイオードPD2で発生し、トランジスタTGSを介して容量素子FCに供給され蓄積されていた電荷を保持している。撮像画素P1Aは、このときのフローティングディフュージョンFDにおける電圧に応じた画素電圧VP(画素電圧VP5)を出力する。
次に、タイミングt55~t57の期間(変換期間T5)において、AD変換部ADCは、この画素電圧VP5に基づいてAD変換を行う。この動作は、変換期間T1における動作と同様である。AD変換部ADCは、画素電圧VP5に基づいてAD変換を行い、AD変換部ADCのラッチ47は、カウンタ46のカウント値CNTを保持するとともに、保持したカウント値CNTをデジタルコードCODE5として出力する(図44B(J))。
(タイミングt61~t71の動作)
次に、タイミングt61において、走査部91は、制御信号STGSの電圧を低レベルから高レベルに変化させる(図44B(G))。これにより、撮像画素P1Aでは、トランジスタTGSがオン状態になる。これにより、フォトダイオードPD2で発生した電荷がフローティングディフュージョンFDおよび容量素子FCに転送される。また、このタイミングt61において、参照信号生成部51は、参照信号REFの電圧を電圧V1に変化させる(図44B(H))。
次に、タイミングt62において、走査部91は、制御信号STGSの電圧を高レベルから低レベルに変化させる(図44B(G))。これにより、撮像画素P1Aでは、トランジスタTGSがオフ状態になる。
これにより、撮像画素P1Aでは、図45Cに示したように、トランジスタFDG,FCGがともにオン状態であるので、フローティングディフュージョンFD、トランジスタFDG,FCG、および容量素子FCが合成容量(変換容量)を構成する。この変換容量は、タイミングt53より前にフォトダイオードPD2で発生し、トランジスタTGSを介して容量素子FCに供給され蓄積されていた電荷に加え、タイミングt61~t62においてフォトダイオードPD2から転送された電荷を保持している。撮像画素P1Aは、このときのフローティングディフュージョンFDにおける電圧に応じた画素電圧VP(画素電圧VP6)を出力する。
次に、タイミングt63~t65の期間(変換期間T6)において、AD変換部ADCは、この画素電圧VP6に基づいてAD変換を行う。この動作は、変換期間T1における動作と同様である。AD変換部ADCは、画素電圧VP6に基づいてAD変換を行い、AD変換部ADCのラッチ47は、カウンタ46のカウント値CNTを保持するとともに、保持したカウント値CNTをデジタルコードCODE6として出力する(図44B(J))。このデジタルコードCODE6は、フローティングディフュージョンFD、トランジスタFDG,FCG、および容量素子FCが合成容量を構成するときに得られたデジタルコードCODE5に対応するものである。
(タイミングt71~t81の動作)
次に、コンパレータ45は、タイミングt71~t72までの期間において、正入力端子および負入力端子を電気的に接続するゼロ調整を行う。
次に、タイミングt72において、コンパレータ45は、ゼロ調整を終了し、正入力端子および負入力端子を電気的に切断する。また、このタイミングt72において、参照信号生成部51は、参照信号REFの電圧を電圧V1に変化させる(図44B(H))。
これにより、撮像画素P1Aでは、図45Cに示したように、トランジスタFDG,FCGがともにオン状態であるので、フローティングディフュージョンFD、トランジスタFDG,FCG、および容量素子FCが合成容量(変換容量)を構成する。この変換容量は、タイミングt53より前にフォトダイオードPD2で発生し、トランジスタTGSを介して容量素子FCに供給され蓄積されていた電荷に加え、タイミングt61~t62においてフォトダイオードPD2から転送された電荷を保持している。撮像画素P1Aは、このときのフローティングディフュージョンFDにおける電圧に応じた画素電圧VP(画素電圧VP7)を出力する。
次に、タイミングt73~t75の期間(変換期間T7)において、AD変換部ADCは、この画素電圧VP7に基づいてAD変換を行う。この動作は、変換期間T1における動作と同様である。AD変換部ADCは、画素電圧VP7に基づいてAD変換を行い、AD変換部ADCのラッチ47は、カウンタ46のカウント値CNTを保持するとともに、保持したカウント値CNTをデジタルコードCODE7として出力する(図44B(J))。
(タイミングt81~t7の動作)
次に、タイミングt81において、走査部91は、制御信号SRSTの電圧を低レベルから高レベルに変化させる(図44B(C))。これにより、撮像画素P1Aでは、トランジスタRSTがオン状態になる。トランジスタFDG,FCGはオン状態であるので、フローティングディフュージョンFDの電圧および容量素子FCの電圧が電源電圧VDDHに設定され、フローティングディフュージョンFDおよび容量素子FCがリセットされる。
次に、タイミングt82において、走査部91は、制御信号SFCGの電圧を高レベルから低レベルに変化させる(図44B(F))。これにより、撮像画素P1Aでは、トランジスタFCGがオフ状態になる。
次に、タイミングt83において、走査部91は、制御信号SRSTの電圧を高レベルから低レベルに変化させる(図44B(C))。これにより、撮像画素P1Aでは、トランジスタRSTがオフ状態になる。
次に、タイミングt84において、走査部91は、制御信号SFCGの電圧を低レベルから高レベルに変化させる(図44B(F))。これにより、撮像画素P1Aでは、トランジスタFCGがオン状態になる。また、このタイミングt84において、参照信号生成部51は、参照信号REFの電圧を電圧V1に変化させる(図44B(H))。
これにより、撮像画素P1Aでは、図45Cに示したように、トランジスタFDG,FCGがともにオン状態であるので、フローティングディフュージョンFD、トランジスタFDG,FCG、および容量素子FCが合成容量(変換容量)を構成する。この変換容量は、タイミングt81~t82においてフローティングディフュージョンFDおよび容量素子FCがリセットされたときの電荷を保持している。撮像画素P1Aは、このときのフローティングディフュージョンFDにおける電圧に応じた画素電圧VP(画素電圧VP8)を出力する。
次に、タイミングt85~t87の期間(変換期間T8)において、AD変換部ADCは、この画素電圧VP8に基づいてAD変換を行う。この動作は、変換期間T1における動作と同様である。AD変換部ADCは、画素電圧VP8に基づいてAD変換を行い、AD変換部ADCのラッチ47は、カウンタ46のカウント値CNTを保持するとともに、保持したカウント値CNTをデジタルコードCODE8として出力する(図44B(J))。このデジタルコードCODE8は、フローティングディフュージョンFD、トランジスタFDG,FCG、および容量素子FCが合成容量を構成するときに得られたデジタルコードCODE7に対応するものである。
次に、タイミングt7において、走査部91は、制御信号SFDGの電圧を高レベルから低レベルに変化させるとともに、制御信号SFCGの電圧を高レベルから低レベルに変化させる(図44B(D),(F))。これにより、撮像画素P1Aでは、トランジスタFDG,FCGがオフ状態になる。
そして、タイミングt8において、走査部91は、制御信号SSELの電圧を高レベルから低レベルに変化させる(図44B(B))。これにより、撮像画素P1Aでは、トランジスタSELがオフ状態になり、撮像画素P1Aが信号線SGLから電気的に切り離される。
次に、信号処理部99における画像合成処理について説明する。信号処理部99は、読出部40から供給されたデジタルコードCODEに基づいて、4枚の画像PIC(画像PIC1~PIC4)を生成する。そして、信号処理部99は、この4枚の画像PICを合成することにより、1枚の撮像画像PICAを生成する。
図46は、画像合成処理を模式的に表すものである。図46(A)~(G)に示した波形は、図44(A)~(G)に示した波形と同様である。読出部40は、図44,44A~44Cを用いて説明したように、タイミングt11~t21の期間における動作に基づいてデジタルコードCODE1を生成し、タイミングt21~t31の期間における動作に基づいてデジタルコードCODE2を生成し、タイミングt31~t41の期間における動作に基づいてデジタルコードCODE3を生成し、タイミングt41~t51の期間における動作に基づいてデジタルコードCODE4を生成し、タイミングt51~t61の期間における動作に基づいてデジタルコードCODE5を生成し、タイミングt61~t71の期間における動作に基づいてデジタルコードCODE6を生成し、タイミングt71~t81の期間における動作に基づいてデジタルコードCODE7を生成し、タイミングt81~t7の期間における動作に基づいてデジタルコードCODE8を生成する。
信号処理部99は、デジタルコードCODE2およびデジタルコードCODE3に基づいて、画素値VAL1を生成する。具体的には、信号処理部99は、デジタルコードCODE3からデジタルコードCODE2を減算(CODE3-CODE2)することにより、画素値VAL1を算出する。すなわち、撮像装置2は、いわゆる相関2重サンプリング(CDS;Correlated double sampling)の原理を利用し、P相(Pre-Charge相)データに対応するデジタルコードCODE2、およびD相(Data相)データに対応するデジタルコードCODE3を用いて、画素値VAL1を算出する。
同様に、信号処理部99は、デジタルコードCODE1およびデジタルコードCODE4に基づいて、画素値VAL2を生成する。具体的には、信号処理部99は、デジタルコードCODE4からデジタルコードCODE1を減算(CODE4-CODE1)することにより、画素値VAL2を算出する。すなわち、撮像装置2は、相関2重サンプリングの原理を利用し、P相データに対応するデジタルコードCODE1、およびD相データに対応するデジタルコードCODE4を用いて、画素値VAL2を算出する。
同様に、信号処理部99は、デジタルコードCODE5およびデジタルコードCODE6に基づいて、画素値VAL3を生成する。具体的には、信号処理部99は、デジタルコードCODE6からデジタルコードCODE5を減算(CODE6-CODE5)することにより、画素値VAL3を算出する。すなわち、撮像装置2は、相関2重サンプリングの原理を利用し、P相データに対応するデジタルコードCODE5、およびD相データに対応するデジタルコードCODE6を用いて、画素値VAL3を算出する。
そして、信号処理部99は、デジタルコードCODE7およびデジタルコードCODE8に基づいて、画素値VAL4を生成する。具体的には、信号処理部99はデジタルコードCODE7からデジタルコードCODE8を減算(CODE7-CODE8)することにより、画素値VAL4を算出する。すなわち、撮像装置2は、いわゆる2重データサンプリング(DDS;Double Data Sampling)の原理を利用し、フローティングディフュージョンFDおよび容量素子FCをリセットする前のデジタルコードCODE7、およびフローティングディフュージョンFDおよび容量素子FCをリセットした後のデジタルコードCODE8を用いて、画素値VAL4を算出する。
そして、信号処理部99は、画素アレイ90における全ての撮像画素P1での画素値VAL1に基づいて画像PIC1を生成し、画素アレイ90における全ての撮像画素P1での画素値VAL2に基づいて画像PIC2を生成し、画素アレイ90における全ての撮像画素P1での画素値VAL3に基づいて画像PIC3を生成し、画素アレイ90における全ての撮像画素P1での画素値VAL4に基づいて画像PIC4を生成する。そして、信号処理部99は、これらの画像PIC1~PIC4を合成することにより、撮像画像PICAを生成する。
撮像装置2では、図46に示したように、読出部40がデジタルコードCODE2,CODE3を出力し、信号処理部99が、デジタルコードCODE3からデジタルコードCODE2を減算(CODE3-CODE2)することにより、画素値VAL1を算出したが、これに限定されるものではない。これに代えて、読出部40が、上記実施の形態に係る撮像装置1の場合(図17)と同様に、変換期間T2の後にカウント値CNTの極性を反転することにより、デジタルコードCODE2,CODE3の差に対応するデジタルコードCODEを出力してもよい。デジタルコードCODE5,CODE6についても同様であり、デジタルコードCODE7,CODE8についても同様である。
また、例えば、撮像装置2では、図46に示したように、読出部40がデジタルコードCODE1,CODE4を出力し、信号処理部99が、デジタルコードCODE4からデジタルコードCODE1を減算(CODE4-CODE1)することにより、画素値VAL2を算出したが、これに限定されるものではない。これに代えて、読出部40のAD変換部ADCが、変換期間T1の後に、そのときのカウント値CNTを一旦内部に記憶しておき、変換期間T4の前に、そのカウント値CNTをカウンタ46にセットするとともにそのカウント値CNTの極性を反転してもよい。この場合でも、信号処理部99は、デジタルコードCODE1,CODE4の差に対応するデジタルコードCODEを得ることができる。
[変形例6]
上記実施の形態では、各AD変換部ADCを、画素アレイ10における1列分の複数の画素Pに接続したが、これに限定されるものではなく、これに代えて、例えば、図47に示す撮像装置1Fのように、各AD変換部ADCを、所定のエリアに属する複数の画素Pに接続してもよい。この撮像装置1Fは、2枚の半導体基板401,402に形成されている。半導体基板401には、画素アレイ10が形成されている。この画素アレイ10は、複数(この例では21個)のエリアARに区分され、各エリアARには、複数(この例では160個)の画素Pが形成されている。半導体基板402には、読出部40が形成されている。具体的には、半導体基板402には、半導体基板401における複数のエリアARに対応する複数の領域のそれぞれに、そのエリアARに属する複数の画素Pに接続されるAD変換部ADCが形成されている。半導体基板401および半導体基板402は重ね合あわされ、接続部403により、例えばCu-Cu接続を用いて互いに電気的に接続されている。なお、この例では、画素アレイ10を21個のエリアARに区分したが、これに限定されるものではなく、これに代えて、例えば20個以下または22個以上のエリアARに区分してもよい。また、この例では、各エリアARに160個の撮像画素P1を設けたが、これに限定されるものではなく、これに代えて、例えば159個以下または161個以上の画素Pを設けてもよい。
[その他の変形例]
また、これらの変形例のうちの2以上を組み合わせてもよい。
<2.撮像装置の使用例>
図48は、上記実施の形態に係る撮像装置1等の使用例を表すものである。上述した撮像装置1等は、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。
・デジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、テレビジョンや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
<3.移動体への応用例>
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
図49は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム12000は、通信ネットワーク12001を介して接続された複数の電子制御ユニットを備える。図49に示した例では、車両制御システム12000は、駆動系制御ユニット12010、ボディ系制御ユニット12020、車外情報検出ユニット12030、車内情報検出ユニット12040、及び統合制御ユニット12050を備える。また、統合制御ユニット12050の機能構成として、マイクロコンピュータ12051、音声画像出力部12052、及び車載ネットワークI/F(interface)12053が図示されている。
駆動系制御ユニット12010は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット12010は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット12020は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット12020は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット12020には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット12020は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット12030は、車両制御システム12000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット12030には、撮像部12031が接続される。車外情報検出ユニット12030は、撮像部12031に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット12030は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
撮像部12031は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部12031は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部12031が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
車内情報検出ユニット12040は、車内の情報を検出する。車内情報検出ユニット12040には、例えば、運転者の状態を検出する運転者状態検出部12041が接続される。運転者状態検出部12041は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット12040は、運転者状態検出部12041から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット12010に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030で取得される車外の情報に基づいて、ボディ系制御ユニット12020に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車外情報検出ユニット12030で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部12052は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図49の例では、出力装置として、オーディオスピーカ12061、表示部12062及びインストルメントパネル12063が例示されている。表示部12062は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
図50は、撮像部12031の設置位置の例を示す図である。
図50では、車両12100は、撮像部12031として、撮像部12101,12102,12103,12104,12105を有する。
撮像部12101,12102,12103,12104,12105は、例えば、車両12100のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部12101及び車室内のフロントガラスの上部に備えられる撮像部12105は、主として車両12100の前方の画像を取得する。サイドミラーに備えられる撮像部12102,12103は、主として車両12100の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部12104は、主として車両12100の後方の画像を取得する。撮像部12101及び12105で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図50には、撮像部12101ないし12104の撮影範囲の一例が示されている。撮像範囲12111は、フロントノーズに設けられた撮像部12101の撮像範囲を示し、撮像範囲12112,12113は、それぞれサイドミラーに設けられた撮像部12102,12103の撮像範囲を示し、撮像範囲12114は、リアバンパ又はバックドアに設けられた撮像部12104の撮像範囲を示す。例えば、撮像部12101ないし12104で撮像された画像データが重ね合わせられることにより、車両12100を上方から見た俯瞰画像が得られる。
撮像部12101ないし12104の少なくとも1つは、距離情報を取得する機能を有していてもよい。例えば、撮像部12101ないし12104の少なくとも1つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を基に、撮像範囲12111ないし12114内における各立体物までの距離と、この距離の時間的変化(車両12100に対する相対速度)を求めることにより、特に車両12100の進行路上にある最も近い立体物で、車両12100と略同じ方向に所定の速度(例えば、0km/h以上)で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ12051は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御(追従停止制御も含む)や自動加速制御(追従発進制御も含む)等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を元に、立体物に関する立体物データを、2輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ12051は、車両12100の周辺の障害物を、車両12100のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ12051は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ12061や表示部12062を介してドライバに警報を出力することや、駆動系制御ユニット12010を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部12101ないし12104の少なくとも1つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ12051は、撮像部12101ないし12104の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部12101ないし12104の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ12051が、撮像部12101ないし12104の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部12052は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部12062を制御する。また、音声画像出力部12052は、歩行者を示すアイコン等を所望の位置に表示するように表示部12062を制御してもよい。
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部12031に適用され得る。これにより、車両制御システム12000では、自己診断を行うことにより、撮像部12031が正常に動作しているかどうかを診断することができる。そして、撮像部12031に不具合が生じた場合には、例えば、その診断結果をマイクロコンピュータ12051に通知することにより、車両制御システム12000は、撮像部12031に不具合が生じたことを把握することができる。これにより、車両制御システム12000では、例えば運転者に注意喚起を促すなどの適切な処理を行うことができるため、信頼性を高めることができる。また、車両制御システム12000では、診断処理の結果に基づいて、車両を制御する機能を制限することができる。車両を制御する機能の具体例としては、車両の衝突回避あるいは衝突緩和機能、車間距離に基づく追従走行機能、車速維持走行機能、車両の衝突警告機能、車両のレーン逸脱警告機能等が挙げられる。診断処理の結果、撮像部12031に不具合が生じたと判定された場合、車両を制御する機能を制限し、あるいは禁止することができる。具体的には、車両制御システム12000は、ブレーキ、エンジン出力、トランスミッションを制御することができる。これにより、車両制御システム12000では、撮像部12031の不具合に基づく誤検知に起因した事故を防止することができる。
また、例えば、車両制御システム12000が、2つの冗長な撮像部12031(撮像部12031A,12031B)を備えている場合において、一方の撮像部12031Aにおいて不具合が生じた場合には、他方の撮像部12031Bを動作させるようにしてもよい。また、例えば、車両制御システム12000が、撮像部12031に加え、対象物までの距離を検出する測距部(例えばLIDAR装置(Light Detection and Ranging)やTOF(Time Of Flight)イメージセンサ)を備えている場合には、撮像部12031Aにおいて不具合が生じたときに、この測距部を動作させるようにしてもよい。この場合、少なくとも対象物までの距離を検出することができるため、撮像部12031の不具合に基づく誤検知に起因した事故を防止することができる。
(車両に搭載された撮像装置の動作)
車両では、例えばECU(Engine Control Unit)などのマイクロコントローラが、車両の動作を制御する。車両に撮像装置が搭載された場合には、ECUは、この撮像装置の動作をも制御する。以下に、車両に搭載された撮像装置の動作について説明する。
図51は、車両の動作状態の遷移を表すものである。車両の動作状態は、一般に、スタンバイ状態ST1、アクセサリオン状態ST2、およびイグニションオン状態ST3を含んでいる。スタンバイ状態ST1は、ドアロック機能や盗難防止機能などの一部の機能を除く大半の機能がオフ状態になっている状態である。アクセサリオン状態ST2は、車両駆動系以外の電子機器が動作可能な状態である。イグニションオン状態ST3は、車両駆動系を含む全てのコンポーネントが動作可能な状態である。車両の動作状態がスタンバイ状態ST1である場合に、例えばユーザがキーをまわしたりイグニションスイッチを操作したりして車両に指示を与えることにより、動作状態がスタンバイ状態ST1からアクセサリオン状態ST2に遷移し、その後にアクセサリオン状態ST2からイグニションオン状態ST3に遷移する。同様に、車両の動作状態がイグニションオン状態ST3である場合に、例えばユーザが車両に指示を与えることにより、動作状態がイグニションオン状態ST3からアクセサリオン状態ST2に遷移し、その後にアクセサリオン状態ST2からスタンバイ状態ST1に遷移する。
図52は、撮像装置1とECU9の間のエラーフラグ信号XERRのやりとりを表すものである。ECU9は、撮像装置1に対してクリア信号XCLRを供給し、撮像装置1は、このクリア信号XCLRを受け取る。クリア信号XCLRは、撮像装置1の動作を停止させる場合に低レベルになり、撮像装置1を動作させる場合に高レベルになる、いわゆる負論理の信号である。また、撮像装置1は、ECU9に対してエラーフラグ信号XERRを供給し、ECU9はこのエラーフラグ信号XERRを受け取る。そして、ECU9は、このエラーフラグ信号XERRに基づいて、撮像装置1に不具合が生じたときに、その不具合に応じた処理を行うようになっている。
ECU9は、診断部9Aを有している。この診断部9Aは、撮像装置1がスタートアップ動作を行う期間においてに、エラーフラグ信号XERRの電圧が固定されていないかどうかを診断するものである。また、診断部9Aは、撮像装置1が撮像動作を開始した後に、エラーフラグ信号XERRが高レベルである場合に、そのエラーフラグ信号XERRの電圧値を検出し、その電圧値が、電源電圧VDDMに対応する所望の電圧であるかどうかを診断する機能をも有している。
ここで、ECU9は、本開示における「監視装置」の一具体例に対応する。クリア信号XCLRは、本開示における「起動信号」の一具体例に対応する。
図53は、車両の動作状態がスタンバイ状態ST1からイグニションオン状態ST3に遷移する場合における撮像装置1の動作の一例を表すものであり、(A)は車両の動作状態を示し、(B)は撮像装置1の動作を示し、(C)は電源電圧VDDH,VDDM,VDDLの波形を示し、(D)はクリア信号XCLRの波形を示し、(E)はエラーフラグ信号XERRの波形を示す。
例えばユーザがキーをまわしたりイグニションスイッチを操作したりして車両に指示を与えることにより、車両の動作状態は、タイミングt101において、スタンバイ状態ST1からアクセサリオン状態ST2に遷移する(図53(A))。これにより、ECU9は、撮像装置1に対してスタートアンプ動作を開始させる(図53(B))。
次に、タイミングt102において、撮像装置1に3つの電源電圧VDDH,VDDM,VDDLが供給される(図53(C))。
次に、ECU9は、タイミングt103において、クリア信号XCLRを低レベルから高レベルに変化させる(図53(D))。これにより、撮像装置1は、スタートアップし(図53(B))、タイミングt103~t104の期間において、例えば、撮像装置1に設けられたOTP(One Time Programmable)メモリからスタートアップテストに用いるデータを読み出してそのデータをレジスタに展開し、信号処理部60に含まれるSRAM(Static Random Access Memory)の初期化を行う。この期間において、撮像装置1は、エラーフラグ信号XERRを高レベルに設定する(図53(E))。
次に、撮像装置1は、タイミングt104~t105の期間において、スタートアップテストを行う(図53(B))。具体的には、撮像装置1は、例えば信号処理部60の自己診断や、信号処理部60に含まれるSRAMの自己診断を行う。この期間において、撮像装置1は、エラーフラグ信号XERRを低レベルに設定する(図53(E))。
次に、撮像装置1は、タイミングt105において、撮像動作を開始する。撮像装置1は、直前に行われたスタートアップテストにおいて、不具合が検出されなかった場合には、エラーフラグ信号XERRを低レベルから高レベルに変化させる。なお、撮像装置1は、このスタートアップテストにおいて、不具合が検出された場合には、図53(E)において破線で示したように、エラーフラグ信号XERRを低レベルに維持する。
次に、撮像装置1は、タイミングt106において再度スタートアップし(図53(B))、タイミングt106~t107の期間において、例えば、撮像装置1に設けられたOTPメモリから撮像動作に用いるデータを読み出してそのデータをレジスタに展開し、信号処理部60に含まれるSRAMの初期化を行う。
次に、撮像装置1は、タイミングt107~t108の期間において待機(スタンバイ)する。この期間の長さは、撮像装置1の各種アナログ回路が正常に動作できる状態になるまでの時間長に設定される。
そして、撮像装置1は、タイミングt108以降において、ストリーミングを開始する。このストリーミングにおいて、撮像装置1の診断部61は、ブランキング期間T20において、上述したように自己診断を行う。そして、診断部61が不具合を検出した場合には、図53(E)において破線で示したように、エラーフラグ信号XERRを高レベルから低レベルに変化させる。
そして、撮像装置1がストリーミングを開始した後のタイミングt109において、車両の動作状態がアクセサリオン状態ST2からイグニションオン状態ST3に遷移する(図53(A))。
このシーケンスにおいて、ECU9は、タイミングt105までの期間(判断停止期間T101)には、エラーフラグ信号XERRに基づいてエラー判断を行わない。すなわち、この例では、撮像装置1は、タイミングt103~t104の期間においてエラーフラグ信号XERRを高レベルにし、タイミングt104~t105の期間においてエラーフラグ信号XERRを低レベルにするが、ECU9は、この期間において、撮像装置1に不具合が生じていないと判断する。
また、このタイミングt103~t105(固定診断期間T103)において、ECU9の診断部9Aは、エラーフラグ信号XERRの電圧が固定されていないかどうかを診断する。具体的には、診断部9Aは、タイミングt103~t104の期間においてエラーフラグ信号XERRが高レベルであり、タイミングt104~t105の期間においてエラーフラグ信号XERRが低レベルである場合には、エラーフラグ信号XERRの電圧が固定されていないと判断する。また、診断部9Aは、タイミングt103~t105の期間にわたりエラーフラグ信号XERRが低レベルまたは高レベルを維持する場合には、エラーフラグ信号XERRの電圧が固定されていると判断する。診断部9Aは、エラーフラグ信号XERRの電圧が固定されている場合には、その不具合に応じた処理を行う。
そして、ECU9は、タイミングt105以降の期間(判断期間)において、エラーフラグ信号XERRに基づいてエラー判断を行う。ECU9は、撮像装置1に不具合が生じた場合には、その不具合に応じた処理を行う。
また、診断部9Aは、タイミングt105以降の期間(判断期間)において、エラーフラグ信号XERRが高レベルである場合に、そのエラーフラグ信号XERRの電圧値(高レベル電圧値)を検出し、その高レベル電圧値が、電源電圧VDDMに対応する所望の電圧であるかどうかを診断する。具体的には、診断部9Aは、その高レベル電圧値が電源電圧VDDMに対応する所定の電圧範囲内に収まっているかどうかを確認する。高レベル電圧値が電源電圧VDDMに対応する所望の電圧でない場合には、ECU9は、この不具合に応じた処理を行う。
以上、実施の形態および変形例、ならびにそれらの具体的な応用例を挙げて本技術を説明したが、本技術はこれらの実施の形態等には限定されず、種々の変形が可能である。
例えば、撮像装置1は、図1等に示した構成に限定されるものではなく、適宜変更してもよい。
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
なお、本技術は以下のような構成とすることができる。
(1)撮像動作を行うことが可能な撮像部と、
前記撮像部の診断処理を行うことが可能な診断部と、
前記診断処理の結果に応じたフラグ信号を出力可能であり、前記診断処理の結果がエラーを示す場合に、前記フラグ信号を接地レベルに設定可能な出力部と
を備えた撮像装置。
(2)前記出力部は、第1の電源電圧により動作可能であり、
前記フラグ信号は、前記接地レベルと前記第1の電源電圧に対応する電源電圧レベルとの間で遷移可能である
前記(1)に記載の撮像装置。
(3)前記診断部は、第2の電源電圧により動作可能である
前記(2)に記載の撮像装置。
(4)前記出力部は、前記撮像装置の起動タイミングから開始する第1の期間の期間内の第1のサブ期間において、前記フラグ信号を前記電源電圧レベルに設定し、前記第1の期間の期間内の第2のサブ期間において、前記フラグ信号を前記接地レベルに設定することが可能な
前記(2)または(3)に記載の撮像装置。
(5)前記第1のサブ期間は、前記起動タイミングから開始する期間である
前記(4)に記載の撮像装置。
(6)前記撮像部によって得られた撮像画像に基づいて所定の画像処理を行うことが可能な画像処理部をさらに備え、
前記第1の期間において、前記画像処理部は自己診断を行う
前記(4)または(5)に記載の撮像装置。
(7)前記撮像部によって得られた撮像画像に基づいて所定の画像処理を行うことが可能な画像処理部をさらに備え、
前記撮像部は、前記第1の期間が経過した後の第2の期間において前記撮像動作を行うことが可能であり、
前記画像処理部は、前記第2の期間において、前記撮像画像に基づいて前記所定の画像処理を行うことが可能であり、
前記診断部は、前記第2の期間において前記診断処理を行うことが可能であり、
前記出力部は、前記第2の期間において前記診断処理の結果に応じた前記フラグ信号を出力可能である
前記(4)から(6)のいずれかに記載の撮像装置。
(8)撮像装置と、
前記撮像装置の動作を監視可能な監視装置と
を備え、
前記撮像装置は、
撮像動作を行うことが可能な撮像部と、
前記撮像部の診断処理を行うことが可能な診断部と、
前記診断処理の結果に応じたフラグ信号を出力可能であり、前記診断処理の結果がエラーを示す場合に、前記フラグ信号を接地レベルに設定可能な出力部と
を有し、
前記監視装置は、前記フラグ信号に基づいて前記撮像装置の動作を監視可能である
撮像システム。
(9)前記監視装置は、前記撮像装置を起動する起動信号を生成可能であり、
前記撮像装置は、前記起動信号に基づいて起動可能であり、
前記出力部は、第1の電源電圧により動作可能であり、
前記フラグ信号は、前記接地レベルと前記第1の電源電圧に対応する電源電圧レベルとの間で遷移可能であり、
前記出力部は、前記撮像装置の起動タイミングから開始する第1の期間の期間内の第1のサブ期間において、前記フラグ信号を前記電源電圧レベルに設定し、前記第1の期間の期間内の第2のサブ期間において、前記フラグ信号を前記接地レベルに設定することが可能であり、
前記監視装置は、前記起動タイミングより前の期間および前記第1の期間において前記フラグ信号に基づく前記撮像装置の動作の監視を停止するとともに、前記第1の期間において前記フラグ信号の遷移を診断可能である
前記(8)に記載の撮像システム。
(10)前記撮像装置は、前記撮像部によって得られた撮像画像に基づいて所定の画像処理を行うことが可能な画像処理部をさらに有し、
前記撮像部は、前記第1の期間が経過した後の第2の期間において前記撮像動作を行うことが可能であり、
前記画像処理部は、前記第2の期間において、前記撮像画像に基づいて所定の画像処理を行うことが可能であり、
前記診断部は、前記第2の期間において前記診断処理を行うことが可能であり、
前記出力部は、前記第2の期間において前記診断処理の結果に応じた前記フラグ信号を出力可能であり、
前記監視装置は、前記第2の期間において、前記フラグ信号に基づいて前記撮像装置の動作を監視可能である
前記(9)に記載の撮像システム。
(11)前記出力部は、第1の電源電圧により動作可能であり、
前記監視装置は、前記第2の期間において、前記フラグ信号が高レベルである場合における前記フラグ信号の電圧を診断可能である
前記(10)に記載の撮像システム。