JP6461234B2 - 撮像装置及び撮像システム - Google Patents

Description

本発明は、撮像装置及び撮像システムに関する。

８００ｎｍ〜１０００ｎｍの近赤外線は、生体に対して透過性を有することが知られている。近赤外線によって励起し、近赤外蛍光を発する薬剤を体内に注入し、体外よりその蛍光を観察することで可視化しようとする技術が注目されている。近赤外領域に感度を有するモノクロ撮像装置により、体内からの蛍光を撮影することが可能となる。加えて、色情報も同時に出力し、可視光線画像と近赤外線画像を同時にモニタすることが求められている。可視光線撮像装置及び近赤外線撮像装置のそれぞれを用いて撮影し、画像を重ね合わせるという方式が考えられるが、小型化・ローコスト化には難点がある。単一の撮像装置で可視光線画像及び近赤外線画像を取得することが求められている。

特許文献１においては、可視光線を透過するフィルタと近赤外線を透過するフィルタを撮像装置の画素上に配置し、単一の撮像装置にて可視光線及び近赤外線の感度を有する固体撮像装置が開示されている。また、特許文献２においては、特定の可視光線領域及び近赤外領域に透過性を有するフィルタを撮像装置の画素上に配置し、同一画素にて可視光線及び近赤外線を受光し、フレーム毎に可視光線出力及び近赤外線出力を切り替えて出力する技術が開示されている。また、近赤外線は４画素分の信号を加算して出力するという技術が開示されている。

特開２００８−７６０８４号公報 特開２０１０−３５１６８号公報

近赤外線は可視光線に対して、シリコン内部での変換効率が低下するため、一般には可視光線出力と比較して近赤外線出力は小さくなる。よって、より近赤外波長に対して高い感度が求められる場合には、特許文献１に開示されたフィルタの配置においては十分な感度が得られない可能性がある。

上記課題を解決するため、特許文献２においては、近赤外線出力に対しては４画素分の信号を加算する技術が開示されている。しかしながら、同一画素にて可視光線と近赤外線を受光するため、近赤外線画像に対して、可視光線のノイズが混入し、低ノイズの近赤外線画像を得るためには別途、可視光線のノイズを除去する処理が必要となる。

本発明の目的は、近赤外線画像に対して可視光線ノイズを除去する処理を経ずに、容易に可視光線及び近赤外線に対して高い感度を有する撮像装置及び撮像システムを提供することである。

本発明の撮像装置は、入射光を電荷に変換する受光素子と、前記受光素子の電荷を転送する転送トランジスタと、前記電荷に基づく電気信号を出力する増幅トランジスタと、をそれぞれが含む、複数の画素と、前記複数の画素を駆動する走査回路と、を有する撮像装置であって、前記複数の画素は、可視光線を前記電気信号に変換する複数の第１の画素と、近赤外線を前記電気信号に変換する複数の第２の画素と、を含み、前記走査回路は、第１のフレームでは複数の前記第１の画素に前記電気信号を出力させ、前記走査回路は、第２のフレームでは複数の前記第２の画素に前記電気信号を出力させ、前記第２のフレームの前記電気信号の出力動作において、第１の行の前記第２の画素の転送トランジスタをオンにしてから第２の行の前記第２の画素の転送トランジスタをオンにするまで、前記第１の行と前記第２の行との間の行に含まれる前記第１の画素の前記転送トランジスタをオフに維持し、前記撮像装置は、前記第１の画素から出力された電気信号、及び、前記第２の画素から出力された電気信号を処理する読み出し回路を有し、前記読み出し回路は、前記第１の画素から出力された電気信号を第１のゲインで増幅し、前記第２の画素から出力された電気信号を前記第１のゲインより高い第２のゲインで増幅する。

近赤外線画像に対して可視光線ノイズを除去する処理を経ずに、容易に可視光線及び近赤外線に対して高い感度を有する撮像装置及び撮像システムを提供することができる。

固体撮像装置の構成例を示す図である。 第１の実施形態における画素配置パターンを示す図である。 第１の実施形態における画素部の等価回路を示す図である。 第１の実施形態における読出しシーケンスを示す図である。 第１の実施形態における読出しタイミングを示す図である。 第１の実施形態における出力画像のイメージを示す図である。 第２の実施形態における画素配置パターンを示す図である。 第２の実施形態における画素部の等価回路を示す図である。 第２の実施形態における読出しタイミングを示す図である。 第３の実施形態における画素配置パターンを示す図である。 第３の実施形態における出力画像のイメージを示す図である。 第３の実施形態における画素配置パターンを示す図である。 第３の実施形態における出力画像のイメージを示す図である。 第４の実施形態における画素配置パターンを示す図である。 第４の実施形態における出力画像のイメージを示す図である。 撮像システムの構成例を示すブロック図である。

（第１の実施形態）
図１は、本発明の第１の実施形態に係る固体撮像装置の構成例を示すブロック図である。固体撮像装置は、画素部１０１と、垂直走査回路１０２と、読出し回路１０３と、出力アンプ１０５と、水平走査回路１０４とを有する。画素部１０１は、入射光に応じて発生した電荷を蓄積して信号を出力する２次元行列状に配置された複数の画素を有する。垂直走査回路１０２は、画素部１０１から読出し回路１０３に画素信号を読み出すための画素制御手段である。読出し回路１０３は、画素部１０１の画素からの信号を処理する。水平走査回路１０４は、読出し回路１０３から出力アンプ１０５への信号転送を制御する。

図２は、画素部１０１の一部の画素の配置例を示す図である。画素部１０１は、２次元行列状に配置された複数の画素を有する。ｎ行目には、赤（可視光線）の波長を透過するカラーフィルタ（可視光線フィルタ）を配置した画素（以後、Ｒ画素と呼ぶ）と、緑（可視光線）の波長を透過するカラーフィルタ（可視光線フィルタ）を配置した画素（以後、Ｇ画素と呼ぶ）とが交互に配置されている。また、ｎ＋２行目には、青（可視光線）の波長を透過するカラーフィルタ（可視光線フィルタ）を配置した画素（以後、Ｂ画素と呼ぶ）と、Ｇ画素とが交互に配置されている。また、ｎ＋１行目及びｎ＋３行目には、近赤外線の波長を透過するフィルタを配置した画素（以後、ＩＲ画素と呼ぶ）が配置されている。Ｒ画素、Ｇ画素及びＢ画素は、可視光線画素（第１の画素）であり、可視光線を電気信号に変換する。ＩＲ画素は、近赤外線画素（第２の画素）であり、近赤外線を電気信号に変換する。ここで、ｎは奇数とする。その場合、奇数行には、可視光線透過フィルタの画素を配置、偶数行には近赤外線透過フィルタの画素を配置した構成となっている。奇数行におけるカラーフィルタの配置順番は任意であり、ここでは、読出し開始行を１行目として定義している。

図３は、図１の画素部１０１の同じ列に配置された４画素分の等価回路図である。ｎ行目の画素は、受光素子３０１ａ及び転送トランジスタ３０２ａを有する。ｎ＋１行目の画素は、受光素子３０１ｂ及び転送トランジスタ３０２ｂを有する。ｎ＋２行目の画素は、受光素子３０１ｃ及び転送トランジスタ３０２ｃを有する。ｎ＋３行目の画素は、受光素子３０１ｄ及び転送トランジスタ３０２ｄを有する。受光素子３０１ａ〜３０１ｄは、例えばフォトダイオードであり、光電変換により電荷を生成して蓄積する。転送トランジスタ３０２ａ及び３０２ｂは、それぞれ、受光素子３０１ａ及び３０１ｂに蓄積された電荷をフローティングディフュージョン（以後、ＦＤと呼ぶ）３０６ａに転送する。垂直方向に隣接したｎ行目及びｎ＋１行目の画素は、１個のＦＤ３０６ａを共有する。転送トランジスタ３０２ｃ及び３０２ｄは、それぞれ、受光素子３０１ｃ及び３０１ｄに蓄積された電荷をＦＤ３０６ｂに転送する。垂直方向に隣接したｎ＋２行目及びｎ＋３行目の画素は、１個のＦＤ３０６ｂを共有する。増幅トランジスタ３０４ａ及び３０４ｂは、それぞれ、ＦＤ３０６ａ及び３０６ｂの電圧を増幅する。行選択トランジスタ３０５ａ及び３０５ｂは、それぞれ、増幅トランジスタ３０４ａ及び３０４ｂの出力電圧を選択し、垂直出力線３０７に出力する。リセットトランジスタ３０３ａ及び３０３ｂは、それぞれ、ＦＤ３０６ａ，３０６ｂ及び電源電圧ノード間に設けられ、ＦＤ３０６ａ，３０６ｂ及び受光素子３０１ａ〜３０１ｄの信号をリセットする。転送トランジスタ３０２ａ〜３０２ｄ、リセットトランジスタ３０３ａ，３０３ｂ及び行選択トランジスタ３０５ａ，３０５ｂは、図１の垂直走査回路１０２によって制御される。垂直走査回路１０２は、読み出し用の走査回路及びリセット用の走査回路を有し、読み出し動作とリセット動作を制御する。

図４は、本実施形態における読出しシーケンスを示す図である。時刻ｔ２以降では、第１のフレームにて複数の可視光線画素（第１の画素）の電気信号を読み出して出力させる。次に、時刻ｔ３以降では、第２のフレームにてＩＲ画素（第２の画素）の電気信号を読み出して出力させる。また、受光素子３０１ａ〜３０１ｄのリセットは、ＩＲ画素の信号を読み出した後の時刻ｔ４以降で実施することにより、可視光線画素に対してＩＲ画素の電荷蓄積時間を長くすることができ、ＩＲ画素の感度を増大させることができる。

図５は、図３に示した同列の４行分の画素の信号の読出しタイミングを示す図である。リセット信号ＲＥＳ１は、ｎ行目及びｎ＋１行目のリセットトランジスタ３０３ａのゲートのリセット信号を示す。転送信号ＴＸ１は、ｎ行目の転送トランジスタ３０２ａのゲートの転送信号を示す。転送信号ＴＸ２は、ｎ＋１行目の転送トランジスタ３０２ｂのゲートの転送信号を示す。行選択信号ＳＥＬ１は、ｎ行目及びｎ＋１行目の行選択トランジスタ３０５ａのゲートの行選択信号を示す。リセット信号ＲＥＳ２は、ｎ＋２行目及びｎ＋３行目のリセットトランジスタ３０３ｂのゲートのリセット信号を示す。転送信号ＴＸ３は、ｎ＋２行目の転送トランジスタ３０２ｃのゲートの転送信号を示す。転送信号ＴＸ４は、ｎ＋３行目の転送トランジスタ３０２ｄのゲートの転送信号を示す。行選択信号ＳＥＬ２は、ｎ＋２行目及びｎ＋３行目の行選択トランジスタ３０５ｂのゲートの行選択信号を示す。

図４において、時刻ｔ１及びｔ４は、１行目の画素のリセット動作の開始を示す。時刻ｔ２は、可視光線画素の先頭行の読み出しの開始を示す。時刻ｔ３は、近赤外線画素の先頭行の読み出しの開始を示す。図４及び図５において、リセット信号ＲＥＳ１がハイレベルになると、ｎ行目及びｎ＋１行目のリセットトランジスタ３０３ａがオンし、リセット信号ＲＥＳ２がハイレベルになると、ｎ＋２行目及びｎ＋３行目のリセットトランジスタ３０３ｂがオンする。時刻ｔ１１にて、転送信号ＴＸ１及びＴＸ２がハイレベルになり、ｎ行目及びｎ＋１行目の転送トランジスタ３０２ａ及び３０２ｂがオンし、ｎ行目及びｎ＋１行目のＦＤ３０６ａ及び受光素子３０１ａ，３０１ｂがリセットされる。続いて、転送信号ＴＸ３及びＴＸ４がハイレベルになり、ｎ＋２目及びｎ＋３行目の転送トランジスタ３０２ｃ及び３０２ｄがオンし、ｎ＋２行目及びｎ＋３行目のＦＤ３０６ｂ及び受光素子３０１ｃ，３０１ｄがリセットされる。

次に、時刻ｔ２１において、リセット信号ＲＥＳ１がローレベルになり、ｎ行目及びｎ＋１行目のリセットトランジスタ３０３ａがオフする。それとともに、行選択信号ＳＥＬ１がハイレベルになり、ｎ行目及びｎ＋１行目の行選択トランジスタ３０５ａがオンすることで、ｎ行目及びｎ＋１行目の画素がアクティブになる。次に、転送信号ＴＸ１がハイレベルになることで、ｎ行目の転送トランジスタ３０２ａがオンし、ｎ行目の受光素子３０１ａの信号が垂直出力線３０７を介して読出し回路１０３へと読み出される。この期間、転送信号ＴＸ２はローレベルに固定され、ｎ＋１行目の転送トランジスタ３０２ｂがオフし、ｎ＋１行目の受光素子３０１ｂの信号は読み出されない。その後、リセット信号ＲＥＳ１はハイレベルになり、ｎ行目及びｎ＋１行目のリセットトランジスタ３０３ａがオンする。続いて、リセット信号ＲＥＳ２がローレベルになり、ｎ＋２行目及びｎ＋３行目のリセットトランジスタ３０３ｂがオフする。それとともに、行選択信号ＳＥＬ２がハイレベルになり、ｎ＋２行目及びｎ＋３行目の行選択トランジスタ３０５ｂがオンすることで、ｎ＋２行目及びｎ＋３行目の画素がアクティブになる。次に、転送信号ＴＸ３がハイレベルになることで、ｎ＋２行目の転送トランジスタ３０２ｃがオンし、ｎ＋２行目の受光素子３０１ｃの信号が垂直出力線３０７を介して読出し回路１０３へと読み出される。この期間、転送信号ＴＸ４はローレベルに固定され、ｎ＋３行目の転送トランジスタ３０２ｄがオフし、ｎ＋３行目の受光素子３０１ｄの信号は読み出されない。以上のように、転送信号ＴＸ１及びＴＸ３により、奇数行のｎ行目とｎ＋２行目の可視光線画素の信号が読み出される。

次に、時刻ｔ３１において、リセット信号ＲＥＳ１がローレベルになり、ｎ行目及びｎ＋１行目のリセットトランジスタ３０３ａがオフする。それとともに、行選択信号ＳＥＬ１がハイレベルになり、ｎ行目及びｎ＋１行目の行選択トランジスタ３０５ａがオンすることで、ｎ行目及びｎ＋１行目の画素がアクティブになる。次に、転送信号ＴＸ２がハイレベルになることで、ｎ＋１行目の転送トランジスタ３０２ｂがオンし、ｎ＋１行目の受光素子３０１ｂの信号が垂直出力線３０７を介して読出し回路１０３へと読み出される。この期間、転送信号ＴＸ１はローレベルに固定され、ｎ行目の転送トランジスタ３０２ａがオフし、ｎ行目の受光素子３０１ａの信号は読み出されない。続いて、リセット信号ＲＥＳ２がローレベルになり、ｎ＋２行目及びｎ＋３行目のリセットトランジスタ３０３ｂがオフする。それとともに、行選択信号ＳＥＬ２がハイレベルになり、ｎ＋２行目及びｎ＋３行目の行選択トランジスタ３０５ｂがオンすることで、ｎ＋２行目及びｎ＋３行目の画素がアクティブになる。次に、転送信号ＴＸ４がハイレベルになることで、ｎ＋３行目の転送トランジスタ３０２ｄがオンし、ｎ＋３行目の受光素子３０１ｄの信号が垂直出力線３０７を介して読出し回路１０３へと読み出される。この期間、転送信号ＴＸ３はローレベルに固定され、ｎ＋２行目の転送トランジスタ３０２ｃがオフし、ｎ＋２行目の受光素子３０１ｃの信号は読み出されない。以上のように、転送信号ＴＸ２及びＴＸ４により、偶数行のｎ＋１行目とｎ＋３行目の近赤外線画素の信号が読み出される。時刻ｔ４１以降は、上記の時刻ｔ１１以降と同様に、再び全行の画素のリセット動作が行われ、上記動作が繰り返される。

図６（ａ）及び（ｂ）は、上記の動作により読み出された可視光線画像フレームと近赤外線画像フレームを示す図である。固体撮像装置は、図６（ａ）の第１のフレームにおいては可視光線画素の信号を、図６（ｂ）の第２のフレームにおいては近赤外線画素の信号をそれぞれ出力する。図２に示した可視光線画素と近赤外線画素の配置パターンにより、容易な駆動シーケンスで、図６（ａ）の可視光線画像及び図６（ｂ）の近赤外線画像をそれぞれ別々に出力できる。撮像装置では、図６（ａ）の可視光線画像及び図６（ｂ）の近赤外線画像が別々のフレームに出力される。そのため、例えば、第１のフレームと第２のフレームを交互に出力することにより、外部メモリ等を必要とせず、比較的簡易な画像処理にて動画として可視光線画像と近赤外線画像を同時に表示することが可能となる。また、解像度を落として感度優先で画像を表示させたい場合においては、図６（ａ）及び（ｂ）の破線で囲んだ４画素の範囲を１画素として構成する。その場合、図６（ａ）の可視光線画素においては、破線内のそれぞれの画素の色情報より画素出力を構成する。図６（ｂ）の近赤外線画素においては、破線の４画素分の信号を加算することにより、感度を向上させることができる。ここでの加算は撮像装置内で行ってもよいし、撮像装置外で行ってもよい。すなわち、図６（ｂ）の第２のフレームでは、垂直走査回路１０２及び水平走査回路１０４により、破線内の複数のＩＲ画素の電気信号が加算されて出力される。

また、可視光線画素に対して近赤外線画素の感度を向上させたい場合には、近赤外線画素の信号に対して読出し回路１０３にてゲインにより増幅して出力してもよい。図２においては、可視光線画素及び近赤外線画素をそれぞれ行単位で配置していることにより、第１のフレーム又は第２のフレームにて、それぞれ読出しゲインを設定することにより、簡易な制御で、可視光線画素の出力及び近赤外線画素の出力の調整が可能となる。

（第２の実施形態）
本発明の第２の実施形態の撮像装置の構成は、第１の実施形態と同様のため、第１の実施形態と異なる点を説明する。図７は、本発明の第２の実施形態による画素配置パターンを示す図である。ｎ行目には、Ｒ画素及びＧ画素を交互に配置している。また、ｎ＋１行目には、Ｇ画素及びＢ画素を交互に配置している。また、ｎ＋２行目及びｎ＋３行目には、ＩＲ画素を配置している。以後の行では、これらを繰り返し配置する。本実施形態による画素部１０１の一部の画素の等価回路を図８に示す。図８は、図７の画素配置における同じ列に配置された４画素分の等価回路図を示す。ｎ行目の画素は、受光素子８０１ａと、転送トランジスタ８０２ａと、リセットトランジスタ８０３ａと、増幅トランジスタ８０４ａと、行選択トランジスタ８０５ａと、ＦＤ８０６ａとを有する。ｎ＋１行目の画素は、受光素子８０１ｂと、転送トランジスタ８０２ｂと、リセットトランジスタ８０３ｂと、増幅トランジスタ８０４ｂと、行選択トランジスタ８０５ｂと、ＦＤ８０６ｂとを有する。ｎ＋２行目の画素は、受光素子８０１ｃと、転送トランジスタ８０２ｃと、リセットトランジスタ８０３ｃと、増幅トランジスタ８０４ｃと、行選択トランジスタ８０５ｃと、ＦＤ８０６ｃとを有する。ｎ＋３行目の画素は、受光素子８０１ｄと、転送トランジスタ８０２ｄと、リセットトランジスタ８０３ｄと、増幅トランジスタ８０４ｄと、行選択トランジスタ８０５ｄと、ＦＤ８０６ｄとを有する。垂直出力線８０７ａには、行選択トランジスタ８０５ａ及び８０５ｃが接続される。垂直出力線８０７ｂには、行選択トランジスタ８０５ｂ及び８０５ｄが接続される。本実施形態は、同じ列に対して、２本の垂直出力線８０７ａ及び８０７ｂを有する。これにより、本実施形態は、２行分の信号を垂直出力線８０７ａ及び８０７ｂに同時に読み出すことができるため、第１の実施形態と比較して、読出し速度が向上する。

転送トランジスタ８０２ａ〜８０２ｄは、それぞれ、受光素子８０１ａ〜８０１ｄで発生した電荷をＦＤ８０６ａ〜８０６ｄに転送する。増幅トランジスタ８０４ａ〜８０４ｄは、それぞれ、ＦＤ８０６ａ〜８０６ｄの電圧を増幅する。行選択トランジスタ８０５ａ及び８０５ｃは、それぞれ、増幅トランジスタ８０４ａ及び８０４ｃの出力を選択して垂直出力線８０７ａに出力する。行選択トランジスタ８０５ｂ及び８０５ｄは、それぞれ、増幅トランジスタ８０４ｂ及び８０４ｄの出力を選択して垂直出力線８０７ｂに出力する。リセットトランジスタ８０３ａ〜８０３ｄは、それぞれ、ＦＤ８０６ａ〜８０６ｄ及び電源電圧ノード間に接続され、ＦＤ８０６ａ〜８０６ｄ及び受光素子８０１ａ〜８０１ｄの信号のリセットを制御する。転送トランジスタ８０２ａ〜８０２ｄ、リセットトランジスタ８０３ａ〜８０３ｄ及び行選択トランジスタ８０５ａ〜８０５ｄは、垂直走査回路１０２によって制御される。

本実施形態の読み出しシーケンスは、第１の実施形態のものと同様である。図９は、図４の読出しシーケンスに対応した本実施形態の読出しタイミング図であり、同列の４行分の信号の読出しタイミングを示している。リセット信号ＲＥＳ１は、ｎ行目及びｎ＋１行目のリセットトランジスタ８０３ａ及び８０３ｂのゲートのリセット信号を示す。転送信号ＴＸ１は、ｎ行目及びｎ＋１行目の転送トランジスタ８０２ａ及び８０２ｂのゲートの転送信号を示す。行選択信号ＳＥＬ１は、ｎ行目及びｎ＋１行目の行選択トランジスタ８０５ａ及び８０５ｂのゲートの行選択信号を示す。リセット信号ＲＥＳ２は、ｎ＋２行目及びｎ＋３行目のリセットトランジスタ８０３ｃ及び８０３ｄのゲートのリセット信号を示す。転送信号ＴＸ２は、ｎ＋２行目及びｎ＋３行目の転送トランジスタ８０２ｃ及び８０２ｄのゲートの転送信号を示す。行選択信号ＳＥＬ２は、ｎ＋２行目及びｎ＋３の行目の行選択トランジスタ８０５ｃ及び８０５ｄのゲートの選択信号を示す。

リセット信号ＲＥＳ１がハイレベルになると、ｎ行目及びｎ＋１行目のリセットトランジスタ８０３ａ及び８０３ｂがオンし、リセット信号ＲＥＳ２がハイレベルになると、ｎ＋２行目及びｎ＋３行目のリセットトランジスタ８０３ｃ及び８０３ｄがオンする。時刻ｔ１１にて、転送信号ＴＸ１がハイレベルになり、ｎ行目及びｎ＋１行目の転送トランジスタ８０２ａ及び８０２ｂがオンし、ｎ行目及びｎ＋１行目のＦＤ８０６ａ，８０６ｂ及び受光素子８０１ａ、８０１ｂがリセットされる。続いて、転送信号ＴＸ２がハイレベルになることで、ｎ＋２行目及びｎ＋３行目の転送トランジスタ８０２ｃ及び８０２ｄがオンし、ｎ＋２行目及びｎ＋３行目のＦＤ８０６ｃ，８０６ｄ及び受光素子８０１ｃ，８０１ｄがリセットされる。

次に、時刻ｔ２１において、リセット信号ＲＥＳ１がローレベルになり、リセットトランジスタ８０３ａ及び８０３ｂがオフする。それとともに、行選択信号ＳＥＬ１がハイレベルになり、行選択トランジスタ８０５ａ及び８０５ｂがオンすることで、ｎ行目及びｎ＋１行目の画素がアクティブになる。次に、転送信号ＴＸ１がハイレベルになることで、ｎ行目及びｎ＋１行目の転送トランジスタ８０２ａ及び８０２ｂがオンする。すると、ｎ行目及びｎ＋１行目の受光素子８０１ａ及び８０１ｂの信号が、それぞれ、垂直出力線８０７ａ及び８０７ｂを介して、読出し回路１０３へと読み出される。

続いて、時刻ｔ３１にて、リセット信号ＲＥＳ２がローレベルになり、リセットトランジスタ８０３ｃ及び８０３ｄがオフする。それとともに、行選択信号ＳＥＬ２がハイレベルになり、行選択トランジスタ８０５ｃ及び８０５ｄがオンすることで、ｎ＋２行目及びｎ＋３行目の画素がアクティブになる。次に、転送信号ＴＸ２がハイレベルになることで、ｎ＋２行目及びｎ＋３行目の転送トランジスタ８０２ｃ及び８０２ｄがオンする。すると、ｎ＋２行目及びｎ＋３行目の受光素子８０１ｃ及び８０１ｄの信号が、それぞれ垂直信号線８０７ａ及び８０７ｂを介して、読出し回路１０３へと読み出される。時刻ｔ４１以降は、上記の時刻ｔ１１以降と同様に、再び全行のリセット動作が行われ、上記動作が繰り返される。

以上の動作により、読み出された可視光線画像フレームと近赤外線画像フレームは、第１の実施形態と同様、図６（ａ）及び（ｂ）に示すようになる。固体撮像装置は、図６（ａ）の第１のフレームにおいては可視光線画素の信号を、図６（ｂ）の第２のフレームにおいては近赤外線画素の信号をそれぞれ出力する。図７に示した可視光線画素と近赤外線画素の配置パターンにより、容易な駆動シーケンスにて、可視光線画像及び近赤外線画像をそれぞれ別々に出力できる。撮像装置は、図６（ａ）の可視光線画像及び図６（ｂ）の近赤外線画像を別々のフレームに出力する。そのため、例えば、第１のフレームと第２のフレームを交互に出力することにより、外部メモリ等を必要とせず、比較的簡易な画像処理にて、動画として可視光線画像と近赤外線画像を同時に表示することが可能となる。また。解像度落として感度優先で画像を表示させたい場合においては、図６（ａ）及び（ｂ）の波線で囲んだ４画素の範囲で１画素を構成する。その場合、可視光線画素においては、破線の範囲内のそれぞれの画素の色情報より画素出力を構成し、近赤外線画素においては、破線の範囲内の４画素分の信号を加算することにより、感度を向上させることができる。

本実施形態は、図７に示した画素配置に対して、図９で示した駆動パターンで動作させることにより、第１の実施形態に対して、読出し速度が向上し、フレームレートの高い用途に対してはより好適な構成となる。

（第３の実施形態）
本発明の第３の実施形態が第１の実施形態と同様の点は省略し、異なる点を説明する。図１０は、本発明の第３の実施形態による画素配置パターンを示す図であり、図２に対してＲ画素及びＧ画素が含まれる行のＧ画素をＩＲ画素に置換した配置となっている。すなわち、ｎ行目では、Ｒ画素及びＩＲ画素が交互に配置されている。画素の２次元行列の各行は、複数の可視光線画素を含む行又は複数のＩＲ画素のみを含む行のいずれかである。図４及び図５で示した駆動シーケンス及び駆動パターンにより、第１のフレーム及び第２のフレームで出力される画像を図１１（ａ）及び（ｂ）に示す。固体撮像装置は、図１１（ａ）の第１のフレームにおいては可視光線画素とＩＲ画素の信号を、図１１（ｂ）の第２のフレームにおいてはＩＲ画素の信号をそれぞれ出力する。垂直走査回路１０２は、図１１（ａ）の第１のフレームでは複数の可視光線画素の電気信号を含む画像を出力させ、図１１（ｂ）の第２のフレームでは複数のＩＲ画素の電気信号のみを含む画像を出力させる。

図１１（ａ）の第１のフレームに出力されるＩＲ画素の信号は、開口画素に含まれるＩＲ成分の補正を行うための情報として使用することができ、第１の実施形態と比較して、より高画質の可視光線画像が得られる。また、図１１（ｂ）の第２のフレームに出力されるＩＲ画素は、入射した近赤外線の情報を得ることが目的のため、第１のフレームで出力されるＩＲ画素と蓄積時間が同一である必要はない。また、第２のフレームは、第１のフレームに対して、画素信号のゲインも同一である必要はないため、蓄積時間を長くする、あるいはゲインをかける等により、より高感度なＩＲ画像を得ることができる。以上より、本実施形態は、第１の実施形態に対して、第１のフレームで出力される画像に対して、より低雑音の画像を提供することができる。

また、本実施形態は、図１２に示す画素配置パターンとしてもよい。図１２は、Ｇ画素をＩＲ画素に置換する際、すべての列にＧ画素が残るように置換を実施した一例である。図１２のｎ行目〜ｎ＋３行目は、図１０のｎ行目〜ｎ＋３行目と同じ画素配置パターンである。ｎ＋４行目では、Ｒ画素及びＧ画素が交互に配置されている。ｎ＋５行目及びｎ＋７行目では、ＩＲ画素が配置されている。ｎ＋６行目では、ＩＲ画素及びＢ画素が交互に配置されている。この場合には、出力される画像は、図１３（ａ）の第１のフレーム及び（ｂ）の第２のフレームを有する。図１１（ａ）の第１のフレームにおいて、すべての列にＧ画素が配置されているので、このＧ画素信号を列間のオフセット補正を行う際の情報として使用でき、より好適な配置パターンとなっている。また、すべての列にＧ画素を含むという目的を満たしていればよく、配置は図１２のパターンに限定されない。

（第４の実施形態）
本発明の第４の実施形態が第２の実施形態と同様の点は省略し、異なる点を説明する。図１４は、本発明の実施形態による画素配置パターンを示す。図１４は、図７に対して、Ｒ画素及びＧ画素が含まれる行のＧ画素をＩＲ画素に置換した配置となっている。すなわち、ｎ行目では、Ｒ画素及びＩＲ画素が交互に配置されている。図４及び図９で示した駆動シーケンス及び駆動パターンにより、第１のフレーム及び第２のフレームで出力される画像は、第３の実施形態と同様に、図１１（ａ）の第１のフレーム及び図１１（ｂ）の第２のフレームになる。図１１（ａ）の第１のフレームに出力されるＩＲ画素の信号は、開口画素に含まれるＩＲ成分の補正を行うための情報として使用することができ、第１の実施形態と比較して、より高画質の可視光線画像が得られる。また、図１１（ｂ）の第２のフレームに出力されるＩＲ画素は、入射した近赤外線の情報を得ることが目的のため、第１のフレームで出力されるＩＲ画素と蓄積時間が同一である必要はない。また、第２のフレームは、第１のフレームに対して、画素信号に対してのゲインも同一である必要はないため、蓄積時間を長くする、あるいはゲインをかける等により、より高感度なＩＲ画像を得ることができる。以上より、本実施形態は、第２の実施形態に対して、第１のフレームで出力される画像に対して、より低雑音の画像を提供することができる。

また、本実施形態は、図１５に示す画素配置パターンとしてもよい。図１５は、Ｇ画素をＩＲ画素に置換する際、すべての列にＧ画素が残るように置換を実施した一例である。図１５のｎ行目〜ｎ＋３行目は、図１４のｎ行目〜ｎ＋３行目と同じである。ｎ＋４行目では、Ｒ画素及びＧ画素が交互に配置されている。ｎ＋５行目では、ＩＲ画素及びＢ画素が交互に配置されている。ｎ＋６行目及びｎ＋７行目は、ｎ＋２行目及びｎ＋３行目と同じである。この場合には、出力される画像は、図１３（ａ）の第１のフレーム及び図１３（ｂ）の第２のフレームを有する。図１３（ａ）及び（ｂ）の画像は、図１１（ａ）及び（ｂ）で示す画像に対して、第１のフレームにおいて、すべての列にＧ画素が配置されているので、このＧ画素信号を列間のオフセット補正を行う際の情報として使用でき、より好適な配置パターンとなっている。また、本実施形態は、すべての列にＧ画素を含むという目的を満たしていればよく、配置は図１５のパターンに限定されない。

（第５の実施形態）
図１６は、本発明の第５の実施形態に係る撮像装置を適用した撮像システムの一例を示す図である。撮像システム５０１は、光学系５０２、撮像装置１００、信号処理部５０３及び外部機器５０６を有する。信号処理部５０３は、撮像信号処理回路５０４及び画像信号処理部５０５を有する。撮像システム５０１は、その他、メモリ部やタイミング発生器等を備えていてもよい。撮像装置１００は、第１〜第４の実施形態の撮像装置である。光学系５０２へ入射した光は、撮像装置１００の撮像面（画素部１０１）へ被写体の像を形成する。撮像装置１００は、撮像面に形成された被写体の像を画像信号に変換し、その画像信号を画素部１０１から読み出して出力する。撮像信号処理回路５０４は、撮像装置１００に接続されており、撮像装置１００から出力された画像信号を処理する。画像信号処理部５０５は、撮像信号処理回路５０４で処理された画像信号に対し、各種の補正等の演算処理を行い、画像データを生成する。この画像データは、外部機器（例えばパーソナルコンピュータ）５０６へ出力される。撮像装置１００から撮像信号処理回路５０４に供給される信号がアナログ信号の場合には、画像信号処理部５０５に供給されるまでに、撮像信号処理回路５０４内のＡ／Ｄ変換器等によりデジタル信号に変換することが望ましい。

信号処理部５０３は、撮像装置１００により出力される第１のフレームを基に可視光線画像を形成し、第２のフレームを基に近赤外線画像を形成する。また、信号処理部５０３は、可視光線画像及び近赤外線画像をフレーム毎に交互に外部機器（表示装置）５０６に表示させてもよいし、可視光線画像及び近赤外線画像を合成して外部機器（表示装置）５０６に表示させてもよい。

撮像装置１００は、第１〜第４の実施形態に記載の通り、フレーム毎に可視光線画像データ及び近赤外線画像データを出力するため、画像信号処理部５０５は、例えば近赤外線画像より可視光線成分のノイズを除去するといった補正システムが不要となる。したがって、特別な補正を必要とせず、可視光線及び近赤外線に対して、高感度の画像を出力することができる。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０１ 画素部、１０２ 垂直走査回路、１０３ 読出し回路、１０４ 水平走査回路、１０５ 出力アンプ

Claims (14)

1. 入射光を電荷に変換する受光素子と、前記受光素子の電荷を転送する転送トランジスタと、前記電荷に基づく電気信号を出力する増幅トランジスタと、をそれぞれが含む、複数の画素と、
   前記複数の画素を駆動する走査回路と、を有する撮像装置であって、
   前記複数の画素は、可視光線を前記電気信号に変換する複数の第１の画素と、近赤外線を前記電気信号に変換する複数の第２の画素と、を含み、
   前記走査回路は、第１のフレームでは複数の前記第１の画素に前記電気信号を出力させ、
   前記走査回路は、第２のフレームでは複数の前記第２の画素に前記電気信号を出力させ、
   前記第２のフレームの前記電気信号の出力動作において、第１の行の前記第２の画素の転送トランジスタをオンにしてから第２の行の前記第２の画素の転送トランジスタをオンにするまで、前記第１の行と前記第２の行との間の行に含まれる前記第１の画素の前記転送トランジスタをオフに維持し、
   前記撮像装置は、前記第１の画素から出力された電気信号、及び、前記第２の画素から出力された電気信号を処理する読み出し回路を有し、
   前記読み出し回路は、前記第１の画素から出力された電気信号を第１のゲインで増幅し、前記第２の画素から出力された電気信号を前記第１のゲインより高い第２のゲインで増幅する、
   ことを特徴とする撮像装置。
2. 入射光を電荷に変換する受光素子と、前記受光素子の電荷を転送する転送トランジスタと、前記電荷に基づく電気信号を出力する増幅トランジスタと、をそれぞれが含む、複数の画素と、
   前記複数の画素を駆動する走査回路と、を有する撮像装置であって、
   前記複数の画素は、可視光線を前記電気信号に変換する複数の第１の画素と、近赤外線を前記電気信号に変換する複数の第２の画素と、を含み、
   前記走査回路は、第１のフレームでは複数の前記第１の画素に前記電気信号を出力させ、
   前記走査回路は、第２のフレームでは複数の前記第２の画素に前記電気信号を出力させ、
   前記第２のフレームの前記電気信号の出力動作において、第１の行の前記第２の画素の前記電気信号を出力してから第２の行の前記第２の画素の電気信号を出力するまで、前記第１の行と前記第２の行との間の行に含まれる前記第１の画素から前記電気信号を出力せず、
   前記撮像装置は、前記第１の画素から出力された電気信号、及び、前記第２の画素から出力された電気信号を処理する読み出し回路を有し、
   前記読み出し回路は、前記第１の画素から出力された電気信号を第１のゲインで増幅し、前記第２の画素から出力された電気信号を前記第１のゲインより高い第２のゲインで増幅する、
   ことを特徴とする撮像装置。
3. 前記第１の画素の前記受光素子は、第１の期間に入射した可視光線を電荷に変換して蓄積し、
   前記第２の画素の前記受光素子は、前記第１の期間と少なくとも一部が重なる第２の期間に入射した近赤外線を電荷に変換して蓄積する、
   ことを特徴とする請求項１または２に記載の撮像装置。
4. 前記第１の画素の前記受光素子は、第１の期間に入射した可視光線を電荷に変換して蓄積し、
   前記第２の画素の前記受光素子は、前記第１の期間よりも長い第２の期間に入射した近赤外線を電荷に変換して蓄積する、
   ことを特徴とする請求項１または２に記載の撮像装置。
5. 前記複数の第１の画素、及び、前記複数の第２の画素が、複数の列を含む行列を構成し、
   １つの列に対して、当該１つの列に含まれる第１の画素及び第２の画素に対応して、複数の出力線が配されることを特徴とする請求項１〜４のいずれか１項に記載の撮像装置。
6. 前記複数の第１の画素及び前記複数の第２の画素は、２次元行列状に配置され、
   前記２次元行列の各行は、複数の前記第１の画素を含む行又は複数の前記第２の画素のみを含む行のいずれかであることを特徴とする請求項１〜５のいずれか１項に記載の撮像装置。
7. 前記第１のフレームでは、複数の前記第１の画素の前記電気信号が互いに独立して出力されることを特徴とする請求項１〜６のいずれか１項に記載の撮像装置。
8. 前記第２のフレームでは、複数の前記第２の画素の電気信号が加算されて出力されることを特徴とする請求項１〜７のいずれか１項に記載の撮像装置。
9. 前記複数の画素のそれぞれは、前記増幅トランジスタに接続された選択トランジスタを含み、
   前記走査回路は、前記選択トランジスタをオンすることによって、前記電気信号を出力する画素を選択する、
   ことを特徴とする請求項１〜８のいずれか１項に記載の撮像装置。
10. 前記第１の画素から出力された前記電気信号と、前記第２の画素から出力された前記電気信号とに、互いに独立にゲインを設定する、
    ことを特徴とする請求項１〜９のいずれか１項に記載の撮像装置。
11. 請求項１〜１０のいずれか１項に記載の撮像装置と、
    前記撮像装置に像を形成する光学系と、
    前記撮像装置から出力された画像を処理して画像データを生成する信号処理部と
    を有することを特徴とする撮像システム。
12. 前記信号処理部は、前記第１のフレームを基に可視光線画像を形成し、前記第２のフレームを基に近赤外線画像を形成することを特徴とする請求項１１に記載の撮像システム。
13. 前記信号処理部は、前記可視光線画像及び前記近赤外線画像をフレーム毎に交互に表示させることを特徴とする請求項１２に記載の撮像システム。
14. 前記信号処理部は、前記可視光線画像及び前記近赤外線画像を合成して表示させることを特徴とする請求項１２に記載の撮像システム。

Images