JP6320132B2

JP6320132B2 - 撮像システム

Info

Publication number: JP6320132B2
Application number: JP2014077831A
Authority: JP
Inventors: 照幸大門
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2014-04-04
Filing date: 2014-04-04
Publication date: 2018-05-09
Anticipated expiration: 2034-04-04
Also published as: JP2015201686A

Description

本発明は、撮像システムに関する。

近年、被写体に光を投射しその反射光を撮像装置で受光することで、被写体までの距離を算出する方法が知られている。光の速度は、３×１０ｍ／ｓである。光の速度が既知であるので、光源より対象物に向かってパルス光を放ち、対象物からはね返ってきた反射光を受け、そのパルス光の遅れ時間を計測することで、対象物までの距離を測定することができる。ＴＯＦ（Ｔｉｍｅ−Ｏｆ−Ｆｌｉｇｈｔ）法とは、このパルス光の飛行時間を測定することで、対象物までの距離を測る方法である。遅れ時間計測範囲に対する距離計測範囲を読み取ることができ、例えば遅れ時間計測範囲が１μｓで、遅れ時間計測分解能が、１ｎｓのものができれば、１５０ｍの範囲を１５ｃｍの分解能で測定でき、車載用の距離センサとして利用可能である。

この原理を応用し、電荷振り分け方式の画素構造を有するＣＭＯＳ型固体撮像装置を用いて２次元の距離画像を取得する技術が知られている。具体的には、照射パルス光が物体に反射して遅れて到達する反射パルス光の先行部分に対応する信号成分と後行部分に対応する信号成分をスイッチで振り分ける。これらの信号を画素毎に検出し、先行部分と後行部分の比率を求めることにより、画素毎の距離情報を得ることができる（特許文献１参照）。

さらに、ＴＯＦ法でフォトダイオードの開口率を低下させない方法として、偶数行と奇数行で転送タイミングを変えることで、異なる画素出力を用いて距離情報を得る方法が知られている（特許文献２参照）。

特開２００４−２９４４２０号公報特開２０１０−２１３２３１号公報

特許文献２では、偶数行画素の信号と奇数行画素の信号を用いて、距離情報を得る。しかし、これでは異なる画素出力を用いることになり、微妙な受光量の差が発生することから、正確な距離情報を得るために、後段で補正を行うなど処理回路が複雑になる課題がある。また、通常の撮像システムには、パッシブ型の専用のセンサで、位相差検出により焦点検出情報を生成させる手段を有しているが、一般的に、暗い状況では精度が落ちる。

本発明の目的は、簡単な構成で、被写体までの距離を算出するための画素信号を生成することができる撮像システムを提供することである。

本発明の撮像システムは、光電変換により電荷を生成する第１の光電変換素子と、前記第１の光電変換素子に対応し、電荷を保持する第１の電荷保持部と、前記第１の光電変換素子の電荷を前記第１の電荷保持部に転送する第１の転送スイッチと、前記第１の電荷保持部が保持する電荷に基づく信号を出力線に出力する第１の選択スイッチと、光電変換により電荷を生成する第２の光電変換素子と、前記第２の光電変換素子に対応し、電荷を保持する第２の電荷保持部と、前記第２の光電変換素子の電荷を前記第２の電荷保持部に転送する第２の転送スイッチと、前記第１の光電変換素子の電荷を前記第２の電荷保持部に転送する第３の転送スイッチと、前記第２の電荷保持部が保持する電荷に基づく信号を前記出力線に出力する第２の選択スイッチとを有し、第１のモードでは、前記第１の転送スイッチが前記第１の光電変換素子の電荷を前記第１の電荷保持部に転送し、前記第１の選択スイッチが前記第１の電荷保持部が保持する電荷に基づく信号を前記出力線に出力し、その後、前記第２の転送スイッチが前記第２の光電変換素子の電荷を前記第２の電荷保持部に転送し、前記第２の選択スイッチが前記第２の電荷保持部が保持する電荷に基づく信号を前記出力線に出力し、第２のモードでは、前記第１の転送スイッチ及び前記第３の転送スイッチが前記第１の光電変換素子の電荷を時分割で前記第１の電荷保持部及び前記第２の電荷保持部に転送し、前記第１の選択スイッチが前記第１の電荷保持部が保持する電荷に基づく信号を前記出力線に出力し、その後、前記第２の選択スイッチが前記第２の電荷保持部が保持する電荷に基づく信号を前記出力線に出力することを特徴とする。

第１の光電変換素子の電荷を時分割で第１及び第２の電荷保持部に転送することにより、簡単な構成で、被写体までの距離を算出するための画素信号を生成することができる。

画素の構成例を示す図である。固体撮像装置の構成例を示す図である。画素及び読み出し部の構成例を示す図である。画素のレイアウト図である。撮像するための駆動方法を示すタイミングチャートである。撮像システムの構成例を示す図である。ＴＯＦ法における駆動方法を示すタイミングチャートである。画素出力のイメージを示す図である。

図１は、本発明の実施形態による画素１００の構成例を示す図である。フォトダイオード１０１は、光電変換により電荷を生成する光電変換素子であり、アノードが接地されている。フォトダイオード１０１のカソードは、転送ＭＯＳトランジスタ（転送スイッチ）１０２を介して、フローティングディフュージョン１０６及び増幅ＭＯＳトランジスタ１０４のゲートに接続されている。増幅ＭＯＳトランジスタ１０４のゲートは、フローティングディフュージョン１０６をリセットするためのリセットＭＯＳトランジスタ１０３のソースが接続されている。リセットＭＯＳトランジスタ１０３のドレインは、電源電圧ＶＤＤのノードに接続されている。増幅ＭＯＳトランジスタ１０４は、ドレインが電源電圧ＶＤＤのノードに接続され、ソースが選択ＭＯＳトランジスタ１０５のドレインに接続されている。

転送ＭＯＳトランジスタ１０２のゲートには、信号ＰＴＸが入力される。転送ＭＯＳトランジスタ１０２は、信号ＰＴＸに応じて、フォトダイオード１０１の電荷をフローティングディフュージョン１０６に転送する。リセットＭＯＳトランジスタ１０３のゲートには、信号ＰＲＥＳが入力される。リセットＭＯＳトランジスタ１０３は、信号ＰＲＥＳに応じて、フローティングディフュージョン１０６及びフォトダイオード１０１の電荷をリセットする。選択ＭＯＳトランジスタ１０５のゲートには、信号ＰＳＥＬが入力される。選択ＭＯＳトランジスタ１０５は、信号ＰＳＥＬに応じて、増幅ＭＯＳトランジスタ１０４のソースを端子ＯＵＴに接続する。端子ＯＵＴは、図３の垂直出力線３０１に接続される。増幅ＭＯＳトランジスタ１０４は、選択ＭＯＳトランジスタ１０５を介して、図３の垂直出力線３０１の負荷の電流源３０２に接続されることで、ソースフォロワアンプとして機能する。なお、信号ＰＲＥＳ及びＰＳＥＬは、それぞれ、図２の垂直走査手段２０２により生成される。

図２は、ＣＭＯＳ型固体撮像装置２００の構成例を示す図である。固体撮像装置２００は、画素部２０１、垂直走査手段２０２、読み出し部２０３、水平走査手段２０４及び読み出しアンプ１５０を有する。画素部２０１は、２次元行列状に配置された複数の画素１００（図１）を有し、光学系により結像された光学像を受光する。垂直走査手段２０２は、信号ＰＴＸ、ＰＳＥＬ及びＰＴＸにより、画素部２０１内の画素１００の行を順に選択する。水平走査手段２０４は、画素部２０１内の画素の列を順に選択する。これにより、画素部２０１内の複数の画素は、順に選択される。読み出し部２０３は、垂直走査手段２０２及び水平走査手段２０４によって選択される画素１００の信号を読み出しアンプ１５０に読み出す。なお、固体撮像装置２００は、上記の各回路にタイミング信号を提供するタイミングジェネレータ等を備えても良い。

図３は、図１の画素１００及び図２の読み出し部２０３の一部の構成例を示す図であり、第０列の構成例を示す。画素１００＿００は、第０行第０列の画素１００である。画素１００＿１０は、第１行第０列の画素１００である。画素１００＿２０は、第２行第０列の画素１００である。画素１００＿３０は、第３行第０列の画素１００である。各列の画素１００の出力端子ＯＵＴは、列毎に配置された垂直出力線３０１及び電流源３０２に共通に接続されている。電流源３０２は、垂直出力線３０１の負荷である。

増幅アンプ３０３は、垂直出力線３０１に読み出された信号を増幅する。保持容量３０６は、スイッチ３０４を介して、増幅アンプ３０３の出力信号を保持する。保持容量３０７は、スイッチ３０５を介して、増幅アンプ３０３の出力信号を保持する。スイッチ３０４は、図５の信号ＰＴＮにより駆動され、保持容量３０６は画素１００のリセット状態の信号（Ｎ信号）を保持する。また、スイッチ３０５は、図５の信号ＰＴＳにより駆動され、保持容量３０７は画素１００の光電変換に基づく信号（Ｓ信号）を保持する。保持容量３０６及び３０７の各列の信号は、水平走査手段２０４によって、読み出しアンプ１５０の入力端子に順次転送される。読み出しアンプ１５０は、保持容量３０７のＳ信号と保持容量３０６のＮ信号の差分を出力する。

図３の画素１００＿００〜１００＿３０では、図１の画素１００に対して、転送ＭＯＳトランジスタ１０７が追加されている。転送ＭＯＳトランジスタ１０７のゲートには、信号ＰＴＯＦが入力される。また、転送ＭＯＳトランジスタ１０７のドレインは前行の画素１００のフォトダイオード１０１のカソードに接続され、ソースが次行の画素１００のフローティングディフュージョン１０６に接続される。信号ＰＴＯＦは、図２の垂直走査手段２０２により生成される。転送ＭＯＳトランジスタ１０２及び１０７を駆動することにより、後述するＴＯＦ（Ｔｉｍｅ−Ｏｆ−Ｆｌｉｇｈｔ）法による被写体距離情報の生成を行う。

図４は、画素部２０１内の画素１００のレイアウト図である。画素１００＿００は、第０行第０列の画素１００である。画素１００＿０１は、第０行第１列の画素１００である。画素１００＿０２は、第０行第２列の画素１００である。画素１００＿０３は、第０行第３列の画素１００である。画素１００＿１０は、第１行第０列の画素１００である。画素１００＿１１は、第１行第１列の画素１００である。画素１００＿１２は、第１行第２列の画素１００である。画素１００＿１３は、第１行第３列の画素１００である。画素１００＿２０は、第２行第０列の画素１００である。画素１００＿２１は、第２行第１列の画素１００である。画素１００＿２２は、第２行第２列の画素１００である。画素１００＿２３は、第２行第３列の画素１００である。画素１００＿３０は、第３行第０列の画素１００である。画素１００＿３１は、第３行第１列の画素１００である。画素１００＿３２は、第３行第２列の画素１００である。画素１００＿３３は、第３行第３列の画素１００である。１６個の画素１００＿００〜１００＿３３は、画素部２０１内で２次元行列状に配置される。１６個の画素１００＿００〜１００＿３３の例を説明するが、実際には数千×数千の画素１００が配置されている。

画素１００＿００〜１００＿３３は、それぞれ、半導体層に、フォトダイオード１０１、転送ＭＯＳトランジスタ１０２，１０７及びフローティングディフュージョン１０６を有し、その直上にマイクロレンズ４０１が配置される。また、フォトダイオード１０１の上には、カラーフィルタがベイヤ配列されている。画素１００＿００，１００＿０２，１００＿２０，１００＿２２には、赤色（Ｒ）のカラーフィルタが配置される。画素１００＿０１，１００＿０３，１００＿２１，１００＿２３には、緑色（Ｇｒ）のカラーフィルタが配置される。画素１００＿１０，１００＿１２，１００＿３０，１００＿３２には、緑色（Ｇｂ）のカラーフィルタが配置される。画素１００＿１１，１００＿１３，１００＿３１，１００＿３３には、青色（Ｂ）のカラーフィルタが配置される。

図５は、固体撮像装置２００の第１のモードにおける駆動方法を示すタイミングチャートであり、被写体を撮像するためにフォトダイオード１０１に蓄積された電荷に応じた信号を１画面分、読み出す駆動方法を示す。横軸は、時間の経過を示しており、その時刻をＴ１〜Ｔ１２で示している。信号ＨＤの位相は、選択行の信号ＰＳＥＬの位相を示している。また、各パルス信号は、ハイレベルで対応するトランジスタがオンする。信号ＰＴＸ＿００は、第０行の画素１００＿００〜１００＿０３の転送ＭＯＳトランジスタ１０２のゲートに入力される信号ＰＴＸである。信号ＰＴＯＦ＿００は、第０行の画素１００＿００〜１００＿０３の転送ＭＯＳトランジスタ１０７のゲートに入力される信号ＰＴＯＦである。信号ＰＴＸ＿１０は、第１行の画素１００＿１０〜１００＿１３の転送ＭＯＳトランジスタ１０２のゲートに入力される信号ＰＴＸである。信号ＰＴＯＦ＿１０は、第１行の画素１００＿１０〜１００＿１３の転送ＭＯＳトランジスタ１０７のゲートに入力される信号ＰＴＯＦである。信号ＰＲＥＳは、信号ＰＳＥＬによる選択行とその次の行の画素１００のリセットＭＯＳトランジスタ１０３を駆動するための信号である。時刻Ｔ１以前では、フォトダイオード１０１は、光電変換により生成した電荷の蓄積を行っている。

時刻Ｔ１では、信号ＨＤ、ＰＴＳ、ＰＴＮがローレベルであり、信号ＰＲＥＳがハイレベルである。次に、時刻Ｔ２では、信号ＨＤ（ＰＳＥＬ）がローレベルからハイレベルになり、垂直走査手段２０３により第０行が選択される。具体的には、第０行の信号ＰＳＥＬがローレベルからハイレベルになり、第０行の選択ＭＯＳトランジスタ１０５がオンし、第０行の増幅ＭＯＳトランジスタ１０４が垂直出力線３０１に接続される。このとき、信号ＰＲＥＳはハイレベルであり、選択行の第０行及びその次の第１行の画素１００では、リセットＭＯＳトランジスタ１０３がオンし、フローティングディフュージョンＣｆｄはリセット状態である。

次に、時刻Ｔ３〜Ｔ４では、信号ＰＴＳ及びＰＴＮがハイレベルになり、スイッチ３０４及び３０５がオンし、保持容量３０６及び保持容量３０７はリセットされる。

次に、時刻Ｔ５では、信号ＰＲＥＳがローレベルになり、第０行及び第１行の画素１００では、リセットＭＯＳトランジスタ１０３がオフし、フローティングディフュージョンＣｆｄのリセット状態が解除される。

次に、時刻Ｔ６〜Ｔ７では、信号ＰＴＮが再びハイレベルになり、スイッチ３０４がオンし、第０行の画素１００のリセット状態解除後の出力信号（Ｎ信号）が保持容量３０６に保持さる。

次に、時刻Ｔ８〜Ｔ９では、信号ＰＴＸ＿００がハイレベルになる。これにより、第０行の全画素１００＿００〜１００＿０３では、転送ＭＯＳトランジスタ１０２がオンし、フォトダイオード１０１の電荷がフローティングディフュージョン１０６に転送される。また、時刻Ｔ８〜Ｔ１０では、信号ＰＴＳが再びハイレベルになり、スイッチ３０５がオンし、第０行の画素１００＿００〜１００＿０３の光電変換に基づく出力信号（Ｓ信号）が保持容量３０７に保持される。

次に、時刻Ｔ１０〜Ｔ１１の期間では、水平走査手段２０４により、保持容量３０６及び３０７に保持された信号が順次読み出しアンプ１５０の入力端子に転送される。読み出しアンプ１５０は、保持容量３０７のＳ信号と保持容量３０６のＮ信号の差分を出力する。

次に、時刻Ｔ１１〜Ｔ１２では、信号ＨＤ及びＰＳＥＬ＿０がローレベルになり、第０行の選択ＭＯＳトランジスタ１０５がオフし、第０行の増幅ＭＯＳトランジスタ１０４が垂直出力線３０１から切断される。また、時刻Ｔ１１では、信号ＰＲＥＳがハイレベルになり、次の選択行の第１行及びその次の第２行の画素１００では、リセットＭＯＳトランジスタ１０３がオンし、フローティングディフュージョン１０６がリセットされる。

次に、時刻Ｔ１２では、信号ＨＤ及び第１行の信号ＰＳＥＬがローレベルからハイレベルになり、第１行の選択ＭＯＳトランジスタ１０５がオンし、第１行の増幅ＭＯＳトランジスタ１０４が垂直出力線３０１から切断される。時刻Ｔ２〜Ｔ１２と同様に、第１行の画素１００＿１０〜１００＿１３の読み出しが行われる。この際、第０行の信号ＰＴＸ＿００の代わりに、第１行の信号ＰＴＸ＿１０がハイレベルになり、第１行の画素１００＿１０〜１００＿１３の転送ＭＯＳトランジスタ１０２がオンする。上記の処理を全行について順次行い、１画面分の全ての画素１００の信号の読み出しを行うことができる。これにより、被写体を撮像するための１画面分の画素信号が得られる。

以上のように、被写体の撮像を行うときは、転送ＭＯＳトランジスタ１０７がオフになり、転送ＭＯＳトランジスタ１０２により、１つのフォトダイオード１０１の電荷を１つのフローティングディフュージョン１０６に転送する。

図６は、第２のモードにおいて、固体撮像装置２００を用いてＴＯＦ（Ｔｉｍｅ−Ｏｆ−Ｆｌｉｇｈｔ）法による被写体距離情報（距離画像）を生成可能な撮像システム（カメラ）の構成例を示す図である。撮影レンズ６０１は、被写界からの光を固体撮像装置２００に集光する。投光手段としての発光素子６０２は、被写界に対して、パルス光を投射（照射）する。タイミング発生回路６０３は、固体撮像装置２００及び発光素子６０２を駆動する。発光素子６０２は、信号ＬＥＤ＿ＰＬＳ（図７）がハイレベルになることにより、所定波長域の光を被写界に対して投射する。距離算出部６０４は、発光素子６０２から投射された光が被写体に反射して固体撮像装置２００で受光されるまでの時間を測定することで、撮像システムから被写体までの距離を算出する。

図７は、固体撮像装置２００の第２のモードにおける駆動方法を示すタイミングチャートであり、１画面分の被写体距離情報を生成するための駆動方法を示す。まず、時刻Ｔ１〜Ｔ２では、信号ＨＤ（ＰＳＥＬ）、ＰＴＳ及びＰＴＮがローレベルであり、信号ＰＲＥＳがハイレベルである。

次に、時刻Ｔ２では、信号ＨＤ及びＰＳＥＬがハイレベルになり、第０行の選択ＭＯＳトランジスタ１０５がオンし、第０行の増幅ＭＯＳトランジスタ１０４が垂直出力線３０１に接続される。このとき、信号ＰＲＥＳはハイレベルであり、選択行の第０行及びその次の行の第１行の画素１００では、リセットＭＯＳトランジスタ１０３がオンし、フローティングディフュージョン１０６はリセット状態である。また、時刻Ｔ２〜Ｔ３では、信号ＰＴＸ＿００，ＰＴＸ＿１０及び信号ＰＴＯＦ＿００，ＰＴＯＦ＿１０がハイレベルになる。すると、第０行及び第１行の画素１００では、転送ＭＯＳトランジスタ１０２及び１０７がオンし、フォトダイオード１０１の電荷がリセットされる。

次に、時刻Ｔ４〜Ｔ５では、信号ＰＴＳ及びＰＴＮがハイレベルになり、スイッチ３０４及び３０５がオンし、保持容量３０６及び保持容量３０７がリセットされる。

次に、時刻Ｔ６では、信号ＰＲＥＳがローレベルになり、第０行及び第１行の画素１００では、リセットＭＯＳトランジスタ１０３がオフし、フローティングディフュージョンＣｆｄのリセット状態が解除される。

次に、時刻Ｔ７〜Ｔ８では、信号ＰＴＮが再びハイレベルになり、スイッチ３０４がオンし、第０行の画素１００のリセット状態解除後の出力信号（Ｎ信号）が保持容量３０６に保持さる。

次に、時刻Ｔ９〜Ｔ１１の期間では、信号ＰＴＸ＿００がハイレベルになる。これにより、第０行の画素１００では、転送ＭＯＳトランジスタ１０２がオンし、フォトダイオード１０１の電荷がフローティングディフュージョン１０６に転送される。

次に、時刻Ｔ１１〜Ｔ１３の期間では、信号ＰＴＯＦ＿００がハイレベルになる。これにより、第０行の画素１００内の転送ＭＯＳトランジスタ１０７がオンし、第０行の画素１００内のフォトダイオード１０１の電荷が第１行の画素１００内のフローティングディフュージョン１０６に転送される。

また、時刻Ｔ１０〜時刻Ｔ１２の期間では、信号ＬＥＤ＿ＰＬＳがハイレベルになり、発光素子６０２は光を被写界に向けて投射する。

その後、時刻Ｔ１４〜Ｔ１５では、信号ＰＴＳが再びハイレベルになり、スイッチ３０５がオンし、第０行の画素１００の光電変換に基づく出力信号（Ｓ信号）が保持容量３０７に保持される。

次に、時刻Ｔ１５〜Ｔ１６の期間では、水平走査手段２０４により、保持容量３０６及び３０７に保持された信号が順次読み出しアンプ１５０の入力端子に転送される。読み出しアンプ１５０は、保持容量３０７の第０行のＳ信号と保持容量３０６の第０行のＮ信号の差分を出力する。

時刻Ｔ１６〜Ｔ１７では、信号ＨＤ及び第０行の信号ＰＳＥＬがローレベルになり、第０行の選択ＭＯＳトランジスタ１０５がオフし、第０行の増幅ＭＯＳトランジスタ１０４が垂直出力線３０１から切断される。

次に、時刻Ｔ１７では、信号ＨＤ及び第１行のＰＳＥＬがローレベルからハイレベルになり、第１行の選択ＭＯＳトランジスタ１０５がオンし、第１行の増幅ＭＯＳトランジスタ１０４が垂直出力線３０１に接続される。第１行の画素１００内のフローティングディフュージョン１０６は、第０行の画素１００内のフォトダイオード１０１から転送された電荷を蓄積している。これにより、第１行の画素１００内のフローティングディフュージョン１０６に蓄積されている電荷に基づく信号が垂直出力線３０１に出力される。

次に、時刻Ｔ１８〜Ｔ１９では、信号ＰＴＳがハイレベルになり、スイッチ３０５がオンし、垂直出力線３０１の光電変換に基づく出力信号（Ｓ信号）が保持容量３０７に保持される。

その後、水平走査手段２０４により、保持容量３０６及び３０７に保持された信号が順次読み出しアンプ１５０の入力端子に転送される。読み出しアンプ１５０は、保持容量３０７のＳ信号と保持容量３０６のＮ信号の差分を出力する。

その後、上記の第０行の処理及び第１行の処理と同様の処理を、全行について、２行単位で、繰り返す。これにより、１画面分の被写体距離情報が得られる。

ここで、発光素子６０２が光を被写界に向けて投射しその反射光が固体撮像装置２００で受光される。時刻Ｔ９〜Ｔ１１の期間に第０行の画素１００のフォトダイオード１０１の電荷が選択行の第０行のフローティングディフュージョン１０６に転送される。また、時刻Ｔ１１〜Ｔ１３の期間に第０行の画素１００のフォトダイオード１０１の電荷が選択行の次の行の第１行のフローティングディフュージョン１０６に転送される。

つまり、第０行のフローティングディフュージョン１０６の電荷に基づくＳ信号及びＮ信号の差分信号と、第１行のフローティングディフュージョン１０６の電荷に基づくＳ信号及びＮ信号の差分信号を基に、被写体までの距離を算出することができる。

ＴＯＦ（Ｔｉｍｅ−Ｏｆ−Ｆｌｉｇｈｔ）法による被写体距離情報の生成方法を説明する。時刻Ｔ１０〜Ｔ１２の間に被写界に光を投射し、その反射光を受光する際、フォトダイオード１０１の電荷を時分割に第０行のフローティングディフュージョン１０６及び第１行のフローティングディフュージョン１０６に転送する。撮像システム内の距離算出部６０４（図６）は、第０行のフローティングディフュージョン１０６の電荷及び第１行のフローティングディフュージョン１０６の電荷に基づく信号を比較することで、撮像システムから被写体までの距離を算出することができる。

以上のように、距離画像の生成を行うときは、転送ＭＯＳトランジスタ１０２及び１０７により、１つのフォトダイオード１０１の電荷を、２つのフローティングディフュージョン１０６に転送する。

図８は、図７のタイミングチャートで駆動させたときの画素１００の出力信号のイメージを示す図である。ハッチで示した偶数行の画素１００内のフォトダイオード１０１の電荷に基づく信号を用いて、被写体までの距離を算出する。このように、１画面において２×１画素（破線）毎に、１つの距離情報（距離画像）を得ることができる。

以上のように、本実施形態によれば、転送ＭＯＳトランジスタ１０７を設け、転送ＭＯＳトランジスタ１０２及び１０７を駆動することにより、ＴＯＦ（Ｔｉｍｅ−Ｏｆ−Ｆｌｉｇｈｔ）法による被写体距離情報（距離画像）を生成することができる。

なお、本実施形態では、電荷保持部をフローティングディフュージョン１０６として説明したが、フォトダイオード１０１に隣接して電荷保持部としてのメモリを配置した構成であっても良い。

第１及び第２の実施形態によれば、第０行の画素１００＿００〜１００＿０３内のフォトダイオード１０１が第１の光電変換素子である。第０行の画素１００＿００〜１００＿０３内のフローティングディフュージョン１０６は、第１の光電変換素子に対応し、電荷を保持する第１の電荷保持部である。第０行の画素１００＿００〜１００＿０３内の転送ＭＯＳトランジスタ１０２は、第１の光電変換素子の電荷を第１の電荷保持部に転送する第１の転送スイッチである。第０行の画素１００＿００〜１００＿０３内の選択ＭＯＳトランジスタ１０５は、第１の電荷保持部が保持する電荷に基づく信号を列毎の垂直出力線３０１に出力する第１の選択スイッチである。

また、第１行の画素１００＿１０〜１００＿１３内のフォトダイオード１０１が第２の光電変換素子である。第１行の画素１００＿１０〜１００＿１３内のフローティングディフュージョン１０６は、第２の光電変換素子に対応し、電荷を保持する第２の電荷保持部である。第１行の画素１００＿１０〜１００＿１３内の転送ＭＯＳトランジスタ１０２は、第２の光電変換素子の電荷を第２の電荷保持部に転送する第２の転送スイッチである。第０行の画素１００＿００〜１００＿０３内の転送ＭＯＳトランジスタ１０７は、第１の光電変換素子の電荷を第２の電荷保持部に転送する第３の転送スイッチである。第１行の画素１００＿１０〜１００＿１３内の選択ＭＯＳトランジスタ１０５は、第２の電荷保持部が保持する電荷に基づく信号を列毎の垂直出力線３０１に出力する第２の選択スイッチである。

図５の第１のモードでは、第１の転送スイッチが第１の光電変換素子の電荷を第１の電荷保持部に転送し、第１の選択スイッチが第１の電荷保持部が保持する電荷に基づく信号を垂直出力線３０１に出力する。その後、第２の転送スイッチが第２の光電変換素子の電荷を第２の電荷保持部に転送し、第２の選択スイッチが第２の電荷保持部が保持する電荷に基づく信号を垂直出力線３０１に出力する。

図７の第２のモードでは、第１の転送スイッチ及び第３の転送スイッチが第１の光電変換素子の電荷を時分割で第１の電荷保持部及び第２の電荷保持部に転送する。第１の選択スイッチが第１の電荷保持部が保持する電荷に基づく信号を垂直出力線３０１に出力し、その後、第２の選択スイッチが第２の電荷保持部が保持する電荷に基づく信号を垂直出力線３０１に出力する。

具体的には、図７の第２のモードでは、第１の転送スイッチがオンし、その後、発光素子６０２が光の投射を開始し、その後、第１の転送スイッチがオフし、第３の転送スイッチがオンする。その後、発光素子６０２が光の投射を終了し、その後、第３の転送スイッチがオフする。

なお、図７において、時刻Ｔ９〜Ｔ１１の信号ＰＴＸ＿００のパルスと時刻Ｔ１１〜Ｔ１３の信号ＰＴＯＦ＿００のパルスの順番を逆にしてもよい。その場合、第２のモードでは、第３の転送スイッチがオンし、その後、発光素子６０２が光の投射を開始し、その後、第３の転送スイッチがオフし、第１の転送スイッチがオンする。その後、発光素子６０２が光の投射を終了し、その後、第１の転送スイッチがオフする。

距離算出部６０４は、第２のモードでは、第１の電荷保持部が保持する電荷に基づく信号及び第２の電荷保持部が保持する電荷に基づく信号に応じて、被写体までの距離を算出する。

第１及び第２の実施形態によれば、第１のモードでは、被写体を撮像するための撮像画像を生成することができる。第２のモードでは、第１の光電変換素子の電荷を時分割で第１及び第２の電荷保持部に転送することにより、通常撮像に用いる画素の構成を殆ど変えることなく、簡単な構成で、ＴＯＦ法による被写体までの距離を算出するための距離画像を生成することができる。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０１フォトダイオード、１０２転送ＭＯＳトランジスタ、１０５選択ＭＯＳトランジスタ、１０６フローティングディフュージョン、１０７転送ＭＯＳトランジスタ

Claims

光電変換により電荷を生成する第１の光電変換素子と、
前記第１の光電変換素子に対応し、電荷を保持する第１の電荷保持部と、
前記第１の光電変換素子の電荷を前記第１の電荷保持部に転送する第１の転送スイッチと、
前記第１の電荷保持部が保持する電荷に基づく信号を出力線に出力する第１の選択スイッチと、
光電変換により電荷を生成する第２の光電変換素子と、
前記第２の光電変換素子に対応し、電荷を保持する第２の電荷保持部と、
前記第２の光電変換素子の電荷を前記第２の電荷保持部に転送する第２の転送スイッチと、
前記第１の光電変換素子の電荷を前記第２の電荷保持部に転送する第３の転送スイッチと、
前記第２の電荷保持部が保持する電荷に基づく信号を前記出力線に出力する第２の選択スイッチとを有し、
第１のモードでは、
前記第１の転送スイッチが前記第１の光電変換素子の電荷を前記第１の電荷保持部に転送し、前記第１の選択スイッチが前記第１の電荷保持部が保持する電荷に基づく信号を前記出力線に出力し、
その後、前記第２の転送スイッチが前記第２の光電変換素子の電荷を前記第２の電荷保持部に転送し、前記第２の選択スイッチが前記第２の電荷保持部が保持する電荷に基づく信号を前記出力線に出力し、
第２のモードでは、
前記第１の転送スイッチ及び前記第３の転送スイッチが前記第１の光電変換素子の電荷を時分割で前記第１の電荷保持部及び前記第２の電荷保持部に転送し、
前記第１の選択スイッチが前記第１の電荷保持部が保持する電荷に基づく信号を前記出力線に出力し、その後、前記第２の選択スイッチが前記第２の電荷保持部が保持する電荷に基づく信号を前記出力線に出力することを特徴とする撮像システム。
さらに、被写界に光を投射する発光素子を有し、
前記第２のモードでは、前記第１の転送スイッチがオンし、その後、前記発光素子が光の投射を開始し、その後、前記第１の転送スイッチがオフし、前記第３の転送スイッチがオンし、その後、前記発光素子が光の投射を終了し、その後、前記第３の転送スイッチがオフすることを特徴とする請求項１記載の撮像システム。
さらに、被写界に光を投射する発光素子を有し、
前記第２のモードでは、前記第３の転送スイッチがオンし、その後、前記発光素子が光の投射を開始し、その後、前記第３の転送スイッチがオフし、前記第１の転送スイッチがオンし、その後、前記発光素子が光の投射を終了し、その後、前記第１の転送スイッチがオフすることを特徴とする請求項１記載の撮像システム。
さらに、前記第２のモードでは、前記第１の電荷保持部が保持する電荷に基づく信号及び前記第２の電荷保持部が保持する電荷に基づく信号に応じて、被写体までの距離を算出する距離算出部を有することを特徴とする請求項２又は３記載の撮像システム。