JP6693971B2 - インターライン電荷結合素子 - Google Patents

Description

関連出願の相互参照
本出願は、「ＤＵＡＬ ＶＥＲＴＩＣＡＬ ＣＨＡＲＧＥＤ−ＣＯＵＰＬＥＤ ＤＥＶＩＣＥ」と題され２０１５年５月１８日に出願された米国仮特許出願第６２／１６３，１３９号、ならびに「ＩＮＴＥＲＬＩＮＥ ＣＨＡＲＧＥ−ＣＯＵＰＬＥＤ ＤＥＶＩＣＥＳ」と題され２０１６年２月２日に出願された米国特許出願第１５／０１２，９１２号の利益および優先権を主張し、それらのその全体が参照により本明細書に組み込まれる。

本発明は、電子機器の分野、特に、インターライン電荷結合素子を備える画像取得システムに関する。

画像センサは、画像を構成する情報を伝達するためにその上に入射する光を検出および測定するセンサである。その目的のために、画像センサは、通常、例えば、その上に入射する光を電荷に変換するように構成されたフォトダイオードのような、複数の光検出、または感光性素子を備える。画像センサは、画素の格子、または配列として見られ、各画素は、その上に入射する光を測定するための、通常、個々にアドレス指定可能であると共に個々に制御可能である、光検出素子を備え得る。

電荷結合素子（ＣＣＤ）は、電荷の運動、例えば、電荷が生成された領域から電荷が操作され得る、例えば、デジタル値に変換され、おそらくデジタル値の更なるデジタル処理が後に続き得る、領域への運動のための素子である。ＣＣＤは、容器間の電荷の転送を許容するシフトを含む、素子における容量性容器（ポテンシャル井戸または電荷リザーバ）間で移動する電荷として見られ得る。

ＣＣＤ画像センサは、「画像フレーム」とも呼ばれる画像を取得可能な画像センサの特定の分類であり、ＣＣＤは、光検出素子によって蓄積された電荷を記憶し読み出すために使用される。当分野において使用される、画像フレームの「取得」は、互換的に、「露出」、または「露出の取得」もしくは画像フレーム／露出の「取り込み」と呼ばれ、特定の期間（「露出時間」もしくは「期間」または「取得時間」もしくは「期間」）、個々の光検出素子または画素による、ターゲットシーンの光からの光生成電子の収集を一般に意味する。また当分野において使用される、画像フレームまたは露出の「読み出し」は、記憶素子から、画素情報のその後のデジタル化のための電圧または電流に電荷を変換する追加の回路への収集された電荷の転送を一般に意味する。

ＣＣＤ画像センサは、種々の設定において用いられる画像取得システムにしばしば組み込まれる。このような画像取得システムの性能は、その中に含まれたＣＣＤセンサの画像取得および読み出し能力ならびに特性によって影響される。ＣＣＤ画像センサにおける画像フレームの取得および読み出しに対する更なる改善が常に望まれている。

本開示の実施形態は、ＣＣＤ画像センサにおける画像の取得および読み出しを制御する機構を提供する。本明細書において説明される機構は、インターラインＣＣＤに適用可能であり、飛行時間（ＴＯＦ）アプリケーションまたはマルチシャッタ画像フレームを使用する他のアプリケーションに対して特に魅力的であり得るが、またシングルシャッタ画像フレームを使用するアプリケーションとも互換性を有している。

本開示の一態様は、インターラインＣＣＤセンサならびにインターラインＣＣＤの画像取得および読み出し機能を制御するコントローラを備える。インターラインＣＣＤは、複数の光検出素子、複数の第１の記憶ユニットおよび複数の第２の記憶ユニットを含む。第１の記憶ユニットは、ＣＣＤ画像センサの読み出し前に、第１の露出期間中の第１の画像フレームの取得中に複数の光検出素子によって生成された第１の電荷（つまり、第１の露出期間中に取得される画像フレームの少なくとも一部を表現する電荷）を記憶するために構成されている。複数の第２の記憶ユニットは、読み出し（つまり、読み出される）前に、第２の露出期間中の第２の画像フレームの取得中に複数の光検出素子によって生成された第２の電荷（つまり、第２の露出期間中に取得される、第１の露出期間中に取得される画像フレームとは異なる画像フレームの少なくとも一部を表現する電荷）を記憶するために構成されている。コントローラは、第１の電荷の少なくとも一部が第２の画像フレームの取得中に読み出されることを確実にするために、インターラインＣＣＤセンサの取得および読み出し動作を制御するように構成されている。言い換えると、コントローラは、インターラインＣＣＤセンサのいくつかの記憶ユニット、すなわち光検出素子の第１の露出期間中に生成された電荷を記憶する記憶ユニットが、光検出素子が第２の露出期間において電荷を蓄積することと少なくとも部分的に同じ時間において、さらに好ましくは同時に、読み出されることを確実にする。コントローラは、第２の露出期間中に蓄積された電荷が、いくつかの他の記憶ユニットにおいて、すなわち光検出素子の第２の露出期間中に蓄積された電荷を記憶する記憶ユニットにおいて、記憶されることをさらに確実にする。

本明細書において説明されるコントローラは、インターラインＣＣＤセンサの機能を制御するために使用されるので、以下において、このようなコントローラは、「インターラインＣＣＤコントローラ」と呼ばれる。

当業者によって認められることになるように、本開示の態様は、例えば、方法、システム、コンピュータプログラム製品、またはコンピュータ可読記憶媒体として、種々の様式において具体化される。したがって、本開示の態様は、完全なハードウェア実施形態、完全なソフトウェア実施形態（ファームウェア、常駐ソフトウェア、マイクロコード等を含む）または全て概して本明細書において「回路」、「モジュール」もしくは「システム」と呼ばれ得るソフトウェアおよびハードウェア態様を組み合わせる実施形態の形式をとり得る。本開示において説明される機能は、１つ以上のコンピュータの１つ以上のプロセッシングユニット、例えば、１つ以上のマイクロプロセッサによって実行されるアルゴリズムとして実装され得る。種々の態様において、本明細書において説明される例の各々の異なるステップおよびステップの部分は、異なるプロセッシングユニットによって行われ得る。さらに、本開示の態様は、コンピュータ可読媒体に具体化された、例えば、記憶されたコンピュータ可読プログラムコードを有する、好ましくは非一時的な、１つ以上のコンピュータ可読媒体において具体化されたコンピュータプログラム製品の形式をとり得る。種々の実施形態において、このようなコンピュータプログラムは、例えば、既存の機器およびシステム（例えば、既存のインターラインＣＣＤセンサまたはそれらのコントローラ等）にダウンロードされ得る（更新され得る）か、またはこれらの機器およびシステムの製造時に記憶され得る。

本開示の他の特徴および利点は、以下の説明および請求項から明らかになる。

本開示ならびにその特徴および利点のより完全な理解を提供するために、参照が、以下の説明に対し、同様の参照番号が同様の部分を表現する、添付図面と併せてなされる。

飛行時間測定用に使用される画像取得システムを例示する概略図を提供する。 光検出素子および関連した記憶ユニットを備える従来のインターラインＣＣＤセンサの平面図を提供する。 図２Ａに示された従来のインターラインＣＣＤセンサの格子において使用される光検出素子および関連した記憶ユニットの平面図を提供する。 図２Ｂに示された光検出素子および関連した記憶ユニットの断面図を提供する。 従来のインターラインＣＣＤセンサを使用するマルチ露出画像フレームの取得および読み出しのタイミング図を提示する。 本開示の一実施形態による、光検出素子の配列および２セットの関連した記憶ユニットを備えるインターラインＣＣＤセンサの平面図を提供する。 本開示の一実施形態による、図４Ａにおいて示されたインターラインＣＣＤセンサの格子において使用される光検出素子および２つの関連した記憶ユニットの平面図を提供する。 本開示の一実施形態による、図４Ｂにおいて示された光検出素子および２つの関連した記憶ユニットの断面図を提供する。 本開示の一実施形態による、第１の画像フレームの取得中の静電ポテンシャルの相対レベルの概略的例示を提供する。 本開示の一実施形態による、第１の画像フレームの取得中に第１の記憶素子において蓄積された電荷の第２の記憶素子への転送中の静電ポテンシャルの相対レベルの概略的例示を提供する。 本開示の一実施形態による、第２の画像フレームの取得と同時に第２の記憶素子からの第１の画像フレームの読み出し中の静電ポテンシャルの相対レベルの概略的例示を提供する。 本開示の一実施形態による、図４Ａに示されたインターラインＣＣＤセンサを使用するマルチ露出画像フレームの取得および読み出しのタイミング図を提供する。 本開示の別の実施形態による、光検出素子および２つの関連した記憶ユニットのセットを備えるインターラインＣＣＤセンサの平面図を提供する。 本開示の一実施形態による、図７Ａに示されたインターラインＣＣＤセンサの格子において使用される光検出素子および２つの関連した記憶ユニットの平面図を提供する。 本開示の一実施形態による、図７Ｂに示された光検出素子および２つの関連した記憶ユニットの断面図を提供する。 本開示の一実施形態による、図７Ａに示されたインターラインＣＣＤセンサを使用するマルチ露出画像フレームの取得および読み出しのタイミング図を提供する。 本開示のいくつかの実施形態による、インターラインＣＣＤセンサの改善された画像取得および読み出し技術を実装するように構成された代表的な装置のシステム図を例示する。 本開示のいくつかの実施形態による、代表的なデータプロセッシングシステムを例示するブロック図を図示する。

飛行時間カメラの理解
図１は、代表的な飛行時間（ＴＯＦ）画像取得システム、または飛行時間カメラを示す。飛行時間カメラは、概して、照明器１０４（能動照明パルスまたは光パルスを放つ）、および電子シャッタを有する画像センサ１０２を含む。図示されないが、飛行時間カメラは、カメラの視野において物体（例えば、野球選手、野球バット等）の距離を計算可能な構成要素を含むことになる。通常、飛行時間カメラは、シーンにおける物体に反射する照明１０４を使用する能動照明パルスを生成することによって、および反射した光を画像センサ１０２において取り込むことによって、シーンの深度を測定する。例えば、照明器１０４は、シーンにおける物体に赤外光をパルス照射可能である発光ダイオードまたはレーザーダイオードを含み得、反射した光は、画像センサ１０２、例えば、電荷結合素子（ＣＣＤ）画像センサ配列または他の形式の画像センサ配列によって取り込まれ得る。照明器１０４は、照明器１０４を点滅させる電気パルスによって駆動される。画像センサ１０２のシャッタドライバは、画像が取り込まれるかおよび／または画像信号が生成されることを許容するためにシャッタを開かせる電気パルスによって駆動される。

照明器１０４から物体に移動し物体から画像センサ１０２に移動する光のラウンドトリップタイムが、飛行時間カメラからの物体の距離に基づいて変化することになることに留意すべきである。また、光の速度は、既知である。このため、飛行時間カメラまでの物体間の距離に依存して、画像センサ１０２に衝突する反射された光は、照明器１０４が光を生成した時間に対する遅延を有することになる。この情報に基づいて、反射した光を取り込むために、照明器１０４および画像センサ１０２のシャッタドライバの位相を整合することができる。複数タイミング位相差を有する照明器１０４および画像センサ１０２にパルスをトリガーすることによって、それらの位相差および画像センサ１０２からの取り込まれた画像信号は、カメラからの物体の距離を計算するために直接使用可能である。当業者は、距離を判定するために飛行時間カメラ用に使用可能である数個の適切な技術／アルゴリズム（例えば、照明器とシャッタパルスとの間の既知の位相差を活用する技術）があることを認めるであろう。

ＴＯＦのいくつかのアプリケーションにおいて、ＴＯＦアプリケーションは、反射した光の特定の位相が、元の放出された位相に対して比較される、レーザーダイオード（ＬＤ）による、光パルスチェーン、例えば、赤外（ＩＲ）光パルスチェーンを作成する。画像センサ、例えば、ＣＣＤ画像センサは、複数光源ＩＲ光パルスと同期される同一タイミング位相を使用して複数光子パケットを収集する。異なる表現では、多くの短い露出（例えば、数十または数百の露出）が、１つの長い露出に対して蓄積され、これらの長い露出のうちの２つ以上が、取り込まれ処理される。多くの短い露出を蓄積するために、多くの光パルス（つまり、赤外光パルス列）が生成され、１つの長い露出を取り込むために多くの短い露出が収集される（つまり、短い露出のうちの各１つについての電子がポテンシャル井戸において収集される）。１つの位相によって取り込まれるが、他の位相によって取り込まれない運動がある場合、深度エラーおよびモーションブラーがＴＯＦ画像において発生し得る。異なる位相取り込みの間の時間遅延を最小化することによって、エラーおよび乱れが、同様に最小化される。

複数露出を取り込むことができるインターライン電荷結合素子
高性能カメラは、そこに用いられるＣＣＤセンサアーキテクチャ、例えば、フルフレームＣＣＤ、フレーム転送ＣＣＤ、またはインターライン転送ＣＣＤに基づいて区別され得る。１つの長い露出に対して複数サンプルを蓄積する（つまり、フォトダイオード上における複数の短い露出から生成された電荷を蓄積する）ために、インターライン転送ＣＣＤ（「インターラインＣＣＤ」とも一般に呼ばれる）が使用され得る。インターラインＣＣＤセンサは、通常、光子を検出しそれらを電荷に変換する光検出素子、例えば、フォトダイオードの列と、遮光体によって遮蔽された列とを交互に有する。以下により詳細に説明されるように、遮蔽された列は、光子を検出せず、それ自体の上に電荷を生成しない。その代わりに遮蔽された列は、画像フレーム取得中に光検出素子が入射光子を吸収することの結果として光検出素子によって生成された電荷の記憶のために使用される記憶ユニットを備える。遮蔽された列は、垂直ＣＣＤ、［垂直］ＣＣＤシフトレジスタ、電荷転送チャネル、またはインターラインマスクと一般に呼ばれる。一度、画像フレームの取得が終わると、遮蔽された列に記憶された電荷が読み出される。

従来のインターラインＣＣＤセンサは、図１の画像センサ１０２において示された画像センサ素子の格子に類似するインターラインＣＣＤセンサ素子２０２の格子を備える画像センサを例示する、インターラインＣＣＤセンサ２００として図２Ａに示される。図２Ａに示されるように、その周りに太線を有する１つの代表的なインターラインＣＣＤセンサ素子を参照して図２Ａにおいて指示された各インターラインＣＣＤセンサ素子２０２は、画像センサ１０２の例示に類似する、灰色で指示された光検出素子２０４または画素、例えば、フォトダイオードを含む。光を受光するために露出された画素の連続光子を備える画像センサ１０２と対照的に、インターラインＣＣＤセンサ２００において示される画素の各々は、白いドット模様で指示された、遮光体によって遮蔽された領域（つまり、その上に入射する光を検出することができない領域）を伴う。図２Ａの参照番号２１４は、このような光検出素子２０４の列を示し、一方で参照番号２１６は、記憶素子の遮蔽された列、つまり垂直ＣＣＤを示す。通常、遮蔽された記憶素子２０６は、記憶素子が対応する光検出素子２０４のすぐ隣であるか、または周辺近くに提供され、このため光検出素子に蓄積された電荷は、記憶素子に迅速に転送されることができる。これは、各遮蔽された列または垂直ＣＣＤ２１６が光検出列２１４に隣接することを例示する図２ＡのインターラインＣＣＤセンサ２００から見ることができる。

新しい画像フレームの取得が始まる前に、電荷は、除去される（例えば、垂直または側方オーバーフロー構造を通るように、光検出列２１４から基板に排出される）。周知のように、これは、例えば、光検出素子が光に露出していることの結果として光検出素子によって生成され得る電荷の全てが、基板内に注入／排出される（つまり光検出素子において蓄積されない）ように、光検出素子または／および光検出素子が提供される基板上の電圧を変更することによって実現され得る。画像フレーム取得中、光検出列の画素は、電荷を蓄積する（つまり、電荷は排出されない）。画像フレームがマルチ露出画像フレーム、つまり、相対的に長い露出期間内において複数の相対的に短い露出を使用して取得された、例えば、ＴＯＦシナリオに対して上述された、画像フレームである場合において、単一画像フレームの取得の各短い露出中、露出から生成され光検出列２１４において収集された電荷は、垂直ＣＣＤ２１６にシフトされるかまたは転送される。この短い露出の終了後、次の短い露出の開始前に、光が光検出素子上に入射され続ける事実による、光検出列において蓄積することを継続する電荷は、次の短い露出を開始する前に基板内に電荷を注入することによって、再び、除去されるかまたは排出され得る。マルチ露出画像フレームの取得の短い露出間において基板内に電荷を排出することは、従来の物理的シャッタに類似する、インターラインＣＣＤセンサの電子シャッタを効果的に実装し、電荷が基板内に排出され光検出素子内に蓄積されていない（つまり、「シャッタが閉じられる」）ときに、画像フレームを表現する電荷を記憶する記憶素子に１つも電荷が追加されず、一方で、しかしながら、電荷が光検出素子に蓄積している（つまり、「シャッタが開かれる」）ときに、収集された電荷が記憶素子に追加される。

マルチ露出画像フレームの多くの短い露出は、この様式で取り込まれることができ、電荷は、垂直ＣＣＤに蓄積され得る。言い換えると、垂直ＣＣＤは、電子シャッタを使用して光検出列の複数の短い露出から垂直ＣＣＤに転送される電荷を蓄積する。十分な数の短い露出が取り込まれ垂直ＣＣＤに蓄積された後、画像フレームのマルチ露出画像フレーム取得の総露出の結果が、垂直ＣＣＤから読み出され得る。このような総露出は、本明細書において「短い露出」と呼ばれる、マルチ露出画像取得の複数の、短い露出と区別するために、本明細書において「長い露出」と呼ばれる。

光検出素子（灰色）および遮蔽されたＣＣＤ記憶素子（白色）を備えるインターラインＣＣＤセンサ２００の素子２０２の代表的な実装が、図２Ｂ〜Ｃにおいてさらに例示される。図２Ｂ〜Ｃに見られるように、図２Ｂ〜Ｃにおいてフォトダイオード２０４として示される、インターラインＣＣＤセンサ２００の多くの光検出素子の格子の各光検出素子２０４は、記憶ユニット２０６（例えば、電荷を記憶するための並行／シフトレジスタまたはポテンシャル井戸）を備える遮蔽された素子を有する。ＣＣＤの多くのフォトダイオードと関連付けられたこのような記憶ユニットの多くは、図２Ａに示される垂直ＣＣＤ２１６のような垂直ＣＣＤを形成する。

フォトダイオード２０４から記憶ユニット２０６への電荷転送は、図２Ｂ〜Ｃに示される、転送ゲート１（ＴＧ１）、基板ゲート（ＳＵＢ）、およびＣＬＫゲートに適切な電圧を印加することによって制御され得る。この例において、フォトダイオード２０６は、記憶ユニット２０６内に電子が流入することを許容するために、フォトダイオードと比較して十分に大きな正の電圧をＴＧ１に印加することによってＴＧ１が有効化されるときに記憶ユニット２０６内に流入する（通常、５Ｖ〜２０Ｖ）、多くの短い露出に対する電荷を収集することが可能であり、一方で、基板内に流入するように電子を引きつけるために、フォトダイオードおよびＴＧ１と比べて十分に大きな正の電圧（通常、１０Ｖ〜２０Ｖ）をＳＵＢに印加することによってＳＵＢが有効化されるときに各短い露出間隔の間にフォトダイオードにおいて任意の不必要な電荷を排出する。一度、多くの短い露出がなされ、それらの電荷が各光検出素子から垂直ＣＣＤの対応する記憶ユニットに転送されると、多くの光検出素子と関連付けられた記憶ユニットの多くを有する垂直ＣＣＤにおいて蓄積された電荷と関連付けられた電圧が、読み出され、この電圧がＶＣＣＤとして示される。

光パルスおよびシャッタ付き露出が用いられるＴＯＦアプリケーションにおいて使用されるときの、例えば、インターラインＣＣＤセンサ２００のようなインターラインＣＣＤセンサの動作を例示する代表的なタイミング図が、図３に示される。パルス列ＬＤおよびＳＵＢは、多くの短い露出が、図３において「長い露出」として符号付けされた、より長い期間内においてなされることを許容し、一方で記憶ユニット２０６は、各長い露出に対する電荷を蓄積する。図３、ならびに図６および８のタイミング図において、フォトダイオードから垂直ＣＣＤの記憶ユニットへの電荷の転送が、「長い露出」として符号付けされた期間中に行われることに留意すべきである。

十分な短い露出が垂直ＣＣＤに蓄積された（つまり、マルチ露出画像フレームが取り込まれた）後、各垂直ＣＣＤ内の各記憶ユニットの電圧（ＶＣＣＤ）が、読み出され、そのプロセスは、画像配列のサイズに依存して、通常、数ミリ秒の単位における無視できない時間をとる。これは、第１の長い露出である、露出１に続く読み出し期間、およびその後の第２の長い露出である、露出２に続く別の読み出し期間により図３において例示される。露出１に続く読み出し期間中、第１のマルチ露出画像フレームを表現する電圧が、各記憶素子から読み出される。一度、第１の画像フレームに対するＶＣＣＤが読み出されると、電圧が記憶素子から除去され、次のマルチ露出画像フレームを取り込むための次の長い露出である、露出２の電荷蓄積が開始し得る。露出２に続く読み出し期間中、第２のマルチ露出画像フレームを表現する電圧が各記憶素子から読み出される。マルチ露出画像フレームを取得し読み出すこのプロセスは、必要である限り継続し得る。

垂直ＣＣＤが、長い露出期間に対して電荷が蓄積することを許容し、一方で基板を通して不必要な電荷を排出することによって光検出素子における短い個々の露出時間を許容するので、インターラインＣＣＤセンサを使用することは、ＴＯＦ測定において有用である。しかしながら、各長い露出は、垂直ＣＣＤが次の長い露出が開始し得る前に読み出されなければならない制約により、その後に続く長い露出から時間間隔を有する。これは、画像が取得されるシーンが第１の長い露出と第２の長い露出との間で変化し得る事実によるエラーおよび乱れを引き起こすので、特にＴＯＦアプリケーションにおいて望ましいものではない。

改善されたインターライン電荷結合素子
異なる位相の取り込み（例えば、異なる長い露出）の間の時間を最小化することによって、画像取り込みシステム、特にＴＯＦアプリケーションにおいて使用されるマルチ露出画像フレームシステムのエラーおよび乱れが最小化され得る。本開示の種々の実施形態は、連続する画像フレームの取り込みの間の遅延を低減するように設計されたインターラインＣＣＤセンサ構造を有する画像取り込みシステムを提供する。提案されるインターラインＣＣＤセンサは、与えられた光検出素子のセットと関連付けられた２つ以上の記憶ユニットのセットを含み、各光検出素子は、特定の画像フレームの取得中（つまり、特定の露出期間中）に光検出素子によって生成された電荷が、読み出し前にこれらの記憶ユニットのうちの任意の１つに記憶され得るという点で、２つ以上の記憶ユニットのセットのうちの各々の１つの記憶ユニットと関連付けられる。単一の光検出素子のセットに対して複数の記憶ユニットのセットを提供することは、別の記憶ユニットのセットにおける別の画像フレームに対応する電荷を蓄積している間に、１つの記憶ユニットのセットに記憶された１つの画像フレームに対応する電荷の読み出しを許容し、したがって異なる画像フレームの取り込みの間の遅延を低減し、フレームレートを向上する。結果として、画像取り込みシステムのエラーおよび乱れが最小化され得る。

フレームレートを最大化しつつ取り込みの間の遅延を最小化するために、新しい画像フレームを取り込んでいる間にその前に取り込まれた画像フレームを同時に、または少なくとも時間重複様式で読み出すように設計された新しいインターラインＣＣＤセンサ構造を例示する種々の例が、ここで説明されることになる。このような例は、各画像フレームがマルチシャッタ露出画像フレームである、つまり、画像フレームが取得されるかまたは取り込まれる露出期間が、本明細書において長い露出期間として説明される露出期間のうちの１つを意味する、ＴＯＦアプリケーションに対して特に有用であり得る。

いくつかの実施形態では、画素の各列に対して１つの垂直ＣＣＤ（またはチャネル）を有するのではなく、図２Ａにおける垂直ＣＣＤ２１４により示されたように、２つの垂直ＣＣＤが、露出間の低遅延を有する（図２Ａ〜Ｃおよび３によって示され例示されたインターラインＣＣＤと比べられたとき）事実上無制限の数の露出に対し、動作がピンポンまたは交互に往来することを許容するように画素の各列に対して提供され得る。このような実施形態によるインターラインＣＣＤセンサの例は、図４Ａおよび７Ａに例示され、各々、図２Ａに示されたものに類似するが、ここでは光検出素子の各列と関連付けられた２つの垂直ＣＣＤを有する、インターラインＣＣＤセンサ構造を例示し、以下の細区分において実施例ＡおよびＢとしてより詳細に説明される。画素の各列に対して２つの垂直ＣＣＤがある場合において「二重垂直ＣＣＤ」と呼ばれ得る、新しいＣＣＤセンサ構造は、２つの垂直ＣＣＤメモリのうちの１つに各新しい露出を記憶する。各露出は、新しいＣＣＤ構造がＴＯＦアプリケーションにおいて使用されるとき、単一画像フレームに対し複数シャッタ露出を蓄積する。

ＣＣＤの各フォトダイオード（画素）は、２つの記憶ユニットである、第１の記憶ユニットおよび第２の記憶ユニット（例えば、電荷を記憶するレジスタまたはポテンシャル井戸）を有する。したがって、与えられたフォトダイオードのセットに対して２つの記憶ユニットのセットがある。例えば、複数の第１の記憶ユニットを有する１つの垂直ＣＣＤチャネルおよび複数の第２の記憶ユニットを有する別の垂直チャネルは、フォトダイオードの列に対して２つの別個の垂直チャネル（二重垂直ＣＣＤ）として提供され得る。２つの異なる垂直チャネルがフォトダイオードの単一列に対して提供されるので、一方の垂直チャネルは、もう一方が別の露出についての電荷を蓄積している間に読み出されることができる。インターラインＣＣＤコントローラは、第１の記憶ユニットのセットに記憶された電荷が読み出される読み出し期間が、第２の記憶ユニットのセットにその後に続いて記憶される電荷を光検出素子が生成し蓄積する画像フレーム取得期間と少なくとも部分的に重複することを確実にするように構成される。

実施例Ａ：二重垂直ＣＣＤの一配置
本開示の一実施形態による、二重ＣＣＤセンサ構造の一例が、図４Ａ〜Ｃに例示される。

図４Ａに示されるインターラインＣＣＤセンサ４００は、図２Ａに示された画像センサ素子２０２の格子に類似するインターラインＣＣＤセンサ素子４０２の格子を備える。図４Ａに示されるように、その周りに太線を有する１つの代表的なインターラインＣＣＤセンサ素子を参照して図４Ａにおいて指示された各インターラインＣＣＤセンサ素子４０２は、灰色で指示された光検出素子４０４または画素、例えば、フォトダイオード、および白いドット模様で指示された、遮光体によって遮蔽された（つまり、その上に入射する光を検出することができない領域）、記憶素子４０６を備える領域を含む。図２Ａに類似して、図４Ａにおいて、参照番号４１４は、このような光検出素子４０４の列を意味し、一方で参照番号４１６は、記憶素子４０６の遮蔽された列、つまり、光検出素子の列４１４と関連付けられた垂直ＣＣＤを意味する。図２Ａに示されたインターラインＣＣＤセンサと異なり、各光検出素子４０４は、ＣＣＤ記憶素子４０６のみならず、図４Ａにおいて白色の実線で指示された、ＣＣＤ記憶素子４０８ともまた関連付けられる。図４Ａにおける参照番号４１８は、記憶素子４０８の第２の遮蔽された列、つまり、光検出素子４１４の列と関連付けられた第２の垂直ＣＣＤを意味する。

好ましくは、両方の遮蔽された記憶素子４０６および４０８は、これらの記憶素子が関連付けられた光検出素子４０４に対して比較的周辺近くに提供されることになり、このため光検出素子４０４に蓄積された電荷は、記憶素子４０６および／または記憶素子４０８に迅速に転送されることができる。図４Ａは、遮蔽された記憶素子４０６が光検出素子４０４に対して隣接するかまたは周辺により近くに提供され、一方で遮蔽された記憶素子４０８が、記憶素子４０８に隣接する、実施形態を示す。これは、各第１の遮蔽された列または垂直ＣＣＤ４１６が、光検出列４１４に隣接し、各第２の遮蔽された列または垂直ＣＣＤ４１８が、第１の列または垂直ＣＣＤ４１６に隣接することを例示している図４ＡのインターラインＣＣＤセンサ４００から見ることができる。

光検出素子４０４（灰色）、第１の遮蔽されたＣＣＤ記憶素子４０６（白いドット）、および第２の遮蔽されたＣＣＤ記憶素子４０８（白い実線）を備えるインターラインＣＣＤセンサ４００の素子４０２の代表的な実装が、図４Ｂ〜Ｃにおいてさらに例示され、光検出素子４０４が、フォトダイオード４０４として指示される。図４Ｂ〜Ｃに見られるように、改善されたインターラインＣＣＤ画像センサ（例えば、フォトダイオード４０４）の多くのフォトダイオードの各フォトダイオードは、２つの記憶ユニットである、転送ゲートＴＧ１を有する第１の記憶ユニット４０６および転送ゲートＴＧ２を有する第２の記憶ユニット４０８を有し得る。したがって、フォトダイオードの列４１４は、第１の垂直チャネルＶＣＣＤ１ ４１６および第２の垂直チャネルＶＣＣＤ２ ４１８を有し得る。

図５Ａ〜Ｃは、例えば、以下に説明されるインターラインＣＣＤコントローラによって制御され得る、フォトダイオード４０４、第１の遮蔽されたＣＣＤ記憶素子４０６、第２の遮蔽されたＣＣＤ記憶素子、ならびに異なる時点でのそれらのそれぞれの転送ゲートＴＧ１およびＴＧ２の各々での静電（ＥＳ）ポテンシャルにおける変化の概略的例示を提供する。通常、必須ではないが、同一ＥＳポテンシャルが、フォトダイオード４０４の全列（つまり、列４１４）、第１の垂直ＣＣＤの列４１６、および第２の垂直ＣＣＤの列４１８に印加される。例えば、標準的構成は、全ゲート（ＴＧ１、２）を並列に結線し、それらを外部電圧モードドライバによって駆動し得、外部電圧モードドライバによって印加される電圧を変化させることは、ＥＳポテンシャルを変化させることになる。

インターラインＣＣＤコントローラが、図５Ａに示されるようにＥＳポテンシャルを設定するとき、フォトダイオード４０４は、ＴＧ１を使用して第１の長い露出（図６のタイミング図における露出１）に対する電荷を第１の記憶ユニット４０６に収集して転送し得る。ＴＯＦについて、多くの短い露出が、１つの長い露出に対して取り込まれて蓄積され、第１の記憶ユニット４０６がフォトダイオード４０４よりも低いＥＳポテンシャルにあると共にそれらの間の転送ゲートが開かれる／有効化されるので、電荷がフォトダイオード４０４において蓄積するように第１の記憶ユニット４０６に転送される。第１の長い露出中に蓄積された電荷のフォトダイオード４０４から第１の記憶ユニット４０６への転送は、薄い灰色で指示され露出１として符号付けされた、フォトダイオード４０４から第１の記憶ユニット４０６への流れにより図５Ａに示される。

本明細書において前述されたように、複数の短い露出を有する長い露出期間中の画像フレーム取得は、例えば、インターラインＣＣＤコントローラを使用して、光検出素子および／または基板に印加される電圧を制御することによる電子シャッタを使用して実現され得、このため電荷は、フォトダイオード４０４において蓄積されるのみであり、したがって、各短い露出中に第１の記憶ユニット４０６に転送され得る。短い露出の間において、光検出素子および／または基板に印加された電圧は、フォトダイオード４０４によって生成され得る任意の電荷が基板内に排出され、したがって、第１の記憶ユニット４０６に転送されないようなものである。例えば、フォトダイオード上の電圧は、固定され得るが、一方で、短い露出の間において、フォトダイオードによって生成され得る任意の電荷が基板内に注入されることを確実にするために、可変電圧が、基板に印加され得る。

第１の長い露出である露出１が完了した後、転送ゲートＴＧ１は、ＴＧ１でのＥＳポテンシャルがフォトダイオード４０４のものよりも高い図５Ｂに示されるように、閉じられる／無効化され得、したがってＴＧ１を介したフォトダイオード４０４から第１の記憶ユニット４０６への更なる電荷転送を防止する。

この点において、次の露出を取り込むことができるために、第１の長い露出である露出１に倒して収集された電荷は、図５Ｂに示されるように、ＴＧ２を使用して第２の記憶ユニット４０８に転送される。一度、転送されると、ＴＧ２でのＥＳポテンシャルが第１の記憶ユニット４０６のものよりも高い図５Ｃに示されるように、転送ゲートＴＧ２が閉じられ／無効化され、したがってＴＧ２を介した第１の記憶ユニット４０６から第２の記憶ユニット４０８への更なる電荷転送を防止する。

図５Ｃに示されるように、ここで第１の長い露出に対して収集された電荷は、第２の記憶ユニット４０８に転送され、第２の記憶ユニット４０８においてＥＳポテンシャル障壁によって隔離され、フォトダイオード４０４は、第１の露出について上述されたものに類似する様式によって、ＴＧ１を使用して第２の長い露出に対する電荷を第１の記憶ユニットに収集し転送することができる。第２の長い露出中に蓄積された電荷のフォトダイオード４０４から第１の記憶ユニット４０６への転送が、濃い灰色で指示され露出２として符号付けされた、フォトダイオード４０４から第１の記憶ユニット４０６への流れにより図５Ｃにおいて示される。第２の露出が、図５Ｃに示されるように取り込まれている間、第１の露出を得るために第２の記憶素子４０８において電圧ＶＣＣＤ２を読み出すことが可能であり、プロセスは、再び、インターラインＣＣＤコントローラによって制御され得る。

ＴＯＦアプリケーションにおいて使用されるときの、図４Ａに示され上述されたインターラインＣＣＤセンサの動作を例示する代表的なタイミング図が、図６に示される。複数シャッタ露出（ＳＵＢ）は、３つの露出が露出１、露出２、および露出３として図６において示される各長い露出に対して使用され得る。各光検出素子と関連付けられた２つの記憶素子があるので、画像フレーム取得（つまり、長い露出）および読み出し動作は、図６に見ることができるように、同時または少なくとも時間において重複して起こることが可能であり、例えば、露出１の間の画像フレーム取得の読み出しが、露出２の間の次の画像フレームの取得と同時に起こり、露出２の間の画像フレーム取得の読み出しが、露出３の間の次の画像フレーム取得と同時に起こり、同じように続く。加えて、図５Ａ〜Ｃを参照して上述されたように、新しい画像フレーム（つまり、新しい長い露出）の取得は、前の画像フレーム（つまり、前の長い露出中に蓄積された電荷）が転送ゲートＴＧ２を介して第１の記憶素子から第２の記憶素子に転送されるまで待たなければならない。これは、図６に見ることができることと同様、連続する長い露出間、例えば、露出１と露出２との間、または露出２と露出３との間の期間中に、転送ゲート１が閉じられ（制御信号ＴＧ１が低い）、これが、光検出素子４０４から第１の記憶素子４０６に転送する電荷がないことを意味し、一方で、転送ゲート２が開かれ（制御信号ＴＧ２が高い）、これが、第１の記憶素子４０６から第２の記憶素子４０８に転送する電荷があることを意味することに留意することによっても見ることができる。

実施例Ｂ：二重垂直ＣＣＤの代替的配置
図４Ａ〜Ｃ、５および６を参照して上述された、実施例Ａの改善されたインターラインＣＣＤセンサは、各光検出素子の単一側面上に提供された２つの記憶素子、例えば、光検出素子の列の一方の面における２つの垂直ＣＣＤを備える。このような構成は、単一インターラインＶ−ＣＣＤを既に使用する既存のフォトダイオード設計と容易に組み合わせられ得るので、好都合であり得る。しかしながら、他の配置がまた可能である。実施例Ｂは、いくつかの実施形態において、光検出素子と関連付けられた２つの記憶素子が、光検出素子の２つ以上の異なる側面上に提供され得る、例えば、２つの垂直ＣＣＤが、フォトダイオードの列の２つの異なる面上に提供され得ることを例示する。したがって、ＣＣＤの１つの代表的なフォトダイオード（画素）は、２つの記憶ユニット（例えば、電荷を記憶するためのレジスタまたはポテンシャル井戸）である、転送ゲートＴＧ１を有する第１の記憶ユニットおよび転送ゲートＴＧ２を有する第２の記憶ユニットを有する。多くの第１の記憶ユニットを有する１つの垂直チャネルおよび多くの第２の記憶ユニットを有する別の垂直チャネルが、フォトダイオードの列に対して提供される（２つの別個の垂直チャネル（二重垂直ＣＣＤ）として）。２つの異なる垂直チャネルがフォトダイオードの列に対して提供されるので、１つの垂直チャネルは、他の１つが別の露出に対する電荷を蓄積している間に読み出されることができる。これは、一例を示す図７Ａ〜Ｃに例示され、２つの垂直ＣＣＤである、ＶＣＣＤ１およびＶＣＣＤ２は、フォトダイオードの反対の面に提供される。

図７Ａに示されるインターラインＣＣＤセンサ７００は、図４Ａに示された画像センサ素子４０２の格子に類似するインターラインＣＣＤセンサ素子７０２の格子を備える。図７Ａに示されるように、その周りに太線を有する１つの代表的なインターラインＣＣＤセンサ素子を参照して図７Ａにおいて指示される各インターラインＣＣＤセンサ素子７０２は、灰色で指示される光検出素子７０４または画素、例えば、フォトダイオードと、遮光体によって遮蔽され、白いドット模様で指示された第１の記憶素子７０６を備える第１の領域（つまり、その上に入射する光を検出することができない領域）と、遮光体によって遮蔽され、白い実線で指示された第２の記憶素子７０８を備える第２の領域と、を含む。図４Ａに類似して、図７Ａにおいて、参照番号７１４は、光検出素子７０４の列を意味し、参照番号７１６は、第１の記憶素子のセット７０６の遮蔽された列、つまり、光検出素子の列７１４と関連付けられた第１の垂直ＣＣＤを意味し、図７Ａの参照番号７１８は、第２の記憶素子のセット７０８の遮蔽された列、つまり、光検出素子の列７１４と関連付けられた第２の垂直ＣＣＤを意味する。第１の列４１６および第２の列４１８が、フォトダイオード列４１４の同一面上に提供された、図４Ａに示されたインターラインＣＣＤセンサとは異なり、図７Ａに示される例において、第１の遮蔽された列７１６および第２の遮蔽された列７１８は、フォトダイオード列７１４の異なる面上に提供される。

実施例Ａに類似して、好ましくは、両方の遮蔽された記憶素子７０６および７０８は、これらの記憶素子が関連付けられた光検出素子７０４に対し比較的周辺近くに提供されることになり、このため光検出素子７０４に蓄積された電荷は、記憶素子７０６および／または記憶素子７０８に迅速に転送されることができる。図７Ａは、遮蔽された記憶素子７０６が光検出素子７０４の一方の面に対して隣接するかまたは周辺により近くに提供され、一方で遮蔽された記憶素子７０８が、光検出素子７０４の反対の面に対して隣接するかまたは周辺により近くに提供される実施形態を例示する。これは、各第１の遮蔽された列または垂直ＣＣＤ７１６が、光検出列７１４の一方の面に隣接し、各第２の遮蔽された列または垂直ＣＣＤ７１８が、光検出列７１４の反対の面に隣接することを例示する図７ＡのインターラインＣＣＤセンサ７００から見ることができる。他の実施形態において、各々それぞれの光検出素子と関連付けられた２つの記憶ユニットが、光検出素子の隣接面上にあるように（図において示されない）、光検出素子の各列に対して１つの垂直ＣＣＤおよび１つの水平ＣＣＤを提供することもまた可能である。

図７Ａ〜Ｃにおける二重垂直ＣＣＤ構造の動作は、図４Ａ〜Ｂにおける二重垂直ＣＣＤ構造とは異なり得る。図７Ａ〜Ｂに示される二重垂直ＣＣＤ構造について、フォトダイオード７０４は、第１の長い露出である露出１（多くの短い露出を有する）の間に取得された第１の画像フレームに対する電荷を第１の記憶ユニットにＴＧ１を使用して収集し転送し得る（ＴＯＦについて、多くの短い露出が１つの長い露出に対して取り込まれ蓄積される）。次の露出を取り込むために、フォトダイオード７０４は、第２の長い露出である露出２（多くの短い露出を有する）の間に取得された第２の画像フレームに対する電荷を第２の記憶ユニットにＴＧ２を使用して収集し転送し得る。第２の画像フレームは、長い露出２の間にＶＣＣＤ２において取り込まれている間に、露出１の期間に事前に取り込まれた第１の画像フレームを得るためにＶＣＣＤ１を読み出すことが可能である。再び、インターラインＣＣＤコントローラが、このような動作を制御するように構成され得る。

ＴＯＦアプリケーションにおいて使用されるときの、図７Ａに示されるインターラインＣＣＤセンサの動作を例示する代表的なタイミング図が、図８に示される。複数シャッタ露出（ＳＵＢ）は、３つの露出が露出１、露出２、および露出３として図８に示される各長い露出に対して使用され得る。実施例Ａに類似して、実施例Ｂの場合において、各光検出素子と関連付けられた２つの記憶素子があるので、画像フレーム取得（つまり、長い露出）および読み出し動作は、図８に見ることができるように、同時または少なくとも時間において重複して起こることが可能であり、例えば、露出１の間の画像フレーム取得の読み出しが、露出２の間の次の画像フレームの取得と同時に起こり、露出２の間の画像フレーム取得の読み出しが、露出３の間の次の画像フレーム取得と同時に起こり、同じように続く。実施例Ａと対照的に、実施例Ｂによると、画像フレームの１つの取得が完了され、新しい画像フレーム（つまり、新しい長い露出）の取得が、即座に開始し得る（ただし、もちろん、必須ではない）。これは、一度、転送ゲートＴＧ１が閉じられることになると同時に、第１の画像フレームが露出１の間に取り込まれ、これが、フォトダイオードから第１の記憶素子７０６に転送する電荷がもはやないことを意味し、露出２の間に次の画像フレームを取得するために転送ゲートＴＧ２が開き、これが、ここでフォトダイオード７０４から第２の記憶素子７０８に転送する電荷があることを意味し、同じように続くことに留意することによって、図８において見ることができる。

図７Ａに示された特定の実装の特徴は、露出３の間に蓄積された電荷が第１の垂直ＣＣＤ７１６に再び記憶されることになるので、第１の画像フレームの読み出しが完了し、第１の垂直ＣＣＤ７１６が電荷を除去されるまで、第３の画像フレームの取得（露出３）が待つ必要がないことである。

代表的なインターラインＣＣＤ画像取得システム
図９は、本開示のいくつかの実施形態による、インターラインＣＣＤセンサの改善された画像取得および読み出し技術を実装するように構成された代用的な画像取得装置９００のシステム図を例示する。示されるように、このような装置は、各光検出画素、例えば、インターラインＣＣＤセンサ４００またはインターラインＣＣＤセンサ７００ごとに２つ以上のＣＣＤ記憶素子を実装するインターラインＣＣＤセンサ９０２を少なくとも含む。１つのインターラインＣＣＤセンサのみが図９において示されるが、画像取得システム９００は、任意に、複数のこのようなインターラインＣＣＤセンサを含み得る。画像取得システム９００は、本明細書において説明される改善されたインターラインＣＣＤ技術によって、別の画像フレームを読み出している間に、１つの画像フレームの取得を可能にするために本明細書において説明される様式で、少なくとも、制御信号を生成するかおよび／またはインターラインＣＣＤセンサ９０２の素子のうちの１つ以上（例えば、インターラインＣＣＤセンサ９０２の光検出素子、インターラインＣＣＤセンサ９０２の光検出素子の各々と関連付けられた第１の記憶素子、インターラインＣＣＤセンサ９０２の光検出素子の各々と関連付けられた記憶素子に電荷を転送可能にする転送ゲート、インターラインＣＣＤセンサ９０２の光検出素子の各々と関連付けられた第２の記憶素子、およびインターラインＣＣＤセンサ９０２の光検出素子の各々と関連付けられた第２の記憶素子に電荷を転送可能にする転送ゲート、のうちの１つ以上）におけるＥＳポテンシャルレベルを修正するように構成されたコントローラ９０４をさらに含み得る。そのためにも、いくつかの実施形態において、コントローラ９０４は、図９に示されるように、本明細書において説明された種々の改善された画像取得および読み出し技術を実装するように構成された、プロセッサ９０６およびメモリ９０８を少なくとも含み得る。

図９は、画像取得システム９００内に含まれるコントローラ９０４を例示するが、他の実施形態において、コントローラ９０４は、画像取得システム９００の外部に実装されてもよく、この場合においてコントローラ９０４は、任意の適切な通信チャネルを介して、遠隔的に、画像取得システム９００を制御するように、特にインターラインＣＣＤセンサ９０２を制御するように構成され得る。言い換えると、図９に示されるように画像取得システム９００内に実装される代わりに、コントローラ９０４は、画像取得システム９００に対して外部であり、画像取得システム９００に通信可能に結合されてもよい。

本明細書において上述されたように、マルチシャッタ画像を同時に取り込み読み出す能力は、各々がまた画像取得システム９００内に含まれるかまたは通信可能にそれらに結合される（図において示されない）、レーザーダイオードまたはＬＥＤのような光源、精密タイミングジェネレータ、および高速アナログフロントエンド（ＡＦＥ）と結合されるときに、インターラインＣＣＤセンサ、例えば、センサ９０２が飛行時間深度検知アプリケーションのために効果的に使用されることを許容する。複数ＣＣＤ記憶素子、例えば、二重垂直ＣＣＤをインターラインＣＣＤセンサにおいて実装することは、システムが異なる位相取り込みの間に少しの遅延を有することを可能にし、したがってＴＯＦアプリケーションにおいて使用されるときの画像取り込みシステム９００のエラーおよび乱れを低減する。例えば、深度を判定するために使用される異なる位相を取り込むことにおける遅延によって生じ得るモーションブラー乱れが、低減されるかまたは最小化され得る。

いくつかの実施形態において、能動フォトダイオード領域フィルファクタは、光検出素子と関連付けられた記憶素子のコンパクトなレイアウトを通して、あるいは各光検出素子の上にマイクロレンズの使用を伴って、最大化され、一方で、最大センサ効率を維持し、センササイズを最小化し、センサコストを最小化するために同時読み出しを依然としてサポートする。さらに、連続する画像取り込みの数は、事実上無制限であり、本明細書において説明される改善されたインターラインＣＣＤセンサ、例えば、二重垂直ＣＣＤセンサが、所望のように多くの異なる位相取り込みを行うことを許容する。

代表的なデータプロセッシングシステム
図１０は、本開示の一実施形態による、代表的なデータプロセッシングシステム１０を例示するブロック図を図示する。このようなデータプロセッシングシステムは、例えば、本明細書において説明されたコントローラ９０４としてか、または本明細書において説明される種々の改善されたインターラインＣＣＤ画像取得および読み出し技術を実装するように構成された任意の他のシステムとして、機能するように構成され得る。

図１０に示されるように、データプロセッシングシステム１０００は、システムバス１００６を通してメモリ素子１００４に結合された少なくとも１つのプロセッサ１００２を含み得る。このように、データプロセッシングシステムは、メモリ素子１００４内にプログラムコードを記憶し得る。さらに、プロセッサ１００２は、システムバス１００６を介してメモリ素子１００４からアクセスされたプログラムコードを実行し得る。一態様において、データプロセッシングシステムは、プログラムコードを記憶することおよび／または実行することに適するコンピュータとして実装され得る。ただし、データプロセッシングシステム１０００が、本明細書内において説明された機能を行うことが可能であるプロセッサおよびメモリを含む、任意のシステムの形式で実装され得ることが認められるべきである。

メモリ素子１００４は、例えば、ローカルメモリ１００８および１つ以上の大容量記憶装置１０１０のような、１つ以上の物理的メモリ機器を含み得る。ローカルメモリは、プログラムコードの実際の実行中に概して使用されるランダムアクセスメモリまたは他の非永続メモリを意味し得る。大容量記憶装置は、ハードドライブまたは他の永続データ記憶装置として実装され得る。プロセッシングシステム１０００はまた、実行中に大容量記憶装置１０１０から検索されなければならないプログラムコードの回数を低減するために、少なくともいくつかのプログラムコードの一時的な記憶を提供する１つ以上のキャッシュメモリ（示されない）を含み得る。

入力機器１０１２および出力機器１０１４として図示された入力／出力（Ｉ／Ｏ）機器は、任意に、データプロセッシングシステムに結合され得る。入力機器の例としては、限定されるものではないが、キーボード、マウスのようなポインティングデバイス等を含み得る。出力機器の例としては、限定されるものではないが、モニタまたはディスプレイ、スピーカー等を含み得る。入力および／または出力機器は、直接または介在するＩ／Ｏコントローラを通してのいずれかで、データプロセッシングシステムに結合され得る。

実施形態において、入力および出力機器は、複合入力／出力機器（入力機器１０１２および出力機器１０１４を囲む点線により図１０において例示される）として実装され得る。このような複合機器の例としては、「タッチ画面ディスプレイ」または単に「タッチ画面」とも呼ばれる、タッチ検知ディスプレイがある。このような実施形態において、機器への入力は、タッチ画面ディスプレイ上またはその近くにおける、例えば、スタイラスまたは利用者の指のような、物理的物体の運動によって提供され得る。

ネットワークアダプタ１０１６がまた、任意に、データプロセッシングシステムが、介在する私用または公用ネットワークを通して、他のシステム、コンピュータシステム、遠隔ネットワーク機器、および／または遠隔記憶機器に結合されることになることを可能にするように、結合され得る。ネットワークアダプタは、システム、機器および／またはネットワークによってデータプロセッシングシステム１０００に送信されるデータを受信するデータ受信器と、データプロセッシングシステム１０００からシステム、機器および／またはネットワークにデータを送信するデータ送信器と、を備え得る。モデム、ケーブルモデム、およびイーサーネットカードは、データプロセッシングシステム１０００と使用され得る、異なる形式のネットワークアダプタの例である。

図１０に図示されるように、メモリ素子１００４は、アプリケーション１０１８を記憶し得る。種々の実施形態において、アプリケーション１０１８は、ローカルメモリ１００８、１つ以上の大容量記憶装置１０１０、またはローカルメモリおよび大容量記憶装置とは別に記憶され得る。データプロセッシング機器１０００が、アプリケーション１０１８の実行を容易化可能であるオペレーティングシステム（図１０において示されない）をさらに実行してもよいことが認められるべきである。実行可能プログラムコードの形式で実装されている、アプリケーション１０１８は、データプロセッシングシステム１０００によって、例えば、プロセッサ１００２によって実行され得る。アプリケーションの実行に応答して、データプロセッシングシステム１０００は、本明細書において説明される１つ以上の動作または方法ステップを行うように構成され得る。

選択された実施例
実施例１は、例えば、ＴＯＦシステムにおいて、またはＴＯＦシステムとして使用される、画像取得システムを提供する。画像取得システムは、インターラインＣＣＤセンサおよびインターラインＣＣＤセンサの動作を制御するコントローラを含む。インターラインＣＣＤセンサは、複数の光検出素子、複数の光検出素子とは別の（つまり、同一ではない）複数の第１のＣＣＤ記憶ユニット、ならびに複数の光検出素子および複数の第１のＣＣＤ記憶ユニットとは別の（つまり、同一ではない）複数の第２のＣＣＤ記憶ユニットを含む。複数の第１のＣＣＤ記憶ユニットは、複数露出を含む１つの画像フレームの取得中に複数の光検出素子によって蓄積された電荷を記憶するために構成され、複数の第２のＣＣＤ記憶ユニットは、複数露出を含む別の画像フレームの取得中に複数の光検出素子によって蓄積された電荷を記憶するために構成されている。したがって、１つの画像フレームの取得と別の画像フレームの取得との各々は、マルチ露出（またはマルチシャッタ）取得である。言い換えると、複数の第１のＣＣＤ記憶ユニットと複数の第２のＣＣＤ記憶ユニットとの各々は、その画像フレームの複数露出の各々の間に複数の光検出素子によって記憶された電荷の合計として、単一の複数露出画像フレームに対する総電荷を記憶するために構成される（第１のＣＣＤユニットおよび第２のＣＣＤユニットは、異なるマルチ露出画像フレームに対する総電荷を記憶する）。コントローラは、１つの画像フレームの取得中に蓄積された電荷の少なくとも一部が、別の画像フレームの取得中に読み出されることを確実にするように構成されている。

実施例２は、複数の光検出素子のうちの各光検出素子が、複数の第１のＣＣＤ記憶ユニットのうちの異なる１つの第１のＣＣＤ記憶ユニットと、および複数の第２のＣＣＤ記憶ユニットのうちの異なる１つの第２にＣＣＤ記憶ユニットと関連付けられている、実施例１に記載の画像取得システムを提供する。

実施例３は、光検出素子と関連付けられた第１のＣＣＤ記憶ユニットが、光検出素子と関連付けられた第２のＣＣＤ記憶ユニットと、光検出素子の同一側面上に提供（配設）されている、実施例２に記載の画像取得システムを提供する。

実施例４は、１つの画像フレームが、第２の画像フレームであり、別の画像フレームが、第１の画像フレームであり、複数の光検出素子が、第１の画像フレームの取得中に複数の光検出素子によって蓄積された電荷を複数の第１のＣＣＤ記憶ユニットに転送することと、複数の第１のＣＣＤ記憶ユニットが、第１の画像フレームの取得中に蓄積され、かつ複数の光検出素子から得られた電荷を複数の第２のＣＣＤ記憶ユニットに転送することと、複数の第１のＣＣＤ記憶ユニットから複数の第２のＣＣＤ記憶ユニットへの転送に続いて、複数の光検出素子が、第２の画像フレームの取得中に複数の光検出素子によって蓄積された電荷を複数の第１のＣＣＤ記憶ユニットに転送することと、を確実にするようにコントローラが構成されている、実施例１〜３のいずれか１つに記載の画像取得システムを提供する。

実施例５は、光検出素子と関連付けられた第１のＣＣＤ記憶ユニットが、光検出素子と関連付けられた第２のＣＣＤ記憶ユニットとは、光検出素子の異なる側面上に提供（配設）される、実施例２に記載の画像取得システムを提供する。他の実施例において、第１のＣＣＤ記憶ユニットおよび第２のＣＣＤ記憶ユニットは、それらが関連付けられた光検出素子に対して任意の位置に提供／配設され得る。

実施例６は、１つの画像フレームが、第１の画像フレームであり、別の画像フレームが、第２の画像フレームであり、複数の光検出素子が、第１の画像フレームの取得中に複数の光検出素子によって蓄積された電荷を複数の第１のＣＣＤ記憶ユニットに転送することと、複数の光検出素子が、第２の画像フレームの取得中に複数の光検出素子によって蓄積された電荷を複数の第２のＣＣＤ記憶ユニットに転送することと、を確実にするようにコントローラが構成されている、実施例１、２および５のいずれか１つに記載の画像取得システムを提供する。

実施例７は、複数の第１のＣＣＤ記憶ユニットが、垂直ＣＣＤを含み、一方で複数の第２のＣＣＤ記憶ユニットが、水平ＣＣＤを含むか、またはその逆である、実施例５または６に記載の画像取得システムを提供する。

実施例８は、複数の第１のＣＣＤ記憶ユニットと複数の第２のＣＣＤ記憶ユニットとの各々が、垂直ＣＣＤを含むか、または複数の第１のＣＣＤ記憶ユニットと複数の第２のＣＣＤ記憶ユニットとの各々が、水平ＣＣＤを含む、実施例１〜６のいずれか１つに記載の画像取得システムを提供する。

実施例９は、複数の光検出素子によって検出される光を提供するように構成された照明光源をさらに含む、実施例１〜８のいずれか１つに記載の画像取得システムを提供する。

実施例１０は、照明光源によって提供される光が、パルス光を含む、実施例９に記載の画像取得システム。

実施例１１は、画像取得システムが、飛行時間システムであり、取得された画像フレームに基づいて１つ以上の物体までの距離を判定するように構成された１つ以上のプロセッサをさらに備える、実施例１０に記載の画像取得システムを提供する。

実施例１２は、複数の光検出素子、１つの画像フレームの取得中に複数の光検出素子によって蓄積された電荷を記憶するための複数の第１のＣＣＤ記憶ユニット、および別の画像フレームの取得中に複数の光検出素子によって蓄積された電荷を記憶するための複数の第２のＣＣＤ記憶ユニットを備えるインターライン電荷結合素子（ＣＣＤ）センサを制御するコンピュータ実施方法であって、方法が、複数露出を含む１つの画像フレームの取得中に蓄積された電荷の少なくとも一部が複数露出を含む別の画像フレームの取得中に読み出されることを確実にすることを含む、コンピュータ実施方法を提供する。

実施例１３は、１つの画像フレームが、第２の画像フレームであり、別の画像フレームが、第１の画像フレームであり、複数の光検出素子が、第１の画像フレームの取得中に複数の光検出素子によって蓄積された電荷を複数の第１のＣＣＤ記憶ユニットに転送することを確実にすることと、複数の第１のＣＣＤ記憶ユニットが、第１の画像フレームの取得中に蓄積され、かつ複数の光検出素子から得られた電荷を複数の第２のＣＣＤ記憶ユニットに転送することを確実にすることと、複数の第１のＣＣＤ記憶ユニットから複数の第２のＣＣＤ記憶ユニットへの転送に続いて、複数の光検出素子が、第２の画像フレームの取得中に複数の光検出素子によって蓄積された電荷を複数の第１のＣＣＤ記憶ユニットに転送することを確実にすることと、を方法がさらに含む、実施例１２に記載のコンピュータ実施方法を提供する。

実施例１４は、１つの画像フレームが、第２の画像フレームであり、別の画像フレームが、第１の画像フレームであり、複数の光検出素子が、第１の画像フレームの取得中に複数の光検出素子によって蓄積された電荷を複数の第１のＣＣＤ記憶ユニットに転送することを確実にすることと、複数の光検出素子が、第２の画像フレームの取得中に複数の光検出素子によって蓄積された電荷を複数の第２のＣＣＤ記憶ユニットに転送することを確実にすることと、を方法がさらに含む、実施例１２に記載のコンピュータ実施方法を提供する。

実施例１５は、取得された画像フレームに基づいて１つ以上の物体までの距離を判定するために飛行時間計算を行うことをさらに含む、実施例１２〜１４のいずれか１つに記載のコンピュータ実施方法を提供する。

実施例１６は、プロセッサによって実行されたときに、複数の光検出素子、１つの画像フレームの取得中に複数の光検出素子によって蓄積された電荷を記憶するための複数の第１のＣＣＤ記憶ユニット、および別の画像フレームの取得中に複数の光検出素子によって蓄積された電荷を記憶するための複数の第２のＣＣＤ記憶ユニットを備える、インターライン電荷結合素子（ＣＣＤ）センサを制御する方法を実施するために構成されたソフトウェアコード部分を記憶している非一時的コンピュータ可読記憶媒体であって、方法が、複数露出を含む１つの画像フレームの取得中に蓄積された電荷の少なくとも一部が複数露出を含む別の画像フレームの取得中に読み出されることを確実にすることを含む、非一時的コンピュータ可読記憶媒体を提供する。

実施例１７は、１つの画像フレームが、第２の画像フレームであり、別の画像フレームが、第１の画像フレームであり、複数の光検出素子が、第１の画像フレームの取得中に複数の光検出素子によって蓄積された電荷を複数の第１のＣＣＤ記憶ユニットに転送することを確実にすることと、複数の第１のＣＣＤ記憶ユニットが、第１の画像フレームの取得中に蓄積され、かつ複数の光検出素子から得られた電荷を複数の第２のＣＣＤ記憶ユニットに転送することを確実にすることと、複数の第１のＣＣＤ記憶ユニットから複数の第２のＣＣＤ記憶ユニットへの転送に続いて、複数の光検出素子が、第２の画像フレームの取得中に複数の光検出素子によって蓄積された電荷を複数の第１のＣＣＤ記憶ユニットに転送することを確実にすることと、のためにソフトウェアコード部分がさらに構成されている、実施例１６に記載の非一時的コンピュータ可読記憶媒体を提供する。

実施例１８は、１つの画像フレームが、第２の画像フレームであり、別の画像フレームが、第１の画像フレームであり、複数の光検出素子が、第１の画像フレームの取得中に複数の光検出素子によって蓄積された電荷を複数の第１のＣＣＤ記憶ユニットに転送することを確実にすることと、複数の光検出素子が、第２の画像フレームの取得中に複数の光検出素子によって蓄積された電荷を複数の第２のＣＣＤ記憶ユニットに転送することを確実にすることと、のためにソフトウェアコード部分が構成されている、実施例１６に記載の非一時的コンピュータ可読記憶媒体を提供する。

実施例１９は、ソフトウェアコード部分が、取得された画像フレームに基づいて１つ以上の物体までの距離を判定するために飛行時間計算を行うことのためにさらに構成されている、実施例１６〜１８のいずれか１つに記載の非一時的コンピュータ可読記憶媒体を提供する。

実施例２０は、本明細書において説明された方法および機能を実行するようにプロセッサを構成するコンピュータ可読命令を含む、コンピュータプログラム製品を提供する。

変形例および実装
図における例示は、実際のＣＣＤの正確なレイアウト、向き、サイズ、および／または幾何形状を表現する必要はないことが留意される。他のチャネルが別の露出に対する電荷を蓄積している間に１つのＣＣＤチャネルが読み出されることができる、各光検出素子のセットと関連付けられた複数ＣＣＤチャネルを有するインターラインＣＣＤセンサのために、種々の適切なレイアウトが設計され実装され得ることが本開示によって想到される。上述された説明に基づき、当業者は、インターラインＣＣＤセンサの各単一光検出素子と関連付けられた２つ以上のＣＣＤ記憶素子を使用する、種々の更なる実施形態および構成を容易に想到することができ、これらの全ては、本開示の範囲内である。

例えば、本明細書において説明された改善されたインターラインＣＣＤセンサの種々の実施形態において、各光検出素子と関連付けられた２つ以上のＣＣＤは、同一または異なるポテンシャルレベルにおいてバイアスされてもよく、これもまたインターラインＣＣＤコントローラによって制御され得る。

本開示は、二重ＣＣＤチャネルについての例を提供するが、本明細書において提供される教示は、１つの光検出素子のセット当たり、１つよりも多い任意の数のＣＣＤチャネルに容易に拡張され得る。さらに、垂直チャネルを有する種々の実施形態は、適宜、適当な水平または斜めのチャネルに修正されることができ、水平および／または斜めのチャネルは、ＣＣＤの行または列に対する直線記憶装置として等価機能を提供し得る。

各光検出素子、例えば、各フォトダイオードが各ＣＣＤチャネルにおいて２つよりも多い記憶ユニットを有し得ることが可能である。例えば、単にＶＣＣＤ１において各フォトダイオードに対して１つの記憶ユニット、およびＶＣＣＤ２において各フォトダイオードに対して１つの記憶ユニットを有することに代えて、各フォトダイオードは、ＶＣＣＤ１において２つ以上の記憶ユニット、および／またはＶＣＣＤ２において２つ以上の記憶ユニットを有し得る。他の水著効チャネルが露出に対して電荷を蓄積している間に１つの垂直チャネルから読み出すことができる利点を維持しつつ、２つ以上の露出が、読み出し前に各垂直チャネルにおいて取り込まれ得る。

２つよりも多い垂直チャネル、つまり、それぞれの垂直チャネルに属する２つよりも多い記憶ユニットを有することが可能である。

上記の実施形態の論述において、コンデンサ、クロック、ＤＦＦ、デバイダ、インダクタ、抵抗器、増幅器、スイッチ、デジタルコア、トランジスタ、および／または他の構成要素が、特定の回路要求に適応するために容易に交換、置換、またはそうでなければ修正され得る。さらに、補足的な電子機器、ハードウェア、ソフトウェア等の使用が、本開示の教示を実装するための同様の選択肢を提案することが留意されるべきである。

本明細書において説明された種々の装置／機器の部分は、本明細書において説明された機能を果たす電子回路を含み得る。いくつかの場合において、装置の１つ以上の部分は、本明細書において説明された機能を実施するために特別に構成されたプロセッサによって提供され得る。例えば、プロセッサは、１つ以上のアプリケーション固有構成要素を含んでもよく、または本明細書において説明された機能を実施するように構成されるプログラマブルロジックゲートを含んでもよい。回路は、アナログ領域、デジタル領域、または混合信号領域において動作し得る。いくつかの事例において、プロセッサは、非一時的コンピュータ媒体上に記憶された１つ以上の命令を実行することによって、本明細書において説明された機能を実施するように構成されてもよい。

実施形態の一例において、図の任意の数の電気回路および集積回路が、関連電子機器の基板上に実装されてもよい。基板は、電子機器の内部電子システムの種々の構成要素を保持可能である汎用回路基板であり得、さらに、他の周辺機器用のコネクタを提供する。より具体的には、基板は、システムの他の構成要素が電気的に通信可能にするための電気的接続を提供し得る。任意の適切なプロセッサ（デジタル信号プロセッサ、マイクロプロセッサ、サポートチップセット等を包括する）、コンピュータ可読非一時的メモリ素子等が、特定の構成要求、処理要求、コンピュータ設計等に基づいて基板に適切に結合され得る。外部記憶装置、追加のセンサ、音声／映像表示のためのコントローラ、および周辺機器のような他の構成要素が、プラグインカードとしてか、ケーブルを介してか、または基板自体に組み込まれて基板に取り付けられてもよい。種々の実施形態において、本明細書において説明された機能は、これらの機能をサポートする構造において配置された１つ以上の構成可能（例えば、プログラマブル）要素内で動作するソフトウェアまたはファームウェアとしてのエミュレーション形式で実装されてもよい。エミュレーションを提供するソフトウェアまたはフィアームウェアは、これらの機能を実施することをプロセッサに許容する命令を含む非一時的コンピュータ可読記憶媒体上に提供されてもよい。

本明細書において概要を述べた詳細部、寸法、および関係（例えば、プロセッサの数、論理動作等）は、例および教示の目的のみのためだけに提案されたことが留意される必要がある。この情報は、本開示の概念または添付の請求項の範囲から相当に逸脱することなく、変更され得る。詳細部は、１つの非限定的例のみに適用され、したがって、それらはそのように解釈されるべきである。上記の説明において、実施形態の例は、特定のプロセッサおよび／または構成要素配置を参照して説明された。種々の修正および変更が、添付の請求項の範囲から逸脱することなく、このような実施形態になされ得る。本説明および図面は、したがって、限定的感覚ではなく例示的に扱われる。

本明細書において提供された多数の例と共に、２つ、３つ、４つ、またはより多くの電気的構成要素の用語において相互作用が説明され得ることに留意すべきである。ただし、これは、明確性および例示の目的のみのためになされている。システムが、任意の適切な様式で統合され得ることが認められるべきである。類似の設計代替物、任意の例示された構成要素、モジュール、および図の要素は、種々の可能な構成において組み合わせられてもよく、これらの全ては、明確に本明細書の幅広い範囲内である。一定の場合において、限定された数の電気的要素を参照するのみによって、与えられたフローのセットの機能のうちの１つ以上を説明することが容易化され得る。図の電気回路およびその教示が、容易に拡縮可能であり、大量の構成要素、ならびにより複雑化された／精巧化された配置および構成に適応可能であることが認められるべきである。したがって、提供された例は、無数の他のアーキテクチャに潜在的に適用される電気回路の範囲を限定しないかまたは幅広い教示を抑制するべきではない。

本明細書において、「一実施形態」、「実施形態の例」、「実施形態」、「別の実施形態」、「いくつかの実施形態」、「種々の実施形態」、「他の実施形態」、「代替的実施形態」等に含まれた種々の特徴に対する参照は、任意のこのような特徴が、本開示の１つ以上の実施形態に含まれることを意味するように意図されるが、同一実施形態において組み合わされてもよく、または組み合わされる必要がないことに留意されたい。

また改善された電荷結合素子に関する機能が、図に例示されたシステムによってかまたはシステム内において実行され得る、いくつかの可能な機能のみを例示することに留意することが重要である。いくつかのこれらの動作は、適宜、削除または除去されてもよく、これらの動作は、本開示の範囲から相当に逸脱することなく修正または変更されてもよい。加えて、これらの動作のタイミングは、相当に改変されてもよい。上述の動作フローは、例および論述の目的のために提案されている。実質的な柔軟性が、任意の適切な配置、時系列、構成、およびタイミング機構が本開示の教示から逸脱することなく提供され得るという点で、本明細書において説明された実施形態によって提供される。

多数の他の変更、置換、変形、改変、および修正が、当業者によって確認され得るが、本開示は、このような変更、置換、変形、改変、および修正の全てを本開示および添付の請求項内に収まるものとして包含することが意図される（もしあれば）。上述された装置の全ての任意選択的特徴がまた、本明細書において説明された方法またはプロセスに対して実装されてもよく、例における詳細部が、１つ以上の実施形態のいずれかにおいて使用され得ることに留意されたい。

請求項は、ＵＳＰＴＯで以前に使用されていた様式における単独従属形式で提示されるが、任意の請求項が、明確に技術的に実行不可能でない限り、同一種類の任意の上位の請求項に従属し得る、およびそれと組み合わせられ得ることが理解されるべきである。

２００，４００，７００ インターラインＣＣＤセンサ
２０２，４０２，７０２ インターラインＣＣＤセンサ素子
２０４，４０４，７０４ 光検出素子
２０６，４０６，４０８ 記憶素子
２１４，４１４，７１４ 光検出素子の列
２１６，４１６ 記憶素子の列、垂直ＣＣＤ
４１８ 記憶素子の第２の列、第２の垂直ＣＣＤ
７０６ 第１の記憶素子
７０８ 第２の記憶素子
７１６ 第１の記憶素子のセットの列、第１の垂直ＣＣＤ
７１８ 第２の記憶素子のセットの列、第２の垂直ＣＣＤ
９００ 画像取得装置
９０２ インターラインＣＣＤセンサ
９０４ コントローラ
９０６ プロセッサ
９０８ メモリ
１０００ データプロセッシングシステム
１００２ プロセッサ
１００４ メモリ素子
１００６ システムバス
１００８ ローカルメモリ
１０１０ 大容量記憶装置
１０１２ 入力機器
１０１４ 出力機器
１０１６ ネットワークアダプタ
１０１８ アプリケーション

Claims (19)

1. 画像取得システムであって、
   インターライン電荷結合素子（ＣＣＤ）センサであって、
   複数の光検出素子と、
   複数露出を含む１つの画像フレームの取得中に前記複数の光検出素子によって蓄積された電荷を記憶するための複数の第１のＣＣＤ記憶ユニットと、
   複数露出を含む別の画像フレームの取得中に前記複数の光検出素子によって蓄積された電荷を記憶する複数の第２のＣＣＤ記憶ユニットと、を備える、インターラインＣＣＤセンサと、
   １つの画像フレームの前記取得中に蓄積された前記電荷の少なくとも一部が、別の画像フレームの前記取得中に読み出されることを確実にするように構成されたコントローラと、を備え、
   前記１つの画像フレームおよび別の画像フレームの取得中に複数の光検出素子によって蓄積された電荷は、前記１つの画像フレームおよび別の画像フレームの取得中、前記複数の光検出素子の各々のための転送ゲートを開いたままにして、前記１つの画像フレームおよび別の画像フレームの各々の複数露出の間、基板電圧を変化させ、前記複数の光検出素子によって蓄積された電荷の一部を前記複数の光検出素子から排出することによって、前記複数の光検出素子から転送される、
   画像取得システム。
2. 前記複数の光検出素子の各光検出素子は、前記複数の第１のＣＣＤ記憶ユニットのうちの１つの第１のＣＣＤ記憶ユニットおよび前記複数の第２のＣＣＤ記憶ユニットのうちの１つの第２のＣＣＤ記憶ユニットと関連付けられている、請求項１に記載の画像取得システム。
3. 前記光検出素子と関連付けられた前記第１のＣＣＤ記憶ユニットは、前記光検出素子と関連付けられた前記第２のＣＣＤ記憶ユニットと同一の、前記光検出素子の側面上に提供される、請求項２に記載の画像取得システム。
4. 前記１つの画像フレームは、第２の画像フレームであり、前記別の画像フレームは、第１の画像フレームであり、前記コントローラは、
   前記複数の光検出素子が、前記第１の画像フレームの前記取得中に前記複数の光検出素子によって蓄積された前記電荷を前記複数の第１のＣＣＤ記憶ユニットに転送することと、
   前記複数の第１のＣＣＤ記憶ユニットが、前記第１の画像フレームの前記取得中に蓄積され、かつ前記複数の光検出素子から得られた前記電荷を前記複数の第２のＣＣＤ記憶ユニットに転送することと、
   前記複数の第１のＣＣＤ記憶ユニットから前記複数の第２のＣＣＤ記憶ユニットへの前記転送に続いて、前記複数の光検出素子が、前記第２の画像フレームの前記取得中に前記複数の光検出素子によって蓄積された前記電荷を前記複数の第１のＣＣＤ記憶ユニットに転送することと、を確実にするように構成されている、請求項１〜３のいずれか１項に記載の画像取得システム。
5. 前記光検出素子と関連付けられた前記第１のＣＣＤ記憶ユニットは、前記光検出素子と関連付けられた前記第２のＣＣＤ記憶ユニットとは異なる、前記光検出素子の側面上に提供されている、請求項２に記載の画像取得システム。
6. 前記１つの画像フレームは、第１の画像フレームであり、前記別の画像フレームは、第２の画像フレームであり、前記コントローラは、
   前記複数の光検出素子が、前記第１の画像フレームの前記取得中に前記複数の光検出素子によって蓄積された前記電荷を前記複数の第１のＣＣＤ記憶ユニットに転送することと、
   前記複数の光検出素子が、前記第２の画像フレームの前記取得中に前記複数の光検出素子によって蓄積された前記電荷を前記複数の第２のＣＣＤ記憶ユニットに転送することと、を確実にするように構成されている、請求項１、２および５のいずれか１項に記載の画像取得システム。
7. 前記複数の第１のＣＣＤ記憶ユニットは、垂直ＣＣＤを備え、一方で前記複数の第２のＣＣＤ記憶ユニットは、水平ＣＣＤを備えるか、またはその逆である、請求項５に記載の画像取得システム。
8. 前記複数の第１のＣＣＤ記憶ユニットおよび前記複数の第２のＣＣＤ記憶ユニットの各々は、垂直ＣＣＤを備えるか、または前記複数の第１のＣＣＤ記憶ユニットおよび前記複数の第２のＣＣＤ記憶ユニットの各々は、水平ＣＣＤを備える、請求項１〜３のいずれか１項に記載の画像取得システム。
9. 前記複数の光検出素子によって検出される光を提供するように構成された照明光源をさらに備える、請求項１〜３のいずれか１項に記載の画像取得システム。
10. 前記照明光源によって提供される前記光は、パルス光を含む、請求項９に記載の画像取得システム。
11. 前記画像取得システムは、飛行時間システムであり、前記取得された画像フレームに基づいて１つ以上の物体までの距離を判定するように構成された１つ以上のプロセッサをさらに備える、請求項１０に記載の画像取得システム。
12. 複数の光検出素子と、１つの画像フレームの取得中に前記複数の光検出素子によって蓄積された電荷を記憶するための複数の第１のＣＣＤ記憶ユニットと、別の画像フレームの取得中に前記複数の光検出素子によって蓄積された電荷を記憶するための複数の第２のＣＣＤ記憶ユニットと、を備えるインターライン電荷結合素子（ＣＣＤ）センサを制御するコンピュータ実施方法であって、前記方法は、
    複数露出を含む１つの画像フレームの前記取得中に蓄積された前記電荷の少なくとも一部が、複数露出を含む別の画像フレームの前記取得中に読み出されることを確実にすることを含み、
    前記１つの画像フレームおよび別の画像フレームの取得中に複数の光検出素子によって蓄積された電荷は、前記１つの画像フレームおよび別の画像フレームの取得中、前記複数の光検出素子の各々のための転送ゲートを開いたままにして、前記１つの画像フレームおよび別の画像フレームの各々の複数露出の間、基板電圧を変化させ、前記複数の光検出素子によって蓄積された電荷の一部を前記複数の光検出素子から排出することによって、前記複数の光検出素子から転送される、
    コンピュータ実施方法。
13. 前記１つの画像フレームは、第２の画像フレームであり、前記別の画像フレームは、第１の画像フレームであり、前記方法は、
    前記複数の光検出素子が、前記第１の画像フレームの前記取得中に前記複数の光検出素子によって蓄積された前記電荷を前記複数の第１のＣＣＤ記憶ユニットに転送することを確実にすることと、
    前記複数の第１のＣＣＤ記憶ユニットが、前記第１の画像フレームの前記取得中に蓄積され、かつ前記複数の光検出素子から得られた前記電荷を前記複数の第２のＣＣＤ記憶ユニットに転送することを確実にすることと、
    前記複数の第１のＣＣＤ記憶ユニットから前記複数の第２のＣＣＤ記憶ユニットへの前記転送に続いて、前記複数の光検出素子が、前記第２の画像フレームの前記取得中に前記複数の光検出素子によって蓄積された前記電荷を前記複数の第１のＣＣＤ記憶ユニットに転送することを確実にすることと、をさらに含む、請求項１２に記載のコンピュータ実施方法。
14. 前記１つの画像フレームは、第２の画像フレームであり、前記別の画像フレームは、第１の画像フレームであり、前記方法は、
    前記複数の光検出素子が、前記第１の画像フレームの前記取得中に前記複数の光検出素子によって蓄積された前記電荷を前記複数の第１のＣＣＤ記憶ユニットに転送することを確実にすることと、
    前記複数の光検出素子が、前記第２の画像フレームの前記取得中に前記複数の光検出素子によって蓄積された前記電荷を前記複数の第２のＣＣＤ記憶ユニットに転送することを確実にすることと、をさらに含む、請求項１２に記載のコンピュータ実施方法。
15. 前記取得された画像フレームに基づいて１つ以上の物体までの距離を判定するために飛行時間計算を行うことをさらに含む、請求項１２〜１４のいずれか１項に記載のコンピュータ実施方法。
16. プロセッサによって実行されたときに、複数の光検出素子と、１つの画像フレームの取得中に前記複数の光検出素子によって蓄積された電荷を記憶するための複数の第１のＣＣＤ記憶ユニットと、別の画像フレームの取得中に前記複数の光検出素子によって蓄積された電荷を記憶するための複数の第２のＣＣＤ記憶ユニットと、を備える、インターライン電荷結合素子（ＣＣＤ）センサを制御する方法を実施するために構成されたソフトウェアコード部分を記憶している非一時的コンピュータ可読記憶媒体であって、前記方法は、
    複数露出を含む１つの画像フレームの前記取得中に蓄積された前記電荷の少なくとも一部が、複数露出を含む別の画像フレームの前記取得中に読み出されることを確実にすることを含み、
    前記１つの画像フレームおよび別の画像フレームの取得中に複数の光検出素子によって蓄積された電荷は、前記１つの画像フレームおよび別の画像フレームの取得中、前記複数の光検出素子の各々のための転送ゲートを開いたままにして、前記１つの画像フレームおよび別の画像フレームの各々の複数露出の間、基板電圧を変化させ、前記複数の光検出素子によって蓄積された電荷の一部を前記複数の光検出素子から排出することによって、前記複数の光検出素子から転送される、
    非一時的コンピュータ可読記憶媒体。
17. 前記１つの画像フレームは、第２の画像フレームであり、前記別の画像フレームは、第１の画像フレームであり、前記ソフトウェアコード部分は、
    前記複数の光検出素子が、前記第１の画像フレームの前記取得中に前記複数の光検出素子によって蓄積された前記電荷を前記複数の第１のＣＣＤ記憶ユニットに転送することを確実にすることと、
    前記複数の第１のＣＣＤ記憶ユニットが、前記第１の画像フレームの前記取得中に蓄積され、かつ前記複数の光検出素子から得られた前記電荷を前記複数の第２のＣＣＤ記憶ユニットに転送することを確実にすることと、
    前記複数の第１のＣＣＤ記憶ユニットから前記複数の第２のＣＣＤ記憶ユニットへの前記転送に続いて、前記複数の光検出素子が、前記第２の画像フレームの前記取得中に前記複数の光検出素子によって蓄積された前記電荷を前記複数の第１のＣＣＤ記憶ユニットに転送することを確実にすることと、のためにさらに構成されている、請求項１６に記載の非一時的コンピュータ可読記憶媒体。
18. 前記１つの画像フレームは、第２の画像フレームであり、前記別の画像フレームは、第１の画像フレームであり、前記ソフトウェアコード部分は、
    前記複数の光検出素子が、前記第１の画像フレームの前記取得中に前記複数の光検出素子によって蓄積された前記電荷を前記複数の第１のＣＣＤ記憶ユニットに転送することを確実にすることと、
    前記複数の光検出素子が、前記第２の画像フレームの前記取得中に前記複数の光検出素子によって蓄積された前記電荷を前記複数の第２のＣＣＤ記憶ユニットに転送することを確実にすることと、のために構成されている、請求項１６に記載の非一時的コンピュータ可読記憶媒体。
19. 前記ソフトウェアコード部分は、
    前記取得された画像フレームに基づいて１つ以上の物体までの距離を判定するために飛行時間計算を行うことのためにさらに構成されている、請求項１６〜１８のいずれか１項に記載の非一時的コンピュータ可読記憶媒体。