JP5512675B2 - ローリングカメラシステム - Google Patents

Description

【技術分野】
【０００１】
本発明は、撮像に関し、より詳細にはシーンの画像およびシーンにおける領域までの距離の測定値を提供するカメラに関する。
【背景技術】
【０００２】
３次元すなわち「３Ｄ」カメラは、撮像されるシーンにおける特徴までの距離の測定値を提供する。３Ｄカメラは、製品のプロファイル検査、医学映像、ＣＡＤ検証、ロボットビジョン、地理的測量、およびフィルム制作特殊効果など、距離に応じて対象を撮像することが望まれる多くの異なる用途に使用される。
【０００３】
「ＴＯＦ（ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ：飛行時間）」として知られる３次元画像を取得する１つの方法において、１つまたは複数の光パルスが光源から対象のシーンに向かって放射される。放射された光パルスは、一般に、赤外線（ＩＲ）など不可視の光である。光パルスは、シーンにおける様々な対象に反射する。反射されたパルスのそれぞれの一部は、３Ｄカメラに戻る。光が対象からカメラまで戻るのにかかる時間が使用されて、対象までの距離を決定する。カメラにより近い対象に反射する光パルスは、遠くに配置された対象に反射するものより早くカメラに戻る。
【０００４】
ＴＯＦ測定に使用される３Ｄカメラは、一般に、光感応面（以下「感光面」または「感光性表面」と呼ばれる）および感光面をゲートオンまたはゲートオフするためのゲート制御手段の両方を含む。放射された光パルスごとに、光パルスが放射された時点から正確に予め定められた遅延の後、カメラは、ある期間の間ゲートオンされ、これは以下「ゲート」と呼ばれる。シーンにおける対象から反射される光パルスは、ゲートの間にカメラによって受信される場合、感光面上に画像を残す。パルスの放射とゲートのゲートオンとの間の既知の遅延時間に、これらの光パルスが対象に移動し、戻るため、また光の速度もわかっているため、対象までの距離が計算され得る。ゲート遅延時間の範囲にわたってこのプロセスを繰り返すことによって、カメラからの様々な距離のところにあるシーンにおける特徴までの距離が取得され得る。
【０００５】
いくつかの３Ｄカメラにおいて、単に光パルスとゲートとの間のタイミングを考えるのではなく、カメラがゲートオンされる時間の間に感光面上に記録される光の量も、シーンにおける対象までの距離を決定するために使用される。この手法は一般に、シーンからの光の測定を３つ行うことを必要とする。
【０００６】
「タイミング」測定は、光パルスをシーンに送信し、オプションで光パルスの幅である比較的短いゲートでシーンが撮像される感光面をゲートオンすることによって行われる。ゲートの間に感光面の画素に記録される光の量は、画素上に結像されるシーンのある領域のカメラからの距離に応じて決まる。タイミング測定は、画素によって撮像される領域の反射率によっても影響を受ける。反射率が高い領域は、送信パルスをより反射し、反射率が低い領域は、送信パルスをあまり反射しない。したがって、反射率が異なるカメラから等距離の特徴は、カメラから様々な距離に配置されているように見える。
【０００７】
タイミング測定は、第２の正規化測定を行うことによって、反射率の差について補正され得る。この測定は、光パルスを送信し、比較的長いゲート、オプションで光パルスの幅の３倍で、シーンを撮像する感光面をゲート制御することを伴う。ゲートが長いことによって、感光面は、シーンにおけるある領域によってカメラに到達する光パルスから反射される実質的にすべての光を記録することができる。３Ｄカメラは、タイミング測定を各画素の正規化測定で割ることによって正規化された距離測定値を取得する。
【０００８】
第３の測定は、背景光を測定する。これは、シーンに存在し、タイミング測定および正規化測定に存在する周辺光である。背景光は反射光パルスから生じないため、こうした測定があまり正確ではなくなる。送信光パルスからの光が存在しないとき、感光面をゲートオンし、感光面上に記録する光を記録することによって背景光が測定される。補正するために、３Ｄカメラは、背景光の測定を各画素のタイミング測定および正規化測定から差し引く。
【０００９】
一般に、様々な測定値を取得するために、複数の感光面が使用される。いくつかの３Ｄカメラにおいて、３つの感光面が使用されており、タイミング測定、正規化測定、および背景測定のそれぞれに異なる感光面が使用される。
【００１０】
３Ｄカメラは、シーンにおける特徴までの距離情報と共に結像されているシーンのピクチャを取得および／または表示する撮像システム（以下、「３Ｄ撮像システム」と呼ばれる）の構成要素として使用されることが多い。いくつかの３Ｄ撮像システムは、結像されているシーンのピクチャを記録するために、距離測定値を提供するために使用されるものに加えて、感光面を使用する。したがってこうしたシステムは、４つの感光面を有していてもよく、すなわちシーンのピクチャのためのもの、シーンにおける特徴までの距離を計算するために必要なタイミングデータ、正規化データ、および背景データのためのものである。
【００１１】
３Ｄ撮像システムに使用される感光面は、ゲート制御手段またはシャッター、フィルタ、および様々な複雑度の光学装置など、他のタイプの構成要素を使用する。ゲート制御手段には、例えば電気光学シャッターまたはゲート制御型映像増倍管などがあり得る。赤外光によって撮像感光面が記録する画像のゆがみを防ぐために、撮像感光面と共にＩＲフィルタがよく使用される。例えば、距離測定感光面に赤外光のみを通すために、他のフィルタが使用されてもよい。光学装置は、ビームスプリッタ、光をリフォーカスし、または中継するための様々なレンズ、絞り、プリズムなどのアイテムを含む。
【００１２】
シーンにおける特徴までの距離を決定するために、画素に記録される光の量を使用するゲート制御型３Ｄ撮像システムの例がＰＣＴ公開ＷＯ０１／１８５６３号に示されており、その開示は、参照により本明細書に組み込まれる。示された構成のそれぞれは、シーンの画像を提供するためのビデオカメラまたは感光面、および距離（すなわちタイミング）、背景、および正規化情報をそれぞれ提供するための「Ｄ」、「Ｂ」、および「Ｎ」と表記された３つの他の感光面の両方を含む。ＰＣＴ公開ＷＯ０１／１８５６３号の図１において、システムは、ビームスプリッタ、２つのリフォーカスレンズ系、三面プリズム、および各感光面に個別のシャッターを含む。同じ特許において、図３の構成は、四面プリズムを使用して、入来中の光を分け、方向付けする。
【発明の概要】
【発明が解決しようとする課題】
【０００１】
本発明は、感光面(22,24)における画素によって記録された(registered)光の量に応じてシーン(36)までの距離を決定することを課題とする。
【課題を解決するための手段】
【００１３】
本発明の一部の実施形態の一態様は、距離マップおよびシーンのピクチャを取得するための改良された３Ｄ撮像システムを提供することに関する。
【００１４】
本発明の一部の実施形態の一態様によれば、シーンを撮像し、シーンの特徴までの距離を決定するために、少なくとも１つのローリングシャッター感光面が使用される。
【００１５】
ローリングシャッター感光面は、通常、多くの従来のカメラに使用されており、比較的安価である。ローリングシャッターは、感光面における画素の帯域を順次ゲートオンおよびゲートオフして、シーンの画像からの光を記録し、取得する。一般に、各画素帯域は、前の画素帯域のゲートオンの後、以下「読み取り時間」と呼ばれる遅延期間の後、光に感じやすくなるようにゲートオンされる。読み取り時間は、前の画素帯域がゲートオンされた時間の間、前の画素帯域における画素によって記録される光の量を読み取るために必要な時間である。このように、ゲート制御された画素は、感光面全体がシーンに露光されるまで、感光面を横断して移動する、または「転がる」。提示の便宜上、ローリングシャッターによって画素の帯域をゲートオンすることは、画素帯域を「開く」と言われ、ローリングシャッターによって画素の帯域をゲートオフすることは、画素帯域を「閉じる」と言われる。
【００１６】
通常デジタルカメラに使用されている比較的安価で簡単なローリングシャッター感光面は、シーンの奥行きマップを取得するために本発明の一実施形態に従って適切にゲート制御され得ると本発明者は判断した。本発明の一実施形態による３Ｄ撮像システムにおけるローリングシャッター感光面の使用は、シーンの画像およびシーンの奥行きマップの両方を取得する比較的簡単で安価な３Ｄ撮像システムを提供する。
【００１７】
本発明の一部の実施形態において、３Ｄ撮像システムは、オプションで「グローバルな」第１および第２のシャッターによってそれぞれシャッター操作される第１および第２の照準調整ローリングシャッター（ｂｏｒｅｓｉｇｈｔｅｄ ｒｏｌｌｉｎｇ ｓｈｕｔｔｅｒ）感光面を含む。各グローバルシャッターは、そのそれぞれの感光面のエリアの実質的にすべてに対する光の送信をブロックおよびブロック解除し、それによって感光面をゲートオンおよびゲートオフするように制御可能である。提示の便宜上、グローバルシャッターによる感光面への光のブロックおよびブロック解除は、それぞれ感光面を「ゲートオフする」および「ゲートオンする」と言われる。グローバルシャッターに使用される「ゲートオフする」および「ゲートオンする」という用語は、画素の帯域をゲートオフするおよびゲートオンするのに「閉じる」および「開く」が使用されるローリングシャッターの操作とグローバルシャッターの操作とを区別することに留意されたい。オプションで、第１および第２の感光面は、ＲＧＢ感光面である。オプションで、第１の感光面は、実質的にＩＲ波長の比較的狭い帯域においてのみ波長を有する光を送信する狭帯域通過フィルタによって遮蔽される。
【００１８】
シーンの３Ｄマップおよびシーンの画像を取得するために、本発明の一実施形態によれば、ＩＲ帯域通過フィルタによって通過される波長を有するＩＲ光パルス列が、シーンを照らすために送信される。パルス列の送信の間、各ローリングシャッター感光面は、感光面の関連のグローバルシャッターを通過する光に露光されるように、感光面における画素帯域が順次開閉されるローリングシャッター露光モードで動作される。しかし、本発明の一実施形態によれば、第１および第２の感光面における画素の同種の帯域は、実質的に同時にオンおよびオフされる。また、パルス列における各光パルスの送信後、第１のグローバルシャッターは、比較的短い「タイミング」ゲートの間、第１の感光面をゲートオンするように制御される。タイミングゲートの間、第１のシャッターにおける画素の「開いた」帯域における画素は、シーンについての距離情報を取得する。また、オプションで、各光パルスの送信後、第２のグローバルシャッターは、比較的長い「正規化」ゲートの間、第２の感光面をゲートオンするように制御される。正規化ゲートの間、第２の感光面における画素の開いた帯域における画素は、第１の感光面における同種の画素によって取得される距離データを正規化するためにデータを取得する。第１および第２の感光面における画素の同種の帯域は実質的に同時に開くため、正規化データおよびタイミングデータは、実質的に同時に取得される。
【００１９】
オプションで、タイミングデータおよび正規化データの取得後、第１および第２のグローバルシャッターはそれぞれ、少なくとも１つの背景ゲートの間、第１および第２のローリングシャッター感光面をゲートオンするように制御される。少なくとも１つの背景ゲートの間、タイミングおよび／または正規化データを取得するために、シーンを照らすために送信されるＩＲ光のパルスからの光が３Ｄ撮像システムに到達しないとき、各ローリングシャッター感光面は、シーンからの光に露光される。第１の感光面は、ＩＲ帯域通過フィルタによって遮蔽され、したがって背景ＩＲ光を記録し、第２の感光面は、シーンからのＲＧＢおよび背景ＩＲ光を記録する。
【００２０】
本発明の一実施形態によれば、それぞれタイミングゲートおよび正規化ゲートの間に第１および第２の感光面によって取得されたデータ、およびシーンを照らすＩＲパルスからの光が３Ｄシステムに到達しないとき第１および第２の感光面によって取得されたデータは、シーンの奥行きマップを提供するために使用される。ＩＲパルスからの光が３Ｄ撮像システムに到達しないとき、第２の感光面、およびオプションで第１の感光面によって取得されるデータは、シーンのＲＧＢ画像を提供するために使用される。
【００２１】
したがって、本発明の一実施形態によれば、画素を有する第１および第２のローリングシャッター感光面と、第１の感光面をゲートオンおよびゲートオフするように動作可能な第１のシャッターと、シーンを照らすために光パルス列を送信するように制御可能な光源と、光パルスの送信時間に応じて第１の感光面をゲートオンおよびゲートオフするように第１のシャッターを制御し、シーンによって光パルスから反射された光を記録するために、感光面における画素の帯域を開閉するコントローラと、感光面における画素によって記録された光の量に応じてシーンまでの距離を決定するプロセッサとを備える３Ｄ撮像システムが提供される。
【００２２】
オプションで、コントローラは、同じ送信光パルスから３Ｄカメラに到達する光を記録するために、第１および第２の感光面における画素の帯域を開閉する。さらに、または代わりに、コントローラは、オプションで、第１の感光面をゲートオンおよびゲートオフするようにシャッターを制御し、第１の感光面における画素の帯域をオンおよびオフして、光パルスからの光が３Ｄ撮像システムに到達しない期間の間にシーンからの光を記録する。
【００２３】
本発明の一部の実施形態において、プロセッサは、領域によって光パルスから反射され、第１の感光面によって記録された光の量から、光パルスからの光が３Ｄ撮像システムに到達しない期間の間に第１の感光面によって記録された光の量を減じたものに応じてシーンの領域までの距離を決定する。さらに、または代わりに、コントローラは、オプションで、第２の感光面における画素の帯域をオンおよびオフして、光パルスからの光が３Ｄ撮像システムに到達しない期間の間にシーンからの光を記録する。さらに、または代わりに、コントローラは、オプションで、第２の感光面における画素の帯域をオンおよびオフして、光パルスからの光が３Ｄ撮像システムに到達しない期間の間にシーンからの光を記録する。オプションで、コントローラは、第１および第２の感光面における画素の帯域をオンおよびオフして、光パルスからの光が３Ｄ撮像システムに到達しない同じ期間の間にシーンからの光を記録する。オプションで、プロセッサは、実質的に、光パルスからの光が３Ｄ撮像システムに到達しない期間の間に第２の感光面によって記録されたシーンからの光の量のみに応じてシーンの画像を提供する。さらに、または代わりに、プロセッサは、オプションで、実質的に、光パルスからの光が３Ｄ撮像システムに到達しない期間の間に第２の感光面によって記録されたシーンからの光の量から、光パルスからの光が３Ｄ撮像システムに到達しない期間の間に第１の感光面によって記録された光の量を減じたもののみに応じてシーンの画像を提供する。
【００２４】
本発明の一部の実施形態において、プロセッサは、領域によって光パルスから反射され、第２の感光面によって記録された光の量から、光パルスからの光が３Ｄ撮像システムに到達しない期間の間に第２の感光面によって記録された光の量を減じたものに応じてシーンの領域までの距離を決定する。
【００２５】
本発明の一部の実施形態において、３Ｄ撮像システムは、第２の感光面をゲートオンおよびゲートオフするように動作可能である第２のシャッターを備える。
【００２６】
本発明の一部の実施形態において、第１の感光面は、実質的に、光波の狭帯域における光のみに感じやすい。オプションで、第１の感光面が感じやすい光は、ＩＲ光である。さらに、または代わりに、第２の感光面は、オプションで、光波の狭帯域における光に感じやすい。オプションで、第２の感光面は、ＲＧＢ光に感じやすい。
【００２７】
本発明の一実施形態によれば、シーンを照らすために光パルス列を送信するステップと、シーンによって光パルスから反射される光を記録するために光パルス列における光パルスが送信される時間に応じてローリングシャッター感光面をゲートオンおよびゲートオフするステップと、追加の感光面でシーンを撮像するステップと、ローリングシャッター感光面および追加の感光面によって記録される光を使用して、シーンの奥行きマップおよびシーンの画像を提供するステップとを含む、シーンを３Ｄ撮像する方法がさらに提供される。
【００２８】
本発明は、以下の実施形態の説明を本明細書に添付の図面と併せ読めば、より明確に理解されよう。図において、複数の図に表示される同じ構造、要素、または部分は、それらが表示されるすべての図に同じ番号で表記される。図に示される構成要素および特徴の大きさは、便宜上、また提示を明瞭にするために選択されており、必ずしも等倍に示されるものではない。図が以下に列挙される。
【図面の簡単な説明】
【００２９】
【図１】図１Ａは、本発明の一実施形態による、２つのローリングシャッター感光面を含む３Ｄ撮像システムを示す概略図である。図１Ｂは、本発明の一実施形態による、図１Ａの３Ｄ撮像システムを示す概略透視図である。
【図２】図２Ａは、本発明の一実施形態による、２つのローリングシャッター感光面を含む３Ｄ撮像システムを示す概略図である。図２Ｂは、本発明の一実施形態による、図２Ａの３Ｄ撮像システムを示す概略透視図である。
【図３】本発明の一実施形態による図１Ａの３Ｄ撮像システムを示すタイミング図である。
【図４】本発明の一実施形態による図１Ａの３Ｄ撮像システムを示すタイミング図である。
【発明を実施するための形態】
【００３０】
図１Ａは、本発明の一実施形態による３Ｄ撮像システム２０を概略的に示す。３Ｄ撮像システム２０は、オプションで、第１のローリングシャッター感光面２２、第２のローリングシャッター感光面２４、制御可能光源２６、光学装置類２８、およびコントローラ３０を備える。感光面２２は、グローバルシャッター１２２によってシャッター操作され、感光面２４は、グローバルシャッター１２４によってシャッター操作される。オプションで、シャッター１２４は省略され、感光面２４は、グローバルシャッターによってシャッター操作されないようになっている。コントローラ３０は、両方のシャッターに接続されるが、明瞭にするために、図１Ａには、シャッター１２２への接続のみが示されている。
【００３１】
グローバルシャッター１２２および１２４は、それぞれ感光面２２および２４への光の送信のブロックおよびブロック解除を行うように制御可能である。シャッター１２２および１２４は、それらがシャッター操作する感光面とは別のものとして概略的に示されているが、当分野で知られている任意の適したシャッターとすることができ、感光面と統合されてもよい。グローバルシャッター１２２は、オプションでナノ秒以上の速度でゲート制御することができる高速シャッターである。グローバルシャッター１２４は、オプションで、よりゆっくりゲートオンおよびゲートオンし、例えば、約１ミリ秒でゲートオンおよびゲートオフすることができる。一般に、感光面１２４をシャッター操作するためには高速シャッターは必要とされないため、本発明の一部の実施形態において、感光面をシャッター操作するためにシャッター１２４などのグローバルシャッターは必要とされない。距離測定値を提供するために感光面をシャッター操作することは、感光面のローリングシャッター機能を使用して画素の帯域を開閉することによって達成される。感光面２２および２４は、オプションで同種である。同種の感光面において、各感光面における同じ相対位置に対応する画素は、実質的にシーンの同じ領域から光を受信する。３Ｄ撮像システム２０の構成要素は、オプションで、破線の境界線３２によって概略的に表される同じハウジング内に配置される。
【００３２】
第１のローリングシャッター感光面２２は、オプションで、実質的にＩＲ光のみに感じやすい画素を含む。図１Ａは、概略的にＩＲ光のみがその感光面の画素上に記録されることを示すために、感光面２２の前にＩＲフィルタ３１を示す。第２のローリングシャッター感光面２４は、ＩＲ光および可視光に感じやすい画素を含む。可視光の感度は、カラー（ＲＧＢ）または白黒に対するものとすることができる。図１ＡにおけるＩＲ光は、概略的に単一線矢印３３によって表され、可視光はブロック矢印３４によって表される。
【００３３】
画素は、概ね感光面２２および２４上に四角のアレイに配列されるが、本発明の一部の実施形態に従って他の配列も企図される。画素のアレイのサイズ、および個々の画素自体のサイズは、特定の用途のために必要に応じて変わり得る。一般に、所望の範囲の視野および画像解像度を提供するために、アレイは、かなり大きいサイズとし、個々の画素はかなり小さいサイズとするものとする。
【００３４】
光源２６は、シーン３６を示すために、矢印３３によって概略的に表される少なくとも１つの、一般にＩＲの光パルス列を送信するように制御可能である。コントローラ３０は、光パルスの送信を停止したり開始したりするように光源２６を制御する。光学装置類２８は、シーン３６から光を集め、集められた光を感光面に合焦する。光学装置類２８は、オプションで、レンズ２７によって表されるレンズまたはレンズ系、およびビームスプリッタ２９を備える。
【００３５】
ＩＲ光３３は、シーン３６における特徴に反射し、可視光３４と共に３Ｄ撮像システム２０に戻る。両方のタイプの光は、光学装置類２８を通過し、光学装置類は、オプションで、感光面２２および２４のそれぞれに光の半分を向ける。３Ｄ撮像システム２０は、本発明の一実施形態に従って、感光面に入射する光から取得されたデータを使用して、シーン３６の距離マップ（以下、「奥行きマップ」とも呼ばれる）を決定し、シーンのピクチャを提供する。
【００３６】
「ローリングシャッター」という用語は、感光面における画素の帯域を選択的に開閉することができる感光面の機能を指す。図１Ａにおいて、各感光面のローリングシャッターは、概略的に「ローリング式」の絞り２３および２５によって表される。コントローラ３０は、両方のシャッターに接続されるが、明瞭にするために、図１Ａには、ローリングシャッター２３への接続のみが示されている。
【００３７】
図１Ｂは、図１Ａに示される３Ｄ撮像システム２０の概略透視図を示すが、シャッター１２４は、オプションで削除されてもよいことを示すために破線で示され、ローリングシャッター感光面２４は、グローバルシャッターによってゲート制御されないようになっている。明瞭にするために、光源２６およびコントローラ３０は、図１Ｂに示されていない。
図１Ｂは、各感光面上の画素のアレイを示し、シーン３６からレンズ２７、ビームスプリッタ２９、およびグローバルシャッター１２２および１２４を通過して、感光面２２および２４に突き当たるように波状の矢印３５によって概略的に表される光波を示す。
【００３８】
３Ｄ撮像システム２０が図１Ｂに示されるとき、各ローリングシャッター感光面２２および２４は、感光面の上の２行を含む画素の陰付きで示される開いた帯域３８を有する。画素の帯域における画素によって記録される光の量を読み取るために必要な読み取り時間の後、ローリングシャッター感光面は、画素の同種の帯域４０の次の「対」を開き、実質的に各感光面２２および２４のすべてがシーン３６からの光に露光されるまで続行する。シーン３６におけるサンプル領域Ｘは、画素の同種の帯域が開くと、それぞれの画素帯域３８におけるＸ’と表記された画素上に結像され、サンプルポイントＹは、同様に、同種の感光面２２および２４の各画素帯域４０におけるＹ’と表記された画素上に結像される。
【００３９】
３Ｄ奥行きマップおよびシーン３６画像を取得するためにグローバルシャッター１２２および１２４、およびそれによって感光面２２および２４をゲート制御することは、コントローラ３０によって制御される。上述したように、コントローラ３０は、オプションでＩＲの光パルス列３３を送信するように光源２６を制御する。本発明の一実施形態において、各ＩＲ光パルス後の指定された遅延の後、コントローラ３０は、タイミングゲートの間、感光面２２をゲートオンするようにグローバルシャッター１２２を制御する。オプションで、各タイミングゲートの間、コントローラ３０は、正規化ゲートの間に実質的に同時に感光面２４をゲートオンするようにシャッター１２４も制御する。さらに、光パルス３３が送信される期間の間、感光面における同種の画素帯域の対は、タイミングゲートおよび正規化ゲートの間に送信パルスからシーン３６によって反射される光を記録するために、コントローラ３０によって同時に順次開かれる。
【００４０】
タイミングゲートおよび正規化ゲートの間の光の記録後、感光面２２および２４における画素帯域は開かれ、実質的に光源２６によって送信されたＩＲ光パルスからの光が撮像システム２０に到達しないとき、背景ゲートの間に、グローバルシャッター１２２および１２４は、感光面２２および２４をゲートオンするように制御される。したがって、背景ゲートの間、感光面２２は、ＩＲ背景の測定値を取得し、感光面２４は、ＩＲ背景の測定値およびＲＧＢ光をシーン３６から取得する。
【００４１】
コントローラ３０は、それに応じて、シーン３６における特徴までの距離を提供するために必要なタイミング、正規化、および背景の測定値、および従ってシーンの奥行きマップが取得され得るように、光源２６、グローバルシャッター１２２および１２４およびローリング感光面２２および２４を調整するように構成される。
【００４２】
図２Ａは、本発明の一実施形態による、３Ｄ撮像システム２２０の概略平面図である。図２Ａの実施形態は、レンズ２７、グローバルシャッター１２２、ＩＲフィルタ３１、およびローリングシャッター感光面２２を備える第１のカメラ２２１、並びにレンズ３７、グローバルシャッター１２４、およびローリングシャッター感光面２４を備える第２のカメラ２２２を有する「２カメラ」システムである。感光面２２および２４のローリングシャッターの態様は、それぞれローリング式絞り２３および２５によって表される。光源２６は、コントローラ３０の制御下で、シーン３６を照らすために少なくとも１つのＩＲ光パルス３３を送信する。図示するように、コントローラ３０は、グローバルシャッター１２２および１２４、第１のカメラ２２１のローリングシャッター２３、並びに第２のカメラ２２２のシャッター１２４およびローリングシャッター２５にも接続され、それらを制御する。
【００４３】
図２Ｂは、図２Ａに示される３Ｄ撮像システム２２０の概略透視図を示すが、シャッター１２４は、オプションで削除されてもよいことを示すために破線で示され、ローリングシャッター感光面２４は、グローバルシャッターによってゲート制御されないようになっている。さらに明瞭にするために、光源２６およびコントローラ３０は、図２Ｂに示されていない。
【００４４】
図２Ｂは、各感光面上の画素のアレイを示し、シーン３６からレンズ２７および３７を通過する波状の矢印３５によって概略的に表される光波を示す。レンズ２７を通過する光は、実質的にＩＲ光のみが感光面２４に突き当たるように、グローバルシャッター１２２によってシャッター操作され、ＩＲフィルタ３１によってフィルタ処理される。レンズ３７を通過する光は、グローバルシャッター１２４によってシャッター操作され、フィルタ処理されずに感光面２４に突き当たる。上記の図１Ｂに示される処理と同様に、同種の画素帯域３８および４０、およびその後の画素帯域は、適切な読み取り時間の後、実質的に感光面２２および２４のすべてがシーン３６からの光に露光されるまで順次開かれる。サンプルポイントＸおよびＹは、各同種の画素の帯域が露光されるにつれて、それぞれ画素帯域３８および４０上にＸ’およびＹ’として結像する。
【００４５】
図３および図４は、本発明の一実施形態による、シーン３６の奥行きマップを取得するために感光面２２および２４をゲート制御することを示すタイムグラフまたはライムラインのグラフを示す。ライムライン４１は、時刻Ｔ_１，Ｔ_２，・・・Ｔｎにおけるシーン３６を照らすためのオプションでＩＲの光パルス列３３の送信、および３Ｄ撮像システム２０（または２２０）に到達する光パルスの反射４５を概略的に示す。タイムライン４２および４３は、それぞれ、ライムライン４１に沿って示されるＩＲ光パルス列におけるパルスが送信される時間に対するグローバルシャッター１２２および１２４による第１および第２の感光面２２および２４のゲート制御を概略的に表し、また、各感光面によって集められ、撮像される光を概略的に示す。さらに明瞭にするために、それぞれタイムライン４２および４３におけるシャッター１２２および１２４のゲート制御は、太線で示される。
【００４６】
タイムライン４２に沿った基準面５５は、シーン３６から３Ｄ撮像システム２０に到達する周囲のＩＲ背景光を表すためにゼロより上にある。タイムライン４３より上にある基準面５６は、シーン３６から３Ｄ撮像システム２０に到達する背景ＩＲ光＋ＲＧＢ可視光を表す。タイムライン４３における基準面５６は、ＲＧＢ可視光およびＩＲ光を含むため、タイムライン４２における基準面５５より高いレベルで示される。
【００４７】
また、図３は、タイミングゲートおよび正規化ゲートの間に帯域における画素がグローバルシャッター１２２および１２４を介して送信された光を記録することができるように、感光面における画素帯域の開閉を示すためのローリングシャッター感光面２２および２４の表現も含む。この例において、各ローリングシャッター２３および２５によって露光される画素の帯域のサイズは、２行になるように任意に選択される。
【００４８】
コントローラ３０は、シーンを照らすためにオプションでＩＲの光パルス列３３を送信するように光源２６を制御し、オプションで各感光面２２および２４上の画素帯域５８をオンすることによってシーン３６の３Ｄ画像を取得するプロセスを開始する。画素帯域５８は、太い四角の境界によって示される。複数の光パルス３３が送信されてシーン３６を照らす期間の間、画素帯域５８が開いており、その間、各光パルスの後、グローバルシャッター１２２は、短いゲート４８の間、感光面２２および２４をゲートオンするように制御される。この同じ期間において、シャッター１２４は、オプションで比較的長い単一の連続ゲート６２の間ゲートオンされる。
【００４９】
図３において、送信光パルス３３は、時刻Ｔ_１，Ｔ_２，・・・Ｔｎに送信され、持続時間Ｔを有する実線の光パルス列としてタイムライン４１に沿ってグラフ表示されている。列におけるパルスの数「ｎ」は、任意の数字とすることができ、一部の実施形態では、１，０００または１０，０００パルスである。送信光パルス３３から反射された光のパルス４５は、破線で示される。説明の便宜上、この例におけるすべての光パルスは、振幅が等しく示されている。送出中の送信光パルス３３は、光パルスが３Ｄ撮像システム２０（または２２０）から「送出中」であることを図示する左から右に向く矢印を上に有する。反射光パルス４５は、光パルスが撮像システム２０に入射中であることを示す右から左に向く矢印を上に有する。
【００５０】
上述したように、タイムライン４２は、グローバルシャッター１２２による感光面２２のゲート制御を示す。最初の比較的短い「タイミング」ゲート４８の間にシャッターに入射するシーン３６からの光がシャッターを通過し、感光面２２に突き当たることができるように、各光パルス３３後の最初の予め定められた時間間隔４６の後、コントローラ３０は、グローバルシャッター１２２をゲートオンする。ゲート４８は、ゲート幅５０を有し、光パルス３３の送信時刻Ｔ_１，Ｔ_２，・・・Ｔｎに対応する時刻ＴＸ１，ＴＸ２，・・・ＴＸ３で開始するものとして概略的に示される。時間間隔４６およびゲート幅５０は、予め定められたシーン３６「片」内に存在する特徴によって送信光パルスから反射された光が少なくとも一部分最初のゲート４８の間に捕捉されるように、コントローラ３０によって選択される。オプションで、ゲート幅５０は、送信光パルス３３および反射光パルス４５のパルス幅Ｔに実質的に等しい。
【００５１】
図３において、各タイミングゲート４８内の陰付きエリア５２は、一例として、タイミングゲートの間、第１の感光面２２の特定の画素上に記録されるＩＲ光を表す。感光面２２上の各画素は、シーン３６における対応する領域を撮像する。陰付きエリア５２の光は、２つの部分、すなわち背景光５３および反射光５４を含む。背景光５３は、記録された周辺ＩＲ光であり、反射光５４は、画素に結像されるシーン３６における対応する領域によって送信パルス３３から反射された光パルス４５からの記録されたＩＲ光である。
【００５２】
図では、背景光５３は、タイムライン４３のゼロラインと基準面５５との間の記録された陰付きエリア５２の光の一部である。記録された光５４は、反射パルス４５とタイミングゲート４８との時間的な交差点の結果であり、図では、基準面５５より上の記録された陰付きエリア５２の光の一部である。
【００５３】
上述したように、感光面２２における画素帯域５８は、複数の光パルス３３が送信されてシーン３６を照らす期間の間開いており、その間、各送信光パルスの後、グローバルシャッター１２２は、短いゲート４８の間、感光面２２をゲートオンするように制御される。その結果、感光面２２における画素帯域５８が開いている期間の間、画素帯域における各画素は、画素上に結像されるシーン３６の領域によって複数の光パルス３３から反射される光、例えば反射光パルス４５における光を「蓄積」し、記録する。
【００５４】
画素帯域５８が開かれ、タイミング情報を記録する前の感光面２２および画素帯域５８が、タイムライン４２に沿って第１のゲート４８の左に図示されている。最初に開かれたとき、画素帯域における画素は、光を記録しておらず、画素帯域におけるすべての画素が「空白」の状態で示されている。また、複数のゲート４８の間に複数の対応する反射パルス４５から光を蓄積した後の、および画素帯域における画素によって取得されるタイミング情報が読み取り時間の間に読み取られる時点の感光面２２および画素帯域５８が、時刻Ｔｎに送信された光パルス３３に対して起動された最後の「ｎ番目」のゲート４８の右に図示される。画素帯域５８の画素に結像されたシーン３６の一部に関連する蓄積されたタイミング情報は、画素帯域の陰によって図示される。
【００５５】
上述したように、ローリングシャッター感光面２４のゲート制御は、タイムライン４３に沿って示される。タイムラインに示されるように、時刻Ｔ_１の最初の光パルス３３の送信後予め定められた時間６０の後、コントローラ３０は、時刻Ｔ_Ｙ１にグローバルシャッター１２４をゲートオンして、１秒間、オプションでゲート幅６４を有する「正規化」ゲート６２の間、感光面２４をゲートオンする。ゲート６２内の陰付き領域６６は、ゲート間に反射光パルス４５から捕捉されたＩＲ光３３およびＲＧＢ可視光３４を図示する。陰付き領域６６は、ＩＲ背景およびＲＧＢ可視光６７、および反射光パルス４５からの光６８を含む。図では、反射光６８は、反射光パルス４５と正規化ゲート６２との交差点である。正規化ゲート６４の幅は、正規化ゲート６２の間に感光面２４に向けられる感光面２４上に結像されたシーン３６の領域から３Ｄ撮像システム２０に到達するすべての反射光パルス４５からの実質的にすべての光が感光面２４の画素帯域５８における画素に記録されるほど、かなり大きい。感光面２２と同様に、画素帯域が開かれたすぐ後、その画素が光を記録する前の感光面２４およびその画素帯域５８がゲート６２の左に図示され、光を記録した後、その画素が読み取られるすぐ前の感光面２４およびその画素帯域５８がゲート６２の右に図示されている。画素帯域５８によって取得される正規化データは、画素帯域が閉じられた後、画素帯域の読み取り時間中に読み取られる。
【００５６】
タイミングゲート４８が開始された、予め定められた時間４６の最初の使用、および正規化ゲート６２が開始された予め定められた時間６０はいずれも、最初のＩＲ光パルス３３の同じ開始時刻Ｔ１を基準にして測定されることを理解されよう。したがって、本発明の一実施形態によれば、２つの感光面における同種の帯域が光を記録し、同じ照射するＩＲ光パルス３３から同時に、タイミングデータおよび正規化データをそれぞれ取得するように、３Ｄ撮像システム２０は、感光面２２および２４をゲート制御し、感光面における画素帯域を開く。各感光面のエリアの実質的にすべてが露光されるまで、上記のプロセスが繰り返され、各ローリングシャッター感光面はその都度、画素のそのアレイの同種の画素帯域を順次露光する。
【００５７】
図４は、各感光面の画素帯域５９が露光されるプロセスのサンプルの反復を示す。コントローラ３０は、感光面のどの部分が露光されたか、およびどの部分がまだ露光されていないかを追跡する。３Ｄ撮像システム２０のコントローラ３０は、一般に、画素帯域５８が開かれた後、画素帯域の読み取り時間に実質的に等しい遅延の後、感光面２２および２４における帯域５９をオンにすることに留意されたい。したがって、一般に、異なる画素帯域が同時に開かれ、したがって感光面における画素の異なる帯域における画素が同じ光パルス３３に応じてタイミングデータおよび正規化データを同時に取得することに留意されたい。
【００５８】
本発明の一実施形態による背景光データの取得も図３および図４に示される。オプションで、タイミングデータおよび正規化データが取得された後（すなわち、タイミングデータおよび正規化データのフレームが感光面から取得された後）、光パルス３３の送信後のＴＸｂ時に、パルス３３からの光が実質的に３Ｄ撮像システム２０に入射されないとき、コントローラ３０は、「背景」ゲート７２の間、感光面２２をゲートオンおよびゲートオフするようにグローバルシャッター１２２を制御し、ゲートの間光を記録するために画素帯域５８を開く。オプションで、ゲート７２は、タイミングゲート４８のゲート幅５０のｎ倍、すなわちｎ×Ｔに等しいゲート幅７４を有し、式中、ｎは画素の帯域がタイミング情報を取得するために開くときに行われるタイミングゲートの数である。ゲート７２の間に感光面２２の画素帯域５８における画素によって記録される光は、そのゲートにおける陰付き領域７６によって図示される。同様に、オプションで正規化ゲート６２のものと等しいゲート幅６４を有する背景ゲート８０の間に画素の帯域が光を受信するように、時刻ＴＹｂに、シャッター１２４は、感光面２４をゲートオンし、画素帯域５８を開く。ゲート８０の間、感光面２４の画素帯域５８における画素は、ゲートにおける陰付きの帯域８４によって図示される光を記録する。オプションで、ゲート７２およびゲート８０は、実質的に同時である。
【００５９】
背景ゲート７２および８０の間、反射光パルス４５からのＩＲ光はない。したがって、ゲート７２の間に記録された実質的にすべての光７６は、シーン３６からのＩＲ背景光であり、ゲート８０の間に記録された実質的にすべての光８４は、シーン３６からのＩＲ背景光およびＲＧＢ可視光である。図４は同様に、各感光面の露出された画素帯域５９についての背景光の取得を示す。
【００６０】
感光面２２および２４のすべての画素帯域についてのタイミングデータ、正規化データ、および背景データの取得後、本発明の一実施形態によるシーン３６の奥行きマップおよびピクチャが決定される。感光面２２および２４における同種の画素の各対について、
（１）タイミングゲート４８の間に感光面２２の画素に入射する陰付きエリア５２のＩＲ光
（２）正規化ゲート６２の間に感光面２４に入射する陰付き領域６６のＲＧＢ＋ＩＲ光
（３）背景ゲート７２の間に感光面２２に入射するＩＲ光７６
（４）背景ゲート８０の間に感光面２４に入射するＲＧＢ＋ＩＲ光８４
の４組のデータが取得された。
【００６１】
本発明の一実施形態において、３Ｄ撮像システム２０は、感光面について記録された上述した「（１）」から「（４）」の光の量を使用して感光面２２および２４における所与の対の画素に結像されるシーン３６の特徴までの距離「Ｄ」を決定する。オプションで、シーン３６の特徴までの距離は、以下の式によって定義される商Ｑに応じて決定される。
【００６２】
【数１】

【００６３】
Ｑの上記の式（１）では、短いゲート４８の帯域幅５０（図３および図４）は、パルス３３のパルス幅Ｔに等しく、背景ゲート７４は、ｎＴに等しいゲート幅を有すると仮定し、上述したように、「ｎ」は、画素の帯域、例えば帯域５８または５９（図３）が開いたまま維持されている間に行われる短いゲート４８の数に等しいと仮定する。また、式（１）では、背景ゲート８０および正規化ゲート６２が等しい同じゲート幅を有すると仮定する。前の２つの文に示した条件を満たさないゲート幅については、Ｑの式は、蓄積された電荷を同じ長さの露光時間に正規化するように変更されなければならない。
【００６４】
画素の対に結像された特徴までの距離Ｄは、以下の形の式に従って本発明の一実施形態で決定される。
【００６５】
【数２】

【００６６】
式中、ｃは、光の速度であり、Ｔ_４６は、光パルス３３が送信された時間と、短いゲート４８が開始する時間との間の予め定められた遅延時間間隔４６を表す。式（２）における±記号に関して、マイナス記号は、光パルス３３における最後のフォトンが短いゲート４８の間に受信された場合に使用され、プラス記号は、光パルスにおける最初のフォトンがゲートの間に受信された場合に使用される。「＋」または「−」がいつ使用されるべきかを決定するために、参照によりその開示が本明細書に組み込まれる、オプションでＰＣＴ出願第ＰＣＴ／ＩＬ２００７／００１５７１号に記載されるゲート制御方法など、当分野で知られている様々なゲート制御方法が本発明の実践で使用されてもよい。
【００６７】
本発明の一実施形態において、シーン３６のＲＧＢ画像は、感光面２４における画素によって記録される光の量に応じて提供される。オプションで、シーン３６のＲＧＢ画像における所与の画素のＲＧＢ強度「Ｉ_ＲＧＢ」は、
Ｉ_ＲＧＢ＝（４）−（３）［ゲート幅６４／ゲート幅７４］（３）
であり、これは、Ｑの式（１）の適用下での条件では
Ｉ_ＲＧＢ＝（４）−（３） （４）
となる。
【００６８】
シーンの３Ｄ映像の撮像は、オプションでシステム２０によって提供される。一般に、リアルタイムの３Ｄ撮像は、少なくとも３０の奥行きマップおよび１秒当たりのシーンの対応する画像を提供することを必要とする。このレートを提供するために、感光面２２および感光面２４のそれぞれから１秒当たりデータの少なくとも６０フレームが取得されなければならず、したがって、感光面についてのフレーム取得時間は、約１６ｍｓ未満でなければならない。記載されたフレーム取得時間は、十分に従来の市販のローリングシャッター感光面の性能内である。
【００６９】
本出願の説明および特許請求の範囲において、「備える」、「含む」、および「有する」という単語のそれぞれ、およびその形は、単語が関連付けられ得るリストにおける構成部材に必ずしも限定されない。
【００７０】
本発明は、例として提供されるその実施形態の様々な詳細な説明を使用して説明されており、本発明の範囲を限定するものではない。記載された実施形態は、異なる特徴を含んでいてもよく、そのすべてが本発明のすべての実施形態で必要であるとは限らない。本発明の一部の実施形態は、特徴の一部のみまたは特徴の可能な組合せを使用する。記載された本発明の実施形態の変形および記載された実施形態に示された特徴の様々な特徴の組合せを含む本発明の実施形態は、当業者であれば思いつくであろう。本発明の範囲は、特許請求の範囲によってのみ限定され、特許請求の範囲は、すべてのこうした変更および組合せを含むものと解釈されるものとする。

Claims (14)

1. RGB可視光の存在下における３Ｄ撮像(imaging)システム(20)であって、
   画素(pixels)を有する第１および第２の感光面(photosurfaces)(22,24)と、
   シーン(scene)(36)を照らすために光パルス(33)列(a train of light pulses)を送信するように制御可能な光源(26)と、
   前記感光面(22,24)における画素によって記録された(registered)光の量に応じて前記シーン(36)までの距離を決定するプロセッサと、
   前記第１の感光面(22)をゲートオン(gate on)およびゲートオフ(gate off)するように動作可能な第１のシャッター(122)と、
   前記第２の感光面(24)をゲートオン(gate on)およびゲートオフ(gate off)するように動作可能な第２のシャッター（124）と、
   前記光パルス(33)の送信時間(transmission times)に応じて前記第１の感光面(22)及び前記第２の感光面（24）をゲートオンおよびゲートオフするように前記第１のシャッター(122)及び前記第２のシャッター(124)を制御し、前記シーン(36)によって前記光パルス(33)から反射された光(52,66)を記録するために、前記第１の及び第２の感光面(22,24)における同種の画素の帯域(bands of pixels)(58)を開閉する、コントローラ(30)と、
   を備え、
   前記第１の及び第２の感光面(22,24)は、ローリングシャッタ感光面である３Ｄ撮像システム。
2. 前記コントローラ(30)が、同じ送信光パルス(33)から(from)前記３Ｄカメラに到達する8reaches)光を記録するために、前記第１および第２の感光面(22,24)における画素の帯域(38,40)を開閉する請求項１に記載の３Ｄ撮像システム。
3. 前記コントローラ（30）が、前記第１のシャッター（122）を制御して、前記第１の感光面（22）をゲートオン及びゲートオフし、及び、前記第１の感光面（22）の画素の帯域を開閉して、前記光パルス（33）からの光が前記３Ｄ撮像システム（20）に到達しない期間の間に、前記シーン（20）からの光を記録するように構成される、
   請求項１又は２に記載の３Ｄ撮像システム。
4. 前記プロセッサが、領域によって前記光パルス(33)から反射され、前記第１の感光面(22)によって記録された光の量(52)から、前記光パルス(33)からの光が前記３Ｄ撮像システム(20)に到達しない期間の間に前記第１の感光面(22)によって記録された光の量(amount)(76)を減じた(minus)ものに応じて前記シーン(36)の前記領域までの距離を決定する請求項３に記載の３Ｄ撮像システム。
5. 前記コントローラ(30)が、前記第２の感光面(24)における画素の帯域(58)をオンおよびオフして、前記光パルス(33)からの光が前記３Ｄ撮像システム(20)に到達しない期間の間に前記シーン(36)からの光(84)を記録するように構成される請求項１から４のいずれかに記載の３Ｄ撮像システム。
6. 前記コントローラ(30)が、前記第１および第２の感光面(22,24)における画素の帯域(58)をオンおよびオフして、前記光パルス(33)からの光が前記３Ｄ撮像システム(20)に到達しない同じ期間の間に前記シーン(36)からの光(76,84)を記録するように構成される請求項５に記載の３Ｄ撮像システム。
7. 前記プロセッサが、実質的に、前記光パルス(33)からの光が前記３Ｄ撮像システム(20)に到達しない期間の間に前記第２の感光面(24)によって記録される前記シーンからの光の量(84)のみに応じて前記シーン(36)の画像を提供する(provides)請求項５に記載の３Ｄ撮像システム。
8. 前記プロセッサが、実質的に、前記光パルス(33)からの光が前記３Ｄ撮像システム(20)に到達しない期間の間に前記第２の感光面(24)によって記録された前記シーンからの光の量(84)から、前記光パルス(33)からの光が前記３Ｄ撮像システム(20)に到達しない期間の間に前記第１の感光面(22)によって記録された光の量(76)を減じたもののみに応じて前記シーン(36)の画像を提供する請求項５または請求項６に記載の３Ｄ撮像システム。
9. 前記プロセッサが、［前記領域によって前記光パルス(33)から反射され、前記第２の感光面(24)によって記録された光の量(66)］−［前記光パルス(33)からの光が前記３Ｄ撮像システム(20)に到達しない期間の間に前記第２の感光面(24)によって記録された光の量(84)］に応じて前記シーン(36)の領域までの距離を決定する請求項５から８のいずれかに記載の３Ｄ撮像システム。
10. 前記第１の感光面(22)が、実質的に光波(light waves)の狭帯域(narrow band)における光のみに感じやすい請求項１から９のいずれかに記載の３Ｄ撮像システム。
11. 前記第１の感光面(22)が感じやすい(sensitive)前記光がＩＲ光である請求項１０に記載の３Ｄ撮像システム。
12. 前記第２の感光面(24)が光波の前記狭帯域における光に感じやすい請求項１０または請求項１１に記載の３Ｄ撮像システム。
13. 前記第２の感光面(24)がＲＧＢ光に感じやすい請求項１２に記載の３Ｄ撮像システム。
14. RGB可視光の存在下においてシーン(36)を３Ｄ撮像する方法であって、
    前記シーン(36)を照らすために光パルス(33)列(train of light pulses)を送信するステップと、
    前記シーン(36)によって前記光パルスから反射される光(52)を記録するために前記光パルス(33)列における光パルスが送信される時間に応じて第１のローリングシャッター感光面(22)及び第２のローリングシャッター感光面(24)をゲートオンおよびゲートオフするステップと、
    前記第１の及び第２の感光面（22,24）における同種の画素の帯域（58）を開閉して、前記シーンによって前記光パルス（33）から反射された光（52,66）を記録するステップと、
    前記第２のローリングシャッター感光面(24)で前記シーン(36)を撮像するステップと、
    前記第１のローリングシャッター感光面(22)および前記第２のローリングシャッター感光面(24)によって記録される光（52,66）を使用して、前記シーン(36)の奥行きマップ(a depth map)および前記シーン(36)の画像(image)を提供するステップと
    を含む方法。

Images