JP6983192B2 - 撮像システムおよびそれを動作させる方法 - Google Patents

Description

発明の分野
本発明は、能動照明に基づいた視覚センサに関する。本発明は、能動撮像システムの画像品質、動作範囲および背景光安定性を改善する。このようなセンサは、一般的には、周囲環境、物体または人間を検出および測定するために使用される。

背景技術
能動照明は、多くのカメラの設計に実装され、カメラの測定結果を改善する。カメラは、ピクセル配列を有する撮像センサを含む電気光学装置として理解される。

多くの機械視覚設備において、能動照明は、カメラシステムの特定の光強度レベルを保証するために使用される。これによって、能動システムの性能は、周囲環境の照明変化を受けにくくなり、安定性および信頼性が改善される。また、システムに照明パワーを追加することにより、より短い露光を設定することができ、より高いフレームレートを達成することができる。

能動照明カメラシステムを備える他のセンサは、シーンに位置する対象物の特定性質を使用する。たとえば、設備は、シーンに配置され、容易に認識されかつ追跡され得る反射板を使用する場合がある。

他の設備は、対象物の特定の反射特性、たとえば眼の反射特性を使用している。能動照明を備えたシステムによって捕捉された眼の典型的な後方反射を使用して、眼を検出および追跡し、眼の瞬きをカウントすることによって、たとえば運転者の眠気を検出し、疲労測定センサを構築することができる。

干渉計装置において、能動システムは、対象物および参照物を照明する。反射光の干渉に基づき、深度を測定および分析することができる。

その他の能動システムは、照明を変調することによって、周囲環境に関する情報をより詳細に取得する。一般的には、このような照明は、時間上変調され（時間変調）または空間上変調されるため、たとえば周囲環境を３次元にマッピングするための距離測定に適用することができる。時間変調は、いわゆる飛行時間型（ＴＯＦ、time-of-flight）カメラに（間接または直接に）実装されている。空間変調は、三角測量に基づく深度測定システムに使用され、構造化光技術とも呼ばれている。

飛行時間型撮像センサのピクセルは、光生成電荷を記憶ノードに非常に高速に転送することを保証するための専用ピクセル設計である。より高い変調周波数は、より良い深度ノイズ性能をもたらす。したがって、ＴＯＦ復調ピクセルは、一般的には、数十ＭＨｚから数百ＭＨｚまでの範囲に動作する。また、ＴＯＦ撮像システムの動作範囲を増加するために、ＴＯＦピクセルは、しばしば背景光をピクセルレベルで抑制する。殆どの実装において、ＴＯＦピクセルは、２つのサンプル信号をピクセルごとに格納および積算するための２つの記憶ノードを含む。

発明の開示
太陽光などの背景光信号を除去することができれば、すべての能動照明撮像システムのロバスト性が改善される。殆どの場合、背景光信号のキャンセルは、照明をオンにしたときおよび照明をオフにした場合に各々２つの連続画像を取得することによって達成される。２つの画像に対して減算を行うことによって、能動照明のみの光強度情報を含む画像が得られる。このような手法の欠点は、まず、システムが２つの別々の画像を取得する必要があることである。シーンまたはシーン内の対象物は、画像ごとに変動する可能性があり、この場合に、背景の減算は、理想的ではない。また、取得した２つの画像に対し、背景光から能動光までのすべての動作信号範囲を処理する必要がある。背景光信号が必要とされなくても、システムの動作範囲を食い尽くす。

本発明の目的は、改善された動作範囲を有する撮像システムを提供することである。本発明のさらなる目的は、改善された解像度およびより少ない光電力消費で３次元計測を行うための撮像システムを提供することである。さらに、本発明の目的は、２次元強度および３次元撮像システムを提供することである。

本発明によれば、これらの目的は、特に独立請求項の特徴により達成される。また、さらなる有利な実施形態は、従属請求項および明細書に依存する。

本発明によれば、撮像システムは、撮像センサを含む。撮像システムは、各々が近赤外域に波長を有する少なくとも２つの異なる照明光源によって照明されるシーンの画像を処理するように構成されている。好ましくは、波長は、８００〜１０００ｎｍである。照明光源は、撮像センサに隣接して配置されてもよく、撮像センサと同調されてもよい。少なくとも２つの照明光源は、閉塞を最小化するように配置されてもよい。

いくつかの実施形態において、少なくとも２つの異なる照明光源の波長は、異なる。たとえば、少なくとも１つの照明光源の波長は、約８５０ｎｍであり、少なくとも１つの照明光源の波長は、約９４０ｎｍである。

いくつかの実施形態において、少なくとも２つの異なる照明光源は、少なくとも１つの構造化照明光源を含む。たとえば、撮像センサが飛行時間型撮像センサである場合、飛行時間の測定および構造化照明光源の測定による利点を提供する。

いくつかの実施形態において、少なくとも２つの異なる照明光源は、少なくとも１つの均一照明光源を含む。

いくつかの実施形態において、少なくとも２つの異なる照明光源は、各々が近赤外域に波長を有するが、少なくとも１つの均一照明光源と少なくとも１つの構造化照明光源とを含む。構造化照明光源による画像の取得と均一照明光源による画像の取得とは、交互に行われてもよい。構造化照明光源に基づいて取得した実際の原始画像は、通常の色または強度表現で画像を取得した環境を表さないため、構造化照明光源に基づいた最新のシステムは、第２の撮像センサ装置、一般的にはＲＧＢセンサを追加する。本発明により提案されたように、２つの異なる照明光源、たとえば１つの構造化照明光源および１つの均一照明光源を実装することによって、撮像システムは、同一の撮像センサを用いて、深度情報を導出し、代表強度の（または白黒の）画像を生成するができる。これにより、３Ｄマップを２Ｄ強度画像に容易にかつ一対一にマッピングすることができる。撮像センサがＴＯＦ撮像センサである場合、ＴＯＦ撮像センサおよび２つの異なる照明光源をさらに時間的に変調および同期してもよい。

いくつかの実施形態において、撮像システムは、構造化照明光源と均一照明光源とを含
む。構造化照明光源と均一照明光源とは、同様の中心波長、好ましくは８００〜１０００ｎｍの間の中心波長を有する。このような実施形態において、構造化照明光源からの画像および均一照明光源からの画像は、それぞれ同一の光路を介して撮像されることができ、この光路には狭帯域通過光学フィルタを実装することができる。狭帯域通過フィルタを実装することによって、できるだけ多くの背景光信号を光学的に遮断することができる。

いくつかの実施形態において、撮像センサは、飛行時間型センサである。
いくつかの実施形態において、少なくとも２つの異なる照明光源は、露光中に時間的に変調される少なくとも１つの照明光源を含む。適切な時間変調方式は、画像取得中にシーンの変化または物体の移動によって生じた画像の乱れを低減することができ、範囲内の他の撮像システムからの干渉を回避することもできる。

いくつかの実施形態において、少なくとも２つの異なる照明光源は、同一の発光ダイに設けられる。このことは、少なくとも２つの照明光源が構造化照明光源であり、両方とも時間的に変調される場合に、特に有用である。同一の発光ダイに設けられた少なくとも２つの構造化照明光源を備え、撮像センサと同期するように少なくとも２つの構造化照明光源を変調するように構築されたシステムは、より高い情報密度で構造化画像を取得することができる。

さらに、本発明は、撮像センサを用いた撮像方法に関する。各々が近赤外域に波長を有する少なくとも２つの異なる照明光源によって照明されるシーンの画像が処理される。一変形例において、少なくとも２つの異なる照明光源は、異なる波長を有する。一変形例において、少なくとも２つの異なる照明光源は、少なくとも１つの構造化照明光源を含む。一変形例において、少なくとも２つの異なる照明光源は、少なくとも１つの均一照明光源を含む。一変形例において、使用された撮像センサは、飛行時間型センサである。一変形例において、少なくとも２つの異なる照明光源は、飛行時間の測定に使用された変調周波数よりも低い変調周波数で時間的に変調される少なくとも１つの均一照明光源を含む。一変形例において、少なくとも２つの異なる照明光源は、露光中に時間的に変調される少なくとも１つの構造化照明光源を含む。一変形例において、少なくとも２つの異なる照明光源は、同一の発光ダイに設けられる。

本発明によれば、飛行時間型センサを含む撮像システムは、飛行時間の３次元測定に使用された変調周波数よりも低い変調周波数を有する照明光源を使用するように構成されている。

特定の好ましい実施形態において、本発明は、典型的に各ピクセルに２つの記憶ノードを有する飛行時間型センサまたは飛行時間型構造、好ましくはある種のインピクセル背景抑制機能を有する飛行時間型センサまたは飛行時間型構造を撮像システムに実装することを提案する。また、能動的に照明される撮像システムにおいて、飛行時間型撮像センサおよび照明光源は、低い変調周波数に制御されるため、実際の飛行時間型信号は、サンプリング信号に殆ど影響を与えない。さらに、本発明は、飛行時間の実際測定の実行に十分ではないサンプル数および取得回数を獲得する取得タイミングを撮像システム上で実行し、これらの取得画像のみに基づき画像を評価することを提案する。最も実用的な実装において、飛行時間型ピクセルは、２つの記憶ノードを含み、少なくとも２つ、最も一般的に４つの連続かつ位相遅延の画像を捕捉することによって深度情報を導き出す。この実施形態において、好ましくは、ピクセルの一方の記憶ノードを用いて、背景光信号のみを積算した後、背景光信号と能動的に出射され、反射された光とを積算する他方の記憶ノードから積算された背景光信号を減算する。信号の取得、信号の積算および２つの飛行時間型ピクセル記憶ノードへの転送は、好ましくは、取得中に複数回に繰り返し且つ交互に行われる。得られたピクセル差分の出力は、能動的に出射された信号のみを表すことになり、シス
テムを周囲環境の照明条件の変化に対してよりロバストにすることができる。

いくつかの実施形態において、変調周波数は、１００Ｈｚ〜１ＭＨｚの間にある。より遅い変調は、数十ＭＨｚでトグルする最先端の飛行時間測定システムに比べて、撮像システムの電力消費を低減する。また、より遅い変調は、照明光源および駆動系の速度要件を低減し、変調効率および復調効率を向上させる。一般的に飛行時間の測定に遅すぎる高出力ＬＥＤのような高効率高出力の光源を実現することができる。

いくつかの実施形態において、撮像システムは、飛行時間型センサのピクセルレベルに対して直接減算を行うように構成されている。飛行時間型ピクセルのオンピクセル背景光のキャンセルは、背景光による飽和を回避するように、能動照明光源を備える他のシステムを援助することができる。また、背景レベルが既にピクセルレベルで減算され、変換する必要がないため、アナログからデジタルに変換する要件が緩和される。さらに、能動照明を備えるシステム内に光を変調すること、同一フレームの取得時に信号光と背景光との積算を交互に行うことおよび数サイクルに亘って信号光と背景光とを積算することは、シーンの変動を軽減し、適切な時間変調方式とともに実行すれば、干渉を減少しながら、いくつかのシステム上で並列処理を行うことができる。

いくつかの実施形態において、撮像システムは、構造化照明光源を使用するように構成されている。構造化照明光源は、飛行時間型撮像センサと同期され、構造化照明光源に基づいて画像を取得し、深度情報を導き出すために使用される。

いくつかの実施形態において、撮像システムは、飛行時間型撮像センサと、少なくとも１つの照明光源とを含む。飛行時間型撮像センサは、後方反射光をサンプリングするために使用される。信号は、飛行時間原理に基づいて深度情報を導き出すのに十分ではない取得回数および取得されたフレームあたりのサンプルに基づいて評価される。

いくつかの実施形態において、撮像システムは、擬似ランダムに変調される照明光源を使用することによって、異なる取得システムの間の異なる干渉を最小化にするように構成されている。

いくつかの実施形態において、撮像システムは、少なくとも２つの異なる波長を有する少なくとも２つの照明光源を使用するように構成されている。差分読み出しまたはオンピクセル減算を行うことによって、２つの照明光源の差分画像を直接測定することができる。これにより、たとえば、非常に強固な眼追跡システムを構築することができる。

いくつかの実施形態において、本発明は、飛行時間型センサを用いた撮像システムを提供する。撮像システム内の照明光源は、３次元時間の飛行測定を実行するために使用された変調周波数よりも低い変調周波数を有する。

いくつかの実施形態において、撮像システムは、飛行時間の測定を行うために必要とされたフレーム単位サンプル数よりも少ないフレーム単位サンプル数を取得するように構成されている。

いくつかの実施形態において、飛行時間型センサと少なくとも１つの照明光源とを含む撮像システムのタイミングは、飛行時間の測定を導き出すために必要とされたフレーム単位サンプル数よりも少ないフレーム単位サンプル数を取得するように構成されている。

さらに、本発明は、飛行時間型センサを用いた撮像方法に関する。飛行時間の測定に使用された変調周波数よりも低い変調周波数を有する照明光源が使用される。一変形例にお
いて、使用された前記変調周波数は、１００Ｈｚ〜１ＭＨｚの間にある。一変形例において、飛行時間型センサのピクセルレベルに対して、直接減算を行う。一変形例において、構造化照明光源を使用する。一変形例において、少なくとも２つの異なる波長を有する２つの照明光源を使用する。一変形例において、擬似ランダムに変調される照明光源を使用する。一変形例において、飛行時間の測定に必要とされたフレーム単位サンプル数よりも少ないフレーム単位サンプル数を取得する。

本発明によれば、撮像システムは、飛行時間の測定に必要とされたフレーム単位サンプル数よりも少ないフレーム単位サンプル数を取得するように構成されている。

いくつかの実施形態において、撮像システムは、飛行時間の測定に使用された変調周波数よりも低い変調周波数、特に１００Ｈｚ〜１ＭＨｚの間の変調周波数を有する照明光源を使用するように構成されている。

いくつかの実施形態において、撮像システムは、飛行時間型センサのピクセルレベルに対して、直接減算を行うように構成されている。

いくつかの実施形態において、撮像システムは、構造化照明光源を使用するように構成されている。

いくつかの実施形態において、撮像システムは、少なくとも２つの異なる波長を有する少なくとも２つの照明光源を使用するように構成されている。

いくつかの実施形態において、撮像システムは、擬似ランダム時間に変調された照明光源を使用するように構成されている。

さらに、本発明は、飛行時間型センサを用いた撮像方法に関する。方法は、飛行時間の測定に必要とされたフレーム単位サンプル数よりも少ないフレーム単位サンプル数を取得する。一変形例において、使用された照明光源は、飛行時間の測定に使用された変調周波数よりも低い変調周波数、特に１００Ｈｚ〜１ＭＨｚの間の変調周波数を有する。一変形例において、飛行時間型センサのピクセルレベルに対して、直接減算を行う。一変形例において、構造化照明光源を使用する。一変形例において、少なくとも２つの異なる波長を有する２つの照明光源を使用する。一変形例において、擬似ランダム時間に変調される照明光源を使用する。

本明細書に記載の本発明は、本明細書の以下の詳細な説明および添付図面からより理解されるであろう。詳細な説明および添付図面は、添付の特許請求の範囲に記載の本発明を限定するものと考えるべきではない。

異なるビルディングブロックを有する最新のＴＯＦピクセルを示す図である。 飛行時間原理に基づいて深度測定値を導き出すための先行技術のタイミング図およびサンプリングを示す図である。 飛行時間原理に基づいて深度測定値を導き出すための先行技術のタイミング図およびサンプリングを示す図である。 飛行時間原理に基づいて深度測定値を導き出すための先行技術のタイミング図およびサンプリングを示す図である。 最も一般的に使用された先行技術の飛行時間型３次元撮像システムによる深度測定値を導き出すために必要とされた４つのサンプルの取得タイミングを示す図である。 制御部１４０によって制御および同期される飛行時間型撮像センサ１１０と能動照明光源１２０とを備える本発明の撮像システム１００を示す図である。 本発明の粗調タイミング図の実施形態を示す図である。 本発明の微調タイミング図の実施形態を示す図である。 構造化照明光源１２１に基づいた本発明の撮像システム１００を示す図である。 近赤外域に異なる波長を有する２つの照明光源１２２、１２３および飛行時間型撮像センサ１１０に基づいた眼／瞳孔検出設備に使用される本発明の撮像システム１００を示す図である。 第１の構造化照明光源１２１と異なる構造を有する第２の構造化照明光源１２５とを含む本発明の撮像システム１０５を示す図である。 同一の光路および撮像センサを介してシーン／対象物から３次元のカラースケール情報またはグレースケール情報を収集することができる本発明の撮像システムの実施形態を示しており、ａ）は、深度情報を取得するための取得動作を示しており、構造化照明光源を用いて撮影したグレースケールサンプル画像は、ｃ）に示されている。ｂ）は、グレースケール画像の取得時に撮像システムおよびその動作を示しており、得られたグレースケール画像は、ｄ）に示されている。 本発明の実際の設計を示している。

発明を実施するための形態
飛行時間型撮像システムは、出射光が測定システムから対象物まで走行して、対象物から測定システムに戻って来る時間を決定することができる。出射光信号は、一定の距離に位置する対象物によって反射される。この距離は、光が測定システムから対象物まで走行して、対象物から測定システムに戻って来る走行時間により起因した出射信号と受信信号との間の時間遅延に対応する。間接的な飛行時間測定において、この距離に依存する時間遅延は、出射信号と受信信号との間の位相遅延に対応する。また、受信信号は、後方に反射された出射信号だけでなく、たとえば太陽または他の光源からの背景光信号を含む場合がある。最新の飛行時間型ピクセルは、図１ａに示されている。飛行時間型ピクセルは、第１のスイッチＳＷ１を介して記憶ノードＣ１に接続され、第２のスイッチＳＷ２を介して記憶ノードＣ２に接続された感光性領域Ｐを含む。光生成電子のサンプリングは、スイッチＳＷ１を閉合してＳＷ２を開放することにまたはその逆によって行われる。スイッチＳＷ１およびＳＷ２は、制御部によって照明光源と同期される。妥当な飛行時間測定を可能にするために、スイッチＳＷ１、ＳＷ２および照明光源が約１０ＭＨｚから２００ＭＨｚを超える範囲に動作する必要があり、数ナノ秒の時間に光生成電荷を感光領域Ｐから記憶ノードＣ１またはＣ２のいずれかに転送しなければならない。飛行時間型ピクセルは、このような高速サンプリングに満たすように特別に設計されたのものである。このような高速飛行時間型ピクセル構造の可能な実装例は、米国特許ＵＳ５８５６６６７、欧州特許出願ＥＰ１００９９８４Ｂ１、欧州特許出願ＥＰ１５１３２０２Ｂ１または米国特許出願ＵＳ７８８４３１０Ｂ２に記載されている。飛行時間型ピクセルの出力回路Ｃは、一般的に、読み出し増幅器とリセットノードとを含む。多くの飛行時間型ピクセルの実現例において、インピクセル出力回路Ｃは、記憶ノードＣ１およびＣ２内の２つのサンプルに対して共通レベル除去または背景減算を行う回路をさらに含む。このようなインピクセル共通信号レベルの除去は、飛行時間型ピクセルの動作範囲を大幅に増大する。サンプルを積算しながら、共通レベルの除去を行う可能な実現例は、ＰＣＴ公開ＷＯ２００９１３５９５２Ａ２および米国特許出願ＵＳ７５７４１９０Ｂ２に開示されている。データを読み出すサイクル中に露光した後にサンプルの共通信号レベルの減算を行う別の手法は、米国特許出願ＵＳ７８９７９２８Ｂ２に記載されている。

市販の３次元飛行時間測定システムは、正弦波変調または擬似ノイズ変調のいずれかに基づいている。両方の変調は各々、相または深度情報、オフセット情報および振幅情報を導き出すために、少なくとも３つのサンプルを必要とする。設計の簡素化および信号ロバスト性の理由で、飛行時間型システムは、一般的に入射する光信号を４回サンプリングする。しかしながら、図１ａに示すように、最も敏感で、よって最も広く使用されている飛行時間型ピクセル構造は、２つの記憶ノードのみを含む。４つのサンプルを取得するために、システムは、少なくとも２つの連続画像を取得する必要がある。正弦波サンプリングのタイミング図は、図１ｂに示されている。受光信号によって、図１ａのピクセルから光電流が生成される。図１ｂに示されたように、この光電流は、その後、第１の露光Ｅ１の間にサンプリングされ、積算される。第１の露光Ｅ１の後、読み出しＲＯ１を行う。第２の露光Ｅ２は、第１の露光Ｅ１に比べて、９０°の遅延でサンプルを取得する。第２の露光Ｅ２の後、新たに取得したサンプルに読み出しＲＯ２を行う。時間Ｄの時点で、すべてのデータは、受信信号の位相情報、オフセット情報および振幅情報を決定できるために、用意される。露光Ｅ１のサンプリング過程における時間の拡大図は、図１ｃに示されており、露光Ｅ２のサンプリング過程における時間の拡大図は、図１ｄに示されている。サンプリング時間は、周期の半分であると仮定され、数千回から数百万回まで積算される。図１ｃに示されたように、第１の露光Ｅ１の間に、０°および１８０°に位置するサンプルは、スイッチＳＷ１およびＳＷ２によって記憶ノードＣ１およびＣ２にそれぞれ導かれる。露光Ｅ２のサンプリング過程における時間の拡大図は、図１ｄに示されている。第２の露光Ｅ２は、第１の露光Ｅ１に比べて、９０°の遅延でサンプルを取得する。９０°および２７０°に位置するサンプルは、記憶ノードＣ１およびＣ２に積算される。露光Ｅ１および露光Ｅ２の積算時間は、同様である。時間Ｄにおいて、すべての４つのサンプルは、測定され、位相情報、オフセット情報および振幅情報の計算に利用可能である。位相情報は、測定対象物の距離情報に直接対応している。

しかしながら、米国特許出願ＵＳ７４６２８０８Ｂ２に提案されおよび図２に示されたように、不整合によって、殆どの実装は、実際に２つの画像のみではなく４つの画像を取得する必要がる。第１の露光Ｅ１および第２の露光Ｅ２ならびにそれらの読み出しＲＯ１およびＲＯ２は、図１ｂに記載したように行われる。第１の露光Ｅ１および第２の露光Ｅ２の後、２つの露光Ｅ３およびＥ４ならびに読み出しＲＯ３およびＲＯ４が行われる。露光Ｅ３は、第１の露光から１８０°遅延したサンプルを取得する。露光Ｅ４は、１８０°位相遅延した露光Ｅ２に対応する。時間Ｄの時点で、すべての４つのサンプルは、受信信号の位相（または深度）情報、オフセット情報および振幅情報の計算に利用可能である。米国特許出願ＵＳ７４６２８０８Ｂ２に記載されたように、この手法は、たとえばピクセル回路および応答不整合または非対称駆動を補償することができる。

撮像システム１００に基づいた本発明の第１の一般的な実施形態は、図３ａに示されている。その粗調タイミング図は、図３ｂに示されており、微調タイミング図は、図３ｃに示されている。撮像システムは、図１ａに示された飛行時間型ピクセルからなる飛行時間型撮像センサ１１０と、照明光源１２０と、光学系１３０と、制御部１４０とを含む。出射光１２０ａは、対象物１０によって反射される。後方反射光１２０ｂは、光学系１３０により飛行時間型撮像センサ１１０上に結像される。飛行時間型撮像センサ１１０および照明光源１２０は、制御部１４０によって時間的に変調および同期される。よって、照射源１２０がオンにされている間に、飛行時間型撮像センサ１１０上の飛行時間型ピクセルの１つの記憶ノードは、すべての光生成電子を積算し、照明光源１２０がオフされている間に、第２の記憶ノードは、すべての光生成電子を収集する。このオン／オフサイクルは、複数回に繰り返されてもよい。本発明は、出射光および後方反射光の飛行時間に対する実際の影響を無視することができ、すべての出射光を飛行時間型撮像センサの各ピクセルの単一の記憶ノードに好ましく捕捉するように、このような低い変調周波数を高速飛行時間型撮像センサおよびピクセルに適用することを提案する。また、図３ｂに示すように、
本発明は、現行の飛行時間測定値を導き出すことができない程のより少ないサンプル数および取得回数を取得することを提案している。第１の露光Ｅの後、読み出しＲＯを行う。露光Ｅの間に、光生成電荷は、記憶ノードＣ１または記憶ノードＣ２に転送され、照明光源１２０と同期される。所定の実施形態において、ＴＯＦ情報を導き出すためのすべての必要（少なくとも３つ）のサンプルを収集するために必要とされた取得回数を少なくとも２回または４回ではなく１回にすることを提案した。時間Ｄにおいて、サンプルの数は、捕捉した信号の飛行時間情報を推定することはできない。本発明の変形例としての単一露光例において、２つのサンプルの差分撮影が行われる。図３ａに示唆したように、擬似ランダム方法で変調を行うことができる。これにより、異なる撮像システム１００の間の干渉を最小化することができる。擬似ランダムコーディングの他に、他の既知の技術、たとえば相ホッピングまたは周波数ホッピング、チャープまたは他の分割多重アクセス手法を実行することによって、システムの干渉を最小化することができる。

図３ｃは、図３ｂに示された単一露光のタイミング図をより詳細に示している。図３ｃの場合、積算中に、２つの記憶ノードＣ１およびＣ２を互いに減算する回路を含む。Ｆは、総フレームを表し、Ｅは、実際の露光を表し、ＲＯは、読み出し時間を表し、ＲＳは、リセット時間をを表す。本実施形態の現在タイミングにおける変調周波数は、合理的な飛行時間撮像を行うために必要とされた変調周波数よりもはるかに低い。光Ｌ１は、照明光源１２０によって出射され、飛行時間型撮像センサ１１０と同期される。よって、「点灯」時に、すべての光生成電荷が第１の記憶ノードＣ１に転送され、「消灯」時に、すべての光生成電荷が第２の記憶ノードＣ２に転送される。時間ｔに亘って後方に反射され受信された光信号は、Ｌ２として描かれ、いくつかの背景光成分ＬＢＧを有する。Ｓ１は、「点灯」時に第１の記憶ノードＣ１に対する積算を示し、Ｓ２は、「消灯」時に記憶ノードＣ２に対する積算を示す。Sdiffは、現行のインピクセル背景除去を実施したときの信号
差分を示している。インピクセル回路Ｃは、差分を構築することによって、背景光信号を除去する。図示の例において、飛行時間型撮像センサ１１０上の飛行時間型ピクセルは、積算中に、Sdiffに基づき、２つのノードの直接減算を行う。他の実現例において、飛行
時間型ピクセルは、積算時間の終了時に減算を行う。両方の実現例は、能動撮像システムの動作範囲を増大する。露光Ｅの間に、「点灯」および「消灯」は、複数回に繰り返される。数百Ｈｚ〜１ＭＨｚ範囲に位置する変調周波数は、光パルスの到達時間に与える影響を軽減することができる。同一量の背景光を飛行時間型撮像センサ１１０のピクセル上の第１の記憶ノードＣ１および第２の記憶ノードＣ２に積算し、サンプルから同一の背景レベルまたは共通モードレベルを減算するために、好ましくは、露光中に飛行時間型ピクセルの第１の記憶ノードＣ１および第２の記憶ノードＣ２の両方の総積算時間を同等にする。両方の露光時間を同一にした場合、光パルスは、その記憶ノードに転送されるサンプリング期間よりも短くなる可能性がある。これにより、パルスの到着時間に影響を与えないことがさらに保証される。いずれの場合、できる限り最大の背景光除去を達成するために、２つの記憶ノードへの総露光時間を同一に維持すべきだろう。露光量Ｅの後、ピクセル値に読み出しＲＯを行い、読み出されたピクセル値は、制御部１４０に転送される。、一般的には、次回の取得を開始する前に、ピクセルに対してリセットＲＳを行う。２つの記憶ノードの光応答における不整合を低減するために、撮像センサのピクセルの光反応に応じて、第１の露光Ｅに比べて第２の露光を逆にスイッチングし、２つの画像を減算することは、有益であり得る。しかしながら、取得されたサンプルの数は、依然として飛行時間情報を導き出すのに十分ではないであろう。

図４は、本発明に係る撮像システム１００を示している。撮像システム１００は、図１ａに示された飛行時間型ピクセルからなる飛行時間型撮像センサ１１０と、光学系１３０と、構造化照明光源１２１と、制御部１４０とを含む。制御部１４０は、飛行時間型撮像センサ１１０および構造化照明光源１２１を同期し、時間的に変調する。構造化照明光源１２１は、時間変調された光１２１ａを出射する。光１２１ａは、対象物１０によって反
射される。シーン１０によって後方に反射された光１２１は、光学系１３０によって飛行時間型撮像センサ１１０上に投光される。そこで、飛行時間型ピクセルは、入射信号を２つの２つの記憶ノードに復調する。撮像システム１００のタイミングは、図３に記載のものと同様であってもよい。ＰＣＴ公開ＷＯ２００７／１０５２０５Ａ２により提示されたように、構造化照明光源および３次元マッピング技術を適用することができる。ＷＯ２００７／１０５２０５Ａ２に記載されたように、構造化照明光源には、干渉によって生じたスペックルに基づいた投光技術を適用することができる。しかしながら、たとえば屈折に基づく光学系またはパターン生成マスクを用いた他の投光技術を構造化照明光源１２１に適用することもできる。好ましくは、ランダムドットパターンの光を投光する。欧州特許出願ＥＰ２５１９００１Ａ２は、第１および第２の記憶ノードへの転送ゲートを有する特別に設計されたセンサピクセルを備えるセンサに基づき、標準の低速フォトダイオードを用いる構造化光システムの使用を教示した。対照的に、本発明は、特別設計のピクセルを使用せず、既存の高速飛行時間型撮像センサ１１０およびピクセルを使用して、制御部１４０によって光の実際の走行時間（飛行時間）に与える影響を無視できる程度の低い変調周波数を構造化照明光源１２１および飛行時間型撮像センサ１１０に適用して、撮像センサ１１０上で後方に反射された光１２１ｂのサンプリングおよび格納を行うことを提案している。また、提案された飛行時間型撮像センサ１１０は、少なくとも３つの必要なサンプルを捕捉せず、飛行時間型撮像センサ１１０からのサンプルをより少ない数で評価するモードで動作する。現行の飛行時間型撮像システムに必要とされた典型的な９０°の位相シフトが採用されず、飛行時間型撮像センサ１１０上のすべてのピクセルの２つの記憶ノードから生じた差分画像のみが評価される。前述したすべての高速飛行時間型撮像センサは、現行の飛行時間測定システムに使用できないような低周波数で、反射光を少なくとも２つの記憶ノードに時間的に復調することができる。また、前述したすべての高速飛行時間型撮像センサは、飛行時間型撮像に必要とされたサンプル数よりも少ない数のサンプルを取得することができる。したがって、前述したすべてのピクセル設計は、本発明に係る飛行時間型撮像センサとして組み込むことができる。適切なインピクセル回路を備えれば、飛行時間型撮像センサ１１０は、サンプルから共通信号レベルを減算し、または単に２つの記憶ノードのサンプルを互いに減算することができる。これにより、一方では、撮像システムの動作範囲を増加することができ、他方では、動的背景光信号が画像から除去されるため、深度マッピング用の相関アルゴリズムを簡略化することができる。さらに、コードまたは周波数分割多重アクセスなどの適切な時間変調方式を適用することによって、３次元撮像システムの異なる構造光の妨害干渉を回避することができる。

理想的には、飛行時間型撮像センサ１１０の飛行時間型ピクセルは、「点灯」時間中に電荷を第１の記憶ノードに転送し、「消灯」時間中に電荷を第２の記憶ノードに転送して、減算を行う。時間変調および飛行時間型ピクセルの背景キャンセル回路は、上記のすべての利点を構造化光システムに追加する。変調周波数は、好ましくは、現行のＴＯＦ測定に対して低すぎる数百Ｈｚから１ＭＨｚまでの範囲内にある。図４に記載されたように、このような撮像システム１００は、構造化照明光源１２１と飛行時間型センサ１００とを含み、構造化照明光源１２１と飛行時間型センサ１００との両方が飛行時間による撮像に必要とされた変調周波数よりも低い変調周波数で動作するため、ＰＣＴ公開ＷＯ２００７／１０５２０５Ａ２および／またはＷＯ２０１４／０１４３４１Ａ１に記載したように、この撮像システム１００は、既存の３次元撮像装置の動作範囲を大幅に増加する。

図５は、疲労センサとして使用される本発明の撮像システム１００を示している。本実施形態によれば、たとえば運転者の眠気測定または疲労推定に使用されることのできる非常に強固な眼追跡システムを構築することができる。本発明の撮像システム１００は、各々が近赤外域に波長を有する２つの異なる照明光源を含む。第１の照明光源１２２は、たとえば約８５０ｎｍに位置する第１の波長を有し、第２の照明光源１２３は、たとえば約９４０ｎｍに位置する第２の波長を有する。本発明の撮像システム１００は、図１ａの飛
行時間型ピクセルを有する飛行時間型撮像センサ１１０と、光学系１３０と、制御部１４０とをさらに含む。両方の照明光源１２２および１２３は、制御部１４０によって飛行時間型撮像センサ１１０と同期される。露光中に、第１の波長を有する第１の照明光源１２２がオンにされると、第２の波長を有する第２の照明光源１２３がオフにされ、その逆も同様である。第１の波長を有する第１の照明光源１２２は、光１２２ａを出射し、第２の波長を有する第２の照明光源１２３は、光１２３ａを出射する。第１の波長を有する第１の照明光源１２２の後方反射光１２２ｂは、光学系１３０により飛行時間型撮像センサ１１０の飛行時間型ピクセル上で結像し、飛行時間型ピクセルの第１の記憶ノードに転送される。第２の波長を有する第２の照明光源１２３の後方反射光１２３ｂは、同一の飛行時間型撮像センサ１１０により捕捉され、飛行時間型ピクセルの第２の記憶ノードに転送される。露光後、差分読み出しまたはオンピクセル信号減算を行うことによって、２つの照明光源の差分画像を直接測定することができる。人間の目の網膜が約８５０ｎｍで直接反射を示し、約９４０ｎｍで大幅に減少した反射を示すため、差分画像から瞳孔をはっきり見ることができ、瞳孔を簡単かつロバストに追跡することができる。差分画像から瞳孔を容易に識別することができ、眼の開閉を容易に検出することができる。眼の瞬きに基づき、たとえばバス運転手のＰＥＲＣＬＯＳ値（一分間に目が８０％閉じている時間の割合／百分率）または眠気係数を測定することができ、対応する行動をとることができる。Hammoudらによって米国特許出願ＵＳ７２５３７３９Ｂ２に記載されたように、運転者の眠気
を決定する最新の方法は、主に標準撮像および煩雑な画像処理に基づき、運転者の眠気を決定する。

図６に示された撮像システム１０５の実施形態は、本発明の３次元撮像システムを例示している。撮像システム１０５は、異なる構造種類の第１の構造化照明光源１２１と第２の構造化照明光源１２５とを含む。両方の照明光源は、近赤外波長を有する。また、この撮像システムは、撮像センサ１１５と、光学系１３０と、制御部１４０とを含む。システム１０５は、第１の構造化照明光源１２１と第２構造化照明光源１２５とを用いて、両方の照明光源を撮像センサ１１５の隣りに配置することによって構築される。制御部１４０は、構造化照明光源１２１、１２５および撮像センサ１１５を同期する。２つの照明光源１２１および１２５は、好ましくは、閉塞を最小化するように配置される。第１の構造化照明光源１２１からの出射光１２１ａは、反射され、後方反射光１２１ｂは、光学系１３０によって撮像センサ１１５に投光される。同様に、第２の構造化照明光源１２５からの出射光１２５ａは、反射され、後方反射光１２５ｂは、同一の光学系１３０によって同一の撮像センサ１１５に投光される。画像取得中に、照明光源１２１および１２５は、時間変調されてもよい。この場合、照明光源１２１および１２５は、第１の構造化照明光源１２１からのすべての光が撮像センサ１１５のピクセルの第１の記憶ノードに収集され、第２の構造化照明光源１２５からの後方反射光１２５ｂが撮像センサ１１５のピクセルの第２の記憶ノードに収集されることができるように、好ましくは露光中に反転される。時間変調として、たとえば方形波、擬似雑音などを使用してもよい。撮像センサ１１５のピクセルが背景減算回路を含む場合、第１の構造化照明光源１２１からの信号が正となり、第２の構造化照明光源１２５からの信号が負となる。２つの照明光源を物理的に分離し、時間的に交互に扱うこの手法の欠点は、第１の構造化照明光源１２１および第２の構造化照明光源１２５からの信号を含むピクセルが互いにキャンセルする可能性があることである。したがって、たとえば、ランダムスペックルパターンを有するように第１の構造化照明光源１２１を設計し、ストライプパターンを有するように第２の構造化照明光源１２５を設計することは、考えられる。また、両方の構造化照明光源を構成化パターンとして同一の発光ダイ、たとえばＶＣＳＥＬアレイに集積化することも考えられる。ＶＣＳＥＬアレイは、同一のＶＣＳＥＬアレイダイ上に設けられ、別々に制御されることができる２つのグループの発光レーザダイオード、すなわち、第１の構造化照明光源１２１に対応する第１のグループの発光レーザダイオードと、第２の構造化照明光源１２５に対応する第２のグループの発光レーザダイオードとから構成されてもよい。同一のダイ上に設けられ、構
造化照明光源に基づいた撮像システムの投光器として使用されるＶＣＳＥＬアレイ、および単一の駆動信号を用いてアレイの全体を制御することは、米国特許出願ＵＳ２０１３０３８８８１Ａ１に開示されている。しかしながら、第１のグループのレーザダイオード発光スポットをダイ上にランダムに配置し、第２のグループのレーザダイオード発光スポットを第１のグループのレーザダイオード発光スポットと同一のパターンでわずかなシフトすることによって同一のダイに配置することも考えられる。このＶＣＳＥＬアレイのパターンに投光することによって、第１のグループのレーザダイオードまたは第１の構造化照明光源１２１から投光されるスポットおよび第２のグループのレーザダイオードまたは第２の構造化照明光源１２５から投光されるスポットは、ＶＣＳＥＬアレイダイ上で物理的に分離されているため、空間上互いに干渉しない。スポットからの出射光は、同一の投光光学系によって空間に投光される。また、２つのグループのレーザダイオードは、第１の構造化照明光源１２１のすべての後方反射光１２１ｂが撮像センサ１１５のピクセルの第１の記憶ノードに記憶され、第２の構造化照明光源１２５のすべての後方反射光１２５ｂが撮像センサ１１５のピクセルの第２の記憶ノードに記憶されるように、制御されることができる。また、動作範囲を増大するために、撮像センサ１１５のピクセルは、背景光キャンセル回路を含んでもよい。さらに、撮像センサ１１５は、飛行時間型撮像センサ１１０であってもよい。

図７ａ〜７ｄは、本発明の撮像システム１０５の一実施形態を示している。本発明の撮像システム１０５は、構造化照明光源１２１と、均一照明光源１２６と、光学系１３０と、撮像センサ１１５と、制御部１４０とを含む。両方の照明光源は、近赤外域に波長を有する。図７ａに示すように、第１の露光中に、構造化照明光源１２１は、オンにされ、均一照明光源は、オフにされる。図７ａにより示唆したように、構造化照明光源１２１は、制御部１４０によって変調され、撮像センサ１１５と同期することができる。構造化照明光源１２１からの出射光１２１ａは、対象物１０に到達してから反射される。構造化照明光源１２１からの後方反射光１２１ｂは、光学系１３０によって撮像センサ１１５上に結像される。撮像センサ１１５により捕捉された構造化照明光源１２１の画像は、従来の方法に使用され、シーンから深度情報を導き出すことができる。しかしながら、構造化照明光源１２１に基づいた撮像センサ１１５から提供されたグレースケール取得画像は、代表的なものではなく、多くの場合に対象物および詳細をはっきり視認できない。ランダムドットパターンを有する構造化照明光源１２１に基づいて得られたこのようなグレースケール画像は、図７ｃに示されている。細部の損失がはっきり見える。それでも通常画像を得られるように、構造化照明光源に基づいた最新の撮像システムは、独自の光路を有する第２の撮像装置を第１の撮像センサ１１５の隣りに追加する。第２の撮像センサは、一般的には、ＲＧＢセンサであり、完全に独立したカラー画像を提供する。しかしながら、異なる光路を介して第２の画像を取得することは、第１に高価になり、第２に２つの画像のマッピングが多くの課題に面する。本発明の方法の実施形態は、均一照明光源１２６をオンにし、同一の光学系１３０と撮像センサ１１５とを使用して、撮像システム１０５による第２の画像を取得することを提案した。均一照明光源１２６からの出射光１２６ａは、シーン内の対象物１０に達すると、反射される。均一照明光源１２６からの後方反射光１２６ｂは、光学系１３０によって撮像センサ１１５上に結像される。第２の画像の取得動作は、図７ｂに示されている。図７ｂにより示唆されたように、均一照明光源１２６と撮像センサ１１５とは、制御部１４０によって同期され、変調されることができる。均一照明光源１２６に基づいて得られたこの第２の画像のグレースケール画像は、図７ｄに示されている。その詳細は、よりはっきり視認することができるため、構造化照明光源１２１および均一照明光源１２６からのグレースケール画像からの３次元画像のマッピングは、簡単になる。

適切な帯域通過光学フィルタを光学系１３０に実装するためには、構造化照明光源１２１と均一照明光源１２６とが同様の波長を有することが有利である。また、制御部１４０
を用いて、構造化照明光源１２１および均一照明光源１２６を撮像センサ１１５と同期し、変調することができる。動作範囲を増加するために、撮像センサ１１５は、インピクセル背景キャンセル回路をさらに有することができる。

また、撮像センサ１１５は、飛行時間型撮像センサ１１０であってもよい。
図８は、本発明の実際の実施形態を示している。撮像システム１０５は、光学系１３０と、構造化照明光源１２１と、均一照明光源１２６とを含む。各照明光源は、近赤外域に波長を有する。光学系の後方にある撮像センサ１１５と制御部１４０とは、撮像システム１０５の筐体の後方に隠されているため、図面から見ることができない。図８に与えられた例において、均一照明光源１２６は、中央に配置された構造化照明光源１２６の近隣に配置された２つの同様の照明光源から構成される。均一照明光源１２６に基づき、撮像センサ１１５によって撮像された画像は、シーンの代表的なグレースケール図として使用されることができる一方、構造化照明光源１２１に基づき、撮像センサ１１５によって撮像された画像は、三角測量の原理に基づき、深度情報を導き出すために使用されることができる。光学系１３０に実装された狭帯域通過フィルタが構造化照明光源１２１および均一照明光源１２６からの光をできるだけ多く通過して撮像センサ１１５上に到達するとともに、可能な限り多くの背景光を遮断することを可能にするために、構造化照明光源１２１の波長および均一照明光源１２６の波長は、好ましくは同様である。また、図７で説明したように、撮像センサ１１５と構造化照明光源１２１とは、同期化され、変調されてもよい。また、図７で説明したように、均一照明光源１２６と撮像センサ１１５とは、同期され変調されてもよい。さらに、撮像センサ１１５は、飛行時間型撮像センサ１１０であってもよいが、好ましくはインピクセル背景キャンセル回路を含む。均一照明光源１２６に基づいて得られた画像に基づき、適切な画像処理アルゴリズムは、構造化照明光源１２１に基づいて得られた画像を評価することによって再構成された深度マップを改善することができる。

前述の変調照明光源を備える実装形態のすべてにおいて、光源パルスは、好ましくは、記憶ノードのうち１つに対するサンプリング期間と同一またはそれより短い持続時間を有する。さらに、両方の記憶ノード内に同等の背景光をキャンセルするために、記憶ノードのサンプリング期間は、好ましくは、２つのノードに対して等しい。

構造化照明光源は、固定のパターンで発光する空間的に変調する光源として理解される。可能なパターンは、スペックルパターン（ランダム、擬似ランダムまたは通常）、ストライプパターン、ランダムバイナリパターンなどを含む。

Claims (7)

1. 撮像システムであって、
   １０ＭＨｚ以上の動作を処理するように設計されたピクセル構造を有する飛行時間型センサと、
   各々が近赤外域の波長を有する第１および第２の照明光源と、
   制御部とを含み、
   前記制御部は、飛行時間型センサと前記第１および第２の照明光源とを互いに同期させるように、前記飛行時間型センサおよび前記第１および第２の照明光源に変調周波数を適用するように、さらに、露光中に、前記第１の照明光源がオンにされると、前記第２の照明光源がオフにされ、前記第２の照明光源がオンにされると、前記第１の照明光源がオフにされるように、動作可能であり、
   前記制御部は、前記第１および第２の照明光源によって生成され、物体によって反射された光に基づいて、前記飛行時間型センサからの出力信号をサンプリングするように動作可能であり、
   前記撮像システムは前記第１および第２の照明光源によって照射されるシーンの画像が処理されるように動作可能であり、前記第１および第２の照明光源が少なくとも１つの構造化照明光源を含み、前記第１および第２の照明光源が少なくとも１つの均一照明光源を含み、
   前記撮像システムは、前記構造化照明光源によって照射されるシーンの深度情報を処理するように、かつ、前記均一照明光源によって照射されるシーンの通常画像を処理するように、動作可能である、撮像システム。
2. 前記撮像システムは、前記飛行時間型センサのピクセルレベルに対して直接減算を行うように動作可能である、請求項１に記載の撮像システム。
3. 前記第１および第２の照明光源は、擬似ランダム変調照明光源を含む、請求項１に記載の撮像システム。
4. １０ＭＨｚ以上の動作を処理するように設計されたピクセル構造を有する飛行時間型センサと、各々が近赤外域の波長を有する第１および第２の照明光源とを含む撮像システムを動作させる方法であって、
   飛行時間型センサと前記第１および第２の照明光源とを互いに同期させるように、かつ、露光中に、前記第１の照明光源がオンにされると、前記第２の照明光源がオフにされ、前記第２の照明光源がオンにされると、前記第１の照明光源がオフにされるように、前記飛行時間型センサおよび前記第１および第２の照明光源に変調周波数を適用するステップと、
   前記第１および第２の照明光源によって生成され、物体によって反射された光に基づいて、前記飛行時間型センサからの出力信号をサンプリングするステップと、
   前記第１および第２の照明光源によって照射されるシーンの画像を処理するステップとを含み、
   前記第１および第２の照明光源が少なくとも１つの構造化照明光源を含み、前記第１および第２の照明光源が少なくとも１つの均一照明光源を含み、
   前記第１および第２の照明光源によって照射されるシーンの画像を処理する前記ステップは、前記構造化照明光源によって照射されるシーンの深度情報を処理し、かつ、前記均一照明光源によって照射されるシーンの通常画像を処理することを含む、方法。
5. 前記飛行時間型センサのピクセルレベルに対して直接減算を行うステップをさらに含む、請求項４に記載の方法。
6. 前記方法は、前記構造化照明光源を用いて、パターン化光を生成するステップを含む、請求項４に記載の方法。
7. 前記第１および第２の照明光源は、擬似ランダム変調照明光源を含み、
   前記方法は、前記擬似ランダム変調照明光源を用いて、擬似ランダム時間変調光を生成するステップを含む、請求項４に記載の方法。

Images