JP6977045B2 - 物体までの距離を決定するためのシステム及び方法 - Google Patents

物体までの距離を決定するためのシステム及び方法 Download PDF

Info

Publication number
JP6977045B2
JP6977045B2 JP2019538732A JP2019538732A JP6977045B2 JP 6977045 B2 JP6977045 B2 JP 6977045B2 JP 2019538732 A JP2019538732 A JP 2019538732A JP 2019538732 A JP2019538732 A JP 2019538732A JP 6977045 B2 JP6977045 B2 JP 6977045B2
Authority
JP
Japan
Prior art keywords
time window
light
predetermined time
duration
pulse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019538732A
Other languages
English (en)
Other versions
JP2019529958A (ja
Inventor
ダイク、ダーク ファン
デン ボッシェ、ヨハン ファン
Original Assignee
ゼノマティクス ナムローゼ フェンノートシャップ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ゼノマティクス ナムローゼ フェンノートシャップ filed Critical ゼノマティクス ナムローゼ フェンノートシャップ
Publication of JP2019529958A publication Critical patent/JP2019529958A/ja
Application granted granted Critical
Publication of JP6977045B2 publication Critical patent/JP6977045B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894Three-dimensional [3D] imaging with simultaneous measurement of time-of-flight at a two-dimensional [2D] array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4814Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4816Constructional features, e.g. arrangements of optical elements of receivers alone
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4861Circuits for detection, sampling, integration or read-out
    • G01S7/4863Detector arrays, e.g. charge-transfer gates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4865Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Description

本発明は、物体までの距離を決定するためのシステムの分野に、特に、シーン又はそのシーンの一部の特性評価に対して使用されることになる飛行時間ベースの検知システムに関わるものである。
遠隔検知技術の分野では、主として、自動車及び工業環境、ゲーミング用途、並びに地図作成用途等の、ただしこれらに制限されない、多くの制御及びナビゲーション用途で使用されるべき、周辺の高分解能地図を作製する使用法において、飛行時間ベースの検知を使用して、センサからの物体の距離を決定することが知られている。飛行時間ベースの技法は、RF変調源、レンジ・ゲーテッド・イメージャ(range gated imager)、及び直接飛行時間(DToF:direct time−of−flight)イメージャの使用を含む。RF変調源及びレンジ・ゲーテッド・イメージャの使用に関しては、関心のあるシーン全体を、変調又はパルス化された源によって照射することが必要である。大部分のLIDAR等の直接飛行時間システムは、関心のある区域をパルス化されたビームによって機械的にスキャンし、そのビームの反射が、パルス検出器によって検知される。
放出されたRF変調信号を、検出される反射された信号と相関させることを可能にするためには、放出された信号は、いくつかの制約を満たさなければならない。実際に、これらの制約は、RF変調システムを、車両システムにおける使用に対してきわめて非実用的にすることが判明している。検出の到達可能レンジは、従来の安全限界内であり、且つ、正規車両の電力予算内にある信号強度に対しては、非常に制限される。
大部分のLIDARシステムで使用されるような直接TOF(DToF)イメージャは、強力なパルス化されたレーザ(ナノ秒パルス体制で動作する)と、1D点測定から3D地図を獲得するための機械的スキャニング・システムと、パルス検出器とを備える。このタイプのシステムは、現在、カリフォルニア州モーガン・ヒルのVelodyne Lidarを含むベンダから入手可能である。現況技術システムの実例としてのVelodyne HDL−64Eは、1秒あたり5から15回転での、機械的に回転する構造での、64個の高パワー・レーザと、64個の検出器(アバランシェ・ダイオード)とを使用する。これらのDToF LIDARシステムにより要される光学パワーは、半導体レーザによって得られるにはあまりにも高いものであり、それらの半導体レーザのパワーは、5から6桁のレンジで、より低い。加えて、スキャニング目的での機械的に回転する要素の使用は、このタイプのシステムの小型化、信頼性、及びコスト削減に対する見込みを制限する。
特許文献1は、20nsのパルス幅を有するパルスで、50mWの総エネルギーを給送するVCSELを開示している。市販で入手可能なOptek OPV310 VCSELは、10nsの持続時間を有するパルスで、60mWの総エネルギーを給送し、それは、100mWの最大光学出力パワーを有すると、外挿により推定され得る。この値は、熱的問題に起因する不安定性を回避するために、最適なデューティ・サイクル及び短いパルス幅を意味する、非常に厳格な動作条件のもとで現実化されるのみである。Trilumina開示及びOptekシステムの両方は、連続波VCSELシステムが、VCSEL設計に本来的に結び付けられる熱的制約に起因して、光学ピーク・パワー出力に関して、それらのシステムの物理的限界に達しているということを例解している。これらのパルス・エネルギー・レベルで、及び、DToF用途で現在使用されるようなnsパルスを使用すると、120mの距離での物体により有用に反射されることが予期され得る光子の純粋な数は低いので、そのことは、CMOS、又はCCD、又はSPADアレイ等の従来の半導体センサの手段による検出を挫折させるものである。かくして、知られているDToFシステムのレンジを拡張するために要されることになるような、VCSELパワー出力を5又は6桁だけ増大することは、物理的に不可能である。
わずかな帰還する光子を捕捉するのに理論的には十分に高感度である、アバランシェ・ダイオード(AD又はSPAD)の使用でさえ、知られているLIDARシステム・アーキテクチャでは有用に活用されないことがある。SPADのアレイのソリッド・ステート実装形態は、順次的に読み出されなければならない。高い数のSPADが、所望される正確度を達成するために要される。ソリッド・ステート実装形態の順次的読み出し制約は、システムの帯域幅を制限し、その実装形態を、所望される正確度に対して不適当にする。Velodyneシステムのもの(距離とは無関係に、0.02mから0.04m)等の正確度に対して、要される読み出しデータ・レートは、今日のIC実装形態の事例での実際的に達成可能な帯域幅を超える。120mでの動作に対して、ICベースの実装形態では順次的に読み出されなければならない、500×500ピクセルのSPADアレイが要される。前に述べられたVelodyneシステムと同じ精密度に対して、それは、1ミリ秒あたり1000パルス、及びゆえに、1秒あたり250ギガピクセルの読み出しレートに換算される、1ミリ秒あたり1000フレームを要することになる。このことは、現時のSPAD IC技術の背景状況では、技術的に実行不可能であると考えられる。
非特許文献1による論文は、VCSELベースのLIDAR用途を説明している。論文は、説明されるプロトタイプ・システムの最大出力パワーは、0.75mより大であるレンジでは、広視野LIDARを行うのに充分に大ではなかったということを説述している。相対的に集束されたビーム(1m距離での0.02mスポット・サイズ)によって、著者らは、1mまでの距離での標的物体を測距することができた。
上記の実例は、現在の半導体レーザにより放出される光学パワーが、知られているLIDARシステムでの動作が(例えば、120mまでのレンジに対する)自動車用途で実際的に役に立つものとなるのに必要なパワー要件を満たすことができないということを明確に示す。
特許文献2は、複数個のレーザを使用して、よりコンパクトでコスト効果の高いLIDAR機能性を提供する、車両ベースのLIDARシステム及び方法を開示している。レーザのアレイ内の各々のレーザは、逐次的に活動化され得るものであり、そのことによって、レーザのアレイに対して搭載される対応する光学要素が、実質的に異なる方向でのそれぞれの質問ビームを生み出す。これらのビームからの光は、車両の環境内の物体により反射され、物体に関する情報を車両運転者及び/又は乗客に提供するために検出される。その特許は、知られているDToF LIDARシステムでの知られている機械的スキャニングを置換するために、個々のレーザが連続して活動化されるソリッド・ステート・プロジェクタを提供する。
飛行時間検出を使用しない、車両に対する高正確度中間レンジ周辺検知システムが、本出願人の名義での特許文献3から知られている。その公開では、物体の位置特定は、パルス化された放射スポットの投射、及び、所定の参照スポット位置を参照する、検出されたスポットの変位の分析に基づく。より詳しくは、引用される公開のシステムは、三角測量を使用する。しかしながら、達成され得る正確度は三角測量基線と相関し、そのことは、達成され得る更なる小型化を制限する。
特許文献4は、シーンの照射を適応的に制御するための方法及びシステムを開示している。特に、シーンが照射され、シーンから反射される光が検出される。シーンの中の異なる区域に対応する、複数個のピクセル検出器の異なるピクセルにより受信される光強度のレベルに関しての情報、及び/又は、シーンの中の区域までのレンジに関しての情報が受信される。その情報は、次いで、シーンの中の照射のレベルを制御するためのフィードバック信号として使用される。より詳しくは、シーンの異なる区域は、フィードバック信号に応答して、異なるレベルの照射を付与され得る。
特許文献5は、距離分解能を低減することなく距離測定レンジを拡大する能力がある距離画像センサを開示している。放射源は、時間軸上に順に配置される第1から第5のフレームでの放射パルスとして物体に当てられる、第1から第5のパルス・トレインを付与する。フレームの各々では、イメージング時間は、各々のフレームの開始点からの所定の時間の点で規定され、また、パルスは、第1から第5のフレームの開始点から、互いとは異なるシフト量だけ、それぞれシフトされる。ピクセル・アレイは、5つのフレームの各々で、イメージング・ウィンドウA及びBを使用して、互いとは異なる距離レンジでの物体の距離情報を各々が有する、要素画像信号を生成する。処理ユニットは、要素画像信号を組み合わせることにより画像信号を生成する。5つの飛行時間測定が使用されるので、放射パルスの幅は、広い距離レンジでの物体の距離情報を得るために増大される必要がなく、距離分解能は低減されない。
特許文献6は、レンジ画像センサを開示しており、そのセンサは、複数の2次元に配置されたユニットからなっているイメージング領域を伴う半導体基板上に設けられ、以て、ユニットからの電荷総量出力を基にしてレンジ画像を得る。ユニットのうちの1つは、電荷が入射光に応答して生成される電荷生成領域(転送電極の外側の領域)と、電荷生成領域から電荷を収集するために空間的に隔たって配置される少なくとも2つの半導体領域と、半導体領域の各々の辺縁に設置され、位相的に異なる電荷転送信号を与えられ、半導体領域を包囲する転送電極とを設けられる。
非特許文献2による論説は、フォト変換及び電荷転送のためにフィールド酸化物構造上の単層ゲートを使用する、あるタイプのCMOS飛行時間(TOS)レンジ画像センサを開示している。この構造は、標準的なCMOSプロセスでの、15×15μmピクセルを伴う高密度TOFレンジ・イメージング・アレイの現実化を可能とする。高速電荷転送のために必要であるn型埋め込み層を創出するための追加的なプロセス・ステップのみが、製作プロセスに追加される。センサは、アクティブな照射光源からの後方反射される赤外光パルスにより誘導されるフォト電荷の時間遅延依存変調に基づいて動作する。背景光の影響を低減するために、小デューティ・サイクル光パルスが使用され、電荷排出構造がピクセルに含まれる。製作されたTOFセンサ・チップは、測定すると、100nsのパルス幅での、1秒あたり3フレームでの0.74cmに対する改善である、1秒あたり30フレームでの2.35cmのレンジ分解能である。
本出願の出願日には公開されていなかった、本出願人の名義での特許文献7は、物体までの距離を決定するためのシステム及び方法のいくつかの態様を説明している。
ADAS(自律運転支援システム(autonomous driving assistance system))用途及び自律運転用途などの、複雑な車両周辺検知用途での、極度の小型化、及び/又は、より長いレンジを得ること、並びに、これを、穏当なコストで、及び、コンパクトな半導体集積フォーム・ファクタで得ることの継続する必要性が存する。
米国特許出願公開第2015/0063387号明細書 米国特許第7,544,945号明細書 国際公開第2015/004213号 米国特許出願公開第2012/0038903号明細書 欧州特許出願公開第2322953号明細書 欧州特許出願公開第2290402号明細書 欧州特許出願第15191288.8号明細書 米国特許出願公開第2014/353472号明細書
Neil E. Newman et al., "High Peak Power VCSELs in Short Range LIDAR Applications", Journal of Undergraduate Research in Physics, 2013, http://www.jurp.org/2013/12017EXR.pdf Shoji Kawahitoet al., "A CMOS Time-of-Flight Range Image Sensor With Gates-on-Field-Oxide Structure", IEEE Sensors Journal, Vol. 7, no. 12, p. 1578-1586
変位ベースの車両周辺検知システムに対する、さらに小型化された、及び、より長いレンジの代替案を提供することが、本発明の実施例の目指すところである。さらにまた、知られているLIDARシステムに対する、完全なソリッド・ステート代替案を提供することが、本発明の実施例の目指すところである。
本発明の態様によれば、物体までの距離を決定するためのシステムであって、パルスのシーケンスで物体に向けてレーザ光の離散スポットのパターンを投射するために配置構成されるソリッド・ステート光源と、複数のピクチャ要素を備える検出器であって、パルスのシーケンスと同期して、物体により反射させられるような離散スポットのパターンを表す光を検出するように構成される、検出器と、検出される光に応答してピクチャ要素により生成される露出値の関数として、物体までの距離を算出するように構成される処理手段とを備え、ピクチャ要素は、シーケンスのパルスのすべてに対して、第1のあらかじめ決定された時間ウィンドウの間の、物体により反射させられる光の第1の量を表すものである第1の量の電荷と、第2のあらかじめ決定された時間ウィンドウの間の、物体により反射させられる光の第2の量を表すものである第2の電荷とを蓄積することにより、露出値を生成するように構成され、第2のあらかじめ決定された時間ウィンドウは、第1のあらかじめ決定された時間ウィンドウの後に生起し、システムは、パルスの、少なくとも2つの連続したシーケンスに対して、投射及び検出を実行するように構成され、シーケンスの各々は、第1のあらかじめ決定された時間ウィンドウ、及び、第2のあらかじめ決定された時間ウィンドウの異なる持続時間で動作させられる、システムが提供される。
本発明は、直接飛行時間ベースの測距システムと同じ物理的原理、すなわち、光は所与の距離を進行するために所定の量の時間が常にかかるという事実に依拠する。しかしながら、本発明は、レンジ・ゲーティングを使用して、伝送され、引き続いて、標的物体により反射させられた光パルスにより進行される距離を決定する。本発明は、とりわけ、レンジ・ゲーティングと、少なくとも部分的に同時のスポット・パターン投射(新規の照射スキームに基づく)と、低パワー半導体光源とを組み合わせることにより、実質的に小型化された、完全なソリッド・ステートの、及びエネルギー効率の高い、長レンジ距離検出方法が得られ得るという、本発明者らの洞察に基づく。用語「パターン」は、本明細書で使用される際は、同時に投射されるスポットの空間的分布を指す。3次元空間での検出されるスポット反射の位置を決定するために、測距ステップから得られる距離情報を、角度情報と組み合わせて、残りの2つの空間座標を確定することが必要である。ピクセル・アレイと、適するように配置構成される光学機器とを備えるカメラが、反射が検出されるピクセルを識別することにより、追加的な角度情報を提供するために使用され得る。
本発明の実施例は、所望されるレンジで、LIDARシステムで、ソリッド・ステート光源により生成されるスポット・パターンを使用することができるために、光学パワー限界を巧みに回避するための手立てが必要とされるという、本発明者らのさらなる洞察に基づく。本発明者らは、パルス持続時間を延長することにより、及び、少なくとも2つの半導体センサ・ウェルの中の、又は、少なくとも2つのピクセルの中の、複数個の、VCSELで生成される光パルスの、反射させられるエネルギーを積分し、積分される電荷の単一の読み出しが後に続くことにより、ソリッド・ステートLIDARシステムが、ソリッド・ステート実現形態によって現時に可能であるより有意に大である動作レンジを伴って得られ得るということを見出した。本明細書の以降で、用語「貯蔵」は、電荷が光子の検出に応答して蓄積されるウェル又はピクセルを明示するために使用されることになる。
ソリッド・ステート光源及びソリッド・ステート・センサ(CMOSセンサ、CCDセンサ、SPADアレイ、又は同類のものなど)が、同じ半導体基板上に集積され得るということが、本発明の利点である。ソリッド・ステート光源は、VCSELアレイ、又は、所望されるパターンを生み出すように適応させられる格子を伴うレーザを備え得る。
その上、2つの連続した時間ウィンドウで検出される、反射させられる光エネルギーを査定し、2つの連続したウィンドウでの総合的な集積される電荷に対して正規化することにより、調査中の物体の変動する反射率の影響力、及び、周囲光の寄与は、距離算出アルゴリズムにおいて妥当に原因説明が行われ得る。
本発明は、フル・レンジの検知を、複数個のフレーム(すなわち、パルスの複数個のシーケンス)にわたって分け、それらのフレームの各々が、異なるタイミング・パラメータによって動作することによって、異なるレンジを「調べる」ことにより(第1のあらかじめ決定された時間ウィンドウ、及び、第2のあらかじめ決定された時間ウィンドウ)、システムのレンジが改善され得るという、本発明者らの洞察にさらに基づく。
これらの動作パラメータの賢明な選定は、各々のフレームで、所望されるレンジの最大限の距離に対して検出されることが予期される、反射させられる光子の数が、電荷貯蔵ウェルから、高い信頼性で読み出され得る電荷の量に対応するということを確実にし得る。他方で、正確な測定が遂行され得る最も近い点は、ピクセルのキャパシティを飽和させることになる。光子の最小限の検出可能な数と、飽和なしで受け取られ得る光子の最大限の数との間の比は、単一のフレームでスパンとされ得る距離レンジを決定する。
本発明によるシステムの実施例では、複数のピクチャ要素の各々は、電荷貯蔵ウェルの少なくとも2つのセットを備え、光の前記第1の量の検出及び光の第2の量の検出は、電荷貯蔵ウェルの少なくとも2つのセットのうちのそれぞれのもので行われ、電荷貯蔵ウェルのセットの各々は、カスケードとして構成される。
用語「電荷貯蔵ウェル」は、ピクセルに突き当たる光子の変換により生成される電荷を貯蔵する、半導体基板内に設けられる貯蔵域、例えばコンデンサを明示する。
ピクチャ要素では、突き当たる光を表すものである電荷は、ウェル・レベルで蓄積される。ウェル・レベルでの電荷蓄積の利点は、読み出しノイズが最小化され、そのことが、より良好な信号対ノイズ比につながるということである。
蓄積されることになる電荷の総合的な量が、複数個のウェルにわたって分散され、そのことが、より大である総合的な電荷貯蔵キャパシティを可能とし、一方で、総合的な電荷レベルの正確な読み出しを維持するということが、カスケード・ベースの配置構成の利点である。
総合的な電荷貯蔵キャパシティの増大は、大きい数の光子、及びゆえに、大きい量の電荷がシステムにより受け取られる、動作レンジの端部で、特に重要なものであり、このことは、短いレンジでの(なぜならば、距離の関数での光の強度は、逆二乗則にしたがうからである)、又は、並外れて高いリフレクタンスを伴う表面がセンサの視界内に存在するときの事例である。単一のウェルが飽和させられる傾向にあることになる条件では、カスケード・ベースの配置構成は、電荷の総合的な量を正確に決定することの可能性を失うことなく、過剰電荷が後続の貯蔵ウェル内に貯蔵されることを可能とする。
カスケード内のキャパシティの総合的な数は、所望される動作レンジ及び正確度、並びに、ポアソン・ノイズを可能な限り低く保つための一般的な要件の関数で選択され得る。後者の条件は、ポアソン・ノイズが距離決定の正確度に有害である、レンジ・ゲーティングの適用に本来的に結び付けられるものである。低いレベルのポアソン・ノイズは、電荷がカスケードの1つ又は複数のキャパシティに貯蔵されるかどうかに関係なく、連続的な光子−電荷応答を可能とする。
本発明によるシステムの実施例では、電荷貯蔵ウェルのセットの各々は、直列に配置構成されるカスケードとして構成される。本発明によるシステムの別の実施例では、電荷貯蔵ウェルのセットの各々は、並列に配置構成されるカスケードとして構成される。
これらの実施例は、貯蔵ウェルの所望されるカスケード効果を得るための、実現するのが容易な配置構成を提供するということが、これらの実施例の利点である。
本発明によるシステムの実施例では、パルスの、前記少なくとも2つの連続したシーケンスの各々に対して、前記第1のあらかじめ決定された時間ウィンドウ、及び、前記第2のあらかじめ決定された時間ウィンドウは、実質的に等しい持続時間のものであり、続け様に生起し、光の前記第1の量を検出するように構成される前記ピクチャ要素の総合的な貯蔵キャパシティは、光の前記第2の量を検出するように構成される前記ピクチャ要素の総合的な貯蔵キャパシティより大きい。
この実施例は、反射させられる光子の過負荷に起因する電荷貯蔵要素の飽和を回避する助けとなるということが、この実施例の利点である。この問題は、すぐ近くの距離で最も顕著である。短いレンジでは、反射させられる光子の総合的な数は、逆二乗則に起因して、より高くなることになり、一方で、反射させられる信号の大部分は、第1の時間ウィンドウの中で到着し、かくして、電荷貯蔵ウェルの対応するセット内に貯蔵されることになる。ゆえに、第1の時間ウィンドウに対応する電荷貯蔵ウェルのセットを、より大きい量の電荷を扱うことができるように寸法設定することが有用である。
本発明の態様によれば、車両であって、前記車両を包囲する区域の少なくとも一部を動作可能にカバーするように配置構成される、上記で説明されたようなシステムを備える、車両が提供される。
本発明によるシステムは、特に、ECU(電気制御ユニット(electrical control unit))などの、ただしそれに制限されない、ADAS又は自律運転制御ユニットを伴う車両で有利である。車両は、システムから測定情報を受信するために、及び、情報を、ADAS制御又は自律運転の判断を為すことに対して使用するために適応させられる車両制御ユニットをさらに備え得る。車両を包囲する区域の一部は、車両の前方、横、又は背後の道路表面を含み得る。よって、システムは、アクティブ・サスペンション又はセミ・アクティブ・サスペンションに対して使用されることになる、車の前方の表面の道路輪郭情報を提供し得る。
本発明の態様によれば、上記で説明されたようなシステムを備えるカメラであって、システムは、システムから得られる情報に基づいて、カメラの画像に3D情報を追加して、3D画像を創出することを可能にするように適合される、カメラが提供される。
本発明の態様によれば、物体までの距離を決定するための方法であって、ソリッド・ステート光源を使用して、パルスのシーケンスで物体に向けてレーザ光のスポットのパターンを投射するステップと、複数のピクチャ要素を備える検出器を使用して、パルスのシーケンスと同期して、物体により反射させられるようなスポットのパターンを表す光を検出するステップと、検出される光に応答してピクセルにより生成される露出値の関数として、物体までの距離を算出するステップとを含み、ピクチャ要素は、シーケンスの各々のパルスに対して、第1のあらかじめ決定された時間ウィンドウの間の、物体により反射させられる光の第1の量を表すものである第1の量の電荷と、第2のあらかじめ決定された時間ウィンドウの間の、物体により反射させられる光の第2の量を表すものである第2の量の電荷とを蓄積することにより、露出値を生成し、第2のあらかじめ決定された時間ウィンドウは、第1のあらかじめ決定された時間ウィンドウの後に生起し、投射するステップ、及び、検出するステップは、パルスの、少なくとも2つの連続したシーケンスに対して繰り返され、シーケンスの各々は、第1のあらかじめ決定された時間ウィンドウ、及び、第2のあらかじめ決定された時間ウィンドウの異なる持続時間で動作させられる、方法が提供される。
本発明による方法の実施例では、パルスの、少なくとも2つの連続したシーケンスの各々に対して、第1のあらかじめ決定された時間ウィンドウ、及び、第2のあらかじめ決定された時間ウィンドウは、実質的に等しい持続時間のものであり、続け様に生起する。
本発明による方法の実施例では、複数のピクチャ要素の各々は、少なくとも2つの電荷貯蔵ウェルを備え、光の第1の量の検出するステップ、及び、光の第2の量の検出するステップは、少なくとも2つの電荷貯蔵ウェルのうちのそれぞれのもので行われる。
本発明の態様によれば、プロセッサが上記で説明されたような方法を遂行することを引き起こすように構成されるコード手段を含むコンピュータ・プログラム製品が提供される。
本発明によるカメラ、車両、方法、及びコンピュータ・プログラム製品の実施例の、技術的効果及び利点は、しかるべき変更を加えた上で、本発明によるシステムの対応する実施例の技術的効果及び利点に対応する。
ここで、添付の図面を参照して、本発明のこれら及び他の態様及び利点をより詳細に説明する。
本発明による方法の実施例のフロー・チャートである。 本発明によるシステムの実施例を概略的に表す図である。 本発明の実施例における光投射及び検出についてのタイミング図である。 本発明の実施例における光投射及び検出についてのタイミング図である。 本発明の実施例における光投射及び検出についてのタイミング図である。 本発明の実施例における光投射及び検出についてのタイミング図である。 対数トーン・マッピング(上部)及び多重線形トーン・マッピング(下部)により得られるような、入射光パワーの関数での例示的なピクセル出力の線図を提供する図である。 高ダイナミック・レンジ多出力ピクセルにより得られるような、入射光パワーの関数での例示的なピクセル出力の線図を提供する図である。 本発明の実施例での使用のための高ダイナミック・レンジ・ピクセルの構造を概略的に例解する図である。 本発明の実施例での使用のための、各々別々の転送ゲートを伴う、2つの電荷ウェル(ビン)を伴うピクセル・アーキテクチャの実施例を概略的に例解する図である。 本発明の実施例での使用のための第1の例示的な光学配置構成を概略的に例解する図である。 本発明の実施例での使用のための第2の例示的な光学配置構成を概略的に例解する図である。 本発明の実施例での使用のための第3の例示的な光学配置構成を概略的に例解する図である。 本発明の実施例での使用のための第4の例示的な光学配置構成を概略的に例解する図である。 本発明の実施例での使用のための第5の例示的な光学配置構成を概略的に例解する図である。 第6の例示的な光学配置構成を概略的に例解する図である。
本出願人の名義での特許文献3で開示されているタイプの周辺検知システムは、広範囲のシーンを観察することを、そのシーンを同時に、又は、部分的に同時に、何個かの離散の、及び、良好に画定されたスポット、特に、あらかじめ画定されたスポット・パターンでのみ照射しながら行うことの利点を有する。傑出したバンドル品質、及び、非常に狭い出力スペクトルを伴うVCSELレーザを使用することにより、昼光の存在の場合でさえ、制限される量の出力パワーによって検出レンジを得ることが可能である。特許文献3のシステムで実行される実際の測距は、変位検出、特に三角測量に依拠し、それは、パワー・バジェットに鑑みて必要であった長い(準定常の)パルス持続時間の背景状況で実際的に利用可能な、他にない方法であると理解されていた。これまでのところ、コンパクトな半導体ベースの飛行時間ベースのシステムによって、同じパワー/性能特性を達成することは可能でなかった。
本発明は、飛行時間ベースのシステムが動作する手立てを根本的に変化させることにより、この限界を克服する。本発明は、各々の飛行時間測定に対する放出される光エネルギーの総合的な量(及びかくして、各々の飛行時間測定に対する検出器での検出に対して利用可能な光子の数)を、個々のパルスの持続時間を増大することにより、及び、大きい数の個々のパルスのシーケンスからなる仮想的な「複合パルス」を生み出すことにより増大する。拡張されるパルスのこのバンドリングは、本発明者らが、低パワーVCSELによって、所望される動作レンジに対する光エネルギー(光子)の要される量を得ることを可能とした。
以前からの既存のLIDARシステムの個々のパルスが1nsの持続時間を有し得る場合、本発明によるシステムは、VCSELなどの半導体レーザの相対的に低いパワー・レベルに対して部分的に補償するための、実質的により長いパルス持続時間から利益を得るものであり、本発明の実施例では、シーケンスの中の個々のパルスは、1μsの例示的な持続時間を有し得る(これは、説明を明確で簡単にしておくためにここで選定された、1つの可能な値であり、より一般的には、本発明の実施例では、パルス持続時間は、例えば500ns以上、好ましくは750ns以上、最も好ましくは900ns以上であり得る)。本発明による例示的なシステムでは、シーケンスは、1000パルス・サイクルからなることがあり、かくして、合わせて1msの持続時間になる。光が、100mの距離での標的に、及び、検出器に戻るように進行するために、近似的に0.66μsを必要とすることになるという事実を考え合わせると、この桁数の距離で測距するために、この持続時間の複合パルスを使用することは可能であり、当業者は、選択されるパルス幅、及び、所望されるレンジの関数で、パルス・サイクルの要される数を調整することができることになる。シーケンスの検出は、好ましくは、VCSELベースの光源と同期して、個々のパルスを検出することと、読み出しより前に、シーケンス全体に対して、ピクセル・ウェル・レベルでの入来光子に応答して生成される電荷を蓄積することとを含む。用語「露出値」は、本明細書の以降で、シーケンスにわたって積分される電荷を(及びかくして、ピクセルで受け取られる光の量を)表すものである値を示すために使用される。シーケンス放出及び検出は、周期的に繰り返され得る。
本発明は、レンジ・ゲーティングを使用することにより動作する。レンジ・ゲーテッド・イメージャは、パルスの持続時間の間、放出されるパルスの反射の検出されるパワーを積分する。パルス放出ウィンドウと、反射されるパルスの到着との間の時間的重なりの量は、光パルスの帰還時間に、及びかくして、パルスにより進行される距離に依存する。かくして、積分されるパワーは、パルスにより進行される距離と相関される。本発明は、本明細書の上記で説明されたパルスのシーケンスに適用されるような、レンジ・ゲーティングの原理を使用する。後に続く説明では、シーケンス全体の測定値を得るための、ピクチャ要素のレベルでのシーケンスの個々のパルスの積分が、暗黙的に理解される。
図1は、本発明による方法の実施例のフロー・チャートを表す図である。一般性を失うことなく、測距方法は、レンジ・ゲーティング・アルゴリズムを参照して説明される。第1の時間ウィンドウ10で、方法は、シーナリの標的にされた区域内の任意の物体上に、ソリッド・ステート光源210を備える光源からの、レーザ光のスポットのパターン(例えば、スポットの規則的又は不規則な空間的パターン)を投射するステップ110を含む。空間的パターンは、パルスのシーケンスで繰り返し投射される。
上記で示されたように、ソリッド・ステート光源は、VCSELアレイ、又は、所望されるパターンを生み出すように適合された格子を伴うレーザを備え得る。長いレンジで、及び、(例えば、昼光での)高いレベルの周囲光を伴ってでさえ、システムが最適に動作するために、本発明の実施例での使用のためのVCSELは、好ましくは、区域の単位あたりのスポットあたりの最大光学パワーを放出するように配置される。かくして、良好なビーム品質(低いM2因子)を伴うレーザが好まれる。より好ましくは、レーザは最小限の波長広がりを有するべきであり、特に低い波長広がりが、モノモード・レーザによって達成され得る。かくして、実質的に同一のパルスが、必要な空間的及び時間的正確度を伴って、再現可能に生成され得る。
パルスが放出される同じ時間ウィンドウの間、又は、実質的に重なる時間ウィンドウで、関心の物体により反射されるようなスポットのパターンを表す光の第1の量が、好ましくは光源に可能な限り近く配置される検出器で検出される(120)。スポット・パターンの投射110と、その反射の第1の検出120との間の同期性、又は近い同期性が、これらのステップの横並びの配置によりフロー・チャートで例解される。後続の第2の所定の時間ウィンドウ20で、反射される光スポットを表す光の第2の量が、検出器で検出される(130)。この第2のウィンドウ20の間、ソリッド・ステート光源は非アクティブである。物体までの距離が、次いで、反射される光の第1の量、及び、反射される光の第2の量の関数として算出され得る(140)。
第1の所定の時間ウィンドウ10、及び、第2の所定の時間ウィンドウ20は、好ましくは、検出される量の一方を他方のものから差し引くことにより、ノイズ及び周囲光相殺を容易にするために、実質的に等しい持続時間の続け様のウィンドウである。例示的なタイミング・スキームを、図3との連関で、下記でより詳細に説明する。
検出器は、複数のピクチャ要素を備え、すなわち、その検出器は、ピクチャ要素上に(照射されるスポットを含む)シーナリの画像を投射するように配置構成される妥当な光学機器を伴う、ピクチャ要素アレイからなる。用語「ピクチャ要素」は、本明細書で使用される際は、ピクセルの個々の光センシティブ区域若しくはウェルを、又は、ピクセル全体(複数個のウェルを備え得る、下記を確認されたい)を指すことがある。あらゆる所与の投射されるスポットに対して、光の第1の量の検出すること120、及び、光の第2の量の検出すること130は、複数のピクチャ要素の同じ1つ、又は同じグループで生じる。
一般性を失うことなく、ピクチャ要素の各々は、少なくとも2つの電荷貯蔵ウェル221、222を備えるピクセルであり得るものであり、そのことによって、光の第1の量の検出すること120、及び、光の第2の量の検出すること130は、同じピクセル又はピクセル・グループのそれぞれの電荷貯蔵ウェル221、222で生じ得る。
図2は、関心のシーナリ内の物体99との関係で、本発明によるシステムの実施例を概略的に表す。システム200は、物体99上への、周期的に繰り返されることがある、スポットのシーケンスのパターンを投射することのためのソリッド・ステート光源210を備える。検出器220が、光源の近くに配置され、物体により反射される光を検出するように構成される。
物体99で跳ね返る光ビームは、破線での矢印として例解され、光源210から物体99に、及び、検出器220に戻るように進行する。この表現は、厳密に言えば概略的であり、何らかの実際の相対的な距離又は角度を指し示すことを意図されないということが留意されるべきである。
従来のクロック回路又は発振器を含み得る同期手段230が、第1の所定の時間ウィンドウ10の間、物体上にスポットのパターンを投射するようにソリッド・ステート光源210を動作させるように、及び、実質的に同じ時間に、物体99により反射される光スポットを表す光の第1の量を検出するように検出器220を動作させるように構成される。その同期手段230は、それぞれの後続の第2の所定の時間ウィンドウ20の間、物体99により反射される光スポットを表す光の第2の量を検出するように検出器220を更に動作させる。適切な処理手段240が、反射される光の第1の量、及び、反射される光の第2の量の関数として、物体までの距離を算出するように構成される。
図3は、本発明の実施例での光投射及び検出に対するタイミング線図を表す。明確性の理由で、第1の時間ウィンドウ10と、第2の時間ウィンドウ20とからなる、図1の、単一のパルス・シーケンスの単一のパルスのみが例解される。本発明によれば、少なくとも2つのシーケンスが、第1のシーケンスでの、第1の時間ウィンドウ10、及び、第2の時間ウィンドウ20の、第2のシーケンスでとは異なる持続時間を使用して、連続して伝送される。
図3aで確認され得るように、第1の時間ウィンドウ10の間、ソリッド・ステート光源210は、その「オン」状態にあり、シーナリ上に光スポットのパターンを放出する。第2の時間ウィンドウ20の間、ソリッド・ステート光源210は、その「オフ」状態にある。
検出器220での反射される光の到着は、進行される距離に比例する時間の量(自由空間で、近似的に3.3ns/m)だけ、投射の開始に相対的に遅延される。この遅延に起因して、反射させられる光の一部のみが、第1の時間ウィンドウ10の間活動化されるのみである、検出器220の第1のウェル、又は、ウェルのカスケード接続されるセット221で検出されることになる。かくして、この第1のウェルに、そのウェルの活動化の期間(第1の時間ウィンドウ10)の間に蓄積される電荷は、反射させられるパルスの到着より前の、ノイズ、及び、ピクセルに突き当たる周囲光のみを表す部分と、ノイズ、周囲光、及び、反射させられるパルスの立ち上がりエッジを表す部分とからなる。
反射されるパルスの後の方の部分は、好ましくは第1の時間ウィンドウ10の直後に続く第2の時間ウィンドウ20の間活動化されるのみである、検出器220の第2のウェル、又は、ウェルのカスケード接続されるセット222で検出されることになる。かくして、この第2のウェルに、そのウェルの活動化の期間(第2の時間ウィンドウ20)の間に蓄積される電荷は、ノイズ、周囲光、及び、反射されるパルスの立ち下がりエッジを表す部分と、反射されるパルスの到着の後の、ノイズ、及び、ピクセルに突き当たる周囲光のみを表す部分とからなる。
反射させる物体99とシステム200との間の距離が大であるほど、第1のウェル、又は、ウェルのカスケード接続されるセット221で検出されることになるパルスの割合は小さく、第2のウェル、又は、ウェルのカスケード接続されるセット222で検出されることになるパルスの割合は大きい。
反射されるパルスの立ち上がりエッジが、第1のウェル、又は、ウェルのカスケード接続されるセット221の閉鎖の後(すなわち、第1の時間ウィンドウ10の終了の後)に到着するならば、第2のウェル、又は、ウェルのカスケード接続されるセット222で検出され得る反射されるパルスの割合は、増大する飛行時間遅延とともに再び減少することになる。
物体99の変動する距離に対する、それぞれのウェル、又は、ウェルのカスケード接続されるセット221、222の各々での、電荷の結果的に生じる量A、Bが、図3bで示される。表現を簡単にするために、逆二乗則による、距離に関する光の減衰の効果は、線図では考慮に入れられていない。第1の時間ウィンドウ10及び第2の時間ウィンドウ20の組み合わされた持続時間までの飛行時間遅延に対しては、飛行時間遅延は、原理的にあいまいさなく、A及びBの値から導出され得るということは明確である。
− 第1の時間ウィンドウ10の持続時間までの飛行時間遅延に対しては、Bが物体99の距離に比例する。絶対距離の決定に容易に行き着くために、正規化された値B/(B+A)が使用され得るものであり、そのことは、検出される物体の完璧でない反射性の、及び逆二乗則の、何らかの影響力を除去する。
− 第1の時間ウィンドウ10の持続時間を超える飛行時間遅延に対しては、Aは、昼光及びノイズ寄与のみからなり(例解されない)、C−Bは、物体99の距離に(逆二乗則に対して補正する後は)実質的に比例し、ただしCはオフセット値である。
図3a及び3bは、時間ウィンドウ10で放出される単一のパルスとの関係で、本発明の原理を例解するが、例解されるパルスは、上記で定義されたように、パルスのシーケンスの一部であるということが理解されるものとする。図3cは、単一のシーケンスの例示的なタイミング特性を概略的に例解する。例解されるように、照射スキーム40は、個々のパルス10のシーケンス30の繰り返される放出からなる。個々のパルス10の幅は、最大限の動作レンジにより決定される。シーケンス全体は、例えば60Hzの周波数で繰り返され得る。
図3dは、Nmax(ピクセルを飽和させることなく貯蔵され得る電子の最大限の数)及びNmin(正確な読み出しに対して要されるピクセルの最小数)により課される制約の結果として、距離の、標的にされたレンジ全体[Zmin,Zmax]をカバーすることに失敗し得る、図3cのシーケンスでの個々のフレームが、どのように、光子の数についての同じ制約の中で、より容易にカバーされ得る、標的にされたレンジの一部分[zmin(i),zmax(i)]を各々がカバーする、異なるタイミング・パラメータを伴うシーケンスに分解され得るかを概略的に例解する。
上記で導入され、図3dで使用される記号を参照すると、サブレンジの対応する電子量nmin(i)及びnmax(i)は、
− 電子の最大の許容可能な数(追加的なキャパシティが存しない事例でのフル・ウェル・キャパシティに対応する、フル・ピクセル・キャパシティを表す「FPC」を使用する):
Figure 0006977045

ただし、z(0)=Zmax
− 最小の要される正確度レベル:nmin=Nmin
− zmax(i)=zmin(i−1)
により定義される。
追加的に、パルス特性は、後に続くように決定され得る:
− パルス幅
Figure 0006977045

− 総合的な「オン」時間は、フル・ピクセル・キャパシティ及び正確度レベルにより課される限界を尊重するために、
Figure 0006977045

に比例して低減される。
上記の原理は、後に続く非制限的な数値的な実例により、さらに明確化され得る。
150mの距離での10%反射率を伴うランバート反射させる表面は、1.6%の正確度を得るために1000個の電子を提供しなければならない。同じ距離で、100%反射させる表面は、10000個の電子を生成することになる。200000個の電子のフル・ウェル・キャパシティを伴って、後に続くマルチ・フレーム解決策が提案される。
Figure 0006977045

健全性の理由で、サブレンジでの重なりを設けることが有利であり得るということが留意されるべきである。
同じ3D分解能を保証するために、より高速のカメラを使用することが有利であり得るものであり、例えば、3フレーム・インターリービングによって180Hzで動作するカメラは、単一フレーム動作による60Hzと同じデータ・スピードを与える。
上記の本文で指示されたように、電荷貯蔵要素221、222は、各々、電荷貯蔵ウェルのカスケードからなるものであり得る。カスケードの賢明な設計は、キャパシティの間の滑らかな遷移を確実にして、極度に高い正確度レベルを保証する。貯蔵キャパシティは、好ましくは、カスケードに対する十分な空間が存するということを確実にするために、一方で、突き当たる光子が電荷に変換される区域からの電荷転送を最適化することのために、各々のピクセルの周りに設計される。キャパシティは、好ましくは、パルスの各々のシーケンスに適用可能な特定のサブレンジ、及び、対応するタイミング・パラメータに対して、検出可能でなければならない最も低いレベルの光(例えば、1000個の光子)の正確な読み出しを提供するように寸法設定される。
短い距離での物体による光の反射は、ピクセル飽和を引き起こす公算がより大きく、なぜならば、そのような反射の減衰は、(距離に関しての光減衰の逆二乗則に起因して)より遠距離の物体から発生する反射の減衰よりはるかに少ないことになるからである。自動車用途等の所定の用途は、相対的に長い距離までの正確なシステム動作を要するので、大きい光子スパンが、動作の最も近い距離と、動作の最も遠い距離との間でカバーされなければならない。これらの制約によって、短いレンジでのピクセル飽和は、特にウェルの第1のセット(短いレンジで反射のバルクを受け取る)では非常に大変なリスクである。本発明者らは、所与の総合的なピクセル空間に対して、ウェルの第1のセットにより表される光子キャパシティが増大され、ウェルの第2のセットにより表される光子キャパシティが減少される、非対称ウェル配置を使用することにより、飽和問題が軽減され得るということを見出した。増大及び減少のバランスがとられるならば、ダイナミック・レンジの増大が、追加的なピクセル表面コストなしで得られ得る。
ブルーミングは、ピクセル内の電荷が、その特定のピクセルの飽和レベルを超えるときに起こる現象である。その結果として、電荷は、オーバーフローし始め、近接するピクセルでの妨害を引き起こす。このことは、近隣のピクセルでの不正確なデータを創出する。好ましくは、本発明によるシステムのピクセルは、過剰電荷が、ウェルの関連性のあるセットを飽和させ、近接するピクセルのウェルへとあふれ出す前に、その過剰電荷を抜き取るために、アンチ・ブルーミング電子部品を設けられる。特に、近隣のスポットからの情報が、背景光の消失のために使用されるとき、近隣のピクセルから独立的に(及び、汚染を伴わずに)得られる、背景光の正確な推定を有することは、大いに重要なものである。
本発明の実施例は、相関二重サンプリングを用いて、ウェルのキャパシティに関係付けられる熱ノイズ(「kTCノイズ」とも示される)に対してサンプルを補正することがある。この目的で、ピクセルの電子部品は、リセット電圧(Vreset)と信号電圧(Vsignal)との間の差動測定を、例えば、フレームの始まりでVresetを測定し、フレームの終了でVsignalを測定することにより遂行するように設計され得る。電子的(ピクセル内)実装形態に対する代替案として、相関二重サンプリングは、プロセッサで読み出し信号をデジタル的に差し引くこと(Vsignal−Vreset)によっても実装され得る。
ピクセル構造内のフォトセンシティブ要素(特にダイオード)に達する光の量を増大するために、本発明の実施例は、裏面照射を使用することがあり、その事例では、ピクセル回路網は、フォトセンシティブ要素から読み取るために、フォトセンシティブ層の背後にあり、かくして、突き当たる光子により横切られなければならない層の数を低減する。
本発明による測距システムは、特許文献3による三角測量ベースのシステムと統合され得る。小型化が目標とされるならば、三角測量ベースのシステムは、そのプロジェクタとその検出器との間の相対的に小さい距離を最終的には有することになり、かくして、そのことによって、そのシステムは、低減された動作レンジを伴うままになる。しかしながら、その組み合わせがその利益を提示するのは、まさに短いレンジでのことであり、なぜならば、三角測量ベースのシステムは、飛行時間ベースのシステムが十分に正確に動作することができない距離をカバーすることができるからである。
測距プロセス全体は、経時的に、検出される1つ又は複数の物体までの距離を監視するように、反復して繰り返され得る。かくして、この方法の結果は、先進的な運転者支援システム、アクティブ・サスペンションを伴う車両、又は自律車両等の、検出される物体までの距離に関する情報を、連続性を基にして要するプロセスで使用され得る。
説明されるようなシステムのすべての要素が最適に動作するために、システムは、熱的に安定でなければならない。熱安定性は、中でも、光学要素の所望されない波長シフト(熱ドリフト)を回避するものであり、そうでなければ、それらの波長シフトは、光学チェーンの光学フィルタ及び他の要素の適正な機能することを損なうことになる。本発明によるシステムの実施例は、それらの実施例の設計により、又は、PID型コントローラによる温度制御ループの手段による能動的調節により、熱安定性を達成する。
特許文献3は、検出区間の間にピクセルに達する周囲光の量を最小化し、かくして、パターン化されたレーザ・スポットの検出の正確度を改善するための様々な技法を開示している。これらの技法は、LIDARシステムの背景状況では開示されていなかったが、本発明の発明者らは、色々なそのような技法が、本発明の実施例と組み合わされるときに、優れた結果を生むということを見出した。このことは、特に、検出器での狭いバンドパス・フィルタの使用、及び、フィルタ上への反射される光のほとんど垂直な入射を確実にするための妥当な光学配置の使用について真である。これらの配置の、それらが特許文献3で現れる際の詳細は、ここに参照により組み込まれている。更なる特徴及び詳細が、本明細書の以降で提供される。
特許文献3から知られている様々な技法は、検出区間の間にピクセルに達する周囲光の量を最小化するために、本発明の実施例に適用され得るが、一定の量の周囲光は回避され得ない。マルチ・ピクセル・システムでは、ピクセルのいくつかのみが、反射されるスポットにより照射されることになり、一方で、他のものは、残留周囲光のみにより照射されることになる。ピクセルの後者グループの信号レベルは、関心のピクセルでの信号への周囲光の寄与を推定するために、及び、それに応じてその寄与を差し引くために使用され得る。追加的又は代替的に、背景光又は周囲光は、ピクセル・レベルで、検出される信号から差し引かれ得る。このことは、1つはレーザ・パルスの到着の間の、及び、1つはパルスの非存在の場合の、2つの露出を要する。
いくつかの実施例では、検出器は、高ダイナミック・レンジ検出器、すなわち、少なくとも90dB、好ましくは少なくとも120dBのダイナミック・レンジを有する検出器であり得る。高ダイナミック・レンジ・センサ、すなわち、飽和なしで光子の大きい量を獲得する能力があり、一方で、シーンの最も暗い部分での強度レベルの十分な判別を維持するセンサの存在は、そのようなセンサの使用の利点であり、そのことは、非常に長いレンジを有し、それにもかかわらず、飽和を経ることなく、短い距離での(反射される光が相対的に強い)検出物体の能力が変わらずにあるセンサを可能とするものである。本発明者らは、真の高ダイナミック・レンジ・センサの使用が、トーン・マッピングを適用されるセンサの使用より有利であるということを見出した。トーン・マッピングでは、センサ線形レンジが、より高い分解能に向けて圧縮される。文献では、対数圧縮又は多重線形圧縮等の、色々な圧縮方法が文書として記録されている(図4を確認されたい)。しかしながら、この非線形圧縮は、論理又は算術演算を、捕捉されるシーンに関して実行して、起伏情報を抽出する前に、信号の再線形化を必要とする。本発明による解決策は、それゆえに、計算所要量を増大することなく検出正確度を増大する。図5で提示されるような完全に線形の高ダイナミック・レンジ・センサを使用することは、いくつかの実施例の更なる利点である。所望されるダイナミック・レンジ特性を提供する能力がある、ピクセル・アーキテクチャ及び光学検出器は、特許文献8、特に段落65〜73及び88で開示されており、その文献の内容は、当業者が本発明のこの態様を実践することを可能とする目的で、参照により組み込まれている。
本発明の実施例は、高ダイナミック・レンジ・ピクセルを使用する。このピクセルは、電荷リザーバの相当の大きさのフル・ウェル・キャパシティにより、又は、ピクセルあたりの電子ノイズを制限する設計により、又は、電荷転送でノイズを付加しないCCDゲートの使用法により、又は、大きい検出量子効率(DQE:detection quantum efficiency)(例えば、前面照射に対しては50%、又は、裏面薄化としても知られている裏面照射の事例では90%のレンジでの)を伴う設計によって、又は、例えば図6に示されるような(下記を確認されたい)特別な設計により、又は、列挙された改善の任意の組み合わせにより得られ得る。更にまた、ダイナミック・レンジは、オーバーフロー・キャパシティをピクセルに、そのピクセルの前側での上重ねで追加することにより更に拡大され得る(この実装形態は、裏面薄化を要する)。好ましくは、ピクセル設計は、アンチ・ブルーミング機構を実装する。
図6は、高ダイナミック・レンジを伴うピクセルの有利な実現形態の概略的な例解を提示する。この図での実例は、フローティング・ディフュージョンに接続される、2つの貯蔵ゲート7、8を使う。露出の後、シーン及びレーザ・パルスにより生成される電子が、転送ゲート11を使用して、フローティング・ディフュージョン上に転送される。Vgate1及びVgate2の両方のゲート電圧が、ハイにセットされる。電荷は、次いで、両方のコンデンサにわたって散らされ、有意なフル・ウェルを現実化する。このハイのフル・ウェル・データが、増幅器への接続を介して読み出されると、電圧Vgate2はローにセットされる。電子は、コンデンサ7に向けて再び流れ、総合的なピクセル・ゲインを増大する。データは、増幅器によって読み出され得る。追ってロー電圧をVgate1上に印加することにより、いっそう高いゲインを達成することがさらに可能である。電子は、フローティング・ディフュージョン2に向けて再び流れる。
図7は、CMOS技術で使用されることになる、考案されるピクセルの可能なデュアル・ウェル又はデュアル・ビン実現形態を表す。突き当たり信号は、2つの電荷貯蔵域にわたって分散される。各々のリザーバは、レーザ源のパルスと同期させられる外部パルスにより制御される別々の転送ゲートを有する。
図6及び図7の設計で示される電荷貯蔵要素は、本発明の実施例での電荷貯蔵域のカスケードを得るために複製され得る。
図8〜10は、本発明の実施例で使用され得るカメラを例解するものであり、それらの実施例では、光放射源が単色光を放出し、少なくとも1つの検出器が、対応する狭いバンドパス・フィルタと、前記狭いバンドパス・フィルタ上への入射の角度を修正して、入射の前記角度を前記狭いバンドパス・フィルタの主たる表面の法線の周りのあらかじめ決定されたレンジに限定するように配置構成される光学機器とを備え付けられ、前記光学機器は、像空間テレセントリック・レンズを備える。用語「カメラ」は、本明細書では、センサと、関連付けられる光学機器(レンズ、レンズ・アレイ、フィルタ)との組み合わせとして使用される。特に、図9では、光学機器は、像空間テレセントリック・レンズと、少なくとも1つの検出器との間に配置構成されるミニレンズ・アレイをさらに備え、そのことによって、ミニレンズ・アレイの個々のミニレンズは、入射光を、少なくとも1つの検出器の個々のピクセルの、それぞれの光センシティブ区域上に集束させる。下方に在るセンサの曲線因子に起因する損失が、すべての入射光をピクセルの光センシティブの一部分に光学的に導くことにより低減され得るということが、このピクセルあたり1つのミニレンズの配置構成の利点である。
これらの実例は、すべて、フィルタ媒体を通って実質的に等しい長さを進行する放射を結果的に生じさせるものであり、又は、そのことにおいて換言すれば、入射放射は、フィルタ表面に実質的に直交し、すなわち、その入射放射は、フィルタ表面の法線の周りのあらかじめ決定されたレンジの中の入射の角度に限定され、かくして、そのことは、スポットが昼光を凌ぐように、狭い帯域幅の中の正確なフィルタリングにおいて、例えば、昼光、日光をフィルタリングすることを可能とする。
入射の角度の補正は、本発明の実施例で特に重要なものであり、それらの実施例では、車両の周りの空間全体が、制限される数のセンサ、用例として8つのセンサによって監視されることになり、そのことによって、入射光線は、例えば1×1radの立体角にわたって拡張し得る。図8は、このタイプの第1の光学配置構成を概略的に例解する。その光学配置構成は、像空間テレセントリック構成での、近似的に同じ焦点距離fを伴う、第1のレンズ1030と、第2のレンズ1040とを備える。そのことは、すべての主光線(開口絞りの中心を通過する光線)が像平面の法線方向であるということを意味する。0.16の例示的な開口数は、9.3°の円錐角(半分の円錐角)に対応する。レンズ・システム1030〜1040とセンサ102との間に配置構成される狭いバンドパス・フィルタ1060上の最大入射角度は、かくして9.3°であることになる。
図9で例解されるように、好まれる設計は、像空間テレセントリック構成(構成は、任意選択で、さらには、物体空間テレセントリックである)での、近似的に同じ焦点距離fを伴う、2つのレンズ1130、1140のタンデムと、ミニレンズ・アレイ1150の平面状積層体と、スペクトル・フィルタ1160と、CMOS検出器102とからなる。第1のレンズ1130の中心Oは、第2のレンズ1140のフォーカスにあるので、Oを横切るあらゆる光線は、第2のレンズ1140により、光学軸に平行な方向に屈折させられることになる。今から、第1のレンズ1130の焦点距離と比較して非常に大きい距離に場所決めされる個別のレーザ・スポットS 1110を検討する。かくして、第1のレンズ1130によるこのスポット1110の像は、このレンズの焦点面の近傍に、かくして、厳密には、第2のレンズ1140の中央平面内に場所決めされる点Pである。スポットS 1110から放出され、第1のレンズ1130により捕捉される光の光線は、第2のレンズ1140内の点Pに向けて収束する光円錐を形成する。この光円錐の中心軸は、点Oを横切り、光学軸に平行に、及びかくして、最適なスペクトル感度を達成するように、スペクトル・フィルタ1160に垂直に屈折させられる。ゆえに、第2のレンズ1140は、入射光ビームの角度に対する補正するレンズとして働く。円錐の他の光線は、さらには、第2のレンズ1140の背後の小さい凸面ミニレンズ1150を使用することを、点Pがミニレンズ1150の焦点に場所決めされるような手立てで行うことにより、光学軸に平行な光線のバンドルに曲げられ得る。この手立てで、スポットS 1110のすべてのイメージング光線は、スペクトル・フィルタにほとんど垂直な方向に曲げられる。このことは、そこで、CMOS検出器のあらゆるピクセルの前部で別々に、あらゆるピクセルの前部に布置されるミニレンズのアレイを使用することにより行われ得る。この構成では、ミニレンズは、像テレセントリック機能を有する。主たる利点は、第1のレンズ1030の瞳が拡大されること、又は、開口部が不要にされることが、ミニレンズ1150での局所補正光学機器により、球面収差の増大に対して補整しながら行われ得るということである。この手立てで、センサ組立体の感度が改善され得る。第2のミニレンズ・アレイ(図11では示されない)が、曲線因子を最大化するように、平行な光線をピクセルのフォトダイオードに戻るように集束させるために、スペクトル・フィルタ1160とCMOSピクセル102との間に追加され得る。
第1及び第2のレンズ1130、1140については、市販で入手可能なレンズが使用され得る。当業者は、同等の品質の、典型的には他のスマート・フォン・カメラ又はウェブカメラで使用されるレンズが、さらには使用され得るということを察知するであろう。前に述べられたiSightカメラは、8メガピクセルを伴う6×3mmCMOSセンサ、1.5μmピクセル・サイズ、f/2.2の非常に大きい開口部、約f=7mmの対物焦点距離、及び、瞳直径約3.2mmを有する。視角は、1rad×1radのオーダのものである。カメラの分解能がおおよそピクセル・サイズ(1.5ミクロン)であるということを想定するならば、レンズの収差は、開口部により選択される視角のすべての光線に対して補正されるということを(アッベの法則から)結論付けることができる。
図10は、単一のリソグラフィ・プロセスで製造するために最適化される、図11の配置構成の変形形態を例解する。第1のレンズ1230は、先の実施例の第1のレンズ1130と同様であるが、角度補正する第2のレンズ1140は、同じ焦点距離fを伴うフレネル・レンズ1240により、及び、ミニレンズ・アレイ1150は、フレネル・レンズ・アレイ1250により置換される。利点は、それらのフレネル・レンズ1240及びフレネル・レンズ・アレイ1250が、全く平坦であり、ナノ・エレクトロニクス技術により(離散位相ゾーンを伴って)生み出され得るということである。第2のミニレンズ・アレイ1270が、曲線因子を最大化するように、平行な光線をピクセルのフォトダイオードに戻るように集束させるために、スペクトル・フィルタ1260とCMOSピクセル102との間に追加され得る。かくして、カメラは、本質的には、iSightのような標準的なカメラであるが、そのカメラでは、CMOSセンサは、特別に設計された多層センサにより置換され、その多層センサでは、すべての構成要素が、同じリソグラフィ・プロセスの中で、1つの統合されたブロックで生み出される。この多層センサは、大量生産において安価であり、コンパクトであり、健全であり、その多層センサは、位置合わせされることを必要としない。これらの5つの層1240、1250、1260、1270、102の各々は、それ自体の、本発明により課される要件を満たすための機能を有する。
直径dのレンズにより生成される円錐の最小限の角度は、λを光の波長として、λ/dのオーダのものであるので、最小限の円錐角は、ミニレンズ直径d=8.5μm及びλ=850nmに対して1/10ラジアンである。良好な品質のスペクトル干渉フィルタを伴うと、このことは、約3nmのスペクトル・ウィンドウに対応する。
図8〜10の配置構成では、光学機器の特性は、非平面状の焦点面を結果的に生じさせることになる。この効果を補整するために、検出器のピクチャ要素は、光学機器の焦点面をなぞる湾曲を有する基板上に配置構成され得る。結果として、反射させられる、及びフィルタリングされるスポットは、どこでそれらのスポットが検出器に達するかに関係なく、合焦していることになる。検出器の基板の所望される湾曲は、フレックス・チップ技術を使用することにより、又は、異なって向きを設定されるタイルを組み合わせることにより基板を成り立たせることにより得られ得る。この解決策は、図11で概略的に例解され、その図11は、狭いバンドパス・フィルタ1360が後に続く、テレセントリック光学機器1330と、湾曲させられたピクセル層102とを示し、そのピクセル層102の湾曲は、テレセントリック光学機器1330の焦点面の形状をなぞるように適応させられる。
異なる経路をたどる光の光線が、すべて、同じ(垂直の)角度のもとで狭いバンドパス・フィルタを通過するということを確実にするような手立てで、光学機器を配置構成することが可能でない(又は、望ましくない)とき、入射の異なる角度によって異なるフィルタ特性を有することの問題は、源で解決され得る。特に、VCSELアレイは、異なるスポットが、異なるそれぞれの波長を有するように構成され得る。この構成は、タイリングされたレーザ・アレイを使用することにより、又は、VCSELアレイ内の個々のVCSELの波長を変調するための手段を設けることにより得られ得る。この解決策は、図12で概略的に例解され、その図12は、光学機器1430の前に配置構成される狭いバンドパス・フィルタ1460と、センサ・アレイ102とを示す。明確性の目的で、及び、一般性を失うことなく、異なるそれぞれの波長(λ、λ)を伴う、入射の2つの異なる角度が、図上で指示されている。光源の異なる波長(λ、λ)は、入射のそれらの波長のそれぞれの角度のもとでの、狭いバンドパス・フィルタの通過帯域の最大に対応するように選定される。
図13は、ドーム1510(例えば、曲げられたガラス板)を備える代替的光学配置構成を例解し、狭いバンドパス・フィルタ1520が、そのドーム1510の内側(例解されるように)、又は外側(例解されない)に面して配設される。フィルタ1520をドーム1510の内側に面して配設することの利点は、ドーム1510が、フィルタ1520を外側の力から保護するということである。ドーム1510及びフィルタ1520は、光学的に協働して、入射光が、実質的にドームの表面の法線方向である方向に沿ってフィルタ1520を通過するということを確実にする。魚眼光学機器1530が、ドーム−フィルタ組立体と、CMOS、又はCCDセンサ、又はSPADアレイであり得るセンサ102との間に設けられる。魚眼光学機器1530は、ドーム−フィルタ組立体を通過した光を、センサのセンシティブ区域に向けて導くように配置構成される。
任意選択で、さらなる魚眼光学機器が、プロジェクタで設けられる。特定の実施例では、複数のVCSELは、レーザ・ビームの出口角度が、高さにおいてm×1rad、及び、幅においてn×1radの空間的角度にわたって現実化され得る、1×n又はm×n構成で搭載される。
本発明のいくつかの実施例では、スポットの強度は、検出器で、段階的又は可変減衰フィルタを適用することにより、フル深度レンジにわたって実質的に一定に保たれ得る。代替的に、又は加えて、さらには、非対称レンズ瞳が、検出器のより近傍のスポットの強度を弱めるために設けられ得るものであり、一方で、検出器からより遠く離れたスポットの強度は、フル強度で受け取られる。この手立てで、検出器のクリッピングが回避され、平均強度が、すべてのスポットに対して実質的に同じにされ得る。
いくつかの実施例では、放射源は、レーザ・オン時間が、異なるゾーンに対して制御される、異なるゾーンに分けられ得るVCSELであり得る。スポットの画像は、かくして、一定の強度、例えば、A/Dレンジの2/3を有するように制御され得る。代替的に、駆動電圧は、やはり一定の強度を得るために、高さの関数として、スポットのアレイにわたって駆動され得る。そのような制御することは、飽和回避サーボイング(servoing)ループと呼称され得る。アレイの中の異なるVCSELは、パターンでの個々のVCSELの強度を、投射される間に同時に変動させて、強度に対して個々に制御され得る。
本発明のいくつかの他の実施例では、マイクロ・プリズム・マトリクスが、狭い帯域幅フィルタの前部で使用され得るものであり、そのことによって、放射は、フィルタ上に、+9°から−9°の間の入射の角度の中で入射する。このことは、狭い帯域幅フィルタリングを得ることを可能とする。プリズム・マトリクスは、例えば、プラスチック成形により作製され得る。
本発明の実施例では、例えば、アクティブ・サスペンション車両用途が考案される場合、スポット・パターンの投射は、有利には、下向きに、すなわち、道路に向けて方向設定される。
本発明によるシステムは、専用ハードウェア(例えば、ASIC)、構成可能ハードウェア(例えば、FPGA)、プログラマブル構成要素(例えば、適切なソフトウェアを伴うDSP又は汎用プロセッサ)、又は、これらの任意の組み合わせにおける、上記で説明された方法のステップの実装形態を含み得る。同じ構成要素は、他の機能も含み得る。本発明は、上記で説明された方法のステップを実装するコード手段を含むコンピュータ・プログラム製品にも関し、この製品は、光学、磁気、又はソリッド・ステート担体等のコンピュータ可読媒体上で提供され得る。
本発明は、上記で説明されたシステムを備える車両にも関する。
本発明の実施例は、有利には、制限なしに、自動車用途、工業用途、ゲーミング用途、及び同類のものを含む、多種多様の用途で使用され得るものであり、このことは、屋内及び屋外の両方で、短又は長レンジでのものである。いくつかの用途では、本発明の実施例による異なるセンサが、好ましくは全円(360°視界)にわたるパノラマのカバレッジを生み出すために、組み合わされる(例えば、デイジー・チェーン接続される)ことがある。
本発明は、別々のシステム及び方法実施例を参照して、上記で説明されたが、これは、明確化する目的でのみ行われたものである。当業者は、システム又は方法に関連して説明された特徴が単体で、同じ技術的効果及び利点を伴って、方法又はシステムにそれぞれ適用されることも可能であることを認識するであろう。更に、本発明の範囲は、これらの実施例に制限されず、添付の特許請求の範囲により定義される。

Claims (11)

  1. 物体までの距離を決定するためのシステム(200)であって、
    − パルスのシーケンスで前記物体に向けてレーザ光の離散スポットのパターンを投射するために配置構成されるソリッド・ステート光源(210)と、
    − 複数のピクチャ要素を備える検出器(220)であって、パルスの前記シーケンスと同期して、前記物体により反射させられるような離散スポットの前記パターンを表す光を検出するように構成される、検出器(220)と、
    − 前記パルスのシーケンスにレンジ・ゲーティングを適用することによって、パルス放出ウィンドウと反射されるパルスの到着との間の時間的重なりの量に基づいて、前記検出される光に応答して前記ピクチャ要素により生成される露出値の関数として、前記物体までの前記距離を算出するように構成される処理手段(240)と
    を備え、
    前記ピクチャ要素(220)は、前記シーケンスの前記パルスのすべてに対して、パルス放出時間ウィンドウと重なる第1のあらかじめ決定された時間ウィンドウ(10)の間の、前記物体により反射させられる光の第1の量を表すものである第1の量の電荷と、第2のあらかじめ決定された時間ウィンドウ(20)の間の、前記物体により反射させられる光の第2の量を表すものである第2の電荷とを蓄積することにより、前記露出値を生成するように構成され、前記第2のあらかじめ決定された時間ウィンドウ(20)は、前記第1のあらかじめ決定された時間ウィンドウ(10)の後に生起し、
    前記システムは、パルスの、少なくとも2つの連続したシーケンスに対して、前記投射及び、前記検出を実行するように構成され、前記シーケンスの各々は、別のシーケンスに対する前記第1のあらかじめ決定された時間ウィンドウの持続時間及び前記第2のあらかじめ決定された時間ウィンドウの持続時間とはそれぞれ異なる、前記第1のあらかじめ決定された時間ウィンドウの持続時間及び前記第2のあらかじめ決定された時間ウィンドウの持続時間で動作させられる、システム(200)。
  2. 前記複数のピクチャ要素の各々は、電荷貯蔵ウェルの少なくとも2つのセットを備え、光の前記第1の量の前記検出及び光の前記第2の量の前記検出は、電荷貯蔵ウェルの前記少なくとも2つのセットのうちのそれぞれのもので行われ、
    電荷貯蔵ウェルの前記セットの各々は、カスケードとして構成される、請求項1に記載のシステム。
  3. 電荷貯蔵ウェルの前記セットの各々は、直列に配置構成されるカスケードとして構成される、請求項2に記載のシステム。
  4. 電荷貯蔵ウェルの前記セットの各々は、並列に配置構成されるカスケードとして構成される、請求項2に記載のシステム。
  5. パルスの、前記少なくとも2つの連続したシーケンスの各々に対して、前記第1のあらかじめ決定された時間ウィンドウの持続時間は、前記第2のあらかじめ決定された時間ウィンドウの持続時間と実質的に等し前記第2のあらかじめ決定された時間ウィンドウは、前記第1のあらかじめ決定された時間ウィンドウの後に続け様に生起し、光の前記第1の量を検出するように構成される前記ピクチャ要素の総合的な貯蔵キャパシティは、光の前記第2の量を検出するように構成される前記ピクチャ要素の総合的な貯蔵キャパシティより大きい、請求項1から4までのいずれか一項に記載のシステム。
  6. 車両であって、前記車両を包囲する区域の少なくとも一部を動作可能にカバーするように配置構成される、請求項1から5までのいずれか一項に記載のシステム(100)を備える、車両。
  7. 請求項1から5までのいずれか一項に記載のシステム(100)を備えるカメラであって、前記システム(100)は、前記システムから得られる情報に基づいて、前記カメラの画像に3D情報を追加して、3D画像を創出することを可能にするように適合される、カメラ。
  8. 物体までの距離を決定するための方法であって、
    − ソリッド・ステート光源(210)を使用して、パルスのシーケンスで前記物体に向けてレーザ光のスポットのパターンを投射するステップ(110)と、
    − 複数のピクチャ要素を備える検出器(220)を使用して、パルスの前記シーケンスと同期して、前記物体により反射させられるようなスポットの前記パターンを表す光を検出するステップ(120;130)と、
    − 前記パルスのシーケンスにレンジ・ゲーティングを適用することによって、パルス放出ウィンドウと反射されるパルスの到着との間の時間的重なりの量に基づいて、前記検出される光に応答して前記ピクチャ要素により生成される露出値の関数として、前記物体までの前記距離を算出するステップ(140)と
    を含み、
    前記ピクチャ要素(220)は、前記シーケンスの各々のパルスに対して、パルス放出時間ウィンドウと重なる第1のあらかじめ決定された時間ウィンドウ(10)の間の、前記物体により反射させられる光の第1の量を表すものである第1の量の電荷と、第2のあらかじめ決定された時間ウィンドウ(20)の間の、前記物体により反射させられる光の第2の量を表すものである第2の量の電荷とを蓄積することにより、前記露出値を生成し、前記第2のあらかじめ決定された時間ウィンドウ(20)は、前記第1のあらかじめ決定された時間ウィンドウ(10)の後に生起し、
    前記投射するステップ(110)、及び、前記検出するステップ(120;130)は、パルスの、少なくとも2つの連続したシーケンスに対して繰り返され、前記シーケンスの各々は、別のシーケンスに対する前記第1のあらかじめ決定された時間ウィンドウの持続時間及び前記第2のあらかじめ決定された時間ウィンドウの持続時間とはそれぞれ異なる、前記第1のあらかじめ決定された時間ウィンドウの持続時間及び前記第2のあらかじめ決定された時間ウィンドウの持続時間で動作させられる、方法。
  9. パルスの、前記少なくとも2つの連続したシーケンスの各々に対して、前記第1のあらかじめ決定された時間ウィンドウの持続時間は、前記第2のあらかじめ決定された時間ウィンドウの持続時間と実質的に等し前記第2のあらかじめ決定された時間ウィンドウは、前記第1のあらかじめ決定された時間ウィンドウの後に続け様に生起する、請求項8に記載の方法。
  10. 前記複数のピクチャ要素の各々は、少なくとも2つの電荷貯蔵ウェルを備え、光の前記第1の量の前記検出するステップ、及び、光の前記第2の量の前記検出するステップは、前記少なくとも2つの電荷貯蔵ウェルのうちのそれぞれのもので行われる、請求項8又は9に記載の方法。
  11. プロセッサが請求項8から10までのいずれか一項に記載の方法を遂行することを引き起こすように構成されるコード手段を含むコンピュータ・プログラム製品。
JP2019538732A 2016-10-03 2017-10-03 物体までの距離を決定するためのシステム及び方法 Active JP6977045B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16192103.6 2016-10-03
EP16192103.6A EP3301480A1 (en) 2016-10-03 2016-10-03 System and method for determining a distance to an object
PCT/EP2017/075096 WO2018065429A1 (en) 2016-10-03 2017-10-03 System and method for determining a distance to an object

Publications (2)

Publication Number Publication Date
JP2019529958A JP2019529958A (ja) 2019-10-17
JP6977045B2 true JP6977045B2 (ja) 2021-12-08

Family

ID=57047094

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019538732A Active JP6977045B2 (ja) 2016-10-03 2017-10-03 物体までの距離を決定するためのシステム及び方法

Country Status (6)

Country Link
US (1) US11513199B2 (ja)
EP (2) EP3301480A1 (ja)
JP (1) JP6977045B2 (ja)
KR (1) KR102494430B1 (ja)
CN (1) CN109791207B (ja)
WO (1) WO2018065429A1 (ja)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9992477B2 (en) 2015-09-24 2018-06-05 Ouster, Inc. Optical system for collecting distance information within a field
EP3504026B1 (en) 2016-08-24 2023-04-26 Ouster, Inc. Optical system for collecting distance information within a field
EP3392674A1 (en) * 2017-04-23 2018-10-24 Xenomatix NV A pixel structure
CN110914652B (zh) 2017-05-15 2024-05-24 奥斯特公司 亮度增强的光学成像发射机
CA3068943A1 (en) 2017-07-05 2019-01-10 Ouster, Inc. Light ranging device with electronically scanned emitter array and synchronized sensor array
US10760957B2 (en) 2018-08-09 2020-09-01 Ouster, Inc. Bulk optics for a scanning array
US10739189B2 (en) 2018-08-09 2020-08-11 Ouster, Inc. Multispectral ranging/imaging sensor arrays and systems
US20210349193A1 (en) * 2018-10-08 2021-11-11 Sony Semiconductor Solutions Corporation Time of flight apparatus and method
US11585906B2 (en) 2018-12-26 2023-02-21 Ouster, Inc. Solid-state electronic scanning laser array with high-side and low-side switches for increased channels
JP7234171B2 (ja) * 2019-04-25 2023-03-07 キヤノン株式会社 撮像装置及びその制御方法
US12153133B2 (en) 2019-04-26 2024-11-26 Ouster, Inc. Independent per-pixel integration registers for LIDAR measurements
US11671691B2 (en) * 2019-06-20 2023-06-06 Cilag Gmbh International Image rotation in an endoscopic laser mapping imaging system
US11134832B2 (en) 2019-06-20 2021-10-05 Cilag Gmbh International Image rotation in an endoscopic hyperspectral, fluorescence, and laser mapping imaging system
US11147436B2 (en) 2019-06-20 2021-10-19 Cilag Gmbh International Image rotation in an endoscopic fluorescence imaging system
WO2021038371A1 (en) * 2019-08-29 2021-03-04 National Research Council Of Canada Lidar system and method for determining distances of targets
CN110940396B (zh) * 2019-11-02 2020-12-18 复旦大学 一种推进剂液位高精度激光测量装置
KR20220117249A (ko) * 2019-12-26 2022-08-23 하마마츠 포토닉스 가부시키가이샤 측거 장치, 및 측거 센서의 구동 방법
JP2021131285A (ja) * 2020-02-19 2021-09-09 ソニーセミコンダクタソリューションズ株式会社 センサ装置、測距装置、センシング方法
CN115280767B (zh) * 2020-03-23 2025-01-07 株式会社理光 信息处理装置和信息处理方法
CN111366941B (zh) * 2020-04-20 2025-01-28 奥比中光科技集团股份有限公司 一种tof深度测量装置及方法
WO2022001645A1 (zh) * 2020-06-28 2022-01-06 宁波飞芯电子科技有限公司 一种图像传感器及使用其的探测系统
US20220043124A1 (en) * 2020-08-07 2022-02-10 Uatc, Llc Light Detection and Ranging (LIDAR) System Having Transmit Optics for Pre-Collimation Steering
CN114270214B (zh) * 2020-10-29 2025-02-28 深圳市汇顶科技股份有限公司 飞行时间量测电路及其控制方法及电子装置
CN112346071A (zh) * 2020-10-30 2021-02-09 宁波飞芯电子科技有限公司 一种距离传感器的测距方法
CN114270208B (zh) * 2020-11-13 2025-04-01 深圳市汇顶科技股份有限公司 飞行时间量测电路及相关系统、电子装置及方法
CN116745646A (zh) 2021-01-27 2023-09-12 索尼半导体解决方案公司 根据飞行时间测量和光斑图案测量的三维图像捕获
CN113009455B (zh) * 2021-04-14 2022-06-03 吉林大学 一种提高脉冲激光测距精度的方法与系统
JP2023177545A (ja) * 2022-06-02 2023-12-14 Toppanホールディングス株式会社 距離画像撮像装置、及び距離画像撮像方法
EP4390446A1 (en) * 2022-12-21 2024-06-26 Hexagon Technology Center GmbH Wide-angle range imaging module and reality capture device comprising a wide-angle range imaging module
CN116600208A (zh) * 2023-05-11 2023-08-15 深圳市灵明光子科技有限公司 基于dTOF环境光强度检测的影像增强方法及相关装置

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
JP3832441B2 (ja) 2002-04-08 2006-10-11 松下電工株式会社 強度変調光を用いた空間情報の検出装置
US6906302B2 (en) 2002-07-30 2005-06-14 Freescale Semiconductor, Inc. Photodetector circuit device and method thereof
US6888122B2 (en) 2002-08-29 2005-05-03 Micron Technology, Inc. High dynamic range cascaded integration pixel cell and method of operation
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
JP4280822B2 (ja) 2004-02-18 2009-06-17 国立大学法人静岡大学 光飛行時間型距離センサ
GB0405014D0 (en) 2004-03-05 2004-04-07 Qinetiq Ltd Movement control system
IL181030A (en) 2006-01-29 2012-04-30 Rafael Advanced Defense Sys Multiple Optical Radar Space Time
US7544945B2 (en) 2006-02-06 2009-06-09 Avago Technologies General Ip (Singapore) Pte. Ltd. Vertical cavity surface emitting laser (VCSEL) array laser scanner
JP5204963B2 (ja) * 2006-10-12 2013-06-05 スタンレー電気株式会社 固体撮像素子
JP5171158B2 (ja) * 2007-08-22 2013-03-27 浜松ホトニクス株式会社 固体撮像装置及び距離画像測定装置
JP5356726B2 (ja) 2008-05-15 2013-12-04 浜松ホトニクス株式会社 距離センサ及び距離画像センサ
JP5585903B2 (ja) * 2008-07-30 2014-09-10 国立大学法人静岡大学 距離画像センサ、及び撮像信号を飛行時間法により生成する方法
US8995485B2 (en) 2009-02-17 2015-03-31 Trilumina Corp. High brightness pulsed VCSEL sources
JP5760167B2 (ja) * 2009-07-17 2015-08-05 パナソニックIpマネジメント株式会社 空間情報検出装置
DE102009037596B4 (de) * 2009-08-14 2014-07-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Pixelstruktur, System und Verfahren zur optischen Abstandsmessung sowie Steuerschaltung für die Pixelstruktur
JP5211007B2 (ja) 2009-10-07 2013-06-12 本田技研工業株式会社 光電変換素子、受光装置、受光システム及び測距装置
JP2011128024A (ja) * 2009-12-17 2011-06-30 Sharp Corp 3次元撮像装置
US8736818B2 (en) 2010-08-16 2014-05-27 Ball Aerospace & Technologies Corp. Electronically steered flash LIDAR
JP2012159330A (ja) * 2011-01-31 2012-08-23 Sanyo Electric Co Ltd レーザレーダ
US9329035B2 (en) * 2011-12-12 2016-05-03 Heptagon Micro Optics Pte. Ltd. Method to compensate for errors in time-of-flight range cameras caused by multiple reflections
JP6246131B2 (ja) * 2012-01-10 2017-12-13 ソフトキネティック センサーズ エヌブイ タイムオブフライト信号の処理における又はこれに関する改良
US8686367B2 (en) 2012-03-01 2014-04-01 Omnivision Technologies, Inc. Circuit configuration and method for time of flight sensor
JP2013195344A (ja) * 2012-03-22 2013-09-30 Toshiba Corp 飛行時間型距離センサ
US9723233B2 (en) * 2012-04-18 2017-08-01 Brightway Vision Ltd. Controllable gated sensor
KR102008233B1 (ko) * 2012-06-29 2019-08-07 삼성전자주식회사 거리 측정 장치 및 상기 거리 측정 장치를 이용한 거리 측정 방법
JP6384762B2 (ja) 2013-01-31 2018-09-05 パナソニックIpマネジメント株式会社 測距方法および測距システム
JP6145826B2 (ja) 2013-02-07 2017-06-14 パナソニックIpマネジメント株式会社 撮像装置及びその駆動方法
US8908063B2 (en) 2013-03-11 2014-12-09 Texas Instruments Incorporated Method and apparatus for a time-of-flight sensor with charge storage
JP6265346B2 (ja) * 2013-05-10 2018-01-24 国立大学法人静岡大学 距離計測装置
US10497737B2 (en) 2013-05-30 2019-12-03 Caeleste Cvba Enhanced dynamic range imaging
JP6387407B2 (ja) 2013-07-09 2018-09-05 ゼノマティクス・ナムローゼ・フエンノートシャップXenomatix Nv 周辺検知システム
US20150260830A1 (en) 2013-07-12 2015-09-17 Princeton Optronics Inc. 2-D Planar VCSEL Source for 3-D Imaging
US9182490B2 (en) 2013-11-27 2015-11-10 Semiconductor Components Industries, Llc Video and 3D time-of-flight image sensors
US9874638B2 (en) 2014-03-06 2018-01-23 University Of Waikato Time of flight camera system which resolves direct and multi-path radiation components
GB201407267D0 (en) 2014-04-24 2014-06-11 Cathx Res Ltd Underwater surveys
US9753140B2 (en) 2014-05-05 2017-09-05 Raytheon Company Methods and apparatus for imaging in scattering environments
CN106461378B (zh) 2014-08-08 2019-10-25 塞姆布有限公司 具有用于非接触式测量的扫描系统的车辆装备
US10677923B2 (en) 2014-11-12 2020-06-09 Ams Sensors Singapore Pte. Ltd. Optoelectronic modules for distance measurements and/or multi-dimensional imaging
DE102014117097B3 (de) * 2014-11-21 2016-01-21 Odos Imaging Ltd. Abstandsmessvorrichtung und Verfahren zum Bestimmen eines Abstands
EP3064898B1 (de) * 2015-03-04 2019-12-18 Leica Geosystems AG Vermessungsgerät mit Feinanzielungs- bzw. Zielverfolgungsfunktionalität
JP6478725B2 (ja) 2015-03-09 2019-03-06 キヤノン株式会社 計測装置及びロボット
JP6531326B2 (ja) 2015-03-10 2019-06-19 アルプスアルパイン株式会社 光学式検知装置
US20160295133A1 (en) 2015-04-06 2016-10-06 Heptagon Micro Optics Pte. Ltd. Cameras having a rgb-ir channel
CN107615093B (zh) 2015-05-28 2021-07-06 新唐科技日本株式会社 测距摄像装置、其测距方法以及固体摄像装置
JP6406449B2 (ja) 2015-06-24 2018-10-17 株式会社村田製作所 距離センサ
JP6413960B2 (ja) * 2015-07-08 2018-10-31 株式会社デンソー 距離測定装置
EP3159711A1 (en) 2015-10-23 2017-04-26 Xenomatix NV System and method for determining a distance to an object
CN108369275A (zh) 2015-11-16 2018-08-03 松下知识产权经营株式会社 摄像装置、以及在其中使用的固体摄像元件
US10234561B2 (en) * 2016-05-09 2019-03-19 Microsoft Technology Licensing, Llc Specular reflection removal in time-of-flight camera apparatus

Also Published As

Publication number Publication date
KR20190055238A (ko) 2019-05-22
CN109791207A (zh) 2019-05-21
US11513199B2 (en) 2022-11-29
JP2019529958A (ja) 2019-10-17
EP3519860B1 (en) 2020-09-09
EP3301480A1 (en) 2018-04-04
US20200033478A1 (en) 2020-01-30
KR102494430B1 (ko) 2023-02-01
WO2018065429A1 (en) 2018-04-12
CN109791207B (zh) 2023-03-31
EP3519860A1 (en) 2019-08-07

Similar Documents

Publication Publication Date Title
JP6977045B2 (ja) 物体までの距離を決定するためのシステム及び方法
JP7028878B2 (ja) 物体までの距離を測定するためのシステム
JP6938472B2 (ja) 物体までの距離を測定するためのシステムおよび方法
JP7253556B2 (ja) 物体までの距離を測定するためのシステムおよび方法
EP3519855B1 (en) System for determining a distance to an object
JP7249953B2 (ja) ピクセル構造
JP2018531374A6 (ja) 物体までの距離を測定するためのシステムおよび方法
EP3550329A1 (en) System and method for determining a distance to an object

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190531

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200827

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210517

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210602

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210902

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210908

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211020

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211110

R150 Certificate of patent or registration of utility model

Ref document number: 6977045

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250