JP6938472B2 - 物体までの距離を測定するためのシステムおよび方法 - Google Patents

物体までの距離を測定するためのシステムおよび方法 Download PDF

Info

Publication number
JP6938472B2
JP6938472B2 JP2018514329A JP2018514329A JP6938472B2 JP 6938472 B2 JP6938472 B2 JP 6938472B2 JP 2018514329 A JP2018514329 A JP 2018514329A JP 2018514329 A JP2018514329 A JP 2018514329A JP 6938472 B2 JP6938472 B2 JP 6938472B2
Authority
JP
Japan
Prior art keywords
light
time window
amount
predetermined time
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018514329A
Other languages
English (en)
Other versions
JP2018531374A (ja
JP2018531374A6 (ja
Inventor
バン・ダイク,ディルク
バン・デン・ボッシュ,ヨハン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xenomatix NV
Original Assignee
Xenomatix NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xenomatix NV filed Critical Xenomatix NV
Publication of JP2018531374A publication Critical patent/JP2018531374A/ja
Publication of JP2018531374A6 publication Critical patent/JP2018531374A6/ja
Application granted granted Critical
Publication of JP6938472B2 publication Critical patent/JP6938472B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894Three-dimensional [3D] imaging with simultaneous measurement of time-of-flight at a two-dimensional [2D] array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/18Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein range gates are used
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4814Constructional features, e.g. arrangements of optical elements of transmitters alone
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4816Constructional features, e.g. arrangements of optical elements of receivers alone
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Description

発明の分野
本発明は、物体までの距離を測定するためのシステムの分野に関し、特に、光景またはその一部の特徴付けに用いられる飛行時間ベースの検知システムに関する。
背景
遠隔検知技術の分野、主に、多くの制御用途およびナビゲーション用途(限定はされないが、例えば自動車環境および工業環境、ゲーム用途、および地図用途など)で用いられる高分解能の周辺地図の製作の用途において、飛行時間ベースの検知を用いて、センサからの物体の距離を測定することが知られている。飛行時間ベースの技術は、RF変調ソース、距離ゲート撮像装置、および直接飛行時間型(DToF:direct time-of-flight)撮像装置の使用を含む。RF変調ソースおよび距離ゲート撮像装置を用いるためには、対象の光景全体を、変調ソースまたはパルスソースで照射することが必要である。たいていのLIDARなどの直接飛行時間型システムは、パルスビームで関心領域を機械的にスキャンし、その反射をパルス検出器で検知する。
放出されたRF変調信号を検出された反射信号に相関させることを可能にするためには、放出された信号は多数の制約条件を満たさなければならない。実際にはこれらの制約条件により、RF変調システムは、車両用システムとして用いるには極めて非実用的であることが分かった。というのは、従来の安全性限界の範囲内かつ通常の車両のパワーバジェットの範囲内の信号強度の場合、達成可能な検出範囲が非常に限られる。
たいていのLIDARシステムに使用される直接飛行時間型(DToF)撮像装置は、強力なパルスレーザ(ナノ秒パルス方式で動作する)と、1次元の点の測定から3次元のマップを得るための機械的スキャンシステムと、パルス検出器とを含む。このタイプのシステムは、ベロダイン・ライダー(Velodyne Lidar)(カリフォルニア、モーガンヒル)を含む供給業者から現在入手可能である。最新式システムの一例としてのベロダインのHDL−64Eは、毎秒5回転〜15回転で機械的に回転する構造の64個の高出力レーザおよび64個の検出器(アバランシェダイオード)を使用する。これらのDToF LIDARシステムが必要とする光パワーは非常に高いため、パワーの範囲が5桁〜6桁低い半導体レーザでは得ることができない。さらに、スキャンするために機械的に回転する要素を使用することにより、このタイプのシステムの小型化、信頼性、およびコスト削減の可能性が制限される。
トリルミナ(Trilumina)名義である米国特許出願公開US2015/0063387号には、パルス幅が20ナノ秒であるパルスで合計50mWのエネルギを送出するVCSELが開示されている。市販されているOptek OPV310 VCSELは、継続時間が10ナノ秒であるパルスで合計60mWのエネルギを送出し、当該VCSELは、外挿により、100mWの最大光出力パワーを有するものと推定され得る。この値は非常に厳格な動作条件、すなわち、熱的問題による不安定さを回避するような最適なデューティサイクルおよび短いパルス幅という条件の下でのみ実現されるものである。トリルミナの開示およびOptekシステムがともに示しているのは、連続波VCSELシステムが、本来的にVCSEL設計に関連した熱的制約に起因する、光学的ピークパワー出力についての物理的限界に達するということである。これらのパルスエネルギレベルで、DToF用途で現在使用されるナノ秒パルスを用いると、120m離れた物体によって有用に反射されることが見込まれ得る光子の純粋な数は非常に少ないため、CMOSアレイ、またはCCDアレイ、またはSPADアレイなどの従来の半導体センサによる検出が無効になる。したがって、公知のDToFシステムの範囲を広げるために必要になるであろう5桁分または6桁分のVCSELパワー出力の増大は物理的に不可能である。
いくつかの反射された光子を取込むのに理論上は十分な感度のアバランシェダイオード(ADまたはSPAD)を使用したとしても、公知のLIDARシステムアーキテクチャでは有益に機能させることができない。SPADアレイの固体の実現例は、順次読出さなければならない。所望の精度を達成するためには、多数のSPADが必要とされる。固体の実現例は、順次読出しという制約によってシステムの帯域幅が制限されるため、所望の精度を得るには不適当である。ベロダインのシステムのような精度(距離にかかわらず0.02m〜0.04m)を得るために必要な読出しデータレートは、今日のIC実現例で実際的に達成可能な帯域幅を超えるものである。120mでの動作の場合、500画素×500画素のSPADアレイが必要とされ、ICベースの実現例では順次読出さなければならない。上述のベロダインのシステムと同じ精度を得るためには、1ミリ秒につき1000パルス、したがって1ミリ秒につき1000フレーム(毎秒250ギガピクセルの読出しレートに換算される)が必要であろう。これは、現在のSPAD IC技術の文脈では技術的に実施不可能であると考えられる。
ニール・イー・ニューマン(Neil E. Newman)らによる論文「短距離LIDARの使用における高ピークパワーのVCSEL(“High Peak Power VCSELs in Short Range LIDAR Applications”)」(Journal of Undergraduate Research in Physics,2013, http://www.jurp.org/2013/12017EXR.pdf)には、VCSELベースのLIDARの使用について記載されている。広視野LIDARを0.75mよりも大きな範囲で行なうには、記載されているプロトタイプシステムの最大出力パワーは不十分であったことが、上記論文に述べられている。著者らは、比較的集束したビーム(1mの距離で0.02mのスポットサイズ)を用いた場合に、最大1m離れた対象物体の距離を測定することができた。
公知のLIDARシステムの動作が自動車用途において実用に供されるために必要なパワー必要条件(例えば、最大120mの範囲)は、現在の半導体レーザによって放出された光パワーでは満たすことができないことを、上記の例は明らかに示している。
アバゴ・テクノロジーズ・ジェネラル・アイピー(シンガポール)プライベート・リミテッド(Avago Technologies General IP (Singapore) Pte. Ltd.)名義である米国特許第7,544,945号には、より小型であり、かつ費用効果の高いLIDAR機能を提供するための、複数のレーザを用いた車両ベースのLIDARシステムおよび方法が開示されている。レーザアレイにおける各レーザが順次アクティブにされることによって、レーザアレイに対応する搭載光学素子は、実質的に方向が異なるそれぞれの呼びかけビーム(interrogation beams)を生成することができる。これらのビームからの光が車両の周囲の物体によって反射され、検出されることによって、物体に関する情報が車両の運転者および/または乗客に提供される。当該特許は、公知のDToFのLIDARシステムにおける公知の機械的スキャンの代わりに、個々のレーザを連続的にアクティブにする固体プロジェクタを提供する。
飛行時間型検出を使用しない、車両用の高精度の中距離周囲検知システムが、本願出願人の名義である国際特許出願公開WO2015/004213A1から公知である。当該公報では、物体の位置測定は、パルス状照射線スポットを投射し、予め定められた基準スポット位置を参照して検出スポットの変位を分析することに基づいて行なわれる。より特定的には、当該引用公報のシステムは三角測量を用いる。しかしながら、達成可能な精度は三角測量のベースに相関するため、達成可能なさらなる小型化が制限される。
米国特許出願公開US2012/0038903A1には、光景の照射を順応的に制御するための方法およびシステムが開示されている。特定的には、光景が照射され、光景から反射された光が検出される。光景における異なるエリアに対応するマルチ画素検出器の異なる画素によって受信された光強度のレベルに関する情報、および/または、光景におけるエリアまでの距離に関する情報が受信される。当該情報は、光景における照射のレベルを制御するためのフィードバック信号として用いられる。より特定的には、光景の異なるエリアには、フィードバック信号に応答して異なる照射レベルが与えられる。
欧州特許出願公開EP2322953A1には、距離分解能を低下させることなく、距離測定範囲を拡大させることが可能な距離画像センサが開示されている。照射源が、時間軸上に順番に配置された第1〜第5のフレームの照射パルスとして、物体に照射される第1〜第5のパルス列を提供する。各フレームにおいて、撮像時間が、各フレームの開始点から予め定められた時間の点で規定されている。また、パルスは、第1のから第5のフレームの開始点から、それぞれ互いに異なるずれ量だけずれている。画素アレイは、5つのフレームの各々における撮像ウィンドウAおよびBを用いて、各々が互いに異なる距離範囲内の物体の距離情報を有する要素画像信号を生成する。処理ユニットは、要素画像信号を組合わせることによって画像信号を生成する。5つの飛行時間型測定が用いられるので、広い距離範囲にある物体の距離情報を得るために照射パルスの幅を増大させる必要がなく、距離分解能が低下しない。
欧州特許出願公開EP2290402A1には、距離画像センサが開示されている。この距離画像センサは、2次元配置された複数のユニットからなる撮像領域を有する半導体基板上に設けられているため、ユニットから出力された電荷量に基づいて距離画像を得ることができる。ユニットのうちの1つには、入射光に応答して電荷が発生する電荷発生領域(転送電極の外側の領域)と、電荷発生領域からの電荷を収集するための、空間的に隔てられて配置された少なくとも2つの半導体領域3と、各半導体領域3の周囲に取付けられ、位相の異なる電荷転送信号が与えられ、半導体領域3を取囲む転送電極5と、が設けられている。
川人祥二(Shoji Kawahito)らによる論文「ゲートオンフィールド酸化膜構造を用いたCMOS飛行時間法距離画像センサ(“A CMOS Time-of-Flight Range Image Sensor With Gates-on-Field-Oxide Structure”)」(IEEEセンサージャーナル(IEEE Sensors Journal)、vol.7、No.12、1578頁〜1586頁)には、光変換および電荷転送のための、フィールド酸化膜構造上の単層ゲートを用いたCMOS飛行時間型(TOS)距離画像センサの一種が開示されている。この構造は、標準CMOS処理で、15×15μm画素を有する高密度のTOF距離撮像アレイの実現を可能にする。高速の電荷転送のために必要なn型埋め込み層を作製するための追加の処理ステップのみが、製造工程に追加される。センサは、アクティブな照射光源からの赤外光パルスが反射して戻ることによって生じた光電荷の時間遅延依存変調に基づいて動作する。背景光の影響を減少させるために、小さなデューティサイクルの光パルスが用いられ、電荷排出構造が画素に含まれる。製造されたTOFセンサチップは、100ナノ秒のパルス幅で、毎秒3フレームで0.74cmの距離分解能を改良して、毎秒30フレームで2.35cmの距離分解能を測定する。
複雑な車両周囲検知の用途、例えば、ADAS(自動運転補助システム)の用途および自動運転の用途などにおいて、極度の小型化、および/または、より長い距離を実現することが継続して求められており、しかも手頃なコストで、かつ、小型の半導体集積フォームファクタで実現することが求められている。
発明の概要
本発明の実施形態の目的は、変位ベースの車両周囲検知システムの代わりに、さらに小型で長距離の代替手段を提供することである。さらに、本発明の実施形態の目的は、公知のLIDARシステムの代わりに完全固体の代替手段を提供することである。
本発明の一局面によれば、物体までの距離を測定するためのシステムが提供される。このシステムは、不連続のレーザ光のスポットのパターンを、パルスのシーケンスで物体に向けて投射するように配置された固体光源と、複数の画像素子を含み、上記パルスのシーケンスと同期して、物体によって反射された不連続のスポットのパターンを表わす光を検出するように構成された検出器と、上記検出された光に応答して上記画像素子によって生成された露出値に応じて、物体までの距離を算出するように構成された処理手段とを備える。画像素子は、上記シーケンスの各パルスについて、第1の予め定められた時間ウィンドウの期間中に上記物体によって反射された第1の光量を表わす第1の電荷量と、上記第1の予め定められた時間ウィンドウの後に起こる第2の予め定められた時間ウィンドウの期間中に上記物体によって反射された第2の光量を表わす第2の電荷量と、を蓄積することによって上記露出値を生成するように構成されている。
本発明は、直接飛行時間ベースの測距システムと同じ物理原理、すなわち、光が一定の距離だけ進むのにかかる時間は常に一定であるという事実に依拠する。しかしながら本発明は、伝送され、その後に対象物体によって反射された光パルスが進んだ距離を測定する距離ゲーティングを用いる。とりわけ本発明が依拠するのは、距離ゲーティングと、少なくとも部分的に同時にスポットパターンを投射すること(新規な照射スキームに基づく)と、低出力の半導体光源とを組合わせることによって、大幅に小型化され、完全固体で、かつエネルギ効率のよい長距離の距離検出方法を得ることができるという発明者らの洞察である。ここで用いられる「パターン」という用語は、同時に投射されるスポットの空間的な分布を指す。検出されたスポット反射の3次元空間における位置を測定するためには、測距ステップから得られた距離情報を角度情報と組合わせて、残りの2つの空間座標を固定させることが必要である。画素アレイと好適に配置された光学素子とを含むカメラを用いて、反射が検出された画素を特定することにより、追加の角度情報を提供することができる。
本発明の実施形態がさらに依拠するのは、所望範囲でLIDARシステムの固体光源によって生成されたスポットパターンを使用可能にするためには、光パワーの制約を免れる方法が必要であるという発明者らの洞察である。パルス継続時間を延長することによって、かつ、少なくとも2つの半導体センサウェルまたは少なくとも2つの画素における複数のVCSEL生成光パルスの反射エネルギを統合し、次いで統合された電荷を一度に読出すことによって、固体の実現例を用いて現在可能な動作範囲よりも大幅に動作範囲の広い固体LIDARシステムを得ることができることを、発明者らは見出した。以下において、「ストレージ」という用語は、光子の検出に応答して電荷が蓄積されるウェルまたは画素を示すために用いられる。
本発明の利点は、固体光源および固体センサ(例えば、CMOSセンサ、CCDセンサ、またはSPADアレイなど)が同一半導体基板上に集積され得ることである。固体光源は、VCSELアレイ、または、所望のパターンを生成するように適合された格子を有するレーザを含み得る。
さらに、2つの連続する時間ウィンドウで検出された反射光エネルギを評価し、当該2つの連続するウィンドウで蓄積された電荷の合計を正規化することによって、調査対象の物体の反射率および環境光の寄与の変化の影響を距離算出アルゴリズムで適切に説明することができる。
画像素子においては、作用する光を表わす電荷がウェルレベルまたは画素レベルで蓄積され得る。ウェルレベルの電荷蓄積の利点は、読出しノイズが最小限に抑えられ、信号対雑音比の改善につながることである。
パルスのシーケンスの送信および検出は、周期的に繰返されてもよい。
本発明に係るシステムの実施形態では、第1の予め定められた時間ウィンドウおよび第2の予め定められた時間ウィンドウは実質的に継続時間が等しく、かつ連続して起こる。
この実施形態の利点は、周辺画素から平均された蓄積環境光を差し引くことによって、距離算出式における環境光の寄与を容易に相殺することができる点である。
特定の実施形態では、複数の画像素子の各々は少なくとも2つの電荷ストレージウェルを含み、上記第1の光量の検出および上記第2の光量の検出は、上記少なくとも2つの電荷ストレージウェルのうちのそれぞれの電荷ストレージウェルで行なわれる。
「電荷ストレージウェル」という用語は、画素に作用する光子の変換によって発生した電荷を蓄積する、半導体基板に設けられたストレージ(例えばコンデンサ)を指す。この特定の実施形態の目的は、信号対雑音比の改善を実現し、センサの全体範囲を広げることである。
本発明の一局面によれば、上述のシステムを備える車両が提供される。この車両は、当該車両を取囲むエリアのうちの少なくとも一部を動作可能にカバーするように配置されている。
本発明に係るシステムは、限定はされないが、ECU(電子制御ユニット)などのADASまたは自動運転制御ユニットを備える車両において特に有利である。車両はさらに、車両制御ユニットを含んでもよい。この車両制御ユニットは、システムから測定情報を受信し、ADAS制御または自動運転の決定の情報を用いるように適合されたものである。車両を取囲むエリアの一部とは、車両の前方、側方、または後方の道路表面を含み得る。したがって、このシステムは、アクティブサスペンションまたはセミアクティブサスペンションに用いられる、車の前方の表面の道路形状情報を提供し得る。
本発明の一局面によれば、上述のシステムを備えるカメラが提供される。このシステムは、当該システムから得られた情報に基づいてカメラ画像に3次元情報を付加することによって、3次元画像を作成することを可能にするように適合されている。
本発明の一局面によれば、物体までの距離を測定するための方法が提供される。この方法は、固体光源を用いて、不連続のレーザ光のスポットのパターンを、パルスのシーケンスで物体に向けて投射するステップと、複数の画像素子を含む検出器を用いて、上記パルスのシーケンスと同期して、物体によって反射された上記不連続のスポットのパターンを表わす光を検出するステップと、上記検出された光に応答して上記画像素子によって生成された露出値に応じて、物体までの距離を算出するステップとを含む。画像素子は、上記シーケンスの各パルスについて、第1の予め定められた時間ウィンドウの期間中に上記物体によって反射された第1の光量を表わす第1の電荷量と、上記第1の予め定められた時間ウィンドウの後に起こる第2の予め定められた時間ウィンドウの期間中に上記物体によって反射された第2の光量を表わす第2の電荷量と、を蓄積することによって露出値を生成する。
本発明に係る方法の実施形態では、第1の予め定められた時間ウィンドウおよび第2の予め定められた時間ウィンドウは実質的に継続時間が等しく、かつ連続して起こる。
本発明に係る方法の実施形態では、複数の画像素子の各々は少なくとも2つの電荷ストレージウェルを含み、第1の光量の検出および第2の光量の検出は、上記少なくとも2つの電荷ストレージウェルのうちのそれぞれの電荷ストレージウェルで行なわれる。
本発明に係る方法の実施形態では、投射するステップ、検出するステップ、および算出するステップは周期的に繰返される。
本発明の一局面によれば、プロセッサに、上述の方法を実行させるように構成されたコード手段を含むコンピュータプログラム製品が提供される。
本発明に係るカメラ、車両、方法、およびコンピュータプログラム製品の実施形態の技術的効果および利点は、本発明に係るシステムの対応の実施形態の技術的効果および利点が準用される。
次に、本発明の上記および他の局面および利点を、添付の図面を参照してさらに詳細に説明する。
本発明に係る方法の実施形態のフローチャートである。 本発明に係るシステムの実施形態を概略的に示す図である。 本発明の実施形態における光の投射および検出のタイミング図である。 本発明の実施形態における光の投射および検出のタイミング図である。 本発明の実施形態における光の投射および検出のタイミング図である。 対数トーンマッピング(上)および多重線形トーンマッピング(下)によって得られる、入射光パワーに応じた例示的な画素出力のグラフを示す図である。 高ダイナミックレンジのマルチ出力画素によって得られる、入射光パワーに応じた例示的な画素出力のグラフを示す図である。 本発明の実施形態に用いられる高ダイナミックレンジ画素の構造を概略的に示す図である。 本発明の実施形態に用いられる、各々が別個の転送ゲートを有する2つの電荷ウェル(ビン)を含む画素アーキテクチャの実施形態を概略的に示す図である。 本発明の実施形態に用いられる第1の例示的な光学配置を概略的に示す図である。 本発明の実施形態に用いられる第2の例示的な光学配置を概略的に示す図である。 本発明の実施形態に用いられる第3の例示的な光学配置を概略的に示す図である。 第4の例示的な光学配置を概略的に示す図である。
実施形態の詳細な説明
本願出願人の名義である国際特許出願公開WO2015/004213A1に開示されるタイプの周囲検知システムは、広範囲にわたる光景を観察しながら、その光景を同時または部分的にのみ同時に、明確に定義された不連続な多数のスポットで(特に、予め定められたスポットパターンで)照射するという利点を有する。優れた束品質および非常に狭い出力スペクトルを有するVCSELレーザを用いると、昼光の存在下であっても、限られた量の出力パワーで検出範囲を得ることが可能である。WO2015/004213A1のシステムで行なわれる実際の測距は、変位検出(特に三角測量)に依拠する。それは、パワーバジェットに鑑みて必要とされる長い(準定常の)パルス継続時間の文脈において実際に利用可能な、唯一の方法であると理解されていた。今まで、小型の半導体ベースの飛行時間ベースのシステムでは、同等のパワー/性能特性を達成することができなかった。
本発明は、飛行時間ベースのシステムの動作方法を根本的に変えることによって、この限界を克服する。本発明は、個々のパルスの継続時間を増加することによって、かつ、多数の個々のパルスのシーケンスからなる仮想の「合成パルス」を生成することによって、飛行時間型測定毎に放出される光エネルギの総量(したがって、飛行時間型測定毎の検出器での検出に利用可能な光子の数)を増加する。発明者らは、このように拡張したパルスを束ねることによって、所望の動作範囲について低出力のVCSELで必要量の光エネルギ(光子)を得ることができた。
既存のLIDARシステムの個々のパルスの継続時間が1ナノ秒である場合、本発明に係るシステムは、VCSELなどの半導体レーザの比較的低い出力レベルを部分的に補償するようにパルス継続時間を実質的に長くすることによって、利益を享受する。本発明の実施形態では、シーケンス内の個々のパルスの例示的な継続時間は1マイクロ秒であってもよい(これは説明を明確かつ単純にするために本明細書で選択された1つの可能な値であって、より一般的には、本発明の実施形態において、パルス継続時間は例えば500ナノ秒以上であってもよく、好ましくは750ナノ秒以上、最も好ましくは900ナノ秒以上であってもよい)。本発明に係る例示的なシステムでは、シーケンスは1000パルスサイクルから構成されてもよく、したがって継続時間が合計1ミリ秒であってもよい。光が100m離れた対象まで進んで検出器に戻るのにおよそ0.66マイクロ秒必要であるという事実を考慮すれば、この程度の距離の測距において、このような継続時間の合成パルスを用いることが可能である。当業者ならば、選択されたパルス幅および所望範囲に応じて必要なパルスサイクル数を調整することが可能であろう。好ましくは、シーケンスの検出は、VCSELベースの光源と同期して個々のパルスを検出するステップと、読出しの前に、シーケンス全体に対して、画素ウェルレベルで入射する光子に応答して発生する電荷を蓄積するステップとを含む。以下において、シーケンスにわたって統合された電荷を表わす値(したがって、画素における受光量)を称するために「露出値」という用語を用いる。シーケンスの放出および検出は周期的に繰返されてもよい。
本発明は距離ゲーティングを用いて動作する。距離ゲート撮像装置は、パルスの継続時間の間、放出されたパルスの検出された反射パワーを統合する。パルス放出ウィンドウと反射パルスの到達との間の時間の重なり量は、光パルスの戻り時間、ひいてはパルスが進んだ距離に依存する。したがって、統合されたパワーは、パルスが進んだ距離に相関する。本発明は、上述のパルスのシーケンスに適用された距離ゲーティングの原理を用いる。以下の説明では、シーケンスの個々のパルスが画像素子レベルで統合され、それによりシーケンス全体の測定が得られることが暗示的に理解される。
図1は、本発明に係る方法の実施形態のフローチャートを示す。一般性を失うことなく、距離ゲーティングアルゴリズムを参照して測距方法を説明する。第1の時間ウィンドウ10において、当該方法は、固体光源210を含む光源から光景の対象エリア内の任意の物体へ、レーザ光のスポットパターン(例えば、規則的または不規則的な空間的スポットパターン)を投射するステップ110を含む。空間的パターンは、パルスのシーケンスで繰返し投射される。
上述のように、固体光源は、VCSELアレイ、または所望のパターンを生成するように適合された格子を有するレーザを含み得る。システムが最適に動作するために、本発明の実施形態に用いられるVCSELは、距離が長く、かつ環境光(例えば、昼光)が高レベルであっても単位面積当たりのスポットにつき最大の光パワーを放出するように配置されることが好ましい。したがって、良質のビームを有する(M2因子が低い)レーザが好ましい。さらに好ましくは、レーザの波長の幅は最小限であるべきである。モノモードレーザの場合、特に狭い波長の幅を達成することができる。このように、必要な空間的精度および時間的精度で、実質的に同一のものが複製可能に生成され得る。
パルスが放出されるのと同一時間ウィンドウの期間中、または実質的に重なる時間ウィンドウにおいて、対象物体によって反射されたスポットパターンを表わす第1の光量が、検出器で検出される(120)。当該検出器は、光源のできるだけ近くに配置されることが好ましい。フローチャートにおいて、スポットパターンの投射(110)およびその反射の第1の検出(120)を並べて配置することによって、これらのステップが同時か、またはほぼ同時に起こることを示している。後続の第2の予め定められた時間ウィンドウ20において、反射された光スポットを表わす第2の光量が検出器で検出される(130)。この第2のウィンドウ20の期間中、固体光源は非アクティブである。物体までの距離は、反射光の第1の光量および反射光の第2の光量に応じて算出される(140)。
好ましくは、第1の予め定められた時間ウィンドウ10および第2の予め定められた時間ウィンドウ20は、継続時間が実質的に等しい連続するウィンドウである。これにより、検出量のうちの一方が他方から差し引かれることによるノイズおよび環境光の相殺が容易になる。以下では、図3に関連して例示的なタイミングスキームをより詳細に説明する。
検出器は、複数の画像素子を含む。すなわち検出器は、光景の画像(照射されたスポットを含む)を画像素子に投射するように配置された適切な光学素子を有する画像素子アレイからなる。ここで用いられる「画像素子」という用語は、画素の個々の感光性の領域もしくはウェルを指してもよいし、または画素全体(複数のウェルを含み得る。下記参照。)であってもよい。与えられたすべての投射スポットについて、第1の光量の検出120および第2の光量の検出130は、1つの同一画像素子または複数の画像素子の同一グループで行なわれる。
一般性を失うことなく、各画像素子は、少なくとも2つの電荷ストレージウェル221、222を含む画素であり得る。それにより、第1の光量の検出120および第2の光量の検出130が同一画素または同一画素グループのそれぞれの電荷ストレージウェル221、222で行なわれ得る。
図2は、対象の光景における物体99に関連する、本発明に係るシステムの実施形態を概略的に表わす。システム200は、周期的に繰返され得るスポットのシーケンスのパターンを物体99に投射するための固体光源210を含む。検出器220は光源の近くに配置され、物体から反射された光を検出するように構成されている。
物体99から跳ね返る光ビームを、光源210から物体99まで進み、検出器220に返る矢印として破線で示す。なお、この図はあくまで概略的なものであり、決して実際の相対距離または角度を示すように意図されたものではない。
同期手段230(従来のクロック回路または発振器を含み得る)は、第1の予め定められた時間ウィンドウ10の期間中に物体にスポットパターンを投射するように固体光源210を動作させるとともに、実質的に同時に、物体99によって反射された光スポットを表わす第1の光量を検出するように検出器220を動作させるように構成されている。同期手段230はさらに、それぞれの後続の第2の予め定められた時間ウィンドウ20の期間中に、物体99から反射された光スポットを表わす第2の光量を検出するように検出器220を動作させる。適切な処理手段240は、第1の反射光量および第2の反射光量に応じて物体までの距離を算出するように構成されている。
図3は、本発明の実施形態における光の投射および検出のタイミング図を示す。明確にするために、図1で周期的に繰返されるパルスシーケンスのうちの1つのパルスのみを示す。この1つのパルスは、第1の時間ウィンドウ10および第2の時間ウィンドウ20からなる。
図3aから分かるように、第1の時間ウィンドウ10の期間中は固体光源210が「オン」状態であり、光スポットのパターンを周囲に放出する。第2の時間ウィンドウ20の期間中は固体光源210が「オフ」状態である。
反射光の検出器220への到達は、進んだ距離に比例する時間(自由空間でおよそ3.3ナノ秒/m)の分だけ投射開始よりも遅れる。この遅れにより、反射光のうちの一部のみが検出器220の第1のウェル221(第1の時間ウィンドウ10の期間中にのみアクティブである)で検出される。したがって、アクティブ期間(第1の時間ウィンドウ10)中に当該第1のウェル内に蓄積された電荷は、反射パルスの到達前に画素に作用するノイズおよび環境光のみを表わす部分と、ノイズ、環境光、および反射パルスの立ち上がりエッジを表わす部分と、からなる。
反射パルスの後者の部分は、検出器220の第2のウェル222(好ましくは第1の時間ウィンドウ10の直後に続く第2の時間ウィンドウ20の期間中にのみアクティブである)で検出される。したがって、アクティブ期間(第2の時間ウィンドウ20)中に当該第2のウェル内に蓄積された電荷は、ノイズ、環境光、および反射パルスの立ち下がりエッジを表わす部分と、反射パルスの到達後に画素に作用するノイズおよび環境光のみを表わす部分と、からなる。
反射する物体99とシステム200との間の距離が長くなるにつれて、第1のウェル221において検出されるパルスの比率が小さくなるとともに、第2のウェル222において検出されるパルスの比率が大きくなる。
第1のウェル221の閉鎖後(すなわち、第1の時間ウィンドウ10の終了後)に反射パルスの立ち上がりエッジが現れた場合、第2のウェル222において検出され得る反射パルスの比率は、飛行時間遅延の増大に伴って減少する。
物体99の距離を変化させて、結果としてウェル221、222にそれぞれ生じる電荷A、Bの量を図3bに示す。図を単純化するために、図3bでは、逆二乗則による距離に伴う光の減衰効果を考慮しない。第1の時間ウィンドウ10および第2の時間ウィンドウ20の合計継続時間以下の飛行時間遅延については、飛行時間遅延は、原則的には一義的に値AおよびBから得られることが明らかである。
− 第1の時間ウィンドウ10の継続時間以下の飛行時間遅延については、Bは物体99の距離に比例する。絶対距離の測定を容易に達成するために、正規化された値B/(B+A)を用いてもよい。これにより、検出物体の不完全反射の影響および逆二乗則の影響が排除される。
− 第1の時間ウィンドウ10の継続時間を超える飛行時間遅延については、Aは昼光およびノイズの寄与のみからなり(図示せず)、B〜Cは実質的に物体99の距離に比例する(逆二乗則に関する補正の後)。Cはオフセット値である。
図3aおよび図3bは時間ウィンドウ10において放出された単一のパルスに関して本発明の原理を示しているが、上で定義したように、図示のパルスはパルスのシーケンスの一部であることを理解すべきである。図3cは、そのようなシーケンスの例示的なタイミング特性を概略的に示す。図示のように、照射スキーム40は、個々のパルス10のシーケンス30の放出の繰返しからなる。個々のパルス10の幅は、最大動作範囲によって規定される。シーケンス全体は、例えば60Hzの周波数で繰返されてもよい。
本発明に係る測距システムを、WO2015/004213A1に係る三角測量ベースのシステムと組合わせてもよい。小型化を目的とする場合、三角測量ベースのシステムでは、プロジェクタと検出器との間の距離が結果的に比較的短くなり、動作範囲が狭くなるであろう。しかしながら、組合わせることによって利益をもたらすのは、まさにその短い距離である。なぜなら、三角測量ベースのシステムは、飛行時間ベースのシステムが十分正確に動作することができない距離をカバーできるからである。
1つまたは複数の検出物体への距離を経時的に監視するために、測距処理全体を反復してもよい。これにより、先進運転支援システム、アクティブサスペンションを備える車両、または自律型車両などの、継続的に検出物体への距離に関する情報を必要とする処理において、当該方法の結果が用いられ得る。
説明されたシステムのすべての要素を最適に動作させるためには、システムが熱的に安定でなければならない。熱的安定によって、とりわけ光学素子の望ましくない波長シフト(熱ドリフト)が回避される。さもなければ、光学フィルタ、および光学チェーンの他の素子の正常な機能が低下するであろう。本発明に係るシステムの実施形態は、それらの設計によって、または、PIDコントローラを用いた温度制御ループによる能動制御によって、熱的安定を達成する。
WO2015/004213A1は、検出区間中に画素に到達する環境光の量を最小限にすることによって、パターン化されたレーザスポットの検出精度を向上させるためのさまざまな技術を開示している。これらの技術はLIDARシステムの文脈で開示されているわけではないが、本発明の発明者らは、いくつかの当該技術を本発明の実施形態と組合わせた場合に優れた結果が生み出されることを見出した。これが特に当てはまるのは、検出器に狭帯域フィルタを使用し、かつ、反射光がフィルタに対してほぼ垂直に入射することを保証する適切な光学配置を用いた場合である。WO2015/004213A1に示されたこれらの配置の詳細は、参照により本明細書に援用される。さらなる特徴および詳細を以下に示す。
WO2015/004213A1から公知のさまざまな技術を本発明の実施形態に適用することによって、検出区間中に画素に到達する環境光の量を最小限にし得るが、一定量の環境光は回避できない。マルチ画素システムでは、画素のうちのいくつかのみが反射スポットによって照射される一方、他の画素は残留環境光のみによって照射される。画素の後者のグループの信号レベルを用いて、対象画素の信号に対する環境光の寄与を推定し、それに応じて当該寄与を差し引くことができる。追加的または代替的に、背景光または環境光を画素レベルで検出信号から差し引いてもよい。これは、2回の露出、すなわち、レーザパルスの到達期間に1回、パルスが無いときに1回の露出を必要とする。
いくつかの実施形態では、検出器は、高ダイナミックレンジ検出器、すなわち少なくとも90dB、好ましくは少なくとも120dBのダイナミックレンジを有する検出器であってもよい。そのようなセンサを使用することの利点は、高ダイナミックレンジセンサ、すなわち、光景の最も暗い部分でも強度レベルの十分な弁別を維持しつつ、飽和することなく大量の光子が得られるセンサの存在である。すなわち、非常に長距離でありながら、依然として、飽和することなく短距離(反射光が比較的強い)の物体を検出することができるセンサが可能になる。発明者らは、トーンマッピングを適用したセンサを使用するよりも、真の高ダイナミックレンジセンサを使用した方が有利であることを見出した。トーンマッピングでは、センサ線形範囲が高分解能の方へ圧縮される。文献では、対数圧縮または多重線形圧縮などの、いくつかの圧縮方法が記録されている(図4参照)。しかしながら、この非線形圧縮は、立体情報を抽出するために、取得された光景に対して論理演算または算術演算を行なう前に、信号を再線形化することを必要とする。したがって、本発明に係る解決策は、計算の必要条件を増加させることなく検出精度を向上させる。図5に示すような、完全に線形の高ダイナミックレンジセンサを使用することは、いくつかの実施形態のさらなる利点である。所望のダイナミックレンジ特性を提供することのできる画素アーキテクチャおよび光学検出器が、米国特許出願公開US2014/353472A1(特に65段落〜73段落および88段落)に開示されており、その内容は、当業者が本発明の当該局面を実施することを可能にするために、参照により本明細書に援用される。
本発明の実施形態は、高ダイナミックレンジ画素を用いる。これは、フルウェルキャパシティが大きい電荷リザーバ(reservoir)によって、または、画素1つ当たりの電子ノイズを制限する設計によって、または、電荷転送時にノイズを付加しないCCDゲートの使用によって、または、高い検出量子効率(DQE:detection quantum efficiency)を有する設計(例えば、表面照射では50%の範囲、または、裏面薄型化(back thinning)としても公知である裏面照射の場合は90%)によって、または、図6に示すような特定の設計(下記参照)によって、または、上記列挙された改善策の任意の組合わせによって、得ることができる。さらに、オーバーフロー容量を画素の前面に重ねるように追加することによって(この実現例は裏面薄型化を必要とする)、ダイナミックレンジをさらに拡大することが可能である。好ましくは、画素設計はアンチブルーミング機構を実現する。
図6は、高ダイナミックレンジを有する画素の有利な実現例の概略図である。この図の例では、フローティング・ディフュージョン(floating diffusion)に接続された2つのストレージゲート7、8が使用される。露出の後、光景およびレーザパルスによって発生した電子が、転送ゲート11を用いてフローティング・ディフュージョン上で転送される。Vgate1およびVgate2のゲート電圧は、ともに高く設定される。次いで電荷が両方のコンデンサにわたって広がり、かなりのフルウェルが実現される。この高フルウェルデータが増幅器との接続を介して読み出されると、電圧Vgate2が低く設定される。コンデンサ7の方へ電子が戻り、総画素ゲインが増加する。データは増幅器によって読み出され得る。さらに、後にVgate1に低電圧を印加することによって、より高いゲインを達成することが可能である。フローティング・ディフュージョン2の方へ電子が戻る。
図7は、CMOS技術で使用される想定画素の実現可能なデュアルウェル(dual-well)またはデュアルビン(dual-bin)の実現例を示す。作用する信号は、2つの電荷ストレージに分配される。各リザーバは、レーザソースのパルスと同期する外部パルスによって制御される別個の転送ゲートを有する。
図8〜図10は、本発明の実施形態で使用され得るカメラを示す。このカメラにおいて、光照射源は単色光を放出し、少なくとも1つの検出器は、対応の狭帯域フィルタおよび光学素子を備える。これらの狭帯域フィルタおよび光学素子は、当該狭帯域フィルタへの入射角を変更するように配置されている。これにより、上記入射角は、上記狭帯域フィルタの主面の法線周辺の予め定められた範囲に限定される。上記光学素子は、像空間テレセントリックレンズを含む。「カメラ」という用語は、ここではセンサと、関連光学素子(レンズ、レンズアレイ、フィルタ)との組合わせとして用いられる。特に、図9では、光学素子は、像空間テレセントリックレンズと上記少なくとも1つの検出器との間に配置されたミニレンズアレイをさらに含み、ミニレンズアレイの個々のミニレンズは、上記少なくとも1つの検出器の個々の画素のそれぞれの感光性領域に入射光を集束させる。このような1画素当たり1つのミニレンズの配置の利点は、画素の感光性部分にすべての入射光を光学的に誘導することによって、下にあるセンサのフィルファクタによる損失を減少させることができる点である。
これらの例すべてにおいて、照射線がフィルタ媒体を通過して実質的に等しい長さだけ進むことになる。すなわち換言すれば、入射した照射線はフィルタ面に対して実質的に垂直である。すなわちそれは、フィルタ面の法線周辺の予め定められた範囲内の入射角に限定される。これにより、例えば昼光、日光をフィルタにかけ、スポットが昼光を上回るように狭帯域幅内に正確にフィルタリングすることが可能になる。
車両周囲の空間全体が限られた数のセンサ、例えば8個のセンサで監視され、その結果入射光線が例えば1×1ラドの立体角に広がり得る本発明の実施形態において、入射角の補正は特に重要である。図8は、このタイプの第1の光学配置を概略的に示す。第1の光学配置は、像空間テレセントリック構成で、およそ等しい焦点距離fを有する第1のレンズ1030と第2のレンズ1040とを含む。これは、すべての主光線(開口絞りの中央を通過する光線)が像平面に対して垂直であることを意味する。例示的な開口数である0.16は、円錐角9.3°(円錐角の半分)に対応する。したがって、レンズシステム1030〜1040とセンサ102との間に配置された狭帯域フィルタ1060への最大の入射角は、9.3°であろう。
図9に示すように、好ましい設計は、像空間テレセントリック構成(構成は、オプションとして物空間テレセントリックであってもよい)で、およそ等しい焦点距離fを有する縦に並んだ2つのレンズ1130、1140と、平面的に並べられたミニレンズアレイ1150と、スペクトルフィルタ1160と、CMOS検出器102と、からなる。第1のレンズ1130の中心Oは第2のレンズ1140の焦点であるので、Oを横切るすべての光線は、第2のレンズ1140によって光軸に平行な方向に屈折する。ここで、第1のレンズ1130の焦点距離と比較して非常に離れた位置の特定のレーザスポットS1110について考える。第1のレンズ1130による当該スポット1110の像は、このレンズの焦平面近く、例えば第2のレンズ1140のちょうど中央面に位置する点Pである。スポットS1110から放出されて第1のレンズ1130によって取込まれた光線は、第2のレンズ1140における点Pに向かって集束する光円錐を形成する。当該光円錐の中心軸は点Oを横切り、光軸に平行、つまりスペクトルフィルタ1160に垂直に屈折することにより、最適な分光感度を達成する。したがって、第2のレンズ1140は、入射光ビームの角度を補正するためのレンズとして機能する。第2のレンズ1140の後方にある小さな凸状のミニレンズ1150(点Pがミニレンズ1150の焦点に位置する)を用いることによって、円錐の他の光線が光軸に平行な光線の束として屈曲することもできる。このように、スポットS1110のすべての結像光線は、スペクトルフィルタにほぼ垂直の方向に屈曲する。これは、すべての画素の前に位置付けられたミニレンズのアレイを用いることによって、CMOS検出器のすべての画素の前で個々に行なわれ得る。この構成では、ミニレンズは像テレセントリック機能を有する。主な利点は、ミニレンズ1150における局部補正光学素子によって、球面収差の増大を相殺しつつ、第1のレンズ1030の瞳を拡大することができ、またはアパーチャを除去することができる。このように、センサアセンブリの感度を高めることができる。平行光線を集束させて画素のフォトダイオードに戻すことによってフィルファクタを最大化するために、スペクトルフィルタ1160とCMOS画素102との間に第2のミニレンズアレイ(図11には図示せず)を追加してもよい。
第1および第2のレンズ1130、1140として、市販されているレンズを使用してもよい。当業者ならば、性質が類似する他のスマートフォンカメラまたはウェブカメラで典型的に用いられるレンズも使用され得ることを理解するであろう。前述のアイサイト(iSight)カメラは、8メガピクセルの6×3mmCMOSセンサ、1.5μmの画素サイズ、f/2.2の非常に大きなアパーチャ、約f=7mmの対物焦点距離、および約3.2mmの瞳直径を有する。視野角は、1ラド×1ラドのオーダーである。カメラの分解能がおおよそ画素サイズ(1.5ミクロン)であるとすると、レンズの収差は、アパーチャによって選択される視野角のすべての光線について補正されると結論付けることができる(アッベの法則より)。
図10は、図11の配置の変形例を示しており、1つのリソグラフ処理で製造するために最適化されている。第1のレンズ1230は前述の実施形態の第1のレンズ1130に類似するが、角度を補正する第2のレンズ1140は、同じ焦点距離fを有するフレネルレンズ1240で置換され、ミニレンズアレイ1150はフレネルレンズアレイ1250で置換されている。利点は、それらが完全に平らで、(別個のフェーズゾーンで)ナノエレクトロニクス技術によって製造可能である点である。平行光線を集束させて画素のフォトダイオードに戻すことによってフィルファクタを最大化するために、スペクトルフィルタ1260とCMOS画素102との間に第2のミニレンズアレイ1270を追加してもよい。つまり、カメラは本質的にはアイサイト(iSight)としての標準カメラであるが、CMOSセンサは特別に設計された多層センサによって置換されている。この多層センサは、すべての構成要素が同じリソグラフ処理内で1つの一体化ブロックとして製造される。この多層センサは、大量生産すると安価であり、小型で丈夫であり、位置合わせの必要がない。これらの5つの層1240、1250、1260、1270、102の各々は、本発明によって課される要件を満たすための独自の機能を有する。
直径dのレンズによって作られた円錐の最小角度はλ/dのオーダーであり(λは光の波長)、ミニレンズ直径d=8.5μmおよびλ=850nmの場合の最小円錐角は、1/10ラジアンである。高品質のスペクトル干渉フィルタを用いると、これは約3nmのスペクトルウィンドウに対応する。
図11は、狭帯域フィルタ1320が内側(図示)または外側(図示せず)に配置されたドーム1310(例えば、湾曲したガラス板)を備える代替的な光学配置を示す。フィルタ1320をドーム1310の内側に配置することの利点は、ドーム1310がフィルタ1320を外部の力から保護する点である。ドーム1310およびフィルタ1320が光学的に協働することによって、ドームの表面に実質的に垂直な方向に沿って入射光がフィルタ1320を通過することが保証される。ドームフィルタアセンブリとセンサ102との間に魚眼光学素子1330が設けられる。それはCMOSセンサまたはCCDセンサまたはSPADアレイであり得る。魚眼光学素子1330は、ドームフィルタアセンブリを通過した光をセンサの感光性領域に向けて誘導するように配置されている。
オプションとして、プロジェクタに他の魚眼光学素子が設けられる。特定の実施形態では、複数のVCSELが1×n配列またはm×n配列で搭載されている。それによって、高さm×1ラドおよび幅n×1ラドの空間的角度にわたるレーザビームの出口角を実現することができる。
本発明のいくつかの実施形態では、段階的または可変の減衰フィルタを検出器に適用することによって、深さ範囲全体にわたってスポットの強度を実質的に一定に保つことができる。代替的または追加的には、検出器から遠く離れたスポットの強度を十分な強度で受信しながら検出器に近いスポットの強度を弱くするために、非対称レンズ瞳も設けられてもよい。このようにして、検出器のクリッピングが回避され、全てのスポットについて平均強度を実質的に同一にすることができる。
いくつかの実施形態では、照射源は、異なるゾーンに分割可能なVCSELであってもよく、それによって、当該異なるゾーンについてレーザのオン時間が制御される。したがって、スポットの画像は、一定の強度、例えばA/D範囲の2/3を有するように制御され得る。代替的に、やはり一定の強度を得るために、高さに応じてスポットのアレイにわたって駆動電圧が駆動されてもよい。このような制御は、飽和回避サーボループと称され得る。アレイ内の異なるVCSELは強度に関して個別に制御されてもよく、同時に投射しながら個々のVCSELの強度のパターンを変化させてもよい。
本発明のいくつかの他の実施形態では、+9°〜−9°の入射角の範囲内で照射線がフィルタに対して入射するように、狭帯域フィルタの前でマイクロプリズムマトリックスが使用され得る。これは、狭帯域幅フィルタリングを得ることを可能にする。プリズムマトリックスは、例えばプラスチック成形によって作製されてもよい。
例えばアクティブサスペンション車両用途が想定される本発明の実施形態では、スポットパターンの投射は、有利に下向き、すなわち道路の方に向けられる。
本発明に係るシステムは、上述の方法のステップを、専用ハードウェア(例えばASIC)、構成可能なハードウェア(例えばFPGA)、プログラム可能なコンポーネント(例えば、適切なソフトウェアを用いるDSPまたは汎用プロセッサ)、またはこれらの任意の組合わせで実現することを含み得る。同じコンポーネントが他の機能も含んでもよい。本発明は、上述の方法のステップを実現するコード手段を含むコンピュータプログラム製品にも関する。当該製品は、光学媒体、磁気媒体、または固体媒体としてのコンピュータ読取可能媒体で提供されてもよい。
本発明は、上述のシステムを含む車両にも関する。
本発明の実施形態は、限定はされないが、自動車用途、工業用途、ゲーム用途など(屋内外の両方、短距離または長距離)を含む、多岐にわたる用途で好都合に用いられ得る。いくつかの用途では、本発明の実施形態に係る異なるセンサを組合わせて(例えば、デイジーチェーン方式)、好ましくは一周(360°視野)にわたるパノラマのカバー範囲を作り出してもよい。
別個のシステムおよび方法の実施形態を参照して本発明を上で説明したが、明確化のためにそのようにしたに過ぎない。システムまたは方法のみに関して説明した特徴はそれぞれ方法またはシステムに適用可能であり、同じ技術的効果および利点を有することを当業者ならば理解するであろう。さらに、本発明の範囲はこれらの実施形態に限定されず、添付の特許請求の範囲によって規定される。

Claims (12)

  1. 物体までの距離を測定するためのシステム(200)であって、
    ーザ光の不連続のスポットであるパターンを、周期的に繰返されるパルスのシーケンスで前記物体に向けて投射するように配置された固体光源(210)と、
    − 複数の画像素子を含み、前記パルスのシーケンスと同期して、前記物体によって反射された前記不連続のスポットであるパターンを表わす光を検出するように構成された検出器(220)と、
    − 前記検出された光に応答して前記画像素子によって生成された露出値に応じて、前記物体までの前記距離を算出するように構成された処理手段(240)とを備え、
    前記パターンは、同時に投射されるスポットの空間的な分布を構成し、
    前記画像素子(220)はCMOS技術で提供され、
    前記画像素子(220)の各々は、各々が別個の転送ゲートを有する少なくとも2つの電荷ストレージウェルと、アンチブルーミング機構とを含み、
    前記画像素子(220)は、前記シーケンスのパルスのうちのすべてについて、第1の予め定められた時間ウィンドウ(10)の期間中に前記物体によって反射された第1の光量を表わす第1の電荷量(A)と、前記第1の予め定められた時間ウィンドウ(10)の後に起こる第2の予め定められた時間ウィンドウ(20)の期間中に前記物体によって反射された第2の光量を表わす第2の電荷量(B)と、を蓄積することによって前記露出値を生成するように構成されており、
    前記固体光源(210)は、前記第1の予め定められた時間ウィンドウ(10)の期間中において「オン」状態であり、前記第2の予め定められた時間ウィンドウ(20)の期間中において「オフ」状態であり、
    前記第1の予め定められた時間ウィンドウおよび前記第2の予め定められた時間ウィンドウは実質的に継続時間が等しく、かつ連続して起こり、
    前記第1の光量の検出および前記第2の光量の検出は、前記少なくとも2つの電荷ストレージウェルのうちのそれぞれの電荷ストレージウェル(221,222)で行なわれ、そのことにより、前記第1の予め定められた時間ウィンドウ(10)の継続時間を超える往復飛行時間遅延に対応する距離に前記物体がある場合、前記第1の電荷量(A)を蓄積している前記電荷ストレージウェル(221)は昼光およびノイズの寄与のみを蓄積する、システム。
  2. 前記固体光源(210)は、VCSELアレイを含む、請求項1に記載のシステム。
  3. レーザパルスの到達期間における露出およびいかなるパルスも無いときの露出を使用することにより、背景光または環境光は、画素レベルで検出信号から差し引かれる、請求項1または2に記載のシステム。
  4. 残留環境光のみによって照射される画素のグループの信号レベルを用いて、反射スポットによって照射される画素の信号に対する環境光の寄与を推定し、それに応じて当該寄与を差し引く、請求項1または2に記載のシステム。
  5. 請求項1から4のいずれか1項に記載のシステム(100)を備える車両であって、
    前記車両は、当該車両を取囲むエリアのうちの少なくとも一部を動作可能にカバーするように配置されている、車両。
  6. 請求項1からのいずれか1項に記載のシステム(100)を備えるカメラであって、
    前記システム(100)は、前記システムから得られた情報に基づいてカメラ画像に3次元情報を付加することによって、3次元画像を作成することを可能にするように適合されている、カメラ。
  7. 物体までの距離を測定するための方法であって、
    − 固体光源(210)を用いて、レーザ光の不連続のスポットであるパターンを、周期的に繰返されるパルスのシーケンスで前記物体に向けて投射するステップ(110)と、
    − 複数の画像素子を含む検出器(220)を用いて、前記パルスのシーケンスと同期して、前記物体によって反射された前記不連続のスポットであるパターンを表わす光を検出するステップ(120;130)と、
    − 前記検出された光に応答して前記画像素子によって生成された露出値に応じて、前記物体までの前記距離を算出するステップ(140)とを含み、
    前記パターンは、同時に投射されるスポットの空間的な分布を構成し、
    前記画像素子(220)はCMOS技術で提供され、
    前記画像素子(220)の各々は、各々が別個の転送ゲートを有する少なくとも2つの電荷ストレージウェルと、アンチブルーミング機構とを含み、
    前記画像素子(220)は、前記シーケンスのパルスのうちのすべてについて、第1の予め定められた時間ウィンドウ(10)の期間中に前記物体によって反射された第1の光量(A)を表わす第1の電荷量と、前記第1の予め定められた時間ウィンドウ(10)の後に起こる第2の予め定められた時間ウィンドウ(20)の期間中に前記物体によって反射された第2の光量を表わす第2の電荷量(B)と、を蓄積することによって前記露出値を生成し、
    前記固体光源(210)は、前記第1の予め定められた時間ウィンドウ(10)の期間中において「オン」状態であり、前記第2の予め定められた時間ウィンドウ(20)の期間中において固体光源210が「オフ」状態であり、
    前記第1の予め定められた時間ウィンドウおよび前記第2の予め定められた時間ウィンドウは実質的に継続時間が等しく、かつ連続して起こり、
    前記第1の光量の検出および前記第2の光量の検出は、前記少なくとも2つの電荷ストレージウェルのうちのそれぞれの電荷ストレージウェル(221,222)で行なわれ、そのことにより、前記第1の予め定められた時間ウィンドウ(10)の継続時間を超える往復飛行時間遅延に対応する距離に前記物体がある場合、前記第1の電荷量(A)を蓄積している前記電荷ストレージウェル(221)は昼光およびノイズの寄与のみを蓄積する、方法。
  8. 前記固体光源(210)は、VCSELアレイを含む、請求項7に記載の方法。
  9. レーザパルスの到達期間における露出およびいかなるパルスも無いときの露出を使用することにより、背景光または環境光は、画素レベルで検出信号から差し引かれる、請求項7または8に記載の方法。
  10. 残留環境光のみによって照射される画素のグループの信号レベルを用いて、反射スポットによって照射される画素の信号に対する環境光の寄与を推定し、それに応じて当該寄与を差し引く、請求項7または8に記載の方法。
  11. 前記投射するステップ(110)、前記検出するステップ(120;130)、および前記算出するステップ(140)は周期的に繰返される、請求項に記載の方法。
  12. プロセッサに、請求項から11のいずれか1項に記載の方法を実行させるように構成されたコード手段を含むコンピュータプログラム製品。
JP2018514329A 2015-10-23 2016-10-24 物体までの距離を測定するためのシステムおよび方法 Active JP6938472B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15191288.8 2015-10-23
EP15191288.8A EP3159711A1 (en) 2015-10-23 2015-10-23 System and method for determining a distance to an object
PCT/EP2016/075589 WO2017068199A1 (en) 2015-10-23 2016-10-24 System and method for determining a distance to an object

Publications (3)

Publication Number Publication Date
JP2018531374A JP2018531374A (ja) 2018-10-25
JP2018531374A6 JP2018531374A6 (ja) 2018-12-13
JP6938472B2 true JP6938472B2 (ja) 2021-09-22

Family

ID=54360174

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018514329A Active JP6938472B2 (ja) 2015-10-23 2016-10-24 物体までの距離を測定するためのシステムおよび方法

Country Status (7)

Country Link
US (1) US10921454B2 (ja)
EP (2) EP3159711A1 (ja)
JP (1) JP6938472B2 (ja)
KR (1) KR20180073571A (ja)
CN (1) CN108139483B (ja)
BE (1) BE1023788B1 (ja)
WO (1) WO2017068199A1 (ja)

Families Citing this family (105)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9992477B2 (en) 2015-09-24 2018-06-05 Ouster, Inc. Optical system for collecting distance information within a field
EP3159711A1 (en) 2015-10-23 2017-04-26 Xenomatix NV System and method for determining a distance to an object
WO2017149370A1 (en) * 2016-03-01 2017-09-08 Brightway Vision Ltd. Gated imaging apparatus, system and method
US10761195B2 (en) 2016-04-22 2020-09-01 OPSYS Tech Ltd. Multi-wavelength LIDAR system
US20180341009A1 (en) 2016-06-23 2018-11-29 Apple Inc. Multi-range time of flight sensing
US11317808B2 (en) * 2016-07-13 2022-05-03 Naked Labs Austria Gmbh Optical marker to adjust the turntable of a 3D body scanner
EP3504026B1 (en) 2016-08-24 2023-04-26 Ouster, Inc. Optical system for collecting distance information within a field
EP3301480A1 (en) 2016-10-03 2018-04-04 Xenomatix NV System and method for determining a distance to an object
EP3301479A1 (en) 2016-10-03 2018-04-04 Xenomatix NV Method for subtracting background light from an exposure value of a pixel in an imaging array, and pixel for use in same
EP3301478A1 (en) 2016-10-03 2018-04-04 Xenomatix NV System for determining a distance to an object
EP3301477A1 (en) 2016-10-03 2018-04-04 Xenomatix NV System for determining a distance to an object
EP3343246A1 (en) 2016-12-30 2018-07-04 Xenomatix NV System for characterizing surroundings of a vehicle
WO2018142878A1 (ja) * 2017-02-06 2018-08-09 パナソニックIpマネジメント株式会社 3次元モーション取得装置、及び3次元モーション取得方法
EP3589990A4 (en) 2017-03-01 2021-01-20 Ouster, Inc. ACCURATE PHOTODETECTOR MEASUREMENTS FOR LIDAR
US11105925B2 (en) 2017-03-01 2021-08-31 Ouster, Inc. Accurate photo detector measurements for LIDAR
KR102326493B1 (ko) 2017-03-13 2021-11-17 옵시스 테크 엘티디 눈-안전 스캐닝 lidar 시스템
US11151447B1 (en) * 2017-03-13 2021-10-19 Zoox, Inc. Network training process for hardware definition
US10520590B2 (en) * 2017-04-18 2019-12-31 Bae Systems Information And Electronic Systems Integration Inc. System and method for ranging a target with a digital-pixel focal plane array
EP3392674A1 (en) 2017-04-23 2018-10-24 Xenomatix NV A pixel structure
CN110914652B (zh) 2017-05-15 2024-05-24 奥斯特公司 亮度增强的光学成像发射机
US10775501B2 (en) * 2017-06-01 2020-09-15 Intel Corporation Range reconstruction using shape prior
EP3646057A1 (en) 2017-06-29 2020-05-06 Apple Inc. Time-of-flight depth mapping with parallax compensation
US10754033B2 (en) 2017-06-30 2020-08-25 Waymo Llc Light detection and ranging (LIDAR) device range aliasing resilience by multiple hypotheses
DE102017115385B4 (de) * 2017-07-10 2022-08-11 Basler Ag Vorrichtung und Verfahren zur Erfassung eines dreidimensionalen Tiefenbilds
CN110869804B (zh) * 2017-07-13 2023-11-28 苹果公司 用于光发射深度传感器的提前-滞后脉冲计数
WO2019022941A1 (en) 2017-07-28 2019-01-31 OPSYS Tech Ltd. VCSEL LIDAR TRANSMITTER WITH LOW ANGULAR DIVERGENCE
US10627492B2 (en) 2017-08-01 2020-04-21 Waymo Llc Use of extended detection periods for range aliasing detection and mitigation in a light detection and ranging (LIDAR) system
JP6856784B2 (ja) * 2017-08-31 2021-04-14 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 固体光検出及び測距(lidar)システム、固体光検出及び測距(lidar)分解能を改善するためのシステム及び方法
KR20200028446A (ko) 2017-08-31 2020-03-16 에스지 디제이아이 테크놀러지 코., 엘티디 고체 상태 광 검출 및 레인징(lidar) 시스템, 그리고 고체 상태 광 검출 및 레이징(lidar) 분해능을 향상시키는 시스템 및 방법
US20190072771A1 (en) * 2017-09-05 2019-03-07 Facebook Technologies, Llc Depth measurement using multiple pulsed structured light projectors
US10585176B2 (en) * 2017-09-19 2020-03-10 Rockwell Automation Technologies, Inc. Pulsed-based time of flight methods and system
US10663565B2 (en) 2017-09-19 2020-05-26 Rockwell Automation Technologies, Inc. Pulsed-based time of flight methods and system
US10955552B2 (en) 2017-09-27 2021-03-23 Apple Inc. Waveform design for a LiDAR system with closely-spaced pulses
EP3470872B1 (en) 2017-10-11 2021-09-08 Melexis Technologies NV Sensor device
KR102589319B1 (ko) 2017-11-15 2023-10-16 옵시스 테크 엘티디 잡음 적응형 솔리드-스테이트 lidar 시스템
DE102017222017A1 (de) * 2017-12-06 2019-06-06 Robert Bosch Gmbh Verfahren und System zum Ermitteln und Bereitstellen eines Bodenprofils
EP3550329A1 (en) * 2018-04-04 2019-10-09 Xenomatix NV System and method for determining a distance to an object
US10768301B2 (en) 2017-12-15 2020-09-08 Xenomatix Nv System and method for determining a distance to an object
KR102403544B1 (ko) 2017-12-18 2022-05-30 애플 인크. 방출기들의 어드레스가능 어레이를 사용하는 비행 시간 감지
WO2019195054A1 (en) 2018-04-01 2019-10-10 OPSYS Tech Ltd. Noise adaptive solid-state lidar system
US10996324B2 (en) 2018-05-14 2021-05-04 Rockwell Automation Technologies, Inc. Time of flight system and method using multiple measuring sequences
US11002836B2 (en) 2018-05-14 2021-05-11 Rockwell Automation Technologies, Inc. Permutation of measuring capacitors in a time-of-flight sensor
DE102018208647B4 (de) * 2018-05-30 2025-08-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Lasermesseinrichtung zur Messung einer Distanz zu einem Objekt sowie Verfahren zum Betreiben derselben
DE102018004782B4 (de) * 2018-06-15 2025-09-11 Mercedes-Benz Group AG Verfahren und Vorrichtung zum Erfassen einer Umgebung, sowie Fahrzeug mit einer solchen Vorrichtung
US10969476B2 (en) 2018-07-10 2021-04-06 Rockwell Automation Technologies, Inc. High dynamic range for sensing systems and methods
JP2021532368A (ja) 2018-08-03 2021-11-25 オプシス テック リミテッド 分散型モジュール式ソリッドステートlidarシステム
US10739189B2 (en) 2018-08-09 2020-08-11 Ouster, Inc. Multispectral ranging/imaging sensor arrays and systems
US10760957B2 (en) 2018-08-09 2020-09-01 Ouster, Inc. Bulk optics for a scanning array
CN108957470B (zh) * 2018-08-22 2021-02-26 上海炬佑智能科技有限公司 飞行时间测距传感器及其测距方法
US10789506B2 (en) 2018-09-24 2020-09-29 Rockwell Automation Technologies, Inc. Object intrusion detection system and method
CN109636857B (zh) * 2018-10-16 2021-10-15 歌尔光学科技有限公司 对位方法及标定系统
WO2020086903A1 (en) * 2018-10-24 2020-04-30 Red Leader Technologies, Inc. Lidar system and method of operation
CN113348383A (zh) 2018-10-24 2021-09-03 红色领袖科技公司 激光雷达系统和操作方法
DE102018126841B4 (de) 2018-10-26 2021-05-06 Sick Ag 3D-Lichtlaufzeitkamera und Verfahren zur Erfassung dreidimensionaler Bilddaten
CN113260874B (zh) * 2018-11-20 2025-03-07 感觉光子公司 用于空间分布式选通的方法和系统
US10791282B2 (en) 2018-12-13 2020-09-29 Fenwick & West LLP High dynamic range camera assembly with augmented pixels
US10791286B2 (en) 2018-12-13 2020-09-29 Facebook Technologies, Llc Differentiated imaging using camera assembly with augmented pixels
US10855896B1 (en) * 2018-12-13 2020-12-01 Facebook Technologies, Llc Depth determination using time-of-flight and camera assembly with augmented pixels
US11585906B2 (en) 2018-12-26 2023-02-21 Ouster, Inc. Solid-state electronic scanning laser array with high-side and low-side switches for increased channels
US12117286B2 (en) 2019-02-11 2024-10-15 Apple Inc. Depth sensing using a sparse array of pulsed beams
US12405355B2 (en) 2019-03-05 2025-09-02 Hamamatsu Photonics K.K. Light-receiving device and method for manufacturing light-receiving device
JP2020153796A (ja) * 2019-03-19 2020-09-24 株式会社リコー 測距装置、及び測距方法
CN113597567A (zh) * 2019-03-26 2021-11-02 松下知识产权经营株式会社 距离图像的获得方法、以及距离检测装置
CN111751838B (zh) * 2019-03-28 2025-06-06 上海小瞳智能科技有限公司 一种微型固态激光雷达及其数据处理方法
EP3953727A4 (en) 2019-04-09 2023-01-04 Opsys Tech Ltd. SOLID STATE LIDAR TRANSMITTER WITH LASER CONTROL
US12153133B2 (en) 2019-04-26 2024-11-26 Ouster, Inc. Independent per-pixel integration registers for LIDAR measurements
US11846728B2 (en) 2019-05-30 2023-12-19 OPSYS Tech Ltd. Eye-safe long-range LIDAR system using actuator
KR102637658B1 (ko) 2019-06-10 2024-02-20 옵시스 테크 엘티디 눈-안전 장거리 고체 상태 lidar 시스템
US11500094B2 (en) 2019-06-10 2022-11-15 Apple Inc. Selection of pulse repetition intervals for sensing time of flight
CN114096882B (zh) 2019-06-25 2025-12-23 欧普赛斯技术有限公司 自适应多脉冲lidar系统
EP3931597B1 (en) * 2019-07-01 2025-09-24 Samsung Electronics Co., Ltd. Lidar apparatus and control method thereof
US11555900B1 (en) 2019-07-17 2023-01-17 Apple Inc. LiDAR system with enhanced area coverage
US12222445B2 (en) 2019-07-31 2025-02-11 OPSYS Tech Ltd. High-resolution solid-state LIDAR transmitter
US12189038B2 (en) 2019-08-05 2025-01-07 Ouster, Inc. Processing system for LIDAR measurements
EP3789787A1 (en) 2019-09-03 2021-03-10 Xenomatix NV Solid-state lidar system for determining distances to a scene
US20220291391A1 (en) * 2019-09-03 2022-09-15 Xenomatix Nv Projector for a solid-state lidar system
EP3798673A1 (en) * 2019-09-25 2021-03-31 Xenomatix NV Method and device for determining distances to a scene
CN110673153A (zh) * 2019-10-29 2020-01-10 炬佑智能科技(苏州)有限公司 飞行时间传感器及其测距方法
CN110673152A (zh) * 2019-10-29 2020-01-10 炬佑智能科技(苏州)有限公司 飞行时间传感器及其测距方法
US10902623B1 (en) 2019-11-19 2021-01-26 Facebook Technologies, Llc Three-dimensional imaging with spatial and temporal coding for depth camera assembly
DE102019131988A1 (de) 2019-11-26 2021-05-27 Sick Ag 3D-Lichtlaufzeitkamera und Verfahren zur Erfassung dreidimensionaler Bilddaten
US11733359B2 (en) * 2019-12-03 2023-08-22 Apple Inc. Configurable array of single-photon detectors
US11647175B2 (en) * 2019-12-06 2023-05-09 Omnivision Technologies, Inc. Determining depth information from a single camera
TWI765337B (zh) * 2019-12-13 2022-05-21 旺矽科技股份有限公司 雷射晶片檢測方法及設備
US11194160B1 (en) 2020-01-21 2021-12-07 Facebook Technologies, Llc High frame rate reconstruction with N-tap camera sensor
JP2021120630A (ja) * 2020-01-30 2021-08-19 ソニーセミコンダクタソリューションズ株式会社 測距装置及び測距方法
EP4103964A4 (en) 2020-02-28 2024-03-13 Waymo LLC Maximum range indication in lidar point data
EP3879303A1 (en) 2020-03-13 2021-09-15 Infineon Technologies AG Method and apparatus for time-of-flight sensing
US12000931B2 (en) 2020-05-15 2024-06-04 Analog Devices International Unlimited Company Continuous wave time of flight system
KR102400605B1 (ko) * 2020-08-04 2022-05-20 한국기계연구원 거리측정 헤드 및 이를 구비한 다중대상 거리측정 시스템
CN111880189B (zh) * 2020-08-12 2022-07-15 中国海洋大学 连续光距离选通激光雷达
US12356740B2 (en) 2020-09-25 2025-07-08 Apple Inc. Transistor integration with stacked single-photon avalanche diode (SPAD) pixel arrays
KR20230074273A (ko) 2020-10-13 2023-05-26 레드 리더 테크놀로지스, 인크. 라이다 시스템 및 동작 방법
WO2022102856A1 (ko) * 2020-11-12 2022-05-19 주식회사 에스오에스랩 라이다 장치
CN112346076A (zh) * 2020-11-25 2021-02-09 Oppo(重庆)智能科技有限公司 电子装置的控制方法、电子装置及计算机可读存储介质
US12442926B2 (en) 2021-02-04 2025-10-14 Apple Inc. Time-of-flight depth sensing with improved linearity
US12196860B2 (en) 2021-03-02 2025-01-14 Apple Inc. Depth sensor calibration using internal reflections
WO2022253422A1 (en) * 2021-06-02 2022-12-08 Fastree3D Sa 3d image detection and related 3d imaging sensors
US11681028B2 (en) 2021-07-18 2023-06-20 Apple Inc. Close-range measurement of time of flight using parallax shift
CN114236504B (zh) * 2021-12-17 2025-08-08 奥诚信息科技(上海)有限公司 一种基于dToF的探测系统及其光源调整方法
US12105224B2 (en) 2022-01-11 2024-10-01 Samsung Electronics Co., Ltd LiDAR adaptive single-pass histogramming for low power LiDAR system
US11762095B2 (en) 2022-02-01 2023-09-19 Red Leader Technologies, Inc. Lidar system and method of operation
EP4231046A1 (en) 2022-02-17 2023-08-23 XenomatiX NV System for measuring a distance to an object from behind a transparent element
CN116917761A (zh) * 2022-02-17 2023-10-20 华为技术有限公司 探测装置及探测方法
US12142031B1 (en) 2022-08-31 2024-11-12 Zoox, Inc. Machine-learned model training for sensor parameter setting optimization

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0886790B1 (en) 1995-06-22 2006-03-01 3DV Systems Ltd. Telecentric 3d camera and method
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
JP3832441B2 (ja) 2002-04-08 2006-10-11 松下電工株式会社 強度変調光を用いた空間情報の検出装置
US6906302B2 (en) * 2002-07-30 2005-06-14 Freescale Semiconductor, Inc. Photodetector circuit device and method thereof
US6888122B2 (en) 2002-08-29 2005-05-03 Micron Technology, Inc. High dynamic range cascaded integration pixel cell and method of operation
US6814171B2 (en) * 2002-08-30 2004-11-09 Motorola, Inc. Automotive drive assistance system and method
DE10305010B4 (de) * 2003-02-07 2012-06-28 Robert Bosch Gmbh Vorrichtung und Verfahren zur Bilderzeugung
JP4280822B2 (ja) * 2004-02-18 2009-06-17 国立大学法人静岡大学 光飛行時間型距離センサ
GB0405014D0 (en) 2004-03-05 2004-04-07 Qinetiq Ltd Movement control system
IL181030A (en) 2006-01-29 2012-04-30 Rafael Advanced Defense Sys Multiple Optical Radar Space Time
US7544945B2 (en) 2006-02-06 2009-06-09 Avago Technologies General Ip (Singapore) Pte. Ltd. Vertical cavity surface emitting laser (VCSEL) array laser scanner
JP5171158B2 (ja) 2007-08-22 2013-03-27 浜松ホトニクス株式会社 固体撮像装置及び距離画像測定装置
JP5356726B2 (ja) * 2008-05-15 2013-12-04 浜松ホトニクス株式会社 距離センサ及び距離画像センサ
JP5585903B2 (ja) * 2008-07-30 2014-09-10 国立大学法人静岡大学 距離画像センサ、及び撮像信号を飛行時間法により生成する方法
US8995485B2 (en) 2009-02-17 2015-03-31 Trilumina Corp. High brightness pulsed VCSEL sources
JP4473337B1 (ja) * 2009-07-31 2010-06-02 株式会社オプトエレクトロニクス 光学的情報読取装置及び光学的情報読取方法
DE102009037596B4 (de) 2009-08-14 2014-07-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Pixelstruktur, System und Verfahren zur optischen Abstandsmessung sowie Steuerschaltung für die Pixelstruktur
JP5211007B2 (ja) 2009-10-07 2013-06-12 本田技研工業株式会社 光電変換素子、受光装置、受光システム及び測距装置
JP2011169701A (ja) * 2010-02-17 2011-09-01 Sanyo Electric Co Ltd 物体検出装置および情報取得装置
JP2011191221A (ja) * 2010-03-16 2011-09-29 Sanyo Electric Co Ltd 物体検出装置および情報取得装置
US8736818B2 (en) * 2010-08-16 2014-05-27 Ball Aerospace & Technologies Corp. Electronically steered flash LIDAR
JP2012083220A (ja) 2010-10-12 2012-04-26 Hamamatsu Photonics Kk 距離センサ及び距離画像センサ
US9329035B2 (en) 2011-12-12 2016-05-03 Heptagon Micro Optics Pte. Ltd. Method to compensate for errors in time-of-flight range cameras caused by multiple reflections
US8686367B2 (en) 2012-03-01 2014-04-01 Omnivision Technologies, Inc. Circuit configuration and method for time of flight sensor
CN202977967U (zh) * 2012-12-25 2013-06-05 山东省科学院海洋仪器仪表研究所 阵列式封装半导体激光器照明面板
JP6145826B2 (ja) 2013-02-07 2017-06-14 パナソニックIpマネジメント株式会社 撮像装置及びその駆動方法
US8908063B2 (en) 2013-03-11 2014-12-09 Texas Instruments Incorporated Method and apparatus for a time-of-flight sensor with charge storage
US10497737B2 (en) 2013-05-30 2019-12-03 Caeleste Cvba Enhanced dynamic range imaging
JP6387407B2 (ja) 2013-07-09 2018-09-05 ゼノマティクス・ナムローゼ・フエンノートシャップXenomatix Nv 周辺検知システム
US20150260830A1 (en) 2013-07-12 2015-09-17 Princeton Optronics Inc. 2-D Planar VCSEL Source for 3-D Imaging
US9443310B2 (en) * 2013-10-09 2016-09-13 Microsoft Technology Licensing, Llc Illumination modules that emit structured light
CN105723239B (zh) * 2013-11-20 2020-12-18 松下半导体解决方案株式会社 测距摄像系统以及固体摄像元件
US9182490B2 (en) 2013-11-27 2015-11-10 Semiconductor Components Industries, Llc Video and 3D time-of-flight image sensors
US10230914B2 (en) 2014-02-07 2019-03-12 National University Corporation Shizuoka University Charge modulation element and solid-state imaging device
US9874638B2 (en) 2014-03-06 2018-01-23 University Of Waikato Time of flight camera system which resolves direct and multi-path radiation components
GB201407267D0 (en) 2014-04-24 2014-06-11 Cathx Res Ltd Underwater surveys
US9753140B2 (en) 2014-05-05 2017-09-05 Raytheon Company Methods and apparatus for imaging in scattering environments
CN106461378B (zh) 2014-08-08 2019-10-25 塞姆布有限公司 具有用于非接触式测量的扫描系统的车辆装备
US10677923B2 (en) 2014-11-12 2020-06-09 Ams Sensors Singapore Pte. Ltd. Optoelectronic modules for distance measurements and/or multi-dimensional imaging
JP6478725B2 (ja) 2015-03-09 2019-03-06 キヤノン株式会社 計測装置及びロボット
US20160295122A1 (en) 2015-04-03 2016-10-06 Canon Kabushiki Kaisha Display control apparatus, display control method, and image capturing apparatus
US20160295133A1 (en) 2015-04-06 2016-10-06 Heptagon Micro Optics Pte. Ltd. Cameras having a rgb-ir channel
CN107615093B (zh) 2015-05-28 2021-07-06 新唐科技日本株式会社 测距摄像装置、其测距方法以及固体摄像装置
JP6406449B2 (ja) 2015-06-24 2018-10-17 株式会社村田製作所 距離センサ
EP3159711A1 (en) 2015-10-23 2017-04-26 Xenomatix NV System and method for determining a distance to an object

Also Published As

Publication number Publication date
JP2018531374A (ja) 2018-10-25
CN108139483A (zh) 2018-06-08
EP3365700A1 (en) 2018-08-29
CN108139483B (zh) 2022-03-01
BE1023788B1 (nl) 2017-07-26
US20180299554A1 (en) 2018-10-18
EP3159711A1 (en) 2017-04-26
WO2017068199A1 (en) 2017-04-27
BE1023788A1 (nl) 2017-07-26
KR20180073571A (ko) 2018-07-02
EP3365700B1 (en) 2020-09-02
US10921454B2 (en) 2021-02-16

Similar Documents

Publication Publication Date Title
JP6938472B2 (ja) 物体までの距離を測定するためのシステムおよび方法
JP7028878B2 (ja) 物体までの距離を測定するためのシステム
JP2018531374A6 (ja) 物体までの距離を測定するためのシステムおよび方法
CN109791207B (zh) 用于确定到对象的距离的系统和方法
JP7253556B2 (ja) 物体までの距離を測定するためのシステムおよび方法
EP3519855B1 (en) System for determining a distance to an object

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A529

Effective date: 20180316

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191011

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210803

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210901

R150 Certificate of patent or registration of utility model

Ref document number: 6938472

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250