JP7203217B2 - 構造化光照明付き飛行時間型センサ - Google Patents

構造化光照明付き飛行時間型センサ Download PDF

Info

Publication number
JP7203217B2
JP7203217B2 JP2021522431A JP2021522431A JP7203217B2 JP 7203217 B2 JP7203217 B2 JP 7203217B2 JP 2021522431 A JP2021522431 A JP 2021522431A JP 2021522431 A JP2021522431 A JP 2021522431A JP 7203217 B2 JP7203217 B2 JP 7203217B2
Authority
JP
Japan
Prior art keywords
scene
sensor
structured light
light pattern
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021522431A
Other languages
English (en)
Other versions
JP2022505772A (ja
Inventor
オナル，ケイナー
シュロイニング，デイビッド
ハーマリン，ブレンダン
ヴァーギーズ，サイモン
マコーリー，アレックス
ホワイト，ブランディン
ジリンスキー，ユーリー
Original Assignee
ウェイモ エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ウェイモ エルエルシー filed Critical ウェイモ エルエルシー
Publication of JP2022505772A publication Critical patent/JP2022505772A/ja
Application granted granted Critical
Publication of JP7203217B2 publication Critical patent/JP7203217B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/484—Transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles

Description

関連出願の相互参照
本出願は、２０１８年１１月１日に出願された米国特許出願第１６／１７７，６２６号の利益を主張し、上記特許出願の内容を参照により本明細書に援用する。
飛行時間型（ＴｏＦ）センサは通常、シーンに関する低解像度の深度情報を提供するが、反射率の高いまたは吸収性の高い素材を撮像する場合、迷光の「ブルーミング」の影響を受けたり、不正確な深度情報を提供したりする可能性がある。
構造化光は、所望のまたは所定の照明パターンおよび／または照明スケジュールに従って放射される光を含み得る。一部の光源は、シーンを構造化光で照明するように構成され得る。
本開示は、ＴｏＦセンサと構造化光の態様を有益に組み合わせて、より正確でより高解像度の深度情報を提供する。
第１の態様では、センサシステムが提供される。センサシステムは、シーンからの光を受信するように構成されている少なくとも１つの飛行時間型（ＴｏＦ：Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）センサを含む。センサシステムはまた、構造化光パターンを放射するように構成されている少なくとも１つの光源を含む。さらに、センサシステムは、動作を実行するコントローラを含む。動作は、少なくとも１つの光源に、シーンの少なくとも一部を構造化光パターンで照明させることを含む。動作はまた、少なくとも１つのＴｏＦセンサに、構造化光パターンに基づく、シーンの深度マップを示す情報を提供させることを含む。
第２の態様では、システムが提供される。システムは、車両に結合されるように構成されている複数のセンサシステムを含む。各センサシステムは、少なくとも１つの飛行時間型（ＴｏＦ）センサと少なくとも１つのイメージングセンサとを含む。少なくとも１つのＴｏＦセンサおよび少なくとも１つのイメージングセンサは、シーンからの光を受信するように構成される。各センサシステムはまた、構造化光パターンを放射するように構成されている少なくとも１つの光源と、動作を実行するコントローラとを含む。動作は、少なくとも１つの光源に、シーンの少なくとも一部を構造化光パターンで照明させることを含む。動作はまた、少なくとも１つのＴｏＦセンサに、構造化光パターンに基づく、シーンの深度マップを示す情報を提供させることを含む。動作はさらに、イメージングセンサに、構造化光パターンに基づく、シーンの画像を示す情報を提供させることを含む。
第３の態様では、方法が提供される。方法は、少なくとも１つの光源に、シーンを構造化光パターンで照明させることを含む。方法はさらに、飛行時間型（ＴｏＦ）センサから、構造化光パターンに基づく、シーンに関する情報を受信することを含む。方法はまた、受信した情報に基づいてシーンの深度マップを決定することを含む。方法はまたさらに、シーンの深度マップに基づいてシーンに関する少なくとも１つの推論を決定することを含む。
第４の態様では、方法が提供される。方法は、事前情報を提供することを含む。事前情報は、シーンの３次元情報を含む。方法は、少なくとも１つの光源に、シーンを構造化光パターンで照明させることを含む。方法はまた、少なくとも１つのＴｏＦセンサに、構造化光パターンに基づく、シーンの深度マップを示す飛行時間情報を提供させることを含む。
他の態様、実施形態、および実装形態は、当業者には、以下の詳細な説明を添付の図面を適宜参照して読み取ることにより明らかになるであろう。
例示的な実施形態によるシステムを例証する。 例示的な実施形態によるシステムの動作シナリオを例証する。 例示的な実施形態による車両を例証する。 例示的な実施形態によるセンサユニットを例証する。 例示的な実施形態による光源を例証する。 例示的な実施形態による感知シナリオを例証する。 例示的な実施形態による感知シナリオを例証する。 例示的な実施形態による様々な構造化光パターンを例証する。 例示的な実施形態による構造化光パターンを例証する。 例示的な実施形態による方法を例証する。 例示的な実施形態による感知シナリオを例証する。 例示的な実施形態による感知シナリオを例証する。 例示的な実施形態による方法を例証する。
例示的な方法、デバイス、およびシステムが、本明細書に記載されている。「例（ｅｘａｍｐｌｅ）」および「例示的（ｅｘｅｍｐｌａｒｙ）」という語は、本明細書においては、「例、事例（ｉｎｓｔａｎｃｅ）、または例示（ｉｌｌｕｓｔｒａｔｉｏｎ）としての役割を果たす」ことを意味するために使用されることを理解されたい。本明細書において「例」または「例示的」であるとして説明されるいずれの実施形態または特徴も、他の実施形態または特徴よりも好ましい、または有利であると必ずしも解釈されるべきではない。本明細書に提示される主題の範囲から逸脱することなく、他の実施形態を利用することができ、他の変更を行うことができる。
したがって、本明細書に記載される例示的な実施形態は、限定的であることを意味するものではない。本明細書において概略説明され、図に示される本開示の態様は、多種多様な異なる構成で配置、置換、組み合わせ、分離、および設計が可能であり、これらの構成のすべてが、本明細書で企図される。
さらに、文脈上特段の示唆がある場合を除き、各図に示された特徴を、互いに組み合わせて使用することができる。このように、図は一般に、例示されるすべての特徴が実施形態ごとに必要であるわけではないという理解の下に、１つ以上の全体的な実施形態の構成要素の態様として見られるべきである。
Ｉ．概要
イメージングセンサは通常、シーンの高品質で高解像度の２次元画像を提供するが、一般的には独立した深度情報を提供しない。飛行時間型（ＴｏＦ）センサは通常、シーンに関する低解像度の深度情報を提供するが、反射率の高い物体が存在する場合の画像のブルーミング、または反射性物体および吸収性物体で混合シーンが存在する場合の不正確な深度測定などのアーチファクトの影響を受ける可能性がある。本開示は、両方のタイプのセンサの望ましい態様を有益に組み合わせて、より正確でより高解像度の深度情報を提供する。
いくつかの例では、所与のセンサピクセルが十分な光子を吸収して、光生成された電荷キャリアの数がフルウェル容量（ＦＷＣ）を超えると、ブルーミングが発生する可能性がある。このようなシナリオでは、ＦＷＣに到達すると、過剰な電荷キャリアが隣接するセンサピクセルに「オーバーフロー」し、スミアリングまたはブラー効果が発生する可能性があり、これにより、画質の低下および／または深度情報の信頼性の低下が起こり得る。
ハイブリッドイメージングシステムは、１）少なくとも１つのＴｏＦセンサと、２）任意選択のイメージングセンサと、３）連続波照明、パルス照明、または非周期照明を使用してシーンを照明するための少なくとも１つの光源と、４）コンピュータ、プロセッサ、および／またはディープニューラルネットを含んでもよいコントローラと、を含むことができる。ＴｏＦセンサおよびイメージングセンサは、互いに空間的に登録されてもよく、同じ光路の重なり合う部分を利用してもよい。例えば、ＴｏＦセンサおよびイメージングセンサは、それらが類似の（例えば、ほぼ同一の）視野を有するように、互いに空間的に登録され、それらの相対的な位置および向きは、互いに対して既知であり得て、および／または固定され得る。
そのようなハイブリッドイメージングシステムの、複数のセンサユニットの各センサユニットは、車両の各側面（または各コーナー）に取り付けることができる。それぞれのセンサユニットは、車両の様々な場所にある１つ以上の回転プラットフォームに取り付けることもできる。例示的な実施形態では、各センサユニットは、車両の周囲のシーンに関する１８０度の視野を含んでいてもよい。いくつかの実施形態では、センサユニットは、車両の周囲の環境に関する視野が部分的に重なるように車両上に配置することができる。
例示的な実施形態では、ブルーミングまたは他の深度情報アーチファクトを回避するために、複数のＴｏＦセンサを、所与のセンサユニット内の１つ以上のイメージセンサに関連付けることができる。鏡面反射および他の明るい光源からのブルーミングの影響を減らすために、それぞれのＴｏＦセンサを分散させる（例えば、１０ｃｍ以上離す）ことができる。いくつかの実施形態では、ＴｏＦセンサは、１０～１００ＭＨｚで動作することができるが、他の動作周波数も企図され、可能である。いくつかの実施形態では、それぞれのＴｏＦセンサの動作周波数は、所望の最大深度感知範囲に基づいて調整されてもよい。例えば、ＴｏＦセンサは、約７．５メートルの所望の深度検知範囲（例えば、明確な範囲）に対して２０ＭＨｚで動作させることができる。いくつかの実施形態では、ＴｏＦセンサは、１００メートル以上の所望の最大深度感知範囲を有することができる。
いくつかの実施形態では、ＴｏＦセンサは、ＣＭＯＳまたはＣＣＤ感光性素子（ｐｈｏｔｏ－ｓｅｎｓｉｔｉｖｅ ｅｌｅｍｅｎｔ）（例えば、シリコンＰＩＮダイオード）を含むことができる。しかしながら、他のタイプのＴｏＦセンサおよびＴｏＦセンサ素子も企図される。場合によっては、様々な位相シフトモード（例えば、２倍または４倍の位相シフト）を使用して、ＴｏＦセンサを操作することができる。
いくつかの実施形態では、イメージングセンサは、メガピクセルタイプのカメラセンサなどのＲＧＢイメージングセンサを含むことができる。イメージングセンサは、複数のＣＭＯＳまたはＣＣＤ感光性素子を含むことができる。
いくつかの例では、１つ以上の光源を使用して、シーン（またはシーンのそれぞれの部分）を照明することができる。そのようなシナリオでは、光源を変調して、深度情報を提供するＴｏＦセンサと組み合わせて使用可能な所定の光パルス（または一連の光パルス）を提供することができる。追加的にまたは代替的に、イメージングセンサに所望の露出を提供するために、一連の光パルス（例えば、パルス繰り返し率、パルス持続時間、および／またはデューティサイクル）を選択することができる。
１つ以上の光源は、車両の一部分に沿って配置されたライトストリップを含むことができる。追加的または代替的に、１つ以上の光源は、ライトパネルのグリッドを含むことができ、ライトパネルの各セグメントは、個別に異なる光パルスを提供することができる。またさらに、１つ以上の光源は、点ごとにおよび／またはスキャン方式で移動可能な１つ以上の光線を提供することができる。
１つ以上の光源は、ＣＷモードおよび／またはパルス（例えば、正弦波、鋸歯状波、または方形波）動作モードで動作させることができる。制限なしに、１つ以上の光源は、レーザーダイオード、発光ダイオード、プラズマ光源、ストロボ、固体レーザー、ファイバーレーザー、または他のタイプの光源のうちの少なくとも１つを含むことができる。１つ以上の光源は、赤外線波長範囲（例えば、８５０、９０５、９４０および／または１５５０ナノメートル）の光を放射するように構成することができる。いくつかの実施形態では、複数の照明光の波長を使用して、複数の光源などを明確にすることができる。追加的または代替的に、環境内の周囲光の量および／または時刻に基づいて、照明波長を調整することができる。
別の例示的な実施形態では、１つ以上の光源は、構造化光パターンを環境に放射することができる。構造化光パターンは、改善された登録および／またはブルーミング効果に対する耐性を提供し得る。一例として、構造化光パターンは、回折光学素子を介して光を透過させることによって形成することができる。別の実施形態では、レーザー光パターン（例えば、ランダムレーザースペックルまたは所定のレーザー光パターン）を使用して、構造化光パターンを提供することができる。さらに別の実施形態では、変形可能または調整可能な反射、回折、または屈折表面（例えば、マイクロミラーアレイ）を使用して、構造化光パターンを提供し、および／またはシーンに対してパターンをシフトすることができる。
追加的または代替的に、１つ以上の光源は、１つ以上のクラスの構造化光パターンを放射するように構成することができる。例えば、構造化光パターンのクラスは、１つ以上の空間クラスを含むことができ、ここでは、視野のいくつかの領域が、所定の空間光パターンに従って照明される（または照明されない）。構造化光パターンの他のクラスは、時間的なクラスを含むことができ、ここでは、視野の様々な領域が、所定の時間的な照明スケジュールに従って、異なる時間に照明される。さらに他のクラスの構造化光は、スペクトルクラスを含むことができ、ここでは、視野の様々な領域が、所定のスペクトル照明パターンに従って、異なる波長（または波長帯）の光で照射される。しかしながら、構造化光パターンを形成する他の方法が可能であり、本明細書で企図される。
いくつかの実施形態では、構造化光パターンを使用して、シーン内の空間的な場祖を明確にすることができる。例えば、構造化光パターンは、円形および／または楕円形の光「スポット」を含み得る。各スポットは、例えば、回折光学素子を通る光の放射角度、または光源に対するシーン内の空間的位置に基づいて、異なる形状または向き（例えば、回転、空間範囲、曲率半径、伸びなど）を有することができる。いくつかの実施形態では、光学素子の所定の非点収差を利用して、構造化光パターン内の光スポット間を明確にすることができる。
コントローラは、それぞれのセンサの出力を組み合わせるように（例えば、センサ融合の使用）、および／または車両の周囲の３次元シーンについて推論するように、動作可能にできる。例えば、コントローラは、車両の周囲のグレースケールまたは色強度マップを提供するために推論を行ってもよい。推論は、追加的にまたは代替的に、車両の環境内の物体に関する情報を提供してもよい。例示的な実施形態では、６０Ｈｚまたは１２０Ｈｚのリフレッシュレートで、物体情報を提供することができる。しかしながら、他のリフレッシュレートが可能であり、企図される。
例示的な実施形態では、システムは、１つ以上のディープニューラルネットワークを含むことができる。ディープニューラルネットワークを利用して、トレーニングデータおよび／または車両の動作コンテキストに基づく推論を提供することができる。場合によっては、低解像度の深度情報および画像情報が、ディープニューラルネットワークに提供されてもよい。その後、ディープニューラルネットワークは、受信した情報に基づいて推論すること、および／または高解像度の出力深度マップ（例えば、点群）を提供することができる。
いくつかの実施形態では、ＴｏＦセンサ、イメージセンサ、光源、およびコントローラのうちの２つ以上を同じ基板に結合することができる。すなわち、システムは、より小さなセンサパッケージを提供するために、および／または他の性能改善を提供するために、モノリシックチップまたは基板を含むことができる。
ＩＩ．システム例
図１は、例示的な実施形態によるシステム１００を示している。システム１００は、少なくとも１つの飛行時間型（ＴｏＦ）センサ１１０、またはＴｏＦカメラを含む。例示的な実施形態では、少なくとも１つのＴｏＦセンサ１１０は、複数の相補型金属酸化膜半導体（ＣＭＯＳ）または電荷結合素子（ＣＣＤ）の感光性素子（ｐｈｏｔｏｓｅｎｓｉｔｉｖｅ ｅｌｅｍｅｎｔ）（例えば、シリコンＰＩＮダイオード）を含むことができる。他のタイプの感光性素子は、ＴｏＦセンサ１１０が利用することができる。
いくつかの実施形態では、少なくとも１つのＴｏＦセンサ１１０を、光速に基づいてそれぞれの視野内の環境的特徴までの距離を能動的に推定するように構成することができる。例えば、ＴｏＦセンサ１１０は、光源（例えば、光源１３０）と、シーン内の物体との間を伝播する際の光信号（例えば、光パルス）の飛行時間を測定することができる。シーン内の複数の場所からの光パルスの飛行時間を推定することにより、距離画像または深度マップを、ＴｏＦセンサの視野に基づいて構築することができる。距離の解像度は１センチメートル以下にすることができるが、横方向の解像度が標準の２Ｄイメージングカメラと比較して低くなる可能性がある。
いくつかの実施形態では、ＴｏＦセンサ１１０は、１２０Ｈｚ以上で画像を取得することができる。制限なしに、ＴｏＦセンサ１１０は、レンジゲートイメージャまたは直接飛行時間型イメージャを含むことができる。
任意選択的に、システム１００はまた、少なくとも１つのイメージングセンサ１２０を含んでもよい。例示的な実施形態では、イメージングセンサ１２０は、複数の感光性素子を含むことができる。そのようなシナリオでは、複数の感光性素子は、少なくとも１００万個の感光性素子を含むことができる。少なくとも１つのＴｏＦセンサ１１０および少なくとも１つのイメージングセンサ１２０は、シーンからの光を受信するように構成される。
システム１００はまた、少なくとも１つの光源１３０を含む。例示的な実施形態では、少なくとも１つの光源１３０は、レーザーダイオード、発光ダイオード、プラズマ光源、ストロボライト、固体レーザー、またはファイバーレーザーのうちの少なくとも１つを含むことができる。他のタイプの光源が本開示で可能であり、企図される。少なくとも１つの光源１３０は、（例えば、車両の一部分に沿って配置された）ライトストリップを含むことができる。追加的または代替的に、少なくとも１つの光源１３０は、例えば、ライトパネルのグリッドを含むことができ、ライトパネルの各セグメントは、個別に異なる光パルスを提供することができる。またさらに、少なくとも１つの光源１３０は、点ごとにおよび／またはスキャン方式で移動可能な１つ以上の光線を提供することができる。少なくとも１つの光源１３０は、連続波（ＣＷ）モードおよび／またはパルス（例えば、正弦波、鋸歯状波、または方形波）動作モードで動作させることができる。
例示的な実施形態では、少なくとも１つの光源１３０は、赤外光（例えば、９００～１６００ナノメートル）を放射するように構成することができる。しかしながら、他の光の波長が可能であり、企図される。
いくつかの実施形態では、少なくとも１つの光源１３０は、所望の構造化光パターンに従って環境に光を放射するように構成され得る。構造化光パターンは、例えば、少なくとも１つの光源１３０による環境の非周期的および／または不均一な照明を含み得る。例えば、所望の構造化光パターンは、チェッカーボードパターン、ドットパターン、ストライプパターン、スペックルパターン、または他の所定の光パターンを含み得る。追加的または代替的に、いくつかの実施形態では、疑似ランダム光パターンが可能であり、企図される。所望の構造化光パターンは、所定のポインティング角度に沿って、および／または所定の視野内で放射される光パルスまたはショットによって定義することができる。いくつかの実施形態では、光パルスは、所望の構造化光パターンに基づいて、異なる時間的および／または空間的／角度密度で提供され得る。
少なくとも１つの光源１３０およびＴｏＦセンサ１１０は、時間的に同期させることができる。すなわち、光源１３０に光を放射させるトリガー信号を、時間基準信号としてＴｏＦイメージャ１１０に提供することもできる。したがって、ＴｏＦセンサ１１０は、光源１３０から放射された光の実際の開始の時間に関する情報を有し得る。追加的または代替的に、ＴｏＦセンサ１１０から既知の距離にある基準ターゲットに基づいて、ＴｏＦセンサ１１０を較正することができる。
複数の光源および／または複数のＴｏＦイメージャを使用するシナリオでは、複数の光源は、様々な光源から所与のＴｏＦイメージャによって取得された飛行時間情報（光パルス）を明確するために、時分割多重化または他のタイプの信号多重化（例えば、周波数またはコード多重化）を利用することができる。
いくつかの実施形態では、少なくとも１つの光源１３０は、所望の解像度を提供するために、様々な目標の場所に向かって複数の放射ベクトルに沿って環境内に光を放射するように構成することができる。そのようなシナリオでは、少なくとも１つの光源１３０は、放射した光をシステム１００の外部環境と相互作用させるために、複数の放射ベクトルに沿って光を放射するように動作可能にできる。
例示的な実施形態では、それぞれの放射ベクトルは、車両（例えば、図３Ａを参照して図示および説明される車両３００）の方位または場所に対する方位角および／または仰角（および／または対応する角度範囲）を含むことができる。いくつかの実施形態では、少なくとも１つの光源１３０によって放射される光は、可動マウントおよび／または可動ミラーを調整することによって、それぞれの放射ベクトルに沿って向けさせることができる。
例えば、少なくとも１つの光源１３０は、可動ミラーに向かって光を放射することができる。可動ミラーの向きを調整することによって、光の放射ベクトルを制御可能に修正することができる。多くの異なる物理的および光学的技術を使用して、光を所与の目標の場所に向けられ得ることが理解されよう。光の放射ベクトルを調整するためのすべてのそのような物理的および光学的技術が、本明細書で企図される。
任意選択的に、システム１００は、複数のセンサ１４０を含んでもよい。他のセンサ１４０は、ＬＩＤＡＲセンサ、レーダーセンサ、または他のタイプのセンサを含んでもよい。例えば、システム１００は、グローバルポジショニングシステム（ＧＰＳ）、慣性計測ユニット（ＩＭＵ）、温度センサ、速度センサ、カメラ、またはマイクロフォンを含むことができる。そのようなシナリオでは、本明細書に記載の動作シナリオおよび／または方法のいずれかは、他のセンサ１４０から情報を受信することと、少なくとも部分的に他のセンサ１４０から受信した情報に基づいて他の動作または方法ステップを実行することとを含むことができる。
例示的な実施形態では、少なくとも１つのＴｏＦセンサ１１０、イメージングセンサ１２０、および少なくとも１つの光源１３０のうちの少なくとも２つを共通の基板に結合することができる。例えば、少なくとも１つのＴｏＦセンサ１１０、イメージングセンサ１２０、および少なくとも１つの光源１３０を車両に結合することができる。いくつかの実施形態では、システム１００の一部または全部の要素は、車両の物体検出能力および／またはナビゲーション能力の少なくとも一部を提供することができる。車両は、半自律型または完全自律型の車両（例えば、自動運転車）とすることができる。例えば、システム１００は、図３Ａ、図４Ａ、図４Ｂ、図６Ａおよび図６Ｂを参照して図示および説明される車両３００に組み込むことができる。
いくつかの実施形態では、システム１００を、車両３００を取り巻く環境内の他の特徴の中でもとりわけ、近くの車両、道路境界、気象条件、交通標識および交通信号、および歩行者を検出して場合によっては識別するために利用される車両制御システムの一部にすることができる。例えば、車両制御システムは、深度マップ情報を使用して、自律または半自律ナビゲーション用制御戦略の決定を支援してもよい。いくつかの実施形態では、深度マップ情報は、ナビゲーション用の適切な経路の決定を支援しつつ、車両制御システムが障害物を回避するのを支援してもよい。
本明細書で説明されるいくつかの例は、車両に組み込まれるものとしてシステム１００を含むが、他の用途が可能であることが理解されよう。例えば、システム１００は、ロボットシステム、航空機、スマートホームデバイス、スマートインフラストラクチャシステムなどを含むことも、それらに組み込むこともできる。
システム１００は、コントローラ１５０を含む。いくつかの実施形態では、コントローラ１５０は、車両搭載コンピュータ、外部コンピュータ、またはスマートフォン、タブレットデバイス、パーソナルコンピュータ、ウェアラブルデバイスなどの移動計算プラットフォームを含み得る。追加的にまたは代替的に、コントローラ１５０は、クラウドサーバネットワークなどの遠隔に位置するコンピュータシステムを含み得るか、またはそれに接続され得る。例示的な実施形態では、コントローラ１５０は、本明細書において説明される、動作、方法ブロック、またはステップの一部または全部を実行するように構成されてもよい。制限なしに、コントローラ１５０は、追加的または代替的に、少なくとも１つのディープニューラルネットワーク、他のタイプの機械学習システム、および／または人工知能システムを含むことができる。
コントローラ１５０は、１つ以上のプロセッサ１５２および少なくとも１つのメモリ１５４を含んでもよい。プロセッサ１５２は、例えば、マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）を含んでもよい。ソフトウェア命令を実行するように構成された、他のタイプのプロセッサ、回路、コンピュータ、または電子デバイスが、本明細書で企図される。
メモリ１５４は、以下に限定されないが、読み出し専用メモリ（ＲＯＭ）、プログラム可能読み出し専用メモリ（ＰＲＯＭ）、消去可能プログラム可能読み出し専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラム可能読み出し専用メモリ（ＥＥＰＲＯＭ）、不揮発性ランダムアクセスメモリ（例えば、フラッシュメモリ）、半導体ドライブ（ＳＳＤ）、ハードディスクドライブ（ＨＤＤ）、コンパクトディスク（ＣＤ）、デジタルビデオディスク（ＤＶＤ）、デジタルテープ、読み取り／書き込み（Ｒ／Ｗ）ＣＤ、Ｒ／Ｗ ＤＶＤなどの非一過性コンピュータ可読媒体を含んでもよい。
コントローラ１５０の１つ以上のプロセッサ１５２は、本明細書に記載される様々な動作および方法ステップ／ブロックを実行するために、メモリ１５４に格納された命令を行うように構成されてもよい。命令は、永続的または一時的な様式でメモリ１５４に格納されてもよい。
図２は、例示的な実施形態によるシステム１００の動作シナリオ２００を示している。動作シナリオ２００は、ある動作またはブロックがある順序になっていること、およびシステム１００のある要素によって実行されることを示しているが、他の機能、動作の順序、および／またはタイミング構成も、本明細書で企図されることが理解されよう。
ブロック２１０は、コントローラ１５０が、少なくとも１つの光源１３０に、構造化光パターンに従って照明光でシーンの少なくとも一部を照明させるようにすることを含み得る。構造化光パターンは、例えば、所定の光パルス繰り返し率、所定の光パルス持続時間、所定の光パルス強度、または所定の光パルスデューティサイクルのうちの少なくとも１つを含み得る。
いくつかの実施形態では、構造化光パターンは、所与の視野内の１つ以上のスキャンにわたって静的なままであり得る。代替的または追加的に、構造化光パターンは動的に変化する可能性がある。例えば、構造化光パターンは、環境内の物体、視野内の関心領域、時刻、再帰反射器の存在などに基づいて調整することができる。いくつかの実施形態では、構造化光パターンは、チェッカーボードパターン、スペックルパターン、またはストライプパターンを含み得る。
いくつかの例示的な実施形態では、所与の視野の一部内に再帰反射器があると決定したことに応答して、再帰反射器を照明したセクタの強度を「ダイヤルダウン」することができる（例えば、前置増幅器の利得を低減する、または別様にそのセクタからの光信号がアナログおよび／またはデジタル領域において処理される方法を変更する）、および／または完全にオフまたは無視して、ブルーミング効果を回避する。このような様式で、センサはシーンの残りの部分をよりよく復元することができる。
定期的に（例えば、最大遅延時間内の数フレームごとに１回）、再帰反射器のある視野の部分を再度照らして、再帰反射器の存在を追跡することができる。センサが照明に応答して強く飽和した画素を示し続ける場合（例えば、再帰反射物体が視野のその領域にまだ存在することを示す）、システムが、その領域で再帰反射器を観測しなくなるまで、高エネルギーの照明は所定の領域まで提供されないこととなる。このような動的照明は、再帰反射器からの迷光を低減または排除し、そうでなければ信頼性の高い深度値を生成できない可能性のあるシーンの残りの部分をより確実に復元することができる。限定されないが、他のタイプの空間的、時間的、および／またはスペクトル光パターンが本明細書で企図される。
例示的な実施形態では、命令２１２は、例えば、時間ｔ０におけるコントローラ１５０から光源１３０への信号を含むことができる。命令２１２は、他の例の中でもとりわけ、所望の構造化光パターンおよび／もしくは照明スケジュール、照明レベル、または照明方向もしくは照明セクタを示すことができる。
命令２１２を受信することに応答して、光源１３０は、ブロック２１４を実行して、構造化光パターンに従ってシーンを照明することができる。一例として、光源１３０は、発光ダイオード（ＬＥＤ）、レーザー、ストロボ光、または他のタイプの光源であり得る、１つ以上の発光素子を照明することができる。そのような発光素子は、所望の構造化光パターンを提供するように照明することができる（例えば、所望のポインティング／コーン角度のセットに沿って光を提供する、発光素子を所望の時間だけ照明する、発光素子を所望の周波数およびデューティサイクルで照明するなど）。いくつかの実施形態では、光源１３０は、光を所望のポインティング角度および／またはコーン角度のセットに向けるように、１つ以上のレンズ、および／またはバッフルなどの光学素子を含み得る。
ブロック２２０は、少なくとも１つのＴｏＦセンサ１１０に、光源１３０によって提供される構造化光パターンに基づく、シーンの深度マップを示す情報（例えば、飛行時間情報）を提供させることを含む。例えば、時間ｔ１において、ブロック２２０は、コントローラ１５０からＴｏＦセンサ１１０に命令２２２を提供することを含むことができる。命令２２２は、ＴｏＦセンサ１１０の深度マッピング機能をトリガーするための信号を含むことができる。追加的または代替的に、命令２２２は、スキャンのための所望の視野、スキャンのための所望の範囲、所望の解像度、ならびに／または深度マップおよび／もしくはＴｏＦセンサスキャンの他の所望の態様を示す情報を含むことができる。
ブロック２２４は、ＴｏＦセンサ１１０が、光源１３０によって提供される構造化光パターンに少なくとも部分的に基づいて、深度マップを取得することを含み得る。すなわち、命令２２２の受信に応答して、ＴｏＦセンサ１１０は、シーンの視野の深度マッピングスキャンを実行することができる。例示的な実施形態では、ＴｏＦセンサ１１０は、１０～１００ＭＨｚで動作することができるが、他の動作周波数も可能である。いくつかの実施形態では、ＴｏＦセンサ１１０の動作周波数は、所望の最大深度感知範囲に基づいて調整されてもよい。例えば、ＴｏＦセンサ１１０は、約７．５メートルの所望の深度検知範囲に対して２０ＭＨｚで動作させることができる。いくつかの実施形態では、ＴｏＦセンサ１１０は、１００メートル以上の所望の最大深度感知範囲を有することができる。複数のＴｏＦセンサを含むいくつかの実施形態では、シーンの異なる視野および／または異なる距離範囲にわたって深度マッピングスキャンを実行するように、ＴｏＦセンサを構成および／または指示することができる。
時間ｔ２において、ブロック２２４に従って深度マップを取得すると、ＴｏＦセンサ１１０は、情報２２６をコントローラ１５０に提供することができる。情報２２６は、シーンの深度マップを示してもよい。例えば、情報２２６は、シーンの距離ベースのポイントマップを含むことができる。追加的または代替的に、情報２２６は、シーン内で決定された物体の表面マップを含むことができる。他のタイプの情報２２６が可能であり、企図される。
ブロック２３０は、光源１３０によって提供された構造化光パターンに基づく、シーンの画像を示す情報をイメージングセンサ１２０に提供させることを含む。一例として、時間ｔ３において、コントローラ１５０は、イメージングセンサ１２０に命令２３２を提供することができる。命令２３２は、イメージングセンサ１２０の画像キャプチャ機能をトリガーするための信号を含むことができる。さらに、命令２３２は、所望の露光、周囲の照明レベル、周囲の照明色温度、時刻などに関する情報を含み得る。ｔ１およびｔ３は、異なるものとして図２に示されているが、いくつかの実施形態では、時間ｔ１およびｔ３は、類似または同一であり得る。すなわち、いくつかの実施形態では、深度マッピングおよび画像キャプチャプロセスの少なくともいくつかの部分を、並行にトリガーして実行することができる。
ブロック２３４は、命令２３２を受信することに応答して、イメージングセンサ１２０が、構造化光パターンによって照明されたシーンの画像を取得することを含む。言い換えれば、命令２３２は、画像キャプチャプロセスを開始するために、物理的シャッター機構またはデジタルシャッターをトリガーすることができる。
画像をキャプチャすると、時間ｔ４において、イメージセンサ１２０は、情報２３６をコントローラ１５０に提供することができる。情報２３６は、例えば、キャプチャされた画像、ならびにキャプチャされた画像に関するメタデータ（例えば、露光時間、絞り設定、イメージャ感度（ＩＳＯ）、視野範囲など）などの他の情報を含むことができる。いくつかの実施形態では、情報２３６は、ＲＡＷ画像データを含むことができるが、他の非圧縮画像データフォーマットおよび圧縮画像データフォーマット（ＢＭＰ、ＪＰＥＧ、ＧＩＦ、ＰＮＧ、ＴＩＦＦなど）が可能であり、企図される。
ブロック２４０は、シーンの深度マップ（例えば、情報２２６）およびシーンの画像（例えば、情報２３６）に基づいて、シーンの高解像度深度マップを決定することを含むことができる。例示的な実施形態では、深度マップ情報２２６および画像情報２３６は、様々な画像処理アルゴリズムを使用して比較および／または相関させることができる。このようなアルゴリズムは、限定されないが、テクスチャ合成、画像リサンプリングアルゴリズム、補間アルゴリズム、画像鮮明化アルゴリズム、エッジ検出アルゴリズム、および画像ぼかしアルゴリズムなどを含み得る。したがって、高解像度深度マップはシーンに関する深度情報を含むことができ、これはＴｏＦセンサ１１０によって得られた深度マップよりも高い空間分解能を有する。いくつかの実施形態では、空間解像度を、システム１００から離れた所与の距離における目標解像度に関連付けることができる。他の空間解像度として、二次元表面に沿ったものと三次元空間内のものとの両方が、本明細書で可能であり、企図される。一例として、ＴｏＦセンサ１１０によって取得された深度マップは、２０メートルの範囲で、隣接するサンプリングポイントの間に１０センチメートルの空間分解能を提供することができる。高解像度の深度マップは、２０メートルの範囲で５センチメートル未満の空間解像度を提供することができる。他の実施形態では、高解像度深度マップは、システム１００の視野内の物体（例えば、他の車両、歩行者、障害物、標識、信号など）を感知するのに十分であり得る他の空間解像度を含み得る。
ブロック２５０は、シーンの深度マップと、任意選択的に、シーンの画像とに基づいて、シーンに関する少なくとも１つの推論を決定することを含み得る。例えば、コントローラ１５０は、ブロック２４０で決定された高解像度深度マップに基づいて、シーンに関する少なくとも１つの推論を決定することができる。そのようなシナリオでは、少なくとも１つの推論は、車両の環境内の１つ以上の物体または車両の動作状況に関する情報を含んでもよい。コントローラ１５０がディープニューラルネットワークを含むシナリオでは、ブロック２５０を、少なくとも部分的に、ディープニューラルネットワークによって実施することができる。
動作シナリオ２００は、コントローラ１５０によって実行されるものとして様々な動作またはブロック２１０、２２０、２３０、２４０、および２５０を説明しているが、動作シナリオ２００の動作の少なくともいくつかは、１つ以上の他のコンピューティングデバイスによって実行できることが理解されよう。
動作シナリオ２００は様々な動作を説明しているが、より多くの動作とより少ない動作が企図されることが理解されよう。例えば、動作は、イメージングセンサ１２０に所望の露出を提供するために、複数の可能な照明スケジュールの中から照明スケジュールを選択することをさらに含むことができる。
図３Ａ、３Ｂ、および３Ｃは、システム１００およびその要素の様々な実施形態を示している。図３Ａは、例示的な実施形態による車両３００を示している。車両３００は、１つ以上のセンサシステム３０２、３０４、３０６、３０８、３１０、３５４ａ～３５４ｄ、および３５６ａ～３５６ｄを含んでもよい。いくつかの実施形態では、１つ以上のセンサシステム３０２、３０４、３０６、３０８、および３１０は、ＬＩＤＡＲセンサユニットおよび／またはレーダーセンサユニットを含むことができる。センサシステム３０２、３０４、３０６、３０８、および３１０のうちの１つ以上は、車両３００の周囲の環境を光パルスおよび／またはレーダーエネルギーで照明するために、所与の平面に垂直な軸（例えば、ｚ軸）の周りを回転するように構成されてもよい。追加的にまたは代替的に、センサシステム３０２、３０４、３０６、３０８、および３１０のうちの１つ以上は、放射された光パルスおよび／またはレーダーエネルギーを車両３００の環境内に向けるために、可動ミラーを含むことができる。ＬＩＤＡＲベースのセンサの場合、反射光パルスの様々な側面（例えば、経過した飛行時間、偏光など）を決定することで、本明細書で説明する環境に関する情報を提供してもよい。同様に、レーダーベースのセンサは、レーダーエネルギーが環境とどのように相互作用するかに基づいて、所与のシーンに関する情報を決定してもよい。
例示的な実施形態では、センサシステム３０２、３０４、３０６、３０８、および３１０は、車両３００の環境内の物理的物体に関連付けられ得るそれぞれの点群情報またはその他のタイプの情報（例えば、マップ、物体データベースなど）を提供するように構成されてもよい。車両３００、ならびにセンサシステム３０２および３０４は、特定の特徴を含むものとして示されているが、他のタイプのセンサも、本開示の範囲内で企図されることが理解されよう。
図３Ｂは、例示的な実施形態による、センサユニット３５０の正面図を示している。センサユニット３５０は、ハウジング３５２を含むことができる。いくつかの実施形態では、ハウジング３５２は、車両３００に結合することも、車両３００に統合することもできる。例示的な実施形態では、センサユニット３５０は、図１を参照して図示および説明されるイメージングセンサ１２０と類似または同一であり得るイメージングセンサ３５４を任意選択的に含み得る。さらに、センサユニット３５０は、図１を参照して図示および説明されるＴｏＦセンサ１１０と類似または同一であり得るＴｏＦセンサ３５６を含むことができる。図３Ｂは、共通のハウジング３５２内に配置されたイメージングセンサ３５４およびＴｏＦセンサ３５６を示しているが、イメージングセンサ３５４およびＴｏＦセンサ３５６を、異なる場所に配置することができる。そのような要素の他の配置が本明細書で可能であり、企図されることが理解されよう。
図３Ｃは、例示的な実施形態による光源３７０を示している。光源３７０は、ハウジング３７２を含むことができる。いくつかの実施形態では、ハウジング３７２は、車両３００に結合することも、車両３００に統合することもできる。例示的な実施形態では、光源３７０は、図１を参照して図示および説明される光源１３０と類似または同一であり得る複数の発光素子３７４ａ～３７４ｈを含んでもよい。発光素子３７４ａ～３７４ｈは、アレイまたは他の空間配置で配置することができる。例示的な実施形態では、発光素子３７４ａ～３７４ｈは、発光ダイオード（ＬＥＤ）またはレーザーダイオードであり得る。他のタイプの光源が可能であり、企図される。
発光素子３７４ａ～３７４ｈは、赤外線（例えば、７００～１０５０ｎｍの近赤外線）波長範囲の光を放射するように構成することができる。しかしながら、いくつかの実施形態では、他の波長の光が企図される（例えば、１５５０ｎｍ）。いくつかの実施形態では、発光素子３７４ａ～３７４ｈは、互いに異なる波長の光を放射するように構成することができる。すなわち、発光素子３７４ａ～３７４ｈは、８つの異なる波長の光を放射するように構成することができる。そのようなシナリオでは、システム１００および／または車両３００は、個別の発光素子によって放射される光信号を（または異なる光源３７０を）、その波長に基づいて明確にするように構成することができる。いくつかの実施形態では、多色光を、多色イメージングセンサおよび／または多色ＴｏＦセンサによって受信することができる。
いくつかの実施形態では、発光素子３７４ａ～３７４ｈは、発光素子３７４ａ～３７４ｈから放射された光と相互作用するように構成された１つ以上の光学素子を含むことができる。制限なしに、１つ以上の光学素子を、放射された光を方向転換、成形、減衰、増幅、または別様に調整するように構成することができる。例えば、１つ以上の光学素子は、ミラー、光ファイバー、回折光学素子、非球面レンズ、円筒状のレンズ、または球面レンズを含むことができる。他のタイプの光学素子が可能であり、企図される。
いくつかの例示的な実施形態では、発光素子３７４ａ～３７４ｈは、車両３００の周りの環境の異なる空間セクタ（例えば、異なる方位角範囲および／または仰角範囲を含む）に向かって光を放射するために、動作可能にできる。さらに、いくつかの実施形態では、発光素子３７４ａ～３７４ｈは、所与の期間中の異なる時間に光を放射するように動作可能にできる。すなわち、発光素子３７４ａ～３７４ｈのそれぞれは、所与の期間にわたるそれぞれの期間中に光を放射するように制御することができる。例えば、発光素子３７４ａ～３７４ｈは、連続パターン（例えば、ある発光素子が他の発光素子に続いて「追跡」パターンで点灯）で光を放射することができる。追加的または代替的に、１つ以上の発光素子３７４ａ～３７４ｈは、並列方式で光を放射（例えば、いくつかの発光素子が同時に光を放射）することができる。
図３Ａに戻ると、車両３００は、図３Ｂを参照して図示および説明されるセンサユニット３５０と類似または同一であり得る複数のセンサユニットを含むことができる。さらに、それぞれのセンサユニットは、各々、イメージングセンサ３５４ａ～３５４ｄおよびＴｏＦセンサ３５６ａ～３５６ｄを含むことができる。図示したように、イメージングセンサ３５４ａ～３５４ｄおよびＴｏＦセンサ３５６ａ～３５６ｄのそれぞれの対は、車両３００の前部、右側部、左側部、および後部に結合または統合することができる。イメージングセンサ３５４ａ～３５４ｄおよびＴｏＦセンサ３５６ａ～３５６ｄについては、他の取り付けタイプおよび取り付け場所も企図される。例えば、いくつかの実施形態では、イメージングセンサ３５４ａ～３５４ｄおよびＴｏＦセンサ３５６ａ～３５６ｄは、車両３００の周囲の環境から撮像情報およびＴｏＦ情報を取得するために、ｚ軸を中心に回転するように構成された回転可能なマウントに配置することができる。
センサシステム３５４ａ／３５６ａ、３５４ｂ／３５６ｂ、３５４ｃ／３５６ｃ、および３５４ｄ／３５６ｄは並んでいるように図示されているが、他のセンサ配置が可能であり、企図されることが理解されよう。さらに、センサシステムの特定の場所および数が図３Ａ～３Ｃに示されているが、様々なセンサシステムの異なる取り付け場所および／または異なる数が企図されることが理解されよう。
車両３００は、図１を参照して図示および説明される光源１３０と類似または同一であり得る複数の光源３７０ａ～３７０ｄを含むことができる。図示したように、光源３７０ａ～３７０ｄは、車両３００の前部、右側部、左側部、および後部に結合または統合することができる。複数の光源３７０ａ～３７０ｄについては、他の取り付けタイプおよび取り付け場所が企図される。例えば、いくつかの実施形態では、光源３７０は、制御可能な方位角範囲に向かって光を放射するために、ｚ軸の周りを回転するように構成された回転可能なマウントに配置することができる。
図４Ａ、４Ｂは、様々な感知シナリオ４００および４２０を示している。各々の場合において、明確にするために、感知シナリオ４００および４２０は、可能性のある空間セクタおよびセンサプロファイル／センサ範囲のサブセットのみを例示してもよい。他の空間セクタが本開示の範囲内で可能であり、企図されることが理解されよう。さらに、感知シナリオ４００および４２０が、時間における単一の「スナップショット」のみを例示してもよいことと、空間セクタおよびセンサプロファイル／センサ範囲が、他の要因の中でもとりわけ、車両３００の動的変化動作状況に基づいて周期的にまたは連続的に変化するために、動的に調整されてもよいことが理解されよう。
図４Ａは、例示的な実施形態による、感知シナリオ４００における車両３００の俯瞰図／上面図を示している。感知シナリオ４００は、車両３００の環境の前方セクタを構造化光パターン４０２で照明することを含む。例えば、光源３７０ａは、車両３００の前方セクタを構造化光パターン４０２で照明するために、１つ以上の発光素子から光を放射することができる。
パルス照明スケジュールまたは連続波照明スケジュールに従って、構造化光パターン４０２を提供することができる。他のタイプの照明スケジュールが企図される。例えば、コントローラ１５０から「オンデマンド」で、または車両３００の動作状況に基づいて、構造化光パターン４０２を提供することができる。一例として、低照度条件（例えば、夜間）で、または車両３００の環境内の物体を決定することに応答して、構造化光パターン４０２を提供することができる。非限定的な例として、車両３００の他のセンサシステムは、車両３００の前方にある不明瞭なまたは未知の物体（図示せず）を識別することができる。不明瞭なまたは未知の物体は、さらなる分析のために識別することができる。そのようなシナリオでは、コントローラ１５０は、光源３７０ａに、構造化光パターン４０２を前方セクタに提供させることができる。
図４Ａは、照明された状態の前方セクタを示しているが、いくつかの実施形態では、光源３７０ａは、構造化光パターン４０２のポインティング方向を調整するように構成されてもよい。他の光源３７０ｂ～３７０ｄは、それぞれの位置に対応する様々な空間セクタに同様の構造化光パターンを提供できることも理解されよう。例えば、光源３７０ｄは、構造化光パターンに従って、後向きの空間セクタに光を放射することができる。
図４Ａ、図４Ｂでは、構造化光パターン４０２および空間セクタは２次元であるように見えるが、３次元空間ボリュームも企図されることが理解されよう。例えば、構造化光パターン４０２および／または空間セクタは、方位角範囲の間として定義することができるとともに、最大仰角と最小仰角の間としても定義することができる。
図４Ｂは、例示的な実施形態による、感知シナリオ４２０における車両３００の俯瞰図／上面図を示している。感知シナリオ４２０は、視野４０４から光を取得するイメージングセンサ３５４ａを含むことができる。イメージングセンサ３５４ａによって得られる光の少なくとも一部は、構造化光パターン４０２が車両３００の環境と相互作用した後の反射光または屈折光を含み得る。すなわち、シーン４０４は、光学システム３００の前方空間セクタを含むことができる。いくつかの実施形態では、イメージングセンサ３５４ａの視野４０４は、構造化光パターン４０２によって照らされたボリュームと部分的または完全に重なり得る。視野４０４から得られた光に基づいて、イメージングセンサ３５４ａは、構造化光パターン４０２に少なくとも部分的に基づく、シーンの画像を提供することができる。
感知シナリオ４２０はまた、視野４０６から光を取得するＴｏＦセンサ３５６ａを例示する。ＴｏＦセンサ３５６ａによって得られる光の少なくとも一部は、車両３００の環境と相互作用した構造化光パターン４０２からのものであり得る。すなわち、シーン４０６は、光学システム３００の前方空間セクタを含むことができる。いくつかの実施形態では、ＴｏＦセンサ３５６ａの視野４０６は、構造化光パターン４０２によって照らされたボリュームと部分的または完全に重なり得る。視野４０６から得られた光に基づいて、ＴｏＦセンサ３５６ａは、構造化光パターン４０２に少なくとも部分的に基づく、シーンの深度マップを提供することができる。
図４Ｃは、例示的な実施形態による、様々な構造化光パターン４３０を示している。様々な構造化光パターン４３０は、例えば、垂直ストライプ構造化光パターン４３２、ドットアレイ構造化光パターン４３４、チェッカーボード構造化光パターン４３６、斜めのストライプ構造化光パターン４３８、「ドロップアウト」構造化光パターン４４０、および／またはスペックル構造化光パターン４４２を含み得る。
図４Ｄは、例示的な実施形態による、構造化光パターン４４４を示している。一例として、構造化光パターン４４４は、水平ストライプ構造化光パターン４４６を含み得る。他の構造化光パターンも可能であり、それぞれが制限なく企図されることが理解されよう。
いくつかの実施形態では、構造光パターン４３０の一部または全部の部分の照明レベル（例えば、明るさ）は、シーン内の物体および／またはシーンに関する事前情報に基づいて動的に調整することができる。一例として、シーンの様々な部分に提供される照明の量は、予測された、または既知の高度再帰反射物体の存在に基づくことができる。シナリオでは、ＴｏＦセンサは、比較的低い照明レベルでシーンを照らしながら、シーンの初期スキャンをキャプチャできる。一例として、初期のスキャンは、短い（例えば、１０マイクロ秒）照明期間を含み得る。このような初期のスキャンは、シーン内に存在する再帰反射器に関する情報を提供することができる。シーンの後続のスキャンは、再帰反射器が存在しないシーンの部分に対して、比較的高い照明レベル（例えば、１００マイクロ秒以上の照明期間）で実施され得る。後続のスキャンは、反射率の高い物体の存在を確認するために、再帰反射器を有するシーンの部分を比較的低い照明レベルで照明することを含み得る。
例えば、図４Ｃを参照すると、再帰反射領域４３５ａが初期スキャン中に所与のシーン内で識別された場合、後続のスキャン中にシーンの他の領域４３５ｂに対して、その再帰反射領域４３５ａの照明は、低減され得る。シーン内の照明レベルを動的に調整することにより、潜在的なブルーミングの問題および／または再帰反射器に関連するその他の問題をほぼリアルタイムで回避または低減できる。シーンの他の部分に対してシーンの特定の部分を差動的に照明する他の方法が企図され、可能である。
ＩＩＩ．例示的方法
図５は、例示的な実施形態による方法５００を示している。方法５００は、本明細書に明示的に示されているかまたは別様に開示されているものよりも少ないまたは多くのステップまたはブロックを含んでもよいことが理解されよう。さらに、方法５００のそれぞれのステップまたはブロックは、任意の順序で実施されてもよく、各ステップまたはブロックは、１回以上実施されてもよい。いくつかの実施形態では、方法５００のブロックまたはステップの一部または全部は、システム１００の要素によって実行されてもよい。例えば、方法５００の一部または全部は、図１に関連して図示され、説明されるように、コントローラ１５０、ＴｏＦセンサ１１０、および／またはイメージングセンサ１２０によって実行され得る。さらに、方法５００は、図２に関連して図示されるように、少なくとも部分的に動作シナリオ２００によって説明されてもよい。またさらに、方法５００は、図３Ａ、図４Ａ、図４Ｂ、図６Ａ、または図６Ｂに関連して図示され、説明されるように、少なくとも部分的に車両３００または車両４００によって実行されてもよい。方法５００は、図４Ａ、図４Ｂ、および図４Ｃに関連して図示され、説明されるように、シナリオ４００と類似または同一のシナリオで実行されてもよい。他のシナリオが本開示の文脈内で可能であり、企図されることが理解されよう。
ブロック５０２は、少なくとも１つの光源に、シーンを構造化光パターンで照明させることを含む。構造化光パターンは、図４Ａ、図４Ｂ、および図４Ｃ示され、説明されているように、構造化光パターン４０２、４３２、４３４、４３６、４３８、４４０、および４４２と類似または同一であり得る。例示的な実施形態では、構造化光パターンは、時間的な光パターン、空間光パターン、所定の光パルス繰り返し率、所定の光パルス持続時間、所定の光パルス強度、または所定の光パルスデューティサイクルのうちの少なくとも１つを含み得る。
ブロック５０４は、飛行時間型（ＴｏＦ）センサから、構造化光パターンに基づく、シーンに関する情報（例えば、飛行時間情報）を受信することを含む。例示的な実施形態では、コントローラ１５０は、ＴｏＦセンサに、構造化光パターンに基づいて深度スキャンを開始させることができる。いくつかの実施形態では、クロック信号またはトリガー信号をＴｏＦセンサに提供して、環境に放射される１つ以上の光パルスと同期させることができる。深度マップ情報を取得すると、ＴｏＦセンサは、コントローラ１５０またはシステム１００の別の要素への深度マップ情報を示す情報をコントローラ１５０に提供することができる。
ブロック５０６は、受信した情報に基づいてシーンの深度マップを決定することを含む。例えば、シーンの深度マップを決定することには、環境に放射された光パルスの飛行時間に基づいて、環境内の物体までの距離を計算することを含み得る。受信した情報に基づいてシーンの深度マップを決定する他の方法が企図されている。
任意選択的に、方法５００は、イメージングセンサに、構造化光パターンに基づく、シーンの画像を示す情報を提供させることを含み得る。いくつかの実施形態では、コントローラ１５０は、イメージングセンサのメカニカルシャッターまたは電子シャッターをトリガーして開放し、シーンの画像を取得することができる。追加的または代替的に、コントローラ１５０は、シーンに関する情報（例えば、周囲光レベル、関心のある特定のセクタ、所望の解像度、時刻など）を提供することができる。さらに、コントローラ１５０または光源１３０は、イメージングセンサと光源を同期させるために、クロック信号またはトリガー信号を提供することができる。シーンの画像を取得すると、イメージングセンサは、画像を示す情報をコントローラ１５０またはシステム１００の他の要素に提供することができる。
追加的または代替的に、方法５００は、複数の可能な構造化光パターンの中から所望の構造化光パターンを選択することを含み得る。いくつかの実施形態では、イメージングセンサに所望の露光を提供するように、所望の構造化光パターンを選択することができる。追加的または代替的に、所望の構造化光パターンを選択することは、外光レベル、他の光源、太陽の角度などを含むいくつかの変数に基づくことができる。したがって、方法５００は、周囲光の量（例えば、周囲光センサから測定される）、時刻、および／または気象条件に基づいて、構造化光パターンを調整することを含み得る。
任意選択的に、方法５００は、シーンの深度マップおよびシーンの画像に基づいて、シーンの高解像度深度マップ（例えば、ＴｏＦセンサによって個別に提供される深度マップよりも高解像度の深度マップ）を決定することを含み得る。
ブロック５０８は、シーンの深度マップと、任意選択的に、シーンの画像とに基づいて、シーンに関する少なくとも１つの推論を決定することを含む。いくつかの実施形態では、少なくとも１つの推論は、車両の環境内の１つ以上の物体または車両の動作状況に関する情報を含むことができる。
例示的な実施形態では、少なくとも１つの推論を決定することは、少なくとも１つのディープニューラルネットワークによって実施することができる。追加的または代替的に、方法５００の一部または全部のブロックは、他のタイプの人工知能ベースのアルゴリズムを実装するコンピューティングシステムによって実行され得る。
図６Ａおよび図６Ｂは、本開示の文脈における感知シナリオを示している。感知シナリオは、システム１００（例えば、図１を参照して図示および説明される）、車両３００（例えば、図３Ａ、図４Ａ、および図４Ｂを参照して図示および説明される）、および方法５００（例えば、図５を参照して図示および説明される）に関連し得る。
図６Ａは、例示的な実施形態による感知シナリオ６００を示している。図６Ａに示されるように、車両３００は、１つ以上の物体を含む環境で動作し得る。図示するように、車両３００は、センサユニット３０２、３０６、３０８、および３１０を含む。例えば、センサユニット３０２は、第１のＬＩＤＡＲ（図示せず）および第２のＬＩＤＡＲ（図示せず）を含み得る。さらに、例えば、センサユニット３０６、３０８、および３１０の各々はまた、ＬＩＤＡＲを含み得る。図示するように、車両３００は、イメージングセンサ３５４ａ～３５４ｄ、ＴｏＦセンサ３５６ａ～３５６ｄ、および光源３７０ａ～３７０ｄをさらに含み得る。車両３００は、異なる数および／または配置のイメージングセンサ３５４ａ～３５４ｄ、ＴｏＦセンサ３５６ａ～３５６ｄ、および光源３７０ａ～３７０ｄを含み得ることが理解されよう。
図示するように、車両３００の環境は、車６１４と６１６、道路標識６１８、樹木６２０、建物６２２、標識６２４、歩行者６２６、犬６２８、車６３０、車道６３２、および車線６３４を含む車線などの様々な物体を含む。いくつかの実施形態では、これらの物体は異なる反射率を有し、これにより、正確な深度マップ情報を取得することがより困難なり得る。本開示によれば、車両３００は、車両３００の自律動作および／または車両３００による事故回避を容易にするために、方法５００などの本明細書の方法およびプロセスを実施し得る。
図６Ｂは、例示的な実施形態による感知シナリオ６５０を示している。いくつかの実施形態では、車両３００およびその関連する光源は、１つ以上の構造化光パターン６５２および６５４に従って、その環境に光を放射することができる。例えば、図示のように、右向きの光源は、チェッカーボードパターンを含むことができる構造化光パターン６５４で環境を照明することができる。さらに、正面向きの光源は、構造化光パターン６５２で環境を照明することができる。
他のシナリオが同様に可能である。したがって、本方法およびシステムは、構造化光パターンで環境を照明するように構成された光源と組み合わせて１つ以上のＴｏＦセンサを利用することによって、車両３００などの車両の自律動作および／または事故回避を容易にし得る。
本明細書に記載のシステムおよび方法は、環境に関する事前情報を含んでもよい。そのような事前情報は、車両の局所環境の、および／またはＴｏＦセンサのシーン内の、高忠実度３次元モデルを含み得る。そのようなシナリオでは、事前情報は、少なくとも部分的に、車両および／またはセントラルサーバまたはローカルサーバに置くことができる。
いくつかの実施形態では、事前情報をＴｏＦ情報／深度マップと組み合わせて利用して、センサをよりよく較正し、および／または車両をよりよく位置特定することができる。すなわち、事前情報と少なくとも１つの深度マップとの比較は、ＴｏＦセンサの内的および外的特性の決定の一助となり得る。このようなシナリオでは、決定された内的および／または外的特性を使用して、ＴｏＦセンサを較正することができる。追加的または代替的に、事前情報と少なくとも１つの深度マップとの比較は、事前情報を少なくとも１つの深度マップに整列または登録することを含み得る。そうすることで、整列／登録プロセスは、車両のより正確な絶対位置、進行方向、速度、またはその他の特性、および／またはその環境の他の観点の決定を補助することができる。言い換えれば、事前情報を少なくとも１つの深度マップと組み合わせて利用することで、単独で取得されたセンサ情報よりも車両に関するより正確な情報を提供することができる。このようなシナリオでは、事前情報は、その中で車両の位置特定が可能な参照フレームを表すことができる。
図７は、例示的な実施形態による方法７００を示している。方法７００のブロックおよび／または要素は、図５および６を参照して図示および説明される方法５００または６００の対応する要素と類似または同一であり得る。
ブロック７０２は、シーンの３次元情報を含む事前情報を提供することを含む。事前情報は、例えば、以前に取得された画像、ＴｏＦ、および／またはＬＩＤＡＲデータを含み得る。事前情報は、追加的または代替的に、地図、点群、または深度マップ、または他のタイプの情報を含み得る。
ブロック７０４は、少なくとも１つの光源に、シーンを構造化光パターンで照明させることを含む。構造化光パターンは、本明細書に記載されている他の構造化光パターンと類似または同一であり得る。
ブロック７０６はまた、少なくとも１つのＴｏＦセンサに、構造化光パターンに基づく、シーンの深度マップを示す飛行時間情報を提供させることを含む。本明細書で説明するように、構造化光パターンでシーンを照明しながら、ＴｏＦセンサを動作させることができる。そうすることで、シーン内の物体の深度に関するより詳細な情報を提供することができる。
追加的または代替的に、事前情報を利用して深度推定を改善することができる。そのようなシナリオでは、事前情報を、深度マップに投影することができる。様々な方法（例えば、レイトレーシング、主成分序列化（ＰＣｏＡ）、非計量多次元尺度構成法（ＮＭＤＳ）、またはその他の方法）を使用して、深度マップへの３次元事前情報の投影を実施することができ、それらの各々は本明細書で企図される。事前情報を深度マップに投影することにより、深度情報をより正確にダブルチェック、較正、検証、および／または推定することができる。
またさらに、事前情報を利用して、背景差分を実施することができる。そのようなシナリオでは、事前情報は、関連するセンサ深度外にある（例えば、車両から遠く離れた）物体に関する情報を含むことができる。そのような状況では、関連するセンサ深度外にある物体に対応する深度マップ情報を、無視したり、考慮から外したり、削除したり、および／または環境の他のより関連性のある領域よりも低い解像度で処理したりすることができる。
さらに、事前情報を少なくとも部分的に使用して、再帰反射物体が所与の環境内のどこにあるかを決定することができる。車両（およびそのＴｏＦイメージングシステム）がそのような環境に入ると、再帰反射物体の影響を軽減するために、システムの動作を調整することができる。例えば、システムは、環境の他の領域と比較して、より低い強度レベルで既知の再帰反射物体に対応する環境を照明することができる。そのようなシナリオでは、ハイブリッドイメージングシステムは、再帰反射物体が原因で発生する可能性のある「ブルーミング」効果または「ブラインド」効果を回避することができる。追加的または代替的に、ハイブリッドイメージングシステムは、異なる変調周波数で動作し、および／または異なる速度で照明源を点灯することができる。再帰反射器の影響を軽減する他の方法が本明細書で可能であり、企図される。
いくつかの実施形態では、ＴｏＦセンサからの複数の画像／スキャンを利用して、シーンに関する情報を取得することができ、これは、本開示に記載される他の情報と併用することができる。例えば、「オプティカルフロー」は、２つの連続するＴｏＦフレーム間の物体の見かけの動きのパターンによって取得することができる。オプティカルフローは、例えば、第１のＴｏＦフレームと第２のＴｏＦフレームとの間のシーン内の対応する物体の変位を含む２次元ベクトルフィールドを含み得る。オプティカルフローに基づいて、物体までの距離を推測および／または予測することができる。オプティカルフローからのそのような距離情報は、ＴｏＦ情報を使用して推定される深度範囲を制限するために利用することができる。すなわち、オプティカルフローは、所与のシーン内の物体の範囲に関するさらなる情報を提供することができる。大まかな深度情報を使用して、ＴｏＦセンサおよび／または照明源の動作パラメータを決定することができる。追加的または代替的に、大まかな深度情報を使用して、システムによって使用される動作パラメータのセットをより一般的に制限または制約することができる。
図に示されている特定の配置は、限定と見なされるべきではない。他の実施形態が、所与の図に示される各要素をより多く、またはより少なく含んでもよいことを理解されたい。また、図示の要素のうちのいくつかを、組み合わせても、省いてもよい。さらにまた、例示的な実施形態は、図示されていない要素を含んでもよい。
情報の処理を表すステップまたはブロックは、本明細書に記載の方法または技法の特定の論理機能を実施するように構成することができる回路に対応し得る。代替的にまたは追加的に、情報の処理を表すステップまたはブロックは、モジュール、セグメント、物理コンピュータ（例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）もしくは特定用途向け集積回路（ＡＳＩＣ））、またはプログラムコードの一部分（関連データを含む）に対応し得る。プログラムコードは、特定の論理機能または論理動作を方法または技法において実装するための、プロセッサにより実行可能な１つ以上の命令を含み得る。プログラムコードおよび／または関連データは、ディスク、ハードドライブ、または他の記憶媒体を含む、記憶デバイスなどの任意のタイプのコンピュータ可読媒体に格納することができる。
コンピュータ可読媒体は、レジスタメモリ、プロセッサキャッシュ、およびランダムアクセスメモリ（ＲＡＭ）のような、データを短期間格納するコンピュータ可読媒体などの非一時的コンピュータ可読媒体も含み得る。コンピュータ可読媒体は、プログラムコードおよび／またはデータを長期間にわたって格納する非一時的コンピュータ可読媒体も含み得る。このように、コンピュータ可読媒体は、例えば、読み取り専用メモリ（ＲＯＭ）、光ディスクまたは磁気ディスク、コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）のような二次的なまたは長期永続的記憶装置を含み得る。コンピュータ可読媒体は、任意の他の揮発性または不揮発性の記憶システムとすることもできる。コンピュータ可読媒体は、例えばコンピュータ可読記憶媒体、または有形の記憶デバイスと考えることができる。
様々な例および実施形態が開示されてきたが、他の例および実施形態が当業者には明らかであろう。様々な開示された例および実施形態は、例示の目的のためであり、限定することを意図するものではなく、その真の範囲は、以下の特許請求の範囲により示される。

Claims (26)

  1. センサシステムであって、
    シーンからの光を受信するように構成されている少なくとも１つの飛行時間型（ＴｏＦ）センサと、
    構造化光パターンを放射するように構成されている少なくとも１つの光源と、
    動作を実行するコントローラと、を含み、前記動作が、
    前記少なくとも１つの光源に、照明期間に前記シーンの少なくとも一部を前記構造化光パターンで照明させることと、
    前記照明期間における前記構造化光パターンの照明により得られる情報に基づいて、前記シーンにおいて少なくとも１つの再帰反射領域を識別することと、
    識別された前記少なくとも１つの再帰反射領域に基づいて前記構造化光パターンを調整することと、
    前記少なくとも１つのＴｏＦセンサに、調整された前記構造化光パターンに基づく前記シーンの深度マップを示す飛行時間情報を提供させることと、を含む、センサシステム。
  2. 前記少なくとも１つのＴｏＦセンサが、複数の相補型金属酸化膜半導体（ＣＭＯＳ）または電荷結合素子（ＣＣＤ）の感光性素子を含む、請求項１に記載のセンサシステム。
  3. 前記構造化光パターンが、光の所定の空間分布、光の所定の時間分布、または光の所定のスペクトル分布のうちの少なくとも１つを含む、請求項１に記載のセンサシステム。
  4. 前記構造化光パターンが、複数の光ビームを含み、前記複数の光ビームが、点ごとまたは走査方式のうちの少なくとも１つで調整される、請求項１に記載のセンサシステム。
  5. 前記構造化光パターンが、所定の光パルス繰り返し率、所定の光パルス持続時間、所定の光パルス強度、または所定の光パルスデューティサイクルのうちの少なくとも１つを含む、請求項１に記載のセンサシステム。
  6. 前記少なくとも１つの光源が、レーザーダイオード、発光ダイオード、プラズマ光源、ストロボライト、固体レーザー、またはファイバーレーザーのうちの少なくとも１つを含む、請求項１に記載のセンサシステム。
  7. 前記動作が、複数の可能な構造化光パターンの中から所望の構造化光パターンを選択することをさらに含み、前記少なくとも１つの光源に、前記シーンの少なくとも一部を前記構造化光パターンで照明させることが、前記所望の構造化光パターンに従って前記シーンの前記一部を照明することを含む、請求項１に記載のセンサシステム。
  8. イメージングセンサをさらに含み、前記イメージングセンサが複数の感光性素子を含み、前記複数の感光性素子が少なくとも１００万個の感光性素子を含み、前記動作が、前記イメージングセンサに前記構造化光パターンに基づく前記シーンの画像を示す情報を提供させることを含む、請求項１に記載のセンサシステム。
  9. 前記動作が、前記シーンの前記深度マップおよび前記シーンの前記画像に基づいて、前記シーンの高解像度深度マップを決定することをさらに含む、請求項８に記載のセンサシステム。
  10. 前記少なくとも１つのＴｏＦセンサ、前記イメージングセンサ、および前記少なくとも１つの光源が、共通の基板に結合されている、請求項８に記載のセンサシステム。
  11. 前記動作が、前記シーンの前記深度マップ基づいて前記シーンに関する少なくとも１つの推論を決定することをさらに含む、請求項１に記載のセンサシステム。
  12. 前記少なくとも１つの推論が、車両の環境内の物体または前記車両の動作状況に関する情報を含む、請求項１１に記載のセンサシステム。
  13. 前記コントローラが、少なくとも１つのディープニューラルネットワークを含み、前記少なくとも１つの推論を前記決定することが、前記少なくとも１つのディープニューラルネットワークによって実施される、請求項１１に記載のセンサシステム。
  14. システムであって、
    車両に結合されるように構成されている複数のセンサシステムであって、各センサシステムが、
    少なくとも１つの飛行時間型（ＴｏＦ）センサと、
    少なくとも１つのイメージングセンサであって、前記少なくとも１つのＴｏＦセンサおよび前記少なくとも１つのイメージングセンサが、シーンからの光を受信するように構成されている、少なくとも１つのイメージングセンサと、
    構造化光パターンを放射するように構成されている少なくとも１つの光源と、
    動作を実行するコントローラと、を含み、前記動作が、
    前記少なくとも１つの光源に、照明期間に前記シーンの少なくとも一部を前記構造化光パターンで照明させることと、
    前記照明期間における前記構造化光パターンの照明により得られる情報に基づいて、前記シーンにおいて少なくとも１つの再帰反射領域を識別することと、
    識別された前記少なくとも１つの再帰反射領域に基づいて前記構造化光パターンを調整することと、
    前記少なくとも１つのＴｏＦセンサに、調整された前記構造化光パターンに基づく前記シーンの深度マップを示す飛行時間情報を提供させることと、
    前記イメージングセンサに、調整された前記構造化光パターンに基づく前記シーンの画像を示す情報を提供させることと、を含む、システム。
  15. 前記動作が、前記シーンの前記深度マップおよび前記シーンの前記画像に基づいて、前記シーンの高解像度深度マップを決定することをさらに含む、請求項１４に記載のシステム。
  16. 前記センサシステムのうちの少なくとも１つが、共通のハウジング内に少なくとも１つのＴｏＦセンサおよび少なくとも１つのイメージングセンサを含む、請求項１４に記載のシステム。
  17. コントローラが実行する、シーンに関する情報を提供する方法であって、
    少なくとも１つの光源に、照明期間に前記シーンを構造化光パターンで照明させることと、
    前記照明期間における前記構造化光パターンの照明により得られる情報に基づいて、前記シーンにおいて少なくとも１つの再帰反射領域を識別することと、
    識別された前記少なくとも１つの再帰反射領域に基づいて前記構造化光パターンを調整することと、
    飛行時間型（ＴｏＦ）センサから、調整された前記構造化光パターンに基づく前記シーンに関する飛行時間情報を受信することと、
    前記受信した情報に基づいて前記シーンの深度マップを決定することと、
    前記シーンの前記深度マップに基づいて前記シーンに関する少なくとも１つの推論を決定することと、を含む、方法。
  18. 前記少なくとも１つの推論が、車両の環境内の物体または前記車両の動作状況に関する情報を含む、請求項１７に記載の方法。
  19. 複数の可能な構造化光パターンの中から所望の構造化光パターンを選択することをさらに含み、前記少なくとも１つの光源に、前記シーンを前記構造化光パターンで照明させることが、前記所望の構造化光パターンに従って前記シーンを照明することを含む、請求項１７に記載の方法。
  20. 周囲光の量または時刻に基づいて前記構造化光パターンを調整することをさらに含む、請求項１７に記載の方法。
  21. コントローラが実行する、シーンに関する情報を提供する方法であって、
    事前情報を提供することであって、前記事前情報が、前記シーンにおいて少なくとも１つの再帰反射領域を識別するための前記シーンの３次元情報を含む、事前情報を提供することと、
    前記事前情報に基づいて、構造化光パターンを選択することと、
    少なくとも１つの光源に、前記シーンを選択された前記構造化光パターンで照明させることと、
    前記少なくとも１つのＴｏＦセンサに、選択された前記構造化光パターンに基づく前記シーンの深度マップを示す飛行時間情報を提供させることと、を含む、方法。
  22. 前記事前情報を前記シーンの前記深度マップと比較することをさらに含み、かつ、
    前記比較に基づいて、車両の特定された位置を決定する、請求項２１に記載の方法。
  23. 前記事前情報を前記シーンの前記深度マップと比較することをさらに含み、かつ、
    前記比較に基づいて、前記ＴｏＦセンサの較正条件を決定する、請求項２１に記載の方法。
  24. 前記事前情報を前記シーンの前記深度マップ中に、またはその上に投影することをさらに含み、かつ、
    前記投影に基づいて、車両の特定された位置を決定する、請求項２１に記載の方法。
  25. 前記事前情報の背景部分を決定することと、
    前記背景部分に対応する前記シーンの前記深度マップの少なくとも一部を取り去るかまたは無視することと、をさらに含む、請求項２１に記載の方法。
  26. 前記事前情報に基づいて前記少なくとも１つの再帰反射領域を決定することと、
    前記少なくとも１つの再帰反射領域に対応する前記シーンの一部をスキャンしながら、前記ＴｏＦセンサまたは前記少なくとも１つの光源の少なくとも１つの動作パラメータを調整することと、をさらに含む、請求項２１に記載の方法。
JP2021522431A 2018-11-01 2019-10-21 構造化光照明付き飛行時間型センサ Active JP7203217B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/177,626 US11353588B2 (en) 2018-11-01 2018-11-01 Time-of-flight sensor with structured light illuminator
US16/177,626 2018-11-01
PCT/US2019/057300 WO2020092044A1 (en) 2018-11-01 2019-10-21 Time-of-flight sensor with structured light illuminator

Publications (2)

Publication Number Publication Date
JP2022505772A JP2022505772A (ja) 2022-01-14
JP7203217B2 true JP7203217B2 (ja) 2023-01-12

Family

ID=70457751

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021522431A Active JP7203217B2 (ja) 2018-11-01 2019-10-21 構造化光照明付き飛行時間型センサ

Country Status (9)

Country Link
US (2) US11353588B2 (ja)
EP (1) EP3874297A4 (ja)
JP (1) JP7203217B2 (ja)
KR (1) KR102656399B1 (ja)
CN (1) CN113227839A (ja)
AU (1) AU2019369212B2 (ja)
CA (1) CA3117773A1 (ja)
IL (1) IL282691A (ja)
WO (1) WO2020092044A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11682107B2 (en) * 2018-12-14 2023-06-20 Sony Corporation Depth of field adjustment in images based on time of flight depth maps
US11188094B2 (en) * 2019-04-30 2021-11-30 At&T Intellectual Property I, L.P. Autonomous vehicle signaling system
WO2020243901A1 (en) * 2019-06-04 2020-12-10 Texas Instruments Incorporated An optical time of flight sensor for navigation systems in robotic applications
US11673533B2 (en) * 2019-06-19 2023-06-13 Ford Global Technologies, Llc Vehicle sensor enhancements
US10819923B1 (en) * 2019-11-19 2020-10-27 Waymo Llc Thermal imaging for self-driving cars
US11524625B2 (en) * 2019-12-12 2022-12-13 Texas Instruments Incorporated Adaptive vehicle headlight
JP7384275B2 (ja) * 2020-04-17 2023-11-21 株式会社Ihi 車両誘導装置、車両誘導方法及び駐車場
DE102020208099A1 (de) * 2020-06-30 2021-12-30 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Ermitteln einer eine Umgebung eines LiDAR-Sensors repräsentierenden Punktwolke
US11721031B2 (en) * 2020-10-28 2023-08-08 Stmicroelectronics (Research & Development) Limited Scalable depth sensor
DE102020130884A1 (de) 2020-11-23 2022-05-25 Valeo Schalter Und Sensoren Gmbh Aktives Sensorsystem und Objekterkennung
DE102021000508A1 (de) 2021-02-02 2022-08-04 Daimler Truck AG Verfahren zum Kalibrieren einer Gated-Kamera, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Kalibrierungsvorrichtung mit einer solchen Steuereinnchtung und Kraftfahrzeug mit einer solchen Kalibrierungsvorrichtung
CN114942024A (zh) * 2021-02-17 2022-08-26 霍尼韦尔国际公司 结构光导航辅助设备
US20220374366A1 (en) * 2021-05-19 2022-11-24 Pony Ai Inc. Efficient retrieval of sensor data while ensuring atomicity
WO2023113700A1 (en) * 2021-12-17 2023-06-22 Ams Sensors Singapore Pte. Ltd. A method for generating a depth map
US20240048853A1 (en) * 2022-08-03 2024-02-08 Motional Ad Llc Pulsed-Light Optical Imaging Systems for Autonomous Vehicles

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004003987A (ja) 2002-03-29 2004-01-08 Hokuyo Automatic Co 安全センサの校正方法
JP2013053920A (ja) 2011-09-02 2013-03-21 Fuji Electric Co Ltd ３次元物体位置検出装置、そのプログラム
US20150062558A1 (en) 2013-09-05 2015-03-05 Texas Instruments Incorporated Time-of-Flight (TOF) Assisted Structured Light Imaging
US20180059224A1 (en) 2016-08-26 2018-03-01 Samsung Electronics Co., Ltd. Time-of-flight (tof) image sensor using amplitude modulation for range measurement
WO2018042801A1 (ja) 2016-09-01 2018-03-08 ソニーセミコンダクタソリューションズ株式会社 撮像装置
JP2018044852A (ja) 2016-09-14 2018-03-22 パイオニア株式会社 レーザ射出装置、制御方法及びプログラム
JP2018508013A (ja) 2015-01-08 2018-03-22 マイクロソフト テクノロジー ライセンシング，エルエルシー マルチモード深度イメージング
US20180203122A1 (en) 2015-07-14 2018-07-19 Brightway Vision Ltd. Gated structured imaging
JP2018529124A (ja) 2015-09-08 2018-10-04 マイクロビジョン，インク． 混合モードの深度検出
JP2018163096A (ja) 2017-03-27 2018-10-18 沖電気工業株式会社 情報処理方法および情報処理装置
JP2019506768A (ja) 2015-12-16 2019-03-07 フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニーＦａｃｅｂｏｏｋ Ｔｅｃｈｎｏｌｏｇｉｅｓ， Ｌｌｃ レンジゲート式デプスカメラ部品

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4954962A (en) * 1988-09-06 1990-09-04 Transitions Research Corporation Visual navigation and obstacle avoidance structured light system
JP2611173B2 (ja) * 1992-06-11 1997-05-21 運輸省船舶技術研究所長 魚眼レンズを用いた測位方法およびその装置
US8736818B2 (en) 2010-08-16 2014-05-27 Ball Aerospace & Technologies Corp. Electronically steered flash LIDAR
WO2013012335A1 (en) 2011-07-21 2013-01-24 Ziv Attar Imaging device for motion detection of objects in a scene, and method for motion detection of objects in a scene
US10368053B2 (en) * 2012-11-14 2019-07-30 Qualcomm Incorporated Structured light active depth sensing systems combining multiple images to compensate for differences in reflectivity and/or absorption
US9080866B1 (en) * 2013-06-26 2015-07-14 Google Inc. Methods and systems for detection of reflective markers at long range
EP2835973B1 (de) * 2013-08-06 2015-10-07 Sick Ag 3D-Kamera und Verfahren zur Erfassung von dreidimensionalen Bilddaten
US9784835B1 (en) * 2013-09-27 2017-10-10 Waymo Llc Laser diode timing feedback using trace loop
KR102277309B1 (ko) 2014-01-29 2021-07-14 엘지이노텍 주식회사 깊이 정보 추출 장치 및 방법
CN103884281B (zh) * 2014-03-18 2015-10-21 北京控制工程研究所 一种基于主动结构光的巡视器障碍探测方法
US9696424B2 (en) 2014-05-19 2017-07-04 Rockwell Automation Technologies, Inc. Optical area monitoring with spot matrix illumination
EP2955544B1 (en) 2014-06-11 2020-06-17 Sony Depthsensing Solutions N.V. A TOF camera system and a method for measuring a distance with the system
US9557166B2 (en) * 2014-10-21 2017-01-31 Hand Held Products, Inc. Dimensioning system with multipath interference mitigation
US9823352B2 (en) 2014-10-31 2017-11-21 Rockwell Automation Safety Ag Absolute distance measurement for time-of-flight sensors
US9330464B1 (en) * 2014-12-12 2016-05-03 Microsoft Technology Licensing, Llc Depth camera feedback
US9958758B2 (en) 2015-01-21 2018-05-01 Microsoft Technology Licensing, Llc Multiple exposure structured light pattern
US9638791B2 (en) * 2015-06-25 2017-05-02 Qualcomm Incorporated Methods and apparatus for performing exposure estimation using a time-of-flight sensor
EP3411779A4 (en) 2016-02-05 2019-02-20 Magic Leap, Inc. SYSTEMS AND METHODS FOR INCREASED REALITY
US9760837B1 (en) 2016-03-13 2017-09-12 Microsoft Technology Licensing, Llc Depth from time-of-flight using machine learning
EP3223188A1 (en) * 2016-03-22 2017-09-27 Autoliv Development AB A vehicle environment mapping system
US10419741B2 (en) * 2017-02-24 2019-09-17 Analog Devices Global Unlimited Company Systems and methods for compression of three dimensional depth sensing
CA3057460A1 (en) 2017-03-20 2018-09-27 Velodyne Lidar, Inc. Lidar based 3-d imaging with structured light and integrated illumination and detection
US10914823B2 (en) * 2018-05-01 2021-02-09 Qualcomm Incorporated Time of flight ranging with varying fields of emission
US10816939B1 (en) * 2018-05-07 2020-10-27 Zane Coleman Method of illuminating an environment using an angularly varying light emitting device and an imager

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004003987A (ja) 2002-03-29 2004-01-08 Hokuyo Automatic Co 安全センサの校正方法
JP2013053920A (ja) 2011-09-02 2013-03-21 Fuji Electric Co Ltd ３次元物体位置検出装置、そのプログラム
US20150062558A1 (en) 2013-09-05 2015-03-05 Texas Instruments Incorporated Time-of-Flight (TOF) Assisted Structured Light Imaging
JP2018508013A (ja) 2015-01-08 2018-03-22 マイクロソフト テクノロジー ライセンシング，エルエルシー マルチモード深度イメージング
US20180203122A1 (en) 2015-07-14 2018-07-19 Brightway Vision Ltd. Gated structured imaging
JP2018529124A (ja) 2015-09-08 2018-10-04 マイクロビジョン，インク． 混合モードの深度検出
JP2019506768A (ja) 2015-12-16 2019-03-07 フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニーＦａｃｅｂｏｏｋ Ｔｅｃｈｎｏｌｏｇｉｅｓ， Ｌｌｃ レンジゲート式デプスカメラ部品
US20180059224A1 (en) 2016-08-26 2018-03-01 Samsung Electronics Co., Ltd. Time-of-flight (tof) image sensor using amplitude modulation for range measurement
WO2018042801A1 (ja) 2016-09-01 2018-03-08 ソニーセミコンダクタソリューションズ株式会社 撮像装置
JP2018044852A (ja) 2016-09-14 2018-03-22 パイオニア株式会社 レーザ射出装置、制御方法及びプログラム
JP2018163096A (ja) 2017-03-27 2018-10-18 沖電気工業株式会社 情報処理方法および情報処理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
松林 篤，手指による空中立体映像との感触インタラクション， 第２３回日本バーチャルリアリティ学会大会 ，第23回会議，日本バーチャルリアリティ学会，2018年09月18日，2019-10039-213

Also Published As

Publication number Publication date
CN113227839A (zh) 2021-08-06
IL282691A (en) 2021-06-30
KR102656399B1 (ko) 2024-04-12
US20200142069A1 (en) 2020-05-07
WO2020092044A1 (en) 2020-05-07
US11353588B2 (en) 2022-06-07
AU2019369212A1 (en) 2021-05-20
AU2019369212B2 (en) 2022-06-02
EP3874297A1 (en) 2021-09-08
CA3117773A1 (en) 2020-05-07
US20220276384A1 (en) 2022-09-01
KR20210066025A (ko) 2021-06-04
JP2022505772A (ja) 2022-01-14
EP3874297A4 (en) 2022-08-10

Similar Documents

Publication Publication Date Title
JP7203217B2 (ja) 構造化光照明付き飛行時間型センサ
JP7321246B2 (ja) ハイブリッド飛行時間型イメージャモジュール
US10183541B2 (en) Surround sensing system with telecentric optics
JP6938472B2 (ja) 物体までの距離を測定するためのシステムおよび方法
EP3195042B1 (en) Linear mode computational sensing ladar
JP6387407B2 (ja) 周辺検知システム
JP7028878B2 (ja) 物体までの距離を測定するためのシステム
KR20220042202A (ko) Lidar 측정을 위한 처리 시스템
KR20220058947A (ko) 라이다 이미지의 처리
JP2018531374A6 (ja) 物体までの距離を測定するためのシステムおよび方法
EP3045935A1 (en) Surround sensing system with dome-filter assembly
JP2019529958A (ja) 物体までの距離を決定するためのシステム及び方法
CN110121659B (zh) 用于对车辆的周围环境进行特征描述的系统
WO2021212916A1 (zh) 一种tof深度测量装置、方法及电子设备
JP7465958B2 (ja) 赤外線検知のためのシステムおよび方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210616

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220620

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220913

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221202

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221226

R150 Certificate of patent or registration of utility model

Ref document number: 7203217

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150