JP7008139B2 - Lidarを使用した適応的範囲カバレッジのためのシステムおよび方法 - Google Patents

Lidarを使用した適応的範囲カバレッジのためのシステムおよび方法 Download PDF

Info

Publication number
JP7008139B2
JP7008139B2 JP2020530461A JP2020530461A JP7008139B2 JP 7008139 B2 JP7008139 B2 JP 7008139B2 JP 2020530461 A JP2020530461 A JP 2020530461A JP 2020530461 A JP2020530461 A JP 2020530461A JP 7008139 B2 JP7008139 B2 JP 7008139B2
Authority
JP
Japan
Prior art keywords
optical pulse
illuminant
schedule
light
external environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020530461A
Other languages
English (en)
Other versions
JP2021507207A (ja
Inventor
アレクサンダー シャンド,マーク
Original Assignee
ウェイモ エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ウェイモ エルエルシー filed Critical ウェイモ エルエルシー
Publication of JP2021507207A publication Critical patent/JP2021507207A/ja
Application granted granted Critical
Publication of JP7008139B2 publication Critical patent/JP7008139B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/484Transmitters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S1/00Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith
    • G01S1/02Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith using radio waves
    • G01S1/08Systems for determining direction or position line
    • G01S1/10Systems for determining direction or position line using amplitude comparison of signals transmitted sequentially from antennas or antenna systems having differently-oriented overlapping directivity characteristics, e.g. equi-signal A-N type
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4811Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
    • G01S7/4813Housing arrangements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4814Constructional features, e.g. arrangements of optical elements of transmitters alone
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4814Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4816Constructional features, e.g. arrangements of optical elements of receivers alone
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4861Circuits for detection, sampling, integration or read-out

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Optics & Photonics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)

Description

関連出願の相互参照
本出願は、2017年12月22日に出願された米国特許出願第15/852,788号の利益を主張し、その内容は参照により本明細書に組み入れられる。
本明細書に別段の断りのない限り、このセクションに記載される資料は、本出願の特許請求の範囲に対する先行技術ではなく、このセクションに含めることよって先行技術であると認められるものでもない。
車両は、自律モードで動作するように構成することができ、このモードでは、車両は、ドライバーからの入力が多少ある、ほとんどない、またはまったくない環境をナビゲートする。そのような自律型または半自律型の車両は、車両が動作する環境に関する情報を検出するように構成された1つ以上のセンサを含むことができる。
このようなセンサには、光検出および測距(LIDAR)デバイスがある。LIDARは、シーンを走査して環境内の反射面を示す「点群」を組み立てながら、環境の特徴までの距離を推定することができる。点群の個々の点は、レーザーパルスを送信し、環境内の対象から反射された戻りパルスがあればそれを検出し、送信されたパルスと反射パルスの受信との間の時間遅延に従って対象までの距離を決定することによって決定することができる。レーザーまたはレーザーのセットは、シーン全体を高速に、かつ繰り返し走査して、シーン内の反射対象までの距離に関する継続的なリアルタイム情報を提供することができる。各距離を測定しながら、測定された距離とレーザー(複数可)の向きを組み合わせることで、三次元位置を各戻りパルスに関連付けることができる。このようにして、環境内の反射特徴の場所を示す点の三次元マップを、走査ゾーン全体に対して生成することができる。
本開示は、一般的に、環境に関する情報を取得するように構成され得る光検出および測距(LIDAR)システムに関する。そのようなLIDARデバイスは、自律型および半自律型の自動車、トラック、オートバイ、およびそれらのそれぞれの環境内で移動することができる他のタイプの車両などの車両に実装することができる。
第1の態様では、システムが提供される。システムは、複数の発光体デバイスを含む。複数の発光体デバイスは、放射光がシステムの外部環境と相互作用するように、複数の放射ベクトルに沿って光を放射するように動作可能である。システムは、放射光と外部環境との間の相互作用を示す情報を提供するように構成された受信機サブシステムも含む。システムは、追加的に、動作を行うように動作可能なコントローラを含む。動作は、複数の発光体デバイスのうちの少なくとも1つの発光体デバイスについて、光パルススケジュールを決定することを含む。光パルススケジュールは、少なくとも1つの発光体デバイスのそれぞれの放射ベクトルおよび外部環境の三次元マップに基づく。光パルススケジュールは、少なくとも1つの光パルスパラメータおよびリスニングウィンドウ持続時間を含む。システムは、複数の発光体デバイスのうちの少なくとも1つの発光体デバイスに、光パルススケジュールに従って光パルスを放射させることも含む。
第2の態様では、方法が提供される。方法は、複数の発光体デバイスのうちの少なくとも1つの発光体デバイスについて、光パルススケジュールを決定することを含む。複数の発光体デバイスは、複数の放射ベクトルに沿って光を放射するように動作可能である。光パルススケジュールは、少なくとも1つの発光体デバイスのそれぞれの放射ベクトルおよび外部環境の三次元マップに基づく。光パルススケジュールは、少なくとも1つの光パルスパラメータおよびリスニングウィンドウ持続時間を含む。この方法は、複数の発光体デバイスのうちの少なくとも1つの発光体デバイスに、光パルススケジュールに従って光パルスを放射させることも含む。光パルスは、外部環境と相互作用する。
第3の態様では、システムが提供される。システムは、複数の発光体デバイスを含む。複数の発光体デバイスは、放射光がシステムの外部環境と相互作用するように、複数の放射ベクトルに沿って光を放射するように動作可能である。システムは、放射光と外部環境との間の相互作用を示す情報を提供するように構成された受信機サブシステムも含む。システムは、動作を行うように動作可能なコントローラをさらに含む。動作は、複数の発光体デバイスのうちの少なくとも1つの発光体デバイスについて、光パルススケジュールを決定することを含む。光パルススケジュールは、少なくとも1つの発光体デバイスのそれぞれの放射ベクトルおよび外部環境の三次元マップに基づく。決定された光パルススケジュールは、少なくとも1つの光パルスパラメータおよびリスニングウィンドウ持続時間を含む。動作は、複数の発光体デバイスのうちの少なくとも1つの発光体デバイスに、決定された光パルススケジュールに従って第1の光パルスを放射させ、デフォルトの光パルススケジュールに従って第2の光パルスを放射させることも含む。
他の態様、実施形態、および実施態様は、添付図面の適切な箇所を参照して、以下の詳細な説明を読み取ることによって、当業者には明らかになるであろう。
例示的な実施形態による感知システムを例証する。 例示的な実施形態によるシステムを例証する。 例示的な実施形態によるいくつかのタイミングシーケンスを例証する。 例示的な実施形態による車両を例証する。 例示的な実施形態による感知シナリオを例証する。 例示的な実施形態による感知シナリオを例証する。 例示的な実施形態による感知シナリオを例証する。 例示的な実施形態による感知シナリオを例証す。 例示的な実施形態による感知シナリオを例証する。 例示的な実施形態による感知シナリオを例証する。 例示的な実施形態による発光体デバイスを有するシステムを例証する。 例示的な実施形態による方法を例証する。
例示的な方法、デバイス、およびシステムが、本明細書に記載されている。「例示的」および「典型的」という用語は、本明細書では、「1つの例、事例、または例証としての役割を果たす」ことを意味するものとして使用されることを理解されたい。「例示的」または「典型的」であるとして本明細書に記載された任意の実施形態または特徴は、他の実施形態または特徴よりも好ましいまたは有利であるものと必ずしも解釈されるべきではない。本明細書に提示の発明の対象の範囲から逸脱しない限り、他の実施形態を活かすことができ、他の変更を行うことができる。
したがって、本明細書に記載される例示的な実施形態は、限定的であることを意味するものではない。本開示の態様は、本明細書に一般的に記載され、図に例証されているように、多種多様な異なる構成で配列、置き換え、組み合わせ、分離、および設計されることができ、それらのすべてが、本明細書で想定される。
さらに、文脈上特段の示唆がある場合を除き、各図において例証された特徴は、互いに組み合わせて使用することができる。したがって、図は、一般的に、1つ以上の実施形態全体のうちの部分的な態様として見なされ、例示された特徴のすべてが、必ずしも各実施形態に必要であるとは限らないことを理解されたい。
I.概要
LIDARシステムは、複数の発光体を含む送信アセンブリを含み得る。いくつかの実施形態では、複数の発光体は、主面を有する基板に沿って配設されてもよい。さらに、各発光体は、複数の発光体が主面に沿って様々な放射角(例えば、LIDARの高さが2メートルで、陸地と車両の姿勢状態が平坦であると仮定した場合、地平線より+2度~-18度の角度範囲内)で光を放射するように構成され得るように、異なる放射角を有するように配設され得る。LIDARシステムは、送信アセンブリおよび複数の発光体が環境を照明するように、ヨー軸の周りを回転するように構成され得る。いくつかの実施形態では、LIDARシステムは、10Hzまたは20Hzで回転することができる。本明細書では、他の回転速度が可能であり、想定される。いくつかの実施形態では、LIDARシステムは、自律型または半自律型の車両(例えば、自動運転車、トラック、ボート、または航空機)の点群情報を提供することができる。
いくつかの実施形態では、複数の発光体のそれぞれの発光体は、順番に(例えば、最も高い放射角で発光体を発射することにより開始し、最も低い放射角で発光体を発射することにより終了する、またはその逆に)光パルスを放射してもよい。各光パルスを発射した後、一時停止(例えば、「リスニング」期間)があってもよく、その間、光パルスは発光体から移動し、環境内の対象と相互作用し(例えば、散乱または反射)、光パルスの一部がLIDARデバイスに戻り、受信アセンブリの受光器によって受信されてもよい。いくつかの場合には、光パルスが150メートルを往復する(合計距離300メートル)ためのリスニング期間またはリスニングウィンドウは、ほぼ1マイクロ秒になることがある。
ヨー角の解像度を改善するために、下向きの発光体によって放射される光パルスのリスニングウィンドウが短縮されてもよい。すなわち、下向きの発光体からの光パルスが、例えば20メートル以内に地表面と相互作用する可能性がある場合、放射光パルスの往復時間に基づいて、リスニングウィンドウは、ほぼ130ナノ秒に短縮され得る。他の実施形態では、リスニングウィンドウの範囲は、100ナノ秒~2マイクロ秒で調整可能であり得るが、他のリスニングウィンドウが可能である。各光パルスに対応するリスニングウィンドウは、環境内の地表面までの可能性のある範囲に基づいて調整されてもよい。それに応じて、複数の発光体の各々を発射するための時間全体が短縮され、LIDARデバイスは、より小さなヨー角にわたって回転しながら、新しい垂直走査を開始することが可能であり得る。言い換えれば、サイクル時間全体を短縮することにより、少なくともいくつかの発光体は、より頻繁に発射するように構成されてもよく、いくつかの実施形態では、より細かいヨー解像度がLIDARシステムによって提供され得る。
本明細書に記載されるシステムおよび方法は、各光パルスの放射角および各ヨー角の最大予測距離に基づくリスニングウィンドウの動的調整を含む。すなわち、LIDARデバイスがヨー軸の周りを回転するとき、リスニングウィンドウは、光パルスが環境(例えば、地面)と相互作用する前にどのくらい移動すると予想されるかに基づいて調整され得る。最大予測距離は、LIDARシステムの姿勢および/またはLIDARシステムに関連する車両(例えば、車両の姿勢)に基づき、および/またはマッピングデータもしくはサンプリングデータによって取得される可能性のある標高データに基づき得る。例示的な実施形態では、サンプリングデータは、あらかじめ定義されたリスニングウィンドウ(例えば、2マイクロ秒)で発光体デバイスをパルスしながら、LIDARシステムの360度走査を実行することにより、標高データを取得することを含み得る。そのようなシナリオでは、LIDARシステムは、ヨー角の関数として地面までの距離を含む情報を取得し得る。次に、LIDARシステムは、その情報を使用して、後続の走査でリスニングウィンドウを調整してもよい。
いくつかの実施形態では、LIDARシステムの360度走査は、長いリスニングウィンドウと、細かい時間スケールでの通常の/短縮された時間のリスニングウィンドウとの混合を含み得る。すなわち、LIDARシステムは、長いリスニング時間を短縮されたリスニングウィンドウとインターリーブする、交互にする、または他の方法で混合するように構成され得る。本明細書では、特に、環境内の対象までの予測距離を考慮に入れて、LIDARからの放射光パルスに関連するリスニングウィンドウを変化させる他の方法が想定される。
追加的に、または別の方法として、各光パルスの電力は、LIDARの所与の視野内のヨー角とビーム仰角との各組み合わせについての最大予測距離に基づいて調整されてもよい。例えば、所与の光パルスの最大予測距離が10メートルであることをサンプリングデータが示している場合、光パルスに提供される電力量は、200メートルを移動すると予測される光パルスと比較して80%以上減少する可能性がある。すなわち、所与の光パルスの電力は、最大の信頼できる検出範囲に関する可能性がある。環境内の対象を確実に検出しながら、LIDARシステムによる電力使用量を削減するために、光パルスが移動する可能性のある最大予測距離に基づいて、光パルスの電力が調整され得る。そのため、LIDARシステムは、光パルスをその環境により効率的に送信し、近距離のターゲット/対象から受信する光子が多すぎることが原因である可能性のある再帰反射やブルーミングに関連する問題を低減し得る。
II.例示的なシステム
図1Aは、例示的な実施形態による、感知システム10を例証する。感知システム10は、光検出測距(LIDAR)システムであり得る。感知システムは、送信ブロック20、受信ブロック30、共有空間40、およびレンズ50などの様々な構成要素の配設を収容するハウジング12を含む。感知システム10は、レンズ50によって平行にされ、平行光ビーム54として感知システム10の環境に送信される、送信ブロック20からの放射光ビーム52を提供するように構成された構成要素の配設を含む。さらに、感知システム10は、集束光58として受信ブロック30に向けて集束するためのレンズ50によって感知システム10の環境内の1つ以上の対象からの反射光56を収集するように構成された構成要素の配設を含む。反射光56は、感知システム10の環境内の1つ以上の対象によって反射された平行光ビーム54からの光を含む。
放射光ビーム52および集束光58は、同じくハウジング10に含まれる共有空間40を横断し得る。いくつかの実施形態では、放射光ビーム52は、共有空間40を通る送信経路に沿って伝播し、集束光58は、共有空間40を通る受信経路に沿って伝播する。
感知システム10は、受信ブロック30によって受信された集束光58を処理することによって、感知システム10の環境内の1つ以上の対象の態様(例えば、場所、形状など)を決定することができる。例えば、感知システム10は、放射光ビーム52に含まれるパルスが送信ブロック20によって放射された時間と、集束光58に含まれる対応するパルスが受信ブロック30によって受信された時間とを比較し、比較に基づいて、1つ以上の対象と感知システム10との間の距離を決定することができる。
感知システム10に含まれるハウジング12は、感知システム10に含まれる様々な構成要素を取り付けるためのプラットフォームを提供することができる。ハウジング12は、ハウジング12の内部空間に含まれる、感知システム10の様々な構成要素を支持することが可能である任意の材料から形成することができる。例えば、ハウジング12は、プラスチックまたは金属などの構造材料から形成されてもよい。
いくつかの例では、ハウジング12は、周囲光および/または送信ブロック20から受信ブロック30への放射光ビーム52の意図しない送信を低減するように構成された光学的シールドを含み得る。光学的シールドは、環境からの周囲光を遮断する材料でハウジング12の外面を形成および/またはコーティングすることによって提供することができる。追加的に、ハウジング12の内面は、送信ブロック20を受信ブロック30から光学的に隔離して、放射光ビーム52がレンズ50に到達する前に受信ブロック30が放射光ビーム52を受信するのを防ぐために、上記の材料を含み、および/または上記の材料でコーティングすることができる。
いくつかの例では、ハウジング12は、センサシステム10の周囲環境からの電磁ノイズ(例えば、無線周波数(RF)ノイズなど)および/または送信ブロック20と受信ブロック30との間の電磁ノイズを低減する電磁シールド用に構成することができる。電磁シールドは、送信ブロック20によって放射された放射光ビーム52の品質を改善し、受信ブロック30によって受信および/または提供される信号におけるノイズを低減することができる。電磁シールドは、金属、金属インク、金属発泡体、炭素発泡体、または電磁放射を適切に吸収または反射するように構成された任意の他の材料などの、1つ以上の材料でハウジング12を形成および/またはコーティングすることによって達成できる。電磁シールドに使用できる金属は、例えば、銅またはニッケルを含むことができる。
いくつかの例では、ハウジング12は、実質的に円筒形の形状を有し、感知システム10の軸の周りを回転するように構成され得る。例えば、ハウジング12は、ほぼ10センチメートルの直径を有する実質的に円筒形の形状を有することができる。いくつかの例では、軸は実質的に垂直である。様々な構成要素を含むハウジング12を回転させることにより、いくつかの例では、感知システム10の環境の360度ビューの三次元マップは、感知システム10の様々な構成要素の配設を頻繁に再較正することなく判定することができる。追加的に、または別の方法として、感知システム10は、感知システム10の視野を制御するために、ハウジング12の回転軸を傾けるように構成され得る。
図1Aには例証されていないが、感知システム10は、任意選択で、ハウジング12の取り付け構造を含むことができる。取り付け構造は、感知システム10の軸の周りでハウジング12を回転させるためのモーターまたは他の手段を含むことができる。別の方法として、取り付け構造は、感知システム10以外のデバイスおよび/またはシステムに含めることができる。
いくつかの例では、送信ブロック20、受信ブロック30、およびレンズ50などの感知システム10の様々な構成要素を所定の位置でハウジング12に取り外し可能に取り付けて、各構成要素および/または各構成要素に含まれるサブ構成要素の配設を較正する負担を低減することができる。したがって、ハウジング12は、感知システム10の様々な構成要素のためのプラットフォームとして機能し、感知システム10の組み立て、保守、較正、および製造を容易にする。
送信ブロック20は、出口開口26を介して複数の放射光ビーム52を放射するように構成され得る複数の光源22を含む。いくつかの例では、複数の放射光ビーム52の各々は、複数の光源22の1つに対応する。送信ブロック20は、光源22と出口開口26との間の放射光ビーム52の送信経路に沿ってミラー24を任意選択で含むことができる。
光源22は、レーザーダイオード、発光ダイオード(LED)、垂直キャビティ面発光レーザー(VCSEL)、有機発光ダイオード(OLED)、ポリマー発光ダイオード(PLED)、発光ポリマー(LEP)、液晶ディスプレイ(LCD)、微小電気機械システム(MEMS)、または光を選択的に送信、反射、および/または放射して、複数の放射光ビーム52を提供するように構成された任意の他のデバイスを含むことができる。いくつかの例では、光源22は、受信ブロック30に含まれる検出器32によって検出することができる波長範囲で放射光ビーム52を放射するように構成することができる。波長範囲は、例えば、電磁スペクトルの紫外、可視、および/または赤外部分にあってもよい。いくつかの例では、波長範囲は、レーザーによって提供されるような、狭い波長範囲であり得る。一例では、波長範囲は、ほぼ905nmである波長を含む。追加的に、光源22は、放射光ビーム52をパルスの形態で放射するように構成することができる。いくつかの例では、複数の光源22は、1つ以上の基板(例えば、プリント回路基板(PCB)、フレキシブルPCBなど)上に配置され、複数の光ビーム52を出口開口26に向けて放射するように配設できる。
いくつかの例では、複数の光源22は、放射光ビーム52に含まれる非平行光ビームを放射するように構成することができる。例えば、放射光ビーム52は、複数の光源22によって放射された非平行光ビームに起因して、送信経路に沿って1つ以上の方向に発散することができる。いくつかの例では、送信経路に沿った任意の位置での放射光ビーム52の垂直および水平範囲は、複数の光源22によって放射された非平行光ビームの発散の程度に基づくことができる。
放射光ビーム52の送信経路に沿って配設された出口開口26は、出口開口26で、複数の光源22によって放射された複数の光ビーム52の垂直および水平範囲に適応するように構成され得る。図1Aに示されたブロック図は、説明の便宜上、機能モジュールに関連して説明されることに留意されたい。しかしながら、図1Aのブロック図の機能モジュールは、他の場所に物理的に実装できる。例えば、出口開口26が送信ブロック20に含まれることが例証されているが、出口開口26は、送信ブロック20と共有空間40との両方に物理的に含めることができる。例えば、送信ブロック20および共有空間40は、出口開口26を含む壁によって分離することができる。この場合、出口開口26は、壁の透明部分に対応することができる。一例では、透明部分は、壁の穴または切り欠き部分であり得る。別の例では、壁は、不透明材料でコーティングされた透明基板(例えば、ガラス)から形成することができ、出口開口26は、不透明材料でコーティングされていない基板の一部とすることができる。
感知システム10のいくつかの例では、複数の光ビーム52の垂直および水平範囲に適応しながら、出口開口26のサイズを最小化することが望ましい場合がある。例えば、出口開口26のサイズを最小化することにより、ハウジング12の機能において上記の光源22の光学的シールドを改善することができる。追加的に、または別の方法として、送信ブロック20と共有空間40とを分離する壁は、集束光58の受信経路に沿って配設することができ、したがって、出口開口26を最小化して、集束光58のより大きな部分が壁に到達するのを可能にすることができる。例えば、壁を反射材料(例えば、共有空間40の反射面42)でコーティングすることができ、受信経路は、反射材料によって集束光58を受信ブロック30に向けて反射することを含むことができる。この場合、出口開口26のサイズを最小化することにより、集束光58のより大きな部分が、壁がコーティングされている反射材料で反射することを可能にすることができる。
出口開口26のサイズを最小化するために、いくつかの例では、光源22によって放射された非平行光ビームを部分的に平行化して、放射光ビーム52の垂直および水平範囲を最小化することにより、放射光ビーム52の発散を低減することができ、これにより、出口開口26のサイズが最小化される。例えば、複数の光源22の各光源は、光源に隣接して配設された円柱レンズを含むことができる。光源は、第2の方向よりも第1の方向により多く発散する、対応する非平行光ビームを放射することができる。円柱レンズは、非平行光ビームを第1の方向に事前に平行化して、部分的に平行化された光ビームを提供し、それにより第1の方向の発散を低減する。いくつかの例では、部分的に平行化された光ビームは、第2の方向よりも第1の方向に発散しにくい。同様に、複数の光源22の他の光源からの非平行光ビームは、第1の方向に縮小されたビーム幅を有することができ、したがって、放射光ビーム52は、部分的に平行化された光ビームに起因してより小さい発散を有することができる。この例では、光ビーム52を部分的に平行化することに起因して、出口開口26の垂直および水平範囲の少なくとも一方を減らすことができる。
追加的に、または別の方法として、いくつかの例では、出口開口26のサイズを最小化するために、光源22は、送信ブロック20によって画定された成形表面に沿って配設することができる。いくつかの例では、成形表面は、ファセット(faceted)加工され、および/または実質的に湾曲していてもよい。ファセット面および/または曲面は、放射光ビーム52が出口開口26に向かって収束するように構成することができ、したがって、出口開口26における放射光ビーム52の垂直および水平範囲は、送信ブロック20のファセット面および/または曲面に沿った光源22の配設に起因して低減することができる。
いくつかの例では、送信ブロック20の曲面は、複数のビーム52が送信経路に沿って複数の光源22の前の中央領域に向かって収束するように、放射光ビーム52の発散の第1の方向に沿った曲率と、放射光ビーム52の発散の第2の方向に沿った曲率と、を含むことができる。
光源22のそのような湾曲した配設を容易にするために、いくつかの例では、光源22は、1つ以上の方向に沿って曲率を有する可撓性基板(例えば、可撓性PCB)上に配置することができる。例えば、湾曲した可撓性基板は、放射光ビーム52の発散の第1の方向、および放射光ビーム52の発散の第2の方向に沿って湾曲させることができる。追加的に、または別の方法として、光源22のそのような湾曲した配設を容易にするために、いくつかの例では、光源22は、PCBが、第1の方向(例えば、PCBの垂直面)の曲率に実質的に一致するように、1つ以上の垂直方向のプリント回路基板(PCB)の湾曲した端に配置することができる。この例では、1つ以上のPCBを、第2の方向の曲率(例えば、1つ以上のPCBの水平面)と実質的に一致する水平曲率に沿って送信ブロック20に取り付けることができる。例えば、送信ブロック20は4つのPCBを含むことができ、各PCBは16個の光源を搭載し、送信ブロック20の曲面に沿って64個の光源を提供する。この例では、64個の光源は、放射光ビーム52が送信ブロック20の出口開口26に向かって収束するようなパターンで配設されている。
送信ブロック20は、光源22と出口開口26との間の放射光ビーム52の送信経路に沿ってミラー24を任意選択で含むことができる。ミラー24を送信ブロック20に含めることにより、折りたたまれていない送信経路がある別の送信ブロックのサイズよりも小さなサイズの送信ブロック20および感知システム10のハウジング12を提供するために、放射光ビーム52の送信経路を折り畳むことができる。
受信ブロック30は、入口開口36を介して集束光58を受信するように構成され得る複数の検出器32を含む。いくつかの例では、複数の検出器32の各々は、複数の光源22の対応する光源によって放射され、感知システム10の環境内の1つ以上の対象から反射された、光ビームに対応する集束光58の一部を受け取るように構成および配設される。受信ブロック30は、不活性ガス34を有する密閉環境に検出器32を任意選択で含むことができる。
検出器32は、フォトダイオード、アバランシェフォトダイオード、単一光子アバランシェダイオード(SPAD)、フォトトランジスタ、シリコン光電子増倍管(SiPM)、カメラ、アクティブピクセルセンサ(APS)、電荷結合デバイス(CCD)、低温検出器、または放射光ビーム52の波長範囲内の波長を有する集束光58を受信するように構成された任意の他の光センサを含み得る。
各検出器32によって、複数の光源22の対応する光源からの集束光58の一部を受信することを容易にするために、検出器32を1つ以上の基板上に配置し、それに応じて配設することができる。例えば、光源22は、送信ブロック20の曲面に沿って配設することができる。検出器32は、受信ブロック30の曲面に沿って配設することができる。いくつかの実施形態では、受信ブロック30の曲面は、送信ブロック20の曲面と同様または同一の曲面を含み得る。したがって、検出器32の各々は、複数の光源22の対応する光源によって最初に放射された光を受信するように構成され得る。
受信ブロック30の曲面を提供するために、検出器32は、送信ブロック20に配置された光源22と同様に、1つ以上の基板上に配置され得る。例えば、検出器32は、可撓性基板(例えば、可撓性PCB)上に配置され、可撓性基板の曲面に沿って配設され、光源22の対応する光源から発せられる集束光を各々受信することができる。この例では、可撓性基板は、受信ブロック30の曲面の形状に対応する表面を有する2つのクランプ片の間に保持されてもよい。したがって、この例では、可撓性基板を受信ブロック30上にスライドさせ、2つのクランプ片を使用して、それを正しい曲率で保持することにより、受信ブロック30の組み立てを簡略化することができる。
受信経路に沿って横断する集束光58は、入口開口36を介して検出器32によって受信され得る。いくつかの例では、入口開口36は、複数の光源22によって放射された波長範囲内の波長を有する光を通し、他の波長を有する光を減衰させるフィルタリング窓を含むことができる。この例では、検出器32は、波長範囲内の波長を有する光を実質的に含む集束光58を受信する。
いくつかの例では、受信ブロック30に含まれる複数の検出器32は、例えば、不活性ガス34で満たされた密閉環境内のアバランシェフォトダイオードを含むことができる。不活性ガス34は、例えば、窒素を含み得る。
共有空間40は、送信ブロック20からレンズ50への放射光ビーム52の送信経路を含み、レンズ50から受信ブロック30への集束光58の受信経路を含む。いくつかの例では、送信経路は、共有空間40内の受信経路と少なくとも部分的に重複する。共有空間40に送信経路および受信経路を含めることにより、サイズ、コスト、および/または感知システム10の組み立て、製造、および/または保守の複雑さに対する利点を提供することができる。
出口開口26および入口開口36は、それぞれ送信ブロック20および受信ブロック30の一部として例証されているが、そのような開口は他の場所に配設または配置されてもよいことが理解される。いくつかの実施形態では、出口開口26および入口開口36の機能および構造を組み合わせることができる。例えば、共有空間40は、共有の入口/出口開口を含み得る。システム10の光学構成要素をハウジング12内に配設する他の方法が可能であり、想定されることが理解されよう。
いくつかの例では、共有空間40は、反射面42を含むことができる。反射面42は、受信経路に沿って配設することができ、集束光58を入口開口36に向けて検出器32に反射するように構成することができる。反射面42は、プリズム、ミラー、または集束光58を受信ブロック30内の入口開口36に向けて反射するように構成された任意の他の光学要素を含み得る。いくつかの例では、壁が共有空間40を送信ブロック20から分離してもよい。これらの例では、壁は、透明基板(例えば、ガラス)を含むことができ、反射面42は、出口開口26のためのコーティングされていない部分を備えた、壁上の反射コーティングを含むことができる。
反射面42を含む実施形態では、反射面42は、送信ブロック20内のミラー24と同様に受信経路を折り畳むことにより、共有空間40のサイズを縮小することができる。追加的に、または別の方法として、いくつかの例では、反射面42は、集束光58を受信ブロック30に向けることができ、ハウジング12内の受信ブロック30の配置に柔軟性をさらに提供する。例えば、反射面42の傾斜を変化させることにより、集束光58をハウジング12の内部空間の様々な部分に反射させることができ、したがって、受信ブロック30をハウジング12内の対応する位置に配置することができる。追加的に、または別の方法として、この例では、感知システム10は、反射面42の傾斜を変化させることによって較正され得る。
ハウジング12に取り付けられたレンズ50は、送信ブロック20内の光源22からの放射光ビーム52を平行化し、感知システム10の環境内の1つ以上の対象からの反射光56を受信ブロック30内の検出器32上に集束するための光電力を有することができる。一例では、レンズ50は、ほぼ120mmの焦点距離を有する。平行化するための送信レンズと集束するための受信レンズの代わりに同じレンズ50を使用してこれらの機能の両方を実行することにより、サイズ、コスト、および/または複雑さに対する利点を提供することができる。いくつかの例では、放射光ビーム52を平行化して平行光ビーム54を提供することにより、感知システム10の環境内の1つ以上の対象まで平行光ビーム54が移動した距離を判定することができる。
本明細書に記載するように、レンズ50は送信レンズおよび受信レンズとして活かされるが、別々のレンズおよび/または他の光学要素が、本開示の範囲内で想定されていることが理解されよう。例えば、レンズ50は、別個の光送信および受信経路に沿った別個のレンズまたはレンズセットを表すことができる。
例示的なシナリオでは、送信経路に沿って横断する光源22からの放射光ビーム52が、レンズ50によって平行にされ、平行光ビーム54を感知システム10の環境へ提供することができる。次に、平行光ビーム54は、感知システム10の環境内の1つ以上の対象で反射し、反射光56としてレンズ50に戻ることができる。次に、レンズ50は、反射光56を収集して集束させ、集束光58として、受信ブロック30に含まれる検出器32上に収集して集束させることができる。いくつかの例では、感知システム10の環境内の1つ以上の対象の態様は、放射光ビーム52を集束光ビーム58と比較することによって決定することができる。態様は、1つ以上の対象の、例えば、距離、形状、色、および/または材料を含むことができる。追加的に、いくつかの実施形態では、ハウジング12を回転させることにより、感知システム10の周囲の三次元マップを判定することができる。
複数の光源22が送信ブロック20の曲面に沿って配設されるいくつかの例では、レンズ50は、送信ブロック20の曲面に対応する焦点面を有するように構成することができる。例えば、レンズ50は、ハウジング12の外側の非球面と、共有空間40に面するハウジング12の内側のトロイダル面とを含むことができる。この例では、レンズ50の形状により、レンズ50は、放射光ビーム52を平行化し、かつ反射光56を集束させることができる。追加的に、この例では、レンズ50の形状により、レンズ50は、送信ブロック20の曲面に対応する焦点面を有することができる。いくつかの例では、レンズ50によって提供される焦点面は、送信ブロック20の湾曲形状と実質的に一致する。追加的に、いくつかの例では、検出器32は、レンズ50によって提供される湾曲した焦点面に沿って集束光58を受信するために、受信ブロック30の湾曲形状に同様に配設され得る。したがって、いくつかの例では、受信ブロック30の曲面はまた、レンズ50によって提供される湾曲した焦点面と実質的に一致し得る。
図1Bは、例示的な実施形態によるシステム100を例証する。システム100は、LIDARシステムの少なくとも一部を説明することができる。さらに、システム100は、図1Aを参照して例証され、説明されるように、感知システム10と同様または同一の要素を含み得る。いくつかの実施形態では、システム100は、図3および図4A~図4Dを参照して例証され、説明されるように、車両300などの自律型または半自律型の車両の感知システムの一部として組み込まれ得る。
システム100は、複数の発光体デバイス110、受信機サブシステム120、およびコントローラ150を含む。システム100は、光パルススケジュール160も含む。
いくつかの実施形態では、複数の発光体デバイス110は、レーザーダイオード、発光ダイオード、または他のタイプの発光デバイスを含むことができる。例示的な実施形態では、複数の発光体デバイス110は、約903ナノメートルの波長で光を放射するように構成されたInGaAs/GaAsレーザーダイオードを含む。いくつかの実施形態では、複数の発光デバイス110は、レーザーダイオード、レーザーバー、またはレーザースタックのうちの少なくとも1つを含む。追加的に、または別の方法として、複数の発光体デバイス110は、1つ以上の主発振器出力増幅器(MOPA)ファイバーレーザーを含んでもよい。そのようなファイバーレーザーは、1550ナノメートルで、または約1550ナノメートルで光パルスを提供するように構成され、シードレーザーと、シードレーザー光をより高い電力レベルに増幅するように構成された、ある長さのアクティブ光ファイバーとを含み得る。しかしながら、他のタイプの発光デバイス、材料、および発光波長が可能であり、想定される。
いくつかの実施形態では、複数の発光体デバイス110は、所望の解像度を提供するように、それぞれの目標場所に向けて複数の放射ベクトルに沿って環境に光を放射するように構成されている。そのようなシナリオでは、複数の発光体デバイス110は、放射光がシステム100の外部環境と相互作用するように、複数の放射ベクトルに沿って光を放射するように動作可能である。
いくつかの実施形態では、システム100は、前縁に沿って複数の傾斜ファセットを有する少なくとも1つの基板を含み得る。そのようなシナリオでは、各傾斜ファセットは、それぞれのダイアタッチ場所を含むことができる。一例として、各発光体デバイスは、そのそれぞれの放射ベクトルに沿って光を放射するように動作可能であるように、それぞれのダイアタッチ場所に結合され得る。
そのような実施形態では、少なくとも1つの基板は、1つ以上の垂直面に沿って配置されてもよい。そのようなシナリオでは、複数の放射ベクトルは、水平面に対して定義され得る。さらに、一例として、少なくとも1つの基板は、それ自体が実質的に垂直であり得る回転軸の周りを回転するように構成されたハウジング内で垂直に配向され得る。言い換えれば、複数の発光体デバイス110および受信機サブシステム120は、ハウジングに結合されてもよい。そのようなシナリオでは、ハウジングは回転軸の周りを回転するように構成されている。
例えば、各発光体デバイスは、それぞれの放射ベクトルに沿ってそれぞれの目標場所に向かって光を放射するように、共通の基板に沿って配向され得る。多くの異なる物理的および光学的技術を使用して、光を所与の目標場所に向けることができることが理解されよう。本明細書では、そのようなすべての物理的および光学的技術が想定される。
いくつかの実施形態では、所望の解像度は、システム100から離れた所与の距離における目標解像度を含み得る。例えば、所望の解像度は、システム100から25メートルで7.5センチメートルの垂直解像度および/または水平地平面に沿った隣接する目標場所の間のどちらか近い方を含み得る。本明細書では、二次元表面に沿ったものと三次元空間内のものとの両方の、他の所望の解像度が可能であり、想定される。
いくつかの実施形態では、少なくとも1つの基板は、垂直面に沿って配置され得る。そのようなシナリオでは、複数の放射ベクトルのうちの少なくとも2つの放射ベクトルは、水平面に対して変化し得る。
複数の発光体デバイス110が複数の基板にわたって分散される実施形態では、複数の発光体デバイス110の各部分は、垂直面に対してそれぞれのポインティング角度で環境を照明するように構成され得る。一例として、複数の発光体デバイス110は、少なくとも64個の発光体デバイスを含むことができる。しかしながら、より多い数またはより少ない数の発光体デバイス110を使用することができる。
いくつかの実施形態では、複数の発光体デバイス110は、持続時間がほぼ1~10ナノ秒の光パルスを提供するように構成することができる。他の光パルス持続時間が可能である。
いくつかの実施形態では、システム100は、それぞれの発光体デバイスのそれぞれの出力ファセットに光学的に結合されたそれぞれのレンズを含むことができる光学要素(例証せず)を含むことができる。それぞれのレンズは、以下に限定されないが、速軸平行化レンズを含み得る。
いくつかの実施形態では、受信機サブシステム120は、図1Aを参照して例証され、説明されるように、受信機ブロック30と同様または同一であり得る。例えば、受信機サブシステム120は、放射光と外部環境との間の相互作用を示す情報を提供するように構成され得る。そのようなシナリオでは、受信機サブシステム120は、受信された光パルスをシステム100の環境内の対象と相関させるために、複数の発光体デバイス110から放射された光の少なくとも一部を受信するように構成されたデバイスを含むことができる。
受信機サブシステム120は、複数の光検出器デバイスを含み得る。そのようなシナリオでは、複数の光検出器デバイスは、1550nmまたは780nmのうちの少なくとも1つの波長を有する光を検出するように構成され得る。本明細書では、他の波長が可能であり、想定される。いくつかの実施形態では、光検出器デバイスは、アバランシェフォトダイオード、単一光子アバランシェ検出器(SPAD)、またはシリコン光電子増倍管(SiPM)のうちの少なくとも1つを含み得る。さらなる実施形態では、光検出器デバイスは、複数のInGaAs受光器を含み得る。他のタイプの受光器が可能であり、想定される。
コントローラ150は、車載コンピュータ、外部コンピュータ、またはスマートフォン、タブレットデバイス、パーソナルコンピュータ、ウェアラブルデバイスなどのモバイルコンピューティングプラットフォームを含むことができる。追加的に、または別の方法として、コントローラ150は、クラウドサーバーネットワークなどのリモートに位置するコンピュータシステムを含んでもよく、またはそれに接続されてもよい。例示的な実施形態では、コントローラ150は、本明細書に記載されたいくつかまたはすべての方法ブロックまたはステップを実施するように構成されてもよい。
コントローラ150は、1つ以上のプロセッサ152および少なくとも1つのメモリ154を含み得る。プロセッサ152は、例えば、特定用途向け集積回路(ASIC)またはフィールドプログラマブルゲートアレイ(FPGA)を含み得る。本明細書では、ソフトウェア命令を行うように構成された他のタイプのプロセッサ、コンピュータ、またはデバイスが、想定されている。メモリ154は、以下に限定されないが、読み出し専用メモリ(ROM)、プログラム可能読み出し専用メモリ(PROM)、消去可能プログラム可能読み出し専用メモリ(EPROM)、電気的消去可能プログラム可能読み出し専用メモリ(EEPROM)、不揮発性ランダムアクセスメモリ(例えば、フラッシュメモリ)、半導体ドライブ(SSD)、ハードディスクドライブ(HDD)、コンパクトディスク(CD)、デジタルビデオディスク(DVD)、デジタルテープ、読み取り/書き込み(R/W)CD、R/W DVD等の非一過性コンピュータ可読媒体を含んでもよい。
コントローラ150の1つ以上のプロセッサ152は、本明細書に記載される様々な動作を行うために、メモリ154に格納された命令を実行するように構成され得る。
追加的に、または別の方法として、コントローラ150は、本明細書に記載される様々な動作を行うように動作可能な回路(例えば、同期デジタル回路)を含み得る。例えば、回路はショットテーブルを含み得る。回路の他の機能(例えば、読み取りおよび順序付け)は、同期デジタル論理回路によって実行され得る。いくつかの実施形態では、回路およびその動作は、ベリログまたは別のハードウェア記述言語で指定されてもよい。そのようなシナリオでは、コントローラ150は、プロセッサを含む必要はない。
コントローラ150によって行われる動作は、複数の発光体デバイスのうちの少なくとも1つの発光体デバイスについて、光パルススケジュールを決定することを含み得る。光パルススケジュールは、少なくとも1つの発光体デバイスのそれぞれの放射ベクトルおよび外部環境の三次元マップに基づく。光パルススケジュールは、少なくとも1つの光パルスパラメータおよびリスニングウィンドウ持続時間を含む。いくつかの実施形態では、少なくとも1つの光パルスパラメータは、所望のパルス開始時間、所望の波長、所望のパルス電力、または所望のパルス持続時間のうちの少なくとも1つを含み得る。本明細書では、他のタイプの光パルスパラメータが可能であり、想定され得る。
いくつかの実施形態では、光パルススケジュールを決定する動作は、対象および対応する対象距離を決定することを含み得る。非限定的な例として、対象は、地表面、車両、障害物、または閉塞要素のうちの少なくとも1つを含むことができる。いくつかの実施形態では、対象は、外部環境内の少なくとも1つの発光体デバイスのそれぞれの放射ベクトルに沿って位置する。さらに、動作は、対応する対象距離および光パルスの速度に基づいてリスニングウィンドウ持続時間を決定することを含み得る。
動作は、複数の発光体デバイスのうちの少なくとも1つの発光体デバイスに、光パルススケジュールに従って光パルスを放射させることを含む。
いくつかの実施形態では、動作は、リスニングウィンドウ持続時間中に、光パルスと外部環境との間の相互作用を示す情報を受信することを、追加的に、または別の方法として含み得る。そのようなシナリオでは、動作は、受信された情報に基づいて、外部環境の三次元マップを調整することを含み得る。またさらに、いくつかの実施形態では、動作は、受信された情報に基づいて、光パルススケジュールを調整することも含み得る。いくつかの実施形態では、リスニングウィンドウ持続時間は、200ナノ秒~2マイクロ秒の包括的な範囲内で調整可能である。しかしながら、他のリスニングウィンドウ持続時間が可能であり、想定される。
図2は、例示的な実施形態による、いくつかのタイミングシーケンス200、210、および220を例証する。タイミングシーケンス200、210、および220は、システム100を含み得る、LIDARデバイスの様々な動作モードのブロックを例証し得る。例示的な実施形態では、タイミングシーケンス200、210、および220は、光パルス間のタイミングを処理する異なる方法を説明し得る。具体的には、タイミングシーケンス200、210、および220は、次の光パルスの送信に進む前に、LIDARシステムが所定のリスニングウィンドウ中にどれだけ待つことができるかを処理するための異なるシナリオを説明し得る。
タイミングシーケンス200のブロック202は、t0に、発光体デバイスに、光パルスを環境(例えば、システム100の環境)に送信させることを含む。リスニングウィンドウは、光パルスが放射されると開始し、tlisteningまで「開いた」ままになり得る。すなわち、t0~tlisteningのリスニングウィンドウ中に、受信機サブシステム(例えば、受信機サブシステム120)は、環境内の対象と相互作用した反射光パルスを受信するように動作可能であり得る。
ブロック204に記載されるように、いくつかの事例では、持続時間tlisteningのリスニングウィンドウ中に、受信機サブシステムによって反射光が受信されない、または不十分な反射光が受信され得る。そのようなシナリオでは、ブロック206に例証されるように、リスニングウィンドウは、「閉じる」、または期限切れになり得る。そのようなシナリオでは、システム100は、所定の範囲内の光パルスの放射ベクトルに沿って対象が存在しないと決定することができる。いくつかの実施形態では、所定の範囲は、光パルスがtlistening(例えば、(tlistening/2)*光の速度)内で移動することが可能であり得る最大往復距離に基づいてもよい。
タイミングシーケンス210に目を向けると、この場合も、ブロック202は、t0に、発光体デバイスに、光パルスを環境に放射させることを含み得る。ブロック212において、光パルスは、t1に、環境内の対象と相互作用し得る。例えば、光パルスは、対象から反射されてもよく、光パルスからの光の少なくとも一部は、受信機サブシステムに向けてリダイレクトされてもよい。ブロック214において、tlistening,1ノ前であるt2に、光の反射された部分が受信機サブシステム(例えば、受信機サブシステム120)によって受信され得る。タイミングシーケンス210によれば、ブロック206は、(時間tlistening,1に)リスニングウィンドウが期限切れになることを含み得る。リスニングウィンドウが期限切れになると、ブロック216は、後続の光パルスおよびリスニングウィンドウでタイミングシーケンス210を繰り返し得る。
タイミングシーケンス220は、本明細書に記載される実施形態のいくつかを例証し得る。すなわち、タイミングシーケンス220は、システムの環境内の対象に基づいて、後続のリスニングウィンドウ持続時間を動的に調整する方法を提供することができる。そのようなシナリオでは、ブロック202は、t0に、発光デバイスに、光パルスを環境に放射させることを含む。さらに、光パルスは、t1に、環境内の対象と相互作用し得る。またさらに、ブロック214は、t2に、反射光(またはその少なくとも一部)が受信機サブシステムによって受信されることを含み得る。いくつかの実施形態では、リスニングウィンドウtlistening,1は、所定の時間開いたままであり得る。しかしながら、いくつかの場合には、リスニングウィンドウを所定の時間開いたままにする必要はなく、反射光を受信した直後に次の光パルスが放射され得る。
追加的に、または別の方法として、反射光を受信すると、システム(例えば、システム100)は、ブロック222を行うことができる。ブロック222は、後続のリスニングウィンドウtlistening,2を調整することを含み得る。いくつかの実施形態では、後続のリスニングウィンドウは、すぐ次の光パルスおよび/または環境内の対象と相互作用することが予想される別の将来の光パルスに対応し得る。いくつかの実施形態では、ブロック222は、tlistening,1に、または後で行われてもよい。
例示的な実施形態では、tlistening,2をt2に調整することができる。すなわち、前の光パルスが対象と相互作用して受信機サブシステムに戻るまでの往復時間に一致するように、後続のリスニングウィンドウを短縮することができる。
追加的に、または別の方法として、後続のリスニング期間tlistening,2をt2+tbufferに調整することができる。そのような実施形態では、tbufferは、後続のリスニングウィンドウが対象からの反射光を検出するのに十分長く開いたままであることを確実にするための「バッファ時間」を含むことができる。いくつかの実施形態では、バッファ時間は、対象の決定された速度ベクトルに基づき得る。例えば、対象が光源から遠ざかっていると決定された場合、バッファ時間tbufferは、光源から対象までの距離が一定であるシナリオの場合よりも長くなる可能性がある。さらに、tbufferは、対象の最大速度ベクトルに対応し得る所定の時間量であり得る。例えば、所定の量のバッファ時間は、後続の光パルスが対象と相互作用するときの対象が存在し得る最大距離に基づくことができる。tbufferは、他の考慮事項に基づいていてもよく、それらのすべてが本明細書で想定されることが理解されよう。
タイミング図220は、システムの環境で決定された対象に基づいて所定のリスニング期間を設定することに関する。そのようなタイミング図220は、各発光器デバイスおよび/またはシステムによって放射された各光パルスについて直列および/または並列に繰り返されてもよいことが理解されよう。そのため、光パルススケジュール(例えば、光パルススケジュール160)は、環境内で検出された対象に基づいて構築および/または調整され得る。すなわち、反射光パルスがすでに検出されていたとしても、リスニング期間が期限切れになるのを待つのに費やされる時間を短縮するために、リスニング期間を短縮または最小化することができる。動的リスニング期間を活かすことで、より多くの光パルス(および受信された反射光パルス)を放射することができ、所与の時間量内でより高い空間的および/または時間的感知解像度および/またはより大きな視野感知を提供することができる。
図3は、例示的な実施形態による車両300を例証する。車両300は、1つ以上のセンサシステム302、304、306、308、および310を含むことができる。1つ以上のセンサシステム302、304、306、308、および310は、センサシステム10と同様または同一であり得る。一例として、センサシステム302、304、306、308、および310は、図1Aを参照して例証され、説明されるように、送信ブロック20を含み得る。すなわち、センサシステム302、304、306、308、および310は、所与の平面(例えば、x-y平面)に対してある角度範囲にわたって配設された複数の発光体デバイスを有するLIDARセンサを含み得る。
センサシステム302、304、306、308、および310のうちの1つ以上は、車両300の周囲の環境を光パルスで照明するように、所与の平面に垂直な軸(例えば、z軸)の周りを回転するように構成され得る。反射光パルスの様々な態様(例えば、飛行の経過時間、偏光など)の検出に基づいて、環境に関する情報を決定することができる。
例示的な実施形態では、センサシステム302、304、306、308、および310は、車両300の環境内の物理的対象に関し得るそれぞれの点群情報を提供するように構成され得る。システム10および100、車両300、ならびにセンサシステム302および304は、いくつかの特徴を含むものとして例証されているが、他のタイプのシステムが本開示の範囲内で想定されることが理解されよう。
一例として、例示的な実施形態は、複数の発光体デバイスを有するシステムを含み得る。システムは、LIDARデバイスの送信ブロックを含み得る。例えば、システムは、車両(例えば、自動車、トラック、オートバイ、ゴルフカート、航空機、ボートなど)のLIDARデバイス、またはその一部であり得る。複数の発光体デバイスの各発光体デバイスは、それぞれのビーム仰角に沿って光パルスを放射するように構成されている。本明細書の他の箇所に記載されるように、それぞれのビーム仰角は、基準角度または基準面に基づくことができる。いくつかの実施形態では、基準面は、車両の運動軸に基づき得る。
本明細書のいくつかの説明および例証は複数の発光体デバイスを有するシステムを説明しているが、より少ない発光体デバイス(例えば、単一の発光体デバイス)を有するLIDARシステムも本明細書で想定される。例えば、レーザーダイオードによって放射された光パルスは、システムの環境の周りに制御可能に向けられてもよい。光パルスの放射の角度は、例えば、機械的走査ミラーおよび/または回転モーターなどの走査デバイスによって調整されてもよい。例えば、走査デバイスは、所与の軸の周りを往復運動で回転する、および/または垂直軸の周りを回転することができる。別の実施形態では、発光体デバイスは、回転するプリズムミラーに向けて光パルスを放射することができ、それにより、各光パルスと相互作用するときのプリズムミラー角度の角度に基づいて光パルスを環境に放射することができる。追加的に、または別の方法として、走査光学系および/または他のタイプの電気光学機械デバイスは、環境の周りの光パルスを走査することが可能である。
いくつかの実施形態では、本明細書に記載されるように、単一の発光体デバイスは、可変ショットスケジュールに従って、および/またはショット当たりの可変電力で光パルスを放射することができる。すなわち、各レーザーパルスまたはショットの放射電力および/またはタイミングは、ショットのそれぞれの仰角に基づき得る。さらに、可変ショットスケジュールは、LIDARシステムから、またはLIDARシステムを支持する所与の車両の表面(例えば、フロントバンパー)からの所与の距離で所望の垂直間隔を提供することに基づくことができる。一例として、発光体デバイスからの光パルスが下向きに向けられるとき、目標までの予想される最大距離が短いことに起因して、ショット当たりの電力が低下する可能性がある。逆に、基準面よりも上の仰角で発光体デバイスによって放射された光パルスは、より長い距離を移動するパルスを適切に検出するのに十分な信号対雑音を提供するように、ショット当たりの電力が比較的高い場合がある。
さらに、下向きの光パルスの後続のショットまでの待機時間を短縮するために、ショットスケジュールを調整することができる。すなわち、移動距離が短いことに起因して、リスニングウィンドウの持続時間は、所与の環境内でより遠くに移動する光パルスの場合ほど長くない場合がある。
図4Aは、例示的な実施形態による、感知シナリオ400における車両300の側面図を例証する。そのようなシナリオでは、センサシステム302は、最大仰角412と最小仰角414との間の仰角範囲410にわたって車両300の環境に光パルスを放射するように構成され得る。いくつかの実施形態では、センサシステム302は、非線形の仰角分布で配設される複数の発光体デバイスを含み得る。すなわち、所望の垂直ビーム解像度を達成するために、センサシステム302の複数の発光体デバイスは、隣接するビーム間の異質な仰角差を含むビーム仰角にわたって配設されてもよい。
さらなる例として、センサシステム304は、最大仰角422と最小仰角424との間で定義され得る仰角範囲420にわたって車両300の環境に光パルスを放射するように構成され得る。いくつかの実施形態では、センサシステム304の複数の発光体デバイスは、車両300の周りの環境を非線形の仰角分布で照明することができる。すなわち、所望の垂直ビーム解像度を達成するために、センサシステム304の複数の発光体デバイスは、隣接するビーム間の仰角の異質な差を含むビーム仰角のセットにわたって配設されてもよい。
図4Aに例証されるように、センサシステム302から延びる第1の光パルス経路416は、対象によって遮られていない可能性がある。そのようなシナリオでは、第1の光パルス経路416に沿ってセンサシステム302によって放射された光パルスは、環境内の対象と相互作用することなく伝播し得る。すなわち、光パルスは、センサシステム302に向かって反射されない。第1の光パルス経路416が遮られていないことを決定することは、同じ光パルス経路に沿ってまたは実質的に同様の経路に沿って放射された以前の光パルスに基づいて、またはセンサシステム302の周囲の環境の二次元または三次元マップに基づいて決定することができる。
第1の光パルス経路416が遮られていないと決定される、または遮られていないと予想されるシナリオでは、所与の光パルスに関連する所定のリスニング期間を、最大リスニング期間の持続時間(例えば、2マイクロ秒)に設定することができる。他のリスニング期間の持続時間が可能であり、想定される。いくつかの実施形態では、リスニング期間を最大持続時間に設定することにより、対象が所定の最大感知距離よりも近くなったときに対象の感知を提供することができる。
図4Aに例証されるように、センサシステム304から延びる第2の光パルス経路426も、対象によって遮られていない可能性がある。そのため、本明細書に記載される方法およびシステム下では、第2の光パルス経路426に沿ってセンサシステム304によって放射された光パルスは、環境内の対象と相互作用することなく伝播し得る。すなわち、光パルスは、センサシステム304に向かって反射されない。第2の光パルス経路426が遮られていないことを決定することは、同じ光パルス経路に沿ってまたは実質的に同様の経路に沿って放射された以前の光パルスに基づいて、またはセンサシステム304の周囲の環境の二次元または三次元マップに基づいて決定することができる。
第2の光パルス経路426が遮られていないと決定される、または遮られていないと予想されるシナリオでは、第2の光パルス経路426に沿って放射された所与の光パルスに関連する所定のリスニング期間を、最大リスニング期間の持続時間(例えば、2マイクロ秒)に設定することができる。他のリスニング期間の持続時間が可能であり、想定される。
図4Bは、例示的な実施形態による感知シナリオ430を例証する。感知シナリオ430の少なくともいくつかの要素は、感知シナリオ400と同様または同一であり得る。例えば、センサシステム302は、最大仰角412と最小仰角414との間の仰角範囲410にわたって車両300の環境に光パルスを放射するように構成され得る。さらに、センサシステム304は、最大仰角422と最小仰角424との間で定義され得る仰角範囲420にわたって車両300の環境に光パルスを放射するように構成され得る。
図4Bに例証されるように、センサシステム302から延びる第1の光パルス経路432は、別の車両440などの対象と交差し得る。すなわち、センサシステム302によって放射された光パルスは、他の車両440の表面442と相互作用し得る。例証されるように、表面442は、車両440の後部を含み得る。しかしながら、本明細書では、他の多くのタイプの対象が可能であり、想定されることが理解されよう。限定されないが、そのような他のタイプの対象は、路面、障害物、葉、建物、歩行者、自転車、他の車両などを含み得る。
追加的に、センサシステム304から延びる第2の光パルス経路434も、(例えば、他の車両440の後部バンパー部分で)対象と交差し得る。
感知シナリオ430では、放射光パルスの少なくとも一部の光は、反射光として表面442によって反射され得る。反射光がセンサシステム302または304によって受信されると、往復時間が提供され得る。少なくとも決定された往復時間に基づいて、センサシステム302および304と他の車両440との間の相対距離を推定するか、そうでなければ決定することができる。
そのため、本明細書に記載される方法およびシステム下で、(第1の光パルス経路432に沿ったセンサシステム302によって、または第2の光パルス経路434に沿ったセンサシステム304によって)放射される光パルスは、対象までの推定距離または予想距離に基づき得る関連するリスニング期間を有し得る。一例として、リスニング期間の持続時間は、表面442との間の予想される往復時間(例えば、200ナノ秒)に等しい時間量に設定することができる。他のリスニング期間の持続時間が可能であり、想定される。
本明細書の他の箇所に記載されるように、対象までの推定距離または予想距離は、LIDAR点群、または三次元(例えば、深度マップ)もしくは二次元マップに基づくことができる。さらに、予想される対象に向けて放射される光パルスのために設定された関連するリスニング期間は、センサシステム302および304と車両との間の可能な相対移動を考慮するように、目標までの予想距離、または目標までの予想距離にバッファ時間を加えたものに基づくことができる。
図4Cおよび図4Dは、車両300を含むさらなる感知シナリオを例証する。図4Cは、感知シナリオ450における車両300の背面図を例証する。感知シナリオ450に例証されるように、センサシステム302、308、および310は、地表面から離れて、遮られていない可能性がある。例えば、センサシステム302は、最大仰角462および最小仰角464を有する仰角範囲460にわたって対象を検出するように構成され得る。同様に、センサシステム308および310は、それぞれの最大仰角472aおよび472bならびにそれぞれの最小仰角474aおよび474bによって境界付けられ得る、それぞれの仰角範囲470aおよび470bを提供し得る。
感知シナリオ450は、センサシステム302、308、および310の各々に対するそれぞれの光パルススケジュール(例えば、光パルススケジュール160)を含み得る。さらに、光パルススケジュールの各々は、最大感知距離または予想される地面位置のいずれかに基づく所定のリスニング期間を含み得る。
図4Dは、例示的な実施形態による感知シナリオ480を例証する。感知シナリオ480は、多車線道路の隣接車線にあり得る車両440を含み得る。そのため、仰角484などいくつかの仰角でセンサシステム302から放射された光パルスは、車両440の表面482と相互作用することができる。さらに、仰角486など様々な仰角でセンサシステム308から放射された光パルスは、表面484と相互作用することができる。そのような実施形態では、反射光パルスの往復時間は、地表面からの反射光パルスの往復時間よりも短い。そのため、対象面(例えば、表面482)が決定される、または存在すると予想される感知シナリオ480などのシナリオでは、光パルススケジュールは、それぞれの反射光パルスの短縮されたリスニング期間に基づいて調整され得る。感知シナリオ480は、他の多くの異なるタイプの対象およびそのような対象の位置を含み得ることが理解されよう。
例示的な実施形態は、車両が世界中を移動するときに、車両の周囲の環境の変化に基づいて、放射光パルスおよび/またはリスニングウィンドウ持続時間の様々な態様を調整することを含み得る。具体的には、放射光パルスおよびそれらに関連するリスニングウィンドウ持続時間の態様は、限定されないが、起伏のある道路(例えば、上り坂または下り坂を運転するとき、カーブを運転するときなどの勾配の変化)、道路上または道路に隣接する対象(例えば、歩行者、他の車両、建物など)、または他の静的もしくは動的に変化する環境条件または状況に基づいて変化し得る。
図4Eは、例示的な実施形態による感知シナリオ490を例証する。車両300は、上り坂の路面491と接触していてもよい。そのようなシナリオでは、感知に関心がある可能性がある対象は、同じ路面491と接触している他の車両(例えば、丘を越えて来る対向車)を含み得る。車両の移動経路を妨害する可能性があるそのような対象および/または他の車両は、路面491から0~4メートル上であり得る。そのため、センサ302は、最小ビーム仰角492と最大ビーム仰角493との間の対象を感知するように動作可能であり得るが、いくつかの実施形態では、最小ビーム仰角492と動的に変化する「グラウンドスキミング」ビーム仰角494との間で取得されたデータは、起伏のある路面491に沿って他の車両および対象を検出するために、より重要であるか、またはより高い優先度を有するものとして指定されてもよい。「グラウンドスキミング」ビーム仰角494は、特定の場所488に対応する走査角として動的に定義することができ、これは、道路から所定の高さ上であり、車両300から所定の距離離れていてもよい。例示的な実施形態では、特定の場所488は、車両300から約60メートルで地面からほぼ4メートル上であり得る。
それに応じて、いくつかの実施形態では、いくつかの条件下で、本明細書に記載されるシステムおよび方法は、可能なビーム仰角の全範囲(例えば、最小ビーム仰角492と最大ビーム仰角493との間の全角度範囲の間の角度)を必ずしも走査する必要はない。代わりに、ビーム走査範囲は、道路の動的に変化するヨー依存輪郭および/または車両300の周囲の環境の他の部分に基づいて変化してもよい。
図4Eを参照すると、いくつかの実施形態では、「グラウンドスキミング」ビーム仰角494と最大ビーム仰角493との間のビーム仰角をまったく走査する必要がない。すなわち、所与のヨー角について、車両300の進行を妨げる可能性のある対象を含まないと予測される高度範囲に光パルスを放射する必要がない。追加的に、または別の方法として、光パルスをそれらの角度範囲に放射することができるが、対応するリスニングウィンドウを短縮するか、完全になくすことができる。
いくつかの実施形態では、リスニングウィンドウ持続時間は、所定のリスニングウィンドウ持続時間の範囲内で調整されてもよい。そのようなシナリオでは、所定のリスニングウィンドウ持続時間の範囲は、最大検出範囲に対応し得る最大リスニングウィンドウ持続時間、および最小検出範囲に対応し得る最小リスニングウィンドウ持続時間を含み得る。一例として、最大検出範囲は、ほぼ200メートル以上とすることができる。いくつかの実施形態では、最小検出範囲は、ほぼ5メートル以下とすることができる。同様に、往復の光パルスを検出するには、最大および最小リスニングウィンドウ持続時間は、それぞれ1.3マイクロ秒および33ナノ秒とすることができる。他の最大および最小リスニングウィンドウ持続時間が可能であり、想定される。
さらに、最小ビーム仰角492と「グラウンドスキミング」ビーム仰角494との間の角度に放射される光パルスの場合、地面上または地面近くの対象が検出される可能性を高めるために、対応するリスニングウィンドウを延長(または最大化)してもよい。
いくつかの実施形態では、本明細書に記載されるシステムおよび方法は、(例えば、360度または複数のヨー角を通って)車両の周囲に延びる等高線に基づいてリスニングウィンドウおよび/または光パルス放射の態様を調整してもよく、車両300から所定の距離(例えば、60、100、または200メートル)離れて、および/または地表面から所定の高さ上に位置する実線として定義されてもよい。そのような等高線は、車両300がその環境の周囲を移動するときに動的に調整されてもよい。等高線は、地形図または車両300および/または他の車両によって取得された現在または以前の点群情報に基づいて決定することができる。いくつかの実施形態では、等高線は、図4A~図4Fに記載される様々な点を通過することができる。例えば、等高線は特定の場所488および489を通過することができる。
言い換えれば、等高線が車両300から60メートルの距離で地面から1メートルの所定の高さを表すシナリオを考える。車両300が地面から1メートルのところに対象のない平地にあるとき、等高線は、車両を中心とする半径60メートルの二次元の円によって表すことができる。しかしながら、車両300が地面から1メートルのところで丘陵地および/または対象に遭遇すると、等高線は、地形的特徴および/または対象データに基づいて、三次元の円、楕円、または不規則な形状を含み得る。いくつかの実施形態では、リスニングウィンドウ持続時間は、等高線の形状に基づいて調整することができる。
図4Fは、例示的な実施形態による感知シナリオ495を例証する。車両300は、下り坂の路面499と接触していてもよい。図4Eを参照して上述したように、センサ302のいくつかのビーム角度は、他のものよりも「優先」され得る。例えば、「グラウンドスキミング」ビーム仰角498は、車両300からの所定の距離および地表面の周りの所定の高さに対応する特定の場所489(各ヨー角に対して定義され得る)に基づいて動的に変化し得る。「グラウンドスキミング」ビーム仰角498と最小ビーム仰角496との間のビーム角度仰角の範囲は、他のビーム仰角(例えば、「グラウンドスキミング」ビーム仰角498と最大ビーム仰角497との間のビーム仰角)よりも優先されてもよい。
上記のように、いくつかの実施形態では、光パルスは、「グラウンドスキミング」ビーム仰角498よりも上のビーム仰角に放射される必要はない。追加的に、または別の方法として、そのような仰角範囲に放射される光パルスのリスニングウィンドウ持続時間を短縮するか、完全になくしてもよい。ヨー依存ビーム角度範囲への光パルスの送信と受信との間の他の区別は、地形図、点群情報、または車両300の環境内の対象および/または地表面に関する他の知識に基づいて可能である。いくつかの実施形態では、点群情報は、LIDARシステムを活かす車両によって(運転の以前の走査から、および/または同じルートに沿った車両の以前の運転からの走査から)収集されてもよく、またはLIDARシステムを活かす別の車両によって収集されてもよい。他の車両は、一般的な車両の一部であるか、別の車両に関連している可能性がある。
図5は、例示的な実施形態による、複数の発光体デバイス516a~516jを有するシステム500を例証する。システム500は、基板510を含むLIDAR送信ブロックの一部を含み得る。基板510は、プリント回路基板材料から形成されてもよい。いくつかの実施形態では、基板510は、レーザー切断および精密掘削作業によって形成されてもよい。基板510は、無電解ニッケル-無電解パラジウム-無電解金(ENEPIG)などのワイヤボンディング可能な仕上げを含んでもよい。少なくとも1つの基板510は、前縁に沿った複数の傾斜ファセット512a~512j、および各傾斜ファセット512a~512jに対応するダイアタッチ場所(図示せず)を含むことができる。そのようなシナリオでは、複数の傾斜ファセット512a~512jは、対応する複数の仰角を提供する。例示的な実施形態では、隣接する仰角間の一組の角度差は、少なくとも2つの異なる角度差値を含んでもよい。すなわち、仰角は、均一な角度差を含むのではなく、むしろ、例えば、それぞれの仰角、および仰角の向きが水平面よりも下であるか上であるかに基づいて、角度差は互いに異なり得る。一般的に、水平よりも下に向けられた仰角は、少なくとも光子が高い仰角のものほど遠くに移動する可能性が低いという理由で、より広く間隔をあけられている可能性がある。
複数の発光体デバイス516a~516jは、それぞれのダイアタッチ場所にアタッチされ得る。そのため、各発光体デバイスは、異なる仰角に沿って光パルスを放射するように向けることができる。さらに、複数の発光体デバイス516a~516jの各それぞれの発光体デバイスを、それぞれの複数のパルサー回路520a~520jにアタッチすることができる。いくつかの例示的な実施形態では、それぞれのパルサー回路は、本明細書に記載されるように、発光体デバイス516a~516jに光パルスを放射させることができる。さらに、複数のパルサー回路520a~520jは、本明細書に記載されるような光パルススケジュール(例えば、光パルススケジュール160)に基づいて、少なくとも部分的に制御され得る。
光パルススケジュールは、所与のそれぞれの仰角(または放射ベクトル)に沿って感知される、または予想される対象に基づいて動的に調整することができる。いくつかの実施形態では、所与の光パルスが予想される、または環境内の対象と相互作用する場合、対応するリスニングウィンドウは、少なくとも部分的に、その対象までの既知のまたは予想される距離に基づいて設定または調整され得る。
さらに、他の光学要素がシステム500に含まれてもよい。例えば、それぞれの複数のレンズ518a~518jは、それぞれの複数の発光体デバイス516a~516jに光学的に結合され得る。またさらに、位置合わせ機構524、通信インターフェース522、ソケット521、ならびに他の電子構成要素523aおよび523bなどの他の要素がシステム500に含まれてもよい。
III.例示的方法
図6は、例示的な実施形態による方法600を例証する。方法600は、本明細書で明示的に例証されるか、そうでなければ開示されるものよりも少ないまたは多いステップまたはブロックを含み得ることが理解されよう。さらに、方法600のそれぞれのステップまたはブロックは、任意の順序で実行されてもよく、各ステップまたはブロックは、1回以上実行されてもよい。いくつかの実施形態では、方法600のブロックまたはステップのいくつかまたはすべては、図1Bに関連して例証され、説明されるように、コントローラ150によって行われ得る。さらに、方法600は、図2に関連して説明されるように、少なくとも部分的にタイミング図220によって例証され得る。またさらに、方法600は、図3に関連して例証され、説明されるように、少なくとも部分的に車両300によって行われてもよい。方法600は、図4A~図4Dに関連して例証され、説明されるように、シナリオ400、430、450、および480と同様または同一のシナリオで行われ得る。
ブロック602は、複数の発光体デバイスのうちの少なくとも1つの発光体デバイスについて、光パルススケジュールを決定することを含む。そのようなシナリオでは、複数の発光体デバイスは、複数の放射ベクトルに沿って光を放射するように動作可能である。光パルススケジュールは、少なくとも1つの発光体デバイスのそれぞれの放射ベクトルおよび外部環境の三次元マップに基づく。光パルススケジュールは、少なくとも1つの光パルスパラメータおよびリスニングウィンドウ持続時間を含む。
いくつかの実施形態では、光パルススケジュールを決定することは、対象および対応する対象距離を決定することを含み得る。そのようなシナリオでは、対象は、外部環境内の少なくとも1つの発光体デバイスのそれぞれの放射ベクトルに沿って位置する。方法600は、対応する対象距離および光パルスの速度に基づいてリスニングウィンドウ持続時間を決定することも含み得る。
いくつかの実施形態では、対象は、地表面、車両、障害物、または閉塞要素のうちの少なくとも1つを含むことができる。
さらに、いくつかの場合には、光パルススケジュールを決定することは、約200ナノ秒~約2マイクロ秒の包括的な範囲内でリスニングウィンドウ持続時間を調整することを含み得る。他のリスニングウィンドウ持続時間が可能であり、想定される。
ブロック604は、複数の発光体デバイスのうちの少なくとも1つの発光体デバイスに、光パルススケジュールに従って光パルスを放射させることを含む。光パルスは、外部環境と相互作用する。
いくつかの実施形態では、方法600は、ハウジングを回転軸の周りで回転させることを含む。そのようなシナリオでは、複数の発光体デバイスがハウジングに結合されている。本明細書の他の箇所に記載されるように、発光体デバイスは、図3に関連して例証され、説明されるように、センサ302の回転軸と同様の回転軸の周りで回転することができる。
追加的に、方法600は、リスニングウィンドウ持続時間中に、光パルスと外部環境との間の相互作用を示す情報を受信することを含み得る。そのようなシナリオでは、方法600は、受信された情報に基づいて、外部環境の三次元マップを調整することも含み得る。追加的に、または別の方法として、方法600は、受信された情報に基づいて、光パルススケジュールを調整することを含み得る。
さらに、図に示されている特定の配置は、限定であると見なされるべきではない。他の実施形態は、所与の図の中に示された各要素を、ある程度含み得ることを理解されたい。さらに、例証された要素のうちのいくつかは、組み合わせられ、または省略され得る。またさらに、例証となる実施形態は、各図に例証されていない要素を含んでもよい。
情報の処理を表すステップまたはブロックは、本明細書に記載された方法または技術の特定の論理的機能を実行するように構成されることが可能である回路に対応することができる。別の方法として、または追加的に、情報の処理を表すステップまたはブロックは、モジュール、セグメント、物理的なコンピュータ(例えば、フィールドプログラマブルゲートアレイ(FPGA)または特定用途向け集積回路(ASIC))、またはプログラムコードの一部(関連データを含む)に対応することができる。プログラムコードは、方法または技術において特定の論理的機能または動作を実施するためのプロセッサによって実行可能である1つ以上の命令を含むことができる。プログラムコードおよび/または関連データは、ディスク、ハードドライブ、または他のストレージ媒体を含むストレージデバイスなどの任意のタイプのコンピュータ可読媒体上に格納することができる。
コンピュータ可読媒体はまた、レジスタメモリ、プロセッサキャッシュ、およびランダムアクセスメモリ(RAM)などの、データを短い期間の間格納するコンピュータ可読媒体などの非一過性コンピュータ可読媒体を含むこともできる。コンピュータ可読媒体はまた、プログラムコードおよび/またはデータをより長期間格納する非一過性コンピュータ可読媒体を含むこともできる。したがって、コンピュータ可読媒体は、例えば、読み出し専用メモリ(ROM)、光ディスクもしくは磁気ディスク、コンパクトディスク読み出し専用メモリ(CD-ROM)などの二次的または永続的な長期ストレージを含んでもよい。コンピュータ可読媒体はまた、任意の他の揮発性または不揮発性ストレージシステムとすることもできる。コンピュータ可読媒体は、例えば、コンピュータ可読ストレージ媒体、または有形のストレージデバイスと見なすことができる。
様々な例および実施形態が開示されてきたが、他の例および実施形態は、当業者であれば明かであろう。開示された様々な例および実施形態は、例証の目的のためであり、限定することを意図されておらず、その真の範囲は、以下の特許請求の範囲により示される。

Claims (20)

  1. システムであって、
    複数の発光体デバイスであって、放射光が前記システムの外部環境と相互作用するように、複数の放射ベクトルに沿って光を放射するように動作可能である、複数の発光体デバイスと、
    前記放射光と前記外部環境との間の相互作用を示す情報を提供するように構成された受信機サブシステムと、
    動作を行うように動作可能なコントローラと、を含み、前記動作が、
    前記複数の発光体デバイスのうちの少なくとも1つの発光体デバイスについて、光パルススケジュールを決定することであって、前記光パルススケジュールは、前記少なくとも1つの発光体デバイスのそれぞれの放射ベクトルおよび前記外部環境の三次元マップに基づき、前記光パルススケジュールは、少なくとも1つの光パルスパラメータおよびリスニングウィンドウ持続時間を含む、決定することと、
    前記複数の発光体デバイスのうちの前記少なくとも1つの発光体デバイスに、前記光パルススケジュールに従って光パルスを放射させることと、を含む、システム。
  2. 前記複数の発光デバイスは、レーザーダイオード、レーザーバー、またはレーザースタックのうちの少なくとも1つを含む、請求項1に記載のシステム。
  3. 前記受信機サブシステムは、複数の光検出器デバイスを含み、前記光検出器デバイスは、アバランシェフォトダイオード、単一光子アバランシェ検出器(SPAD)、またはシリコン光電子増倍管(SiPM)のうちの少なくとも1つを含む、請求項1に記載のシステム。
  4. 前記複数の光検出器デバイスは、1550nmまたは780nmのうちの少なくとも1つの波長を含む光を検出するように構成されている、請求項3に記載のシステム。
  5. 垂直面に沿って配置された少なくとも1つの基板をさらに含み、各発光体デバイスは、そのそれぞれの放射ベクトルに沿って光を放射するように動作可能であるように前記基板に結合され、前記複数の放射ベクトルのうちの少なくとも2つの放射ベクトルは、水平面に対して変化する、請求項1に記載のシステム。
  6. ハウジングをさらに含み、前記複数の発光体デバイスおよび前記受信機サブシステムが前記ハウジングに結合されており、前記ハウジングが、回転軸の周りを回転するように構成されている、請求項1に記載のシステム。
  7. 前記光パルススケジュールを決定することは、
    対象および対応する対象距離を決定することであって、前記対象が、前記外部環境内の前記少なくとも1つの発光体デバイスの前記それぞれの放射ベクトルに沿って位置する、決定することと、
    前記対応する対象距離および前記光パルスの速度に基づいて前記リスニングウィンドウ持続時間を決定することと、を含む、請求項1に記載のシステム。
  8. 前記対象は、地表面、車両、障害物、または閉塞要素のうちの少なくとも1つを含む、請求項7に記載のシステム。
  9. 前記少なくとも1つの光パルスパラメータは、所望のパルス開始時間、所望の波長、所望のパルス電力、または所望のパルス持続時間のうちの少なくとも1つを含む、請求項1に記載のシステム。
  10. 前記動作は、
    前記リスニングウィンドウ持続時間中に、前記光パルスと前記外部環境との間の相互作用を示す情報を受信することと、
    前記受信された情報に基づいて、前記光パルススケジュールを調整することと、をさらに含む、請求項1に記載のシステム。
  11. 前記光パルススケジュールを調整することは、
    前記受信された情報に基づいて、前記外部環境の前記三次元マップを調整することを含む、請求項10に記載のシステム。
  12. 前記リスニングウィンドウ持続時間は、100ナノ秒~2マイクロ秒の包括的な範囲内で調整可能である、請求項1に記載のシステム。
  13. 方法であって、
    複数の発光体デバイスのうちの少なくとも1つの発光体デバイスについて、光パルススケジュールを決定することであって、前記複数の発光体デバイスは、複数の放射ベクトルに沿って光を放射するように動作可能であり、前記光パルススケジュールは、前記少なくとも1つの発光体デバイスのそれぞれの放射ベクトルおよび外部環境の三次元マップに基づき、前記光パルススケジュールは、少なくとも1つの光パルスパラメータおよびリスニングウィンドウ持続時間を含む、決定することと、
    前記複数の発光体デバイスのうちの前記少なくとも1つの発光体デバイスに、前記光パルススケジュールに従って光パルスを放射させることであって、前記光パルスは、外部環境と相互作用する、放射させることと、を含む、方法。
  14. ハウジングを回転軸の周りで回転させることをさらに含み、前記複数の発光体デバイスが、前記ハウジングに結合されている、請求項13に記載の方法。
  15. 前記光パルススケジュールを決定することは、
    対象および対応する対象距離を決定することであって、前記対象が、前記外部環境内の前記少なくとも1つの発光体デバイスの前記それぞれの放射ベクトルに沿って位置する、決定することと、
    前記対応する対象距離および前記光パルスの速度に基づいて前記リスニングウィンドウ持続時間を決定することと、を含む、請求項13に記載の方法。
  16. 前記対象は、地表面、車両、障害物、または閉塞要素のうちの少なくとも1つを含む、請求項15に記載の方法。
  17. 前記リスニングウィンドウ持続時間中に、前記光パルスと前記外部環境との間の相互作用を示す情報を受信することと、
    前記受信された情報に基づいて、前記外部環境の前記三次元マップを調整することと、をさらに含む、請求項13に記載の方法。
  18. 前記受信された情報に基づいて、前記光パルススケジュールを調整することをさらに含む、請求項17に記載の方法。
  19. 前記光パルススケジュールを決定することは、100ナノ秒~2マイクロ秒の包括的な範囲内で前記リスニングウィンドウ持続時間を調整することを含む、請求項13に記載の方法。
  20. システムであって、
    複数の発光体デバイスであって、放射光が前記システムの外部環境と相互作用するように、複数の放射ベクトルに沿って光を放射するように動作可能である、複数の発光体デバイスと、
    前記放射光と前記外部環境との間の相互作用を示す情報を提供するように構成された受信機サブシステムと、
    動作を行うように動作可能なコントローラと、を含み、前記動作が、
    前記複数の発光体デバイスのうちの少なくとも1つの発光体デバイスについて、光パルススケジュールを決定することであって、前記光パルススケジュールは、前記少なくとも1つの発光体デバイスのそれぞれの放射ベクトルおよび前記外部環境の三次元マップに基づき、前記決定された光パルススケジュールは、少なくとも1つの光パルスパラメータおよびリスニングウィンドウ持続時間を含む、決定することと、
    前記複数の発光体デバイスのうちの前記少なくとも1つの発光体デバイスに、前記決定された光パルススケジュールに従って第1の光パルスを放射させ、デフォルトの光パルススケジュールに従って第2の光パルスを放射させることと、を含む、システム。
JP2020530461A 2017-12-22 2018-10-31 Lidarを使用した適応的範囲カバレッジのためのシステムおよび方法 Active JP7008139B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/852,788 US11340339B2 (en) 2017-12-22 2017-12-22 Systems and methods for adaptive range coverage using LIDAR
US15/852,788 2017-12-22
PCT/US2018/058452 WO2019125607A1 (en) 2017-12-22 2018-10-31 Systems and methods for adaptive range coverage using lidar

Publications (2)

Publication Number Publication Date
JP2021507207A JP2021507207A (ja) 2021-02-22
JP7008139B2 true JP7008139B2 (ja) 2022-01-25

Family

ID=66950210

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020530461A Active JP7008139B2 (ja) 2017-12-22 2018-10-31 Lidarを使用した適応的範囲カバレッジのためのシステムおよび方法

Country Status (8)

Country Link
US (3) US11340339B2 (ja)
EP (1) EP3707531B1 (ja)
JP (1) JP7008139B2 (ja)
KR (1) KR20200090271A (ja)
CN (1) CN111512183B (ja)
IL (1) IL275439B2 (ja)
SG (1) SG11202005134UA (ja)
WO (1) WO2019125607A1 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10365351B2 (en) * 2017-03-17 2019-07-30 Waymo Llc Variable beam spacing, timing, and power for vehicle sensors
US10613200B2 (en) 2017-09-19 2020-04-07 Veoneer, Inc. Scanning lidar system and method
US11460550B2 (en) 2017-09-19 2022-10-04 Veoneer Us, Llc Direct detection LiDAR system and method with synthetic doppler processing
US11194022B2 (en) 2017-09-29 2021-12-07 Veoneer Us, Inc. Detection system with reflection member and offset detection array
US11585901B2 (en) 2017-11-15 2023-02-21 Veoneer Us, Llc Scanning lidar system and method with spatial filtering for reduction of ambient light
US11636353B2 (en) * 2018-10-19 2023-04-25 International Business Machines Corporation Cognitive system for localized LIDAR pollution detection using autonomous vehicles
JP2020153715A (ja) * 2019-03-18 2020-09-24 株式会社リコー 測距装置および測距方法
US11029386B2 (en) * 2019-07-10 2021-06-08 Ford Global Technologies, Llc Vehicle sensor operation
US11579257B2 (en) * 2019-07-15 2023-02-14 Veoneer Us, Llc Scanning LiDAR system and method with unitary optical element
US11474218B2 (en) 2019-07-15 2022-10-18 Veoneer Us, Llc Scanning LiDAR system and method with unitary optical element
US11313969B2 (en) 2019-10-28 2022-04-26 Veoneer Us, Inc. LiDAR homodyne transceiver using pulse-position modulation
RU2752016C2 (ru) * 2019-12-23 2021-07-22 Общество с ограниченной ответственностью «Яндекс Беспилотные Технологии» Лидарные (lidar) способы и системы со сканированием с избирательной плотностью на основе mems
US20210270967A1 (en) * 2020-02-28 2021-09-02 Waymo Llc Maximum Range Indication in Lidar Point Data
US11592562B2 (en) * 2020-06-22 2023-02-28 LightIC Technologies HK Limited Continuous-wave light detection and ranging (LiDAR) system
US20220187448A1 (en) * 2020-12-16 2022-06-16 Waymo Llc Adjusting Lidar Parameters Based on Environmental Conditions
US11326758B1 (en) 2021-03-12 2022-05-10 Veoneer Us, Inc. Spotlight illumination system using optical element
US11686845B2 (en) * 2021-03-26 2023-06-27 Aeye, Inc. Hyper temporal lidar with controllable detection intervals based on regions of interest
US11604264B2 (en) 2021-03-26 2023-03-14 Aeye, Inc. Switchable multi-lens Lidar receiver
US11635495B1 (en) 2021-03-26 2023-04-25 Aeye, Inc. Hyper temporal lidar with controllable tilt amplitude for a variable amplitude scan mirror
US11460552B1 (en) * 2021-03-26 2022-10-04 Aeye, Inc. Hyper temporal lidar with dynamic control of variable energy laser source
US11500093B2 (en) 2021-03-26 2022-11-15 Aeye, Inc. Hyper temporal lidar using multiple matched filters to determine target obliquity
US11732858B2 (en) 2021-06-18 2023-08-22 Veoneer Us, Llc Headlight illumination system using optical element
CN114325738B (zh) * 2021-12-23 2023-01-10 探维科技(北京)有限公司 测量距离的方法及激光雷达

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130201288A1 (en) 2012-02-03 2013-08-08 Bryed Billerbeck High dynamic range & depth of field depth camera
JP2016017785A (ja) 2014-07-07 2016-02-01 株式会社東芝 レーダ装置
JP2016534346A (ja) 2013-08-20 2016-11-04 グーグル インコーポレイテッド 共用伝送/受光経路を備えたlidarプラットフォームを回転させる装置及び方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0557688U (ja) 1992-01-10 1993-07-30 三菱電機株式会社 レーザ測距装置
JPH07191146A (ja) 1993-12-24 1995-07-28 Mitsubishi Electric Corp 距離測定装置
JPH07209421A (ja) 1994-01-26 1995-08-11 Nikon Corp 障害物検知装置
JPH07260937A (ja) 1994-03-22 1995-10-13 Nikon Corp 距離測定装置
CN1101056C (zh) 1995-06-22 2003-02-05 3Dv系统有限公司 生成距景物距离的图象的方法和装置
AUPR301401A0 (en) * 2001-02-09 2001-03-08 Commonwealth Scientific And Industrial Research Organisation Lidar system and method
US7733464B2 (en) 2002-08-05 2010-06-08 Elbit Systems Ltd. Vehicle mounted night vision imaging system and method
US8057082B2 (en) * 2007-02-01 2011-11-15 Aimrail Corporation Multiple axes adjustable lighting system
US7864103B2 (en) 2007-04-27 2011-01-04 Accipiter Radar Technologies, Inc. Device and method for 3D height-finding avian radar
DE102008038365A1 (de) * 2008-07-02 2010-01-07 Adc Automotive Distance Control Systems Gmbh Fahrzeug-Radarsystem und Verfahren zur Bestimmung einer Position zumindest eines Objekts relativ zu einem Fahrzeug
DE102009047012A1 (de) * 2009-11-23 2011-05-26 Robert Bosch Gmbh Verfahren zur Erfassung von Objekten
CN102971657B (zh) * 2010-07-22 2016-06-22 瑞尼斯豪公司 激光扫描设备和使用方法
EP3171201B1 (de) 2012-03-07 2018-05-09 Safran Vectronix AG Entfernungsmesser
US9157989B2 (en) 2012-08-29 2015-10-13 Trimble Ab Distance measurement methods and apparatus
US9383753B1 (en) * 2012-09-26 2016-07-05 Google Inc. Wide-view LIDAR with areas of special attention
JP2014145697A (ja) 2013-01-30 2014-08-14 Mitsubishi Electric Corp レーダ制御装置
CN105556338B (zh) * 2013-09-20 2022-01-07 卡特彼勒公司 使用射频信号的定位系统
KR20150095033A (ko) 2014-02-12 2015-08-20 한국전자통신연구원 레이저 레이더 장치 및 그것의 영상 획득 방법
US10107914B2 (en) * 2015-02-20 2018-10-23 Apple Inc. Actuated optical element for light beam scanning device
US9880263B2 (en) 2015-04-06 2018-01-30 Waymo Llc Long range steerable LIDAR system
US10527726B2 (en) * 2015-07-02 2020-01-07 Texas Instruments Incorporated Methods and apparatus for LIDAR with DMD
US11194023B2 (en) * 2015-12-21 2021-12-07 Koito Manufacturing Co., Ltd. Image acquiring apparatus for vehicle, control device, vehicle having image acquiring apparatus for vehicle or control device, and image acquiring method for vehicle
US10627490B2 (en) 2016-01-31 2020-04-21 Velodyne Lidar, Inc. Multiple pulse, LIDAR based 3-D imaging
JP2017161292A (ja) 2016-03-08 2017-09-14 富士通株式会社 光測距システムおよび光測距方法
CA3023070A1 (en) 2016-05-02 2017-11-09 Growflux Llc System and method for advanced horticultural lighting
US10209359B2 (en) * 2017-03-28 2019-02-19 Luminar Technologies, Inc. Adaptive pulse rate in a lidar system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130201288A1 (en) 2012-02-03 2013-08-08 Bryed Billerbeck High dynamic range & depth of field depth camera
JP2016534346A (ja) 2013-08-20 2016-11-04 グーグル インコーポレイテッド 共用伝送/受光経路を備えたlidarプラットフォームを回転させる装置及び方法
JP2016017785A (ja) 2014-07-07 2016-02-01 株式会社東芝 レーダ装置

Also Published As

Publication number Publication date
EP3707531B1 (en) 2024-01-03
US20190195990A1 (en) 2019-06-27
IL275439B2 (en) 2024-03-01
US20220236377A1 (en) 2022-07-28
IL275439B1 (en) 2023-11-01
CN111512183A (zh) 2020-08-07
CN111512183B (zh) 2023-12-12
US11340339B2 (en) 2022-05-24
EP3707531A4 (en) 2021-08-11
IL275439A (en) 2020-08-31
JP2021507207A (ja) 2021-02-22
SG11202005134UA (en) 2020-07-29
US11841464B2 (en) 2023-12-12
EP3707531A1 (en) 2020-09-16
KR20200090271A (ko) 2020-07-28
WO2019125607A1 (en) 2019-06-27
US20240061089A1 (en) 2024-02-22

Similar Documents

Publication Publication Date Title
JP7008139B2 (ja) Lidarを使用した適応的範囲カバレッジのためのシステムおよび方法
JP7411027B2 (ja) 乗物センサの可変ビーム間隔、タイミング、およびパワー
US20220155456A1 (en) Systems and Methods for Real-Time LIDAR Range Calibration

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200727

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210616

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210708

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220107

R150 Certificate of patent or registration of utility model

Ref document number: 7008139

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150