JP2023536150A - 自律運転中にコーナ周辺を見るための、多重周波数レーダアレイシステム及びセンサ融合 - Google Patents
自律運転中にコーナ周辺を見るための、多重周波数レーダアレイシステム及びセンサ融合 Download PDFInfo
- Publication number
- JP2023536150A JP2023536150A JP2023506157A JP2023506157A JP2023536150A JP 2023536150 A JP2023536150 A JP 2023536150A JP 2023506157 A JP2023506157 A JP 2023506157A JP 2023506157 A JP2023506157 A JP 2023506157A JP 2023536150 A JP2023536150 A JP 2023536150A
- Authority
- JP
- Japan
- Prior art keywords
- radar
- band
- target
- array
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004927 fusion Effects 0.000 title description 16
- 238000000034 method Methods 0.000 claims abstract description 72
- 238000001514 detection method Methods 0.000 claims abstract description 27
- 230000003287 optical effect Effects 0.000 claims description 34
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 claims description 22
- 238000009826 distribution Methods 0.000 claims description 11
- 239000000463 material Substances 0.000 claims description 8
- 230000010287 polarization Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 17
- 238000005516 engineering process Methods 0.000 abstract description 11
- 230000005540 biological transmission Effects 0.000 description 26
- 238000003491 array Methods 0.000 description 22
- 230000000875 corresponding effect Effects 0.000 description 17
- 238000004088 simulation Methods 0.000 description 16
- 238000013459 approach Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 15
- 230000008901 benefit Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 230000004044 response Effects 0.000 description 10
- 238000012800 visualization Methods 0.000 description 9
- 230000002238 attenuated effect Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000001360 synchronised effect Effects 0.000 description 6
- 230000002411 adverse Effects 0.000 description 5
- 239000000428 dust Substances 0.000 description 5
- 238000000926 separation method Methods 0.000 description 5
- 230000002596 correlated effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 238000009987 spinning Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 230000006735 deficit Effects 0.000 description 2
- 230000005684 electric field Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000005021 gait Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 101100434411 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) ADH1 gene Proteins 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000001994 activation Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 101150102866 adc1 gene Proteins 0.000 description 1
- 101150042711 adc2 gene Proteins 0.000 description 1
- 238000005267 amalgamation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 238000005311 autocorrelation function Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
- G01S13/06—Systems determining position data of a target
- G01S13/46—Indirect determination of position data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/865—Combination of radar systems with lidar systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/003—Bistatic radar systems; Multistatic radar systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/484—Transmitters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
- G01S13/06—Systems determining position data of a target
- G01S13/46—Indirect determination of position data
- G01S2013/462—Indirect determination of position data using multipath signals
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Automation & Control Theory (AREA)
- Mathematical Physics (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Radar Systems Or Details Thereof (AREA)
- Optics & Photonics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
自律運転のために及び/又は自律走行車において使用され得るシステム、装置、及び方法が本明細書に開示される。いくつかの実施形態は、一体型の大開口多帯域レーダサブシステムを使用し、風景の検知及び理解を大幅に向上させるために、特に、来る人周辺を見て見通し外目標を識別するために、多重帯域及び/又は多重センサ技術の独自の伝播特性を活用する。いくつかの実施形態において、システムの少なくとも1つのプロセッサは、さまざまな条件(たとえば、気象)において高い精度を提供するために、複数の帯域のリターン(反射)信号を共同処理することが可能である。開示されるレーダサブシステムは、単独で、又は、たとえばLiDAR及び/又はカメラなどの別のセンシング技術とともに使用することができる。
Description
関連出願の相互参照
本出願は、2020年7月29日に出願された「Next Generation Sensor Technology For Autonomous Driving」(代理人整理番号NPS005P)と題される米国仮特許出願第63/058,471号、及び、2020年10月15日に出願された「Next Generation Sensor Technology for Autonomous Driving」(代理人整理番号NPS007P)と題される米国仮特許出願第63/092,336号に対する優先権を主張する。上記の出願はどちらも、あらゆる目的のために、参照によりその全体が本明細書に組み込まれる。
本出願は、2020年7月29日に出願された「Next Generation Sensor Technology For Autonomous Driving」(代理人整理番号NPS005P)と題される米国仮特許出願第63/058,471号、及び、2020年10月15日に出願された「Next Generation Sensor Technology for Autonomous Driving」(代理人整理番号NPS007P)と題される米国仮特許出願第63/092,336号に対する優先権を主張する。上記の出願はどちらも、あらゆる目的のために、参照によりその全体が本明細書に組み込まれる。
背景
今日、多くの企業が、(たとえば、自動車などの自律走行車における)自律運転(AD)アプリケーションのための技術を作成又は使用している。ADシステムのための重要な考慮すべき点は、複雑及び動的な場面のほとんど無限の組み合わせにおいて動作している間の安全性である。ADの目標は、自律走行車(AV)が遭遇することがあるすべての場面における事故の確率をゼロ近くまで低下させ、それによって、人間の運転手が実現できるよりもはるかに高い安全性を提供することである。
今日、多くの企業が、(たとえば、自動車などの自律走行車における)自律運転(AD)アプリケーションのための技術を作成又は使用している。ADシステムのための重要な考慮すべき点は、複雑及び動的な場面のほとんど無限の組み合わせにおいて動作している間の安全性である。ADの目標は、自律走行車(AV)が遭遇することがあるすべての場面における事故の確率をゼロ近くまで低下させ、それによって、人間の運転手が実現できるよりもはるかに高い安全性を提供することである。
見通し内(LOS)及び見通し外(NLOS)目標(たとえば、他の車両、人々、動物、建物など)は、ADシステムを備える車両に危険をもたらす可能性がある。NLOS目標を検出する能力は、衝突を引き起こすことがある隠れた目標を避ける可能性があるように、特に有用であろう。たとえば、都市環境において、交差点の方へ加速しながら近づいてくる自動車は、最初、建物によって隠されていることがある。近づいてくる自動車をちょうど認識できる前に検出し、近づいてくる自動車が交差点の赤信号で停止しなかった場合に事故を避けることは、近づいてくる自動車に衝突される可能性がある、別の方向から交差点に接近している車両上のADシステムにとって望ましいであろう。雨、雪、霧、明るい日光、粉塵などの悪天候及び他の条件も、ADシステムに課題を提示する可能性がある。
これらの課題の結果として、理想的な条件の下でさえ、現在のADソリューションは、部分的なL4(高度運転自動化)及び/又は部分的なL5(完全運転自動化)の自律性を提供する。したがって、現在のアプローチの欠点に対処するADシステム、方法、及びデバイスを提供することが望ましい。
図面の簡単な説明
本開示の目的、特徴、及び利点は、添付の図面に関連する特定の実施形態の以下の説明から容易に明らかであろう。
本開示の目的、特徴、及び利点は、添付の図面に関連する特定の実施形態の以下の説明から容易に明らかであろう。
理解を容易にするために、同一の参照番号は、可能な場合には、図に共通である同一の要素を示すために使用されている。図面のいくつかは、特定の要素(たとえば、信号、目標、送信機、受信機、アレイ要素など)の複数の例を示す。本明細書で使用される慣習は、文字(たとえば、A、B、Cなど)が続く参照番号によって図面に示される要素の特定の例を示すことである。明細書が通常、要素に言及するときは、参照番号のみ使用される。よって、1つの例として、明細書は特定の目標130A、130Bなどに言及し、図面は特定の目標130A、130Bなどを示し、明細書は単に1つの目標130又は複数の目標130にも言及する。1つの実施形態において開示される要素は、特定の詳述なしに、他の実施形態において有利に利用されてもよいことが意図されている。さらに、1つの図面の状況における要素の説明は、その要素を示す他の図面に適用可能である。
詳細な説明
複数の種類のセンサをADシステムで使用することができる。たとえば、カメラは、安価で、車両内又は車両上の好都合な場所に簡単に一体化される、よく理解されている20世紀の二次元センサ技術である。ステレオモードの従来のカメラは、いくつかの対象及びそれらのそれぞれの速度を検知するために使用することができるが、カメラは、距離及び奥行きの推定に限界がある。よって、カメラの精度は、多くの場合、安全なADシステムに必要とされるものを下回っており、カメラは、NLOS目標を検知することができない。さらに、カメラは、夜間、霧の中、直射日光、及び他の条件において同様に機能せず、錯視に対しても弱い。独立型のカメラは、ADには不十分である。結果として、他のセンサ技術が、目標を検知及び/又は追跡するカメラの性能を増大及び/又は強化するために開発されてきた。
複数の種類のセンサをADシステムで使用することができる。たとえば、カメラは、安価で、車両内又は車両上の好都合な場所に簡単に一体化される、よく理解されている20世紀の二次元センサ技術である。ステレオモードの従来のカメラは、いくつかの対象及びそれらのそれぞれの速度を検知するために使用することができるが、カメラは、距離及び奥行きの推定に限界がある。よって、カメラの精度は、多くの場合、安全なADシステムに必要とされるものを下回っており、カメラは、NLOS目標を検知することができない。さらに、カメラは、夜間、霧の中、直射日光、及び他の条件において同様に機能せず、錯視に対しても弱い。独立型のカメラは、ADには不十分である。結果として、他のセンサ技術が、目標を検知及び/又は追跡するカメラの性能を増大及び/又は強化するために開発されてきた。
より正確な距離推定及びより正確な奥行き情報を提供することが可能な2つの技術は、無線検知測距(レーダ)及び光検知測距(LiDAR)である。レーダシステムは、電磁波を(たとえば、無線又はマイクロ波周波数で)送信し、目標からの波の反射を受信する。目標の位置及び速度は、反射から決定することができる。
レーダシステムの性能は、その距離分解能及びその角度分解能によって特徴づけることができる(本明細書では、分解能は、2つの対象が、区別できずに、一体となって見える前に、(距離又は角度分離において)どれくらい近くなければならないかを表す)。距離分解能は、同じ方角であるが異なる距離にある2つの目標の間の識別できる距離の最小差である。角度分解能は、同じサイズで同じ距離にある2つの目標を識別できる最小の間隔である。レーダシステムの距離分解能は、変調波形の帯域幅に依存し、角度分解能(方位及び仰角の両方)は、レーダアレイ自体の物理的口径に依存する。レーダの精度、すなわち、距離及び角度に関してどれだけ正確に目標を識別することができるかは、特に、受信した信号対雑音比(SNR)に依存する。レーダを使用する現在のADシステムは、通常は、77GHzで動作し、直線周波数変調(FM)を使用する。これらのADシステムは、伝えられるところでは、サブメータの距離分解能及びサブ度の角度分解能を有する。
レーダシステムは、速く、長距離で動作することができ、機械的可動部を必要としない
が、不正確である可能性がある。たとえば、レーダシステムは、非常に大きい目標を表示しているとき、小さい目標からの映像を見落とすことがある。さらにまた、高周波レーダ帯域は、悪天候(たとえば、雨、霧)及び他の障害(たとえば、ほこり)によって悪影響を受け、低周波レーダ帯域は、精度が低く、より大きい開口のアンテナを使用する。
が、不正確である可能性がある。たとえば、レーダシステムは、非常に大きい目標を表示しているとき、小さい目標からの映像を見落とすことがある。さらにまた、高周波レーダ帯域は、悪天候(たとえば、雨、霧)及び他の障害(たとえば、ほこり)によって悪影響を受け、低周波レーダ帯域は、精度が低く、より大きい開口のアンテナを使用する。
LiDARシステムは、目標エリア又はシーンにパルス光を照射し、目標に反射されたパルスが光検知器まで戻るのにどれだけかかるかを測定する。多くのLiDARシステムは、光パルスを送信するためにレーザを使用し、対象から対応する受信機(たとえば、フォトダイオード)までの反射の飛行時間を測定する。LiDARには、スピニングLiDAR及びソリッドステートLiDARを含む、いくつかのバリエーションがある。名前が示すように、スピニングLiDARシステムは、可動部を有して、視界を物理的にスキャンする。ソリッドステートLiDARは、可動部を有していない。LiDARの別のクラスは、フラッシュLiDARであり、それは、対象の視界全体を照らす単一の高出力レーザと、各検知器(画素)が特定の方位及び仰角に対応する検知器の高密度アレイとを有する。フラッシュLiDARは、所定の画素で観察される映像に対応する飛行時間を決定することができることを除いて、デジタルカメラと類似している。周波数変調連続波(FMCW)LiDARと呼ばれる、LiDARのさらに別のクラスは、光学信号のダイレクトダウンコンバージョンを使用する。
LiDARシステムは、システム独自の光子を供給するため、多くの場合、悪い気象条件においてカメラより優れている。さらに、LiDARシステムは、レーダを含む他のタイプのシステムよりも細かい分解能を提供することができ、それによって、小さな目標に対しても、良好な有効距離、精度、及び分解能を提供する。LiDARシステムは一般に、高い検知確率でLOS目標を発見及び追跡することができるが、オクルージョンによって妨害される可能性があり、それらの精度は、悪い気象条件によって低下する可能性がある。LOS目標に対して、LiDARは、レーダより高い分解能を実現することができるが、カメラと同様に、LiDARシステムの性能は、その視界(FOV)が霧、雨、又は明るい日光によって影響を受ける場合、悪化する可能性がある。LiDARシステムは通常、200~300メートルの有効距離を有するが、多くの場合、ADのためには、より大きい有効距離が望ましい。さらに、LiDARシステムは脆弱である可能性がある。たとえば、スピニングLiDARは、特に異物が衝突した場合に、機械的に故障しやすく、フラッシュLiDARは、単一の高出力レーザ及び非常に精密な光学部品の確実な作動に依存している。
使用中の周波数帯域により、レーダは、カメラよりも気象条件に影響されにくい可能性があるが、LiDARと比較すると、通常、距離及び角度分解能、並びに精度は劣っている。
よって、ADアプリケーションに関して、カメラ、レーダ、及びLiDARは、異なる機能及び特性を有し、それぞれ、少なくともいくつかの点で欠点を有する。各タイプのセンサから得られることができる情報量は、物理的性質によって制限され、それは、事故及び/又は死亡を避けようと試みているADシステムにジレンマを生じさせる可能性がある。それは、対象である互いを補完することができるセンサの情報及びデザインのギャップを埋めることである。
自律運転のために及び/又は自律走行車において使用されてもよいシステム、装置、及び方法が本明細書に開示される。いくつかの実施形態は、一体型の大開口多帯域レーダサブシステムを使用し、風景の検知及び理解を大幅に向上させるために、特に、コーナ周辺を見てNLOS目標を識別するために、多重帯域及び/又は多重センサ技術の独自の伝播特性を活用する。いくつかの実施形態は、送受信要素(アンテナ)のスパースアレイを有するレーダサブシステムを含む、又は、使用する。いくつかの実施形態において、レーダサブシステムは、複数帯域のレーダ信号を同時に送受信可能であり、その場合、本明細書では「スパース大開口多帯域」(SWAM)レーダと呼ばれる場合がある。いくつかの実施形態において、システムの少なくとも1つのプロセッサは、さまざまな条件(たとえば、気象)において高い精度を提供するために、複数の帯域のリターン(反射)信号を共同処理することが可能である。開示されるレーダサブシステムは、単独で、又は、たとえばLiDAR及び/又はカメラなどの別のセンシング技術とともに使用することができる。
開示されるシステム、装置、及び方法は、代替的なアプローチよりも高い性能を提供するために、ADシステムで使用することができる。たとえば、LiDARシステムは、霧又は雨に含む特定の条件において目標を検知できないことがある。自動車産業は、77GHzのミリ波帯レーダを導入することによって、霧の問題に対処してきたが、これも、雨による重大な損失問題を有する。さらに、代替的なシステムは、重大な誤検知確率に悩まされる可能性がある。結果として、米国では、LiDAR及び77GHzレーダのみ備えるAVは、霧及び豪雨が非常に珍しいアリゾナなどの砂漠州を除いて、常に、自律を実践することはできない。この制限により、ヨーロッパ、アジア、及び他の雨の多い又は霧の多い地域の大部分で、これらのタイプのシステムを使用する完全自律運転はできない。開示されるシステム、特に、開示されるSWAMレーダのいくつかの実施形態は、これらの問題を解決することができる。
さらに、コーナ周辺の移動する及び静止した目標を検知できることなどの、安全性の問題の目線から、開示されるシステムの実施形態は、複数の(たとえば、低)周波数帯域でのさらなるレーダ観測を使用することができる。システムは、従来のAVレーダシステムよりも高い分解能を実現するために、自動車及びスパースアレイの全幅を使用してもよい。開示される実施形態は、複数の車両が同時にそれらのレーダを作動させる混雑したEM環境における利点も提供する。複数の帯域の存在は、たとえば、周波数ホッピング又はタイムシェアリングを通して送信波形をさらに直交させる追加の次元を加え、それは、他のレーダからの干渉を減少し、それによって、都市交通環境に対してADレーダを調整するために有益である可能性がある。いくつかの実施形態は、悪条件下で最大360°の有効範囲を提供することが可能であり、それによって、従来のADシステムの欠点の少なくともいくつかを克服する。従来のレーダシステム又はADが考慮されている他のアプローチとは対照的に、いくつかの実施形態は、100%近い可観測性及び改善された安全性を提供することができる。
いくつかの実施形態において、レーダサブシステムは、LiDARサブシステム、カメラサブシステム、及び/又は他の情報源(たとえば、GPS、地図など)を増強し、それらと同期する。いくつかの実施形態は、少なくとも2つの情報源(たとえば、レーダ、LiDAR、カメラ、GPS座標など)にアクセスし、複数の源から得られた情報は、性能を改善するために融合される。異なるセンシング技術からの場面に関する情報の組み合わせ又はマージングを、本明細書では、「センサ融合」と呼ばれる。
開示されるシステム、装置、及び方法のいくつかの実施形態は、LOS及びNLOS目標の両方を識別及び追跡するために、複数のセンシング技術及びセンサ融合を使用する。いくつかの実施形態は、高度な信号処理及び確率的センサ融合アルゴリズムとともにSWAMレーダを使用する。いくつかの実施形態において、異なるセンサタイプから得られる情報は、風景の一貫した理解を得るために組み合わされる。いくつかの実施形態において、開示されるシステム、装置、及び方法は、さまざまな気象条件における風景の理解を改善するために、異なる周波数帯域で電磁(EM)波の独自の伝播特性を利用する。特に、いくつかの実施形態において、開示されるシステムは、コーナを通して、コーナ周辺で、従来のシステムでは可能ではないものを見ることができ、それによって、自律運転の安全性を改善する。
開示される方法、システム、及び装置は、数字利点を提供することができる。たとえば、いくつかの実施形態は、車両が都市の交差点に接近するとき、遠い距離から十字路を調査し、建物によって隠されている目標を探すことができる(本明細書で使用される場合、単語「見る」及び「探す」が一般に、たとえば、障害物によって隠されていることがある対象又は目標の存在を検知することを指すことが理解されるべきである)。いくつかの実施形態は、車両が、木、樹木が茂った森林、又は他の植物によって遮られた地方の交差点に接近するときに、コーナ周辺を見る能力を有する。いくつかの実施形態は、(たとえば、最大約300メートルのみ見る)従来のシステムと比較して、はるかに大きい距離(たとえば、1キロメートル)を見ることができることによって、適応性のあるスマートな追跡を可能にする。いくつかの実施形態は、(たとえば、50フレーム/秒(FPS)の)高い分解能率で、同時に多数の目標(たとえば、100以上の目標)を追跡する能力による動的性能を提供する。
本明細書に開示される方法、システム、及び装置は、高い分解能、並びに、ADシステムが遭遇する高度に複雑な場面における多数の目標の高い分解能/精度の検知及び追跡を提供することができる。さらに、多帯域レーダの使用は、複数の車両のレーダシステムが同時に作動している混雑した環境における利点を提供する。開示されるシステムの実施形態は、干渉の低減すること、及び、それらのリターン信号を他の車両のレーダシステムのリターン信号と区別することの両方のために、それらの波形及び送信を「直交させる」ことができる。複数の帯域の存在は、(たとえば、周波数ホッピング又はタイムシェアリングによる)そのような直交化を実現する追加の次元を加え、それは、ADレーダを都市交通環境に対して調整することを可能にする。
用語「アレイ要素」は、本明細書では、アンテナアレイに含まれるアンテナを指すために使用される場合がある。アレイ要素は、信号の送信、信号の受信、又は信号の送受信のために使用することができる。「送信要素」は送信が可能であるアレイ要素であり、「受信要素」は受信が可能であるアレイ要素である。単一のアレイ要素は、さらに以下で説明されるように、送信及び受信の両方が可能であってもよい。用語「アンテナ」及び「アンテナ要素」は、本明細書では、ほとんど交換可能に使用される。アンテナはセンサの1つの例であり、以下の説明の一部はアンテナ及びアンテナ要素に言及するが、説明の一部は用語「センサ」を使用する。しかしながら、当業者には理解されるように、単語「アンテナ」は、多くの場合「センサ」と置き換え可能である。
図1は、いくつかの実施形態による、システム100を示す。ADシステムであってもよいシステム100は、少なくとも1つの送信機105(又は、以下でさらに記載される、送信機アレイ111)と、少なくとも1つの受信機120(又は、以下でさらに記載される、センサアレイ121)とを備える。簡単のため、図1の説明は、単一の送信機105及び単一の受信機120に言及するが、以下でさらに詳細に論じられるように、システム100は、送信機アレイ111と、複数の受信機120とを含むことができることが理解されるべきである。同様に、図1は、同じ場所にある送信機105及び受信機120を示すが、送信機105及び受信機120は、同じ場所にある必要はない。以下で説明されるいくつかの実施形態において、送信機105及び受信機120は、自動車などの車両の本体上に配置される。送受信要素の位置は、任意とすることができる。換言すれば、それらは、三次元空間内の任意の座標を有することができる。送受信要素は、直線アレイ又は平面アレイである必要はない。特に、アンテナ要素が車両の本体に配置されるとき、それらは、曲線又は曲面配置であってもよい。
図1は、システム100の近くの4つの目標130A、130B、130C、及び13Dを示す。目標130Aは、システム100から距離150Aであり、目標130Bは、システム100から距離150Bであり、目標130は、システム100から距離150Cであり、目標130Dは、システム100から距離150Dである。いくつかの実施形態によると、システム100の1つの目的は、距離150A、150B、150C、及び150Dを推定することである。いくつかの実施形態において、システム100の別の目的は、目標130の角度位置(たとえば、目標130Aが距離150Aと等しい半径を有する円上のどこにあるか、目標130Bが距離150Bと等しい半径を有する円上のどこにあるかなど)を推定することであり、角度位置は、到来角と呼ばれる(又は、到来角から決定することができる)。
作動中、送信機105は、それぞれの波形140を送信する。波形140は、特定の周波数及び位相を有するキャリア信号に変調されたベースバンド信号であってもよい。説明を容易にするために、送信機105におけるキャリア信号への変調、及び、受信機120におけるパスバンド信号のベースバンド又は中間周波数への復調の詳細は、本明細書では詳細に説明されない。これらの技法は、一般的であり、当該技術分野においてよく知られている。
送信波形140は、減衰及び潜在的に歪みを引き起こす媒体(たとえば、自由空間、空気、霧、雨、建物など)中を伝播し、目標130から反射する。(目標130Aで反射する)反射信号148A、(目標130Bで反射する)反射信号148B、(目標130Cで反射する)反射信号148C、及び(目標130Dで反射する)反射信号148Dは、受信機120に戻るように伝播する。反射信号148A、148B、148C、及び148Dは、媒体で減衰し、送信後のある時点で受信機120に到着し、ここで、その時間は、信号が媒体中を伝播する速度、並びに、反射信号148A、148B、148C、及び/又は148Dが見通し内(LOS)目標130からの直接のリターン、建物を通してのリターン、又はマルチパスのリターンであるかどうかに依存する。媒体及び/又は受信機120は、ノイズを反射信号148A、148B、148C、及び148Dと加えることがある。
図2は、いくつかの実施形態によるシステム100によって送受信されるさまざまな信号間の関係の概念図を提供する。図2の概念図において、送信波形140は、単純なパルスとして示されている。図2に示されるように、本明細書ではエコー信号142と呼ばれる、受信されるノイズの多い波形は、反射信号(たとえば、図1の反射信号148A、148B、148C、及び148D)の重ね合わせであり、干渉(たとえば、マルチパス)による寄与、ノイズ、及び他の障害を含む。送信波形140が送信のためにキャリア信号に変調されたとき、受信されるエコー信号142は振幅及び位相の両方を有し、ベースバンドに変換されると、同相分(I)及び直角分(Q)の両方を有することが理解されるべきである。(図2は、エコー信号142の、又は、反射信号148A、148B、148C、及び148Dの寄与のいずれかの位相を示していない。)反射信号148(たとえば、図2の148A、148B、148C、及び148D)は、目標130とシステム100との間のいくらかの距離において建設的に加算されることがあり、他の距離において破壊的に加算されることがある。図2のハイレベルな概念図において、エコー信号142は、3つの別個の減衰し、歪んだ反射を有するが、それらはノイズによって不明瞭にされている。これらの反射のそれぞれは、システム100からいくらかの距離における少なくとも1つの目標130に対応する。システム100の1つの目的は、ノイズの大きいエコー信号142を処理して、目標130及びシステム100に対するそれらの場所を識別することである。いくつかの実施形態において、システム100は、目標130の場所を識別するために、センサ融合手順が適用される。
システム100の視線内の目標130について、信号は知られている速度(たとえば、媒体が空気である場合は光速)で進むので、送信波形140が起動されたときとエコー信号142が受信されたときとの間の時間により、距離150を直接計算することができる。測定された伝播時間から計算することができる、目標130とシステム100との間の距離150は、システム100の位置を中心とする、目標130がその上にある円を提供する。
本明細書に開示されるいくつかの実施形態によると、受信機120は、ノイズ除去信号144を得るために、最適化手順を使用して、エコー信号142を処理する。次いで、受信機120は、目標130が位置付けられるシステム100からの距離150を推定するために、ノイズ除去信号144を使用する。目標130の距離を推定するためのノイズ除去信号144の使用は、(たとえば、10~12dB以上SNRを改善することによって)従来のシステムに対して実質的にシステム100の性能を改善することができる。
図2は、いくつかの実施形態に従って使用されるノイズ除去手順を高レベルで示す。受信機120は、ノイズ除去信号144を得るために、エコー信号142を使用して、以下でさらに詳細に記載される最適化手順を実行することができる。最適化手順は、理想的なエコー信号142(ノイズなし)が、タイムシフト及び減衰量は知られていないが、送信波形140の比較的少ない数のタイムシフトされて減衰されたコピーの重ね合わせである構造化された信号であるという知見を利用する。最適化は、結果的に得られるノイズ除去信号144がいくつかのタイムシフトされて減衰された送信波形140の線形重ね合わせのように見え、受信されたエコー信号142に依然として「近い」ままであるように、信号からノイズを除去する。次いで、受信機120は、目標130が存在するシステム100からの距離150を推定するために、結果的に得られるノイズ除去信号144を使用することができる。いくつかの実施形態において、距離150を推定するために、受信機120は、送信波形140及びノイズ除去信号144の相関を実行し、次いで、距離150を推定するために、相関結果のピークの位置を使用する。相関は、時間領域において実行されてもよく、又は、周波数領域において同等の手順を実行することによって実行されてもよい。図2は、相関後信号146の概念図を提供し、それは、時間t1、t2、及びt3にピークを有するように示されている。送信信号140及び反射信号148が媒体中を伝播する速度を使用して、LOS目標の距離150を、相関後信号146におけるピークの位置から推定することができる。
図2に示されるように、相関後信号のピークの数は、目標130の数と同じでなくてもよい。たとえば、複数の目標130がシステム100から略等距離である場合、それらの反射信号148は、略同じ時間で受信機120に到達する。図1を再び参照すると、目標130A及び130Bは、システム100から略同じ距離である(たとえば、距離150Aは距離150Bと略同じである)。よって、それらの反射信号148A及び148Bは、略同じ時間で受信機120に到達する。図2において、反射信号148A及び148Bは、エコー信号142の(ノイズによって不明瞭にされた)第1の「バンプ」に対応する。本例が示すように、受信機120は、相関後信号146から、時間t1のピークに対応する少なくとも1つの目標130が距離150にあることを識別できるが、相関後信号146のみから、その距離150にいくつの目標があるかについて識別できなくてもよい。いくつかの実施形態において、システム100は、複数の受信機センサ(たとえば、アンテナアレイ)を含み、そのそれぞれは、それぞれのエコー信号142を受信する。いくつかのこのような実施形態において、システム100からの目標130の距離150を推定するエコー信号142を使用することに加えて(又は、その代わりに)、受信機120は、目標130の到来角を決定するために、複数のエコー信号142を処理する。
図3は、いくつかの実施形態によるシステム100の送信機105の特定の構成要素を示す。送信機105は、波形発生装置110と、送信波形140を送信するための他の構成要素とを備える。送信波形140は、任意の好適な波形であってもよい。たとえば、送信波形140は、パルス列を備えてもよく、各パルスは特定の継続時間を有する、又は、それぞれのパルスはそれぞれの継続時間を有する。いくつかの実施形態において、送信波形140は、良好な自己相関特性を有し、自己相関は、原点近く以外は小さいことを意味する。自己相関特性がより良好であるほど、以下で論じられる、相関受信機の性能はより良好である。エリア内の目標を探索するために、送信波形140は、第1の短い継続時間を有する1つ又は複数のパルスと、さらに離れている目標を探索するために、第2のより長い継続時間を有する1つ又は複数のパルスとを含み得る。本明細書の実施形態は、パルスアレイ処理の文脈で示されるが、開示される原理は、持続波(CW)タイプのシステム(たとえば、レーダシステム)に同様に適用可能であることが理解されるべきである。
送信機105は、送信波形140を1つ又は複数のキャリア信号に変調してもよい。たとえば、図3に示される例示的な実施形態において、波形発生装置110は、ミキサ118に結合される。ミキサ118は、送信波形140をキャリア信号に変調する。
キャリア信号の周波数は、常に、同じままでもよく、又は、それぞれの時間で異なってもよい。同様に、キャリア信号の位相は、一定であってもよく、又は、変化してもよい。キャリア信号は、1つ又は複数のオシレータ112によって発生されてもよく、その位相は、1つ又は複数の位相シフタ116によって発生されてもよい。少なくとも1つのプロセッサ114は、オシレータ112及び/又は位相シフタ116を制御してもよい。
いくつかの実施形態において、システム100は、(たとえば、L、S、X、C、K、ka、Ku、W、又はUHF帯域のうちの2つ以上の)複数の周波数帯域で送信可能である。このような実施形態において、同じ送信波形140は、複数の周波数帯域(たとえば、互いに素な、すなわち、オーバーラップしない帯域)で送信されてもよく、又は、異なる送信波形140は、異なる周波数帯域で送信されてもよい(たとえば、第1の送信波形140は第1の周波数帯域で送信されてもよく、第2の送信波形140は第2の周波数帯域で送信されてもよい)。複数の帯域の存在は、たとえば、周波数ホッピング又はタイムシェアリングを通して送信波形140をさらに分離する追加の次元を加え(「直交化」と呼ばれる概念)、それは、近くで作動していてもよい他のレーダシステムからの干渉を低減することができ、及び/又は、システム100を都市交通環境で使用することを可能にすることができる。
いくつかの実施形態において、システム100の送信部は、送信機アレイ111を備える。図4は、いくつかの実施形態によるシステム100の送信機アレイ111の特定の構成要素を示す。送信機アレイ111は、アンテナアレイの一部とすることができる、又は、アンテナアレイを含むことができる。送信機アレイ111は、波形発生装置110A、110B、...、110xと、送信波形140A、140B、...、140xのインスタンスを送信するための他の構成要素とを備え、ここで、「x」は波形発生装置110及び波形140の数を表す。いくつかの実施形態において、時間内のすべて瞬間において、送信波形140A、140B、...、140xは互いに同一である。よって、これらの実施形態において、複数の波形発生装置110A、110B、...、110xがアクティブである場合、それらは、同じ物理的な送信波形140を発生させているが、各波形発生装置110A、110B、...、110xは、他の波形発生装置110とは無関係に、送信波形140を発生させてもよい。他の実施形態において、送信波形140A、140B、...、140xの少なくとも一部は異なる。よって、これらの実施形態において、複数の波形発生装置110A、110B、...、110xがアクティブである場合、それらのうちの少なくともいくつかは、異なる物理的な送信波形140を発生させている。
送信波形140は、任意の好適な波形であってもよい。たとえば、送信波形140は、パルス列を備えてもよく、各パルスは特定の継続時間を有する、又は、それぞれのパルスはそれぞれの継続時間を有する。上で説明されたように、いくつかの実施形態において、送信波形140は、良好な自己相関特性を有する。
送信機アレイ111は、送信波形140の各インスタンスを1つ又は複数のキャリア信号に変調してもよい。たとえば、図4に示される例示的実施形態において、示される波形発生装置110のそれぞれは、それぞれのミキサ118に結合されている(すなわち、波形発生装置110Aはミキサ118Aに結合され、波形発生装置110Bはミキサ118Bに結合される、など)。ミキサ118は、送信波形140のインスタンスをキャリア信号に変調する。任意の特定の時間において、各キャリア信号は、同じ周波数を有するが、特定の波形発生装置110に対応する送信波形140の各インスタンスは、送信波形140の他のすべてのインスタンスが変調されるキャリア信号とは異なる位相を有するキャリア信号に変調される。たとえば、図4に示されるように、送信波形140Aのインスタンスは、周波数「f_1」及び位相「phase_1」を有するキャリア信号に変調され、送信波形140Bのインスタンスは、同じ周波数「f_1」であるが異なる位相「phase_2」を有するキャリア信号に変調される、などである。
各キャリア信号のキャリア周波数は、同じままでもよく、又は、それぞれの時間で異なってもよい。同様に、各キャリア信号の位相は、一定であってもよく、又は、変化してもよい。図4に示されるように、キャリア信号は、1つ又は複数のオシレータ112によって発生されてもよく、波形発生装置110のキャリア信号のさまざまな位相は、1つ又は複数の位相シフタ116によって発生されてもよい。少なくとも1つのプロセッサ114は、オシレータ112及び/又は位相シフタ116を制御してもよい。
いくつかの実施形態において、システム100は、同時に、(たとえば、L、S、X、C、K、Ka、Ku、W、又はUHF帯域のうちの2つ以上の)複数の周波数帯域で同時に送信可能である。このような実施形態において、同じ送信波形140は、複数の周波数帯域で同時に送信することができる、又は、異なる送信波形140は、異なる周波数帯域で送信することができる(たとえば、第1の送信波形140は第1の周波数帯域で送信されてもよく、第2の送信波形140は第2の周波数帯域で送信されてもよい)。いくつかの実施形態において、任意の特定の時間において、使用中の特定の周波数帯域内の各キャリア信号は同じ周波数を有するが、その帯域内で送信する特定の波形発生装置110に対応する送信波形140の各インスタンスは、送信波形140の他のすべてのインスタンスがその帯域内で送信する他の波形発生装置110によって変調されるキャリア信号とは異なる位相を有するキャリア信号に変調される。上で説明されたように、異なる送信波形140は、同じ周波数帯域で同時に送信することができることが理解されるべきである。
一般性を失わず、送信機アレイ111にP波形発生装置110があると考えられる。送信機アレイ111の波形発生装置110のすべてのPを同時に送信することができるが、送信機アレイ111を有するいくつかの実施形態では、送信機アレイ111のすべてより少ないP波形発生装置110が同時に送信する。さらに、波形発生装置110の数は、受信機センサ122(後述)の数より多くても、少なくても、又は等しくてもよい。
いくつかの実施形態において、送信機アレイ111は、(最大)P次元のセンシングベクトルを送信する。センシングベクトルは、特定のキャリア周波数を有するキャリア信号に変調される送信波形140(たとえば、パルス、パルス列など)を発生させる各波形発生装置110の結果であり、それは、アレイの波形発生装置110のすべてについて同じである。好ましくは、(最大)P個の波形発生装置110によって送信されるキャリア信号の位相は互いに異なる。いくつかの実施形態において、位相はランダムに選択される。たとえば、それらは完全にランダムであり、時間の経過とともに変化する可能性がある、又は、それらは完全にランダムであり、永久に固定される可能性がある。或いは、それらは、確定的であり、潜在的に少なくとも1つのプロセッサ114と連携して、いくつかのアルゴリズム又は基準に従って選択される可能性がある。異なる位相を有する変調されたキャリア信号を送信する目的は、一度に多くの方向にエネルギを送信することである。送信された変調されたキャリア信号の異なる位相は、受信機センサ122(以下で論じられる)によって受信されるエコー信号142の振幅及び位相に影響を与える。システム100が複数の受信機(たとえば、複数の受信機センサ122)を含む実施形態において、各受信されたエコー信号142の振幅及び位相の差は、目標130の到来角を決定するために使用されてもよい。
ランダムな又は複数のキャリア信号位相を使用する実施形態において、キャリア信号の位相のランダム性又は可変性は空間覚にあることが理解されるべきである。各波形発生装置110は、キャリア信号に変調される送信波形140が同じであるとき、同じ平均エネルギを送信する。
システム100がP個の波形発生装置110のアレイを備えるいくつかの実施形態において、P個の波形発生装置110の異なるサブセットは、異なる時間に送信する。いくつかの実施形態において、アクティブな波形発生装置110は同じエネルギ量を送信する。時間とともに、アクティブな波形発生装置110のサブセットを変えるプロセスは、三次元環境を探索するのに適しているランダム化されたアンテナ利得パターンをつくる。
図4を再び参照すると、送信機アレイ111は、少なくとも第1の波形発生装置110Aと第2の波形発生装置110Bとを含む。第1の波形発生装置110Aは、ある時間間隔の間、送信波形140の第1のインスタンス(140A)を発生させ、それは、特定のキャリア周波数及び第1の位相を有する第1のキャリア信号に変調される。第2の波形発生装置110Bは、同じ時間間隔の間、第1の波形発生装置110Aと略同期して、送信波形140の第2のインスタンス(140B)を発生させ、それは、同じ特定のキャリア周波数を有するが第1の位相とは異なる第2の位相を有する第2のキャリア信号に変調される。第1及び第2の位相はランダムに選択されてもよい、又は、それらは確定的であってもよい。たとえば、第1及び第2の位相は、ランダム化手順の結果として選択されてもよい(たとえば、ランダム化された第1及び第2の位相を決定するために、擬似ランダムシーケンス発生装置を使用するなど)。別の例として、第1及び第2の位相は確定的であってよく、それは、それらが第1及び第2の送信機に知られたアルゴリズムによって選択されることを意味する(たとえば、システムが作動するときに、たとえば、予め定義された位相を参照用テーブルから選択するなどによって、第1及び第2の位相が選択及び/又は変更される確定的なシーケンス)。
第1及び第2の波形発生装置110A、110Bは、少なくとも1つの機械実行可能命令を実行するように構成される少なくとも1つのプロセッサ114を含んでもよい、又は、それに結合されてもよい。少なくとも1つの機械実行可能命令の実行の結果として、少なくとも1つのプロセッサ114は、第1及び第2の位相を決定又は選択してもよい(それは、上で説明されたように、オシレータ112及び位相シフタ116を使用して実装されてもよい)。
第1及び第2の波形発生装置110A、110Bが少なくとも1つのプロセッサ114を含む又はそれに結合されるいくつかの実施形態において、その少なくとも1つのプロセッサ114は、第1及び第2の波形発生装置110A、110Bによって送信される信号の1つ又は複数の特性を制御する。たとえば、少なくとも1つのプロセッサ114は、第1及び第2の波形発生装置110A、110Bのそれぞれによってキャリア信号に変調される送信波形140の形状及び/又はタイミング及び/又は期間を制御することができる。少なくとも1つのプロセッサ114は、同様に又は代替的に、たとえば、キャリア周波数、振幅、及び/又は上で説明されたような位相などの、キャリア信号のいくつかの態様を、(直接、又は、当業者によく知られている他の波形発生装置110構成要素と連携して)制御することができてもよい。
システム100は、図4に示されるように、第1及び第2の波形発生装置110A、110Bに加えて他の波形発生装置110を含んでもよい。このような実施形態において、各さらなる波形発生装置110xは、同じ時間間隔の間、第1及び第2の波形発生装置110A、110Bと略同期して、第1及び第2のキャリア信号と同じキャリア周波数を有するが異なるそれぞれの位相を有するそれぞれのキャリア信号に変調される送信波形140のそれぞれのインスタンスを送信する。各波形発生装置110は、すべての他の変調されたキャリア信号の位相とは異なる位相を有する変調されたキャリア信号を送信する。いくつかの実施形態において、送信波形140のそれぞれのインスタンスのそれぞれは、送信波形140の第1及び第2のインスタンスと略同一である。
図1を再び参照すると、システム100は、少なくとも1つの受信機120も含む。図5は、いくつかの実施形態による受信機120の高レベルブロック図である。受信機120は、少なくとも1つのセンサ122と、(たとえば、ダウンコンバージョンを実行する)少なくとも1つの無線周波数(RF)/アナログ回路124と、少なくとも1つのアナログデジタルコンバータ(ADC)126と、少なくとも1つのプロセッサ128とを含む。少なくとも1つの受信機120は、図5に示されない構成要素を含んでもよいことが理解されるべきである。単なる1つの例として、少なくとも1つの受信機120はメモリを含んでもよく、このメモリは、少なくとも1つのプロセッサ128及び/又は少なくとも1つのADC126に結合されてもよい。少なくとも1つのプロセッサ128が、送信機105の少なくとも1つのプロセッサ114とまったく同一であってもよいことも理解されるべきである。
各センサ122は、たとえば、アンテナを備えてもよい。いくつかの実施形態において、センサ122は、少なくとも2つの周波数帯域(たとえば、L、S、X、C、K、ka、Ku、W、及びUHF帯域のうちの2つ以上)の信号を受信することが可能である。そのようなセンサ122は、1つより多い帯域の信号を同時に受信することが可能であってもよい。
各RF/アナログ回路124は、任意の従来のRF/アナログ回路124であってもよく、その回路は、当業者には馴染みのあるものであり、よく知られている。いくつかの実施形態において、各RF/アナログ回路124は、それぞれの受信されたエコー信号142をベースバンドにダウンコンバートする。このような実施形態において、少なくとも1つのADC126は、受信機120によるさらなる処理のために、エコー信号142の同相(I)及び直交(Q)サンプルの組を生成するように構成される。他の実施形態において、各RF/アナログ回路124は、それぞれのエコー信号142を中間周波数にダウンコンバートするように構成され、ADCは、エコー信号142が中間周波数で存在する間に、エコー信号142をサンプリングするように構成される。さらに他の実施形態は、任意のRF/アナログ回路124を含まず、その場合、ADCは、任意のダウンコンバージョンなしで、エコー信号142を直接サンプリングする。
用語「アナログデジタルコンバータ(ADC)」は、連続時間、連続振幅(アナログ)の受信されたエコー信号142を、離散時間、離散振幅(デジタル)の信号(たとえば、サンプル)に変換する任意の構成要素を意味するために広義に使用される。そのような構成要素は当業者によく知られていて、本明細書ではさらには論じられない。
図6は、センサアレイ121(たとえば、アンテナアレイ)に含まれる複数のセンサ122を備える例示的な実施形態を示す。図6に示される実施形態において、「センサ1」とラベル付けされた第1のセンサ122は、「RF/アナログ1」とラベル付けされた第1のRF/アナログ回路124に結合され、第1のRF/アナログ回路124は、「ADC1」とラベル付けされた第1のADC126に結合され、第1のADC126は、少なくとも1つのプロセッサ128に結合される。同様に、「センサ2」とラベル付けされた第2のセンサ122は、「RF/アナログ2」とラベル付けされた第2のRF/アナログ回路124に結合され、第2のRF/アナログ回路124は、「ADC2」とラベル付けされた第2のADC126に結合され、第2のADC126は、少なくとも1つのプロセッサ128に結合される。図6に示されるように、受信機120はまた、追加のセンサ122と、RF/アナログ回路124と、ADC126とを含むことができ、ADC126は、少なくとも1つのプロセッサ128に結合されてもよい。上で説明されたように、RF/アナログ回路124及びADC126は、当該技術分野においてよく知られている。同様に上で説明されたように、いくつかの実施形態は、RF/アナログ回路124を含まない。
複数のセンサ122を含む実施形態において、前で説明されたように、センサ122は、同じ場所にある必要はない(が、同じ場所に置くことができる)。さらに、3つ以上のセンサ122を含む実施形態において、センサ122は、同一直線上にある必要はない(が、同一直線上に置くことができる)。さらにまた、センサ122は、任意の規則的な方法で、又は、センサ122の間に任意の特定の間隔を有して、配設される必要はない。たとえば、従来のシステムとは異なり、センサアレイ121の隣接するセンサ122の間の距離は、同じである必要はない(が、同じとすることができる)。結果として、以下でさらに説明されるように、システム100は、制限された空間及び曲面を有する車両に組み込むことができる。
(たとえば、図5及び図6に示される)センサ122は、(たとえば、図4に示される)波形発生装置110と同じ場所にあってもよい。いくつかの実施形態において、波形発生装置110は、信号を送信するために、センサ122を使用する。たとえば、波形発生装置110及び受信機120は、センサアレイ121(たとえば、アンテナアレイ)のセンサ122の一部又は全部を共有することができる。センサ122の少なくともいくつかが波形発生装置110の少なくともいくつかと同じ場所にある実施形態において、(たとえば、図5及び図6に示される)少なくとも1つのプロセッサ128と、(たとえば、図4に示される)少なくとも1つのプロセッサ114とは、同じ少なくとも1つのプロセッサであってもよい。換言すれば、少なくとも1つのプロセッサ114/128は、システム100の送受信作動を調整及び管理するように構成されてもよい。少なくとも1つのプロセッサ114/128は、センサ融合などの、以下でさらに論じられるような追加機能も実行することができる。
いくつかの実施形態において、送信波形140(たとえば、広ビーム)の波形発生装置110による送信の後、少なくとも1つの受信機120がエコー信号142をリスンするリスニング期間がある。上で説明されたように、いくつかの実施形態において、1つ又は複数の波形発生装置110は、アンテナ(たとえば、センサ122のうちの1つ)を少なくとも1つの受信機120と共有する。いくつかのこのような実施形態において、すべての波形発生装置110よりも少ない波形発生装置110が送信している場合、これらの共有アンテナは、他のアンテナが1つ又は複数の波形発生装置110によって使用されている間、エコー信号142を検出するために、少なくとも1つの受信機120によって使用されてもよい。波形発生装置110によって使用されるアンテナの数が、受信機120によって使用されるセンサ122の数と同じであってもよい又は異なってもよいことが理解されるべきである。
上で説明されたように、距離及び精度(たとえば、距離分解能及び角度分解能)は、ADシステムの性能を特徴づけるために使用される一般的なメトリックスである。距離及び精度に加えて、たとえば、識別/検知及び追跡できる目標130の数(一般に、より大きい数がより良いと考えられる)、知覚エンジン(たとえば、少なくとも1つのプロセッサ114及び/又は少なくとも1つのプロセッサ128)で取り扱うことができるポイントクラウド(各ポイントクラウドは三次元形状又は特徴を表す点の集合であり、それから、距離、角度、及び速度情報を決定することができる)のサイズ、並びに、リフレッシュレート(1秒あたり何回、視界全体が探索されて、対応する目標130が識別されるか)などのADシステムの他の態様は興味深い。
上で説明されたように、レーダ作動の基本原理は、EM波(たとえば、送信波形140)の送信、及び、対象検知のための受信された散乱信号(たとえば、反射信号148)の後続処理である。受信された散乱信号を処理する検知手順の精度は、EM波がどのように伝播して散乱するかの理解次第である。ADアプリケーションについて、LiDARの代わりに又はLiDARに加えてレーダを使用する1つの目標は、伝播の物理的性質に関するLiDAR技術の不足を補償すること、及び、いくつかの複雑な検知問題を解決することである。課題のいくつかは、一度の多数の目標130、高度に複雑及び動的な環境、(たとえば、建物の)コーナ周辺に配置された目標130、及び、植物及び樹木が茂ったエリアによって隠される目標130を含む場面を含む。レーダシステムの目的は、LiDARシステムの角度分解能に近い角度分解能を提供しながら、さまざまな気象条件の下でこれらの課題のすべてを満たすことである。
自動車産業においては、最近、77~81GHzの範囲のミリ波レーダシステムが、LiDARを強化するために導入されている。LiDARシステム及びカメラの1つの欠点は、濃い視認性の悪い霧における高い信号損失である。たとえば、濃霧は、約0.5g/m3の水液体密度及び50m未満の視界であり、これは、光強度が50m以上の範囲で10~15dB減衰することを意味する。適度な霧の中では、水液体密度は約0.05g/m3、視界は200m未満であり、光強度が200m以上で10~15dB減衰することを意味する。77GHz(及び、低周波数帯域)では、濃い霧及び適度な霧における信号損失は、キロメートルあたりわずか1dBのみである。よって、事実上、ミリ波及び低周波数のレーダは、霧による影響を受けず、霧によるLiDARの性能の著しい低下を補償するために使用することができる。
しかしながら、むしろ雨がレーダシステムの課題である可能性がある。雨を含むさまざまな気象条件におけるEM波の伝播についての多くの文献が存在している。たとえば、強雨条件(150mm/h)による伝播損失は、測定することができ、さらに、さまざまな周波数帯域について理論的に計算することができる。電磁波は、UHF、C、X、Ku、及びKa帯域において、それぞれ、0.01dB/km、0.08dB/km、1.0dB/km、2.5dB/km、及び12dB/km減衰する。図7は、1550nmのLiDAR、並びに、77GHz、24GHz、5.8GHz、及び1GHzのレーダに関する、降雨率(mm/時間)の関数としての信号減衰(dB/km)を示すプロットである。約50mm/時間、10mm/時間、及び2mm/時間にそれぞれ対応する豪雨、適度な雨、及び軽い雨において、LiDAR及び77GHzで作動するレーダの信号減衰は、実質的に同一であり、それぞれ、約20dB/km、10dB/km、及び5dB/kmである。よって、LiDARシステムに対して、77GHzで作動するレーダシステムは、雨の中で利点を提供していないように見え、両方のシステムは、適度な雨及び強雨の影響を受けやすい。より低い周波数のレーダシステムの性能は、より良好である。特に、5.8GHz及び1GHzで作動するレーダシステムは、雨に大きく影響を受けるようには見えない。
雨による性能劣化に影響を受けやすいにもかかわらず、たとえば、77~81GHzの周波数帯域で作動するレーダシステムは、より低い距離及び角度分解能を含む、より低い周波数で作動するレーダシステムの欠点のいくつかに対処することができる。これらのミリ波周波数において、アンテナアレイから放射されるEM波は、狭いビーム幅を有することができ、レーザビームと同様にふるまうことができる。したがって、ミリ波レーダシステムは、LiDARシステムの利点のいくつかを提供することができるが、LiDARシステムのように、それらは、LOS検知(コーナ周辺の選択肢なし)、並びに、シャドウイング効果及びオクルージョン効果に限定される。
よって、今日、レーダは、多様な環境での作動を可能にするために、及び、さまざまな距離の多様な静止及び移動する目標を検知するために、いくつかのADシステムで使用されるが、ADアプリケーションで使用される従来のレーダシステムは、長距離における高詳細を検知せず、横から又は障害物を通して適切に参照しない。たとえば、K及びWなどの高周波数帯域は、高解像度を提供することができ、目標の場所及び速度を正確に推定することができる。しかし、これらの高周波数のレーダ信号は、建物の壁を貫通しない又はコーナ周辺は見えない、そして、上で説明されたように、それらは、雨、霧、及びほこりに弱い。UHF及びCなどの低周波数帯域は、これらの問題にそれほどより弱くないが、それらは、より大きなアンテナ要素を使用し、利用可能帯域幅がより小さく、それは、距離分解能(類似した方角であるが異なる距離の2つの対象を識別する能力)を低減する。それらは、ADアプリケーションに望ましい角度分解能を提供するために、大きな物理的開口サイズも必要とする。
したがって、単一のレーダ帯域が、所望の精度並びに距離及び角度分解能を提供すること、並びに、すべての予想される気象条件で作動し、建物を通してコーナ周辺を見ることができるようには見えない。発明者らは、複数の周波数帯域で同時に作動するシステム100は従来のシステムより大きく改善するであろうという見通しを持った。複数の異なる帯域を使用することによって、1つの帯域の脆弱性は他の帯域の強みと組み合わせることができる。
同じサイズで同じ距離にある2つの目標を識別できる最小の間隔である、レーダシステムの角度分解能は、レーダシステムの開口に依存し、使用時の周波数に逆比例する。同じ方角であるが異なる距離にある2つの目標の間で識別できる距離の最小差である、距離分解能は、帯域幅に逆比例する。K(18~27GHz)又はW(75~110GHz)帯域のレーダシステムと同じ角度分解能を実現するUHF(0.3~1GHz)又はC帯域(4~8GHz)のレーダシステムは、かなり大きい開口を有する。
ミリ波レーダシステムを上回る低周波数レーダシステム(UHF及びC帯域)の利点は、低周波数帯域のEM波が優れた反射、回折、及び透過特性を有することであり、それは、NLOS検知にとって重要である可能性がある。図8は、EM波が、鋭角で回折する、又は、曲面上で「クリーピング」波として伝播する傾向があることを示す。これらの作用は、より高い周波数(たとえば、K及びW帯域)では弱いが、それらは、UHF及びC帯域では十分である可能性がある。EM波回折に加えて、低い透過損失により、UHF帯域で作動するレーダシステムがコーナ周辺で対象を検知することを可能にすることができる。
高周波数帯域(たとえば、24GHz及び77GHz)は、高い角度及び距離分解能を提供することができ、レーダシステムが場面内の目標の場所及び速度を正確に推定することを可能にするが、それは、より多くの帯域幅がより高い周波数で利用できるためである。しかし、上で説明されたように、高周波数帯域は一般に、建物の壁を透過せず、特定の障害(たとえば、雨、霧、ほこりなど)に弱い。低周波数帯域は、これらの障害による影響は受けにくいが、低周波数帯域は、より大きなアンテナ要素に対応する。さらにまた、利用可能帯域幅は、低周波数帯域でより小さいことがあり、それは、距離分解能に悪影響を与え、高い角度分解能を提供するフェイズドアレイを形成するために、大きな物理的口径を必要とすることがある。
一般に、無線周波数(RF)チャネルは、豊富なマルチパス環境にあり、AD環境において、それは、複数のアクティブな自動車レーダシステムの共存のために、混雑度が高いことがある。また、雨、霧、及びほこりは、特に、ミリ波周波数において、レーダ作動の距離を制限することがある。課題のこの広範なリストは、すべての予想される環境の下で高い性能を提供することができる単一のレーダ帯域はないという結論に発明者らを導いた。発明者らは、システム100を複数の周波数帯域で同時に作動可能とすることにより、本明細書でさらに説明されるように、複雑なRFチャネルを複数の目線から見ることが可能となって、影響を及ぼされる可能性がある情報の異なるモダリティを提供する可能性があり、AD(及び、潜在的に他の)アプリケーションの性能を改善するという見通しを持った。
ADアプリケーションのためのレーダ性能は、典型的な目標130のレーダ断面(RCS)、さまざまな気象条件におけるパス損失、鋭角の典型的な閉塞建物/壁の回折係数の反射/送信損失、正確に目標を検知するのに必要な電力、及び、所望の角度分解能のための開口サイズに依存する。これらの要因/特性のそれぞれは、以下でさらに論じられる。
レーダ断面(RCS)は、レーダ受信機(たとえば、受信機120)の方向に、レーダ信号(たとえば、送信波形140)を反射する目標130の能力の尺度である。換言すれば、RCSは、目標130によって遮断される出力密度に対する、(目標130から)レーダの方向への後方散乱密度の比率の尺度である。図9は、いくつかの実施形態によるバイスタティックレーダ設定を示す。図9において、送信アンテナ106は、受信アンテナ107から分離しているように示されるが、単一のアンテナが送受信に使用されてもよいことが理解されるべきである。送信機105アンテナポートa(s)における送信信号に、受信機120アンテナポートb(s)における受信信号を関連させる自由空間レーダ方程式の簡略化された形態は、Laplace領域において、
であり、ここで、μは透過率、cは光速、ΗTX及びΗRXはそれぞれ、両方のアンテナがR0に合致するときの、送信アンテナ106及び受信アンテナ107の実現される実効長であり、
は、
から、
の方に散乱される入射波(たとえば、送信波形140)に対する散乱物体の伝達関数である。散乱体が入射波の偏光を変更することがあるので、Γはオペレータである。
方向にアクセスすることができ、
方向に観察することができる散乱体情報のすべてが、
に含まれる。散乱体が入射波の偏光を変更しないモノスタティックの場合
、対象の従来のRCSは、以下のようにそのΓに関連する。
式(2)は、
が、散乱体の物質特性を推定するために潜在的に使用されてもよい位相情報を含まないことを示す。それにもかかわらず、それは、リンクバジェット計算を容易にする。
であり、ここで、μは透過率、cは光速、ΗTX及びΗRXはそれぞれ、両方のアンテナがR0に合致するときの、送信アンテナ106及び受信アンテナ107の実現される実効長であり、
は、
から、
の方に散乱される入射波(たとえば、送信波形140)に対する散乱物体の伝達関数である。散乱体が入射波の偏光を変更することがあるので、Γはオペレータである。
方向にアクセスすることができ、
方向に観察することができる散乱体情報のすべてが、
に含まれる。散乱体が入射波の偏光を変更しないモノスタティックの場合
、対象の従来のRCSは、以下のようにそのΓに関連する。
式(2)は、
が、散乱体の物質特性を推定するために潜在的に使用されてもよい位相情報を含まないことを示す。それにもかかわらず、それは、リンクバジェット計算を容易にする。
図10は、システム100が遭遇することがある2つの潜在的な目標130、すなわち、自動車及び平均サイズの人についての、K(左)、C(中央)、及びUHF(右)帯域における、回折の物理理論(PTD)及び回折の統一理論(UTD)高周波手法を使用して計算されるRCS(dBsm)を示す(PTD及びUTD手法は小さい対象についてはUHF帯域において正確ではないことがあることに留意されたい)。RCSは、人体の全波解析(実線)を使用して計算され、それを高周波手法(破線)と比較する。示される対象の示される帯域におけるRCSはいくつかの共通性を共有するが、それらは顕著に異なる。たとえば、自動車の正面図のUHFのRCSは、C及びK帯域のものよりかなり小さい。この結果は、接近する自動車がC及びK帯域でより容易に検知されることを示唆するが、K又はC帯域で作動している間、最も近い自動車の先を見る(たとえば、最も近い自動車の背後の目標130を検知する)ことがより難しいことがあることも示唆する。さらに、人についてのUHFのRCSは、C及びK帯域におけるRCSよりかなりスムーズであるように見える。この結果は、C及びK帯域と比較して、UHFのRCSが人の足取り及び位置に対してより堅固であろうことを示唆し、それから、人々のUHFレーダを使用した検知が容易であると推測することができる。
水が散乱体の表面にあるとき、対象のRCSは減少し、それは、C及びK帯域で測定されるレーダ反射を減らすが、この現象は、UHF帯域を使用するレーダシステムに特に影響を与えない。
そのようなシステムがコーナ周辺又は他の目標130の背後の目標130(たとえば、自動車、自動二輪車、自転車、歩行者、動物など)を検知するためにNLOS伝播を使用する可能性がある場合、ADシステムの安全性は大きく改善されるであろう。ADのためにNLOS伝播を使用するシステム100の実行可能性を評価するために、異なる対象(たとえば、都市走行の場合の壁、及び、地方/田舎の走行の場合の植物)の反射/透過係数を評価することができる。対象の透過係数は、電磁波がどれだけ対象を通過するかの尺度であり、反射係数は、送信媒体中のインピーダンス不連続によって波がどれだけ反射されるかの尺度である。
図11は、典型的な壁に対する平面波の反射及び送信の損失を計算する方法の一例として、厚さdの壁190に対する入射電場、反射電場、及び透過電場を示す。一般的な場合、反射及び透過係数は、入射場の偏光及び入射角θiの関数である。横電気(TE)モードでは、送信された場はすべて、垂直方向に偏光する。
図12A及び12Bはそれぞれ、3つの周波数帯域の透過係数T及び反射係数Γを示し、30cmに設定されたdを有する図11に示される例示的な壁190を使用し、壁190がコンクリートから作られていると想定している。図12Aが示すように、UHF帯域において、透過係数は、入射角の広い範囲で約-6.5dBである。プロットされた入射角のC及びK帯域の透過係数は、図12Aに示されていないが、それは、それぞれ、-35dB及び-150dBより小さいためであり、よって、それらは、無視できるとみなされている。図12Bにおいて、C及びK帯域の反射係数は一致する。よって、図12A及び12Bは、低周波数帯域の信号が壁を透過することができて、建物を通過することができることを示し、その一方で、高周波数は、任意の意味がある方法でそうすることができない。
反射及び透過に加えて、鋭角によって引き起こされる回折も、NLOS伝播のEM波の伝播に影響を与える。回折の幾何学的理論(GTD)に基づき、金属製の対象(たとえば、建物、窓、広告板など)の縁部によって回折される信号のパワーは、周波数に逆比例する。したがって、回折は、高周波数帯域におけるNLOS伝播の本質的現象ではなくてもよく、その一方で、それは、UHFのような低周波数に影響を及ぼす可能性がある。
樹木が茂ったエリア及び植物が生育するエリアにおける伝播損失のための信号遮断は、ADアプリケーションのために重要である。植物による遮断が誤検知のリスクを増加させることがある地方の(及び、都市部の)エリアにおいて、さまざまなシナリオが存在する。図13は、田舎の交差点を示す。示されるように、植物のため、自動車300Aは、事故を防止するときに、自動車300Bが見えないことがある。
伝播に対する地形の影響を議論しているCommander’s Critical Information Requirements (CCIR) Report 236-2は、葉による損失を以下のように特徴づけている。
L(dB)=0.2fαRβ
ここで、fはメガヘルツの周波数であり、Rは波が葉において伸びる距離である。パラメータα及びβは、葉の密度、植物の種類、湿度、及び温度の関数である。α及びβの典型的な値は、それぞれ、0.3及び0.6である。EM波は、層状媒体中で直線的に移動せず、ここで、送信機及び受信機は、指数関数的減衰による損失層にある。EM波は、損失層を離れ、無損失層を通過し、次いで、再び損失層に入り、受信アンテナに到達することが可能であるように示された。レーダ信号は、図14に示される経路305で示されるような樹木が茂ったエリアでの往復の伝播について同じルールに従う。
L(dB)=0.2fαRβ
ここで、fはメガヘルツの周波数であり、Rは波が葉において伸びる距離である。パラメータα及びβは、葉の密度、植物の種類、湿度、及び温度の関数である。α及びβの典型的な値は、それぞれ、0.3及び0.6である。EM波は、層状媒体中で直線的に移動せず、ここで、送信機及び受信機は、指数関数的減衰による損失層にある。EM波は、損失層を離れ、無損失層を通過し、次いで、再び損失層に入り、受信アンテナに到達することが可能であるように示された。レーダ信号は、図14に示される経路305で示されるような樹木が茂ったエリアでの往復の伝播について同じルールに従う。
レーダシステムの角度分解能は、その開口サイズに依存する。特に、線形アレイ状に送受信要素(アンテナ)を含むレーダシステムについては、角度分解能は、波長に比例し、アレイの開口(又は、物理的長さ)に逆比例する。よって、波長が短いほど、及び/又は、開口が大きいほど、角度分解能は良好である。これは、ミリ波がADのために提案されている理由の1つである。上で説明したように、角度分解能は、同じサイズで同じ距離にある2つの目標130を識別できる最小の間隔である。言い換えれば、角度分解能は、2つの(又は、それより多い)別個の目標130からの到来角の、それらを互いに分離できるような最小の間隔であるたとえば、線形アレイ状に配置された送受信要素を有するレーダシステムを考察する。そのような配置の角度分解能(ラジアン)は、以下のように与えられる。
ここで、λは波長であり、Dは、アレイの開口(又は、長さ)である。上記の式から、波長が短いほど、及び/又は、開口が大きいほど、角度分解能は良好であることは明らかである。この理由のために、77GHzの周波数帯域がADシステムによって使用されている。角度分解能は、複数の別個の目標から到来角(AoA)を基本的に分離し、ソリューションは、MUSIC又はESPIRITなどのアレイ信号処理方法を使用して得ることができ、それらの方法は、当該技術分野において知られており、本明細書では説明しない。
ここで、λは波長であり、Dは、アレイの開口(又は、長さ)である。上記の式から、波長が短いほど、及び/又は、開口が大きいほど、角度分解能は良好であることは明らかである。この理由のために、77GHzの周波数帯域がADシステムによって使用されている。角度分解能は、複数の別個の目標から到来角(AoA)を基本的に分離し、ソリューションは、MUSIC又はESPIRITなどのアレイ信号処理方法を使用して得ることができ、それらの方法は、当該技術分野において知られており、本明細書では説明しない。
今日、典型的なレーダ開口は15cmの距離であり、それは、77GHzでは、約1°の角度分解能となり、これは、完全自律走行車両が、混んでいる及び/又は複雑な場面で作動し、所望の安全目標を満たすには不十分である。LiDARシステムの典型的な角度分解能は、多くの場合、約0.1°~0.2°であり、たとえば、77GHzで作動するレーダより最大1桁小さい。レーダシステムは、LiDARシステムで提供される角度分解能のオーダで角度分解能を提供することが望ましいが、それは、そのようなレーダシステムが、LiDARシステムが特定のシナリオ(たとえば、霧、雨など)でこうむる性能の顕著な損失を避けることができるためである。しかしながら、77GHzで0.1°の角度分解能を実現するために、開口は比較的大きくなければならない。たとえば、1メートルを超える(たとえば、1.2m)の開口は、所望の角度分解能を得るには十分であることがある。そのような開口は、自動車の幅に収めることができる。
角度及び距離分解能などの尺度に加えて、レーダシステムの性能の別の尺度は、レーダシステムが同時に検知できる目標130の最大数である。用語「レンジビン」は、本明細書では、距離に関して互いから分離できない対象を言及するために使用される。それらの対象は同じレンジビンになる。以下でさらに論じられるように、距離分解能はc/2Wと近似でき、ここで、cは光速であり、Wは送信波形の帯域幅である。よって、たとえば、送信波形の帯域幅が100MHzである場合、距離分解能は約1.5mであり、各レンジビンのサイズも1.5mである。
等間隔に(均一に)配置されたM個の送信要素及びN個の受信要素を有する均一線形アレイ(ULA)について、任意のレンジビンに関して同時に検知できる目標130の最大数はM+Nである。AD環境は、場面を占める多くの対象により、非常に複雑である可能性がある。したがって、検知可能でなければならない目標130(又は、ポイントクラウド)の数は、非常に大きく、おそらく、レンジビンにつき数十又は数百である可能性がある。よって、ULAを使用するADシステムは、場面の中で目標130の十分な数を検知可能とするために、多数の送受信要素を使用する必要があることがある。さらに、大きな開口の好ましさは、ULAの送受信アンテナ(要素)の数をさらに増加させる。一例として、24GHzで作動する1.2mの開口を有するレーダは、(従来どおりの)半波長間隔を有するULAの192個のアンテナを必要とするであろう。ほとんどのADアプリケーションにとって、これは、極端に多いトランシーバ(送受信要素)である。さらに、そのようなシステムは、RF及びデジタルハードウェア、消費電力、及び重量に関して不利であり、高価であろう。さらにまた、自動車(たとえば、その表面の曲率)の幾何学的な制約のため、自動車内又は自動車上にULAを位置させることは通常、可能ではない。
ULAを採用することなく、レーダシステムの角度分解能を改善する1つの代替的なアプローチは、複数のより小さい開口のULAレーダユニットを仮想線に沿って車体内又は車体上に置くことである。本明細書では分割アレイと呼ばれるこのソリューションは、いくつかのADシステムプロバイダによって考察されている。いくつかのそのようなより小さい開口のULAユニットは、理論的には、所望の大開口を有する単一のレーダユニットと同等に作動する可能性があるが、レーダユニットごとに収集されるデータはおそらく共同処理する必要があり、それは、次に、RF及びデジタル(サンプリングされた)領域の両方においてすべてのユニットを互いに完全に同期させる必要がある。個別のより小さい開口のULAユニットが、処理ブロックに知られた正確に定められた位置に位置することも必要とする。完璧な同期を実現することは、送受信要素ごとのRF及びデジタルチェーンが完全に同期できるように、大きい物理的口径全体での非常に慎重な校正されたクロック及び周波数同期を必要とすることがあるので、特に難しい。
したがって、さらに下で説明されるように、システム100のいくつかの実施形態は、送受信要素のスパースアレイを使用する。たとえば、いくつかの実施形態において、送受信要素は、標準サイズのULAの要素によって占められる位置の散在するサブセットにのみ置かれる。スパースアレイは、各送信要素の場所と各受信要素の場所との間の別個のペアワイズ差によって与えられる位置にある要素を有する非スパースアレイとしてふるまうことができる。各ペアワイズ差が独自であるように適切に設計された場合、スパースアレイは、同じ開口寸法のULAとしてふるまわせるようにできるが、アレイ要素のその数は、スパースアレイの受信要素及び送信要素の数の積である。換言すれば、各ペアワイズ差が独自である場合、M個の送信要素及びN個の受信要素を有するスパースアレイは、それがM×N個の要素を有するようにふるまう。
システム100におけるスパースアレイの使用により、M+NからM×Nまでの各レンジビンにおいて同時に検知できる目標130の最大数は増加し、それは、顕著な増加である。K帯域(24GHzがレーダアプリケーションに割り当てられる)で作動する1.2mの開口レーダの例では、30個の送信要素及び30個の受信要素を有するスパースアレイは、それが900個の要素を有するように、同じ性能を提供することができ、この性能は半波長間隔のULAの性能をはるかに上回る。同様に、12個の送信要素及び16個の受信要素を有するスパースアレイは、192個の要素を有するULAとしてふるまうことができる(半波長間隔のULAの性能をはるかに超える)。スパースアレイの使用により、さらに下で説明されるように、アレイを車両(たとえば、自動車)の本体に埋め込む(たとえば、本体の上、中、下に分布させる)ことが可能になる。
上で説明されたように、実装が複雑であることがある分割アレイアプローチは、いくつかのADシステム製造業者によって考察されている。たとえ、分割アレイアプローチのユニットのすべての(高価で及び/又は厄介であることがある)完全同期を行うことができ、及び、データが共同処理されるとしても、結果的に生じる分割アレイレーダシステムの性能は、スパースアレイを使用するシステム100の性能に及ばない。差を示すために、W帯域で77GHzの、それぞれ1.2mの長さを有する2つの大開口レーダシステムを考察し、その両方が、12個の送信要素と、16個の受信要素とを有する。第1のシステム(システム100)は、慎重に設計されたスパースアレイを使用し、192個の幾何学的に配置された仮想アンテナ要素の均等物をもたらす。第2のシステムは、1.2mの開口の両側に2つの14要素ULAを使用する。後者の構成は、分割された2つの個別の14アンテナULAシステムを合わせる分割アレイを模倣するために使用され、それは、いくつかのAD製造業者が考察しているアプローチである。両方のシステムが同じ開口及び同じ数のアンテナ要素を有するけれども、一体型スパースアレイシステム(システム100)が優れた性能を有する。図15は、以下の3つのシステムについて、目標の角度位置の関数としての誤検知パーセンテージを比較する。その3つのシステムは、スパースアレイによるシステム100、RF及びデジタル領域における完全同期を有する分割アレイシステム(この結果は「同期ULA」曲線である)、並びに、2つのアレイがそれぞれ独立して作動し、次いで、それらの検知された目標130が融合される分割アレイシステム(この結果は「非同期ULA」プロットである)である。
図15が示すように、スパースアレイによるシステム100は、すべての角度にわたって誤検知がゼロに近く、その一方で、分割アレイシステムの両方のバージョンは、アレイの前方を表す小さい角度におけるふるまいが不十分である(アレイの2つの両側にある分割アレイシステムのアンテナ要素の結果として)。アレイの中心は、分割アレイのほとんど「死角」としてふるまい、同期の場合、誤検知は45%を超え、非同期の場合、誤検知はほぼ60%である。「同期ULA」シナリオは、(2つのULAサブセットの間の完全同時性が可能ではないことがあるので)非現実的なものであり、したがって、分割アレイシステムによって実現できる最高の性能を表している。したがって、スパースアレイを使用するシステム100と分割アレイアプローチとの間の性能の観察された差は、システム100のスパースアレイにおける送受信要素の慎重な配置に完全に起因している可能性がある。
スパースアレイアプローチの利点を示す別の例として、それぞれ1.2mの長さの2つのさらなる大開口レーダシステムを考察し、その両方が、20個の送信要素と、20個の受信要素とを有する。第1のシステムは、慎重に設計されたスパースアレイによるシステム100であり、アンテナ要素の間にほぼ400の独自のペアワイズ距離をもたらす。第2のシステムは、1.2mの開口の両側に2つの10要素ULAを有し、それは、分割された2つの個別の10アンテナULAシステムを合わせて分割アレイにすることを模倣する。第1及び第2のシステムは、同じ開口及び同じ数のアンテナ要素を有する。
図16A及び16Bは、上記の第1のシステム(スパースアレイによるシステム100)及び第2のシステム(分割アレイ)の性能を比較するシミュレーションの結果を示す公平な比較を提供するために、両方のシステムは、同じ送信波形、同じタイプのビーム形成、及び、(以下でさらに説明される)同じ共同距離及び角度推定アルゴリズムを使用した。第2のシステムについては、分割アレイの2ULAサブセットは完全同期であった(RF及びデジタル領域の両方において)。図16Aは、レーダシステム(範囲)からの目標130の距離150の関数として、正確に検知された目標130のパーセンテージである検知パーセンテージをプロットし、図16Bは、20個のランダムな目標130の平均距離の関数として、検知パーセンテージを示す。図16Aが示すように、両方のシステムの性能は、距離が増加すると低下するが、それは、受信信号(たとえば、反射信号148)がパス損失のためにより弱くなるためである。それにもかかわらず、スパースアレイを使用するシステム100の優勢は、図16A及び16Bから明白である。図16Bは、スパースアレイによるシステム100がすべての目標130を正確に検知することが可能であり、その一方で、分割アレイシステムが目標130の90パーセント未満を検知することを示す。図16Bで示されるように、30を超える目標130があるとき、分割アレイシステム(第2のシステム)の性能はかなり低下する。これは、20個の送受信アンテナによる分割アレイは、多くとも20個の目標130を検知することができるためである。換言すれば、分割システムは、合計40個のアンテナ、つまり、M=20の送信アンテナ及びN=20の受信アンテナを有する(2つの10アンテナULAがあり、各ULAが10の送信アンテナ及び10の受信アンテナを有することを意味する)。理論的には、分割システムは、最大40個の目標を検知できなければならないが、実際には、性能の劣化は、より早く、すなわち、この場合には30個の目標で始まる。2つのシミュレートされたシステムのすべての態様は送受信要素のアレイ以外は同じであったので、スパースアレイを使用するシステム100の優れた性能は、第2のシステムで使用される分割アレイとは対照的に、スパースアレイにおける送受信要素の配置に完全に起因している可能性がある。
目標の多い環境については、スパースアレイによるシステム100、及び、第2のシステム(分割アレイ)の性能は、正確に検知される目標130のパーセンテージによって特徴づけることができる(目標130が検知され、それらが真の目標から50cmの半径内と推定され、両方のシステムの距離分解能が75cmであることを意味する)。上で論じられた図16A及び16Bは、目標130の距離並びに目標130の数に対する検知パーセンテージを比較する。図17は、20個のランダムに配置された目標130のRCSの分布の関数として、検知パーセンテージをプロットし、目標130のレーダ断面の分布を比較することを可能にする。予想されるように、RCSが改善すると、両方のシステムの性能は改善する。それにもかかわらず、図17は、スパースアレイによるシステム100の性能が、分割アレイによる第2のシステムの性能より優れていることを示している。すべての場合において、スパースアレイによるシステム100は、分割アレイによるシステムよりかなり優れている。
システム100の性能は、距離及び角度領域にわたる収集データを共同処理することによって改善及び/又は最大化することができる。従来のレーダシステムにおいて、目標130の距離は、(受信信号(たとえば、反射信号148)を、送信パルス又は線形FM波形(たとえば、送信波形140)に対して相関させる)相関受信機の出力のピークを識別することによって決定される。次いで、ピークは、サンプリングされて、MUSIC又はESPRITなどの空間的アレイ処理アルゴリズムに供給され、目標の到来角(AoA)を決定する。よって、距離及びAoAは、別個に決定される。さらにまた、距離分解能は、送信パルスの帯域幅の逆に関連する。距離分解能のための良好な近似は、以下の通りである。
ここで、cは光速であり、Wは、送信パルスの帯域幅(又は、より一般的には、波形(たとえば、送信波形140))である。上記の式は近似のみであり、それは、実際の距離分解能は、送信波形の全体(特に、その自己相関関数)に依存し、単にその帯域幅にのみ依存するわけではないためである。
ここで、cは光速であり、Wは、送信パルスの帯域幅(又は、より一般的には、波形(たとえば、送信波形140))である。上記の式は近似のみであり、それは、実際の距離分解能は、送信波形の全体(特に、その自己相関関数)に依存し、単にその帯域幅にのみ依存するわけではないためである。
発明者らは、距離及び角度領域の多次元的共同処理が、レーダシステムの距離分解能及び角度分解能の両方の改善をもたらすことができるという見通しを持った。たとえば、200MHzの帯域幅及び(75波長に対応する)46.9cmの開口を有し、24GHzで作動する、8つの送信要素及び8つの受信要素を有するレーダシステムを考察する。このようなシステムは、距離及び角度領域が別個に処理されるとき、0.75mの距離分解能及び0.8°の角度分解能を有する。したがって、距離及び角度領域が別個に処理される場合、0.75m未満の間隔の目標130は、このシステムでは分析できないであろう。
図18は、システム100が距離及び角度データを共同処理するときの結果を示す。10個の目標130が場面にあり、真の位置が太陽形状の記号によって表され、(レーダデータに基づく)推定位置が平滑な卵形によって表されている。2つの左端の目標130は、それぞれ、5.0m及び5.4mの距離(したがって、それらは0.75mの距離分解能より小さく分離される)、並びに、それぞれ、45.0度及び45.5度の角度(したがって、それらは0.8°の角度分解能より小さく分離される)である。図18が示すように、システム100は、距離及び角度データを共同処理することによって、2つの目標130を識別及び分析することができる。
上で説明されたように、たとえ分割アレイシステムの性能がADアプリケーションに十分だったとしても、すなわち、自動車内/上の展開環境は、制限された物理空間のためだけでなく、自動車の形状(たとえば、曲率)のために、課題を示す。上で開示されたスパースアレイアプローチは、これらの課題を両方とも克服する。特に、システム100のレーダ要素(たとえば、場合によっては、異なる周波数で送信/受信する、送受信アンテナ)は、自動車の本体上/内のさまざまな場所(たとえば、屋根、ボンネット、フェンダ、前部、後部、側部、フロントガラス周辺、フロントガラス内部など)に埋め込むことができる。結果的に生じるアレイは、おそらく直線状ではなく、おそらく、二次元の曲線、又は、三次元を有する曲面上である。上述のように、アンテナ要素配置は、アンテナ要素間のx、y、及びz座標に複数の別個のペアワイズ差があるような配置でなければならない(換言すれば、アレイ要素の分布は不均一である)。ペアワイズ差がより異なる(x、y及びz座標)ほど、性能はより良好であろう。そのように位置するスパースアレイが二次元又は三次元であるので、システム100(たとえば、少なくとも1つのプロセッサ114及び/又は少なくとも1つのプロセッサ128)は、方位角に加えて目標130の仰角を推定可能であろう。目標130の距離、方位角、及び仰角は、共同で推定できるが、アレイが均一ではなく線形であるので、ESPRITなどの多くのAoA推定法は機能しない。その代わりに、送受信要素が空間の任意の位置にあるときはいつでも、アトミックノルム最小化は目標130の距離、方位角、及び仰角を共同で推定するために使用することができる。
いくつかの実施形態に従って使用されるアトミックノルムフレームワークにおいて、アトムの集合があると考えられる。
ここで、集合は、有限、可算無限、又は不可算無限でさえあってもよい。少数の、たとえば、K個のアトムの合計として書くことができる場合、信号xは「構成される」と呼ばれ、ここで、Kは、xの周囲空間の次元より小さい、すなわち、
上の式において、αkは(場合によっては、複素)スカラーである。
ここで、集合は、有限、可算無限、又は不可算無限でさえあってもよい。少数の、たとえば、K個のアトムの合計として書くことができる場合、信号xは「構成される」と呼ばれ、ここで、Kは、xの周囲空間の次元より小さい、すなわち、
上の式において、αkは(場合によっては、複素)スカラーである。
ベクトルxのアトミックノルムは、アトムの集合
に対して、以下のように定義される。
換言すれば、xのアトミックノルムは、xがアトムの線形結合に関して表すことができる最も経済的な方法であり、ここで、「経済的な」は、||・||ノルムを最小化する表現を意味し、ここで、||c||=Σk|ck|である。
小さいアトミックノルムは、xが少数のアトムの合計として表すことができることを意味する。逆に、大きいアトミックノルムは、多くのアトムがxを表すために必要とされることを意味する。
に対して、以下のように定義される。
換言すれば、xのアトミックノルムは、xがアトムの線形結合に関して表すことができる最も経済的な方法であり、ここで、「経済的な」は、||・||ノルムを最小化する表現を意味し、ここで、||c||=Σk|ck|である。
小さいアトミックノルムは、xが少数のアトムの合計として表すことができることを意味する。逆に、大きいアトミックノルムは、多くのアトムがxを表すために必要とされることを意味する。
システム100のプロセッサ(たとえば、少なくとも1つのプロセッサ114及び/又は少なくとも1つのプロセッサ128)は、(対応する送信波形140にチューニングされる)アトミックノルムデノイザ(atomic norm denoiser)、続いて、相関受信機を使用することができる。別の例として、少なくとも1つのプロセッサ114及び/又は少なくとも1つのプロセッサ128は、アトミックノルムデノイザ(atomic norm denoiser)、続いて、MUSIC、ESPRIT、Hankelノルム近似、Prony、Burg、又はその他などの任意のシヌソイドインノイズ推定器(sinusoid-in-noise estimator)を使用することができる。さらに別の例として、少なくとも1つのプロセッサ114及び/又は少なくとも1つのプロセッサ128は、アトムの有限集合の検索を含むアトミックノルムデノイザ(atomic norm denoiser)を使用することができる。目標130の距離、到来角、及び速度を決定するためにアトミックノルムを使用するシステム及び方法は、米国特許第10,866,304号で詳細に説明されており、それは、あらゆる目的のために参照によりその全体が本明細書に組み込まれる。
レーダ要素を車体に埋め込む/位置付けることに加えて、システム100は、LiDAR要素(たとえば、光源(たとえば、レーザ)及び光検知器(たとえば、フォトダイオード))も含むことができ、それらも、車体に埋め込む又は車体上に位置付けることができる。ソリッドステートLiDAR、フラッシュLiDAR、及び単一光子アバランシェ検出器SPAD)要素などのさまざまなタイプのLiDAR要素を、本明細書に記載のように位置付けることができる、すなわち、車両上の任意の位置に位置付けることができる、又は、車両内に埋め込むことができる。
上記のように、ADシステムの1つの望ましい特性は、「コーナ周辺を見る」能力であろう。電磁波は、鋭角で回折する傾向があり、それらが曲面に遭遇すると、それらは、「クリーピング」波として、それらの表面のまわりで回折することができる(図8を参照)。上で説明されたように、これらの作用は、より高い周波数(たとえば、K及びW帯域)では弱いが、それらは、UHF及びC(4~8GHz)帯域では十分である可能性がある。発明者らは、この回折挙動を、低周波数帯域としてのより小さい透過損失とともに、レーダシステムによるコーナ周辺の対象の検知を可能にするために利用することができるという見通しを持った。
レーダ信号は、多くのパスを横断して、多くの対象にはね返り、対象への及び対象からのそれらの進路が追跡される。ADアプリケーションにおいて、これらの複数のパスから生じるレーダリターン(たとえば、反射信号148)(マルチパス又はマルチパス信号と呼ばれる)は、近傍の他の自動車レーダシステムのレーダ信号によって影響を受けることもある。それにもかかわらず、これらのマルチパス信号は、システム100の視線内ではない目標130についての情報を、システム100のプロセッサ(たとえば、少なくとも1つのプロセッサ114及び/又は少なくとも1つのプロセッサ128)に提供することができ、たとえば、直接の検知から隠される交差交通を明らかにする。換言すれば、これらのマルチパスは、NLOS目標130の検知に使用することができる。
システム100のトライバンドバージョンのシミュレーションは、「コーナ周辺を見る」能力を示すために使用することができる。バンドごとにスパース大開口送受信アレイを備え、複数のバンドで同時に作動するトライバンドレーダ(たとえば、UHF、C、及びK帯域)システム100が装備された自律走行車(AV)を考察する。AVが、交差点の各コーナに1つある4つの高層コンクリート建物によって囲まれた都市の交差点に接近していると考える。簡単のため、通りは、南北及び東西に走っていると仮定する。図19A及び19Bは、交差点の北東側の1人の人と、交差点に接近している3台の車両とを含む場面を示し、1台の自動車300Aは北から南に接近し、1台の自動車300Bは南から北に接近し、1台の自動車300Cは西から東に接近している。AVは東から西に移動していて、図19Aでは見えないが、その位置は図19Bに示されている。図19A及び19Bに示された場面において、AVは交差点の中心から35メートルにあり、自動車300Cは南から交差点に接近している。1台の自動車300Cは交差点の中心から40mにあり、AVの視線内にない。よって、それは、LOS技法によって、システム100が検知することができない。
3つの周波数帯域のそれぞれにおいて、レーダシステムは、目標130の距離及び方角(到来角)を推定することができる。LOS目標130については、目標130の距離(システム100からのその距離)は、光速に、送信されたEM波(たとえば、送信波形140)がシステム100に戻るのにかかる時間の半分を掛けたものに等しい。換言すれば、距離は、システム100に戻る送信されたEM波の飛行時間(ToF)の半分に対応する。目標130の方角は、システム100で受信した波面(たとえば、反射信号148)の入射角から決定される。換言すれば、AoAは、単に特定の目標130から受信した波形(たとえば、反射信号148)の角度である。さらにまた、目標130がシステム100のLOSにあるとき、これは単に目標130が配置される角度である。
目標130がシステム100の視線内にないとき、信号(たとえば、反射信号148)が複数のルートに沿って戻るので、状況はより複雑である。EM波(たとえば、反射信号148)は、多重反射又は散乱を通して受信されるように、目標130がNLOSであるとき、距離は、ToFの半分を表すこと以外の解釈はせず、レーダからの目標130の距離であると見ることができない。さらにまた、NLOS目標130のAoAは、目標130の角度に必ずしも関連するというわけではないが、むしろ、システム100へのマルチパスの(反射又は散乱を通しての)最後のリターンの角度に関連する。システム100の帯域のそれぞれからの情報を解釈するとき、上記の検討は、(たとえば、カメラ、LiDAR、マップ、GPSなどからの)風景についての任意の従来の知識とともに考慮し、目標130の場所を直接測定するのではなく、推測することができる。
いくつかの実施形態において、リターン(たとえば、反射信号148)は、見通し内(LOS)、マルチパス、又は建物を通しての(又は、NLOS)リターンのいずれかと分類される。所定の距離に対して、マルチパスリターンは、通常、(多重反射のために)弱く、LOSリターンとは異なる偏光を有する。建物を通してのリターンも弱い。いくつかの実施形態において、環境についての情報(たとえば、ADシステム周辺の建物及び他の静止物体の位置、材料など)も原因となる。フレームワークは、真の目標の可能な位置を見つけるために構築することができる。次いで、そのフレームワークは、目標が複数の候補位置のそれぞれにある確率を推定するために使用することができる。
リターンがどのように分類できるかの一例として、略類似の飛行時間及び到来角を有するリターンが、複数の周波数帯域(たとえば、周波数帯域の大多数)で観察され、それが閾値を超える(上回る)リターン強度を有し、及び/又は、それが、時間が経つにつれてゆっくりと変わる(目標がLOSであると仮定して計算される)角度及び距離位置を有する場合、リターンはLOSリターンに分類されてもよい。略類似の飛行時間及び到来角を有するリターンが、低周波数帯域で主に又は完全に観察され、それが閾値を下回るリターン強度を有し、並びに/又は、それが、時間が経つにつれて急激に及び不規則に変わる(目標がLOSであると仮定して計算される)角度及び距離位置を有する場合、リターンはマルチパスリターンに分類されてもよい。偏光情報も、マルチパスリターンを識別するために、考慮することができる。略類似の飛行時間及び到来角を有するリターンが、低周波数帯域で主に又は完全に観察され、それが閾値を下回るリターン強度を有し、及び/又は、それが、時間が経つにつれてゆっくりと変わる(目標がLOSであると仮定して計算される)角度及び距離位置を有する場合、リターンは建物を通してのリターンに分類されてもよい。風景(たとえば、マップ又はLiDARからの建物の位置)についての情報も、建物を通してのリターンを識別するために使用することができる。
AV及び目標130が移動して、システム100が(たとえば、反射信号148を通して)追加データを収集すると、追加データは、目標130が候補場所にある確率を更新するために使用することができる。システム100が推定確率を更新するたびに、それは、目標130の位置の信頼性が選択できるだけ十分に高く、「ゴースト」目標位置が消滅するまで、可能な場所の領域を狭くする。システム100の性能は、複数の帯域から得られる情報を融合することによって、かなり強化することができる。
開示されるシステム100は、複数の自律走行車のレーダシステムが同時に作動している混雑したEM環境における利点も提供する。複数の帯域の存在は、たとえば、周波数ホッピング又はタイムシェアリングを通して、送信波形(たとえば、送信波形140)をさらに分離する(「直交化」と呼ばれる概念)追加の次元を加え、それは、他のレーダシステムからの干渉の減少を可能にし、システム100に対して都市交通環境のための調整及び都市交通環境での使用を可能にする。
図19Cは、図19A及び19Bに示される時間の後のある時点における図19A及び19Bのシナリオのためのレイトレーシングを示す。システム100に発して戻る主光線の一部の往復距離が、各光線上に記されている。たとえば、自動車300B(「V1」)及び300A(「V2」)との往復距離は、その両方がシステム100のLOS内であり、それぞれ、94.8m及び51.6mである(当業者によって理解されるように、往復距離は往復間の代理である)。歩行者302A(「P1」)及び302B(「P2」)との往復距離は、その両方もシステム100のLOS内であり、それぞれ、56.4m及び81.6mである。
図20Aは、3つの帯域のそれぞれについてのチャネルのインパルス応答の大きさをdBで示す(信号は、インパルスが送信要素で送信されたとき、受信要素で受信した)。図20Bは、図20Aのプロットの拡大バージョンであり、インパルス応答のピークのよりはっきりとした識別を提供する。プロットは、往復距離の関数として与えられ、時間とは対照的に、EM波が受信機に戻る前に進む距離を強調する。往復距離は、それらを光速で割ることによって、容易に時間に変換することができる。インパルス応答は、レーダシステムの送信パルスに対して受信信号に適用される理想的な相関受信機の出力と考えることができる。
図20Aから分かるように、5.8GHz及び24GHzのインパルス応答は、160mの後は大部分がサイレントであり、その一方で、900MHzのインパルス応答はそうではない。主な理由は、900MHzが壁及び建物からのさらに強い反射を可能にするためである。よって、往復160mの後に観察されるピークは、そのような反射に対応する。そのような反射の大部分が吸収されて、信号が減衰したため、それらはより高い周波数にはない。
図20Bを参照すると、自動車300B(「V1」については、3つすべての帯域で約52m~53mにピークがある。自動車300A(「V2」)については、3つすべての帯域で約95m及び96mにピークがある。これは、自動車300A及び300Bの両方ともが3つすべての帯域で見ることができることを示す。歩行者302A(「P1」)及び302B(「P2」)は、900MHzの信号でさらによく見ることができ、それぞれ、56m及び82mに明確なピークがある。5.8GHz及び24GHzの対応するピークは、より認識しにくく、それはおそらく、人間のRCSは、低周波数での歩行者の向き及び足取りに対してはるかに堅固であるためである。
システム100は、建物によってブロックされ、「コーナ周辺」にある自動車300C(「V3」)も検知することができることに留意されたい。900MHz及び5.8GHzのインパルス応答は、66mに明確なピークを有する。これは、建物を透過し、V3から反射し、二度目の建物の透過で戻るEM波に対応する。このピークは24GHzのインパルス応答にはなく、それはEM波がこの高周波数では建物を透過しないためであることに留意されたい。
図19Cのレイトレーシングをさらに精査すると、自動車300C(「V3」)を観察できる第2のパスがあることが示されている。これは、右下隅の建物を透過し、自動車300Cから左に反射し、次いで、左下の建物から反射するEM波に対応する。2つの建物透過及び1つの反射を含む自動車300Cへの及び自動車300Cからのパスと異なり、このパスは、1つの建物透過及び2つの反射を含む。このパスの往復時間は、図19Cに示されるように、88.8mである。900MHzのインパルス応答には88m~89mに明確なピークがある。5.8GHz及び24GHzのより高い帯域では、約87m~88mにわずかにはっきりしていないピークがあり、それは、このパスに起因していてもよい。
(たとえば、異なる周波数帯域から得られる情報を組み合わせるために)センサ融合を実行する複数の方法がある。たとえば、各周波数帯域について、その帯域のリターン信号(たとえば、反射信号148、エコー信号142など)の一部又は全部に対して、(たとえば、上記のような、及び、以下の図26A及び26Bの議論でさらに説明される)候補位置に目標130がある確率を計算することができる。この手順は、それぞれが確率と関連付けられた、目標130の候補位置のリストをもたらす。次いで、たとえば、各候補位置のまわりに二次元ガウス分布を置くことによって、各周波数帯域についての「ヒートマップ」を作ることができ、ここで、ガウス分布の平均は目標130の候補位置であり、共分散マトリクスは推定された目標130の距離及び角度の精度によって決定され、ガウスの強度は、目標130が候補位置に配置される確率によって決定される。次いで、複数の帯域からの情報は、融合されたヒートマップを得るために、たとえば、異なる帯域からの個々のヒートマップの点別乗算によって融合することができる(各周波数帯域が風景の独立した測定値を提供すると仮定する)。時間が経つにつれて、より多くの測定値が収集されるので、融合されたヒートマップは進化して、より正確になる。結果として、(たとえば、閾値確率を下回る候補位置を排除することによって)ゴースト目標は排除することができ、目標130の真位置を決定することができる。
図21A~21Iは、シミュレーションからの例示的なヒートマップであり、2つのレーダ帯域(たとえば、センサ融合)及びコーナ周辺を見るシステム100の能力を使用して得られる融合情報の利点を示す。例示的なシステム100を備える車両は、各図の右手側の円で示される。図21A~21Cは、UHF帯域(915GHz)を使用して検知された目標130を示し、図21D~21Fは、C帯域(5.8GHz)の結果を示す(K帯域の対応する図は含まれておらず、また、24GHz帯域の信号で検知される目標130も含まれていない。それは、K帯域はシミュレーション条件においてコーナ周辺の対象を明らかにしないためである)。検知された目標130の強度は、各図の右手側の目盛りによって示される。
図21A及び21Dは、それぞれ、UHF及びC帯域で同時に送信された信号(たとえば、送信波形140及び反射信号148)を使用して、システム100が時間ゼロで検知した目標130を示す。図21A及び21Dで分かるように、4つの建物のコーナは、C及びUHF帯域の両方で、システム100によって検知される。AVの上下の建物は、C帯域でなく、UHF帯域で強い反射を有する(そして、見ることができる)。換言すれば、かすかなリターンは、AVの真上及び真下で検知され、これらのかすかなリターンは、C帯域周波数ではなくUHF帯域周波数でのみ見ることができる。図21A及び21Dに示されるように、南から交差点に接近している自動車300(AVの目線では、自動車300は左から交差点に接近する)は、システム100のLOS内にない。さらにまた、時間ゼロでは、自動車300は、システム100によるNLOS目標130として検出されない。換言すれば、接近している車両である自動車300は、交差点の中心から40mにあるとき、時間ゼロでシステム100によって「見る」ことはできない。
シミュレーションは、例示的なシステム100は、自動車300が交差点の中心から略33mにあるとき、約時間0.45秒に開始する、接近している車両の検知を行うことができることを示す。図21B及び21Eは、時間0.6秒にシステム100によって検知された目標130を示し、図21C及び21Fは、時間0.65秒の検知された目標130を示す。いずれの場合も、自動車300は、交差点の中心から約30mにある。これらの時間の両方において、自動車300は、多重反射及び交差点の南東象限の建物を透過するEM波により、UHF及びCの両方の帯域で「見る」ことができる。
示された瞬間のすべてにおいて、交差点の南東(AV及びシステム100の左、及び、自動車300の右)の建物は、接近している自動車300をシステム100が直接見ることを完全に妨げ、NLOS目標130にしていることに留意されたい。例示的なシステム100は、システム100がコーナ周辺にある対象を検知可能であるので、接近している自動車300を検知する。
最後に、ノイズ、がらくたなどのために、それぞれの帯域で、図21A~21Fに示される時間のそれぞれにおいて、システム100に検知される多くの「ゴースト目標」がある。真の目標130は、UHF及びC帯域からの結果を融合することによって、ゴースト目標から区別することができる。センサ融合アルゴリズムは、複数の帯域から(たとえば、帯域のサブセットから、又は、システム100によって使用中の帯域のすべてから)のデータを組み合わせるために使用することができる。いくつかの実施形態において、システム100(たとえば、少なくとも1つのプロセッサ114及び/又は少なくとも1つのプロセッサ128)は、多帯域レーダ(たとえば、その1つ又は複数の帯域)、LiDAR、カメラ、GPS座標、ロードマップなどを含む、情報のマルチモーダルソースの多様な組からの情報を融合する。たとえば、各目標130のレーダリターン距離及び角度を決定するために、周辺の風景についての知識(たとえば、植物、建物の場所など)は、どの信号リターン(たとえば、反射信号148)がLOSであり、どれがNLOS、及び、反射又は透過又はその両方からの結果であるかを決定するために使用することができる。
センサ融合を実行するために使用できるいくつかのアプローチがある。たとえば、従来の知識及び現在の測定値に基づいて最適な検知及び推定を行うベイジアンネットワークを使用することができる。当業者には明らかなように、ベイジアンネットワーク(決定ネットワークとしても知られている)は、いくつかの可能な知られている原因の任意の1つが、有向非巡回グラフを介して変数の組及びそれらの条件つきの依存関係を表すことによって発生したイベントの原因であった可能性を予測する確率的グラフィカルモデルである。別の選択肢は、ディープネットワーク(ディープニューラルネットワークとしても知られている)を使用することであり、それは、データ駆動型(たとえば、非常に大きなデータセットを使用する)であり、問題のために示される特徴、モデル、又は仮説を定義する必要なしに、過去の観察を活用する。当業者には明らかなように、ディープネットワークは、多くの隠れ層(たとえば、従来のニューラルネットワークの1又は2より多い隠れ層)を有し、ウエイト、バイアス、非線形アクティベーション、及び/又はバックプロパゲーションを有する積層型ニューラルネットワークであると考えることができる。さらに、再構築されている場面が動的に変わっているので、パーティクルフィルタリング及び香りのするカルマンフィルタなどの技法を使用することができる。図21G、21H、及び21Iは、システム100が時間インスタンス0.00秒、0.60秒、及び0.65秒に、UHF及びC帯域からのデータを融合した後の結果を示す(たとえば、図21Gは、図21Aに対応するデータと、図21Dに対応するデータとの融合に従い、図21Hは、図21Bに対応するデータと、図21Eに対応するデータとの融合に従い、図21Iは、図21Cに対応するデータと、図21Fに対応するデータとの融合に従う)。図21G、21H、及び21Iのそれぞれで分かるように、融合手順の結果として、残っている唯一の有意な目標130は、交差点の周辺の建物のコーナ(特に、それらの交差点の北西及び南西)、並びに、コーナの周辺にいる、南から交差点に接近している自動車300である。よって、図21G~21Iは、センサ融合プロセスが場面からゴースト目標を一掃することを示している。
図21A~21Iが2つのレーダ帯域を使用するセンサ融合を示すが、開示される技法が、異なるセンサタイプからの情報を融合するために使用できることが理解されるべきである。たとえば、技法は、レーダサブシステム170からの情報を、LiDARサブシステム320からの情報と融合するために使用することができる。さらに、2つより多い周波数帯域からの情報を融合することができる。たとえば、システム100は、2つより多いレーダ帯域からの情報を融合させてもよい。別の例として、システム100は、レーダサブシステム170によって使用される2つ以上のレーダ帯域からの情報を、LiDARサブシステム320によって使用される帯域からの情報と融合してもよい。
示されて上で説明されたシミュレーション結果は、開示されるシステム100の実施形態が、建物などの他の対象によって閉塞された、車両などの目標130を識別及び配置できることを示す。シミュレーションは、複数のレーダ帯域で同時に作動するシステム100の能力の価値も示す。低周波数帯域は、高周波数帯域で利用できない情報を提供するが、それは、低周波数EM波は、建物を透過し、より適切に反射し、むしろ光波としてふるまい、(そして、LiDARによって提供される情報とは異なり、相補的である情報を提供し)、一般に、より良好な伝播特性を有し、より長い距離の探索を可能にするためである。低周波数帯域は、気象条件及び目標130の向きにもより堅固である。他方で、高周波数帯域は、さらにより高い角度分解能を提供し、低周波数で見落とすことがある詳細な特徴を見ることができる。複数の帯域の使用及びそれらが提供する情報の融合により、システム100は、自律走行車の安全操作を提供するために、場面の正確な理解を得ることができる。
システム100は、所望の機能を提供するために、サブシステムのさまざまな組み合わせを含むことができる。たとえば、ADアプリケーションについては、システム100は、たとえば、(a)多帯域レーダサブシステムのみ、(b)多帯域レーダサブシステム及びLiDARサブシステム、(c)多帯域レーダサブシステム、LiDARサブシステム、及びカメラサブシステムを含む可能性がある。任意の構成において、システム100は、たとえば、建物、消火栓、看板、ガードレールなどの場面内の静止物体についての他の情報(たとえば、それらの場所、材料特性など)も考慮することができる。システム100は、たとえば、工事区域、くぼみ、足場などの一時的な危険についての情報も考慮することができる。
図22は、いくつかの実施形態による例示的なシステム100のブロック図である。例示的なシステム100は、少なくとも1つのプロセッサ114に結合されたスパースアレイ160を備える。スパースアレイ160は、複数のアレイ要素102を備える。図22において、アレイ要素102は1~Nのラベルが付けられるが、任意の数の少なくとも2つのアレイ要素102があってもよいことが理解されるべきである。アレイ要素102のそれぞれは、送信要素若しくは受信要素、又は、組み合わされた送信/受信要素であってもよい。たとえば、アレイ要素102のそれぞれは、レーダ送信機、LiDAR送信機、レーダ受信機、LiDAR受信機、カメラなどであってもよいスパースアレイ160は、少なくとも1つの送信要素と、少なくとも1つの受信要素とを含む。送信要素の数は受信要素の数と同じであってもよく、又は、受信要素より多い若しくは少ない送信要素があってもよい。
スパースアレイ160は、上記のような、自動車などの車両の本体上に分布させてもよい。システム100のアレイ要素102(たとえば、場合によっては、異なる周波数で送信/受信する送信及び受信アンテナ)は、自動車の本体上/内のさまざまな場所(たとえば、屋根、ボンネット、フェンダ、前部、後部、側部、フロントガラス周辺、フロントガラス内部など)に埋め込むことができる。結果的に生じるスパースアレイ160は、おそらく、二次元の曲線、又は、三次元を有する曲面上である。上述のように、アレイ要素102の配置は、アレイ要素102間のx、y、及びz座標に複数の別個のペアワイズ差があるような配置でなければならない。別個のペアワイズ差がより異なるほど、システム100の性能はより良好である可能性がある。スパースアレイ160が二次元又は三次元であるので、システム100(たとえば、少なくとも1つのプロセッサ114)は、目標130の仰角及び方位角を推定することができるであろう。システム100は、たとえば、アトミックノルム最小化を使用して、目標130の距離、方位角、及び仰角を共同で推定することができる。
図23は、いくつかの実施形態による別の例示的なシステム100を示す。例示的なシステム100は、レーダサブシステム170及びLiDARサブシステム320を備え、その両方が、少なくとも1つのプロセッサ114に結合される。例示的なシステム100は、図23に示されていない他の構成要素を含んでもよい。たとえば、例示的なシステム100は、レーダサブシステム170及び/又はLiDARサブシステム320によって収集されるデータを保存するメモリを含んでもよい。
レーダサブシステム170は、少なくとも1つのレーダ送信機172及び少なくとも1つのレーダ受信機176を含む、複数の送受信要素を備え、それらは、スパースアレイ160に(たとえば、車体上/車体内に)配置されてもよい。レーダ送信機172の数は、レーダ受信機176の数と同じであってもよく、又は、レーダ受信機176より多い若しくは少ないレーダ送信機172があってもよい。各レーダ送信機172は、たとえば、図1~6に示されて、その説明に記載される送信機105の構成要素の一部又は全部を備えてもよい。各レーダ受信機176は、たとえば、図1~6に示されて、その説明に記載される受信機120の構成要素の一部又は全部を備えてもよい。レーダアンテナ174は、レーダ受信機176によって共有されてもよい、又は、レーダ受信機176は、(たとえば、図9の議論に記載されるような)個別のアンテナを有してもよい。レーダサブシステム170は、たとえば、図3及び6に示されて、その議論に記載された構成要素などの、図23に示されない構成要素を含んでもよい。本明細書に記載されない他の構成要素も含まれてもよい。
LiDARサブシステム320は、少なくとも1つの光源322及び少なくとも1つの光検知器324を含む、複数の送受信要素を備え、それらは、(たとえば、車体上に)アレイで配置されてもよい。少なくとも1つの光源322は、たとえば、レーザを備えてもよい。少なくとも1つの光検知器324のそれぞれは、たとえば、光子検出器(たとえば、アバランシェフォトダイオードなどのフォトダイオード)を備えてもよい。光源322の数は、光検知器324の数と同じであってもよく、又は、光検知器324より多い若しくは少ない光源322があってもよい。LiDARサブシステム320は、たとえば、その全体が参照により本出願にあらゆる目的のために組み込まれる米国特許第11,047,982号に示されて、記載された構成要素などの、図23に示されない構成要素を含んでもよい。LiDARサブシステム320は、米国特許第11,047,982号に詳細に記載されているように、LiDARサブシステム320が場面内の目標130を検出することを可能とするために、低い相互相関でスパースパルスシーケンスとともに重なり合う視界を有する光源322及び光検知器324を使用してもよい。本明細書又は米国特許第11,047,982号に記載されていない他の構成要素も含まれてもよい。
よって、いくつかの実施形態において、場面内の目標を検知するためのシステム100は、レーダサブシステム170と、LiDARサブシステム320と、レーダサブシステム170及びLiDARサブシステム320に結合される少なくとも1つのプロセッサ114とを備える。LiDARサブシステム320は、光信号を発するように構成された光源と、発された光信号の反射を検知するように構成された光検知器とを備える。レーダサブシステム170は、レーダ信号を送信するように構成されたレーダ送信機と、送信されたレーダ信号の反射を検知するように構成されたレーダ受信機とを備える。少なくとも1つのプロセッサ114は、実行されたとき、少なくとも1つのプロセッサ114に、LiDARサブシステム320から発された光信号の反射の表現を取得させ、レーダサブシステム170から送信されたレーダ信号の反射(たとえば、反射信号148)の表現を取得させ、発された光信号の反射の表現及び送信されたレーダ信号の反射の表現に少なくとも部分的に基づいて、場面内の少なくとも1つの目標130の場所を決定させる、少なくとも1つの機械実行可能命令を実行するように構成される。
レーダサブシステム170は、上記のように、少なくとも1つの無線周波数信号発生器及び少なくとも1つのアンテナを備えてもよい。いくつかの実施形態において、レーダサブシステム170は、車両の本体上に分布されたスパースアレイ160を含み、スパースアレイ160は、複数のレーダ送信機172と、複数のレーダ受信機176とを備える。スパースアレイ160は、本明細書に記載されるように、三次元であってもよく及び/又は不均一に分布されてもよい。
いくつかの実施形態において、レーダサブシステム170は、たとえば、L、S、W、X、C、K、ka、Ku、又はUHF帯域のうちの2つ以上など、少なくとも2つのレーダ帯域で同時に作動することが可能である。たとえば、レーダサブシステム170は、W又はX帯域で、及び、UHF帯域で同時に作動することが可能であってもよい。
いくつかの実施形態において、LiDARサブシステム320は、複数の光学コンポーネントを有する光学アレイを備え、複数の光学コンポーネントは、複数の光源322と、複数の光検知器324とを含む。いくつかの実施形態において、複数の光学コンポーネントの少なくとも2つの光学コンポーネントは、非同一線上である。
図24は、いくつかの実施形態による例示的なスパースアレイ160を含むシステム100の一部を示す。例示的なスパースアレイ160は、複数のレーダ送信機172と、複数のレーダ受信機176とを備える。図24は、例示的なスパースアレイ160の少なくとも3つのレーダ送信機172、すなわち、レーダ送信機172A、レーダ送信機172B、及びレーダ送信機172Nを示す。いくつかの実施形態において、スパースアレイ160の複数のレーダ送信機172は、多帯域レーダシステムを実行するために、上に記載されたように、複数の帯域(たとえば、L、S、X、C、K、ka、Ku、W、UHFなどのうちの少なくとも2つ)でレーダ信号を送信することが可能である。レーダ送信機172のための参照番号172A、172B、及び172Nの図24での使用は、便宜のためであり、スパースアレイ160が正確に14個のレーダ送信機172を必ずしも含むことを示唆しないことが理解されるべきである。上で説明されたように、スパースアレイ160は、任意の数のレーダ送信機172を有することができる。スパースアレイ160が同時に複数のレーダ帯域を使用するシステム100で使用される場合には、レーダ送信機172の数は1より大きい。
図24に示される例示的なスパースアレイ160は、複数のレーダ受信機176も含む。図24は、例示的なスパースアレイ160の少なくとも3つのレーダ受信機176、すなわち、レーダ受信機176A、レーダ受信機176B、及びレーダ受信機176Mを示す。いくつかの実施形態において、スパースアレイ160の複数のレーダ受信機176は、多帯域レーダシステムを実行するために、上に記載されたように、複数の帯域(たとえば、L、S、X、C、K、ka、Ku、W、UHFなどのうちの2つ以上)でレーダ信号を検知することが可能である。レーダ受信機176のための参照番号176A、176B、及び176Mの図24での使用は、便宜のためであり、スパースアレイ160が正確に13個のレーダ受信機176を必ずしも含むことを示唆しないことが理解されるべきである。上で説明されたように、スパースアレイ160は、任意の数のレーダ受信機176を有することができる。スパースアレイ160が同時に複数のレーダ帯域を使用するシステム100で使用される場合には、レーダ受信機176の数は1より大きい。
よって、いくつかの実施形態において、システム100は、プロービング信号を発して、場面内の反射信号を検知するために、少なくとも1つのプロセッサ114及びスパースアレイ160を備える。スパースアレイ160は、車体上に分布されてもよい。スパースアレイ160は、複数のアレイ要素を備え、そのそれぞれは、信号を送信及び/又は受信することが可能である。複数のアレイ要素の間に、信号を送信することが可能な少なくとも1つの要素(たとえば、送信機105)と、信号を受信することが可能な少なくとも1つの要素(たとえば、受信機120)とがある。いくつかの実施形態において、スパースアレイ160の第1のアレイ要素は、三次元座標の第1の組(X1、Y1、Z1)を有する第1の場所に位置し、スパースアレイ160の第2のアレイ要素は、三次元座標の第2の組(X2、Y2、Z2)を有する第2の場所に位置し、X1≠X2及び/又はY1≠Y2及び/又はZ1≠Z2である。いくつかの実施形態では、X1≠X2及びY1≠Y2及びZ1≠Z2である。いくつかの実施形態において、第1及び第2の場所は、自動車上の屋根、ボンネット、前部、バンパ、フェンダ、後部、トランク、左側、右側、ウインドシールド、又は任意の他の場所であってもよい。
いくつかの実施形態において、スパースアレイ160は三次元である。いくつかの実施形態において、スパースアレイ160は不均一に分布され、スパースアレイ160の最近接要素間のペアワイズ距離の少なくともいくつかが互いに異なることを意味する。いくつかの実施形態において、スパースアレイ160の最近接要素間のペアワイズ距離は独自である。
いくつかの実施形態において、スパースアレイ160は、複数のレーダ帯域(たとえば、L、S、W、X、C、K、ka、Ku、UHFなどのうちの2つ以上)で同時に送受信可能である。いくつかの実施形態において、スパースアレイ160は、第1のレーダ送信機172Aと、第1のレーダ受信機176Aとを備える。このような実施形態において、スパースアレイ160は、第2のレーダ送信機172Bと、第2のレーダ受信機176Bとを同様に含むことができ、それにより、レーダ送信機172Aは、第1のレーダ帯域(たとえば、K又はC)で送信するように構成され、レーダ受信機176Aは、第1のレーダ帯域で受信するように構成され、レーダ送信機172Bは、第1のレーダ帯域とは異なる第2のレーダ帯域(たとえば、UHF)で送信するように構成され、レーダ受信機176Bは、第2のレーダ帯域で受信するように構成される。
少なくとも1つのプロセッサ114は、実行されたとき、少なくとも1つのプロセッサ114に、スパースアレイ160によって検知された複数の反射信号(たとえば、反射信号148)を収集させて、複数の反射信号に少なくとも部分的に基づいて、場面内の少なくとも1つの目標130の位置(たとえば、距離及び/又は角度(たとえば、方位又は仰角))を推定させる、少なくとも1つの機械実行可能命令を実行するように構成される。いくつかの実施形態において、少なくとも1つのプロセッサ114は、少なくとも1つの目標130の位置を推定するために、距離、方位角、及び仰角を共同で推定する。共同推定は、アトミックノルムを計算すること、又は、最小化することを含んでもよい。いくつかの実施形態において、少なくとも1つのプロセッサ114は、(たとえば、アトミックノルムを決定又は最小化することによって)複数の反射信号の少なくとも一部からノイズを除去すること、複数の反射信号のノイズ除去された少なくとも一部の相関を実行すること、及び、相関の結果で少なくとも1つのピークを識別することによって、少なくとも1つの目標130の位置を部分的に推定する。いくつかの実施形態において、少なくとも1つのプロセッサ114は、相関を実行することと、相関の結果で少なくとも1つのピークを識別することとによって、場面内の少なくとも1つの目標の位置を部分的に推定する。
いくつかの実施形態において、システム100は、少なくとも第1の光源322Aと第1の光検知器324Bとを有するLiDARサブシステム320も含んでもよい。第1の光源322Aは、第1の時間ウィンドウの間に、第1のパルスシーケンスを発するように構成されてもよい。第1のパルスシーケンスはスパースであってもよい。いくつかの実施形態において、LiDARサブシステム320はまた、第2の光源322Bと、第2の第1の光検知器324Bとを含む。第2の光源322Bは、322Aが第1のパルスシーケンスを発するのと同時に(たとえば、第1の時間ウィンドウの間)、第2のパルスシーケンスを発するように構成されてもよい。第2のパルスシーケンスはスパースであってもよい。いくつかの実施形態において、第2のパルスシーケンスは、第1のパルスシーケンスとは異なる。第1及び第2のパルスシーケンスは、互いに実質的に相関していなくてもよい(たとえば、それらは低い相互相関を有する)。第1及び第2のパルスシーケンスは、実質的に白色であってもよい。
図25は、いくつかの実施形態によるLiDARサブシステム320の例示的な光学アレイ164を含むシステム100の一部を示す。例示的な光学アレイ164は、複数の光源322と、複数の光検知器324とを備える。米国特許第11,047,982号で説明されるように、光学アレイ164は、光学アレイ164の要素の合計数及び互いに対するそれらの位置に関する特定の条件が満たされる限り、さまざまな数の光源322及び光検知器324(たとえば、わずか1つの光源322又はわずか1つの光検知器324)を使用して、高精度の目標検知を提供することができることが理解されるべきである。図25は、光学アレイ164の少なくとも3つの光源322、すなわち、光源322A、光源322B、及び光源322Pを示す。いくつかの実施形態において、光学アレイ164の複数の光源322は、米国特許第11,047,982号に記載されているように、複数の波長を有する及び/又は異なるパルスシーケンスを使用する光信号を発することが可能である、いくつかの実施形態において、光学アレイ164は、米国特許第11,047,982号に記載されているように、多重入出力(MIMO)LiDARの実行を支援する。参照番号322A、322B、及び322Pの図25での使用は、便宜のためであり、光学アレイ164が正確に16個の光源322を必ずしも含むことを示唆しないことが理解されるべきである。光学アレイ164は、米国特許第11,047,982号に記載されているように、0より大きい任意の数の光源322を有することができる。
図25に示される光学アレイ164は、複数の光検知器324も含む。図25は、光学アレイ164の少なくとも3つの光検知器324、すなわち、光検知器324A、光検知器324B、及び光検知器324Qを示す。いくつかの実施形態において、光学アレイ164の複数の光検知器324は、米国特許第11,047,982号に記載されているように、複数の波長で、(たとえば、互いに実質的に相関していなくてもよい)異種のパルスシーケンスに従って光を検知することが可能である。参照番号324A、324B、及び324Qの図25での使用は、便宜のためであり、光学アレイ164が正確に17個の光検知器324を必ずしも含むことを示唆しないことが理解されるべきである。光学アレイ164は、米国特許第11,047,982号に記載されているように、0より大きい任意の数の光検知器324を有することができる。
図26Aは、いくつかの実施形態による、ある場面において目標130の位置を識別する例示的な方法200のフロー図である。例示的な方法200は、たとえば、本明細書に記載されるシステム100の実施形態の1つ又は複数によって実行されてもよい。ブロック202において、複数の走査信号(たとえば、送信波形140)が(たとえば、レーダサブシステム170によって)送信される。走査信号は、例示的な方法200を実装するシステム100が、コーナ周辺を見て、目標130の高精度の検知を提供することを可能とするために、上記のように、異なる周波数の別個の帯域(たとえば、L、S、X、C、K、ka、Ku、W、UHFなど)で送信されるレーダ信号であってもよい。たとえば、第1の走査信号はC又はK帯域で送信されてもよく、第2の走査信号はUHF帯域で送信されてもよい。走査信号は、複数回、又は、複数の時間間隔の間に、送信することができる。同様に、複数の複数の反射信号は、複数回、又は、複数の時間間隔の間に、収集(たとえば、受信)することができる。
ブロック204において、複数の反射信号(たとえば、反射信号148)が収集される(たとえば、レーダサブシステム170によって受信される)。ブロック206において、複数の反射信号の最少のサブセットのそれぞれの分類が決定される。分類は、たとえば、LOSリターン、マルチパスリターン、又は建物を通してのリターンとみなされるサブセットの反射信号のそれぞれをもたらしてもよい。よって、いくつかの実施形態において、分類の結果として、少なくとも1つのサブセットにおける各反射信号は、LOSリターン、マルチパスリターン、又は建物を通してのリターンと分類される。
ブロック208において、場面内の目標130の投影位置(たとえば、範囲/距離及び角度(たとえば、仰角及び/又は方位)は、複数の反射信号の少なくとも1つのサブセット、及び、複数の反射信号の少なくとも1つのサブセットにおける各信号の分類(たとえば、LOS、マルチパス、建物を通して)に基づいて決定される。任意選択的に、場面内の1つ又は複数の静止物体についての情報210(たとえば、建物、電柱、消火栓、及び他の固定された(恒久的な又は一時的な)障害物の位置、場所、及び/又は向き、静止物体で使用される材料についての情報又は静止物体の特性など)は、場面内の目標130の投影位置を決定するために、ブロック208で考慮することができる。方法200は、場面内の複数の目標130を検知するために使用することができる。
図26Bは、いくつかの実施形態による図26Aの208において、決定を行うために実行することができる例示的な手順のフロー図である。ブロック212において、目標130の複数の候補位置のそれぞれに対して確率が決定される。各候補位置に対応するそれぞれの確率は、目標130がその候補位置にあるという可能性である。換言すれば、ブロック212の結果は候補位置の組であり、それぞれは、目標130がその候補位置にあるという可能性を表すそれぞれの確率と関連付けられる。ブロック214において、最も大きい確率が識別される。ブロック216において、目標130の投影位置は、ブロック214で識別された最も大きい確率に対応する候補位置として選択される。換言すれば、候補位置のそれぞれにある目標130の確率を決定した後に、最も大きい確率を有する候補位置が、目標130の投影位置として選択される。方法200を実装する装置又はシステムの動き、及び/又は、目標130、他の対象、及び障害物の(たとえば、方法を実装する装置若しくはシステムに対する)位置、場所、若しくは向きの変化を説明するために、異なる時間に又は異なる時間間隔で収集された反射信号に基づいて、確率は更新することができる。
システム100は、例示的な方法200を実装することができる。システム100は、車両、たとえば、自動車に一体化されてもよい。いくつかの実施形態において、例示的な方法200を実行するように構成されるシステム100は、複数の走査信号を送信し、複数の反射信号を収集する(たとえば、例示的な方法200のブロック202及び204)ように構成されるレーダサブシステム170と、レーダサブシステム170に結合されて、実行されるときに、少なくとも1つのプロセッサ114に例示的な方法200のブロック206及び208を実行させる1つ又は複数の機械実行可能命令を実行するように構成される少なくとも1つのプロセッサ114とを備える。レーダサブシステム170は、第1の時間帯の間、第1のレーダ帯域(たとえば、低周波数帯域)で複数の走査信号の第1のサブセットを送信することと、第2の時間帯の間、第2の(異なる)レーダ帯域(たとえば、高周波数帯域)で複数の走査信号の第2のサブセットを送信することとが可能であってもよい。いくつかの実施形態において、レーダサブシステム170は、車両(たとえば、自動車)の本体上及び/又は本体内に位置する、複数の送信要素(たとえば、アンテナ、送信機105など)と、複数の受信要素(たとえば、アンテナ、受信機120)とを備える。いくつかの実施形態において、レーダサブシステム170は、複数の送信要素と複数の受信要素とを備えるスパースアレイ160を備える。いくつかの実施形態において、スパースアレイ160は三次元である。いくつかの実施形態において、スパースアレイ160は不均一に分布され、スパースアレイ160の最近接要素間のペアワイズ距離の少なくともいくつかが互いに異なることを意味する。いくつかの実施形態において、スパースアレイ160の最近接要素間のペアワイズ距離は独自である。
いくつかの実施形態において、例示的な方法200を実装するシステム100はまた、複数の光学信号を送信し、第2の複数の反射信号を収集するように構成されるLiDARサブシステム320を備え、少なくとも1つのプロセッサ114は、第2の複数の反射信号にさらに基づいて、目標の投影位置を決定する。換言すれば、いくつかの実施形態において、少なくとも1つのプロセッサ114は、レーダリターン信号及びLiDARリターン信号の両方を使用するセンサ融合を実行する。システム100は、車両、たとえば、自動車に一体化されてもよい。
送信機が複数の送信機要素を有する、又は、受信機が複数の受信機センサを有する、本明細書に記載される実施形態において、従来のアンテナアレイとは対照的に、アレイの隣接する要素又はセンサ(たとえば、アンテナ要素)の間の間隔は(送信用又は受信用であるかどうかにかかわらず)、同じである必要はないが同じにすることができることが理解されるべきである。従来のシステムでは、アンテナ要素間の距離のわずかな変化さえ、好ましくないサイドローブをもたらし、それは、誤検知及び強い妨害信号(たとえば、ジャマー信号)の存在に対する脆弱性などの、多くの潜在的な問題を引き起こす可能性がある。アンテナ要素が、(波長が目標の検知に使用される送信/受信信号の波頂である)サイドローブを最小化するために、互いに波長の半分の間隔をあける従来のアンテナアレイとは対照的に、本明細書に開示される実施形態では、要素(送信機要素又は受信センサ(たとえば、アンテナ))が互いから任意の特定の距離をとる必要がない。よって、間隔は規則正しくてもよい(たとえば、従来のシステムのように波長の半分)が、代わりに、センサは、都合のいいどんな間隔で置かれてもよい。送信機要素(たとえば、アンテナ)が互いから半波長距離、離れていないとき、本明細書に開示されるシステム及び方法は、従来のレーダシステムの送信ビーム成形器からの狭ビームとは対照的に、広い空間覚における幅の広い送信パルスの一部としてサイドローブエネルギを利用することができる。
同様に、1つより多い送信機要素又は1つより多い受信機センサを含む実施形態において、本明細書に開示されるシステムの送信機要素も受信機センサも、同じ場所にある必要はないが、同じ場所にすることができる。たとえば、いくつかの送信機要素は、第1の場所に配設されてもよく、他の送信機要素は、第2の場所に配設されてもよい。別の例として、いくつかの受信機センサは、第1の場所に配設されてもよく、他の受信機センサは、第2の場所に配設されてもよい。たとえば、受信機センサアレイが自動車上に取り付けられる実施形態の場合、アレイの要素又はセンサの一部は、たとえば、自動車のフロントバンパ上に取り付けられてもよく、他のものは、たとえば、自動車の屋根の上に取り付けられてもよく、さらに他のものは、たとえば、自動車のリアバンパ上に取り付けられてもよい。受信機センサは、都合のいいどこに位置付けられてもよい。同様に、送信機要素は、都合のいいどこに位置付けられてもよい。
少なくとも1つのプロセッサ114及び少なくとも1つのプロセッサ128のそれぞれは、たとえば、処理ユニットと、上記の実施形態のさまざまな方法及び技法を行い、さらに、上記の実施形態によるさまざまなプログラムされた又は構成セッティングを行うためのデータ又は他の情報を構成するために、処理ユニットによって実行されるプログラムコードを記憶するためのメモリとを備えてもよい。処理ユニット自体は、汎用又は専用プロセッサ(又は、処理コアの組)で実装されてもよく、したがって、たとえば、レーダサブシステム170、及び、LiDARサブシステム320、及びシステム100の他の構成要素の、構成要素の作動の制御及び/又は同期と関連付けられるさまざまな作動を実現するために、プログラムされた命令のシーケンスを実行してもよいことに留意されたい。少なくとも1つのプロセッサ114及び少なくとも1つのプロセッサ128のそれぞれは、スタンドアロンプロセッサ(たとえば、デジタル信号プロセッサ(DSP))、コントローラ、CPU、若しくは特別注文のハードウェア(たとえば、特定用途向け集積回路(ASIC))として実装されてもよく、或いは、フィールドプログラマブルゲートアレイ、又はシステム100内若しくは外のその任意の組み合わせなどのプログラマブルハードウェアデバイス上にプログラムされてもよい。
本明細書に開示される技法及び/又はそれらを構成及び管理するためのユーザインタフェースは、(適切な命令の実行に必要な関連データを含む)1つ又は複数のシーケンス命令の機械実行によって実装されてもよい。そのような命令は、システム100(たとえば、自動車などの車両に実装される)などの、特殊目的若しくは汎用コンピュータシステム又は家庭電化装置若しくは器具の1つ又は複数のプロセッサ内での後の検索及び実行のために、1つ又は複数の非一時的コンピュータ可読媒体に記録されてもよい。そのような命令及びデータが具現化されてもよいコンピュータ可読媒体は、実行可能なコード及び関連データを保存する、固定された若しくは取り外し可能な磁気的、光学的、若しくは半導体ベースの記録媒体などの不揮発性記憶媒体、並びに、より多くの過渡情報及び他の可変データを保存するスタティック又はダイナミックRAMなどの揮発性記憶媒体を含むがこれらに限定されるものではない。
前記説明及び添付図面において、特定の用語を、開示する実施形態の完全な理解を提供するために説明してきた。いくつかの例において、用語又は図面は、本発明を実施するためには必要とされない特定の詳細を含意していることがある。
本開示のさまざまな態様を説明する直交座標系の使用は、便宜のためであり、限定を意図しないことが理解されるべきである。他の座標系が使用される可能性がある。
本開示は自律運転の文脈で主に提示されるが、一般に、目標、センサからのその距離、その到来角(AoAと略され、さらに、当該技術分野においてより一般に到来方向(DOA)と呼ばれる)、その速度(たとえば、ドップラシフトからの、移動の方向及び/又は速度)、及び/又は、材料のその組成を識別するために反射信号を使用する任意のシステムは、当業者には明らかなように、本明細書の開示から利益を得ることができることが理解されるべきである。
本開示を不必要に曖昧にすることを避けるために、よく知られた構成要素は、ブロック図の形態で示し、及び/又は、詳細には、若しくは、いくつかの場合においては、まったく議論しない。
本明細書中で特に定義しない限り、すべての用語は、明細書及び図面から暗示される意味、並びに、当業者によって理解されているか、及び/又は、辞書、論文等において定義されるような意味を含む、それらの可能性のある最も広い解釈を与えるものである。本明細書中で明確に述べたように、いくつかの用語は、それらの通常又は慣例的な意味に適合していなくてもよい。
本明細書で使用される場合、用語「目標」及び「対象」は、文脈上別段の指示がある場合を除き交換可能に使用される。
本明細書及び添付の特許請求の範囲で使用されるように、単数形「a」、「an」、及び「the」は、特に明記しない限り、複数の指示対象を除外するものではない。単語「又は」特に明記しない限り、包括するものとして解釈すべきである。したがって、文言「A又はB」は、以下の「A及びBの両方」、「AではあるがBではない」、及び「BではあるがAではない」といったすべてを意味するものとして解釈すべきである。本明細書中の「及び/又は」のいずれかの使用も、単語「又は」単体が排他性を暗示することを意味するものではない。
本明細書及び添付の特許請求の範囲で使用されるように、「A、B、及びCのうちの少なくとも1つ」、「A、B、又はCのうちの少なくとも1つ」、「A、B、又はCのうちの1つ又は複数」、並びに「A、B、及びCのうちの1つ又は複数」といった形態の文言は交換可能であり、それぞれは以下の、「Aのみ」、「Bのみ」、「Cのみ」、「A及びBではあるが、Cではない」、「A及びCではあるが、Bではない」、「B及びCではあるが、Aではない」、並びに「A、B、及びCのすべて」の意味のすべてを包含する。
用語「含む」、「有すること」、「有する」、「持つ」、及びその変形例が詳細な説明又は特許請求の範囲において使用される範囲で、かかる用語は、用語「備える」、すなわち、「以下を含むが、これらに限定されない」と類似した要領で包括するものであることを意図している。
用語「例示」及び「実施形態」は、優先するもの又は要件ではなく、実例を表現するために使用している。
用語「結合される」は、直接接続/取り付け、並びに、1つ又は複数の介在要素又は構造を通しての接続/取り付けを表現するために本明細書中で使用される。
用語「その上方」、「その下方」、「その間」、及び「その上」は、1つの特徴の他の特徴に対する相対位置に言及するために本明細書中で使用される。たとえば、別の特徴の「上方」又は「下方」に配設される1つの特徴は、他の特徴と直接接触してもよいか、又は、介在する材料を有していてもよい。さらに、2つの特徴の「間」に配設される1つの特徴は、2つの特徴と直接接触してもよいか、又は、1つ又は複数の介在する特徴若しくは材料を有していてもよい。対照的に、第2の特徴「の上」の第1の特徴は、第2の特徴と接触している。
用語「実質的に」は、大体において又はほぼ、述べられたような構造、構成、寸法などを記載する使用されるが、製作公差などのために、実際には、構造、構成、寸法などが、常に又は必ずしも述べられたように正確であるというわけではない状況になることがある。たとえば、「実質的に等しい」として2つの長さを記述することは、2つの長さがすべての実際的な目的のために同じものであるが、それらが十分に小さい規模で正確に等しくないことがある(及び、必要がない)(たとえば、測定値の単位がメータである場合、1.000m及び1.001mの長さを有する2つの特徴は、実質的に等しい長さを有する)ことを意味する。別の例として、「実質的に垂直」である構造は、たとえそれが水平に対して正確に90度でないとしても、実際上は垂直であると考えられる。
図面は必ずしも縮尺通りではなく、特徴の寸法、形状、及びサイズは、それらが図面において描写されている方法とは実質的に異なっていてもよい。
特定の実施形態を開示してきたが、さまざまな変形及び変更が、本開示のより広範な精神及び適用範囲から逸脱することなく、それらに対して行われてもよいことは明白であろう。たとえば、実施形態のいずれかの特徴又は態様も、少なくとも実施可能な場合、その他の実施形態と組み合わせて、又は、それらと同等の特徴又は態様の代わりに適用されてもよい。したがって、明細書及び図面は、限定的ではなく例示的な意味でみなされるべきである。
Claims (62)
- 場面内の目標の位置を識別する方法(200)であって、
複数の走査信号を送信すること(202)と、
複数の反射信号を収集すること(204)と、
前記複数の反射信号の少なくとも1つのサブセットの信号ごとに分類を決定すること(206)と、
(a)前記複数の反射信号の前記少なくとも1つのサブセット、及び、(b)前記複数の反射信号の前記少なくとも1つのサブセットの各信号の前記分類に少なくとも部分的に基づいて、前記場面内の目標の投影位置を決定すること(208)と
を含む、
方法。 - 前記分類が、見通し内リターン、マルチパスリターン、又は建物を通してのリターンのうちの1つである、請求項1に記載の方法。
- 前記複数の反射信号の前記少なくとも1つのサブセットの各信号の前記分類を決定することが、前記複数の反射信号の前記少なくとも1つのサブセットの特定の反射信号について、(a)前記特定の反射信号に略類似した飛行時間及び/又は到来角を有する別の反射信号が観察される帯域の周波数、(b)前記特定の反射信号に略類似した飛行時間及び/又は到来角を有する前記別の反射信号が観察される帯域の数、(c)前記特定の反射信号の強さが閾値を超えているかどうか、(d)前記特定の反射信号の到来角及び/又は飛行時間の経時的な変化率、又は(e)前記特定の反射信号の偏光
のうちの1つ又は複数を決定することを含む、請求項1又は2に記載の方法。 - 前記目標の前記投影位置を決定することが、前記場面内の少なくとも1つの静止物体についての情報(210)にさらに基づく、請求項1~3のいずれか一項に記載の方法。
- 前記場面内の前記少なくとも1つの静止物体についての前記情報が、前記少なくとも1つの静止物体の場所、前記少なくとも1つの静止物体の位置、前記少なくとも1つの静止物体の向き、又は、前記少なくとも1つの静止物体の材料のうちの少なくとも1つを含む、請求項4に記載の方法。
- 前記少なくとも1つの静止物体が建物を含む、請求項4又は5に記載の方法。
- 前記走査信号がレーダ信号である、請求項1~6のいずれか一項に記載の方法。
- 前記複数の反射信号を収集することが、前記複数の反射信号を受信することを含む、請求項1~7のいずれか一項に記載の方法。
- 前記投影位置が距離及び角度を表す、請求項1~8のいずれか一項に記載の方法。
- 前記目標の前記投影位置を決定することが、
前記目標の複数の候補位置の複数の確率を決定すること(212)であって、前記複数の確率のそれぞれが前記複数の候補位置のそれぞれ1つに対応し、前記複数の確率のそれぞれが、前記目標が前記それぞれの候補位置にある可能性を表す、決定することと、
前記複数の確率のうちの最も大きい1つを識別すること(214)と、
前記目標の前記投影位置として、前記複数の確率の前記最も大きい1つに対応する前記複数候補位置の特定の1つを選択すること(216)と
を含む、請求項1~9のいずれか一項に記載の方法。 - 前記複数の反射信号の前記少なくとも1つのサブセットが、前記複数の反射信号の第1の少なくとも1つのサブセットであり、前記複数の反射信号の前記第1の少なくとも1つのサブセットのそれぞれが、第1の時間又は第1の時間間隔に対応し、
前記複数の反射信号の第2の少なくとも1つのサブセットに少なくとも部分的に基づいて、前記複数の確率を更新すること
をさらに含み、前記複数の反射信号の前記第2の少なくとも1つのサブセットのそれぞれが、第2の時間又は第2の時間間隔に対応する、請求項10に記載の方法。 - 前記複数の反射信号の第1の反射信号が、第1の周波数帯域で送信された第1のレーダ信号の反射を備え、前記複数の反射信号の第2の反射信号が、第2の周波数帯域で送信された第2のレーダ信号の反射を備え、前記第1及び第2の周波数帯域はばらばらである、
請求項1~11のいずれか一項に記載の方法。 - 前記第1の周波数帯域が、L、S、W、X、C、K、ka、Ku、又はUHF帯域である、請求項12に記載の方法。
- 前記第1の周波数帯域がC又はK帯域であり、前記第2の周波数帯域がUHF帯域である、請求項12に記載の方法。
- 請求項1~14のいずれか一項に記載の方法を実行するように構成されたシステム(100)であって、
前記複数の走査信号を送信して、前記複数の反射信号を収集するように構成されたレーダサブシステム(170)と、
前記レーダサブシステムに結合され、実行されるときに、少なくとも1つのプロセッサ(114)に、
前記複数の反射信号の前記少なくとも1つのサブセットのそれぞれの前記分類を決定させ、
(a)前記複数の反射信号の前記少なくとも1つのサブセット及び(b)前記複数の反射信号の前記少なくとも1つのサブセットのそれぞれの前記分類に少なくとも部分的に基づいて、前記目標の前記投影位置を決定させる、少なくとも1つの機械実行可能命令を実行するように構成された、少なくとも1つのプロセッサ(114)と
を備える、システム。 - 前記レーダサブシステムが、第1の時間帯の間、第1のレーダ帯域で前記複数の走査信号の第1のサブセットを送信すること、及び、前記第1の時間帯の間、第2のレーダ帯域で前記複数の走査信号の第2のサブセットを送信することが可能であり、前記第1のレーダ帯域が前記第2のレーダ帯域とは異なる、請求項15に記載のシステム。
- 前記レーダサブシステムが、車両の本体上及び/又は本体内に位置する複数の送信機及び複数の受信機を備える、請求項16に記載のシステム。
- 前記レーダサブシステムがスパースアレイ(160)を備え、前記スパースアレイが複数の送信要素及び複数の受信要素を備える、請求項15~17のいずれか一項に記載のシステム。
- 前記複数の送信要素及び前記複数の受信要素が、車両の本体上及び/又は本体内に分布する、請求項18に記載のシステム。
- 前記スパースアレイが三次元である、請求項18又は19に記載のシステム。
- 前記スパースアレイが不均一に分布する、請求項18~20のいずれか一項に記載のシステム。
- 前記複数の反射信号が、第1の複数の反射信号であり、
前記システムが、複数の光学信号を送信し、第2の複数の反射信号を収集するように構成された光検知測距(LiDAR)サブシステム(320)をさらに備え、
実行されるとき、前記少なくとも1つの機械実行可能命令が、前記第2の複数の反射信号にさらに基づいて、前記少なくとも1つのプロセッサに、前記目標の前記投影位置を決定させる、
請求項15~21のいずれか一項に記載のシステム。 - 請求項15~22のいずれか一項に記載のシステムを備える車両。
- 自律運転のためのシステム(100)であって、
プロービング信号を発して、場面内の反射信号を検知するためのスパースアレイ(160)であって、前記スパースアレイが複数のアレイ要素(102)を備え、前記複数のアレイ要素のそれぞれが送信及び/又は受信が可能であり、
前記複数のアレイ要素が、少なくとも1つの送信機(172)及び少なくとも1つの受信機(174)を含み、
前記複数のアレイ要素が、車両の本体上に分布し、
前記スパースアレイの第1のアレイ要素が、三次元座標の第1の組(X1、Y1、Z1)を有する第1の場所に位置し、前記スパースアレイの第2のアレイ要素が、三次元座標の第2の組(X2、Y2、Z2)を有する第2の場所に位置し、X1≠X2及び/又はY1≠Y2及び/又はZ1≠Z2である、スパースアレイ(160)と、
前記スパースアレイに結合されて、実行されるときに、少なくとも1つのプロセッサ(114)に、前記スパースアレイによって検知された複数の反射信号を収集させ、前記複数の反射信号に少なくとも部分的に基づいて、前記場面内の少なくとも1つの目標(130)の位置を推定させる少なくとも1つの機械実行可能命令を実行するように構成された少なくとも1つのプロセッサ(114)と
を備える、
システム(100)。 - X1≠X2及びY1≠Y2及びZ1≠Z2である、請求項24に記載のシステム。
- 前記車両の前記本体上の前記複数のアレイ要素の前記分布が不均一である、請求項24又は25に記載のシステム。
- 前記スパースアレイが、第1のレーダ送信機及び第1のレーダ受信機を備える、
請求項24~26のいずれか一項に記載のシステム。 - 前記スパースアレイが、第2のレーダ送信機及び第2のレーダ受信機をさらに備え、
前記第1のレーダ送信機が、第1のレーダ帯域で送信するように構成され、
前記第1のレーダ受信機が、前記第1のレーダ帯域で受信するように構成され、
前記第2のレーダ送信機が、第2のレーダ帯域で送信するように構成され、
前記第2のレーダ帯域が、前記第1のレーダ帯域と共通部分を持たず、
前記第2のレーダ受信機が、前記第2のレーダ帯域で受信するように構成される、
請求項27に記載のシステム。 - 前記第1のレーダ帯域及び前記第2のレーダ帯域が、L、S、W、X、C、K、ka、Ku、又はUHF帯域のうちの2つである、請求項28に記載のシステム。
- 前記第1のレーダ帯域がK又はCであり、前記第2のレーダ帯域がUHFである、
請求項28に記載のシステム。 - 光検知測距(LiDAR)サブシステム(320)をさらに備え、前記LiDARサブシステムが、第1の光源(322)及び第1の光検知器(324)を備える、請求項24~30のいずれか一項に記載のシステム。
- 前記第1の光源が、第1の時間ウィンドウの間に、第1のパルスシーケンスを発するように構成される、請求項31に記載のシステム。
- 前記第1のパルスシーケンスがスパースである、請求項32に記載のシステム。
- 前記LiDARサブシステムが、第2の光源をさらに備え、前記第2の光源が、前記第1の時間ウィンドウの間、第2のパルスシーケンスを発するように構成され、前記第2のパルスシーケンスが、前記第1のパルスシーケンスとは異なる、請求項32又は33に記載のシステム。
- 前記第1のパルスシーケンス及び前記第2のパルスシーケンスが、実質的に相関していない、請求項34に記載のシステム。
- 前記第1のパルスシーケンス及び前記第2のパルスシーケンスがスパースである、請求項34又は35に記載のシステム。
- 前記第1のパルスシーケンス及び第2のパルスシーケンスのそれぞれが、実質的に白色である、請求項34~36のいずれか一項に記載のシステム。
- 前記第1の場所又は前記第2の場所が、屋根、ボンネット、前部、バンパ、フェンダ、後部、トランク、左側、右側、又はウインドシールドに対応する、請求項24~37のいずれか一項に記載のシステム。
- 前記場面内の前記少なくとも1つの目標の前記位置が、距離、方位角、又は仰角のうちの少なくとも1つを備える、請求項24~38のいずれか一項に記載のシステム。
- 実行されるとき、前記少なくとも1つの機械実行可能命令が、前記距離、前記方位角、及び前記仰角を共同で推定することによって、前記少なくとも1つのプロセッサに、前記場面内の前記少なくとも1つの目標の前記位置を推定させる、請求項39に記載のシステム。
- 前記距離、前記方位角、及び前記仰角を共同で推定することが、アトミックノルムを計算することを含む、請求項40に記載のシステム。
- 前記距離、前記方位角、及び前記仰角を共同で推定することが、アトミックノルムを最小化することを含む、請求項40又は41に記載のシステム。
- 実行されるとき、前記少なくとも1つの機械実行可能命令が、
前記複数の反射信号の少なくとも一部からノイズを除去すること、
前記複数の反射信号の前記ノイズ除去された少なくとも一部の相関を実行すること、及び、
前記相関の結果で少なくとも1つのピークを識別すること
により、前記少なくとも1つのプロセッサに、前記場面内の前記少なくとも1つの目標の前記位置を部分的に推定させる、請求項24~42のいずれか一項に記載のシステム。 - 前記複数の反射信号の前記少なくとも一部からノイズを除去することが、アトミックノルムを決定又は最小化することを含む、請求項43に記載のシステム。
- 実行されるとき、前記少なくとも1つの機械実行可能命令が、
相関を実行すること、及び
前記相関の結果で少なくとも1つのピークを識別すること
により、前記少なくとも1つのプロセッサに、前記場面内の前記少なくとも1つの目標の前記位置を部分的に推定させる、請求項24~44のいずれか一項に記載のシステム。 - 場面内の目標を検知するためのシステム(100)であって、
光検知測距(LiDAR)サブシステム(320)であって、前記LiDARサブシステムが、光信号を発するように構成された光源(322)及び前記発された光信号の反射を検知するように構成された光検知器(324)を備える、光検知測距(LiDAR)サブシステム(320)と、
レーダサブシステム(170)であって、前記レーダサブシステムが、レーダ信号を送信するように構成されたレーダ送信機(172)及び前記送信されたレーダ信号の反射を検知するように構成されたレーダ受信機(176)を備える、レーダサブシステム(170)と、
前記LiDARサブシステム及び前記レーダサブシステムに結合され、実行されるときに、少なくとも1つのプロセッサ(114)に、
前記LiDARサブシステムから、前記発された光信号の反射の表現を取得させ、
前記レーダサブシステムから、前記送信されたレーダ信号の反射の表現を取得させ、
前記発された光信号の前記反射の前記表現及び前記送信されたレーダ信号の前記反射の前記表現に少なくとも部分的に基づいて、前記場面内の少なくとも1つの目標の場所を決定させる少なくとも1つの機械実行可能命令を実行するために構成された少なくとも1つのプロセッサ(114)と
を備える、システム(100)。 - 前記レーダ送信機が、
無線周波数信号発生器と、
アンテナと
を備える、請求項46に記載のシステム。 - 前記レーダ送信機が第1のレーダ送信機であり、前記レーダ受信機が第1のレーダ受信機であり、前記レーダサブシステムが、スパースアレイ(160)を備え、前記スパースアレイが、(a)前記第1のレーダ送信機を含む複数のレーダ送信機と、(b)前記第1のレーダ受信機を含む複数のレーダ受信機とを備え、前記スパースアレイが車両の本体上に分布する、請求項46又は47に記載のシステム。
- 前記スパースアレイが三次元である、請求項48に記載のシステム。
- 前記スパースアレイが不均一に分布する、請求項48又は49に記載のシステム。
- 前記レーダサブシステムが、少なくとも2つのレーダ帯域で同時に作動することが可能である、請求項46~50のいずれか一項に記載のシステム。
- 前記少なくとも2つのレーダ帯域のそれぞれが、L、S、W、X、C、K、ka、Ku、又はUHF帯域を備える、請求項51に記載のシステム。
- 前記2つのレーダ帯域の第1の帯域がUHF又はC帯域であり、第2の帯域がW又はX帯域である、請求項51に記載のシステム。
- 前記光源が第1の光源であり、前記光検知器が第1の光検知器であり、前記LiDARサブシステムが光学アレイを備え、前記光学アレイが複数の光学コンポーネントを備え、前記複数の光学コンポーネントが、(i)前記第1の光源を含む複数の光源及び(ii)前記第1の光検知器を含む複数の光検知器を含む、請求項46~53のいずれか一項に記載のシステム。
- 前記複数の光学コンポーネントの少なくとも2つの光学コンポーネントが、非同一線上である、請求項54に記載のシステム。
- 第1のヒートマップを生成することであって、前記第1のヒートマップが第1の周波数帯域で観察されたリターン信号を表す、第1のヒートマップを生成することと、
第2のヒートマップを生成することであって、前記第2のヒートマップが第2の周波数帯域で観察されたリターン信号を表し、前記第2の周波数帯域が前記第1の周波数帯域とは異なる、第2のヒートマップを生成することと、
前記第1のヒートマップ及び前記第2のヒートマップを組み合わせることと
を含む、複数の周波数帯域からの情報を融合する方法。 - 前記第1のヒートマップを生成することが、
目標が候補位置である確率を決定することと、
前記候補位置のために二次元ガウス分布を計算することと
を含む、請求項56に記載の方法。 - 前記二次元ガウス分布の平均が、前記候補位置であり、前記二次元ガウス分布の共分散が、距離及び/又は角度推定の精度に基づき、前記二次元ガウス分布の強度が、前記目標が前記候補位置である前記確率に基づく、請求項57に記載の方法。
- 前記第1のヒートマップ及び前記第2のヒートマップを組み合わせることが、前記第1のヒートマップ及び前記第2のヒートマップの点別乗算を実行することを含む、請求項56~58のいずれか一項に記載の方法。
- 前記第1のヒートマップ及び/又は前記第2のヒートマップを更新することをさらに含む、請求項56~59のいずれか一項に記載の方法。
- 前記第1の周波数帯域又は前記第2の周波数帯域の少なくとも1つが、レーダ帯域である、請求項56~60のいずれか一項に記載の方法。
- 前記第1の周波数帯域又は前記第2の周波数帯域が、LiDAR帯域である、請求項56~60のいずれか一項に記載の方法。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063058471P | 2020-07-29 | 2020-07-29 | |
US63/058,471 | 2020-07-29 | ||
US202063092336P | 2020-10-15 | 2020-10-15 | |
US63/092,336 | 2020-10-15 | ||
PCT/US2021/043498 WO2022026576A2 (en) | 2020-07-29 | 2021-07-28 | Multi-frequency radar array systems and sensor fusion for seeing around corners in autonomous driving |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023536150A true JP2023536150A (ja) | 2023-08-23 |
Family
ID=77519760
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023506157A Pending JP2023536150A (ja) | 2020-07-29 | 2021-07-28 | 自律運転中にコーナ周辺を見るための、多重周波数レーダアレイシステム及びセンサ融合 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230168359A1 (ja) |
EP (1) | EP4189432A2 (ja) |
JP (1) | JP2023536150A (ja) |
KR (1) | KR20230043954A (ja) |
WO (1) | WO2022026576A2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230204749A1 (en) * | 2021-12-23 | 2023-06-29 | Gm Cruise Holdings Llc | Radar sensor processing chain |
EP4379424A1 (en) | 2022-08-14 | 2024-06-05 | Innoviz Technologies Ltd. | Multipath object identification for navigation |
CN115061113B (zh) * | 2022-08-19 | 2022-11-01 | 南京隼眼电子科技有限公司 | 用于雷达的目标检测模型训练方法、装置及存储介质 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SE511061C2 (sv) * | 1997-11-21 | 1999-07-26 | Celsiustech Electronics Ab | Förfarande för klassificering av upphöjda objekt |
US7544945B2 (en) * | 2006-02-06 | 2009-06-09 | Avago Technologies General Ip (Singapore) Pte. Ltd. | Vertical cavity surface emitting laser (VCSEL) array laser scanner |
WO2014147980A1 (ja) * | 2013-03-18 | 2014-09-25 | パナソニック株式会社 | レーダ装置 |
US10395539B2 (en) * | 2016-03-31 | 2019-08-27 | GM Global Technology Operations LLC | Non-line of sight obstacle detection and localization |
US9869762B1 (en) * | 2016-09-16 | 2018-01-16 | Uhnder, Inc. | Virtual radar configuration for 2D array |
JP6853642B2 (ja) * | 2016-09-26 | 2021-03-31 | パナソニック株式会社 | レーダ装置 |
US11332135B2 (en) * | 2017-06-15 | 2022-05-17 | Veoneer Sweden Ab | Driving assistance device, driving assistance method, and computer program |
JP6887091B2 (ja) * | 2017-10-10 | 2021-06-16 | パナソニックIpマネジメント株式会社 | レーダ装置 |
US10866304B1 (en) | 2018-09-12 | 2020-12-15 | Neural Propulsion Systems, Inc. | Signal detection and denoising systems |
US11269048B2 (en) * | 2018-10-23 | 2022-03-08 | Baidu Usa Llc | Radar sensor array for interference hunting and detection |
US11215997B2 (en) * | 2018-11-30 | 2022-01-04 | Zoox, Inc. | Probabilistic risk assessment for trajectory evaluation |
CN114450604A (zh) | 2019-08-08 | 2022-05-06 | 神经推进系统股份有限公司 | 分布式孔径光学测距系统 |
-
2021
- 2021-07-28 JP JP2023506157A patent/JP2023536150A/ja active Pending
- 2021-07-28 KR KR1020237006597A patent/KR20230043954A/ko unknown
- 2021-07-28 WO PCT/US2021/043498 patent/WO2022026576A2/en active Application Filing
- 2021-07-28 EP EP21762185.3A patent/EP4189432A2/en active Pending
-
2023
- 2023-01-27 US US18/160,633 patent/US20230168359A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
KR20230043954A (ko) | 2023-03-31 |
WO2022026576A3 (en) | 2022-04-14 |
US20230168359A1 (en) | 2023-06-01 |
EP4189432A2 (en) | 2023-06-07 |
WO2022026576A2 (en) | 2022-02-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230168359A1 (en) | Multi-frequency radar array systems and sensor fusion for seeing around corners in autonomous driving | |
Patole et al. | Automotive radars: A review of signal processing techniques | |
Kamann et al. | Automotive radar multipath propagation in uncertain environments | |
Nikitin et al. | Phase based spatial identification of UHF RFID tags | |
Pastina et al. | Parasitic exploitation of Wi-Fi signals for indoor radar surveillance | |
US8217827B2 (en) | Radar method and apparatus suitable for use in multipath environments | |
Leigsnering et al. | Multipath exploitation and suppression for SAR imaging of building interiors: An overview of recent advances | |
US20170045613A1 (en) | 360-degree electronic scan radar for collision avoidance in unmanned aerial vehicles | |
Zemmari et al. | GSM passive coherent location system: Performance prediction and measurement evaluation | |
Falcone et al. | Potentialities and challenges of WiFi-based passive radar | |
Linnehan et al. | Multistatic scattering from moving targets in multipath environments | |
Stove et al. | Passive maritime surveillance using satellite communication signals | |
Rouveure et al. | PELICAN: Panoramic millimeter-wave radar for perception in mobile robotics applications, Part 1: Principles of FMCW radar and of 2D image construction | |
CN111257901A (zh) | 多径传播条件下散射体位置已知的定位方法 | |
Wei et al. | Non-line-of-sight imaging by millimeter wave radar | |
Foessel-Bunting | Radar sensor model for three-dimensional map building | |
Gustafsson | Positioning of objects behind corners using X-band radar | |
Kabakchiev et al. | Moving Target FSR Shadow Detection using GPS signals | |
Cuccoli et al. | Coordinate registration method based on sea/land transitions identification for over-the-horizon sky-wave radar: Numerical model and basic performance requirements | |
CN110488239A (zh) | 基于调频连续波雷达的目标检测方法 | |
Fabrizio | High frequency over-the-horizon radar | |
Honda et al. | Estimation of target detection rate in aircraft surveillance system | |
Strømøy | Hitchhiking bistatic radar | |
CN116547557A (zh) | 用于在自主驾驶中观察拐角四周的多频雷达阵列系统和传感器融合 | |
CN114236545A (zh) | 一种车载毫米波雷达非直视前前车探测方法 |