JP2023546169A - Fmcw-lidarシステムにおける検出閾値を自動調整するための技術 - Google Patents
Fmcw-lidarシステムにおける検出閾値を自動調整するための技術 Download PDFInfo
- Publication number
- JP2023546169A JP2023546169A JP2023523593A JP2023523593A JP2023546169A JP 2023546169 A JP2023546169 A JP 2023546169A JP 2023523593 A JP2023523593 A JP 2023523593A JP 2023523593 A JP2023523593 A JP 2023523593A JP 2023546169 A JP2023546169 A JP 2023546169A
- Authority
- JP
- Japan
- Prior art keywords
- target
- signal
- frequencies
- subset
- confidence threshold
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 91
- 238000000034 method Methods 0.000 claims abstract description 44
- 230000003287 optical effect Effects 0.000 claims description 94
- 238000012545 processing Methods 0.000 claims description 76
- 230000001419 dependent effect Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 abstract description 26
- 238000001228 spectrum Methods 0.000 description 18
- 230000035559 beat frequency Effects 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 8
- 230000003750 conditioning effect Effects 0.000 description 8
- 230000001427 coherent effect Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000010287 polarization Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 3
- 239000011248 coating agent Substances 0.000 description 2
- 238000000576 coating method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
- G01S17/34—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/42—Simultaneous measurement of distance and other co-ordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/491—Details of non-pulse systems
- G01S7/493—Extracting wanted echo signals
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
周波数変調連続波(FMCW)光検出および測距(LIDAR)システムにおいて、検出閾値を調整する方法は以下a~dを含む。a.周波数範囲内の複数のターゲットから第1のターゲットを検出するために、第1の信頼度閾値を決定する。前記周波数範囲は、前記複数のターゲットに対応する複数の異なる周波数を含む。b.第2のターゲットを検出するために、前記周波数範囲内の周波数のサブセットを決定する。この第2のターゲットは、前記周波数のサブセット内で前記第1の信頼度閾値よりも弱い信号を送信する。c.前記周波数のサブセット内で前記第2のターゲットを検出するために、前記プロセッサによって前記第1の信頼度閾値を第2の信頼度閾値に調整する。d.前記周波数のサブセット外で前記第1のターゲットを検出するために、前記第2の信頼度閾値を前記第1の信頼度閾値に戻す。【選択図】図8
Description
本願は、米国特許法第119条(e)に基づき、2021年6月4日に出願された米国特許出願第17/339,737号および2020年10月19日に出願された米国仮特許出願第63/093,621号の優先権を主張するものであり、それら全内容は参照により本明細書に組み込まれる。
本発明は、光検出および測距(LIDAR)システム全般に関するものであり、詳しくは、ターゲット検出のための周波数変調連続波(FMCW)LIDARシステムにおける検出閾値を調整するための技術に関する。
周波数変調連続波(FMCW)LIDARシステムなどのLIDARシステムは、ターゲットの周波数チャープ照射のための波長可変な赤外線レーザと、ターゲットからの後方散乱光または反射光とを検出するためのコヒーレント受信器とを使用する。ターゲットからの後方散乱光または反射光は、コヒーレント受信器で送信信号のローカルコピーに組み合わされた信号になる。つまり、ローカルコピーと、ターゲットまでの往復時間だけ遅延したリターン信号とを混合することで、受信器においてシステムの視野内の各ターゲットまでの距離に比例する周波数をもつ信号が生成される。
このようなLIDARシステムでは、人体への安全性を考慮し、低出力レーザの使用が義務付けられている。このため、物体からの反射は非常に弱い信号強度となる。LIDARシステムの検出距離と精度はS/N比(信号対ノイズ比)の関数であるところ、従来の対策では、弱い反射信号のターゲットを確実に検出することができず、また、ターゲットの誤検出を制限することができなかった。
このようなLIDARシステムでは、人体への安全性を考慮し、低出力レーザの使用が義務付けられている。このため、物体からの反射は非常に弱い信号強度となる。LIDARシステムの検出距離と精度はS/N比(信号対ノイズ比)の関数であるところ、従来の対策では、弱い反射信号のターゲットを確実に検出することができず、また、ターゲットの誤検出を制限することができなかった。
以下、本発明の態様、すなわち、上記問題を解決するために、ターゲット検出のための検出閾値を自動的に調整するLIDARシステムおよびその方法に係る発明の各態様について説明する。
本発明の一態様は、光検出および測距(LIDAR)システムであって、:
ターゲットに向けて光ビームを送信し、同ターゲットからのリターン信号を受信する光スキャナと、;
前記光スキャナに接続され、前記リターン信号から前記ターゲットの距離に依存する周波数を含む、時間領域のベースバンド信号を生成する光学処理装置と、;
前記光学処理装置に接続される信号処理装置と、を備えており、
前記信号処理装置は、
プロセッサと、;
同プロセッサに機能的に連携するメモリであって、前記プロセッサにより実行されると、前記LIDARシステムに以下の動作を行わせる命令を格納するメモリと、を含む、LIDARシステムである。
a.周波数範囲内の複数のターゲットから第1のターゲットを検出するために、第1の信頼度閾値を決定する。前記周波数範囲は、前記複数のターゲットに対応する複数の異なる周波数を含む。;
b.第2のターゲットを検出するために、前記周波数範囲内の周波数のサブセットを決定する。前記第2のターゲットは、前記周波数のサブセット内で前記第1の信頼度閾値よりも弱い信号を送信する。;
c.前記周波数のサブセット内で前記第2のターゲットを検出するために、前記第1の信頼度閾値を第2の信頼度閾値に調整する。;および
d.前記周波数のサブセット外で第1のターゲットを検出するために、前記第2の信頼度閾値を前記第1の信頼度閾値に戻す。
ターゲットに向けて光ビームを送信し、同ターゲットからのリターン信号を受信する光スキャナと、;
前記光スキャナに接続され、前記リターン信号から前記ターゲットの距離に依存する周波数を含む、時間領域のベースバンド信号を生成する光学処理装置と、;
前記光学処理装置に接続される信号処理装置と、を備えており、
前記信号処理装置は、
プロセッサと、;
同プロセッサに機能的に連携するメモリであって、前記プロセッサにより実行されると、前記LIDARシステムに以下の動作を行わせる命令を格納するメモリと、を含む、LIDARシステムである。
a.周波数範囲内の複数のターゲットから第1のターゲットを検出するために、第1の信頼度閾値を決定する。前記周波数範囲は、前記複数のターゲットに対応する複数の異なる周波数を含む。;
b.第2のターゲットを検出するために、前記周波数範囲内の周波数のサブセットを決定する。前記第2のターゲットは、前記周波数のサブセット内で前記第1の信頼度閾値よりも弱い信号を送信する。;
c.前記周波数のサブセット内で前記第2のターゲットを検出するために、前記第1の信頼度閾値を第2の信頼度閾値に調整する。;および
d.前記周波数のサブセット外で第1のターゲットを検出するために、前記第2の信頼度閾値を前記第1の信頼度閾値に戻す。
本発明の一態様によるLIDARシステムにおいて、前記第1の信頼度閾値を決定するために、前記プロセッサは、さらに、以下の処理を行う。
a.前記周波数範囲にわたってノイズ推定値を決定する;および
b.各周波数の信号強度と、前記周波数範囲にわたる前記ノイズ推定値との差を算出する。
本発明の一態様によるLIDARシステムにおいて、
前記第1の信頼度閾値は、ターゲット検出の信頼度値を提供する、信号対ノイズ比または尤度比の少なくとも一方に基づく。
本発明の一態様によるLIDARシステムにおいて、前記第2のターゲットを検出するための、前記周波数範囲における前記周波数のサブセットを決定するために、前記プロセッサは、前記第2のターゲットの推定位置に基づいて前記周波数のサブセットを決定する。
本発明の一態様によるLIDARシステムにおいて、前記プロセッサは、さらに、前記時間領域または周波数領域における前記第2のターゲットの前の検出を特定し、かつ、前記第2のターゲットの前の検出に基づいて前記第2のターゲットの推定位置を決定する。
a.前記周波数範囲にわたってノイズ推定値を決定する;および
b.各周波数の信号強度と、前記周波数範囲にわたる前記ノイズ推定値との差を算出する。
本発明の一態様によるLIDARシステムにおいて、
前記第1の信頼度閾値は、ターゲット検出の信頼度値を提供する、信号対ノイズ比または尤度比の少なくとも一方に基づく。
本発明の一態様によるLIDARシステムにおいて、前記第2のターゲットを検出するための、前記周波数範囲における前記周波数のサブセットを決定するために、前記プロセッサは、前記第2のターゲットの推定位置に基づいて前記周波数のサブセットを決定する。
本発明の一態様によるLIDARシステムにおいて、前記プロセッサは、さらに、前記時間領域または周波数領域における前記第2のターゲットの前の検出を特定し、かつ、前記第2のターゲットの前の検出に基づいて前記第2のターゲットの推定位置を決定する。
本発明の一態様によるLIDARシステムにおいて、前記第2のターゲットの推定位置を決定するために、前記プロセッサは、前記第2のターゲットに関連するポイントクラウド情報を特定し、かつ、前記ポイントクラウド情報に基づいて前記第2のターゲットの推定位置を決定する。
本発明の一態様によるLIDARシステムにおいて、前記周波数のサブセットは、前に検出された前記第2のターゲットの位置に対応する事前に定義された周波数範囲を含む。
本発明の一態様によるLIDARシステムにおいて、前記第1の信頼度閾値を調整する手順は、前記プロセッサによって、前記第2のターゲットの推定位置に対応する前記周波数のサブセット内で、前記第1の信頼度閾値を前記第2の信頼度閾値に減少させることを含む。
本発明の一態様によるLIDARシステムにおいて、前記プロセッサは、前記第2のターゲットの推定位置に関連する信頼度値に基づいて、前記第2のターゲットの推定位置に対応する前記周波数のサブセットを決定することを含む。
本発明の一態様によるLIDARシステムにおいて、前記プロセッサは、さらに、
a.前記第2のターゲットの1つまたは複数の前の検出が弱い検出信号を含むかどうかを判定する;
b.前記第2のターゲットの推定位置を決定する;および
c.前記第2のターゲットの1つまたは複数の前の検出が弱い検出信号を含むと判定した場合、前記第1の信頼度閾値を調整する。
本発明の一態様によるLIDARシステムにおいて、前記周波数のサブセットは、前に検出された前記第2のターゲットの位置に対応する事前に定義された周波数範囲を含む。
本発明の一態様によるLIDARシステムにおいて、前記第1の信頼度閾値を調整する手順は、前記プロセッサによって、前記第2のターゲットの推定位置に対応する前記周波数のサブセット内で、前記第1の信頼度閾値を前記第2の信頼度閾値に減少させることを含む。
本発明の一態様によるLIDARシステムにおいて、前記プロセッサは、前記第2のターゲットの推定位置に関連する信頼度値に基づいて、前記第2のターゲットの推定位置に対応する前記周波数のサブセットを決定することを含む。
本発明の一態様によるLIDARシステムにおいて、前記プロセッサは、さらに、
a.前記第2のターゲットの1つまたは複数の前の検出が弱い検出信号を含むかどうかを判定する;
b.前記第2のターゲットの推定位置を決定する;および
c.前記第2のターゲットの1つまたは複数の前の検出が弱い検出信号を含むと判定した場合、前記第1の信頼度閾値を調整する。
本発明の一態様の方法は、以下のステップa~dを含む。
a.周波数範囲内の複数のターゲットから第1のターゲットを検出するために、第1の信頼度閾値を決定する。前記周波数範囲は、前記複数のターゲットに対応する複数の異なる周波数を含む。
b.第2のターゲットを検出するために、前記周波数範囲内の周波数のサブセットをプロセッサによって決定する。前記第2のターゲットは、前記周波数のサブセット内で前記第1の信頼度閾値よりも弱い信号を送信する。
c.前記周波数のサブセット内で前記第2のターゲットを検出するために、前記プロセッサによって前記第1の信頼度閾値を第2の信頼度閾値に調整する。
d.前記周波数のサブセット外で前記第1のターゲットを検出するために、前記第2の信頼度閾値を前記第1の信頼度閾値に戻す。
a.周波数範囲内の複数のターゲットから第1のターゲットを検出するために、第1の信頼度閾値を決定する。前記周波数範囲は、前記複数のターゲットに対応する複数の異なる周波数を含む。
b.第2のターゲットを検出するために、前記周波数範囲内の周波数のサブセットをプロセッサによって決定する。前記第2のターゲットは、前記周波数のサブセット内で前記第1の信頼度閾値よりも弱い信号を送信する。
c.前記周波数のサブセット内で前記第2のターゲットを検出するために、前記プロセッサによって前記第1の信頼度閾値を第2の信頼度閾値に調整する。
d.前記周波数のサブセット外で前記第1のターゲットを検出するために、前記第2の信頼度閾値を前記第1の信頼度閾値に戻す。
本発明の一態様による、非一時的なコンピュータ可読媒体は、プロセッサにより実行されると、LIDARシステムに以下の動作を行わせる命令を格納する。
a.周波数範囲内の複数のターゲットから第1のターゲットを検出するために、第1の信頼度閾値を決定する。前記周波数範囲は、前記複数のターゲットに対応する複数の異なる周波数を含む。;
b.第2のターゲットを検出するために、前記周波数範囲内の周波数のサブセットを決定する。前記第2のターゲットは、前記周波数のサブセット内で前記第1の信頼度閾値よりも弱い信号を送信する;
c.前記周波数のサブセット内で前記第2のターゲットを検出するために、前記第1の信頼度閾値を第2の信頼度閾値に調整する;および
d.前記周波数のサブセット外で第1のターゲットを検出するために、前記第2の信頼度閾値を前記第1の信頼度閾値に戻す。
a.周波数範囲内の複数のターゲットから第1のターゲットを検出するために、第1の信頼度閾値を決定する。前記周波数範囲は、前記複数のターゲットに対応する複数の異なる周波数を含む。;
b.第2のターゲットを検出するために、前記周波数範囲内の周波数のサブセットを決定する。前記第2のターゲットは、前記周波数のサブセット内で前記第1の信頼度閾値よりも弱い信号を送信する;
c.前記周波数のサブセット内で前記第2のターゲットを検出するために、前記第1の信頼度閾値を第2の信頼度閾値に調整する;および
d.前記周波数のサブセット外で第1のターゲットを検出するために、前記第2の信頼度閾値を前記第1の信頼度閾値に戻す。
本発明の種々の態様を明確にするために、後述の詳細な説明(実施形態)で参照される図面を示す。なお図中の同一の符号は同一の要素である。
以下、本発明の実施形態によるLIDARシステムおよびその方法、すなわち、検出閾値を自動的に調整してターゲット検出を改善し、誤検出を低減するためのLIDARシステムおよびその方法について説明する。
本発明の実施形態におけるLIDARシステムは、輸送、製造、計測、医療、仮想現実(バーチャル・リアリティ)、拡張現実(AR)、セキュリティシステムなど、任意のセンシング市場において実施することができるが、これらに限定されるものではない。その他、実施形態で説明されるLIDARシステムは、自動運転支援システムや自動運転車の空間認識を支援する周波数変調連続波(FMCW)デバイスのフロントエンドの一部として実装される。
本発明の実施形態におけるLIDARシステムは、輸送、製造、計測、医療、仮想現実(バーチャル・リアリティ)、拡張現実(AR)、セキュリティシステムなど、任意のセンシング市場において実施することができるが、これらに限定されるものではない。その他、実施形態で説明されるLIDARシステムは、自動運転支援システムや自動運転車の空間認識を支援する周波数変調連続波(FMCW)デバイスのフロントエンドの一部として実装される。
ここで説明される実施形態のLIDARシステムは、コヒーレントスキャン技術を使用して、ターゲットから返ってくる信号(リターン信号)を検出し、コヒーレントヘテロダイン信号(異なる周波数の信号同士を組み合わせたもの)を生成する。そして、この信号から、ターゲットの距離と速度情報を取得することができる。
このような信号は、1つまたは複数の周波数ビンに変換することができ、各ビンにはそのビン内の関連する周波数の信号強度が含まれる。例えばターゲット検出は、1つまたは複数の周波数ビンの大きな信号強度(すなわちピーク)に対応することがある。
本実施形態のLIDARシステムでは、このようなピークが、検出されたターゲットに対応する十分な信号強度をもっているかどうかを決定するために検出閾値を使用することができる。また、誤ったターゲット検出を減らすために検出閾値を増加させることができ、一方で、弱い信号の検出確率を高めるために、検出閾値を小さく設定することができる。
本発明の実施形態は、本開示による技術を使用することにより、特に、ターゲットの推定位置の近傍の狭い周波数帯域で検出閾値を減少させて上記の問題に対処することができる。したがって、誤検出を制限するために残りの周波数領域については大きな検出閾値を維持しながら、弱いリターン信号のターゲットについて検出確率を高めることができる。
このような信号は、1つまたは複数の周波数ビンに変換することができ、各ビンにはそのビン内の関連する周波数の信号強度が含まれる。例えばターゲット検出は、1つまたは複数の周波数ビンの大きな信号強度(すなわちピーク)に対応することがある。
本実施形態のLIDARシステムでは、このようなピークが、検出されたターゲットに対応する十分な信号強度をもっているかどうかを決定するために検出閾値を使用することができる。また、誤ったターゲット検出を減らすために検出閾値を増加させることができ、一方で、弱い信号の検出確率を高めるために、検出閾値を小さく設定することができる。
本発明の実施形態は、本開示による技術を使用することにより、特に、ターゲットの推定位置の近傍の狭い周波数帯域で検出閾値を減少させて上記の問題に対処することができる。したがって、誤検出を制限するために残りの周波数領域については大きな検出閾値を維持しながら、弱いリターン信号のターゲットについて検出確率を高めることができる。
図1は、一実施態様によるLIDARシステム100を示している。
LIDARシステム100は、多数の構成要素のいずれか1つまたは複数を含むが、図1に示すよりも少ない構成要素または追加の構成要素を含んでもよい。一態様では、図1に示された構成要素の1つ以上は、フォトニクス・チップ上に実装することができる。光学回路101には、能動光学構成要素と受動光学構成要素との組み合わせが含まれている。能動光学構成要素は、光信号などを生成、増幅、および/または検出する。一部の例では、能動光学構成要素は、異なる波長の光ビームを有し、1つ以上の光増幅器、1つ以上の光検出器などを含んでいる。
LIDARシステム100は、多数の構成要素のいずれか1つまたは複数を含むが、図1に示すよりも少ない構成要素または追加の構成要素を含んでもよい。一態様では、図1に示された構成要素の1つ以上は、フォトニクス・チップ上に実装することができる。光学回路101には、能動光学構成要素と受動光学構成要素との組み合わせが含まれている。能動光学構成要素は、光信号などを生成、増幅、および/または検出する。一部の例では、能動光学構成要素は、異なる波長の光ビームを有し、1つ以上の光増幅器、1つ以上の光検出器などを含んでいる。
自由空間光学系115は、光信号を伝送し、能動光回路の適切な入力/出力ポートに光信号をルーティングして操作するための1つ以上の光導波路を含む。自由空間光学系115にはまた、タップ、波長分割マルチプレクサ(WDM)、スプリッタ/コンバイナ、偏光ビームスプリッタ(PBS)、コリメータ、カプラ、ファラデー回転子のような非可逆要素などの1以上の光学構成要素が含まれている。一態様では、自由空間光学系115には、偏光状態を変換し、受信した偏光を、例えば、PBSを使用して光検出器に導くための構成要素が含まれている。また、自由空間光学系115には、異なる周波数を有する光ビームを軸(例:高速軸)に沿って異なる角度で偏向させる回折素子がさらに含まれる場合がある。
本実施形態のLIDARシステム100は、1つ以上のスキャニングミラーを有する光スキャナ102を備えている。これらのスキャニングミラーは、スキャニングパターンに従って環境をスキャンする光信号を誘導するために、回折素子の高速軸に直交または実質的に直交する軸(例:低速軸)に沿って回転可能になっている。例えば、スキャニングミラーは、1つ以上のガルバノメータによって回転可能である。
光スキャナ102はまた、環境内の任意の物体に反射したリターンビーム孔を収集し、これを光学回路101の受動光学回路要素に戻すように導く。例えば、リターン光ビームは、偏光ビームスプリッタによって光検出器に向けられる。なお、光スキャナ102には、ミラーやガルバノメータに加えて、1/4波長板、レンズ、反射防止コーティングされた光学窓などが含まれる場合がある。
光スキャナ102はまた、環境内の任意の物体に反射したリターンビーム孔を収集し、これを光学回路101の受動光学回路要素に戻すように導く。例えば、リターン光ビームは、偏光ビームスプリッタによって光検出器に向けられる。なお、光スキャナ102には、ミラーやガルバノメータに加えて、1/4波長板、レンズ、反射防止コーティングされた光学窓などが含まれる場合がある。
LIDARシステム100には、光学回路101および光スキャナ102を制御およびサポートするために、LIDAR制御装置110が設けられている。LIDAR制御装置110には、信号処理ユニット112のような処理装置が含まれている。例えば、信号処理ユニット112は、マイクロプロセッサ、中央処理装置などの1つ以上の汎用処理装置であり、具体的には、複合命令セットコンピューティング(CISC)マイクロプロセッサ、縮小命令セットコンピューティング(RISC)マイクロプロセッサ、超長命令語(VLIW)マイクロプロセッサ、または他の命令セットを実装するプロセッサ、または命令セットの組み合わせを実装するプロセッサである。
また、信号処理ユニット112は、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA:現場プログラム可能ゲートアレイ)、デジタル信号プロセッサ(DSP)、ネットワークプロセッサ等の特殊用途処理装置の1つ以上であってもよい。
また、信号処理ユニット112は、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA:現場プログラム可能ゲートアレイ)、デジタル信号プロセッサ(DSP)、ネットワークプロセッサ等の特殊用途処理装置の1つ以上であってもよい。
一態様では、信号処理ユニット112としてデジタル信号プロセッサ(DSP)が用いられる。LIDAR制御装置110は、光学ドライバ103を制御するためのデジタル制御信号を出力するように構成される。そのデジタル制御信号は、信号変換ユニット106を介してアナログ信号に変換される。例えば、信号変換ユニット106には、デジタル/アナログ変換器が含まれる。
光学ドライバ103は、光学回路101の能動光学構成要素に駆動信号を供給し、レーザや増幅器などの光源を駆動する。一態様では、複数の光源を駆動するために、複数の光学ドライバ103および信号変換ユニット106を設けてもよい。
光学ドライバ103は、光学回路101の能動光学構成要素に駆動信号を供給し、レーザや増幅器などの光源を駆動する。一態様では、複数の光源を駆動するために、複数の光学ドライバ103および信号変換ユニット106を設けてもよい。
LIDAR制御装置110はまた、光スキャナ102に対してデジタル制御信号を出力するように構成されている。モーション制御装置105は、LIDAR制御装置110から受信した制御信号に基づいて、光スキャナ102のガルバノメータを制御することができる。具体的には、デジタル/アナログ変換器を使用して、LIDAR制御装置110からの座標ルーティング情報を、光スキャナ102のガルバノメータによって処理可能な信号に変換することができる。
一態様では、モーション制御装置105は、光スキャナ102の構成要素の位置または動作に関する情報をLIDAR制御装置110に送り返すこともできる。具体的には、アナログ/デジタル変換器を使用して、ガルバノメータの位置に関する情報をLIDAR制御装置110が処理可能な信号に順次変換することができる。
一態様では、モーション制御装置105は、光スキャナ102の構成要素の位置または動作に関する情報をLIDAR制御装置110に送り返すこともできる。具体的には、アナログ/デジタル変換器を使用して、ガルバノメータの位置に関する情報をLIDAR制御装置110が処理可能な信号に順次変換することができる。
LIDAR制御装置110は、さらに、入力されたデジタル信号を解析するように構成されている。これに関連して、LIDARシステム100には、光学回路101によって受信された1つ以上のビームを測定するための光受信器104が設けられている。具体的には、光受信器104としての基準ビーム受信器は、能動光学構成要素からの基準ビームの振幅を測定し、アナログ/デジタル変換器により同基準ビーム受信器からの信号を、LIDAR制御装置110によって処理可能な信号に変換する。
また、光受信器104としてのターゲット受信器は、ビート周波数変調光信号の形でターゲットの距離と速度に関する情報を搬送する光信号を計測する。この場合、光信号の反射ビームは、ローカルオシレータの第2の信号(ローカルコピー)と混合されてもよい。光受信器104には、ターゲット受信器からの信号をLIDAR制御装置110によって処理可能な信号に変換する高速アナログ/デジタル変換器を設けることができる。
一態様では、光受信器104からの信号は、LIDAR制御装置110に受信される前に、信号調整ユニット107による信号調整の対象となり得る。例えば、光受信器104からの信号は、リターン信号の増幅のために信号調整ユニット107のオペアンプに供給され、そのオペアンプによって増幅された信号がLIDAR制御装置110に供給されるようにしてもよい。
また、光受信器104としてのターゲット受信器は、ビート周波数変調光信号の形でターゲットの距離と速度に関する情報を搬送する光信号を計測する。この場合、光信号の反射ビームは、ローカルオシレータの第2の信号(ローカルコピー)と混合されてもよい。光受信器104には、ターゲット受信器からの信号をLIDAR制御装置110によって処理可能な信号に変換する高速アナログ/デジタル変換器を設けることができる。
一態様では、光受信器104からの信号は、LIDAR制御装置110に受信される前に、信号調整ユニット107による信号調整の対象となり得る。例えば、光受信器104からの信号は、リターン信号の増幅のために信号調整ユニット107のオペアンプに供給され、そのオペアンプによって増幅された信号がLIDAR制御装置110に供給されるようにしてもよい。
一部のアプリケーションでは、LIDARシステム100には、環境の画像をキャプチャするように構成された1つ以上の撮像装置108、同システムの地理的位置を提供するように構成された全地球測位システム(GPS)109、または他のセンサ入力を追加的に設けることもできる。
また、LIDARシステム100には画像処理装置114を設けることができる。この場合、同画像処理装置114は、撮像装置108および全地球測位システム(GPS)109から画像および地理的位置を受信し、画像および位置またはそれに関連する情報を、LIDAR制御装置110またはLIDARシステム100に接続された他のシステムに送信するように構成することができる。
また、LIDARシステム100には画像処理装置114を設けることができる。この場合、同画像処理装置114は、撮像装置108および全地球測位システム(GPS)109から画像および地理的位置を受信し、画像および位置またはそれに関連する情報を、LIDAR制御装置110またはLIDARシステム100に接続された他のシステムに送信するように構成することができる。
一部の実施例による動作では、LIDARシステム100は、非縮退光学光源を用いて2次元で距離および速度を同時に測定するように構成される。この機能により、周囲環境の距離、速度、方位角および仰角について遠距離測定がリアルタイムで可能になる。
一例としてスキャンプロセスは、光学ドライバ103およびLIDAR制御装置110から開始される。LIDAR制御装置110は、光学ドライバ103に1つ以上の光ビームをそれぞれ変調するように指示し、これらの変調信号は光学回路101の受動光学回路を通って自由空間光学系115のコリメータに伝送される。同コリメータは、上記変調信号を光スキャナ102に誘導し、光スキャナ102はモーション制御装置105で定義され事前にプログラムされたパターンで環境をスキャンする。光学回路101には、光が光学回路101を出る際に光の偏光状態を変換する偏光波長板(PWP)を設けてもよい。例えば偏光波板は1/4波板または1/2波板を採用することができる。
偏光された光ビームの一部は、光学回路101に戻るように反射される場合もある。例えばLIDARシステム100で使用されるレンズ系またはコリメート系は、自然な反射特性または反射コーティングを有する場合があり、これにより光ビームの一部が光学回路101に反射される
偏光された光ビームの一部は、光学回路101に戻るように反射される場合もある。例えばLIDARシステム100で使用されるレンズ系またはコリメート系は、自然な反射特性または反射コーティングを有する場合があり、これにより光ビームの一部が光学回路101に反射される
環境から反射された光信号は、光学回路101を通して受信器(光受信器104)に送られる。このとき、光の偏光状態は変換されているため、光学回路101に反射して戻ってきた偏光光の一部とともに偏光ビームスプリッタで反射される。その結果、反射された光信号は、光源と同じ光ファイバまたは導波路には戻らず、それぞれ別の光受信器に反射される。これらの信号は互いに干渉し、混合(合成)された信号を生成する。
ターゲットから戻ってくる各ビーム信号は、時間シフトされた波形を生成し、これら2つの波形間の時間的位相差によって光受信器(光検出器)で計測されるビート周波数が生成される。
そして、その混合された信号は光受信器104に反射させることができる。
ターゲットから戻ってくる各ビーム信号は、時間シフトされた波形を生成し、これら2つの波形間の時間的位相差によって光受信器(光検出器)で計測されるビート周波数が生成される。
そして、その混合された信号は光受信器104に反射させることができる。
光受信器104で受信したアナログ信号は、ADC(アナログ/デジタル変換器)によりデジタル信号に変換される。次いで、同デジタル信号は、LIDAR制御装置110に送信される。
同装置の信号処理ユニット112は、同デジタル信号を受信しそれらを処理する。
一態様では、信号処理ユニット112は、モーション制御装置105およびガルバノメータ(図示されない)から位置データを受信し、画像処理装置114から画像データを受信する。これにより、信号処理ユニット112は、光スキャナ102が追加ポイントをスキャンする際に、環境内のポイントの距離と速度に関する情報を有する3Dポイントクラウドを生成することができる。
信号処理ユニット112はまた、3Dポイントクラウドを画像データと重ね合わせて、周囲の物体の速度および距離を決定する場合もある。
LIDAR制御装置110はさらに衛星ベースのナビゲーション位置データを処理して正確な全地球的位置情報を提供する場合もある。
同装置の信号処理ユニット112は、同デジタル信号を受信しそれらを処理する。
一態様では、信号処理ユニット112は、モーション制御装置105およびガルバノメータ(図示されない)から位置データを受信し、画像処理装置114から画像データを受信する。これにより、信号処理ユニット112は、光スキャナ102が追加ポイントをスキャンする際に、環境内のポイントの距離と速度に関する情報を有する3Dポイントクラウドを生成することができる。
信号処理ユニット112はまた、3Dポイントクラウドを画像データと重ね合わせて、周囲の物体の速度および距離を決定する場合もある。
LIDAR制御装置110はさらに衛星ベースのナビゲーション位置データを処理して正確な全地球的位置情報を提供する場合もある。
図2は、一実施形態において、LIDARシステム100のようなLIDARシステムがターゲット環境をスキャンするために使用可能なFMCWスキャニング信号201の時間-周波数図200である。この例において、fFM(t)と表示されたスキャニング信号201は、チャープ帯域幅ΔfCおよびチャープ周期TCを持つ鋸歯状波形(鋸歯「チャープ」)である。
鋸歯の傾きは、k=(ΔfC/TC)である。
図2にはまた、一実施形態におけるターゲットリターン信号202が示される。fFM(t-Δt)で示されるターゲットリターン信号202は、スキャニング信号201の時間遅延バージョンであり、Δtは、スキャニング信号201によって照射されたターゲットとの間の往復時間である。この往復時間は Δt=2R/v で与えられる。ここで、R はターゲットの距離、v は光ビームの速度である光速cである。
したがって、同ターゲットの距離R は、R=c(Δt/2) として計算できる。
リターン信号202がスキャニング信号と光学的に混合されると、距離依存の差周波数(「ビート周波数」)ΔfR(t)が生成される。ビート周波数ΔfR(t)は、鋸歯の傾きkによって時間遅延Δtと線形の関係にある。
つまり、ΔfR(t)=kΔtとなる。ターゲット距離RはΔtに比例するため、ターゲット距離RはR=(c/2)(ΔfR(t)/k)として計算することができる。すなわち、距離Rはビート周波数ΔfR(t)と線形の関係にある。
ビート周波数ΔfR(t)は、例えば、LIDARシステム100の光受信器104でアナログ信号として生成される。このビート周波数は、例えば、LIDARシステム100の信号調整ユニット107内のアナログ/デジタル変換器(ADC)によってデジタル化される。このようにしてデジタル化されたビート周波数信号は、LIDARシステム100内の信号処理ユニット(例:信号処理ユニット112)でデジタル処理される。
ただし、ターゲットがLIDARシステム100に対して相対速度を有する場合、ターゲットリターン信号202には一般に周波数オフセット(ドップラーシフト)が含まれることに注意する必要がある。ドップラーシフトは別途検出されてリターン信号の周波数を補正するために使用されるため、図2では簡略化と説明の容易化のためドップラーシフトは表示されていない。
また、ADCのサンプリング周波数は、エイリアシングを発生させずにシステムで処理可能な最高のビート周波数に決定されることに注意する必要がある。一般的に処理可能な最高周波数はサンプリング周波数の半分(すなわち「ナイキスト限界」)である。例えば、限定はしないが、ADCのサンプリング周波数が1ギガヘルツである場合、エイリアシングなしで処理できる最高ビート周波数(ΔfRmax)は500メガヘルツである。この限界は、システムの最大ターゲット距離Rmax=(c/2)(ΔfRmax/k)で決まり、これは鋸歯の傾きkを変更することによって調整することができる。
一例では、ADCからのデータサンプルは連続的であってもよいが、後述する後続のデジタル処理は、LIDARシステム100の所定の周期性に関連付けることができる「時間セグメント」に分割することができる。例えば、限定はしないが、時間セグメントは、チャープ周期TCの数、または前述の光スキャナによる方位角方向の回転数に対応する。
本開示の実施形態は、FMCW-LIDAR(LiDAR)に適用することができるが、必ずしもFMCW LiDARに限定されるものではなく、他の形式のコヒーレントLIDAR(LiDAR)に適用することも可能である。
鋸歯の傾きは、k=(ΔfC/TC)である。
図2にはまた、一実施形態におけるターゲットリターン信号202が示される。fFM(t-Δt)で示されるターゲットリターン信号202は、スキャニング信号201の時間遅延バージョンであり、Δtは、スキャニング信号201によって照射されたターゲットとの間の往復時間である。この往復時間は Δt=2R/v で与えられる。ここで、R はターゲットの距離、v は光ビームの速度である光速cである。
したがって、同ターゲットの距離R は、R=c(Δt/2) として計算できる。
リターン信号202がスキャニング信号と光学的に混合されると、距離依存の差周波数(「ビート周波数」)ΔfR(t)が生成される。ビート周波数ΔfR(t)は、鋸歯の傾きkによって時間遅延Δtと線形の関係にある。
つまり、ΔfR(t)=kΔtとなる。ターゲット距離RはΔtに比例するため、ターゲット距離RはR=(c/2)(ΔfR(t)/k)として計算することができる。すなわち、距離Rはビート周波数ΔfR(t)と線形の関係にある。
ビート周波数ΔfR(t)は、例えば、LIDARシステム100の光受信器104でアナログ信号として生成される。このビート周波数は、例えば、LIDARシステム100の信号調整ユニット107内のアナログ/デジタル変換器(ADC)によってデジタル化される。このようにしてデジタル化されたビート周波数信号は、LIDARシステム100内の信号処理ユニット(例:信号処理ユニット112)でデジタル処理される。
ただし、ターゲットがLIDARシステム100に対して相対速度を有する場合、ターゲットリターン信号202には一般に周波数オフセット(ドップラーシフト)が含まれることに注意する必要がある。ドップラーシフトは別途検出されてリターン信号の周波数を補正するために使用されるため、図2では簡略化と説明の容易化のためドップラーシフトは表示されていない。
また、ADCのサンプリング周波数は、エイリアシングを発生させずにシステムで処理可能な最高のビート周波数に決定されることに注意する必要がある。一般的に処理可能な最高周波数はサンプリング周波数の半分(すなわち「ナイキスト限界」)である。例えば、限定はしないが、ADCのサンプリング周波数が1ギガヘルツである場合、エイリアシングなしで処理できる最高ビート周波数(ΔfRmax)は500メガヘルツである。この限界は、システムの最大ターゲット距離Rmax=(c/2)(ΔfRmax/k)で決まり、これは鋸歯の傾きkを変更することによって調整することができる。
一例では、ADCからのデータサンプルは連続的であってもよいが、後述する後続のデジタル処理は、LIDARシステム100の所定の周期性に関連付けることができる「時間セグメント」に分割することができる。例えば、限定はしないが、時間セグメントは、チャープ周期TCの数、または前述の光スキャナによる方位角方向の回転数に対応する。
本開示の実施形態は、FMCW-LIDAR(LiDAR)に適用することができるが、必ずしもFMCW LiDARに限定されるものではなく、他の形式のコヒーレントLIDAR(LiDAR)に適用することも可能である。
図3Aは、一実施形態によるFMCW-LIDARシステム300を示すブロック図である。LIDARシステム300は、FMCW赤外線(IR)光ビーム304を送信し、光スキャナ301の視野(FOV)内のターゲット312などから光ビーム304の反射によるリターン信号313を受信する光スキャナ301を備える。
LIDARシステム300はまた、リターン信号313から時間領域でLIDARターゲット距離に応じた周波数を含む電気信号314(ベースバンド信号)を生成する光学処理装置302を備える。一部の実施形態において光学処理装置302には、LIDARシステム100で説明した自由空間光学系115、光学回路101、光学ドライバ103および光受信器104等の構成要素が含まれる場合がある。
LIDARシステム300はまた、リターン信号313から時間領域でLIDARターゲット距離に応じた周波数を含む電気信号314(ベースバンド信号)を生成する光学処理装置302を備える。一部の実施形態において光学処理装置302には、LIDARシステム100で説明した自由空間光学系115、光学回路101、光学ドライバ103および光受信器104等の構成要素が含まれる場合がある。
LIDARシステム300はさらに、信号処理装置303を備える。特に、この信号処理装置303は、電気信号314のエネルギー(信号強度)を周波数領域で計測し、このエネルギー計測値をLIDARシステムノイズの推定値と比較することで、周波数領域における信号ピークの検出ターゲットを示す尤度を決定するものである。
一部の実施形態では、信号処理装置303には、LIDARシステム100における信号変換ユニット106、信号調整ユニット107、LIDAR制御装置110および信号処理ユニット112等の構成要素が含まれる場合がある。
一部の実施形態では、信号処理装置303には、LIDARシステム100における信号変換ユニット106、信号調整ユニット107、LIDAR制御装置110および信号処理ユニット112等の構成要素が含まれる場合がある。
図3Bは、一実施形態によるLIDARシステムの電気光学系350の一例を示すブロック図である。一部の実施形態では、電気光学系350は、図1で説明した光スキャナ102と同様な光スキャナ301を備える。電気光学系350にはまた、上記のように、LIDARシステム100で説明した自由空間光学系115、光学回路101、光学ドライバ103および光受信器104等の構成要素を含む光学処理装置302が含まれる。
光学処理装置302には、周波数変調連続波(FMCW)光ビーム304を生成するための光源305が設けられる。光源305からの光ビーム304は光カプラ306に向けられ、光ビーム304の一部が偏光ビームスプリッタ(PBS)307に送られる。光ビーム304のサンプル308(基準ビーム)は、光カプラ306から光検出器(PD)309に送られる。
PBS307は、偏光による光ビーム304を光スキャナ301に向けるように設定される。光スキャナ301は、電気光学系350の筐体320内でLIDARウィンドウ311の視野(FOV)310をカバーする方位角および仰角の範囲で、光ビーム304を用いてターゲット環境をスキャンするように設定される。なお図3Bでは説明の簡略化のため方位角スキャンのみが示されている。
PBS307は、偏光による光ビーム304を光スキャナ301に向けるように設定される。光スキャナ301は、電気光学系350の筐体320内でLIDARウィンドウ311の視野(FOV)310をカバーする方位角および仰角の範囲で、光ビーム304を用いてターゲット環境をスキャンするように設定される。なお図3Bでは説明の簡略化のため方位角スキャンのみが示されている。
図3Bに示すように、光ビーム304は、所定の方位角(または角度範囲)で、LIDARウィンドウ311を通過し、ターゲット312に照射される。ターゲット312からのリターン信号313は、LIDARウィンドウ311を通過し、光スキャナ301によってPBS307に戻される。
リターン信号313は、ターゲット312からの反射により光ビーム304とは異なる偏光をもってPBS307を通して光検出器(PD)309に導かれる。光検出器(PD)309では、リターン信号313が光ビーム304のローカルサンプル308と光学的に混合され、時間領域で距離に依存した電気信号314(例:ビート信号)が生成される。この電気信号314は、光ビーム304のローカルサンプル308とリターン信号313との間の時間に対する周波数差(すなわちΔfR(t))により生成され得る。
図4は、電気信号314を処理する信号処理装置303の一実施形態を示す詳細なブロック図である。前述したように、信号処理装置303には、LIDARシステム100の信号変換ユニット106、信号調整ユニット107、LIDAR制御装置110、および信号処理ユニット112等の構成要素が含まれる場合がある。
一部の実施形態では、信号処理装置303は、アナログ/デジタル変換器(ADC)401、時間領域モジュール402、ブロックサンプラ403、離散フーリエ変換(DFT)モジュール404、周波数領域モジュール405、およびピーク検索モジュール406を備える。信号処理装置303の各構成ブロックには、例えばハードウェア、ファームウェア、ソフトウェア、またはハードウェア、ファームウェア、ソフトウェアを組み合わせて実装することができる。
図4に示すように、時間領域で連続したアナログ信号である電気信号314は、ADC401によってサンプリングされ、一連の時間領域サンプル315が生成される。時間領域サンプル315は、時間領域モジュール402によって処理され、さらなる処理のために調整される。例えば時間領域モジュール402は、望ましくない信号の成分を取り除くか、後続の処理に適した信号の形にするために、重み付けやフィルタリングを適用することがある。そして、時間領域モジュール402の出力信号(時間領域サンプル)316がブロックサンプラ403に送信される。
ブロックサンプラ403は、出力信号(時間領域サンプル)316をN個のサンプル317(Nは1より大きい整数)のグループに分け、DFTモジュール404に送信する。
DFTモジュール404は、N個の時間領域サンプル317のグループを、電気信号314の帯域幅をカバーする周波数領域のN個の周波数ビンまたはサブバンド318(例:サブバンド信号スペクトル318)に変換する。N個のサブバンド信号スペクトル318は、周波数領域モジュール405に送られて、サブバンドがさらに処理されるように調整される。例えば、周波数領域モジュール405は、ノイズ低減のためにサブバンド信号スペクトル318を再サンプリングおよび/または平均化する場合がある。また、周波数領域モジュール405は、信号統計量やシステムノイズ統計量を計算する場合もある。その後、処理されたサブバンド319(サブバンド信号スペクトル319)がピーク検索モジュール406に送られ、LIDARシステム300の視野(FOV)内のターゲットを表す信号ピークが検索されることになる。
ブロックサンプラ403は、出力信号(時間領域サンプル)316をN個のサンプル317(Nは1より大きい整数)のグループに分け、DFTモジュール404に送信する。
DFTモジュール404は、N個の時間領域サンプル317のグループを、電気信号314の帯域幅をカバーする周波数領域のN個の周波数ビンまたはサブバンド318(例:サブバンド信号スペクトル318)に変換する。N個のサブバンド信号スペクトル318は、周波数領域モジュール405に送られて、サブバンドがさらに処理されるように調整される。例えば、周波数領域モジュール405は、ノイズ低減のためにサブバンド信号スペクトル318を再サンプリングおよび/または平均化する場合がある。また、周波数領域モジュール405は、信号統計量やシステムノイズ統計量を計算する場合もある。その後、処理されたサブバンド319(サブバンド信号スペクトル319)がピーク検索モジュール406に送られ、LIDARシステム300の視野(FOV)内のターゲットを表す信号ピークが検索されることになる。
一実施形態では、ピーク検索モジュール406に送られるサブバンド信号スペクトル319は、ターゲットからのリターン信号313と、同信号が処理される際にLIDARシステム300が寄与するすべてのノイズとのエネルギーの合計となる。一般的に、電子システムは、システム内のすべてのノイズ源の合成レベルであるノイズフロアを作り出すことによって同システムの性能を制限するノイズ源を有している。電気信号314から生成されたサブバンド信号スペクトル319のような電子システム内の信号が検出されるためには、信号積分およびノイズ平均化などの特殊な信号処理技術がある場合を除き、上記ノイズフロアを上回らなければならない。
LIDARシステム300のようなLIDARシステムにおけるノイズ源には、熱ノイズ、1/fノイズ、ショットノイズ、インパルスノイズ、RIN(レーザに関連する相対強度ノイズ)、TIA(トランスインピーダンスアンプ)ノイズ、ADC(アナログ/デジタル変換)ノイズなどがある。システムノイズは、例えば、周波数ビン間でのエネルギー対周波数プロファイル、周波数ビン間での1次モーメント(平均)、周波数ビン間での2次モーメント(分散)、周波数ビン間での3次モーメント(非対称性(歪度))、および/または周波数ビン間での4次モーメント(尖度またはピークの鋭さ)によって特徴付けることができる。
図5は、一実施形態による、検出閾値を自動調整してピーク検索を実行する信号処理系500を示すブロック図である。
信号処理系500としては、図3の信号処理装置303と同一または類似の構成を採用し得る。加えて信号処理系500は、図1のLIDARシステム100の構成要素(例えば、信号変換ユニット106、信号調整ユニット107、LIDAR制御システム110、信号処理ユニット112)の1つまたは複数を含むか、それらの一部に含まれることがある。
信号処理系500は、ピーク検索モジュール406、ターゲット予測モジュール502、およびポイントクラウドモジュール504を備えている。
ピーク検索モジュール406は、前述したように、サブバンド信号スペクトル319を受信することができ、サブバンド信号スペクトル319から1つまたは複数のピークを検出することができる(図6A、6Bおよび図7を参照)。
ピーク検索モジュール406は、検出の信頼度指標(信頼度評価指標 例:信号エネルギーとノイズフロアの差に対するノイズ比(S-N/N))を検出閾値(検出用閾値)と比較することができる。一例では、周波数ピークの検出の信頼度指標が検出閾値を超える場合、ピーク検索モジュール406はその周波数ピークを、確認されたターゲット検出として特定し、検出閾値に満たないピーク(例:誤検出)をフィルタリングすることができる。また、他の例では、検出閾値を超えるピークについて、そのピークが有効なターゲット検出に対応する可能性が高いことを表示することができる。
信号処理系500としては、図3の信号処理装置303と同一または類似の構成を採用し得る。加えて信号処理系500は、図1のLIDARシステム100の構成要素(例えば、信号変換ユニット106、信号調整ユニット107、LIDAR制御システム110、信号処理ユニット112)の1つまたは複数を含むか、それらの一部に含まれることがある。
信号処理系500は、ピーク検索モジュール406、ターゲット予測モジュール502、およびポイントクラウドモジュール504を備えている。
ピーク検索モジュール406は、前述したように、サブバンド信号スペクトル319を受信することができ、サブバンド信号スペクトル319から1つまたは複数のピークを検出することができる(図6A、6Bおよび図7を参照)。
ピーク検索モジュール406は、検出の信頼度指標(信頼度評価指標 例:信号エネルギーとノイズフロアの差に対するノイズ比(S-N/N))を検出閾値(検出用閾値)と比較することができる。一例では、周波数ピークの検出の信頼度指標が検出閾値を超える場合、ピーク検索モジュール406はその周波数ピークを、確認されたターゲット検出として特定し、検出閾値に満たないピーク(例:誤検出)をフィルタリングすることができる。また、他の例では、検出閾値を超えるピークについて、そのピークが有効なターゲット検出に対応する可能性が高いことを表示することができる。
ピーク検索モジュール406は、サブバンド信号スペクトル319内の1つまたは複数の特定されたピーク515をポイントクラウドモジュール504に送信し得る。ポイントクラウドモジュール504は、1つまたは複数の特定されたピークと、フレームからの他の情報(すなわち検出されたターゲット)とからポイントクラウド505を生成することができる。
さらに、ポイントクラウドモジュール504は、検出された情報との近接性に従ってコンテキスト情報520(例:ターゲットの分類、推定されるターゲットの速度、シーンの種類、前のポイントクラウド情報)を特定することができる。このコンテキスト情報520は、ポイントクラウドモジュール504によりターゲット予測モジュール502に送信される。
さらに、ポイントクラウドモジュール504は、検出された情報との近接性に従ってコンテキスト情報520(例:ターゲットの分類、推定されるターゲットの速度、シーンの種類、前のポイントクラウド情報)を特定することができる。このコンテキスト情報520は、ポイントクラウドモジュール504によりターゲット予測モジュール502に送信される。
ターゲット予測モジュール502は、前の検出に基づいてターゲット位置525を推定することができる。例えば、ターゲット予測モジュール502は、コンテキスト情報520を使用して現在のターゲット位置525を推定することができる。
コンテキスト情報520には、ターゲットのそれぞれの検出に関係する1つまたは複数の前のフレームが含まれることがある。これにより、ターゲット予測モジュール502は、前のフレームにおけるターゲットの検出を使用して、現在のターゲット位置を推定することができる。
別の例として、ターゲット予測モジュール502は、前のフレームの検出の中間位置を使用してターゲット位置525を推定することができる。ここで、ターゲット予測モジュール502は、ターゲット位置を推定するための平均値、中央値、または他の計算を実行するために、任意の数の前のフレーム若しくはポイントクラウドの近傍点を使用することができる。
さらに別の例として、コンテキスト情報520は、検出された物体についてのポイントクラウド505、およびその物体の予測される挙動(例:車両、人、静止物体など)から得られるより高いレベルの情報を含むことがある。
コンテキスト情報520には、ターゲットのそれぞれの検出に関係する1つまたは複数の前のフレームが含まれることがある。これにより、ターゲット予測モジュール502は、前のフレームにおけるターゲットの検出を使用して、現在のターゲット位置を推定することができる。
別の例として、ターゲット予測モジュール502は、前のフレームの検出の中間位置を使用してターゲット位置525を推定することができる。ここで、ターゲット予測モジュール502は、ターゲット位置を推定するための平均値、中央値、または他の計算を実行するために、任意の数の前のフレーム若しくはポイントクラウドの近傍点を使用することができる。
さらに別の例として、コンテキスト情報520は、検出された物体についてのポイントクラウド505、およびその物体の予測される挙動(例:車両、人、静止物体など)から得られるより高いレベルの情報を含むことがある。
図6Aは、システムノイズを含むサブバンド信号スペクトル319の信号強度-周波数図600である。なお、同図において、サブバンド信号スペクトル319は、図示の便宜上、連続的な波形(離散的な周波数ビンまたはサブバンドではなく)として表示される。
信号強度-周波数図600は、図3に示す信号処理装置303によって生成および/または使用され得る。さらに、グラフ図600は、図1のLIDARシステム100の構成要素の1つまたは複数(例えば、信号変換ユニット106、信号調整ユニット107、LIDAR制御システム110、信号処理ユニット112)によって生成および/または使用され得る。周波数は0からΔfRmaxまでの範囲にわたって表示される。
一部の想定において、サブバンド信号スペクトル319についての詳細な情報がない場合には、ピーク検索モジュール406はターゲットの存在を最も確実に示すリターン信号として最高の信号ピーク601を選択し、例えば信号ピーク602のような低い信号を選択することはない。
しかしながら、ピーク検索モジュール406がシステムノイズ推定値(信頼度閾値)をもっている場合には、サブバンド信号スペクトル319をシステムノイズ推定値と比較し、追加の選択基準(すなわち信頼度指標)に基づいて、より情報に基づいた選択を行うことができる。
図6Aおよび6Bでは、信号とノイズの値は、エネルギー(信号強度)対周波数の輪郭として表示されているが、前述の通り、システムノイズは、それぞれ平均エネルギー、エネルギー分散、エネルギー非対称性、尖度対周波数を表す1次から4次のモーメントのいずれによってもさらに特徴付けることができる。また、上記信号は、エネルギー(信号強度)だけでなく、ベースバンド信号に基づく周波数ビン間の自己相関統計、および/または周波数ビン間の信号とシステムノイズ推定値との間の相互相関統計の観点から特徴付けてもよい。
信号強度-周波数図600は、図3に示す信号処理装置303によって生成および/または使用され得る。さらに、グラフ図600は、図1のLIDARシステム100の構成要素の1つまたは複数(例えば、信号変換ユニット106、信号調整ユニット107、LIDAR制御システム110、信号処理ユニット112)によって生成および/または使用され得る。周波数は0からΔfRmaxまでの範囲にわたって表示される。
一部の想定において、サブバンド信号スペクトル319についての詳細な情報がない場合には、ピーク検索モジュール406はターゲットの存在を最も確実に示すリターン信号として最高の信号ピーク601を選択し、例えば信号ピーク602のような低い信号を選択することはない。
しかしながら、ピーク検索モジュール406がシステムノイズ推定値(信頼度閾値)をもっている場合には、サブバンド信号スペクトル319をシステムノイズ推定値と比較し、追加の選択基準(すなわち信頼度指標)に基づいて、より情報に基づいた選択を行うことができる。
図6Aおよび6Bでは、信号とノイズの値は、エネルギー(信号強度)対周波数の輪郭として表示されているが、前述の通り、システムノイズは、それぞれ平均エネルギー、エネルギー分散、エネルギー非対称性、尖度対周波数を表す1次から4次のモーメントのいずれによってもさらに特徴付けることができる。また、上記信号は、エネルギー(信号強度)だけでなく、ベースバンド信号に基づく周波数ビン間の自己相関統計、および/または周波数ビン間の信号とシステムノイズ推定値との間の相互相関統計の観点から特徴付けてもよい。
一例としては、システムノイズ推定値は、LIDARシステム300のようなLIDARシステムを、検出可能なリターン信号(例:リターン信号313)が存在しない無響(ノーエコー)較正モードで動作させることによって得ることができる。この動作モードは、通常のシステムノイズ機構のすべてを発生させ、システムノイズ源からのエネルギーだけを含むサブバンド信号スペクトル319を生じさせる。
図6Bは、ノイズ推定値651と、サブバンド信号スペクトル319とノイズ推定値651との差とを比較する信号強度-周波数図650である。なお、図6Bではサブバンド信号スペクトル319は、信号マイナスノイズ(S-N)661として示される。
図6Bの例では、ピーク検索モジュール406は、最も大きい非負の信号マイナスノイズとノイズの比(S-N)/Nをもつ信号ピークを選択するように構成され得る。この選択基準の下では、信号ピーク652の(S-N)/N653が信号ピーク654の(S-N)/N655よりも大きいため、信号ピーク652が選択される。
図6Bの例では、ピーク検索モジュール406は、最も大きい非負の信号マイナスノイズとノイズの比(S-N)/Nをもつ信号ピークを選択するように構成され得る。この選択基準の下では、信号ピーク652の(S-N)/N653が信号ピーク654の(S-N)/N655よりも大きいため、信号ピーク652が選択される。
一部の実施形態では、信号処理装置303は、サブバンド信号(例:サブバンド信号スペクトル319)とシステムノイズ推定値(例:システムノイズ推定値651)に修正を加えることで、周波数領域の信号ピークが、検出されたターゲットを示している可能性を改善し、周波数領域の偽のターゲットからの信号ピークが、実際のターゲットとして解釈される可能性を減らすための信頼度指標(例:(S-N)/N)を生成するように設定することができる。
また、上記の図5で説明したように(図7で後述するように)、ピーク検索モジュール406は、ターゲットの推定位置を使用して信頼度指標の検出閾値を調整することができる。
また、上記の図5で説明したように(図7で後述するように)、ピーク検索モジュール406は、ターゲットの推定位置を使用して信頼度指標の検出閾値を調整することができる。
図7には、本開示に従って、ピーク検出のための閾値を調整する方法の一例を示す信号信頼度-周波数図700が示されている。
図700は、図3の信号処理装置303、または図4および5のピーク検索モジュール406によって生成および/または使用され得る。さらに、図700は、図1のLIDARシステム100の1つまたは複数の構成要素(例:信号変換ユニット106、信号調整ユニット107、LIDAR制御システム110および信号処理ユニット112)によって生成および/または使用され得る。
図700には、強い信号のターゲット検出705、誤検出710、および弱い信号のターゲット検出715を含む3つの潜在的なターゲット検出が描かれている。また、図700には、図6Bに関して説明したように、本明細書では信頼度閾値とも呼ばれる信頼度指標の有効閾値720も示されている。
信頼度指標の有効閾値720は、信号を検出として特定するための最小信頼度閾値に設定することができる。強い信号のターゲット検出705は、その大きさ(つまり非調整)の有効閾値720よりも大きいため、有効閾値720の調整なしで検出される。
2番目の潜在的な検出は、潜在的な誤検出710である(つまり実際のターゲットに対応しないピーク)。したがって、有効閾値720が小さすぎると、誤検出710は実際の検出として特定され、ターゲットに対応しない場合でも特定されてしまう。
3番目の潜在的な検出は、弱い信号のターゲット715である。図7に示すように、弱い信号のターゲット715は信頼度指標の有効閾値720を超えないため、検出として認識されない。
図700は、図3の信号処理装置303、または図4および5のピーク検索モジュール406によって生成および/または使用され得る。さらに、図700は、図1のLIDARシステム100の1つまたは複数の構成要素(例:信号変換ユニット106、信号調整ユニット107、LIDAR制御システム110および信号処理ユニット112)によって生成および/または使用され得る。
図700には、強い信号のターゲット検出705、誤検出710、および弱い信号のターゲット検出715を含む3つの潜在的なターゲット検出が描かれている。また、図700には、図6Bに関して説明したように、本明細書では信頼度閾値とも呼ばれる信頼度指標の有効閾値720も示されている。
信頼度指標の有効閾値720は、信号を検出として特定するための最小信頼度閾値に設定することができる。強い信号のターゲット検出705は、その大きさ(つまり非調整)の有効閾値720よりも大きいため、有効閾値720の調整なしで検出される。
2番目の潜在的な検出は、潜在的な誤検出710である(つまり実際のターゲットに対応しないピーク)。したがって、有効閾値720が小さすぎると、誤検出710は実際の検出として特定され、ターゲットに対応しない場合でも特定されてしまう。
3番目の潜在的な検出は、弱い信号のターゲット715である。図7に示すように、弱い信号のターゲット715は信頼度指標の有効閾値720を超えないため、検出として認識されない。
ピーク検索モジュール406は、弱い信号のターゲット(例:弱い信号のターゲット715)の検出確率を高めつつ、誤検出(例:誤検出710)の確率を低く維持するために、弱い信号のターゲット715の予測される位置(すなわち予測ターゲット帯域725)周辺の有効閾値720を低減することができる。予測ターゲット帯域725は、予測されるターゲット周波数(すなわちターゲット位置)周辺の事前定義された周波数範囲であるか、または推定されたターゲット位置に関連した信頼度値に基づいて動的に決定することができる。例えば、ピーク検索モジュール406は、信頼度値が低い推定位置(例:推定に関連した分散が高い場合)に対して大きな予測ターゲット帯域725を決定し、また、信頼度値が高い推定位置(例:推定に関連した分散が低い場合)に対して小さな予測ターゲット帯域725を決定することができる。
したがって、予測ターゲット帯域725内の下げられた有効閾値730によって、ピーク検索モジュール406が弱い信号のターゲット715を検出することができる。加えて、有効閾値720が狭い周波数領域のみに対して下げられた有効閾値730に調整されるため、誤検出710が検出されることを防ぐことができる。例えば、予測ターゲット帯域725は、物理的な検出距離がおおよそ5~10メートルに関連する周波数をカバーし得る。このように予測ターゲット帯域725は、LIDARシステムの任意の周波数範囲と対応する物理的な距離範囲をカバーすることができることに注意すべきである。
したがって、予測ターゲット帯域725内の下げられた有効閾値730によって、ピーク検索モジュール406が弱い信号のターゲット715を検出することができる。加えて、有効閾値720が狭い周波数領域のみに対して下げられた有効閾値730に調整されるため、誤検出710が検出されることを防ぐことができる。例えば、予測ターゲット帯域725は、物理的な検出距離がおおよそ5~10メートルに関連する周波数をカバーし得る。このように予測ターゲット帯域725は、LIDARシステムの任意の周波数範囲と対応する物理的な距離範囲をカバーすることができることに注意すべきである。
一実施形態では、ターゲット予測モジュール(例:図5のターゲット予測モジュール502)は、前に弱い信号で検出されたターゲットの位置を推定することができる。例えば、ターゲット予測モジュール502は、前にSNRが低い信号で検出されたターゲットの位置を推定することができる。
別の例では、ターゲット予測モジュール502は、信頼度指標の高い(すなわち調整されていない)有効閾値720を僅かに超えるターゲット検出の推定位置を算出することができる。これに伴ってピーク検索モジュール406は、推定位置を算出した弱い信号のターゲットに対してのみ有効閾値を下げることができる。
別の例では、ターゲット予測モジュール502は、信頼度指標の高い(すなわち調整されていない)有効閾値720を僅かに超えるターゲット検出の推定位置を算出することができる。これに伴ってピーク検索モジュール406は、推定位置を算出した弱い信号のターゲットに対してのみ有効閾値を下げることができる。
図8は、LIDARシステム100またはLIDARシステム300などのLIDARシステムにおいてターゲットの推定位置に基づいて検出閾値を自動調整する方法800を示すフローチャートである。
方法800は、図1に示すLIDARシステム100の構成要素の1つまたは複数(例:信号変換ユニット106、信号調整ユニット107、LIDAR制御システム110、信号処理ユニット112)によって実行され得る。
方法800は、図1に示すLIDARシステム100の構成要素の1つまたは複数(例:信号変換ユニット106、信号調整ユニット107、LIDAR制御システム110、信号処理ユニット112)によって実行され得る。
方法800は、操作(ステップ)802で開始され、まず処理ロジック(例:ピーク検索モジュール406)が、周波数範囲内の複数のターゲットから第1のターゲットを検出するための第1の信頼度閾値を決定する。ここで、周波数範囲にはターゲットに対応する異なる周波数が含まれる。
第1の信頼度閾値は、ターゲット信号の信頼度指標に対応させることができる。この信頼度指標は、信号対ノイズ比(SNR)、信号マイナスノイズ対ノイズ比((S-N)/N)の他、ターゲット検出の信頼度値を提供する尤度比であってもよい。信頼度指標は、各ターゲット信号について算出することができる。信頼度指標を決定する際には、ベースバンド信号の周波数領域全体にわたってノイズ推定値を決定し、ベースバンド信号の各周波数の信号強度と周波数領域全体にわたるノイズ推定値との差を算出することができる。
第1の信頼度閾値は、ターゲット信号の信頼度指標に対応させることができる。この信頼度指標は、信号対ノイズ比(SNR)、信号マイナスノイズ対ノイズ比((S-N)/N)の他、ターゲット検出の信頼度値を提供する尤度比であってもよい。信頼度指標は、各ターゲット信号について算出することができる。信頼度指標を決定する際には、ベースバンド信号の周波数領域全体にわたってノイズ推定値を決定し、ベースバンド信号の各周波数の信号強度と周波数領域全体にわたるノイズ推定値との差を算出することができる。
操作(ステップ)804では、処理ロジック(例:ピーク検索モジュール406および/またはターゲット予測モジュール502)は、第2のターゲットを検出するために周波数範囲内で周波数のサブセットを決定する。ここで、第2のターゲットはその周波数のサブセット内で第1の信頼度閾値よりも弱い信号を送信するターゲットである。
一部の実施形態において、周波数のサブセットは第2のターゲットの推定位置に対応する。一例として、処理ロジック(例:ターゲット予測モジュール502)は、ターゲットの推定位置を決定するために、時間領域または周波数領域における第2のターゲットの検出を特定し、方位角、仰角、空間的(3Dポイントクラウド)、時間的(前のフレームからの検出)などの近接する検出に基づいて第2のターゲットの推定位置を決定する。別の例として、処理ロジック(例:ターゲット予測モジュール502)は、第2のターゲットの推定位置を決定するために、第2のターゲットに関連したポイントクラウド情報を特定し、ポイントクラウド情報に基づいて第2のターゲットの推定位置を決定することができる。
一部の実施形態において、周波数のサブセットは第2のターゲットの推定位置に対応する。一例として、処理ロジック(例:ターゲット予測モジュール502)は、ターゲットの推定位置を決定するために、時間領域または周波数領域における第2のターゲットの検出を特定し、方位角、仰角、空間的(3Dポイントクラウド)、時間的(前のフレームからの検出)などの近接する検出に基づいて第2のターゲットの推定位置を決定する。別の例として、処理ロジック(例:ターゲット予測モジュール502)は、第2のターゲットの推定位置を決定するために、第2のターゲットに関連したポイントクラウド情報を特定し、ポイントクラウド情報に基づいて第2のターゲットの推定位置を決定することができる。
操作(ステップ)806では、処理ロジック(例:ピーク検索モジュール406)は、上記周波数のサブセット内で第2のターゲットを検出するために、第1の信頼度閾値を上記周波数のサブセットにおける第2の信頼度閾値に調整する。そして、同処理ロジック(例:ピーク検索モジュール406)は、第1の検出閾値よりも小さい誤検出のピークをフィルタリングするために、第2の信頼度閾値を使用することができる。
このとき、処理ロジック(例:ピーク検索モジュール406)は、検出閾値を調整するために、ターゲットの推定位置に対応する周波数のサブセット(すなわちターゲット帯域周波数範囲)内の検出閾値を減少させることができる。一実施形態では、ターゲット帯域周波数範囲は、推定ターゲット位置に対応する周波数近くの事前に定義された周波数範囲である。別の実施形態では、処理ロジック(例:ピーク検索モジュール406)は、第2のターゲットの推定位置に関連する信頼度値に基づいてターゲット帯域周波数範囲の幅を決定する。
このとき、処理ロジック(例:ピーク検索モジュール406)は、検出閾値を調整するために、ターゲットの推定位置に対応する周波数のサブセット(すなわちターゲット帯域周波数範囲)内の検出閾値を減少させることができる。一実施形態では、ターゲット帯域周波数範囲は、推定ターゲット位置に対応する周波数近くの事前に定義された周波数範囲である。別の実施形態では、処理ロジック(例:ピーク検索モジュール406)は、第2のターゲットの推定位置に関連する信頼度値に基づいてターゲット帯域周波数範囲の幅を決定する。
操作(ステップ)808では、処理ロジック(例:ピーク検索モジュール406)は、第1のターゲットを検出するための周波数のサブセットの外側で第2の信頼度閾値を第1の信頼度閾値に戻す。
一実施形態では、処理ロジック(例:ピーク検索モジュール406)は、第2のターゲットの現在の検出のピークと、減少した第2の信頼度閾値とを比較することができる。一実施形態において、ピークが減少した第2の信頼度閾値を超えていると判断した場合、処理ロジック(例:ピーク検索モジュール406)は、現在の検出に基づいてターゲットの実際の位置を決定する。
一実施形態では、処理ロジック(例:ピーク検索モジュール406)は、ターゲットの1つまたは複数の前の検出が弱い検出信号を含むかどうかを判断することができる。処理ロジック(例:ピーク検索モジュール406)は、さらに、ターゲットの1つまたは複数の前の検出が弱い検出信号を含むと判断した場合に、推定ターゲット位置を決定し、検出閾値を調整することができる。
一実施形態では、処理ロジック(例:ピーク検索モジュール406)は、第2のターゲットの現在の検出のピークと、減少した第2の信頼度閾値とを比較することができる。一実施形態において、ピークが減少した第2の信頼度閾値を超えていると判断した場合、処理ロジック(例:ピーク検索モジュール406)は、現在の検出に基づいてターゲットの実際の位置を決定する。
一実施形態では、処理ロジック(例:ピーク検索モジュール406)は、ターゲットの1つまたは複数の前の検出が弱い検出信号を含むかどうかを判断することができる。処理ロジック(例:ピーク検索モジュール406)は、さらに、ターゲットの1つまたは複数の前の検出が弱い検出信号を含むと判断した場合に、推定ターゲット位置を決定し、検出閾値を調整することができる。
図9は、LIDARシステム100またはLIDARシステム300などのLIDARシステムにおける信号処理系900(例:前述の図4に関して図示および説明した信号処理装置303と同様)のブロック図である。
信号処理系900には、任意のタイプの汎用プロセッサ、またはLIDARシステムで使用するために設計された特殊な目的のプロセッサであるプロセッサ901が含まれる。
プロセッサ901は、任意のタイプの非一時的なコンピュータ可読媒体(例えば、RAM、ROM、PROM、EPROM、EEPROM、フラッシュメモリ、磁気ディスクメモリ、または光ディスクメモリ)であるメモリ902と接続されている。メモリ902には、LIDARシステム内でプロセッサ901によって実行されると、ここで説明される方法をLIDARシステムに実行させる命令が含まれる。
具体的には、メモリ902には、周波数範囲内の複数のターゲットから第1のターゲットを検出するために第1の信頼度閾値を決定するための命令904が含まれ、この周波数範囲は複数のターゲットに対応する異なる周波数を含む。
また、メモリ902には、第2のターゲットを検出するために周波数範囲内で周波数のサブセットを決定する命令906が含まれており、この第2のターゲットは、同周波数のサブセットで第1の信頼度閾値よりも弱い信号を送信するものである。
また、メモリ902には、第2のターゲットを検出するために同周波数のサブセット内で第1の信頼度閾値を第2の信頼度閾値に調整する命令908が含まれる。
さらに、メモリ902には、第1のターゲットを検出するために同周波数のサブセット外で第2の信頼度閾値を第1の信頼度閾値に戻す命令910が含まれる。
信号処理系900には、任意のタイプの汎用プロセッサ、またはLIDARシステムで使用するために設計された特殊な目的のプロセッサであるプロセッサ901が含まれる。
プロセッサ901は、任意のタイプの非一時的なコンピュータ可読媒体(例えば、RAM、ROM、PROM、EPROM、EEPROM、フラッシュメモリ、磁気ディスクメモリ、または光ディスクメモリ)であるメモリ902と接続されている。メモリ902には、LIDARシステム内でプロセッサ901によって実行されると、ここで説明される方法をLIDARシステムに実行させる命令が含まれる。
具体的には、メモリ902には、周波数範囲内の複数のターゲットから第1のターゲットを検出するために第1の信頼度閾値を決定するための命令904が含まれ、この周波数範囲は複数のターゲットに対応する異なる周波数を含む。
また、メモリ902には、第2のターゲットを検出するために周波数範囲内で周波数のサブセットを決定する命令906が含まれており、この第2のターゲットは、同周波数のサブセットで第1の信頼度閾値よりも弱い信号を送信するものである。
また、メモリ902には、第2のターゲットを検出するために同周波数のサブセット内で第1の信頼度閾値を第2の信頼度閾値に調整する命令908が含まれる。
さらに、メモリ902には、第1のターゲットを検出するために同周波数のサブセット外で第2の信頼度閾値を第1の信頼度閾値に戻す命令910が含まれる。
前述した説明では、本発明の実施形態を理解しやすくするために、特定のシステム、構成要素、方法などの具体例を複数示しているが、当業者であればこれらの具体例の説明がなくても本発明を実施しうる。また、公知の構成要素や方法はその詳細が省略されていたり、単純なブロック図の形式で示されることがあるが、これは本発明の理解を容易にするためである。したがって、開示された内容は単に例示であり、一事例は他の例示と異なる場合があっても、本発明の範囲内に含まれると考えられる。
本明細書において「一実施形態」または「実施形態」という表現が使用される場合、それらの実施形態に関連して説明された特定の特徴、構造、または特性が少なくとも一つの実施形態に含まれていることを意味する。したがって、本明細書のいくつかの箇所で「一実施形態において」または「実施形態において」という表現が現れている場合、必ずしも同じ実施形態を示すものではない。
ここで説明されている方法の操作は特定の順序で示されているが、各方法の操作の順序は変更されることがあり、特定の操作を逆順で行ってもよいし、少なくとも一部の操作を他の操作と同時に行ってもよい。異なる操作の指示または補助的な操作は、断続的または交互に行うことができる。
上記に記載されている発明の実施例についての説明(要約に記載されている内容を含む)は、詳細で網羅的であることを意図しているものではなく、開示された具体的形態に限定するものでもない。本発明の具体的な実施態様および実施例は、例示の目的で本明細書に記載されているが、当業者が認識する範囲で種々の同等な変更を行うことができる。
ここで使用される「例」または「例示的」の語は、例、実例または説明として役立つことを意味するために使用されている。本明細書において「例」または「例示」と説明された態様または設計は、必ずしも他の態様または設計よりも好ましいまたは有利であると解釈されるべきではない。むしろ、「例」または「例示」という用語の使用は、概念を具体的な形で示すことを意図している。
本明細書において使用される「または」の用語は、排他的な「または」ではなく、包括的な「または」として解釈されることを意図している。
つまり、特に指定されていない限り、あるいは文脈から明らかでない限り、「XはAまたはBを含む」という表現は、自然な包括的順列のいずれかを意味する。つまり、XがAを含む場合、XがBを含む場合、あるいはXがAおよびBの両方を含む場合、前述のいずれの場合にも、「X はAまたはBを含む」という条件を満たすことになる。
さらに、本明細書および添付された特許請求の範囲で使用される冠詞「a」および「an」は、特に指定されていない限り、文脈から単数形であることが明らかでない場合には「1つまたは複数」を意味するものと解釈される。
さらに、本明細書において「第1」、「第2」、「第3」、「第4」のような用語が使用される場合、これらの用語は異なる要素を区別するための識別子として使用されるもので、数字の指定に従って必ずしも順序を示すものではない。
ここで使用される「例」または「例示的」の語は、例、実例または説明として役立つことを意味するために使用されている。本明細書において「例」または「例示」と説明された態様または設計は、必ずしも他の態様または設計よりも好ましいまたは有利であると解釈されるべきではない。むしろ、「例」または「例示」という用語の使用は、概念を具体的な形で示すことを意図している。
本明細書において使用される「または」の用語は、排他的な「または」ではなく、包括的な「または」として解釈されることを意図している。
つまり、特に指定されていない限り、あるいは文脈から明らかでない限り、「XはAまたはBを含む」という表現は、自然な包括的順列のいずれかを意味する。つまり、XがAを含む場合、XがBを含む場合、あるいはXがAおよびBの両方を含む場合、前述のいずれの場合にも、「X はAまたはBを含む」という条件を満たすことになる。
さらに、本明細書および添付された特許請求の範囲で使用される冠詞「a」および「an」は、特に指定されていない限り、文脈から単数形であることが明らかでない場合には「1つまたは複数」を意味するものと解釈される。
さらに、本明細書において「第1」、「第2」、「第3」、「第4」のような用語が使用される場合、これらの用語は異なる要素を区別するための識別子として使用されるもので、数字の指定に従って必ずしも順序を示すものではない。
Claims (20)
- 光検出および測距(LIDAR)システムであって、:
ターゲットに向けて光ビームを送信し、同ターゲットからのリターン信号を受信する光スキャナと、;
前記光スキャナに接続され、前記リターン信号から前記ターゲットの距離に依存する周波数を含む、時間領域のベースバンド信号を生成する光学処理装置と、;
前記光学処理装置に接続される信号処理装置と、を備えており、
前記信号処理装置は、
プロセッサと、;
同プロセッサに機能的に連携するメモリであって、前記プロセッサにより実行されると、前記LIDARシステムに以下の動作を行わせる命令を格納するメモリと、を含む、LIDARシステム。
a.周波数範囲内の複数のターゲットから第1のターゲットを検出するために、第1の信頼度閾値を決定する。前記周波数範囲は、前記複数のターゲットに対応する複数の異なる周波数を含む。;
b.第2のターゲットを検出するために、前記周波数範囲内の周波数のサブセットを決定する。前記第2のターゲットは、前記周波数のサブセット内で前記第1の信頼度閾値よりも弱い信号を送信する。;
c.前記周波数のサブセット内で前記第2のターゲットを検出するために、前記第1の信頼度閾値を第2の信頼度閾値に調整する。;および
d.前記周波数のサブセット外で第1のターゲットを検出するために、前記第2の信頼度閾値を前記第1の信頼度閾値に戻す。 - 請求項1に記載のシステムであって、前記第1の信頼度閾値を決定するために、前記プロセッサは、さらに、以下の処理を行う、LIDARシステム。
a.前記周波数範囲にわたってノイズ推定値を決定する;および
b.各周波数の信号強度と、前記周波数範囲にわたる前記ノイズ推定値との差を算出する。 - 請求項2に記載のシステムであって、
前記第1の信頼度閾値は、ターゲット検出の信頼度値を提供する、信号対ノイズ比または尤度比の少なくとも一方に基づく、LIDARシステム。 - 請求項1に記載のシステムであって、
前記第2のターゲットを検出するための、前記周波数範囲における前記周波数のサブセットを決定するために、前記プロセッサは、前記第2のターゲットの推定位置に基づいて前記周波数のサブセットを決定する、LIDARシステム。 - 請求項4に記載のシステムであって、
前記プロセッサは、さらに、
前記時間領域または周波数領域における前記第2のターゲットの前の検出を特定し、かつ、
前記第2のターゲットの前の検出に基づいて前記第2のターゲットの推定位置を決定する、LIDARシステム。 - 請求項4に記載のシステムであって、
前記第2のターゲットの推定位置を決定するために、前記プロセッサは:
前記第2のターゲットに関連するポイントクラウド情報を特定し、かつ、
前記ポイントクラウド情報に基づいて前記第2のターゲットの推定位置を決定する、LIDARシステム。 - 請求項1に記載のシステムであって、
前記周波数のサブセットは、前に検出された前記第2のターゲットの位置に対応する事前に定義された周波数範囲を含む、LIDARシステム。 - 以下のステップa~dを含む方法。:
a.周波数範囲内の複数のターゲットから第1のターゲットを検出するために、第1の信頼度閾値を決定する。前記周波数範囲は、前記複数のターゲットに対応する複数の異なる周波数を含む。
b.第2のターゲットを検出するために、前記周波数範囲内の周波数のサブセットをプロセッサによって決定する。前記第2のターゲットは、前記周波数のサブセット内で前記第1の信頼度閾値よりも弱い信号を送信する。
c.前記周波数のサブセット内で前記第2のターゲットを検出するために、前記プロセッサによって前記第1の信頼度閾値を第2の信頼度閾値に調整する。
d.前記周波数のサブセット外で前記第1のターゲットを検出するために、前記第2の信頼度閾値を前記第1の信頼度閾値に戻す。 - 請求項8に記載の方法であって、
前記第1の信頼度閾値を決定する手順は、以下を含む、方法。
a.前記周波数範囲にわたってノイズ推定値を決定する;および
b.各周波数の信号強度と、前記周波数範囲にわたる前記ノイズ推定値との差を算出する。 - 請求項9に記載の方法であって、
前記第1の信頼度閾値は、ターゲット検出の信頼度値を提供する、信号対ノイズ比または尤度比の少なくとも一方に基づく、方法。 - 請求項8に記載の方法であって、
前記第2のターゲットを検出するための、前記周波数範囲における前記周波数のサブセットを決定する手順は、前記第2のターゲットの推定位置に基づいて前記周波数のサブセットを決定することを含む、方法。 - 請求項11に記載の方法であって、さらに、
時間領域または周波数領域における前記第2のターゲットの前の検出を特定し、かつ、
前記第2のターゲットの前の検出に基づいて前記第2のターゲットの推定位置を決定する、方法。 - 請求項11に記載の方法であって、
前記第2のターゲットの推定位置を決定する手順は、
前記第2のターゲットに関連するポイントクラウド情報を特定し、かつ、
前記ポイントクラウド情報に基づいて前記第2のターゲットの推定位置を決定する、方法。 - 請求項8に記載の方法であって、
前記周波数のサブセットは、前に検出された前記第2のターゲットの位置に対応する事前に定義された周波数範囲を含む、方法。 - 請求項8に記載の方法であって、
前記第1の信頼度閾値を調整する手順は、前記第2のターゲットの推定位置に対応する前記周波数のサブセット内で、前記第1の信頼度閾値を前記第2の信頼度閾値に減少させることを含む、方法。 - 請求項15に記載の方法であって、さらに、
前記第2のターゲットの推定位置に関連する信頼度値に基づいて、前記第2のターゲットの推定位置に対応する前記周波数のサブセットを決定することを含む、方法。 - 請求項8に記載の方法であって、さらに、以下a~cを含む、方法。:
a.前記第2のターゲットの1つまたは複数の前の検出が弱い検出信号を含むかどうかを判定する;
b.前記第2のターゲットの推定位置を決定する;および
c.前記第2のターゲットの1つまたは複数の前の検出が弱い検出信号を含むと判定した場合、前記第1の信頼度閾値を調整する。 - 光検出と測距(LIDAR)システムであって、:
光ビームを送信し、同光ビームの反射からの複数のリターン信号を受信する光スキャナと、;
前記光スキャナに接続され、複数のリターン信号から電気信号を生成する光学処理装置と、;
前記光学処理装置に接続される信号処理装置と、を備えており、
前記信号処理装置は、
プロセッサと、;
同プロセッサに機能的に連携するメモリであって、前記プロセッサにより実行されると、前記LIDARシステムに以下の動作を行わせる命令を格納するメモリと、を含む、LIDARシステム。
a.前記電気信号の周波数範囲に対して第1のターゲットを検出するために、第1の信頼度閾値を決定する。;
b.第2のターゲットに関連するコンテキスト情報に基づいて前記第2のターゲットの位置を推定する。;および
c.前記第2のターゲットを検出するために、第2の信頼度閾値を決定する。ここで、第2の信頼度閾値は、前記周波数範囲の周波数のサブセットに対して決定されるものであり、前記周波数のサブセットは、前記第2のターゲットの推定位置に対応するものである。 - 請求項18記載のLIDARシステムであって、
前記第2の信頼度閾値は、前記第1の信頼度閾値よりも小さく設定される、LIDARシステム。 - 請求項18記載のLIDARシステムであって、
前記周波数のサブセットは、前記第2のターゲットの推定位置と、同第2のターゲットの推定位置に関連する信頼度値とに基づいて決定される、LIDARシステム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063093621P | 2020-10-19 | 2020-10-19 | |
US63/093,621 | 2020-10-19 | ||
US17/339,737 US11385351B2 (en) | 2020-10-19 | 2021-06-04 | Techniques for automatically adjusting detection threshold of FMCW LIDAR |
US17/339,737 | 2021-06-04 | ||
PCT/US2021/055082 WO2022086793A1 (en) | 2020-10-19 | 2021-10-14 | Techniques for automatically adjusting detection threshold of fmcw lidar |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023546169A true JP2023546169A (ja) | 2023-11-01 |
Family
ID=81186122
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023523593A Pending JP2023546169A (ja) | 2020-10-19 | 2021-10-14 | Fmcw-lidarシステムにおける検出閾値を自動調整するための技術 |
Country Status (6)
Country | Link |
---|---|
US (2) | US11385351B2 (ja) |
EP (1) | EP4229445A1 (ja) |
JP (1) | JP2023546169A (ja) |
KR (1) | KR20230087580A (ja) |
CN (1) | CN116420091A (ja) |
WO (1) | WO2022086793A1 (ja) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10571571B2 (en) * | 2010-11-12 | 2020-02-25 | Texas Instruments Incorporated | Method and apparatus for controlling time of flight confidence map based depth noise and depth coverage range |
US11360215B2 (en) * | 2018-12-20 | 2022-06-14 | Gm Cruise Holdings Llc | Lidar system that is configured to compute ranges with differing range resolutions |
DE112020001131T5 (de) * | 2019-03-08 | 2022-01-27 | Osram Gmbh | Komponente für ein Lidar-Sensorsystem, Lidar-Sensorsystem, Lidar-Sensorgerät, Verfahren für ein Lidar-Sensorsystem und Verfahren für ein Lidar-Sensorgerät |
US11366206B2 (en) * | 2019-03-18 | 2022-06-21 | Aeva, Inc. | Lidar apparatus with an optical amplifier in the return path |
US11604284B2 (en) * | 2019-05-06 | 2023-03-14 | Waymo Llc | Methods and systems to determine a strategy for a drop process associated with a light detection and ranging (LIDAR) device |
US20210191399A1 (en) * | 2019-12-23 | 2021-06-24 | Waymo Llc | Real-Time Adjustment Of Vehicle Sensor Field Of View Volume |
US20220244395A1 (en) * | 2020-03-03 | 2022-08-04 | Waymo Llc | Calibration and Localization of a Light Detection and Ranging (Lidar) Device Using a Previously Calibrated and Localized Lidar Device |
-
2021
- 2021-06-04 US US17/339,737 patent/US11385351B2/en active Active
- 2021-10-14 CN CN202180071189.1A patent/CN116420091A/zh active Pending
- 2021-10-14 KR KR1020237016356A patent/KR20230087580A/ko unknown
- 2021-10-14 WO PCT/US2021/055082 patent/WO2022086793A1/en active Application Filing
- 2021-10-14 EP EP21806089.5A patent/EP4229445A1/en active Pending
- 2021-10-14 JP JP2023523593A patent/JP2023546169A/ja active Pending
-
2022
- 2022-07-11 US US17/861,745 patent/US20220342072A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
CN116420091A (zh) | 2023-07-11 |
US20220342072A1 (en) | 2022-10-27 |
EP4229445A1 (en) | 2023-08-23 |
US11385351B2 (en) | 2022-07-12 |
KR20230087580A (ko) | 2023-06-16 |
WO2022086793A1 (en) | 2022-04-28 |
US20220120903A1 (en) | 2022-04-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10884130B1 (en) | LIDAR system noise calibration and target detection | |
US11982762B2 (en) | Techniques to use power spectrum density in coherent lidar systems | |
US11360214B2 (en) | Techniques for ghosting mitigation in coherent lidar systems | |
US20230213651A1 (en) | Techniques for ghosting mitigation in coherent lidar systems using multiple chirp rates | |
US20220397668A1 (en) | Techniques for peak detection in a lidar system | |
US11513201B2 (en) | Techniques for ghosting mitigation in coherent lidar systems using in-phase/quadrature phase (IQ) processing | |
US20220128665A1 (en) | Techniques to associate peaks in multi-target scenarios in coherent lidar systems | |
WO2022204428A1 (en) | Techniques for ghosting mitigation in coherent lidar systems using multiple chirp rates | |
JP2023546169A (ja) | Fmcw-lidarシステムにおける検出閾値を自動調整するための技術 | |
US20230089732A1 (en) | Techniques for ghosting mitigation in coherent lidar systems using in-phase/quadrature phase (iq) processing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230418 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231108 |