JP2023547877A - コヒーレントlidarシステムにおける複数ターゲットのピーク関連付け技術 - Google Patents

コヒーレントlidarシステムにおける複数ターゲットのピーク関連付け技術 Download PDF

Info

Publication number
JP2023547877A
JP2023547877A JP2023524855A JP2023524855A JP2023547877A JP 2023547877 A JP2023547877 A JP 2023547877A JP 2023524855 A JP2023524855 A JP 2023524855A JP 2023524855 A JP2023524855 A JP 2023524855A JP 2023547877 A JP2023547877 A JP 2023547877A
Authority
JP
Japan
Prior art keywords
peak
group
peaks
frequency
indicators
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023524855A
Other languages
English (en)
Inventor
クマール バルガブ ビスワナサ
ペリン ホセ クラウス
ラジェンドラ ツシャール ムートリ
ミナ レズク
Original Assignee
エヴァ インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by エヴァ インコーポレイテッド filed Critical エヴァ インコーポレイテッド
Publication of JP2023547877A publication Critical patent/JP2023547877A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4817Constructional features, e.g. arrangements of optical elements relating to scanning
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/32Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/34Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491Details of non-pulse systems
    • G01S7/4912Receivers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491Details of non-pulse systems
    • G01S7/493Extracting wanted echo signals

Abstract

この方法は、光検出および測距(LIDAR)システムの視野内の複数のターゲットに向けて異なる周波数チャープを含む複数の光ビームを送信し、かつ、ターゲットの反射から異なる周波数チャープを含む複数のリターン信号を受信する。次いで、前記リターン信号に基づいて周波数領域のベースバンド信号を生成する。ここで、このベースバンド信号は、それぞれアップチャープ周波数に関連付けられた第1ピーク群と、それぞれダウンチャープ周波数に関連付けられた第2ピーク群とを含む。次いで、前記第1ピーク群の各ピークおよび前記第2ピーク群の各ピークに関連付けられる、マッチングのための1つまたは複数の指標を生成する。そして、この指標を使用して前記第1ピーク群の各ピークと、前記第2ピーク群の各ピークとのペアリングを行い、これに基づいて前記複数のターゲットを識別する。【選択図】図8

Description

本願は、米国特許法第119条(e)に基づき、2021年6月4日に出願された米国特許出願第17/339,763号および2020年10月22日に出願された米国仮特許出願第63/104,372号の優先権を主張するものであり、それら全内容は参照により本明細書に組み込まれる。
本発明は、光検出および測距(LIDAR)システム全般に関連するものであり、詳しくは、コヒーレントLIDARシステムにおける複数ターゲット状況のピークを関連付ける技術に関する。
周波数変調連続波(FMCW)LIDARシステムは、ターゲットの周波数チャープ照射のための波長可変な赤外線レーザと、ターゲットからの後方散乱光または反射光とを検出するためのコヒーレント受信器とを使用する。ターゲットからの後方散乱光または反射光は、コヒーレント受信器で送信信号のローカルコピーに組み合わされた信号になる。つまり、ローカルコピーと、ターゲットまでの往復時間だけ遅延したリターン信号とを混合することで、受信器においてシステムの視野内の各ターゲットまでの距離に比例する周波数をもつ信号が生成される。
このようなLIDARシステムにおいて、周波数のアップスイープとダウンスイープは、検出されたターゲットの距離と速度を検出するために使用されることがある。しかしながら、複数のターゲットが存在する状況では、各ターゲットに対しそれぞれ対応するピークを正確に関連付けることが難しくなるという問題が発生する。
以下、本発明の態様、すなわち、複数ターゲット状況でピークを正確に関連付けるためのLIDARシステムおよびその方法に係る発明の各態様について説明する。
本発明の一態様による方法は、以下のステップa~eを含む。
a.光検出および測距(LIDAR)システムの視野内の複数のターゲットに向けて、異なる周波数チャープを含む複数の光ビームを送信する。;
b.前記複数のターゲットからの反射に基づいて複数のリターン信号を受信する。この複数のリターン信号は、異なる周波数チャープを含む。;
c.前記複数のリターン信号に基づいて周波数領域のベースバンド信号を生成する。このベースバンド信号は、それぞれアップチャープ周波数に関連付けられた第1ピーク群と、それぞれダウンチャープ周波数に関連付けられた第2ピーク群とを含む。;
d.前記第1ピーク群の各ピークおよび前記第2ピーク群の各ピークに関連付けられる、マッチングのための1つまたは複数の評価指標(以下、指標と称する。)をプロセッサによって生成する。;および
e.前記1つまたは複数の指標を使用することにより、前記第1ピーク群の各ピークと前記第2ピーク群の各ピークとのペアリングを行い、このペアリングに基づいて前記プロセッサによって前記複数のターゲットを識別する。
本発明の一態様の方法において、前記1つまたは複数の指標は、前記第1ピーク群の各ピークと、前記第2ピーク群の各ピークとの間で同様に演算されたピーク形状を含む。
また、前記同様に演算されたピーク形状は、前記第1ピーク群の各ピークと前記第2ピーク群の各ピークとを比較するときの相関器の出力を含む。
さらに、前記1つまたは複数の指標は、さらに、ピーク強度、ピーク幅、エゴ速度(自己運動速度)、および生のピーク周波数のうちの少なくとも1つを含む。
本発明の一態様による方法は、さらに以下のステップaおよびbを含む。
a.前記第1ピーク群および前記第2ピーク群に対する前記1つまたは複数の指標を組み合わせて複合指標を生成する。;および
b. 前記第1ピーク群および前記第2ピーク群に対する前記複合指標に基づいて、前記複数のターゲットを識別する。

本発明の一態様において、前記1つまたは複数の指標を組み合わせて前記複合指標を生成する手順は、以下のステップaおよびbを含む。
a.前記1つまたは複数の指標の各々に重み付けを行い、重み付き指標を生成する。;および
b.前記1つまたは複数の重み付き指標を加算して、前記1つまたは複数の指標の重み付き合計を生成する。
本発明の一態様による方法において、前記複数のターゲットを識別する手順は、以下のステップを含む。
前記第1ピーク群の各ピークと、前記第2ピーク群の各ピークとのペアリングに関連したコスト関数を最小化する最適化アルゴリズムを実行する。ここで、このコスト関数は、前記第1ピーク群の各ピークと、前記第2ピーク群の各ピークとのペアリングに対する前記1つまたは複数の指標の合計に対応する。
本発明の一態様による方法は、さらに以下のステップaおよびbを含む。
a.前記第1ピーク群の各ピークと、前記第2ピーク群の各ピークとに対する近傍データポイント群を特定する。;および
b.前記第1ピーク群の各ピークと、前記第2ピーク群の各ピークとに対する前記近傍データポイント群に基づいて、さらに前記複数のターゲットを識別する。
本発明の一態様の方法において、前記近傍データポイント群は、方位空間、仰角空間、三次元空間、または時間空間における、前記第1ピーク群の各ピークと、前記第2ピーク群の各ピークとに近接する1つまたは複数のデータポイントを含む。
本発明の一態様の方法は、さらに以下のステップa~cを含む。
a.前記第1ピーク群のピーク数である第1ピーク数が、前記第2ピーク群のピーク数である第2ピーク数と異なることを判定する。;そして、
第1ピーク数が第2ピーク数と異なると決定した応答として:
b.前記アップチャープ周波数または前記ダウンチャープ周波数のいずれかによって余分なピークが検出されていることに基づいて、前記複数のターゲットを識別する。
c.または、前記応答として、前記アップチャープ周波数または前記ダウンチャープ周波数のいずれかの検出が欠落していることに基づいて、前記複数のターゲットを識別する。
本発明の一態様による光検出および測距(LIDAR)システムは、
LIDARシステムの視野内の複数のターゲットに向けて異なる周波数チャープを含む複数の光ビームを送信し、かつ、前記複数の光ビームの反射から異なる周波数チャープを含む複数のリターン信号を受信する光スキャナと、
前記光スキャナに接続され、前記複数のリターン信号からLIDARターゲット距離に依存する周波数を含む電気信号を生成する光学処理装置と、
前記光学処理装置に接続される信号処理装置と、を備えており、
前記信号処理装置は、
プロセッサと、
前記プロセッサにより実行されると、前記LIDARシステムに以下の動作a~cを行わせる命令を格納するメモリと、を含む。
a.前記複数のリターン信号から生成された前記電気信号に基づいて周波数領域のベースバンド信号を生成する。ここで、前記ベースバンド信号は、それぞれるアップチャープ周波数に関連付けられた第1ピーク群と、それぞれダウンチャープ周波数に関連付けられた第2ピーク群とを含む。;
b.前記ベースバンド信号における前記第1ピーク群の各ピークおよび前記第2ピーク群の各ピークに関連付けられる、マッチングのための1つまたは複数の指標を生成する。;および
c.前記1つまたは複数の指標を使用することにより、前記第1ピーク群の各ピークと前記第2ピーク群の各ピークとのペアリングを行い、このペアリングに基づいて前記複数のターゲットを識別する。
本発明の一態様による光検出および測距(LIDAR)システムは、
LIDARシステムの視野内の複数のターゲットに向けて異なる周波数チャープを含む複数の光ビームの各々を送信し、かつ、前記複数の光ビームの反射から異なる周波数チャープを含む複数のリターン信号を受信する光スキャナと、
前記光スキャナに接続され、前記複数のリターン信号からLIDARターゲット距離に依存する周波数を含む電気信号を生成する光学処理装置と、
前記光学処理装置に接続される信号処理装置と、を備えており、
前記信号処理装置は、
プロセッサと、
前記プロセッサにより実行されると、前記LIDARシステムに以下の動作a~cを行わせる命令を格納するメモリと、を含む。
a.前記電気信号におけるピーク群であって、それぞれアップチャープ周波数に関連付けられた第1ピーク群と、それぞれダウンチャープ周波数に関連付けられた第2ピーク群とを特定する。
b.前記第1ピーク群の各ピークおよび前記第2ピーク群の各ピークに関連付けられる、マッチングのための1つまたは複数の指標を決定する。;および
c.前記1つまたは複数の指標に基づいて、前記第1ピーク群の各ピークと、前記第2ピーク群の各ピークとを関連付けることによって複数のピークペアを生成する。
d.前記複数のピークペアに基づいて前記1つまたは複数のターゲットを識別する。
本発明の種々の態様を明確にするために、後述の詳細な説明(実施形態)で参照される図面を示す。なお図中の同一の符号は同一の要素である。
本発明の実施形態によるLIDARシステムを示すブロック図である。
本発明の実施形態によるLIDAR波形の一例を示す時間-周波数図である。
本発明の実施形態によるLIDARシステムを示すブロック図である。
本発明の実施形態によるLIDARシステムの電気光学系を示すブロック図である。
本発明の実施形態による信号処理装置を示すブロック図である。
本発明の実施形態による、複数のターゲット状況の信号ピークを示す信号強度-周波数図である。
本発明の実施形態による、ピーク関連付けに用いられるターゲットのピーク類似波形の具体例を示す信号強度-周波数図である。
本発明の実施形態による、ピーク毎に演算された指標を使用するピーク関連付け処理系を示すブロック図である。
本発明の本実施形態による、相関器に基づく指標を生成するための相関処理系を示すブロック図である。
本発明の本実施形態による信号ピークの関連付け方法を示すフローチャートである。
本発明の実施形態による信号処理系を示すブロック図である。
以下、本発明の実施形態によるLIDARシステムおよびその方法、すなわち、複数ターゲット状況の各ピークを関連付けるLIDARシステムおよびその方法について説明する。
本発明の実施形態におけるLIDARシステムは、輸送、製造、計測、医療、仮想現実(バーチャル・リアリティ)、拡張現実(AR)、セキュリティシステムなど、任意のセンシング市場において実施することができるが、これらに限定されるものではない。その他、実施形態で説明されるLIDARシステムは、自動運転支援システムや自動運転車の空間認識を支援する周波数変調連続波(FMCW)デバイスのフロントエンドの一部として実装される。
ここで説明される実施形態のLIDARシステムは、コヒーレントスキャン技術を使用して、ターゲットから返ってくる信号(リターン信号)を検出し、コヒーレントヘテロダイン信号(異なる周波数の信号同士を組み合わせたもの)を生成する。そして、この信号から、ターゲットの距離と速度情報を取得することができる。
このような信号(1つまたは複数の信号)は、周波数のアップスイープ(アップチャープ)と周波数のダウンスイープ(ダウンチャープ)を含むことがある。これらは、単一の光源から出力される場合も、別々の光源から出力される場合もある(つまりアップスイープを出力する光源と、ダウンスイープを出力する光源とが異なる場合もある。)。その結果、アップチャープによる周波数ピークおよびダウンチャープによる周波数ピークの2つの異なるピークをターゲットに関連付け、ターゲットの距離と速度を決定するために使用することができる。
複数のターゲットが存在する状況では、それぞれのターゲットに対して一組ずつセットで関連付けられるべき複数の周波数ピークのペアが存在する場合がある。しかしながら、このようなケースでは、複数のターゲット状況から生成される多数のピークペアの組み合わせが存在し得るため、正しいピークペアを最適に関連付けることが困難になることがある。
本発明の実施形態によれば、本明細書に開示される技術を使用することで、特に、各ピークおよび想定されるピークペアのために指標(評価指標)を設定し、この設定された指標に基づいて関連付けアルゴリズムを実行することで上記の問題を解決することができる。各ピークおよび想定されるピークペアのためのいくつかの指標は、関連付けアルゴリズムを実行するために組み合わせることができる。このように、想定されるピークペアごとに設定された複数の指標を使用することで、ピークのペアを最適に関連付けることができる。
図1は、一実施態様によるLIDARシステム100を示している。
LIDARシステム100は、多数の構成要素のいずれか1つまたは複数を含むが、図1に示すよりも少ない構成要素または追加の構成要素を含んでもよい。一態様では、図1に示された構成要素の1つ以上は、フォトニクス・チップ上に実装することができる。光学回路101には、能動光学構成要素と受動光学構成要素との組み合わせが含まれている。一部の例では、能動光学構成要素は、異なる波長の光ビームを有し、1つ以上の光増幅器、1つ以上の光検出器などを含んでいる。
自由空間光学系115は、光信号を伝送し、能動光回路の適切な入力/出力ポートに光信号をルーティングして操作するための1つ以上の光導波路を含む。自由空間光学系115にはまた、タップ、波長分割マルチプレクサ(WDM)、スプリッタ/コンバイナ、偏光ビームスプリッタ(PBS)、コリメータ、カプラ、ファラデー回転子のような非可逆要素などの1以上の光学構成要素が含まれている。一態様では、自由空間光学系115には、偏光状態を変換し、受信した偏光を、例えば、PBSを使用して光検出器に導くための構成要素が含まれている。また、自由空間光学系115には、異なる周波数を有する光ビームを軸(例:高速軸)に沿って異なる角度で偏向させる回折素子がさらに含まれる場合がある。
本実施形態のLIDARシステム100は、1つ以上のスキャニングミラーを有する光スキャナ102を備えている。これらのスキャニングミラーは、スキャニングパターンに従って環境をスキャンする光信号を誘導するために、回折素子の高速軸に直交または実質的に直交する軸(例:低速軸)に沿って回転可能になっている。例えば、スキャニングミラーは、1つ以上のガルバノメータによって回転可能である。
光スキャナ102はまた、環境内の任意の物体に反射したリターン光ビームを収集し、これを光学回路101の受動光学回路要素に戻すように導く。例えば、リターン光ビームは、偏光ビームスプリッタによって光検出器に向けられる。なお、光スキャナ102には、ミラーやガルバノメータに加えて、1/4波長板、レンズ、反射防止コーティングされた光学窓などが含まれる場合がある。
LIDARシステム100には、光学回路101および光スキャナ102を制御およびサポートするために、LIDAR制御装置110が設けられている。LIDAR制御装置110には、信号処理ユニット112のような処理装置が含まれている。例えば、信号処理ユニット112は、マイクロプロセッサ、中央処理装置などの1つ以上の汎用処理装置であり、具体的には、複合命令セットコンピューティング(CISC)マイクロプロセッサ、縮小命令セットコンピューティング(RISC)マイクロプロセッサ、超長命令語(VLIW)マイクロプロセッサ、または他の命令セットを実装するプロセッサ、または命令セットの組み合わせを実装するプロセッサである。
また、信号処理ユニット112は、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA:現場プログラム可能ゲートアレイ)、デジタル信号プロセッサ(DSP)、ネットワークプロセッサ等の特殊用途処理装置の1つ以上であってもよい。
一態様では、信号処理ユニット112としてデジタル信号プロセッサ(DSP)が用いられる。これにより、LIDAR制御装置110は、光学ドライバ103を制御するためのデジタル制御信号を出力する。そのデジタル制御信号は、信号変換ユニット106を介してアナログ信号に変換される。例えば、信号変換ユニット106には、デジタル/アナログ変換器が含まれる。
光学ドライバ103は、光学回路101の能動光学構成要素に駆動信号を供給し、レーザや増幅器などの光源を駆動する。一態様では、複数の光源を駆動するために、複数の光学ドライバ103および信号変換ユニット106を設けてもよい。
LIDAR制御装置110はまた、光スキャナ102に対してデジタル制御信号を出力するように構成されている。モーション制御装置105は、LIDAR制御装置110から受信した制御信号に基づいて、光スキャナ102のガルバノメータを制御することができる。具体的には、デジタル/アナログ変換器を使用して、LIDAR制御装置110からの座標ルーティング情報を、光スキャナ102のガルバノメータによって処理可能な信号に変換することができる。
一態様では、モーション制御装置105は、光スキャナ102の構成要素の位置または動作に関する情報をLIDAR制御装置110に送り返すこともできる。具体的には、アナログ/デジタル変換器を使用して、ガルバノメータの位置に関する情報をLIDAR制御装置110が処理可能な信号に順次変換することができる。
LIDAR制御装置110は、さらに、入力されたデジタル信号を解析するように構成されている。これに関連して、LIDARシステム100には、光学回路101によって受信された1つ以上のビームを測定するための光受信器104が設けられている。具体的には、光受信器104としての基準ビーム受信器は、能動光学構成要素からの基準ビームの振幅を測定し、アナログ/デジタル変換器により同基準ビーム受信器からの信号を、LIDAR制御装置110によって処理可能な信号に変換する。
また、光受信器104としてのターゲット受信器は、ビート周波数変調光信号の形でターゲットの距離と速度に関する情報を搬送する光信号を計測する。この場合、光信号の反射ビームは、ローカルオシレータの第2の信号と混合されてもよい。光受信器104には、ターゲット受信器からの信号をLIDAR制御装置110によって処理可能な信号に変換する高速アナログ/デジタル変換器を設けることができる。
一態様では、光受信器104からの信号は、LIDAR制御装置110に受信される前に、信号調整ユニット107による信号調整の対象となり得る。例えば、光受信器104からの信号は、リターン信号の増幅のために信号調整ユニット107のオペアンプに供給され、そのオペアンプによって増幅された信号がLIDAR制御装置110に供給されるようにしてもよい。
一部のアプリケーションでは、LIDARシステム100には、環境の画像をキャプチャするように構成された1つ以上の撮像装置108、同システムの地理的位置を提供するように構成された全地球測位システム(GPS)109、または他のセンサ入力を追加的に設けることもできる。
また、LIDARシステム100には画像処理装置114を設けることができる。この場合、同画像処理装置114は、撮像装置108および全地球測位システム(GPS)109から画像および地理的位置を受信し、画像および位置またはそれに関連する情報を、LIDAR制御装置110またはLIDARシステム100に接続された他のシステムに送信するように構成することができる。
一部の実施例による動作では、LIDARシステム100は、非縮退光学光源を用いて2次元で距離および速度を同時に測定するように構成される。この機能により、周囲環境の距離、速度、方位角および仰角について遠距離測定がリアルタイムで可能になる。
一例としてスキャンプロセスは、光学ドライバ103およびLIDAR制御装置110から開始される。LIDAR制御装置110は、光学ドライバ103に1つ以上の光ビームをそれぞれ変調するように指示し、これらの変調信号は光学回路101の受動光学回路を通って自由空間光学系115のコリメータに伝送される。同コリメータは、上記変調信号を光スキャナ102に誘導し、光スキャナ102はモーション制御装置105で定義され事前にプログラムされたパターンで環境をスキャンする。光学回路101には、光が光学回路101を出る際に光の偏光状態を変換する偏光波長板(PWP)を設けてもよい。一例として偏光波板は1/4波板または1/2波板を採用することができる。
偏光された光ビームの一部は、光学回路101に戻るように反射される場合もある。例えば、LIDARシステム100で使用されるレンズ系またはコリメート系は、自然な反射特性または反射コーティングを有する場合があり、これにより光ビームの一部が光学回路101に反射される。
環境から反射された光信号は、光学回路101を通して受信器(光受信器104)に送られる。このとき、光の偏光状態は変換されているため、光学回路101に反射して戻ってきた偏光光の一部とともに偏光ビームスプリッタで反射される。その結果、反射された光信号は、光源と同じ光ファイバまたは導波路には戻らず、それぞれ別の光受信器に反射される。これらの信号は互いに干渉し、混合(合成)された信号を生成する。
ターゲットから戻ってくる各ビーム信号は、時間シフトされた波形を生成し、これら2つの波形間の時間的位相差によって光受信器(光検出器)で計測されるビート周波数が生成される。
そして、その混合された信号は光受信器104に反射されることになる。
光受信器104で受信したアナログ信号は、ADC(アナログ/デジタル変換器)によりデジタル信号に変換される。次いで、同デジタル信号は、LIDAR制御装置110に送信される。
同装置の信号処理ユニット112は、同デジタル信号を受信しそれらを処理する。
一態様では、信号処理ユニット112は、モーション制御装置105およびガルバノメータ(図示されない)から位置データを受信し、画像処理装置114から画像データを受信する。これにより、信号処理ユニット112は、光スキャナ102が追加ポイントをスキャンする際に、環境内のポイントの距離と速度に関する情報を有する3Dポイントクラウドを生成することができる。
信号処理ユニット112はまた、3Dポイントクラウドを画像データと重ね合わせて、周囲の物体の速度および距離を決定する場合もある。
LIDAR制御装置110はさらに衛星ベースのナビゲーション位置データを処理して正確な全地球的位置情報を提供する場合もある。
図2は、一実施形態において、LIDARシステム100のようなLIDARシステムがターゲット環境をスキャンするために使用可能なFMCWスキャニング信号201の時間-周波数図200である。この例において、fFM(t)と表示されたスキャニング信号201は、チャープ帯域幅Δfおよびチャープ周期Tを持つ鋸歯状波形(鋸歯「チャープ」)である。
鋸歯の傾きは、k=(Δf/T)である。
図2にはまた、一実施形態におけるターゲットリターン信号202が示される。fFM(t-Δt)で示されるターゲットリターン信号202は、スキャニング信号201の時間遅延バージョンであり、Δtは、スキャニング信号201によって照射されたターゲットとの間の往復時間である。この往復時間は Δt=2R/v で与えられる。ここで、R はターゲットの距離、v は光ビームの速度である光速cである。
したがって、同ターゲットの距離R は、R=c(Δt/2) として計算できる。
リターン信号202がスキャニング信号と光学的に混合されると、距離依存の差周波数(「ビート周波数」)Δf(t)が生成される。ビート周波数Δf(t)は、鋸歯の傾きkによって時間遅延Δtと線形の関係にある。
つまり、Δf(t)=kΔtとなる。ターゲット距離RはΔtに比例するため、ターゲット距離RはR=(c/2)(Δf(t)/k)として計算することができる。すなわち、距離Rはビート周波数Δf(t)と線形の関係にある。
ビート周波数Δf(t)は、例えば、LIDARシステム100の光受信器104でアナログ信号として生成される。このビート周波数は、例えば、LIDARシステム100の信号調整ユニット107内のアナログ/デジタル変換器(ADC)によってデジタル化される。このようにしてデジタル化されたビート周波数信号は、LIDARシステム100内の信号処理ユニット(例:信号処理ユニット112)でデジタル処理される。
ただし、ターゲットがLIDARシステム100に対して相対速度を有する場合、ターゲットリターン信号202には一般に周波数オフセット(ドップラーシフト)が含まれることに注意する必要がある。ドップラーシフトは別途検出されてリターン信号の周波数を補正するために使用されるため、図2では簡略化と説明の容易化のためドップラーシフトは表示されていない。
また、ADCのサンプリング周波数は、エイリアシングを発生させずにシステムで処理可能な最高のビート周波数に決定されることに注意する必要がある。一般的に処理可能な最高周波数はサンプリング周波数の半分(すなわち「ナイキスト限界」)である。例えば、限定はしないが、ADCのサンプリング周波数が1ギガヘルツである場合、エイリアシングなしで処理できる最高ビート周波数(ΔfRmax)は500メガヘルツである。この限界は、システムの最大ターゲット距離Rmax=(c/2)(ΔfRmax/k)で決まり、これは鋸歯の傾きkを変更することによって調整することができる。
一例では、ADCからのデータサンプルは連続的であってもよいが、後述する後続のデジタル処理は、LIDARシステム100の所定の周期性に関連付けることができる「時間セグメント」に分割することができる。例えば、限定はしないが、時間セグメントは、チャープ周期Tの数、または前述の光スキャナによる方位角方向の回転数に対応する。
本開示の実施形態は、FMCW-LIDAR(LiDAR)に適用することができるが、必ずしもFMCW LiDARに限定されるものではなく、他の形式のコヒーレントLIDAR(LiDAR)に適用することも可能である。
図3Aは、一実施形態によるFMCW-LIDARシステム300を示すブロック図である。LIDARシステム300は、FMCW(周波数変調連続波)赤外線(IR)光ビーム304を送信し、光スキャナ301の視野(FOV)内のターゲット312などから光ビーム304の反射によるリターン信号313を受信する光スキャナ301を備える。
LIDARシステム300はまた、リターン信号313から時間領域でLIDARターゲット距離に応じた周波数を含むベースバンド信号314を生成する光学処理装置302を備える。光学処理装置302には、LIDARシステム100で説明した自由空間光学系115、光学回路101、光学ドライバ103および光受信器104等の構成要素が含まれる場合がある。
LIDARシステム300はさらに、信号処理装置303を備える。この信号処理装置303は、ベースバンド信号314のエネルギーを周波数領域で計測し、このエネルギー計測値をLIDARシステムノイズの推定値と比較して、周波数領域での信号ピークが検出ターゲットを示す尤度を決定するものである。信号処理装置303には、LIDARシステム100における信号変換ユニット106、信号調整ユニット107、LIDAR制御装置110および信号処理ユニット112等の構成要素が含まれる場合がある。
図3Bは、一実施形態によるLIDARシステムの電気光学系350の一例を示すブロック図である。電気光学系350は、図1で説明した光スキャナ102と同様な光スキャナ301を備える。電気光学系350にはまた、上記のように、LIDARシステム100で説明した自由空間光学系115、光学回路101、光学ドライバ103および光受信器104等の構成要素を含む光学処理装置302が含まれる。
光学処理装置302には、周波数変調連続波(FMCW)光ビーム304を生成するための光源305が設けられる。光源305からの光ビーム304は光カプラ306に向けられ、光ビーム304の一部が偏光ビームスプリッタ(PBS)307に送られる。光ビーム304のサンプル308(基準ビーム)は、光カプラ306から光検出器(PD)309に送られる。
PBS307は、偏光による光ビーム304を光スキャナ301に向けるように設定される。光スキャナ301は、電気光学システム350の筐体320内でLIDARウィンドウ311の視野(FOV)310をカバーする方位角および仰角の範囲で、光ビーム304を用いてターゲット環境をスキャンするように設定される。なお図3Bでは説明の簡略化のため方位角スキャンのみが示されている。
図3Bに示すように、光ビーム304は、所定の方位角(または角度範囲)で、LIDARウィンドウ311を通過し、ターゲット312に照射される。ターゲット312からのリターン信号313は、LIDARウィンドウ311を通過し、光スキャナ301によってPBS307に戻される。
リターン信号313は、ターゲット312からの反射により光ビーム304とは異なる偏光をもってPBS307を通して光検出器(PD)309に導かれる。光検出器(PD)309では、リターン信号313が光ビーム304のローカルサンプル308と光学的に混合され、時間領域で距離に依存したベースバンド信号314が生成される。この距離依存のベースバンド信号314は、光ビーム304のローカルサンプル308とリターン信号313との間の周波数差対時間(すなわち、Δf(t))である。
図4は、ベースバンド信号314を処理する信号処理装置303の一実施形態を示す詳細なブロック図である。前述したように、信号処理装置303には、LIDARシステム100の信号変換ユニット106、信号調整ユニット107、LIDAR制御装置110、および信号処理ユニット112等の構成要素が含まれる場合がある。
信号処理装置303は、アナログ/デジタル変換器(ADC)401、時間領域モジュール402、ブロックサンプラ403、離散フーリエ変換(DFT)モジュール404、周波数領域モジュール405、およびピーク検索モジュール406を備える。信号処理装置303の各構成ブロックは、たとえばハードウェア、ファームウェア、ソフトウェア、またはハードウェア、ファームウェア、ソフトウェアを組み合わせて実装することができる。
図4に示すように、時間領域で連続したアナログ信号であるベースバンド信号314は、ADC401によってサンプリングされ、一連の時間領域サンプル315が生成される。時間領域サンプル315は、時間領域モジュール402によって処理され、さらなる処理のために調整される。例えば時間領域モジュール402は、望ましくない信号の成分を取り除くか、後続の処理に適した形にするために、重み付けやフィルタリングを適用することがある。そして、時間領域モジュール402の出力信号(時間領域サンプル)316がブロックサンプラ403に送信される。
ブロックサンプラ403は、出力信号(時間領域サンプル)316をN個のサンプル317(Nは1より大きい整数)のグループに分け、DFTモジュール404に送信する。DFTモジュール404は、N個の時間領域サンプル317のグループを、ベースバンド信号314の帯域幅をカバーする周波数領域のN個の周波数ビンまたはサブバンド318に変換する。N個のサブバンド318は、周波数領域モジュール405に送られて、さらなる処理のために調整される。例えば、周波数領域モジュール405は、ノイズ低減のためにサブバンド318を再サンプリングおよび/または平均化する場合がある。また、周波数領域モジュール405は、信号統計量やシステムノイズ統計量を計算する場合もある。その後、処理されたサブバンド319がピーク検索モジュール406に送られ、LIDARシステム300の視野(FOV)内のターゲットを表す信号ピークが検索されることになる。
図5は、一実施形態における複数のターゲットの信号ピークを示す信号強度-周波数図500の例である。
一実施形態のFMCW-LIDARシステムは、環境をスキャンし、その環境内のターゲットの距離と速度を決定するために、アップチャープとダウンチャープの周波数変調(ここではアップスイープとダウンスイープとも称する。)をそれぞれ生成することができる。一例として、単一の光源によりアップチャープとダウンチャープの両方を生成することができ、また、他の例として同LIDARシステムにアップチャープを含む光ビームを生成する光源と、ダウンチャープを含む光ビームを生成する異なった光源を含むことができる。アップチャープおよびダウンチャープからのリターン信号に対応して生成されたビート周波数(すなわちピーク周波数)を使用することで、信号処理装置(例:図1に示す信号処理ユニット112、および信号処理装置303)は、ターゲットの距離および速度の両方を決定することができる。
一部の実施形態において、信号処理ユニット112は、2つのピークの二つの周波数を合計し、その合計を2で割ることで、ターゲットの距離(つまりLIDARシステムからターゲットまでの距離)を決定することができる。また、信号処理ユニット112は、2つのピーク周波数の差を2で割ることで、ターゲットの速度を決定することができる。
ただし、図5に示すように、上記のようにターゲットを決定する場面では、複数のターゲットが存在する状況が生じる場合があり、結果として複数のピークペアが生じる状況が起こり得る。
図5に示すように、信号処理ユニット112は、LIDARシステムの視野内の2つのターゲットから、複数のピーク周波数(例:サブバンド319のピーク周波数)を特定することがある。例えば、信号処理ユニット112は、ダウンスイープ信号から第1のダウンスイープターゲットピーク520Aおよび第2のダウンスイープターゲットピーク520Bを、そしてアップスイープ信号から第1のアップスイープターゲットピーク525Aおよび第2のアップスイープターゲットピーク525Bを特定することがある。
したがって、信号処理ユニット112は、マッチする可能性のあるピークに対し様々な手段の一つを用いてこれらのピークをマッチングさせることができる。加えて、正しくペアを関連付けるために、信号処理ユニット112は、後述の図7~9で詳しく説明するように、マッチする可能性のある各ピークおよび各ピークペアに対して複数の指標(評価指標)を算出することができる。
例えば、図6に示すように、同一のターゲットに対応するピークは非常に類似した形状をもつことがあり、したがって、信号処理ユニット112はピーク形状に関連した指標を算出し、その算出された指標をターゲットのピークを最適に関連付けるために使用することができる。
しかしながら、後述するように、信号処理ユニット112は、これらのピークに対して他の多くの指標を算出し、これらの指標を各ピークの関連付けを行うために使用することができる。
図5に示すように、信号処理ユニット112は、算出された各指標(例:ピーク形状、強度など)に基づいて、第1のダウンスイープターゲットピーク520Aおよび第1のアップスイープターゲットピーク525Aを含む第1のターゲットペア505を特定することができる。加えて、信号処理ユニット112は、算出された各指標(例:ピーク形状、強度など)に基づいて、第2のダウンスイープターゲットピーク520Bおよび第2のアップスイープターゲットピーク525Bを含む第2のターゲットペア510を特定することができる。
図6は、複数のターゲットに対するアップスイープ信号およびダウンスイープ信号によるピークを示す信号強度-周波数図600である。図示されるように、サブバンド周波数分布(例:サブバンド319)は、アップスイープ信号とダウンスイープ信号とにそれぞれ分けて表示されており、各信号は、それぞれのターゲットに関連して対応するピークをもっている。
同一のターゲットに対応するアップスイープ信号およびダウンスイープ信号のピークは、類似の特性をもつ可能性がある。例えば、アップスイープの第1ピーク601とダウンスイープの第1ピーク602は、形状や強度を含む類似の特性をもち、周波数スペクトル上で互いにオフセットされている。同様に、アップスイープの第2ピーク603とダウンスイープの第2ピーク604は、形状と強度を含む共通の特性をもち、同様に周波数のオフセットが生じている。したがって、信号処理装置(例:図1の信号処理ユニット112)は、検出された各ピークに対して各ピークの特性に基づいて指標を生成し、この指標をピークの関連付けを最適に実行するために使用することができる。
図7は、ピークの関連付けを最適化するためのピーク関連付け処理系700を示す。
ピーク関連付け処理系700は、図1の信号処理ユニット112に含まれていてもよく、また、図4のピーク検索モジュール406と同一または類似の構成に含まれていてもよい。
一実施形態では、指標演算モジュール705は、N個のアップスイープピーク(ピーク701A-N)とN個のダウンスイープピーク(ピーク702A-N)とを受信する。ここでNは正の非ゼロ整数である。指標演算モジュール705は、ピーク701A-Nおよび702A-Nに近接する複数の周波数ビンを受信する場合もある。
一部の実施形態では、指標演算モジュール705は、各ピーク701A-Nおよび702A-N、ピーク701A-Nおよび702A-Nのピークペアの組み合わせごとに、1つまたは複数の指標715を生成する。指標演算モジュール705は、ピーク701A-Nと702A-Nの特性、およびこれらのピークに近接する周波数ビンの特性に基づいて、1つまたは複数の指標715を生成することができる。
例えば、指標演算モジュール705は、限定されるものではないが、ピーク形状、ピーク強度、ピークの、ピークの生の周波数、SNR、反射率、LIDARシステムのエゴ速度(自己運動速度)、および/またはその他のターゲット、ピークおよびLIDARシステムの任意の特性に基づいて、ピーク701A-Nおよび702A-N、その他マッチの可能性のあるピークペアの指標715を生成することができる。つまり、指標演算モジュール705は、マッチの可能性のあるピークペアのN×Nの数に対して、複数の指標715を生成することができる。
一実施形態では、指標演算モジュール705は、個々に算出された各指標715を取得し、それらを組み合わせて複合指標とすることができる。例えば、指標演算モジュール705は、各ピークまたはマッチの可能性のあるピークペアに対する指標715の重み付けされた和(重み付き合計)を生成することができる。各指標715は、その指標の関連性や信頼度に対応する方法で重み付けされ得る。例えば、ピーク形状などの指標は、正しい関連付けに対する高い信頼度をもたらすため、信頼度スコアの低い他の指標よりも重み付けを大きくすることができる。
なお、個々の指標は、複合指標を生成するためにどのような組み合わせおよび方法で組み合わせても構わない。一例では、各指標の重み付けは静的に決定されてもよく、別の例では、重み付けはピーク関連付けアルゴリズムからのフィードバックに基づいて動的に決定してもよい。一実施形態では、重み付けはマシン学習モデルによってピーク関連付けアルゴリズムの性能を最適化するために決定する場合もある。
指標演算モジュール705は、生成された1つまたは複数の指標715をピーク関連付けモジュール710に提供することができる。ピーク関連付けモジュール710は、入力として1つまたは複数の指標715を用いるアルゴリズムに基づいて、ピークの関連付けを最適化し、続いて、同ピークの関連アルゴリズムに基づき、1つまたは複数のピークペア720を出力することができる。
一例では、ピーク関連付けモジュール710は、最初に指標715に基づいて最も相関性の高いピークペアを選択し、そのペアを関連付けて除去し、次に最も相関性の高いものに移るというグリーディアルゴリズムを実行することができる。別の例では、より複雑なアルゴリズム(例:ハンガリアンアルゴリズム)が実行され、指標715に基づいて全体的なコスト最適化を見つけることができる。
一部の実施形態では、アップスイープピークとダウンスイープピークの数が異なる場合がある。このような場合、指標演算モジュール705は、N×M個の指標715を生成することができる。ここで、Nはアップスイープピークの数、Mはダウンスイープピークの数、あるいはその逆である。
一部の実施形態では、ピーク関連付けモジュール710は、アップスイープからのピークの数とダウンスイープからのピークの数が一致しない状況を考慮して、複数のアルゴリズムを実行することができる。例えば、ピーク関連付けモジュール710は、アップスイープとダウンスイープからのピークの数が同じ場合に、最初(1番目)のピーク関連付けアルゴリズムを実行することができる。ただし、ピークの数が同じでない場合には、二つの状況に応じて次のアルゴリズムを実行し得る。
第一の状況は、一つのスイープによってターゲットが見落とされ、その結果として不一致が生じる場合である。この場合、ピーク関連付けモジュール710は、一部のピーク(すなわち全てのピークを強制的にマッチさせるわけではない)を除いた全てのピークをペアとしてマッチさせるために、2番目のピーク関連付けアルゴリズムを実行することができる。
第二の状況は、誤検出によってアップスイープまたはダウンスイープピークに関連付けられる余分なピークが発生する場合である。この場合、ピーク関連付けモジュール710は、余分な誤検出のピークを除いた全てのピークをペアとしてマッチさせるために、3番目のピーク関連付けアルゴリズムを実行することができる(すなわち潜在的な誤検出ピークである弱いピークがそのピーク関連付けアルゴリズムから除外され得る。)。
図8は、本開示の実施形態によって行われるピーク形状同士の相関(例:クロス相関)を決定するための相関処理系800の一例を示す。
一部の実施形態では、相関処理系800は図1の信号処理ユニット112に含まれてもよく、また、同相関処理系は図7の指標演算モジュール705に含まれてもよい。
図8に示すように、各アップスイープピーク810A-Nは、各ダウンスイープピーク820A-Nと併せて相関器830A-(N×N)に入力され、アップスイープとダウンスイープのピークペアの可能な組み合わせそれぞれに対する相関値を生成する。各相関器830A-(N×N)に入力されるのは、各入力ピークの周囲のK個のサンプル(すなわち周波数ビン)であり、ここでKは正の非負の整数である。
一例では、同相関処理系は、相関器830A-(N×N)に入力される上記二つのピークとK個のサンプルの畳み込みを行い、2K+1個の相関サンプルを生成し得る。次いで、相関器830A-(N×N)は、2K+1個の相関出力から最大の相関サンプルを選択し、相関器830A-(N×N)の出力とすることができる。これにより、マッチの可能性のあるピークペアそれぞれの最大相関が生成され、これは上記の図7で説明したピーク関連付けモジュール710に提供(出力)されることになる。
図9は、LIDARシステム100やLIDARシステム300のようなLIDARシステムにおける、複数のターゲット状況のピークを関連付ける方法900を示すフローチャートである。
方法900は操作(ステップ)902で開始され、ここでは光学スキャナ(例:光学スキャナ301)がLIDARシステムの視野内のターゲットに向けて、異なる周波数チャープを含む複数の光ビームを送信する。
操作(ステップ)904では、光学スキャナ(例:光学スキャナ301)がターゲットからの反射に基づいて、異なる周波数チャープを含む複数のリターン信号を受信する。
操作906では、光学処理装置(例:光学処理装置302)が上記リターン信号に基づいて周波数領域のベースバンド信号を生成する。このベースバンド信号は、それぞれアップチャープ周波数に関連付けられた第1ピークセット(第1ピーク群)と、それぞれダウンチャープ周波数に関連付けられた第2ピークセット(第1ピーク群)とを含む。
操作908では、信号処理装置(例:信号処理装置303)の指標演算モジュール(例:指標演算モジュール705)が、第1ピークセット(第1ピーク群)および第2ピークセット(第2ピーク群)に関連付けられる、マッチングのための1つまたは複数の指標(評価指標)を生成する。
一部の実施形態では、上記1つまたは複数の指標には、第1ピーク群の各ピークと、第2ピーク群の各ピークとの間で同様に演算されたピーク形状が含まれる。
また、一部の実施形態では、上記1つまたは複数の指標には、ピーク形状、ピーク強度、ピーク幅における類似性またはその他のピーク特性に基づく、各アップスイープピークと各ダウンスイープピークとの間の相関値が含まれる。
また、上記1つまたは複数の指標には、エゴ/センサ速度のような外部指標が含まれる場合もある。
一例では、ピーク形状の類似性は、相関器を適用して、第1ピーク群の各ピークを第2ピーク群の各ピークと比較するときの相関値(相関器の出力)を生成することで決定することができる。
一部の実施形態では、指標演算モジュール(例:指標演算モジュール705)は、第1ピーク群および第2ピーク群に対する1つまたは複数の指標を組み合わせて複合指標を生成し、このような複合指標に基づいてピークの関連付けを行うことができる。
一例として、指標演算モジュール(例:指標演算モジュール705)は、1つまたは複数の指標の各々に重み付けを行い、これらの重み付けされた指標を加算して1つまたは複数の指標の重み付き合計を生成することができる。
操作910では、ピーク関連付けモジュール(例:ピーク関連付けモジュール710)は、1つまたは複数の指標を使用して、第1ピーク群の各ピークと第2ピーク群の各ピークとのペアリングに基づいて各ターゲットを識別する。
第1ピーク群および第2ピーク群からターゲットを識別するために、ピーク関連付けモジュール(例:ピーク関連付けモジュール710)は、マッチングされたピーク間の差に対応するコスト関数を最小化する最適化アルゴリズムを実行することができる。
一例として、ピーク関連付けモジュール(例:ピーク関連付けモジュール710)は、第1ピーク群の各ピークと、第2ピーク群の各ピークとに対する近傍データポイント群を特定し、さらにこれらの近傍データポイント群に基づいてピークの関連付けを行うことができる。このような近傍データポイント群は、方位空間、仰角空間、三次元空間、または時間空間において各ピークに近接するデータ点のうち1つまたは複数を含むことができる。
ピーク関連付けモジュール(例:ピーク関連付けモジュール710)は、さらに第1ピーク群のピーク数(第1の数)が、第2ピーク群のピーク数(第2の数)と異なること(例:欠けているピークや余分なピークの検出)を判定することができる。
一部の実施形態では、ピーク関連付けモジュール(例:ピーク関連付けモジュール710)は、欠けているピークや余分なピークを考慮したピーク関連付けアルゴリズムのバリエーションを実行することができる。
例えば、第1のピーク群のピーク数が第2のピーク群のピーク数と一致しないことを判定した場合、ピーク関連付けモジュール(例:ピーク関連付けモジュール710)は、余分なピークが検出された(例:アップチャープまたはダウンチャープによって余分なピークが検出された)ことに関連した第1のアルゴリズムに基づいてピークの関連付けを実行することができる。
別の例では、ターゲットの検出がアップチャープまたはダウンチャープによって欠落していることを判定した場合、ピーク関連付けモジュール(例:ピーク関連付けモジュール710)は、検出欠落のための第2のアルゴリズムに基づいてピークの関連付けを実行することができる。
図10は、LIDARシステム100またはLIDARシステム300のようなLIDARシステムにおける信号処理系1000(例:図4の信号処理装置303と同様)のブロック図である。
信号処理系1000には、任意のタイプの汎用プロセッサ、またはLIDARシステムで使用するために設計された特殊なプロセッサであるプロセッサ1001が含まれる(例:図1の信号処理ユニット112も参照)。
プロセッサ1001はメモリ1002と連携するように接続される。メモリ1002は、LIDARシステム内のプロセッサ1001により実行されると、本明細書に記載の方法をLIDARシステムに実行させる命令を含む任意のタイプの非一時的なコンピュータ可読媒体(例:RAM、ROM、PROM、EPROM、EEPROM、フラッシュメモリ、磁気ディスクメモリ、または光ディスクメモリ)である。
具体的には、メモリ1002は、
LIDARシステムの視野内のターゲットに向けて異なるチャープ周波数(周波数チャープ)を含む複数の光ビームを送信するための命令1004と、
ターゲットからの反射に基づく、異なるチャープ周波数(周波数チャープ)を含む複数のリターン信号を受信するための命令1006と、
同リターン信号に基づいて周波数領域のベースバンド信号を生成するための命令1008と(同ベースバンド信号は、異なるアップチャープ周波数に関連付けられた第1ピークセット(第1ピーク群)と、異なるダウンチャープ周波数に関連付けられた第2ピークセット(第2ピーク群)とを含む。)、
第1ピークセット(第1ピーク群)の各ピークおよび第2ピークセット(第2ピーク群)の各ピークに関連付けられる、1つまたは複数の指標(評価指標)を生成するための命令1010と、さらに、
上記1つまたは複数の指標を使用することにより、第1ピークセット(第1ピーク群)の各ピークと、第2ピークセット(第2ピーク群)の各ピークとのペアリングを行い、このペアリングに基づいて各ターゲットを識別するための命令1012と、を含む。
前述した説明では、本発明の実施形態を理解しやすくするために、特定のシステム、構成要素、方法などの具体例を複数示しているが、当業者であればこれらの具体例の説明がなくても本発明を実施しうる。また、公知の構成要素や方法はその詳細が省略されていたり、単純なブロック図の形式で示されることがあるが、これは本発明の理解を容易にするためである。したがって、開示された内容は単に例示であり、一事例は他の例示と異なる場合があっても、本発明の範囲内に含まれると考えられる。
本明細書において「一実施形態」または「実施形態」という表現が使用される場合、それらの実施形態に関連して説明された特定の特徴、構造、または特性が少なくとも一つの実施形態に含まれていることを意味する。したがって、本明細書のいくつかの箇所で「一実施形態において」または「実施形態において」という表現が現れている場合、必ずしも同じ実施形態を示すものではない。
ここで説明されている方法の操作は特定の順序で示されているが、各方法の操作の順序は変更されることがあり、特定の操作を逆順で行ってもよいし、少なくとも一部の操作を他の操作と同時に行ってもよい。異なる操作の指示または補助的な操作は、断続的または交互に行うことができる。
上記に記載されている発明の実施例についての説明(要約に記載されている内容を含む)は、詳細で網羅的であることを意図しているものではなく、開示された具体的形態に限定するものでもない。本発明の具体的な実施態様および実施例は、例示の目的で本明細書に記載されているが、当業者が認識する範囲で種々の同等な変更を行うことができる。
ここで使用される「例」または「例示的」の語は、例、実例または説明として役立つことを意味するために使用されている。本明細書において「例」または「例示」と説明された態様または設計は、必ずしも他の態様または設計よりも好ましいまたは有利であると解釈されるべきではない。むしろ、「例」または「例示」という用語の使用は、概念を具体的な形で示すことを意図している。
本明細書において使用される「または」の用語は、排他的な「または」ではなく、包括的な「または」として解釈されることを意図している。
つまり、特に指定されていない限り、あるいは文脈から明らかでない限り、「XはAまたはBを含む」という表現は、自然な包括的順列のいずれかを意味する。つまり、XがAを含む場合、XがBを含む場合、あるいはXがAおよびBの両方を含む場合、前述のいずれの場合にも、「X はAまたはBを含む」という条件を満たすことになる。
さらに、本明細書および添付された特許請求の範囲で使用される冠詞「a」および「an」は、特に指定されていない限り、文脈から単数形であることが明らかでない場合には「1つまたは複数」を意味するものと解釈される。
さらに、本明細書において「第1」、「第2」、「第3」、「第4」のような用語が使用される場合、これらの用語は異なる要素を区別するための識別子として使用されるもので、数字の指定に従って必ずしも順序を示すものではない。

Claims (20)

  1. 以下のステップa~eを含む方法。:
    a.光検出および測距(LIDAR)システムの視野内の複数のターゲットに向けて、異なる周波数チャープを含む複数の光ビームを送信する。;
    b.前記複数のターゲットからの反射に基づいて複数のリターン信号を受信する。この複数のリターン信号は、異なる周波数チャープを含む。;
    c.前記複数のリターン信号に基づいて周波数領域のベースバンド信号を生成する。このベースバンド信号は、それぞれアップチャープ周波数に関連付けられた第1ピーク群と、それぞれダウンチャープ周波数に関連付けられた第2ピーク群とを含む。;
    d.前記第1ピーク群の各ピークおよび前記第2ピーク群の各ピークに関連付けられる、マッチングのための1つまたは複数の評価指標(以下、指標と称する。)をプロセッサによって生成する。;および
    e.前記1つまたは複数の指標を使用することにより、前記第1ピーク群の各ピークと前記第2ピーク群の各ピークとのペアリングを行い、このペアリングに基づいて前記プロセッサによって前記複数のターゲットを識別する。
  2. 請求項1の方法であって、
    前記1つまたは複数の指標は、前記第1ピーク群の各ピークと、前記第2ピーク群の各ピークとの間で同様に演算されたピーク形状を含む、方法。
  3. 請求項2に記載の方法であって、
    前記同様に演算されたピーク形状は、前記第1ピーク群の各ピークと前記第2ピーク群の各ピークとを比較するときの相関器の出力を含む、方法。
  4. 請求項2に記載の方法であって、
    前記1つまたは複数の指標は、さらに、ピーク強度、ピーク幅、エゴ速度(自己運動速度)、および生のピーク周波数のうちの少なくとも1つを含む、方法。
  5. 請求項1に記載の方法であって、さらに以下のステップaおよびbを含む、方法。:
    a.前記第1ピーク群および前記第2ピーク群に対する前記1つまたは複数の指標を組み合わせて複合指標を生成する。;および
    b. 前記第1ピーク群および前記第2ピーク群に対する前記複合指標に基づいて、前記複数のターゲットを識別する。
  6. 請求項5に記載の方法であって、
    前記1つまたは複数の指標を組み合わせて前記複合指標を生成する手順は、以下のステップaおよびbを含む、方法。:
    a.前記1つまたは複数の指標の各々に重み付けを行い、重み付き指標を生成する。;および
    b.前記1つまたは複数の重み付き指標を加算して、前記1つまたは複数の指標の重み付き合計を生成する。
  7. 請求項1に記載の方法であって、
    前記複数のターゲットを識別する手順は、以下のステップを含む、方法。
    前記第1ピーク群の各ピークと、前記第2ピーク群の各ピークとのペアリングに関連したコスト関数を最小化する最適化アルゴリズムを実行する。ここで、このコスト関数は、前記第1ピーク群の各ピークと、前記第2ピーク群の各ピークとのペアリングに対する前記1つまたは複数の指標の合計に対応する。
  8. 請求項1に記載の方法であって、さらに以下のステップaおよびbを含む、方法。:
    a.前記第1ピーク群の各ピークと、前記第2ピーク群の各ピークとに対する近傍データポイント群を特定する。;および
    b.前記第1ピーク群の各ピークと、前記第2ピーク群の各ピークとに対する前記近傍データポイント群に基づいて、さらに前記複数のターゲットを識別する。
  9. 請求項8に記載の方法であって、
    前記近傍データポイント群は、方位空間、仰角空間、三次元空間、または時間空間における、前記第1ピーク群の各ピークと、前記第2ピーク群の各ピークとに近接する1つまたは複数のデータポイントを含む、方法。
  10. 請求項1に記載の方法であって、さらに以下のステップa~cを含む方法。:
    a.前記第1ピーク群のピーク数である第1ピーク数が、前記第2ピーク群のピーク数である第2ピーク数と異なることを判定する。;そして、
    第1ピーク数が第2ピーク数と異なると決定した応答として:
    b.前記アップチャープ周波数または前記ダウンチャープ周波数のいずれかによって余分なピークが検出されていることに基づいて、前記複数のターゲットを識別する。
    c.または、前記応答として、前記アップチャープ周波数または前記ダウンチャープ周波数のいずれかの検出が欠落していることに基づいて、前記複数のターゲットを識別する。
  11. 光検出および測距(LIDAR)システムであって、
    LIDARシステムの視野内の複数のターゲットに向けて異なる周波数チャープを含む複数の光ビームを送信し、かつ、前記複数の光ビームの反射から異なる周波数チャープを含む複数のリターン信号を受信する光スキャナと、
    前記光スキャナに接続され、前記複数のリターン信号からLIDARターゲット距離に依存する周波数を含む電気信号を生成する光学処理装置と、
    前記光学処理装置に接続される信号処理装置と、を備えており、
    前記信号処理装置は、
    プロセッサと、
    前記プロセッサにより実行されると、前記LIDARシステムに以下の動作a~cを行わせる命令を格納するメモリと、を含むLIDARシステム。
    a.前記複数のリターン信号から生成された前記電気信号に基づいて周波数領域のベースバンド信号を生成する。ここで、前記ベースバンド信号は、それぞれアップチャープ周波数に関連付けられた第1ピーク群と、それぞれダウンチャープ周波数に関連付けられた第2ピーク群とを含む。;
    b.前記ベースバンド信号における前記第1ピーク群の各ピークおよび前記第2ピーク群の各ピークに関連付けられる、マッチングのための1つまたは複数の指標を生成する。;および
    c.前記1つまたは複数の指標を使用することにより、前記第1ピーク群の各ピークと前記第2ピーク群の各ピークとのペアリングを行い、このペアリングに基づいて前記複数のターゲットを識別する。
  12. 請求項11に記載のシステムであって、
    前記1つまたは複数の指標は、前記第1ピーク群の各ピークと前記第2ピーク群の各ピークとの間で同様に演算されたピーク形状を含む、LIDARシステム。
  13. 請求項12に記載のシステムであって、
    前記同様に演算されたピーク形状は、前記第1ピーク群の各ピークと前記第2ピーク群の各ピークとを比較するときの相関器の出力を含む、LIDARシステム。
  14. 請求項12に記載のシステムであって、
    前記1つまたは複数の指標は、さらに、ピーク強度、ピーク幅、エゴ速度(自己運動速度)、および生のピーク周波数のうちの少なくとも1つを含む、LIDARシステム。
  15. 請求項11に記載のシステムであって、
    前記プロセッサは、さらに以下の処理aおよびbを行う、LIDARシステム。
    a.前記第1ピーク群および前記第2ピーク群に対する前記1つまたは複数の指標を組み合わせて複合指標を生成する。;および
    b. 前記第1ピーク群および前記第2ピーク群に対する前記複合指標に基づいて、前記複数のターゲットを識別する。
  16. 請求項15に記載のシステムであって、
    前記プロセッサは、前記1つまたは複数の指標を組み合わせて前記複合指標を生成するために、以下の処理aおよびbを行う、LIDARシステム。
    a.前記1つまたは複数の指標の各々に重み付けを行い、重み付き指標を生成する。;および
    b.前記1つまたは複数の重み付き指標を加算して、前記1つまたは複数の指標の重み付き合計を生成する。
  17. 請求項11に記載のシステムであって、
    前記プロセッサは、
    前記複数のターゲットを識別するために、前記第1ピーク群の各ピークと、前記第2ピーク群の各ピークとのペアリングに関連したコスト関数を最小化する最適化アルゴリズムを実行する、LIDARシステム。ここで、前記コスト関数は、前記第1ピーク群の各ピークと、前記第2ピーク群の各ピークとのペアリングに対する前記1つまたは複数の指標の合計に対応する。
  18. 光検出および測距(LIDAR)システムであって、
    LIDARシステムの視野内の複数のターゲットに向けて異なる周波数チャープを含む複数の光ビームの各々を送信し、かつ、前記複数の光ビームの反射から異なる周波数チャープを含む複数のリターン信号を受信する光スキャナと、
    前記光スキャナに接続され、前記複数のリターン信号からLIDARターゲット距離に依存する周波数を含む電気信号を生成する光学処理装置と、
    前記光学処理装置に接続される信号処理装置と、を備えており、
    前記信号処理装置は、
    プロセッサと、
    前記プロセッサにより実行されると、前記LIDARシステムに以下の動作a~cを行わせる命令を格納するメモリと、を含むLIDARシステム。
    a.前記電気信号におけるピーク群であって、それぞれアップチャープ周波数に関連付けられた第1ピーク群と、それぞれダウンチャープ周波数に関連付けられた第2ピーク群とを特定する。
    b.前記第1ピーク群の各ピークおよび前記第2ピーク群の各ピークに関連付けられる、マッチングのための1つまたは複数の指標を決定する。;および
    c.前記1つまたは複数の指標に基づいて、前記第1ピーク群の各ピークと、前記第2ピーク群の各ピークとを関連付けることによって複数のピークペアを生成する。
    d.前記複数のピークペアに基づいて前記1つまたは複数のターゲットを識別する。
  19. 請求項18に記載のシステムであって、
    前記1つまたは複数の指標は、ピーク形状、ピーク強度、ピーク幅、エゴ速度(自己運動速度)、および生のピーク周波数のうちの少なくとも1つを含む、LIDARシステム。
  20. 請求項19に記載のシステムであって、
    前記プロセッサは、前記複数のピークペアを生成するために、以下の処理aおよびbを行う、LIDARシステム。
    a.前記第1ピーク群および前記第2ピーク群に対する前記1つまたは複数の指標を組み合わせて複合指標を生成する。;および
    b. 前記第1ピーク群および前記第2ピーク群に対する前記複合指標に基づいて、前記第1ピーク群の各ピークと前記第2ピーク群の各ピークとを関連付ける。
JP2023524855A 2020-10-22 2021-10-15 コヒーレントlidarシステムにおける複数ターゲットのピーク関連付け技術 Pending JP2023547877A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202063104372P 2020-10-22 2020-10-22
US63/104,372 2020-10-22
US17/339,763 US11313955B1 (en) 2020-10-22 2021-06-04 Techniques to associate peaks in multi-target scenarios in coherent lidar systems
US17/339,763 2021-06-04
PCT/US2021/055235 WO2022086818A1 (en) 2020-10-22 2021-10-15 Techniques to associate peaks in multi-target scenarios in coherent lidar systems

Publications (1)

Publication Number Publication Date
JP2023547877A true JP2023547877A (ja) 2023-11-14

Family

ID=81258190

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023524855A Pending JP2023547877A (ja) 2020-10-22 2021-10-15 コヒーレントlidarシステムにおける複数ターゲットのピーク関連付け技術

Country Status (6)

Country Link
US (2) US11313955B1 (ja)
EP (1) EP4232844A1 (ja)
JP (1) JP2023547877A (ja)
KR (1) KR20230088809A (ja)
CN (1) CN116507941A (ja)
WO (1) WO2022086818A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11693118B1 (en) * 2022-09-14 2023-07-04 Aeva, Inc. Techniques for improving probability of detection in light detection and ranging (LIDAR) systems

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3060792B2 (ja) 1993-08-23 2000-07-10 トヨタ自動車株式会社 周波数変調レーダ装置
JP3406225B2 (ja) 1998-04-30 2003-05-12 富士通テン株式会社 Fm−cw方式レーダの信号処理装置
JP3729127B2 (ja) 2001-12-13 2005-12-21 株式会社村田製作所 レーダ
CN113985427A (zh) * 2016-11-30 2022-01-28 布莱克莫尔传感器和分析有限责任公司 对光学啁啾距离检测进行多普勒检测和校正的方法和系统
WO2020018805A1 (en) * 2018-07-18 2020-01-23 Bridger Photonics, Inc. Methods and apparatuses for range peak pairing and high-accuracy target tracking using fmcw ladar measurements

Also Published As

Publication number Publication date
WO2022086818A1 (en) 2022-04-28
US20220128665A1 (en) 2022-04-28
US20220229163A1 (en) 2022-07-21
CN116507941A (zh) 2023-07-28
EP4232844A1 (en) 2023-08-30
KR20230088809A (ko) 2023-06-20
US11313955B1 (en) 2022-04-26

Similar Documents

Publication Publication Date Title
US11327158B1 (en) Techniques to compensate for mirror Doppler spreading in coherent LiDAR systems using matched filtering
US11927699B1 (en) Techniques for range and velocity measurements in a lidar system
US11899111B2 (en) Techniques for identifying true signals in coherent LIDAR systems
JP2023547877A (ja) コヒーレントlidarシステムにおける複数ターゲットのピーク関連付け技術
US20230213651A1 (en) Techniques for ghosting mitigation in coherent lidar systems using multiple chirp rates
US20220397669A1 (en) Techniques for peak detection in a lidar system using weighted metrics and band selection
US11513201B2 (en) Techniques for ghosting mitigation in coherent lidar systems using in-phase/quadrature phase (IQ) processing
WO2022204428A1 (en) Techniques for ghosting mitigation in coherent lidar systems using multiple chirp rates
US20230089732A1 (en) Techniques for ghosting mitigation in coherent lidar systems using in-phase/quadrature phase (iq) processing
US11982762B2 (en) Techniques to use power spectrum density in coherent lidar systems
JP2023546169A (ja) Fmcw-lidarシステムにおける検出閾値を自動調整するための技術
CN117337401A (zh) 利用同相/正交相位(iq)处理的用于减轻相干lidar系统中的重影的技术

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230422

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231108