JP2024517360A - 複合測定モデルを使用して移動物体の拡大状態を追跡するためのシステムおよび方法 - Google Patents

複合測定モデルを使用して移動物体の拡大状態を追跡するためのシステムおよび方法 Download PDF

Info

Publication number
JP2024517360A
JP2024517360A JP2024510547A JP2024510547A JP2024517360A JP 2024517360 A JP2024517360 A JP 2024517360A JP 2024510547 A JP2024510547 A JP 2024510547A JP 2024510547 A JP2024510547 A JP 2024510547A JP 2024517360 A JP2024517360 A JP 2024517360A
Authority
JP
Japan
Prior art keywords
tracking
measurements
expansion state
state
updated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2024510547A
Other languages
English (en)
Inventor
ワン,プー
ヤオ,ガン
マンスール,ハッサン
バーントープ,カール
ボウフォウノス,ペトロス
オーリック,フィリップ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JP2024517360A publication Critical patent/JP2024517360A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50Systems of measurement based on relative movement of target
    • G01S13/58Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/62Sense-of-movement determination
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66Radar-tracking systems; Analogous systems
    • G01S13/72Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G01S13/726Multiple target tracking
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/418Theoretical aspects

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Analysis (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Traffic Control Systems (AREA)

Abstract

物体の拡大状態を追跡するための追跡システムが提供される。追跡システムは、少なくとも1つのプロセッサと、命令が格納されたメモリとを備え、命令は、少なくとも1つのプロセッサによって実行されると、追跡システムに、物体の拡大状態に対するビリーフを反復的に追跡する確率フィルタを実行させ、ビリーフは、物体の運動モデルを使用して予測され、さらに、物体の複合測定モデルを使用して更新される。複合測定モデルは、物体の中心への予め定められた相対幾何学的マッピングとともに、物体の輪郭上に位置するように制約された複数の確率分布を含む。さらに、追跡システムは、物体の拡大状態を、拡大状態に対する更新ビリーフに基づいて追跡する。

Description

本開示は、概して自動車両物体追跡に関し、より具体的には物体の測定値を使用して当該物体の拡大状態を追跡するためのシステムおよび方法に関する。
自動運転車両および半自動運転車両などの車両によって採用される制御システムは、他の車両または歩行者などの障害物との衝突を回避するために、車両の安全な運動または経路を予測する。いくつかのシナリオにおいて、車両はまた、車両の1つ以上のセンサの助けを借りて、道路の側部、歩行者、および他の車両などの、車両の周囲を感知するように構成される。これらのセンサのうちのいくつかは、超音波センサ、カメラ、およびLIDARセンサを含み、これらは、既存の先進運転者支援システム(ADAS:advanced driver assistance system)で使用されている。
車両の制御システムは、車両を制御するために、自動車レーダ測定値に基づいて、他の車両の物体状態(物体状態は運動学的状態を含む)を追跡する。1走査当たりの測定値が複数である拡張物体追跡(EOT:extended object tracking)は、物体状態を運動学的のみの状態から運動学的状態と拡張状態との両方に拡大することにより、1走査当たりの測定値が1つのみである従来のポイント物体追跡よりも、改善された物体追跡を示している。拡張状態は、追跡中の物体の寸法および向きを提供する。これを実現するために、空間分布(すなわち、自動車レーダ測定値が物体の周りにおいて空間的にどのように分布しているか)を、センサノイズとともに捕捉する必要がある。現在の方法は、剛体上の固定された一組の点のフレームワークを含み、これは、単一の物体の追跡であっても、固定された一組の点と自動車レーダ検出値との間の非スケーラブルなデータの関連付けを必要とする。輪郭モデルおよび表面モデルなどの空間モデルは、この煩雑なデータの関連付けの工程を回避する。
自動車レーダ測定値の場合、輪郭モデルは物体(たとえば剛体)の輪郭に沿った測定分布を反映し、表面モデルはレーダ測定値が2次元形状の内面から生成されると仮定する。輪郭モデルの例は、単純な矩形、および、ランダム超曲面モデルまたはガウス過程モデルによってモデル化されたより一般的な星状凸形状を含む。ガウスベース楕円および階層ガウスベース楕円モデルなどのいくつかの表面モデルは、より複雑な形状を記述するのにより一層多くの自由度を必要とする輪郭モデルよりも、計算は遥かに単純である。しかしながら、物体の測定値はノイズの影響を受け、物体の表面からの反射のみを受ける。そのため、上記モデルは現実世界の自動車レーダ測定値を捕捉しない。
それ故に、現実世界の自動車レーダ測定値を捕捉することにより物体の運動学的状態と拡張状態との両方を追跡するためのシステムおよび方法が必要とされている。
いくつかの実施形態の目的は、物体の拡大状態を追跡するためのシステムおよび方法を提供することである。物体の拡大状態は、物体の中心の位置および速度の一方または組み合わせを示す運動学的状態と、物体の寸法および向きの一方または組み合わせを示す拡張状態とを含む。物体の中心は、任意に選択された点、物体の幾何学的中心、物体の重心、車両の車輪の後軸の中心などのうちの、1つまたは組み合わせである。センサ、たとえば自動車レーダが、物体(車両など)を追跡するために使用される。ある実施形態において、自動車レーダは、視線速度、長い航続距離、ミリメートルまたはサブテラヘルツ周波数帯における小さなサイズ、および高空間分解能の、直接的な測定値を提供し得る。
ポイント物体追跡では、1走査当たり1つの測定値を車両から受ける。ポイント物体追跡は、車両の運動学的状態(位置)のみを提供する。さらに、運動学的状態の分布を有する測定モデルによる確率フィルタが、車両を追跡するために利用される。拡張物体追跡(EOT)では、1走査当たり複数の測定値を受ける。複数の測定値は車両の周囲に空間的に構築される。拡張物体追跡は、車両の運動学的状態および拡張状態の両方を提供する。拡張状態の分布を有する測定モデルによる確率フィルタが、車両を追跡するために利用される。
しかしながら、現実世界の自動車レーダ測定分布は、車両からの複数の反射が複雑であることを示している。この複雑さが原因で、適切な測定モデルの設計が複雑になる。そのため、通常の測定モデルは、運動学的状態に対してのみ適用可能であり、拡大状態に対しては適用できない。
そのため、いくつかの実施形態では、現実世界の自動車レーダ測定値を捕捉するために、輪郭モデルおよび表面モデルなどの空間モデルが使用される。しかしながら、上記空間モデルは不正確である。いくつかの実施形態は、現実世界の自動車レーダ測定値が、ある体積を有する物体(車両)の縁部または表面の周囲に分布し、これが表面体積モデルを生じさせる、という認識に基づいている。そのため、いくつかの実施形態は、現実世界の自動車レーダ測定値に類似しこれを捕捉する表面体積モデルを定式化するという目的に基づいている。表面体積モデルは、EOTを正確なものに保ちつつ、輪郭モデルとより現実的な特徴を有する表面モデルとのバランスをとる。
特に、ある実施形態では、輪郭モデルおよび表面モデルの原理に基づいて、複合測定モデル(表面体積モデルの一種)を決定する。複合測定モデルは、物体の中心への予め定められた相対幾何学的マッピングとともに、物体の輪郭上に位置するよう制約された複数の確率分布を含む。複数の確率分布は、物体の輪郭に沿った測定値の広がりをカバーするために使用される。
複合測定モデルは、複数の点で複合的である。たとえば、複合測定モデルは、複合構造、すなわち複数の確率分布を有する。また、複合測定モデルは、複合組成を有する、すなわち、複数の確率分布の関数、輪郭の関数、およびそれらの関係を有する。さらに、複合測定モデルは、複合的な性質を有する、すなわち、複数の確率分布は、測定値に基づいており、したがってモデル生成のデータ駆動型アプローチを表し、輪郭は、物理学に基づいたモデル化の原理を使用して、物体の形状たとえば車両の形状をモデル化することに基づく。
加えて、複合測定モデルは、拡大状態のモデル化の異なる原理を利用する、すなわち、複合測定モデルは、輪郭モデルの原理と表面モデルの原理とを合体させる。その結果、複合測定モデルは、測定割り当てを単純にしつつ、物体追跡の物理的性質をより適切に表現する。加えて、複合測定モデルの複数の確率分布は、表面モデルの単一分布よりも柔軟であり、物体の輪郭をより適切に記述することができ、物体の異なる角度または視野からの測定値の説明においてより柔軟である。
いくつかの実施形態は、理論的上、輪郭の形状には制限がないと仮定すると、複数の確率分布が輪郭上に位置する可能性がある、という理解に基づいている。しかしながら、実際、そのような仮定は、拡大状態の追跡については正しくない。これに対し、物体の輪郭は予め決まっており、輪郭が複数の確率分布にフィットするのではなく、複数の確率分布が輪郭にフィットする。
複合測定モデルは、オフラインで、すなわち事前に学習される。複合測定モデルは、ユニット座標系またはグローバル座標系において学習することができる。いくつかの実施形態は、複合測定モデルをユニット座標系において学習することが有益である、という認識に基づいており、その理由は、これが、計算を単純化し、複合測定モデルを物体の寸法に依存しないようにすることにある。複数の確率分布(楕円で表される)の各々に、測定値を確率的に割り当てることができる。楕円に関連付けられた測定値を、楕円割り当て測定値と呼ぶことがある。
いくつかの実施形態に従うと、オフラインで学習された複合測定モデルは、物体の拡大状態のオンライン追跡に、すなわち物体の拡大状態のリアルタイム追跡に使用される。いくつかの実施形態は、複合測定モデルの確率的性質を、確率多仮説追跡(PMHT:probabilistic multi-hypothesis tracking)方法に対して、有益に整合させることができる、という認識に基づいている。たとえば、そのような整合は、少なくともカルマンフィルタの変形を使用して確率フィルタを実現することを可能にする。たとえば、一実施形態は、アンセンテッドカルマンフィルタ(unscented Kalman filter)-確率多仮説追跡(UKF-PMHT)法を使用する。アンセンテッドカルマンフィルタ(UKF)は、複合測定モデルをユニット座標系からグローバル座標系に変換するために用いられる。次に、確率多仮説追跡(PMHT)法を適用して、現在の時間ステップにおける測定値を異なる確率分布に確率的に割り当て、物体の拡大状態を更新する。
ある実施形態に従うと、前の時間ステップに対応する物体の拡大状態および共分散行列、ならびに物体の運動モデルを考慮して、現在の時間ステップについての物体の拡大状態および拡大状態に対応する共分散行列を予測することができる。ある実施形態において、運動モデルは、極速度を有する回転調整(CT:coordinated turn)運動モデルであってもよい。いくつかの他の実施形態において、運動学的状態に対し、極速度を有する回転調整(CT)運動モデルが使用され、拡張状態、すなわち長さおよび幅に対しては、定数モデルが使用され、長さおよび幅は時間の経過に伴って変化する可能性が低いので、小さな共分散を伴うプロセスノイズを伴う。予測された物体の拡大状態は、この予測が確率的ので、拡大状態の予測されたビリーフ(belief)と呼ばれる場合がある。いくつかの実施形態は、物体の予測された拡大状態が不正確である場合がある、という認識に基づいている。予測された物体の拡大状態を補正するために、ユニット座標系における複合測定モデルを使用する。しかしながら、予測された拡大状態はグローバル座標系にある。そのため、ユニット座標系における複合測定モデルを、予測された拡大状態と整合させるには、複合測定モデルをユニット座標系からグローバル座標系に変換する必要がある。特に、ユニット座標系における楕円割り当て測定値をグローバル座標系に変換する必要がある。
いくつかの実施形態は、そのような変換をアンセンテッド変換関数(またはUKF)を使用して実現することができる、という認識に基づいている。そのために、ある実施形態において、楕円(すなわち複合測定モデルの確率分布)に対し、シグマ点が生成される。「楕円」および「確率分布」は、区別なく使用される場合があり、意味は同じである。さらに、シグマ点を、アンセンテッド変換関数に伝搬させ、その結果、ユニット座標系における楕円の楕円割り当て測定値に対応するグローバル座標系における予測測定値が決定される。加えて、予測測定値に対応する共分散行列が、予測測定値に基づいて決定される。同様に、残りの楕円に関連付けられる楕円割り当て測定値に対応するグローバル座標系における測定値が決定される。そのため、予測拡大状態に従って複合測定モデルを整合させる予測拡大状態モデルが得られる。
さらに、現在の時間ステップにおける測定値を受ける。いくつかの実施形態は、複数の確率分布(楕円)を互いに独立して処理することができる、という認識に基づいている。そのような独立した処理は、物体の拡大状態を探査するために異なる視野角を考慮することを可能にする。そのような独立した処理を考慮するために、いくつかの実施形態は、複数の確率分布のうちの異なる確率分布を、異なる物体に属するものとして処理する。加えて、いくつかの実施形態は、ソフト確率割り当て、すなわち、測定値を異なる確率分布に確率的に割り当てることは、ハード決定論的割り当てよりも有利である、という認識に基づいている。そのため、測定値は、各確率分布に、対応する関連付け確率で、割り当てられる。各確率分布に関連付けられた対応する関連付け確率を有する測定値を、「合成測定値」と呼ぶ。
さらに、いくつかの実施形態において、合成重心および合成共分散行列を、対応する合成測定値に基づいて、各確率分布ごとに決定する。さらに、各確率分布に関連付けられる合成測定値を使用して、拡大状態に対する予測ビリーフを更新する。例として、拡大状態に対する予測ビリーフを、物体の更新された拡大状態を生成するために、各確率分布に関連付けられた合成測定値を用い、カルマンフィルタなどの確率フィルタを使用して、更新してもよい。
したがって、一実施形態は、物体の拡大状態を追跡するための追跡システムを開示し、拡大状態は、物体の中心の位置および速度の組み合わせを示す運動学的状態と、物体の寸法および向きの組み合わせを示す拡張状態とを含む。追跡システムは、少なくとも1つのプロセッサと、命令が格納されたメモリとを備え、命令は、少なくとも1つのプロセッサによって実行されると、追跡システムに、少なくとも1つのセンサに関連付けられる測定値を受信することを実行させ、少なくとも1つのセンサは、物体を含むシーンを、1つまたは複数の信号送信を用いて探査するように構成され、1つまたは複数の信号送信は、1つの送信ごとに物体の1つまたは複数の測定値を生成し、さらに、追跡システムに、物体の拡大状態に対するビリーフを反復的に追跡する確率フィルタを実行させ、ビリーフは、物体の運動モデルを使用して予測され、かつ物体の複合測定モデルを使用して更新され、複合測定モデルは、物体の中心への予め定められた相対幾何学的マッピングとともに、物体の輪郭上に位置するように制約された複数の確率分布を含み、反復的な追跡の各反復において、拡大状態に対するビリーフは、予測ビリーフと更新ビリーフとの間の差に基づいて更新され、更新ビリーフは、複数の確率分布の各々にフィットする測定値の確率に基づいて推定され、対応する幾何学的マッピングに基づいて物体の拡大状態にマッピングされ、さらに、追跡システムに、物体の拡大状態を、拡大状態に対する更新ビリーフに基づいて追跡することを実行させる。
したがって、別の実施形態は、物体の拡大状態を追跡するための追跡方法を開示し、拡大状態は、物体の中心の位置および速度の一方または組み合わせを示す運動学的状態と、物体の寸法および向きの一方または組み合わせを示す拡張状態とを含む。追跡方法は、少なくとも1つのセンサに関連付けられる測定値を受信するステップを含み、少なくとも1つのセンサは、物体を含むシーンを、1つまたは複数の信号送信を用いて探査するように構成され、1つまたは複数の信号送信は、1つの送信ごとに物体の1つまたは複数の測定値を生成し、追跡方法はさらに、物体の拡大状態に対するビリーフを反復的に追跡する確率フィルタを実行するステップを含み、ビリーフは、物体の運動モデルを使用して予測され、かつ物体の複合測定モデルを使用して更新され、複合測定モデルは、物体の中心への予め定められた相対幾何学的マッピングとともに、物体の輪郭上に位置するように制約された複数の確率分布を含み、反復的な追跡の各反復において、拡大状態に対するビリーフは、予測ビリーフと更新ビリーフとの間の差に基づいて更新され、更新ビリーフは、複数の確率分布の各々にフィットする測定値の確率に基づいて推定され、対応する幾何学的マッピングに基づいて物体の拡大状態にマッピングされ、追跡方法はさらに、物体の拡大状態を、拡大状態に対する更新ビリーフに基づいて追跡するステップを含む。
物体の拡大状態を追跡する方法を実行するためにプロセッサが実行可能なプログラムが実装された非一時的なコンピュータ読取可能記憶媒体であって、拡大状態は、物体の中心の位置および速度の一方または組み合わせを示す運動学的状態と、物体の寸法および向きの一方または組み合わせを示す拡張状態とを含む。方法は、少なくとも1つのセンサに関連付けられる測定値を受信するステップを含み、少なくとも1つのセンサは、物体を含むシーンを、1つまたは複数の信号送信を用いて探査するように構成され、1つまたは複数の信号送信は、1つの送信ごとに物体の1つまたは複数の測定値を生成し、方法はさらに、物体の拡大状態に対するビリーフを反復的に追跡する確率フィルタを実行するステップを含み、ビリーフは、物体の運動モデルを使用して予測され、かつ物体の複合測定モデルを使用して更新され、複合測定モデルは、物体の中心への予め定められた相対幾何学的マッピングとともに、物体の輪郭上に位置するように制約された複数の確率分布を含み、反復的な追跡の各反復において、拡大状態に対するビリーフは、予測ビリーフと更新ビリーフとの間の差に基づいて更新され、更新ビリーフは、複数の確率分布の各々にフィットする測定値の確率に基づいて推定され、対応する幾何学的マッピングに基づいて物体の拡大状態にマッピングされ、方法はさらに、物体の拡大状態を、拡大状態に対する更新ビリーフに基づいて追跡するステップを含む。
ここに開示される実施形態について添付の図面を参照しつつさらに説明する。示される図面は必ずしも正しい縮尺ではなく、代わりに、一般的にここに開示される実施形態の原理の説明に対して強調が加えられる。
いくつかの実施形態に係る、物体の拡大状態を追跡する原理の概略図を示す。 いくつかの実施形態に係る、物体の拡大状態を追跡する原理の概略図を示す。 いくつかの実施形態に係る、物体の拡大状態を追跡する原理の概略図を示す。 いくつかの実施形態に係る、物体の拡大状態を追跡するための追跡システムのブロック図を示す。 いくつかの実施形態に係る、複合測定モデルを使用した物体の拡大状態に対するビリーフの追跡についての概略図を示す。 いくつかの実施形態に係る、複合測定モデルを使用した物体の拡大状態に対するビリーフの追跡についての概略図を示す。 いくつかの実施形態に係る、複合測定モデルを使用した物体の拡大状態に対するビリーフの追跡についての概略図を示す。 いくつかの実施形態に係る、複合測定モデルのパラメータを学習する方法のフローチャートを示す図である。 いくつかの実施形態に係る、異なる物体の異なる運動から収集された訓練データの、共通するユニット座標系への変換の概略図を示す。 いくつかの実施形態に係る、異なる物体の異なる運動から収集された訓練データの、共通するユニット座標系への変換の概略図を示す。 いくつかの実施形態に係る、複合測定モデルのパラメータを学習するための期待値最大化(EM)法のブロック図を示す。 いくつかの実施形態に係る、アンセンテッドカルマンフィルタ-確率多仮説追跡(UKF-PMHT)アルゴリズムのフローチャートを示す図である。 いくつかの実施形態に係る、予測測定値および共分散行列を計算するために実行されるステップのブロック図を示す。 いくつかの実施形態に係る、合成測定値および合成共分散行列を計算するために実行されるステップのブロック図を示す。 いくつかの実施形態に係る、拡大状態および共分散行列を更新するために実行されるステップのブロック図を示す。 いくつかの実施形態の原理を採用するシステムと通信するコントローラを含む車両の概略図を示す。 いくつかの実施形態に係る、図8Aのシステムのコントローラと車両のコントローラとの間のやり取りの概略図を示す。 いくつかの実施形態を使用することによって制御入力が生成される自動運転または半自動運転制御車両の概略図を示す。
以下の記載では、説明のために、本開示が十分に理解されるよう多数の具体的な詳細事項を述べる。しかしながら、本開示はこれらの具体的な詳細事項なしで実施し得ることが当業者には明らかであろう。その他の場合では、本開示を不明瞭にするのを回避することのみのために、装置および方法をブロック図の形式で示す。
本明細書および請求項で使用される、「たとえば(for example)」、「例として(for instance)」、および「~のような(such as)」という用語、ならびに「備える(comprising)」、「有する(having)」、「含む(including)」という動詞、およびこれらの動詞の他の形態の各々は、1つ以上の構成要素またはその他のアイテムの列挙とともに使用される場合、その列挙がさらに他の構成要素またはアイテムを除外するとみなされてはならないことを意味する、オープンエンドと解釈されねばならない。「~に基づく」という用語は、少なくとも部分的に基づくことを意味する。さらに、本明細書で使用される文体および術語は、説明のためのものであって限定とみなされてはならないことが理解されるはずである。本明細書で使用されるいかなる見出しも、便宜的なものにすぎず、法的または限定効果を持つものではない。
図1A、図1B、および図1Cは、物体の拡大状態を追跡するためにいくつかの実施形態が採用するいくつかの原理の概略図を示す。物体の拡大状態は、物体の中心の位置および速度の一方または組み合わせを示す運動学的状態と、物体の寸法および向きの一方または組み合わせを示す拡張状態とを含む。物体の中心は、任意に選択された点、物体の幾何学的中心、物体の重心、車両の車輪の後軸の中心などのうちの、1つまたは組み合わせである。センサ104(たとえば自動車レーダ)が、物体(車両106など)を追跡するために使用される。ポイント物体追跡100では、1走査当たり1つの測定値108を車両106から受ける。ポイント物体追跡100は、車両106の運動学的状態(位置)のみを提供する。さらに、運動学的状態の分布を有する測定モデルによる確率フィルタが、車両106を追跡するために利用される。拡張物体追跡(EOT)102では、1走査当たり複数の測定値110を受ける。複数の測定値110は車両106の周囲に空間的に構築される。EOT102は、車両106の運動学的状態および拡張状態の両方を提供する。拡張状態の分布を有する測定モデルによる確率フィルタが、車両106を追跡するために利用される。
しかしながら、図1Bに示すように、現実世界の自動車レーダ測定112分布は、車両106からの複数の反射が複雑であることを示している。この複雑さが原因で、測定モデルの設計が複雑になる。そのため、通常の測定モデルは、運動学的状態に対してのみ適用可能であり、拡大状態に対しては適用できない。
そのため、図1Cに示すように、いくつかの実施形態では、現実世界の自動車レーダ測定値112を捕捉するために、輪郭モデル114および表面モデル116などの空間モデルが使用される。しかしながら、上記空間モデルは不正確である。いくつかの実施形態は、現実世界の自動車レーダ測定値112が、ある体積を有する物体(車両106)の縁部の周囲に分布し、これが表面体積モデルを生じさせる、という認識に基づいている。そのため、いくつかの実施形態は、現実世界の自動車レーダ測定値112に類似しこれを捕捉する表面体積モデル118を定式化するという目的に基づいている。表面体積モデル118は、EOTを正確なものに保ちつつ、輪郭モデル114とより現実的な特徴を有する表面モデル116とのバランスをとる。
特に、ある実施形態では、輪郭モデル114および表面モデル116の原理に基づいて、複合測定モデル120(表面体積モデルの一種である)を決定する。複合測定モデル120は、物体の輪郭124に幾何学的に制限された複数の確率分布122を含む。図1Cにおいて、この幾何学的制約は、複数の確率分布の中心が輪郭上に位置するという制約である。そうすると、複合測定モデルは、物体の中心への予め定められた相対幾何学的マッピングを有する。複数の確率分布122は、物体の輪郭124に沿った測定値の広がりをカバーするために使用される。
複合測定モデル120は、複数の点で複合的である。たとえば、複合測定モデル120は、複合構造、すなわち複数の確率分布122を有する。また、複合測定モデル120は、複合組成を有する、すなわち、複数の確率分布122の関数、輪郭124の関数、およびそれらの関係を有する。さらに、複合測定モデル120は、複合的な性質を有する、すなわち、複数の確率分布122は、測定値に基づいており、したがってモデル生成のデータ駆動型アプローチを表し、輪郭124は、物理学に基づいたモデル化の原理を使用して、物体の形状たとえば車両の形状をモデル化することに基づく。
加えて、複合測定モデル120は、拡大状態をモデル化の異なる原理を利用する、すなわち、複合測定モデル120は、輪郭モデル114の原理と表面モデル116の原理とを合体させる。その結果、複合測定モデル120は、測定割り当てを単純にしつつ、物体追跡の物理的性質をより適切に表現する。加えて、複合測定モデル120の複数の確率分布122は、表面モデル116の単一の分布よりも柔軟であり、輪郭124をより適切に記述するように構成することができ、物体の異なる角度または視野からの測定値の説明においてより柔軟である。
いくつかの実施形態は、理論上、輪郭124の形状には制限がないと仮定すると、複数の確率分布122が輪郭124上に位置する可能性がある、という理解に基づいている。しかしながら、実際、そのような仮定は、正しくなく、拡大状態の追跡には役立たない。これに対し、物体の輪郭124は予め決まっており、輪郭124が複数の確率分布122にフィットするのではなく、複数の確率分布122が輪郭124にフィットする。これにより、確率フィルタの更新段階中において物体の物理的構造を反映することが可能になる。
複合測定モデル120は、オフラインで、すなわち事前に学習される。複合測定モデル120は、ユニット座標系またはグローバル座標系において学習することができる。いくつかの実施形態は、複合測定モデル120をユニット座標系において学習することが有益である、という認識に基づいており、その理由は、これが、計算を単純化し、複合測定モデル120を物体の寸法に依存しないようにすることにある。複数の確率分布122(楕円で表される)の各々に、測定値を確率的に割り当てることができる。楕円に関連付けられた測定値を、楕円割り当て測定値と呼ぶことがある。
いくつかの実施形態は、複合測定モデル120を使用して、物体の拡大状態をオンラインで、すなわちリアルタイムで追跡することができる、という認識に基づいている。具体的には、各種実施形態は、物体の拡大状態に対するビリーフを追跡する確率フィルタを使用して物体の拡大状態を追跡し、物体の拡大状態に対するビリーフは、物体の運動モデルを使用して予測され、物体の複合測定モデル120を使用して更新される。
図2は、いくつかの実施形態に係る、複合測定モデル120(前の図に示されている)を使用することにより、物体の拡大状態を追跡するための追跡システム200のブロック図を示す。物体は、自動車、自転車、バス、またはトラックなどの車両であってもよいが、これらに限定される訳ではない。また、車両は、自動運転車両または半自動運転車両であってもよい。拡大状態は、物体の運動学的状態と拡張状態とを含む。いくつかの実施形態に従うと、運動学的状態は、速度、加速度、進行方向、および回転速度等の、物体の運動パラメータに対応する。いくつかの他の実施形態において、運動学的状態は、その運動パラメータを有する物体の位置に対応する。追跡システム200は、1つまたは複数の信号送信でシーンを探査するために、センサ202を含んでいてもよく、または一組のセンサに動作可能に接続されていてもよい。そうすると、1つまたは複数の信号送信は、1送信当たり物体の1つまたは複数の測定値を生成するように構成される。いくつかの実施形態に従うと、センサ202は自動車レーダであってもよい。いくつかの実施形態において、シーンは移動物体を含む。いくつかの他の実施形態において、シーンは、移動物体と静止物体の両方を含む1つ以上の物体を含み得る。
追跡システム200は、追跡システム200を他のシステムおよびデバイスに接続するいくつかのインターフェイスを有し得る。たとえば、ネットワークインターフェイスコントローラ(NIC:network interface controller)214は、追跡システム200を、バス212を介して、追跡システム200を一組のセンサに接続するネットワーク216に接続するように適合させたものである。追跡システム200は、ネットワーク216を介し、無線または有線のいずれかで、1つまたは複数の信号送信の反射のデータを受信して、1送信ごとに物体の1つまたは複数の測定値を生成する。それに加えてまたはその代わりに、追跡システム200は、制御入力をコントローラ222にサブミットするように構成された出力インターフェイス220を含む。
また、追跡システム200は、格納された命令を実行するように構成されたプロセッサ204と、プロセッサ204が実行可能な命令を格納するメモリ206とを含む。プロセッサ204は、シングルコアプロセッサ、マルチコアプロセッサ、コンピューティングクラスタ、または任意の数の他の構成であってもよい。メモリ206は、ランダムアクセスメモリ(RAM)、読出専用メモリ(ROM)、フラッシュメモリ、または任意の他の好適なメモリシステムを含み得る。プロセッサ204は、バス212を介して1つ以上の入力および出力デバイスに接続される。さらに、追跡システム200は、プロセッサ204が実行可能な命令を含む異なるモジュールを格納するように適合させた記憶装置208を含む。記憶装置208は、ハードドライブ、光学ドライブ、サムドライブ、ドライブのアレイ、またはそれらの任意の組み合わせを使用して実現することができる。
記憶装置208は、物体の運動モデル210aおよび物体の複合測定モデル210b(たとえば複合測定モデル120)を格納するように構成される。プロセッサ204は、物体の運動モデル210aを使用して予測され物体の複合測定モデル210bを使用して更新される物体の、拡大状態に対するビリーフを繰り返し追跡するために、確率フィルタを繰り返し実行するように構成される。物体の拡大状態に対するビリーフの追跡について、以下、図3A、図3B、および図3Cを参照しながら詳細に説明する。
Figure 2024517360000002
物体の予測拡大状態302は、拡大状態の予測ビリーフと呼ばれる場合がある、なぜなら、この予測は確率的であるからである。いくつかの実施形態は、物体の予測拡大状態302が、自動車レーダ測定値の正確な空間モデルを必要とするので、拡大状態に対する予測測定値を生成するには不正確な場合がある、という認識に基づいている。このため、いくつかの実施形態では、オフラインで学習されるユニット座標系における複合測定モデル304が使用される。ユニット座標系における複合測定モデル304を、予測拡大状態302と整合させるためには、複合測定モデル304を、予測拡大状態302に対して、ユニット座標系からグローバル座標系に変換する必要がある。具体的には、ユニット座標系における楕円割り当て測定値をグローバル座標系に変換する必要がある。
いくつかの実施形態は、そのような変換をアンセンテッド変換関数308を使用して実現することができる、という認識に基づいている。そのために、ある実施形態において、プロセッサ204は、楕円306(すなわち複合測定モデル304の確率分布)に対し、シグマ点を生成する。「楕円」および「確率分布」は、区別なく使用される場合があり、意味は同じである。さらに、シグマ点を、予測状態302の関数であるアンセンテッド変換関数308に伝搬させ、その結果、ユニット座標系における楕円306の楕円割り当て測定値に対応するグローバル座標系における予測測定値が決定される。加えて、予測測定値に対応する共分散が、予測測定値に基づいて決定される。同様に、残りの楕円に関連付けられる楕円割り当て測定値に対応するグローバル座標系における測定値が決定される。そのため、予測拡大状態302に従って複合測定モデル304を整合させる予測拡大状態モデル310が得られる。さらに、合成測定値が、以下で図3Bを参照しながら説明するように、予測拡大状態モデル310の各確率分布ごとに決定される。
図3Bは、いくつかの実施形態に係る、予測拡大状態モデル310の各確率分布ごとに合成測定値を決定するための概略図を示す。プロセッサ204は、現在の時間ステップにおける測定値312(十字マークで示される)を受信する。いくつかの実施形態は、複数の確率分布314a~314h(楕円)を独立して、たとえば互いに並列に処理することができる、という認識に基づいている。そのような独立した処理は、物体の拡大状態の探査の異なる視野角を考慮することを可能にする。そのような独立した処理を考慮するために、いくつかの実施形態は、複数の確率分布314a~314hのうちの異なる確率分布を、異なる物体に属するものとして処理する。加えて、いくつかの実施形態は、ソフト確率割り当て、すなわち、測定値312を異なる確率分布に確率的に割り当てることが、ハード決定論的割り当てよりも有利である、という認識に基づいている。ソフト確率的割り当ては、楕円および測定値の数に対して関連付けの次元を線形に保ちつつ、ハード割り当ての破滅的な割り当てを回避することができる。
そのため、プロセッサ204は、測定値312を、確率分布314に、関連付け確率で割り当てる。同様に、プロセッサ204は、測定値312を、確率分布314a~314hの各々に、対応する関連付け確率で割り当てる。複数の確率分布314a~314hの各々に関連付けられる対応する関連付け確率を有する測定値を、「合成測定値」と呼ぶ。
さらに、確率分布314aに対し、プロセッサ204は、確率分布314aに関連付けられる合成測定値に基づいて、合成重心316aと、拡がり316bを画定する合成共分散行列とを決定する。同様に、確率分布314eに対し、プロセッサ204は、確率分布314eに関連付けられる合成測定値に基づいて、合成重心318aと、拡がり318bを画定する合成共分散行列とを決定する。同様に、確率分布314hに対し、プロセッサ204は、確率分布314hに関連付けられる合成測定値に基づいて、合成重心320aと、拡がり320bを画定する合成共分散行列とを決定する。このようにして、確率分布ごとに合成重心および合成共分散行列が決定される。さらに、以下で図3Cを参照しながら説明するように、各確率分布に関連付けられる合成測定値を使用して、拡大状態に対する予測ビリーフを更新する。
図3Cは、いくつかの実施形態に係る、拡大状態302に対する予測ビリーフを更新するための概略図を示す。プロセッサ204は、物体の更新された拡大状態 xk|k 322を生成するために、各確率分布に関連付けられる合成測定値を用い、カルマンフィルタなどの確率フィルタを使用して、拡大状態302に対する予測ビリーフを更新する。物体の更新された拡大状態 xk|k 322を、拡大状態に対する更新ビリーフと呼ぶ場合がある。さらに、拡大状態に対する更新ビリーフを使用して、追跡されるビリーフを更新する。ある実施形態において、追跡されるビリーフは、予測ビリーフと更新ビリーフとの間の差異に基づいて更新される。さらに、プロセッサ204は、物体の拡大状態を、拡大状態に対する更新追跡ビリーフに基づいて追跡する。
上述のように、物体の拡大状態を追跡するために使用される複合測定モデル304は、オフラインで学習される。複合測定モデル304のオフライン学習および特性について以下で説明する。
Figure 2024517360000003
Figure 2024517360000004
Figure 2024517360000005
図4は、いくつかの実施形態に係る、複合測定モデル304のパラメータを学習する方法のフローチャートを示す。ステップ400において、この方法は、異なる物体の異なる運動の異なる測定値を含む訓練データを受けるステップ400を含む。ステップ402において、この方法は、訓練データを共通座標系に変換するステップ402を含む。
いくつかの実施形態は、複合測定モデル304のパラメータを、訓練データと、追跡される物体の輪郭の知識とに基づいて、期待値最大化(EM)法等の各種の統計的方法を使用して、オフラインで学習することができる、という認識に基づいている。そのため、ステップ404において、この方法は、EM法等の統計的方法を使用して、訓練データから複合測定モデルのパラメータを学習すること404を含む。
図5Aおよび図5Bは、いくつかの実施形態に係る、異なる物体の異なる運動から収集された訓練データの、共通のユニット座標系への変換の概略図を示す。異なる軌道500および502の追跡から収集された異なる測定値を、それぞれの物体中心(OC:object-centered)座標系504および506に変換する。次に、変換された測定値を集約する(508)。いくつかの実装形態において、測定値は、同様のタイプの物体の運動、たとえば同様のクラスの車両の運動から収集される。たとえば、実施形態は、各軌道ごとに、各時間ステップからの測定値を、グローバル座標(GC)から物体中心(OC)座標に変換し、同様のサイズの車両(たとえばセダン)のすべての軌道からのOC測定値を集約する。
次に、図5Bに示されるように、実施形態は、集約されたOC508測定値をユニット座標(UC)系510に変換する。いくつかの実装形態において、UC系への変換は、機械学習のために変換された訓練データを使用することを可能にする、各種正規化技術によって行われる。さらに、ユニット座標系510における測定値は、複合測定モデル304のパラメータを学習するための訓練データとして用いられる。
Figure 2024517360000006
Figure 2024517360000007
Figure 2024517360000008
Figure 2024517360000009
Figure 2024517360000010
Figure 2024517360000011
いくつかの実施形態に従うと、オフライン学習された複合測定モデルは、物体の拡大状態のオンライン追跡、すなわち物体の拡大状態のリアルタイム追跡に使用される。いくつかの実施形態は、複合測定モデルの確率的性質を、確率多仮説追跡(PMHT)法と、有益に整合させることができる、という認識に基づいている。たとえば、そのような整合により、少なくともカルマンフィルタの変形を使用して確率フィルタを実現することができる。たとえば、一実施形態は、アンセンテッドカルマンフィルタ-確率多仮説追跡(UKF-PMHT)法を使用する。アンセンテッドカルマンフィルタ(UKF)は、複合測定モデルをユニット座標系からグローバル座標系に変換するために用いられる。次に、確率多仮説追跡(PMHT)法を適用して、現在の時間ステップにおける測定値を、異なる楕円成分に確率的に割り当て、物体の拡大状態を更新する。
Figure 2024517360000012
Figure 2024517360000013
Figure 2024517360000014
Figure 2024517360000015
Figure 2024517360000016
Figure 2024517360000017
Figure 2024517360000018
再び図7Aを参照すると、ブロック708において、時間kにおける測定値714が与えられて、合成測定値および合成共分散行列が計算される。図7Cは、いくつかの実施形態に係る、合成測定値および合成共分散行列を計算するために実行されるステップのブロック図を示す。ブロック726において、第1の楕円に対し、測定値-楕円関連付けの重みが、式(16)に従って計算される。ブロック728において、第1の楕円に対し、合成測定値および合成共分散行列が、それぞれ式(17)および(18)を使用して計算される。
Figure 2024517360000019
Figure 2024517360000020
Figure 2024517360000021
Figure 2024517360000022
図8Aは、いくつかの実施形態の原理を採用する追跡システム200と通信するコントローラ802を含む車両800の概略図を示す。車両800は、乗用車、バス、またはローバーのような、任意の種類の車輪付き車両とすることがきる。また、車両800は、自動運転車両または半自動運転車両とすることができる。たとえば、いくつかの実施形態は、車両800の運動を制御する。運動の例は、車両800のステアリングシステム804が制御する車両の横方向の運動を含む。一実施形態において、ステアリングシステム804は、コントローラ802によって制御される。それに加えてまたはその代わりとして、ステアリングシステム804は、車両800のドライバーよって制御されてもよい。
いくつかの実施形態において、車両は、コントローラ802によってまたは車両800の他の構成要素によって制御することができるエンジン810を含み得る。いくつかの実施形態において、車両は、エンジン810の代わりに電気モータを含んでいてもよく、コントローラ802によってまたは車両800の他の構成要素によって制御することができる。また、車両は、周囲環境を検知するための1つ以上のセンサ806を含み得る。センサ806の例は、レーダなどの距離レンジファインダーを含む。いくつかの実施形態において、車両800は、その現在の運動パラメータおよび内部ステータスを検知するための1つ以上のセンサ808を含む。1つ以上のセンサ808の例は、全地球測位システム(GPS)、加速度計、慣性計測装置、ジャイロスコープ、シャフト回転センサ、トルクセンサ、たわみセンサ、圧力センサ、および流量センサを含む。センサは情報をコントローラ802に提供する。車両は、いくつかの実施形態の追跡システム200に対し、有線または無線通信チャネルを通してコントローラ802の通信機能を可能にする、トランシーバ812を備えていてもよい。たとえば、トランシーバ812を介して、コントローラ802は追跡システム200から制御入力を受信する。
図8Bは、いくつかの実施形態に係る、車両800のコントローラ802とコントローラ814との間のやり取りの概略図を示す。たとえば、いくつかの実施形態において、車両800のコントローラ814は、車両800の回転および加速度を制御するステアリングコントローラ816およびブレーキ/スロットルコントローラ818である。このような場合、コントローラ802は、制御入力に基づいて制御コマンドをコントローラ816および818に出力して車両の運動学的状態を制御する。いくつかの実施形態において、コントローラ814はまた、コントローラ802の制御コマンドをさらに処理する、ハイレベルコントローラ、たとえばレーンキープアシストコントローラ820を含む。いずれの場合も、コントローラ814は、コントローラ802の出力、すなわち制御コマンドを利用して、車両の運動を制御するために、車両のステアリングホイールおよび/またはブレーキなどの、車両の少なくとも1つのアクチュエータを制御する。
図8Cは、いくつかの実施形態を使用することによって制御入力が生成される、自動運転または半自動運転制御車両822の概略図を示す。被制御車両822は追跡システム200を備えていてもよい。いくつかの実施形態において、障害物824の各々の拡大状態を、被制御車両822によって追跡し、その後、制御入力は、障害物の追跡された拡大状態に基づいて生成される。いくつかの実施形態において、制御入力は、車両の車輪のステアリング角度および車輪の回転速度のうちの1つまたは組み合わせの値を指定するコマンドを含み、測定値は、車両の回転速度および車両の加速度のうちの1つまたは組み合わせの値を含む。
生成された制御入力は、被制御車両822を道路826の特定の境界の内側で維持することを目的とし、かつ、他の制御されていない車両、すなわち、制御車両822の障害物824を回避することを目的とする。たとえば、制御入力に基づいて、自動運転または半自動運転制御車両822は、たとえば別の車両を左側もしくは右側から通過してもよく、またはその代わりに道路826の現在の車線の中で別の車両の後方に留まってもよい。
以下の説明は、具体例としての実施形態のみを提供し、本開示の範囲、適用可能性、または構成を限定することを意図していない。むしろ、具体例としての実施形態の以下の説明は、具体例としての1つ以上の実施形態の実装を可能にする説明を当業者に提供するであろう。添付の請求項に記載されている開示された主題の精神および範囲から逸脱することなく要素の機能および構成に対してなされ得る各種変更が意図されている。
具体的な詳細事項は、上記説明において、実施形態の十分な理解を得るために与えられている。しかしながら、これらの具体的な詳細事項がなくても実施形態を実行できることを、当業者は理解できる。たとえば、開示された主題におけるシステム、プロセス、および他の要素は、実施形態を不必要な詳細で不明瞭にしないために、ブロック図の形態で構成要素として示される場合もある。他の例では、実施形態を不明瞭にしないよう、周知のプロセス、構造、および技術は、不必要な詳細事項なしで示されることがある。さらに、各種図面における同様の参照番号および名称は同様の要素を示す。
また、個々の実施形態は、フローチャート、フロー図、データフロー図、構造図、またはブロック図として示されるプロセスとして説明される場合がある。フローチャートは動作を逐次プロセスとして説明する場合があるが、動作の多くは並行してまたは同時に実行することができる。加えて、動作の順序は並べ替えられてもよい。プロセスは、その動作が完了したときに終了されてもよいが、論じられていないかまたは図に含まれていない追加のステップを有する場合がある。さらに、具体的に記載されている何らかのプロセスにおけるすべての動作がすべての実施形態に起こり得る訳ではない。プロセスは、方法、関数、手順、サブルーチン、サブプログラムなどに対応し得る。プロセスが関数に対応する場合、関数の終了は、呼出関数または主関数に関数を戻すことに対応し得る。
さらに、開示されている主題の実施形態は、少なくとも一部が、手作業または自動のいずれかで実装されてもよい。手作業または自動の実装は、マシン、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはその任意の組み合わせを通じて、実行されてもよく、または、少なくとも支援されてもよい。ソフトウェア、ファームウェア、ミドルウェアまたはマイクロコードで実装される場合、必要なタスクを実行するためのプログラムコードまたはコードセグメントは、マシン読取可能媒体に格納されてもよい。プロセッサ(複数のプロセッサ)が必要なタスクを実行してもよい。
本明細書で概要を述べた各種方法またはプロセスは、さまざまなオペレーティングシステムまたはプラットフォームのうちのいずれか1つを採用した1つ以上のプロセッサ上で実行可能なソフトウェアとして符号化されてもよい。加えて、このようなソフトウェアは、複数の好適なプログラミング言語および/またはプログラミングもしくはスクリプトツールのうちのいずれかを用いて記述されてもよく、フレームワークもしくは仮想マシン上で実行される、実行可能なマシン言語コードまたは中間符号としてコンパイルされてもよい。典型的に、プログラムモジュールの機能は、各種実施形態において所望される通りに組み合わせても分散させてもよい。
本開示の実施形態は、方法として実施されてもよく、その一例が提供されている。この方法の一部として実行される動作の順序は任意の適切なやり方で決められてもよい。したがって、実施形態は、例示されている順序と異なる順序で動作が実行されるように構成されてもよく、これは、いくつかの動作を、例示されている実施形態では一連の動作として示されるが、同時に実行することを含み得る。
特定の好ましい実施形態を参照しつつ本開示について説明してきたが、本開示の精神および範囲の中でその他各種の改変および修正が可能であることが理解されるはずである。したがって、本開示の真の精神および範囲に含まれるこのような変形および修正のすべてをカバーすることが添付の請求項の側面である。

Claims (17)

  1. 物体の拡大状態を追跡するための追跡システムであって、前記拡大状態は、前記物体の中心の位置および速度の一方または組み合わせを示す運動学的状態と、前記物体の寸法および向きの一方または組み合わせを示す拡張状態とを含み、前記追跡システムは、
    少なくとも1つのプロセッサと、
    命令が格納されたメモリとを備え、前記命令は、前記少なくとも1つのプロセッサによって実行されると、前記追跡システムに、
    少なくとも1つのセンサに関連付けられる測定値を受信することを実行させ、前記少なくとも1つのセンサは、前記物体を含むシーンを、1つまたは複数の信号送信を介して探査するように構成され、前記1つまたは複数の信号送信は、1つの前記送信ごとに前記物体の1つまたは複数の測定値を生成するように構成され、さらに、前記追跡システムに、
    前記物体の前記拡大状態に対するビリーフを反復的に追跡する確率フィルタを実行させ、前記ビリーフは、前記物体の運動モデルを使用して予測され、かつ前記物体の複合測定モデルを使用して更新され、前記複合測定モデルは、前記物体の中心への予め定められた相対幾何学的マッピングとともに、前記物体の輪郭上に位置するように制約された複数の確率分布を含み、前記反復的な追跡の各反復において、前記拡大状態に対するビリーフは、予測ビリーフと更新ビリーフとの間の差に基づいて更新され、前記更新ビリーフは、前記複数の確率分布の各々にフィットする前記測定値の確率に基づいて推定され、対応する前記幾何学的マッピングに基づいて前記物体の前記拡大状態にマッピングされ、さらに、前記追跡システムに、
    前記物体の前記拡大状態を、前記拡大状態に対する前記更新ビリーフに基づいて追跡することを実行させる、追跡システム。
  2. 前記プロセッサはさらに、アンセンテッド変換関数に基づいて、前記拡大状態に対する前記予測ビリーフまたは反復的に更新されたビリーフに関して前記複合測定モデルをユニット座標系からグローバル座標系に変換するように構成される、請求項1に記載の追跡システム。
  3. 前記プロセッサはさらに、前記複数の測定値を、前記複数の確率分布のうちの異なる確率分布に、前記異なる確率分布を異なる物体に属するものとして処理することにより、割り当てるように構成される、請求項1に記載の追跡システム。
  4. 前記プロセッサはさらに、前記異なる物体として処理される前記異なる確率分布への前記複数の測定値の割り当てを実行するために、確率多仮説追跡(PMHT)を使用して、前記複数の測定値を前記異なる確率分布に割り当てるように構成される、請求項3に記載の追跡システム。
  5. 前記複合測定モデルは期待値最大化(EM)法に基づいて学習される、請求項1に記載の追跡システム。
  6. 各確率分布の1つ以上のパラメータが、2次元(2D)確率空間におけるランダム行列モデル(RMM)によって表される、請求項1に記載の追跡システム。
  7. 前記物体の輪郭はB-スプライン曲線に対応する、請求項1に記載の追跡システム。
  8. 前記車両の状態に対する前記予測ビリーフは、アンセンテッド変換を使用して前記複合測定モデルを前記測定値と整合させるために用いられる、請求項1に記載の追跡システム。
  9. 前記プロセッサは、前記物体の追跡される前記拡大状態に基づいて車両のコントローラへの制御入力を決定し前記制御入力に従って前記車両を制御するように構成され、
    前記車両は請求項1に記載の前記追跡システムに動作可能に接続される、請求項1に記載の追跡システム。
  10. 物体の拡大状態を追跡するための追跡方法であって、前記拡大状態は、前記物体の中心の位置および速度の一方または組み合わせを示す運動学的状態と、前記物体の寸法および向きの一方または組み合わせを示す拡張状態とを含み、前記追跡方法は、
    少なくとも1つのセンサに関連付けられる測定値を受信するステップを含み、前記少なくとも1つのセンサは、前記物体を含むシーンを、1つまたは複数の信号送信を用いて探査するように構成され、前記1つまたは複数の信号送信は、1つの前記送信ごとに前記物体の1つまたは複数の測定値を生成し、前記追跡方法はさらに、
    前記物体の前記拡大状態に対するビリーフを反復的に追跡する確率フィルタを実行するステップを含み、前記ビリーフは、前記物体の運動モデルを使用して予測され、かつ前記物体の複合測定モデルを使用して更新され、前記複合測定モデルは、前記物体の中心への予め定められた相対幾何学的マッピングとともに、前記物体の輪郭上に位置するように制約された複数の確率分布を含み、前記反復的な追跡の各反復において、前記拡大状態に対するビリーフは、予測ビリーフと更新ビリーフとの間の差に基づいて更新され、前記更新ビリーフは、前記複数の確率分布の各々にフィットする前記測定値の確率に基づいて推定され、対応する前記幾何学的マッピングに基づいて前記物体の前記拡大状態にマッピングされ、前記追跡方法はさらに、
    前記物体の前記拡大状態を、前記拡大状態に対する前記更新ビリーフに基づいて追跡するステップを含む、追跡方法。
  11. 前記追跡方法は、アンセンテッド変換関数に基づいて、拡大状態に対する前記予測ビリーフに関して前記複合測定モデルをユニット座標系からグローバル座標系に変換するステップをさらに含む、請求項10に記載の追跡方法。
  12. 前記追跡方法は、前記複数の測定値を、前記複数の確率分布のうちの異なる確率分布に、前記異なる確率分布を異なる物体に属するものとして処理することにより、互いに独立して割り当てるステップをさらに含む、請求項10に記載の追跡方法。
  13. 前記追跡方法は、異なる物体として処理される前記異なる確率分布への前記複数の測定値の割り当てを実行する、確率多仮説追跡(PMHT)を使用して、前記複数の測定値を前記異なる確率分布に割り当てるステップをさらに含む、請求項12に記載の追跡方法。
  14. 前記複合測定モデルは期待値最大化(EM)法に基づいて学習される、請求項10に記載の追跡方法。
  15. 各確率分布の1つ以上のパラメータが、2次元(2D)確率空間におけるランダム行列モデル(RMM)によって表される、請求項10に記載の追跡方法。
  16. 前記物体の輪郭はB-スプライン曲線に対応する、請求項10に記載の追跡方法。
  17. 物体の拡大状態を追跡する方法を実行するためにプロセッサが実行可能なプログラムが実装された非一時的なコンピュータ読取可能記憶媒体であって、前記拡大状態は、前記物体の中心の位置および速度の一方または組み合わせを示す運動学的状態と、前記物体の寸法および向きの一方または組み合わせを示す拡張状態とを含み、前記方法は、
    少なくとも1つのセンサに関連付けられる測定値を受信するステップを含み、前記少なくとも1つのセンサは、前記物体を含むシーンを、1つまたは複数の信号送信を用いて探査するように構成され、前記1つまたは複数の信号送信は、1つの前記送信ごとに前記物体の1つまたは複数の測定値を生成し、前記方法はさらに、
    前記物体の前記拡大状態に対するビリーフを反復的に追跡する確率フィルタを実行するステップを含み、前記ビリーフは、前記物体の運動モデルを使用して予測され、かつ前記物体の複合測定モデルを使用して更新され、前記複合測定モデルは、前記物体の中心への予め定められた相対幾何学的マッピングとともに、前記物体の輪郭上に位置するように制約された複数の確率分布を含み、前記反復的な追跡の各反復において、前記拡大状態に対するビリーフは、予測ビリーフと更新ビリーフとの間の差に基づいて更新され、前記更新ビリーフは、前記複数の確率分布の各々にフィットする前記測定値の確率に基づいて推定され、対応する前記幾何学的マッピングに基づいて前記物体の前記拡大状態にマッピングされ、前記方法はさらに、
    前記物体の前記拡大状態を、前記拡大状態に対する前記更新ビリーフに基づいて追跡するステップを含む、非一時的なコンピュータ読取可能記憶媒体。
JP2024510547A 2021-05-05 2022-01-14 複合測定モデルを使用して移動物体の拡大状態を追跡するためのシステムおよび方法 Pending JP2024517360A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/308,220 2021-05-05
US17/308,220 US11914023B2 (en) 2021-05-05 2021-05-05 System and method for tracking an expanded state of a moving object using a compound measurement model
PCT/JP2022/002744 WO2022234695A1 (en) 2021-05-05 2022-01-14 System and method for tracking an expanded state of a moving object using a compound measurement model

Publications (1)

Publication Number Publication Date
JP2024517360A true JP2024517360A (ja) 2024-04-19

Family

ID=80786689

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2024510547A Pending JP2024517360A (ja) 2021-05-05 2022-01-14 複合測定モデルを使用して移動物体の拡大状態を追跡するためのシステムおよび方法

Country Status (5)

Country Link
US (1) US11914023B2 (ja)
EP (1) EP4143604B1 (ja)
JP (1) JP2024517360A (ja)
CN (1) CN117222915A (ja)
WO (1) WO2022234695A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230194692A1 (en) * 2021-12-17 2023-06-22 Gm Cruise Holdings Llc Radar tracking association with velocity matching by leveraging kinematics priors
CN116520281B (zh) * 2023-05-11 2023-10-24 兰州理工大学 一种基于ddpg的扩展目标跟踪优化方法和装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10026015B2 (en) * 2014-04-01 2018-07-17 Case Western Reserve University Imaging control to facilitate tracking objects and/or perform real-time intervention
US11124196B2 (en) * 2019-07-02 2021-09-21 Mitsubishi Electric Research Laboratories, Inc. Receding horizon state estimator
US11879964B2 (en) * 2020-02-13 2024-01-23 Mitsubishi Electric Research Laboratories, Inc. System and method for tracking expanded state of moving object with model geometry learning
US11619494B2 (en) * 2020-02-13 2023-04-04 Mitsubishi Electric Research Laboratories, Inc. System and method for tracking expanded state of an object
US11748995B2 (en) * 2020-09-29 2023-09-05 Toyota Research Institute, Inc. Object state tracking and prediction using supplemental information
US20230135987A1 (en) * 2021-10-28 2023-05-04 Mitsubishi Electric Research Laboratories, Inc. System and Method for Tracking an Expanded State of a Moving Object Using an Online Adapted Compound Measurement Model

Also Published As

Publication number Publication date
US11914023B2 (en) 2024-02-27
CN117222915A (zh) 2023-12-12
US20220373671A1 (en) 2022-11-24
WO2022234695A1 (en) 2022-11-10
EP4143604A1 (en) 2023-03-08
EP4143604B1 (en) 2023-11-15

Similar Documents

Publication Publication Date Title
US11531110B2 (en) LiDAR localization using 3D CNN network for solution inference in autonomous driving vehicles
EP3714285B1 (en) Lidar localization using rnn and lstm for temporal smoothness in autonomous driving vehicles
CN110796692A (zh) 用于同时定位与建图的端到端深度生成模型
CN111301425B (zh) 用于自动驾驶车辆的利用动态模型的有效最优控制
EP3367061B1 (en) Navigation system based on slow feature gradients
JP6855524B2 (ja) 低速特徴からのメトリック表現の教師なし学習
JP7297172B2 (ja) 物体の拡大状態を追跡するためのシステムおよび方法
CN111273655A (zh) 用于自动驾驶车辆的运动规划方法和系统
Drews et al. Aggressive deep driving: Model predictive control with a cnn cost model
JP2024517360A (ja) 複合測定モデルを使用して移動物体の拡大状態を追跡するためのシステムおよび方法
CN110901656B (zh) 用于自动驾驶车辆控制的实验设计方法和系统
JP7301245B2 (ja) モデル幾何学学習を用いて移動物体の拡大状態を追跡するためのシステムおよび方法
CN111208814B (zh) 用于自动车辆的、利用动态模型的、基于记忆的最优运动规划
CN115485698A (zh) 时空交互网络
JP7125286B2 (ja) 行動予測装置及び自動運転装置
US11188083B2 (en) Method, device, and computer readable storage medium with instructions for motion planning for a transportation vehicle
CN111402328B (zh) 一种基于激光里程计的位姿计算方法及装置
EP4148599A1 (en) Systems and methods for providing and using confidence estimations for semantic labeling
US20230135987A1 (en) System and Method for Tracking an Expanded State of a Moving Object Using an Online Adapted Compound Measurement Model
US11887317B2 (en) Object trajectory forecasting
EP4145352A1 (en) Systems and methods for training and using machine learning models and algorithms
US20230267640A1 (en) Pose estimation
CN118140154A (zh) 用于使用在线自适应复合测量模型跟踪移动目标的扩展状态的系统和方法
Elshall et al. Design and Development of Path Planning and Obstacle Avoidance System for Driverless Pod Using Artificial Neural Network
Vitória Image-Based Real-Time Path Generation Using Deep Neural Networks

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231026

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231026