JP2023546813A - 自律車両用途のための速度推定および物体追跡 - Google Patents

自律車両用途のための速度推定および物体追跡 Download PDF

Info

Publication number
JP2023546813A
JP2023546813A JP2023520411A JP2023520411A JP2023546813A JP 2023546813 A JP2023546813 A JP 2023546813A JP 2023520411 A JP2023520411 A JP 2023520411A JP 2023520411 A JP2023520411 A JP 2023520411A JP 2023546813 A JP2023546813 A JP 2023546813A
Authority
JP
Japan
Prior art keywords
velocity
sensing system
movement
return points
physical object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2023520411A
Other languages
English (en)
Other versions
JP7506829B2 (ja
Inventor
チェン,ミンチェン
フー,シャオシャン
Original Assignee
ウェイモ エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ウェイモ エルエルシー filed Critical ウェイモ エルエルシー
Publication of JP2023546813A publication Critical patent/JP2023546813A/ja
Application granted granted Critical
Publication of JP7506829B2 publication Critical patent/JP7506829B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50Systems of measurement based on relative movement of target
    • G01S17/58Velocity or trajectory determination systems; Sense-of-movement determination systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66Tracking systems using electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87Combinations of systems using electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808Evaluating distance, position or velocity data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4817Constructional features, e.g. arrangements of optical elements relating to scanning
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/539Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/32Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/34Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

本開示の態様および実装は、自律車両(AV)用途における効率的な物体識別および追跡のための速度推定を可能にすることによって、既存の技術の欠点に対処し、これには、AVの感知システムによって、複数の戻り点を取得することであって、各戻り点が、速度値と、感知システムによって放射される信号を反射する反射領域の座標とを有する、ことと、戻り点の速度値および座標と物理的対象の動きとの関連付けを識別することであって、動きが、剛体の並進運動および回転運動の組み合わせである、ことと、物理的対象の動きを考慮して、AVの運転経路を決定させることと、を含む。

Description

本明細書は、概して自律車両に関する。より具体的には、本明細書は、自律運転環境における速度推定および物体追跡を支援するために、速度感知データを使用して自律運転システムおよび構成要素を改善することに関する。
自律(完全および部分的な自動運転)車両(AV)は、様々な電磁(例えば、レーダーおよび光学)および非電磁(例えば、音声および湿度)センサで外部環境を感知することによって動作する。一部の自律車両は、感知されたデータに基づいて、環境内の運転経路をチャート化する。運転経路は、全地球測位システム(GPS)データおよびロードマップデータに基づいて決定することができる。GPSおよびロードマップデータは、環境の静的な側面(建物、街路のレイアウト、道路閉鎖など)についての情報を提供することができるが、動的情報(他の車両、歩行者、街路灯についての情報など)は、同時期に収集された感知データから取得される。運転経路の精度および安全性、ならびに自律車両によって選択されるスピードレジームの精度および安全性は、運転環境に存在する様々な物体の適時かつ正確な識別、および環境についての情報を処理し、車両コントロールおよびドライブトレインに正しい指示を提供する運転アルゴリズムの能力に依存する。
本開示は、限定ではなく、例として図示されており、図に関連して考慮されるとき、以下の詳細な説明を参照すると、より完全に理解されうる。
図1Aは、本開示の一部の実装による、ドップラー補助物体識別および追跡を使用する、自律車両の例の構成要素を示す図である。 図1Bは、本開示の一部の実装による、ドップラー補助物体識別および追跡を使用する図1Aの自律車両の知覚システムのアーキテクチャの例を示す図である 図2は、本開示の一部の実装による、自律車両の知覚システムの一部としての、速度推定を利用する、ドップラー補助物体識別および追跡セットアップの図である。 図3は、本開示の一部の実装による、自律車両の知覚システムの一部としての速度推定セットアップの図である。 図4は、本開示の一部の実装による、自律車両の知覚システムによる物体の動きの速度推定に使用されうる、1つの可能な幾何学的表現の概略図である。 図5は、本開示の一部の実装による、追加の感知フレームからのデータを感知することによる速度推定の増強を示す図である。 図6は、本開示の一部の実装による、効率的な速度推定および物体マッピングのための二重センサセットアップの図である。 図7は、本開示の一部の実装による、自律運転車両用途のための、ドップラー補助速度推定および物体追跡を使用する方法の例の流れ図を示す。 図8は、本開示の一部の実装による、自律運転車両用途のための、速度推定および物体追跡の間の潜在速度成分の曖昧性解消の方法の例の流れ図を示す。 図9は、本開示の一部の実装による、自律運転車両用途のための、モーションフィルタを使用して物体の動きを追跡する方法の例の流れ図を示す。 図10は、シミュレーションベースの試験を可能にして、現実世界の材料の再帰反射データを使用し、運転環境で遭遇しうる現実世界の材料の再帰反射データを取得して、自律車両システムを改善することができるコンピュータ装置の例のブロック図を示す。
概要
1つの実装において、自律車両(AV)の感知システムによって、複数の戻り点を取得することであって、各戻り点が、速度値と、感知システムによって放射される信号を反射する反射領域の1つ以上の座標とを含む、ことをし、複数の戻り点のそれぞれの速度値および1つ以上の座標と、物理的対象の動きとの関連付けを識別することであって、動きが、剛体の並進運動および回転運動の組み合わせである、ことをし、物理的対象の動きを考慮して、AVの運転経路を決定させる、方法が開示されている。
別の実装では、複数の戻り点を取得するための自律車両(AV)の感知システムを含むシステムが開示されており、各戻り点は、速度値と、感知システムによって放射される信号を反射する反射領域の1つ以上の座標とを含む。システムはさらに、複数の戻り点のそれぞれの速度値および1つ以上の座標と、物理的対象の動きとの関連付けを識別することであって、動きが剛体の並進運動と回転運動との組み合わせである、ことをし、物理的対象の動きを考慮して、AVの運転経路を決定させるための、AVの知覚システムを含む。
別の実装において、コンピューティング装置によって実行されるとき、コンピューティング装置に、自律車両(AV)の感知システムによって、複数の戻り点を取得することであって、各戻り点が、速度値と、感知システムによって放射される信号を反射する反射領域の1つ以上の座標とを含む、ことをさせ、複数の戻り点のそれぞれの速度値および1つ以上の座標と、物理的対象の動きとの関連付けを識別することであって、動きが、剛体の並進運動および回転運動の組み合わせである、ことをさせ、物理的対象の動きを考慮して、AVの運転経路を決定させる、命令を格納する非一時的コンピュータ可読媒体が開示されている。
詳細な説明
自律車両は、光検出および測距(lidar、ライダー)技術を用いて、環境中の様々な物体までの距離、および時には、こうした物体の速度を検出することができる。ライダーは、物体まで移動する1つ以上のレーザー信号(パルス)を放射し、その後、物体から反射された到着信号を検出する。信号放射と反射波の到着との間の時間遅延を決定することによって、飛行時間(ToF)ライダーは、物体までの距離を決定することができる。典型的なライダーは、外部環境の広い視野を得るために、複数の方向に信号を放射する。例えば、ライダー装置は、スキャンすることによって360度視野全体をカバーし、タイムスタンプで識別された一連の連続フレームを収集することができる。結果として、空間の各セクタは、ライダーのスキャンスピードの角速度によって決定される、時間増分Δτで感知される。本明細書で使用される「フレーム」または「感知フレーム」は、ライダーのスキャンで取得された環境の360度視野全体、または代替的に、任意のより小さなセクタ、例えば、1度、5度、10度、またはスキャンサイクル(回転)の小部分で、もしくは限定された角度をカバーするように設計されたスキャンで得られた任意の他の角度を指すことができる。
各フレームは、環境の様々な物体からの反射に対応する多数の戻り点(または単に「点」)を含みうる。各点は、対応する物体までの距離に関連付けられてもよく、またはより具体的には、それぞれの戻り点の原因となっている物体の反射面の要素(反射領域)までの距離と関連付けられてもよい。点のセットが与えられる、またはそうでなければフレームと関連付けられることができ、時には「点群」と呼ばれる。点群は、複数の物体からの戻りを含むことができる。典型的には、一定のフレーム内にいくつの物体があるかは、演繹的には知られていない。別の車両、道路標識、歩行者などの単一の物体は、複数の戻り点を生成することができる。例えば、10度フレームは、1つ以上の道路標識、ライダー装置(自律車両上に取り付けることができる)から様々な距離に位置し、異なるスピードで異なる方向に動いている複数の車両、道路を横断している歩行者、歩道を歩いている歩行者、または道端で立っている歩行者、および他の多くの物体からの戻りを含みうる。一定の点群を、異なる物体に対応するクラスタに分割する(自律車両の知覚システムによって実施されうる)ことは、自律運転用途に有用でありうる。近い点(例えば、小さな角距離で分離され、類似の距離からの反射に対応する)は、それにもかかわらず、異なる物体に属しうる。例えば、交通標識、および標識の近くに立っている歩行者は、近い戻り点を生成しうる。同様に、隣接するレーンで自転車と一緒に移動している車両は、近い戻り点を生成しうる。
異なる物体に対応する点の識別は、様々なセグメンテーションの方法、および反復最近接点(ICP)マッピングなどの点群マッピングを使用して行われてもよい。例えば、点群マッピングは、タイムスタンプτによって識別されたフレームの点の選択されたセット(例えば、クラスタ)が、フレームの別の点のセットτ+Δτ上にマッピングされ、両方のセットが同じ物体(例えば、車または歩行者)に対応すると仮定される、仮説の形成を伴いうる。
ToFライダーは、典型的には測距に使用される。ToFはまた、(異なる感知フレームの一部として)素早く連続的に2つ以上の信号を放射し、表面が各追加フレーム間で移動する時の反射面の位置を検出することによって、戻り点の速度(スピードおよび動きの方向)を決定する能力がありうる。連続的な信号の間隔は、物体が、環境の他の物体に対してその位置を(連続的なフレームの間で)感知できるほどに変化させないほど短いが、ライダーが物体の位置の変化を正確に検出するのを可能にするためになおも十分長くてもよい。しかしながら、ToFライダー装置は、一般に、単一の感知フレームに基づいて物体の速度を決定することはできない。
本開示の態様および実装は、自律車両の環境に存在する様々な移動物体に対して、ドップラー補助速度感知を使用した速度推定および物体追跡の方法を可能にする。具体的には、コヒーレントライダーは、送信された信号にコードされ、かつ放射電磁波によって標的に運ばれて戻る位相情報を利用し、標準的ToFライダー技術では利用できない追加機能を提供する。コヒーレントライダーは、反射面の動きによって誘発される反射波の周波数(および付随する位相)の変化、ドップラー効果として知られる現象、を検出する。反射波の周波数/位相は、波動伝播の方向に平行な反射面の速度の成分Vrに敏感であり、本明細書では、「視線方向」または「縦方向」速度と呼ばれる。コヒーレントライダーは、レンジ情報を取得することに加えて、動径速度を点群の戻り点と関連付けることを可能にする(視線方向の速度測定)。この追加情報は、以下でより詳細に説明するように、物体によって実行される(並進および回転)運動の特徴を決定することによって、様々な物体の速度推定および追跡を可能にする。特に、剛体(車、トラック、航空機などの本体など)の動きは、典型的には、物体の2つの任意に選択された点の間の距離がその動きの過程で固定された(一定の)ままであるという条件によって制限される。結果として、剛体の動きは、並進ベクトル速度

(以下、「速度」)によって説明されうる並進運動と、角速度

(以下、「角速度」)によって説明されうる回転運動との組み合わせとして説明されうる。最も一般的な場合、2つのベクトル速度は、6つの値、例えば、デカルト座標(または、代替的に、円筒形、球形、または任意の他の座標系)における、速度

の3つの成分および角速度

の3つの成分に等しい。以下で開示するように、速度についての情報は、AVの感知システムの単一フレームから決定することができる。フレームは、(異なる感知信号の反射に対応する)戻り点のメッシュを含むことができ、各戻り点(「点」)Pは、既知の座標(例えば、ライダートランスミッタの方向データおよび反射感知信号のToFから抽出されたレンジデータから既知)、および各点Pに対応する反射面の動径速度成分(本明細書では「動径速度」)Vr(P)(例えば、反射信号のドップラー周波数/位相シフトからコヒーレントライダーセンサによって抽出される)を含む。複数の点の座標および動径速度を、

および

によってパラメータ化された剛体方程式にフィッティングすることによって、処理装置(例えば、AVのデータ処理システムおよび/またはAVの知覚システムを実行する処理装置)は、例えば、様々なフィッティングアルゴリズムを使用して、単一のフレームに基づいて、速度および角速度の成分の一部または大部分の値を決定することができる。
一部の場合、物体は、物体の様々な領域に動径速度を全く(または動径速度をほとんど)与えないタイプの、動きを行いうる。例えば、車は横方向に移動しているのでありえ、または車輪はセンサシステムからの視線に垂直な平面内で回転している。こうした例では、物体の横変位の検出を可能にするために、異なる(例えば、より後またはより早い)時間のインスタンスでのトランスミッタの他のサイクル(回転)に対応する1つ以上の追加感知フレームを使用して、完全な速度再構成が増強されうる。
図1Aは、本開示の一部の実装による、ドップラー補助物体識別および追跡を使用する、自律車両(AV)100の例の構成要素を示す図である。図1Aは、自律車両の例の動作を示す。自律車両には、自動車両(車、トラック、バス、オートバイ、全地形対応車両、リクリエーション車両、任意の特殊農業または建設車両など)、航空機(飛行機、ヘリコプター、ドローンなど)、海軍車両(船、ボート、ヨット、潜水艦など)、または(人間による入力なしの、または人間による入力が減少した)自動運転モードで動作する能力があるその他の任意の自走式車両(例えば、歩道運搬ロボット車両)が含まれうる。
運転環境110は、道路、建物、木、茂み、歩道、橋、山、他の車両、歩行者など、AVの外部に位置する任意の(動きのある、または動きのない)物体を含みうる。運転環境110は、都市部、郊外、農村部などでありうる。一部の実装では、運転環境110は、オフロード環境(例えば、農業または農地)でありうる。一部の実装では、運転環境は、屋内環境、例えば、工業プラントの環境、出荷倉庫、建物の危険エリアなどでありうる。一部の実装では、運転環境110は、様々な物体が表面と平行(例えば、地球の表面と平行)に移動していて、実質的に平坦でありうる。他の実装では、運転環境は、三次元でありえ、3つの方向すべてに沿って移動することが可能な物体(例えば、風船、葉など)を含みうる。以下、「運転環境」という用語は、自走式車両の自律的動きが起こりうるすべての環境を含むと理解されるべきである。例えば、「運転環境」は、任意の可能な、航空機の飛行環境または海軍船舶の海洋環境を含みうる。運転環境110の物体は、数フィート(またはそれ未満)の近距離から数マイル(またはそれを超える)までの、AVからの任意の距離に位置することができる。
実例AV100は、感知システム120を含みうる。感知システム120は、様々な電磁(例えば、光学的)および非電磁(例えば、音響)感知サブシステムおよび/または装置を含みうる。本開示全体を通して言及される「光学的」および「光」という用語は、例えば、距離感知、速度感知、加速度感知、回転運動感知など、自律運転を促進するために物体感知に使用されうる任意の電磁放射(波)を包含することが理解されるべきである。例えば、「光学的」感知は、ヒトの目に見える光の範囲(例えば、380~700nmの波長範囲)、UV範囲(380nm未満)、赤外線範囲(700nm超)、無線周波数範囲(1m超)などを利用することができる。実装において、「光学的」および「光」は、電磁スペクトルの任意の他の適切な範囲を含みうる。
感知システム120は、レーダーユニット126を含むことができ、これはAV100の運転環境110内の物体を感知するために無線またはマイクロ波周波数信号を利用する任意のシステムでありうる。レーダーユニットは、物体の空間位置(それらの空間寸法を含む)、および(例えば、ドップラーシフト技術を使用して)それらの速度の両方を感知するように構成されうる。以下、「速度」とは、物体がどれだけ速く動いているか(物体のスピード)、ならびに物体の動きの方向の両方を指す。「角速度」という用語は、物体が何らかの軸の周りをどのくらい速く回転しているか、ならびにこの回転軸の方向を指す。例えば、左(右)に曲がっている車両は、上(下)に向いた回転軸を有し、角速度の値は、回転角度の変化率(例えば、ラジアン毎秒で測定される)と等しい。
感知システム120は、1つ以上のライダーセンサ122(例えば、ライダー距離計)を含むことができ、これは運転環境110中の物体までの距離を決定する(例えば、ToF技術を使用して)能力があるレーザーベースのユニットでありうる。ライダーセンサ(複数可)は、電波の波長よりも短い電磁波の波長を利用することができ、したがって、レーダーユニットと比較してより高い空間分解能および感度を提供することができる。ライダーセンサ(複数可)は、周波数変調連続波(FMCW)ライダーセンサなどの、コヒーレントライダーセンサを含みうる。ライダーセンサ(複数可)は、速度決定のために光学ヘテロダイン検出を使用しうる。一部の実装では、ToFおよびコヒーレントライダーセンサ(複数可)の機能性は、反射物体までの距離および動径速度の両方を決定する能力がある単一の(例えば、ハイブリッド)ユニットに組み合わされる。こうしたハイブリッドユニットは、非コヒーレント感知モード(ToFモード)および/もしくはコヒーレント感知モード(例えば、ヘテロダイン検出を使用するモード)または同時に両方のモードで動作するよう構成されうる。一部の実装では、複数のライダーセンサ(複数可)122ユニットを、例えば、空間内に分離された異なる位置でAV上に取り付けて、以下により詳細に説明するように、反射物体の速度の横成分に関する追加情報を提供しうる。
ライダーセンサ(複数可)122は、信号を生成し放射する1つ以上のレーザー源と、物体から反射されて戻る信号の1つ以上の検出器とを含みうる。ライダーセンサ(複数可)122は、放射された信号の波長(周波数)とは異なる波長(周波数)を有する偽の電磁波をフィルタリングするスペクトルフィルタを含むことができる。一部の実装では、ライダーセンサ(複数可)122は、放射された信号の再帰反射方向とは異なる方向に沿って検出器に到達しうる電磁波をフィルタリングする方向フィルタ(例えば、開口、回折格子など)を含みうる。ライダーセンサ(複数可)122は、様々な他の光学部品(レンズ、ミラー、格子、光学フィルム、干渉計、分光計、局部発振器など)を使用して、センサの感知能力を強化することができる。
一部の実装では、ライダーセンサ(複数可)122は、水平方向など、360度をスキャンできる。一部の実装では、ライダーセンサ122は、水平方向および垂直方向の両方に沿って空間スキャンする能力がありうる。一部の実装では、視野は、(例えば、地平線より上の領域の少なくとも一部分が、ライダー信号によってスキャンされて)垂直方向に最大90度でありうる。一部の実装では、視野は、例えば、航空用途の複数のライダーセンサを使用して、全球(2つの半球からなる)とすることができる。簡潔および簡明にするために、本開示で一般に、「ライダー技術」、「ライダー感知」、「ライダーデータ」、および「ライダー」への言及がなされる場合、こうした言及は、一般に近赤外線波長で作動する他の感知技術も包含すると理解されるものとするが、他の波長で作動する感知技術も含みうる。
感知システム120は、運転環境110の画像を捕捉するために、1つ以上のカメラ129をさらに含むことができる。画像は、カメラの投影面(平坦または非平坦、例えば、魚眼)上への運転環境110(または運転環境110の一部)の二次元投影でありうる。感知システム120のカメラ129のうちのいくつかは、運転環境110の画像の連続的(または準連続的)ストリームを捕捉するように構成されたビデオカメラでありうる。感知システム120はまた、1つ以上のソナー128を含むことができ、これは一部の実装では、超音波ソナーでありうる。
感知システム120によって取得された感知データは、AV100のデータ処理システム130によって処理されうる。例えば、データ処理システム120は、知覚システム132を含みうる。知覚システム132は、運転環境110中の物体を検出および追跡し、検出された物体を認識するように構成されうる。例えば、知覚システム132は、カメラ129によって捕捉された画像を分析することができ、交通信号、道路標識、道路レイアウト(例えば、車線の境界、交差点のトポロジー、駐車場の指定など)、障害物の存在などを検出する能力がありうる。知覚システム132は、さらに、環境110中の様々な物体までの距離およびこうした物体の速度(視線方向および、一部の実装では、以下に記載するように、横方向)を決定するための、ライダー感知データ(コヒーレントドップラーデータおよび非コヒーレントToFデータ)を受信することができる。一部の実装では、知覚システム132は、カメラ(複数可)129によって捕捉されたデータとライダーデータを組み合わせて使用することができる。一例では、カメラ(複数可)129は、車線を部分的に遮る石の画像を検出することができる。カメラ(複数可)129からのデータを使用して、知覚システム132は、石の角サイズを決定する能力がありうるが、石の直線サイズを決定する能力はない。ライダーデータを使用して、知覚システム132は、石からAVまでの距離を決定することができ、したがって、距離情報を石の角サイズと組み合わせることによって、知覚システム132は、石の線形寸法も決定することができる。
別の実装では、ライダーデータを使用して、知覚システム132は、検出された物体がAVからどの程度離れているかを決定し、AVの動きの方向に沿った物体の速度の成分をさらに決定することができる。さらに、カメラによって取得された一連の機敏な画像を使用して、知覚システム132はまた、AVの動きの方向に対して垂直な方向で、検出された物体の横速度を決定することができる。一部の実装では、横速度は、例えば、(水平スキャンを使用して)物体のエッジを認識し、物体のエッジが横方向にどのくらい素早く移動しているかをさらに決定することによって、ライダーデータのみから決定することができる。知覚システム132は、速度推定モジュール(VEM)133を有しうる。VEM133は、感知システム120から1つ以上のセンサデータフレームを受信することができる。センサフレームのそれぞれは、複数の点を含みうる。各点は、感知システム120によって(例えば、ライダーセンサ(複数可)122などによって)放射される信号が反射される、反射面に対応しうる。反射面のタイプおよび/または性質は、不明でありうる。各点は、フレームのタイムスタンプ、反射面の座標、反射面の動径速度、反射信号の強度など、様々なデータと関連付けられうる。座標は、1つの実装において、球面(または円筒)座標とすることができる。例えば、座標は、半径方向距離、極角(それぞれの反射面に対する方向が、垂直方向または水平面となす角度)、および方位角(水平面内の方向を示す角度)を含みうる。半径方向距離は、ライダーデータから決定することができる一方、角度は、例えば、水平面内の既知の走査周波数に基づいて、同期装置データ、クロックデータから独立して知られうる。一部の実装では、速度データは、ドップラー補助感知技術を使用して、コヒーレントライダーセンサ(例えば、FMCWセンサ)として動作するライダーセンサ(複数可)122のうちの1つ以上によって、VEM133に提供されうる。VEM133は、以下でより詳細に記載する通り、1つ以上のアルゴリズムを使用して、点の様々なセットの速度分布を再構成することができる。再構成された速度は、以下でより詳細に説明するように、物体の効率的かつ信頼性の高い検出および追跡のために、知覚システム132によって使用されうる。
知覚システム132はさらに、地球に対するAVの位置についての情報を取得するように構成されたGPSトランシーバ(図示せず)から情報を受信することができる。GPSデータ処理モジュール134は、GPSデータを感知データと併せて使用して、道路、車線の境界、交差点、歩道、横断歩道、道路標識、周囲の建物など、地図情報135によってその位置が提供されうる、運転環境110の固定された物体に対してAVの位置を正確に決定するのを助けることができる。一部の実装では、データ処理システム130は、ソナーデータ(例えば、超音波センサデータ)、温度センサデータ、圧力センサデータ、気象データ(例えば、風速および方向、降水データ)などの非電磁データを受信することができる。
データ処理システム130は、環境監視および予測コンポーネント136をさらに含むことができ、これは、例えば、動きのある物体の(地球に対する)位置および速度を追跡することによって、運転環境110が時間と共にどのように進展するかを監視することができる。一部の実装では、環境監視および予測コンポーネント136は、環境に対するAVの動きによる、環境の変化する外観を追跡することができる。一部の実装では、環境監視および予測コンポーネント136は、運転環境110の様々な、動きのある物体が、予測時間枠内にどのように位置付けられるかについての予測をすることができる。予測は、動きのある物体の、現在の位置および速度、ならびに、ある一定の(例えば、所定の)期間の間の、動きのある物体の追跡された動態に基づきうる。例えば、前の3秒間の期間における物体1の加速された動きを示す、物体1の保存データに基づいて、環境監視および予測コンポーネント136は、物体1が、その動きを停止標識または赤信号から再開していると結論付けることができる。したがって、環境監視および予測コンポーネント136は、道路のレイアウトおよび他の車両の存在を考慮すると、物体1が、動きの次の3秒または5秒以内にある可能性が高い場所を予測することができる。別の例として、前の2秒間の期間における物体2の減速された動きを示す、物体2の保存データに基づいて、環境監視および予測コンポーネント136は、物体2が停止標識または赤信号で止まりつつあると結論付けることができる。したがって、環境監視および予測コンポーネント136は、物体2が次の1秒または3秒以内にある可能性が高い場所を予測することができる。環境監視および予測コンポーネント136は、その予測の正確さの定期的なチェックを行い、感知システム120から得られた新しいデータに基づいて予測を修正することができる。
知覚システム132、GPSデータ処理モジュール134、および環境監視および予測コンポーネント136によって生成されるデータは、AV制御システム(AVCS)140などの自律運転システムによって使用されうる。AVCS140は、様々な運転状況および環境でAVがどのように挙動すべきかを制御する、1つ以上のアルゴリズムを含みうる。例えば、AVCS140は、目的地点へのグローバル運転経路を決定するためのナビゲーションシステムを含むことができる。AVCS140はまた、当面の運転環境を通る特定の経路を選択するための運転経路選択システムを含むことができ、これには、車線の選択、交通渋滞の切り抜け、Uターンする場所の選択、駐車操作のための軌道の選択などが含まれうる。AVCS140はまた、AVの運転環境内の様々な障害物(石、立ち往生した車両、交通規則や信号を無視して横切る歩行者など)を安全に回避するための障害物回避システムを含みうる。障害物回避システムは、障害物のサイズおよび障害物の軌道(障害物が動きのある場合)を評価し、障害物を回避するための最適な運転戦略(例えば、制動、ステアリング、加速など)を選択するように構成されうる。
AVCS140のアルゴリズムおよびモジュールは、パワートレインおよびステアリング150、車両電子機器160、シグナリング170、ならびに図1に明示的に示されていない他のシステムおよび構成要素など、車両の様々なシステムおよび構成要素のための命令を生成しうる。パワートレインおよびステアリング150は、エンジン(内燃機関、電気エンジンなど)、変速装置、ディファレンシャル、軸、車輪、ステアリング機構、および他のシステムを含むことができる。車両電子機器160は、オンボードコンピュータ、エンジン管理、点火、通信システム、カーピュータ、テレマティクス、車載エンターテイメントシステム、および他のシステムおよび構成要素を含みうる。シグナリング170は、ハイヘッドライトおよびローヘッドライト、ストップライト、方向指示灯およびバックライト、警笛および警報、内部照明システム、ダッシュボード通知システム、乗客通知システム、無線およびワイヤレスネットワーク伝送システムなどを含むことができる。AVCS140によって出力される命令の一部は、パワートレインおよびステアリング150(またはシグナリング170)に直接送達されうる一方で、AVCS140によって出力される他の命令は、最初に車両電子機器160に送達され、これは、パワートレインおよびステアリング150ならびに/またはシグナリング170へのコマンドを生成する。
一例では、AVCS140は、データ処理システム130によって識別された障害物が、安全なスピードに達するまで車両を減速し、続いて、障害物を迂回して車両をステアリングすることによって回避されるべきであると判断しうる。AVCS140は、パワートレインおよびステアリング150に(直接または車両電子機器160を介して)、1)スロットル設定を変更することによって、エンジンへの燃料の流れを減少させてエンジンrpmを低下させる、2)自動変速装置を介して、ドライブトレインをより低いギアへとダウンシフトする、3)ブレーキユニットを係合して、(エンジンおよび変速装置と協調して作動しながら)安全なスピードに達するまで車両のスピードを減少させる、および4)パワーステアリング機構を使用して、障害物が安全に迂回されるまでステアリング操作を行うための、命令を出力することができる。その後、AVCS140は、パワートレインおよびステアリング150に、車両の以前のスピード設定を再開するための命令を出力することができる。
図1Bは、本開示の一部の実装による、ドップラー補助物体識別および追跡を使用する図1Aの自律車両の知覚システムのアーキテクチャの例を示す図である。1つの実装において、図1Bに示される知覚システムは、図1Aの知覚システム132でありうる。知覚システム132への入力は、ライダーセンサ(複数可)122によって取得された距離データおよび動径速度データを含む、感知システム120によって取得されたデータであってもよい。例えば、データ取得モジュール180は、各(戻り)点を、それぞれの反射領域の座標および動径速度に関連付けてもよい。様々な点は、異なるフレームに対応してもよく、各フレームはタイムスタンプを有する。一部の実装では、視野の周りで順次に感知信号を出力するローリングシャッターの責任を負うために、データ取得ブロック180は、それぞれのフレームのグローバル参照タイムスタンプを、所与のフレーム内の時間補正で変更することによって、個々のタイムスタンプを各点に関連付けてもよい。データ取得モジュール180の出力は、感知フレームまたはこうしたフレームの一部分に対応する点の点群181とすることができる。点群181は、セグメンテーションモジュール182に入力することができ、ここで点群181の様々な点が、異なる物体に対応するクラスタ183にグループ化されうる。セグメンテーションは、様々なアプローチを使用して実施することができる。クラスタは、空間内の点の近接、様々な点の動径速度の近接、またはその両方に基づいてグループ化することができる。一部の実装では、セグメンテーションは、2つの異なる感知フレームの点をマッピングする能力がある様々なマッピングアルゴリズム(ICPなど)を使用しうる。セグメンテーションは、仮説の形成および検証を伴う場合があり、例えば、あるクラスタが単一の物体に対応するという仮説は、クラスタ内の点の測定された(視線方向)速度の分布に基づいて、異なる感知フレーム間のクラスタの進展に基づいて、および/または他の方法および技術によって、確認または反証されうる。確認された仮説(例えば、出力クラスタ183)は、クラスタ追跡モジュール184に提供されうる。クラスタ追跡モジュール184は、識別されたクラスタ183のすべてまたは少なくとも一部に対応する物体の速度推定を行うことができる。一部の実装では、速度推定は、以下でより詳細に開示するように、VEM133によって実施されうる。特に、VEM133は、1つ以上のライダーセンサによって取得された速度データを使用して、識別されたクラスタ183に対応する物体の並進速度

および回転速度

を識別(例えば、距離および速度測定値の精度によって決定される正確さで推定)してもよい。一部の実装では、

および

の識別は、単一の感知フレームに基づいて実施することができる。一部の実装では、

および

の完全な識別は、複数の感知フレームを使用して実施することができる。一部の実装では、異なる感知フレーム(異なるタイムスタンプを有する感知フレーム)からの点のクラスタを使用して、物体の動きを追跡するために速度推定を使用しうる。
知覚システム132はまた、物体追跡のためにクラスタ関連付けモジュール186を使用することができる。クラスタ関連付けモジュール186は、異なる感知フレームに属するクラスタを、同じ物体に関連付けられていると識別して、時間の関数として物体の動きの追跡を容易にすることができる。速度推定およびクラスタ関連付けを使用して、クラスタ追跡モジュール184によって識別された物体は、物体分類モジュール188によって、車、トラック、バスオートバイ、自転車に乗る人、歩行者、静止物体などの特定のタイプ(クラス)に分類されうる。物体分類は、サイズ、位置、速度(回転および並進の両方)、動きのパターン(例えば、物体がどのくらいの頻度で停止するか、物体がどのくらい素早く加速/減速するか)、他の物体に対する動きなど、追跡されたクラスタの様々な特徴を使用して実施することができる。物体分類モジュール188による様々な物体の分類、ならびに物体の(クラスタ追跡モジュール184によって)以前に追跡された動きに基づいて、挙動予測モジュール190は、識別された物体が特定の時間枠内でどのように動く可能性が高いか、例えば、トラックが交差点の前で停止する可能性が高いかどうか、停止することなく交差点を横断する可能性が高いかどうか、交差点で曲がる可能性が高いかどうかなどを、予想することができる。挙動予測モジュール190はまた、識別された物体の速度および加速/減速、変化する交通および道路状況に対する物体の反応などを予想できる。挙動予測モジュール190からの(例えば、予想)からの情報は、図1Aに関連して上述したように、AVCS140に提供されて、運転経路選択を可能にしうる。
図2は、本開示の一部の実装による、自律車両の知覚システムの一部としての、速度推定を利用する、ドップラー補助物体識別および追跡セットアップの図200である。図2には、交差点に近づくAV202(AV100または任意の他のAVでありうる)が描写されている。AV202はセンサ206を有し、これは、コヒーレントライダー、FMCWライダー、ハイブリッドコヒーレント/ToFライダー、コヒーレントおよび非コヒーレントライダーの組み合わせなどのライダー、またはレンジ(距離)情報に加えて動径速度情報を感知することを可能にする任意の他の装置でありうる。センサ206は、AV202の運転環境をスキャンする。特に、センサ206は、各感知フレームに対して複数の戻り点を感知することができる。感知フレームは、時間増分Δτによって分離されうる。時間増分は、異なる方向をわずかに異なる時間において信号で探ることができるという理由で、同じ方向に放射される(またはそこから返される)信号間の時間差を指す。より具体的には、Δτは、例えば360度水平視野に沿ったN点の、センサ(例えば、ライダートランスミッタ)サイクルの期間(例えば、また同じ領域の連続的スキャンの間の期間)とすることができ、その結果、感知の任意の2つの隣接する方向を、Δτ/Nの時間リード/ラグで探ることができる。
物体210(例えば、車、トラック、バス、オートバイ、または任意の他の物体)は、図2に描写されるように、交差点に近づいて、左折している可能性がある。時間τおよびτ+Δτにおいてとられた2つの連続的ライダーフレームに対応する、2つの連続的な位置(例えば、204(1)および204(2))のAVが示されている。同様に、2つのフレームτおよびτ+Δτについての物体210の位置が、それぞれ212(1)および212(2)として示されている。
当然のことながら、2つの連続するフレーム間の、図2に示されるAV202および物体210の変位は、例示的目的のために誇張されており、現実には、様々な物体が時間増分Δτにわたって変化させるそれらの位置は、描写されるよりもはるかに著しくない場合がある。例えば、物体210が図2に描写される左折を完了する間に、センサ206によって取得される多数のフレームがありうる。
物体210は、並進運動と回転運動との組み合わせを行う。例えば、物体210の一部の基準点はベクトル

で並進し、物体210は角度Δφでこの基準点の周りを回転する。平坦な運転環境では、単一成分値Δφで回転運動を説明することが十分でありうるが、非平坦な3D(特に、飛行または航海)環境では、回転角度は、その3つの成分がそれぞれピッチ角、ヨー角、およびロール角を説明する、ベクトル

でありうる。物体210の角速度は、物体210が回転している(回っている)速度

を特徴付ける。基準点の線速度は、同様に、物体210が並進している速度

を決定する。物体210が剛直であることを条件として、何らかの基準点O(座標
を有する)の角速度

および線速度

の知識は、以下でより詳細に説明するように、他の点の速度の決定を可能にする。
図2に示すように、位置212(1)で物体210は、センサ206によって出力されたいくつかの信号(実線で示される)を反射し、第一のフレームのいくつかの戻り点(黒丸で示される)を生成することができる。戻り点は、感知システム120の一部として、センサ206によって実施される測定に基づいて、知覚システム132によって生成されるデータエントリ(例えば、出力信号の角度方向によって、または他の任意の方法でインデックス付けされる)として理解されるべきである。各戻り点は、(1)実際の物理的反射領域までの距離r、および(2)j番目の点に関連付けられた速度

の成分と等しい動径速度Vr(j)を含みうる。動径速度は、センサ206に向かう(またはセンサ206から離れる)(単位ベクトル

で説明される)方向に沿ったベクトル速度の成分である:

一部の実装では、戻り点の一部のみが動径速度値を含むことができる。例えば、ToFレンジ測定は、各戻り点に対して実施することができるが、点の一部(例えば、5個目ごとに、10個目ごとになど)のみが、コヒーレントライダーで探られ、速度データを含むことができる。動径速度Vr(j)は、AV202の基準フレームで測定された速度である。よって、一般的な場合にはAV202も移動しているため、測定された速度Vr(j)は、地面に対するそれぞれの物理的反射点の速度とは異なることがあり、これはその後、AV202フレームで測定された物体210の速度を、地面に対するAV202の速度(例えば、速度計/オドメーターデータ、地図/GPSデータなどから独立して知られうる)に、(ベクトル形式で)加えることによって決定することができる。位置212(2)で、物体220は、同様に、センサ206によって出力される信号(破線によって示される)の新しいセットを反射し、第二のフレームのいくつかの戻り点を生成することができる。セグメンテーションモジュール182は、様々なセグメンテーションおよび点群マッピングアルゴリズムを実行して、運転環境内の様々な物体に対応する点のクラスタを出力しうる。
図3は、本開示の一部の実装による、自律車両の知覚システムの一部としての速度推定セットアップの図300である。何らかの並進速度

で移動しながら(例えば、前方に移動している)、同時に角速度

で回転している(例えば、左折している)物体310(例えば、車、トラックなど)が描写されている。また、センサ306がその上に取り付けられたAV302の一部も示す。センサ306は、外部(AV302に対して)環境を探る感知(例えば、レーザー、レーダーなど)信号を送信および受信する能力がある走査トランスミッタ/レシーバ308を含みうる。トランスミッタ308の単一サイクルに対応する1つの感知フレームは、物体310の様々な反射領域(黒丸で描写される)から複数の戻り点を生成することができる。
感知信号320は、トランスミッタ/レシーバ308の送信回路によって放射され、物体310の反射領域322から反射し、同じ経路に沿って戻り、トランスミッタ/レシーバ308の受信回路によって受信されうる。感知システム120は、戻り点330を感知信号320および/または反射領域322と関連付けることができる。戻り点330は、座標(例えば、デカルト座標

、球座標


円筒座標

、または任意の他の座標系など、任意の適切な座標系におけるものでありうる;など、感知信号320から抽出されうる様々なデータを含むことができ、座標系の原点は、示されるように、トランスミッタ/レシーバ308と関連付けられうる。戻り点はまた、動径速度Vr、感知信号320に関連付けられたタイムスタンプτ(例えば、信号放射または戻りの時間)、返された信号の強度、および放射および/または受信信号の偏波などの他の情報などの、データを含みうる。戻り点330に関連付けられたデータのみが、図3に描写されているが、黒丸で描写される反射領域に関連付けられた他の戻り点は、同じまたは類似のタイプの情報を含みうる。物体310は回転しているのでありうるため、反射領域のそれぞれの速度







...は、互いに異なりうる。対応して、各戻り点に関連付けられた検出された動径速度Vr(1)、Vr(2)、Vr(3)、Vr(4)...は、同様に互いに異なりうる。検出された動径速度のこの差異は、物体310の全動きの推定のためにVEM133によって使用されうる。
具体的には、物体310が剛体である場合、動径ベクトル

を有する物体の要素の速度は、剛体方程式から得られうる:

式中、

は、何らかの基準点の動径ベクトルである。基準点は、物体の任意の要素、例えば、戻り点(3)または任意の他の戻り点と関連付けられた要素とすることができる。以下のものとして任意の他の基準点O’に対して同じ剛体方程式が存在するため、基準点Oの選択は任意とすることができる。

式中、

は、他の基準点O’の線速度である。基準点が変更されると線速度は変化するが、角速度は基準点の選択から独立している。この独立性は、利便性(例えば、感知システム120によって検出された点のクラスタの中心の近く)に基づいて基準点を選択するための、さらなる柔軟性を提供する。
図4は、本開示の一部の実装による、自律車両の知覚システムによる物体の動きの速度推定に使用されうる、1つの可能な幾何学的表現400の概略図である。並進速度

および角速度

を有する、移動および回転する物体410(例えば、車、飛行機、オートバイの本体など)が概略的に描写されている。示されているのは、例えば、AVに対して固定された方向を有する任意の軸で、AV(図示せず)と関連付けられうる、固定された座標系x,y,zである。基準点

は、戻り点のクラスタ内で(ある任意の様式で)選択されうる。基準点

は、戻り点の任意のクラスタに対して独立して選択することができる。例えば、AVに対して真っ直ぐ前方に位置するトラックに対応する点の第一のクラスタは、1つの基準点(例えば、クラスタの中央のある点)を使用して分析することができる一方、AVの左側に位置する車に対応する点の第二のクラスタは、全く異なる基準点

を使用して分析することができる。
第二の座標系は、基準点に関連付けられることができ、例えば、第一の軸rが動径ベクトル

の方向に対して平行であり、軸tが軸rに対して垂直であり、かつ水平面xyに対して平行であり、軸sが第一の軸および第二の軸の両方に対して垂直である、座標系r,s,tである。動径ベクトル

の極角θおよび方位角φに関する、第二の座標系の軸の方向(単位ベクトル)は、以下の通りである。
例えばライダーセンサによって検出される通りの、速度の動径成分(動径速度)は、速度

と、戻り点の動径ベクトル

の方向に沿った単位ベクトルとの点乗積

であり、式中、Rは動径ベクトルの大きさ(例えば、センサから戻り点までの距離)である。剛体方程式によれば、動径速度は以下の通りである。

座標系r,s,tにおいて、動径ベクトル

、および角速度

とすると、クロス積は

である。第二の座標系(

として)を使用して表される動径ベクトル

でクロス積の点乗積を計算して、動径速度は、以下のように表すことができる。

単一の(剛体)物体に対応するN点j=1、2、3...Nのクラスタは、N個の既知の動径ベクトル

およびN個の既知の動径速度Vr(j)を有しうる。よって、VEM133は、N線形方程式を形成することができ、

これは、並進速度の動径成分V0r、ならびにそれぞれ並進速度の1つの横方向成分および角速度の1つの横方向成分で構成された2つの組み合わせV0s-R0ΩtおよびV0t+R0Ωsなどの、3つの未知の量についてである。
その結果、剛体の速度の分布を特徴付ける3つの独立した変数X1=V0r、X2=V0s-R0Ωt、およびX3=V0t+R0Ωsを決定するためには、最低3つの戻り点で十分でありうる。3つを超える戻り点が利用可能である場合、線形方程式の系は優決定(over-determined)である。よって、N線形方程式の系から任意の3つの方程式を(例えば、ランダムに)選択すると、他のある異なるセットを使用して得られた変数とは一般に異なる、変数のセットX1、X2、X3を決定することになる。様々な実装では、異なるスキームを使用して、方程式の優決定系を使用して速度決定の正確さを向上させることができる。一部の実装では、変数X1、X2、X3は、可能性のあるセットの合計数N(N-1)(N-2)/6までの、(例えば、ランダムに選択された)方程式の異なるセットから得られた様々な値X1、X2、X3を平均することによって決定することができる。一部の実装では、X1、X2、X3の外れ値セットは、様々な既知のフィルタリングアルゴリズムに基づいて、破棄することができる。
一部の実装では、変数X1、X2、X3は、最小二乗誤差法などの回帰分析法を使用して決定することができる。例えば、損失関数は、二乗誤差の合計として定義することができ、

これは、測定された動径速度Vr(j)と、評価された動径速度Vr(X1,X2,X3)、例えばVr(X1,X2,X3)=(rX1+sX2+tX3)/Rとの間のものである。このスキームでは、異なる戻り点jは同一に重み付けされるが、他の実装では、様々な点jに異なる重み付けをすることができる。例えば、センサにより近い点(より小さな距離R)は、センサからより遠く離れている点よりも多く重み付けされうる。
動径速度の知識は、並進速度および角速度の6つの成分の3つの独立した表現(V0r、V0s-R0Ωt、V0t+R0Ωs)を見つけることを可能にするが、様々な実装では、決定はさらに完全でありうる。例えば、特定の文脈における(例えば、平坦な表面または既知のプロファイルの表面の道路上で運転することに関連する)動きの平面の二次元の性質から、変数の一部は独立して知られうる。例えば、並進速度の垂直成分V0sは、ゼロであるか、または地面の地形の既知の(例えば、地図データからの)プロファイルに基づいて動径速度V0rに曖昧さなく関連することが知られうる。こうした例では、変数X2の決定は、水平軸tの周りの回転速度Ωtを曖昧さなく識別する。こうした回転は、車、自転車、オートバイなどの様々な車両の車輪としばしば関連している。回転する車輪の回転速度Ωtは、車輪の異なる点の半径方向速度のプロファイルからさらに検証することができる。例えば、車輪が道路と接触する点における(地面に対する)車輪の速度はゼロである(動径速度成分Vrを含む)。一方、頂点における車輪の速度は、車輪の軸の速度(車両の本体の速度でもある)の2倍である。こうした補足的速度プロファイル情報で増強されて、知覚システム132は、速度推定の結果を検証することができるだけでなく、特定の環境で共通する特定のタイプの物体(例えば、車輪)として物体を識別することもできる。
組み合わせX3=V0t+R0Ωsにおける角速度の垂直成分Ωsからの水平速度V0tの曖昧性解消の様々なスキームは、自律運転用途に使用することができる。2つの成分が同じ組み合わせに入るという事実は、(AVに対して)右(左)方向の車両の並進運動が、左(右)に曲がる車両によって潜在的に不明瞭化されうることを意味する。逆に、左折(右折)は、右(左)への並進運動によって隠されうる。一部の場合、2つのタイプの動きの曖昧性解消を、追加情報を使用して実施することができる。例えば、地図支援による曖昧性解消では、道路が狭く直線的であることを知ることができ、したがって、角速度がゼロである可能性が高く、Ωs=0,または非常に小さいのに対して、組み合わせX3=V0t+R0Ωsは並進速度V0tから生じると(現在の仮説として)推定できる。様々な実装では、こうした仮説は、後続する感知フレームで検証されるべき仮説の1つに過ぎない可能性がある。他の仮説には、観察される車両が突然のU字ターンをする、または道路を横切るスピンを伴った制御不能を経験することが含まれうる。別の例として、地図支援による曖昧性解消において、既知の曲率半径RCURを有する曲がった道路のあたりで運転する車両の回転の角速度Ωsは、V0sRCURとして、車両のスピード(並進速度の絶対値V0)に関連しうる一方、スピードV0は、曲がった道路に対するAV(したがって、その感知システム)の既知の位置付けから得られうる画角に基づいて、並進速度の動径成分V0rに幾何学的に関連しうる。
組み合わせX3=V0t+R0Ωsにおける潜在成分、すなわち角速度の垂直成分Ωsからの水平速度V0t(および、同様に、例えば、自律飛行環境において関連しうる、組み合わせX2=V0s-R0Ωtにおける角速度の成分Ωtからの速度V0s)を曖昧性解消するための別の手順は、追加の感知フレームを使用することである。第一のフレームより時間Δτ後に感知された後続の感知フレームは、反射面の新しい位置を示しうる。例えば、反射面の新しい(後続の)位置と古い位置との間の対応の識別は、セグメンテーションモジュール182によって実施されうる。これらの新しい位置は、剛体方程式によって予測されるように、(ほぼ)一定の速度で第一のフレームの時間と第二のフレームの時間との間の時間間隔で移動することが期待されうる。予測位置と反射領域の実際の位置との比較は、変数の曖昧性解消と速度推定の正確さの向上の両方のために使用されうる。具体的には、剛体方程式によれば、第一のフレームの点

は、時間Δτ後に、(同じ第二の座標系における)新しい位置と関連付けられることが予想される。

成分では、これは(各点jについて)以下のようになる。

よって、第二のフレームは、6つの独立変数(V0r,V0s,V0trst)を決定するために使用されうる方程式の数を最大4Nにする、最大3Nの追加の線形方程式を提供することができる。提供されたデータの優決定特性は、上述の損失関数、または他の統計解析方法による、より正確な速度判定のために使用することができる。
速度データを剛体方程式にフィッティングするために使用される特定の座標軸および変数の上記説明は、例示のみを目的としており、多数の代替的表現が利用可能であることが理解されるべきである。例えば、デカルト座標r,s,tの代わりに、円筒(または球)座標系を第二の座標系に使用することができる。一部の実装では、第二の座標系は使用されず、すべての座標および速度成分が第一の座標系に関して参照される。上述の説明では、角速度は、直交軸に沿った3つの成分によって参照されているが、一部の実装では、これはそうである必要はない。例えば、角速度

は、オイラー角で、またはベクトル角速度

を一意に識別する任意の他の適切な選択で特徴付けることができる。
一部の実装では、潜在変数の曖昧性解消のための後続の座標は、少なくとも部分的に、1つ以上のカメラ(複数可)129を使用して取得しうる。例えば、横方向の動きと垂直軸の周りの回転との間の曖昧性解消が実施されるべき場合、物体の横方向の可視寸法に敏感なカメラは、欠落した情報を提供することができる。実際に、物体の純粋な並進運動は、物体の画像の対向するエッジを同じ方向に移動させるという結果になる(例えば、右に移動している物体の両方のエッジは、2つの連続するカメラ画像の間で右にシフトする)一方で、垂直軸の周りの純粋な回転運動は、対向するエッジが反対方向に移動するという結果になる。よって、異なる時点で撮影された2つの(またはそれを超える)カメラ画像は、V0tおよびΩs(ならびに/または、3D運動の場合における変数V0sおよびΩt)などの、様々な潜在変数を(可視物体の対向するエッジの相対運動に基づいて、物体への方向と物体の横速度との間の角度のさらなる視野で)曖昧性解消することを可能にする。さらに、カメラ画像は、動径速度測定データによって直接明らかにされない動径角速度Ωrの決定を可能にしうる。上記の方程式によって示されるように、第二のフレームの曖昧性解消は、角速度の動径成分Ωrを取得することも可能にする。
図5は、本開示の一部の実装による、追加の感知フレームからのデータを感知することによる速度推定の増強500を示す図である。並進速度

で(例えば、t軸に沿って)水平に移動しながら、同時に角速度

で放射軸rの周りを回転している物体510(例えば、車、トラックなど)が描写されている。示されるように、角速度は、物体510がその上を移動している不均一な地形によって、生じる。上述のように、単一フレーム(例えば、第一のフレーム512)の動径速度測定の測定値は、角速度Ωrに対して依存しないのでありうる一方で、横速度V0tは、角速度成分Ωsからの曖昧性解消を必要としうる。物体510の新しい位置511に対応する第二のフレーム513は、AV502上に取り付けられたセンサ506によって取得されうる。第二のフレーム513を取得するセンサ506は、第一のフレーム512を取得するセンサ、例えば、ライダーセンサ(複数可)122と同じセンサでありうる。別の方法として、または追加的に、第二のフレーム513は、カメラ(複数可)119によって取得されうる。捕捉された画像は、放射軸の周りの物体の回転角度を示すことができ、上述のように、角速度Ωsから横速度V0tをさらに曖昧性解消することができる。
一部の実装では、速度データを使用して、運転環境内の識別された物体の動きを追跡することができる。より具体的には、追跡は、各新しいフレームが新しいタイムスタンプを有する、一連のフレームを介して実施することができる。一定の数の戻り点Nが追跡されている、クラスタについて、VEM133は、他のデータの中でも、反射領域の3N個の座標、およびN個の新しい動径速度値を受信することができる。(一部の平面環境では、2N個の二次元座標、およびN個の動径速度が受信されうる。)こうした追加データは、VEM133によって使用され、剛直な物体の時間依存性速度

および角速度

だけでなく、物体の並進座標

(例えば、物体に関連付けられたある基準点の座標)および角座標

(基準点に対する本体の回転の角度)を動的に追跡することができる。よって、1つの実装において、時間τにおける物体の状態は、例えば以下の、状態ベクトルによって特徴付けられうる。

d次元空間では、状態ベクトルは5d-4個の成分を有しうる。例えば、平坦な表面(または既知の地形を有する表面)上の車の平面(二次元)運動は、6つの成分、すなわち、動径ベクトル

の2つの成分(物体の回転中心の動径ベクトル

と同じかまたは異なりうる)、1つの回転角φ、線速度

の2つの成分、および1つの角速度

によって特徴付けられうる。同様に、物体(例えば、航空機)の完全な三次元運動は、11個の成分、すなわち、動径ベクトル

の3個の成分、物体の向きを説明する単位ベクトル


の2個の成分、線速度

の3個の成分、および角速度

の3個の成分によって特徴付けられうる。状態

に基づいて、時間

の後続インスタンスにおける状態は、差分方程式

から予測されえ、式中、

は、状態遷移行列であり、

は、系の線形および角加速度を説明するための制御入力行列であり、

は、対応するベクトルであり、

は、物体の動きのノイズ(例えば、ガウスノイズ)を説明する。状態遷移行列

および制御入力行列

は、運動の様々な方程式を具体化することができ、例えば、

は並進運動について、および同様に、

は回転運動についてである。量





、および

は、ノイズ

のそれぞれの成分を表す。
感知システムによって実施される測定は、以下のデータベクトルによって特徴付けることができ、

これは、追跡される物体に対応するクラスタのN点(下付き文字jで列挙される)のそれぞれに対して、d個の空間座標、

、および1つの動径速度成分Vj(τ)があるため、(d+1)N次元ベクトルでありうる。データベクトル

は、以下の状態ベクトルによって決定され、

これは、測定行列

(例えば、剛体方程式を使用して計算されうる)に関するものであり、ランダム測定ノイズ

次第である。
一部の実装では、物体の動きの追跡は、前の時間におけるその推定、

から、後の時間における物体の状態ベクトルの予測(推定)、

を行い、実際の測定データ

を取得し、推定された状態に基づいて、予想される測定データとの差、

を識別し、状態ベクトルの推定を改善することによって、実施することができ、

1つの実装では、カルマンゲイン行列

を使用しており、これは寸法(5d-4)×(Nd+N)を有する矩形行列でありうる。カルマンゲイン行列は、予想される測定データと実際の測定データとの間の差を最小化することによって、最小二乗誤差法を使用して取得してもよい。カルマンゲイン行列は、状態ベクトルの成分の分布を特徴付ける共分散行列、および測定ノイズを特徴付ける共分散行列を介して表すことができる。追跡の各ステップでは、新しい感知フレームが利用可能になるとき、VEM133は、1)以前の推定

に基づいて、新しい予想状態ベクトル

を生成する;2)測定データ

を取得する、3)(現在の反復τについて)カルマンゲイン行列を使用して、状態ベクトルの改善された推定

を取得する;4)状態ベクトルのその期待値からの偏差、

に対する、共分散行列

、および、ことによると、測定ノイズに対する共分散行列を取り込む;5)(現在の反復τについて)カルマンゲイン行列を使用して、改善された共分散行列を取得する;6)改善された共分散行列に基づいて、および動きの方程式(状態遷移行列)を使用して、次の反復τ+Δτに対する新しい共分散行列を生成する;など、などの動作を、物体が追跡され続ける限り実施することができる。
一部の実装では、感知システム120は、複数のセンサ、例えば、複数のコヒーレントライダーを含みうる。こうした実装では、複数の感知フレームを同時に取得することができる(異なるセンサのフレームが同期されていることを条件とする)。これにより、知覚システム132は、いずれかのセンサからの後続フレームを待つことなく、単一センサシステムの場合よりも迅速に曖昧性解消を行うことが可能になりうる。図6は、本開示の一部の実装による、効率的な速度推定および物体マッピングのための二重センサセットアップ600の図である。図6には、第一のセンサ606および第二のセンサ607など、複数のコヒーレントライダーセンサ(特定性のために2つが示される)を有するAV602が描写されており、これは、運転環境における物体の反射面までの距離および反射面の動径速度を感知する能力がある任意のタイプのコヒーレント(またはコヒーレントと非コヒーレントとの組み合わせの)ライダー装置でありうる。センサ606および607は、運転環境をスキャンし、様々な物体に対応する戻り点を生成することができる。各センサは、センサに固有の位相シグネチャ(例えば、チャープまたは他の任意の位相もしくは周波数変調特徴)を付与した信号を出力することができ、その結果、異なるセンサからの戻り信号は、互いに干渉しない。センサ606および607は、横速度分解能を改善するために、互いからある距離2a(ベースライン距離)に位置することができる。一部の実装では、ベースライン距離は、(例えば、AV602の長さまたは幅によって制限される通りに)実際的な限り大きくすることができる。一部の実装では、横速度分解能は、ベースラインに垂直な方向で最大であり、ベースラインに平行な方向で最小であるため、例えば、非共線的(例えば、三角)配置に置かれた、3つ以上のセンサを利用しうる。例えば、第三のセンサは、AV602の前面または背面の近くに位置しうる。
一部の実装では、感知システム(例えば、感知システム120)の処理論理は、感知信号が同じ時間インスタンスで、例えばτ,τ+Δτ、t+2Δτ,τ+3Δτなどで出力されるように、センサ606およびセンサ607の感知フレームを同期することができる。他の実装では、一方のセンサが時間τ,τ+Δτ、τ+2Δτ,τ+3Δτにおいて信号を出力するのに対し、他方のセンサが時間τ+Δτ/2、τ+3Δτ/2,τ+5Δτ/2などにおいて感知信号を出力するように、(例えば、起こりうる干渉を低減し、または時間分解能を改善するために)センサフレームをずらすことができる。各センサは、そのそれぞれの戻り点を取得することができ、それらは、感知フレームの異なる位置付けおよびタイミングに起因して、同じ時間であっても他のセンサ(複数可)の戻り点とはある程度異なりうる。知覚システム(例えば、知覚システム132)の処理論理は、第一のセンサの各戻り点

に対して、第二のセンサの最も近い戻り点

を識別し、2つの点を物体610の同じ反射部分と関連付けることができる。一部の実装では、処理論理は、反射部分が中間点

に位置すると近似することができる。
(剛体)物体610の動きは、剛体方程式によって説明することができ、するとこれは、第一のセンサ606の視野の方向

、および第二のセンサ607の視野の方向

上に別々に投影することができる。2つのそれぞれの動径速度(+符号は第一のセンサからの方向に対応し、-符号は第二のセンサからの方向に対応する)は、

であり、式中、

、および

である。各点について、2つの動径速度方程式があるため、3つの点は潜在的に、物体610の並進速度および角速度の6つの成分すべてを決定しうる。2つの動径方向は互いに異なっているため、得られる方程式の系に潜在変数は存在しない。移動している剛性物体当たり3つを超える点が利用可能である場合、完全な速度決定の正確さを改善するために統計解析の方法を使用することができる。点の所与のクラスタ内の複数の物体のセグメンテーションおよび検出、仮説の形成および検証、物体追跡など、単一センサセットアップに関連して上述した他の方法は、マルチセンサセットアップにおいても使用することができる。例えば、マルチセンサデータを使用してVEM133によって再構成された横速度に基づいて、知覚システム132は、類似の動径速度を有するが別個の横速度を有する物体(例えば、反対の方向にすれ違う車両)を、分離することができる。一部の場合、横速度決定の正確さは、レンジに固有であり、物体に対してより短い距離ではより高く、より長いレンジではより低くなりうる。例えば、動径速度が精度δVrで既知である(つまり、実際の速度が[Vr-δVr,Vr+ δVr]の区間内にあることを測定値Vrが示す)場合、横速度Vs(またはVt)は、以下の正確さで決定することができる。

例えば、δVr=0.1 m/sで、ライダーセンサ406および407が距離2a=1.2 mに位置する場合、距離R=60 mでの横速度決定の正確さは、δVx=5.0 m/sとなる。こうした精度は、反対の方向に移動する車両を(単一の感知フレームに基づいて)区別するために、または車と自転車(もしくは歩行者)をそれらの動きの方向に関係なく区別するために、非常に満足のいくものでありうる。
図7は、本開示の一部の実装による、自律運転車両用途のための、ドップラー補助速度推定および物体追跡を使用する方法700の例の流れ図を示す。方法700、ならびに以下に記載される方法800および900、ならびに/またはそれらの個々の機能、ルーチン、サブルーチン、または動作のそれぞれは、1つ以上の処理ユニット(CPU)およびCPU(複数可)に通信可能に結合された記憶装置を有する、処理装置によって実施されうる。方法700、800、および900を実行する処理装置は、知覚システム132の様々な構成要素、例えば、VEM133からの命令を実施することができる。特定の実装では、方法700、800、および900は、単一の処理スレッドによって実施することができる。別の方法として、方法700、800、および900は、2つ以上の処理スレッドによって実行することができ、各スレッドは、方法の1つ以上の個々の機能、ルーチン、サブルーチン、または動作を実行する。例示的な例では、方法700、800、および900を実行する処理スレッドは、(例えば、セマフォ、クリティカルセクション、および/または他のスレッド同期機構を使用して)同期されうる。別の方法として、方法700、800、および900を実行する処理スレッドは、互いに対して非同期的に実行することができる。方法700、800、および900の様々な動作は、図7、図8および図9に示す順序と比較して、異なる順序で実施することができる。方法の一部の動作は、他の動作と同時に実施することができる。一部の動作は随意でありうる。
方法700は、図1の自律車両100などの自律運転車両のシステムおよび構成要素を対象としうる。方法700を使用して、自律車両データ処理システム130および/または自律車両制御システム140の性能を改善することができる。ブロック710において、方法700は、自律車両(AV)の感知システムによって、複数の戻り点を取得することを含むことができ、各戻り点は、速度値と、感知システムによって放射される信号を反射する反射領域の1つ以上の座標とを含む。戻り点の取得には、以下の一部またはすべてを含みうる。AVの感知システムの1つ以上のセンサ(例えば、ライダー、FMCW、ハイブリッドToF/コヒーレントライダーなど)は、一連の信号(例えば、光信号)を放射することができる。信号は、例えば、様々な方向に、トランスミッタまたは送信されるビーム(例えば、ビームステアリングなどを通して)を回転、旋回、またはそうでなければスキャンして、例えばパノラマパターンを形成することによって、周期的(サイクル)パターンで放射されうる。信号は、(移動または静止している)様々な物体にぶつかり、物体の様々な反射領域からセンサに向かって反射して戻りうる。反射領域の数は、物体の性質、サイズ、他の物体による物体の妨害レベルに応じて変化しうる。反射信号の強度は、反射領域の種類(材料、表面タイプなど)、信号の波長、偏波などに依存しうる。反射信号の特性およびタイミングに基づいて、AVの感知システムは、複数の戻り点を生成することができる。戻り点は、環境の物体からの放射信号のうちの1つの反射と関連付けられるデータエントリである。戻り点は、リアルタイムで生成することができる。各戻り点は、センサのサイクルのタイムスタンプ、返された信号の強度、返された信号の偏波など、様々なデータエントリを含みうる。各戻り点は、それぞれの反射領域の、1つ以上の座標を含みうる。例えば、座標は、反射領域までの距離(例えば、返された信号の飛行時間から決定される)、ならびに水平面内の方向を指定する方位角、および水平面の上方(または下方)の高さを指定する極角などの1つ以上の方向角とすることができる。各戻り点はさらに、速度値を含むことができ、速度値は、感知システムのトランスミッタから反射領域に向かう半径方向に対する反射領域の速度の動径成分を表すことができる。
センサは、例えば、ドップラー補助感知を使用して動径速度を検出する能力がある、コヒーレント光検出および測距装置(ライダー)とすることができる。一部の実装では、コヒーレントライダーは、周波数変調連続波ライダーでありえ、センサによって放射される信号は、位相変調または周波数変調された電磁波を含みうる。センサはまた、ToF距離測定に使用されうるパルス信号など、様々な他の信号を同時放射する能力がありうる。一部の実施形態では、センサは、別個のToFライダーおよびコヒーレントライダーを含みえ、それぞれが、同じ光経路に沿って同期、混合、および送信されうる別個の信号を放射する。
戻り点は、感知システムのトランスミッタ(複数可)の異なるサイクル(例えば、回転)に対応する様々な感知フレームに属する(例えば、関連付けられる)ことができる。例えば、第一の感知フレームは、第一のサイクルに対応することができ、第二の感知フレームは、異なる(例えば、より前またはより後の)サイクルに対応することができる。「第一の」および「第二の」という用語は、識別子としてのみ理解されるべきであり、特定の順序を前提条件としてはならない。特に、第一のフレームと第二のフレームとの間に任意の数の介在するフレームが存在しうる。
ブロック720において、方法700は、処理装置(例えば、知覚システム132の一部として速度推定モジュール(VEM)133によって出されたソフトウェア命令を実行する装置)が、戻り点のそれぞれの速度値および1つ以上の座標と物理的対象の動きとの関連付けを識別することを進めることができる。一部の実装では、複数の戻り点は、現在のフレームの点から(例えば、知覚システムのセグメンテーションモジュールによって)、空間内の選択された点の空間的近接に基づいて、点と関連付けられた速度値の近接に基づいて、様々なセグメンテーションアルゴリズムに基づいて、現在のフレームと他のあるフレーム(例えば、現在のフレームに先行もしくは後続するフレーム)との間で実施される点群マッピング(例えば、ICPマッピング)の様々なアルゴリズムに基づいて、または任意の他の選択手順によって選択されうる。一部の実装では、処理装置によって識別される関連付けは、剛体の並進運動と回転運動との組み合わせである動きなど、物理的対象によって実行される動きのタイプに関連しうる。剛体は、任意の2つの点の間の距離が固定された、物体とすることができる。結果として、こうした物体の動きは、6つの変数(または二次元運動などの幾何学的に制限された動きの場合における、6つ未満の変数)で説明することができる。6つの変数は、(1)物体の並進速度

の3つの成分、および(2)物体の回転(角)速度

の3つの成分とすることができる。追加の変数には、回転中心の座標を含みうる。
図7の吹き出しセクションによって概略的に示されるように、物理的対象の動きとの関連付けを識別することは、各戻り点の速度値および1つ以上の座標を剛体方程式にフィッティングし(ブロック722)、フィッティングパラメータの適切なセットを使用することによって実施することができる。フィッティングパラメータは、第一の物理的対象の並進速度の少なくとも一部の成分、および第一の物理的対象の角速度の少なくとも一部の成分を表しうる(ブロック724)。例えば、上記でより詳細に説明したように、パラメータのセット(独立変数)X1=V0r、X2=V0s-R0ΩtおよびX3=V0t+R0Ωs。様々な他の実装では、パラメータの異なるセットをフィッティングに使用することができる(例えば、使用される異なる座標系により適したパラメータのセット)。フィッティングは、最小二乗誤差法、または統計解析の任意の他の方法を使用して実施することができる。フィッティングの結果に基づいて、VEM133は、フィッティングパラメータX1、X2、X3の出力値を決定することができる。X1、X2、X3の出力値は、速度の成分を表しうるが、必ずしも成分自体と等しくない。例えば、パラメータX1=V0rは、並進速度の動径成分と等しい場合がある一方、パラメータX3=V0t+R0Ωsは、並進速度の水平成分V0tと角速度の垂直成分Ωsの両方を表しうるが、必ずしもそれらのうちの1つと等しくはないのでありうる(並進運動または回転運動のいずれかが、他の理由のために、存在しないかまたは取るに足らない場合を除く)。まだ完全には曖昧性解消されていない2つの成分V0tのそれぞれは、潜在パラメータである。
ブロック730において、方法700は、処理装置が、第一の物理的対象(および随意に第二の物理的対象)の動きを考慮して、AVの運転経路を決定させることを進めることができる。例えば、知覚システムは、第一のサブセットを、半径15mで左折しながら、20mphのスピードで移動する物体として識別し、この情報を制御システム(例えば、AVCS240)に伝達したのでありうる。次に、制御システムは、物体が転回を完了しうる前に、AVが同じ交差点に進入しようとしていると決定することができる。制御システムは、制動、車線の変更、停止、後退などを含みうる、AVの新しい経路を決定することができる。制御システムは、その後、命令をパワートレインおよびステアリング150、車両電子機器160、シグナリング170などへ出力して、AVが決定された運転経路に従うことを確実にしうる。
図8は、本開示の一部の実装による、自律運転車両用途のための、速度推定および物体追跡の間の潜在速度成分の曖昧性解消の方法800の例の流れ図を示す。方法800は、戻り点の第一のサブセットと第一の物体の動きとの関連付けを識別する方法700のブロック720と併せて実施することができる。ブロック810において、方法800を実施する処理装置は、1つ以上の潜在速度成分を識別することができる。潜在速度成分は、第一の関連付けを使用して、目標正確度を下回る正確さで決定された、第一の物理的対象の並進速度の成分(または第一の物理的対象の角速度の成分)とすることができる。例えば、パラメータX3=V0t+R0Ωsは、(例えば、剛体方程式を使用してフィッティングから)目標正確度内で決定されうるが、潜在速度成分V0tおよびΩsの特定の値は、目標正確度内では知ることができない場合がある。
1つ以上の潜在成分の識別に応答して、処理装置は、一連の動作を実施して、目標正確度で潜伏成分を決定することができる。より具体的には、ブロック820において、方法800を実施する処理装置は、複数の追加的戻り点を受信することができる。複数の追加的戻り点は、ブロック710で元の複数の点がどのように取得されたかと同様に、感知システムによって取得することができる。一部の実装では、複数の戻り点は、感知システムのトランスミッタの1サイクルに対応する第一の感知フレームに属し、複数の追加的戻り点は、感知システムの同じトランスミッタ(例えば、図3に示されるセンサ306のトランスミッタ308)の異なるサイクルに対応する第二の感知フレームに属する。一部の実装では、複数の追加的戻り点は、感知システムの第二のセンサ(例えば、図6の第二のセンサ607)を使用して取得され、第二のセンサは、第一のセンサ(例えば、図6の第一のセンサ606)とは異なって位置する。
ブロック830において、方法800は、処理装置が、(例えば、1つの実装では、剛体方程式を使用して追加的戻り点をフィッティングすることによって)追加的戻り点を使用して識別された対応を考慮して、1つ以上の潜在速度成分の決定(曖昧性解消)を行うことを進めることができる。曖昧性解消操作の結果は、1つ以上の潜在速度成分、例えば、第一の物体の並進速度の1つ以上の成分(例えば、V0t,V0s)、および物理的対象の角速度の1つ以上の成分(例えば、Ωs、Ωs)の決定でありうる。
図9は、本開示の一部の実装による、自律運転車両用途のための、モーションフィルタを使用して物体の動きを追跡する方法900の例の流れ図を示す。方法900を使用して、自律車両データ処理システム130および/または自律車両制御システム140の性能を改善することができる。方法900は、方法700に関連して、または方法700とは独立して実施することができる。ブロック910において、方法900は、自律車両(AV)の感知システムによって、第一の複数の戻り点を取得することを含むことができ、第一の複数の点の各戻り点は、測定された速度値と、感知システムによって放射されたそれぞれの信号を反射する反射領域の1つ以上の測定された座標とを含む。一部の実装では、ブロック910の動作は、方法700のブロック710の動作と同様に実施されうる。第一の複数の点は、タイムスタンプτを有する感知フレームに属しうる。
ブロック920において、方法900は、第一の複数の戻り点に対応する物体の状態ベクトル

を推定することを進めることができる。状態ベクトルは、物体の並進速度

(例えば、選択された座標系軸に沿った

の成分)および物体の回転(例えば、角)速度

(例えば、

の成分)を含みうる。状態ベクトルは、第一の複数の戻り点の中心付近のある中心点など、物体に関連付けられたある点

の座標をさらに含みうる。一部の実装では、点

は、物体の回転中心

とすることができる。並進運動の速度は、この回転中心と共に定義されうる。例えば、速度

は、回転中心の速度とすることができる。一部の実装では、状態ベクトルは、物体のロール角、ピッチ角、および/またはヨー角など、物体の様々な回転自由度をさらに含むことができる。任意の座標系(例えば、球、円筒、楕円などの座標系など、曲線系を含む)を使用することができる。
一部の実装では、状態ベクトル

は、フレーム-Δτ,τ-2Δτなどを使用して取得された(反復追跡の一部としての)以前の感知データに基づいて推定されうる。例えば、状態ベクトル

の推定値は、第一の複数の戻り点と比較して、より早い時点τ-Δτで取得された第二の複数の戻り点に、少なくとも部分的に基づきうる。
ブロック930において、方法900は、誤差測定を最小化することによって、物体の改善された状態ベクトル

を取得することを進めることができる。誤差測定は、(特に)第一の複数の戻り点の測定された速度値と、推定された状態ベクトルに基づいて予測された、第一の複数の戻り点の速度値との間の平均二乗誤差(差)を含みうる。一部の実装では、改善された状態ベクトル

を取得することには、物体の状態ベクトルの成分に対して推定共分散行列を使用することを含みうる。一部の実装では、改善された状態ベクトルを取得することには、カルマンフィルターを使用することを含みうる。一部の実装では、ブロック910、920、および930の動作は、例えば、物体が大きな距離にそれる、他の物体によって隠されるなどまで、所望の時間枠にわたって物体を追跡するために、フレームτ+Δτ,τ+2Δτ、τ+3Δτなどについて取得された追加的戻り点に対して繰り返されることができる。各追跡反復において、状態ベクトルおよび共分散に加えて、カルマンゲイン行列、測定ノイズ共分散行列、物体の動きノイズ共分散行列など、様々な他の補助量を使用および更新することができる。
ブロック940において、方法900は、AVの運転経路を、物体の改善された状態ベクトルを考慮して決定させることを含む。ブロック940の動作は、方法700のブロック730の動作と同様に実施されうる。
図10は、自律運転車両用途のためのドップラー補助物体識別および追跡を可能にする能力がある、コンピュータ装置1000の例のブロック図を示す。コンピュータ装置1000の例は、LAN、イントラネット、エクストラネット、および/またはインターネット内の他のコンピュータ装置に接続することができる。コンピュータ装置1000は、クライアントサーバネットワーク環境のサーバの能力で動作することができる。コンピュータ装置1000は、パーソナルコンピュータ(PC)、セットトップボックス(STB)、サーバ、ネットワークルータ、スイッチもしくはブリッジ、またはその装置によって取られるアクションを指定する命令のセット(順次もしくはその他)を実行する能力がある任意の装置でありうる。さらに、単一の例のコンピュータ装置のみが図示されているが、「コンピュータ」という用語はまた、本明細書で論じる方法のうちの任意の1つ以上を実施するために、命令のセット(または複数のセット)を個々にまたは共同で実行する、任意のコンピュータの群を含むとみなされるものとする。
コンピュータ装置1000の例は、処理装置1002(プロセッサまたはCPUとも呼ぶ)、メインメモリ1004(例えば、読み取り専用メモリ(ROM)、フラッシュメモリ、同期DRAM(SDRAM)などのダイナミックランダムアクセスメモリ(DRAM)など)、スタティックメモリ1006(例えば、フラッシュメモリ、スタティックランダムアクセスメモリ(SRAM)など)、および二次メモリ(例えば、データ記憶装置1018)を含むことができ、これはバス1030を介して互いに通信することができる。
処理装置1002は、マイクロプロセッサ、中央処理装置、またはこれに類するものなどの1つ以上の汎用処理装置を表す。より具体的には、処理装置1002は、複合命令セットコンピュータ(CISC)マイクロプロセッサ、縮小命令セットコンピュータ(RISC)マイクロプロセッサ、超長命令語(VLIW)マイクロプロセッサ、他の命令セットを実行するプロセッサ、または命令セットの組み合わせを実行するプロセッサでありうる。処理装置1002はまた、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、デジタル信号プロセッサ(DSP)、ネットワークプロセッサ、またはこれに類するものなど、1つ以上の専用処理装置でありうる。処理装置は、処理論理1003を含みうる。本開示の1つ以上の態様によれば、処理装置1002は、自律運転車両用途のための、ドップラー補助速度推定および物体追跡を使用する方法の方法700、速度推定および物体追跡の間の潜在速度成分の曖昧性解消の方法800、ならびにモーションフィルタを使用して物体の動きを追跡する方法900を実施する命令を実行するように構成されうる。
コンピュータ装置1000の例は、ネットワーク1020に通信可能に結合されうるネットワークインターフェース装置1008をさらに備えることができる。コンピュータ装置1000の例は、ビデオディスプレイ1010(例えば、液晶ディスプレイ(LCD)、タッチスクリーン、または陰極線管(CRT))、英数字入力装置1012(例えば、キーボード)、カーソル制御装置1014(例えば、マウス)、および音響信号生成装置1016(例えば、スピーカー)をさらに備えうる。
データ記憶装置1018は、実行可能な命令1022の1つ以上のセットが記憶されている、コンピュータ可読記憶媒体(またはより具体的には、非一時的コンピュータ可読記憶媒体)1028を含むことができる。本開示の1つ以上の態様によれば、実行可能な命令1022は、自律運転車両用途のための、ドップラー補助速度推定および物体追跡を使用する方法の方法700、速度推定および物体追跡の間の潜在速度成分の曖昧性解消の方法800、ならびにモーションフィルタを使用して物体の動きを追跡する方法900を実施する実行可能な命令を含みうる。
実行可能な命令1022はまた、コンピュータ装置1000の例によるその実行の間、メインメモリ1004内および/または処理装置1002内に完全にまたは少なくとも部分的に存在しえ、メインメモリ1004および処理装置1002もまた、コンピュータ可読記憶媒体を構成する。実行可能な命令1022はさらに、ネットワークインターフェース装置1008を介してネットワーク上でさらに送信または受信されうる。
コンピュータ可読記憶媒体1028は、図10に単一の媒体として示されているが、「コンピュータ可読記憶媒体」という用語は、VM動作命令の1つ以上のセットを記憶する単一の媒体または複数の媒体(例えば、集中型もしくは分散型データベース、ならびに/または関連するキャッシュおよびサーバ)を含むとみなされるべきである。「コンピュータ可読記憶媒体」という用語はまた、機械に本明細書に記載の方法のうちの任意の1つ以上を実行させる、機械による実行のための命令のセットを記憶または符号化する能力がある任意の媒体を含むとみなされるものとする。よって、「コンピュータ可読記憶媒体」という用語は、固体メモリ、ならびに光学媒体および磁気媒体を含むが、これらに限定されないとみなされるものとする。
上述の詳細な説明のいくつかの部分は、コンピュータメモリ内のデータビット上の動作のアルゴリズムおよび象徴的表現に関して提示されている。これらのアルゴリズム的記述および表現は、作業の内容を他の当業者に最も効果的に伝達するために、データ処理分野の当業者によって使用される手段である。アルゴリズムは、ここでは、および概して、所望の結果をもたらす、自己整合的な一連のステップであると理解される。ステップは、物理量の物理的操作を必要とするものである。通常、必ずしもではないが、これらの量は、保存、移動、結合、比較、および別の方法で操作することが可能な電気信号または磁気信号の形態をとる。ビット、値、要素、記号、文字、用語、数字、またはこれに類するものとしてこれらの信号に言及することは、主に一般的な使用の理由のために、時として便利であることが実証されている。
ただし、これらの用語および類似の用語はすべて、適切な物理量に関連付けられるものであり、これらの量に適用される便利な標識に過ぎないことに留意すべきである。別段明記されていない限り、以下の考察から明らかなように、説明全体を通して、「識別する」、「決定する」、「保存する」、「調整する」、「生じさせる」、「戻る」、「比較する」、「生成する」、「停止する」、「ロードする」、「コピーする」、「投入する」、「置換する」、「実施する」またはこれに類するものなどの用語を用いた考察は、コンピュータシステムのレジスタおよびメモリ内の物理(電子)量として表されるデータを、コンピュータシステムメモリもしくはレジスタまたは他のこうした情報記憶、伝送もしくはディスプレイ装置内の物理量として同様に表される他のデータへと操作および変換する、コンピュータシステム、または類似の電子計算装置のアクションおよびプロセスに言及すると理解される。
本開示の例はまた、本明細書に記載される方法を実施するための装置に関する。この装置は、必要な目的のために特別に構築されえ、またはコンピュータシステム内に保存されたコンピュータプログラムによって選択的にプログラムされた汎用コンピュータシステムでありうる。こうしたコンピュータプログラムは、それぞれがコンピュータシステムバスに結合された、光学ディスク、CD-ROM、および磁気光学ディスクを含む任意のタイプのディスク、読み出し専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、EPROM、EEPROM、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリ装置、機械でアクセス可能な他のタイプの記憶媒体、または電子命令を保存するのに適した任意のタイプの媒体などであるがこれらに限定されない、コンピュータ可読記憶媒体に保存されうる。
本明細書に提示される方法およびディスプレイは、いかなる特定のコンピュータまたは他の装置とも本質的に関連していない。様々な汎用システムが、本明細書の教示によるプログラムと共に使用されえ、または必要な方法ステップを実施するためにより特化された装置を構築することが、便利であると判明しうる。様々なこれらのシステムのための、必要な構造は、以下の記述に記載される通りに、現れる。加えて、本開示の範囲は、いかなる特定のプログラミング言語にも限定されない。本開示の教示を実施するために、様々なプログラミング言語を使用できることが理解されよう。
当然のことながら、上記の説明は例示的であることを意図しており、制限的ではない。上記の説明を読み、理解すると、他の多くの実装例が当業者には明らかとなるであろう。本開示は特定の例を記載しているが、本開示のシステムおよび方法は、本明細書に記載される例に限定されず、添付の特許請求の範囲内で修正して実施することができることが認識されるであろう。よって、明細書および図面は、制限的な意味ではなく、例示的な意味で考慮されるべきである。したがって、本開示の範囲は、こうした特許請求の範囲が権利を有する均等なものの全範囲と共に、添付の特許請求の範囲を参照して決定されるべきである。

Claims (20)

  1. 自律車両(AV)の感知システムによって、複数の戻り点を取得することであって、各戻り点が、速度値と、前記感知システムによって放射される信号を反射する反射領域の1つ以上の座標とを含む、ことと、
    前記複数の戻り点のそれぞれの前記速度値および前記1つ以上の座標と、物理的対象の動きとの関連付けを識別することであって、前記動きが、剛体の並進運動と回転運動との組み合わせである、ことと、
    前記物理的対象の前記動きを考慮して、前記AVの運転経路を決定させることと、を含む、方法。
  2. 前記AVの前記感知システムが、コヒーレント光検出および測距装置(ライダー)を備え、前記感知システムによって放射される前記信号が、位相変調または周波数変調電磁波を含む、請求項1に記載の方法。
  3. 前記コヒーレントライダーが、周波数変調連続波ライダーである、請求項2に記載の方法。
  4. 前記速度値が、前記感知システムのトランスミッタから前記反射領域への方向に沿った前記反射領域の速度の成分である、請求項1に記載の方法。
  5. 前記複数の戻り点が、前記感知システムのトランスミッタの1サイクルに対応する第一の感知フレームに属する、請求項1に記載の方法。
  6. 前記識別された関連付けを使用して、前記物理的対象の動きの表現を決定することをさらに含み、前記動きの表現が、
    前記物理的対象の並進速度の1つ以上の成分と、
    前記物理的対象の角速度の1つ以上の成分と、を含む、請求項1に記載の方法。
  7. 前記動きの表現を決定することが、
    1つ以上の潜在速度成分を識別することであって、潜在速度成分が、前記識別された関連付けを使用して、目標正確度を下回る正確さで決定された、前記物理的対象の前記並進速度の成分または前記物理的対象の前記角速度の成分である、ことと、
    前記感知システムによって、複数の追加的戻り点を取得することと、
    前記複数の追加的戻り点を使用して、前記1つ以上の潜在速度成分を決定することと、を含む、請求項6に記載の方法。
  8. 前記複数の戻り点が、前記感知システムのトランスミッタの1サイクルに対応する第一の感知フレームに属し、前記複数の追加的戻り点が、前記感知システムの前記トランスミッタの異なるサイクルに対応する第二の感知フレームに属する、請求項7に記載の方法。
  9. 前記複数の戻り点が、前記感知システムの第一のセンサによって取得され、前記複数の追加的戻り点が、前記感知システムの第二のセンサを使用して取得され、前記第二のセンサが、前記第一のセンサとは異なって位置する、請求項7に記載の方法。
  10. 前記剛体が、任意の2つの点の間の距離が固定された、物体である、請求項1に記載の方法。
  11. 前記物理的対象の前記動きとの前記関連付けを識別することが、
    剛体方程式およびフィッティングパラメータのセットを使用して、前記複数の戻り点の各戻り点の前記速度値をフィッティングすることによって、前記フィッティングパラメータのセットを決定することであって、前記フィッティングパラメータのセットが、前記物理的対象の並進速度の少なくとも一部の成分、および前記物理的対象の角速度の少なくとも一部の成分を表す、ことを含む、請求項1に記載の方法。
  12. 自律車両(AV)の感知システムによって、第一の複数の戻り点を取得することであって、前記第一の複数の、各戻り点が、測定された速度値と、前記感知システムによって放射されたそれぞれの信号を反射する反射領域の1つ以上の測定された座標とを含む、ことと、
    前記第一の複数の戻り点に対応する物体の状態ベクトルを推定することであって、前記状態ベクトルが前記物体の並進速度および前記物体の回転速度を含む、ことと、
    誤差測定を最小化することによって、前記物体の改善された状態ベクトルを取得することであって、前記誤差測定が、前記第一の複数の戻り点の前記測定された速度値と、前記推定された状態ベクトルに基づいて予測された、前記第一の複数の戻り点の速度値との間の差に少なくとも部分的に基づいている、ことと、
    前記AVの運転経路を、前記物体の前記改善された状態ベクトルを考慮して決定させることと、を含む、方法。
  13. 前記改善された状態ベクトルを取得することが、前記物体の前記状態ベクトルの成分に対して推定共分散行列を使用することを含む、請求項12に記載の方法。
  14. 前記状態ベクトルを推定することが、少なくとも部分的に、第二の複数の戻り点に基づいており、前記第二の複数の戻り点が、前記第一の複数の戻り点と比較して、より早い時間に取得されている、請求項13に記載の方法。
  15. 自律車両(AV)の感知システムであって、
    各戻り点が速度値と前記感知システムによって放射される信号を反射する反射領域の1つ以上の座標とを含む、複数の戻り点を取得する、感知システムと、
    前記AVの知覚システムであって、
    前記複数の戻り点のそれぞれの前記速度値および前記1つ以上の座標と、物理的対象の動きとの関連付けを識別することであって、前記動きが剛体の並進運動と回転運動との組み合わせである、ことをし、
    前記物理的対象の前記動きを考慮して、前記AVの運転経路を決定させる、知覚システムと、を備えるシステム。
  16. 前記感知システムが、コヒーレント光検出および測距装置(ライダー)を備え、前記感知システムによって放射される前記信号が、位相変調または周波数変調電磁波を含む、請求項15に記載のシステム。
  17. 前記知覚システムがさらに、
    前記識別された関連付けを使用して、前記物理的対象の動きの表現を決定し、前記動きの表現が、
    前記物理的対象の並進速度の1つ以上の成分と、
    前記物理的対象の角速度の1つ以上の成分と、を含む、請求項15に記載のシステム。
  18. 前記動作の表現を決定するために、前記知覚システムが、
    1つ以上の潜在速度成分を識別することであって、潜在速度成分が、前記識別された関連付けを使用して、目標正確度を下回る正確さで決定された、前記物理的対象の前記並進速度の成分または前記物理的対象の前記角速度の成分である、ことをし、
    前記感知システムから、複数の追加的戻り点を受信し、
    前記追加的戻り点の第二のサブセットと前記物理的対象との対応を識別し、
    前記識別された対応を考慮して、前記1つ以上の潜在速度成分を決定する、請求項17に記載のシステム。
  19. 前記複数の戻り点が、前記感知システムの第一のセンサによって取得され、前記複数の追加的戻り点が、前記感知システムの第二のセンサを使用して取得され、前記第二のセンサが、前記第一のセンサとは異なって位置する、請求項18に記載のシステム。
  20. コンピューティング装置によって実行されるとき、前記コンピューティング装置に、
    自律車両(AV)の感知システムによって、複数の戻り点を取得することであって、各戻り点が、速度値と、前記感知システムによって放射される信号を反射する反射領域の1つ以上の座標とを含む、ことをさせ、
    前記複数の戻り点のそれぞれの前記速度値および前記1つ以上の座標と、物理的対象の動きとの関連付けを識別することであって、前記動きが、剛体の並進運動と回転運動との組み合わせである、ことをさせ、
    前記物理的対象の前記動きを考慮して、前記AVの運転経路を決定させる、命令を格納する、非一時的コンピュータ可読媒体。
JP2023520411A 2020-10-22 2021-10-21 自律車両用途のための速度推定および物体追跡 Active JP7506829B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/949,275 US20220128995A1 (en) 2020-10-22 2020-10-22 Velocity estimation and object tracking for autonomous vehicle applications
US16/949,275 2020-10-22
PCT/US2021/056105 WO2022087308A1 (en) 2020-10-22 2021-10-21 Velocity estimation and object tracking for autonomous vehicle applications

Publications (2)

Publication Number Publication Date
JP2023546813A true JP2023546813A (ja) 2023-11-08
JP7506829B2 JP7506829B2 (ja) 2024-06-26

Family

ID=81258316

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023520411A Active JP7506829B2 (ja) 2020-10-22 2021-10-21 自律車両用途のための速度推定および物体追跡

Country Status (5)

Country Link
US (1) US20220128995A1 (ja)
EP (1) EP4204856A1 (ja)
JP (1) JP7506829B2 (ja)
CN (1) CN116348789A (ja)
WO (1) WO2022087308A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11841439B2 (en) * 2020-11-02 2023-12-12 Waymo Llc Point cloud segmentation using a coherent lidar for autonomous vehicle applications
US11702102B2 (en) * 2020-11-19 2023-07-18 Waymo Llc Filtering return points in a point cloud based on radial velocity measurement
CN117336678A (zh) * 2022-06-23 2024-01-02 中兴通讯股份有限公司 车辆跟踪方法、装置、通信单元及存储介质
CN117163050B (zh) * 2023-10-11 2024-03-22 成都睿芯行科技有限公司 一种基于运动模型的预测控制算法
CN117140536B (zh) * 2023-10-30 2024-01-09 北京航空航天大学 一种机器人控制方法、装置和机器人

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7071867B2 (en) * 2004-06-25 2006-07-04 The Boeing Company Method, apparatus, and computer program product for radar detection of moving target
US8050863B2 (en) * 2006-03-16 2011-11-01 Gray & Company, Inc. Navigation and control system for autonomous vehicles
AU2010257107B2 (en) 2009-02-20 2015-07-09 Digital Signal Corporation System and method for generating three dimensional images using lidar and video measurements
JPWO2017038659A1 (ja) 2015-09-01 2018-06-14 国立大学法人 東京大学 運動検出装置及びそれを用いた三次元形状測定装置
US9983301B2 (en) 2015-10-02 2018-05-29 Delphi Technologies, Inc. Automated vehicle radar system to determine yaw-rate of a target vehicle
WO2018128655A2 (en) * 2016-09-25 2018-07-12 Okeeffe James Distributed laser range finder with fiber optics and micromirrors
EP3252501B1 (en) * 2016-06-03 2022-06-08 Veoneer Sweden AB Enhanced object detection and motion state estimation for a vehicle environment detection system
US10845470B2 (en) * 2016-11-16 2020-11-24 Waymo Llc Methods and systems for protecting a light detection and ranging (LIDAR) device
JP6592852B2 (ja) * 2017-09-07 2019-10-23 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
WO2019136479A1 (en) * 2018-01-08 2019-07-11 The Regents On The University Of California Surround vehicle tracking and motion prediction
EP3525000B1 (en) * 2018-02-09 2021-07-21 Bayerische Motoren Werke Aktiengesellschaft Methods and apparatuses for object detection in a scene based on lidar data and radar data of the scene
US10906536B2 (en) * 2018-04-11 2021-02-02 Aurora Innovation, Inc. Control of autonomous vehicle based on determined yaw parameter(s) of additional vehicle
US11550061B2 (en) * 2018-04-11 2023-01-10 Aurora Operations, Inc. Control of autonomous vehicle based on environmental object classification determined using phase coherent LIDAR data
KR102157582B1 (ko) * 2018-07-25 2020-09-18 안세찬 라이다 센서 기반의 보행자 안전관리 시스템
US11124196B2 (en) * 2019-07-02 2021-09-21 Mitsubishi Electric Research Laboratories, Inc. Receding horizon state estimator
US20210229657A1 (en) * 2020-01-27 2021-07-29 Ford Global Technologies, Llc Detection of vehicle operating conditions
US11879980B2 (en) * 2020-06-22 2024-01-23 Toyota Motor Engineering & Manufacturing North America, Inc. Method for road debris detection using low-cost LIDAR
US11029395B1 (en) * 2020-06-30 2021-06-08 Aurora Innovation, Inc. Systems and methods for pulsed-wave LIDAR

Also Published As

Publication number Publication date
WO2022087308A1 (en) 2022-04-28
JP7506829B2 (ja) 2024-06-26
CN116348789A (zh) 2023-06-27
EP4204856A1 (en) 2023-07-05
US20220128995A1 (en) 2022-04-28

Similar Documents

Publication Publication Date Title
JP7506829B2 (ja) 自律車両用途のための速度推定および物体追跡
CN110389586B (zh) 用于地面和自由空间探测的系统和方法
US9898005B2 (en) Driving path determination for autonomous vehicles
US11702102B2 (en) Filtering return points in a point cloud based on radial velocity measurement
US11841439B2 (en) Point cloud segmentation using a coherent lidar for autonomous vehicle applications
JP6224370B2 (ja) 車両用コントローラ、車両システム
US20220146676A1 (en) Doppler-assisted object mapping for autonomous vehicle applications
US11954411B2 (en) High fidelity simulations for autonomous vehicles based on retro-reflection metrology
US20230038842A1 (en) Association of camera images and radar data in autonomous vehicle applications
EP4102251A1 (en) Determination of atmospheric visibility in autonomous vehicle applications
US20230384441A1 (en) Estimating three-dimensional target heading using a single snapshot
CN116125356A (zh) 自主载具应用中传感器的校准
US20230244242A1 (en) Detection of particulate matter in autonomous vehicle applications
US11753045B2 (en) Modeling positional uncertainty of moving objects using precomputed polygons
EP4170606A1 (en) Identification of real and image sign detections in driving applications
US20220194424A1 (en) Autonomous vehicle trajectory computed using box-based probabilistic overlap model
US20220135074A1 (en) Classification of objects based on motion patterns for autonomous vehicle applications
EP4374189A1 (en) Radar data analysis and concealed object detection
US20240025446A1 (en) Motion planning constraints for autonomous vehicles
US20240036168A1 (en) Radar point cloud multipath reflection compensation
US20230184890A1 (en) Intensity-based lidar-radar target
Alfasi Radar and LIDAR based monitoring schemes for confined Border Area with superior technical capabilities

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230601

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240322

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240531

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240614