JP7455851B2 - 自律型車両の計画および予測 - Google Patents

自律型車両の計画および予測 Download PDF

Info

Publication number
JP7455851B2
JP7455851B2 JP2021546461A JP2021546461A JP7455851B2 JP 7455851 B2 JP7455851 B2 JP 7455851B2 JP 2021546461 A JP2021546461 A JP 2021546461A JP 2021546461 A JP2021546461 A JP 2021546461A JP 7455851 B2 JP7455851 B2 JP 7455851B2
Authority
JP
Japan
Prior art keywords
target
trajectory
maneuver
predicted
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021546461A
Other languages
English (en)
Other versions
JP2022516382A (ja
Inventor
スブラマニアン、ラマムーシー
サイモン、ライアンズ
スベト、ペンコフ
モーリス、アントネッロ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Five AI Ltd
Original Assignee
Five AI Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from GBGB1816853.4A external-priority patent/GB201816853D0/en
Priority claimed from GBGB1816852.6A external-priority patent/GB201816852D0/en
Priority claimed from GBGB1816850.0A external-priority patent/GB201816850D0/en
Application filed by Five AI Ltd filed Critical Five AI Ltd
Publication of JP2022516382A publication Critical patent/JP2022516382A/ja
Application granted granted Critical
Publication of JP7455851B2 publication Critical patent/JP7455851B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04Traffic conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097Predicting future conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0011Planning or execution of driving tasks involving control alternatives for a single driving scenario, e.g. planning several paths to avoid obstacles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0013Planning or execution of driving tasks specially adapted for occupant comfort
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0015Planning or execution of driving tasks specially adapted for safety
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0027Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G05B13/027Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks only
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/04Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/29Graphical models, e.g. Bayesian networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/29Graphical models, e.g. Bayesian networks
    • G06F18/295Markov models or related models, e.g. semi-Markov models; Markov random fields; Networks embedding Markov models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models
    • G06N5/045Explanation of inference; Explainable artificial intelligence [XAI]; Interpretable artificial intelligence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00Computing arrangements based on specific mathematical models
    • G06N7/01Probabilistic graphical models, e.g. probabilistic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/84Arrangements for image or video recognition or understanding using pattern recognition or machine learning using probabilistic graphical models from image or video features, e.g. Markov models or Bayesian networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125Traffic data processing
    • G08G1/0129Traffic data processing for creating historical data or processing based on historical data
    • HELECTRICITY
    • H02GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02JCIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00Circuit arrangements for ac mains or ac distribution networks
    • H02J3/12Circuit arrangements for ac mains or ac distribution networks for adjusting voltage in ac networks by changing a characteristic of the network load
    • H02J3/14Circuit arrangements for ac mains or ac distribution networks for adjusting voltage in ac networks by changing a characteristic of the network load by switching loads on to, or off from, network, e.g. progressively balanced loading
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0002Automatic control, details of type of controller or control system architecture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/30Driving style
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4046Behavior, e.g. aggressive or erratic
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00Special features of vehicle units
    • B60Y2400/30Sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30236Traffic on road, railway or crossing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/164Centralised systems, e.g. external to vehicles
    • HELECTRICITY
    • H02GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02JCIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2310/00The network for supplying or distributing electric power characterised by its spatial reach or by the load
    • H02J2310/10The network having a local or delimited stationary reach
    • H02J2310/12The local stationary network supplying a household or a building
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02BCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B70/00Technologies for an efficient end-user side electric power management and consumption
    • Y02B70/30Systems integrating technologies related to power network operation and communication or information technologies for improving the carbon footprint of the management of residential or tertiary loads, i.e. smart grids as climate change mitigation technology in the buildings sector, including also the last stages of power distribution and the control, monitoring or operating management systems at local level
    • Y02B70/3225Demand response systems, e.g. load shedding, peak shaving
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04SSYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S20/00Management or operation of end-user stationary applications or the last stages of power distribution; Controlling, monitoring or operating thereof
    • Y04S20/20End-user application control systems
    • Y04S20/222Demand response systems, e.g. load shedding, peak shaving

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Probability & Statistics with Applications (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Power Engineering (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)

Description

本開示は、自律型車両(AV)の計画の基礎として使用することができる予測方法に関する。
自律型車両は、自動運転車両としても知られるが、自身の外部環境を監視するためのセンサシステムと、それらのセンサを使用して自動的に運転における決定を実行および履行することができる制御システムとを有する車両を指す。これは、とくには、センサシステムからの入力に基づいて車両の速度および進行方向を自動的に調整する能力を含む。完全自律型車両または「運転者なし」車両は、人間の運転者からのいかなる入力も必要とせずに動作するための充分な意思決定能力を有する。しかしながら、本明細書で使用されるとき、自律型車両という用語は、自律的な意思決定能力がより限定的であり、したがって人間の運転者からの或る程度の監督を依然として必要とする半自律型車両にも適用される。
遭遇する運転シナリオを安全かつ効果的に切り抜けるために、自律型車両のプランナは、他の車両/エージェントの予想される挙動を考慮に入れたやり方で計画を行うことができる必要がある。
本発明の第1の態様は、コンピュータによって実施され、外部アクターの軌道を予測する方法であって、
コンピュータにおいて、外部アクターの検出および追跡のためのセンサ入力を受信するステップと、
前記センサ入力にオブジェクト追跡を適用して前記外部アクターを追跡することにより、一時間区間における前記外部アクターの観測されたトレースを決定するステップと、
前記外部アクターについて一式の利用可能な目標を決定するステップと、
前記利用可能な目標の各々について、予想軌道モデルを決定するステップと、
前記外部アクターの前記観測されたトレースを、前記利用可能な目標の各々についての前記予想軌道モデルと比較して、該目標の尤度を決定するステップと
を含む方法を提供する。
外部アクターは、外部の車両、または歩行者、サイクリスト、などの別の外部のアクターであってよい。以下の例において、外部アクターは外部の車両であるが、関連の説明が他の形態の外部アクターにも等しく当てはまることを、理解できるであろう。
いくつかの実施形態において、本方法は、自律型の自車両において実施されてよく、この自律型車両のプランナが、前記利用可能な目標のうちの少なくとも1つの前記尤度に応じて自律的な運転の決定を行い、前記センサ入力は、この自律型車両のセンサシステムを使用して取得される。
前記予想軌道モデルは、前記目標に関する単一の予測される軌道または前記目標に関する予測される軌道の分布であってよい。
前記予想軌道モデルは、一式の予測される軌道のうちの各々の予側される軌道Tについての条件付き確率p(T│G)を含む分布であってよく、該目標の前記尤度p(G│τ)を、前記観測されたトレースτに鑑みて少なくとも1つの予側される軌道の確率p(T│τ)を推定するために使用することができる。
前記予想軌道モデルを、各々の目標について、該目標の所望の目標位置に基づいて決定することができる。
前記予想軌道モデルを、各々の目標について生成モデルを実行することによって決定することができ、前記生成挙動モデルは、現実世界の運転挙動の例に基づいて軌道を生成するように訓練されている。
前記モデルは、本方法が適用される対象の運転領域に特有であってよい。
前記予想軌道モデルを、各目標について該目標の1つ以上のパラメータおよび前記外部エージェントの1つ以上のパラメータに基づいて定められる予測軌道の空間をサンプリングするようにサンプリングアルゴリズムを適用することによって決定することができる。
前記一式の利用可能な目標を、前記外部エージェントに関するマップデータに基づいて決定することができる。
前記予想軌道モデルを、自車両の挙動に対する他のアクターの応答をモデル化するために1つ以上の自車両パラメータに基づいて決定することができる。
前記観測されたトレースを、前記目標についての最良利用可能軌道モデルを予測するために使用することができ、前記比較は、前記最良利用可能軌道モデルを前記予想軌道モデルと比較することを含む。
前記観測されたトレースを、前記外部アクターの現在の操縦および/または将来の操縦を予測するために使用することができ、前記予測された現在または将来の操縦を、前記最良利用可能軌道モデルを決定するために使用することができる。
複数の操縦からなるシーケンスを、少なくとも1つの目標について決定することができ、前記最良利用可能軌道モデルを、該目標について、前記複数の操縦にそれぞれ関する部分軌道モデルに基づいて決定することができる。
各々の部分軌道モデルは、1つ以上の目標運動値を含むことができ、前記最良利用可能軌道モデルの将来部分の1つ以上の運動値を、前記目標運動値に運動平滑化を適用することによって決定することができる。
各目標についての前記予想軌道モデル及び前記最良利用可能モデルは、該目標についての単一の予想軌道であってよい。
各操縦についての前記部分軌道モデルは、該操縦についての最も可能性の高い部分軌道であってよい。
定められたコスト関数を、各目標についての前記予想軌道モデルおよび前記最良利用可能軌道モデルの両方に適用して、これらの軌道モデルのそれぞれのコストを決定することができ、前記比較は、これらのコストを比較することを含む。
前記コスト関数は、運転時間の短縮に報いる一方で、不安全な軌道を不利とすることができる。
前記コスト関数は、快適性の欠如も不利とすることができる。
本発明の第2の態様は、コンピュータによって実施され、外部アクターの軌道を予測する方法であって、
コンピュータにおいて、外部アクターの検出および追跡のためのセンサ入力を受信するステップと、
前記センサ入力にオブジェクト追跡を適用して前記外部アクターを追跡することにより、一時間区間における前記外部アクターの観測されたトレースを決定するステップと、
前記外部アクターについて一式の可能な操縦を決定するステップと、
前記可能な操縦の各々について、予想軌道モデルを決定するステップと、
前記外部アクターの前記観測されたトレースを、前記利用可能な操縦の各々についての前記予想軌道モデルと比較して、該操縦の尤度を決定するステップと
を含む方法を提供する。
本方法は、自律型車両において実施されてよく、この自律型車両のプランナが、前記利用可能な操縦のうちの少なくとも1つの前記尤度に応じて自律的な運転の決定を行うことができる。
前記予想軌道モデルは、前記操縦に関する単一の予測される軌道または前記操縦に関する予測される軌道の分布であってよい。
前記観測されたトレースを、前記予測される軌道の分布のうちの最も可能性の高い軌道と比較することができる。
別の態様は、本明細書のいずれかの方法を実施するように構成された予測コンポーネントと、前記予測コンポーネントの出力を使用して自律型の運転の決定を行うように構成されたプランナと、を備える自律型車両コンピュータシステムを提供する。
前記予測コンポーネントを、第1の態様の方法またはそのいずれかの実施形態を実施することで、外部エージェントについての目標の予測をもたらし、第2の態様の方法またはそのいずれかの実施形態を実施することで、外部エージェントについての操縦の予測をもたらすように構成することができる。
前記操縦の予測を、前記目標の予測を行うために使用することができる。
自律型車両が、前記自律型車両コンピュータシステムと、前記プランナに結合し、前記プランナによって生成される制御信号に応答する駆動機構とを備えることができる。
本発明の別の態様は、上述のステップと、AVプランナが前記目標のうちの少なくとも1つの前記決定された尤度に基づいてAVの動作を制御するための制御信号を生成するステップとを含むAV計画方法を含む。
いくつかの実施形態において、各目標に関する前記予想軌道モデルは、この目標に関する予測される軌道またはこの目標に関する予測される軌道の分布を含むことができる。
各目標についての前記分布Gは、一式の予測される軌道のうちの各々の予測される軌道Tについての条件付き確率p(T│G)を含むことができ、該目標の前記尤度p(G│τ)を、前記観測されたトレースτに鑑みて少なくとも1つの予測される軌道の確率p(T│τ)を推定するために使用することができる。
前記制御信号を、前記少なくとも1つの目標の前記決定された尤度およびこの目標についての前記予想軌道モデルに基づいて生成することができる。
前記予想軌道モデルを、(例えば、前記時間区間の始まり、すなわち時刻tにおける)前記外部エージェントの1つ以上の初期パラメータに基づいて、前記観測されたトレースとの比較のために決定することができる。前記予想軌道モデルを、(例えば、前記時間区間の終わり、すなわち時刻t+ΔTにおける)前記外部エージェントの1つ以上の更新されたパラメータに基づいて前記制御信号を生成するために更新することができる。
前記外部エージェントの前記パラメータは、観測されたパラメータ、すなわちセンサ入力から導出されたパラメータであってよい。
前記外部エージェントの前記1つ以上のパラメータは、(適用可能な時刻における)前記外部エージェントの位置を含むことができる。
前記予想軌道モデルを、前記目標の1つ以上のパラメータに基づいて決定することができる。
前記目標の前記1つ以上のパラメータは、例えば、到達すべき所望の位置を含むことができる。すなわち、各目標を、それぞれの所望の位置によってパラメータ化することができる。
前記予想軌道モデルを、各目標についてコンピュータシステムにおいて生成モデルを実行することによって決定することができる。前記生成モデルを、前記外部エージェントの上述の1つ以上の観測されたパラメータおよび前記目標の上述の1つ以上のパラメータに基づいて実行することができる。
前記予想軌道モデルを、各目標についてこの目標の前記1つ以上のパラメータおよび前記外部エージェントの前記1つ以上のパラメータに基づいて定められる予測経路の空間をサンプリングするようにサンプリングアルゴリズムを適用することによって決定することができる。
前記サンプリングアルゴリズムは、1つ以上のランダム化入力パラメータに基づいて前記探索空間をランダムにサンプリングして予測経路分布を決定するランダム化サンプリングアルゴリズムであってよい。
例えば、前記サンプリングアルゴリズムは、高速拡張ランダムツリー(RRT)であってよい。
前記生成モデルは、現実世界の運転挙動の例で訓練された機械学習(ML)モデルであってよい。そのような例を、1つ以上の運転領域を監視することによって取得された現実世界の運転挙動データから抽出することができる。
例えば、前記生成モデルは、現実世界の目標実行の例に基づいて予想軌道モデルを生成するように訓練されていてよいニューラルネットワークまたは他の機械学習(ML)モデルを含むことができる。
別の例として、前記生成モデルは、空間マルコフモデルなど、本方法が適用される対象の運転領域について予め決定されたモデルであってもよい。前記モデルを、前記運転領域において観測された現実世界の運転挙動に基づいて予め決定しておくことができる。
前記生成されたモデルを、最初に前記外部エージェントの前記初期パラメータに基づいて実行して、前記観測されたトレースとの比較のための前記予想軌道モデルを決定し、その後に前記制御信号を生成するために前記外部エージェントの前記更新されたパラメータに基づいて再び実行することができる。
本方法は、前記目標のうちの少なくとも1つの目標の前記決定された尤度および該目標について決定された前記(更新された)予想軌道モデルに基づいて、前記時間区間の後の前記外部エージェントの少なくとも1つの予測される軌道を決定するステップを含むことができる。
前記時間区間の後の前記少なくとも1つの予測される軌道の尤度を、前記目標の前記尤度および前記(更新された)予想軌道モデルに基づいて決定することができる。
前記制御信号を、前記少なくとも1つの予測される軌道に基づいて生成することができる。
前記一式の利用可能な(仮定された)目標を、前記外部エージェントに関するマップデータに基づいて決定することができる。
前記1つ以上の目標パラメータも、前記外部エージェントに関するマップデータに基づいて決定することができる。
前記マップデータを、少なくとも部分的に、前記センサ入力から導出することができる。
前記予想軌道モデルを、前記AVセンサ信号から導出された前記外部エージェントの1つ以上の観測されたパラメータに生成挙動モデルを適用することによって計算することができる。
前記生成挙動モデルは、1つ以上の自車両パラメータにも(本計画方法によって制御される自車両への前記他のアクターの応答をモデル化するために)適用されてよく、さらには/あるいは(前記アクターの環境への応答をモデル化するために道路レイアウト/他の運転環境パラメータなどの)前記運転シナリオの1つ以上のパラメータにも適用されてよい。
本方法は、前記目標のうちの少なくとも1つの目標についての前記予想軌道モデルおよびこの目標の決定された尤度に基づいて、前記外部アクターの少なくとも1つの予測される軌道を決定するステップを含むことができる。
前記予想軌道モデルを、(例えば、前記時間区間における前記外部アクターの実際の挙動を考慮すべく)前記生成挙動モデルが適用される対象のパラメータの変化を考慮するために更新することができる。
本発明のさらなる態様は、本明細書に開示の方法ステップのいずれかを実行するように構成された実行ハードウェアを備えるコンピュータシステム、および実行されたときに方法ステップのいずれかを実施するように構成された実行可能命令を含むコンピュータプログラムを提供する。
またさらなる態様は、本明細書に開示の方法ステップのいずれかを実施するように構成されたコンピュータシステムに具現化された自律型車両(AV)プランナ、ならびにこの自律型車両プランナと、この自律型車両プランナに結合し、このAVプランナによって生成された制御信号に応答する駆動機構とを備える自律型車両を提供する。
本発明をよりよく理解するため、および本発明の実施形態をどのように実施することができるのかを示すために、以下の図を参照する。
自律型車両コンピュータシステムに実装される機能コンポーネントを示す概略の機能ブロック図を示している。 自律型車両の操縦計画に使用することができるゲームツリーの一例を示している。 一例による逆計画の特定の原理を示している。 一例による逆計画の特定の原理を示している。 一例による逆計画の特定の原理を示している。 典型的な逆計画法のフローチャートを示している。 CCTVによって監視される領域における通常の運転挙動をモデル化する空間マルコフモデルの一例を示している。
以下、本発明の典型的な実施形態を詳しく説明する。最初に、本発明へのいくつかの有用な文脈を説明する。
図1が、AV(自車両)の車載コンピュータシステムA1に具現化された特定の機能コンポーネント、すなわちデータ処理コンポーネントA2、予測コンポーネントA4、およびAVプランナA6のきわめて概略的な機能ブロック図を示している。
データ処理コンポーネントA2は、AVの車載センサシステムA8からセンサデータを受信する。車載センサシステムA8は、さまざまな形態をとることができるが、一般に、例えば画像取込装置(カメラ)、ライダーユニットなど、衛星測位センサ(GPSなど)、運動センサ(加速度計、ジャイロスコープ、など)など、周囲環境ならびにAVおよびその環境内の他のアクター(車両、歩行者、など)の状態についての詳細な情報を抽出することができる豊富なセンサデータを全体としてもたらすさまざまなセンサを備える。
しかしながら、本技術が、AV自体の車載光学センサ(画像取込装置、ライダー、など)を使用して取得された画像データなどの使用に限定されないことに、注意すべきである。これに代え、あるいはこれに加えて、本方法は、例えばCCTV画像など、AVの近傍の外部の画像取込ユニットによって取得された外部取得センサデータの使用にも適用可能である。その場合、本方法の実施に使用されるセンサ入力の少なくとも一部は、AVによって、1つ以上の無線通信リンクを介して、外部のセンサデータソースから受信されてよい。
データ処理システムA2は、センサデータを処理し、センサデータからそのような情報を抽出する。これは、一般に、さまざまな形態の機械学習(ML)/人工知能(AI)処理を含む。本文脈に関連するデータ処理システムA2の機能は、位置特定(ブロックA10)、オブジェクト検出(ブロックA12)、およびオブジェクト追跡(ブロックA14)を含む。
位置特定は、周囲環境および周囲環境中のAVの位置の認識を提供するために実行される。この目的のために、視覚的およびマップに基づく位置特定など、さまざまな位置特定技術を使用することができる。例として、参照によってその全体が本明細書に組み込まれる「車両の位置特定(Vehicle Localization)」という名称の英国特許出願第1812658.1号明細書が参照される。これは、視覚的検出と所定のマップデータとの組み合わせを使用する適切な位置特定方法を開示している。セグメント化が、周囲の道路構造を検出するために視覚的(画像)データに適用され、周囲の道路構造は、基準のマップフレームにおいて周囲環境の道路および/または他の構造に対するAVの正確かつロバストな位置推定を決定するために、HD(高精細度)マップなどの所定のマップデータと照合され、AVの位置推定は、視覚的およびマップデータをマージすることにより、視覚的検出とマップに基づく推論との組み合わせを通じて決定される。位置推定を決定するために、構造の照合から決定された個々の位置推定が、粒子フィルタリングなどを使用して他の位置推定(GPSなど)と組み合わせられ、個々の位置推定の精度の変動に対してロバストな基準のマップフレームにおけるAVの正確な位置推定がもたらされる。マップ上のAVの位置が正確に決定されると、視覚的に検出された道路構造が、所定のマップデータとマージされ、ライブマップの形態の車両の現在および過去の周囲環境の包括的な表現、ならびに基準のマップフレーム内のAVの位置の正確かつロバストな推定がもたらされる。本文脈における「マップデータ」という用語は、視覚的(または、他のセンサに基づく)検出を所定のマップデータとマージすることによって導出されるライブマップのマップデータを含むが、所定のマップデータまたは視覚的/センサ検出のみから導出されたマップデータも含む。
オブジェクト検出は、車両、歩行者、および他の外部アクターなど、それらの挙動に対してAVが安全に応答できる必要がある環境内の外部オブジェクトの検出および位置特定のために、センサデータに適用される。これは、例えば、3D境界ボックス検出の形態を備えることができ、環境内のオブジェクトの位置、向き、およびサイズ、ならびに/あるいは自車両に対するオブジェクトの位置、向き、およびサイズが推定される。これは、例えば、RGBD(赤、緑、青、深度)、LiDARポイントクラウド、などの(3D)画像データに適用することができる。これにより、そのような外部アクターの位置および他の物理的特性をマップ上で決定することが可能になる。
オブジェクト追跡は、環境内の検出されたオブジェクトの任意の運動を追跡するために使用される。結果は、オブジェクト追跡によって時間に対して決定される各々のオブジェクトの観測されたトレース(τ)である。観測されたトレースτは、移動するオブジェクトの履歴であり、移動するオブジェクトの経路を時間に対して捕捉し、さまざまな時点におけるオブジェクトの履歴の速度、加速度、などの他の情報も捕捉することができる。
オブジェクト検出およびオブジェクト追跡を併せて使用することにより、AVの周囲の決定されたマップ上で外部アクターを包括的に位置特定および追跡することが可能になる。
オブジェクト検出およびオブジェクト追跡は、それ自体は周知であり、さまざまな公衆にとって利用可能な技術水準のモデルを使用して本文脈において実行することが可能である。
位置特定、オブジェクト検出、およびオブジェクト追跡の組み合わせにより、データ処理コンポーネントA2は、自車両の周囲環境、その環境内の任意の外部アクターの現在の状態(検出可能な範囲において、位置、進行方向、速度、など)、ならびにAVにとって追跡可能であったそのようなアクターの履歴トレースの包括的な表現をもたらす。これは、リアルタイムで継続的に更新され、最新の位置および環境の認識を提供する。
予測コンポーネントA4は、この情報を予測分析の基礎として使用し、AVの近傍の外部アクターの将来の挙動に関する予測を行う。適切な予測方法の例が、以下で説明される。
少なくとも1つの確率論的予測を、外部アクターについて決定することができる。これは、例えば、エージェントの可能な操縦の分布P(M│τ)および/または可能な目標の分布P(G│O)であってよい(下記を参照)。
Oという表記は、一式の観測値を意味する。観測値Oは、観測されたトレースτ自体(O=τ)であってよいが、Oは必ずしもこの点に関して限定されない。例えば、一実施態様において、観測値Oは、エージェントの操縦Mを含み、その場合、P(G│M)という表記を(観測値Oはさらなるパラメータを含む可能性があるため、おそらくは略記として)使用することができる(操縦をトレースτから推論できることにも留意されたい)。
AVプランナA6は、自車両の周囲環境およびこの周囲環境内の外部エージェントに関する抽出された情報を、予測コンポーネントA4によってもたらされる挙動の予測と共に、AV計画のための基礎として使用する。すなわち、予測コンポーネントA4による予測分析は、データ処理コンポーネントによってセンサデータから抽出された情報の上に予測情報の層を追加し、これがAVプランナA6によってAV計画の決定のための基礎として使用される。これは、一般に、階層的計画プロセスの一部であり、AVプランナA6は、さまざまな高レベルの決定を行い、次いで高レベルの決定を実施するために必要なますます低いレベルの決定を行う。最終的な結果は、一連のリアルタイムの低レベルのアクションの決定である。これらの決定を実施するために、AVプランナA6は、車両の速度および進行方向を(例えば、操舵、制動、加速、変速、などによって)制御するために、AVの駆動機構A16に少なくとも部分的に入力される制御信号を生成する。また、シグナリングなどの二次的なアクションを実行するための制御信号も生成される。
ここで、本発明の実施形態を、あくまでも例として説明する。
逆計画
定められた目標を安全かつ効果的に実行するために自車両が行うべき操縦、アクション、などのシーケンスの決定などのAV計画の決定においてAVプランナA6を支援するために、逆プランナA5は、本文脈においてエージェントと呼ばれることもある近傍の外部アクターの動きを予測する。逆プランナA5は、上述の文脈において適用され得る生成挙動モデルの一例である。
外部アクターの現在の操縦に関する確率論的予測を行うために、逆計画を、操縦レベルにおいて実施することができる。例えば、逆プランナA5は、トレースτを含む(または、トレースτから導出される)一式の関連の観測値のセットに鑑みて、「車線維持」、「車線変更」、などの一式の利用可能な操縦Mにおける確率分布P(M│τ)を予測することができる。操縦レベルにおける逆計画は、(確率論的な)操縦検出の一形態である。
これに代え、あるいはこれに加えて、逆計画は、外部アクターの現在の目標に関する確率論的予測を行うために、目標レベルにおいて実施されてもよい。例えば、逆プランナA5は、一式の利用可能な目標Gにおける確率分布P(G│O)を予測することができる。例えば、左折を伴う運転シナリオにおいて、目標は、適切な目標位置として捕捉された「左折」目標または「直進継続」目標(すなわち、現在の道路上に留まり、左折をしない)であってよい。目標レベルにおける逆計画は、(確率論的な)目標認識の一形態である。
目標認識および操縦検出は、典型的には、異なる時間尺度で動作する。目標認識は、一般に、操縦検出と比べて、未来へとより長い時間期間を考慮する。例えば、操縦予測が、未来へと数秒(例えば、5s程度)に目を向けることができる一方で、目標認識は、(状況に応じて)これよりもさらに先に目を向けることができる。したがって、目標認識は、一般に、操縦認識よりも長い軌道(すなわち、さらに将来への軌道)を考慮する。
目標を、例えば、自車両がマップ上の現在位置から到達しようと試みているマップ上の(すなわち、基準のマップフレーム内の)所望の位置(基準点)として捕捉することができ、所望の位置は、遭遇した道路レイアウトに関連して定義される。例えば、所望の位置は、特定の合流点、車線レイアウト、ランドアバウト出口、などに関連して定義されてよい。周囲の道路レイアウトおよび任意の外部アクターに鑑み、所望の位置に到達することによってその目標を成功裏に実行するために車両がとることができるさまざまな経路/アクションが存在すると考えられる。また、自車両がそのようにすることを妨げる自車両アクションも存在すると考えられ、例えば、初期アクションのシーケンスの選択が良好でないと、目標を実行し続けると不安全になりかねない場合に外部アクターの挙動に起因して車両が望ましくないランドアバウト出口を取らざるを得なくなり、あるいは他のかたちで目標を中断する結果となり得る。外部アクターの挙動に関する信頼できる予測を計画に組み込むことは、AVプランナA6による安全かつ効果的な計画に役立ち、目標の中断の発生を最小限に抑える。
目標レベルにおいて実施される場合、逆計画は、各々の外部エージェントについてさまざまな可能な目標を仮定し、次いで、エージェントが各々の目標をどのように達成することができるかについての軌道、および各々の軌道をたどる可能性を生成する。根底にある仮定は、各々の外部エージェントが生成モデルを使用して予測することができるやり方で行為することである。
本文脈における逆計画は、AV予測コンポーネントA4によって実施され得る特定の種類の予測方法を指す。すなわち、逆計画法は、外部アクター、とりわけ他の車両の挙動を、外部アクターが予測可能な様相で計画すると仮定することによって予測する特定の方法である。
「逆計画」という用語は、外部アクターが自身の決定を予測可能なやり方で計画するというこの根底にある仮定を指す。より形式的には、仮定することができる生成モデルによって他の車両が計画および実行を行うことが想定される。
ここで、逆計画法を、本方法のフローチャートを示す図2を参照して説明する。これは、目標レベルにおける逆計画を考慮するが、根底にある原理は、操縦レベルにおける逆計画にも等しく当てはまる。本方法のステップは、充分に最新の予測がAVプランナA6に常に利用可能であるように、逆プランナA5によってリアルタイムまたは疑似リアルタイムで繰り返し実行される。本方法は、データ処理システムA2によってもたらされる情報、すなわち、周囲の環境/道路レイアウト、環境内の任意の他のアクターの位置/状態、およびオブジェクト追跡を通じて観測されるそれらのアクターのトレースに関する情報を利用する。
以下のステップは、検討中の1つ以上の外部アクター(車両、歩行者、サイクリスト、など)の各々について実行され、それらのアクターは、以下の例ではAV以外の車両である。
ステップSB2において、対象の他の車両について、仮定された目標の組が決定される。他の車両は、これらの目標のうちの1つを現在実行していると仮定される。仮定された目標の適切な組を決定するために、他の車両の近傍の道路レイアウトなど、運転の文脈が決定される。
外部エージェントの目標は、一般に、マップに基づいて仮定される。例えば、マップ上に示された道路合流点、ランドアバウト、または他の道路レイアウト(運転の文脈)の近傍の外部車両の組に鑑みて、適切な目標を、(エージェントの観測された過去の挙動を考慮することなく)道路レイアウトのみから仮定することができる。一例として、他の車両が現在、近くに交差点がない複数車線を走行しているとすると、仮定された目標のセットは、「車線を維持する」及び「車線を変更する」で構成されていてもよい。もう一つの異なる例として、左折合流点の近傍の外部エージェントの組において、仮定される目標は、左折および直進の継続であってよい。示されるように、そのような目標は、マップ上の適切な基準点を参照して定められる。
しかしながら、目標は、さまざまなやり方で仮定されてよい。例えば、観測された過去の挙動(時刻tに先立って観測されたトレースなど)を、外部エージェントの目標を仮定する際に考慮することができ、あるいはマップに基づく推論と過去の挙動に基づく推論との組み合わせを使用して、目標を仮定してもよい。
利用可能な目標を仮定するために過去の挙動が使用されない場合でも、過去の挙動が、それにもかかわらず、それらの目標の各々の可能性を決定するために使用されることに留意されたい(下記を参照)。
仮定された目標の組を決定すると、それらの目標の各々について、以下のステップが実行される。
ステップSB4において、対象の仮定された目標について、予想軌道モデルが決定される。予想軌道モデルは、他の車両の将来の挙動を、その車両がその特定の目標を実行しているという仮定に基づいて、シミュレートするモデルである。とくには、予想軌道モデルは、他の車両が、所与の期間Δt(時刻tから時刻t+Δtまで)において、その期間においてその目標を実行していると仮定して、特定の経路(軌道)をとる可能性がどれだけ高いかを示す。示されるように、車両が実行している目標は、マップに基づいて終点によってパラメータ化され得る。例えば、目標が(例えば、左折するのではなく)直進である場合、終点は、同じ車線内の車両の前方の例えば40mなどの所定の距離の道路上の点であってよい。あるいは、例えば複数車線のシナリオにおいて、目標位置は、特定のレーンを指定せずに前方の道路に沿った或る程度の距離であり得る(さらなる詳細については、以下を参照)。
予想軌道モデルは、単に所与の目標のための(単一の)予測経路であってよいが、この例では、対象の目標のための予測経路分布の形態をとる。予測経路分布は、この例では、時刻tにおける外部車両の位置rに鑑みて、対象の目標のためのn個の予測経路の離散セットを合成することによって、各々の目標についてもたらされ、少なくとも時間区間Δtにおける予測経路分布をもたらす。
例として、図3Aが、特定の外部車両について予測された目標G1およびG2のそれぞれのための予測経路のそれぞれの組PG1、PG2を示している。目標G、Gは、マップ上の点または領域であってよい基準のマップフレーム内の基準位置R、Rに対してそれぞれ定義される。時刻tにおける外部車両の位置rおよび各目標の基準点R、Rに鑑みて、予測経路セットPG1、PG2は、それぞれ目標G、Gについて合成される。
この例では、各目標は単に単一の基準点/領域に関して定義されているが、理解されるように、目標は、例えば状況に応じて複数の基準点を参照して、他のやり方で定義することが可能である。一般に、目標は、1つ以上の目標パラメータの組によって定義され、1つ以上の目標パラメータは、一般に、自動運転の文脈における基準のマップフレームにおいて定義される。基準のマップフレーム内の基準位置は、目標パラメータの一例であり、そのような基準位置に関するすべての説明は、他の種類の目標パラメータにも等しく当てはまる。
左折の例に続いて、他の車両が「直進」目標を実行した場合に取ることができると予測される経路である「直進」目標のための1組の経路が生成され、他の車両が「左折」目標を実行した場合に取ることができると予測される経路である「左折」目標のための別の1組の経路が生成される。
生成モデルを使用して、これらの経路を合成することができる。根底にある仮定は、他の車両がこのモデルを使用して計画および実行することである。そのモデルは、(他の車両が自車両と同じやり方で計画すると仮定して)AVプランナA6自体に対応することができるが、AV自身のプランナとは違ってもよい。
例えば、経路を、高速探索ランダムツリー(RRT)モデルを使用して各目標について合成することができる。図3Aの例に従って、各目標G、Gについて、予測経路の空間(探索空間)が、その目標の基準位置(それぞれR、R)および外部車両の現在位置rに基づいて定義される。次いで、n個の経路の組、およびそれらの経路の各々の尤度を決定するために、探索空間が(ランダム化された入力パラメータに基づいて)ランダムにサンプリングされる。各目標についてn個の経路をシミュレートするために、RRTの関連パラメータは、探索空間のn個の適切にバイアスされたランダム探索を実行するために、n回ランダム化される。
例として、参照によってその全体が本明細書に組み込まれる「安全な移動の計画のための衝突確率の効率的な計算(Efficient computation of collision probabilities for safe motion planning)」という名称の英国特許出願第1803292.0号明細書が、逆計画を実施するために本文脈において使用することができるRRTモデルを開示している。所与の軌道に沿った衝突の確率的リスクが計算され、安全性によって候補軌道を順位付けするために使用される。これは、対象の目標を実行するために外部車両がより安全な経路をとる可能性が高いという仮定に基づいて、各々のサンプリングされた経路の尤度をもたらす。すなわち、経路の確率を、安全性への仮定された関係に基づいて決定することができる。サンプリングされた経路およびそれらの確率は、軌道モデルの一例である。
しかしながら、これは適切な生成モデルの一例にすぎず、生成されたモデルの他の形態も使用することができる。代替の軌道モデルの例が、後述される。
そのような一例は、観測されたトレースおよび実行されるべき目標に鑑みて経路予測モデル(例えば、予測経路または予測経路の分布)を出力するように訓練されたニューラルネットワークに基づくモデルである。ネットワークは、現実世界の運転挙動の例に基づいて訓練される。例えば、ニューラルネットワークを、都市運転環境において取得されたCCTV(閉回路テレビ)データの大規模なコーパスから抽出された例に基づいて訓練することができる。
別の例は、充分な時間期間にわたって運転領域を監視することによって特定の運転領域について予め決定され得る空間マルコフモデル(または、同様のモデル)である(上記を参照)。
一般に、逆プランナA5は、異なる仮定された目標に関して推論することができる任意のモデルであってよい。
ステップSB6において、時間期間Δt(すなわち、時刻tとt+Δtとの間)にわたって実際に観測された他の車両のトレースが、その時間期間Δtの対象の目標に関する経路の分布と照合され、その目標の尤度が決定される。
例として、図3Bが、時刻tとt+Δtとの間の対象の車両の実際に観測されたトレースτを示している。実際のトレースτを目標G、Gの各々についての予測経路分布(図3A)と照合することによって、各々の目標G、Gの尤度を、時間区間Δtについて確率的に決定することができる。これは、ソフトマッチングの形態であってよい。目標尤度を、外部車両の観測されたトレースτに鑑みて、仮定された各目標Gの条件付き確率、すなわちp(G│τ)として捕捉することができ、これは、観測されたトレースτに鑑みて外部車両が時間区間Δtにおいてその目標Gを実行していた推定確率である。
換言すると、逆プランナA5は、仮定された目標の各々について、他の車両が時間区間Δtにおいてその目標を実行していたと仮定して、他の車両がその時間期間において取ることができた一式の可能な経路およびそれらの経路の各々の尤度(すなわち、他の車両がその目標を実行していた場合に時間区間Δtにおいて何を行ったと考えられるか)を予測するために使用される。次いで、これが、その時間期間における他の車両の実際のトレース(すなわち、他の車両が実際に何を行ったか)と比較され、時間期間Δtの各目標の尤度が決定される。
図3Cを参照すると、今や観測されたトレースτに鑑みて各目標の尤度が既知であるため、観測されたトレースτに鑑みた時刻t+Δtの後の任意の所与の予測経路(軌道)Tの(絶対)尤度を、例えば
と決定することができ、ここで、p(G│τ)は、上述のように定義され、時刻t+Δtにおける目標Gの経路分布に鑑みてエージェントが経路Tをとる推定確率である。なお、表記「Δt」と「ΔT」とは本明細書において同等である。また、軌道を表すために使用される数学的表記(小文字または大文字のギリシャ文字「タウ」、すなわちτ、Τ)と、時間を表すために使用される表記(小文字または大文字のラテン「ティー」、すなわちt、T)との間の区別にも留意されたい。
軌道は、単純な空間経路であってよいが、説明は、運動情報(速力/速度情報、加速度、など)を取り入れる軌道にも等しく当てはまる。後者の場合、2つの軌道が同じ空間経路に対応する(あるいは、軌道の少なくともそれぞれの一部分が同じ空間経路に対応する)場合もあるが、それにもかかわらず、それらは、例えば異なる速度情報に関連付けられている(例えば、一方が、実質的に同じ空間経路に沿って移動しているが、少なくとも空間経路に沿ったいくつかの地点において速度がより遅い車両に対応する)がゆえに、異なる軌道であり得る。例えば、軌道は、関連の速度あるいは空間経路のそれぞれの地点または部分に関連付けられた一式の速度と組み合わせられた空間経路の形態をとることができる。拡張は、関連の加速度値などをさらに取り入れることができる。
図には示されていないが、p(T│G)を決定するための時刻t+Δtにおける経路分布は、それ自体は、例えば、上述のように目標Gについて時刻t+Δtにおいて逆プランナA5を、新たに決定された時刻t+Δtにおける外部エージェントの位置rt+Δtで再実行することにより、予想軌道モデルを相応に更新することによって決定することができる。目標パラメータは、逆プランナA5を再実行する目的で、この時点において更新されても、更新されなくてもよい。データ駆動挙動モデルが使用される場合、同様に、挙動モデルを、予想軌道モデルを更新するために、その時点で再実行することができる。
上述のステップは、おそらくはリアルタイムで、時間につれて繰り返し実行される。目標への到達から或る程度遠い外部エージェントについては、異なる目標への経路分布が最初は類似しており、これが仮定された目標の組における確率の分布に反映されるため、どの目標を実行しているかを最初は明確に決定することができない可能性がある。経路分布が発散するにつれて、確率分布は、一般に、経路分布の発散につれて特定の目標に向かって傾き始める。
しかしながら、これは適切な生成モデルの一例にすぎず、生成されたモデルの他の形態も使用することができる。代替の軌道モデルの例が、後述される。
そのような一例は、観測されたトレースおよび実行されるべき目標に鑑みて経路予測モデル(例えば、予測経路または予測経路の分布)を出力するように訓練されたニューラルネットワークに基づくモデルである。ネットワークは、現実世界の運転挙動の例に基づいて訓練される。例えば、ニューラルネットワークを、都市運転環境において取得されたCCTV(閉回路テレビ)データの大規模なコーパスから抽出された例に基づいて訓練することができる。
別の例は、充分な時間期間にわたって運転領域を監視することによって特定の運転領域について予め決定され得る空間マルコフモデル(または、同様のモデル)である(上記を参照)。
一般に、逆プランナA5は、異なる仮定された目標に関して推論することができる任意のモデルであってよい。
ステップSB6において、時間期間Δt(すなわち、時刻tとt+Δtとの間)にわたって実際に観測された他の車両のトレースが、その時間期間Δtの対象の目標に関する経路の分布と照合され、その目標の尤度が決定される。
例として、図3Bが、時刻tとt+Δtとの間の対象の車両の実際に観測されたトレースτを示している。実際のトレースτを目標G、Gの各々についての予測経路分布(図3A)と照合することによって、各々の目標G、Gの尤度を、時間区間Δtについて確率的に決定することができる。これは、ソフトマッチングの形態であってよい。目標尤度を、外部車両の観測されたトレースτに鑑みて、仮定された各目標Gの条件付き確率、すなわちp(G│τ)として捕捉することができ、これは、観測されたトレースτに鑑みて外部車両が時間区間Δtにおいてその目標Gを実行していた推定確率である。
換言すると、逆プランナA5は、仮定された目標の各々について、他の車両が時間区間Δtにおいてその目標を実行していたと仮定して、他の車両がその時間期間において取ることができた一式の可能な経路およびそれらの経路の各々の尤度(すなわち、他の車両がその目標を実行していた場合に時間区間Δtにおいて何を行ったと考えられるか)を予測するために使用される。次いで、これが、その時間期間における他の車両の実際のトレース(すなわち、他の車両が実際に何を行ったか)と比較され、時間期間Δtの各目標の尤度が決定される。
図3Cを参照すると、今や観測されたトレースτに鑑みて各目標の尤度が既知であるため、観測されたトレースτに鑑みた時刻t+Δtの後の任意の所与の予測経路(軌道)Tの(絶対)尤度を、例えば
と決定することができ、ここで、p(G│τ)は、上述のように定義され、時刻t+Δtにおける目標Gの経路分布に鑑みてエージェントが経路Tをとる推定確率である。なお、表記「Δt」と「ΔT」とは本明細書において同等である。また、軌道を表すために使用される数学的表記(小文字または大文字のギリシャ文字「タウ」、すなわちτ、Τ)と、時間を表すために使用される表記(小文字または大文字のラテン「ティー」、すなわちt、T)との間の区別にも留意されたい。
軌道は、単純な空間経路であってよいが、説明は、運動情報(速力/速度情報、加速度、など)を取り入れる軌道にも等しく当てはまる。後者の場合、2つの軌道が同じ空間経路に対応する(あるいは、軌道の少なくともそれぞれの一部分が同じ空間経路に対応する)場合もあるが、それにもかかわらず、それらは、例えば異なる速度情報に関連付けられている(例えば、一方が、実質的に同じ空間経路に沿って移動しているが、少なくとも空間経路に沿ったいくつかの地点において速度がより遅い車両に対応する)がゆえに、異なる軌道であり得る。例えば、軌道は、関連の速度あるいは空間経路のそれぞれの地点または部分に関連付けられた一式の速度と組み合わせられた空間経路の形態をとることができる。拡張は、関連の加速度値などをさらに取り入れることができる。
図には示されていないが、p(T│G)を決定するための時刻t+Δtにおける経路分布は、それ自体は、例えば、上述のように目標Gについて時刻t+Δtにおいて逆プランナA5を、新たに決定された時刻t+Δtにおける外部エージェントの位置rt+Δtで再実行することにより、予想軌道モデルを相応に更新することによって決定することができる。目標パラメータは、逆プランナA5を再実行する目的で、この時点において更新されても、更新されなくてもよい。データ駆動挙動モデルが使用される場合、同様に、挙動モデルを、予想軌道モデルを更新するために、その時点で再実行することができる。
上述のステップは、おそらくはリアルタイムで、時間につれて繰り返し実行される。目標への到達から或る程度遠い外部エージェントについては、異なる目標への経路分布が最初は類似しており、これが仮定された目標の組における確率の分布に反映されるため、どの目標を実行しているかを最初は明確に決定することができない可能性がある。経路分布が発散するにつれて、確率分布は、一般に、経路分布の発散につれて特定の目標に向かって傾き始める。
操縦の逆計画
上記は、目標の逆計画を考慮している。示されるように、逆計画を、操縦レベルにおいて、仮定された操縦Mの組について実施することもできる。
例えば、他の車両が現時点において近くに分岐点のない複数車線の道路を走行している場合、仮定された操縦Mの組は、「車線維持」および「車線変更」で構成され得る。その場合、他の車両が「車線維持」操縦を現時点において実行している場合に取ることができると予測される経路である「車線維持」操縦のための1組の経路が生成され、他の車両が「車線変更」操縦を実行している場合に取ることができると予測される経路である「車線変更」操縦のための別の1組の経路が生成される。上述の説明は、操縦レベルの逆計画に、仮定された目標Gの組の代わりに仮定された操縦Mの組を用いて、等しく当てはまる。
操縦レベルの逆計画に関して、外部エージェントの観測されたトレースτを使用して、可能な操縦Mの組の各々の操縦M∈Mの確率を推定することができる。各々の操縦M∈Mについて、図3Aのように、予測軌道モデルが時刻tについて決定される。予測軌道モデルは、単一の軌道または軌道分布であり得る。次いで、実際の観測されたトレースτを各々の操縦Mの軌道モデル(図3Bのような)と比較することによって、その操縦の確率P(M│τ)を、観測されたトレースτがその操縦Mの軌道モデルにどの程度一致するかに基づいて推定することができる。上述のように、これは、ソフトマッチングの形態であってよい。
以下の例では、計算を単純にするために、各々の操縦Mは、逆計画の目的に関して単一の軌道にマッピングされる。軌道分布に関連する操縦の場合、分布のうちの最頻の軌道または最も可能性の高い軌道を、逆計画の目的のために採用することができる。その場合、単一の軌道Tが存在すると仮定され、したがって
P(T│M)=1
であり、他のすべての軌道の確率は、0であると仮定される。
上記で使用された表記法は、所与の操縦Mに関連する軌道Tと、所与の目標Gに関して評価された軌道Tとを区別する。
目標Gに到達するために、外部エージェントは、例えば(M、M、・・・)などの操縦のシーケンスを実行することができる。その場合、全体的な目標軌道(すなわち、目標Gに到達すること)は、個々の操縦M、Mに関連する操縦軌道の組み合わせとして決定され得る。例えば、以下で説明される実施態様では、目標軌道は、操縦軌道を組み合わせ、それに速度平滑化を適用することによって決定される。この理由で、操縦Mに関連付けられた(または、関連して評価された)軌道Tは、「部分軌道」と呼ばれる場合があり、目標に関連付けられた(または、関連して評価された)軌道Tは、「完全軌道」と呼ばれる場合がある。
特定の目標Gまでの複数の軌道が考慮される場合、表記T(n)を、Tの代わりに、目標Gまでのn番目の軌道を指して使用することができる。
部分軌道と操縦との間の「1対1」の関係というこの上述の単純化の仮定は、より少ない計算負荷で許容可能な性能をもたらすことが明らかになっている。しかしながら、軌道と操縦との間の「1対1」の関係というこの単純化の仮定を行わない代案の実施態様が、それにもかかわらず実行可能である。この単純化の仮定がない場合、より一般的なベイズ静止関係
が成り立ち、ここで、p(T│M)∈[0,1]が、操縦Mに鑑みた部分軌道Tの確率である。その場合、最頻/最も可能性の高い部分軌道を仮定するのではなく、代わりに部分軌道をp(T│M)からサンプリングすることができ、最頻/最も可能性の高い部分軌道に関する本明細書のすべての説明は、その場合のサンプリングされた軌道に等しく当てはまる。
逆計画-典型的な実施態様
さらなる例示として、ここで、目標認識のための逆計画の典型的な実施態様をさらに詳細に説明する。これは、目標レベルで逆計画を使用して、少なくとも1つの外部エージェントの一式の利用可能な目標Gの確率分布P(G│O))を予測し、すなわち利用可能な目標の各々について、エージェントが現時点においてその目標を実施している推定確率を予測する。
さらに、記載された実施態様は、確率論的操縦検出を使用して、外部エージェントの観測されたトレースτに鑑みて一式の可能な操縦Mの分布P(M│τ)を予測し、すなわち可能な操縦の各々について、エージェントが現時点においてその操縦を実行している推定確率を予測する。操縦予測は、後述されるように、目標予測に供給される。操縦検出を、例えば、操縦レベルで逆計画を使用して実施することができる。
換言すると、説明した実施態様は、操縦レベルおよび目標レベルの両方で推論する。
目標認識
目標認識は、エージェントの過去のアクションの観測および他の文脈上の情報に鑑みて、エージェント(以下の例ではターゲット車両であるが、上述したように別の形態のアクターであってもよい外部アクター)のエージェント目標を推論するプロセスである。
本文脈において、目標は、典型的には、高速道路/ジャンクション上のさまざまな出口点あるいは異なる車線など、逆プランナA24が推論する車両の目標の目標位置を指定する。別のエージェントの目標を知ることにより、仮定された目標に関連するエージェントの挙動について予測を行うことができるため、計画プロセスに情報を提供することができる。
目標認識を使用すると、AVシステムの「説明可能性」も増す。説明可能性とは、その決定を人間に説明するシステムの能力を指す。目標推論プロセス(さまざまな時点において自車両が他の車両の目標と信じたもの)を記録することにより、決定のトレースおよびデバッグのための解釈可能な情報を提供することができる。
目標は、決定論的または確率論的に推論され得る。以下の例において、目標は、一式の関連の観測値Oに鑑みて確率論的に推論され、すなわち目標事後P(G│O)が、有限の一式の利用可能な目標Gについて推定され、P(G│O)は、観測値Oに鑑みて外部エージェントが目標G∈Gを有する確率である。
MCTSの文脈において、目標は、ツリーが上述の意味でロールアウトされるときに外部アクターの将来の軌道に関する合理的な予測を行うために、確率的に推論される。
操縦および目標
最初に、利用可能な目標および操縦を決定するための典型的なスキームが説明される。この説明は、後述される逆計画の特定の実施態様への関連の文脈を提供する。しかしながら、説明は、これに関して限定されず、逆計画/目標認識の代案の実施態様および目標認識を使用しない実施態様(例えば、より高いレベルの目標認識を伴わないデータ駆動の挙動モデルを使用する上述の例)を含むMCTSの他の実施態様にも、等しく当てはまる。
マルチポリシーベースライン
「マルチポリシー法」が、ベースラインとして使用される。マルチポリシー法の根底にある仮定は、自車両を含むすべての車両(または、より一般的には、外部アクター)が、車線維持、車線変更、方向転換、などの有限数の操縦のうちの1つをいつでも実行していることである。そのような操縦は、本明細書において、「操縦ポリシー」と呼ばれることもある(操縦ポリシー、すなわち、有限の一式の操縦のうちの操縦と、選択された操縦ポリシーを実行するために使用され得るアクションポリシーとの間の区別に注意されたい;本明細書において操縦について英国式/米国式の綴りが互換的に使用されることにも注意されたい)。
「ターゲット」アクターは、その挙動が予測されている外部アクターを意味する。予測を、1つまたは複数のターゲット車両(または、他のアクター)について行うことができ、上述の一連の仮定が、各々のターゲットアクターに適用される。先行の段落における操縦ポリシーの例は、実際には「閉ループ」であり、すなわちセンサフィードバックを考慮に入れて、速度および先行車両(先行車両はターゲット車両が追従している車両である)までの距離を自動的に変更する。しかしながら、以下で説明されるように、逆計画の目的のために、それらを、計算効率の向上という利点を有し、逆プランナA24の性能に大きな影響を与えることがない「開ループ」操縦としてモデル化することができる。以下の例において、ターゲット車両および先行車両は自動車であるが、説明は、あらゆる形態のアクター(車両、歩行者、サイクリスト、など)に等しく当てはまる。同様に、この例は、自律型の自動車(自車)を考慮しているが、説明は、任意の形態の自律型車両に当てはまる。
操縦検出は、上述したやり方で操縦レベルでの逆計画を実施することができる。
別の例として、予測コンポーネントA4の分離している操縦検出器1102は、ベイズ変化点検出を実施することができる。この方法は、ターゲット車両の観測された低レベルの軌道を操縦のシーケンスへとセグメント化するために使用され、最新のセグメントが、自動車の現時点において実行されている操縦の予測として使用される。この予測を使用して、いくつかの前方軌道が、自車に利用可能な各々の操縦についてシミュレートされ、最良の評価を有する操縦が、実行のために選択される。これは、次に、以下の例の目標レベルの逆計画に反映される。
ベイズ変化点検出は、それ自体は公知であり、システムの根底にある隠れ状態の変化の確率論的検出を指す。本文脈において、特定の時刻における外部アクターの隠れ状態は、その時点において実行中の操縦ポリシーとして定義される。この隠れ状態は、直接的に観測することは不可能であり、したがって、この例においては観測されるトレースである隠れ状態が引き起こす観測値を通じて、推論される必要がある。これにより、現時点における各々の利用可能な操縦の確率、すなわち外部アクターが現時点においてその操縦を実行している確率を、推定することができる。
例えば、隠れマルコフモデル(HMM)を使用し、操縦をHMMの隠れ状態として表すことができ、観測されたトレースは、HMMの状態遷移から生じるものとしてモデル化される。
以下で説明されるように、計画プロセスを大幅に単純化するために、操縦ポリシーの比較的小さな組を定義することが可能である。操縦ポリシーは、速度および距離などの低レベルの計画を包含するように定義されるため、そのような小さな組を定義することが可能である。同様に、他の車両がこれらの同じポリシーのうちの1つを実行していると仮定されるため、それらの現在の操縦を、低レベルの軌道に鑑みて効率的に推論することができる。
このマルチポリシー法自体は、他の車両の現在の操縦を予測するだけであり、それらの将来の操縦を予測しようとはしないという点で、近視眼的である。逆計画は、後述されるように将来のアクションを予測するためにこの方法に基づいて構築される。
例えば、隠れマルコフモデル(HMM)を使用し、操縦をHMMの隠れ状態として表すことができ、観測されたトレースは、HMMの状態遷移から生じるものとしてモデル化される。
以下で説明されるように、計画プロセスを大幅に単純化するために、操縦ポリシーの比較的小さな組を定義することが可能である。操縦ポリシーは、速度および距離などの低レベルの計画を包含するように定義されるため、そのような小さな組を定義することが可能である。同様に、他の車両がこれらの同じポリシーのうちの1つを実行していると仮定されるため、それらの現在の操縦を、低レベルの軌道に鑑みて効率的に推論することができる。
このマルチポリシー法自体は、他の車両の現在の操縦を予測するだけであり、それらの将来の操縦を予測しようとはしないという点で、近視眼的である。逆計画は、後述されるように将来のアクションを予測するためにこの方法に基づいて構築される。
例えば、隠れマルコフモデル(HMM)を使用し、操縦をHMMの隠れ状態として表すことができ、観測されたトレースは、HMMの状態遷移から生じるものとしてモデル化される。
以下で説明されるように、計画プロセスを大幅に単純化するために、操縦ポリシーの比較的小さな組を定義することが可能である。操縦ポリシーは、速度および距離などの低レベルの計画を包含するように定義されるため、そのような小さな組を定義することが可能である。同様に、他の車両がこれらの同じポリシーのうちの1つを実行していると仮定されるため、それらの現在の操縦を、低レベルの軌道に鑑みて効率的に推論することができる。
このマルチポリシー法自体は、他の車両の現在の操縦を予測するだけであり、それらの将来の操縦を予測しようとはしないという点で、近視眼的である。逆計画は、後述されるように将来のアクションを予測するためにこの方法に基づいて構築される。
操縦
基本操縦
操縦は、計画および予測に使用される基本アクションを表す。以下の「基本」(基本的な)操縦が、この例において考慮される。
・車線維持
・左右の車線変更
・右左折(進行方向に最も近い車線へと向かう)
・停止/警戒
記載された技術を、他の操縦またはさらなる操縦へと拡張できることを、理解できるであろう。
各々の基本操縦は、それぞれに関する特定の適用可能性および終了条件を有する。操縦は、所与の状態において、その状態が操縦の適用可能性条件を満たす場合に限り、利用可能である。例えば、左への車線変更は、車両の左側に車線があり、その車線に車両のための充分な空きスペースがある場合にのみ可能である。さらに、適用可能性条件は、交通規則をエンコードすることもできる。状態が終了条件を満たす場合、操縦は終了する。車線変更の操縦の場合、これは、ひとたび車両がその車線に達し、車線方向に整列した場合である。
操縦の開始と終了との間で、操縦は、自車が辿るべき基準経路および経路における目標速度を指定する。本文脈において、軌道が、ペア(静的基準経路,目標速度)と定義される。すなわち、静的基準経路に関の一連の目標速度を加えたものとして定義される(上記を参照)。
しかしながら、一般に、操縦には複数の軌道が関連付けられる。例えば、予測の文脈において、操縦に軌道分布、すなわち各々が指定された確率(すなわち、外部アクターが、現時点においてその操縦を実行していると仮定して、その軌道を辿る確率)を有している軌道の組を関連付けることができる。
車線維持および警戒などのいくつかの操縦は、自然な終了条件を持たない。そのような操縦の場合、終了条件がパラメータとして指定される。「マクロアクション」(下記を参照)が、文脈情報に基づいてこれらのパラメータを自動的に設定する。
警戒の操縦は、マクロアクションで使用される停止操縦の変種である。警戒は、車両を減速させ、パラメータとして与えられた指定された場所へと移動し続ける。その場所において、操縦は、終了条件が満たされたならば終了し、そうでない場合には、車両を完全に停止させ、次いで終了条件が満たされた場合に終了する。終了条件は、(パラメータとして与えられる)指定された車線における接近交通をチェックするために使用される。車線が指定されていない場合、終了条件は常に真である。これにより、接近交通が存在する可能性があるときに安全かつ円滑な進入/脱出を計画することができる。
出口左右マクロのみを警戒する特別な場合として、接近車両が停止し、少なくとも制御された車両が向きを変える操縦を完了させるために必要な時間にわたって停止したままであると予測される場合、強制終了が可能にされる。これにより、後述されるシナリオ3のような特別な場合が可能になる。
基本操縦のいくつかは、追加のパラメータを有し、あるいは向きを変える操縦などのきわめて特定の場所でのみ可能であるため、マクロアクション内でのみ使用される。
以下の例は、2種類の基本操縦を使用し、すなわち逆計画(予測)、より一般的には図1の目標認識コンポーネントA24による目標認識のための開ループ操縦、およびAVのプランナA6におけるMCTS自己計画のための閉ループ操縦を使用する。これらは、以下の箇所で詳述される。
閉ループ操縦
基本操縦は、センサからのフィードバックを使用する場合、閉ループである。これは、操縦におけるさまざまな程度の自動化をカバーし得る。ここで、各々の閉ループ操縦は、車両の速度および先行車両までの距離を自動的に制御する(アダプティブクルーズコントロール(ACC)の一形態)と仮定される。また、各々の操縦は、自動的に緊急ブレーキを開始できると仮定される。
システムは、操縦の具体的な実施態様について不可知であり、本質的に操縦を「ブラックボックス」機能と見なす。これは柔軟性の利点を有し、さまざまな表現を単刀直入に組み込むことを可能にする。可能な実施態様として、以下が挙げられる。
・有限状態機械または任意のプログラミング論理を使用するハードコードされたヒューリスティック
・運動学的自転車モデルによって定義された運動プリミティブを使用する格子経路プランナ
・制約最適化プランナ
上記リストの計画方法を、それらを閉ループにするために、状態変化後に繰り返し呼び出すことができる。
開ループ操縦
閉ループ操縦とは対照的に、開ループ操縦は、センサフィードバックを使用しない。開ループ操縦は、基準経路(または、経路についての分布)を指定し、これらの経路をフィードバックで修正することを試みない。これにより、操縦のより単純かつ計算コストの低い実装が可能になる。
やはり、システムは、開ループ操縦の表現について不可知である。
開ループ操縦を実施する簡単であるが効果的な方法は、道路のトポロジから抽出された一式の点に多項式関数を適合させる。目標速度を、一定または他の時系列に設定することができる。これは、軌道の分布ではなく、むしろ1つの軌道を計算し、これは、多くの実際の文脈において充分であることが明らかになっている。
別の実施態様は、収集された運転軌道へとガウス過程またはニューラルネットワークなどの上述の種類の挙動モデルを使用する。この軌道データは、さまざまなやり方で生成され得る。
・シミュレーションにおいて、さまざまな状況下で、対応する閉ループ操縦を使用する。
・AVプラットフォームで生成された実際の運転データから。
・認識された操縦へとセグメント化される実際のCCTVデータから。例として、図13が、時間につれてCCTV映像において観測された軌道へとフィットさせたガウス軌道モデル1202の例を示している。
警戒の操縦において使用される「接近交通がなくなるまで待つ」などの条件は、条件が真であると予測されるまで(例えば、交通がなくなると予測されるまで待つ)指定された時間にわたって待つことによって、開ループ操縦において実現することができる。
目標速度および速度平滑化
上述したように、この例において、軌道は、一連の目標速度と組み合わせられた静的経路として定義される。
目標速度は、基本操縦の内部で設定される。一般原則として、車両が特定の領域において特定の速度(例えば、速度制限)で走行しようとすると(例えば)仮定することができる。この目標は、前方に速度の遅い車が存在する場合(この場合、その車の速度が新たな目標である)や、走行経路の曲率などのために必要である場合に減らされる。
開ループ車線維持の場合、目標速度は、
min(制限速度、存在するのであれば前方の車の速度)
に設定される。
その単純さゆえに、この方法は、安価に計算することができるが、衝突する他の車両の予測軌道をもたらす可能性がある。例えば、下記のシナリオ1において、トラックが制限速度で直進を続ける(前方に車両が存在しないため)と予測され、制限速度での車両2による追い越し(追い越しのうちの車線維持部分における)も想定される。車両2の逆計画が実際にはトラックについて一定の速度を仮定したため、車両2の予測軌道およびトラックの予測軌道が衝突する可能性がある。しかしながら、この場合、および他の多くの場合に、この不一致は自車のプランナA6にとって問題を引き起こさないことが明らかになっており、この単純な方法の予測出力を使用して、安全かつ効果的な計画決定を依然として行うことができる。
湾曲した軌道(例えば、旋回および車線変更)を生成する基本操縦において、目標速度は、局所的な曲率に基づき、ヒューリスティックを使用して設定される。この関数が、以下に示され、ここでvtargetが目標速度であり、ψは点曲率である。他の項は、適切な値に設定された定数である。
target=max(vmin,vmax-cψ)
点曲率は、以下の式によって与えられ、ここでxおよびyはデカルト座標である。xおよびyの導関数は、有限差を使用して車両の目標経路から推定される。
速度平滑化
速度は基本操縦の内部で設定されるため、2つの後続の操縦が、速度の急激な変化を有する可能性がある。典型的な例は、車線維持に続く旋回操縦である。
この影響を補償するために、異なる操縦にまたがる結果としての全体の軌道を速度について平滑化して、制御および現実性を改善することができる。所与の軌道における目標速度を最適化する速度平滑化関数が使用される。速度平滑化は、予測(逆計画)およびMCTS自己計画の両方に使用される。
速度平滑化は、与えられた経路に沿った軌動における最適化問題として定式化される。長手方向位置における点の集合
およびそれらのそれぞれの目標速度
を仮定し、連続的かつ微分可能な関数κ:x→vがフィットされる。次いで、タイムホライズンT(これは、例えば、目標速度を使用して推定することができる)、2つの時点間の経過時間Δt、および他の最適化パラメータ(例えば、最大速度vmaxおよび加速度αmax)を考慮して、平滑化問題は次のように定義される。
N=[T/Δt]
この問題の解から、空間的に再サンプリングを使用して、
において実際に達成可能な値を得ることができる。最後の達成可能な位置は、xによって与えられる。
の場合、この解のみから再サンプリングが可能である。
あるいは、xから開始して同様の問題を解くことができ、この手順を、条件が達成されるまで繰り返すことができる。
また、問題の拡張として、加速度などの軌道に関連する他のパラメータをモデル化し、そのようなパラメータに制約を課すことも可能である。
速度平滑化は、完全な停止を表す入力軌道の速度ゼロを尊重すべきである。これを達成する単純なやり方は、軌道を停止事象(速度ゼロ)によって分離されたセグメントに分割し、各セグメントに平滑化関数を適用することである。
マクロアクション
本明細書において「マクロアクション」と呼ばれる特別な種類の操縦は、2つの重要なやり方、すなわち共通の操縦シーケンスを指定すること、およびコンテキスト情報(通常は、道路レイアウト)に基づいて基本操縦の自由パラメータを自動的に設定することで、プランナを楽にする。
この例では、以下のマクロアクションが使用される(括弧内に操縦パラメータが示されている)。
・車線を継続:シーケンス<車線維持(可視の車線の終わり、すなわち車線の終わりまで)>を指定する。
・左右の脱出:シーケンス<車線維持(曲がる地点/その付近まで)、警戒(接近交通がなくなる/安全な距離になるまで)、左折/右折>を指定する。出口点は、自車の目標に対応する出口点となるように自動的に設定され、マクロアクションがより早い出口点をスキップすることを可能にする(これは、ランドアバウトで特に有用である)。
・交差道路:シーケンス<車線維持(道路横断/その付近まで)、警戒(交差道路からの接近交通がなくなる/安全な距離になるまで)、車線維持(道路横断後まで)>を指定する。
・追い越し:シーケンス<右車線変更、車線追従(自車が他車を過ぎるまで)左車線変更>を指定する。
マクロアクションの適用可能性の条件は、マクロアクションにおける第1の操縦の適用可能性の条件、および場合によっては追加条件によって与えられる。例えば、<左脱出>の追加条件は、車が進行方向における最も右側の車線にあり、かつ目的とする出口点が車の前方の同じ車線にあることである。<交差道路>の追加条件は、自車が別の車に道を譲らなければならない道路交差が存在することである(後述のシナリオ3を参照)。マクロアクションの終了条件は、マクロアクションにおける最後の操縦によって与えられる。
マクロアクションは、単一のマクロアクションで所与の目標を充分に達成できるため、計画および予測プロセスを大幅に高速化することができる。例えば、後述のシナリオ2において、自車の目標がG3である場合、単一のマクロアクション<右脱出>ですでに目標を達成できると考えられる。また、マクロアクションは、本来であれば明示的に計画される(例えば、車線維持などの操縦のオープン終了条件を設定する)必要がある操縦間の切り替え点を自動的に処理するがゆえに、有用である。
この研究において使用されるマクロアクションは、分解可能なアクションの階層を定義せず、単にアクションのシーケンスを柔軟なやり方で定義する。マクロアクションは、計画探索空間に暗黙的に含まれる。
上述したように、以下で説明される特定の典型的なMCTSプロセスに関して、マクロアクションにおけるすべての基本操縦は、閉ループであり、逆計画の場合、すべての基本操縦は開ループである。
目標および目標生成
自車の目標
自車の目標は、ルート計画に基づいて生成される。ルートプランナ(A25、図1)が、注釈付き道路マップ(車線方向、交通標識、などが注釈付けされている)および開始/終了位置を入力として取得する。ルートプランナは、自車が走行しなければならない道路セグメントおよび方向のシーケンスを指定する開始位置から終了位置までのルートを計算する。このルートが、プランナA6に渡され、以下のように自車の目標を生成するために使用される。
概念的には、プランナA6は、以下に示されるシナリオ写真と同様に、自車を中心とするビュー領域(例えば、正方形または円形あるいは任意の適切な形状)にてマップを「ズームイン」する。このビュー領域は、自車と共に継続的に移動する。任意の時点において、自車の目標は、(車が現在の道路から接続道路へと乗り換える必要がある)ルートにおける次の出口点によって与えられ、ルートにおける次の出口点がまだ見えていない場合には、現在の車線の可視端によって与えられる。例えば、後述のシナリオ1において、次の出口点は見えないため、目標はG1である。後述のシナリオ2においては、出口点が見えるようになり、新たま目標はG3になる。
他車の目標
別の車の目標は、例えば、自車のビュー領域によって境界付けられ、その車にとって可能な出口点およびその車の方向の道路の可視端として定義され得る。ヒューリスティック目標生成関数が、道路レイアウトおよび交通規則に関する情報(例えば、SDLロードグラフを使用する)を使用して、所与のビュー領域内の車の一式の可能な目標を列挙するために使用される。多数の目標(例えば、多数の出口点)が存在する場合に計算時間を短縮するために、関数は、自動車の出口点目標を、自動車の前方の同じ車線上にすでに2つのより早い出口点が存在する場合に、無視することができる。
「私の前方にいてほしい」など、他の種類の目標を指定することもできる。そのような目標を、環境内の自動車の現在の構成に基づいて動的に追加および削除することができる。以下のシナリオの説明は、目標の例を示す。
目標認識
この典型的な実施態様において、目標認識は、図4を参照して以下で説明されるように、「コストペナルティ」に基づいて実行される。
本文脈における「計画」は、目標に到達するために選択された1つ以上の基本操縦のシーケンスを意味する。場合によっては、そのような基本操縦のシーケンスを、マクロアクションによって定義することができる。マクロアクションまたは複数の基本操縦の他のシーケンスにおいて、各々の基本操縦は、部分軌道に関連付けられ、部分軌道が速度平滑化を使用して組み合わせられ、目標に到達するための完全な軌道を決定する。
図4が、コストペナルティに基づいて、有限の一式の利用可能な目標から、外部アクターの目標を確率論的に推論する方法の概略フローチャートを示している。図4の右側は、下記の2つの利用可能な目標を有するシナリオに適用されるステップの説明のための例を示している。
1.G-現在の道路を進み続ける。可視道路の端部の目標位置として(より一般的には、現在の道路上の自動車の前方の基準点として)定義される。
2.G-右折出口を選択する。出口位置に関して定義される。
観測された車の一式の可能な目標と、車によって実行された過去の基本操縦のシーケンスとに鑑みて、逆計画のプロセスを使用して、目標の事後分布を計算することができる。この方法は、観測値Oのシーケンス(例えば、上述の例における観測されたトレースτなど)、目標の事前分布P(G)、および尤度関数L(O│G)に鑑みて、可能な目標Gのベイズ事後値P(G│O)~L(O│G)P(G)を計算する。
表記P(O│G)およびL(O│G)は、同等であり、目標Gに鑑みた観測値Oの条件付き確率を意味する。「L」という表記は、これらの確率が統計的な意味での尤度であるという事実に一致して使用される(なお、本開示において、尤度という用語が、必ずしもこの特定の統計的な意味ではなく、通常の意味ですでに使用されていることに注意されたい;意味は文脈において明らかであろう)。
目標は、目標位置に関して定義され、Gという表記は、その領域の目標位置を表すために使用され得る。目標位置Gは、空間内の点であってよいが、領域であっても、道路に沿った特定の距離に対応してもよく、例えば、目標位置を道路に垂直な線として定義することができ、その場合、自動車を、ひとたび(道路内の横位置に関係なく)その線に到達したならば目標に到達したと称することができる。
所与の目標G∈Gについての尤度L(O│G)は、2つの計画のそれぞれのコストの間の差(コストペナルティ)として定義される。
1.車の(時刻tにおける)初期位置rから目標位置Gまでの最適な計画、すなわち時刻tの後の車のいかなる観測された挙動にもかかわらずrからGに至る最適な計画。これを、基本操縦、マクロアクション、またはマクロアクション以外の複数の基本操縦のシーケンスとして実行することができる。複数の基本操縦によって、それらに関連する部分軌道を組み合わせて、初期位置rから目標Gに到達するための最適な全体の軌道がもたらされる(時刻tの後の車の実際の観測された挙動に関係なく)。
2.「最良の利用可能な」計画-これは、時刻tと時刻t+Δtとの間の車の任意の観測された挙動に鑑みたrから目標位置Gまでの最適な計画、すなわち、この計画が後続の時間区間ΔTにおいて実際に観測された挙動に一致しなければならないという追加の制約のもとでのrからGに到達するための最良の計画として定義される。換言すると、計画が観測Oを尊重するような車の初期位置rから目標Gまでの最適な計画として定義される。これは、車が目標を達成するために最適な計画を実行する可能性がより高いが、ある程度の逸脱は許容することを仮定している。これも、基本操縦、マクロアクション、またはマクロアクション以外の複数の基本操縦のシーケンスとして実行することができる。複数の基本操縦によって、それらに関連する部分軌道を組み合わせて、初期位置rから目標Gに到達するtからt+Δtまでの区間の車の実際の観測された挙動も考慮した「最良の利用可能な」全体の軌道がもたらされる。最良の利用可能な軌道は、実際の観測された軌道に一致する区間[t,t+Δt]についての観測された部分と、後続の時間区間についての将来部分とを有し、将来部分は、最良の利用可能な全体の軌道に関連する全体的なコスト(すなわち、観測された部分および将来部分の両方の全コスト)を最小にするように選択される。
これは、(複数の操縦に関連する複数の部分軌道に基づくことができる)目標に到達するための全体の経路を考慮するため、目標認識の一形態である。
全体の軌道に割り当てられるコストは、後述するようにさまざまな要因を考慮に入れることができる。これは、運転時間(目標への到達により長い時間がかかる軌道は不利に)、安全性(不安全な軌道は不利に)、および快適性(例えば、ジャークが過度な軌道は不利に)を含む。
車の初期位置rは、例えば、車の第1の観測された位置であってよい。合理的な手法は、自車のセンサ範囲によって定められる過去の観測の移動ウィンドウを使用して初期位置rを定義することである。
図4のステップ1004において、各々の目標G、Gについて最適な計画(上記1)が計算される。ひとたび計算されると、これにより、例えばA*探索を使用して、各々の目標G、Gについて最適な軌道を決定することができる(詳細については以下を参照)。最適な軌道を計算した後に、最適な軌道に関連する全コストを計算することができる(やはり後述)。最適な軌道は、完全な軌道であり、すなわち初期位置rから問題の目標に到達するための軌道である。
図4の例では、軌道は、時間的に等間隔の軌道に沿った点によって示され、したがって等間隔の点は一定の速度を意味し、点間の距離の増加(または、減少)は加速(または、減速)を意味する。白丸は、最適な軌道点を表すために使用される。したがって、目標Gについて、最適な軌道は一定速度で道路に沿って続く直線経路である一方で、目標Gについて、最適な軌道は、車が出口のための転回点に近づくにつれて徐々に減速することを、見てとることができる。
ステップ1006において、各々の目標G、Gについて、最良の利用可能な計画(上記2)が計算される。示されるように、これらは、時刻t(車が初期位置rにあったとき)と現在の時刻t+Δtとの間の実際の観測値Oを考慮に入れる。これらの観測値Oは、黒丸を使用して図4に表されている観測された低レベルのトレースτを含むことができる。
その文脈において、観測値Oは、これに代え、あるいはこれに加えて、自動車の現在の操縦を含むことができ、すなわち、各々の目標の確率を、自動車が現時点において実行している操縦に応じて推定することができる。それらは、過去に観測された操縦をさらに含むことができる。
図4には明示的には示されていないが、上述したように、確率論的操縦検出が、自動車の可能な現在の操縦の確率分布を予測するために適用される。したがって、現在の操縦を確定的に知ることはできず、可能な現在の操縦の分布P(M│τ)に関して確率論的に知ることのみが可能である。これは、最初にp(M│τ)から現在の操縦Mをサンプリングし、次いでこの現在の操縦Mについての目標確率分布p(G│O)(すなわち、Mを含む観測値Oを有する)からサンプリングすることによって対処することができる。
最良の利用可能な計画から、最良の利用可能な軌道を決定することができ(詳細については以下を参照)、これにより、最良の利用可能な軌道の全体コストを決定することができる(やはり後述)。これも、初期位置rから目標位置Gまでの完全な軌道であるという意味で、完全な軌道である。最良の利用可能な軌道は、実際の観測された軌道(すなわち、図4の黒丸)に一致する時刻tとt+Δtとの間の観測された部分を有し、斜線入りの円を使用して図4に表されるt+Δtの後の時間の将来部分をさらに含む。
図示の例において、目標Gの最良の利用可能な軌道の観測された部分(黒丸)および将来部分(斜線入りの円)の両方が、この目標Gの最適な軌道(白丸)に適度に良好に一致することを、見て取ることができる。したがって、目標Gのコストペナルティ(最適な軌道のコストと最良の利用可能な軌道のコストとの間の差)は比較的小さい。
しかしながら、目標Gについては、車が最適な軌道によって必要とされる程度まで時間t+Δtまでに失敗しているため、観測された軌道(黒丸)が、最適な軌道(白丸)からかなり大きく逸脱する。この不一致は、それ自体は大きなコストペナルティを必ずしも引き起こさない(実装の詳細に依存しても、しなくてもよい)。しかしながら、観測された挙動の結果として、最良の利用可能な軌道の将来部分(すなわち、時刻t+Δtの後の部分)が、コスト関数によって不利にされる急制動を必然的に含まなければならない(自動車の現在位置からGまでの最低コストの経路が、自動車の状況に鑑みて急制動を含まなければならないという事実を反映する)ことを、見て取ることができる。最適軌道のコストとのこの不一致は、目標Gに関するより高いコストペナルティを意味する。
ステップ1008において、各々の目標G、Gについて、目標尤度L(O│G)が、コストペナルティ、すなわちその目標についてのステップ1004で計算された最適な計画のコストとステップ1006で計算された最良の利用可能な計画のコストとの間の差に関して計算される。これにより、目標尤度および目標事前値に基づいて目標事後P(G│O)を計算することができる(ステップ1010)。
事前P(G)を、特定の目標の「固有の」確率に関する知識をエンコードするために使用することができる。例えば、図4のシナリオにおいて、右折出口を選択する車が比較的まれにしかないことが観測され、これをP(G)<P(G)によって事前としてエンコードすることができる。これは、Gに有利になるように目標Gを効果的にバイアスする。この事前知識のないシナリオの場合、各々の目標を、特定の車の個々の挙動の観測が存在しない場合に、同じ確率、すなわちP(G)=P(G)と単純に仮定することができる。
上記では、目標が与えられると、車の初期位置rに鑑みてその目標のための最適な計画を決定することができ、後続の時間区間Δtにおける観測に鑑みてその目標のための最良の利用可能な計画を決定することができると仮定している。さらに、最適な(または、最良の利用可能な)計画に鑑みて、最適な(または、最良の利用可能な)軌道を決定することができると仮定する。このやり方で目標を軌道への計画にマッピングするための1つの機構は、以下で説明されるように、A*探索を使用する。
確率論的計画認識アルゴリズム
A*検索
「A*探索」は、マクロアクションを含む開ループ操縦について実行される。操縦は、それらの適用可能性条件に基づいてフィルタリングされる。基本操縦が軌道の分布を指定する場合、適切な単一の軌道を、例えば最頻または最も可能性の高い軌道として選択することができる。
A*探索は、ノードおよびエッジの重み付きグラフに関して定式化された既知の方法である。本文脈においては、(開始ノードによって表される)所与の位置から指定された目標Gに到達するための最適な計画を見つけることを目的とする。グラフのノードは、操縦(基本操縦またはマクロアクション)を表し、目的は、比較的低コストで目標に到達するノードのシーケンス(したがって、シーケンス操縦)を発見することである。各々のノードnについて、「それまでのコスト」g(n)が、開始ノードからノードnまでのコストとして定義され、ヒューリスティック関数h(n)が、nから目標までのコストの推定をもたらす。探索は、開始ノードで始まり、各ノードにおいて、
f(n)=g(n)+h(n)
として定義される最低ノードコストを有する次のノードへとシーケンスを延ばす。
環境内の他のすべての車両が定速モデルを使用するという単純化された仮定を使用することができる。
初期位置rから目標Gまでの最適軌道を発見する目的で、探索は、時刻tおよび位置rで実行された車による操縦から始まる。時間区間Δtにおける観測値Oに鑑みた自動車の現在位置rt+Δtから目標までの最良の利用可能な軌道を発見する目的で、探索は、検出された現在の操縦および現在位置rt+Δtから始まる。
上述の操縦検出方法を、操縦を検出するために使用することができる。これが、一般に、可能な現在の操縦の確率分布をもたらすことに留意されたい。逆計画は、予測されたすべての現在の操縦について行われるべきであり、これは、これらが目標よりも異なる事後をもたらす可能性があるためである。したがって、可能な現在の操縦の各々は、それ自体の目標事後を生成する。計算効率のために、n個の最も可能性の高い現在の操縦のみが考慮され、他のあらゆる操縦は無視され、ここで、nは適切に設定することができる方法パラメータである。
現在位置(現在の探索ノード)に到達するまでのコストg(n)を、基本操縦によって指定された経路および速度に基づいて、現在位置までの推定運転時間として定義することができる。
目標までの残りコストを推定するためのコストヒューリスティックh(n)は、制限速度での直線による現在位置から目標位置までの運転時間によって与えられる。探索を効果的に案内するために、h(n)は、探索を案内するために最小残りコストの推定値を提供するだけでよいことに、留意されたい。したがって、ここでは、性能に影響を与えることなく、比較的粗い仮定を行うことができる。
最適な計画を発見した後に、完全な軌道が、計画内の操縦を横切って生成される。次いで、速度平滑化が完全な軌道に適用され、完全なコスト関数が計算(後述のコスト関数の箇所を参照)されて、計画の最終コストが求められる。この最後のステップ(平滑化の適用および完全なコスト関数)により、下記の制動の例のように、速度に基づいて追加の「手がかり」を得ることが可能になる。
速度平滑化は、すでに観測された軌道のいずれの部分にも適用されない。そうでなければ、速度平滑化の効果は、特定の目標を示唆する証拠を洗い流すことであり得る(図10の例の文脈におけるさらなる詳細については、以下を参照)。
自動車が操縦(例えば、車線変更)の途中である場合を考慮するために、自動車の現在実行されている操縦は、将来へのさらなる計画の前に完了することができるように認識される必要がある。
探索空間を縮小するために、基本的な方向転換および警戒の操縦を、これらがマクロアクションの外部では使用されないため、探索空間から除去することができる。車線維持の操縦は、その終了条件がデフォルト値として何らかの固定長に設定されている場合、マクロアクションの外部の基本操縦として依然として有用であり得る。
本例は、逆計画において外部アクター間の衝突をチェックしない。これは、可能であるが、プロセス全体をより高価にする。さらに、他の車両の一定の速度などのいくつかの単純化の仮定ゆえに、衝突が必然的に発生する状況が存在し得る。以下で詳述されるマルチエージェントMCTS法は、このような衝突チェックを処理することができる。
あるいは、プロセスを、逆計画の一部として起こり得る衝突について推論するように拡張することができる。
A*探索に関連して上述した仮定は、計算効率と性能との間の良好なバランスを提供することが明らかになっている。当然ながら、非等速モデルなど、さまざまな仮定セットが使用されてよいことを、理解できるであろう。別の例として、上記は、操縦に関連する最も可能性の高い軌道のみを考慮することによって、本質的に探索問題を決定論的問題に変える。しかしながら、これは、完全な軌道の分布または切り詰められた軌道の分布に基づく確率論的探索にも同様に拡張することができる。すなわち、上記は単一軌道の形態の完全/部分軌道モデルを考慮しているが、本技術は、完全/部分軌道分布にも適用することができる。
マルチスレッディングを使用し、各々の目標Gについて独立したスレッドを使用することにより、プロセスを高速化することができる。自動車が独立した目標を有するという追加の仮定により、自動車ごとに1つのプロセス/スレッドを使用することによって、さらなる並列化を達成することができる。
制動
制動は、上述の方法においては制動は別個の操縦として認識されないが、本方法は、依然として目標の尤度において制動を考慮することができる。
一例として、図10に示され、上述されたシナリオを考える。自動車の初期位置からG2への最適な計画は、右脱出のマクロアクションによって与えられる。速度平滑化を適用した後に、結果は、車が転回点に到達するまで継続的に減速する軌道である。この最適軌道のコストは、C2で表される。
自動車が、車線に従い、転回点へと途中まで近付き、G2の最適軌道と同様に減速することが観察されると仮定する。したがって、G2までの軌道が競合する場合、これはC2と同様のコストを伴う軌道をもたらす。他方で、初期状態からG1への最適な軌道は、そのような制動を伴わず、(時間の差および場合によってはジャークに起因する)著しいコスト差をもたらす。したがって、G2の事後確率は増加する一方で、G1の確率は減少する。
(ちなみに、上述のように、速度平滑化は、軌道のうちのすでに観測された部分には適用されないことに留意されたい。この背後にある推論は、この例において明らかである。すなわち、速度平滑化が軌道全体に適用された場合、平滑化は、すでに観測された車線維持の操縦の部分の速度も減少させると考えられる。これにより、制動がもはやそれほど突然ではなくなるため、コストペナルティがより小さくなると考えられる。換言すると、軌道が最初の観察位置からの最適軌道により類似すると考えられる。したがって、平滑化は、過去の軌道を変更不可能な定数として扱うことが適切である。)
ここで、自動車が車線を維持するが、減速するのではなく一定の速度で観測されると仮定する。この軌道がG2まで続くと、突然の制動が必要になり、C2よりもはるかにコストが高くなる。他方で、目標G1まで軌道を継続する(車線に留まる)ことは、本質的に初期状態からG1の最適な計画である。したがって、G2は事後確率が低下し、G1は増加する。
最後に、自動車が車線を維持し、展開点の近くで突然に減速することが観測されると仮定する。この突然の制動は、初期状態からのいずれの最適軌道にもないため、G2およびG1の両方に著しいコストペナルティを引き起こす。したがって、両方の目標のコストが増加し、2つの目標の相対確率の変化は小さくなる。
目標からの軌道の予測
所与の目標に対する車の可能な軌道および関連の確率を予測するために、逆計画に使用されるものと同じA*探索法を使用することができる。最適な計画を発見した後にA*を終了するのではなく、代わりに固定時間予算が課され、アルゴリズムは、計画の組を関連のコストと共に計算することを許可される(おそらくは、いくつかの固定数までの計画について)。A*探索が目標に到達するノードを発見すると、対応する計画が計画の組に追加される。軌道は、計画内の操縦によって与えられる部分軌道を接続することによって計画から生成される。
計画から抽出された軌道の分布を、ソフトマックス分布(軌道モデル)を使用して
と計算することができ、ここで、T(n)は目標までのn番目の完全な軌道であり、Cmは軌道のコスト(平滑化後の全体コスト)であり、βは軌道T(n)のスケーリング係数である(上述したように、表記T(n)は、所与の操縦Mの部分軌道Tと区別するために、目標までのn番目の完全な軌道に使用される)。これは、最適により近い軌道がより可能性が高いという仮定をエンコードする。スケーリング係数を使用して、観測データに基づいて特定の軌道の重みを減らすことができ、すなわち軌道予測モデルを関連する例で訓練することができる。あるいは、一定のスケーリング係数(例えば、1という値)を使用することもできる。
上記のソフトマックス軌道モデルを、RRTを介して取得された軌道モデルの代替として使用することができる。
逆計画と同様に、そのような軌道の組は、n個の最も可能性が高い現在の操縦などの何らかの部分集合に焦点を合わせて、各々の予測された現在の操縦について生成される。A*は、現在の操縦の完了後に始まり、最終軌道は、現在の操縦の残りを含む。
これは、単一の最適軌道ではなく、さまざまなもっともらしく思われる軌道を予測し、これは、複数の軌道が(ほぼ)最小コストを達成するが、自車両の部分において異なる挙動を必要とする可能性がある異なる予測をもたらす状況が存在するため、有益である。
ハードウェアレベルにおいて、AVの車載コンピュータシステムA1は、上記の機能を実行するためのアルゴリズムを実行することができる実行ハードウェアを備える。実行ハードウェアは、汎用または専用の実行ハードウェア、あるいはそれらの任意の組み合わせであってよいが、一般に、これらに限られるわけではないがアクセラレータ(例えば、GPU)、フィールドプログラマブルゲートアレイ(FPGA)または他のプログラマブルなハードウェア、ならびに/あるいは特定用途向け集積回路(ASIC)などの専用ハードウェアと連携して動作することができる中央処理装置(CPU)などの1つ以上のプロセッサを備える。高度で複雑なML/AIモデルを使用することが多い複雑なデータ処理動作を、安全かつ信頼できる動作を保証するための充分な精度および速度で(多くの場合、リアルタイムで)実行する必要があることから、車載コンピュータシステムは、おそらくは該当のモデルおよびアルゴリズムを実装するようにあつらえられた専用のコンピュータハードウェアによって高度に洗練されてよい。とくにはAIの分野における革新の進行の速度に鑑みて、ハードウェアレベルおよび機能/ソフトウェアレベルの両方におけるAV車載コンピュータシステムA1のアーキテクチャが、多くの形態をとることができることが理解されよう。本明細書において、データ処理コンポーネントA2、予測コンポーネントA4、およびAVプランナA6などのコンピュータシステムにおいて具現化される機能コンポーネントなどは、コンピュータシステムによって実現される特定の機能、すなわち状況に適したコンピュータシステムの何らかの汎用および/または専用ハードウェア(の組み合わせ)によって実行される機能の高レベル表現である。

Claims (31)

  1. コンピュータによって実施され、外部アクターの目標を確率的に予測する方法であって、
    コンピュータにおいて、前記外部アクターの検出および追跡のためのセンサ入力を受信するステップと、
    前記センサ入力にオブジェクト追跡を適用して前記外部アクターを追跡することにより、一時間区間である時刻tから時刻t + Δtまでにおける前記外部アクターの観測されたトレースを決定するステップと、
    マップに基づいて、前記外部アクターについて一式の利用可能な目標であって、それぞれの目標が前記マップ上の目標位置により定義される目標を決定するステップと、
    前記利用可能な目標の各々について、前記一時間区間である時刻tから時刻t + Δtまでにおける予想軌道モデルを、時刻tにおける前記外部アクターの位置及び前記マップ上の利用可能な目標の前記目標位置に基づいて生成するステップと、
    前記外部アクターの前記観測されたトレースを、前記利用可能な目標の各々についての前記予想軌道モデルと比較して、該目標の尤度を決定するステップと
    を含む方法であって、
    自律型の自車両において実施され、該自律型の自車両のプランナが、前記利用可能な目標のうちの少なくとも1つの前記尤度に応じて自律的な運転の決定を行い、前記センサ入力は、該自律型の自車両のセンサシステムを使用して取得される、
    方法
  2. 前記予想軌道モデルは、前記目標に関する単一の予測される軌道または前記目標に関する予測される軌道の分布である、請求項1に記載の方法。
  3. 前記予想軌道モデルは、一式の予測される軌道のうちの各々の予側される軌道Tについての条件付き確率p(T│G)を含む分布であり、該目標の前記尤度p(G│τ)は、前記観測されたトレースτに鑑みて少なくとも1つの予側される軌道の確率p(T│τ)を推定するために使用される、請求項2に記載の方法。
  4. 前記予想軌道モデルは、各々の目標について生成挙動モデルを実行することによって決定され、前記生成挙動モデルは、現実世界の運転挙動の例に基づいて軌道を生成するように訓練されている、請求項1~3のいずれか一項に記載の方法。
  5. 前記予想軌道モデル及び前記生成挙動モデルは、当該方法が適用される対象の運転領域に特有である、請求項4に記載の方法。
  6. 前記予想軌道モデルは、各目標について該目標の1つ以上のパラメータおよび前記外部アクターの1つ以上のパラメータに基づいて定められる予測軌道の空間をサンプリングするようにサンプリングアルゴリズムを適用することによって決定される、請求項1~5のいずれか一項に記載の方法。
  7. 前記観測されたトレースは、前記目標についての最良利用可能軌道モデルを予測するために使用され、前記比較は、前記最良利用可能軌道モデルを前記予想軌道モデルと比較することを含む、請求項1~6のいずれか一項に記載の方法。
  8. 前記観測されたトレースは、前記外部アクターの現在の操縦および/または将来の操縦を予測するために使用され、前記予測された現在または将来の操縦は、前記最良利用可能軌道モデルを決定するために使用される、請求項7に記載の方法。
  9. 複数の操縦からなるシーケンスが、少なくとも1つの目標について決定され、前記最良利用可能軌道モデルは、該目標について、前記複数の操縦にそれぞれ関する部分軌道モデルに基づいて決定される、請求項8に記載の方法。
  10. 各々の部分軌道モデルは、1つ以上の目標運動値を含み、前記最良利用可能軌道モデルの将来部分の1つ以上の運動値が、前記目標運動値に運動平滑化を適用することによって決定される、請求項9に記載の方法。
  11. 各目標についての前記予想軌道モデルは、該目標についての単一の予想軌道であり、各目標についての前記最良利用可能軌道モデルは、単一の最良利用可能軌道である、請求項7~10のいずれか一項に記載の方法。
  12. 各操縦についての前記部分軌道モデルは、該操縦についての最も可能性の高い部分軌道である、請求項9に従属する請求項11に記載の方法。
  13. 定められたコスト関数が、各目標についての前記予想軌道モデルおよび前記最良利用可能軌道モデルの両方に適用されて、前記予想軌道モデルおよび前記最良利用可能軌道モデルのそれぞれのコストが決定され、前記比較は、それぞれのコストを比較することを含む、請求項7~12のいずれか一項に記載の方法。
  14. 前記コスト関数は、運転時間の短縮に報いる一方で、不安全な軌道を不利に扱う、請求項13に記載の方法。
  15. 前記コスト関数は、快適性の欠如も不利に扱う、請求項14に記載の方法。
  16. 前記目標のうちの少なくとも1つについての前記時間区間の後の前記外部アクターの少なくとも1つの予想される軌道と、前記目標の前記尤度に基づく前記予想される軌道の確率とを決定するステップを含む、請求項1~15のいずれか一項に記載の方法。
  17. 前記時間区間の前記予想軌道モデルは、前記時間区間の始まりにおける前記外部アクターの位置に基づいて決定され、前記少なくとも1つの予測される軌道は、前記時間区間の終わりにおける前記外部アクターの位置に基づいて決定される、請求項16に記載の方法。
  18. 前記少なくとも1つの予測される軌道は、前記目標について該目標の1つ以上のパラメータおよび前記時間区間の終わりにおける前記外部アクターの位置に基づいて定義される予測される軌道の空間をサンプリングするためのサンプリングアルゴリズムを適用することによって決定される、請求項17に記載の方法。
  19. コンピュータによって実施され、外部アクターの操縦を確率的に予測する方法であって、
    コンピュータにおいて、外部アクターの検出および追跡のためのセンサ入力を受信するステップと、
    前記センサ入力にオブジェクト追跡を適用して前記外部アクターを追跡することにより、一時間区間である時刻tから時刻t + Δtにおける前記外部アクターの観測されたトレースを決定するステップと、
    マップに基づいて、前記外部アクターについて一式の利用可能な操縦であって、それぞれの操縦が前記マップ上の操縦位置により定義される操縦を決定するステップと、
    前記利用可能な操縦の各々について、前記一時間区間である時刻tから時刻t + Δtまでにおける予想軌道モデルを、時刻tにおける前記外部アクターの位置及び前記マップ上の利用可能な操縦の前記操縦位置に基づいて生成するステップと、
    前記外部アクターの前記観測されたトレースを、前記利用可能な操縦の各々についての前記予想軌道モデルと比較して、該操縦の尤度を決定するステップと
    を含む方法。
  20. 自律型車両において実施され、該自律型車両のプランナが、前記利用可能な操縦のうちの少なくとも1つの前記尤度に応じて自律的な運転の決定を行う、請求項19に記載の方法。
  21. 前記予想軌道モデルは、前記操縦に関する単一の予測される軌道または前記操縦に関する予測される軌道の分布である、請求項19または請求項20に記載の方法。
  22. 前記観測されたトレースは、前記予測される軌道の分布のうちの最も可能性の高い軌道と比較される、請求項21に記載の方法。
  23. 前記操縦のうちの少なくとも1つについての前記時間区間の後の前記外部アクターの少なくとも1つの予測される軌道と、前記操縦の前記尤度に基づく前記予測される軌道の確率とを決定するステップ
    を含む、請求項19~22のいずれか一項に記載の方法。
  24. 前記時間区間の前記予想軌道モデルは、前記時間区間の始まりにおける前記外部アクターの位置に基づいて決定され、前記少なくとも1つの予測される軌道は、前記時間区間の終わりにおける前記外部アクターの位置に基づいて決定される、請求項23に記載の方法。
  25. 前記少なくとも1つの予測される軌道は、前記操縦について該操縦の1つ以上のパラメータおよび前記時間区間の終わりにおける前記外部アクターの位置に基づいて定義される予測される軌道の空間をサンプリングするためのサンプリングアルゴリズムを適用することによって決定される、請求項24に記載の方法。
  26. 請求項1~25のいずれか一項に記載の方法を実行するように構成された実行ハードウェアを備えるコンピュータシステム。
  27. 実行されたときに請求項1~25のいずれか一項に記載の方法を実施するように構成された実行可能命令を含んでいるコンピュータプログラム。
  28. 請求項1~27のいずれか一項に記載の方法を実施するように構成された予測コンポーネントと、
    前記予測コンポーネントの出力を使用して自律型の運転の決定を行うように構成されたプランナと
    を備える自律型車両コンピュータシステム。
  29. 前記予測コンポーネントは、請求項1~19のいずれか一項に記載の方法を実施することで、外部アクターについての目標の予測をもたらし、請求項20~23のいずれか一項に記載の方法を実施することで、該外部アクターについての操縦の予測をもたらすように構成されている、請求項28に記載の自律型車両コンピュータシステム。
  30. 前記操縦の予測は、前記目標の予測を行うために使用される、請求項29に記載の自律型車両コンピュータシステム。
  31. 請求項28~30のいずれか一項に記載の自律型車両コンピュータシステムと、前記プランナに結合し、前記プランナによって生成される制御信号に応答する駆動機構と、を備える自律型車両。
JP2021546461A 2018-10-16 2019-10-16 自律型車両の計画および予測 Active JP7455851B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
GBGB1816853.4A GB201816853D0 (en) 2018-10-16 2018-10-16 Autonomous vehicle planning
GBGB1816852.6A GB201816852D0 (en) 2018-10-16 2018-10-16 Autonomous vehicle manoeuvres
GB1816850.0 2018-10-16
GB1816853.4 2018-10-16
GBGB1816850.0A GB201816850D0 (en) 2018-10-16 2018-10-16 Autonomous vehicle planning and prediction
GB1816852.6 2018-10-16
PCT/EP2019/078062 WO2020079066A1 (en) 2018-10-16 2019-10-16 Autonomous vehicle planning and prediction

Publications (2)

Publication Number Publication Date
JP2022516382A JP2022516382A (ja) 2022-02-25
JP7455851B2 true JP7455851B2 (ja) 2024-03-26

Family

ID=68468652

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2021546462A Pending JP2022516383A (ja) 2018-10-16 2019-10-16 自律型車両の計画
JP2021546461A Active JP7455851B2 (ja) 2018-10-16 2019-10-16 自律型車両の計画および予測
JP2023133680A Pending JP2023175055A (ja) 2018-10-16 2023-08-18 自律型車両の計画

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2021546462A Pending JP2022516383A (ja) 2018-10-16 2019-10-16 自律型車両の計画

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023133680A Pending JP2023175055A (ja) 2018-10-16 2023-08-18 自律型車両の計画

Country Status (7)

Country Link
US (3) US20210339772A1 (ja)
EP (3) EP3863904A2 (ja)
JP (3) JP2022516383A (ja)
KR (2) KR20210061461A (ja)
CN (3) CN112868022A (ja)
IL (2) IL282277A (ja)
WO (3) WO2020079074A2 (ja)

Families Citing this family (84)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11514293B2 (en) * 2018-09-11 2022-11-29 Nvidia Corporation Future object trajectory predictions for autonomous machine applications
CN112868022A (zh) * 2018-10-16 2021-05-28 法弗人工智能有限公司 自动驾驶车辆的驾驶场景
DE102018130759A1 (de) * 2018-12-04 2020-06-04 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Reproduktion eines im Fahrbetrieb eines Fahrzeugs auftreten-den Fehlers
US11560690B2 (en) * 2018-12-11 2023-01-24 SafeAI, Inc. Techniques for kinematic and dynamic behavior estimation in autonomous vehicles
US11663514B1 (en) * 2019-08-30 2023-05-30 Apple Inc. Multimodal input processing system
US11893468B2 (en) * 2019-09-13 2024-02-06 Nvidia Corporation Imitation learning system
WO2021074914A1 (en) * 2019-10-16 2021-04-22 Abb Schweiz Ag A method for configuring an intelligent electronic device
JP7279623B2 (ja) * 2019-11-26 2023-05-23 トヨタ自動車株式会社 情報処理装置、情報処理システム、およびプログラム
US11299169B2 (en) * 2020-01-24 2022-04-12 Ford Global Technologies, Llc Vehicle neural network training
DE102020200911B3 (de) * 2020-01-27 2020-10-29 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Erkennen von Objekten in einer Umgebung eines Fahrzeugs
US11981349B2 (en) * 2020-02-19 2024-05-14 Nvidia Corporation Behavior planning for autonomous vehicles
US20210276587A1 (en) * 2020-03-05 2021-09-09 Uber Technologies, Inc. Systems and Methods for Autonomous Vehicle Systems Simulation
GB202008353D0 (en) * 2020-06-03 2020-07-15 Five Ai Ltd Simulation in autonomous driving
CN111666714B (zh) * 2020-06-05 2023-07-28 北京百度网讯科技有限公司 自动驾驶仿真场景识别的方法及装置
US11550325B2 (en) * 2020-06-10 2023-01-10 Nvidia Corp. Adversarial scenarios for safety testing of autonomous vehicles
CN111841012B (zh) * 2020-06-23 2024-05-17 北京航空航天大学 一种自动驾驶模拟仿真系统及其测试资源库建设方法
CN113968242B (zh) * 2020-07-22 2023-10-20 华为技术有限公司 自动驾驶场景生成方法、装置及系统
DE102020209352A1 (de) * 2020-07-24 2022-01-27 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Prädiktion eines Fahrmanövers in einem Fahrerassistenzsystem
WO2022035602A2 (en) * 2020-07-28 2022-02-17 Waymo Llc Agent trajectory prediction using target locations
DE102020120546A1 (de) * 2020-08-04 2022-02-10 Gestigon Gmbh Verfahren und vorrichtung zum identifizieren eines objekts, das für eine bestimmte person von interesse ist, auf der basis des erfassbaren verhaltens dieser person
EP3951673A1 (en) * 2020-08-04 2022-02-09 Aptiv Technologies Limited Method and system of collecting training data suitable for training an autonomous driving system of a vehicle
US20220048503A1 (en) 2020-08-12 2022-02-17 Argo AI, LLC Path-conditioned motion forecasting for vehicle motion planning
DE102020210376A1 (de) * 2020-08-14 2022-02-17 Robert Bosch Gesellschaft mit beschränkter Haftung Vorrichtung und Verfahren zum Steuern eines Hardware-Agenten in einer Steuersituation mit mehreren Hardware-Agenten
US11814075B2 (en) 2020-08-26 2023-11-14 Motional Ad Llc Conditional motion predictions
US11945472B2 (en) 2020-08-28 2024-04-02 Motional Ad Llc Trajectory planning of vehicles using route information
CN112036297A (zh) * 2020-08-28 2020-12-04 长安大学 基于网联车辆驾驶数据的典型与极限场景划分与提取方法
GB2598758B (en) * 2020-09-10 2023-03-29 Toshiba Kk Task performing agent systems and methods
CN112329815B (zh) * 2020-09-30 2022-07-22 华南师范大学 模型训练方法、行驶轨迹异常性检测方法、装置和介质
CN112308136A (zh) * 2020-10-29 2021-02-02 江苏大学 一种基于SVM-Adaboost的驾驶分心检测方法
WO2022090512A2 (en) * 2020-10-30 2022-05-05 Five AI Limited Tools for performance testing and/or training autonomous vehicle planners
CN112373485A (zh) * 2020-11-03 2021-02-19 南京航空航天大学 一种考虑交互博弈的自动驾驶车辆决策规划方法
US11775706B2 (en) * 2020-11-16 2023-10-03 Toyota Research Institute, Inc. Deterministic agents for simulation
DE102021100395A1 (de) * 2021-01-12 2022-07-14 Dspace Gmbh Computerimplementiertes Verfahren zur Bestimmung von Ähnlichkeitswerten von Verkehrsszenarien
US11760388B2 (en) 2021-02-19 2023-09-19 Argo AI, LLC Assessing present intentions of an actor perceived by an autonomous vehicle
GB202102789D0 (en) 2021-02-26 2021-04-14 Five Ai Ltd Prediction and planning for mobile robots
CN113010967B (zh) * 2021-04-22 2022-07-01 吉林大学 一种基于混合交通流模型的智能汽车在环仿真测试方法
EP4083871B1 (en) * 2021-04-29 2023-11-15 Zenseact AB Method for automated development of a path planning module for an automated driving system
US11975742B2 (en) * 2021-05-25 2024-05-07 Ford Global Technologies, Llc Trajectory consistency measurement for autonomous vehicle operation
US20220382284A1 (en) * 2021-05-26 2022-12-01 Argo AI, LLC Perception system for assessing relevance of objects in an environment of an autonomous vehicle
KR102631402B1 (ko) * 2021-06-14 2024-01-31 숭실대학교 산학협력단 자율주행차량을 위한 심층강화학습 기반 차선 변경 방법, 이를 수행하기 위한 기록 매체 및 장치
US20220402521A1 (en) * 2021-06-16 2022-12-22 Waymo Llc Autonomous path generation with path optimization
US20220402522A1 (en) * 2021-06-21 2022-12-22 Qualcomm Incorporated Tree based behavior predictor
US20230009173A1 (en) * 2021-07-12 2023-01-12 GM Global Technology Operations LLC Lane change negotiation methods and systems
CN113593228B (zh) * 2021-07-26 2022-06-03 广东工业大学 一种高速公路瓶颈区域自动驾驶协同控制方法
US11960292B2 (en) 2021-07-28 2024-04-16 Argo AI, LLC Method and system for developing autonomous vehicle training simulations
US11904906B2 (en) 2021-08-05 2024-02-20 Argo AI, LLC Systems and methods for prediction of a jaywalker trajectory through an intersection
CN113501008B (zh) * 2021-08-12 2023-05-19 东风悦享科技有限公司 一种基于强化学习算法的自动驾驶行为决策方法
CN113836111A (zh) * 2021-08-23 2021-12-24 武汉光庭信息技术股份有限公司 一种自动驾驶经验数据库的构建方法及系统
CN113650618B (zh) * 2021-09-23 2022-09-30 东软睿驰汽车技术(上海)有限公司 一种车辆轨迹确定方法和相关装置
US20230097121A1 (en) * 2021-09-24 2023-03-30 Zoox, Inc. Optimization based planning system
US20230126328A1 (en) * 2021-10-21 2023-04-27 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for traffic-flow regulation via centralized lateral flow control
CN114061596B (zh) * 2021-11-19 2024-03-22 北京国家新能源汽车技术创新中心有限公司 自动驾驶定位方法、系统、测试方法、设备及存储介质
CN113868778B (zh) * 2021-12-02 2022-03-11 中智行科技有限公司 仿真场景管理方法和装置
KR20230082777A (ko) * 2021-12-02 2023-06-09 한국전자기술연구원 주행 시나리오 추천 방법 및 장치
US11983238B2 (en) * 2021-12-03 2024-05-14 International Business Machines Corporation Generating task-specific training data
US20230174084A1 (en) * 2021-12-06 2023-06-08 The Regents Of The University Of Michigan Monte Carlo Policy Tree Decision Making
CN113997955A (zh) * 2021-12-13 2022-02-01 中国第一汽车股份有限公司 轨迹预测方法、装置、电子设备以及存储介质
CN114148349B (zh) * 2021-12-21 2023-10-03 西南大学 一种基于生成对抗模仿学习的车辆个性化跟驰控制方法
US20230192130A1 (en) * 2021-12-22 2023-06-22 Gm Cruise Holdings Llc System and method of using a machine learning model to aid a planning stack to choose a route
CN114179835B (zh) * 2021-12-30 2024-01-05 清华大学苏州汽车研究院(吴江) 基于真实场景下强化学习的自动驾驶车辆决策训练方法
WO2023123172A1 (zh) * 2021-12-30 2023-07-06 华为技术有限公司 一种驾驶辅助的方法以及相关设备
WO2022226434A1 (en) * 2022-01-05 2022-10-27 Futurewei Technologies, Inc. Self-driving vehicle evaluation using real-world data
CN114397115A (zh) * 2022-01-10 2022-04-26 招商局检测车辆技术研究院有限公司 港口自动驾驶车辆的定位性能测试方法及系统
WO2023137274A1 (en) * 2022-01-11 2023-07-20 Argo AI, LLC Systems and methods for automated generation and selection of simulation scenarios
WO2023135271A1 (en) 2022-01-13 2023-07-20 Five AI Limited Motion prediction and trajectory generation for mobile agents
WO2023148298A1 (en) 2022-02-03 2023-08-10 Five AI Limited Trajectory generation for mobile agents
US11814072B2 (en) 2022-02-14 2023-11-14 May Mobility, Inc. Method and system for conditional operation of an autonomous agent
WO2023173280A1 (en) * 2022-03-15 2023-09-21 Huawei Technologies Co.,Ltd. System and method for autonomous vehicle motion planner optimisation
US20230303123A1 (en) * 2022-03-22 2023-09-28 Qualcomm Incorporated Model hyperparameter adjustment using vehicle driving context classification
CN115311814A (zh) * 2022-04-29 2022-11-08 中煤西北能源有限公司 一种基于机器视觉的危险区域人员识别预警系统及方法
US11634158B1 (en) * 2022-06-08 2023-04-25 Motional Ad Llc Control parameter based search space for vehicle motion planning
CN114995442B (zh) * 2022-06-15 2023-07-21 杭州电子科技大学 基于最佳观测点序列的移动机器人运动规划方法及装置
US11643108B1 (en) * 2022-06-23 2023-05-09 Motional Ad Llc Generating corrected future maneuver parameters in a planner
US20240001958A1 (en) * 2022-06-30 2024-01-04 Zoox, Inc. System for Generating Scene Context Data Using a Reference Graph
CN115285143A (zh) * 2022-08-03 2022-11-04 东北大学 一种基于场景分类的自动驾驶车辆导航方法
CN115240171B (zh) * 2022-08-17 2023-08-04 阿波罗智联(北京)科技有限公司 道路结构感知方法及装置
US20240092398A1 (en) * 2022-08-31 2024-03-21 Zoox, Inc. Trajectory prediction based on a decision tree
US20240092357A1 (en) * 2022-08-31 2024-03-21 Zoox, Inc. Trajectory optimization in multi-agent environments
DE102022210934A1 (de) 2022-10-17 2024-04-18 Continental Autonomous Mobility Germany GmbH Planung einer Trajektorie
US11697435B1 (en) * 2022-12-09 2023-07-11 Plusai, Inc. Hierarchical vehicle action prediction
CN116010854B (zh) * 2023-02-03 2023-10-17 小米汽车科技有限公司 异常原因的确定方法、装置、电子设备及存储介质
CN116519005B (zh) * 2023-07-04 2023-10-03 上海云骥跃动智能科技发展有限公司 一种路径规划方法及装置
CN117591989B (zh) * 2024-01-19 2024-03-19 贵州省畜牧兽医研究所 一种针对畜禽活动的数据监控方法和系统
CN117975736A (zh) * 2024-03-29 2024-05-03 北京市计量检测科学研究院 一种无人驾驶车辆车路协同应用场景测试方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005346371A (ja) 2004-06-02 2005-12-15 Nissan Motor Co Ltd 運転意図推定装置、車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
JP2008210051A (ja) 2007-02-23 2008-09-11 Mazda Motor Corp 車両用運転支援システム
US9187088B1 (en) 2014-08-15 2015-11-17 Google Inc. Distribution decision trees
WO2017138664A1 (en) 2016-02-11 2017-08-17 Mitsubishi Electric Corporation Method for controlling motion of vehicle and control system of vehicle
US20180089563A1 (en) 2016-09-23 2018-03-29 Apple Inc. Decision making for autonomous vehicle motion control
WO2018131322A1 (en) 2017-01-10 2018-07-19 Mitsubishi Electric Corporation System, method and non-transitory computer readable storage medium for parking vehicle
WO2018162521A1 (en) 2017-03-07 2018-09-13 Robert Bosch Gmbh Action planning system and method for autonomous vehicles

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI430212B (zh) * 2010-06-08 2014-03-11 Gorilla Technology Inc 利用多特徵自動集群法之異常行為偵測系統與方法
CN102358287A (zh) * 2011-09-05 2012-02-22 北京航空航天大学 一种用于车辆自动驾驶机器人的轨迹跟踪控制方法
US9122932B2 (en) * 2012-04-30 2015-09-01 Xerox Corporation Method and system for automatically detecting multi-object anomalies utilizing joint sparse reconstruction model
US9633564B2 (en) * 2012-09-27 2017-04-25 Google Inc. Determining changes in a driving environment based on vehicle behavior
US8793062B2 (en) * 2012-11-06 2014-07-29 Apple Inc. Routing based on detected stops
US9403482B2 (en) * 2013-11-22 2016-08-02 At&T Intellectual Property I, L.P. Enhanced view for connected cars
CN103699717A (zh) * 2013-12-03 2014-04-02 重庆交通大学 基于前视断面选点的复杂道路汽车行驶轨迹预测方法
JP6119634B2 (ja) * 2014-02-21 2017-04-26 トヨタ自動車株式会社 車両の自動運転制御方法
JP6206337B2 (ja) 2014-06-18 2017-10-04 トヨタ自動車株式会社 情報提供装置および情報提供方法
EP2990290B1 (en) * 2014-09-01 2019-11-06 Honda Research Institute Europe GmbH Method and system for post-collision manoeuvre planning and vehicle equipped with such system
JP2016070805A (ja) * 2014-09-30 2016-05-09 トヨタ自動車株式会社 車両用情報処理装置
EP3109801A1 (en) * 2015-06-26 2016-12-28 National University of Ireland, Galway Data analysis and event detection method and system
US9784592B2 (en) * 2015-07-17 2017-10-10 Honda Motor Co., Ltd. Turn predictions
US9934688B2 (en) * 2015-07-31 2018-04-03 Ford Global Technologies, Llc Vehicle trajectory determination
US9809158B2 (en) * 2015-09-29 2017-11-07 Toyota Motor Engineering & Manufacturing North America, Inc. External indicators and notifications for vehicles with autonomous capabilities
US9747506B2 (en) * 2015-10-21 2017-08-29 Ford Global Technologies, Llc Perception-based speed limit estimation and learning
US11015948B2 (en) * 2016-02-17 2021-05-25 Mitsubishi Electric Corporation Information provision device, information provision server, and information provision method
US10297148B2 (en) * 2016-02-17 2019-05-21 Uber Technologies, Inc. Network computer system for analyzing driving actions of drivers on road segments of a geographic region
JP6731819B2 (ja) 2016-09-26 2020-07-29 日立オートモティブシステムズ株式会社 移動体軌道予測システム
US10343685B2 (en) * 2016-09-28 2019-07-09 Baidu Usa Llc Physical model and machine learning combined method to simulate autonomous vehicle movement
EP3520094A2 (en) * 2016-09-29 2019-08-07 Cubic Corporation Systems and methods for using autonomous vehicles in traffic
US10459441B2 (en) * 2016-12-30 2019-10-29 Baidu Usa Llc Method and system for operating autonomous driving vehicles based on motion plans
US10509409B2 (en) * 2017-04-27 2019-12-17 Aptiv Technologies Limited Local traffic customs learning system for automated vehicle
US10031526B1 (en) * 2017-07-03 2018-07-24 Baidu Usa Llc Vision-based driving scenario generator for autonomous driving simulation
DE102017220139A1 (de) * 2017-11-13 2019-05-16 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bereitstellen einer Position wenigstens eines Objekts
US20190164007A1 (en) * 2017-11-30 2019-05-30 TuSimple Human driving behavior modeling system using machine learning
US11237554B2 (en) * 2018-03-08 2022-02-01 Steering Solutions Ip Holding Corporation Driver readiness assessment system and method for vehicle
US11625036B2 (en) * 2018-04-09 2023-04-11 SafeAl, Inc. User interface for presenting decisions
US11467590B2 (en) * 2018-04-09 2022-10-11 SafeAI, Inc. Techniques for considering uncertainty in use of artificial intelligence models
US11112795B1 (en) * 2018-08-07 2021-09-07 GM Global Technology Operations LLC Maneuver-based interaction system for an autonomous vehicle
CN112868022A (zh) * 2018-10-16 2021-05-28 法弗人工智能有限公司 自动驾驶车辆的驾驶场景
AU2021303548A1 (en) * 2020-07-06 2023-03-02 Cargotec Finland Oy Method and apparatus for relative positioning of a spreader
US11884304B2 (en) * 2021-09-08 2024-01-30 Ford Global Technologies, Llc System, method, and computer program product for trajectory scoring during an autonomous driving operation implemented with constraint independent margins to actors in the roadway

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005346371A (ja) 2004-06-02 2005-12-15 Nissan Motor Co Ltd 運転意図推定装置、車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
JP2008210051A (ja) 2007-02-23 2008-09-11 Mazda Motor Corp 車両用運転支援システム
US9187088B1 (en) 2014-08-15 2015-11-17 Google Inc. Distribution decision trees
WO2017138664A1 (en) 2016-02-11 2017-08-17 Mitsubishi Electric Corporation Method for controlling motion of vehicle and control system of vehicle
US20180089563A1 (en) 2016-09-23 2018-03-29 Apple Inc. Decision making for autonomous vehicle motion control
WO2018131322A1 (en) 2017-01-10 2018-07-19 Mitsubishi Electric Corporation System, method and non-transitory computer readable storage medium for parking vehicle
WO2018162521A1 (en) 2017-03-07 2018-09-13 Robert Bosch Gmbh Action planning system and method for autonomous vehicles

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HOUENOU ADAM et al.,Vehicle trajectory prediction based on motion model and maneuver recognition,2013 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS,2013年11月03日,4363-4369
NACHIKET DEO et al.,How would surround vehicles move? A Unified Framework for Maneuver Classification and Motion Prediction,ARXIV.ORG,2018年01月19日

Also Published As

Publication number Publication date
US11900797B2 (en) 2024-02-13
WO2020079066A4 (en) 2020-06-18
US20210380142A1 (en) 2021-12-09
US20210370980A1 (en) 2021-12-02
US20210339772A1 (en) 2021-11-04
JP2022516383A (ja) 2022-02-25
CN112888612A (zh) 2021-06-01
KR20210061461A (ko) 2021-05-27
WO2020079074A2 (en) 2020-04-23
EP3837633A2 (en) 2021-06-23
CN112868022A (zh) 2021-05-28
EP3863904A2 (en) 2021-08-18
WO2020079069A2 (en) 2020-04-23
JP2023175055A (ja) 2023-12-11
WO2020079069A3 (en) 2020-07-23
JP2022516382A (ja) 2022-02-25
IL282277A (en) 2021-05-31
WO2020079066A1 (en) 2020-04-23
IL282278A (en) 2021-05-31
KR20210074366A (ko) 2021-06-21
EP3864574A1 (en) 2021-08-18
CN112840350A (zh) 2021-05-25
WO2020079074A3 (en) 2020-06-25

Similar Documents

Publication Publication Date Title
JP7455851B2 (ja) 自律型車両の計画および予測
Li et al. Grip: Graph-based interaction-aware trajectory prediction
US10324469B2 (en) System and method for controlling motion of vehicle in shared environment
JP7235247B2 (ja) 不確実性を検知しながらナビゲートするためのシステム及び方法
US10691130B2 (en) Gridlock solver for motion planning system of an autonomous vehicle
US10739774B2 (en) Keyframe based autonomous vehicle operation
JP2022544715A (ja) 譲歩挙動のモデリングおよび予測
US20230042431A1 (en) Prediction and planning for mobile robots
US11932282B2 (en) Vehicle trajectory control using a tree search
US20230289281A1 (en) Simulation in autonomous driving
Dong et al. Interactive ramp merging planning in autonomous driving: Multi-merging leading PGM (MML-PGM)
JP2021011173A (ja) 予測装置、予測方法、プログラムおよび車両制御システム
Reda et al. Path planning algorithms in the autonomous driving system: A comprehensive review
JP2023525054A (ja) 軌道分類
US20240092398A1 (en) Trajectory prediction based on a decision tree
US11970164B1 (en) Adverse prediction planning
US20240174256A1 (en) Vehicle trajectory tree search for off-route driving maneuvers
WO2024049640A1 (en) Trajectory optimization in multi-agent environments

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210616

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211014

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230324

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230622

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230922

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240216

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240313

R150 Certificate of patent or registration of utility model

Ref document number: 7455851

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150