JP7296465B2 - 自律車両の適切な挙動を監視するためのシステム及びその方法 - Google Patents
自律車両の適切な挙動を監視するためのシステム及びその方法 Download PDFInfo
- Publication number
- JP7296465B2 JP7296465B2 JP2021547807A JP2021547807A JP7296465B2 JP 7296465 B2 JP7296465 B2 JP 7296465B2 JP 2021547807 A JP2021547807 A JP 2021547807A JP 2021547807 A JP2021547807 A JP 2021547807A JP 7296465 B2 JP7296465 B2 JP 7296465B2
- Authority
- JP
- Japan
- Prior art keywords
- scenario
- agents
- scenarios
- dut
- agent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 62
- 238000012544 monitoring process Methods 0.000 title claims description 40
- 230000006399 behavior Effects 0.000 claims description 57
- 238000012360 testing method Methods 0.000 claims description 28
- 238000012545 processing Methods 0.000 claims description 23
- 230000008859 change Effects 0.000 claims description 13
- 230000003993 interaction Effects 0.000 claims description 6
- 241001465754 Metazoa Species 0.000 claims description 4
- 230000004888 barrier function Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims 1
- 239000003795 chemical substances by application Substances 0.000 description 77
- 230000008569 process Effects 0.000 description 29
- 239000003607 modifier Substances 0.000 description 13
- 230000000694 effects Effects 0.000 description 7
- 230000014509 gene expression Effects 0.000 description 7
- 238000012795 verification Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000004088 simulation Methods 0.000 description 6
- 230000008676 import Effects 0.000 description 5
- 238000007373 indentation Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 230000003213 activating effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 239000002131 composite material Substances 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3664—Environments for testing or debugging software
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/04—Monitoring the functioning of the control system
- B60W50/045—Monitoring control system parameters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/095—Predicting travel path or likelihood of collision
- B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0011—Planning or execution of driving tasks involving control alternatives for a single driving scenario, e.g. planning several paths to avoid obstacles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3684—Test management for test design, e.g. generating new test cases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/15—Vehicle, aircraft or watercraft design
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0002—Automatic control, details of type of controller or control system architecture
- B60W2050/0018—Method for the design of a control system
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0062—Adapting control system settings
- B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
- B60W2050/0082—Automatic parameter input, automatic initialising or calibrating means for initialising the control system
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/20—Static objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- General Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Evolutionary Computation (AREA)
- Quality & Reliability (AREA)
- Human Computer Interaction (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Traffic Control Systems (AREA)
- Debugging And Monitoring (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Description
この特許文書における資料のすべてが、米国及び他の国々の著作権法の下で著作権保護の対象である。著作権所有者は、公的な政府の記録に掲載される特許文書又は特許情報開示の複製には異存はないが、そうでなければ他のすべての著作権が留保される。
MSDLのビルディング・ブロックは、少なくとも以下のものを含むデータ構造である。
・簡単なストラクト - 属性、制約などを含む基本的エンティティ。
・アクタ - ストラクトに類似であるが関連するシナリオも有する。
・シナリオ - アクタの挙動を記述する。
実例1は、MSDLを使用して、アクタを定義して拡張するための方法を示すものである。最初に、アクタcar_groupが2つの属性を用いて定義される。次いで、このアクタは、別の属性を追加するために、異なるファイルにおいて拡張される。
・第1の過程中にcar1は0kphから10kphまで加速する。
・第2の過程中にcar1は10~15kphの速度を維持する。
1.たとえばSUMOシミュレータといったシミュレータを使用して試験を実行するために、適切な構成をインポートする。
2.定義されたtwo_phasesシナリオをインポートする。
3.事前に定義された最初は空のtop.mainシナリオを拡張して、インポートされたtwo_phasesシナリオを起動する。
実例4は、割込みシナリオを定義するための方法を示すものである。このシナリオでは、car1が、左側又は右側からdut.carの前に割り込む。ego carとも称されるdut.carは事前に定義されている。このシナリオはtwo_phasesよりも抽象的であることに留意されたい。「割込み」シナリオは以下の3つのパラメータを含む。
・cut_inを行う自動車(car1)。
・cut_inの側(左側又は右側)。
・少なくとも2つの車線を有するものと制約された、2台の自動車によって使用される経路(道路)。
次いで、以下のように挙動が定義される。
・第1の過程においてcar1がegoを追い越す。
・第2の過程においてcar1がegoの前に割り込む。
speed()、position()及びlane()といったシナリオ・モディファイアはここで使用される。それぞれが、絶対項又は同一の過程における別の自動車との関係のいずれかで規定され得る。それぞれが、全過程について、又は単に過程の開始ポイント若しくは終了ポイントについて、規定され得る。
MSDLはPythonに類似のスクリプト言語である。MSDLプログラムは、ストラクト、アクタ、シナリオなどのタイプを宣言するか若しくは拡張するステートメントから成るか、又はステートメントから成る他のファイルをインポートする。各ステートメントは、ステートメント自体から1単位(一貫した数のスペース)を字下げしたメンバのオプションのリストを含む。ブロックにおける各メンバは、そのタイプに依拠して、メンバそれ自体から1単位を字下げしたそれ自体のメンバ・ブロックを有し得る。したがって、MSDLプログラムの階層構造及びその階層構造における各メンバの場所は、字下げによって厳密に指示される。
ステートメントは、プログラムにおける他の構成の外部にあるトップレベルの構成である。ステートメントは以下のものを含む。
・列挙型宣言
・ストラクト宣言
・アクタ宣言
・シナリオ宣言
・シナリオ・モディファイア宣言
・それらの宣言に対する拡張
・インポート・ステートメント
・カバレッジ定義
・イベント
・フィールド宣言
・フィールド制約(keep())
・外部方法宣言
・サブタイプのとき
シナリオは特定のアクタに関連づけられるが、トップレベルのステートメントとして宣言されることに留意されたい。
keep(legal_speed < 120kph)
この制約は、legal_speedフィールドを参照する暗黙の変数を用いて以下のように書くこともできる。
legal_speed: speed with:
keep(it < 120kph)
・ストラクト又はアクタにおいて許容されるメンバ
・シナリオ・モディファイア起動
・do(挙動定義)
speed([1..5]kph, faster_than: car1)
・オペレータ・シナリオ
・イベント関連シナリオ
・ゼロ時間シナリオ
・ユーザ定義シナリオ
エクスプレッションは、ステートメント又はメンバの内部で、規定されたタイプの値を評価するように使用され得る。エクスプレッションは、構成において規定されたものとして許容される。エクスプレッションは、規定されたタイプに評価する必要がある。エクスプレッションは、値を返す外部方法の呼出しを含み得る。
MSDLは以下のデータ型を定義する。
・一度に1つの値を保持するスカラ型:数値型、論理型、列挙型。
・1つの型の多値を保持するリスト型。
・二重引用符で囲まれた一連のASCII文字を保持する文字列型。
・マップの接合及び区分のリストを保持するリソース型。
・浮動小数点値を保持する実数型。
・複数の型の多値を保持する複合型。
物理型は空間における物理的運動を特徴づけるように使用され、速度、距離、角度などを含む。エクスプレッションにおけるこれらのタイプのうち1つの値を規定するとき、又はそれに関するカバレッジを定義するときには、それぞれの単位を定義して使用する必要がある。以下の表に示されるように、一般に使用されるタイプの単位の選択肢が選択され得る。物理定数は暗黙のタイプを有する。たとえば、12.5kmは距離の暗黙のタイプを有する。実例:2meters、1.5s、[30..50]kph。
加速度:kphps(= kph per second)、mpsps(= meters per second per second)。
角度:deg、degree、rad、radian
angular_speed:degree_per_second、radan_per_second。
距離:mm、millimeter、cm、centimeter、in、inch、feet、m、meter、km、kilometer、mile。
速度:kph、kilometer_per_hour、mph、mile_per_hour。
温度:c、celsius、f、Fehrenheit。
時間:ms、millisecond、s、sec、second、min、minute、hr、hour。
重さ:kg、kilogram、ton。
列挙型は、明示的に命名された値のセットを表す。次の実例では、列挙型driving_styleはaggressiveとnormalの2つの値を有する。
type driving_style: [aggressive, normal]
リストはMSDLにおいて類似の値のコンテナを記述するやり方である。リストは、データ型からの任意数の要素を含むことができる。たとえば、convoyは、自動車アクタのリスト又はポイントのリストとしてのshapeを含むように宣言され得る。リスト・リテラルは、たとえば次のように品目のコンマ区切りのリストとして定義される。
[point1, point2]
[n..n]の表記法は、範囲用に留保されているのでリストについては許容されない。
リストの実例は次の通りである。
convoy: list of car
shape: list of point
リスト指定の実例は次の通りである。
shape: list of point with:
keep(it == [map.explicit_point(”-15”,0,20m,1),
map.explicit_point(”-15”,0,130m,1)]
リスト制約の実例は次の通りである。
distances: list of distance with:
keep(it == [12km, 13.5km, 70km])
リソース型は、接合及び区分を含み、現行マップ上の位置の全体的なリストを保持するように利用される。
MSDLは、シナリオが、自動車が道を譲れの標識に近づいている、歩行者が街路を横断している、などの挙動を定義する、3つの組込み複合タイプを定義する。シナリオは、他のシナリオを活性化することによって挙動を定義する。MSDLは、動く、加速する、方向転換する、などの基本的な挙動を記述する組込みシナリオのライブラリを提供する。アクタは、一般的には環境における物理エンティティを表し、シナリオが物理エンティティの挙動を定義することを可能にするものである。MSDLは、car、traffic、envなどを含む組込みアクタのセットを提供する。プログラムにおいてmy_carという名称のアクタcarのインスタンスが生成される場合、その組込みシナリオdriveはmy_car.driveとして起動され得る。ストラクトは、関連するデータ・フィールドのセットを定義し、プログラムによってそれらのフィールド向けに割り当てられた値又は生成された値を記憶する。たとえば、ストラクトは、特定の時間における自動車の位置、速度、及び他の自動車からの距離を記憶し得る。
MSDLの環境はいくつかの所定のアクタを含む。アクタtopは、以下のアクタのインスタンスを含む。builtinはMSDLの組込みシナリオを表し、av_sim_adapterはMSDLのシミュレータ・インターフェースを表し、mapはアクタが進んだ経路のセットを表し、trafficは自動車、歩行者などを表し、envは環境システムを表すものであって天候及び時間帯などのシナリオを有し、dutはAVシステム又は被験デバイスを表す。trafficの下に、carアクタのcarsと称されるリストがある。dutの下にあるcarタイプのdut.carは、実際のdut自動車(egoとも称される)を表し、場合により、様々な監督機能などに対応する他のアクタを表す。
あらゆるアクタが、この階層構造においてアクタを追加するように拡張され得る。MSDLは、実行の前に、又は実行中にアクタを生成することができる。生成に際して、アクタのフィールドは規定された制約に従ってランダム化され、その組込みのstartシナリオがアクティブ・モードで動作し始める。startシナリオによって実行され得る他のシナリオもアクティブ・モードで動作する。シナリオtop.main()は、top.start()から間接的に呼び出される。このシナリオは当初は空であり、試験が何を行うか定義する。したがって、試運転を実行するために、top.mainを拡張することができるcut_in_and_slowシナリオが次のように拡張され得る。
envアクタはグローバル・アクタであり、すべての環境関連のアクティビティを含む。たとえば、envアクタは、weather及びtime_of_dayのような環境を変更するシナリオを有し、たとえば次のようにする。
タイプ部分はmorning、noon、evening、又はnightであり、種類はrain、snow、sunshineである。たとえば次のようにする。
carアクタの続くフィールドは、許容されたタイプのシミュレータと一致するように、拡張され得、又は制約され得る。これらのフィールドはサンプリングされ、カバレッジ定義に使用され得る。
carアクタはまた、driveと称されるシナリオを有する。driveは運転シナリオであり、運転する経路を表す経路パラメータを有する。シナリオ・モディファイアは自動車のdriveシナリオの内部で規定され得る。
MSDLがサポートする検証タスクの流れは以下の通りである。
1.検証プロジェクトを計画する。
・都会の運転、ハイウェイ運転、天候、センサ誤動作などのリスク範囲を表すトップレベルのシナリオのカテゴリを識別する。
・シナリオのサブカテゴリを識別する。たとえば、車線変更はハイウェイ運転のサブカテゴリであり得る。
・各シナリオ・サブカテゴリにおける挙動を識別する。たとえば、割り込んで減速することは、車線変更のサブカテゴリにおける挙動であり得る。
・各シナリオがどのくらいくまなくカバーされたか(首尾よく訓練されたか)を判定するためにカバレッジ収集ポイントを識別する。たとえば、割り込んで減速する挙動は、道路条件、距離、及び速度を含むカバレッジ・ポイントを有し得る。
・DUTが様々なシナリオにおいていかに良く動作したかを判断するために使用される検査基準(等級付け)を識別する。
・それらの挙動及びシナリオのカバレッジ目標を識別する。
2.検証環境を生成する。
・下位レベルの組込みシナリオ及びライブラリの中の利用可能なものに基づき、MSDLにおけるシナリオ、挙動及びカバレッジ・ポイントを記述する。
・DUT及び実行プラットフォームを識別する。
・使用され得るその他の追加のツールを識別する。
3.試運転を自動化する。
・場合により相争う車線変更を伴って割り込んで減速することなど、異なるサブカテゴリからのシナリオを混合して、試験を書く。
・道路条件、速度及び可視性などのシナリオの変数に対して異なる値を用いて複数の実行を開始する。
4.障害を分析する。
・衝突又は衝突危険などのあらゆる検査エラーの原因を識別する。
・試験を継続することができるように、DUTを調整するか又は一時的パッチを適用する。
・失敗したすべての実行を自動的に再実行する。
5.進展を見つける。
・検証計画において規定された各目標に関係するカバレッジ・データを分析して、どのシナリオが適切に試験されていないか、を判定する。
・それらの一般的でない事例に及ぶように新規の試験を書く。
Claims (27)
- シミュレーションされた被験デバイス(DUT)の挙動を監視するためのコンピュータ実装された監視システムによって実行され方法であって、
コンピュータが、
少なくとも1つの物理オブジェクトのデータ・ストリームを受け取るステップと、
各々が物理オブジェクトを記述する複数のエージェントを生成するステップであって、前記複数のエージェントのうちの少なくとも1つが前記DUTのエージェントであり、前記物理オブジェクトのエージェントは、前記複数のエージェントのうちの1つであり、前記物理オブジェクトのエージェントを生成することは、受け取った前記データ・ストリームに基づいて行われる、複数のエージェントを生成するステップと、
複数のシナリオを生成するステップであって、各シナリオが前記複数のエージェントのうちの少なくとも1つの挙動をモデル化する、複数のシナリオを生成するステップと、
前記複数のエージェントをモデル化するシナリオについて、前記DUTのエージェント以外の前記複数のエージェントと前記DUTのエージェントとの間の相互作用を監視するステップと、
前記複数のシナリオのうちの少なくとも1つの間、DUTのエージェントが既に前もって定義された可能な方法で応答することに失敗した場合、前記監視するステップに基づいて、エラー指示を生成するステップと、
エラー指示が生成されると、前記エラー指示に対応する通知を生成するステップと、
エラー指示が生成されると、前記エラー指示をもたらしたシーケンスの再形成を可能にする情報を供給するステップと
を実行する方法。 - 少なくとも1つの前記物理オブジェクトが、2つ以上の物理オブジェクトを含む、請求項1に記載の方法。
- 2つ以上の前記物理オブジェクトのうちの少なくとも1つのオブジェクトに関して少なくとも1つのシナリオを生成するステップと、
をさらに含む、請求項1に記載の方法。 - 物理オブジェクトが、車両、道路、歩道、人、動物、交通信号、コーン、防護壁、自転車、列車、及び気象要素のうちの少なくとも1つを記述する、請求項1に記載の方法。
- 前記DUTのエージェントが自律車両(AV)である、請求項1に記載の方法。
- 前記複数のシナリオのうちの第1のシナリオが、前記複数のシナリオのうちの少なくとも第2のシナリオを含む、請求項1に記載の方法。
- 前記複数のシナリオのうちの1つのシナリオが、別の車両に対する前方への割込み、別の車両の左側車線からの割込み、別の車両の右側車線からの割込み、2つの車線からの同時の割込み、前記DUTの前で減速すること、前記DUTの前に割り込んで減速すること、及び交通信号の変化のうちの少なくとも1つを記述する、請求項1に記載の方法。
- 前記監視するステップに基づいて、監視されたイベントを検知したときの通知、重要な性能指標(KPI)、及びカバレッジ情報のうちの少なくとも1つを生成するステップをさらに含む、請求項1に記載の方法。
- 前記データ・ストリームが1つ以上のビデオ・セグメントを含む、請求項1に記載の方法。
- 前記コンピュータが、前記複数のエージェントのうちの少なくとも2つを、並行して実行するステップをさらに含む、請求項1に記載の方法。
- 前記コンピュータが、前記複数のシナリオのうちの少なくとも2つを、並行して実行するステップをさらに含む、請求項1に記載の方法。
- 前記複数のシナリオのうちの各シナリオ及び前記複数のエージェントのうちの各エージェントが、測定可能シナリオ記述言語(MSDL)で記述されている、請求項1に記載の方法。
- 前記MSDLが前記DUT及び物理オブジェクトの前記挙動を記述するための宣言型プログラム言語である、請求項12に記載の方法。
- 請求項1に記載の方法を処理回路に実行させるための命令を記憶している非一時的コンピュータ可読媒体。
- シミュレーションされた被験デバイス(DUT)の挙動を監視するためのシステムであって、
ネットワーク・インターフェースと、
入出力(I/O)インターフェースと、
データベースと、
前記ネットワーク・インターフェース、前記I/Oインターフェース、及び前記データベースに対して通信可能に接続された処理ユニットであって、供給された複数の命令を実行するように適合された処理ユニットと、
実行するための命令を一部に含むメモリと、
を備え、前記処理ユニットが前記命令を実行するとき、
少なくとも1つの物理オブジェクトのデータ・ストリームを受け取ることと、
各々が物理オブジェクトを記述する複数のエージェントを生成することであって、前記複数のエージェントのうちの少なくとも1つが前記DUTのエージェントであり、前記物理オブジェクトのエージェントは、前記複数のエージェントのうちの1つであり、前記物理オブジェクトのエージェントを生成することは、受け取った前記データ・ストリームに基づいて行われる、複数のエージェントを生成することと、
複数のシナリオを生成することであって、各シナリオが前記複数のエージェントのうちの少なくとも1つの挙動をモデル化する、複数のシナリオを生成することと、
前記複数のエージェントをモデル化するシナリオについて、前記DUTのエージェント以外の前記複数のエージェントと前記DUTのエージェントとの間の相互作用を監視することと、
前記複数のシナリオのうちの少なくとも1つの間、DUTのエージェントが既に前もって定義された可能な方法で応答することに失敗した場合、前記監視することに基づいて、エラー指示を生成することと、
エラー指示が生成されると、前記エラー指示に対応する通知を生成することと、
エラー指示が生成されると、前記エラー指示をもたらしたシーケンスの再形成を可能にする情報を供給することと
を行うように適合されるシステム。 - 少なくとも1つの前記物理オブジェクトが、2つ以上の物理オブジェクトを含む、請求項15に記載のシステム。
- 2つ以上の前記物理オブジェクトのうちの少なくとも1つのオブジェクトに関して少なくとも1つのシナリオを生成するようにさらに構成されている、請求項15に記載のシステム。
- 物理オブジェクトが、車両、道路、歩道、人、動物、交通信号、コーン、防護壁、自転車、列車、及び気象要素のうちの少なくとも1つを記述する、請求項15に記載のシステム。
- 前記DUTのエージェントが自律車両(AV)である、請求項15に記載のシステム。
- 前記複数のシナリオのうちの第1のシナリオが、前記複数のシナリオのうちの少なくとも第2のシナリオを含む、請求項15に記載のシステム。
- 前記複数のシナリオのうちの1つのシナリオが、別の車両に対する前方への割込み、別の車両の左側車線からの割込み、別の車両の右側車線からの割込み、2つの車線からの同時の割込み、前記DUTの前で減速すること、前記DUTの前に割り込んで減速すること、及び交通信号の変化のうちの少なくとも1つを記述する、請求項15に記載のシステム。
- 前記監視することに基づいて、監視されたイベントを検知したときの通知、重要な性能指標(KPI)、及びカバレッジ情報のうちの少なくとも1つを生成するようにさらに構成されている、請求項15に記載のシステム。
- 前記データ・ストリームが1つ以上のビデオ・セグメントを含む、請求項15に記載のシステム。
- 前記システムが、前記複数のエージェントのうちの少なくとも2つを、並行して実行するようにさらに構成されている、請求項15に記載のシステム。
- 前記システムが、前記複数のシナリオのうちの少なくとも2つを、並行して実行するようにさらに構成されている、請求項15に記載のシステム。
- 前記複数のシナリオのうちの各シナリオ及び前記複数のエージェントのうちの各エージェントが、測定可能シナリオ記述言語(MSDL)で記述されている、請求項15に記載のシステム。
- 前記MSDLが前記DUT及び物理オブジェクトの前記挙動を記述するための宣言型プログラム言語である、請求項26に記載のシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023095965A JP2023123562A (ja) | 2019-12-17 | 2023-06-12 | 自律車両の適切な挙動を監視するためのシステム及びその方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962949098P | 2019-12-17 | 2019-12-17 | |
US62/949,098 | 2019-12-17 | ||
PCT/IB2020/061976 WO2021124110A1 (en) | 2019-12-17 | 2020-12-15 | System and methods thereof for monitoring proper behavior of an autonomous vehicle |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023095965A Division JP2023123562A (ja) | 2019-12-17 | 2023-06-12 | 自律車両の適切な挙動を監視するためのシステム及びその方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022533292A JP2022533292A (ja) | 2022-07-22 |
JP7296465B2 true JP7296465B2 (ja) | 2023-06-22 |
Family
ID=76317441
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021547807A Active JP7296465B2 (ja) | 2019-12-17 | 2020-12-15 | 自律車両の適切な挙動を監視するためのシステム及びその方法 |
JP2023095965A Pending JP2023123562A (ja) | 2019-12-17 | 2023-06-12 | 自律車両の適切な挙動を監視するためのシステム及びその方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023095965A Pending JP2023123562A (ja) | 2019-12-17 | 2023-06-12 | 自律車両の適切な挙動を監視するためのシステム及びその方法 |
Country Status (6)
Country | Link |
---|---|
US (2) | US11999366B2 (ja) |
JP (2) | JP7296465B2 (ja) |
KR (1) | KR20220127131A (ja) |
CN (1) | CN113272744A (ja) |
DE (1) | DE112020000222T5 (ja) |
WO (1) | WO2021124110A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022138728A (ja) * | 2021-03-10 | 2022-09-26 | トヨタ自動車株式会社 | 運転診断装置及び運転診断方法 |
US11995183B2 (en) * | 2021-06-24 | 2024-05-28 | Intel Corporation | Context-based response to attacks against autonomous systems |
US11960292B2 (en) * | 2021-07-28 | 2024-04-16 | Argo AI, LLC | Method and system for developing autonomous vehicle training simulations |
CN113792409B (zh) * | 2021-08-09 | 2023-06-20 | 中山大学 | 一种自主式交通系统物理架构的构建方法及系统 |
DE102022112060B3 (de) | 2022-05-13 | 2023-04-20 | Dr. Ing. H.C. F. Porsche Aktiengesellschaft | Szenariendatenbank für ein Verfahren und ein System zur Kalibrierung und Validierung eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS) |
WO2024110816A1 (en) * | 2022-11-21 | 2024-05-30 | Foretellix Ltd. | Systems and methods for optimized vehicular simulations |
DE102022132922A1 (de) | 2022-12-12 | 2024-06-13 | Dr. Ing. H.C. F. Porsche Aktiengesellschaft | Verfahren und System zur virtuellen Verifikation von automatisierten Fahrfunktionen |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018071708A1 (en) | 2016-10-14 | 2018-04-19 | Zoox, Inc. | Scenario description language for autonomous vehicle simulation |
JP2019117329A (ja) | 2017-12-27 | 2019-07-18 | 日立オートモティブシステムズ株式会社 | 交通流制御装置、走行シナリオのデータ構造 |
WO2019169604A1 (en) | 2018-03-08 | 2019-09-12 | Baidu.Com Times Technology (Beijing) Co., Ltd. | Simulation-based method to evaluate perception requirement for autonomous driving vehicles |
US20190295335A1 (en) | 2018-03-21 | 2019-09-26 | Dspace Digital Signal Processing And Control Engineering Gmbh | Simulation of Different Traffic Situations for a Test Vehicle |
JP2019185783A (ja) | 2018-04-12 | 2019-10-24 | バイドゥ ユーエスエイ エルエルシーBaidu USA LLC | シミュレーションプラットフォームに配置された、機械学習モデルを訓練するためのシステム及び方法 |
Family Cites Families (48)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005125219A2 (en) * | 2004-06-10 | 2005-12-29 | Sarnoff Corporation | Method and apparatus for testing stereo vision methods using stereo imagery data |
US10967882B2 (en) | 2018-01-09 | 2021-04-06 | Motherson Innovations Company Limited | Autonomous vehicles with control retaking systems and methods of using same |
US9778315B2 (en) | 2014-11-14 | 2017-10-03 | Cavium, Inc. | Testbench builder, system, device and method having agent loopback functionality |
US9456361B1 (en) * | 2015-01-07 | 2016-09-27 | Amdocs Software Systems Limited | System, method, and computer program for performing mobile network related tasks based on performance data acquired by an unmanned vehicle |
US9845164B2 (en) | 2015-03-25 | 2017-12-19 | Yokogawa Electric Corporation | System and method of monitoring an industrial plant |
EP3118703B1 (en) | 2015-07-13 | 2018-05-23 | Volvo Car Corporation | Safety stoppage device and method for safety stoppage of an autonomous vehicle |
US10267908B2 (en) | 2015-10-21 | 2019-04-23 | Waymo Llc | Methods and systems for clearing sensor occlusions |
DE102016220913A1 (de) * | 2015-11-06 | 2017-05-11 | Ford Global Technologies, Llc | Verfahren und Vorrichtung zur Generierung von Testfällen für autonome Fahrzeuge |
US10397019B2 (en) | 2015-11-16 | 2019-08-27 | Polysync Technologies, Inc. | Autonomous vehicle platform and safety architecture |
DE102015223429A1 (de) | 2015-11-26 | 2017-06-01 | Robert Bosch Gmbh | Überwachungssystem für ein autonomes Fahrzeug |
US9969326B2 (en) | 2016-02-22 | 2018-05-15 | Uber Technologies, Inc. | Intention signaling for an autonomous vehicle |
US9789880B2 (en) | 2016-03-03 | 2017-10-17 | Uber Technologies, Inc. | Sensory stimulation system for an autonomous vehicle |
US9902403B2 (en) | 2016-03-03 | 2018-02-27 | Uber Technologies, Inc. | Sensory stimulation for an autonomous vehicle |
US10346564B2 (en) * | 2016-03-30 | 2019-07-09 | Toyota Jidosha Kabushiki Kaisha | Dynamic virtual object generation for testing autonomous vehicles in simulated driving scenarios |
US20190004524A1 (en) | 2016-08-31 | 2019-01-03 | Faraday&Future Inc. | System and method for planning a vehicle path |
US10713500B2 (en) | 2016-09-12 | 2020-07-14 | Kennesaw State University Research And Service Foundation, Inc. | Identification and classification of traffic conflicts using live video images |
US10432729B2 (en) | 2016-10-10 | 2019-10-01 | Southwest Research Institute | Autonomous team formation and task negotiation among unmanned vehicles |
US10832337B1 (en) | 2016-11-23 | 2020-11-10 | State Farm Mutual Automobile Insurance Company | Systems and methods for maintaining a distributed ledger pertaining to smart contracts |
CN108267322A (zh) * | 2017-01-03 | 2018-07-10 | 北京百度网讯科技有限公司 | 对自动驾驶性能进行测试的方法和系统 |
US10613534B2 (en) | 2017-02-03 | 2020-04-07 | Sentera, Inc. | Autonomous vehicle maneuver recognition |
MX2019009397A (es) | 2017-02-10 | 2019-12-05 | Nissan North America Inc | Gestion operacional de vehiculo autonomo que incluye operar una instancia de modelo de proceso de decision de markov parcialmente observable. |
US10474790B2 (en) | 2017-06-02 | 2019-11-12 | TuSimple | Large scale distributed simulation for realistic multiple-agent interactive environments |
US10289114B2 (en) | 2017-08-08 | 2019-05-14 | The Boeing Company | Safety controls for network connected autonomous vehicle |
US10558217B2 (en) | 2017-08-28 | 2020-02-11 | GM Global Technology Operations LLC | Method and apparatus for monitoring of an autonomous vehicle |
US10503170B2 (en) | 2017-08-28 | 2019-12-10 | GM Global Technology Operations LLC | Method and apparatus for monitoring an autonomous vehicle |
US10600257B2 (en) | 2017-08-28 | 2020-03-24 | GM Global Technology Operations LLC | Method and apparatus for monitoring of an autonomous vehicle |
US10521974B2 (en) | 2017-08-28 | 2019-12-31 | GM Global Technology Operations LLC | Method and apparatus for monitoring an autonomous vehicle |
US10678247B2 (en) | 2017-08-28 | 2020-06-09 | GM Global Technology Operations LLC | Method and apparatus for monitoring of an autonomous vehicle |
US10768626B2 (en) | 2017-09-30 | 2020-09-08 | Tusimple, Inc. | System and method for providing multiple agents for decision making, trajectory planning, and control for autonomous vehicles |
US10764169B2 (en) | 2017-10-09 | 2020-09-01 | Keysight Technologies, Inc. | Methods, systems, and computer readable media for testing virtual network components deployed in virtual private clouds (VPCs) |
US10684622B2 (en) | 2017-11-22 | 2020-06-16 | Uatc, Llc | Vehicle dynamics monitor for autonomous vehicle |
US10572748B2 (en) | 2017-12-06 | 2020-02-25 | GM Global Technology Operations LLC | Autonomous vehicle adaptive parallel image processing system |
US11104353B2 (en) | 2018-01-02 | 2021-08-31 | Telenav, Inc. | Computing system with autonomous operation mechanism and method of operation thereof |
WO2019140277A2 (en) | 2018-01-11 | 2019-07-18 | TuSimple | Monitoring system for autonomous vehicle operation |
US10915101B2 (en) | 2018-02-02 | 2021-02-09 | Uatc, Llc | Context-dependent alertness monitor in an autonomous vehicle |
US10809735B2 (en) | 2018-04-09 | 2020-10-20 | SafeAI, Inc. | System and method for a framework of robust and safe reinforcement learning application in real world autonomous vehicle application |
US10710580B2 (en) * | 2018-04-10 | 2020-07-14 | Valeo Schalter Und Sensoren Gmbh | Tailgating situation handling by an automated driving vehicle |
US10860022B2 (en) | 2018-04-11 | 2020-12-08 | GM Global Technology Operations LLC | Method and apparatus for automatical rule learning for autonomous driving |
US10671077B2 (en) | 2018-04-17 | 2020-06-02 | Toyota Research Institute, Inc. | System and method for full-stack verification of autonomous agents |
CN108765235A (zh) * | 2018-05-09 | 2018-11-06 | 公安部交通管理科学研究所 | 基于交通事故案例解构的自动驾驶车辆测试场景构建方法和测试方法 |
CN109101690B (zh) * | 2018-07-11 | 2023-05-02 | 深圳地平线机器人科技有限公司 | 用于渲染车辆自动驾驶模拟器中的场景的方法和装置 |
DE102019212602A1 (de) * | 2018-09-26 | 2020-03-26 | Robert Bosch Gmbh | Verfahren zum quantitativen Charakterisieren zumindest einer zeitlichen Sequenz eines Objektattribut-Fehlers eines Objektes |
AT521607B1 (de) * | 2018-10-24 | 2020-03-15 | Avl List Gmbh | Verfahren und Vorrichtung zum Testen eines Fahrerassistenzsystem |
US11092970B2 (en) | 2019-02-07 | 2021-08-17 | Ford Global Technologies, Llc | Autonomous vehicle systems utilizing vehicle-to-vehicle communication |
US11927502B2 (en) * | 2019-04-29 | 2024-03-12 | Nvidia Corporation | Simulating realistic test data from transformed real-world sensor data for autonomous machine applications |
US11198431B2 (en) | 2019-04-30 | 2021-12-14 | Retrospect Technology, LLC | Operational risk assessment for autonomous vehicle control |
US11235761B2 (en) | 2019-04-30 | 2022-02-01 | Retrospect Technology, LLC | Operational risk assessment for autonomous vehicle control |
GB201906813D0 (en) * | 2019-05-16 | 2019-06-26 | Roboraca Ltd | Metaverse |
-
2020
- 2020-12-15 DE DE112020000222.5T patent/DE112020000222T5/de active Pending
- 2020-12-15 CN CN202080006705.8A patent/CN113272744A/zh active Pending
- 2020-12-15 JP JP2021547807A patent/JP7296465B2/ja active Active
- 2020-12-15 KR KR1020217020389A patent/KR20220127131A/ko not_active Application Discontinuation
- 2020-12-15 US US17/122,124 patent/US11999366B2/en active Active
- 2020-12-15 WO PCT/IB2020/061976 patent/WO2021124110A1/en active Application Filing
-
2023
- 2023-06-12 JP JP2023095965A patent/JP2023123562A/ja active Pending
-
2024
- 2024-02-29 US US18/592,115 patent/US20240199041A1/en active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018071708A1 (en) | 2016-10-14 | 2018-04-19 | Zoox, Inc. | Scenario description language for autonomous vehicle simulation |
JP2020502615A (ja) | 2016-10-14 | 2020-01-23 | ズークス インコーポレイテッド | 自律走行車シミュレーションのためのシナリオ記述言語 |
JP2019117329A (ja) | 2017-12-27 | 2019-07-18 | 日立オートモティブシステムズ株式会社 | 交通流制御装置、走行シナリオのデータ構造 |
WO2019169604A1 (en) | 2018-03-08 | 2019-09-12 | Baidu.Com Times Technology (Beijing) Co., Ltd. | Simulation-based method to evaluate perception requirement for autonomous driving vehicles |
JP2020514145A (ja) | 2018-03-08 | 2020-05-21 | バイドゥドットコム タイムズ テクノロジー (ベイジン) カンパニー リミテッドBaidu.com Times Technology (Beijing) Co., Ltd. | シミュレーションに基づく自動運転車の感知要求の評価方法 |
US20190295335A1 (en) | 2018-03-21 | 2019-09-26 | Dspace Digital Signal Processing And Control Engineering Gmbh | Simulation of Different Traffic Situations for a Test Vehicle |
JP2019185783A (ja) | 2018-04-12 | 2019-10-24 | バイドゥ ユーエスエイ エルエルシーBaidu USA LLC | シミュレーションプラットフォームに配置された、機械学習モデルを訓練するためのシステム及び方法 |
Also Published As
Publication number | Publication date |
---|---|
US20240199041A1 (en) | 2024-06-20 |
WO2021124110A8 (en) | 2022-12-08 |
CN113272744A (zh) | 2021-08-17 |
DE112020000222T5 (de) | 2021-10-14 |
WO2021124110A1 (en) | 2021-06-24 |
US20210179124A1 (en) | 2021-06-17 |
JP2022533292A (ja) | 2022-07-22 |
KR20220127131A (ko) | 2022-09-19 |
US11999366B2 (en) | 2024-06-04 |
JP2023123562A (ja) | 2023-09-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7296465B2 (ja) | 自律車両の適切な挙動を監視するためのシステム及びその方法 | |
US11216355B2 (en) | Autonomous vehicle testing systems and methods | |
Queiroz et al. | GeoScenario: An open DSL for autonomous driving scenario representation | |
US11341295B2 (en) | Methods, systems, and devices for efficient computation of simulation runs | |
Zhang et al. | Scenario description language for automated driving systems: A two level abstraction approach | |
Loos et al. | Safe intersections: At the crossing of hybrid systems and verification | |
Zhou et al. | Specification-based autonomous driving system testing | |
CN104760592B (zh) | 机动车决策控制方法 | |
JP2020123259A (ja) | 自動運転プログラム評価システム、及び自動運転プログラム評価方法 | |
CN113821039A (zh) | 基于时间窗的路径规划方法、装置、设备及存储介质 | |
Viswanadha et al. | Addressing the ieee av test challenge with scenic and verifai | |
JP2024508731A (ja) | 移動ロボットの軌道プランナのパフォーマンス・テスト | |
US20230339513A1 (en) | Method for testing autonomous-driving algorithm, and related device | |
Kaufmann et al. | Critical and challenging scenario generation based on automatic action behavior sequence optimization: 2021 ieee autonomous driving ai test challenge group 108 | |
CN114077785A (zh) | 车辆的仿真测试场景的构建方法和装置 | |
Patel et al. | Comparison of SUMO and SiMTraM for Indian traffic scenario representation | |
Lu et al. | DeepScenario: An open driving scenario dataset for autonomous driving system testing | |
Hou et al. | Twin scenarios establishment for autonomous vehicle digital twin empowered sotif assessment | |
Furda et al. | Towards increased road safety: Real-time decision making for driverless city vehicles | |
US20230031829A1 (en) | System and methods of adaptive relevancy prediction for autonomous driving | |
US20130116995A1 (en) | Agent-based road transportation modeling and simulation method and system | |
Irvine et al. | Structured natural language for expressing rules of the road for automated driving systems | |
Bauer et al. | The yase framework: Holistic scenario modeling with behavior trees | |
McGurrin et al. | An object-oriented traffic simulation with IVHS applications | |
US20240289252A1 (en) | Deferred creation of remote debugging sessions |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210831 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221101 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230201 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230511 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230612 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7296465 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |