JP7429809B2 - 自律運転シミュレーションのためのシナリオを作成する装置と方法 - Google Patents

自律運転シミュレーションのためのシナリオを作成する装置と方法 Download PDF

Info

Publication number
JP7429809B2
JP7429809B2 JP2023012792A JP2023012792A JP7429809B2 JP 7429809 B2 JP7429809 B2 JP 7429809B2 JP 2023012792 A JP2023012792 A JP 2023012792A JP 2023012792 A JP2023012792 A JP 2023012792A JP 7429809 B2 JP7429809 B2 JP 7429809B2
Authority
JP
Japan
Prior art keywords
target object
time point
user
behavior
ego vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023012792A
Other languages
English (en)
Other versions
JP2023129269A (ja
Inventor
林玉 孫
Original Assignee
ウーブン・バイ・トヨタ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ウーブン・バイ・トヨタ株式会社 filed Critical ウーブン・バイ・トヨタ株式会社
Publication of JP2023129269A publication Critical patent/JP2023129269A/ja
Application granted granted Critical
Publication of JP7429809B2 publication Critical patent/JP7429809B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B17/00Systems involving the use of models or simulators of said systems
    • G05B17/02Systems involving the use of models or simulators of said systems electric
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3668Software testing
    • G06F11/3672Test management
    • G06F11/3684Test management for test design, e.g. generating new test cases
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04Traffic conditions
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01MTESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M17/00Testing of vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3664Environments for testing or debugging software
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3668Software testing
    • G06F11/3696Methods or tools to render software testable
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4041Position
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4049Relationship among other objects, e.g. converging dynamic objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/10Geometric CAD
    • G06F30/15Vehicle, aircraft or watercraft design
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Hardware Design (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

開示は、自律運転シミュレーション技術の分野に関し、特には、エゴ車両の行動が、非エゴ車両アクタと相対的に定義できるシミュレーションシナリオを提供する装置と方法に関する。
自律車両の開発が加速度的に進むにつれて、車両を制御する(または、車両の制御に影響を与える)自律車両ソフトウェアアプリケーションの開発も加速している。自律車両(エゴ車両)に対するソフトウェアまたはアプリケーションの開発者は、そのアプリケーションのリリースの前に、異なるシナリオにおいて、アプリケーションの安全性と、アプリケーションが適切に機能することをテストおよび検証できなくてはならない。このテストと検証は、所与のシナリオにおいてエゴ車両の動作をシミュレートする(模擬実験(シミュレーション)を行う)自律運転シミュレーションシステムを使用して行われる。関連する技術の自律運転シミュレーションシステムは、コアシミュレータ、車両シミュレータ、および1つ以上のセンサシミュレータを含んでいる。
コアシミュレータは、シミュレーションを作動させるシナリオを作成、編集、および/または実行するシミュレーションツールである。コアシミュレータを介して、アクタとそれらの動きと共に、シミュレーションの仮想世界を定義できる。例えば、シナリオは、エゴ車両がそのようなシナリオにおいてどのように挙動するかをテストするために、それぞれの出発点から目的地点に移動する歩行者と非エゴ車両を含むことができる。
関連する技術のシナリオ作成者と編集者は、アクタ間の相対的基準で定義がなされることを可能とせずに、各アクタの行動を個々に定義する。結果として、アクタの行動間の相対的タイミング、例えば、アクタ間の相対的衝突タイミング、相対的距離、および相対的回転(または角度)を正確に表現しているシナリオを作成することは困難である。例えば、エゴ車両の前方に非エゴ車両が割り込んできくることに応答してのエゴ車両の挙動をテストするときに、関連する技術のシナリオ編集者は、エゴ車両と、エゴ車両の前方に割り込んでくる非エゴ車両に関して相対的定義がなされることを可能としない。具体的には、相対角度30度、相対速度-5km/h(つまり、エゴ車両速度よりも5km/h遅い)で非エゴ車両が、エゴ車両の5m前方に割り込んでくることに応答してのエゴ車両の挙動をシミュレートするときに、関連する技術のシミュレーションシナリオ編集者は、これらの相対的定義またはパラメータが設定されることを可能としないので、そのような状況におけるエゴ車両の挙動の正確な表現を取得することは困難である。関連する技術のシナリオ編集者は、単純且つ非相対的な意味で各アクタの定義、例えば、非エゴ車両が走行する出発点と終了点、または、非エゴ車両が走行する距離を伴う出発点を示す定義が設定されることを可能にするだけである。従って、自律車両をテストするためのシミュレーション環境を向上するために、アクタ間の相対的定義がより正確且つ容易に定義できる、コアシミュレータに対する必要性がある。
本開示は、エゴ車両に対する(例えば、エゴ車両の位置および/または時間に対する)非エゴ車両アクタの挙動を定義するエゴ車両シミュレーションシナリオを提供する装置と方法を提供する。
本開示の態様は、自律運転シミュレーションのためのシナリオを作成する方法を提供する。方法は、第1ユーザ入力に基づいて、シミュレーションシナリオに対するマップ上の、第1時点と第3時点を備えている第1複数の時点のそれぞれにおける第1目標対象物の位置を設定することと、第2ユーザ入力に基づいて、第1目標対象物の設定された位置の少なくとも1つに関連する、第1目標対象物とは異なる第2目標対象物の行動を定義することを含んでいる。
上記の態様においては、第2目標対象物の行動を定義することは、第2ユーザ入力に基づいて、マップ上の、第1時点、第3時点、および第1時点と第3時点との間の第2時点を備えている第2複数の時点のそれぞれにおける第2目標対象物の位置を設定することを含んでいる。
上記の態様においては、方法は更に、第2時点における第1目標対象物の位置を、第1時点における第1目標対象物の設定された位置と、第3時点における第1目標対象物の設定された位置に基づいて決定することを含んでいる。
上記の態様においては、方法は更に、第1複数の時点のそれぞれに対して、第1目標対象物の、ユーザが定義した速度およびユーザが定義した回転の少なくとも1つを設定することと、第2複数の時点のそれぞれに対して、第2目標対象物の、ユーザが定義した速度およびユーザが定義した回転の少なくとも1つを設定することを含んでいる。
上記の態様においては、第2目標対象物の行動を定義することは、第1目標対象物の設定された位置の少なくとも1つに対する、ユーザが定義した誘発条件と、誘発条件が満たされたことに基づいて実行される、動的対象物の、ユーザが定義した目標行動を設定することを含んでいる。
上記の態様においては、ユーザが定義した誘発条件は、第1目標対象物の速度、第1目標対象物からの範囲、アクティブ領域、および目標対象物タイプの少なくとも1つを含み、ユーザが定義した目標行動は、第1目標対象物の速度に対する目標対象物相対速度、第1目標対象物に対する目標対象物相対距離または位置、および衝突までの時間の少なくとも1つを含んでいる。
本開示の他の態様は、自律運転シミュレーションのためのシナリオを作成するための装置を提供する。装置は、少なくとも1つのプロセッサを含み、この少なくとも1つのプロセッサは、第1ユーザ入力に基づいて、シミュレーションシナリオに対するマップ上の、第1時点と第3時点を備えている第1複数の時点のそれぞれにおける第1目標対象物の位置を設定し、第2ユーザ入力に基づいて、第1目標対象物の設定された位置の少なくとも1つに関連する、エゴ車両とは異なる第2目標対象物の行動を定義するように構成されている。
上記の態様においては、少なくとも1つのプロセッサは更に、第2ユーザ入力に基づいて、マップ上の、第1時点、第3時点、および第1時点と第3時点の間の第2時点を備えている第2複数の時点のそれぞれにおける第2目標対象物の位置を設定するように構成されている。
上記の態様においては、少なくとも1つのプロセッサは更に、第2時点における第1目標対象物の位置を、第1時点における第1目標対象物の設定された位置と、第3時点における第1目標対象物の設定された位置に基づいて決定するように構成されている。
上記の態様においては、少なくとも1つのプロセッサは更に、第1複数の時点のそれぞれに対して、第1目標対象物の、ユーザが定義した速度およびユーザが定義した回転の少なくとも1つを設定し、第2複数の時点のそれぞれに対して、第2目標対象物の、ユーザが定義した速度およびユーザが定義した回転の少なくとも1つを設定するように構成されている。
上記の態様においては、少なくとも1つのプロセッサは更に、第1目標対象物の設定された位置の少なくとも1つに対する、ユーザが定義した誘発条件と、誘発条件が満たされたことに基づいて実行される、第2目標対象物の、ユーザが定義した目標行動を設定するように構成されている。
上記の態様においては、ユーザが定義した誘発条件は、第1目標対象物の速度、第1目標対象物からの範囲、アクティブ領域、および目標対象物タイプの少なくとも1つを含み、ユーザが定義した目標行動は、第1目標対象物の速度に対する目標対象物相対速度、第1目標対象物に対する目標対象物相対距離または相対位置、および衝突までの時間の少なくとも1つを含んでいる。
本開示の他の態様は、非一時的コンピュータ読み取り可能格納媒体を提供し、非一時的コンピュータ読み取り可能格納媒体は、方法を実行するための、少なくとも1つのプロセッサにより実行可能な命令を格納している。方法は、第1ユーザ入力に基づいて、シミュレーションシナリオに対するマップ上の、第1時点と第3時点を備えている第1複数の時点のそれぞれにおける第1目標対象物の位置を設定することと、第2ユーザ入力に基づいて、第1目標対象物の設定された位置の少なくとも1つに関連する、第1目標対象物とは異なる第2目標対象物の行動を定義することを含んでいる。
開示の例としての実施形態の特徴、利点、および技術的且つ産業的意味は、付随する図面を参照して下記に記述され、図面においては類似の符号は類似の要素を示している。
図1は、実施形態に係わる、第1目標対象物の行動に対する、少なくとも1つの第2目標対象物の行動を定義するシミュレーションシナリオを提供するための装置を例示しているブロック図である。
図2は、実施形態に係わる、第1目標対象物の行動に関連する、第2目標対象物の行動を定義するシミュレーションシナリオを提供する方法を例示しているフローチャートである。
図3は、実施形態に係わる、自律運転シミュレーションのシナリオを編集するための例としてのインタフェースを示している模式図である。
図4は、実施形態に係わる、誘発条件と目標行動を定義するシミュレーションシナリオを提供する方法を例示しているフローチャートである。
図5は、実施形態に係わる、設定された誘発条件と設定された目標行動により定義されるシミュレーションシナリオを作動させる方法を例示しているフローチャートである。
図6は、実施形態に係わる、誘発条件を使用して自律運転シミュレーションシナリオを編集するための例としてのインタフェースを示している模式図である。
開示の実施形態が、付随する図面を参照して詳細に記述される。図面において使用されている同じ参照番号は、同じまたは類似の要素を示すことができる。開示において使用されている用語は、開示において定義されているように厳密に解釈されるべきではなく、この技術における通常の技量を有する者が、開示の状況において理解するであろうものとして解釈されるべきである。開示の実施形態は、異なる形状であることもでき、ここにおいて記述されている実施形態に制限されないということに留意すべきである。
図1は、実施形態に係わる、第1目標対象物に対する1つ以上の第2目標対象物の行動を定義する自律運転シミュレーションシナリオを提供するための装置を例示しているブロック図である。実施形態によれば、第1目標対象物はエゴ車両であり、1つ以上の第2目標対象物は非エゴ車両アクタである。しかし、他の実施形態はそれに制限されなくてもよいということは理解される。例えば、第1目標対象物は非エゴ車両であってよく、および/または、少なくとも1つの第2目標対象物は、他の実施形態に係わるエゴ車両を含むことができる。
自律運転シミュレーションシナリオを提供するためのシナリオ編集装置100は、プロセッサ110、メモリ120、ディスプレイ130、通信インタフェース140、および入/出力インタフェース150を含むことができる。
プロセッサ110は、装置100の全体動作を制御できる。具体的には、プロセッサ110は、メモリ120、ディスプレイ130、通信インタフェース140、および入/出力インタフェース150に接続でき、それらの動作を制御するように構成できる。プロセッサ110は、種々の実施形態に従って実現できる。例えば、プロセッサ110は、特定用途向け集積回路(ASIC)、埋め込み型プロセッサ、マイクロプロセッサ、ハードウェア制御ロジック、ハードウェア有限状態機械(FSM)、デジタル信号プロセッサ(DSP)、ニューラルネットワークプロセッサ(NPU)などの少なくとも1つとして実現できる。プロセッサ110は、中央演算処理装置(CPU)、グラフィック処理ユニット(GPU)、およびメイン処理ユニット(MPU)などを含むことができる。追加的に、プロセッサ110は、1つ以上のプロセッサを含むことができる。
メモリ120は、開示の実施形態に係わる、装置100を動作させるための少なくとも1つの命令および種々のソフトウェアプログラムまたはアプリケーションを格納できる。例えば、メモリ120は、フラッシュメモリなどのような半導体メモリ、ハードディスクなどのような磁気格納媒体などを含むことができる。メモリ120とは、プロセッサ110に通信可能に結合されている任意の揮発性または不揮発性メモリ、リードオンリメモリ(ROM)、ランダムアクセスメモリ(RAM)、または、装置100に接続可能なメモリカード(例えば、マイクロSDカード、メモリスティック)を指すことができる。メモリ120は、装置100を動作させるための種々のソフトウェアモジュールまたはコードを格納でき、プロセッサ110は、装置100の動作を、メモリ120に格納されている種々のソフトウェアモジュールを実行することにより制御できる。つまり、メモリ120は、データ読み取り、記録、修正、消去、更新などを実行するためにプロセッサ110によりアクセスできる。更に、メモリ120は、実行可能な命令、コード、データオブジェクトなどを格納できる。
ディスプレイ130は、液晶ディスプレイ(LCD)パネル、有機発光ダイオード(OLED)、フレキシブルディスプレイ、タッチスクリーンディスプレイ、透明ディスプレイなどとして実現できる。プロセッサ110は、装置100のメモリ120から受信した、または、通信インタフェース140を通して外部装置から受信した画像信号を表示するようにディスプレイ130を制御できる。しかし、ディスプレイ130の実現形態はそれに制限されない。
通信インタフェース140は、ネットワークを通して、外部装置(例えば、サーバ)と通信するように構成されている回路またはインタフェースを含むことができる。通信インタフェース140は、Wi-Fiモジュール、ブルートゥース(登録商標)モジュール、無線通信モジュール、または、近距離通信(NFC)モジュールの少なくとも1つを含むことができる。具体的には、Wi-FiモジュールはWi-Fi方法で通信でき、ブルートゥース(登録商標)モジュールは、ブルートゥース(登録商標)方法で通信できる。Wi-Fiモジュールまたはブルートゥース(登録商標)モジュールを使用するときは、サービスセット識別子(SSID)などのような種々の接続情報を通信接続のために送信および受信でき、そして種々の情報を通信インタフェース140通して送信および受信できる。
入/出力インタフェース150は、ユーザまたは他の装置からの入力を受信するように構成でき、プロセッサ110は、入/出力インタフェース150を通して、装置100の動作を制御するためのユーザコマンドを受信できる。入/出力インタフェース150は、例えば、マイクロフォン、カメラ、リモートコントローラ、キーボード、マウスなどを含むことができる。
追加的に、実施形態によれば、ここにおいて開示されている方法と装置は、コンピュータプログラム製品のソフトウェアとして提供できる。コンピュータプログラム製品は、機械読み取り可能格納媒体(例えば、コンパクトディスクリードオンリメモリ(CD-ROM))の形で配布でき、または、アプリケーション店を通してオンラインで配布でき、または装置間で直接配布できる。オンライン配布の場合、コンピュータプログラム製品の少なくとも一部(例えば、ダウンロード可能アプリケーション)は、製造業者のサーバ、アプリケーション店におけるサーバ、または中継サーバにおけるメモリなどのような格納媒体に一時的に、または、少なくとも一時的に格納できる。
装置100の幾つかの例としての構成要素が上述されているが、装置100の実施形態はそれらに制限されず、装置100は、自律運転シミュレーションシナリオを提供する必要性によっては、より多くの、またはより少ない構成要素を含むことができるということは理解される。
図2は、実施形態に係わる、第1目標対象物の行動に関連する、第2目標対象物の行動を定義するシミュレーションシナリオを提供する方法を例示しているフローチャートである。
実施形態によれば、第1目標対象物(例えば、エゴ車両)の行動に関連する、第2目標対象物(例えば、非エゴ車両アクタ)の行動を定義するシミュレーションシナリオを提供する方法200は、シナリオ編集装置100のプロセッサ110(図1に示されている)による命令の実行を介して実行または制御できる。
図2を参照すると、ステップS210において、第1ユーザ入力を受信したことに基づいて、第1複数の時点のそれぞれに対する第1目標対象物の位置を設定できる。例として、第1ユーザ入力を、自律運転シミュレーションシナリオのためのマップ(または、道路の表現)を含むグラフィカルユーザインタフェースまたは入力画面に対して行うことができる。この場合、第1ユーザ入力は、指定された(またはユーザ入力の)時点におけるマップ上の第1目標対象物の位置の入力としてマップ上に行うことができる。第1ユーザ入力は、第1目標対象物の位置を指定するための入力を含むことができ、第1複数の時点は、例えば、複数の時点の中の第1時点と第3時点を含むことができる。
ステップS220において、第2ユーザ入力を受信したことに基づいて、第2目標対象物(または、非エゴ車両アクタなどのような動的対象物)の行動を、第1目標対象物の設定された位置の少なくとも1つと関連して定義できる。
図2において例示されているステップの順序は制限的でないということは理解される。例えば、他の実施形態によれば、ステップS210の部分を、ステップS220の部分の前と後に実行するなどのように、ステップS210とS220は同時に、または実質的に同時に実行できる。
実施形態に係わるシナリオ編集装置100はマップ上に、時間同期された、または対とされた点を設定でき、各対は、アクタ(または目標対象物)の定義された属性の時間同期されたセットを含むことができる。例えば、属性は、第2目標対象物(例えば、自動車などのような非エゴ車両、歩行者など)と第1目標対象物(例えば、エゴ車両)の定義された位置、回転、および/または速度を含むことができる。下記の表1を参照すると、複数の時点(例えば、時点1から時点4)のそれぞれに対して、第1目標対象物の例としてのエゴ車両の位置、回転(または角度)、および/または速度の少なくとも1つを取得できる。例えば、時点1(または第1時点)において、位置(X1a,Y1a)、速度V1a、および回転R1aを、エゴ車両に対して取得できる。同様に、複数の時点のそれぞれに対して、第2目標対象物の例としての非エゴ車両の位置、回転(または角度)、および速度の少なくとも1つを取得できる。例えば、第1時点において、位置(X1b,Y1b)、速度V1b、および回転R1bを非エゴ車両に対して取得できる。エゴ車両と非エゴ車両のそれぞれの位置、速度、および回転は、時間同期されたセットであってよい。
Figure 0007429809000001
上記の例は、エゴ車両に加えて1つのアクタ(例えば、非エゴ車両)のみを含んでいるが、1つ以上の他の実施形態はそれに制限されないということは理解される。この点に関して、任意の数の追加的アクタ(歩行者、エゴ車両、および追加的非エゴ車両を含む)を同期された時点において定義できる。
更に、上記の例においては、エゴ車両と非エゴ車両アクタのそれぞれに対して同数の点が定義されている。しかし、1つ以上の他の実施形態はそれに制限されず、下記の表2において例示されているように、第1目標対象物(例えば、エゴ車両アクタ)と比較して、より多い、またはより少ない時点を第2目標対象物(例えば、非エゴ車両アクタ)に対して設定でき、またその逆も可能であるということは理解される。
Figure 0007429809000002
上記の表2の例において示されているように、エゴ車両の位置、速度、および回転は、第2時点(つまり、時点2)と第3時点(つまり、時点3)においては定義されていない。この場合、シナリオ編集装置100は、第1時点と第4時点との間の点またはフレームを自動生成できる。例として、第1時点においては、エゴ車両と非エゴ車両との間の相対的な位置、速度、および回転は、エゴ車両の位置(X1a,Y1a)、速度V1a、および回転R1aと、非エゴ車両の位置(X1b,Y1b)、速度V1b、および回転R1bに基づいて決定できる。決定された相対的な位置、速度、および回転に基づいて、エゴ車両の第1時点と第4時点との間の第2時点と第3時点における欠けている点またはフレームは、例えば、第1時点と第4時点におけるエゴ車両の位置、速度、および回転を使用する補間を介して決定できる。追加的に、シナリオ編集装置100はまた、時間同期された位置を、表示されているマップ、または、シミュレートされるシーンの表現(例えば、道路の表現)上に直接設定できるユーザインタフェースを提供できる。
図3は、実施形態に係わる、自律運転シミュレーションのシナリオを編集するための例としてのインタフェースを示している模式図である。
実施形態によれば、シナリオ編集装置100のプロセッサ110は、図3において示されているように、第1目標対象物(例えば、エゴ車両E1~E4)と第2目標対象物(例えば、非エゴ車両A1~A4)を含む、自律運転シミュレーションのシナリオを作成または編集するためのユーザインタフェースを表示するようにディスプレイ130を制御できる。図1を参照して上述したように、装置100は、入/出力インタフェース150を通してユーザ入力を受信できる。
第1および第2目標対象物の時間同期された属性は、種々の実施形態に係わる種々の方法においてユーザインタフェース画面(図3において例示されているような)に入力できる。例えば、属性は、テキスト入力を介して、例えば、対応する目標対象物の近くに表示されたポップアップウィンドウまたはボックスに入力できる。目標対象物の位置または場所は、対応する目標対象物に関するドラッグアンドドロップ操作を介して入力または修正できる。
図3を参照すると、エゴ車両E1~E4は、1つの軌道を走行しており、非エゴ車両A1~A4は、他の軌道を走行している。ここで、異なる時点におけるエゴ車両Eと非エゴ車両Aの時間同期された属性(例えば、行動属性)が表示されている。例えば、第1時点において、エゴ車両E1は(x,y)に位置しており、0度の回転で30km/hの速度で走行している。更に、第1時点において、非エゴ車両A1の時間同期された属性が、エゴ車両E1に関連して表示されている。例えば、非エゴ車両A1は位置(Se.x+2m,y1)に位置しており、1度の回転でVe+0km/hで走行している。
更に、第3時点において、エゴ車両E3は(x2,y2)に位置しており、0度の回転で30km/hの速度で走行しており、非エゴ車両A3は(Se.x+2m,y1)に位置しており、-20度の回転でVe+0km/hの速度で走行している。ここで、第2時点における非エゴ車両A2の属性は、ユーザインタフェース上には表示されていないということが分かる。上記で検討したように、非エゴ車両A2の属性は、第1点と第3点における非エゴ車両A2の時間同期された属性に基づいて決定または補間できる。
図4は、他の実施形態に係わる、誘発条件と目標行動を定義するシミュレーションシナリオを提供する方法を例示しているフローチャートである。図4の実施形態においては、シナリオ編集装置と方法は、第1目標対象物(例えば、エゴ車両)に対する誘発条件に関して、1つ以上の第2目標対象物(例えば、非エゴ車両、歩行者など)の行動または挙動を定義する。言い換えると、トリガは、シナリオにおける1つ以上の動的対象物(非エゴ車両、歩行者などのような)に対して設定される。トリガは、第1目標対象物(例えば、エゴ車両)に対する1つ以上の条件と、条件が満たされた場合の1つ以上の行動により定義できる。
実施形態によれば、誘発条件および対応する目標行動を定義するシミュレーションシナリオを提供する方法400は、シナリオ編集装置100のプロセッサ110(図1において示されている)により、命令を実行することを介して実行または制御できる。
図4を参照すると、第1目標対象物の移動経路がステップS410で設定される。例えば、シミュレーションにおける第1目標対象物(例えば、エゴ車両)の1つ以上の位置をステップS410で設定できる。特には、第1目標対象物の開始位置と終了位置を、第1目標対象物の速度に加えて設定できる。追加的に、第1目標対象物の開始位置に続く1つ以上の位置を定義できる。設定された位置は、シミュレーションの間の第1目標対象物の移動経路を定義する。
ステップS420において、少なくとも1つの第2目標対象物の移動経路が設定される。例えば、少なくとも1つの第2目標対象物(例えば、非エゴ車両)の1つ以上の位置が設定される。特には、第2目標対象物の開始位置と終了位置を、第2目標対象物の速度に加えて設定できる。追加的に、第2目標対象物の開始位置に続く1つ以上の位置を定義できる。設定された位置は、シミュレーションの間の第2目標対象物の移動経路を定義する。
第1および第2目標対象物の移動経路は、図3を参照して上述したようなユーザインタフェース画面を介して、ユーザ入力により設定できる。
ステップS430において、第1目標対象物(例えば、エゴ車両)に対する1つ以上の誘発条件を設定または定義できる。1つ以上の誘発条件は、シナリオにおける1つ以上の第2目標対象物、例えば、非エゴ車両(または、歩行者などのような動的対象物)に対して設定できる。例えば、1つ以上の誘発条件は、第1目標対象物速度、第1目標対象物位置、第1目標対象物からの距離の範囲、アクティブ領域(例えば、範囲内の領域)、または第2目標対象物タイプ(例えば、非エゴ車両、歩行者など)の少なくとも1つを含むことができる。1つ以上の誘発条件は、第1目標対象物に対する少なくとも1つの誘発条件が満たされると誘発できる。代替的に、1つ以上の誘発条件は、誘発条件の設定された組み合わせが満たされると誘発できる。
更に、ステップS440において、1つ以上の目標行動を設定または定義できる。1つ以上の目標行動は、第1目標対象物速度、第2目標対象物速度、第2目標対象物の目的地、第1目標対象物からの、第2目標対象物の相対的距離または相対的位置、または、第2目標対象物と第1目標対象物のそれぞれの速度と位置に基づく、第2目標対象物と第1目標対象物との間の衝突までの時間を含むことができる。
1つ以上の誘発条件と1つ以上の目標行動は、図3を参照して上述したようなユーザインタフェース画面を介して、ユーザ入力により設定できる。
1つ以上の誘発条件と1つ以上の目標行動の例を上述したが、1つ以上の他の実施形態はそれらに制限されず、1つ以上の誘発条件と1つ以上の目標行動は、自律運転シミュレーションに対して適切であることができる他のファクタを含むことができるということは理解される。
図5は、他の実施形態に係わる、設定された誘発条件と設定された目標行動により定義されるシミュレーションシナリオを作動させる方法を例示しているフローチャートである。
図5を参照すると、シミュレーションが作動され、1つ以上のユーザにより定義された誘発条件が満たされたかどうかがステップS510において決定される。1つ以上の誘発条件が満たされていない場合(ステップS510でNo)、ステップS510は、1つ以上の誘発条件が満たされるまで、またはシミュレーションが終了するまで繰り返される。
一方、1つ以上の誘発条件が満たされた場合(ステップS510でYes)、1つ以上のユーザにより定義された目標行動がステップS520で実行される。
例として、非エゴ車両がエゴ車両の前方に割り込み、その速度を、エゴ車両の速度よりも落とした場合のエゴ車両の挙動を、ユーザはテストしたいと所望する可能性がある。この場合、シミュレーションのシナリオは、目標条件が、少なくとも50km/hのエゴ車両速度、5メートル(または、5メートル以下)の範囲、80度から100度の間のアクティブ領域(つまり、エゴ車両の設定された移動経路に沿う、割り込み位置に対応する領域)、および第2目標対象物タイプの非エゴ車両を含むように作成または編集できる。目標行動は、第2目標対象物の速度を、エゴ車両の現在の速度より5km/h遅くなるように落とすことを含むことができる。そのため、このシナリオを実行することにより、シミュレーションは、非エゴ車両がエゴ車両の前方に割り込み、その速度を、エゴ車両の速度より5km/h落としたときのエゴ車両の挙動をテストできる。つまり、エゴ車両が50km/hで走行しているときに、非エゴ車両が、エゴ車両の周りの80度と100度の間の領域においてエゴ車両の5メートル以内に割り込んだ場合、ステップS510において誘発条件が満たされると決定される。従って、非エゴ車両の速度を45km/hに落とす目標行動が実行され、ユーザは、エゴ車両が、シナリオにおける目標行動にどのように対応するかをテストできる。
上記の例は、非エゴ車両(または、第2目標対象物)の目標行動が、誘発条件が満たされたことに基づいて制御されるということを記述しているだけであるが、他の実施形態はそれに制限されず、目標行動は、エゴ車両(または第1目標対象物)についても実行または制御できるということは理解される。従って、第1目標対象物(例えば、エゴ車両)と少なくとも1つの第2目標対象物(例えば、非エゴ車両)との間の関係に基づいて誘発条件を設定し、第1目標対象物および/または少なくとも1つの第2目標対象物を制御するための目標行動を設定することにより、エゴ車両のシミュレーションにおける種々のファクタを含むことによりシミュレーション環境を豊富にすることができ、エゴ車両の挙動をより正確にテストできる。それにより、そのような条件と行動の設定を可能にするユーザインタフェースは、所望されるシナリオを作成するときのより程度の高い柔軟性と容易さをユーザに与える。
図6は、実施形態に係わる、誘発条件を使用する自律運転シミュレーションシナリオを編集するための例としてのインタフェースを示している模式図である。
図4を参照して上述したように、エゴ車両に対する1つ以上の誘発条件を、非エゴ車両または目標対象物の行動を制御するために設定または定義できる。実施形態によれば、シナリオ編集装置100のプロセッサ110は、図5において示されているような1つ以上の誘発条件と1つ以上の目標行動をシミュレートするためのユーザインタフェースを表示するようにディスプレイ130を制御できる。
例として、誘発条件がそのように設定または定義されたときは、第1目標対象物(例えば、エゴ車両E1~E4)からの第2目標対象物(例えば、非エゴ車両A1~A4)の距離の範囲が所定の範囲内の場合、誘発条件は満たされたと決定され、1つ以上の目標行動を実行できる。ここで、非エゴ車両A3が、エゴ車両E3の所定の範囲(つまり、グレーの領域)内であるときは、エゴ車両E3を、目的地(エゴ車両速度v、位置x+5m)に走行させる、ユーザにより定義された目標行動をシミュレーションにおいて実行できる。
開示の実施形態が示され上述されてきたが、開示の実施形態は前述の特定の実施形態に制限されない。種々の修正、置換、および改良を、開示が属する技術分野においてこの技術における通常の技量を有する者により、付随する特許の請求範囲により請求されているような開示の精神から逸脱することなく行うことができるということは理解され得る。そのような修正、置換、および改良は、開示の保護される範囲内であり、開示の技術的思想または将来性とは無関係に解釈されるべきではないということは理解されるべきである。

Claims (13)

  1. 自律運転シミュレーションのためのシナリオを作成する方法であって、
    第1ユーザ入力に基づいて、シミュレーションシナリオに対するマップ上の、第1時点と第3時点を備えている第1複数の時点のそれぞれにおける第1目標対象物の位置を設定することと、
    第2ユーザ入力に基づいて、前記第1目標対象物の前記設定された位置の少なくとも1つに関連する、前記第1目標対象物とは異なる第2目標対象物の行動を定義することを備えており、
    前記第2目標対象物の前記行動を前記定義することは、
    前記第1目標対象物の前記設定された前記位置の前記少なくとも1つに対する、ユーザが定義した誘発条件と、前記誘発条件が満たされたことに基づいて実行される前記第2目標対象物の、ユーザが定義した目標行動を設定することを備えていることを特徴とする方法。
  2. 前記第2目標対象物の前記行動を前記定義することは、
    前記第2ユーザ入力に基づいて、前記マップ上の、前記第1時点、前記第3時点、および前記第1時点と前記第3時点との間の第2時点を備えている第2複数の時点のそれぞれにおける前記第2目標対象物の位置を設定することを備えていることを特徴とする請求項1に記載の方法。
  3. 前記第2時点における前記第1目標対象物の位置を、前記第1時点における前記第1目標対象物の前記設定された位置と、前記第3時点における前記第1目標対象物の前記設定された位置に基づいて決定することを更に備えていることを特徴とする請求項2に記載の方法。
  4. 前記第1複数の時点のそれぞれに対して、前記第1目標対象物の、ユーザが定義した速度およびユーザが定義した旋回角度の少なくとも1つを設定することを更に備え、
    前記第2目標対象物の前記行動を前記定義することは、
    前記第2ユーザ入力に基づいて、前記マップ上の、前記第1時点と前記第3時点を備えている第2複数の時点のそれぞれにおける前記第2目標対象物の位置を設定することと、
    前記第2複数の時点のそれぞれに対して、前記第2目標対象物の、ユーザが定義した速度およびユーザが定義した旋回角度の少なくとも1つを設定することを備えていることを特徴とする請求項1に記載の方法。
  5. 前記ユーザが定義した誘発条件は、前記第1目標対象物の速度、前記第1目標対象物からの範囲、アクティブ領域、および第2目標対象物タイプの少なくとも1つを備え、
    前記ユーザが定義した目標行動は、前記第1目標対象物の前記速度に対する前記第2目標対象物の相対速度、前記第1目標対象物に対する前記第2目標対象物の相対距離または相対位置、および衝突までの時間の少なくとも1つを備えていることを特徴とする請求項1~4のいずれか1項に記載の方法。
  6. 前記第1目標対象物はエゴ車両であり、前記第2目標対象物は非エゴ車両であることを特徴とする請求項1~4のいずれか1項に記載の方法。
  7. 自律運転シミュレーションのためのシナリオを作成するための装置であって、
    少なくとも1つのプロセッサを備え、前記少なくとも1つのプロセッサは、
    第1ユーザ入力に基づいて、シミュレーションシナリオに対するマップ上の、第1時点と第3時点を備えている第1複数の時点のそれぞれにおける第1目標対象物の位置を設定し、
    第2ユーザ入力に基づいて、前記第1目標対象物の前記設定された位置の少なくとも1つに関連する、前記第1目標対象物とは異なる第2目標対象物の行動を定義するように構成されており、
    前記少なくとも1つのプロセッサは更に、前記第1目標対象物の前記設定された位置の前記少なくとも1つに対する、ユーザが定義した誘発条件と、前記誘発条件が満たされたことに基づいて実行される、前記第2目標対象物の、ユーザが定義した目標行動を設定するように構成されていることを特徴とする装置。
  8. 前記少なくとも1つのプロセッサは更に、前記第2ユーザ入力に基づいて、前記マップ上の、前記第1時点、前記第3時点、および前記第1時点とせ第3時点の間の第2時点を備えている第2複数の時点のそれぞれにおける前記第2目標対象物の位置を設定するように構成されていることを特徴とする請求項7に記載の装置。
  9. 前記少なくとも1つのプロセッサは更に、前記第2時点における前記第1目標対象物の位置を、前記第1時点における前記第1目標対象物の前記設定された位置と、前記第3時点における前記第1目標対象物の前記設定された位置に基づいて決定するように構成されていることを特徴とする請求項8に記載の装置。
  10. 前記少なくとも1つのプロセッサは更に、
    前記第1複数の時点のそれぞれに対して、前記第1目標対象物の、ユーザが定義した速度およびユーザが定義した旋回角度の少なくとも1つを設定し、
    前記第2ユーザ入力に基づいて、前記マップ上の、前記第1時点と前記第3時点を備えている第2複数の時点のそれぞれにおける前記第2目標対象物の位置を設定し、
    前記第2複数の時点のそれぞれに対して、前記第2目標対象物の、ユーザが定義した速度およびユーザが定義した旋回角度の少なくとも1つを設定するように構成されていることを特徴とする請求項7に記載の装置。
  11. 前記ユーザが定義した誘発条件は、前記第1目標対象物の速度、前記第1目標対象物からの範囲、アクティブ領域、および第2目標対象物タイプの少なくとも1つを備え、
    前記ユーザが定義した目標行動は、前記第1目標対象物の前記速度に対する第2目標対象物の相対速度、前記第1目標対象物に対する前記第2目標対象物の相対距離または相対位置、および衝突までの時間の少なくとも1つを備えていることを特徴とする請求項7~10のいずれか1項に記載の装置。
  12. 前記第1目標対象物はエゴ車両であり、前記第2目標対象物は非エゴ車両であることを特徴とする請求項7~10のいずれか1項に記載の装置。
  13. 非一時的コンピュータ読み取り可能格納媒体であって、方法を実行するために少なくとも1つのプロセッサにより実行可能な命令を格納しており、前記方法は、
    第1ユーザ入力に基づいて、シミュレーションシナリオに対するマップ上の、第1時点と第3時点を備えている第1複数の時点のそれぞれにおける第1目標対象物の位置を設定することと、
    第2ユーザ入力に基づいて、前記第1目標対象物の前記設定された位置の少なくとも1つに関連する、前記第1目標対象物とは異なる第2目標対象物の行動を定義することを備えており、
    前記第2目標対象物の前記行動を前記定義することは、
    前記第1目標対象物の前記設定された前記位置の前記少なくとも1つに対する、ユーザが定義した誘発条件と、前記誘発条件が満たされたことに基づいて実行される前記第2目標対象物の、ユーザが定義した目標行動を設定することを備えていることを特徴とする非一時的コンピュータ読み取り可能格納媒体。
JP2023012792A 2022-03-04 2023-01-31 自律運転シミュレーションのためのシナリオを作成する装置と方法 Active JP7429809B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/687,108 US20230278578A1 (en) 2022-03-04 2022-03-04 Apparatus and method of creating scenario for autonomous driving simulation
US17/687,108 2022-03-04

Publications (2)

Publication Number Publication Date
JP2023129269A JP2023129269A (ja) 2023-09-14
JP7429809B2 true JP7429809B2 (ja) 2024-02-08

Family

ID=85382885

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023012792A Active JP7429809B2 (ja) 2022-03-04 2023-01-31 自律運転シミュレーションのためのシナリオを作成する装置と方法

Country Status (4)

Country Link
US (1) US20230278578A1 (ja)
EP (1) EP4239486A1 (ja)
JP (1) JP7429809B2 (ja)
CN (1) CN116736736A (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000338860A (ja) 1999-05-31 2000-12-08 Koyo Seiko Co Ltd ドライビングシミュレータ
JP2009042435A (ja) 2007-08-08 2009-02-26 Toyota Central R&D Labs Inc 安全運転教育装置およびプログラム
JP2014174447A (ja) 2013-03-12 2014-09-22 Japan Automobile Research Institute 車両用危険場面再現装置、およびその使用方法
JP2019117329A (ja) 2017-12-27 2019-07-18 日立オートモティブシステムズ株式会社 交通流制御装置、走行シナリオのデータ構造
US20200183387A1 (en) 2016-05-30 2020-06-11 Faraday&Future Inc. Generating and fusing traffic scenarios for automated driving systems

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5916653B2 (ja) * 2013-03-27 2016-05-11 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation 交通シミュレーション方法、プログラム及びシステム
EP2942251B1 (en) * 2014-05-08 2017-04-05 Volvo Car Corporation Method for providing an object prediction representation
US20230281357A1 (en) * 2020-06-03 2023-09-07 Five AI Limited Generating simulation environments for testing av behaviour
US20220266859A1 (en) * 2021-02-24 2022-08-25 Zoox, Inc. Simulated agents based on driving log data

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000338860A (ja) 1999-05-31 2000-12-08 Koyo Seiko Co Ltd ドライビングシミュレータ
JP2009042435A (ja) 2007-08-08 2009-02-26 Toyota Central R&D Labs Inc 安全運転教育装置およびプログラム
JP2014174447A (ja) 2013-03-12 2014-09-22 Japan Automobile Research Institute 車両用危険場面再現装置、およびその使用方法
US20200183387A1 (en) 2016-05-30 2020-06-11 Faraday&Future Inc. Generating and fusing traffic scenarios for automated driving systems
JP2019117329A (ja) 2017-12-27 2019-07-18 日立オートモティブシステムズ株式会社 交通流制御装置、走行シナリオのデータ構造

Also Published As

Publication number Publication date
CN116736736A (zh) 2023-09-12
JP2023129269A (ja) 2023-09-14
US20230278578A1 (en) 2023-09-07
EP4239486A1 (en) 2023-09-06

Similar Documents

Publication Publication Date Title
US11782440B2 (en) Autonomous vehicle simulation system for analyzing motion planners
JP7428988B2 (ja) 自律自動車の制御ユニットを修正するための方法およびシステム
US10635844B1 (en) Methods and systems for simulating vision sensor detection at medium fidelity
Punzo et al. Integration of driving and traffic simulation: Issues and first solutions
US11740620B2 (en) Operational testing of autonomous vehicles
US20180211120A1 (en) Training An Automatic Traffic Light Detection Model Using Simulated Images
CN108230817A (zh) 车辆驾驶模拟方法和装置、电子设备、系统、程序和介质
US20070271079A1 (en) Simulator for Vehicle Radio Propagation Including Shadowing Effects
CN111665738A (zh) 在环仿真系统及其中的信息处理方法及装置
US20200130709A1 (en) Method and device for determining a configuration for an autonomous vehicle
US11449189B1 (en) Virtual reality-based augmented reality development system
JP2019109881A (ja) 車道交差点の仮想シミュレーションにおける歩行者の自動生成
Paranjape et al. A modular architecture for procedural generation of towns, intersections and scenarios for testing autonomous vehicles
CN115574834A (zh) 基于脚本的智能驾驶场景仿真方法、装置及设备
JP7429809B2 (ja) 自律運転シミュレーションのためのシナリオを作成する装置と方法
US11702101B2 (en) Automatic scenario generator using a computer for autonomous driving
KR101951225B1 (ko) 물리엔진을 사용하지 않는 리얼타임 렌더링 오브젝트 표현 방법 및 시스템
Ayer et al. Development of ecoCampus: a prototype system for sustainable building design education.
CN116342773A (zh) 基于渲染引擎的自动驾驶信息可视化方法、装置及车辆
CN115357500A (zh) 自动驾驶系统的测试方法、装置、设备和介质
US20180018411A1 (en) Method and apparatus of building agent for test of unmanned vehicle
US20220277115A1 (en) Simulation system, simulation program, and simulation method
Hassan et al. Concept for a task—specific reconfigurable driving simulator
KR102601833B1 (ko) 게임 엔진에 기반한 자율주행 알고리즘 시뮬레이션 방법 및 시스템
KR102252191B1 (ko) 사용자 얼굴 정보를 인식하여 움직이는 캐릭터를 표현하는 방법 및 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230131

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20230515

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230912

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240129

R150 Certificate of patent or registration of utility model

Ref document number: 7429809

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150