JP7301077B2 - 自律走行システムのテスト方法、装置、電子機器、プログラム及びコンピュータ読み取り可能な記録媒体 - Google Patents

自律走行システムのテスト方法、装置、電子機器、プログラム及びコンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
JP7301077B2
JP7301077B2 JP2021000182A JP2021000182A JP7301077B2 JP 7301077 B2 JP7301077 B2 JP 7301077B2 JP 2021000182 A JP2021000182 A JP 2021000182A JP 2021000182 A JP2021000182 A JP 2021000182A JP 7301077 B2 JP7301077 B2 JP 7301077B2
Authority
JP
Japan
Prior art keywords
scenario
test
complexity
level
autonomous driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021000182A
Other languages
English (en)
Other versions
JP2021109653A (ja
Inventor
リー，チンユ
Original Assignee
アポロ インテリジェント ドライビング テクノロジー（ペキン）カンパニー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アポロ インテリジェント ドライビング テクノロジー（ペキン）カンパニー リミテッド filed Critical アポロ インテリジェント ドライビング テクノロジー（ペキン）カンパニー リミテッド
Publication of JP2021109653A publication Critical patent/JP2021109653A/ja
Application granted granted Critical
Publication of JP7301077B2 publication Critical patent/JP7301077B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0011—Planning or execution of driving tasks involving control alternatives for a single driving scenario, e.g. planning several paths to avoid obstacles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M17/00—Testing of vehicles
    • G01M17/007—Wheeled or endless-tracked vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/04—Monitoring the functioning of the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0243—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults model based detection method, e.g. first-principles knowledge model
    • G05B23/0254—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults model based detection method, e.g. first-principles knowledge model based on a quantitative model, e.g. mathematical relationships between inputs and outputs; functions: observer, Kalman filter, residual calculation, Neural Networks
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3684—Test management for test design, e.g. generating new test cases
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0019—Control system elements or transfer functions
    • B60W2050/0022—Gains, weighting coefficients or weighting functions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/04—Monitoring the functioning of the control system
    • B60W2050/041—Built in Test Equipment [BITE]

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Medical Informatics (AREA)
  • Game Theory and Decision Science (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Debugging And Monitoring (AREA)
  • Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)

Description

本発明は、テスト技術に関するものであり、特に自律走行の技術分野における自律走行システムのテスト方法、装置、電子機器、プログラム及びコンピュータ読み取り可能な記録媒体に関するものである。
車両性能テストは、車両の安全性を改善するための重要な手段である。特に自律走行車にとって、複数のテストシナリオを設定してテストすることは、自律走行車の安全性を確保するための不可欠な手段である。
しかし、自律走行テストのためのシナリオは、何千何万もの種類があり、それぞれのテストシナリオの重要性が区別できないので、毎回何千何万もの種類のシナリオをテストしなければならない。これにより、一方では、テストによるストレスを大幅に受けることになり、他方では、テストの効率が落ちる。
技術的課題を解決するために、本発明で採用された技術案は、自律走行システムのテスト方法、装置、電子機器及びコンピュータ読み取り可能な記録媒体を提供する。前記方法は、テスト待ちシナリオのシナリオ説明情報を取得するステップと、前記シナリオの説明情報について分析し、前記テスト待ちシナリオに対応するシナリオリスク、シナリオ確率及びシナリオ複雑度を決定するステップと、前記シナリオリスク、シナリオ確率及びシナリオ複雑度に基づいて、前記テスト待ちシナリオのシナリオ重みを取得するステップと、自律走行システムによるテスト待ちシナリオのテストに使用される、前記シナリオ重みに対応するテストサイクルを決定するステップと、を含む。これにより、自律走行システムのテストによるストレスを下げ、自律走行システムのテスト効率を高める。
本発明の一つの好ましい実施例によれば、前記シナリオ複雑度は、テスト待ちシナリオに対応する環境複雑度と任務複雑度を含む。当該ステップは、より多くの要素を結合してシナリオの複雑度を定義することができ、より実用的である。
本発明の一つの好ましい実施例によれば、前記シナリオリスク、シナリオ確率及びシナリオ複雑度に基づいて、前記テスト待ちシナリオのシナリオ重みを取得するステップは、シナリオリスクに基づいてリスクレベルを決定し、シナリオ確率に基づいて確率レベルを決定し、シナリオ複雑度に基づいて複雑度レベルを決定するステップと、前記リスクレベル、確率レベル及び複雑度レベルに対応する重み値を加算して、加算結果に基づいて前記テスト待ちシナリオのシナリオ重みを取得するステップを含む。当該ステップは、取得されるシナリオ重みの精度を高めることができる。
本発明の一つの好ましい実施例によれば、前記シナリオ複雑度に基づいて複雑度レベルを決定するステップは、基準シナリオに対応する基準複雑度を取得するステップと、シナリオ複雑度と基準複雑度を比較して、変化属性を決定し、各変化属性に対応するレベルアップ値を取得するステップと、取得したレベルアップ値と初期レベルとの間の加算結果に基づいて、複雑度レベルを決定するステップを含む。当該ステップは、シナリオの複雑度に含まれる各属性を十分に考慮することにより、決定される複雑度レベルの精度を高めることができる。
本発明の一つの好ましい実施例によれば、前記方法は、自律走行システムによる各テスト待ちシナリオのテストを行うとき現れた問題を取得するステップと、各テスト待ちシナリオに対応するシナリオ重みに基づいて、自律走行システムに現れた問題の重要性を決定するステップをさらに含む。当該ステップは、テスト待ちシナリオに対応するシナリオ重みに基づいて、問題の重要性をより正確に定義することができる。
本発明の一つの好ましい実施例によれば、前記方法は、自律走行システムが各テスト待ちシナリオをテストして得られた走行評点を取得するステップと、各テスト待ちシナリオに対応するシナリオ重みに基づいて、各走行評点について加重平均して、計算結果を自律走行システムの最終評点とするステップをさらに含む。当該ステップは、テスト待ちシナリオに対応するシナリオ重みに基づいて、自律走行システムの走行能力をより正確に評価することができる。
技術的課題を解決するために、本発明で採用された技術案は、自律走行システムのテスト装置を提供する。前記装置は、テスト待ちシナリオのシナリオ説明情報を取得する取得ユニットと、前記シナリオの説明情報について分析し、前記テスト待ちシナリオに対応するシナリオリスク、シナリオ確率及びシナリオ複雑度を決定する決定ユニットと、前記シナリオリスク、シナリオ確率及びシナリオ複雑度に基づいて、前記テスト待ちシナリオのシナリオ重みを取得するプロセッシング・ユニットと、自律走行システムによるテスト待ちシナリオのテストに使用される、前記シナリオ重みに対応するテストサイクルを決定するテストユニットと、を備える。
本発明の一つの好ましい実施例によれば、前記決定ユニットにより決定されたシナリオ複雑度は、テスト待ちシナリオに対応する環境複雑度と任務複雑度を含む。
本発明の一つの好ましい実施例によれば、前記プロセッシング・ユニットにおいて、前記シナリオリスク、シナリオ確率及びシナリオ複雑度に基づいて、前記テスト待ちシナリオのシナリオ重みを取得するとき、シナリオリスクに基づいてリスクレベルを決定し、シナリオ確率に基づいて確率レベルを決定し、シナリオ複雑度に基づいて複雑度レベルを決定し、前記リスクレベル、確率レベル及び複雑度レベルに対応する重み値を加算して、加算結果に基づいて前記テスト待ちシナリオのシナリオ重みを取得する。
本発明の一つの好ましい実施例によれば、前記プロセッシング・ユニットにおいて、前記シナリオ複雑度に基づいて複雑度レベルを決定するとき、基準シナリオに対応する基準複雑度を取得し、シナリオ複雑度と基準複雑度を比較して、変化属性を決定し、各変化属性に対応するレベルアップ値を取得し、取得したレベルアップ値と初期レベルとの間の加算結果に基づいて、複雑度レベルを決定する。
本発明の一つの好ましい実施例によれば、前記テストユニットにおいて、自律走行システムによる各テスト待ちシナリオのテストを行うとき現れた問題を取得し、各テスト待ちシナリオに対応するシナリオ重みに基づいて、自律走行システムに現れた問題の重要性を決定する。
本発明の一つの好ましい実施例によれば、前記テストユニットにおいて、自律走行システムが各テスト待ちシナリオをテストして得られた走行評点を取得し、各テスト待ちシナリオに対応するシナリオ重みに基づいて、各走行評点について加重平均して、計算結果を自律走行システムの最終評点とする。
上述の発明の一つの実施例は、自律走行システムのテストによるストレスを下げ、自律走行システムのテスト効率を向上させる利点または有益な効果がある。テスト待ちシナリオのシナリオリスク、シナリオ確率及びシナリオ複雑度を分析することを通してシナリオ重みを取得して、シナリオ重みに基づいて、テスト待ちシナリオに対応するテストサイクルを決定することにより、従来技術においてのそれぞれのテスト待ちシナリオの重要性が区別できないので、何千何万ものシナリオをテストしなければならない技術的課題を解決し、自律走行システムのテストによるストレスを下げ、自律走行システムのテスト効率を高める技術の効果を持つ。
上述の選択可能な方法の他の効果は、以下、具体的な実施例を参照して説明する。
図面は、本技術案をよりよく理解するために使用され、本発明は、これによって限定されない。
本発明の実施例１に係る自律走行システムのテスト方法のフローチャートである。 本発明の実施例２に係る自律走行システムのテスト装置の構成図である。 本発明の一実施例の自律走行システムをテストする方法を実現する電子機器のブロック図である。
以下、図面を参照しつつ、本発明の例示的な実施例について説明する。理解を助けるために、本発明に係る実施例の様々な詳細を説明するが、これらは単に例示的なものである。したがって、当業者は、本発明の範囲と思想を逸脱することなく、ここで説明された実施例に対して様々な変更や修正を行うことができることを理解すべきである。同様に、以下の説明では、明確性と簡潔性のため、公知の機能や構造の説明を省略する。
図１は、本発明の実施例１に係る自律走行システムのテスト方法のフローチャートであり、図１に示すように、前記方法は下記のステップを含む。
ステップＳ１０１で、テスト待ちシナリオのシナリオ説明情報を取得する。
当該ステップでは、テスト待ちシナリオのシナリオ説明情報を取得する。ここで、当該ステップにおいてのテスト待ちシナリオは、自律走行システムの走行性能をテストするための走行場所や走行状況の組合せである。取得されるシナリオの説明情報は、テスト待ちシナリオに対応する道路、交通機関、気象条件、交通参加者などの外部条件と自律走行システムの走行任務と状態を説明する情報である。
例えば、当該ステップにおいて取得したテスト待ちシナリオのシナリオ説明情報は、「昼の雪道で横断歩道を横切る」を含んでもよく、または「晴れの日、交差点で信号待ち」を含んでもよく、または「夜、バリアフリー道路区間で運転"を含んでもよい。
本発明における自律走行システムは、自律走行を実現できるシステムであってもよく、実際の自律走行車であってもよく、バーチャル自律走行のソフトウェアであってもよいことを理解することができる。
ステップＳ１０２で、前記シナリオの説明情報について分析し、前記テスト待ちシナリオに対応するシナリオリスク、シナリオ確率及びシナリオ複雑度を決定する。
当該ステップでは、ステップＳ１０１において取得したシナリオの説明情報について分析し、テスト待ちシナリオに対応するシナリオリスク、シナリオ確率及びシナリオ複雑度を決定する。
具体的には、当該ステップにおいて決定されるテスト待ちシナリオに対応するシナリオリスクは、テスト待ちシナリオにおいて自律走行システムに衝突リスクが存在していない、存在可能な衝突リスクが車両の衝突リスクや歩行者の衝突リスクであることを表す。ここで、車両の衝突リスクは、車両同士の間の衝突、車両と交通施設との間の衝突を含み、歩行者の衝突リスクは、車両と歩行者との間の衝突、車両とサイクリスト（自転車や電動自転車）との間の衝突、車とバイクの間の衝突を含む。
当該ステップにおいて決定されるテスト待ちシナリオに対応するシナリオ確率は、実際の走行でテスト待ちシナリオが発生される頻度を表し、低確率（年に数回以下発生）、中確率（平均して月に一回以上発生）と高確率（平均して走行するたびに発生）を含む。
当該ステップにおいて決定されるテスト待ちシナリオに対応するシナリオ複雑度は、テスト待ちシナリオに対応する環境複雑度と任務複雑度を含む。ここで、環境複雑度は、テスト待ちシナリオに対応する環境属性を表し、テスト待ちシナリオの道路種類（例えば、直線道路、交差点、スロープ、トンネル、山道など）、障害物の数量（例えば、障害物の数量が３個を超えまたは障害物の数量が３個以下）、気象条件（例えば、晴れ、雨、雪、霧）、照明条件（例えば、昼、夜、夜間照明）、路面条件（例えば、良い、濡れ、積雪、凍結）、湿度条件（例えば、高い、通常、低い）、温度条件（例えば、高い、通常、低い）及び気圧条件（例えば、高い、通常、低い）を含む。任務複雑度は、テスト待ちシナリオにおいて自律走行システムが実行する任務の任務種類を表し、任務種類は、例えば、「縦方向の制御」及び「縦方向の制御と横方向の制御」を含む。
例えば、取得したシナリオの説明情報が「晴れの日、交差点で交通信号待ち」である場合には、当該ステップにおいて決定された当該テスト待ちシナリオに対応するシナリオリスクは「歩行者の衝突リスク」であり、シナリオ確率は「高確率」であり、シナリオ複雑度は「交差点、障害物の数量が３個を超え、晴れ、昼、縦方向の制御」である。
また、当該ステップにおいてシナリオの説明情報について分析する際、既存の自然言語の理解を通じてシナリオの説明情報に含まれているシナリオリスク、シナリオ確率及びシナリオ複雑度を取得してもよく、事前にトレーニングして得られた機械学習モデルを使用して取得してもよい。すなわち、シナリオの説明情報を機械学習モデルに入力して、機械学習モデルの出力結果に基づいて、テスト待ちシナリオに対応するシナリオリスク、シナリオ確率及びシナリオ複雑度を取得する。
ステップＳ１０３で、前記シナリオリスク、シナリオ確率及びシナリオ複雑度に基づいて、前記テスト待ちシナリオのシナリオ重みを取得する。
当該ステップでは、ステップＳ１０２において取得されたシナリオリスク、シナリオ確率及びシナリオ複雑度に基づいて、テスト待ちシナリオのシナリオ重みを取得する。
具体的には、当該ステップにおいてシナリオリスク、シナリオ確率及びシナリオ複雑度に基づいて、テスト待ちシナリオのシナリオ重みを取得するとき、シナリオリスクに基づいてリスクレベルを決定し、シナリオ確率に基づいて確率レベルを決定し、シナリオ複雑度に基づいて複雑度レベルを決定して、決定されたリスクレベル、確率レベル及び複雑度レベルに対応する重み値の加算結果に基づいて、テスト待ちシナリオのシナリオ重みを取得することができる。
ここで、当該ステップにおいて３つのレベルに対応する重み値の加算結果を直接にテスト待ちシナリオのシナリオ重みとしてもよく、３つのレベルに対応する重み値の加算結果を得た後、加算結果が属する範囲に対応する数値をテスト待ちシナリオのシナリオ重みとしてもよい。
例えば、あるテスト待ちシナリオリスクレベルに対応する重み値が「２」であり、確率レベルに対応する重み値が「３」であり、複雑度レベルに対応する重み値が「２」である場合には、当該ステップでは、各重み値の加算結果「７」を直接に当該テスト待ちシナリオのシナリオ重みとすることができる。各レベルの重み値の加算結果「３-４」が「１」に対応し、加算結果「５-６」が「２」に対応し、加算結果「７-８」が「３」に対応し、加算結果「９」が「４」に対応している場合、当該ステップでは「３」を当該テストシナリオのシナリオ重みに決定することができる。
当該ステップにおいてシナリオリスクに基づいてリスクレベルを決定する際、事前に設定されたリスクとレベルとの間の対応関係に基づいて、決定されたシナリオリスクに対応するレベルをリスクレベルにすることができる。ここで、事前に設定されたリスクとレベルとの間の対応関係において、「無衝突リスク」はレベル「Ｒ１」に対応し、「車両の衝突リスク」はレベル「Ｒ２」に対応し、「歩行者の衝突リスク」はレベル「Ｒ３」に対応される。
当該ステップにおいてシナリオ確率に基づいて確率レベルを決定する際、事前に設定された確率とレベルとの間の対応関係に基づいて、決定されたシナリオ確率に対応するレベルを確率レベルにすることができる。ここで、事前に設定された確率とレベルとの間の対応関係において、「低確率」はレベル「Ｐ１」に対応し、「中確率」はレベル「Ｐ２」に対応し、「高確率」はレベル「Ｐ３」に対応される。
シナリオ複雑に含まれている属性が比較的に多いので、取得される複雑度レベルの精度を高めるために、当該ステップにおいてシナリオ複雑度に基づいて複雑度レベルを決定する際、基準シナリオに対応する基準複雑度を取得し、シナリオ複雑度と基準複雑度を比較して、変化属性を決定し、各変化属性に対応するレベルアップ値を取得して、取得されたレベルアップ値と初期レベルとの間の加算結果に基づいて、複雑度レベルを決定する。ここで、基準複雑度は、基準環境属性と基準任務属性を含み、基準環境属性は、「直線道路、障害物の数量が３個以下、晴れ、昼、路面良い」であり、基準任務属性は「縦方向の制御」であり、初期レベルは基準シナリオに対応され、初期レベルは０である。
当該ステップにおいて変化属性に対応するレベルアップ値は、事前に設定されたものであることを理解することができる。ここで「道路種類」である属性の変化際のレベルアップ値が「１」であり、「障害物の数量」である属性の変化際のレベルアップ値が「１」であり、「気象条件」である属性の変化際のレベルアップ値が「２」であり、「照明条件」である属性の変化際のレベルアップ値が「２」であり、「路面条件」である属性の変化際のレベルアップ値が「２」であり、任務の属性の変化際のレベルアップ値が「１」である。
当該ステップにおいてレベルアップ値と初期レベルとの間の加算結果に基づいて、複雑度レベルを決定する場合、加算結果に対応するレベルを複雑度レベルにすることができる。例えば、加算結果「０-１」をレベル「Ｃ１」に対応させ、加算結果」「２-３」をレベル「Ｃ２」に対応させ、加算結果「４-５」をレベル「Ｃ３」に対応させることができることを理解することができる。
例えば、シナリオ複雑度が基準複雑度に比べて、変化のある属性が「障害物の数量」、「気象条件」及び「路面条件」である場合には、当該ステップにおいて取得したレベルアップ値と初期レベルとの間の加算結果は「５」であり、したがって、当該シナリオ複雑度に対応する複雑度レベルが「Ｃ３」である。
当該ステップにおいて、各レベルに対応する重み値を取得する際、事前に設定されたレベルと重み値との間の対応関係に基づいて、リスクレベル、確率レベル及び複雑度レベルに対応する重み値をそれぞれ取得する。
ここで、当該ステップにおいて事前に設定されたレベルと重み値との間の対応関係は、下記の通りである。リスクレベル「Ｒ１」に対応する重み値は「１」であり、リスクレベル「Ｒ２」に対応する重み値は「２」であり、リスクレベル「Ｒ３」に対応する重み値は「３」である。確率レベル「Ｐ１」に対応する重み値は「１」であり、確率レベル「Ｐ２」に対応する重み値は「２」であり、確率レベル「Ｐ３」に対応する重み値は「３」である。複雑度レベル「Ｃ１」に対応する重み値は「１」であり、複雑度レベル「Ｃ２」に対応する重み値は「２」であり、複雑度レベル「Ｃ３」に対応する重み値は「３」である。
例えば、テスト待ちシナリオに対応するリスクレベルが「Ｒ１」であり、確率レベルが「Ｐ２」であり、複雑度レベルが「Ｃ３」であると決定された場合、当該テスト待ちシナリオのシナリオ重みは「６」になることができる。
ステップＳ１０４で、前記シナリオ重みに対応するテストサイクルを決定し、前記テストサイクルは、前記自律走行システムによるテスト待ちシナリオのテストに使用される。
当該ステップでは、ステップＳ１０３において取得されたシナリオ重みに対応するテストサイクルを決定し、決定されたテストサイクルは、自律走行システムによるテスト待ちシナリオのテストに使用される。ここで、シナリオ重みが大きいほど、対応するテストサイクルがより長く、例えば、自律走行システムの各バージョンについて、全部当該テスト待ちシナリオによるテストを行う。シナリオ重みが小さいほど対応するテストサイクルがより短く、例えば、自律走行システムの配布版のみについて、当該テスト待ちシナリオによるテストを行う。
本発明に係るテスト待ちシナリオのテストサイクルを決定する方法は、自律走行システムの一つの機能であってもよく、すなわち、自律走行システムによりテスト待ちシナリオのテストサイクルを決定した後、当該テスト待ちシナリオに対するテストを行う。本発明に係るテスト待ちシナリオのテストサイクルを決定する方法は、独立の機能によって実現されてもよく、すなわち、テスト待ちシナリオのテストサイクルを決定した後、当該テストサイクルを自律走行システムに送信して、当該テストサイクルに基づいて、自律走行システムによるテスト待ちシナリオに対するテストを行うことができることを理解することができる。
また、決定されたテストサイクルに基づいて、自律走行システムによるテスト待ちシナリオに対するテストを行った後、当該ステップは、自律走行システムによる各テスト待ちシナリオのテストを行うとき現れた問題を取得して、各テスト待ちシナリオに対応するシナリオ重みに基づいて、現れた問題の重要性を決定することをさらに含むことができる。ここで、テスト待ちシナリオに対応するシナリオ重みが大きいほど、当該シナリオにおいてテストするとき現れた問題の重要性がより高い。したがって、当該ステップは、テスト待ちシナリオのシナリオ重みに基づいて、開発者に、より明確な問題解決の優先順位を提供することができ、開発効率を向上させることができる。
また、自律走行システムによるテスト待ちシナリオに対するテストが完了すると、各テストシナリオにおいての自律走行システムの走行評点が提供され、テスト待ちシナリオの間は難易度に差があるので、各走行評点の平均値を直接に自律走行システムの評価とする場合、不合理でかつ不正確である。
したがって、自律走行システムの走行能力について、より合理的かつ正確に評価するために、決定されたテストサイクルに基づいて、自律走行システムによるテスト待ちシナリオに対するテストを行った後、当該ステップは、自律走行システムが各テスト待ちシナリオをテストして得られた走行評点を取得し、各テスト待ちシナリオに対応するシナリオ重みに基づいて、各走行評点について加重平均して、計算結果を自律走行システムの最終評点とすることをさらに含むことができる。したがって、当該ステップは、シナリオ重みを使用して、重要なシナリオの走行評点の影響を拡大させ、重要ではないシナリオの走行評点の影響を減少させ、より正確に自律走行システムの走行能力を評価することができる。
例えば、テスト待ちシナリオ１について自律走行システムがテストして得られた走行評点が９０であり、テスト待ちシナリオ２についてテストして得られた走行評点が８０であり、テスト待ちシナリオ１のシナリオ重みが１であり、テスト待ちシナリオ２のシナリオ重みが４である場合、当該ステップにおいて得られた自律走行システムの最終評点は（９０×１ + ８０×４）/（４ + １）= ８２である。
したがって、本発明は、テスト待ちシナリオのシナリオ重みを取得することを通じ、それぞれのテスト待ちシナリオの重要性を区別することができ、重要なテスト待ちシナリオのテスト次数を増加させ、重要ではないテスト待ちシナリオのテスト次数を減少させ、自律走行システムをテストするテスト効率を高め、シナリオ重みとテスト結果に基づいて、自律走行システムをテストするテスト品質をより向上させることができる。
図２は、本発明の一の実施例によって提供される自律走行システムをテストするための装置の構成図であり、図２に示すように、前記装置は、取得ユニット２０１、決定ユニット２０２、プロセッシング・ユニット２０３とテストユニット２０４を備える。
取得ユニット２０１は、テスト待ちシナリオのシナリオ説明情報を取得する。
取得ユニット２０１は、テスト待ちシナリオのシナリオ説明情報を取得する。ここで、取得ユニット２０１の中のテスト待ちシナリオは、自律走行システムの走行性能をテストするための走行場所や走行状況の組合せである。取得ユニット２０１により取得されるシナリオの説明情報は、テスト待ちシナリオに対応する道路、交通機関、気象条件、交通参加者などの外部条件と自律走行システムの走行任務と状態を説明する情報である。
本発明における自律走行システムは、自律走行を実現できるシステムであってもよく、実際の自律走行車であってもよく、バーチャル自律走行のソフトウェアであってもよいことを理解することができる。
決定ユニット２０２は、前記シナリオの説明情報について分析し、前記テスト待ちシナリオに対応するシナリオリスク、シナリオ確率及びシナリオ複雑度を決定する。
決定ユニット２０２は、取得ユニット２０１により取得したシナリオの説明情報について分析し、テスト待ちシナリオに対応するシナリオリスク、シナリオ確率及びシナリオ複雑度を決定する。
具体的には、決定ユニット２０２により決定されるテスト待ちシナリオに対応するシナリオリスクは、テスト待ちシナリオにおいて自律走行システムに衝突リスクが存在していない、存在可能な衝突リスクが車両の衝突リスクや歩行者の衝突リスクであることを表す。ここで、車両の衝突リスクは、車両同士の間の衝突、車両と交通施設との間の衝突を含み、歩行者の衝突リスクは、車両と歩行者との間の衝突、車両とサイクリスト（自転車や電動自転車）との間の衝突、車とバイクの間の衝突を含む。
決定ユニット２０２により決定されるテスト待ちシナリオに対応するシナリオ確率は、実際の走行でテスト待ちシナリオが発生される頻度を表し、低確率（年に数回以下発生）、中確率（平均して月に一回以上発生）と高確率（平均して走行するたびに発生）を含む。
決定ユニット２０２により決定されるテスト待ちシナリオに対応するシナリオ複雑度は、テスト待ちシナリオに対応する環境複雑度と任務複雑度を含む。ここで、環境複雑度は、テスト待ちシナリオに対応する環境属性を表し、テスト待ちシナリオの道路種類（例えば、直線道路、交差点、スロープ、トンネル、山道など）、障害物の数量（例えば、障害物の数量が３個を超えまたは障害物の数量が３個以下）、気象条件（例えば、晴れ、雨、雪、霧）、照明条件（例えば、昼、夜、夜間照明）、路面条件（例えば、良い、濡れ、積雪、凍結）、湿度条件（例えば、高い、通常、低い）、温度条件（例えば、高い、通常、低い）及び気圧条件（例えば、高い、通常、低い）を含む。任務複雑度は、テスト待ちシナリオにおいて自律走行システムが実行する任務の任務種類を表し、任務種類は、例えば、「縦方向の制御」及び「縦方向の制御と横方向の制御」を含む。
また、決定ユニット２０２はシナリオの説明情報について分析する際、既存の自然言語の理解を通じてシナリオの説明情報に含まれているシナリオリスク、シナリオ確率及びシナリオ複雑度を取得してもよく、決定ユニット２０２は事前にトレーニングして得られた機械学習モデルを使用して取得してもよい。すなわち、シナリオの説明情報を機械学習モデルに入力して、機械学習モデルの出力結果に基づいて、テスト待ちシナリオに対応するシナリオリスク、シナリオ確率及びシナリオ複雑度を取得する。
プロセッシング・ユニット２０３は、前記シナリオリスク、シナリオ確率及びシナリオ複雑度に基づいて、前記テスト待ちシナリオのシナリオ重みを取得する。
プロセッシング・ユニット２０３は、取得ユニット２０２により取得されたシナリオリスク、シナリオ確率及びシナリオ複雑度に基づいて、テスト待ちシナリオのシナリオ重みを取得する。
具体的には、プロセッシング・ユニット２０３は、シナリオリスク、シナリオ確率及びシナリオ複雑度に基づいて、テスト待ちシナリオのシナリオ重みを取得するとき、シナリオリスクに基づいてリスクレベルを決定し、シナリオ確率に基づいて確率レベルを決定し、シナリオ複雑度に基づいて複雑度レベルを決定して、決定されたリスクレベル、確率レベル及び複雑度レベルに対応する重み値の加算結果に基づいて、テスト待ちシナリオのシナリオ重みを取得することができる。
ここで、プロセッシング・ユニット２０３は、３つのレベルに対応する重み値の加算結果を直接にテスト待ちシナリオのシナリオ重みとしてもよく、３つのレベルに対応する重み値の加算結果を得た後、加算結果が属する範囲に対応する数値をテスト待ちシナリオのシナリオ重みとしてもよい。
プロセッシング・ユニット２０３は、シナリオリスクに基づいてリスクレベルを決定する際、事前に設定されたリスクとレベルとの間の対応関係に基づいて、決定されたシナリオリスクに対応するレベルをリスクレベルにすることができる。ここで、事前に設定されたリスクとレベルとの間の対応関係において、「無衝突リスク」はレベル「Ｒ１」に対応し、「車両の衝突リスク」はレベル「Ｒ２」に対応し、「歩行者の衝突リスク」はレベル「Ｒ３」に対応される。
プロセッシング・ユニット２０３は、シナリオ確率に基づいて確率レベルを決定する際、事前に設定された確率とレベルとの間の対応関係に基づいて、決定されたシナリオ確率に対応するレベルを確率レベルにすることができる。ここで、事前に設定された確率とレベルとの間の対応関係において、「低確率」はレベル「Ｐ１」に対応し、「中確率」はレベル「Ｐ２」に対応し、「高確率」はレベル「Ｐ３」に対応される。
シナリオ複雑に含まれている属性が比較的多いので、取得される複雑度レベルの精度を高めるために、プロセッシング・ユニット２０３は、シナリオ複雑度に基づいて複雑度レベルを決定する際、基準シナリオに対応する基準複雑度を取得し、シナリオ複雑度と基準複雑度を比較して、変化属性を決定し、各変化属性に対応するレベルアップ値を取得して、取得されたレベルアップ値と初期レベルとの間の加算結果に基づいて、複雑度レベルを決定する。ここで、基準複雑度は、基準環境属性と基準任務属性を含み、基準環境属性は、「直線道路、障害物の数量が３個以下、晴れ、昼、路面良い」であり、基準任務属性は「縦方向の制御」であり、初期レベルは基準シナリオに対応され、初期レベルは０である。
プロセッシング・ユニット２０３の中の変化属性に対応するレベルアップ値は、事前に設定されたものであることを理解することができる。ここで「道路種類」である属性の変化際のレベルアップ値が「１」であり、「障害物の数量」である属性の変化際のレベルアップ値が「１」であり、「気象条件」である属性の変化際のレベルアップ値が「２」であり、「照明条件」である属性の変化際のレベルアップ値が「２」であり、「路面条件」である属性の変化際のレベルアップ値が「２」であり、任務の属性の変化際のレベルアップ値が「１」である。
プロセッシング・ユニット２０３は、レベルアップ値と初期レベルとの間の加算結果に基づいて、複雑度レベルを決定する場合、加算結果に対応するレベルを複雑度レベルにすることができることを理解することができる。
プロセッシング・ユニット２０３は、各レベルに対応する重み値を取得する際、事前に設定されたレベルと重み値との間の対応関係に基づいて、リスクレベル、確率レベル及び複雑度レベルに対応する重み値をそれぞれ取得する。
ここで、プロセッシング・ユニット２０３の中の事前に設定されたレベルと重み値との間の対応関係は、下記の通りである。リスクレベル「Ｒ１」に対応する重み値は「１」であり、リスクレベル「Ｒ２」に対応する重み値は「２」であり、リスクレベル「Ｒ３」に対応する重み値は「３」である。確率レベル「Ｐ１」に対応する重み値は「１」であり、確率レベル「Ｐ２」に対応する重み値は「２」であり、確率レベル「Ｐ３」に対応する重み値は「３」である。複雑度レベル「Ｃ１」に対応する重み値は「１」であり、複雑度レベル「Ｃ２」に対応する重み値は「２」であり、複雑度レベル「Ｃ３」に対応する重み値は「３」である。
テストユニット２０４は、前記シナリオ重みに対応するテストサイクルを決定し、前記テストサイクルは、前記自律走行システムによるテスト待ちシナリオのテストに使用される。
テストユニット２０４は、プロセッシング・ユニット２０３に取得されたシナリオ重みに対応するテストサイクルを決定し、決定されたテストサイクルは、自律走行システムによるテスト待ちシナリオのテストに使用される。ここで、シナリオ重みが大きいほど、対応するテストサイクルがより長く、シナリオ重みが小さいほど対応するテストサイクルがより短い。
また、自律走行システムで決定されたテストサイクルに応じて、テスト待ちシナリオテストを行った後、テストユニット２０４は、自律走行システムによる各テスト待ちシナリオのテストを行うとき現れた問題を取得して、各テスト待ちシナリオに対応するシナリオ重みに基づいて、現れた問題の重要性を決定する。ここで、テスト待ちシナリオに対応するシナリオ重みが大きいほど、当該シナリオにおいてテストするとき現れた問題の重要性がより高い。したがって、テストユニット２０４は、テスト待ちシナリオのシナリオ重みに基づいて、開発者に、より明確な問題解決の優先順位を提供することができ、開発効率を向上させることができる。
また、自律走行システムによるテスト待ちシナリオに対するテストが完了すると、各テストシナリオにおいての自律走行システムの走行評点が提供され、テスト待ちシナリオの間は難易度に差があるので、各走行評点の平均値を直接に自律走行システムの評価とする場合、不合理でかつ不正確である。
したがって、自律走行システムの走行能力について、より合理的かつ正確に評価するために、決定されたテストサイクルに基づいて、自律走行システムによるテスト待ちシナリオに対するテストを行った後、テストユニット２０４は、自律走行システムが各テスト待ちシナリオをテストして得られた走行評点を取得し、各テスト待ちシナリオに対応するシナリオ重みに基づいて各走行評点について加重平均して、計算結果を自律走行システムの最終評点とすることができる。したがって、テストユニット２０４は、シナリオ重みを使用して、重要なシナリオの走行評点の影響を拡大させ、重要ではないシナリオの走行評点の影響を減少させ、より正確に自律走行システムの走行能力を評価することができる。
図３に示すように、図面は、本発明の実施例に係る自律走行システムをテストする方法の電子機器のブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレームコンピュータ及びその他の適切なコンピュータなど、様々な形態のデジタルコンピュータを意味する。電子機器は、パーソナルデジタルアシスタント、携帯電話、スマートフォン、ウェアラブルデバイス及びその他の類似なコンピュータデバイスなどの様々な形態のモバイルデバイスを意味することもできる。ここで示されている部材、これらの接続、関係及び機能は、単に例示的なものにすぎず、本明細書の説明及び/または要求する本発明の実現を制限するものではない。
図３に示すように、当該電子機器は、１つまたは複数のプロセッサ３０１、メモリ３０２及び各部材を接続するインタフェースを備え、インターフェースは、高速インタフェースと低速インタフェースを含む。各部材は、異なるバスを介して相互に接続され、共通のマザーボードに配置されるか、必要に応じて他の方法で配置することができる。プロセッサは、電子機器で実行されるコマンドを処理することができ、外部の入力/出力装置（例えば、インターフェイスに接続されたディスプレイ装置）にＧＵＩのグラフィック情報を表示するためのメモリに格納されたコマンドを含む。他の実施例では、必要に応じて、複数のプロセッサ及び/または複数のバスと、複数のメモリを使用してもよい。同様に、複数の電子機器を接続することができ、各電子機器は一部の必要な動作を提供する（例えば、サーバーアレイ、１つのブレードサーバのグループまたはマルチプロセッサシステム）。図３では、プロセッサ３０１が一つであることを例にする。
メモリ３０２は、本実施例で提供される不揮発性のコンピュータ読み取り可能な記録媒体である。ここで、少なくとも一つのプロセッサにより、本発明で提供される自律走行システムをテストするテスト方法を実行するように、メモリは、少なくとも一つのプロセッサによって実行可能なコマンドを格納する。本発明の不揮発性のコンピュータ読み取り可能な記録媒体は、コンピュータにより本発明が提供する自律走行システムをテストする方法を実行するためのコンピュータコマンドを格納する。
メモリ３０２は、不揮発性のコンピュータ読み取り可能な記録媒体として、不揮発性のソフトウェアプログラム、不揮発性のコンピュータが実行可能なプログラムとモジュールは、例えば、本発明の実施例の自律走行システムをテストする方法に対応するプログラムコマンド/モジュール（例えば、図２に示される取得ユニット２０１、決定ユニット２０２、プロセッシング・ユニット２０３及びテストユニット２０４）を格納することができる。プロセッサ３０１は、メモリ３０２に格納された不揮発性のソフトウェアプログラム、コマンド及びモジュールを実行することで、サーバーの各種機能アプリケーション（ｆｕｎｃｔｉｏｎ ａｐｐｌｉｃａｔｉｏｎ）とデータ処理を実行する。すなわち、前記方法の実施例の中の自律走行システムをテストする方法を実現する。
メモリ３０２は、プログラムの格納領域とデータの格納領域を含むことができ、ここで、プログラムの格納領域は、オペレーティングシステム、少なくとも一つの機能に必要なアプリケーションを格納することができる。データの格納領域は、自律走行システムをテストする電子機器の使用によって生成されたデータなどを格納することができる。また、メモリ３０２は、高速ランダムアクセスメモリを備えてもよく、不揮発性メモリをさらに備えてもよく、例えば、少なくとも一つのディスクメモリ素子、フラッシュメモリ素子またはその他の非揮発性の固体メモリ素子をさらに備えてもより。一部の実施形態では、メモリ３０２は、プロセッサ３０１に対して遠隔的に配置されたメモリを選択的に備えてもよく、これらの遠隔メモリは、ネットワークを介して自律走行システムをテストする企業のイントラネットの電子機器に接続することができる。上述のネットワークの例は、インターネット、、ＬＡＮ、移動通信網及びこれらの組み合わせを含むものの、これらに限定されない。
自律走行システムをテストする電子機器は、入力装置３０３と出力装置３０４をさらに備えてもよい。プロセッサ３０１、メモリ３０２、入力装置３０３及び出力装置３０４は、バスまたは他の手段により接続することができ、図３では、バスを介して接続されていることを例にした。
入力装置３０３は、数値や文字情報が入力されることができ、自律走行システムをテストする電子機器のユーザー設定及び機能の制御に関連するキー信号の入力を生成する。例えば、タッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、ポインティングスティック、複数のマウスボタン、トラックボール、ジョイスティックなどの入力装置であってもよい。出力装置３０４は、ディスプレイ装置、補助照明装置（例えばおりＬＥＤ）、触覚フィードバック装置（例えば、振動モータ）などを含むことができる。当該ディスプレイ装置は、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ及びプラズマディスプレイを含むことができるものの、これに限定されない。一部の実施形態では、ディスプレイ装置はタッチスクリーンであってもよい。
ここで説明されたシステム及び技術の各実施形態は、デジタル電子回路システム、集積回路システム、専用ＡＳIＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア及び/またはこれらの組み合わせで実現されることができる。これらの各実施形態は、下記のような内容を含むことができる。すなわち、複数のコンピュータプログラムにより実装され、複数のコンピュータプログラムは、少なくとも一つのプログラム可能なプロセッサ（Ｐｒｏｇｒａｍｍａｂｌｅ ｐｒｏｃｅｓｓｏｒ）を含むプログラム可能なシステムにより実行及び/または解釈することができる。当該プログラム可能なプロセッサは、ストレージシステム、少なくとも１つの入力装置と少なくとも一つの出力装置からデータ及びコマンドを受信し、データやコマンドをストレージシステム、当該少なくとも１つの入力装置と、当該少なくとも一つの出力装置に転送することができる専用または汎用のプログラム可能なプロセッサであってもよい。
これらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーションまたはコードとも呼ばれる）には、プログラム可能なプロセッサのマシンコマンド（ｍａｃｈｉｎｅ ｉｎｓｔｒｕｃｔｉｏｎ）が含まれ、高度なプロセス（ａｄｖａｃｅｄ ｐｒｏｃｅｓｓ）及び/またはオブジェクト指向プログラミング言語及び/またはアセンブリ/機械言語を使用して、これらのコンピュータプログラムを実装することができる。本明細書で使用される「機械可読媒体」及び「コンピュータ可読媒体」という用語は、マシンコマンド及び/またはデータをプログラム可能なプロセッサに提供するために使用される任意のコンピュータプログラム製品、デバイス及び/または装置（磁気ディスク、光ディスク、メモリ、プログラム可能な論理素子（ＰＬＤ））を意味する。例えば、マシンコマンドを機械可読信号として受信する機械可読媒体を含む。用語「機械読取可能信号」は、機械コマンド及び/またはデータをプログラム可能なプロセッサに提供するために使用される任意の信号を意味する。
ユーザーとの相互作用を提供するために、コンピュータで、ここで説明されたシステム及び技術を実施することができる。当該コンピュータは、ユーザーに情報を表示するディスプレイ装置（例えば、ＣＲT（陰極線管）またはＬＣＤ（液晶ディスプレイ）モニタ））及びユーザーコンピュータへの入力に使用されるキーボードとポインティングデバイス（例えば、マウスまたはトラックボール）を備える。他のタイプの装置を使用して、ユーザーとの相互作用を提供してもよい。例えば、ユーザーに提供されるフィードバックは、任意の形態のセンサーフィードバック（例えば、視覚的なフィードバック、聴覚的フィードバックまたは触覚的フィードバック）であってもよく、任意の形態（音響入力、音声入力または触覚入力）を使用してユーザーからの入力を受けることができる。
ここで説明されたシステム及び技術は、バックグラウンド部材を具備するコンピューティングシステム（例えば、データサーバ）またはミドルウェア部材を具備するコンピューティングシステム（例えば、アプリケーションサーバ）またはフロントエンド部材を具備するコンピューティングシステム（例えば、グラフィカルユーザーインターフェイスまたはＷｅｂブラウザを有するユーザーコンピュータであり、ユーザーは、ユーザーインターフェイスまたはＷｅｂブラウザを介して、ここで説明されたシステム及び技術の実施形態と相互作用することができる）またはこれらのバックグラウンド部材、ミドルウェア部材またはフロントエンド部材の任意の組み合わせで構成されたコンピューティングシステムで実施することができる。システムの部材の間は、任意の形態または媒体のデジタルデータ通信（例えば、通信ネットワーク）を介して互いに接続することができる。通信ネットワークの例としては、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ、（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットがある。
コンピュータシステムは、クライアントとサーバーとを有することができる。クライアントとサーバは、一般的に、互いに離れており、一般的に通信ネットワークを介して相互作用する。クライアントとサーバーとの関係は、対応するコンピュータで互いにクライアント - サーバ関係があるコンピュータプログラムを実行することによって生成される。
本発明の実施例の技術案によると、従来技術においてのそれぞれのテスト待ちシナリオの重要性が区別できないので、何千何万ものシナリオをテストしなければならない技術的課題を解決し、自律走行システムのテストによるストレスを下げ、自律走行システムのテスト効率を高める技術の効果を持つ。
上述の各形態のプロセスを使用して、ステップについて再整列、追加または削除することができていることを理解しなければならない。例えば、本発明で説明された技術案の望ましい結果を達成することができる限り、本発明で説明された各ステップは、並列に実行されてもよく、順序に実行されてもよく、他の順序に実行されてもよく、本明細書は、これについて限定しない。
上述の具体的な実施形態は、本発明の保護範囲の限定を成すない。当業者は、設計要件及びその他の要因に応じて様々な修正、組み合わせ、サブの組み合わせ及び置換を行うことができていることを理解しなければならない。本発明の主旨と原則内で行われたすべての修正、均等置換及び改善は、全部本発明の保護範囲に含まれる。

Claims (15)

  1. コンピュータにより実行される自律走行システムのテスト方法であって、
    テスト待ちシナリオのシナリオ説明情報を取得するステップと、
    前記シナリオ説明情報について分析し、前記テスト待ちシナリオに対応するシナリオリスク、シナリオ確率及びシナリオ複雑度を決定するステップと、
    前記シナリオリスク、前記シナリオ確率及び前記シナリオ複雑度に基づいて、前記テスト待ちシナリオのシナリオ重みを取得するステップと、
    自律走行システムによるテスト待ちシナリオのテストに使用される、前記シナリオ重みに対応するテストサイクルを決定するステップと、を含む自律走行システムのテスト方法。
  2. 前記シナリオ複雑度は、テスト待ちシナリオに対応する環境複雑度と任務複雑度とを含む請求項１に記載の自律走行システムのテスト方法。
  3. 前記シナリオリスク、前記シナリオ確率及び前記シナリオ複雑度に基づいて、前記テスト待ちシナリオのシナリオ重みを取得するステップは、
    シナリオリスクに基づいてリスクレベルを決定し、シナリオ確率に基づいて確率レベルを決定し、シナリオ複雑度に基づいて複雑度レベルを決定するステップと、
    前記リスクレベル、前記確率レベル及び前記複雑度レベルに対応する重み値を加算して、加算結果に基づいて前記テスト待ちシナリオのシナリオ重みを取得するステップと、を含む請求項１に記載の自律走行システムのテスト方法。
  4. 前記シナリオ複雑度に基づいて複雑度レベルを決定するステップは、
    基準シナリオに対応する基準複雑度を取得するステップと、
    シナリオ複雑度と基準複雑度を比較して変化属性を決定し、各変化属性に対応するレベルアップ値を取得するステップと、
    取得したレベルアップ値と初期レベルとの間の加算結果に基づいて、複雑度レベルを決定するステップと、を含む請求項３に記載の自律走行システムのテスト方法。
  5. 自律走行システムによる各テスト待ちシナリオのテストを行うときに現れた問題を取得するステップと、
    各テスト待ちシナリオに対応するシナリオ重みに基づいて、自律走行システムに現れた問題の重要性を決定するステップと、をさらに含む請求項１に記載の自律走行システムのテスト方法。
  6. 自律走行システムが各テスト待ちシナリオをテストして得られた走行評点を取得するステップと、
    各テスト待ちシナリオに対応するシナリオ重みに基づいて、各走行評点について加重平均して、計算結果を自律走行システムの最終評点とするステップと、をさらに含む請求項１に記載の自律走行システムのテスト方法。
  7. テスト待ちシナリオのシナリオ説明情報を取得する取得ユニットと、
    前記シナリオ説明情報について分析し、前記テスト待ちシナリオに対応するシナリオリスク、シナリオ確率及びシナリオ複雑度を決定する決定ユニットと、
    前記シナリオリスク、前記シナリオ確率及び前記シナリオ複雑度に基づいて、前記テスト待ちシナリオのシナリオ重みを取得するプロセッシング・ユニットと、
    自律走行システムによるテスト待ちシナリオのテストに使用される、前記シナリオ重みに対応するテストサイクルを決定するテストユニットと、を備える自律走行システムのテスト装置。
  8. 前記決定ユニットにより決定されたシナリオ複雑度は、テスト待ちシナリオに対応する環境複雑度と任務複雑度とを含む請求項７に記載の自律走行システムのテスト装置。
  9. 前記プロセッシング・ユニットにおいて、前記シナリオリスク、前記シナリオ確率及び前記シナリオ複雑度に基づいて、前記テスト待ちシナリオのシナリオ重みを取得するとき、
    シナリオリスクに基づいてリスクレベルを決定し、シナリオ確率に基づいて確率レベルを決定し、シナリオ複雑度に基づいて複雑度レベルを決定し、
    前記リスクレベル、前記確率レベル及び前記複雑度レベルに対応する重み値を加算して、加算結果に基づいて前記テスト待ちシナリオのシナリオ重みを取得する請求項７に記載の自律走行システムのテスト装置。
  10. 前記プロセッシング・ユニットにおいて、前記シナリオ複雑度に基づいて複雑度レベルを決定するとき、
    基準シナリオに対応する基準複雑度を取得し、
    シナリオ複雑度と基準複雑度を比較して、変化属性を決定し、各変化属性に対応するレベルアップ値を取得し、
    取得したレベルアップ値と初期レベルとの間の加算結果に基づいて、複雑度レベルを決定する請求項９に記載の自律走行システムのテスト装置。
  11. 前記テストユニットにおいて、
    自律走行システムによる各テスト待ちシナリオのテストを行うとき現れた問題を取得し、
    各テスト待ちシナリオに対応するシナリオ重みに基づいて、自律走行システムに現れた問題の重要性を決定する請求項７に記載の自律走行システムのテスト装置。
  12. 前記テストユニットにおいて、
    自律走行システムが各テスト待ちシナリオをテストして得られた走行評点を取得し、
    各テスト待ちシナリオに対応するシナリオ重みに基づいて、各走行評点について加重平均して、計算結果を自律走行システムの最終評点とする請求項７に記載の自律走行システムのテスト装置。
  13. 少なくとも一つのプロセッサと、
    前記少なくとも一つのプロセッサに通信接続されているメモリとを備え、
    前記メモリには、前記少なくとも一つのプロセッサによって実行可能なコマンドが格納されており、前記少なくとも一つのプロセッサによって、請求項１乃至請求項６のいずれか一項に記載の自律走行システムのテスト方法が実行されるように、前記コマンドが前記少なくとも一つのプロセッサによって実行される電子機器。
  14. コンピュータに請求項１乃至請求項６のいずれか一項に記載の自律走行システムのテスト方法を実行させるためのコンピュータコマンドが格納されている不揮発性のコンピュータ読み取り可能な記録媒体。
  15. コンピュータに請求項１乃至請求項６のいずれか一項に記載の自律走行システムのテスト方法を実行させるためのコンピュータプログラム。
JP2021000182A 2020-01-02 2021-01-04 自律走行システムのテスト方法、装置、電子機器、プログラム及びコンピュータ読み取り可能な記録媒体 Active JP7301077B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010002080.X 2020-01-02
CN202010002080.XA CN111122175B (zh) 2020-01-02 2020-01-02 测试自动驾驶系统的方法以及装置

Publications (2)

Publication Number Publication Date
JP2021109653A JP2021109653A (ja) 2021-08-02
JP7301077B2 true JP7301077B2 (ja) 2023-06-30

Family

ID=70507466

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021000182A Active JP7301077B2 (ja) 2020-01-02 2021-01-04 自律走行システムのテスト方法、装置、電子機器、プログラム及びコンピュータ読み取り可能な記録媒体

Country Status (5)

Country Link
US (1) US11556128B2 (ja)
EP (1) EP3846035B1 (ja)
JP (1) JP7301077B2 (ja)
KR (1) KR102487336B1 (ja)
CN (1) CN111122175B (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111523515A (zh) * 2020-05-13 2020-08-11 北京百度网讯科技有限公司 自动驾驶车辆环境认知能力评价方法、设备及存储介质
CN111652153B (zh) * 2020-06-04 2023-12-22 北京百度网讯科技有限公司 场景自动识别方法、装置、无人车及存储介质
CN111858927B (zh) * 2020-06-09 2023-11-24 阿波罗智能技术(北京)有限公司 数据测试方法、装置、电子设备及存储介质
CN111695199B (zh) * 2020-06-09 2023-09-05 北京百度网讯科技有限公司 自动驾驶测试方法、装置、设备及存储介质
CN111783226B (zh) * 2020-06-29 2024-03-19 北京百度网讯科技有限公司 生成自动驾驶场景度量参数的方法、装置、电子设备和存储介质
CN111765903B (zh) * 2020-06-29 2022-08-09 阿波罗智能技术(北京)有限公司 自动驾驶车辆的测试方法、装置、电子设备和介质
CN112541408B (zh) * 2020-11-30 2022-02-25 北京深睿博联科技有限责任公司 可行区域识别方法、装置、设备及计算机可读存储介质
CN112583414A (zh) * 2020-12-11 2021-03-30 北京百度网讯科技有限公司 场景处理方法、装置、设备、存储介质以及产品
CN112559371B (zh) * 2020-12-24 2023-07-28 北京百度网讯科技有限公司 一种自动驾驶测试方法、装置及电子设备
CN112744223B (zh) * 2021-01-18 2022-04-15 北京智能车联产业创新中心有限公司 自动驾驶车辆交叉路口表现评价方法及系统
CN112765812B (zh) * 2021-01-19 2021-09-07 中国科学院软件研究所 一种无人系统决策策略的自主能力快速测评方法及系统
CN113119999B (zh) * 2021-04-16 2024-03-12 阿波罗智联(北京)科技有限公司 自动驾驶特征的确定方法、装置、设备、介质及程序产品
CN112997128B (zh) * 2021-04-19 2022-08-26 华为技术有限公司 一种自动驾驶场景的生成方法、装置及系统
CN113609016B (zh) * 2021-08-05 2024-03-15 北京赛目科技股份有限公司 车辆自动驾驶测试场景的构建方法、装置、设备及介质
US20230042001A1 (en) * 2021-08-06 2023-02-09 Baidu Usa Llc Weighted planning trajectory profiling method for autonomous vehicle
CN113642108B (zh) * 2021-08-11 2023-11-10 北京航空航天大学 一种无人车十字路口通行场景关键测试案例生成方法
CN113688042B (zh) * 2021-08-25 2023-06-27 北京赛目科技有限公司 测试场景的确定方法、装置、电子设备及可读存储介质
CN114166520A (zh) * 2021-08-27 2022-03-11 东风汽车集团股份有限公司 汽车adas场景识别功能的测试方法
CN113989767B (zh) * 2021-09-29 2024-08-23 天翼交通科技有限公司 一种自动驾驶测试场景复杂度分析方法及系统
CN114065549B (zh) * 2021-11-30 2023-04-07 广州文远知行科技有限公司 自动驾驶水平评估方法、装置、设备及存储介质
KR102636586B1 (ko) * 2021-12-03 2024-02-14 (주)컨트롤웍스 자율 주행 차량의 주행 테스트 제어 장치 및 방법
CN114544191B (zh) * 2021-12-28 2024-05-03 文远苏行(江苏)科技有限公司 自动驾驶测试场景量化评估方法及相关设备
CN114973656B (zh) * 2022-05-10 2024-08-09 清华大学 交通交互性能的评估方法、装置、设备、介质和产品
CN115035718B (zh) * 2022-06-02 2023-04-18 东风汽车集团股份有限公司 基于车辆动作类型和次数的场景复杂度评价方法
CN115049912A (zh) * 2022-06-09 2022-09-13 北京赛目科技有限公司 自动驾驶的场景筛选方法、装置、电子设备及存储介质
CN115376324B (zh) * 2022-10-24 2023-03-24 中国汽车技术研究中心有限公司 车辆场景复杂度确定方法
CN115828638B (zh) * 2023-01-09 2023-05-23 西安深信科创信息技术有限公司 一种自动驾驶测试场景脚本生成方法、装置及电子设备
CN116106839B (zh) * 2023-03-22 2023-08-22 武汉中关村硬创空间科技有限公司 车载雷达可靠性检测方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019043157A (ja) 2017-08-29 2019-03-22 トヨタ自動車株式会社 自動運転評価装置及び自動運転評価方法
JP2019185783A (ja) 2018-04-12 2019-10-24 バイドゥ ユーエスエイ エルエルシーＢａｉｄｕ ＵＳＡ ＬＬＣ シミュレーションプラットフォームに配置された、機械学習モデルを訓練するためのシステム及び方法
JP2019202778A (ja) 2018-08-03 2019-11-28 百度在線網絡技術（北京）有限公司 走行挙動の安全性検出方法、走行挙動の安全性検出装置及びコンピュータ読取可能な記憶媒体

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105954040B (zh) * 2016-04-22 2019-02-12 百度在线网络技术（北京）有限公司 应用于无人驾驶汽车的测试方法和装置
US11137763B2 (en) * 2016-05-30 2021-10-05 Faraday & Future Inc. Generating and fusing traffic scenarios for automated driving systems
CN108376061B (zh) * 2016-10-13 2019-12-10 北京百度网讯科技有限公司 用于开发无人驾驶车辆应用的方法和装置
US10609529B2 (en) * 2016-11-14 2020-03-31 Qualcomm Incorporated Multi-modem scheduler for multimedia streams
DE102017213634A1 (de) * 2017-08-07 2019-02-07 Ford Global Technologies, Llc Verfahren und Vorrichtung für die Durchführung von virtuellen Tests in einer virtuellen Realitätsumgebung für ein autonom fahrendes Fahrzeug
US10345811B2 (en) * 2017-11-14 2019-07-09 GM Global Technology Operations LLC Method and apparatus for scenario generation and parametric sweeps for the development and evaluation of autonomous driving systems
CN108332977B (zh) 2018-01-23 2020-06-12 常熟昆仑智能科技有限公司 一种对智能网联汽车测试场景的分类分析方法
KR101996230B1 (ko) * 2018-02-26 2019-07-04 (주)에스더블유엠 자율주행 차량의 시뮬레이션을 위한 테스트정보 제공 방법 및 장치
US10831207B1 (en) * 2018-08-22 2020-11-10 BlueOwl, LLC System and method for evaluating the performance of a vehicle operated by a driving automation system
CN109395385B (zh) * 2018-09-13 2021-05-25 深圳市腾讯信息技术有限公司 虚拟场景的配置方法和装置、存储介质、电子装置
CN109520744B (zh) * 2018-11-12 2020-04-21 百度在线网络技术（北京）有限公司 自动驾驶车辆的驾驶性能测试方法和装置
CN110188797B (zh) * 2019-04-26 2023-08-04 同济大学 一种基于贝叶斯优化的智能汽车快速测试方法
CN110597711B (zh) * 2019-08-26 2023-02-10 湖南大学 一种基于场景和任务的自动驾驶测试用例生成方法
CN110579359B (zh) 2019-09-10 2021-11-09 武汉光庭信息技术股份有限公司 自动驾驶失效场景库的优化方法及系统、服务器及介质
CN110579216B (zh) 2019-09-12 2022-02-18 阿波罗智能技术(北京)有限公司 测试场景库构建方法、装置、电子设备和介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019043157A (ja) 2017-08-29 2019-03-22 トヨタ自動車株式会社 自動運転評価装置及び自動運転評価方法
JP2019185783A (ja) 2018-04-12 2019-10-24 バイドゥ ユーエスエイ エルエルシーＢａｉｄｕ ＵＳＡ ＬＬＣ シミュレーションプラットフォームに配置された、機械学習モデルを訓練するためのシステム及び方法
JP2019202778A (ja) 2018-08-03 2019-11-28 百度在線網絡技術（北京）有限公司 走行挙動の安全性検出方法、走行挙動の安全性検出装置及びコンピュータ読取可能な記憶媒体

Also Published As

Publication number Publication date
KR102487336B1 (ko) 2023-01-10
CN111122175B (zh) 2022-02-25
EP3846035B1 (en) 2022-11-02
US11556128B2 (en) 2023-01-17
EP3846035A1 (en) 2021-07-07
KR20210087889A (ko) 2021-07-13
US20210208586A1 (en) 2021-07-08
CN111122175A (zh) 2020-05-08
JP2021109653A (ja) 2021-08-02

Similar Documents

Publication Publication Date Title
JP7301077B2 (ja) 自律走行システムのテスト方法、装置、電子機器、プログラム及びコンピュータ読み取り可能な記録媒体
JP7297846B2 (ja) 自動運転車両の道路テスト方法、装置、機器及び記憶媒体
US20210078590A1 (en) Method for constructing test scenario library, electronic device and medium
CN111625950B (zh) 自动驾驶仿真场景重建方法、装置、设备和介质
EP3862723A2 (en) Method and apparatus for detecting map quality
US20210312799A1 (en) Detecting traffic anomaly event
CN114415628A (zh) 自动驾驶测试方法及装置、电子设备和存储介质
US11447153B2 (en) Method and apparatus for annotating virtual lane at crossing
JP7274515B2 (ja) センサーソリューション決定方法、装置、機器及び記憶媒体
JP2021072126A (ja) 信号灯の時間帯別の信号時間配分方法、装置、電子機械及び記憶媒体
CN111563592B (zh) 基于超网络的神经网络模型生成方法和装置
CN111652153B (zh) 场景自动识别方法、装置、无人车及存储介质
EP3951741B1 (en) Method for acquiring traffic state, relevant apparatus, roadside device and cloud control platform
CN112802325B (zh) 车辆排队长度检测方法及装置
KR20210101172A (ko) 자율 주행을 위한 속도 계획 방법, 장치, 설비, 매체 및 차량
CN111986490A (zh) 路况预测方法、装置、电子设备和存储介质
JP2023027233A (ja) 道路データ融合の地図生成方法、装置及び電子機器
CN111783226A (zh) 生成自动驾驶场景度量参数的方法、装置、电子设备和存储介质
CN111371862B (zh) 无人车调试方法、装置、服务器和介质
CN111047107B (zh) 公路通行时间预测方法、装置、电子设备和存储介质
CN111563046B (zh) 用于生成信息的方法和装置
US20210372815A1 (en) Road network data processing method and device, electronic apparatus, and computer storage medium
CN111340976B (zh) 调试自动驾驶车辆模块的方法、装置、电子设备
CN111767651A (zh) 指标预测模型的构建方法、指标预测方法和装置
CN111553043A (zh) 交通指标计算模型测试方法、交通仿真方法和装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210104

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20211029

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220915

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20221004

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20221026

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230601

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230620

R150 Certificate of patent or registration of utility model

Ref document number: 7301077

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150