KR20210087889A - 자율주행시스템 테스트 방법, 장치 및 기록 매체 - Google Patents

자율주행시스템 테스트 방법, 장치 및 기록 매체 Download PDF

Info

Publication number
KR20210087889A
KR20210087889A KR1020200189191A KR20200189191A KR20210087889A KR 20210087889 A KR20210087889 A KR 20210087889A KR 1020200189191 A KR1020200189191 A KR 1020200189191A KR 20200189191 A KR20200189191 A KR 20200189191A KR 20210087889 A KR20210087889 A KR 20210087889A
Authority
KR
South Korea
Prior art keywords
scenario
test
complexity
autonomous driving
driving system
Prior art date
Application number
KR1020200189191A
Other languages
English (en)
Other versions
KR102487336B1 (ko
Inventor
칭위 리
Original Assignee
베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. filed Critical 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Publication of KR20210087889A publication Critical patent/KR20210087889A/ko
Application granted granted Critical
Publication of KR102487336B1 publication Critical patent/KR102487336B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M17/00—Testing of vehicles
    • G01M17/007—Wheeled or endless-tracked vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0011—Planning or execution of driving tasks involving control alternatives for a single driving scenario, e.g. planning several paths to avoid obstacles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/04—Monitoring the functioning of the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0243—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults model based detection method, e.g. first-principles knowledge model
    • G05B23/0254—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults model based detection method, e.g. first-principles knowledge model based on a quantitative model, e.g. mathematical relationships between inputs and outputs; functions: observer, Kalman filter, residual calculation, Neural Networks
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3684—Test management for test design, e.g. generating new test cases
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0019—Control system elements or transfer functions
    • B60W2050/0022—Gains, weighting coefficients or weighting functions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/04—Monitoring the functioning of the control system
    • B60W2050/041—Built in Test Equipment [BITE]
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2201/00—Application
    • G05D2201/02—Control of position of land vehicles
    • G05D2201/0213—Road vehicle, e.g. car or truck

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Debugging And Monitoring (AREA)
  • Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)

Abstract

본 출원은 자율주행시스템 테스트 방법, 장치, 전자기기 및 컴퓨터 판독 가능 기록매체를 개시하였고 자율주행 기술분야에 관한 것이다. 본 출원에서 자율주행시스템에 대해 테스트시 채택한 기술방안은 테스트 대기 시나리오의 시나리오 설명정보를 획득하는 단계, 상기 시나리오 설명정보에 대해 분석하여, 상기 테스트 대기 시나리오에 대응되는 시나리오 리스크, 시나리오 확률 및 시나리오 복잡도를 결정하는 단계, 상기 시나리오 리스크, 시나리오 확률 및 시나리오 복잡도에 기초하여, 상기 테스트 대기 시나리오의 시나리오 가중치를 획득하는 단계, 자율주행시스템에 의한 테스트 대기 시나리오의 테스트에 이용되되, 상기 시나리오 가중치에 대응되는 테스트 주기를 결정하는 단계를 포함한다. 본 출원은 자율주행시스템의 테스트로 인한 스트레스를 낮추고, 자율주행시스템의 테스트 효율을 높인다.

Description

자율주행시스템 테스트 방법, 장치 및 기록 매체{METHOD, ELECTRONIC DEVICE AND STORAGE MEDIUM FOR TESTING AUTONOMOUS DRIVING SYSTEM}
본 출원은 테스트 기술분야에 관한 것이며, 특히 자율주행기술분야 중의 자율주행시스템 테스트 방법, 장치, 전자기기 및 컴퓨터 판독 가능 기록매체에 관한 것이다.
차량성능테스트는 차량 안전성을 개선하기 위한 중요한 수단이다. 특히 자율주행차량에 있어서, 여러 테스트 시나리오를 설정하여 테스트하는 것은 자율주행차량의 안전성을 확보하기 위한 필수적인 수단이다. 하지만 자율 주행 테스트를 위한 시나리오는 수천수만 가지가 있으며, 여러 테스트 시나리오에 대해 중요성을 구분할 수 없기 때문에, 매번 수천수만 가지 시나리오에 대해 테스트해야 한다. 이에 한편으로는 테스트로 인해 스트레스를 엄청나게 받게 되며, 다른 한편으로는 테스트 효율성이 떨어진다.
기술적 과제를 해결하기 위해 본 출원에서 채택한 기술방안은 자율주행시스템 테스트 방법, 장치, 전자기기 및 컴퓨터 판독 가능 기록매체를 제공한다.
상기 방법은 테스트 대기 시나리오의 시나리오 설명정보를 획득하는 단계, 상기 시나리오 설명정보에 대해 분석하여, 상기 테스트 대기 시나리오에 대응되는 시나리오 리스크, 시나리오 확률 및 시나리오 복잡도를 결정하는 단계, 상기 시나리오 리스크, 시나리오 확률 및 시나리오 복잡도에 기초하여, 상기 테스트 대기 시나리오의 시나리오 가중치를 획득하는 단계, 자율주행시스템에 의한 테스트 대기 시나리오의 테스트에 이용되되, 상기 시나리오 가중치에 대응되는 테스트 주기를 결정하는 단계를 포함한다. 본 출원은 자율주행시스템의 테스트로 인한 스트레스를 낮추고, 자율주행시스템의 테스트 효율을 높인다.
본 출원의 하나의 바람직한 실시예에 따르면, 상기 시나리오 복잡도는 테스트 대기 시나리오에 대응되는 환경 복잡도 및 임무 복잡도를 포함한다. 당해 단계는 보다 많은 요소를 결부하여 시나리오 복잡도를 정의할 수 있어, 더욱 실용적이다.
본 출원의 하나의 바람직한 실시예에 따르면, 상기 시나리오 리스크, 시나리오 확률 및 시나리오 복잡도에 기초하여, 상기 테스트 대기 시나리오의 시나리오 가중치를 획득하는 단계는 시나리오 리스크에 기초하여 리스크 레벨을 결정하고, 시나리오 확률에 기초하여 확률 레벨을 결정하며, 시나리오 복잡도에 기초하여 복잡도 레벨을 결정하는 단계, 상기 리스크 레벨, 확률 레벨 및 복잡도 레벨에 대응되는 가중치 값을 가산하여, 가산결과에 기초하여 상기 테스트 대기 시나리오의 시나리오 가중치를 획득하는 단계를 포함한다. 당해 단계는 획득되는 시나리오 가중치의 정확성을 높일 수 있다.
본 출원의 하나의 바람직한 실시예에 따르면, 상기 시나리오 복잡도에 기초하여 복잡도 레벨을 결정하는 단계는 기준 시나리오에 대응되는 기준 복잡도를 획득하는 단계, 시나리오 복잡도와 기준 복잡도를 비교하여, 변화속성을 결정하며, 각 변화속성에 대응되는 레벨업 값을 획득하는 단계, 획득한 레벨업 값과 초기레벨 사이의 가산결과에 기초하여, 복잡도 레벨을 결정하는 단계를 포함한다. 당해 단계는 시나리오 복잡도에 포함된 각 속성을 충분히 고려함으로써, 결정되는 복잡도 레벨의 정확성을 높일 수 있다.
본 출원의 하나의 바람직한 실시예에 따르면, 상기 방법은 자율주행시스템에 의한 각 테스트 대기 시나리오의 테스트를 진행할 시 나타난 문제를 획득하는 단계, 각 테스트 대기 시나리오에 대응되는 시나리오 가중치에 기초하여, 자율주행시스템에 나타난 문제의 중요성을 결정하는 단계를 더 포함한다. 당해 단계는 테스트 대기 시나리오에 대응되는 시나리오 가중치에 기초함으로써, 문제 중요성을 보다 정확하게 정의할 수 있다.
본 출원의 하나의 바람직한 실시예에 따르면, 상기 방법은 자율주행시스템이 각 테스트 대기 시나리오를 테스트하여 얻은 주행평점을 획득하는 단계, 각 테스트 대기 시나리오에 대응되는 시나리오 가중치에 기초하여 각 주행평점에 대해 가중평균하여 계산결과를 자율주행시스템의 최종평점으로 하는 단계를 더 포함한다. 당해 단계는 테스트 대기 시나리오에 대응되는 시나리오 가중치에 기초함으로써, 자율주행시스템의 주행능력을 보다 정확하게 평가할 수 있다.
기술적 과제를 해결하기 위해 본 출원에서 채택한 기술방안은 자율주행시스템 테스트 장치를 제공한다. 상기 장치는 테스트 대기 시나리오의 시나리오 설명정보를 획득하는 획득 유닛, 상기 시나리오 설명정보에 대해 분석하여, 상기 테스트 대기 시나리오에 대응되는 시나리오 리스크, 시나리오 확률 및 시나리오 복잡도를 결정하는 결정 유닛, 상기 시나리오 리스크, 시나리오 확률 및 시나리오 복잡도에 기초하여, 상기 테스트 대기 시나리오의 시나리오 가중치를 획득하는 프로세싱 유닛, 자율주행시스템에 의한 테스트 대기 시나리오의 테스트에 이용되되, 상기 시나리오 가중치에 대응되는 테스트 주기를 결정하는 테스트 유닛을 포함한다.
본 출원의 하나의 바람직한 실시예에 따르면, 상기 결정 유닛에서 결정된 시나리오 복잡도는 시나리오 테스트 대기 시나리오에 대응되는 환경 복잡도와 임무 복잡도를 포함한다.
본 출원의 하나의 바람직한 실시예에 따르면, 상기 프로세싱 유닛에서 상기 시나리오 리스크, 시나리오 확률 및 시나리오 복잡도에 기초하여 상기 테스트 대기 시나리오의 시나리오 가중치를 획득할 시, 시나리오 리스크에 기초하여 리스크 레벨을 결정하고, 시나리오 확률에 기초하여 확률 레벨을 결정하며, 시나리오 복잡도에 기초하여 복잡도 레벨을 결정하며, 상기 리스크 레벨, 확률 레벨 및 복잡도 레벨에 대응되는 가중치 값을 가산하여, 가산결과에 기초하여 상기 테스트 대기 시나리오의 시나리오 가중치를 획득한다.
본 출원의 하나의 바람직한 실시예에 따르면, 상기 프로세싱 유닛에서 상기 시나리오 복잡도에 기초하여 복잡도 레벨을 결정할 시, 기준 시나리오에 대응되는 기준 복잡도를 획득하고, 시나리오 복잡도와 기준 복잡도를 비교하여, 변화속성을 결정하며, 각 변화속성에 대응되는 레벨업 값을 획득하며, 획득한 레벨업 값과 초기레벨 사이의 가산결과에 기초하여, 복잡도 레벨을 결정한다.
본 출원의 하나의 바람직한 실시예에 따르면, 상기 테스트 유닛에서 자율주행시스템에 의한 각 테스트 대기 시나리오의 테스트를 진행할 시 나타난 문제를 획득하고, 각 테스트 대기 시나리오에 대응되는 시나리오 가중치에 기초하여, 자율주행시스템에 나타난 문제의 중요성을 결정한다.
본 출원의 하나의 바람직한 실시예에 따르면, 상기 테스트 유닛에서 자율주행시스템이 각 테스트 대기 시나리오를 테스트하여 얻은 주행평점을 획득하고, 각 테스트 대기 시나리오에 대응되는 시나리오 가중치에 기초하여 각 주행평점에 대해 가중평균하여 계산결과를 자율주행시스템의 최종평점으로 한다.
전술한 출원 중의 하나 실시예는 자율주행시스템의 테스트로 인한 스트레스를 낮추고, 자율주행시스템의 테스트 효율을 높이는 이점 또는 유익한 효과가 있다. 테스트 대기 시나리오의 시나리오 리스크, 시나리오 확률 및 시나리오 복잡도를 분석하는 것을 통해 시나리오 가중치를 획득하여, 시나리오 가중치에 기초하여 테스트 대기 시나리오에 대응되는 테스트 주기를 결정함으로써, 기존기술에서의 중요성이 다른 테스트 대기 시나리오를 구분할 수 없어 수천수만개의 시나리오에 대해 테스트해야 하는 기술적 과제를 해결하였고, 자율주행시스템의 테스트로 인한 스트레스를 낮추고, 자율주행시스템의 테스트 효율을 높이는 기술적 효과를 가진다.
전술한 선택 가능한 방식의 기타 다른 효과는 아래 구체적인 실시예와 결부하여 설명한다.
도면은 본 기술방안을 더 잘 이해하기 위해 사용되며, 본 출원은 이에 의해 한정되지 않는다. 여기서
도 1은 본 출원의 실시예 1에 따른 자율주행시스템 테스트 방법의 흐름도이다.
도 2는 본 출원의 실시예 2에 따른 자율주행시스템에 대한 테스트 장치의 구성도이다.
도 3은 본 출원의 실시예의 자율주행시스템을 테스트하는 방법을 구현하는 전자기기의 블록도이다.
이하 도면에 결부하여 본 출원의 예시적인 실시예에 대해 설명하며, 이해에 도움이 되기 위해 본 출원의 실시예들의 다양한 세부 사항들이 포함되지만, 이들을 다만 예시적인 것으로 간주하여야 한다. 따라서, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 출원의 범위 및 사상을 벗어나지 않고 여기서 설명된 실시예에 대해 다양한 변경 및 수정이 이루어질 수 있음을 인식해야 한다. 마찬가지로, 이하의 설명에서는 명확성과 간결성을 위해 공지된 기능 및 구조에 대한 설명을 생략한다.
도1은 본 출원의 실시예1에 따른 자율주행시스템 테스트 방법의 흐름도이며, 도1에 나타낸 바와 같이, 상기 방법은 하기 단계를 포함한다.
단계 S101에서, 테스트 대기 시나리오의 시나리오 설명정보를 획득한다.
당해 단계에서, 테스트 대기 시나리오의 시나리오 설명정보를 획득한다. 여기서, 당해 단계에서의 테스트 대기 시나리오는 자율주행시스템의 주행성능을 테스트 하기 위한 주행장소와 주행상황의 조합이다. 획득되는 시나리오 설명정보는 테스트 대기 시나리오에 대응되는 도로, 교통시설, 기상조건, 교통 참여물 등 외부조건 및 자율주행시스템의 주행임무와 상태를 설명하는 정보이다.
예를 들면, 당해 단계에서 획득한 테스트 대기 시나리오의 시나리오 설명정보는 “눈 내리는 낮에 횡단보도 지나기”를 포함할 수 있고, 또는 “개인 날 교차로에서 신호등 대기”를 포함할 수 있으며, 또는 “밤에 배리어 프리 도로 구간에서 운전”을 포함할 수도 있다.
본 출원에서의 자율주행시스템은 자율주행을 구현할 수 있는 시스템일 수 있고, 실제 자율주행차량일 수 있으며, 버추얼 자율주행 소프트웨어일 수 있음을 이해할 수 있다.
단계 S102에서, 상기 시나리오 설명정보에 대해 분석하여, 상기 테스트 대기 시나리오에 대응되는 시나리오 리스크, 시나리오 확률 및 시나리오 복잡도를 결정한다.
당해 단계에서, 단계 S101에서 획득한 시나리오 설명정보에 대해 분석하여, 테스트 대기 시나리오에 대응되는 시나리오 리스크, 시나리오 확률 및 시나리오 복잡도를 결정한다.
구체적으로, 당해 단계에서 결정되는 테스트 대기 시나리오에 대응되는 시나리오 리스크는 테스트 대기 시나리오에서 자율주행시스템에 충돌 리스크가 존재하지 않음, 존재 가능한 충돌 리스크가 차량충돌 리스크 또는 보행자 충돌 리스크인 것을 나타낸다. 여기서, 차량충돌 리스크는 차량 사이 충돌, 차량과 교통시설 사이 충돌을 포함하며, 보행자 충돌 리스크는 차량과 보행자 사이 충돌, 차량과 사이클리스트 （자전거 또는 전기 자전거） 사이 충돌, 차량과 오토바이 사이의 충돌을 포함한다.
당해 단계에서 결정되는 테스트 대기 시나리오에 대응되는 시나리오 확률은 실제주행에서 테스트 대기 시나리오가 발생되는 빈도를 나타내며, 낮은 확률（1 년에 몇 번 또는 더 적게 발생）, 중간 확률（평균 한 달에 한번 이상 발생） 및 높은 확률（평균 주행할 때마다 발생）을 포함한다.
당해 단계에서 결정되는 테스트 대기 시나리오에 대응되는 시나리오 복잡도는 테스트 대기 시나리오에 대응되는 환경 복잡도와 임무 복잡도를 포함한다. 여기서, 환경 복잡도는 테스트 대기 시나리오에 대응되는 환경속성을 나타내며, 테스트 대기 시나리오의 도로유형（예컨대, 직선도로, 사거리, 슬로프, 터널, 산길 등）, 장애물 수량（예컨대, 장애물 수량이 3개보다 많거나 또는 장애물 수량이 3개 이하）, 기상조건（예컨대, 개임, 비, 눈, 안개）, 조명조건（예컨대, 낮, 밤, 야간조명）, 노면조건（예컨대, 양호, 습함, 적설, 결빙）, 습도조건（예컨대, 높음, 정상, 낮음）, 온도조건（예컨대, 높음, 정상, 낮음） 및 기압조건（예컨대, 높음, 정상, 낮음）을 포함한다. 임무 복잡도는 테스트 대기 시나리오에서 자율주행시스템이 수행하는 임무의 임무유형을 나타내며, 임무유형은 예컨대 “종방향 제어” 및 “종방향 제어와 횡방향 제어”를 포함한다.
예를 들면, 획득한 시나리오 설명정보가 “개인 날 사거리에서 교통신호등 기다림”일 경우, 당해 단계에서 결정된 당해 테스트 대기 시나리오에 해당되는 시나리오 리스크는 “보행자 충돌 리스크”이고, 시나리오 확률은 “높은 확률”이며, 시나리오 복잡도는 “사거리, 장애물 수량 3개보다 많음, 개임, 낮, 종방향 제어”이다.
또한, 당해 단계에서 시나리오 설명정보에 대해 분석할 시, 기존 자연언어의 이해를 통해 시나리오 설명정보에 포함된 시나리오 리스크, 시나리오 확률 및 시나리오 복잡도를 획득할 수 있으며, 사전에 트레이닝하여 얻은 기계 학습 모델을 사용하여 획득할 수도 있으며, 즉 시나리오 설명정보를 기계 학습 모델에 입력하여, 기계 학습 모델의 출력결과에 따라 테스트 대기 시나리오에 대응되는 시나리오 리스크, 시나리오 확률 및 시나리오 복잡도를 획득한다.
단계 S103에서, 상기 시나리오 리스크, 시나리오 확률 및 시나리오 복잡도에 기초하여, 상기 테스트 대기 시나리오의 시나리오 가중치를 획득한다.
당해 단계에서, 단계 S102에서 획득한 시나리오 리스크, 시나리오 확률 및 시나리오 복잡도에 기초하여, 테스트 대기 시나리오의 시나리오 가중치를 획득한다.
구체적으로, 당해 단계에서 시나리오 리스크, 시나리오 확률 및 시나리오 복잡도에 기초하여 테스트 대기 시나리오의 시나리오 가중치를 획득할 시, 시나리오 리스크에 기초하여 리스크 레벨을 결정하고, 시나리오 확률에 기초하여 확률 레벨을 결정하며, 시나리오 복잡도에 기초하여 복잡도 레벨을 결정하여, 결정된 리스크 레벨, 확률 레벨 및 복잡도 레벨에 대응되는 가중치 값의 가산결과에 기초하여, 테스트 대기 시나리오의 시나리오 가중치를 획득할 수 있다.
여기서, 당해 단계에서 3개 레벨에 대응되는 가중치 값의 가산결과를 직접 테스트 대기 시나리오의 시나리오 가중치로 할 수 있으며, 3개 레벨에 대응되는 가중치 값의 가산결과를 얻은 후, 가산결과가 속하는 범위에 대응되는 수치를 테스트 대기 시나리오의 시나리오 가중치로 할 수도 있다.
예를 들면, 임의의 테스트 대기 시나리오의 리스크 레벨에 대응되는 가중치 값이 “2”이고, 확률 레벨에 대응되는 가중치 값이 “3”이며, 복잡도 레벨에 대응되는 가중치 값이 “2”일 경우, 당해 단계에서 각 가중치 값의 가산결과 “7”을 직접 당해 테스트 대기 시나리오의 시나리오 가중치로 할 수 있다. 각 레벨 가중치 값의 가산결과 “3-4”가 “1”에 대응되고, 가산결과 “5-6”이 “2”에 대응되며, 가산결과 “7-8”이 “3”에 대응되고, 가산결과 “9”가 “4”에 대응될 경우, 당해 단계에서 “3”을 당해 테스트 시나리오의 시나리오 가중치로 결정할 수 있다.
당해 단계에서 시나리오 리스크에 기초하여 리스크 레벨을 결정할 시, 사전 설정된 리스크와 레벨 사이의 대응관계에 기초하여, 결정된 시나리오 리스크에 대응되는 레벨을 리스크 레벨로 할 수 있다. 여기서, 사전 설정된 리스크와 레벨 사이의 대응관계에서, “무충돌 리스크”는 레벨 “R1”에 대응되고, “차량충돌 리스크”는 레벨 “R2”에 대응되며, “보행자 충돌 리스크”는 레벨 “R3”에 대응된다.
당해 단계에서 시나리오 확률에 기초하여 확률 레벨을 결정할 시, 사전 설정된 확률과 레벨 사이의 대응관계에 기초하여, 결정된 시나리오 확률에 대응되는 레벨을 확률 레벨로 할 수 있다. 여기서, 사전 설정된 확률과 레벨 사이의 대응관계에서, “낮은 확률”은 레벨 “P1”에 대응되고, “중간 확률”은 레벨 “P2”에 대응되며, “높은 확률”은 레벨 “P3”에 대응된다.
시나리오 복잡도에 포함된 속성이 비교적 많기 때문에, 획득되는 복잡도 레벨의 정확성을 높이기 위해, 당해 단계에서 시나리오 복잡도에 기초하여 복잡도 레벨을 결정할 시, 기준 시나리오에 대응되는 기준 복잡도를 획득하고, 시나리오 복잡도와 기준 복잡도를 비교하여, 변화속성을 결정하며, 각 변화속성에 대응되는 레벨업 값을 획득하여, 획득한 레벨업 값과 초기레벨 사이의 가산결과에 기초하여, 복잡도 레벨을 결정한다. 여기서, 기준 복잡도는 기준 환경속성 및 기준 임무속성을 포함하고, 기준 환경속성은 “직선 도로, 장애물 수량이 3개 이하, 개임, 낮, 노면 좋음”이고, 기준 임무속성은 “종방향 제어”이며, 초기레벨은 기준 시나리오와 대응되고 초기레벨은 0이다.
당해 단계에서 변화속성에 대응되는 레벨업 값은 사전 설정된 것일 수 있음을 이해할 수 있다. 여기서 “도로유형” 속성 변화 시의 레벨업 값이 “1”이고, “장애물 수량” 속성 변화 시의 레벨업 값이 “1”이며, “기상조건” 속성 변화 시의 레벨업 값이 “2”이며, “조명조건” 속성 변화 시의 레벨업 값이 “2”이고, “노면조건” 속성 변화 시의 레벨업 값이 “2”이며, 임무 속성 변화 시의 레벨업 값이 “1”이다.
당해 단계에서 레벨업 값과 초기레벨 사이의 가산결과에 기초하여 복잡도 레벨을 결정할 시, 가산결과에 대응되는 레벨을 복잡도 레벨로 할 수 있다. 예를 들면, 가산결과“0-1”을 레벨“C1”에 대응시키고, 가산결과“2-3”을 레벨“C2”에 대응시키며, 가산결과“4-5”를 레벨“C3”에 대응시킬 수 있음을 이해할 수 있다.
예를 들면, 시나리오 복잡도가 기준 복잡도에 비해, 변화가 있는 속성이 “장애물 수량”, “기상조건” 및 “노면조건”일 경우, 당해 단계에서 획득한 레벨업 값과 초기레벨 사이의 가산결과는 “5”이고, 따라서 당해 시나리오 복잡도에 대응되는 복잡도 레벨이 “C3”이다.
당해 단계에서 각 레벨에 대응되는 가중치 값을 획득할 시, 사전 설정된 레벨과 가중치 값 사이의 대응관계에 기초하여, 리스크 레벨, 확률 레벨 및 복잡도 레벨에 대응되는 가중치 값을 각각 획득한다.
여기서, 당해 단계에서 사전 설정된 레벨과 가중치 값 사이의 대응관계는 하기와 같다. 리스크 레벨 “R1”에 대응되는 가중치 값은 “1”이고, 리스크 레벨 “R2”에 대응되는 가중치 값은 “2”이며, 리스크 레벨 “R3”에 대응되는 가중치 값은 “3”이다. 확률 레벨 “P1”에 대응되는 가중치 값은 “1”이고, 확률 레벨 “P2”에 대응되는 가중치 값은 “2”이며, 확률 레벨 “P3”에 대응되는 가중치 값은 “3”이다. 복잡도 레벨 “C1”에 대응되는 가중치 값은 “1”이고, 복잡도 레벨 “C2”에 대응되는 가중치 값은 “2”이며, 복잡도 레벨 “C3”에 대응되는 가중치 값은 “3”이다.
예를 들면, 테스트 대기 시나리오에 대응되는 리스크 레벨이 “R1”이고, 확률 레벨이 “P2”이며, 복잡도 레벨이 “C3”이라고 결정되었을 경우, 당해 테스트 대기 시나리오의 시나리오 가중치는 “6”일 수 있다.
단계 S104에서, 상기 시나리오 가중치에 대응되는 테스트 주기를 결정하며, 상기 테스트 주기는 상기 자율주행시스템에 의한 테스트 대기 시나리오의 테스트에 사용된다.
당해 단계에서, 단계 S103에서 획득한 시나리오 가중치에 대응되는 테스트 주기를 결정하며, 결정된 테스트 주기는 자율주행시스템에 의한 테스트 대기 시나리오의 테스트에 사용된다. 여기서, 시나리오 가중치가 클수록 대응되는 테스트 주기가 더 길며, 예컨대, 자율주행시스템의 각 버전에 대해 모두 당해 테스트 대기 시나리오에 대한 테스트를 진행한다. 시나리오 가중치가 작을수록 대응되는 테스트 주기가 더 짧으며, 예컨대, 자율주행시스템의 배포 버전에만 당해 테스트 대기 시나리오에 대한 테스트를 진행한다.
본 출원에 따른 테스트 대기 시나리오의 테스트 주기를 결정하는 방법은 자율주행시스템의 하나 기능일 수 있으며, 즉 자율주행시스템에서 테스트 대기 시나리오의 테스트 주기를 결정한 후, 당해 테스트 대기 시나리오에 대한 테스트를 진행한다. 본 출원에 따른 테스트 대기 시나리오의 테스트 주기를 결정하는 방법은 별도의 기능에 의해 구현될 수 있으며, 즉 테스트 대기 시나리오의 테스트 주기를 결정한 후, 당해 테스트 주기를 자율주행시스템에 송신하여, 당해 테스트 주기에 따라 자율주행시스템의 테스트 대기 시나리오에 대한 테스트를 진행할 수 있음을 이해할 수 있다.
또한, 결정된 테스트 주기에 따라 자율주행시스템이 테스트 대기 시나리오에 대한 테스트를 진행한 후, 당해 단계는 자율주행시스템에 의한 각 테스트 대기 시나리오의 테스트를 진행할 시 나타난 문제를 획득하여, 각 테스트 대기 시나리오에 대응되는 시나리오 가중치에 기초하여, 나타난 문제의 중요성을 결정하는 것을 더 포함할 수 있다. 여기서 테스트 대기 시나리오에 대응되는 시나리오 가중치가 클 수록, 당해 시나리오에서 테스트 시 나타난 문제의 중요성이 더 높다. 따라서, 당해 단계는 테스트 대기 시나리오의 시나리오 가중치에 기초하여 개발자에게 더 명확한 문제해결 우선순위를 제공할 수 있으며, 개발 효율성을 향상시킬 수 있다.
또한, 자율주행시스템의 테스트 대기 시나리오에 대한 테스트가 완료되면, 각 테스트 시나리오에서의 자율주행시스템의 주행평점이 제공되며, 테스트 대기 시나리오 사이는 난이도 차이가 있으므로, 각 주행평점의 평균치를 직접 자율주행시스템에 대한 평가로 할 경우, 합리적이지 못할 뿐만아니라 정확하지도 못하다.
따라서, 자율주행시스템의 주행능력에 대해 보다 합리적이고 정확하게 평가하기 위해, 결정된 테스트 주기에 따라 자율주행시스템이 테스트 대기 시나리오에 대한 테스트를 진행한 후, 당해 단계는 자율주행시스템이 각 테스트 대기 시나리오를 테스트하여 얻은 주행평점을 획득하고, 각 테스트 대기 시나리오에 대응되는 시나리오 가중치에 기초하여 각 주행평점에 대해 가중평균하여 계산결과를 자율주행시스템의 최종평점으로 하는 것을 더 포함할 수 있다. 따라서, 당해 단계는 시나리오 가중치를 통해 중요한 시나리오의 주행평점의 영향을 확대시키고, 중요하지 않은 시나리오의 주행평점의 영향을 감소시켜, 보다 정확하게 자율주행시스템의 주행능력을 평가할 수 있다.
예를 들면, 테스트 대기 시나리오1에 대해 자율주행시스템이 테스트 하여 얻은 주행평점이 90이고, 테스트 대기 시나리오2에　대해 테스트하여 얻은 주행평점이 80이며, 테스트 대기 시나리오1의 시나리오 가중치가 1이고, 테스트 대기 시나리오2의 시나리오 가중치가 4일 경우, 당해 단계에서 얻은 자율주행시스템의 최종평점은 （90×1+80×4）/（4+1）=82이다.
따라서, 본 출원은 테스트 대기 시나리오의 시나리오 가중치를 획득하는 것을 통해, 서로 다른 테스트 대기 시나리오 사이의 중요성을 구분할 수 있고, 중요한 테스트 대기 시나리오의 테스트 차수를 증가시키고, 중요하지 않은 테스트 대기 시나리오의 테스트 차수를 감소시켜, 자율주행시스템을 테스트하는 테스트 효율을 높이고, 시나리오 가중치 및 테스트 결과에 기초하여 자율주행시스템을 테스트하는 테스트 품질을 보다 높일 수 있다.
도 2는 본 출원의 하나 실시예에서 제공한 자율주행시스템을 테스트하는 장치의 구성도이며, 도 2에 나타낸 바와 같이, 상기 장치는 획득 유닛(201), 결정 유닛(202), 프로세싱 유닛(203) 및 테스트 유닛(204)을 포함한다.
획득 유닛(201)은 테스트 대기 시나리오의 시나리오 설명정보를 획득한다.
획득 유닛(201)은 테스트 대기 시나리오의 시나리오 설명정보를 획득한다. 여기서, 획득 유닛(201) 중의 테스트 대기 시나리오는 자율주행시스템의 주행성능을 테스트 하기 위한 주행장소와 주행상황의 조합이다. 획득 유닛(201)에서 획득되는 시나리오 설명정보는 테스트 대기 시나리오에 대응되는 도로, 교통시설, 기상조건, 교통 참여물 등 외부조건 및 자율주행시스템의 주행임무와 상태를 설명하는 정보이다.
본 출원에서의 자율주행시스템은 자율주행을 구현할 수 있는 시스템일 수 있고, 실제 자율주행차량일 수 있으며, 버추얼 자율주행 소프트웨어일 수 있음을 이해할 수 있다.
결정 유닛(202)은 상기 시나리오 설명정보에 대해 분석하여, 상기 테스트 대기 시나리오에 대응되는 시나리오 리스크, 시나리오 확률 및 시나리오 복잡도를 결정한다.
결정 유닛(202)은 획득 유닛(201)에서 획득한 시나리오 설명정보에 대해 분석하여, 테스트 대기 시나리오에 대응되는 시나리오 리스크, 시나리오 확률 및 시나리오 복잡도를 결정한다.
구체적으로, 결정 유닛(202)에서 결정되는 테스트 대기 시나리오에 대응되는 시나리오 리스크는 테스트 대기 시나리오에서 자율주행시스템에 충돌 리스크가 존재하지 않음, 존재 가능한 충돌 리스크가 차량충돌 리스크 또는 보행자 충돌 리스크인 것을 나타낸다. 여기서, 차량충돌 리스크는 차량 사이 충돌, 차량과 교통시설 사이 충돌을 포함하며, 보행자 충돌 리스크는 차량과 보행자 사이 충돌, 차량과 사이클리스트 （자전거 또는 전동차） 사이 충돌, 차량과 오토바이 사이의 충돌을 포함한다.
결정 유닛(202)에서 결정되는 테스트 대기 시나리오에 대응되는 시나리오 확률은 실제주행에서 테스트 대기 시나리오가 발생되는 빈도를 나타내며, 낮은 확률（1 년에 몇 번 또는 더 적게 발생）, 중간 확률（평균 한 달에 한번 이상 발생） 및 높은 확률（평균 주행할 때마다 발생）을 포함한다.
결정 유닛(202)에서 결정되는 테스트 대기 시나리오에 대응되는 시나리오 복잡도는 테스트 대기 시나리오에 대응되는 환경 복잡도와 임무 복잡도를 포함한다. 여기서, 환경 복잡도는 테스트 대기 시나리오에 대응되는 환경속성을 나타내며, 테스트 대기 시나리오의 도로유형（예컨대, 직선도로, 사거리, 슬로프, 터널, 산길 등）, 장애물 수량（예컨대, 장애물 수량이 3개보다 많거나 또는 장애물 수량이 3개 이하）, 기상조건（예컨대, 개임, 비, 눈, 안개）, 조명조건（예컨대, 낮, 밤, 야간조명）, 노면조건（예컨대, 양호, 습함, 적설, 결빙）, 습도조건（예컨대, 높음, 정상, 낮음）, 온도조건（예컨대, 높음, 정상, 낮음） 및 기압조건（예컨대, 높음, 정상, 낮음）을 포함한다. 임무 복잡도는 테스트 대기 시나리오에서 자율주행시스템이 수행하는 임무의 임무유형을 나타내며, 임무유형은 예컨대 “종방향 제어” 및 “종방향 제어와 횡방향 제어”를 포함한다.
또한, 결정 유닛(202)은 시나리오 설명정보에 대해 분석할 시, 기존 자연언어의 이해를 통해 시나리오 설명정보에 포함된 시나리오 리스크, 시나리오 확률 및 시나리오 복잡도를 획득할 수 있으며, 결정 유닛(202)은 사전에 트레이닝하여 얻은 기계 학습 모델을 사용하여 획득할 수도 있으며, 즉 시나리오 설명정보를 기계 학습 모델에 입력하여, 기계 학습 모델의 출력결과에 따라 테스트 대기 시나리오에 대응되는 시나리오 리스크, 시나리오 확률 및 시나리오 복잡도를 획득한다.
프로세싱 유닛(203)은 상기 시나리오 리스크, 시나리오 확률 및 시나리오 복잡도에 기초하여, 상기 테스트 대기 시나리오의 시나리오 가중치를 획득한다.
프로세싱 유닛(203)은 획득 유닛(202)에서 획득한 시나리오 리스크, 시나리오 확률 및 시나리오 복잡도에 기초하여, 테스트 대기 시나리오의 시나리오 가중치를 획득한다.
구체적으로, 프로세싱 유닛(203)은 시나리오 리스크, 시나리오 확률 및 시나리오 복잡도에 기초하여 테스트 대기 시나리오의 시나리오 가중치를 획득할 시, 시나리오 리스크에 기초하여 리스크 레벨을 결정하고, 시나리오 확률에 기초하여 확률 레벨을 결정하며, 시나리오 복잡도에 기초하여 복잡도 레벨을 결정하여, 결정된 리스크 레벨, 확률 레벨 및 복잡도 레벨에 대응되는 가중치 값의 가산결과에 기초하여, 테스트 대기 시나리오의 시나리오 가중치를 획득할 수 있다.
여기서, 프로세싱 유닛(203)은 3개 레벨에 대응되는 가중치 값의 가산결과를 직접 테스트 대기 시나리오의 시나리오 가중치로 할 수 있으며, 3개 레벨에 대응되는 가중치 값의 가산결과를 얻은 후, 가산결과가 속하는 범위에 대응되는 수치를 테스트 대기 시나리오의 시나리오 가중치로 할 수도 있다.
프로세싱 유닛(203)은 시나리오 리스크에 기초하여 리스크 레벨을 결정할 시, 사전 설정된 리스크와 레벨 사이의 대응관계에 기초하여, 결정된 시나리오 리스크에 대응되는 레벨을 리스크 레벨로 할 수 있다. 여기서, 사전 설정된 리스크와 레벨 사이의 대응관계에서, “무충돌 리스크”는 레벨 “R1”에 대응되고, “차량충돌 리스크”는 레벨 “R2”에 대응되며, “보행자 충돌 리스크”는 레벨 “R3”에 대응된다.
프로세싱 유닛(203)은 시나리오 확률에 기초하여 확률 레벨을 결정할 시, 사전 설정된 확률과 레벨 사이의 대응관계에 기초하여, 결정된 시나리오 확률에 대응되는 레벨을 확률 레벨로 할 수 있다. 여기서, 사전 설정된 확률과 레벨 사이의 대응관계에서, “낮은 확률”은 레벨 “P1”에 대응되고, “중간 확률”은 레벨 “P2”에 대응되며, “높은 확률”은 레벨 “P3”에 대응된다.
시나리오 복잡도에 포함된 속성이 비교적 많기 때문에, 획득되는 복잡도 레벨의 정확성을 높이기 위해, 프로세싱 유닛(203)은 시나리오 복잡도에 기초하여 복잡도 레벨을 결정할 시, 기준 시나리오에 대응되는 기준 복잡도를 획득하고, 시나리오 복잡도와 기준 복잡도를 비교하여, 변화속성을 결정하며, 각 변화속성에 대응되는 레벨업 값을 획득하여, 획득한 레벨업 값과 초기레벨 사이의 가산결과에 기초하여, 복잡도 레벨을 결정한다. 여기서, 기준 복잡도는 기준 환경속성 및 기준 임무속성을 포함하고, 기준 환경속성은 “직선도로, 장애물 수량이 3개 이하, 개임, 낮, 노면 좋음”이고, 기준 임무속성은 “종방향 제어”이며, 초기레벨은 기준 시나리오와 대응되고 초기레벨은 0이다.
프로세싱 유닛(203)의 변화속성에 대응되는 레벨업 값은 사전 설정된 것일 수 있음을 이해할 수 있다, 여기서 “도로유형” 속성변화 시의 레벨업 값이 “1”이고, “장애물 수량” 속성변화 시의 레벨업 값이 “1”이며, “기상조건” 속성변화 시의 레벨업 값이 “2”이며, “조명조건” 속성변화 시의 레벨업 값이 “2”이고, “노면조건” 속성변화 시의 레벨업 값이 “2”이며, 임무 속성변화 시의 레벨업 값이 “1”이다.
프로세싱 유닛(203)에서 레벨업 값과 초기레벨 사이의 가산결과에 기초하여 복잡도 레벨을 결정할 시, 가산결과에 대응되는 레벨을 복잡도 레벨로 할 수 있음을 이해할 수 있다.
프로세싱 유닛(203)에서 각 레벨에 대응되는 가중치 값을 획득할 시, 사전 설정된 레벨과 가중치 값 사이의 대응관계에 기초하여, 리스크 레벨, 확률 레벨 및 복잡도 레벨에 대응되는 가중치 값을 각각 획득한다.
여기서, 프로세싱 유닛(203)에서의 사전 설정된 레벨과 가중치 값 사이의 대응관계는 하기와 같다. 리스크 레벨 “R1”에 대응되는 가중치 값은“1”이고, 리스크 레벨 “R2”에 대응되는 가중치 값은 “2”이며, 리스크 레벨 “R3”에 대응되는 가중치 값은 “3”이다. 확률 레벨 “P1”에 대응되는 가중치 값은 “1”이고, 확률 레벨 “P2”에 대응되는 가중치 값은 “2”이며, 확률 레벨 “P3”에 대응되는 가중치 값은 “3”이다. 복잡도 레벨 “C1”에 대응되는 가중치 값은 “1”이고, 복잡도 레벨 “C2”에 대응되는 가중치 값은 “2”이며, 복잡도 레벨 “C3”에 대응되는 가중치 값은 “3”이다.
테스트 유닛(204)은 상기 시나리오 가중치에 대응되는 테스트 주기를 결정하며, 상기 테스트 주기는 상기 자율주행시스템에 의한 테스트 대기 시나리오의 테스트에 사용된다.
테스트 유닛(204)은 프로세싱 유닛(203)에서 획득한 시나리오 가중치에 대응되는 테스트 주기를 결정하며, 결정된 테스트 주기는 자율주행시스템에 의한 테스트 대기 시나리오의 테스트에 사용된다. 여기서, 시나리오 가중치가 클 수록 대응되는 테스트 주기가 더 길며, 시나리오 가중치가 작을 수록 대응되는 테스트 주기가 더 짧다.
또한, 자율주행시스템에서 결정된 테스트 주기에 따라 테스트 대기 시나리오에 대한 테스트를 진행한 후, 테스트 유닛(204)은 자율주행시스템이 각 테스트 대기 시나리오 테스트 할 시 나타난 문제를 획득하여, 각 테스트 대기 시나리오에 대응되는 시나리오 가중치에 기초하여, 나타난 문제의 중요성을 결정할 수 있다. 여기서 테스트 대기 시나리오에 대응되는 시나리오 가중치가 클 수록, 당해 시나리오에서 테스트 시 나타난 문제의 중요성이 더 높다. 따라서, 테스트 유닛(204)은 테스트 대기 시나리오의 시나리오 가중치에 기초하여 개발자에게 더 명확한 문제해결 우선순위를 제공하여, 개발 효율성을 향상시킬 수 있다.
또한, 자율주행시스템이 테스트 대기 시나리오에 대한 테스트가 완료되면, 각 테스트 시나리오에서의 자율주행시스템의 주행평점이 제공되며, 테스트 대기 시나리오 사이는 난이도 차이가 있으므로, 각 주행평점의 평균치를 직접 자율주행시스템에 대한 평가로 할 경우, 합리적이지 못할 뿐만아니라 정확하지도 못하다.
따라서, 자율주행시스템의 주행능력에 대해 보다 합리적이고 정확하게 평가하기 위해, 결정된 테스트 주기에 따라 자율주행시스템이 테스트 대기 시나리오에 대한 테스트를 진행한 후, 테스트 유닛(204)은 자율주행시스템이 각 테스트 대기 시나리오를 테스트하여 얻은 주행평점을 획득하고, 각 테스트 대기 시나리오에 대응되는 시나리오 가중치에 기초하여 각 주행평점에 대해 가중평균하여 계산결과를 자율주행시스템의 최종평점으로 할 수 있다. 따라서, 테스트 유닛(204)은 시나리오 가중치를 통해 중요한 시나리오의 주행평점의 영향을 확대시키고, 중요하지 않은 시나리오의 주행평점의 영향을 감소시켜, 보다 정확하게 자율주행시스템의 주행능력을 평가할 수 있다.
도 3에 나타낸 바와 같이, 도면은 본 출원 실시예에 따른 자율주행시스템을 테스트하는 방법의 전자기기의 블록도이다. 전자기기는 랩톱 컴퓨터, 데스크톱 컴퓨터, 워크 스테이션, 개인용 디지털 비서, 서버, 블레이드 서버, 메인 프레임 컴퓨터 및 기타 적절한 컴퓨터와 같은 다양한 형태의 디지털 컴퓨터를 의미한다. 전자기기는 개인용 디지털 비서, 휴대폰, 스마트 폰, 웨어러블 디바이스 및 기타 유사한 컴퓨터 장치와 같은 다양한 형태의 모바일 장치를 의미할 수도 있다. 여기에 표시된 구성 요소, 이들의 연결, 관계 및 기능은 단지 예시적인 것일 뿐 본 명세서의 설명 및 / 또는 요구하는 본 출원의 구현을 제한하려는 것이 아니다.
도 3에 나타낸 바와 같이, 당해 전자기기는 하나 또는 다수의 프로세서(301), 메모리(302), 및 각 구성요소를 연결하는 인터페이스를 포함하며, 인터페이스는 고속 인터페이스와 저속 인터페이스를 포함한다. 각 구성 요소는 서로 다른 버스를 통해 서로 연결되며 공통 마더 보드에 설치되거나 필요에 따라 다른 방식으로 설치될 수 있다. 프로세서는 전자기기에서 실행되는 명령을 처리할 수 있으며, 외부 입력 / 출력 장치 (예컨대, 인터페이스에 연결된 디스플레이 장치)에 GUI 그래픽 정보를 표시하기 위한 메모리에 저장된 명령을 포함한다. 다른 실시예에서, 필요에 따라, 다수의 프로세서 및 / 또는 다수의 버스와 다수의 메모리를 함께 사용할 수 있다. 마찬가지로 다수의 전자기기를 연결할 수 있으며 각 전자기기는 일부분 필요적인 동작을 제공한다 (예컨대, 서버 어레이, 1개 블레이드 서버 그룹 또는 멀티프로세서 시스템). 도 3에서는 프로세서 (301)가 하나인 것을 예로 한다.
메모리(302)는 본 출원에서 제공하는 비휘발성 컴퓨터 판독 가능 기록매체이다. 여기서, 적어도 하나의 프로세서에서 본 출원에서 제공하는 자율주행시스템을 테스트하는 테스트 방법을 실행하도록, 메모리는 적어도 하나의 프로세서에 의해 실행 가능한 명령을 저장한다. 본 출원의 비휘발성 컴퓨터 판독 가능 기록매체는 컴퓨터에서 본 출원이 제공하는 자율주행시스템을 테스트하는 방법을 실행하기 위한 컴퓨터 명령을 저장한다.
메모리(302)는 비휘발성 컴퓨터 판독 가능 기록매체로서, 비휘발성 소프트웨어 프로그램, 비휘발성 컴퓨터가 실행 가능한 프로그램 및 모듈, 예컨대 본 출원 실시예의 자율주행시스템을 테스트하는 방법에 대응되는 프로그램 명령 / 모듈（예컨대, 도 2에 나타낸 획득 유닛(201), 결정 유닛(202), 프로세싱 유닛(203) 및 테스트 유닛(204)）을 저장할 수 있다. 프로세서(301)는 메모리(302)에 저장된 비휘발성 소프트웨어 프로그램, 명령 및 모듈을 실행함으로써, 서버의 각종 기능적 애플리케이션(function application) 및 데이터 처리를 실행한다. 즉 상기 방법 실시예 중의 자율주행시스템을 테스트하는 방법을 실현한다.
메모리(302)는 프로그램 저장영역과 데이터 저장영역을 포함할 수 있으며, 여기서, 프로그램 저장영역은 운영 체제, 적어도 하나의 기능에 필요한 응용 프로그램을 저장할 수 있다. 데이터 저장영역은 자율주행시스템을 테스트하는 전자기기의 사용에 의해 생성된 데이터 등을 저장할 수 있다. 또한, 메모리(302)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 비휘발성 메모리를 더 포함할 수 있으며, 예컨대, 적어도 하나의 디스크 메모리 소자, 플래시 메모리 소자, 또는 기타 비휘발성 고체 메모리 소자를 더 포함할 수 있다. 일부 실시예에서, 메모리 (302)는 프로세서 (301)에 대해 원격으로 설치된 메모리를 선택적으로 포함할 수 있고, 이러한 원격 메모리는 네트워크를 통해 자율주행시스템을 테스트하는 전자기기에 연결될 수 있다. 전술한 네트워크의 예는 인터넷, 기업 인트라넷, 근거리 통신망, 이동 통신망 및 이들의 조합을 포함하지만 이에 한정되지 않는다.
자율주행시스템을 테스트하는 전자기기는 입력장치(303)와 출력장치(304)를 더 포함할 수 있다. 프로세서(301), 메모리(302), 입력장치(303) 및 출력장치(304)는 버스 또는 기타 수단으로 연결될 수 있으며, 도 3에서는 버스를 통해 연결되는 것을 예로 하였다.
입력장치(303)는 숫자 또는 문자정보를 입력받을 수 있고, 자율주행시스템을 테스트하는 전자기기의 사용자 설정 및 기능 제어와 관련된 키 신호 입력을 생성한다. 예컨대, 터치 스크린, 키패드, 마우스, 트랙 패드, 터치 패드, 포인팅 스틱, 하나 이상 마우스 버튼, 트랙볼, 조이스틱 등 입력장치일 수 있다. 출력장치 (304)는 디스플레이 장치, 보조 조명 장치 (예컨대 LED), 촉각 피드백 장치 (예컨대 진동모터) 등을 포함할 수 있다. 당해 디스플레이 장치는 액정 디스플레이(LCD), 발광 다이오드 (LED) 디스플레이 및 플라즈마 디스플레이를 포함할 수 있으나 이에 한정되지 않는다. 일부 실시예에서, 디스플레이 장치는 터치 스크린일 수 있다.
여기서 설명된 시스템 및 기술의 다양한 실시형태는 디지털 전자 회로 시스템, 집적 회로 시스템, 주문형 ASIC (주문형 집적 회로), 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및 / 또는 이들의 조합으로 구현될 수 있다. 이러한 다양한 실시형태는 하기와 같은 내용을 포함할 수 있다, 즉 하나 이상의 컴퓨터 프로그램에서 구현되고, 하나 이상의 컴퓨터 프로그램은 적어도 하나의 프로그램 가능 프로세서(Programmable processor)를 포함하는 프로그램 가능 시스템에서 실행 및 / 또는 해석될 수 있다. 당해 프로그램 가능 프로세서는, 저장 시스템, 적어도 하나의 입력장치 및 적어도 하나의 출력장치로부터 데이터 및 명령을 수신하고 데이터 및 명령을 저장 시스템, 당해 적어도 하나의 입력장치 및 당해 적어도 하나의 출력장치로 전송할 수 있는 전용 또는 범용 프로그램 가능 프로세서일 수 있다.
이러한 컴퓨터 프로그램 (프로그램, 소프트웨어, 소프트웨어 응용 프로그램 또는 코드라고도 함)에는 프로그램 가능 프로세서의 기계 명령어(machine instruction)가 포함되며 고급 프로세스(Advaced Process) 및/또는 객체 지향 프로그래밍 언어 및 / 또는 어셈블리 / 기계언어를 사용하여 이러한 컴퓨터 프로그램을 구현할 수 있다. 본 명세서에서 사용되는 "기계 판독 가능 매체" 및 "컴퓨터 판독 가능 매체"라는 용어는 기계 명령어 및 / 또는 데이터를 프로그램 가능 프로세서에 제공하는데 사용되는 임의의 컴퓨터 프로그램 제품, 디바이스 및 / 또는 장치(자기 디스크, 광 디스크, 메모리, 프로그램 가능 논리 소자 (PLD)) 를 의미한다. 예를 들어, 기계 명령어를 기계 판독 가능 신호로서 수신하는 기계 판독 가능 매체를 포함한다. 용어 "기계 판독 가능 신호"는 기계 명령어 및 / 또는 데이터를 프로그래밍 가능 프로세서에 제공하는데 사용되는 임의의 신호를 의미한다.
사용자와의 상호 작용을 제공하기 위해 컴퓨터에서 여기에 설명된 시스템 및 기술을 실시할 수 있다. 당해 컴퓨터는 사용자에게 정보를 표시하는 디스플레이 장치 (예컨대, CRT (음극선관) 또는 LCD (액정 디스플레이) 모니터)), 및 사용자가 컴퓨터에 입력하는데 사용되는 키보드 및 포인팅 장치 (예컨대, 마우스 또는 트랙볼)을 구비한다. 다른 유형의 장치를 사용하여 사용자와의 상호 작용을 제공 할 수도 있다. 예를 들어 사용자에게 제공되는 피드백은 임의의 형태의 센서 피드백 (예컨대, 시각적 피드백, 청각적 피드백 또는 촉각적 피드백)일 수 있으며, 임의의 형태(음향입력, 음성입력 또는 촉각입력)를 사용하여 사용자로부터 입력 받을 수 있다.
여기에 설명된 시스템 및 기술은 백그라운드 구성 요소를 포함하는 컴퓨팅 시스템(예컨대 데이터 서버) 또는 미들웨어 구성 요소 를 포함하는 컴퓨팅 시스템(예컨대 애플리케이션 서버) 또는 프런트 엔드 구성 요소를 포함하는 컴퓨팅 시스템 (예컨대 그래픽 사용자 인터페이스 또는 웹 브라우저를 가진 유저 컴퓨터, 사용자는 사용자 인터페이스 또는 웹 브라우저를 통해 여기에 설명된 시스템 및 기술의 실시형태와 상호 작용할 수 있다) 또는 이러한 백그라운드 구성 요소, 미들웨어 구성 요소, 또는 프런트 엔드 구성 요소의 임의의 조합으로 구성된 컴퓨팅 시스템에서 실시될 수 있다. 시스템의 구성 요소 사이는 임의 형태 또는 매체의 디지털 데이터 통신(예컨대 통신 네트워크)을 통해 서로 연결될 수 있다. 통신 네트워크의 예로는 LAN (Local Area Network), WAN (Wide Area Network) 및 인터넷이 있다.
컴퓨터 시스템에는 클라이언트와 서버가 포함될 수 있다. 클라이언트와 서버는 일반적으로 서로 멀리 떨어져 있으며 일반적으로 통신 네트워크를 통해 상호 작용한다. 클라이언트와 서버 간의 관계는 해당 컴퓨터에서 서로 클라이언트-서버 관계가 있는 컴퓨터 프로그램을 실행하는 것에 의해 생성된다.
본 출원의 실시예의 기술방안에 따르면, 기존기술에서의 여러 테스트 대기 시나리오에 대해 중요성을 구분할 수 없어 수천수만개의 시나리오에 대해 테스트해야 하는 기술적 과제를 해결하였고, 자율주행시스템의 테스트로 인한 스트레스를 낮추고, 자율주행시스템의 테스트 효율을 높이는 기술적 효과를 가진다.
전술한 여러 형태의 프로세스를 사용하여 스텝에 대해 재정렬, 추가 또는 삭제할 수 있음을 이해해야 한다. 예를 들어, 본 출원에서 설명된 기술방안의 원하는 결과가 달성될 수 있는 한 본 출원에서 설명된 각 스텝은 병렬로 실행될 수 있으며, 순차적으로도 실행될 수 있고, 다른 순서로도 실행될 수 있으며, 본 명세서는 이에 대해 한정하지 않는다.
전술한 구체적인 실시형태는 본 출원의 보호범위에 대한 한정을 이루지 않는다. 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 설계요건 및 기타 요인에 따라 다양한 수정, 조합, 하위 조합 및 대체를 진행할 수 있음을 이해해야 한다. 본 출원의 주지와 원칙 내에서 이루어진 모든 수정, 균등대체 및 개선은 모두 본 출원의 보호범위에 포함된다.

Claims (14)

  1. 테스트 대기(to be tested) 시나리오의 시나리오 설명정보를 획득하는 단계,
    상기 시나리오 설명정보를 분석하여, 상기 테스트 대기 시나리오에 대응되는 시나리오 리스크, 시나리오 확률 및 시나리오 복잡도를 결정하는 단계;
    상기 시나리오 리스크, 상기 시나리오 확률 및 상기 시나리오 복잡도에 기초하여, 상기 테스트 대기 시나리오의 시나리오 가중치를 획득하는 단계;
    상기 시나리오 가중치에 대응되는 테스트 주기를 결정하는 단계 - 상기 테스트 주기는 자율주행시스템에 의한 테스트 대기 시나리오의 테스트에 이용됨 -;
    를 포함하는 것을 특징으로 하는,
    자율주행시스템 테스트 방법.
  2. 제1항에 있어서,
    상기 시나리오 복잡도는 상기 테스트 대기 시나리오에 대응되는 환경 복잡도 및 임무 복잡도를 포함하는 것을 특징으로 하는,
    자율주행시스템 테스트 방법.
  3. 제1항에 있어서,
    상기 시나리오 리스크, 상기 시나리오 확률 및 상기 시나리오 복잡도에 기초하여, 상기 테스트 대기 시나리오의 시나리오 가중치를 획득하는 단계는,
    상기 시나리오 리스크에 기초하여 리스크 레벨을 결정하고, 상기 시나리오 확률에 기초하여 확률 레벨을 결정하며, 상기 시나리오 복잡도에 기초하여 복잡도 레벨을 결정하는 단계,
    상기 리스크 레벨, 상기 확률 레벨 및 상기 복잡도 레벨에 대응되는 가중치 값을 가산하여, 가산결과에 기초하여 상기 테스트 대기 시나리오의 시나리오 가중치를 획득하는 단계를 포함하는 것을 특징으로 하는,
    자율주행시스템 테스트 방법.
  4. 제3항에 있어서,
    상기 시나리오 복잡도에 기초하여 상기 복잡도 레벨을 결정하는 단계는,
    기준 시나리오에 대응되는 기준 복잡도를 획득하는 단계,
    상기 시나리오 복잡도와 상기 기준 복잡도를 비교하여 변화속성을 결정하며, 각 변화속성에 대응되는 레벨업 값을 획득하는 단계,
    획득한 레벨업 값과 초기레벨 사이의 가산결과에 기초하여, 복잡도 레벨을 결정하는 단계
    를 포함하는 것을 특징으로 하는,
    자율주행시스템 테스트 방법.
  5. 제1항에 있어서,
    상기 방법은,
    자율주행시스템에 의한 각 테스트 대기 시나리오의 테스트를 진행할 시 나타난 문제를 획득하는 단계;
    각 테스트 대기 시나리오에 대응되는 시나리오 가중치에 기초하여, 자율주행시스템에 나타난 문제의 중요성을 결정하는 단계;
    를 더 포함하는 것을 특징으로 하는,
    자율주행시스템 테스트 방법.
  6. 제1항에 있어서,
    상기 방법은
    자율주행시스템이 각 테스트 대기 시나리오를 테스트하여 얻은 주행평점을 획득하는 단계;
    각 테스트 대기 시나리오에 대응되는 시나리오 가중치에 기초하여 각 주행평점에 대해 가중평균하여 계산결과를 자율주행시스템의 최종평점으로 하는 단계;
    를 더 포함하는 것을 특징으로 하는,
    자율주행시스템 테스트 방법.
  7. 테스트 대기 시나리오의 시나리오 설명정보를 획득하는 획득 유닛;
    상기 시나리오 설명정보를 분석하여, 상기 테스트 대기 시나리오에 대응되는 시나리오 리스크, 시나리오 확률 및 시나리오 복잡도를 결정하는 결정 유닛;
    상기 시나리오 리스크, 상기 시나리오 확률 및 상기 시나리오 복잡도에 기초하여, 상기 테스트 대기 시나리오의 시나리오 가중치를 획득하는 프로세싱 유닛;
    자율주행시스템에 의한 테스트 대기 시나리오의 테스트에 이용되되, 상기 시나리오 가중치에 대응되는 테스트 주기를 결정하는 테스트 유닛;
    을 포함하는 것을 특징으로 하는,
    자율주행시스템 테스트 장치.
  8. 제7항에 있어서,
    상기 결정 유닛에서 결정된 시나리오 복잡도는 상기 테스트 대기 시나리오에 대응되는 환경 복잡도와 임무 복잡도를 포함하는 것을 특징으로 하는,
    자율주행시스템 테스트 장치.
  9. 제7항에 있어서,
    상기 프로세싱 유닛에서 상기 시나리오 리스크, 상기 시나리오 확률 및 상기 시나리오 복잡도에 기초하여 상기 테스트 대기 시나리오의 시나리오 가중치를 획득할 때,
    상기 시나리오 리스크에 기초하여 리스크 레벨을 결정하고, 상기 시나리오 확률에 기초하여 확률 레벨을 결정하며, 상기 시나리오 복잡도에 기초하여 복잡도 레벨을 결정하며,
    상기 리스크 레벨, 상기 확률 레벨 및 상기 복잡도 레벨에 대응되는 가중치 값을 가산하여, 가산결과에 기초하여 상기 테스트 대기 시나리오의 시나리오 가중치를 획득하는 것을 특징으로 하는,
    자율주행시스템 테스트 장치.
  10. 제9항에 있어서,
    상기 프로세싱 유닛에서 상기 시나리오 복잡도에 기초하여 복잡도 레벨을 결정할 때,
    기준 시나리오에 대응되는 기준 복잡도를 획득하고,
    상기 시나리오 복잡도와 상기 기준 복잡도를 비교하여 변화속성을 결정하며, 각 변화속성에 대응되는 레벨업 값을 획득하며,
    획득한 레벨업 값과 초기레벨 사이의 가산결과에 기초하여, 복잡도 레벨을 결정하는 것을 특징으로 하는,
    자율주행시스템 테스트 장치.
  11. 제7항에 있어서,
    상기 테스트 유닛에서
    자율주행시스템에 의한 각 테스트 대기 시나리오의 테스트를 진행할 때 나타난 문제를 획득하고,
    각 테스트 대기 시나리오에 대응되는 시나리오 가중치에 기초하여, 자율주행시스템에 나타난 문제의 중요성을 결정하는 것을 특징으로 하는,
    자율주행시스템 테스트 장치.
  12. 제7항에 있어서,
    상기 테스트 유닛에서
    자율주행시스템이 각 테스트 대기 시나리오를 테스트하여 얻은 주행평점을 획득하고,
    각 테스트 대기 시나리오에 대응되는 시나리오 가중치에 기초하여 각 주행평점에 대해 가중평균하여 계산결과를 자율주행시스템의 최종평점으로 하는 것을 특징으로 하는,
    자율주행시스템 테스트 장치.
  13. 적어도 하나의 프로세서,
    상기 적어도 하나의 프로세서와 통신연결된 메모리를 포함하고,
    상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되어 있고, 상기 적어도 하나의 프로세서에 의해 제1항 내지 제6항 중 어느 한 항에 기재된 자율주행시스템 테스트 방법이 실행되도록 상기 명령이 상기 적어도 하나의 프로세서에 의해 실행되는 것을 특징으로 하는,
    전자기기.
  14. 컴퓨터로 하여금 제1항 내지 제6항 중 어느 한 항에 기재된 자율주행시스템 테스트 방법을 실행하도록 하기 위한 컴퓨터 명령이 저장된 것을 특징으로 하는,
    비휘발성 컴퓨터 판독 가능 기록매체.
KR1020200189191A 2020-01-02 2020-12-31 자율주행시스템 테스트 방법, 장치 및 기록 매체 KR102487336B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010002080X 2020-01-02
CN202010002080.XA CN111122175B (zh) 2020-01-02 2020-01-02 测试自动驾驶系统的方法以及装置

Publications (2)

Publication Number Publication Date
KR20210087889A true KR20210087889A (ko) 2021-07-13
KR102487336B1 KR102487336B1 (ko) 2023-01-10

Family

ID=70507466

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200189191A KR102487336B1 (ko) 2020-01-02 2020-12-31 자율주행시스템 테스트 방법, 장치 및 기록 매체

Country Status (5)

Country Link
US (1) US11556128B2 (ko)
EP (1) EP3846035B1 (ko)
JP (1) JP7301077B2 (ko)
KR (1) KR102487336B1 (ko)
CN (1) CN111122175B (ko)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111523515A (zh) * 2020-05-13 2020-08-11 北京百度网讯科技有限公司 自动驾驶车辆环境认知能力评价方法、设备及存储介质
CN111652153B (zh) * 2020-06-04 2023-12-22 北京百度网讯科技有限公司 场景自动识别方法、装置、无人车及存储介质
CN111695199B (zh) * 2020-06-09 2023-09-05 北京百度网讯科技有限公司 自动驾驶测试方法、装置、设备及存储介质
CN111858927B (zh) * 2020-06-09 2023-11-24 阿波罗智能技术(北京)有限公司 数据测试方法、装置、电子设备及存储介质
CN111765903B (zh) * 2020-06-29 2022-08-09 阿波罗智能技术(北京)有限公司 自动驾驶车辆的测试方法、装置、电子设备和介质
CN111783226B (zh) * 2020-06-29 2024-03-19 北京百度网讯科技有限公司 生成自动驾驶场景度量参数的方法、装置、电子设备和存储介质
CN112541408B (zh) * 2020-11-30 2022-02-25 北京深睿博联科技有限责任公司 可行区域识别方法、装置、设备及计算机可读存储介质
CN112583414A (zh) * 2020-12-11 2021-03-30 北京百度网讯科技有限公司 场景处理方法、装置、设备、存储介质以及产品
CN112559371B (zh) * 2020-12-24 2023-07-28 北京百度网讯科技有限公司 一种自动驾驶测试方法、装置及电子设备
CN112744223B (zh) * 2021-01-18 2022-04-15 北京智能车联产业创新中心有限公司 自动驾驶车辆交叉路口表现评价方法及系统
CN112765812B (zh) * 2021-01-19 2021-09-07 中国科学院软件研究所 一种无人系统决策策略的自主能力快速测评方法及系统
CN113119999B (zh) * 2021-04-16 2024-03-12 阿波罗智联(北京)科技有限公司 自动驾驶特征的确定方法、装置、设备、介质及程序产品
CN112997128B (zh) * 2021-04-19 2022-08-26 华为技术有限公司 一种自动驾驶场景的生成方法、装置及系统
CN113609016B (zh) * 2021-08-05 2024-03-15 北京赛目科技股份有限公司 车辆自动驾驶测试场景的构建方法、装置、设备及介质
US20230042001A1 (en) * 2021-08-06 2023-02-09 Baidu Usa Llc Weighted planning trajectory profiling method for autonomous vehicle
CN113642108B (zh) * 2021-08-11 2023-11-10 北京航空航天大学 一种无人车十字路口通行场景关键测试案例生成方法
CN113688042B (zh) * 2021-08-25 2023-06-27 北京赛目科技有限公司 测试场景的确定方法、装置、电子设备及可读存储介质
CN114166520A (zh) * 2021-08-27 2022-03-11 东风汽车集团股份有限公司 汽车adas场景识别功能的测试方法
CN113989767A (zh) * 2021-09-29 2022-01-28 中智行(上海)交通科技有限公司 一种自动驾驶测试场景复杂度分析方法及系统
CN114065549B (zh) * 2021-11-30 2023-04-07 广州文远知行科技有限公司 自动驾驶水平评估方法、装置、设备及存储介质
KR102636586B1 (ko) * 2021-12-03 2024-02-14 (주)컨트롤웍스 자율 주행 차량의 주행 테스트 제어 장치 및 방법
CN114973656A (zh) * 2022-05-10 2022-08-30 清华大学 交通交互性能的评估方法、装置、设备、介质和产品
CN115035718B (zh) * 2022-06-02 2023-04-18 东风汽车集团股份有限公司 基于车辆动作类型和次数的场景复杂度评价方法
CN115376324B (zh) * 2022-10-24 2023-03-24 中国汽车技术研究中心有限公司 车辆场景复杂度确定方法
CN115828638B (zh) * 2023-01-09 2023-05-23 西安深信科创信息技术有限公司 一种自动驾驶测试场景脚本生成方法、装置及电子设备
CN116106839B (zh) * 2023-03-22 2023-08-22 武汉中关村硬创空间科技有限公司 车载雷达可靠性检测方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108332977A (zh) * 2018-01-23 2018-07-27 常熟昆仑智能科技有限公司 一种对智能网联汽车测试场景的分类分析方法
US20190042679A1 (en) * 2017-08-07 2019-02-07 Ford Global Technologies, Llc Method for virtual tests for an autonomous vehicle
KR101996230B1 (ko) * 2018-02-26 2019-07-04 (주)에스더블유엠 자율주행 차량의 시뮬레이션을 위한 테스트정보 제공 방법 및 장치
CN110579216A (zh) * 2019-09-12 2019-12-17 百度在线网络技术（北京）有限公司 测试场景库构建方法、装置、电子设备和介质
CN110579359A (zh) * 2019-09-10 2019-12-17 武汉光庭信息技术股份有限公司 自动驾驶失效场景库的优化方法及系统、服务器及介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105954040B (zh) * 2016-04-22 2019-02-12 百度在线网络技术（北京）有限公司 应用于无人驾驶汽车的测试方法和装置
US11137763B2 (en) * 2016-05-30 2021-10-05 Faraday & Future Inc. Generating and fusing traffic scenarios for automated driving systems
CN108376061B (zh) * 2016-10-13 2019-12-10 北京百度网讯科技有限公司 用于开发无人驾驶车辆应用的方法和装置
US10609529B2 (en) * 2016-11-14 2020-03-31 Qualcomm Incorporated Multi-modem scheduler for multimedia streams
JP6946861B2 (ja) 2017-08-29 2021-10-13 トヨタ自動車株式会社 自動運転評価装置及び自動運転評価方法
US10345811B2 (en) * 2017-11-14 2019-07-09 GM Global Technology Operations LLC Method and apparatus for scenario generation and parametric sweeps for the development and evaluation of autonomous driving systems
US11328219B2 (en) 2018-04-12 2022-05-10 Baidu Usa Llc System and method for training a machine learning model deployed on a simulation platform
CN109242251B (zh) 2018-08-03 2020-03-06 百度在线网络技术（北京）有限公司 行车行为安全性检测方法、装置、设备及存储介质
US10831207B1 (en) * 2018-08-22 2020-11-10 BlueOwl, LLC System and method for evaluating the performance of a vehicle operated by a driving automation system
CN109395385B (zh) * 2018-09-13 2021-05-25 深圳市腾讯信息技术有限公司 虚拟场景的配置方法和装置、存储介质、电子装置
CN109520744B (zh) * 2018-11-12 2020-04-21 百度在线网络技术（北京）有限公司 自动驾驶车辆的驾驶性能测试方法和装置
CN110188797B (zh) * 2019-04-26 2023-08-04 同济大学 一种基于贝叶斯优化的智能汽车快速测试方法
CN110597711B (zh) * 2019-08-26 2023-02-10 湖南大学 一种基于场景和任务的自动驾驶测试用例生成方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190042679A1 (en) * 2017-08-07 2019-02-07 Ford Global Technologies, Llc Method for virtual tests for an autonomous vehicle
CN108332977A (zh) * 2018-01-23 2018-07-27 常熟昆仑智能科技有限公司 一种对智能网联汽车测试场景的分类分析方法
KR101996230B1 (ko) * 2018-02-26 2019-07-04 (주)에스더블유엠 자율주행 차량의 시뮬레이션을 위한 테스트정보 제공 방법 및 장치
CN110579359A (zh) * 2019-09-10 2019-12-17 武汉光庭信息技术股份有限公司 自动驾驶失效场景库的优化方法及系统、服务器及介质
CN110579216A (zh) * 2019-09-12 2019-12-17 百度在线网络技术（北京）有限公司 测试场景库构建方法、装置、电子设备和介质

Also Published As

Publication number Publication date
EP3846035A1 (en) 2021-07-07
EP3846035B1 (en) 2022-11-02
US11556128B2 (en) 2023-01-17
KR102487336B1 (ko) 2023-01-10
CN111122175B (zh) 2022-02-25
US20210208586A1 (en) 2021-07-08
JP2021109653A (ja) 2021-08-02
CN111122175A (zh) 2020-05-08
JP7301077B2 (ja) 2023-06-30

Similar Documents

Publication Publication Date Title
KR102487336B1 (ko) 자율주행시스템 테스트 방법, 장치 및 기록 매체
US20210078590A1 (en) Method for constructing test scenario library, electronic device and medium
US20210293549A1 (en) Method for detecting map quality, electronic device and storage medium
JP7204826B2 (ja) 交通事故識別方法、装置、デバイス及びコンピュータ記憶媒体
US11626013B2 (en) Traffic data analysis method, electronic device, vehicle and storage medium
JP2022031902A (ja) 道路イベントの検出方法、装置、機器及び記憶媒体
KR20210132578A (ko) 지식 그래프를 구축하는 방법, 장치, 기기 및 저장 매체
CN110765227A (zh) 道路交通网络模型构建方法及装置
US20210239486A1 (en) Method and apparatus for predicting destination, electronic device and storage medium
KR102606423B1 (ko) 교통량 모니터링 시스템의 테스트 방법, 장치 및 기기
CN111986490A (zh) 路况预测方法、装置、电子设备和存储介质
US20210293566A1 (en) Navigation map evaluation method and apparatus, device and readable storage medium
CN110514211B (zh) 定位方法、装置、设备和介质
JP2023027233A (ja) 道路データ融合の地図生成方法、装置及び電子機器
CN113672688A (zh) 路网数据更新方法、装置和电子设备
CN111047107B (zh) 公路通行时间预测方法、装置、电子设备和存储介质
CN113011298A (zh) 截断物体样本生成、目标检测方法、路侧设备和云控平台
US20210372815A1 (en) Road network data processing method and device, electronic apparatus, and computer storage medium
CN111767651B (zh) 指标预测模型的构建方法、指标预测方法和装置
CN114419883A (zh) 识别路口缺失交通限制信息的方法、装置和电子设备
CN111553043A (zh) 交通指标计算模型测试方法、交通仿真方法和装置
CN111597700A (zh) 信控算法评估方法、装置、电子设备及可读存储介质
WO2023098828A1 (zh) 车速拼接方法、装置、电子设备及存储介质
CN115031750B (zh) 阻断路段的状态确定方法、装置及计算机程序产品
US20220291002A1 (en) Method for determining road information

Legal Events

Date Code Title Description
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant