WO2023133758A1 - 测试方法及装置 - Google Patents

测试方法及装置 Download PDF

Info

Publication number
WO2023133758A1
WO2023133758A1 PCT/CN2022/071826 CN2022071826W WO2023133758A1 WO 2023133758 A1 WO2023133758 A1 WO 2023133758A1 CN 2022071826 W CN2022071826 W CN 2022071826W WO 2023133758 A1 WO2023133758 A1 WO 2023133758A1
Authority
WO
WIPO (PCT)
Prior art keywords
test
scenario
scene
driving system
intelligent driving
Prior art date
Application number
PCT/CN2022/071826
Other languages
English (en)
French (fr)
Inventor
罗达新
马莎
Original Assignee
华为技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为技术有限公司 filed Critical 华为技术有限公司
Priority to PCT/CN2022/071826 priority Critical patent/WO2023133758A1/zh
Priority to CN202280050537.1A priority patent/CN117730289A/zh
Publication of WO2023133758A1 publication Critical patent/WO2023133758A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation

Definitions

  • the present application relates to the technical field of intelligent transportation and intelligent driving, in particular to a testing method and device.
  • Safety of The Intended Functionality is defined as: there is no unreasonable danger, and the danger is caused by the performance limitation of the expected behavior or the user's reasonable foreseeable abuse.
  • performance limitation refers to the imperfect function of the automatic driving system itself
  • abuse refers to the failure to use the automatic driving system in accordance with the requirements of the manufacturer's related system.
  • Fig. 1 shows an exemplary schematic diagram of a driving scene. As shown in Figure 1, area 1 represents known safe scenarios, area 2 represents known unsafe scenarios, area 3 represents unknown unsafe scenarios, and area 4 represents unknown safe scenarios. Whether the test performance of the intelligent driving system in the scene is safe is very important. Therefore, how to accurately test the performance of the intelligent driving system in the scene is an urgent problem to be solved.
  • a test method which can improve the accuracy of the performance test of the intelligent driving system in the scene.
  • an embodiment of the present application provides a test method, the method includes: acquiring a first scene; determining a first test method according to the first scene, and the first test method and the first Corresponding to the scenario, the first test method is used to test the performance of the intelligent driving system in the first scenario.
  • the test method for performance testing of the intelligent driving system is determined according to the scene that needs to be tested, which improves the adaptability of the test method to the scene that needs to be tested, thereby improving the performance of the intelligent driving system in the scene.
  • the accuracy of the performance test is determined according to the scene that needs to be tested, which improves the adaptability of the test method to the scene that needs to be tested, thereby improving the performance of the intelligent driving system in the scene.
  • the method further includes: testing the performance of the intelligent driving system in the first scenario based on the first test method, Get test results.
  • the accuracy of the performance test of the intelligent driving system in the scene can be effectively improved.
  • the first test method is used to indicate the first test mode, the first test content and the first test index , testing the performance of the intelligent driving system in the first scenario based on the first test method, and obtaining a test result, including: simulating the first scenario based on the first test method; In the simulated first scenario, run the intelligent driving system based on the first test content to obtain the operating data of the intelligent driving system in the first scenario; according to whether the operating data satisfies the first test An indicator that determines whether the test result in question is a test pass or a test fail.
  • the method further includes:
  • test result is a test pass
  • add the first scene to the scene library supported by the intelligent driving system and record the perception ability of the intelligent driving system when running under the first scene and driving strategies.
  • the intelligent driving system when encounters the first scene again, it can operate according to the perception ability and driving strategy corresponding to the first scene, so as to realize safe driving.
  • the method further includes:
  • the intelligent driving system is updated, so that the test result of the intelligent driving system in the first scenario is changed to pass the test.
  • updating the intelligent driving system according to the reason includes:
  • the method further includes:
  • the first scenario and the perception ability and driving strategy of the intelligent driving system when running in the first scenario are sent to the cloud and/or other vehicles, so that The cloud and/or other vehicles update the scene library supported by the intelligent driving system, and record the perception ability and driving strategy of the intelligent driving system when running in the first scene.
  • the method further includes:
  • the test result is a test pass
  • the first scene and the first test method are sent to the cloud and/or other cars, so that the cloud and/or other cars are based on the first test method.
  • the performance of the intelligent driving system under the first scenario is tested.
  • the first test method includes at least one or more of simulation evaluation, closed field test and actual road test;
  • the first test content includes at least one or more of compliance, risk level and driving stability
  • the first test index includes at least one or more of safety distance and/or traffic rules.
  • the first scene is used to indicate time information, weather information, terrain information, One or more of road information and movement state information of traffic participants;
  • the acquisition of the first scene includes:
  • one or more of the current time information, weather information, terrain information, road information, and traffic participant's motion state information are obtained to obtain the first scene.
  • the determining the first test method according to the first scenario includes:
  • a first test method corresponding to the first scenario is determined according to the applicable test method, applicable test content and applicable test index of the first scenario.
  • an embodiment of the present application provides a test device, the device comprising: an acquisition module, configured to acquire a first scenario; a determination module, configured to determine a first test method according to the first scenario, the The first test method corresponds to the first scenario, and the first test method is used to test the performance of the intelligent driving system in the first scenario.
  • the device further includes:
  • a testing module configured to test the performance of the intelligent driving system in the first scenario based on the first testing method, and obtain a test result.
  • the first test method is used to indicate the first test mode, the first test content and the first test index
  • the test module is also used to:
  • test result is a test pass or a test fail.
  • the device further includes:
  • a recording module configured to add the first scenario to the scenario library supported by the intelligent driving system when the test result is passed, and record the intelligent driving system in the first scenario Perception capabilities and driving strategies at runtime.
  • the device further includes:
  • An analysis module configured to analyze the reason why the intelligent driving system fails the test in the first scenario when the test result is a test failure
  • An update module configured to update the intelligent driving system based on the reason, so that the test result of the intelligent driving system in the first scenario is changed to pass the test.
  • the updating module is further configured to:
  • the device further includes:
  • the first sending module is used to send the first scene and the perception ability and driving strategy of the intelligent driving system when running in the first scene to the cloud and /or other vehicles, so that the cloud and/or other vehicles update the scene library supported by the intelligent driving system, and record the perception ability and driving strategy of the intelligent driving system when running in the first scene.
  • the device further includes:
  • the second sending module is used to send the first scene and the first test method to the cloud and/or other cars when the test result is a test pass, so that the cloud and/or other cars are based on
  • the first testing method tests the performance of the intelligent driving system in the first scenario.
  • the first testing manner includes at least simulation evaluation One or more of , closed site test and actual road test; the first test content includes at least one or more of compliance, risk level and driving stability; the first test index at least Include one or more of safe distances and/or traffic regulations.
  • the first scene is used to indicate time information, weather information, terrain information, One or more of road information and movement state information of traffic participants;
  • the acquisition module is also used for:
  • one or more of the current time information, weather information, terrain information, road information, and traffic participant's motion state information are obtained to obtain the first scene.
  • the determining module is further configured to:
  • a first test method corresponding to the first scenario is determined according to the applicable test method, applicable test content and applicable test index of the first scenario.
  • the embodiments of the present application provide a test device, which can implement one or more test methods in the above first aspect or multiple possible implementation manners of the first aspect.
  • the embodiments of the present application provide a non-volatile computer-readable storage medium, on which computer program instructions are stored, and when the computer program instructions are executed by a processor, the above-mentioned first aspect or the first aspect can be realized A test method for one or several of the many possible implementations.
  • the embodiments of the present application provide a computer program product, including computer readable code, or a non-volatile computer readable storage medium bearing computer readable code, when the computer readable code is stored in an electronic
  • the processor in the electronic device executes the test method of the first aspect or one or more of the multiple possible implementations of the first aspect.
  • Fig. 1 shows an exemplary schematic diagram of a driving scene
  • Figure 2 shows a schematic diagram of the evolution of a region
  • Fig. 3 shows the schematic structural diagram of the test system provided by the embodiment of the present application.
  • Fig. 4 shows the flow chart of the test method provided by the embodiment of the present application.
  • Fig. 5 shows the flow chart of the test method provided by the embodiment of the present application.
  • Fig. 6 shows the interaction flowchart of the test method provided by the embodiment of the present application.
  • FIG. 7 shows a schematic structural view of a testing device provided in an embodiment of the present application.
  • FIG. 8 shows a schematic structural diagram of an electronic device provided by an embodiment of the present application.
  • FIG. 3 shows a schematic structural diagram of a testing system provided by an embodiment of the present application.
  • the system includes an intelligent driving device 101 and a testing device 102. Wherein, the intelligent driving device 101 and the testing device 102 may communicate through a network.
  • the intelligent driving device 101 can run in the scene and send running data to the testing device 102 .
  • the testing device 102 can test the performance of the intelligent driving system configured in the intelligent driving device 101 .
  • the smart driving device 101 may be an electronic device with smart driving capabilities and data sending and receiving capabilities.
  • the smart driving device 101 may be an actual vehicle equipped with one or more sensors such as lidar, camera, Global Navigation Satellite System (Global Navigation Satellite System, GNSS), and inertial measurement unit (Inertial Measurement Unit, IMU).
  • the intelligent driving device 101 may be a simulated vehicle controlled by an intelligent driving system external to the simulation system.
  • the test device 102 may be an electronic device with data processing capability and data sending and receiving capability, which may be a physical device such as a host, a frame server, a blade server, etc., or a virtual device such as a virtual machine , containers, etc.
  • the test device 102 may be deployed in the cloud or in an actual vehicle, which is not limited in this embodiment of the present application.
  • the scene in which the intelligent driving device 101 operates may be a safe scene or an unsafe scene, and the testing device 102 may test the performance of the intelligent driving system configured in the intelligent driving device 101 .
  • intelligent driving refers to the technology that the machine assists the human to drive, and completely replaces the human to drive under special circumstances.
  • Intelligent driving mainly includes three links: network navigation, autonomous driving and manual intervention.
  • the network navigation of intelligent driving solves the problems of where we are, where we are going, and which lane in which road to take; autonomous driving is under the control of intelligent system to complete lane keeping, overtaking and merging, stop at red light and go at green light, and stop at green light.
  • Driving behaviors such as language flute interaction; manual intervention refers to the driver's response to the actual road conditions under a series of prompts from the intelligent system.
  • the intelligent driving system refers to the system used to realize the intelligent driving technology.
  • the intelligent driving system includes but is not limited to an assisted driving system and an automatic driving system.
  • Cars deployed with intelligent driving systems can use technologies such as computers, modern sensing, information fusion, communication, artificial intelligence, and automatic control to realize environmental perception, planning and decision-making, and multi-level assisted driving functions, thereby improving safety. .
  • An embodiment of the present application provides a testing method, which can be applied to electronic equipment such as the testing device 102 shown in FIG. 3 .
  • the test method provided by the embodiment of the present application can determine the test method for performance testing of the intelligent driving system according to the scene where the test needs to be carried out, which improves the adaptability between the test method and the scene that needs to be tested, thereby improving the performance of the intelligent driving system.
  • Fig. 4 shows a flow chart of the testing method provided by the embodiment of the present application. As shown in Figure 4, the test method may include:
  • Step S401 acquiring a first scene.
  • the first scene may be used to represent a scene to be tested currently.
  • the first scenario may include a known unsafe scenario (that is, a scenario where the intelligent driving system makes an error), and a scenario that is not within an operational design domain (Operational Design Domain, ODD).
  • a known unsafe scenario that is, a scenario where the intelligent driving system makes an error
  • ODD Opera Design Domain
  • the first scene may be used to indicate one or more of time information, weather information, terrain information, road information, and movement state information of traffic participants.
  • the time information may be used to indicate the time when the first scene appears, for example, the time information may be morning, afternoon or evening, and the time information may also be season or month.
  • the weather information can be used to indicate the weather when the first scene appears.
  • the weather information can be sunny, cloudy, foggy, rainy, snowy, etc.
  • the weather information can also be divided into finer grains, such as large Fog, heavy rain, etc.
  • Terrain information may be used to indicate the terrain involved in the first scene.
  • the terrain information may be flat, potholes, and the like.
  • the road information may be used to indicate road conditions in the first scene.
  • the road information may include urban roads, country roads, mountain roads, single lanes, multi-lanes, and single lanes.
  • the motion state information of traffic participants can be used to indicate the motion state of traffic participants appearing in the first scene.
  • traffic participants include but are not limited to pedestrians, non-motor vehicles, motor vehicles, green belts, traffic lights And street buildings, etc.
  • the movement status information of traffic participants includes but not limited to position, driving direction, speed, acceleration and status information of traffic lights (red light, green light, yellow light, flashing) and so on.
  • the first scene A may be used to indicate: night, rainy day, mountainous area, and national highway; the first scene B may be used to indicate: daytime, sunny day, suburban area, and high speed.
  • one of the time information, weather information, terrain information, road information and traffic participant's motion state information when the unsafe scene occurs can be used to or more, thereby obtaining the first scene.
  • the test method may be re-adapted to the known non-safe scene, so as to change the known non-safe scene into a known safe scene.
  • the first scene may be obtained according to current information.
  • the intelligent driving system of the self-vehicle runs incorrectly or indicates danger
  • one or more of the current time information, weather information, terrain information, road information, and traffic participant's motion state information are acquired , get the first scene.
  • Step S402 according to the first scenario, determine a first test method, the first test method corresponds to the first scenario, and the first test method is used to test the intelligent driving system in the first scenario performance.
  • the first test method may be used to indicate a test method corresponding to the first scenario.
  • the adaptability between the first test method and the first scenario is high, and when the first test method is used to test the performance of the intelligent driving system in the first scenario, the accuracy of the test results obtained is relatively high.
  • the first test method may be used to indicate a first test mode, a first test content, and a first test index.
  • the first test mode may be used to indicate a test mode applicable to the first test scenario.
  • the first test mode includes at least one or more of simulation evaluation, closed field test and actual road test.
  • the first test content may be used to indicate the test content to be tested when testing the performance of the intelligent driving system in the first scene.
  • the first test content includes at least one or more of compliance, degree of danger, and driving stability.
  • the first test index may be used to indicate a test index for judging the operating data when testing the performance of the intelligent driving system in the first scene.
  • the first test index includes at least one or more of safety distance and/or traffic rules.
  • step S402 may include: according to the actual scene construction difficulty of the first scene, determine the test method applicable to the first scene; according to the security requirements of the first scene, determine the Applicable test content and applicable test index of the first scenario; according to the applicable test method, applicable test content and applicable test index of the first scenario, determine the first test method corresponding to the first scenario.
  • simulation evaluation may be determined as an applicable test method for the first scene.
  • the construction of actual scenes such as rainy weather scenes, foggy weather scenes, and mountain scene scenes is relatively difficult, and the corresponding test methods can be determined through simulation evaluation.
  • the closed field test or the actual road test can be determined as the suitable test method for the first scene.
  • the actual scene construction of the parking lot scene, urban road scene, sunny scene and other scenes is relatively small, and the closed field test or the actual road test can be determined as the applicable test method for the first scene.
  • the first test content when the first scenario requires a safety distance, the first test content needs to include the safety distance, and the first test index needs to include the minimum safety distance.
  • traffic rules are required in the first scenario, the first test content needs to include compliance, and the first test index needs to include traffic rules.
  • the first test content When there is a need for comfort in the first scene, the first test content needs to include driving stability, and the first test index needs to include the number of emergency braking or emergency acceleration.
  • the test method applicable to the first scenario i.e. the first test method
  • the test content applicable to the first scenario i.e. the first test content
  • the test index applicable to the first scenario i.e. the first test index
  • the first test method corresponding to the first scenario is used to indicate: night, rainy day, mountainous area, national road.
  • the test method of the first scene A can choose the simulation evaluation method.
  • the test content can include compliance, danger, and driving stability.
  • the test index can choose a larger safety distance (such as 10 seconds), general driving stability, and strictly abide by traffic rules such as speed limit and no overtaking.
  • the first scene B may indicate: daytime, sunny day, suburban area, high speed.
  • the test method of the first scene B chooses the simulation evaluation method.
  • the test content can include compliance, risk level, and driving stability.
  • the test index can choose a common safe distance (such as 5 seconds) , high driving stability, and strictly abide by traffic rules such as speed limit and not being too close to the car.
  • the corresponding relationship between the test method and the scene can be preset, and one or more of the time information, weather information, terrain information, road information, and traffic participant's motion state information can be found. and determine the test method, test content and test index indicated by the test method in the found correspondence relation as the first test method, first test content and first test index indicated by the first scene.
  • the test method for performance testing of the intelligent driving system is determined according to the scene that needs to be tested, which improves the adaptability of the test method to the scene that needs to be tested, thereby improving the performance of the intelligent driving system in the scene.
  • the accuracy of the performance test is determined according to the scene that needs to be tested, which improves the adaptability of the test method to the scene that needs to be tested, thereby improving the performance of the intelligent driving system in the scene.
  • Fig. 5 shows a flow chart of the testing method provided by the embodiment of the present application. As shown in Figure 5, on the basis of Figure 4, the test method can also include:
  • Step S403 Test the performance of the intelligent driving system in the first scenario based on the first test method, and obtain a test result.
  • the test result is either the test passed or the test failed. Passing the test indicates that the intelligent driving system can operate normally in the first scenario, which is a safe scenario, and failing the test indicates that the intelligent driving system cannot operate normally in the first scenario, which is an unsafe scenario.
  • step S403 may include: simulating the first scenario based on the first test mode; in the simulated first scenario, running the intelligent driving system based on the first test content , to obtain the operation data of the intelligent driving system in the first scene; according to whether the operation data satisfies the first test index, determine whether the test result is a test pass or a test failure.
  • the running data includes but not limited to position, speed, acceleration, driving direction and so on. It can be understood that the operation data is obtained based on the first test content, and the operation data is judged by the first test index. If the operation data meets the first test index, it can be determined that the test result is the test pass; when the operation data does not meet the first test index, it can be determined that the test result is the test failure.
  • the performance of the intelligent driving system in the first scenario is tested by using the first test method adapted to the first scenario, which improves the accuracy of the performance test of the intelligent driving system in the scenario.
  • the method further includes: when the test result is a test pass, adding the first scene to the scene library supported by the intelligent driving system, and recording the intelligent driving system.
  • the perception ability refers to the ability of the intelligent driving system to perceive the surrounding environment of the vehicle (such as pedestrians, vehicles, lanes, traffic lights, obstacles, green belts or street buildings, etc.). Perception capabilities are associated with the vehicle's sensors. It is understandable that when the vehicle speed is fast, a strong perception ability is required; in a congested road section, a strong perception ability is required. When the perception ability is insufficient, the intelligent driving system can allocate part of the computing resources to perception to improve the perception ability.
  • the driving strategy refers to the driving planning algorithm of the intelligent driving system. For example, driving strategies in rainy or foggy days may include a larger safety distance, reduced vehicle speed, and the like. Driving strategies in foggy days may also include turning on fog lights and honking the horn.
  • the test result indicates that the intelligent driving system can operate normally in the first scene, which is a safe scene. Therefore, the first scene can be added to the scene library supported by the intelligent driving system and recorded.
  • the perception ability and driving strategy of the intelligent driving system when operating in the first scenario. In this way, when the intelligent driving system encounters the first scene again, it can determine that the first scene is a safe scene based on the supported scene library, and can apply the corresponding perception ability and driving strategy of the first scene, so as to realize safe driving.
  • the intelligent driving system can determine whether the current scene is a scene supported by the intelligent driving system based on one or more of the current time information, weather information, terrain information, road information, and traffic participant's motion state information , that is, the security scene.
  • One or more of the current time information, weather information, terrain information, road information, and traffic participant's motion state information is compatible with the time information, weather information, terrain indicated by the first scene in the scene library supported by the intelligent driving system information, road information, and one or more of the traffic participant's motion state information match, the first scene can be determined as the scene where the intelligent driving system is currently located, and according to the intelligent driving system in the first scene Perception ability and driving strategy operation in downtime operation to achieve safe driving.
  • the vehicle by storing the first scene that passed the test and the perception ability and driving strategy corresponding to the first scene, the vehicle can realize safe driving when encountering the first scene again.
  • the method further includes: in the case that the test result is a test failure, analyzing the reason that causes the intelligent driving system to fail the test in the first scenario; For the reasons mentioned above, the intelligent driving system is updated, so that the test result of the intelligent driving system in the first scenario is changed to pass the test.
  • the first scene can be added to the scene library supported by the intelligent driving system, and the updated intelligent driving system can be recorded in The perception capability and driving strategy during operation in the first scenario, so that the vehicle can realize safe driving when encountering the first scenario again.
  • the updating the intelligent driving system according to the reason may include: when the reason is a sensor perception error, improving the perception of the intelligent driving system in the first scene ability.
  • the updating the intelligent driving system according to the reason may include: when the reason is that a driving strategy parameter is wrong, adjusting the intelligent driving system in the first scene driving strategy.
  • the parameters of the driving strategy include but not limited to speed, safety distance, acceleration and so on.
  • the updating the intelligent driving system according to the reason may include: when the reason is a sensor perception error and a parameter error of a driving strategy, improving the intelligent driving system in the perception ability in the first scene, and adjust the driving strategy of the intelligent driving system in the first scene.
  • the method further includes: when the test result is a test pass, combining the first scene and the perception of the intelligent driving system when running in the first scene Capabilities and driving strategies are sent to the cloud and/or other cars, so that the cloud and/or other cars update the scene library supported by the intelligent driving system, and record the perception of the intelligent driving system when it is running in the first scene ability and driving strategy.
  • the safety of the intelligent driving system of other vehicles in the first scene can be realized drive.
  • the method further includes: when the test result is a test pass, sending the first scenario and the first test method to the cloud and/or other vehicles to Make the cloud and/or other vehicles test the performance of the intelligent driving system in the first scenario based on the first test method.
  • the cloud and/or other cars can accurately evaluate the performance of the intelligent driving system in the first scene. test, which is conducive to the safe driving of other cars in the first scene.
  • the above-mentioned first scene that passes the test and the corresponding perception ability and driving strategy of the first scene, as well as the above-mentioned first test method can be sent through OTA (Over-the-Air Technology, OTA) .
  • OTA Over-the-Air Technology
  • FIG. 6 shows an interactive flowchart of the testing method provided by the embodiment of the present application. As shown in Figure 6, the method includes:
  • Step S601 the first vehicle determines a first testing method according to a first scenario.
  • Step S602 the first vehicle tests the performance of the intelligent driving system in the first scenario based on the first test method, and obtains test results.
  • Step S603 if the test is passed, the first vehicle adds the first scene to the scene library supported by the intelligent driving system, and records the perception ability and driving strategy of the intelligent driving system when running in the first scene .
  • Step S604 if the test is passed, the first vehicle sends the first scene and the perception ability and driving strategy of the intelligent driving system when running in the first scene to the cloud.
  • step S605 the cloud sends the received first scene, and the perception capability and driving strategy corresponding to the first scene to the second vehicle.
  • the second vehicle can realize safe driving when encountering the first scene.
  • Step S606 if the test is passed, the first vehicle sends the first scenario and the perception ability and driving strategy of the intelligent driving system when running in the first scenario to the third vehicle.
  • the third vehicle can realize safe driving when encountering the first scene.
  • the above-mentioned first vehicle may be any vehicle, and the second vehicle and the third vehicle may represent vehicles with the same intelligent driving system as the first vehicle, and the above-mentioned steps S604 and S606 are optional.
  • the first vehicle in the above steps S601 to S606 can be changed to the cloud, and at this time, it is not necessary to perform steps S604 and S605.
  • the first vehicle in steps S601 to S606 above may be changed to other electronic devices capable of testing the first scenario, which is not limited in this embodiment of the present application.
  • FIG. 7 shows a schematic structural diagram of a test device provided by an embodiment of the present application. As shown in Figure 7, the device 700 may include:
  • the determining module 702 is configured to determine a first test method according to the first scenario, the first test method corresponds to the first scenario, and the first test method is used to test the intelligent driving system in the first scenario. performance in one scenario.
  • the test method for performance testing of the intelligent driving system is determined according to the scene that needs to be tested, which improves the adaptability of the test method to the scene that needs to be tested, thereby improving the performance of the intelligent driving system in the scene.
  • the accuracy of the performance test is determined according to the scene that needs to be tested, which improves the adaptability of the test method to the scene that needs to be tested, thereby improving the performance of the intelligent driving system in the scene.
  • the device further includes:
  • a testing module configured to test the performance of the intelligent driving system in the first scenario based on the first testing method, and obtain a test result.
  • the first test method is used to indicate the first test method, the first test content and the first test index, and the test module is also used to:
  • test result is a test pass or a test fail.
  • the device further includes:
  • a recording module configured to add the first scenario to the scenario library supported by the intelligent driving system when the test result is passed, and record the intelligent driving system in the first scenario Perception capabilities and driving strategies at runtime.
  • the device further includes:
  • An analysis module configured to analyze the reason why the intelligent driving system fails the test in the first scenario when the test result is a test failure
  • An update module configured to update the intelligent driving system based on the reason, so that the test result of the intelligent driving system in the first scenario is changed to pass the test.
  • the update module is also used to:
  • the device further includes:
  • the first sending module is used to send the first scene and the perception ability and driving strategy of the intelligent driving system when running in the first scene to the cloud and /or other vehicles, so that the cloud and/or other vehicles update the scene library supported by the intelligent driving system, and record the perception ability and driving strategy of the intelligent driving system when running in the first scene.
  • the device further includes:
  • the second sending module is used to send the first scene and the first test method to the cloud and/or other cars when the test result is a test pass, so that the cloud and/or other cars are based on
  • the first testing method tests the performance of the intelligent driving system in the first scenario.
  • the first test method includes at least one or more of simulation evaluation, closed field test and actual road test;
  • the first test content includes at least one or more of compliance, risk level and driving stability
  • the first test index includes at least one or more of safety distance and/or traffic rules.
  • the first scene is used to indicate one or more of time information, weather information, terrain information, road information, and movement state information of traffic participants;
  • the acquisition module is also used for:
  • one or more of the current time information, weather information, terrain information, road information, and traffic participant's motion state information are obtained to obtain the first scene.
  • the determination module is also used for:
  • a first test method corresponding to the first scenario is determined according to the applicable test method, applicable test content and applicable test index of the first scenario.
  • FIG. 8 shows a schematic structural diagram of a test device provided by an embodiment of the present application.
  • the test device can be deployed in terminal equipment such as vehicles, or in a cloud server.
  • the test device may include at least one processor 301 , a memory 302 , an input and output device 303 and a bus 304 .
  • processor 301 the test device may include at least one processor 301 , a memory 302 , an input and output device 303 and a bus 304 .
  • memory 302 the test device may include at least one processor 301 , a memory 302 , an input and output device 303 and a bus 304 .
  • the processor 301 is the control center of the testing device, and may be one processor, or a general term for multiple processing elements.
  • the processor 301 is a central processing unit (Central Processing Unit, CPU), may also be a specific integrated circuit (Application Specific Integrated Circuit, ASIC), or is configured to implement one or more integrated circuits of the embodiments of the present disclosure , for example: one or more microprocessors (Digital Signal Processor, DSP), or, one or more Field Programmable Gate Arrays (Field Programmable Gate Array, FPGA).
  • CPU Central Processing Unit
  • ASIC Application Specific Integrated Circuit
  • the processor 301 can execute various functions of the test device by running or executing software programs stored in the memory 302 and calling data stored in the memory 302 .
  • the processor 301 may include one or more CPUs, such as CPU 0 and CPU 1 shown in the figure.
  • the test device may include multiple processors, for example, the processor 301 and the processor 305 shown in FIG. 8 .
  • processors can be a single-core processor (single-CPU) or a multi-core processor (multi-CPU).
  • a processor herein may refer to one or more devices, circuits, and/or processing cores for processing data (eg, computer program instructions).
  • the memory 302 may be a read-only memory (Read-Only Memory, ROM) or other types of static storage devices that can store static information and instructions, and a random access memory (Random Access Memory, RAM) or other types that can store information and instructions It can also be an electrically erasable programmable read-only memory (Electrically Erasable Programmable Read-Only Memory, EEPROM), a compact disc (Compact Disc Read-Only Memory, CD-ROM) or other optical disc storage, optical disc storage (including compact discs, laser discs, optical discs, digital versatile discs, Blu-ray discs, etc.), magnetic disk storage media or other magnetic storage devices, or can be used to carry or store desired program code in the form of instructions or data structures and can be programmed by a computer Any other medium accessed, but not limited to.
  • the memory 302 may exist independently, and is connected to the processor 301 through the bus 304 .
  • the memory 302 can also be integrated with the processor 301 .
  • the input and output device 303 is used for communicating with other devices or a communication network. For example, it is used to communicate with communication networks such as Ethernet, Radio access network (RAN), and Wireless Local Area Networks (WLAN).
  • the input and output device 303 may include all or part of a baseband processor, and may also optionally include a radio frequency (Radio Frequency, RF) processor.
  • the RF processor is used to send and receive RF signals
  • the baseband processor is used to process the baseband signals converted from RF signals or the baseband signals to be converted into RF signals.
  • the input and output device 303 may include a transmitter and a receiver.
  • the transmitter is used to send signals to other devices or communication networks
  • the receiver is used to receive signals sent by other devices or communication networks.
  • the transmitter and receiver can exist independently or be integrated together.
  • the bus 304 may be an Industry Standard Architecture (Industry Standard Architecture, ISA) bus, a Peripheral Component Interconnect (PCI) bus, or an Extended Industry Standard Architecture (Extended Industry Standard Architecture, EISA) bus, etc.
  • ISA Industry Standard Architecture
  • PCI Peripheral Component Interconnect
  • EISA Extended Industry Standard Architecture
  • the bus can be divided into address bus, data bus, control bus and so on. For ease of representation, only one thick line is used in FIG. 8 , but it does not mean that there is only one bus or one type of bus.
  • the device structure shown in FIG. 8 does not constitute a limitation to the test apparatus, and may include more or less components than shown, or combine certain components, or have different component arrangements.
  • An embodiment of the present application provides a test device, including: a processor and a memory for storing instructions executable by the processor; wherein the processor is configured to implement the above method when executing the instructions.
  • An embodiment of the present application provides a non-volatile computer-readable storage medium, on which computer program instructions are stored, and when the computer program instructions are executed by a processor, the foregoing method is realized.
  • An embodiment of the present application provides a computer program product, including computer-readable codes, or a non-volatile computer-readable storage medium bearing computer-readable codes, when the computer-readable codes are stored in a processor of an electronic device When running in the electronic device, the processor in the electronic device executes the above method.
  • a computer readable storage medium may be a tangible device that can retain and store instructions for use by an instruction execution device.
  • a computer readable storage medium may be, for example, but is not limited to, an electrical storage device, a magnetic storage device, an optical storage device, an electromagnetic storage device, a semiconductor storage device, or any suitable combination of the foregoing.
  • Non-exhaustive list of computer-readable storage media include: portable computer disk, hard disk, random access memory (Random Access Memory, RAM), read only memory (Read Only Memory, ROM), erasable Electrically Programmable Read-Only-Memory (EPROM or flash memory), Static Random-Access Memory (Static Random-Access Memory, SRAM), Portable Compression Disk Read-Only Memory (Compact Disc Read-Only Memory, CD -ROM), Digital Video Disc (DVD), memory sticks, floppy disks, mechanically encoded devices such as punched cards or raised structures in grooves with instructions stored thereon, and any suitable combination of the foregoing .
  • RAM Random Access Memory
  • ROM read only memory
  • EPROM or flash memory erasable Electrically Programmable Read-Only-Memory
  • Static Random-Access Memory SRAM
  • Portable Compression Disk Read-Only Memory Compact Disc Read-Only Memory
  • CD -ROM Compact Disc Read-Only Memory
  • DVD Digital Video Disc
  • Computer readable program instructions or codes described herein may be downloaded from a computer readable storage medium to a respective computing/processing device, or downloaded to an external computer or external storage device over a network, such as the Internet, local area network, wide area network, and/or wireless network.
  • the network may include copper transmission cables, fiber optic transmission, wireless transmission, routers, firewalls, switches, gateway computers, and/or edge servers.
  • a network adapter card or a network interface in each computing/processing device receives computer-readable program instructions from the network and forwards the computer-readable program instructions for storage in a computer-readable storage medium in each computing/processing device .
  • Computer program instructions for performing the operations of the present application may be assembly instructions, instruction set architecture (Instruction Set Architecture, ISA) instructions, machine instructions, machine-related instructions, microcode, firmware instructions, state setting data, or in one or more source or object code written in any combination of programming languages, including object-oriented programming languages—such as Smalltalk, C++, etc., and conventional procedural programming languages—such as the “C” language or similar programming languages.
  • Computer readable program instructions may execute entirely on the user's computer, partly on the user's computer, as a stand-alone software package, partly on the user's computer and partly on a remote computer, or entirely on the remote computer or server implement.
  • the remote computer can be connected to the user's computer through any kind of network, including a Local Area Network (LAN) or a Wide Area Network (WAN), or it can be connected to an external computer such as use an Internet service provider to connect via the Internet).
  • electronic circuits such as programmable logic circuits, field-programmable gate arrays (Field-Programmable Gate Array, FPGA) or programmable logic arrays (Programmable Logic Array, PLA), the electronic circuit can execute computer-readable program instructions, thereby realizing various aspects of the present application.
  • These computer-readable program instructions may be provided to a processor of a general purpose computer, special purpose computer, or other programmable data processing apparatus to produce a machine such that when executed by the processor of the computer or other programmable data processing apparatus , producing an apparatus for realizing the functions/actions specified in one or more blocks in the flowchart and/or block diagram.
  • These computer-readable program instructions can also be stored in a computer-readable storage medium, and these instructions cause computers, programmable data processing devices and/or other devices to work in a specific way, so that the computer-readable medium storing instructions includes An article of manufacture comprising instructions for implementing various aspects of the functions/acts specified in one or more blocks in flowcharts and/or block diagrams.
  • each block in a flowchart or block diagram may represent a module, a portion of a program segment, or an instruction that includes one or more Executable instructions.
  • the functions noted in the block may occur out of the order noted in the figures. For example, two blocks in succession may, in fact, be executed substantially concurrently, or they may sometimes be executed in the reverse order, depending upon the functionality involved.
  • each block in the block diagrams and/or flowcharts, and combinations of blocks in the block diagrams and/or flowcharts can be implemented with hardware (such as circuits or ASIC (Application Specific Integrated Circuit, application-specific integrated circuit)), or it can be realized by a combination of hardware and software, such as firmware.
  • hardware such as circuits or ASIC (Application Specific Integrated Circuit, application-specific integrated circuit)
  • firmware such as firmware

Abstract

一种测试方法及装置，涉及智能交通和智能驾驶技术领域，测试方法包括获取第一场景（S401）；根据第一场景，确定第一测试方法，第一测试方法与第一场景相对应，第一测试方法用于测试智能驾驶系统在第一场景下的性能（S402）。智能驾驶系统可以应用于车辆中，测试方法及装置能够提高智能驾驶系统在场景下的性能测试的准确性，以提高车辆行驶的安全性。

Description

测试方法及装置 技术领域
本申请涉及智能交通和智能驾驶技术领域，尤其涉及一种测试方法及装置。
背景技术
近年来，自动驾驶技术迅速发展。汽车作为一种交通工具，在给人来带来方便的同时，也带来了很多安全隐患。交通事故经常出现在人类生活中，威胁着人们的生命、健康以及财产安全。因此，安全成为了自动驾驶系统(Autonomous Driving System，ADS)或者智能驾驶系统的最关键因素，自动驾驶汽车需要在确保安全的前提条件下进行控制和行驶。
预期功能安全(Safety of The Intended Functionality，SOTIF)的定义为：没有不合理的危险，危险都是由于预期行为的性能限制或者用户合理可预见的滥用造成的。其中，性能限制是指自动驾驶系统自身功能不完善；滥用是指人位未按照制造商涉及系统的要求使用自动驾驶系统。
在SOTIF中，驾驶场景分为四类：已知安全场景(Known Safe Scenarios)、已知非安全场景(Known Unsafe Scenarios)、未知非安全场景((Unknown Unsafe Scenarios))和未知安全场景(Unknown Safe Scenarios)。图1示出了驾驶场景的示例性示意图。如图1所示，区域1代表已知安全场景、区域2代表已知非安全场景、区域3代表未知非安全场景、区域4代表未知安全场景。智能驾驶系统在场景下的测试性能是否安全非常重要。因此，如何准确地测试智能驾驶系统在场景下的性能是当前亟待解决的问题。
发明内容
有鉴于此，提出了一种测试方法，能够提高智能驾驶系统在场景下的性能测试的准确性。
第一方面，本申请的实施例提供了一种测试方法，所述方法包括：获取第一场景；根据所述第一场景，确定第一测试方法，所述第一测试方法与所述第一场景相对应，所述第一测试方法用于测试智能驾驶系统在所述第一场景下的性能。
在本申请实施例中，根据需要进行测试的场景，确定对智能驾驶系统进行性能测试的测试方法，提高了测试方法与需要进行测试的场景的适配度，从而提高了智能驾驶系统在场景下的性能测试的准确性。
根据第一方面，在所述方法的第一种可能的实现方式中，所述方法还包括：基于所述第一测试方法对所述智能驾驶系统在所述第一场景下的性能进行测试，得到测试结果。
在本申请实施例中，通过采用与场景适配的测试方法进行性能测试，可以有效提高智能驾驶系统在场景下的性能测试的准确性。
根据第一方面的第一种可能的实现方式，在所述方法的第二种可能的实现方式中， 所述第一测试方法用于指示第一测试方式、第一测试内容和第一测试指标，所述基于所述第一测试方法对所述智能驾驶系统在所述第一场景下的性能进行测试，得到测试结果，包括：基于所述第一测试方式，模拟所述第一场景；在模拟的第一场景中，基于所述第一测试内容运行所述智能驾驶系统，得到所述智能驾驶系统在所述第一场景中的运行数据；根据所述运行数据是否满足所述第一测试指标，确定所述测试结果为测试通过还是测试未通过。
根据第一方面的第一种可能的实现方式或者第二种可能的实现方式，在所述方法的第三种可能的实现方式中，所述方法还包括：
在所述测试结果为测试通过的情况下，将所述第一场景添加至所述智能驾驶系统支持的场景库中，并记录所述智能驾驶系统在所述第一场景下运行时的感知能力和驾驶策略。
这样，在智能驾驶系统再次遇到第一场景时，可以按照第一场景对应的感知能力和驾驶策略进行运行，以实现安全驾驶。
根据第一方面的第一中可能的实现方式至第三种可能的实现方式中的任意一种，在所述方法的第四种可能的实现方式中，所述方法还包括：
在所述测试结果为测试未通过的情况下，分析导致所述智能驾驶系统在所述第一场景下测试未通过的原因；
基于所述原因，更新所述智能驾驶系统，以使所述智能驾驶系统在所述第一场景下的测试结果变更为测试通过。
根据第一方面的第四种可能的实现方式，在所述方法的第五种可能的实现方式中，所述根据所述原因，更新所述智能驾驶系统包括：
在所述原因为传感器感知错误时，提升所述智能驾驶系统在所述第一场景下的感知能力；
和/或，
在所述原因为驾驶策略的参数错误时，调整所述智能驾驶系统在所述第一场景下的驾驶策略。
在本申请实施例中，可以分析导致所述智能驾驶系统在第一场景下测试未通过的原因，进而更新智能驾驶系统，从而使智能驾驶系统在第一场景下的测试结果变更为测试通过，也就是说，将第一场景由非安全场景变换为安全场景。
根据第一方面的第二种可能的实现方式至第五种可能的实现方式中的任意一种，在所述方法的第六种可能的实现方式中，所述方法还包括：
在所述测试结果为测试通过的情况下，将所述第一场景以及所述智能驾驶系统在所述第一场景下运行时的感知能力和驾驶策略发送至云端和/或他车，以使云端和/或他车更新所述智能驾驶系统支持的场景库，并记录所述智能驾驶系统在所述第一场景下运行时的感知能力和驾驶策略。
根据第一方面的第二种可能的实现方式至第六种可能的实现方式中的任意一种，在所述方法的第七种可能的实现方式中，所述方法还包括：
在所述测试结果为测试通过的情况下，将所述第一场景和所述第一测试方法发送至云端和/或他车，以使云端和/或他车基于所述第一测试方法对所述智能驾驶系统在所 述第一场景下的性能进行测试。
根据第一方面的第二种可能的实现方式至第七种可能的实现方式中的任意一种，在所述方法的第八种可能的实现方式中，
所述第一测试方式至少包括仿真评估、封闭场地测试和实际道路测试中的一者或多者；
所述第一测试内容至少包括合规遵从性、危险程度和行驶平稳性中的一者或多者；
所述第一测试指标至少包括安全距离和/或交通规则中的一者或多者。
根据第一方面，或者以上第一方面的任意一种可能的实现方式，在所述方法的第九种可能的实现方式中，所述第一场景用于指示时间信息、天气信息、地形信息、道路信息以及交通参与者的运动状态信息中的一者或多者；
所述获取第一场景包括：
在自车的智能驾驶系统运行出现错误或者提示危险的情况下，获取当前的时间信息、天气信息、地形信息、道路信息以及交通参与者的运动状态信息中的一者或多个，得到所述第一场景。
根据第一方面的第九种可能的实现方式，在所述方法的第十种可能的实现方式中，所述根据所述第一场景，确定第一测试方法包括：
根据所述第一场景的实际场景构造难度，确定所述第一场景适用的测试方式；
根据所述第一场景的安全需求，确定所述第一场景适用的测试内容和适用的测试指标；
根据所述第一场景适用的测试方式、适用的测试内容和适用的测试指标，确定与所述第一场景相对应的第一测试方法。
第二方面，本申请的实施例提供了一种测试装置，所述装置包括：获取模块，用于获取第一场景；确定模块，用于根据所述第一场景，确定第一测试方法，所述第一测试方法与所述第一场景相对应，所述第一测试方法用于测试智能驾驶系统在所述第一场景下的性能。
根据第二方面，在所述装置的第一种可能的实现方式中，所述装置还包括：
测试模块，用于基于所述第一测试方法对所述智能驾驶系统在所述第一场景下的性能进行测试，得到测试结果。
根据第二方面的第一种可能的实现方式，在所述装置的第二种可能的实现方式中，所述第一测试方法用于指示第一测试方式、第一测试内容和第一测试指标，所述测试模块还用于：
基于所述第一测试方式，模拟所述第一场景；
在模拟的第一场景中，基于所述第一测试内容运行所述智能驾驶系统，得到所述智能驾驶系统在所述第一场景中的运行数据；
根据所述运行数据是否满足所述第一测试指标，确定所述测试结果为测试通过还是测试未通过。
根据第二方面的第一种可能的实现方式或者第二种可能的实现方式，在所述装置的第三种可能的实现方式中，所述装置还包括：
记录模块，用于在所述测试结果为测试通过的情况下，将所述第一场景添加至所 述智能驾驶系统支持的场景库中，并记录所述智能驾驶系统在所述第一场景下运行时的感知能力和驾驶策略。
根据第二方面的第一中可能的实现方式至第三种可能的实现方式中的任意一种，在所述装置的第四种可能的实现方式中，所述装置还包括：
分析模块，用于在所述测试结果为测试未通过的情况下，分析导致所述智能驾驶系统在所述第一场景下测试未通过的原因；
更新模块，用于基于所述原因，更新所述智能驾驶系统，以使所述智能驾驶系统在所述第一场景下的测试结果变更为测试通过。
根据第二方面的第四种可能的实现方式，在所述装置的第五种可能的实现方式中，所述根据所述原因，所述更新模块还用于：
在所述原因为传感器感知错误时，提升所述智能驾驶系统在所述第一场景下的感知能力；
和/或，
在所述原因为驾驶策略的参数错误时，调整所述智能驾驶系统在所述第一场景下的驾驶策略。
根据第二方面的第二种可能的实现方式至第五种可能的实现方式中的任意一种，在所述装置的第六种可能的实现方式中，所述装置还包括：
第一发送模块，用于在所述测试结果为测试通过的情况下，将所述第一场景以及所述智能驾驶系统在所述第一场景下运行时的感知能力和驾驶策略发送至云端和/或他车，以使云端和/或他车更新所述智能驾驶系统支持的场景库，并记录所述智能驾驶系统在所述第一场景下运行时的感知能力和驾驶策略。
根据第二方面的第二种可能的实现方式至第六种可能的实现方式中的任意一种，在所述装置的第七种可能的实现方式中，所述装置还包括：
第二发送模块，用于在所述测试结果为测试通过的情况下，将所述第一场景和所述第一测试方法发送至云端和/或他车，以使云端和/或他车基于所述第一测试方法对所述智能驾驶系统在所述第一场景下的性能进行测试。
根据第二方面的第二种可能的实现方式至第七种可能的实现方式中的任意一种，在所述装置的第八种可能的实现方式中，所述第一测试方式至少包括仿真评估、封闭场地测试和实际道路测试中的一者或多者；所述第一测试内容至少包括合规遵从性、危险程度和行驶平稳性中的一者或多者；所述第一测试指标至少包括安全距离和/或交通规则中的一者或多者。
根据第二方面，或者以上第二方面的任意一种可能的实现方式，在所述装置的第九种可能的实现方式中，所述第一场景用于指示时间信息、天气信息、地形信息、道路信息以及交通参与者的运动状态信息中的一者或多者；
所述获取模块还用于：
在自车的智能驾驶系统运行出现错误或者提示危险的情况下，获取当前的时间信息、天气信息、地形信息、道路信息以及交通参与者的运动状态信息中的一者或多个，得到所述第一场景。
根据第二方面的第九种可能的实现方式，在所述装置的第十种可能的实现方式中， 所述确定模块还用于：
根据所述第一场景的实际场景构造难度，确定所述第一场景适用的测试方式；
根据所述第一场景的安全需求，确定所述第一场景适用的测试内容和适用的测试指标；
根据所述第一场景适用的测试方式、适用的测试内容和适用的测试指标，确定与所述第一场景相对应的第一测试方法。
第三方面，本申请的实施例提供了一种测试装置，该测试装置可以执行上述第一方面或者第一方面的多种可能的实现方式中的一种或几种的测试方法。
第四方面，本申请的实施例提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述第一方面或者第一方面的多种可能的实现方式中的一种或几种的测试方法。
第五方面，本申请的实施例提供了一种计算机程序产品，包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质，当所述计算机可读代码在电子设备中运行时，所述电子设备中的处理器执行上述第一方面或者第一方面的多种可能的实现方式中的一种或几种的测试方法。
本申请的这些和其他方面在以下(多个)实施例的描述中会更加简明易懂。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本申请的示例性实施例、特征和方面，并且用于解释本申请的原理。
图1示出了驾驶场景的示例性示意图；
图2示出了区域的演进示意图；
图3示出本申请实施例提供的测试系统的结构示意图；
图4示出本申请实施例提供的测试方法的流程图；
图5示出本申请实施例提供的测试方法的流程图；
图6示出本申请实施例提供的测试方法的交互流程图；
图7示出本申请实施例提供的测试装置的结构示意图；
图8示出本申请实施例提供的电子设备的结构示意图。
具体实施方式
以下将参考附图详细说明本申请的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外，为了更好的说明本申请，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本申请同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本申请的主旨。
图3示出本申请实施例提供的测试系统的结构示意图。该系统包括智能驾驶装置 101和测试装置102。其中，智能驾驶装置101和测试装置102可以通过网络通信。智能驾驶装置101可以在场景中运行，并向测试装置102发送运行数据。测试装置102可以对智能驾驶装置101中配置的智能驾驶系统的性能进行测试。
在一种可能的实现方式中，智能驾驶装置101可以是具有智能驾驶能力和数据收发能力的电子设备。例如，智能驾驶装置101可以是装备有激光雷达、摄像头、全球导航卫星系统(GlobalNavigation Satellite System，GNSS)、惯性测量单元(Inertial Measurement Unit，IMU)等一个或多种传感器的实际车辆。在另一种可能的实现方式中，智能驾驶装置101可以是由仿真系统外接的智能驾驶系统控制的仿真车辆。
在一种可能的实现方式中，测试装置102可以是具有数据处理能力和数据收发能力的电子设备，可以是实体设备如主机、框架式服务器、刀片式服务器等，也可以是虚拟设备如虚拟机、容器等。测试装置102可以部署在云端，也可以部署在实际车辆中，对此本申请实施例不做限制。
智能驾驶装置101运行的场景可能是安全场景，也可能是非安全场景，测试装置102可以通过对智能驾驶装置101中配置的智能驾驶系统的性能进行测试。
在本申请实施例中，智能驾驶指的是机器帮助人进行驾驶，以及在特殊情况下完全取代人进行驾驶的技术。智能驾驶主要包括网络导航、自主驾驶和人工干预三个环节。智能驾驶的网络导航，解决我们在哪里、到哪里、走哪条道路中的哪条车道等问题；自主驾驶是在智能系统控制下，完成车道保持、超车并道、红灯停绿灯行、灯语笛语交互等驾驶行为；人工干预就是说驾驶员在智能系统的一系列提示下，对实际的道路情况作出的反应。智能驾驶系统是指用于实现智能驾驶技术的系统。在本申请实施例中，智能驾驶系统包括且不限于辅助驾驶系统和自动驾驶系统。部署了智能驾驶系统的汽车(即智能汽车)可以运用计算机、现代传感、信息融合、通讯、人工智能及自动控制等技术，实现环境感知、规划决策以及多等级辅助驾驶功能，从而提高安全性。
本申请实施例提供一种测试方法，该方法可以应用于诸如图3所示的测试装置102等的电子设备中。本申请实施例提供的测试方法可以根据需要进行测试的场景，确定对智能驾驶系统进行性能测试的测试方法，提高了测试方法与需要进行测试的场景的适配度，从而提高了智能驾驶系统在场景下的性能测试的准确性。
图4示出本申请实施例提供的测试方法的流程图。如图4所示，该测试方法可以包括：
步骤S401，获取第一场景。
其中，第一场景可以用于表示当前要进行测试的场景。在一种可能的实现方式中，第一场景可以包括已知非安全场景(即但智能驾驶系统出错的场景)，以及未在设计运行区域(Operational Design Domain，ODD)内的场景。
在一种可能的实现方式中，第一场景可以用于指示时间信息、天气信息、地形信息、道路信息以及交通参与者的运动状态信息中的一者或多者。其中，时间信息可以用于指示第一场景出现的时间，举例来说，时间信息可以为上午、下午或者晚上，时间信息也可以为季节或者月份。天气信息可以用于指示出现的第一场景时的天气，举例来说，天气信息可以为晴天、阴天、雾天、雨天、雪天等，天气信息还可以进行更 细粒度的划分，例如大雾、暴雨等。地形信息可以用于指示第一场景涉及的地形，举例来说，地形信息可以为平坦和坑洼等。道路信息可以用于指示第一场景中道路的情况，举例来说，道路信息可以为城市道路、乡村道路、山区道路、单车道、多车道和单行道等。交通参与者的运动状态信息可以用于指示出现在第一场景中的交通参与者的运动状态，举例来说，交通参与者包括但不限于行人、非机动车辆、机动车辆、绿化带、交通信号灯以及街边建筑物等，交通参与者的运动状态信息包括但不限于位置、行驶方向、速度、加速度以及交通信号灯的状态信息(红灯、绿灯、黄灯、闪烁)等。在一个示例中，第一场景A可以用于指示：夜晚、雨天、山区、国道；第一场景B可以用于指示：白天、晴天、郊区、高速。
在一种可能的实现方式中，对于任意一个已知非安全场景，可以根据该非安全场景出现时的时间信息、天气信息、地形信息、道路信息以及交通参与者的运动状态信息中的一者或多者，从而得到第一场景。在本申请实施例中，可以为已知非安全场景重新适配测试方法重新进行测试，以将已知非安全场景变更为已知安全场景。
在一种可能的实现方式中，对于任意一个未在ODD内的场景，可以根据当前的信息，获得第一场景。在一个示例中，在自车的智能驾驶系统运行出现错误或者提示危险的情况下，获取当前的时间信息、天气信息、地形信息、道路信息以及交通参与者的运动状态信息中的一者或多个，得到所述第一场景。在本申请实施例中，遇到未出现过的场景时，若智能驾驶系统运行出现了错误(例如，进入弯道无法提前限速；驾驶员对方向盘操控后，系统出现强烈对抗或者极易退出两种极端；横向控制过程中，出现控制超调，导致急速偏离车道等等)或者提示危险(例如，提示追尾危险、提示横向漂移危险等等)，表明当前场景可能是非安全的场景，因此，可以获取当前的时间信息、天气信息、地形信息、道路信息以及交通参与者的运动状态信息中的一者或多者，得到第一场景，进而对第一场景进行测试，使得该未知的场景变更为已知安全场景。
步骤S402，根据所述第一场景，确定第一测试方法，所述第一测试方法与所述第一场景相对应，所述第一测试方法用于测试智能驾驶系统在所述第一场景下的性能。
其中，第一测试方法可以用于指示与第一场景对应的测试方法。第一测试方法与第一场景的适配度较高，采用第一测试方法对智能驾驶系统在第一场景下的性能进行测试时，得到的测试结果的准确性较高。
在一种可能的实现方式中，所述第一测试方法可以用于指示第一测试方式、第一测试内容和第一测试指标。其中，第一测试方式可以用于指示第一测试场景适用的测试方式。举例来说，第一测试方式至少包括仿真评估、封闭场地测试和实际道路测试中的一者或多者。第一测试内容可以用于指示对智能驾驶系统在第一场景的性能进行测试时需要测试的测试内容。举例来说，第一测试内容至少包括合规遵从性、危险程度和行驶平稳性中的一者或多者。第一测试指标可以用于指示对智能驾驶系统在第一场景的性能进行测试时对运行数据进行评判的测试指标。举例来说，第一测试指标至少包括安全距离和/或交通规则中的一者或多者。需要说明的是，以上为第一测试方式、第一测试内容和第一测试指标的示例性说明，并不用于限制。
在一种可能的实现方式中，步骤S402可以包括：根据所述第一场景的实际场景构 造难度，确定所述第一场景适用的测试方式；根据所述第一场景的安全需求，确定所述第一场景适用的测试内容和适用的测试指标；根据所述第一场景适用的测试方式、适用的测试内容和适用的测试指标，确定与所述第一场景相对应的第一测试方法。
在一个示例中，在第一场景的实际场景构造难度比较大时，可以将仿真评估确定为第一场景适用的测试方式。例如，雨天场景、雾天场景、山区场景等场景的实际场景构造难度比较大，可以将仿真评估确定相应的测试方式。在第一场景的实际场景构造难度比较小时，可以将封闭场地测试或者实际道路测试确定为第一场景适用的测试方式。例如，停车场场景、城市道路场景、晴天场景等场景的实际场景构造难度比较小，可以将封闭场地测试或者实际道路测试确定为第一场景适用的测试方式。在一种可能的实现方式中，可以第一场景对应的第一测试方式可以有多个。也就是说，可以采用多种测试方式对智能驾驶系统在第一场景下的性能进行测试，例如既采用仿真方式，又采用封闭场地测试。
在一个示例中，在第一场景对安全距离有需求时，第一测试内容需要包括安全距离，第一测试指标需要包括最小安全距离。在第一场景对交通规则有需求时，第一测试内容需要包括合规遵从性，第一测试指标需要包括交通规则。在第一场景对舒适度有需求时，第一测试内容需要包括行驶平稳度，第一测试指标需要包括紧急刹车次数或者紧急加速次数等。
根据第一场景适用的测试方式(即第一测试方式)、第一场景适用的测试内容(即第一测试内容)以及第一场景适用的测试指标(即第一测试指标)，额可以确定与第一场景相对应的第一测试方法。举例来说，第一场景A用于指示：夜晚、雨天、山区、国道。出于实际场景构造难度的考虑，第一场景A的测试方式可以选择仿真评估的方式，测试内容可以包括合规遵从性、危险程度、行驶平稳性，测试指标可选择较大的安全距离(如10秒)、一般的行驶平稳度、并严格遵守限速和不得超车等交通规则。第一场景B可以指示：白天、晴天、郊区、高速。出于实际场景构造难度的考虑，第一场景B的测试方式选择仿真评估的方式，测试内容可以包括合规遵从性、危险程度、行驶平稳性，测试指标可以选择常用安全距离(如5秒)、较高的行驶平稳度、并严格遵守限速和不得跟车过近等交通规则。
在一种可能的实现方式中，可以预设测试方法与场景的对应关系，查找与时间信息、天气信息、地形信息、道路信息以及交通参与者的运动状态信息中的一者或多者匹配的对应关系，并将查找到的对应关系中的测试方法指示的测试方式、测试内容和测试指标确定为第一场景指示的第一测试方式、第一测试内容和第一测试指标。
在本申请实施例中，根据需要进行测试的场景，确定对智能驾驶系统进行性能测试的测试方法，提高了测试方法与需要进行测试的场景的适配度，从而提高了智能驾驶系统在场景下的性能测试的准确性。
图5示出本申请实施例提供的测试方法的流程图。如图5所示，在图4的基础上，所述测试方法还可以包括：
步骤S403，基于所述第一测试方法对所述智能驾驶系统在所述第一场景下的性能进行测试，得到测试结果。
测试结果为测试通过或者测试未通过。测试通过表明智能驾驶系统可以在第一场 景下正常运行，第一场景为安全场景，测试未通过表明智能驾驶系统在第一场景下无法正常运行，第一场景为非安全场景。
在一种可能的实现方式中，步骤S403可以包括：基于所述第一测试方式，模拟所述第一场景；在模拟的第一场景中，基于所述第一测试内容运行所述智能驾驶系统，得到所述智能驾驶系统在所述第一场景中的运行数据；根据所述运行数据是否满足所述第一测试指标，确定所述测试结果为测试通过还是测试未通过。
其中，运行数据包括但不限于位置、速度、加速度、行驶方向等。可以理解的是，运行数据基于第一测试内容获得，运行数据以第一测试指标作为评判标准。在运行数据满足第一测试指标的情况下，可以确定测试结果为测试通过；在运行数据不满足第一测试指标的情况下，可以确定测试结果为测试未通过。
在本申请实施例中，采用与第一场景适配的第一测试方法对智能驾驶系统在所述第一场景下的性能进行测试，提高了智能驾驶系统在场景下的性能测试的准确性。
在一种可能的实现方式，所述方法还包括：在所述测试结果为测试通过的情况下，将所述第一场景添加至所述智能驾驶系统支持的场景库中，并记录所述智能驾驶系统在所述第一场景下运行时的感知能力和驾驶策略。
其中，感知能力指的智能驾驶系统对车辆周边环境(例如行人、车辆、车道、交通指示灯、障碍物、绿化带或者街边建筑物等)的感知能力。感知能力与车辆的传感器相关。可以理解的是，在车速较快时，需要较强的感知能力；在拥堵路段，需要较强的感知能力。在感知能力不足时，智能驾驶系统可以调配一部分计算资源到感知上以提高感知能力。驾驶策略指的是智能驾驶系统的驾驶规划算法。例如，雨天或者雾天的驾驶策略可以包括较大的安全距离，降低的车速等。雾天的驾驶策略还可以包括打开雾灯和鸣笛等。
在测试结果为测试通过的情况下，表明智能驾驶系统可以在第一场景下正常运行，第一场景为安全场景，因此，可以将第一场景添加至智能驾驶系统支持的场景库中，并记录智能驾驶系统在第一场景下运行时的感知能力和驾驶策略。这样，智能驾驶系统再次遇到第一场景时，可以基于支持的场景库，确定第一场景是安全场景，可以应用第一场景对应的感知能力和驾驶策略，从而实现安全驾驶。
在一个示例中，智能驾驶系统可以基于当前的时间信息、天气信息、地形信息、道路信息以及交通参与者的运动状态信息中的一者或多个，确定当前场景是否为智能驾驶系统支持的场景，即安全场景。在当前的时间信息、天气信息、地形信息、道路信息以及交通参与者的运动状态信息中的一者或多个与智能驾驶系统支持的场景库中第一场景指示的时间信息、天气信息、地形信息、道路信息以及交通参与者的运动状态信息中的一者或多者相匹配的情况下，可以将第一场景确定为智能驾驶系统当前所在场景，并且按照智能驾驶系统在所述第一场景下运行时的感知能力和驾驶策略运行，以实现安全驾驶。
在本申请实施例中，通过存储测试通过的第一场景以及第一场景对应的感知能力和驾驶策略，可以使车辆再次遇到第一场景下时可以实现安全驾驶。
在一种可能的实现方式中，所述方法还包括：在所述测试结果为测试未通过的情况下，分析导致所述智能驾驶系统在所述第一场景下测试未通过的原因；基于所述原 因，更新所述智能驾驶系统，以使所述智能驾驶系统在所述第一场景下的测试结果变更为测试通过。
测试未通过表明智能驾驶系统在第一场景下无法正常运行，第一场景为非安全场景，为了使智能驾驶系统可以在第一场景下实现安全驾驶，在本申请实施例中，可以分析导致所述智能驾驶系统在第一场景下测试未通过的原因，进而更新智能驾驶系统，从而使智能驾驶系统在第一场景下的测试结果变更为测试通过，也就是说，将第一场景由非安全场景变换为安全场景。可以理解的是，在智能驾驶系统在第一场景下的测试结果变更为测试通过之后，可以将第一场景添加至所述智能驾驶系统支持的场景库中，并记录更新后的智能驾驶系统在所述第一场景下运行时的感知能力和驾驶策略，这样可以使车辆再次遇到第一场景下时可以实现安全驾驶。
在一种可能的实现方式中，所述根据所述原因，更新所述智能驾驶系统可以包括：在所述原因为传感器感知错误时，提升所述智能驾驶系统在所述第一场景下的感知能力。
在一种可能的实现方式中，所述根据所述原因，更新所述智能驾驶系统可以包括：在所述原因为驾驶策略的参数错误时，调整所述智能驾驶系统在所述第一场景下的驾驶策略。
其中，驾驶策略的参数包括但不限于速度、安全距离、加速度等。
在一种可能的实现方式中，所述根据所述原因，更新所述智能驾驶系统可以包括：在所述原因为传感器感知错误以及驾驶策略的参数错误时，提升所述智能驾驶系统在所述第一场景下的感知能力，并调整所述智能驾驶系统在所述第一场景下的驾驶策略。
需要说明的是，以上仅为导致智能驾驶系统在所述第一场景下测试未通过的原因的示例，导致测试未通过的原因还可以有其他原因，以及，以上仅为更新智能驾驶系统的方式的示例，基于其他原因还可以有其他的更新智能驾驶系统的方式，对此本申请实施例不做限制。
在一种可能的实现方式中，所述方法还包括：在所述测试结果为测试通过的情况下，将所述第一场景以及所述智能驾驶系统在所述第一场景下运行时的感知能力和驾驶策略发送至云端和/或他车，以使云端和/或他车更新所述智能驾驶系统支持的场景库，并记录所述智能驾驶系统在所述第一场景下运行时的感知能力和驾驶策略。
在本申请实施例中，通过将测试通过的第一场景和第一场景对应的感知能力和驾驶策略发送至云端和/或他车，可以实现其他车辆的智能驾驶系统在第一场景下的安全驾驶。
在一种可能的实现方式中，所述方法还包括：在所述测试结果为测试通过的情况下，将所述第一场景和所述第一测试方法发送至云端和/或他车，以使云端和/或他车基于所述第一测试方法对所述智能驾驶系统在所述第一场景下的性能进行测试。
在本申请实施例中，通过将测试通过的第一场景对应的第一测试方法发送至云端和/或他车，可以使云端和/或他车对第一场景下智能驾驶系统的性能进行准确的测试，从而有利于他车在第一场景下进行安全驾驶。
在一种可能的实现方式中，可以通过空中下载技术(Over-the-Air Technology，OTA)发送上述测试通过的第一场景和第一场景对应的感知能力和驾驶策略，以及上述第一 测试方法。
图6示出本申请实施例提供的测试方法的交互流程图。如图6所示，所述方法包括：
步骤S601，第一车辆根据第一场景，确定第一测试方法。
步骤S602，第一车辆基于第一测试方法对智能驾驶系统在第一场景下的性能进行测试，得到测试结果。
步骤S603，在测试通过的情况下，第一车辆将第一场景添加至智能驾驶系统支持的场景库中，并记录所述智能驾驶系统在所述第一场景下运行时的感知能力和驾驶策略。
步骤S604，在测试通过的情况下，第一车辆将第一场景以及所述智能驾驶系统在所述第一场景下运行时的感知能力和驾驶策略发送至云端。
步骤S605，云端将接收到的第一场景，以及第一场景对应的感知能力和驾驶策略发送至第二车辆。
这样，第二车辆在遇到第一场景时可以实现安全驾驶。
步骤S606，在测试通过的情况下，第一车辆将第一场景以及所述智能驾驶系统在所述第一场景下运行时的感知能力和驾驶策略发送至第三车辆。
这样，第三车辆在遇到第一场景时可以实现安全驾驶。
需要说明的是，上述第一车辆可以为任意车辆，第二车辆和第三车辆可以表示与第一车辆的智能驾驶系统相同的车辆，上述步骤S604和步骤S606是可选的。在一个示例中，上述步骤S601至步骤S606中的第一车辆可以变更为云端，此时无需执行步骤S604和步骤S605。在另一个示例中，上述步骤S601至步骤S606中的第一车辆还可以变更为其他具备第一场景测试能力的电子设备，对此本申请实施例不做限制。
图7示出本申请实施例提供的测试装置的结构示意图。如图7所示，该装置700可以包括：
获取模块701，用于获取第一场景；
确定模块702，用于根据所述第一场景，确定第一测试方法，所述第一测试方法与所述第一场景相对应，所述第一测试方法用于测试智能驾驶系统在所述第一场景下的性能。
在本申请实施例中，根据需要进行测试的场景，确定对智能驾驶系统进行性能测试的测试方法，提高了测试方法与需要进行测试的场景的适配度，从而提高了智能驾驶系统在场景下的性能测试的准确性。
在一种可能的实现方式中，所述装置还包括：
测试模块，用于基于所述第一测试方法对所述智能驾驶系统在所述第一场景下的性能进行测试，得到测试结果。
在一种可能的实现方式中，所述第一测试方法用于指示第一测试方式、第一测试内容和第一测试指标，所述测试模块还用于：
基于所述第一测试方式，模拟所述第一场景；
在模拟的第一场景中，基于所述第一测试内容运行所述智能驾驶系统，得到所述智能驾驶系统在所述第一场景中的运行数据；
根据所述运行数据是否满足所述第一测试指标，确定所述测试结果为测试通过还是测试未通过。
在一种可能的实现方式中，所述装置还包括：
记录模块，用于在所述测试结果为测试通过的情况下，将所述第一场景添加至所述智能驾驶系统支持的场景库中，并记录所述智能驾驶系统在所述第一场景下运行时的感知能力和驾驶策略。
在一种可能的实现方式中，所述装置还包括：
分析模块，用于在所述测试结果为测试未通过的情况下，分析导致所述智能驾驶系统在所述第一场景下测试未通过的原因；
更新模块，用于基于所述原因，更新所述智能驾驶系统，以使所述智能驾驶系统在所述第一场景下的测试结果变更为测试通过。
在一种可能的实现方式中，所述根据所述原因，所述更新模块还用于：
在所述原因为传感器感知错误时，提升所述智能驾驶系统在所述第一场景下的感知能力；
和/或，
在所述原因为驾驶策略的参数错误时，调整所述智能驾驶系统在所述第一场景下的驾驶策略。
在一种可能的实现方式中，所述装置还包括：
第一发送模块，用于在所述测试结果为测试通过的情况下，将所述第一场景以及所述智能驾驶系统在所述第一场景下运行时的感知能力和驾驶策略发送至云端和/或他车，以使云端和/或他车更新所述智能驾驶系统支持的场景库，并记录所述智能驾驶系统在所述第一场景下运行时的感知能力和驾驶策略。
在一种可能的实现方式中，所述装置还包括：
第二发送模块，用于在所述测试结果为测试通过的情况下，将所述第一场景和所述第一测试方法发送至云端和/或他车，以使云端和/或他车基于所述第一测试方法对所述智能驾驶系统在所述第一场景下的性能进行测试。
在一种可能的实现方式中，
所述第一测试方式至少包括仿真评估、封闭场地测试和实际道路测试中的一者或多者；
所述第一测试内容至少包括合规遵从性、危险程度和行驶平稳性中的一者或多者；
所述第一测试指标至少包括安全距离和/或交通规则中的一者或多者。
在一种可能的实现方式中，所述第一场景用于指示时间信息、天气信息、地形信息、道路信息以及交通参与者的运动状态信息中的一者或多者；
所述获取模块还用于：
在自车的智能驾驶系统运行出现错误或者提示危险的情况下，获取当前的时间信息、天气信息、地形信息、道路信息以及交通参与者的运动状态信息中的一者或多个，得到所述第一场景。
在一种可能的实现方式中，所述确定模块还用于：
根据所述第一场景的实际场景构造难度，确定所述第一场景适用的测试方式；
根据所述第一场景的安全需求，确定所述第一场景适用的测试内容和适用的测试指标；
根据所述第一场景适用的测试方式、适用的测试内容和适用的测试指标，确定与所述第一场景相对应的第一测试方法。
图8示出本申请实施例提供的测试装置的结构示意图。该测试装置可以部署在车辆等终端设备中，也可以部署在云端服务器中。
如图8所示，测试装置可以包括至少一个处理器301，存储器302、输入输出设备303以及总线304。下面结合图8对测试装置的各个构成部件进行具体的介绍：
处理器301是测试装置的控制中心，可以是一个处理器，也可以是多个处理元件的统称。例如，处理器301是一个中央处理器(Central Processing Unit，CPU)，也可以是特定集成电路(Application Specific Integrated Circuit，ASIC)，或者是被配置成实施本公开实施例的一个或多个集成电路，例如：一个或多个微处理器(Digital Signal Processor，DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，FPGA)。
其中，处理器301可以通过运行或执行存储在存储器302内的软件程序，以及调用存储在存储器302内的数据，执行测试装置的各种功能。
在具体的实现中，作为一种实施例，处理器301可以包括一个或多个CPU，例如图中所示的CPU 0和CPU 1。
在具体实现中，作为一种实施例，测试装置可以包括多个处理器，例如图8中所示的处理器301和处理器305。这些处理器中的每一个可以是一个单核处理器(single-CPU)，也可以是一个多核处理器(multi-CPU)。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。
存储器302可以是只读存储器(Read-Only Memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(Random Access Memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器302可以是独立存在，通过总线304与处理器301相连接。存储器302也可以和处理器301集成在一起。
输入输出设备303，用于与其他设备或通信网络通信。如用于与以太网，无线接入网(Radio access network，RAN)，无线局域网(Wireless Local Area Networks，WLAN)等通信网络通信。输入输出设备303可以包括基带处理器的全部或部分，以及还可选择性地包括无线射频(Radio Frequency，RF)处理器。RF处理器用于收发RF信号，基带处理器则用于实现由RF信号转换的基带信号或即将转换为RF信号的基带信号的处理。
在具体实现中，作为一种实施例，输入输出设备303可以包括发射器和接收器。其中，发射器用于向其他设备或通信网络发送信号，接收器用于接收其他设备或通信 网络发送的信号。发射器和接收器可以独立存在，也可以集成在一起。
总线304，可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component Interconnect，PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture，EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
图8中示出的设备结构并不构成对测试装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本申请的实施例提供了一种测试装置，包括：处理器以及用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令时实现上述方法。
本申请的实施例提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。
本申请的实施例提供了一种计算机程序产品，包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质，当所述计算机可读代码在电子设备的处理器中运行时，所述电子设备中的处理器执行上述方法。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是(但不限于)电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(Random Access Memory，RAM)、只读存储器(Read Only Memory，ROM)、可擦式可编程只读存储器(Electrically Programmable Read-Only-Memory，EPROM或闪存)、静态随机存取存储器(Static Random-Access Memory，SRAM)、便携式压缩盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、数字多功能盘(Digital Video Disc，DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。
这里所描述的计算机可读程序指令或代码可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本申请操作的计算机程序指令可以是汇编指令、指令集架构(Instruction Set Architecture，ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网 (Local Area Network，LAN)或广域网(Wide Area Network，WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或可编程逻辑阵列(Programmable Logic Array，PLA)，该电子电路可以执行计算机可读程序指令，从而实现本申请的各个方面。
这里参照根据本申请实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本申请的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本申请的多个实施例的装置、系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。
也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行相应的功能或动作的硬件(例如电路或ASIC(Application Specific Integrated Circuit，专用集成电路))来实现，或者可以用硬件和软件的组合，如固件等来实现。
以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (25)

  1. 一种测试方法，其特征在于，所述方法包括：
    获取第一场景；
    根据所述第一场景，确定第一测试方法，所述第一测试方法与所述第一场景相对应，所述第一测试方法用于测试智能驾驶系统在所述第一场景下的性能。
  2. 根据权利要求1所述的方法，其特征在于，所述方法还包括：
    基于所述第一测试方法对所述智能驾驶系统在所述第一场景下的性能进行测试，得到测试结果。
  3. 根据权利要求2所述的方法，其特征在于，所述第一测试方法用于指示第一测试方式、第一测试内容和第一测试指标，所述基于所述第一测试方法对所述智能驾驶系统在所述第一场景下的性能进行测试，得到测试结果，包括：
    基于所述第一测试方式，模拟所述第一场景；
    在模拟的第一场景中，基于所述第一测试内容运行所述智能驾驶系统，得到所述智能驾驶系统在所述第一场景中的运行数据；
    根据所述运行数据是否满足所述第一测试指标，确定所述测试结果为测试通过还是测试未通过。
  4. 根据权利要求2或3所述的方法，其特征在于，所述方法还包括：
    在所述测试结果为测试通过的情况下，将所述第一场景添加至所述智能驾驶系统支持的场景库中，并记录所述智能驾驶系统在所述第一场景下运行时的感知能力和驾驶策略。
  5. 根据权利要求2至4中任意一项所述的方法，其特征在于，所述方法还包括：
    在所述测试结果为测试未通过的情况下，分析导致所述智能驾驶系统在所述第一场景下测试未通过的原因；
    基于所述原因，更新所述智能驾驶系统，以使所述智能驾驶系统在所述第一场景下的测试结果变更为测试通过。
  6. 根据权利要求5所述的方法，其特征在于，所述根据所述原因，更新所述智能驾驶系统包括：
    在所述原因为传感器感知错误时，提升所述智能驾驶系统在所述第一场景下的感知能力；
    和/或，
    在所述原因为驾驶策略的参数错误时，调整所述智能驾驶系统在所述第一场景下的驾驶策略。
  7. 根据权利要求3至6中任意一项所述的方法，其特征在于，所述方法还包括：
    在所述测试结果为测试通过的情况下，将所述第一场景以及所述智能驾驶系统在所述第一场景下运行时的感知能力和驾驶策略发送至云端和/或他车，以使云端和/或他车更新所述智能驾驶系统支持的场景库，并记录所述智能驾驶系统在所述第一场景下运行时的感知能力和驾驶策略。
  8. 根据权利要求3至7中任意一项所述的方法，其特征在于，所述方法还包括：
    在所述测试结果为测试通过的情况下，将所述第一场景和所述第一测试方法发送 至云端和/或他车，以使云端和/或他车基于所述第一测试方法对所述智能驾驶系统在所述第一场景下的性能进行测试。
  9. 根据权利要求3至8中任意一项所述的方法，其特征在于，
    所述第一测试方式至少包括仿真评估、封闭场地测试和实际道路测试中的一者或多者；
    所述第一测试内容至少包括合规遵从性、危险程度和行驶平稳性中的一者或多者；
    所述第一测试指标至少包括安全距离和/或交通规则中的一者或多者。
  10. 根据权利要求1至9中任意一项所述的方法，其特征在于，所述第一场景用于指示时间信息、天气信息、地形信息、道路信息以及交通参与者的运动状态信息中的一者或多者；
    所述获取第一场景包括：
    在自车的智能驾驶系统运行出现错误或者提示危险的情况下，获取当前的时间信息、天气信息、地形信息、道路信息以及交通参与者的运动状态信息中的一者或多个，得到所述第一场景。
  11. 根据权利要求10所述的方法，其特征在于，所述根据所述第一场景，确定第一测试方法包括：
    根据所述第一场景的实际场景构造难度，确定所述第一场景适用的测试方式；
    根据所述第一场景的安全需求，确定所述第一场景适用的测试内容和适用的测试指标；
    根据所述第一场景适用的测试方式、适用的测试内容和适用的测试指标，确定与所述第一场景相对应的第一测试方法。
  12. 一种测试装置，其特征在于，所述装置包括：
    获取模块，用于获取第一场景；
    确定模块，用于根据所述第一场景，确定第一测试方法，所述第一测试方法与所述第一场景相对应，所述第一测试方法用于测试智能驾驶系统在所述第一场景下的性能。
  13. 根据权利要求12所述的装置，其特征在于，所述装置还包括：
    测试模块，用于基于所述第一测试方法对所述智能驾驶系统在所述第一场景下的性能进行测试，得到测试结果。
  14. 根据权利要求13所述的装置，其特征在于，所述第一测试方法用于指示第一测试方式、第一测试内容和第一测试指标，所述测试模块还用于：
    基于所述第一测试方式，模拟所述第一场景；
    在模拟的第一场景中，基于所述第一测试内容运行所述智能驾驶系统，得到所述智能驾驶系统在所述第一场景中的运行数据；
    根据所述运行数据是否满足所述第一测试指标，确定所述测试结果为测试通过还是测试未通过。
  15. 根据权利要求13或14所述的装置，其特征在于，所述装置还包括：
    记录模块，用于在所述测试结果为测试通过的情况下，将所述第一场景添加至所述智能驾驶系统支持的场景库中，并记录所述智能驾驶系统在所述第一场景下运行时 的感知能力和驾驶策略。
  16. 根据权利要求13至15中任意一项所述的装置，其特征在于，所述装置还包括：
    分析模块，用于在所述测试结果为测试未通过的情况下，分析导致所述智能驾驶系统在所述第一场景下测试未通过的原因；
    更新模块，用于基于所述原因，更新所述智能驾驶系统，以使所述智能驾驶系统在所述第一场景下的测试结果变更为测试通过。
  17. 根据权利要求16所述的装置，其特征在于，所述根据所述原因，所述更新模块还用于：
    在所述原因为传感器感知错误时，提升所述智能驾驶系统在所述第一场景下的感知能力；
    和/或，
    在所述原因为驾驶策略的参数错误时，调整所述智能驾驶系统在所述第一场景下的驾驶策略。
  18. 根据权利要求14至17中任意一项所述的装置，其特征在于，所述装置还包括：
    第一发送模块，用于在所述测试结果为测试通过的情况下，将所述第一场景以及所述智能驾驶系统在所述第一场景下运行时的感知能力和驾驶策略发送至云端和/或他车，以使云端和/或他车更新所述智能驾驶系统支持的场景库，并记录所述智能驾驶系统在所述第一场景下运行时的感知能力和驾驶策略。
  19. 根据权利要求14至18中任意一项所述的装置，其特征在于，所述装置还包括：
    第二发送模块，用于在所述测试结果为测试通过的情况下，将所述第一场景和所述第一测试方法发送至云端和/或他车，以使云端和/或他车基于所述第一测试方法对所述智能驾驶系统在所述第一场景下的性能进行测试。
  20. 根据权利要求14至19中任意一项所述的装置，其特征在于，
    所述第一测试方式至少包括仿真评估、封闭场地测试和实际道路测试中的一者或多者；
    所述第一测试内容至少包括合规遵从性、危险程度和行驶平稳性中的一者或多者；
    所述第一测试指标至少包括安全距离和/或交通规则中的一者或多者。
  21. 根据权利要求14至20中任意一项所述的装置，其特征在于，所述第一场景用于指示时间信息、天气信息、地形信息、道路信息以及交通参与者的运动状态信息中的一者或多者；
    所述获取模块还用于：
    在自车的智能驾驶系统运行出现错误或者提示危险的情况下，获取当前的时间信息、天气信息、地形信息、道路信息以及交通参与者的运动状态信息中的一者或多个，得到所述第一场景。
  22. 根据权利要求21所述的装置，其特征在于，所述确定模块还用于：
    根据所述第一场景的实际场景构造难度，确定所述第一场景适用的测试方式；
    根据所述第一场景的安全需求，确定所述第一场景适用的测试内容和适用的测试指标；
    根据所述第一场景适用的测试方式、适用的测试内容和适用的测试指标，确定与 所述第一场景相对应的第一测试方法。
  23. 一种测试装置，其特征在于，包括：
    处理器；
    用于存储处理器可执行指令的存储器；
    其中，所述处理器被配置为执行所述指令时实现权利要求1至11中任意一项所述的方法。
  24. 一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至11中任意一项所述的方法。
  25. 一种计算机程序产品，包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质，当所述计算机可读代码在电子设备中运行时，所述电子设备中的处理器执行权利要求1至11中任意一项所述的方法。
PCT/CN2022/071826 2022-01-13 2022-01-13 测试方法及装置 WO2023133758A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/CN2022/071826 WO2023133758A1 (zh) 2022-01-13 2022-01-13 测试方法及装置
CN202280050537.1A CN117730289A (zh) 2022-01-13 2022-01-13 测试方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2022/071826 WO2023133758A1 (zh) 2022-01-13 2022-01-13 测试方法及装置

Publications (1)

Publication Number Publication Date
WO2023133758A1 true WO2023133758A1 (zh) 2023-07-20

Family

ID=87280024

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/071826 WO2023133758A1 (zh) 2022-01-13 2022-01-13 测试方法及装置

Country Status (2)

Country Link
CN (1) CN117730289A (zh)
WO (1) WO2023133758A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116680932A (zh) * 2023-07-27 2023-09-01 西安深信科创信息技术有限公司 一种自动驾驶仿真测试场景的评估方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2525872A (en) * 2014-05-06 2015-11-11 Samuel Vaughan A system for preparing a user for driving test
CN108829087A (zh) * 2018-07-19 2018-11-16 山东省科学院自动化研究所 一种自动驾驶汽车的智能测试系统及测试方法
CN109324539A (zh) * 2018-08-28 2019-02-12 山东省科学院自动化研究所 一种自动驾驶封闭测试场的智能控制平台及方法
CN112465395A (zh) * 2020-12-15 2021-03-09 同济大学 一种面向自动驾驶汽车的多维度综合评价方法及装置
CN112997128A (zh) * 2021-04-19 2021-06-18 华为技术有限公司 一种自动驾驶场景的生成方法、装置及系统
CN113887037A (zh) * 2021-09-28 2022-01-04 中国科学技术大学先进技术研究院 一种不同渗透率的网联环境下自动驾驶系统测评方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2525872A (en) * 2014-05-06 2015-11-11 Samuel Vaughan A system for preparing a user for driving test
CN108829087A (zh) * 2018-07-19 2018-11-16 山东省科学院自动化研究所 一种自动驾驶汽车的智能测试系统及测试方法
CN109324539A (zh) * 2018-08-28 2019-02-12 山东省科学院自动化研究所 一种自动驾驶封闭测试场的智能控制平台及方法
CN112465395A (zh) * 2020-12-15 2021-03-09 同济大学 一种面向自动驾驶汽车的多维度综合评价方法及装置
CN112997128A (zh) * 2021-04-19 2021-06-18 华为技术有限公司 一种自动驾驶场景的生成方法、装置及系统
CN113887037A (zh) * 2021-09-28 2022-01-04 中国科学技术大学先进技术研究院 一种不同渗透率的网联环境下自动驾驶系统测评方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116680932A (zh) * 2023-07-27 2023-09-01 西安深信科创信息技术有限公司 一种自动驾驶仿真测试场景的评估方法及装置
CN116680932B (zh) * 2023-07-27 2023-11-21 安徽深信科创信息技术有限公司 一种自动驾驶仿真测试场景的评估方法及装置

Also Published As

Publication number Publication date
CN117730289A (zh) 2024-03-19

Similar Documents

Publication Publication Date Title
CN111781855B (zh) 一种交通在环自动驾驶仿真系统
US11155262B2 (en) Vehicular mitigation system based on wireless vehicle data
CN111123933B (zh) 车辆轨迹规划的方法、装置、智能驾驶域控制器和智能车
US20180267538A1 (en) Log-Based Vehicle Control System Verification
WO2021196052A1 (zh) 驾驶数据采集方法及装置
US10635117B2 (en) Traffic navigation for a lead vehicle and associated following vehicles
Aarts et al. European truck platooning challenge
CN111976727A (zh) 一种自动驾驶等级调整方法及相关设备
CN109729489B (zh) 用于车辆网状网的基于psm消息的设备发现
US11587366B1 (en) Systems and methods for selecting locations to validate automated vehicle data transmission
US10745010B2 (en) Detecting anomalous vehicle behavior through automatic voting
CN112712729B (zh) 预测运动轨迹的方法和系统
US9725092B2 (en) Method, host vehicle and following space management unit for managing following space
DE102019101847A1 (de) Genauigkeitssystem für vernetzte Fahrzeuge
CN111765904B (zh) 自动驾驶车辆的测试方法、装置、电子设备和介质
US20230071836A1 (en) Scene security level determination method, device and storage medium
CN113256974A (zh) 车辆违章预警方法、装置、设备及存储介质
WO2023133758A1 (zh) 测试方法及装置
US11877217B2 (en) Message processing for wireless messages based on value of information
EP4256536A1 (en) Autonomous vehicle high-priority data offload system
CN114407915A (zh) 运行设计域odd的处理方法、装置及存储介质
US20240060788A1 (en) Map simulation services
US11907050B1 (en) Automated event analysis
US20230185993A1 (en) Configurable simulation test scenarios for autonomous vehicles
US20240010233A1 (en) Camera calibration for underexposed cameras using traffic signal targets

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22919421

Country of ref document: EP

Kind code of ref document: A1