WO2021141206A1 - 가상환경에서의 자율주행차량 시뮬레이션 방법 - Google Patents

가상환경에서의 자율주행차량 시뮬레이션 방법 Download PDF

Info

Publication number
WO2021141206A1
WO2021141206A1 PCT/KR2020/012594 KR2020012594W WO2021141206A1 WO 2021141206 A1 WO2021141206 A1 WO 2021141206A1 KR 2020012594 W KR2020012594 W KR 2020012594W WO 2021141206 A1 WO2021141206 A1 WO 2021141206A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
simulation
server
vehicle
surrounding
Prior art date
Application number
PCT/KR2020/012594
Other languages
English (en)
French (fr)
Inventor
정지원
홍준
Original Assignee
주식회사 모라이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 모라이 filed Critical 주식회사 모라이
Priority to IL285850A priority Critical patent/IL285850B1/en
Priority to JP2022516018A priority patent/JP7442227B2/ja
Priority to CN202080064163.XA priority patent/CN114365108A/zh
Priority to EP20815706.5A priority patent/EP3872633A4/en
Priority to US17/251,139 priority patent/US11514212B2/en
Publication of WO2021141206A1 publication Critical patent/WO2021141206A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/15—Vehicle, aircraft or watercraft design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G06F15/163—Interprocessor communication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/02—CAD in a network environment, e.g. collaborative CAD or distributed simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/4401—Bootstrapping
    • G06F9/4411—Configuring for operating with peripheral devices; Loading of device drivers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines

Definitions

  • the present invention relates to a method for simulating an autonomous vehicle in a virtual environment, and more particularly, maintaining to optimize resources through efficient data processing on a simulator of an autonomous vehicle, which is a virtual environment for verifying a control algorithm of an autonomous vehicle. It is related to the simulation method.
  • An autonomous vehicle is a vehicle that drives without the driver directly driving the vehicle. These autonomous vehicles generally follow a driving route based on 2D/3D map information, and when a variable occurs by measuring surrounding objects in real time while driving, the driving route is changed.
  • the autonomous driving vehicle performs autonomous driving according to data recognized from surrounding features and a driving control algorithm that processes it, and in the case of the recognition, radar, lidar, and GPS (Radar) mounted on the vehicle It is configured to recognize the driving environment such as vehicles, pedestrians and obstacles on the road using sensors such as Global Positioning System) and cameras.
  • the driving control algorithm may calculate/infer a driving situation based on the output data calculated in the recognition step, and generate control signals for vehicle components based on the calculated/inferred values.
  • the autonomous vehicle is disclosed in Korean Patent Application Laid-Open No. 10-2018-0086632 (“A device and method for determining behavior of an autonomous vehicle”, published on August 1, 2018) or Korean Patent Application Laid-Open No. 10-2018-0104947 (“ As disclosed in “A control system and method for an autonomous vehicle”, published on September 27, 2018), it is being developed in the direction of recognizing more information in detail and controlling it.
  • the driving control algorithm has been developed in the direction of advance so that an accurate judgment can be derived among many variables.
  • Korean Patent Publication No. 10-1984762 Autonomous Driving Vehicle Simulator Applying Network Platform”, 2019.06.03.
  • Korean Patent Publication No. 10-1996230 Method and Apparatus for Providing Test Information for Simulation of Autonomous Driving Vehicle”, Announcement on July 4, 2019, etc.
  • the present invention has been devised to solve the above problems, and an object of the present invention is to separate a situation in which more detailed driving control algorithm verification or accurate data for a virtual sensor is required on a simulator, which is a virtual environment.
  • a simulation method for autonomous vehicles in a virtual environment that can create more accurate sensor output data while improving the disconnection phenomenon of the simulator by managing and building data sets and allowing more various verifications to be made on the built data sets will do
  • the moving object simulation method of the present invention for achieving the above object is, (a) the first server, for a predetermined time, simulation target road information, surrounding vehicle information, surrounding pedestrian information, surrounding obstacle information, surrounding traffic light information, A simulation pre-processing step of generating environmental information including at least one of surrounding sign information and event information, and (b) the second server uses the environmental information to simulate the simulation target according to the driving of the simulation target vehicle for the predetermined time period It may include a simulation step of calculating the output data of the sensor unit of the vehicle.
  • the present invention performs the step (b) after the step (a), and the step (a) further includes the step of storing the environment information, and in the step (b), the second server By using the environmental information stored in step (a), it is possible to reduce the computational resource burden for simulation.
  • first server and the second server may be configured as the same server.
  • step (a) and the step (b) are performed simultaneously, and the second server receives the environment information used in the step (b) from the first server in real time, so that the second It is also possible to reduce the computational resource burden of the server.
  • first server and the second server may be configured as separate servers.
  • the environment information may include simulation time information so as to synchronize the simulation times of steps (a) and (b).
  • simulation target vehicle may be configured as an autonomous vehicle.
  • the sensor unit may include at least one of a lidar, a radar, a GPS, and a camera.
  • the step of receiving, from the user, simulation setting information including at least one of the simulation target vehicle information, the sensor unit information of the simulation target vehicle, and vehicle driving control algorithm information; may include more.
  • the simulation target vehicle information may include at least one of a vehicle type, shape, size, wheelbase interval, height, and center of gravity.
  • the sensor unit information of the simulation target vehicle may include at least one of the number, type, specification, and in-vehicle installation position of the sensors included in the sensor unit.
  • the vehicle driving control algorithm information may be an algorithm for calculating a driving command of a vehicle based on output data of a sensor unit of the simulation target vehicle.
  • the driving command of the vehicle may include at least one of acceleration, deceleration, stop, driving direction and direction indicators, and lighting of the vehicle.
  • step (b) the driving of the simulation target vehicle may be controlled based on the calculated output data of the sensor unit of the vehicle.
  • the present invention may be configured as a moving body simulation system including a first server and a second server for performing the above-described moving body simulation method.
  • the present invention may be configured as a recording medium in which instructions for performing the above-described moving object simulation method are stored.
  • the method for simulating an autonomous vehicle in a virtual environment according to the configuration of the present invention as described above effectively eliminates the disconnection phenomenon of the simulator that occurs as a result of processing a plurality of computational data by sharing computational processing between the first server and the second server. There are advantages to solving it.
  • the present invention generates environmental information by dividing information for a predetermined time that requires more precise sensor unit output data among all operation information into a data set, thereby suppressing the occurrence of errors in output data due to interruption or delay of the simulator. It works.
  • the simulator is continuously operated in the first server, and information for a predetermined time is provided in the second server, and only the section requiring verification can be reproduced. It is possible to provide an environment in which necessary environmental information can be provided and their algorithms can be verified.
  • FIG. 1 is a schematic diagram of a system for performing an autonomous vehicle simulation method according to the present invention
  • FIG. 2 is a system configuration diagram according to an embodiment of a method for simulating an autonomous driving vehicle
  • 3 and 4 are control flowcharts according to an embodiment of a method for simulating an autonomous vehicle
  • FIG. 5 is a system configuration diagram according to another embodiment of a method for simulating an autonomous vehicle.
  • 6 and 7 are control flowcharts according to another embodiment of an autonomous vehicle simulation method.
  • FIG. 1 relates to a system for performing an autonomous vehicle simulation method according to the present invention
  • FIG. 1 shows a schematic diagram of the system.
  • the autonomous driving vehicle simulation system of the present invention is capable of data communication with external devices, and a first server 100 capable of verifying an algorithm for an autonomous driving vehicle with a built-in physics engine-based simulator;
  • a second server 200 may be included.
  • data communication may be performed with a wired connection with peripheral devices to transmit/receive data with other servers or devices, or may perform data transmission/reception with a remote server or devices through wireless communication.
  • first server 100 and the second server 200 may perform data communication with each other, and each includes an internal storage device to store information for operating the simulator, and a separate memory disposed outside It may be connected to the device 10 to perform data input/output.
  • the first server 100 and the second server 200 may verify the control algorithm of the autonomous vehicle.
  • data such as topographic features, road types, pedestrians, autonomous vehicles, and weather may be implemented in the virtual environment, and event information data such as rockfalls or traffic accidents may also be provided to be generated.
  • a plurality of vehicle data may be implemented in the virtual environment, and some vehicles may be provided such that the driving route is changed according to the surrounding environment according to the input driving algorithm, and in some vehicles, the driving algorithm may be provided according to the predetermined driving route. may be configured to verify
  • the first server 100 and the second server 200 may further include an output device connected to the simulator, and the above-described data may be visualized in the output device so that the user can check the data as an image.
  • the second server 200 may acquire sensor unit output data for the surrounding environment or vehicle arrangements centered on the target autonomous driving vehicle selected in the virtual environment, based on the sensor unit simulated in the virtual environment.
  • the sensor unit may include at least one of a lidar, a radar, a GPS, and a camera of the autonomous vehicle simulated in the virtual environment.
  • the sensor unit simulated in the virtual environment may generate measurement data through processor operation on other visualized data related to the selected autonomous vehicle. This will be described in more detail through various embodiments of the present invention to be described later.
  • FIG. 2 to 4 are related to an embodiment of the autonomous driving vehicle simulation method according to the present invention.
  • FIG. 2 is a system configuration diagram
  • FIGS. 3 and 4 are control flowcharts of the autonomous driving vehicle simulation method, respectively.
  • the first server and the second server of the present invention may be configured as the same server, and in this embodiment, the same first server and the second server are collectively referred to as a server.
  • the server may include a storage device, a simulator including a processor that controls/operates by receiving data from the storage device, and an input/output device that receives data from the outside or outputs data to the outside.
  • the server includes environmental information on the processor in the memory device, a physical engine, information about a virtual sensor that simulates an actual sensor (hereinafter referred to as a 'sensor unit'), and a driving control control algorithm (hereinafter referred to as a 'driving algorithm'). , and control/operation is performed based on the information provided by the processor so that the output value is visualized and displayed on the output device, or the output value is stored back to the memory device.
  • Various information provided may be stored separately on a plurality of disks instead of one disk, or some may be provided from the outside.
  • the environment information stored in the storage device may be divided into first environment information and second environment information, and the second environment information may be a data set composed of some data among all data of the first environment information.
  • the first environment information and the second environment information may include at least one of simulation target road information, surrounding vehicle information, surrounding pedestrian information, surrounding obstacle information, surrounding traffic light information, surrounding sign information, and event information.
  • the second environment information is at least one of the simulation target road information, surrounding vehicle information, surrounding pedestrian information, surrounding obstacle information, surrounding traffic light information, surrounding sign information, and event information divided according to the criteria input in the first environment information.
  • the input reference may be a predetermined time reference.
  • the predetermined time reference may be the operation time of the simulator when the simulator is operated and calculated information is output according to the first environment information, and a predetermined time (T1 to RTC) based on the Real-Time Clock (RTC).
  • T1 to RTC Real-Time Clock
  • the region between T2) may be determined.
  • the simulation target may be a vehicle for verifying the driving algorithm, and the surrounding of the target may be a topographical feature disposed within a certain range on the virtual field based on the vehicle as the surrounding of the target.
  • the simulator of the server may transmit simulation information according to the first environment information to an output device and visualize it through an image.
  • a second environment information generation request message may be transmitted to the storage device of the server.
  • the second environment information may be divided from the first environment information to be composed of a data set, and the server of the present invention may control it through a processor or data management may be performed through a separate DBMS or the like.
  • the environmental information logging request may be information on data related to an image between a reference of a simulation image output in real time and a predetermined time period (T1 to T2).
  • the simulator operated with the first environment information may be stopped, and the simulator may be operated based on the second environment information.
  • the server may provide the sensor unit data stored in the memory device to the simulator, and the simulator may calculate sensor data, which is the sensor unit output data, through the second environment information and the sensor unit data.
  • the sensor data may be stored again in the storage device and utilized.
  • the sensor unit parameter setting information may be input from the user terminal after or before the above-described step, and the sensor unit parameter setting information may be a control signal for which sensor among all the sensor units is to be reflected in the simulator.
  • the sensor unit information may be input together with the second environment information from the memory device to the simulator.
  • the sensor unit information may include at least one of the number, type, specification, and in-vehicle installation location of the sensors, and each sensor may have sensor unit data including a calculation algorithm to convert the data into a unique output value. .
  • the present invention can be made to verify by applying the driving algorithm transmitted from the user terminal or the driving algorithm stored in the memory device on the simulator in which the sensor data is calculated.
  • the simulation information to which the algorithm is input may be displayed in real time through an output device.
  • the moving object simulation method of the present invention may be largely composed of a pre-processing step and a simulation step.
  • the pre-processing step is based on a signal input through an input device on the server or a signal transmitted from the user terminal, in the first environment information of the storage device for a predetermined time, simulation target road information, surrounding vehicle information, surrounding
  • the second environment information including at least one of pedestrian information, surrounding obstacle information, surrounding traffic light information, surrounding sign information, and event information may be divided and generated.
  • the second environment information may be transmitted to an external storage device through a communication device or an output device and stored in the external storage device.
  • the server may receive the environmental data from the external storage device through an input device or a communication device.
  • the second environment information divided through this may be provided to a plurality of servers through an external storage device.
  • environmental data in a situation in which the autonomous vehicle is not operated in a correct manner in the real-time output image or a more detailed algorithm verification is required may be classified into a data set in advance. Accordingly, it is possible to input and verify several driving algorithms while allowing the server to repeat a situation in which detailed verification is required.
  • the present invention may generate more detailed data sets, such as third environment information and Nth environment information, including the second environment information divided from the first environment information.
  • FIG. 5 to 7 relate to another embodiment of the autonomous driving vehicle simulation method according to the present invention.
  • FIG. 5 is a system configuration diagram
  • FIGS. 6 and 7 are control flowcharts of the autonomous driving vehicle simulation method, respectively.
  • the present invention provides a storage device including first environment information, a first server including a simulator, an input/output device and a communication device, a storage device including second environment information, a simulator, an input/output device, and It may be configured as a second server including a communication device.
  • the second environment information of the second server may be a part of the first environment information divided by time from the first environment information of the first server.
  • the storage device of the first server and the second server may further include a physics engine for operating a simulator based on physical laws
  • the second server includes a sensor unit that is a virtual sensor that simulates an actual sensor and sensor data based on the sensor data. It may further include a driving algorithm for calculating the driving command of the vehicle.
  • the first server may convert simulation information according to the first environment information into image data in real time and display it through an output device or a communication device.
  • the simulator may be operated in the second server based on the second environment information obtained by dividing only the situation for a part having high importance rather than the entire data.
  • the second server may convert the simulation information according to the second environment information into image data and display it through an output device or a communication device of the corresponding server.
  • first environment information and the second environment information may include vehicle arrangement, topographical features, event information, pedestrian information, road information, and the like.
  • the second environment information may include at least one of selected simulation target reference road information, surrounding vehicle information, surrounding pedestrian information, surrounding obstacle information, surrounding traffic light information, surrounding sign information, and event information.
  • the output of the second environment information is, for example, when the user checks the image output from the first server in real time and there is a problem in the driving algorithm of the vehicle, or when a pedestrian walks on the road or a sudden rockfall occurs. Cases that require more detailed verification, such as events, can be divided into separate data sets. In this case, the division can be divided based on the simulator operating time of the first server or the time displayed such as RTC.
  • the first server may provide the first environment information stored in the storage device to the first simulator, which is the processor, and the first simulator may transmit the simulation information calculated in real time to the output device.
  • the simulation information transmitted from the first simulator may be information converted into image data, and may be transmitted to other servers including the second server through a communication device.
  • the first server is simulated for a predetermined time from other servers or user terminals including the input device and the second server, surrounding vehicle information, surrounding pedestrian information, surrounding obstacle information, surrounding traffic light information, surrounding sign information , and may receive an environment information logging request that is a generation summary message for the second environment information including at least one of event information.
  • the first server may separately manage fixed data that is not changed during simulation, such as terrain features or road information, and variable data that may be changed during simulation, such as vehicle arrangement or pedestrians.
  • the second environment information may include fixed data within a certain range of the selected autonomous driving vehicle and variable data for a set time.
  • the second environment information divided from the first environment information may be transmitted to the communication device of the second server through the communication device of the first server.
  • the second environment information received from the communication device of the second server may be stored in a storage device or provided to the second simulator. Through this process, a simulation pre-processing step in which the divided second environment information is stored on the first server or the second environment information is transmitted and stored in the second server may be performed.
  • the sensor unit information including the sensor unit data stored in the storage device on the second server and the second environment information may be input on the second simulator.
  • the second simulator may perform a simulation based on the above information, convert it into an image, and output it.
  • the present invention may be configured to receive sensor unit parameter setting information from a user terminal, and the sensor unit parameter setting information may be a message related to a request for selecting a sensor unit to which the second simulator is applied from among a plurality of sensor units. . And through the above process, a simulation step in which a simulation according to the driving of the simulation target vehicle is performed through the second environment information and the sensor unit data may be performed.
  • the sensor unit information may include sensor unit data that is virtual sensor data simulating an actual sensor, and may further include at least one of the number, type, specification, and in-vehicle installation location of the sensors included in the sensor unit.
  • the second simulator of the second server may simulate the received second environment information and the sensor unit data together, and the sensor data, which is the sensor unit output data of the simulated simulation target vehicle, may be stored in the storage device of the second server.
  • the driving algorithm provided in the user terminal or pre-stored in the second server is input to the second simulator, and the sensor data is input to the driving algorithm, so that the input driving algorithm can be verified. Accordingly, the user can repeatedly verify his/her own algorithm with only a situation within a relatively reduced set time, not with a large amount of data, and there is an advantage that more efficient verification can be made by inputting various driving algorithms.
  • a plurality of users may be provided to verify their own algorithms by accessing the first server and receiving only the environment information they need.
  • a plurality of sensor units may be configured, and data of each sensor unit of the plurality of sensor units may be sequentially calculated on the second simulator.
  • the second server may operate the second simulator several times by changing the number and type of sensor units based on the same second environment information from the user terminal.
  • the first sensor data, the second sensor data, etc. which are simulation results, may be stored in a memory device and may be synchronized with each other.
  • the second server inputs the synchronized sensor data and the second environment information to the second simulator, and applies the driving algorithm input or pre-stored from the user terminal to the simulator to verify the algorithm.
  • the present invention may include the step of receiving the simulation setting information in all of the above-described embodiments.
  • the step of receiving the simulation setting information may be performed before or after the preprocessing step, and may include at least one of simulation target vehicle information, simulation target vehicle sensor unit information, and vehicle driving algorithm information from the user terminal.
  • the simulation target vehicle information may include at least one of a vehicle type, shape, size, wheelbase interval, height, and center of gravity
  • the sensor unit information of the simulation target vehicle includes the number of sensors included in the sensor unit. , type, specification, and may include at least one of an installation location in the vehicle.
  • the vehicle driving control algorithm information may be configured as an algorithm for calculating a driving command of the vehicle based on the sensor unit output data of the simulation target vehicle.
  • the driving command of the vehicle may include at least one of acceleration, deceleration, stop, driving direction and direction indicators, and lighting of the vehicle.
  • the sensor unit information of the simulation target vehicle is received before the server calculates the sensor unit output data through the second environment information and the sensor unit data, and the vehicle driving control algorithm information is verified on the second simulator. may be received, but the steps are not limited thereto because the variables in the simulation may be changed and the steps may be repeated.

Abstract

본 발명은 이동체 시뮬레이션 방법으로서, 제1서버가 소정의 시간동안 시뮬레이션 대상 도로정보, 주변차량정보, 주변보행자정보, 주변장애물정보, 주변 신호등 정보, 주변 표지판 정보, 이벤트정보 중 적어도 하나를 포함하는 환경정보를 생성하는 시뮬레이션 전처리단계; 및 제2서버가 상기 환경정보를 이용하여 상기 소정의 시간 동안 시뮬레이션 대상 차량이 주행에 따른 상기 시뮬레이션 대상 차량의 센서부 출력 데이터를 산출하는 시뮬레이션단계를 포함하여, 서버의 리소스 제한으로 인한 과부하를 방지함과 더불어 알고리즘 검증의 질적 향상을 도모할 수 있는 가상환경에서의 자율주행차량 시뮬레이션 방법에 관한 것이다.

Description

가상환경에서의 자율주행차량 시뮬레이션 방법
본 발명은 가상환경에서의 자율주행차량 시뮬레이션 방법에 관한 것으로, 보다 상세하게는 자율주행차량의 제어 알고리즘을 검증하기 위한 가상환경인 자율주행차량의 시뮬레이터 상에서, 효율적인 데이터 처리를 통해 리소스를 최적화 하도록 유지하는 시뮬레이션 방법에 관한 것이다.
자율주행차량은 운전자가 차량을 직접 운전하지 않고도 주행이 이루어지는 자동차이다. 이러한 자율주행차량은 일반적으로 2차원/3차원 지도 정보를 기반으로 주행경로를 추종하는 것이 일반적이며, 주행 중에 주변 사물들을 실시간으로 측정하여 변수가 발생하면 상기 주행경로를 변경하도록 이루어진다.
그리고 상기 자율주행차량은 주변 지형지물로부터 인지되는 데이터와 이를 처리하는 주행 제어 알고리즘에 따라 자율주행이 이루어지며, 상기 인지의 경우에는 차량에 탑재된 레이다(Radar), 라이다(Lidar), GPS(Global Positioning System), 카메라(Camera) 등의 센서를 이용하여 도로 상에 존재하는 차량, 보행자 및 장애물 등의 주행환경을 인식하도록 구성된다. 아울러 상기 주행 제어 알고리즘은 상기 인지의 단계에서 산출된 출력 데이터를 기반으로 주행상황을 연산/추론하며, 연산/추론된 값을 기반으로 차량의 구성요소에 대한 제어신호를 생성될 수 있다..
이때 상기 자율주행차량은 한국공개특허공보 제10-2018-0086632호(“자율주행 차량의 행동 결정 장치 및 방법”, 2018.08.01. 공개)나 한국공개특허공보 제10-2018-0104947호(“자율주행차량의 제어 시스템 및 방법”, 2018.09.27. 공개)에서 개시된 바와 같이, 보다 많은 정보를 세밀하게 인지하고 이를 제어하는 방향으로 개발되고 있다. 이를 위해 종래에는 많은 변수 사이에서 정확한 판단이 도출될 수 있도록, 주행 제어 알고리즘이 진보하는 방향으로 개발이 되어졌다.
그리고 개발된 주행 제어 알고리즘은, 실제 자율차량에 적용하기 앞서서 이를 검증하는 과정이 수반되며, 이는 한국등록특허공보 제10-1984762호(“네트워크 플랫폼을 적용한 자율주행차량 시뮬레이터”, 2019.06.03. 공고)나 한국등록특허공보 제10-1996230호(“자율주행 차량의 시뮬레이션을 위한 테스트정보 제공 방법 및 장치”, 2019.07.04. 공고) 등에서 개시되어 있다.
여기서 시뮬레이터는 물리법칙이 실시간으로 연산되는 물리엔진을 기반으로 형성된 가상환경 상에서, 실제 센서를 모사한 가상의 센서들이 가상환경 내에서 데이터를 획득하여, 각각의 자율주행차량들의 주행 제어 알고리즘에 따라 데이터를 처리하도록 형성된다. 이와 같이 시뮬레이터의 물리엔진과 가상의 센서들, 그리고 주행 제어 알고리즘이 많은 양의 데이터를 입출력하고 연산해야 한다. 하지만 프로세서의 성능을 벗어난 데이터를 처리하는 경우에는, 전체 시스템의 처리 가능한 수준을 벗어나게 되어, 일부분에 대해 자원이 분배되지 않아 전체 가상환경 상에서 지연 현상이나 끊김 현상이 발생되는 문제점이 있었다.
본 발명은 상기한 바와 같은 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 가상환경인 시뮬레이터 상에서, 보다 세부적인 주행 제어 알고리즘 검증이 필요하거나 가상의 센서에 대한 정확한 데이터가 요구되는 상황을 별도로 관리하여 데이터 세트를 구축하고, 구축된 데이터 세트에 대해서 보다 다양한 검증이 이루어지도록 하여 시뮬레이터의 끊김 현상을 개선하면서도 보다 정확한 센서부 출력 데이터를 생성할 수 있는 가상환경에서의 자율주행차량 시뮬레이션 방법을 제공하는 것이다.
상기한 바와 같은 목적을 달성하기 위한 본 발명의 이동체 시뮬레이션 방법은, (a) 제1서버가, 소정의 시간동안 시뮬레이션 대상 도로정보, 주변차량정보, 주변보행자정보, 주변장애물정보, 주변 신호등 정보, 주변 표지판 정보, 이벤트정보 중 적어도 하나를 포함하는 환경정보를 생성하는 시뮬레이션 전처리단계 및 (b) 제2서버가, 상기 환경정보를 이용하여 상기 소정의 시간 동안 시뮬레이션 대상 차량이 주행에 따른 상기 시뮬레이션 대상 차량의 센서부 출력 데이터를 산출하는 시뮬레이션단계를 포함할 수 있다.
또한, 본 발명은 상기 단계(a) 이후에 상기 단계(b)를 수행하고, 상기 단계(a)는 상기 환경정보를 저장하는 단계를 더 포함하며, 상기 단계(b)에서 상기 제2서버가 상기 단계(a)에서 저장된 환경정보를 이용함으로써, 시뮬레이션을 위한 전산 자원 부담을 줄일 수 있다.
또한, 상기 제1서버와 상기 제2서버는 동일한 서버로 구성될 수 있다.
또한, 상기 단계(a)와 상기 단계(b)가 동시에 수행되고, 상기 단계(b)에서 이용하는 상기 환경정보는 상기 제2서버가 상기 제1서버로부터 실시간으로 수신함으로써, 시뮬레이션을 위한 상기 제2서버의 전산 자원 부담을 줄일 수도 있다.
또한, 상기 제1서버와 상기 제2서버는 별도의 서버로 구성될 수도 있다.
또한, 상기 단계(a)와 상기 단계(b)의 시뮬레이션 시각을 동기화할 수 있도록, 상기 환경정보는 시뮬레이션 시각 정보를 포함할 수 있다.
또한, 상기 시뮬레이션 대상 차량은 자율주행차량으로 구성될 수 있다.
또한, 상기 센서부는, 라이다, 레이다, GPS, 카메라 중 적어도 하나를 포함할 수 있다.
또한, 본 발명은 상기 단계(a) 이전 또는 이후에, 사용자로부터 시뮬레이션 대상 차량 정보, 시뮬레이션 대상 차량의 센서부 정보, 차량 주행 제어 알고리즘 정보 중 적어도 하나를 포함하는 시뮬레이션 설정 정보를 수신하는 단계;를 더 포함할 수 있다.
또한, 상기 시뮬레이션 대상 차량 정보는, 차량의 종류, 모양, 사이즈, 휠베이스간격, 높이, 무게중심 중 적어도 하나를 포함할 수 있다.
또한, 상기 시뮬레이션 대상 차량의 센서부 정보는, 상기 센서부가 포함하는 센서의 개수, 종류, 사양, 차량 내 설치 위치 중 적어도 하나를 포함할 수 있다.
또한, 상기 차량 주행 제어 알고리즘 정보는, 상기 시뮬레이션 대상 차량의 센서부 출력 데이터를 기초로 차량의 주행지령을 산출하는 알고리즘일 수 있다.
또한, 상기 차량의 주행지령은, 차량의 가속, 감속, 정지, 주행방향 및 방향지시등, 점등 중 적어도 하나를 포함할 수 있다.
또한, 상기 단계(b)에서, 산출된 상기 차량의 센서부 출력 데이터를 기초로 상기 시뮬레이션 대상 차량의 주행을 제어할 수 있다.
또한, 본 발명은 상술한 이동체 시뮬레이션 방법을 수행하는 제1서버 및 제2서버를 포함하는 이동체 시뮬레이션 시스템으로 구성될 수도 있다.
또한, 본 발명은 상술한 이동체 시뮬레이션 방법을 수행하는 명령어가 저장된 기록매체로 구성될 수도 있다.
상기와 같은 본 발명의 구성에 의한 가상환경에서의 자율주행차량 시뮬레이션 방법은, 제1서버와 제2서버가 서로 연산처리를 분담함으로써, 다수의 연산데이터를 처리함에 따라 나타나는 시뮬레이터의 끊김 현상을 효과적으로 해결할 수 있는 장점이 있다.
또한, 본 발명은 전체 운용 정보 중 보다 정밀한 센서부 출력 데이터가 요구되는 소정 시간 동안의 정보를 데이터 세트로 구분하여 환경정보를 생성함으로써, 시뮬레이터의 끊김 또는 지연에 따른 출력 데이터의 오류 발생을 억제하는 효과가 있다.
또한, 본 발명은 제1서버에서 지속적으로 시뮬레이터가 가동되고, 제2서버에서는 소정 시간 동안의 정보들을 제공받아, 검증이 요구되는 구간만을 재연할 수 있어, 제1서버에 다수의 접속자들이 접속하여 필요로 하는 환경정보를 제공받고 자신들의 알고리즘을 검증할 수 있는 환경을 제공할 수 있다.
도 1은 본 발명에 따른 자율주행차량 시뮬레이션 방법을 수행하는 시스템의 개략도.
도 2는 자율주행차량 시뮬레이션 방법의 일 실시예에 따른 시스템 구성도.
도 3 및 도 4는 자율주행차량 시뮬레이션 방법의 일 실시예에 따른 제어흐름도.
도 5는 자율주행차량 시뮬레이션 방법의 다른 실시예에 따른 시스템 구성도.
도 6 및 도 7은 자율주행차량 시뮬레이션 방법의 다른 실시예에 따른 제어흐름도.
이하 첨부한 도면들을 참조하여 본 발명의 다양한 실시예에 따른 가상환경에서의 자율주행차량 시뮬레이션 방법을 상세히 설명한다. 다음에 소개되는 도면들은 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 예로서 제공되는 것이다. 따라서 본 발명은 이하 제시되는 도면들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 또한 명세서 전반에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다.
이때 사용되는 기술 용어 및 과학 용어에 있어서 다른 정의가 없다면, 이 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 통상적으로 이해하고 있는 의미를 가지며, 하기의 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 설명은 생략한다.
도 1은 본 발명인 자율주행차량 시뮬레이션 방법을 수행하는 시스템에 관한 것으로, 도 1은 시스템의 개략도를 나타낸다. 도 1을 참조하면, 본 발명의 자율주행차량 시뮬레이션 시스템은, 외부기기들과 데이터통신 가능하며, 물리엔진 기반의 시뮬레이터가 내장되어 자율주행차량에 대한 알고리즘의 검증이 가능한 제1서버(100) 및 제2서버(200)를 포함할 수 있다. 이때 데이터통신은 주변 기기들과 유선으로 연결되어 다른 서버 혹은 장치들과 데이터 송수신이 이루어지거나, 무선통신을 통해 원격의 서버 혹은 장치들과 데이터 송수신이 이루어질 수도 있다.
그리고 제1서버(100)와 제2서버(200)는 서로 간의 데이터통신이 이루어질 수도 있고, 각각에는 내부 기억장치가 포함되어 시뮬레이터 가동을 위한 정보들이 저장될 수 있으며, 외부에 배치된 별도의 기억장치(10)와 연결되어 데이터 입출력이 이루어질 수도 있다.
상기 제1서버(100)와 제2서버(200)는 자율주행차량의 제어 알고리즘에 대한 검증이 이루어질 수 있다. 그리고 가상환경 상에는 지형지물, 도로형태, 보행자, 자율주행차량, 날씨 등의 데이터가 구현될 수 있으며, 낙석이나 교통사고 등의 이벤트정보 데이터 또한 발생될 수 있도록 제공될 수 있다. 아울러 가상환경 상에는 다수의 차량 데이터가 구현될 수 있으며, 일부의 차량은 입력된 주행알고리즘에 따라서 주변 환경에 따라 주행경로가 변경되도록 제공될 수 있으며, 다른 일부의 차량은 정해진 주행경로에 따라 주행알고리즘을 검증하도록 구성될 수도 있다. 그리고 상기 제1서버(100) 및 제2서버(200)는 시뮬레이터와 연결된 출력장치를 더 포함할 수 있으며, 상기 출력장치에는 상술한 데이터들이 가시화되어 사용자가 영상으로 확인하도록 제공될 수 있다.
상기 제2서버(200)는 가상환경 상에 모사된 센서부를 기반으로, 가상환경 상에서 선택된 대상 자율주행차량을 중심으로 주변 환경이나 차량 배치들에 대해서 센서부 출력 데이터를 획득할 수 있다. 여기서 센서부는 가상환경에서 모사된 자율주행차량의 라이다, 레이다, GPS, 카메라 중 적어도 하나를 포함할 수 있다. 그리고 가상환경 상에 모사된 센서부는 선택된 자율주행차량과 연관된 다른 가시화된 데이터들에 대한 프로세서 연산을 통해 측정데이터를 생성할 수 있다. 이는 후술하는 본 발명의 다양한 실시예를 통해 보다 상세히 설명한다.
<실시예 1>
도 2 내지 도 4는 본 발명인 자율주행차량 시뮬레이션 방법의 일 실시예에 관한 것으로, 도 2는 시스템 구성도를, 도 3 및 도 4는 자율주행차량 시뮬레이션 방법의 제어흐름도를 각각 나타낸다.
먼저 도 2를 참조하면, 본 발명의 제1서버 및 제2서버는 서로 동일한 서버로 구성될 수 있으며, 해당 실시예에서는 서로 동일한 제1서버 및 제2서버를 통칭하여 서버라고 명명한다. 이때 상기 서버는 기억장치와, 상기 기억장치로부터 데이터를 제공받아 제어/연산하는 프로세서를 포함하는 시뮬레이터와, 외부에서 데이터를 입력받거나 데이터를 외부로 출력하는 입출력장치를 포함할 수 있다.
상기 서버는 기억장치에서 프로세서 상에 환경정보와, 물리엔진, 실제 센서를 모사한 가상 센서에 대한 정보들(이하, ‘센서부’라 함), 주행 제어 제어 알고리즘(이하, ‘주행 알고리즘’이라 함.을 제공하고, 상기 프로세서에서 제공된 정보들을 기반으로 제어/연산이 이루어져 출력 값이 출력장치 상에서 가시화되어 표출되거나, 출력 값이 다시 기억장치로 저장되도록 형성될 수 있다. 여기서, 상기 기억장치로부터 제공되는 여러 정보들은 하나의 디스크가 아닌 다수의 디스크에 분리되어 저장되거나, 일부는 외부로부터 제공받을 수도 있다.
상기 기억장치에 저장된 환경정보는 제1환경정보 및 제2환경정보로 구분될 수 있으며, 상기 제2환경정보는 제1환경정보의 전체 데이터 중 일부의 데이터들로 구성된 데이터 세트일 수 있다. 여기서 상기 제1환경정보 및 제2환경정보는, 시뮬레이션 대상 도로정보, 주변차량정보, 주변보행자정보, 주변장애물정보, 주변 신호등 정보, 주변 표지판 정보, 이벤트정보 중 적어도 하나를 포함할 수 있다. 그리고 상기 제2환경정보는 제1환경정보에서 입력된 기준에 따라 분할된 시뮬레이션 대상 도로정보, 주변차량정보, 주변보행자정보, 주변장애물정보, 주변 신호등 정보, 주변 표지판 정보, 이벤트정보 중 적어도 하나를 포함할 수 있으며, 여기서 입력된 기준은 소정의 시간 기준일 수 있다. 이때 소정의 시간 기준이란, 제1환경정보에 의해 시뮬레이터가 가동되어 연산된 정보가 출력되는 경우 시뮬레이터의 가동 시간이 기준이 될 수도 있으며, RTC(Real-Time Clock) 기준으로 소정의 시간(T1~T2) 사이의 영역이 결정될 수도 있다. 아울러 시뮬레이션 대상은 주행 알고리즘을 검증하기 위한 차량이 대상일 수 있고, 대상의 주변은 해당 차량을 기준으로 가상필드 상에서 일정 범위 내에 배치된 지형지물이 대상의 주변이 될 수 있다.
이어 도 3을 참조하여 서버의 내부 기억장치 상에 환경데이터가 저장되는 경우에 따른 자율주행차량 시뮬레이션 방법을 순차적으로 설명하자면 다음과 같다. 먼저 서버의 시뮬레이터는 제1환경정보에 따른 시뮬레이션 정보를 출력장치로 전송하여 영상을 통해 가시화 할 수 있다. 그리고 상기 서버의 통신장치에 사용자단말에서 환경정보 로깅 요청이 수신되면, 서버의 기억장치로 제2환경정보 생성 요청메시지가 전송될 수 있다. 이때 제2환경정보는 제1환경정보에서 분할되어 데이터 세트로 구성될 수 있으며, 본 발명의 서버는 프로세서를 통해 이를 제어하거나 별도의 DBMS 등을 통해서 데이터 관리가 이루어질 수도 있다. 여기서 상기 환경정보 로깅 요청은 실시간 출력되는 시뮬레이션 영상 기준, 일정 시간(T1~T2) 사이의 영상과 관련된 데이터들에 대한 정보일 수 있다.
서버의 기억장치에서 제2환경정보가 생성되면, 제1환경정보로 가동되던 시뮬레이터가 중단되고, 제2환경정보를 기반으로 시뮬레이터의 가동이 이루어질 수 있다. 그리고 상기 서버는 기억장치에 저장된 센서부 데이터를 상기 시뮬레이터에 제공하고, 상기 시뮬레이터는 제2환경정보와 센서부 데이터를 통해 센서부 출력 데이터인 센서데이터가 산출될 수 있다. 그리고 상기 센서데이터는 상기 기억장치로 다시 저장되어 활용될 수 있다. 이때 상술한 단계 이후 또는 이전에 사용자단말로부터 센서부 파라미터 설정 정보가 입력될 수도 있으며, 센서부 파라미터 설정 정보는 전체 센서부 중 어떤 센서를 시뮬레이터에 반영할 것인지에 대한 제어신호일 수 있다. 예컨대 저장된 센서부의 총량이 6개인 경우, 4개의 센서부만 시뮬레이터에 반영토록 설정되거나 모든 센서부가 반영되도록 설정되는 등 다양한 방식으로 제어될 수 있다. 그리고 본 발명은 상기 기억장치에서 상기 시뮬레이터로 제2환경정보와 함께 센서부 정보를 입력할 수도 있다. 여기서 센서부 정보는 센서의 개수, 종류, 사양, 차량 내 설치 위치 중 적어도 하나를 포함할 수 있으며, 각 센서들은 데이터를 고유한 출력 값으로 변환토록 연산 알고리즘이 포함된 센서부 데이터를 가질 수 있다.
이어 본 발명은 사용자단말로부터 전송된 주행 알고리즘이나, 기억장치 상에 저장된 주행알고리즘을 센서데이터가 산출된 상기 시뮬레이터 상에 적용하여 검증하도록 이루어질 수 있다. 여기서, 알고리즘이 입력된 시뮬레이션 정보는 출력장치를 통해 실시간으로 디스플레이 될 수 있다.
도 4를 참조하여 외부 기억장치 상에 제2환경정보가 저장된 경우에 따른 자율주행차량 시뮬레이션 방법을 설명하자면 다음과 같다. 본 발명의 이동체 시뮬레션 방법은 크게 전처리단계 및 시뮬레이션 단계로 구성될 수 있다. 그리고 상기 전처리단계는 상기 서버 상의 입력장치를 통해 입력된 신호나, 상기 사용자단말로부터 전송된 신호를 기반으로 상기 기억장치의 제1환경정보에서 소정의 시간 동안 시뮬레이션 대상 도로정보, 주변차량정보, 주변보행자정보, 주변장애물정보, 주변 신호등 정보, 주변 표지판 정보, 이벤트정보 중 적어도 하나를 포함하는 제2환경정보를 분할하여 생성하도록 이루어질 수 있다. 그리고 상기 제2환경정보는 통신장치나 출력장치를 통해 외부 기억장치로 전송되어, 상기 외부 기억장치에서 저장될 수 있다.
상기 외부 기억장치 상에 데이터 세트화가 이루어진 제2환경정보가 저장된 경우, 상기 서버는 입력장치 또는 통신장치를 통해 외부 기억장치로부터 상기 환경데이터를 제공받을 수 있다. 이를 통해 분할된 제2환경정보는 외부 기억장치를 통해 다수의 서버로 제공될 수도 있다.
상기 서버에서 실시간으로 시뮬레이션이 이루어지는 경우, 실시간 출력되는 영상에서 올바른 방식으로 자율주행차량이 운용되지 않거나, 보다 세밀한 알고리즘 검증이 필요한 상황에서의 환경데이터를 미리 데이터 세트로 분류할 수도 있다. 이에 따라, 세밀한 검증이 이루어져야 하는 상황이 서버에서 반복되도록 하되 여러 주행알고리즘을 입력 및 검증할 수 있다. 아울러, 본 발명은 제1환경정보에서 분할된 제2환경정보를 포함하여 제3환경정보, 제N환경정보 등 더 많은 세부 데이터 세트들을 생성할 수도 있다.
<실시예 2>
도 5 내지 도 7은 본 발명인 자율주행차량 시뮬레이션 방법의 다른 실시예에 관한 것으로, 도 5는 시스템 구성도를, 도 6 및 도 7은 자율주행차량 시뮬레이션 방법의 제어흐름도를 각각 나타낸다.
먼저 도 6을 참조하면, 본 발명은 제1환경정보를 포함한 기억장치와, 시뮬레이터, 입출력장치 및 통신장치를 포함하는 제1서버와, 제2환경정보를 포함한 기억장치와, 시뮬레이터, 입출력장치 및 통신장치를 포함하는 제2서버로 구성될 수 있다. 여기서 상기 제2서버의 제2환경정보는 제1서버의 제1환경정보로부터 시간 기준으로 분할된 제1환경정보의 일부일 수 있다. 그리고 제1서버 및 제2서버의 기억장치에는 물리법칙을 기반으로 한 시뮬레이터 가동을 위한 물리엔진이 더 포함될 수 있으며, 제2서버에는 실제 센서를 모사한 가상 센서인 센서부와 센서데이터를 기초로 차량의 주행지령을 산출하는 주행알고리즘을 더 포함할 수 있다.
상기 제1서버는 실시간으로 제1환경정보에 따른 시뮬레이션 정보를 영상데이터로 변환하여 출력장치 또는 통신장치를 통하여 디스플레이 할 수 있다. 그리고 제2서버에는 전체 데이터가 아닌 중요도가 높은 일 부분에 대한 상황만을 분할한 제2환경정보를 기초로 시뮬레이터가 가동될 수 있다. 그리고 제2서버는 제2환경정보에 따른 시뮬레이션 정보를 영상데이터로 변환하여 해당 서버의 출력장치 도는 통신장치를 통하여 디스플레이 할 수 있다.
그리고 상기 제1환경정보 및 제2환경정보는 차량배치, 지형지물, 이벤트정보, 보행자정보, 도로정보 등을 포함할 수 있다. 그리고 상기 제2환경정보는 선택된 시뮬레이션 대상 기준 도로정보, 주변차량정보, 주변보행자정보, 주변장애물정보, 주변 신호등 정보, 주변 표지판 정보, 이벤트정보 중 적어도 하나를 포함할 수 있다. 상기 제2환경정보의 출력은 예컨대, 사용자가 제1서버에서 출력되는 영상을 실시간으로 확인하면서 주행하는 차량의 주행알고리즘에 문제가 있는 경우나, 도로 상에 보행자가 걸어가거나 갑작스러운 낙석이 발생되는 이벤트 등 좀 더 세밀한 검증이 필요한 경우를 별도로 분할하여 데이터 세트로 구성될 수 있다. 이때 분할의 기준은 제1서버의 시뮬레이터 가동 시간이나, RTC 등 표출되는 시간을 기준으로 구획할 수 있다.
이어 도 6을 참조하여 각 구성간의 제어를 보다 상세히 설명하자면 다음과 같다. 이는 제1서버는 기억장치에 저장된 제1환경정보를 프로세서인 제1시뮬레이터에 제공하고, 상기 제1시뮬레이터는 실시간 연산되는 시뮬레이션 정보를 출력장치에 전송할 수 있다. 이때 상기 제1시뮬레이터에서 전송되는 시뮬레이션 정보는 영상 데이터로 변환된 정보일 수 있으며, 통신장치를 통해 제2서버를 포함한 다른 서버로 전송될 수 있다.
이후, 상기 제1서버는 입력장치, 제2서버를 포함한 다른 서버 또는 사용자단말로부터 소정의 시간 동안의 시뮬레이션 대상 도로정보, 주변차량정보, 주변보행자정보, 주변장애물정보, 주변 신호등 정보, 주변 표지판 정보, 이벤트정보 중 적어도 하나를 포함하는 제2환경정보에 대한 생성 요칭 메시지인 환경 정보 로깅 요청을 수신받을 수 있다. 여기서 제1서버는 지형지물이나 도로정보 등 시뮬레이션 시에 변경되지 않는 고정데이터들과, 차량배치나 보행자 등 시뮬레이션 시에 변경될 수 있는 가변데이터들을 별도로 관리할 수도 있다. 이러한 경우 제1서버의 시뮬레이션 영상 내 사용자가 확인 중인 자율주행차량 기준으로, 제2환경정보는 선택된 자율주행차량의 일정범위 내의 고정데이터들과, 설정시간 동안의 가변데이터들을 포함할 수도 있다. 이와 같이 상기 제1환경정보로부터 분할된 제2환경정보는 제1서버의 통신장치를 통해 상기 제2서버의 통신장치로 전송될 수 있다. 그리고 상기 제2서버의 통신장치에서 수신된 제2환경정보는 기억장치에서 저장되거나, 제2시뮬레이터로 제공될 수 있다. 이와 같은 과정을 통해 제1서버 상에 분할된 제2환경정보가 저장되거나, 제2서버에 제2환경정보가 전송 및 저장되는 시뮬레이션 전처리단계가 이루어질 수 있다.
그리고 제2서버 상의 기억장치에 저장된 센서부 데이터를 포함한 센서부 정보와, 상기 제2환경정보는 제2시뮬레이터 상에 입력될 수 있다. 그리고 상기 제2시뮬레이터는 위 정보들을 바탕으로 시뮬레이션하고, 영상으로 변환하여 출력할 수 있다. 여기서, 본 발명은 사용자단말로부터 센서부 파라미터 설정 정보를 입력받도록 형성될 수도 있으며, 센서부 파라미터 설정 정보는 복수로 구성되는 센서부 중 제2시뮬레이터 적용되는 센서부를 선택하는 요청에 관한 메시지일 수 있다. 그리고 위 과정을 거쳐 제2환경정보와 센서부 데이터를 통해 시뮬레이션 대상 차량의 주행에 따른 시뮬레이션이 이루어지는 시뮬레이션단계가 이루어질 수 있다. 그리고 상기 센서부 정보는, 실제 센서를 모사한 가상 센서 데이터인 센서부 데이터를 포함하고, 상기 센서부가 포함하는 센서의 개수, 종류, 사양, 차량 내 설치 위치 중 적어도 하나를 더 포함할 수 있다.
상기 제2서버의 제2시뮬레이터는, 수신된 제2환경정보와 센서부 데이터를 함께 시뮬레이션할 수 있으며, 시뮬레이션된 시뮬레이션 대상 차량의 센서부 출력 데이터인 센서데이터는 제2서버의 기억장치에 저장될 수 있다. 그리고 본 발명은 사용자단말에서 제공되거나 제2서버에 기 저장된 주행 알고리즘을 상기 제2시뮬레이터에 입력하고, 상기 주행알고리즘에 상기 센서데이터를 입력하여, 입력된 주행 알고리즘에 대한 검증이 이루어질 수 있다. 이에 따라 사용자는 방대한 데이터가 아닌, 상대적으로 축소된 설정시간 내의 상황만을 가지고 자신의 알고리즘을 반복 검증할 수 있으며, 다양한 주행알고리즘을 입력하여 보다 효율적인 검증이 이루어질 수 있는 장점이 있다. 이와 더불어 다수의 사용자들이 제1서버에 접속하여 자신들이 필요로 하는 환경정보만을 제공받아 각자의 알고리즘을 검증하도록 제공될 수도 있다.
이어 도 7을 참조하면, 본 발명은 센서부가 복수로 구성될 수 있으며, 복수의 센서부의 각 센서부 데이터가 제2시뮬레이터 상에서 순차적으로 연산되도록 제공될 수도 있다. 보다 상세히는, 제2서버가 사용자단말로부터 동일한 제2환경정보를 기초로 센서부의 개수와 종류 등을 달리하여, 여러 번 제2시뮬레이터가 가동될 수 있다. 그리고 각각의 시뮬레이션 결과인 제1센서데이터, 제2센서데이터 등은 기억장치에 저장될 수 있으며, 서로 동일한 동기화 될 수 있다. 그리고 상기 제2서버는 동기화된 센서데이터와 상기 제2환경정보를 제2시뮬레이터에 입력하고, 사용자단말로부터 입력되거나 기 저장된 주행 알고리즘을 시뮬레이터에 적용하여 알고리즘의 검증이 이루어질 수 있다.
그리고 본 발명은 상술한 실시예들 모두에 시뮬레이션 설정 정보를 수신하는 단계가 포함될 수 있다. 여기서, 시뮬레이션 설정 정보를 수신하는 단계는, 전처리 단계 이전 또는 이후에 이루어질 수 있으며, 사용자단말로부터 시뮬레이션 대상 차량 정보, 시뮬레이션 대상 차량의 센서부 정보, 차량 주행 알고리즘 정보 중 적어도 하나를 포함할 수 있다. 상기 시뮬레이션 대상 차량 정보는, 차량의 종류, 모양, 사이즈, 휠베이스간격, 높이, 무게중심 중 적어도 하나를 포함할 수 있고, 상기 시뮬레이션 대상 차량의 센서부 정보는, 상기 센서부가 포함하는 센서의 개수, 종류, 사양, 차량 내 설치 위치 중 적어도 하나를 포함할 수 있다. 그리고 상기 차량 주행 제어 알고리즘 정보는, 상기 시뮬레이션 대상 차량의 센서부 출력 데이터를 기초로 차량의 주행지령을 산출하는 알고리즘으로 구성될 수 있다. 이때 상기 차량의 주행지령은, 차량의 가속, 감속, 정지, 주행방향 및 방향지시등, 점등 중 적어도 하나를 포함할 수 있다. 여기서, 상기 시뮬레이션 대상 차량의 센서부 정보는 서버에서 제2환경정보와 센서부 데이터를 통해 센서부 출력 데이터를 산출하기 이전에 수신되고, 상기 차량 주행 제어 알고리즘 정보는 제2시뮬레이터 상에서 검증하기 이전에 수신될 수 있으나, 시뮬레이션 상에서의 변수들이 가변되어 단계들이 반복될 수 있으므로, 이에 한정하지는 아니한다.
이상과 같이 본 발명에서는 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 일 실시예에 한정되는 것이 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술되는 특허 청구 범위뿐 아니라 이 특허 청구 범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (16)

  1. 이동체 시뮬레이션 방법으로서,
    (a) 제1서버가, 소정의 시간동안 시뮬레이션 대상 도로정보, 주변차량정보, 주변보행자정보, 주변장애물정보, 주변 신호등 정보, 주변 표지판 정보, 이벤트정보 중 적어도 하나를 포함하는 환경정보를 생성하는 시뮬레이션 전처리단계; 및
    (b) 제2서버가, 상기 환경정보를 이용하여 상기 소정의 시간 동안 시뮬레이션 대상 차량이 주행에 따른 상기 시뮬레이션 대상 차량의 센서부 출력 데이터를 산출하는 시뮬레이션단계;
    를 포함하는 것을 특징으로 하는 이동체 시뮬레이션 방법
  2. 제1항에 있어서,
    상기 단계(a) 이후에 상기 단계(b)를 수행하고,
    상기 단계(a)는 상기 환경정보를 저장하는 단계를 더 포함하며,
    상기 단계(b)에서 상기 제2서버가 상기 단계(a)에서 저장된 환경정보를 이용함으로써, 시뮬레이션을 위한 전산 자원 부담을 줄일 수 있는 것을 특징으로 하는 이동체 시뮬레이션 방법.
  3. 제2항에 있어서,
    상기 제1서버와 상기 제2서버는 동일한 서버인 것을 특징으로 하는 이동체 시뮬레이션 방법.
  4. 제1항에 있어서,
    상기 단계(a)와 상기 단계(b)가 동시에 수행되고,
    상기 단계(b)에서 이용하는 상기 환경정보는 상기 제2서버가 상기 제1서버로부터 실시간으로 수신함으로써, 시뮬레이션을 위한 상기 제2서버의 전산 자원 부담을 줄일 수 있는 것을 특징으로 하는 이동체 시뮬레이션 방법.
  5. 제4항에 있어서,
    상기 제1서버와 상기 제2서버는 별도의 서버인 것을 특징으로 하는 이동체 시뮬레이션 방법.
  6. 제1항에 있어서,
    상기 단계(a)와 상기 단계(b)의 시뮬레이션 시각을 동기화할 수 있도록, 상기 환경정보는 시뮬레이션 시각 정보를 포함하는 것을 특징으로 하는 이동체 시뮬레이션 방법.
  7. 제1항에 있어서,
    상기 시뮬레이션 대상 차량은 자율주행차량인 것을 특징으로 하는 이동체 시뮬레이션 방법.
  8. 제1항에 있어서,
    상기 센서부는,
    라이다, 레이다, GPS, 카메라 중 적어도 하나를 포함하는 것을 특징으로 하는 이동체 시뮬레이션 방법.
  9. 제1항에 있어서,
    상기 단계(a) 이전 또는 이후에, 사용자로부터 시뮬레이션 대상 차량 정보, 시뮬레이션 대상 차량의 센서부 정보, 차량 주행 제어 알고리즘 정보 중 적어도 하나를 포함하는 시뮬레이션 설정 정보를 수신하는 단계;
    를 더 포함하는 것을 특징으로 하는 이동체 시뮬레이션 방법.
  10. 제9항에 있어서,
    상기 시뮬레이션 대상 차량 정보는,
    차량의 종류, 모양, 사이즈, 휠베이스간격, 높이, 무게중심 중 적어도 하나를 포함하는 것을 특징으로 하는 이동체 시뮬레이션 방법.
  11. 제9항에 있어서,
    상기 시뮬레이션 대상 차량의 센서부 정보는,
    상기 센서부가 포함하는 센서의 개수, 종류, 사양, 차량 내 설치 위치 중 적어도 하나를 포함하는 것을 특징으로 하는 이동체 시뮬레이션 방법.
  12. 제9항에 있어서,
    상기 차량 주행 제어 알고리즘 정보는,
    상기 시뮬레이션 대상 차량의 센서부 출력 데이터를 기초로 차량의 주행지령을 산출하는 알고리즘인 것을 특징으로 하는 이동체 시뮬레이션 방법.
  13. 제12항에 있어서,
    상기 차량의 주행지령은,
    차량의 가속, 감속, 정지, 주행방향 및 방향지시등, 점등 중 적어도 하나를 포함하는 것을 특징으로 하는 이동체 시뮬레이션 방법.
  14. 제1항에 있어서,
    상기 단계(b)에서, 산출된 상기 시뮬레이션 대상 차량의 센서부 출력 데이터를 기초로 상기 시뮬레이션 대상 차량의 주행을 제어하는 것을 특징으로 하는 이동체 시뮬레이션 방법.
  15. 제1항 내지 제14항 중 하나의 특징을 갖는 이동체 시뮬레이션 방법을 수행하는 제1서버 및 제2서버를 포함하는 것을 특징으로 하는 이동체 시뮬레이션 시스템.
  16. 제1항 내지 제14항 중 하나의 특징을 갖는 이동체 시뮬레이션 방법을 수행하는 명령어가 저장된 기록매체.
PCT/KR2020/012594 2020-01-06 2020-09-18 가상환경에서의 자율주행차량 시뮬레이션 방법 WO2021141206A1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
IL285850A IL285850B1 (en) 2020-01-06 2020-09-18 Autonomous driving vehicle simulation method in a virtual environment
JP2022516018A JP7442227B2 (ja) 2020-01-06 2020-09-18 仮想環境における自動運転車両のシミュレーション方法
CN202080064163.XA CN114365108A (zh) 2020-01-06 2020-09-18 虚拟环境下的自动驾驶车辆模拟方法
EP20815706.5A EP3872633A4 (en) 2020-01-06 2020-09-18 METHOD OF SIMULATING AN AUTONOMOUS VEHICLE IN A VIRTUAL ENVIRONMENT
US17/251,139 US11514212B2 (en) 2020-01-06 2020-09-18 Method of simulating autonomous vehicle in virtual environment

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200001206A KR102139172B1 (ko) 2020-01-06 2020-01-06 가상환경에서의 자율주행차량 시뮬레이션 방법
KR10-2020-0001206 2020-01-06

Publications (1)

Publication Number Publication Date
WO2021141206A1 true WO2021141206A1 (ko) 2021-07-15

Family

ID=71893747

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/012594 WO2021141206A1 (ko) 2020-01-06 2020-09-18 가상환경에서의 자율주행차량 시뮬레이션 방법

Country Status (7)

Country Link
US (1) US11514212B2 (ko)
EP (1) EP3872633A4 (ko)
JP (1) JP7442227B2 (ko)
KR (1) KR102139172B1 (ko)
CN (1) CN114365108A (ko)
IL (1) IL285850B1 (ko)
WO (1) WO2021141206A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102139172B1 (ko) * 2020-01-06 2020-07-29 주식회사 모라이 가상환경에서의 자율주행차량 시뮬레이션 방법
CN112800613B (zh) * 2021-02-04 2022-09-20 西南交通大学 一种铁道车辆在线监测算法开发系统
CN112965466B (zh) 2021-02-18 2022-08-30 北京百度网讯科技有限公司 自动驾驶系统的还原测试方法、装置、设备及程序产品

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140076918A (ko) * 2012-12-13 2014-06-23 한국교통연구원 차량통신 시스템 기반의 교통 통신 통합 시뮬레이션 시스템
KR20140144919A (ko) * 2013-06-12 2014-12-22 국민대학교산학협력단 가상현실에서 변동되는 장애물 정보를 반영한 무인 자동차의 자율 주행 시뮬레이션 시스템
KR20140144921A (ko) * 2013-06-12 2014-12-22 국민대학교산학협력단 가상현실을 이용한 무인 자동차의 자율 주행 시뮬레이션 시스템
KR20180086632A (ko) 2017-01-23 2018-08-01 한국전자통신연구원 자율주행 차량의 행동 결정 장치 및 방법
KR20180104947A (ko) 2017-03-14 2018-09-27 현대자동차주식회사 자율주행차량의 제어 시스템 및 방법
JP2019074885A (ja) * 2017-10-13 2019-05-16 キャッツ株式会社 自動運転車両の動作シミュレータ、自動運転車両の動作確認方法、自動運転車両の制御装置及び自動運転車両の制御方法
KR101984762B1 (ko) 2018-10-31 2019-06-03 주식회사 모라이 네트워크 플랫폼을 적용한 자율주행차량 시뮬레이터
KR101996230B1 (ko) 2018-02-26 2019-07-04 (주)에스더블유엠 자율주행 차량의 시뮬레이션을 위한 테스트정보 제공 방법 및 장치
KR102042261B1 (ko) * 2018-04-24 2019-11-07 국방과학연구소 무인 차량의 최적 속도를 결정하는 장치, 방법 및 무인 차량
KR102139172B1 (ko) * 2020-01-06 2020-07-29 주식회사 모라이 가상환경에서의 자율주행차량 시뮬레이션 방법

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160105011A (ko) 2015-02-27 2016-09-06 재단법인 씨윗코리아 차량주행 시뮬레이션용 주행환경모델 생성 시스템
US20160314224A1 (en) * 2015-04-24 2016-10-27 Northrop Grumman Systems Corporation Autonomous vehicle simulation system
US10086782B1 (en) * 2016-01-22 2018-10-02 State Farm Mutual Automobile Insurance Company Autonomous vehicle damage and salvage assessment
KR101850038B1 (ko) 2016-05-24 2018-06-07 (주)이노시뮬레이션 자동차 시뮬레이터 장치 및 그 방법
KR101880180B1 (ko) 2016-05-31 2018-08-16 박무영 드라이빙 시뮬레이터의 동작 방법 및 드라이빙 시뮬레이터
EP3613031A4 (en) * 2017-05-02 2021-01-06 The Regents of The University of Michigan SIMULATED VEHICLE TRAFFIC FOR AUTONOMOUS VEHICLES
KR102068473B1 (ko) 2018-03-30 2020-02-11 (주)에스더블유엠 차량 시뮬레이션 방법 및 장치
US11328219B2 (en) * 2018-04-12 2022-05-10 Baidu Usa Llc System and method for training a machine learning model deployed on a simulation platform
US20200226226A1 (en) * 2019-01-10 2020-07-16 Uatc, Llc Autonomous Vehicle Service Simulation

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140076918A (ko) * 2012-12-13 2014-06-23 한국교통연구원 차량통신 시스템 기반의 교통 통신 통합 시뮬레이션 시스템
KR20140144919A (ko) * 2013-06-12 2014-12-22 국민대학교산학협력단 가상현실에서 변동되는 장애물 정보를 반영한 무인 자동차의 자율 주행 시뮬레이션 시스템
KR20140144921A (ko) * 2013-06-12 2014-12-22 국민대학교산학협력단 가상현실을 이용한 무인 자동차의 자율 주행 시뮬레이션 시스템
KR20180086632A (ko) 2017-01-23 2018-08-01 한국전자통신연구원 자율주행 차량의 행동 결정 장치 및 방법
KR20180104947A (ko) 2017-03-14 2018-09-27 현대자동차주식회사 자율주행차량의 제어 시스템 및 방법
JP2019074885A (ja) * 2017-10-13 2019-05-16 キャッツ株式会社 自動運転車両の動作シミュレータ、自動運転車両の動作確認方法、自動運転車両の制御装置及び自動運転車両の制御方法
KR101996230B1 (ko) 2018-02-26 2019-07-04 (주)에스더블유엠 자율주행 차량의 시뮬레이션을 위한 테스트정보 제공 방법 및 장치
KR102042261B1 (ko) * 2018-04-24 2019-11-07 국방과학연구소 무인 차량의 최적 속도를 결정하는 장치, 방법 및 무인 차량
KR101984762B1 (ko) 2018-10-31 2019-06-03 주식회사 모라이 네트워크 플랫폼을 적용한 자율주행차량 시뮬레이터
KR102139172B1 (ko) * 2020-01-06 2020-07-29 주식회사 모라이 가상환경에서의 자율주행차량 시뮬레이션 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3872633A4

Also Published As

Publication number Publication date
JP2022548015A (ja) 2022-11-16
US20210374308A1 (en) 2021-12-02
US11514212B2 (en) 2022-11-29
KR102139172B1 (ko) 2020-07-29
IL285850A (en) 2021-10-31
IL285850B1 (en) 2024-03-01
EP3872633A1 (en) 2021-09-01
JP7442227B2 (ja) 2024-03-04
CN114365108A (zh) 2022-04-15
EP3872633A4 (en) 2022-08-17

Similar Documents

Publication Publication Date Title
WO2021141206A1 (ko) 가상환경에서의 자율주행차량 시뮬레이션 방법
US20210334420A1 (en) Driving simulation method and apparatus, electronic device, and computer storage medium
CN108319249B (zh) 基于驾驶模拟器的无人驾驶算法综合测评系统及方法
CN110456757B (zh) 一种无人驾驶车辆的整车测试方法及系统
CN111108538B (zh) 用于生成和/或更新数字地图的数字模型的系统
US20190236380A1 (en) Image generation system, program and method, and simulation system, program and method
WO2020091421A1 (ko) 네트워크 플랫폼을 적용한 자율주행차량 시뮬레이터
US20230057394A1 (en) Cooperative vehicle-infrastructure processing method and apparatus, electronic device, and storage medium
CN115187742B (zh) 自动驾驶仿真测试场景生成方法、系统及相关装置
US20210406562A1 (en) Autonomous drive emulation methods and devices
JP2000163685A (ja) 交通流監視システム
CN115257768A (zh) 一种智能驾驶车辆环境感知方法、系统、设备及介质
Menarini et al. TRUDI: Testing environment for vehicular applications running with devices in the loop
CN113704119A (zh) 一种用于智能驾驶的测试方法、装置、系统及存储介质
CN112233428A (zh) 车流量预测方法、装置、存储介质及设备
Bai et al. Cyber mobility mirror for enabling cooperative driving automation in mixed traffic: A co-simulation platform
CN111710153B (zh) 交通流量的预测方法、装置、设备及计算机存储介质
CN115499467A (zh) 基于数字孪生的智能网联车测试平台及其搭建方法与系统
CN112906241A (zh) 矿区自动驾驶仿真模型构建方法、装置、介质及电子设备
WO2023096037A1 (ko) 가상 환경에서 실시간 라이다 데이터를 생성하는 장치 및 그것의 제어 방법
CN113777951B (zh) 面向弱势道路使用者避撞决策的自动驾驶仿真系统及方法
US20230196619A1 (en) Validation of virtual camera models
CN111797475B (zh) V2x测试方法及系统
Abdo et al. Cyber-security oriented co-simulation platform for connected and autonomous driving
EP4235100A1 (en) Autonomous vehicle fleet acting as a phase array for imaging and tomography

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2020815706

Country of ref document: EP

Effective date: 20201207

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20815706

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022516018

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE