WO2021107380A1 - 차량의 주변 지도 이미지를 활용하는 딥러닝 기반 차량 경로 예측 방법 및 장치 - Google Patents

차량의 주변 지도 이미지를 활용하는 딥러닝 기반 차량 경로 예측 방법 및 장치 Download PDF

Info

Publication number
WO2021107380A1
WO2021107380A1 PCT/KR2020/013490 KR2020013490W WO2021107380A1 WO 2021107380 A1 WO2021107380 A1 WO 2021107380A1 KR 2020013490 W KR2020013490 W KR 2020013490W WO 2021107380 A1 WO2021107380 A1 WO 2021107380A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
information
surrounding
past
surrounding map
Prior art date
Application number
PCT/KR2020/013490
Other languages
English (en)
French (fr)
Inventor
최준원
김병도
이석환
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Publication of WO2021107380A1 publication Critical patent/WO2021107380A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097—Predicting future conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/10—Historical data

Definitions

  • the present invention relates to a method and apparatus for predicting a vehicle route based on deep learning using a map image of a vehicle's surroundings.
  • a self-driving car refers to a car that finds its own destination by using information obtained from various sensors of the vehicle without the driver operating the steering wheel, accelerator pedal, or brake.
  • the surrounding vehicle path prediction technology is essential for lane change and speed control in the autonomous driving system. It detects surrounding vehicles through sensors such as the car's camera and lidar, and predicts the future paths of surrounding vehicles through the detected information to determine the risk of the future path and help the path planning in the low-risk direction.
  • the path prediction of surrounding vehicles in various environments requires deep learning technology, and the accuracy of the prediction results obtained through this technology is closely related to the safety of autonomous vehicles.
  • MATF Multi-Agent Tensor Fusion
  • LSTM Long Short-Term_Memory
  • CNN Convolutional Neural Network
  • the conventional deep learning technology for predicting future paths attempts to increase path prediction accuracy by imageizing past path information and processing it with surrounding environment information.
  • more information was provided to the deep learning model, but it was a technology focused on understanding the interrelationship between objects, and the surrounding environment information provided a fixed top-view image. It is difficult to apply such a fixed top view image to autonomous driving technology, and since it does not take into account complex traffic environments such as intersections, it is difficult to say that the route prediction was made by considering specific traffic factors such as the shape of the road from the image. .
  • the technical task of the present invention is to provide additional information about the surrounding environment to the deep learning model than the existing LSTM (Long Short-Term_Memory) model using map information, and to increase the prediction accuracy to increase safety during autonomous driving.
  • LSTM Long Short-Term_Memory
  • the deep learning-based vehicle path prediction method using the surrounding map image of the vehicle proposed in the present invention includes the steps of preprocessing the surrounding map image centered on the current location of the prediction target vehicle; The step of analyzing the surrounding map information using a convolutional neural network (CNN), fusion of the analyzed surrounding map information with the vehicle's past route information, and learning about the relationship between the surrounding map information and the vehicle's past route information to determine the future route predicting step.
  • CNN convolutional neural network
  • the shape of the road, the outline of the road, and the past path of the vehicle are preprocessed to be expressed on the surrounding map image.
  • sequence information of the vehicle's past path information is analyzed through another first-order CNN. After correlating the surrounding map information vector and the past path embedding vector of the map image analyzed using CNN, they are fused through a fully-connected layer, and then input to the LSTM (Long Short-Term_Memory) encoder.
  • CNN Long Short-Term_Memory
  • the LSTM encoder combines the analyzed surrounding map information with the vehicle's past route information and learns about the correlation between the surrounding map information and the vehicle's past route information to predict the future route. It analyzes the past path information together and delivers it to the LSTM decoder, and the LSTM decoder predicts and outputs the future path through the Recurrent Neural Network (RNN) structure of the analyzed information from the LSTM encoder.
  • RNN Recurrent Neural Network
  • the deep learning-based vehicle path prediction apparatus using the surrounding map image of the vehicle proposed in the present invention includes a pre-processing unit that pre-processes a surrounding map image centered on the current location of the vehicle to be predicted, the pre-processed surrounding An analysis unit that analyzes the surrounding map information of the map image using a convolutional neural network (CNN) and the analyzed surrounding map information are fused with the vehicle's past route information, and learning about the relationship between the surrounding map information and the vehicle's past route information to include a prediction unit for predicting a future path.
  • CNN convolutional neural network
  • a map image is embedded through a CNN (Convolutional Neural Network) model, and it is fused with the vehicle's route information and provided to a deep learning neural network.
  • the neural network can predict a route using the map information. have.
  • the deep learning model based on the LSTM structure according to the embodiments of the present invention makes it possible to use the surrounding map information more effectively when predicting a vehicle route.
  • FIG. 1 is a flowchart for explaining a deep learning-based vehicle path prediction method using a surrounding map image of a vehicle according to an embodiment of the present invention.
  • FIG. 2 is a diagram for explaining a map image preprocessing process according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating the configuration of a deep learning-based vehicle path prediction apparatus using an image of a surrounding map of a vehicle according to an embodiment of the present invention.
  • FIG. 4 is a diagram for explaining a deep learning process using a map image of a vehicle's surroundings according to an embodiment of the present invention.
  • a map image is embedded through a CNN (Convolutional Neural Network) model, and it is fused with the vehicle's route information and provided to a deep learning neural network so that the neural network can predict a route using the map information.
  • CNN Convolutional Neural Network
  • the Encoder-Decoder Long Short-Term_Memory (LSTM) model which is a deep learning neural network used at this time, is suitable for a predictive model because it can process information sequentially according to time.
  • the present invention enables a deep learning model based on the LSTM structure to more effectively use surrounding map information when predicting a vehicle route.
  • Vehicle route prediction technology can be applied to a system that plans a driving route in an autonomous vehicle.
  • the degree of risk varies according to various surrounding environments such as surrounding vehicles, road conditions, and pedestrians, and the degree of risk to surrounding vehicles is particularly important on the road. It is necessary to predict the future path of nearby vehicles in order to understand the risk of collision with neighboring vehicles.
  • the present invention is a deep learning technology that predicts a path by using surrounding information such as a surrounding map, and predicts the future path of a nearby vehicle more accurately, and can be applied to path prediction and driving path planning technology of an autonomous vehicle.
  • this technology acquires surrounding information in real time through a camera and lidar sensor, and detects surrounding vehicles through an object recognition algorithm in an embedded system equipped with a GPU (Graphics Processing Unit).
  • a GPU Graphics Processing Unit
  • there is a method of predicting the future path of a surrounding vehicle by performing a surrounding vehicle prediction technology in an embedded system on a surrounding map image obtained through the detected location information of the surrounding vehicle and GPS (Global Positioning System) information.
  • DNN deep neural network
  • It stores the learned DNN (Deep Neural Network) coefficients and applies them to the embedded system to collect information from sensors and algorithms to obtain prediction results.
  • DNN deep neural network
  • the present invention is a deep learning technology that predicts the future path of an object by using map information based on information about surrounding vehicles obtained through sensors such as cameras or lidar, and can be applied to higher-performance autonomous driving technology.
  • the autonomous driving technology to which this technology is applied predicts the future path based on the understanding of the surrounding environment in more complex situations that cannot be grasped by the current rule-based path prediction technology, so it predicts collision risk situations more accurately and prevents collisions. You will be able to drive in a safe direction.
  • the prediction technology according to the embodiment of the present invention can be used not only for autonomous vehicles but also for all artificial intelligence robots that move autonomously, and can be used in transportation means equipped with artificial intelligence, from flying vehicles such as drones and small airplanes to marine transportation means such as large ships. It is expected to be applied in the future to the situation where the route is predicted based on the surrounding environment.
  • FIG. 1 is a flowchart for explaining a deep learning-based vehicle path prediction method using a surrounding map image of a vehicle according to an embodiment of the present invention.
  • the deep learning-based vehicle path prediction method using the proposed vehicle's surrounding map image is a step of preprocessing the surrounding map image centered on the current location of the predicted vehicle (110).
  • step 110 the surrounding map image centered on the current location of the prediction target vehicle is pre-processed.
  • the shape of the road, the outline of the road, and the past route of the vehicle are preprocessed to be expressed on the surrounding map image.
  • a map image centered on the current location of the predicted vehicle is used to obtain information about the surrounding environment.
  • the image is preprocessed so that the deep learning structure can more efficiently analyze and learn the surrounding map information.
  • the surrounding map image is pre-processed to express the shape of the road, the outline of the road, and the past route on the map image and is used as an input image, an example of which is shown in FIG. 2 .
  • FIG. 2 is a diagram for explaining a map image preprocessing process according to an embodiment of the present invention.
  • the green part is the shape of the road
  • the red part is the outline of the road
  • the sky blue part is the past path of the target vehicle.
  • step 120 the surrounding map information of the pre-processed surrounding map image is analyzed using CNN.
  • the sequence information of the vehicle's past route information is analyzed through another first-order CNN. After correlating the surrounding map information vector and the past path embedding vector of the map image analyzed using CNN, they are fused through a fully-connected layer, and then input to the LSTM (Long Short-Term_Memory) encoder.
  • LSTM Long Short-Term_Memory
  • the analyzed surrounding map information is fused with the vehicle's past route information, and a future route is predicted by learning about the correlation between the surrounding map information and the vehicle's past route information.
  • the LSTM encoder analyzes the surrounding map information and the vehicle's past route information together through a deep learning model and delivers it to the LSTM decoder, and the LSTM decoder uses the information analyzed from the LSTM encoder to predict the future route through the Recurrent Neural Network (RNN) structure. to output
  • RNN Recurrent Neural Network
  • FIG. 3 is a diagram illustrating the configuration of a deep learning-based vehicle path prediction apparatus using an image of a surrounding map of a vehicle according to an embodiment of the present invention.
  • the apparatus for predicting a vehicle path based on deep learning using the proposed vehicle's surrounding map image includes a preprocessor 310 , an analysis unit 320 , and a prediction unit 330 .
  • the preprocessor 310 preprocesses the surrounding map image centered on the current location of the prediction target vehicle.
  • the preprocessor 310 preprocesses the shape of the road, the outline of the road, and the past path of the vehicle to be expressed on the surrounding map image.
  • a map image centered on the current location of the predicted vehicle is used to obtain information about the surrounding environment.
  • the image is preprocessed so that the deep learning structure can more efficiently analyze and learn the surrounding map information.
  • the surrounding map image is pre-processed to express the shape of the road, the outline of the road, and the past route on the map image and is used as an input image.
  • the analysis unit 320 analyzes the surrounding map information of the pre-processed surrounding map image using a convolutional neural network (CNN).
  • CNN convolutional neural network
  • the analysis unit 320 analyzes sequence information of the vehicle's past path information through another primary CNN. After correlating the surrounding map information vector and the past path embedding vector of the map image analyzed using CNN, they are fused through a fully-connected layer, and then input to the LSTM (Long Short-Term_Memory) encoder.
  • LSTM Long Short-Term_Memory
  • the prediction unit 330 fuses the analyzed surrounding map information with the vehicle's past path information, learns about the correlation between the surrounding map information and the vehicle's past path information, and predicts a future path.
  • the LSTM encoder analyzes the surrounding map information and the vehicle's past route information together through the deep learning model and transmits it to the LSTM decoder, and the LSTM decoder transmits the information analyzed from the LSTM encoder to a Recurrent Neural Network (RNN) structure.
  • RNN Recurrent Neural Network
  • This process is a traffic element of the prior art due to the direct fusion of environmental information using past routes and map images, structural efficiency through the LSTM encoder-decoder structure, and optimization of operation speed through a simplified process. It is possible to improve areas that are difficult to predict using
  • FIG. 4 is a diagram for explaining a deep learning process using a map image of a vehicle's surroundings according to an embodiment of the present invention.
  • a map image centered on the current location of the prediction target vehicle is used to obtain information about the surrounding environment. It also pre-processes the image so that the deep learning structure can more efficiently analyze and learn the surrounding map information.
  • the surrounding map image is pre-processed to express the shape of the road, the outline of the road, and the past route on the map image, and is used as an input image, an example of which is shown in FIG. 2 .
  • the green part is the shape of the road
  • the red part is the outline of the road
  • the sky blue part is the past path of the target vehicle.
  • the preprocessed surrounding map image is analyzed using a convolutional neural network (CNN), and sequence information of the past path is embedded through another first-order CNN.
  • CNN convolutional neural network
  • the neighboring map information vector 420 and the past path embedding vector 410 that have undergone the above process are merged through a fully-connected layer 431 after being correlated, and then the LSTM (Long Short-Term_Memory) 431 is used as input.
  • the analysis unit 320 described in FIG. 3 includes the LSTM encoder 430 of FIG. 4 .
  • the present invention directly fuses the past path information and the information on the surrounding environment through the above process, and the deep learning model analyzes the past path information and the surrounding map information of the situation together to convert the encoder LSTM state vector 433 into the LSTM decoder. forward to (440).
  • the prediction unit 330 described in FIG. 3 includes the LSTM decoder 440 of FIG. 4 .
  • the LSTM decoder 440 predicts and outputs the information from the LSTM encoder 430 in the future through a recurrent neural network (RNN) structure.
  • RNN recurrent neural network
  • the above process utilizes traffic elements of the prior art due to direct fusion of environmental information using past routes and map images, structural efficiency through the LSTM encoder-decoder structure, and optimization of operation speed through a simplified process. The parts that are difficult to predict have been improved.
  • the device described above may be implemented as a hardware component, a software component, and/or a combination of the hardware component and the software component.
  • devices and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable array (FPA), It may be implemented using one or more general purpose or special purpose computers, such as a programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions.
  • the processing device may execute an operating system (OS) and one or more software applications running on the operating system.
  • the processing device may also access, store, manipulate, process, and generate data in response to execution of the software.
  • OS operating system
  • the processing device may also access, store, manipulate, process, and generate data in response to execution of the software.
  • the processing device includes a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that can include For example, the processing device may include a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as parallel processors.
  • Software may comprise a computer program, code, instructions, or a combination of one or more thereof, which configures a processing device to operate as desired or is independently or collectively processed You can command the device.
  • the software and/or data may be any kind of machine, component, physical device, virtual equipment, computer storage medium or device, to be interpreted by or to provide instructions or data to the processing device.
  • the software may be embodied in
  • the software may be distributed over networked computer systems, and stored or executed in a distributed manner.
  • Software and data may be stored in one or more computer-readable recording media.
  • the method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium.
  • the computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and available to those skilled in the art of computer software.
  • Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floppy disks.
  • - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
  • Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Chemical & Material Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명에서 제안하는 차량의 주변 지도 이미지를 활용하는 딥러닝 기반 차량 경로 예측 방법은 예측 대상 차량의 현재 위치를 중심으로 하는 주변 지도 이미지를 전처리하는 단계, 전처리된 주변 지도 이미지의 주변 지도 정보를 CNN(Convolutional neural network)를 이용하여 분석하는 단계 및 분석된 주변 지도 정보를 차량의 과거 경로 정보와 융합하고, 주변 지도 정보와 차량의 과거 경로 정보 간의 연관성에 대하여 학습하여 미래 경로를 예측하는 단계를 포함한다.

Description

차량의 주변 지도 이미지를 활용하는 딥러닝 기반 차량 경로 예측 방법 및 장치
본 발명은 차량의 주변 지도 이미지를 활용하는 딥러닝 기반 차량 경로 예측 방법 및 장치에 관한 것이다.
[과제고유번호] (NTIS: 1711070446)
[부처명] 과학기술정보통신부
[연구관리전문기관] 정보통신기획평가원
[연구사업명] 대학ICT연구센터지원사업
[연구과제명] 5G와 무인이동체(자율주행차, 드론 등) 산업 융합을 위한 핵심 인력양성
[기여율] 100%
[주관연구기관] 한양대학교 산학협력단
[연구기간] 2020. 01. 01 ∼ 2020. 12. 31
자율주행 자동차는 운전자가 핸들과 가속페달, 브레이크 등을 조작하지 않아도 차량의 각종 센서로 부터 얻은 정보를 활용하여 스스로 목적지까지 찾아가는 자동차를 말한다. 자동차 자율주행 시스템에서 앞으로의 경로를 계획함에 있어서 사고 없이 안전한 주행을 하기 위해서는 주변 차량들의 이동 경로를 예측할 필요가 있다. 따라서 주변 차량 경로 예측 기술은 자율주행 시스템에서 차선 변경, 속도제어 시에 필수적으로 사용된다. 자동차의 카메라, 라이더 등의 센서를 통해 주변 차량을 검출하고, 검출된 정보를 통해 주변 차량들의 미래 경로를 예측함으로써 앞으로의 경로의 위험도를 판단하고 위험도가 낮은 방향으로의 경로 계획을 돕는다. 자율 주행 시스템에서 다양한 환경에서의 주변 차량의 경로 예측은 딥러닝 기술을 필요로 하며 이를 통해 얻어지는 예측 결과의 정확도는 자율주행 자동차의 안전성과 밀접한 관련이 있다.
딥러닝 분야에서 미래 경로 예측 기술은 활발히 연구 되고 있으며 과거의 경로만을 통해 예측하거나 경로뿐만 아니라 주변 이미지까지 활용하여 예측하는 기술 등 다양한 미래 경로 예측 딥러닝 기술이 있다. 과거 경로와 이미지 정보를 사용하는 예측 기술 중 대표적인 기술로는 MATF(Multi-Agent Tensor Fusion) 등이 있다. MATF는 특정 대상을 기준으로 반경을 정하고 반경안에 예측하려하는 대상의 과거 경로를 각각 LSTM(Long Short-Term_Memory) 인코더를 통과시키고 해당 반경의 주변 환경 이미지와 융합하여 CNN(Convolutional neural network) 구조를 통해 경로 정보와 환경 이미지 정보를 한번에 처리한다. 이를 통해 딥러닝 모델이 환경 정보와 경로를 융합하여 주변 환경과 물체들 간의 상호관계를 배울 수 있도록 하여 예측 정확도를 높이는 기법이다.
종래의 미래 경로 예측 딥러닝 기술은 과거 경로 정보를 이미지화 하여 주변 환경 정보와 함께 처리함으로써 경로 예측 정확도를 높이고자 하였다. 그러나 종래 기술에서 더 많은 정보를 딥러닝 모델에 제공하였으나 물체간의 상호관계를 파악하는데 집중한 기술이며 주변 환경 정보는 고정된 탑뷰(top-view) 이미지를 제공하였다. 이러한 고정된 탑뷰 이미지를 활용하는 형태는 자율주행 기술에 적용하기 어려우며 또한 교차로 등의 복잡한 교통 환경에 대하여 고려하지 않았기 때문에 해당 이미지로부터 도로의 형태 등의 구체적인 교통 요소들을 고려하여 경로예측을 하였다고 보기 어렵다.
본 발명이 이루고자 하는 기술적 과제는 지도 정보를 사용하여 기존 LSTM(Long Short-Term_Memory) 모델보다 주변 환경에 대한 정보를 딥러닝 모델에 추가로 제공하며 예측 정확도를 높여 보다 자율주행 시의 안전성을 높이기 위한 방법 및 장치를 제안하고자 한다.
일 측면에 있어서, 본 발명에서 제안하는 차량의 주변 지도 이미지를 활용하는 딥러닝 기반 차량 경로 예측 방법은 예측 대상 차량의 현재 위치를 중심으로 하는 주변 지도 이미지를 전처리하는 단계, 전처리된 주변 지도 이미지의 주변 지도 정보를 CNN(Convolutional neural network)를 이용하여 분석하는 단계 및 분석된 주변 지도 정보를 차량의 과거 경로 정보와 융합하고, 주변 지도 정보와 차량의 과거 경로 정보 간의 연관성에 대하여 학습하여 미래 경로를 예측하는 단계를 포함한다.
예측 대상 차량의 현재 위치를 중심으로 하는 주변 지도 이미지를 전처리하는 단계는 도로의 형태, 도로의 외곽선, 차량의 과거 경로가 주변 지도 이미지 상에 표현되도록 전처리된다.
전처리된 지도 이미지의 주변 지도 정보를 CNN(Convolutional neural network)를 이용하여 분석하는 단계는 차량의 과거 경로 정보의 시퀀스 정보를 또 다른 1-차 CNN을 통하여 분석한다. CNN을 이용하여 분석된 지도 이미지의 주변 지도 정보 벡터와 과거 경로 임베딩 벡터를 연관시킨뒤 완전 연결 레이어(fully-connected layer)를 통해 융합한 후 LSTM(Long Short-Term_Memory) 인코더로 입력한다.
분석된 주변 지도 정보를 차량의 과거 경로 정보와 융합하고, 주변 지도 정보와 차량의 과거 경로 정보 간의 연관성에 대하여 학습하여 미래 경로를 예측하는 단계는 LSTM 인코더는 딥러닝 모델을 통해 주변 지도 정보와 차량의 과거 경로 정보를 함께 분석하여 LSTM 디코더로 전달하고, LSTM 디코더는 LSTM 인코더로부터 분석된 정보를 RNN(Recurrent Neural Network) 구조를 통해 미래 경로를 예측하여 출력한다.
또 다른 일 측면에 있어서, 본 발명에서 제안하는 차량의 주변 지도 이미지를 활용하는 딥러닝 기반 차량 경로 예측 장치는 예측 대상 차량의 현재 위치를 중심으로 하는 주변 지도 이미지를 전처리하는 전처리부, 전처리된 주변 지도 이미지의 주변 지도 정보를 CNN(Convolutional neural network)를 이용하여 분석하는 분석부 및 분석된 주변 지도 정보를 차량의 과거 경로 정보와 융합하고, 주변 지도 정보와 차량의 과거 경로 정보 간의 연관성에 대하여 학습하여 미래 경로를 예측하는 예측부를 포함한다.
본 발명의 실시예들에 따르면 지도 이미지를 CNN(Convolutional Neural Network) 모델을 통해 임베딩(embedding)하고 이를 차량의 경로정보와 융합하여 딥러닝 신경망에 제공하여 신경망이 지도정보를 이용하여 경로를 예측할 수 있다. 본 발명의 실시예들에 따른 LSTM 구조를 기반으로 하는 딥러닝 모델이 차량 경로 예측 시 주변 지도 정보를 더욱 효과적으로 사용 할 수 있게 한다.
도 1은 본 발명의 일 실시예에 따른 차량의 주변 지도 이미지를 활용하는 딥러닝 기반 차량 경로 예측 방법을 설명하기 위한 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 지도 이미지 전처리 과정을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 차량의 주변 지도 이미지를 활용하는 딥러닝 기반 차량 경로 예측 장치의 구성을 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 차량의 주변 지도 이미지를 활용하는 딥러닝 처리 과정을 설명하기 위한 도면이다.
본 발명에서는 자율주행 시 주행 경로 계획을 위한 시스템에서 차량의 카메라, 라이더, 레이더 등의 센서를 통해 얻은 주변 차량의 경로 정보와 GPS(Global Positioning System)를 통해 얻은 주변 지도 정보를 이용해 대상 차량의 미래 경로를 예측하는 딥러닝 기법에 대해 제안하고자 한다. 기존의 딥러닝 기반의 주변 차량 경로 예측 기술은 주변 차량의 경로 정보만을 이용하여 미래 경로를 예측하였기 때문에 주변 환경 정보를 이용하지 못하였다. 본 발명에서는 지도 이미지를 CNN(Convolutional Neural Network) 모델을 통해 임베딩(embedding)하고 이를 차량의 경로정보와 융합하여 딥러닝 신경망에 제공하여 신경망이 지도정보를 이용하여 경로를 예측할 수 있도록 한다. 이때 사용되는 딥러닝 신경망인 인코더-디코더 LSTM(Encoder-Decoder Long Short-Term_Memory) 모델은 시간에 따라 순차적으로 정보를 처리 할 수 있어 예측 모델에 적합하다. 본 발명은 LSTM 구조를 기반으로 하는 딥러닝 모델이 차량 경로 예측 시 주변 지도 정보를 더욱 효과적으로 사용 할 수 있게 한다. 이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.
차량 경로 예측 기술은 자율주행 자동차에서 주행 경로를 계획하는 시스템에 적용이 가능하다. 자율주행 자동차에서 스스로 경로를 계획하기 위해서는 가려하는 경로의 위험도를 알 필요가 있다. 위험도는 주변의 차량, 도로의 상태, 보행자 등 다양한 주변 환경에 따라 달라지는데 도로위에서는 특히 주변 차량에 대한 위험도가 중요하다. 주변 차량에 대한 충돌 위험을 파악하기 위해서는 주변 차량의 미래 경로를 예측 할 필요가 있다. 본 발명은 주변 지도와 같은 주변 정보를 활용하여 경로를 예측하는 딥러닝 기술로 보다 정확한 주변 차량의 미래 경로를 예측하여 자율주행 자동차의 경로 예측 및 주행 경로 계획 기술에 적용이 가능하다.
이 기술을 적용하기 위해서는 카메라, 라이더 센서를 통해 주변 정보를 실시간으로 취득하고 이를 GPU(Graphics Processing Unit) 등을 장착한 임베디드 시스템에서 물체 인식 알고리즘을 통해 주변 차량을 검출한다. 그리고 검출된 주변 차량의 위치 정보와 GPS(Global Positioning System) 정보를 통해 얻은 주변 지도 이미지를 임베디드 시스템에서 주변 차량 예측 기술을 수행하여 주변 차량의 미래 경로를 예측하는 방법이 있다. 이를 위해서는 다양한 환경에 대한 데이터들을 확보하고 이를 통해 DNN(Deep Neural Network) 구조를 학습 시켜야 한다. 학습된 DNN(Deep Neural Network)의 계수를 저장하고 이를 임베디드 시스템에 적용하여 센서와 알고리즘으로부터 들어오는 정보를 취합하여 예측 결과를 얻도록 한다.
현재 자율주행 자동차 기술은 아직 시작단계로 차선을 인식하거나 앞차량의 위치 정도만 룰기반으로 예측하여 충돌을 방지하는 정도 수준으로 활용되고 있다. 본 발명은 카메라나 라이더 등의 센서를 통해 얻은 주변 차량 정보를 바탕으로 지도 정보를 활용하여 대상의 미래 경로를 예측하는 딥러닝 기술로 보다 고성능의 자율주행 기술에 적용이 가능하다. 이 기술을 적용한 자율주행 기술은 지금의 룰기반의 경로 예측기술에서는 파악할 수 없는 보다 복잡한 상황에서 주변 환경에 대한 이해를 바탕으로 미래 경로를 예측하기 때문에 충돌 위험 상황을 보다 정확히 예측하고 충돌을 방지하여 안전한 방향으로 주행할 수 있을 것이다.
본 발명의 실시예에 따른 예측 기술은 자율주행 자동차 뿐 아니라 자율적으로 움직이는 모든 인공지능 로봇에 사용 될 수 있으며 드론이나 소형 비행기 같은 비행체부터 대형 선박과 같은 해양 운송수단까지 인공지능을 탑재한 운송수단에서 주변 환경을 바탕으로 경로를 예측하는 상황에 향후 적용이 예상된다.
도 1은 본 발명의 일 실시예에 따른 차량의 주변 지도 이미지를 활용하는 딥러닝 기반 차량 경로 예측 방법을 설명하기 위한 흐름도이다.
제안하는 차량의 주변 지도 이미지를 활용하는 딥러닝 기반 차량 경로 예측 방법은 예측 대상 차량의 현재 위치를 중심으로 하는 주변 지도 이미지를 전처리하는 단계(110) 전처리된 주변 지도 이미지의 주변 지도 정보를 CNN(Convolutional neural network)를 이용하여 분석하는 단계(120) 및 분석된 주변 지도 정보를 차량의 과거 경로 정보와 융합하고, 주변 지도 정보와 차량의 과거 경로 정보 간의 연관성에 대하여 학습하여 미래 경로를 예측하는 단계(130)를 포함한다.
단계(110)에서, 예측 대상 차량의 현재 위치를 중심으로 하는 주변 지도 이미지를 전처리한다. 이때, 도로의 형태, 도로의 외곽선, 챠량의 과거 경로가 주변 지도 이미지 상에 표현되도록 전처리된다.
종래 기술에서는 고정된 탑뷰(top-view) 이미지를 그대로 입력으로 사용하였지만 본 발명에서는 주변 환경에 대한 정보를 얻기 위해 예측 대상 차량의 현재 위치를 중심으로 하는 지도 이미지를 사용한다. 또한 이미지를 전처리하여 딥러닝 구조가 주변 지도정보를 보다 효율적으로 분석하고 학습할 수 있도록 한다. 주변 지도 이미지는 도로의 형태와 도로의 외곽선, 과거 경로를 지도 이미지 상에 표현하도록 전처리되어 입력 이미지로 사용하며 그 예시는 도 2와 같다.
도 2는 본 발명의 일 실시예에 따른 지도 이미지 전처리 과정을 설명하기 위한 도면이다.
도 2에서의 녹색부분은 도로의 형태이고 빨간색은 도로의 외곽선, 하늘색은 대상 차량의 과거 경로를 표시한 것이다.
단계(120)에서, 전처리된 주변 지도 이미지의 주변 지도 정보를 CNN를 이용하여 분석한다. 차량의 과거 경로 정보의 시퀀스 정보는 또 다른 1-차 CNN을 통하여 분석한다. CNN을 이용하여 분석된 지도 이미지의 주변 지도 정보 벡터와 과거 경로 임베딩 벡터를 연관시킨뒤 완전 연결 레이어(fully-connected layer)를 통해 융합한 후 LSTM(Long Short-Term_Memory) 인코더로 입력한다.
단계(130)에서, 분석된 주변 지도 정보를 차량의 과거 경로 정보와 융합하고, 주변 지도 정보와 차량의 과거 경로 정보 간의 연관성에 대하여 학습하여 미래 경로를 예측한다. LSTM 인코더는 딥러닝 모델을 통해 주변 지도 정보와 차량의 과거 경로 정보를 함께 분석하여 LSTM 디코더로 전달하고, LSTM 디코더는 LSTM 인코더로부터 분석된 정보를 RNN(Recurrent Neural Network) 구조를 통해 미래 경로를 예측하여 출력한다. 이러한 과정은 과거 경로와 지도 이미지를 사용한 환경 정보의 직접적인 융합, LSTM 인코더-디코더(encoder-decoder) 구조를 통한 구조적인 효율성, 간략화된 과정을 통한 연산속도의 최적화로 인해 종래 기술이 가지던 교통 요소를 활용한 예측이 어려운 부분을 개선할 수 있다.
도 3은 본 발명의 일 실시예에 따른 차량의 주변 지도 이미지를 활용하는 딥러닝 기반 차량 경로 예측 장치의 구성을 나타내는 도면이다.
제안하는 차량의 주변 지도 이미지를 활용하는 딥러닝 기반 차량 경로 예측 장치는 전처리부(310), 분석부(320), 예측부(330)를 포함한다.
전처리부(310)는 예측 대상 차량의 현재 위치를 중심으로 하는 주변 지도 이미지를 전처리한다. 전처리부(310)는 도로의 형태, 도로의 외곽선, 챠량의 과거 경로를 주변 지도 이미지 상에 표현되도록 전처리된다.
종래 기술에서는 고정된 탑뷰(top-view) 이미지를 그대로 입력으로 사용하였지만 본 발명에서는 주변 환경에 대한 정보를 얻기 위해 예측 대상 차량의 현재 위치를 중심으로 하는 지도 이미지를 사용한다. 또한 이미지를 전처리하여 딥러닝 구조가 주변 지도정보를 보다 효율적으로 분석하고 학습할 수 있도록 한다. 주변 지도 이미지는 도로의 형태와 도로의 외곽선, 과거 경로를 지도 이미지 상에 표현하도록 전처리되어 입력 이미지로 사용한다.
분석부(320)는 전처리된 주변 지도 이미지의 주변 지도 정보를 CNN(Convolutional neural network)를 이용하여 분석한다. 분석부(320)는 차량의 과거 경로 정보의 시퀀스 정보는 또 다른 1-차 CNN을 통하여 분석한다. CNN을 이용하여 분석된 지도 이미지의 주변 지도 정보 벡터와 과거 경로 임베딩 벡터를 연관시킨뒤 완전 연결 레이어(fully-connected layer)를 통해 융합한 후 LSTM(Long Short-Term_Memory) 인코더로 입력한다.
예측부(330)는 분석된 주변 지도 정보를 차량의 과거 경로 정보와 융합하고, 주변 지도 정보와 차량의 과거 경로 정보 간의 연관성에 대하여 학습하여 미래 경로를 예측한다. 예측부(330)는 LSTM 인코더는 딥러닝 모델을 통해 주변 지도 정보와 차량의 과거 경로 정보를 함께 분석하여 LSTM 디코더로 전달하고, LSTM 디코더는 LSTM 인코더로부터 분석된 정보를 RNN(Recurrent Neural Network) 구조를 통해 미래 경로를 예측하여 출력한다. 이러한 과정은 과거 경로와 지도 이미지를 사용한 환경 정보의 직접적인 융합, LSTM 인코더-디코더(encoder-decoder) 구조를 통한 구조적인 효율성, 간략화된 과정을 통한 연산속도의 최적화로 인해 종래 기술이 가지던 교통 요소를 활용한 예측이 어려운 부분을 개선할 수 있다.
도 4는 본 발명의 일 실시예에 따른 차량의 주변 지도 이미지를 활용하는 딥러닝 처리 과정을 설명하기 위한 도면이다.
본 발명의 실시예에 따르면, 주변 환경에 대한 정보를 얻기 위해 예측 대상 차량의 현재 위치를 중심으로 하는 지도 이미지를 사용한다. 또한 이미지를 사전에 처리하여 딥러닝 구조가 주변 지도 정보를 보다 효율적으로 분석하고 학습할 수 있도록 한다. 주변 지도이미지는 도로의 형태와 도로의 외곽선, 과거 경로를 지도 이미지 상에 표현하도록 전처리되어 입력 이미지로 사용하며 그 예시는 도 2와 같다. 도 2에서의 녹색부분은 도로의 형태이고 빨간색은 도로의 외곽선, 하늘색은 대상 차량의 과거 경로를 표시한 것이다. 본 발명의 전체적인 처리 과정은 도 4와 같다.
위 설명과 같이 전처리된 주변 지도 이미지는 CNN(Convolutional neural network)을 이용하여 분석하고 과거 경로의 시퀀스 정보는 또 다른 1-차 CNN을 통하여 임베딩된다.
위 과정을 거친 주변 지도 정보 벡터(420)와 과거 경로 임베딩 벡터(410)는 상호 연관된 뒤 완전 연결 레이어(fully-connected layer)(431)를 통하여 합쳐진 후 LSTM(Long Short-Term_Memory)(431)의 입력으로 사용된다. 도 3에서 설명된 분석부(320)는 도 4의 LSTM 인코더(430)를 포함한다.
본 발명은 위의 과정을 통해 과거 경로 정보와 주변 환경에 대한 정보를 직접적으로 융합시키며 딥러닝 모델은 과거 경로 정보와 그 상황의 주변 지도 정보를 함께 분석하여 인코더 LSTM 상태 벡터(433)로 LSTM 디코더(440)로 전달한다. 도 3에서 설명된 예측부(330)는 도 4의 LSTM 디코더(440)를 포함한다.
LSTM 디코더(440)에서는 LSTM 인코더(430)로부터 온 정보를 RNN(Recurrent Neural Network) 구조를 통해 앞으로의 미래 경로를 예측하여 출력한다. 위의 과정은 과거 경로와 지도 이미지를 사용한 환경 정보의 직접적인 융합, LSTM 인코더-디코더 구조를 통한 구조적인 효율성, 간략화된 과정을 통한 연산속도의 최적화로 인해 종래의 기술이 가지던 교통 요소를 활용한 예측이 어려운 부분을 개선하였다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.　 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.　 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다.　 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다.　 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.　 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다.　 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.　 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.　 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.　 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.　 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.　
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (6)

  1. 예측 대상 차량의 현재 위치를 중심으로 하는 주변 지도 이미지를 전처리하는 단계;
    전처리된 주변 지도 이미지의 주변 지도 정보를 CNN(Convolutional neural network)를 이용하여 분석하는 단계; 및
    분석된 주변 지도 정보를 차량의 과거 경로 정보와 융합하고, 주변 지도 정보와 차량의 과거 경로 정보 간의 연관성에 대하여 학습하여 미래 경로를 예측하는 단계
    를 포함하고,
    예측 대상 차량의 현재 위치를 중심으로 하는 주변 지도 이미지를 전처리하는 단계는,
    고정된 탑뷰(top-view) 이미지를 입력으로 사용하지 않고, 주변 환경에 대한 정보를 얻기 위해 예측 대상 차량의 현재 위치를 중심으로 하는 지도 이미지를 사용하며, 도로의 형태, 도로의 외곽선, 챠량의 과거 경로가 주변 지도 이미지 상에 표현되도록 전처리되고,
    분석된 주변 지도 정보를 차량의 과거 경로 정보와 융합하고, 주변 지도 정보와 차량의 과거 경로 정보 간의 연관성에 대하여 학습하여 미래 경로를 예측하는 단계는,
    과거 경로와 지도 이미지를 사용한 환경 정보의 직접적인 융합과 교통 요소를 활용한 예측 및 연산속도의 최적화를 위해 LSTM 인코더-디코더(encoder-decoder) 구조를 이용하고,
    LSTM 인코더는 딥러닝 모델을 통해 주변 지도 정보와 차량의 과거 경로 정보를 함께 분석하여 LSTM 디코더로 전달하고,
    LSTM 디코더는 LSTM 인코더로부터 분석된 정보를 RNN(Recurrent Neural Network) 구조를 통해 미래 경로를 예측하여 출력하는
    차량 경로 예측 방법.
  2. 제1항에 있어서,
    전처리된 지도 이미지의 주변 지도 정보를 CNN(Convolutional neural network)를 이용하여 분석하는 단계는,
    차량의 과거 경로 정보의 시퀀스 정보를 또 다른 1-차 CNN을 통하여 분석하는
    차량 경로 예측 방법.
  3. 제1항에 있어서,
    전처리된 지도 이미지의 주변 지도 정보를 CNN(Convolutional neural network)를 이용하여 분석하는 단계는,
    CNN을 이용하여 분석된 지도 이미지의 주변 지도 정보 벡터와 과거 경로 임베딩 벡터를 연관시킨뒤 완전 연결 레이어(fully-connected layer)를 통해 융합한 후 LSTM(Long Short-Term_Memory) 인코더로 입력하는
    차량 경로 예측 방법.
  4. 예측 대상 차량의 현재 위치를 중심으로 하는 주변 지도 이미지를 전처리하는 전처리부;
    전처리된 주변 지도 이미지의 주변 지도 정보를 CNN(Convolutional neural network)를 이용하여 분석하는 분석부; 및
    분석된 주변 지도 정보를 차량의 과거 경로 정보와 융합하고, 주변 지도 정보와 차량의 과거 경로 정보 간의 연관성에 대하여 학습하여 미래 경로를 예측하는 예측부
    를 포함하고,
    전처리하는 전처리부는,
    고정된 탑뷰(top-view) 이미지를 입력으로 사용하지 않고, 주변 환경에 대한 정보를 얻기 위해 예측 대상 차량의 현재 위치를 중심으로 하는 지도 이미지를 사용하며, 도로의 형태, 도로의 외곽선, 챠량의 과거 경로가 주변 지도 이미지 상에 표현되도록 전처리되고,
    예측부는,
    과거 경로와 지도 이미지를 사용한 환경 정보의 직접적인 융합과 교통 요소를 활용한 예측 및 연산속도의 최적화를 위해 LSTM 인코더-디코더(encoder-decoder) 구조를 이용하고,
    LSTM 인코더는 딥러닝 모델을 통해 주변 지도 정보와 차량의 과거 경로 정보를 함께 분석하여 LSTM 디코더로 전달하고,
    LSTM 디코더는 LSTM 인코더로부터 분석된 정보를 RNN(Recurrent Neural Network) 구조를 통해 미래 경로를 예측하여 출력하는
    차량 경로 예측 장치.
  5. 제4항에 있어서,
    분석부는,
    차량의 과거 경로 정보의 시퀀스 정보를 또 다른 1-차 CNN을 통하여 분석하는
    차량 경로 예측 장치.
  6. 제4항에 있어서,
    분석부는,
    CNN을 이용하여 분석된 지도 이미지의 주변 지도 정보 벡터와 과거 경로 임베딩 벡터를 연관시킨뒤 완전 연결 레이어(fully-connected layer)를 통해 융합한 후 LSTM(Long Short-Term_Memory) 인코더로 입력하는
    차량 경로 예측 장치.
PCT/KR2020/013490 2019-11-26 2020-10-05 차량의 주변 지도 이미지를 활용하는 딥러닝 기반 차량 경로 예측 방법 및 장치 WO2021107380A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190153609A KR102133342B1 (ko) 2019-11-26 2019-11-26 차량의 주변 지도 이미지를 활용하는 딥러닝 기반 차량 경로 예측 방법 및 장치
KR10-2019-0153609 2019-11-26

Publications (1)

Publication Number Publication Date
WO2021107380A1 true WO2021107380A1 (ko) 2021-06-03

Family

ID=71570644

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/013490 WO2021107380A1 (ko) 2019-11-26 2020-10-05 차량의 주변 지도 이미지를 활용하는 딥러닝 기반 차량 경로 예측 방법 및 장치

Country Status (2)

Country Link
KR (1) KR102133342B1 (ko)
WO (1) WO2021107380A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113643542A (zh) * 2021-10-13 2021-11-12 北京理工大学 基于集成学习的多车交互环境下车辆轨迹预测方法及系统
CN114019947A (zh) * 2020-07-15 2022-02-08 广州汽车集团股份有限公司 一种车辆在路口处的行驶控制方法、系统及计算机可读存储介质

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102133342B1 (ko) * 2019-11-26 2020-07-13 한양대학교 산학협력단 차량의 주변 지도 이미지를 활용하는 딥러닝 기반 차량 경로 예측 방법 및 장치
KR102605886B1 (ko) * 2020-10-20 2023-11-27 (주)와이파워원 주행 중 무선충전을 위한 위치정보 제공 방법, 장치 및 무선충전 제어 방법
CN112389436B (zh) * 2020-11-25 2022-11-15 中汽院智能网联科技有限公司 基于改进lstm神经网络的安全性自动驾驶换道轨迹规划方法
KR102585149B1 (ko) * 2020-11-30 2023-10-10 재단법인대구경북과학기술원 인지 특징을 활용한 딥러닝 기반 맞춤형 자율주행 장치 및 방법
CN113076599A (zh) * 2021-04-15 2021-07-06 河南大学 一种基于长短时记忆网络的多模态车辆轨迹预测方法
CN113313941B (zh) * 2021-05-25 2022-06-24 北京航空航天大学 基于记忆网络和编码器-解码器模型的车辆轨迹预测方法
CN113361206B (zh) * 2021-06-30 2022-07-29 上海理工大学 基于地图api信息和hmm的未来能耗预测方法
KR20230010569A (ko) 2021-07-12 2023-01-19 국민대학교산학협력단 딥러닝 기반 차량 경로 예측 장치 및 방법
KR102589270B1 (ko) * 2022-03-07 2023-10-17 부산대학교 산학협력단 가변하는 운전성향을 고려한 운전자 식별 장치 및 방법 그리고 시스템
KR102614118B1 (ko) * 2022-11-24 2023-12-13 중앙대학교 산학협력단 교통 흐름 예측 장치 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11296799A (ja) * 1998-04-09 1999-10-29 Fujitsu Ten Ltd 走行路形状認識装置
JP2009003650A (ja) * 2007-06-20 2009-01-08 Toyota Motor Corp 車両走行推定装置
KR20120022305A (ko) * 2010-09-02 2012-03-12 주식회사 만도 자율 주행 차량
KR20170133149A (ko) * 2016-05-25 2017-12-05 주식회사 만도 주행 학습 기반 자율 주행 시스템 및 방법
KR102133342B1 (ko) * 2019-11-26 2020-07-13 한양대학교 산학협력단 차량의 주변 지도 이미지를 활용하는 딥러닝 기반 차량 경로 예측 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11296799A (ja) * 1998-04-09 1999-10-29 Fujitsu Ten Ltd 走行路形状認識装置
JP2009003650A (ja) * 2007-06-20 2009-01-08 Toyota Motor Corp 車両走行推定装置
KR20120022305A (ko) * 2010-09-02 2012-03-12 주식회사 만도 자율 주행 차량
KR20170133149A (ko) * 2016-05-25 2017-12-05 주식회사 만도 주행 학습 기반 자율 주행 시스템 및 방법
KR102133342B1 (ko) * 2019-11-26 2020-07-13 한양대학교 산학협력단 차량의 주변 지도 이미지를 활용하는 딥러닝 기반 차량 경로 예측 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
PARK, SUNGHYUN, KIM, BYEOUNGDO, CHOI, JUN WON: "Deep Learning-Based Vehicle Route Prediction for Autonomous Driving", JOURNAL OF THE KOREAN INSTITUTE OF COMMUNICATIONS AND INFORMATION SCIENCES (INFORMATION & COMMUNICATIONS MAGAZINE), vol. 35, no. 3, February 2018 (2018-02-01), pages 26 - 31, XP009528166 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114019947A (zh) * 2020-07-15 2022-02-08 广州汽车集团股份有限公司 一种车辆在路口处的行驶控制方法、系统及计算机可读存储介质
CN114019947B (zh) * 2020-07-15 2024-03-12 广州汽车集团股份有限公司 一种车辆在路口处的行驶控制方法、系统及计算机可读存储介质
CN113643542A (zh) * 2021-10-13 2021-11-12 北京理工大学 基于集成学习的多车交互环境下车辆轨迹预测方法及系统

Also Published As

Publication number Publication date
KR102133342B1 (ko) 2020-07-13

Similar Documents

Publication Publication Date Title
WO2021107380A1 (ko) 차량의 주변 지도 이미지를 활용하는 딥러닝 기반 차량 경로 예측 방법 및 장치
US11157008B2 (en) Autonomous vehicle routing using annotated maps
US20190146508A1 (en) Dynamic vehicle routing using annotated maps and profiles
US9511767B1 (en) Autonomous vehicle action planning using behavior prediction
Fernando et al. Deep inverse reinforcement learning for behavior prediction in autonomous driving: Accurate forecasts of vehicle motion
US20210081715A1 (en) Systems and methods for predicting the trajectory of an object with the aid of a location-specific latent map
JP2020126639A (ja) 安全な自律走行を支援する学習方法、そしてこれを利用した学習装置、テスト方法、及びテスト装置
CN111613091A (zh) 利用外部驾驶员数据增强移动设备操作
Raju et al. Performance of open autonomous vehicle platforms: Autoware and Apollo
CN112068574A (zh) 一种无人车在动态复杂环境中的控制方法及系统
CN111094096A (zh) 车辆控制装置、车辆控制方法及程序
CN113460077A (zh) 移动体控制装置、移动体控制方法及存储介质
CN114945492A (zh) 协作式交通工具前灯引导
US20230282000A1 (en) Multi-object tracking
KR102176483B1 (ko) 차선 정보를 래스터화하여 활용하는 딥러닝 기반 차량 경로 예측 방법 및 장치
Asmika et al. Deep learning for vision and decision making in self driving cars-challenges with ethical decision making
Gonsalves et al. Integrated deep learning for self-driving robotic cars
US20220097690A1 (en) Optical sense-compute solution for real-time navigation involving multiple vehicles
US20200264609A1 (en) Online agent predictions using semantic maps
CN112686421B (zh) 将来行动推定装置、将来行动推定方法及存储介质
WO2021241834A1 (ko) 악천후 자율주행을 위한 교통 흐름 정보 인지 기반 가상 차선 생성 장치 및 방법
US11592810B2 (en) Systems and methods for injecting faults into an autonomy system
CN115230740A (zh) 一种基于iot与l4自动驾驶的智慧交安方法及系统
US20240149895A1 (en) Map Based Annotation for Autonomous Movement Models Training
Wang et al. DriveCoT: Integrating Chain-of-Thought Reasoning with End-to-End Driving

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20894163

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20894163

Country of ref document: EP

Kind code of ref document: A1