KR101951595B1 - Vehicle trajectory prediction system and method based on modular recurrent neural network architecture - Google Patents

Vehicle trajectory prediction system and method based on modular recurrent neural network architecture Download PDF

Info

Publication number
KR101951595B1
KR101951595B1 KR1020180057025A KR20180057025A KR101951595B1 KR 101951595 B1 KR101951595 B1 KR 101951595B1 KR 1020180057025 A KR1020180057025 A KR 1020180057025A KR 20180057025 A KR20180057025 A KR 20180057025A KR 101951595 B1 KR101951595 B1 KR 101951595B1
Authority
KR
South Korea
Prior art keywords
vehicle
neural network
sequence
decoder
encoder
Prior art date
Application number
KR1020180057025A
Other languages
Korean (ko)
Inventor
최준원
박성현
김병도
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020180057025A priority Critical patent/KR101951595B1/en
Application granted granted Critical
Publication of KR101951595B1 publication Critical patent/KR101951595B1/en

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/161Decentralised systems, e.g. inter-vehicle communication
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/14Adaptive cruise control
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computer systems based on biological models
    • G06N3/02Computer systems based on biological models using neural network models
    • G06N3/08Learning methods
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/10Longitudinal speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/18Steering angle

Abstract

A method for predicting a vehicle path based on a modular circulating neural network structure is disclosed. According to an embodiment of the present invention, a method for predicting a path performed by a system for predicting a path including an encoder and a decoder comprises the steps of: analyzing, in the encoder, sequence information based on driving data of a vehicle of a user or the vehicle of the user and a neighboring vehicle present around the vehicle of the user; and predicting, in the decoder, a future path of the neighboring vehicle by applying an analysis result of analyzing the sequence information to a beam search. Deep learning can be performed based on a combined circulating neural network composed of at least one circulating neural network structure.

Description

모듈형 순환 신경망 구조 기반 차량 경로 예측 시스템 및 방법{VEHICLE TRAJECTORY PREDICTION SYSTEM AND METHOD BASED ON MODULAR RECURRENT NEURAL NETWORK ARCHITECTURE}[0001] VEHICLE TRAJECTORY PREDICTION SYSTEM AND METHOD BASED ON MODULAR RECURRENT NEURAL NETWORK ARCHITECTURE [0002]
아래의 설명은 차량의 경로를 예측하는 방법 및 시스템에 관한 것이다.The following description relates to a method and system for predicting the path of a vehicle.
자율주행 자동차의 개발에 있어 주변 차량의 운동을 분석, 예측하는 기능을 탑재하는 것은 가장 중요한 목표 중의 하나이다. 자율주행 자동차가 고수준의 안전성을 확보하기 위해서는 주변 차량의 움직임에 내재한 경향을 분석하여 주요한 특징을 파악하고, 미래에 전개될 이동 경로를 예측할 수 있어야 한다. 그러나 차량의 이동 경로는 교통 상황에 따라서 실시간으로 변화하는 잠재 변수들이 복합적으로 상호작용하여 결정되기 때문에 그것을 분석하여 특징을 추출하고, 나아가 미래 경로를 예측하는 것은 난해한 문제이다. 이러한 차량 경로 분석 및 예측의 문제를 해결하기 위해서 역사적으로 칼만 필터, 가우시안 확률과정, 가우시안 혼합 모델과 같은 통계적 모델에 기반을 둔 기법, 동적 베이즈 네트워크(Dynamic Bayesian Network) 구조에 기반을 두어 기계학습을 사용하는 기법들이 제안되어 왔다. It is one of the most important goals to develop an autonomous driving vehicle with the ability to analyze and predict the motion of nearby vehicles. In order for autonomous vehicles to secure high level of safety, it is necessary to analyze the tendency inherent in the movement of nearby vehicles, to identify the main characteristics, and to predict the route to be developed in the future. However, it is a difficult problem to analyze the characteristics of the vehicle and to predict the future path because it is determined by interacting with the potential variables changing in real time according to traffic conditions. In order to solve the problem of the vehicle path analysis and prediction, there is a method of estimating the vehicle path based on the Kalman filter, the Gaussian probability process, the Gaussian mixture model based statistical model, and the dynamic Bayesian network structure. Have been proposed.
최근에는 소위 딥러닝으로 불리는 심층 신경망(deep neural network)의 기계학습 기술이 대두되며 차량 경로에 관한 문제에도 이를 활용한 기법들이 제안되고 있다. 주행 중인 주변 차량의 경로를 분석하고, 미래 경로를 예측하는 것은 경로 계획(path planning), 위험도 판단(risk assessment), 조향 추정(maneuver estimation) 등 유용한 기술의 구현을 위해 필수적으로 선행되어야 하는 기초기술이며 이러한 기술이 자율주행 자동차 또는 운전자보조시스템(ADAS)에 적용되면 안전한 주행을 위한 신뢰성 있는 시스템을 개발할 수 있을 것이다. 그 외에도, 차량 이동 경로의 분석과 예측이 정확히 이루어지면 그로부터 운전자의 상태를 추정하여 졸음운전과 같은 위험을 경고하는 기술, 이동 통신 단말기의 위치를 추정하여 적절한 기지국을 선택하는 기술 등 다양한 응용기술의 개발이 가능하다.In recent years, machine learning techniques of deep neural networks called deep running have been developed, and techniques using the deep neural networks have been proposed. The analysis of the route of the surrounding vehicles in the running and the prediction of the future route are based on the basic technology which is essential for the implementation of the useful technology such as the path planning, the risk assessment, the maneuver estimation, And this technology can be applied to autonomous vehicles or driver assistance systems (ADAS) to develop a reliable system for safe driving. In addition, if the analysis and prediction of the vehicle movement route is performed correctly, it is possible to estimate the driver's state and to warn of danger such as drowsiness operation, and various application techniques such as a technique of selecting a proper base station by estimating the position of the mobile communication terminal Development is possible.
기계 학습을 사용하는 기술들로 크게 비딥러닝 기반 기술과 딥러닝 기반 기술로 구분할 수 있다. 비딥러닝 기반 기술로는 동적 베이즈 네트워크(DBN) 모델 기반의 차량 경로 예측 기법이 있으며, 딥러닝 기반 기술로는 LSTM 순환 신경망 구조 기반의 차량 위치 예측 기법과 순환 신경망 구조 및 CVAE(Conditional Variational Auto-Encoder) 기반의 차량 경로 예측 기법 등이 있다. 이러한 기법들은 모두 기계학습을 통해 알고리즘에 사용되는 모수(parameter)를 결정한다는 공통점을 가지고 있다. 비딥러닝 기반 기법의 예로서, 동적 베이즈 네트워크(DBN) 모델 기반의 차량 경로 예측 알고리즘은 차량의 경로가 결정되는데 관여하는 잠재 변수들을 그래프 모형으로 표현하여 변수 간의 상호작용을 기계학습으로 배운다. 이 동적 베이즈 네트워크(DBN) 모델 기반의 차량 경로 예측 알고리즘에서는 도로형태, 교통법규 등 차량 경로와 상관관계가 크다고 생각되는 특징점들을 인간의 직관으로 설정하며, 기계학습의 역할은 이러한 특징점의 발현 정도를 추정하거나 특징점 간의 상호작용을 나타내는 함수의 모수(parameter)를 학습하는 것이다.The techniques that use machine learning can be roughly divided into vidivine learning based technology and deep learning based technology. Based on the DBN model, the vehicle routing method is based on the DBN model. Deep learning based techniques include the vehicle position estimation method based on the LSTM circular neural network structure, the circular neural network structure and the CVAE (Conditional Variational Auto- Encoder based vehicle path prediction. All of these techniques have in common that they determine the parameters used in the algorithm through machine learning. As an example of the bidirectional learning method, the vehicle path prediction algorithm based on the dynamic Bayesian network (DBN) model expresses the latent variables involved in determining the path of the vehicle as a graphical model, and learns the interaction between the variables by machine learning. In the vehicle path prediction algorithm based on the dynamic Bayesian network (DBN) model, the feature points that are considered to be highly correlated with the vehicle path such as the road shape and the traffic law are set as human intuition. And learning the parameter of the function that represents the interaction between the minutiae.
한편, 딥러닝에 의한 기법은 차량 경로를 분석하기 위한 특징점을 인간이 사전에 설계하지 않고 기계학습을 통해 직접 배우는 방식을 따른다. 먼저, LSTM 순환 신경망 구조에 기반의 차량 위치 예측 기법은 자차 속력과 조향 각속도, 주변 차량의 상대 위치와 상대 속도 등 운동 상태에 대한 센서 입력을 받아들여 주변 차량의 미래 위치를 예측한다. 이 기법은 딥러닝에 기반을 두어 차량의 미래 위치에 상관관계가 높은 특징점들을 기계학습으로 학습하고, 학습된 특징점들을 바탕으로 미래에 주변 차량이 특정 지점에 있을 확률을 나타내는 지도를 출력한다. 또한, 순환 신경망 구조 및 CVAE(Conditional Variational Auto-Encoder) 기반의 차량 경로 예측 기법은 순환 신경망 구조와 함께 CVAE(Conditional Variational Auto-Encoder)에 의한 샘플링(sampling)을 도입하여 차량의 이전 경로가 주어졌을 때 미래 경로에 대한 다양한 가설을 내고, 가설 사이의 중요도를 추정하는 별도의 신경망을 이용하여 일정량 이상의 중요도를 갖는 가설을 출력한다.On the other hand, the technique of deep learning follows a method of directly learning the feature points for analyzing the vehicle path through machine learning without designing in advance. First, the vehicle position prediction method based on the LSTM recurrent neural network structure predicts the future position of the surrounding vehicle by accepting the sensor input of the motion state such as the car speed, the steering angular velocity, the relative position and the relative speed of the surrounding vehicles. Based on deep learning, this technique learns feature points that are highly correlated with the future position of the vehicle by machine learning, and outputs a map showing the probability that the nearby vehicle will be at a specific point in the future based on the learned feature points. In addition, the vehicle path prediction method based on the cyclic neural network structure and the CVAE (Conditional Variable Auto-Encoder) was introduced with a sampling path by CVAE (Conditional Variable Auto-Encoder) together with a cyclic neural network structure The hypothesis with a certain amount of importance is output by using a separate neural network that gives various hypotheses about the future path and estimates the importance between the hypotheses.
동적 베이즈 네트워크(DBN)에 기반을 둔 기법은 인간이 사전에 설계한 특징점들만 고려할 수 있다는 근본적인 한계로 인하여 다양한 교통 상황에 유연하게 대처하기 어렵다. 미리 설계된 특징점들이 특정 교통 상황에서 차량 경로를 결정하는 데 있어 유의미한 상관 관계를 갖지 못하게 된다면 예측 성능이 감소하기 때문이다. 이와 달리 최근에 많은 연구가 진행되는 딥러닝 기술은 방대한 데이터로부터 유용한 특징을 직접 학습하는 방법을 사용하기 때문에 다양한 환경 변화에도 비교적 좋은 성능을 유지할 수 있다.It is difficult to flexibly cope with various traffic conditions because of the fundamental limitation that dynamic base network (DBN) -based technique can consider only human pre-designed feature points. This is because the prediction performance decreases if the pre-designed feature points do not have a significant correlation in determining the vehicle path in a specific traffic situation. On the other hand, the deep-learning technology that has been recently undergone a lot of research uses a method of learning the useful features directly from the vast amount of data, so that it can maintain relatively good performance in various environment changes.
그러나 딥러닝에 기반 차량 경로 분석 및 예측 기법 또한 미래 경로 시퀀스를 생성하지 못하거나, 다양한 미래경로를 확률론적으로 표현하지 못하는 문제를 가지고 있다. 차량의 미래 경로 예측에 있어 LSTM 순환 신경망 구조에 기반의 차량 위치 예측 기법은 시퀀스를 생성하지 못하고 특정한 시점의 위치만 예측하는 한계를 가지게 되며, 경로 계획이나 위험도 측정을 수행하는 데 불확실성이 증가하게 되고, 탑승자의 안전을 보장하기가 어려워진다. 또한, 순환 신경망 구조 및 CVAE(Conditional Variational Auto-Encoder) 기반의 차량 경로 예측 기법은 다양한 미래 경로의 가능성을 확률적으로 표현하지 못하기 때문에 다양한 예측 사이의 중요도를 계산하기 위하여 별도의 장치가 필요하므로 계산량이 증가하게 되고, 확률론적인 표현의 부재로 인하여 가설의 실현 가능성에 대한 확률적 분석이 모호한 문제를 갖는다. 차량의 이동 경로는 같은 상황으로부터 운전자의 판단에 따라 다양하게 분화할 수 있는 확률적 특성을 상당히 내포하고 있기 때문에 차량 경로 예측 기법에서 다양한 미래 경로 가설에 대한 확률론적 표현이 불가능하다는 한계가 있다.However, Deep Learning based vehicle path analysis and prediction techniques also fail to generate future path sequences or to stochastically express various future paths. Vehicle location prediction method based on LSTM recurrent neural network structure is not able to generate a sequence and has a limit to predict only the position of a specific time point in the future route prediction of a vehicle. Uncertainty increases in path planning or risk measurement , It becomes difficult to ensure the safety of the passenger. In addition, since the vehicle path prediction method based on the cyclic neural network structure and the CVAE (Conditional Variable Auto-Encoder) can not represent the probabilities of various future paths stochastically, a separate apparatus is required to calculate the importance between the various predictions The amount of computation increases and the probabilistic analysis of the feasibility of the hypothesis is ambiguous because of the lack of stochastic representation. There are limits to the possibility that the probabilistic expression of various future path hypotheses is impossible in the vehicle path prediction technique because the moving path of the vehicle significantly contains the probabilistic characteristic that can be variously differentiated according to the driver's judgment from the same situation.
참고자료: KR10-1795250, KR10-2018-0020615References: KR10-1795250, KR10-2018-0020615
자율주행 자동차 또는 운전자보조시스템(ADAS-Advanced Driver Assistance System)을 위한 모듈형 순환 신경망 구조 기반 차량 경로 예측 기법을 제안하고자 한다. 구체적으로, 미래 경로 시퀀스가 아닌 특정 시점의 위치만 예측하거나, 확률적인 표현을 갖추지 못한다는 딥러닝을 이용한 차량 위치 예측 기법의 문제점을 해결하기 위하여 기계 번역 분야에서 자주 사용되는 인코더-디코더 결합형 순환 신경망 구조와 빔 서치(beam search) 알고리즘을 사용하여 주변 차량의 미래 경로를 예측하는 방법을 제공할 수 있다.We propose a vehicle path prediction method based on modular circular neural network structure for autonomous vehicle or ADAS (Advanced Driver Assistance System). Specifically, to solve the problem of the vehicle position prediction method using the deep learning that predicts only the position at a specific time point rather than the future path sequence or does not have a stochastic representation, the encoder-decoder combined cycle A neural network structure and a beam search algorithm can be used to provide a method for predicting future paths of nearby vehicles.
인코더 및 디코더를 포함하는 경로 예측 시스템에 의해 수행되는 경로 예측 방법은 상기 인코더에서, 자차 또는 자차와 주변에 존재하는 주변 차량의 주행 데이터에 기반하여 시퀀스 정보를 분석하는 단계; 및 상기 디코더에서, 상기 시퀀스 정보를 분석한 분석 결과를 빔 서치(beam search)를 적용하여 주변 차량의 미래 경로를 예측하는 단계를 포함하고, 적어도 하나 이상의 순환 신경망 구조로 구성된 결합형 순환 신경망에 기반하여 각각 딥 러닝 학습이 수행될 수 있다. A path prediction method performed by a path prediction system including an encoder and a decoder includes analyzing sequence information based on a driving vehicle of a peripheral vehicle existing in a periphery or a car or a car in the encoder; And a step of estimating a future path of a neighboring vehicle by applying a beam search to the analysis result obtained by analyzing the sequence information in the decoder, So that the deep learning learning can be performed, respectively.
상기 시퀀스 정보를 분석하는 단계는, 상기 인코더에서, 자차 또는 자차와 주변에 존재하는 주변 차량의 주행 데이터에 기반하여 딥 러닝 학습을 수행함에 따라 자차의 운전 상태 정보 및 주변 차량의 이동 경로 정보를 포함하는 시퀀스 정보를 분석하는 단계를 포함할 수 있다. The step of analyzing the sequence information may include driving state information of the vehicle and travel route information of the surrounding vehicle by performing the deep learning learning based on the driving data of the surrounding vehicle existing in the vicinity of the vehicle or the vehicle And analyzing the sequence information.
상기 시퀀스 정보를 분석하는 단계는, 상기 자차 또는 상기 주변 차량의 센서로부터 수집된 상기 자차의 속력, 상기 자차의 조향 각속도, 상기 주변 차량의 상대 좌표 및 상기 주변 차량의 상대 속도를 포함하는 주행 데이터가 입력되고, 상기 입력된 상기 자차의 속력, 상기 자차의 조향 각속도, 상기 주변 차량의 상대 좌표 및 상기 주변 차량의 상대 속도에 기초하여 시퀀스 정보를 분석함에 따라 상기 차량 또는 상기 주변 차량간 패턴 정보를 추출 및 요약하는 단계를 포함할 수 있다. The step of analyzing the sequence information may include: running data including a speed of the vehicle collected from the vehicle or a sensor of the nearby vehicle, a steering angular velocity of the vehicle, a relative coordinate of the nearby vehicle, and a relative speed of the nearby vehicle And extracting pattern information between the vehicle and the surrounding vehicles by analyzing the sequence information based on the speed of the vehicle, the steering angular speed of the vehicle, the relative coordinates of the surrounding vehicle, and the relative speed of the surrounding vehicle. And summarizing.
상기 시퀀스 정보를 분석하는 단계는, 상기 인코더가 FC(Fully-Connected) 신경망 계층과 LSTM(Long-Short Term Memory) 순환 신경망 계층이 혼합된 형태로 구성되는 것을 포함하고, 상기 인코더의 FC 신경망 계층은, 아핀 변환(affine transformation)과 ReLU(Rectifed Linear Unit) 활성화 함수로 구성되고, 데이터의 차원을 일치시키고 상기 자차와 상기 주변 차량간의 움직임과 관련된 관계 정보를 추출하고, 상기 인코더의 LSTM 순환 신경망 계층은 복수 개의 LSTM 순환 신경망이 연결된 구조로 구성되고, 상기 복수 개의 LSTM 에서 입력 시퀀스에 대한 재귀적 연산을 수행함에 따라 각각의 셀 벡터를 획득할 수 있다. Wherein the step of analyzing the sequence information comprises a configuration in which the encoder is configured as a mixture of FC (Fully-Connected) neural network layer and LSTM (Long-Short Term Memory) , An affine transformation and a rectified linear unit (ReLU) activation function, extracts relationship information related to the motion between the car and the neighboring vehicle, coincides the dimensions of the data, and the LSTM recurrent neural network layer of the encoder A plurality of LSTM circular neural networks are connected to each other, and each cell vector can be obtained by performing a recursive operation on the input sequence in the plurality of LSTMs.
상기 주변 차량의 미래 경로를 예측하는 단계는, 상기 디코더에서, 상기 시퀀스 정보를 분석함에 따라 요약된 요약 시퀀스로부터 빔 탐색에 기반한 재귀적 연산을 기 설정된 예측 시간에 도달할 때까지 반복하여 출력 시퀀스를 생성하고, 상기 생성된 출력 시퀀스에 기반하여 기 설정된 가능성 이상의 가설을 출력하는 단계를 포함할 수 있다. The step of predicting a future route of the neighboring vehicle may include repeating a recursive operation based on the beam search from the summarized summary sequence by analyzing the sequence information in the decoder until reaching a preset predicted time, And outputting a hypothesis over a predetermined probability based on the generated output sequence.
상기 주변 차량의 미래 경로를 예측하는 단계는, 상기 디코더가 적어도 하나 이상의 FC 신경망 계층, 적어도 하나 이상의 LSTM 순환 신경망 계층, 확률 분포의 계산을 위한 Softmax 계층 및 출력을 피드백하기 위한 임베딩 계층으로 구성되는 것을 포함하고, 상기 디코더의 FC 신경망 계층과 LSTM 순환 신경망 계층에서 상기 인코더로부터 전달받은 복수 개의 셀 벡터를 사용하여 재귀적으로 계산한 출력값을 상기 Softmax 계층에 통과시킴에 따라 자차 또는 주변 차량이 점유 격자 지도(Occupancy Grid Map)를 점유하는 조건부 확률로 표현되고, 상기 조건부 확률을 기반으로 빔 탐색을 적용하여 자차 또는 주변 차량의 위치에 대한 기 설정된 개수의 후보를 선정하고, 상기 선정된 후보를 상기 임베딩 계층을 통하여 피드백하는 단계를 포함할 수 있다. The step of predicting a future path of the neighboring vehicle may include at least one FC neural network layer, at least one LSTM loop neural network layer, a Softmax layer for calculating a probability distribution, and an embedding layer for feeding back an output And an output value recursively calculated using a plurality of cell vectors received from the encoder in the FC neural network layer and the LSTM loop neural network layer of the decoder is passed through the Softmax layer, Wherein the predetermined number of candidates is represented by a conditional probability occupying an Occupancy Grid Map, applying a beam search based on the conditional probability to select a predetermined number of candidates for a position of a vehicle or a nearby vehicle, Lt; RTI ID = 0.0 > a < / RTI >
상기 주변 차량의 미래 경로를 예측하는 단계는, 상기 디코더의 상기 임베딩 계층에서 상기 점유 격자 지도의 종축과 횡축의 격자 수에 대응하는 복수 개의 행렬로 구성되고, 상기 빔 탐색에 기초하여 선정된 격자 좌표에 대응하는 열 벡터를 각각의 행렬로부터 추출한 후, 상기 추출된 열 벡터를 결합(vector concatenation)하여 상기 디코더의 LSTM 순환 신경망 계층의 입력으로 피드백하는 단계를 포함할 수 있다. Wherein the step of predicting a future path of the neighboring vehicle comprises a plurality of matrices corresponding to the number of grids in the vertical axis and the horizontal axis of the occupancy grid map in the embedding layer of the decoder, Extracting the column vectors corresponding to the column vectors from the respective matrices, and then performing vector concatenation of the extracted column vectors to feed back the input row vectors to the input of the LSTM recurrent neural network layer of the decoder.
경로 예측 시스템은, 자차 또는 자차와 주변에 존재하는 주변 차량의 주행 데이터에 기반하여 시퀀스 정보를 분석하는 인코더; 및 상기 시퀀스 정보를 분석한 분석 결과를 빔 서치(beam search)를 적용하여 주변 차량의 미래 경로를 예측하는 디코더를 포함하고, 적어도 하나 이상의 순환 신경망 구조로 구성된 결합형 순환 신경망에 기반하여 각각 딥 러닝 학습이 수행될 수 있다. The route prediction system includes: an encoder for analyzing sequence information based on traveling data of a vehicle or a neighboring vehicle that is present around the vehicle or the vehicle; And a decoder for predicting a future path of a neighboring vehicle by applying a beam search to an analysis result obtained by analyzing the sequence information. The apparatus of claim 1, Learning can be performed.
상기 인코더는, 상기 인코더에서, 자차 또는 자차와 주변에 존재하는 주변 차량의 주행 데이터에 기반하여 딥 러닝 학습을 수행함에 따라 자차의 운전 상태 정보 및 주변 차량의 이동 경로 정보를 포함하는 시퀀스 정보를 분석할 수 있다. The encoder performs deep learning learning on the basis of the driving data of the surrounding vehicle existing in the periphery of the vehicle or the vehicle in the encoder, and analyzes the sequence information including the driving state information of the vehicle and the traveling path information of the surrounding vehicle can do.
상기 인코더는, 상기 자차 또는 상기 주변 차량의 센서로부터 수집된 상기 자차의 속력, 상기 자차의 조향 각속도, 상기 주변 차량의 상대 좌표 및 상기 주변 차량의 상대 속도를 포함하는 주행 데이터가 입력되고, 상기 입력된 상기 자차의 속력, 상기 자차의 조향 각속도, 상기 주변 차량의 상대 좌표 및 상기 주변 차량의 상대 속도에 기초하여 시퀀스 정보를 분석함에 따라 상기 차량 또는 상기 주변 차량간 패턴 정보를 추출 및 요약할 수 있다. Wherein the encoder receives driving data including a speed of the vehicle collected from the vehicle or a sensor of the peripheral vehicle, a steering angular speed of the vehicle, a relative coordinate of the surrounding vehicle, and a relative speed of the surrounding vehicle, The pattern information between the vehicle or the surrounding vehicles can be extracted and summarized by analyzing the sequence information based on the speed of the vehicle, the steering angular speed of the vehicle, the relative coordinates of the surrounding vehicle, and the relative speed of the surrounding vehicle .
상기 인코더는, 상기 인코더가 FC(Fully-Connected) 신경망 계층과 LSTM(Long-Short Term Memory) 순환 신경망 계층이 혼합된 형태로 구성되는 것을 포함하고, 상기 인코더의 FC 신경망 계층은, 아핀 변환(affine transformation)과 ReLU(Rectifed Linear Unit) 활성화 함수로 구성되고, 데이터의 차원을 일치시키고 상기 자차와 상기 주변 차량간의 움직임과 관련된 관계 정보를 추출하고, 상기 인코더의 LSTM 순환 신경망 계층은 복수 개의 LSTM 순환 신경망이 연결된 구조로 구성되고, 상기 복수 개의 LSTM 에서 입력 시퀀스에 대한 재귀적 연산을 수행함에 따라 각각의 셀 벡터를 획득할 수 있다. Wherein the encoder comprises a mix of a FC (Fully-Connected) neural network layer and a LNS (Long-Short Term Memory) loopback neural network layer, wherein the FC neural network layer of the encoder comprises an affine transformation wherein the LSTM recurrent neural network layer of the encoder comprises a plurality of LSTM recurrent neural networks, each of the plurality of LSTM recurrent neural networks comprising: , And each cell vector can be obtained by performing a recursive operation on the input sequence in the plurality of LSTMs.
상기 디코더는, 상기 시퀀스 정보를 분석함에 따라 요약된 요약 시퀀스로부터 빔 탐색에 기반한 재귀적 연산을 기 설정된 예측 시간에 도달할 때까지 반복하여 출력 시퀀스를 생성하고, 상기 생성된 출력 시퀀스에 기반하여 기 설정된 가능성 이상의 가설을 출력할 수 있다. The decoder repeatedly performs a recursive operation based on the beam search from the summarized summary sequence by analyzing the sequence information until a predetermined predicted time is reached to generate an output sequence, and based on the generated output sequence, A hypothesis more than the set possibility can be outputted.
상기 디코더는, 상기 디코더가 적어도 하나 이상의 FC 신경망 계층, 적어도 하나 이상의 LSTM 순환 신경망 계층, 확률 분포의 계산을 위한 Softmax 계층 및 출력을 피드백하기 위한 임베딩 계층으로 구성되는 것을 포함하고, 상기 디코더의 FC 신경망 계층과 LSTM 순환 신경망 계층에서 상기 인코더로부터 전달받은 복수 개의 셀 벡터를 사용하여 재귀적으로 계산한 출력값을 상기 Softmax 계층에 통과시킴에 따라 자차 또는 주변 차량이 점유 격자 지도(Occupancy Grid Map)를 점유하는 조건부 확률로 표현되고, 상기 조건부 확률을 기반으로 빔 탐색을 적용하여 자차 또는 주변 차량의 위치에 대한 기 설정된 개수의 후보를 선정하고, 상기 선정된 후보를 상기 임베딩 계층을 통하여 피드백할 수 있다.Wherein the decoder comprises at least one FC neural network layer, at least one LSTM loop neural network layer, a Softmax layer for calculating a probability distribution, and an embedding layer for feeding back the output, Layer and the LSTM loop neural network layer, the output value recursively calculated using a plurality of cell vectors received from the encoder is passed through the Softmax layer so that the own vehicle or the neighboring vehicle occupies an Occupancy Grid Map A predetermined number of candidates for a position of a vehicle or a nearby vehicle may be selected by applying a beam search based on the conditional probability, and the selected candidate may be fed back through the embedding layer.
상기 디코더는, 상기 디코더의 상기 임베딩 계층에서 상기 점유 격자 지도의 종축과 횡축의 격자 수에 대응하는 복수 개의 행렬로 구성되고, 상기 빔 탐색에 기초하여 선정된 격자 좌표에 대응하는 열 벡터를 각각의 행렬로부터 추출한 후, 상기 추출된 열 벡터를 결합(vector concatenation)하여 상기 디코더의 LSTM 순환 신경망 계층의 입력으로 피드백할 수 있다. Wherein the decoder comprises a plurality of matrices corresponding to the vertical axis and the horizontal axis of the occupancy grid map in the embedding layer of the decoder and the column vectors corresponding to the selected grid coordinates based on the beam search, After extraction from the matrix, the extracted column vectors may be vector concatenated and fed back to the input of the LSTM recurrent neural network layer of the decoder.
일 실시예에 따른 경로 예측 시스템은 결합형 순환 신경망 구조로 구성된 인코더와 디코더를 분류하여 프로세싱을 수행함으로써 보다 정확하게 주변 차량의 미래 경로를 예측할 수 있다. The path prediction system according to the embodiment can predict the future path of the neighboring vehicle more accurately by performing processing by classifying the encoder and the decoder constituted by the combined circular neural network structure.
일 실시예에 따른 경로 예측 시스템은 종래의 한 포인트, 예를 들면, 특정 시간 후의 미래를 예측하는 것과 달리, 일정 시간마다의 주변 차량의 경로를 연속적으로 예측 및 추적할 수 있다. The route prediction system according to the embodiment can predict and track the route of the neighboring vehicle continuously at a predetermined time, as opposed to predicting the future one point, for example, the future after a specific time.
일 실시예에 따른 경로 예측 시스템은 다수의 가설을 생성할지라도 주변 차량의 주행 경로 계획을 수행하는데 더욱 유용하고 신뢰성 있는 정보를 제공할 수 있다.The route prediction system according to an exemplary embodiment can provide more useful and reliable information to perform a traveling route plan of a nearby vehicle even when generating a plurality of hypotheses.
도 1은 일 실시예에 따른 경로 예측 시스템의 동작을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 경로 예측 시스템의 디코더에서 빔 탐색을 수행하는 방법을 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 경로 예측 시스템의 성능을 설명하기 위한 그래프이다.
도 4는 일 실시예에 따른 경로 예측 시스템의 구성을 설명하기 위한 블록도이다.
도 5는 일 실시예에 따른 경로 예측 시스템의 경로 예측 방법을 설명하기 위한 흐름도이다.
FIG. 1 is a diagram for explaining an operation of a path prediction system according to an embodiment.
2 is a view for explaining a method of performing a beam search in a decoder of a path prediction system according to an embodiment.
3 is a graph illustrating performance of a path prediction system according to an embodiment.
4 is a block diagram illustrating a configuration of a path prediction system according to an embodiment.
5 is a flowchart for explaining a path prediction method of the path prediction system according to an embodiment.
이하, 실시예를 첨부한 도면을 참조하여 상세히 설명한다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings.
아래의 실시예에서는, 자율주행 자동차 또는 운전자보조시스템(ADAS-Advanced Driver Assistance System)을 위한 모듈형 순환 신경망 구조 기반 차량 경로 예측 기법을 설명하기로 한다. 과거의 시퀀스에 대하여 하나의 스테이트 벡터를 생성하는 인코더와 스테이트 벡터를 통하여 미래의 위치들에 대한 시퀀스를 일반화하는 디코더를 모듈화하여 차량의 경로 예측에 적용시키기 위한 경로 예측 시스템 및 방법을 제공할 수 있다. 실시예에서 제안하는 차량 경로 예측 시스템은 차량 운동을 분석하는 순환 신경망 모듈과 그 분석을 바탕으로 미래 경로를 생성하는 순환 신경망 모듈을 포함하는 결합형 모듈로 구성될 수 있다. 이러한, 복수 개의 순환 신경망 모듈은 딥러닝 학습을 통해 가중치(weight)와 편향(bias) 계수를 학습하고, 학습이 수행된 결합형 순환 신경망은 자차의 속력과 조향 각속도(yaw rate), 주변 차량의 상대 좌표 및 상대 속도에 대한 시퀀스 정보를 분석하고, 분석을 바탕으로 주변 차량의 미래 경로를 생성할 수 있다. In the following embodiments, a modular recurrent neural network structure based vehicle path prediction scheme for an autonomous vehicle or an ADAS (Advanced Driver Assistance System) will be described. An encoder for generating one state vector for a past sequence and a decoder for generalizing a sequence for future positions through a state vector may be provided as a module for modulating a route prediction system and a method for applying to a route estimation of a vehicle . The vehicle path prediction system proposed in the embodiment can be configured as a combined type module including a circular neural network module for analyzing vehicle motion and a circular neural network module for generating a future path based on the analysis. The multiple cyclic neural network module learns weight and bias coefficient through the deep learning learning, and the combined cyclic neural network in which the learning is performed calculates the yaw rate of the car, the yaw rate of the car, The sequence information on the relative coordinates and the relative speed can be analyzed and the future route of the neighboring vehicle can be generated based on the analysis.
도 1은 일 실시예에 따른 경로 예측 시스템의 동작을 설명하기 위한 도면이다.FIG. 1 is a diagram for explaining an operation of a path prediction system according to an embodiment.
경로 예측 시스템은 자차 또는 자차(차량)의 주변에 존재하는 주변 차량의 주행 데이터(110)에 기반하여 결합형 순환 신경망(120)을 통하여 딥 러닝 학습을 수행할 수 있다. The path prediction system can perform the deep learning learning through the combined circular neural network 120 based on the traveling data 110 of the neighboring vehicle existing around the car or the car (vehicle).
결합형 순환 신경망(120)은 인코더(Encoder)(121) 및 디코더(Decoder)(122)로 구성될 수 있다. 인코더(121)는 주변 차량의 이동 경로와 자차의 운동 상태 정보를 포함하는 시퀀스 정보를 입력받아 시계열 정보를 요약하는 고정길이 벡터(fixed-length vector)를 생성할 수 있다. 디코더(122)는 고정길이 벡터에 기초하여 주변 차량의 미래 경로 시퀀스(출력 시퀀스)를 예측 및 생성할 수 있다. 디코더(122)는 주변 차량의 미래 경로 시퀀스를 순차적으로 생성함에 있어서, 매번 예측한 차량의 위치를 피드백하여 다음 예측시, 예측된 차량의 위치를 입력으로 사용하는 재귀적 예측 방법을 사용할 수 있다. 이때, 재귀적 예측 방법으로서 빔 서치(beam search) 알고리즘을 적용할 수 있으며, 이를 통하여 매번 예측을 수행할 때마다 국지적으로 일정 순위 이상의 높을 확률을 갖는 K개(K는 자연수)의 후보를 유지할 수 있다. 이에 따라, 경로 예측 시스템은 차량의 미래 경로에 대한 다수의 시퀀스를 확률론적인 방법으로 생성하는 체계를 갖게 된다. The combined circular neural network 120 may include an encoder 121 and a decoder 122. The encoder 121 may generate a fixed-length vector that summarizes the time-series information based on the sequence information including the movement path of the surrounding vehicle and the motion state information of the vehicle. The decoder 122 may predict and generate a future path sequence (output sequence) of the nearby vehicle based on the fixed length vector. The decoder 122 may use a recursive prediction method of sequentially generating the future route sequence of the neighboring vehicle by using the predicted position of the vehicle as an input at the next prediction by feeding back the predicted position of the vehicle each time. In this case, a beam search algorithm can be applied as a recursive prediction method. Through this, it is possible to maintain K candidates (K is a natural number) having a probability of locally higher than a certain rank each time the prediction is performed have. Accordingly, the path prediction system has a system for generating a plurality of sequences for the future path of the vehicle in a stochastic manner.
실시예에서 제안된 인코더 및 디코더를 포함하는 결합형 순환 신경망(120)을 설명하기 앞서, 결합형 순환 신경망의 이해를 돕기 위하여 우선적으로, LSTM 순환 신경망의 작동 구조에 대하여 설명하기로 한다. LSTM(Long-Short Term Memory) 순환 신경망의 모델은 보편적인 순환 신경망 형태 중 하나로, 입력 시퀀스의 정보를 저장하는 셀 메모리(cell memory)를 중심으로 하여 정보에 대한 망각 및 입출력을 조절하는 문지기 장치(gating mechanism)로 구성되어 있다. 아래의 수학식(1-1)~식(1-5)은 LSTM 순환 신경망의 작동을 설명하는 재귀 방정식이다. Before explaining the combined circular neural network 120 including the encoder and the decoder proposed in the embodiment, the operation structure of the LSTM circular neural network will be described in order to facilitate understanding of the combined circular neural network. LSTM (Long-Short Term Memory) The LSTM model is one of universal recurrent neural network types. It is composed of a cell memory which stores information of input sequence, a gatekeeper device which controls the forgetting and inputting / gating mechanism. The following equations (1-1) to (1-5) are recursive equations describing the operation of the LSTM recurrent neural network.
Figure 112018049069911-pat00001
Figure 112018049069911-pat00001
이에, 각각의 수학식에 기재되어 있는 변수들의 정의를 설명하기로 한다. 여기서,
Figure 112018049069911-pat00002
는 sigmoid 함수,
Figure 112018049069911-pat00003
는 요소별 곱셈(element-wise product),
Figure 112018049069911-pat00004
는 입력 벡터,
Figure 112018049069911-pat00005
는 선형 변환 행렬,
Figure 112018049069911-pat00006
는 편향(bias) 벡터,
Figure 112018049069911-pat00007
는 문지기(gating) 벡터,
Figure 112018049069911-pat00008
는 셀 메모리(cell memory),
Figure 112018049069911-pat00009
는 상태 출력 벡터를 의미한다.
Hereinafter, definitions of the variables described in the respective equations will be described. here,
Figure 112018049069911-pat00002
The sigmoid function,
Figure 112018049069911-pat00003
Is an element-wise product,
Figure 112018049069911-pat00004
Is an input vector,
Figure 112018049069911-pat00005
Is a linear transformation matrix,
Figure 112018049069911-pat00006
Is a bias vector,
Figure 112018049069911-pat00007
A gating vector,
Figure 112018049069911-pat00008
A cell memory,
Figure 112018049069911-pat00009
Denotes a state output vector.
수학식(1-1), 수학식(1-2), 수학식(1-3)은 각각 망각 문지기(forget gating) 벡터, 입력 문지기(input gating) 벡터, 출력 문지기(out gating) 벡터를 결정하는 방정식이다. 수학식(1-4)는 시간 t에서 새로운 입력을 받았을 때, 시간 t를 기준으로 이전 시점으로부터의 셀 메모리를 갱신하는 방정식으로, 망각 문지기 벡터
Figure 112018049069911-pat00010
와 입력 문지기 벡터
Figure 112018049069911-pat00011
를 이용하여 망각과 입력의 정도를 제어한다. 수학식(1-5)는 갱신된 셀 메모리 상태의 출력을 계산하는 방정식으로, 출력 문지기 벡터
Figure 112018049069911-pat00012
를 통해 셀 메모리 상태의 정도를 제어한다. 여기서, 문지기 벡터들은 sigmoid 함수를 통해 계산되기 때문에 그 요소들은 반드시 폐구간 [0,1]에 속하는 실수를 가지며, 요소별 곱셈(element-wise product)을 통해 망각 및 입력값/출력값을 제어한다. 예를 들면, 만약, 망각 문지기 벡터
Figure 112018049069911-pat00013
의 특정 요소(element) 값이 0에 가깝다면 해당 요소에 대응하는 셀 메모리 요소는 수학식 (1-4)의 계산을 통해 대부분 삭제될 수 있고, 반대로 특정 요소의 값이 1에 가깝다면 그에 대응하는 셀 메모리 요소는 대부분 유지될 수 있다. 나머지 두 개의 문지기 벡터
Figure 112018049069911-pat00014
Figure 112018049069911-pat00015
의 경우에도 이와 유사하게 작동하여 입력과 출력의 정도가 제어될 수 있다.
The equations (1-1), (1-2) and (1-3) determine the forget gating vector, the input gating vector and the out gating vector, respectively . Equation (1-4) is an equation for updating the cell memory from the previous time based on time t when a new input is received at time t,
Figure 112018049069911-pat00010
And input gatekeeper vector
Figure 112018049069911-pat00011
To control the degree of forgetting and input. Equation (1-5) is an equation for calculating the output of the updated cell memory state. The output gatekeeper vector
Figure 112018049069911-pat00012
To control the degree of cell memory state. Here, since the gatekeeper vectors are computed by the sigmoid function, they have a real number belonging to the closed interval [0, 1] and control the forgetting and input / output values through an element-wise product. For example, if the observer door vector
Figure 112018049069911-pat00013
The cell memory element corresponding to the element can be deleted most of the time through the calculation of Equation (1-4). On the contrary, if the value of the specific element is close to 1, the corresponding Most of the cell memory elements can be maintained. The other two gatekeepers vectors
Figure 112018049069911-pat00014
Wow
Figure 112018049069911-pat00015
The degree of input and output can be controlled.
이와 같이, LSTM 순환 신경망을 응용한 인코더(121) 및 디코더(122)는 입력 시퀀스
Figure 112018049069911-pat00016
에 대한 출력 시퀀스
Figure 112018049069911-pat00017
의 조건부 확률, 다시 말해서
Figure 112018049069911-pat00018
를 모사하는데 그 목적을 두고 있다. 인코더(121)는 입력 시퀀스
Figure 112018049069911-pat00019
(길이
Figure 112018049069911-pat00020
)를 처리하기 위해 수학식(1-1) 내지 수학식(1-5)의 연산을 재귀적으로 T(T는 자연수)회 수행하여 셀 메모리
Figure 112018049069911-pat00021
를 생성할 수 있다. 상기 생성된 셀 메모리
Figure 112018049069911-pat00022
는 디코더로 전달되어 디코더 LSTM 셀 메모리
Figure 112018049069911-pat00023
의 초기값으로 사용되어
Figure 112018049069911-pat00024
와 같이 설정될 수 있다. 디코더(122)의 출력 시퀀스 생성은 인코더(121)와 유사하게 수학식(1-1) 내지 수학식(1-5)의 연산을 재귀적으로 수행하며 이루어지고, 이때 입력값으로는 특정 시간으로부터 기 설정된 시간 이전의 이전 시점의 출력값이 피드백되는 구조를 갖는다. 이에 따라 조건부 확률
Figure 112018049069911-pat00025
는 수학식 2와 같은 방법으로 근사될 수 있다.
As described above, the encoder 121 and the decoder 122 applying the LSTM recurrent neural network generate the input sequence
Figure 112018049069911-pat00016
Output sequence for
Figure 112018049069911-pat00017
Conditional probability of
Figure 112018049069911-pat00018
The purpose of this is to simulate. The encoder 121 receives the input sequence
Figure 112018049069911-pat00019
(Length
Figure 112018049069911-pat00020
(1-1) to (1-5) is recursively performed for T (T is a natural number)
Figure 112018049069911-pat00021
Lt; / RTI > The generated cell memory
Figure 112018049069911-pat00022
Lt; RTI ID = 0.0 > LSTM < / RTI &
Figure 112018049069911-pat00023
Is used as the initial value of
Figure 112018049069911-pat00024
. ≪ / RTI > The output sequence generation of the decoder 122 is performed by recursively performing operations of equations (1-1) to (1-5) similarly to the encoder 121, And the output value of the previous time point before the preset time is fed back. Therefore,
Figure 112018049069911-pat00025
Can be approximated by the same method as in Equation (2).
수학식 2: Equation 2:
Figure 112018049069911-pat00026
Figure 112018049069911-pat00026
디코더(122)에서 재귀적 연산을 수행하기 위하여 이전 단계의 출력이 다음 단계의 입력으로 쓰여야 하므로, 조건부 확률
Figure 112018049069911-pat00027
에 따라서 출력에 대한 의사결정(decision making)을 수행해야 한다. 실시예에서 적용된 의사결정 방법으로 빔 탐색(beam search) 알고리즘을 사용할 수 있다. 도 2를 참고하면, 빔 탐색 알고리즘을 설명하기 위한 도면으로, 디코더에서의 빔 탐색을 예를 들어 설명하기로 한다. 빔 탐색 알고리즘은 디코더(122)의 출력을 결정할 때마다 빔 폭(beam width)이라 정의되는 K개(K는 자연수)의 후보를 유지하는 방식을 기초로 한다. 빔 탐색이 적용된 디코더는 매번 출력 생성 시 조건부 확률을 기준으로 기 설정된 기준에 기반하여 설정된 상위 K가지의 출력을 결정한 후, 다음 단계로 피드백할 수 있다. 다음의 출력을 생성할 때에는 피드백된 K개의 출력에 대하여 각각 조건부 확률을 계산하고, 그 중에서 확률이 높은 상위 K개의 출력을 정해 피드백하는 과정을 반복할 수 있다.
In order for the decoder 122 to perform a recursive operation, the output of the previous stage must be written as the input of the next stage,
Figure 112018049069911-pat00027
Decision making should be done according to the output. A beam search algorithm can be used as a decision method applied in the embodiment. Referring to FIG. 2, a beam search algorithm in a decoder will be described with reference to a beam search algorithm. The beam search algorithm is based on a method of maintaining K candidates (K is a natural number) defined as a beam width each time the output of the decoder 122 is determined. The decoder with beam search can determine the output of the top K sets based on the predetermined criteria based on the conditional probability at the time of outputting each time and then feed back to the next stage. When generating the next output, it is possible to calculate the conditional probability for each of the K outputs fed back, and to repeat the process of setting the upper K outputs with high probability and feeding back the output.
경로 예측 시스템은 차량 경로 예측을 위한 입력으로 자차의 속력(
Figure 112018049069911-pat00028
), 자차의 조향 각속도(
Figure 112018049069911-pat00029
), 주변 차량의 상대 좌표(
Figure 112018049069911-pat00030
) 및 주변 차량의 상대 속도(
Figure 112018049069911-pat00031
)에 대한 시퀀스를 사용할 수 있다. 이때, 주변 차량의 상대 좌표는 자차를 기준으로 판단되는 위치 좌표를 의미할 수 있다. 경로 예측 시스템의 심층 신경망이 주변 차량의 미래 경로를 출력할 때, 로봇 분야에서 쓰이는 점유 격자 지도(Occupancy Grid Map)(130)를 사용할 수 있다. 점유 격자 지도는 자차 주변의 공간을 일정한 개수의 직사각 격자로 분할함으로써 형성되며 이를 통하면 주변 차량의 위치를 격자 중의 하나로 정하거나 격자 범위 밖으로 벗어나는 것으로 처리하여 표현하게 된다. 예를 들면, 경로 예측 시스템은 점유 격자 지도에 주변 차량의 미래 경로, 예를 들면, 방향, 위치 등을 표시할 수 있다.
The path prediction system is an input for predicting the vehicle path,
Figure 112018049069911-pat00028
), The steering angular velocity of the vehicle
Figure 112018049069911-pat00029
), Relative coordinates of nearby vehicles (
Figure 112018049069911-pat00030
) And the relative speed of the surrounding vehicles
Figure 112018049069911-pat00031
) Can be used. In this case, the relative coordinates of the surrounding vehicles may be position coordinates determined based on the vehicle. When the in-depth neural network of the path prediction system outputs the future path of the neighboring vehicle, an Occupancy Grid Map (130) used in the robot field can be used. The occupancy grid map is formed by dividing the space around the vehicle into a certain number of rectangular grids. In this case, the position of the surrounding vehicle is defined as one of the lattices or processed by being out of the lattice range. For example, the path prediction system may display a future path of a nearby vehicle, for example, a direction, a location, and the like, on a occupied grid map.
경로 예측 시스템은 자차의 주변에 존재하는 적어도 하나 이상의 주변 차량에 대하여 수집된 시퀀스가 인코더(121)에 입력됨에 따라 인코더(121)에서 재귀적 연산을 통하여 시퀀스 정보를 요약하는 셀 벡터를 생성할 수 있다. 디코더(122)는 생성된 셀 벡터에 기초하여 미래
Figure 112018049069911-pat00032
동안의 경로를 재귀적으로 생성할 수 있다. 디코더(122)의 연산에 빔 탐색 알고리즘이 사용될 수 있다. 디코더(122)는 빔 탐색 알고리즘을 통하여 K개의 가장 가능성 큰 가설을 생성할 수 있다. 이와 같은 과정을 모든 주변 차량에 대하여 시행함에 따라 경로 예측 시스템은 최종적으로 각각의 주변 차량의 미래 경로에 대한 K개의 시퀀스를 획득할 수 있다. 이때, 획득된 시퀀스(결과)를 단일한 점유 격자 지도 위에 표현하면 자차 주변의 주변 차량이 미래
Figure 112018049069911-pat00033
동안에 어떻게 이동할 것인지 예측 경로를 통합적으로 확인 및 추적할 수 있다.
The path prediction system can generate a cell vector that summarizes the sequence information through the recursive operation in the encoder 121 as the collected sequence is input to the encoder 121 for at least one or more neighboring vehicles existing around the car have. The decoder 122 decodes the future
Figure 112018049069911-pat00032
Can be recursively generated. A beam search algorithm may be used in the operation of the decoder 122. [ Decoder 122 may generate K most likely hypotheses through a beam search algorithm. As this process is performed for all the nearby vehicles, the route prediction system can finally obtain K sequences for the future route of each neighboring vehicle. At this time, if the obtained sequence (result) is expressed on a single occupied grid map,
Figure 112018049069911-pat00033
You can identify and track the predicted path in an integrated way.
실시예에서 제안된 인코더(121)는 예를 들면, FC(Fully-Connected) 신경망 계층과 LSTM(Long-Short Term Memory) 순환 신경망 계층이 혼합된 형태로 구성될 수 있다. 인코더에서의 FC 신경망 계층은 아핀 변환(affine transformation)과 ReLU(Rectifed Linear Unit) 활성화 함수로 이루어지고. 아핀 변환과 ReLU(Rectifed Linear Unit) 활성화 함수로 이루어진 FC 신경망 계층은 데이터의 차원을 일치시켜 모델 표현력을 증대시켜 차량간의 움직임 속에 포함된 복잡한 관계를 추출할 수 있도록 도와주는 역할을 수행할 수 있다. 인코더(121)에서의 LSTM 순환 신경망 계층은 복수 개(예를 들면, 두 개)의 LSTM 순환 신경망이 연결된 구조로 구성될 수 있으며, 두 개의 LSTM 에서 입력 시퀀스에 대한 재귀적 연산을 수행함에 따라 각각의 셀 벡터
Figure 112018049069911-pat00034
Figure 112018049069911-pat00035
를 획득할 수 있다. 일례로, 자차 및 주변 차량으로부터 6개의 입력값을 수신할 수 있다. 이때, 각각의 입력값에 대하여 기 설정된 시간 동안 관측할 경우, 기 설정된 시간마다 시퀀스를 생성할 수 있다. 예를 들면, 자차 또는/및 주변 차량을 3초 동안 관측함에 따라 획득된 값에 대하여 0.1초마다 샘플링할 경우, 길이 30의 시퀀스를 생성할 수 있다. 이러한, 시퀀스를 인코더의 입력값으로 입력할 수 있다. 인코더의 FC 계층에 6차원의 입력값을 입력함에 따라 256차원의 시퀀스로 변환될 수 있다. 이때, FC 계층에서 FC 연산을 3회 수행함에 따라 생성된 256차원의 길이 30의 시퀀스가 LSTM 순환 신경망 계층의 입력값으로 입력될 수 있다. 이때, LSTM 2개의 레이어로 구성되어 스택되어 있을 수 있다. 이러한 과정을 일정 시간동안 관측함에 따라 압축된 256차원의 벡터가 디코더로 전달될 수 있다.
The encoder 121 proposed in the embodiment may be configured as a mixture of a FC (Fully-Connected) neural network layer and an LSTM (Long-Short Term Memory) circular neural network layer. The FC neural network layer in the encoder consists of affine transformation and ReLU (Rectified Linear Unit) activation functions. FC neural network consisting of affine transformation and ReLU (Rectifed Linear Unit) activation function can help to extract complex relations included in motion between vehicles by increasing the model expressiveness by matching the dimension of data. The LSTM recurrent neural network layer in the encoder 121 may have a structure in which a plurality of (for example, two) LSTM circulating neural networks are connected. In the two LSTMs, a recursive operation is performed on the input sequence, Cell vector
Figure 112018049069911-pat00034
Wow
Figure 112018049069911-pat00035
Can be obtained. For example, six input values can be received from a car and a nearby vehicle. In this case, when observing each input value for a predetermined time, a sequence can be generated at predetermined time intervals. For example, a sequence of length 30 can be generated if sampling is performed every 0.1 seconds for the value obtained as a result of observing the vehicle and / or the surrounding vehicle for three seconds. This sequence can be input as the input value of the encoder. Dimensional input values into the FC layer of the encoder, and thus can be converted into a sequence of 256 dimensions. In this case, a sequence of 256 lengths of length 30 generated by performing FC operations three times in the FC layer can be input as an input value of the LSTM loop neural network layer. At this time, the LSTM may be composed of two layers and stacked. As this process is observed for a certain period of time, a compressed 256-dimensional vector can be transmitted to the decoder.
실시예에서 제안된 디코더(122)는 FC 신경망(Fully-Connected) 계층, LSTM 순환 신경망 계층, 확률 분포의 계산을 위한 소프트맥스(Softmax) 계층, 및 출력을 피드백하기 위한 임베딩(embedding) 계층이 연결되는 구조로 구성될 수 있다. 디코더(122)의 LSTM 계층과 FC 계층은 인코더(121)로부터 전달받은 복수 개(예를 들면, 두 개)의 셀 벡터를 사용하여 출력값을 재귀적으로 계산할 수 있다. 이러한 출력값이 Softmax 계층을 통과하면 주변 차량이 점유 격자 지도의 격자를 점유하는 조건부 확률로 표현된다. 다음으로, 조건부 확률을 바탕으로 빔 탐색 알고리즘을 적용하게 되면 차량(주변 차량)의 위치에 대한 K(K는 자연수)개의 후보가 선정될 수 있다. 선정된 후보들은 임베딩 계층을 통하여 피드백될 수 있다. 임베딩 계층은 점유 격자 지도의 종축과 횡축 격자 수에 대응하는 두 개의 행렬로 구성될 수 있고, 빔 탐색으로 선정된 격자 좌표에 대응하는 열 벡터를 각각의 행렬에서 추출한 다음, 두 개의 열 벡터를 병합하여(vector concatenation) 디코더의 입력으로 피드백할 수 있다. 이러한 과정은 예측 범위
Figure 112018049069911-pat00036
에 다다를 때까지 반복적으로 수행되며 최종적으로 K개의 출력 가설을 획득할 수 있다. 예를 들면, 인코더의 LSTM 순환 신경망 계층에서 출력된 출력값인 복수 개의 256차원의 벡터가 디코더의 LSTM 순환 신경망 계층에 입력될 수 있고, 디코더의 LSTM 순환 신경망 계층에 통과된 출력값인 256 차원의 벡터를 FC 신경망 계층에 입력시킬 수 있다. FC 신경망 계층에 256 차원의 벡터를 통과시킴에 따라 수행된 연산에 기초하여 256 차원의 벡터, 256 차원의 벡터 및 757 차원의 벡터가 출력될 수 있다. 이때, 자차 전방을 기준으로부터 일정 범위를 포함하는 특정 구역을 점유 격자 지도로 구분할 수 있다. 예를 들면, 점유 격자 지도를 가로 21, 세로 36 및 상기 특정 구역 이외로 벗어 나는 경우를 고려하여, 주변 차량의 미래 위치를 이산화하기 위한 총 757 가지의 경우를 예측할 수 있다. 이러한 벡터를 softmax 연산을 수행함에 따라 0 내지 1 사이의 범위로 정규화하여 확률 분포로 해석할 수 있다. softmax 연산을 수행함에 따라 빔 서치를 수행할 수 있다. 일례로, 점유 격자 지도에서 주변 차량이 특정 시점에 존재할 가능성이 제일 높은 확률에 해당하는 위치(지점)만 표시될 경우, 차량이 어느 방향으로 이동할 것인지, 멈출 것인지 등 한가지만의 예측으로 피드백되는 것을 발생하는 문제점을 해결하고, 주변 차량에 대한 다양한 이동 방향을 예측하기 위하여 빔 서치가 수행될 수 있다. 이러한, softmax 연산을 수행할 결과인 757 차원의 확률 분포를 빔 서치를 수행함에 따라 일정 순위 이상의 결과값만을 추출할 수 있다. 미래의 특정 시점의 위치를 설정할 때, 일정 순위 이상의 결과에 대한 지점을 임베딩에 통과시켜 다시 벡터화하여 LSTM 계층에 입력값으로 입력할 수 있다.
The decoder 122 proposed in the embodiment includes a Fully-Connected layer, an LSTM loop neural network layer, a Softmax layer for calculating a probability distribution, and an embedding layer for feeding back the output. . ≪ / RTI > The LSTM layer and the FC layer of the decoder 122 may recursively calculate an output value using a plurality of (e.g., two) cell vectors received from the encoder 121. [ When this output value passes through the Softmax layer, it is expressed by the conditional probability that the surrounding vehicle occupies the grid of the occupied grid map. Next, if the beam search algorithm is applied based on the conditional probability, K (K is a natural number) candidates for the position of the vehicle (neighboring vehicle) can be selected. The selected candidates can be fed back through the embedding layer. The embedding layer can be composed of two matrices corresponding to the vertical axis and the horizontal axis lattice of the occupied grid map, extracting the column vectors corresponding to the grid coordinates selected by the beam search from the respective matrices, (Vector concatenation) to the input of the decoder. This process is based on the prediction range
Figure 112018049069911-pat00036
, And finally obtain K output hypotheses. For example, a plurality of 256-dimensional vectors, which are output values output from the LSTM loop neural network layer of the encoder, may be input to the LSTM loop neural network layer of the decoder, and a 256-dimensional vector, which is an output value passed through the LSTM loop neural network layer of the decoder, Can be input to the FC neural network layer. A 256-dimensional vector, a 256-dimensional vector, and a 757-dimensional vector may be output based on the operation performed by passing a 256-dimensional vector through the FC neural network layer. At this time, the specific area including a certain range from the reference ahead of the vehicle can be divided into the occupied grid map. For example, considering the case where the occupied grid map is 21, 36, and the case where the map is deviated from the specific area, a total of 757 cases for discretizing the future position of the nearby vehicle can be predicted. Such a vector can be normalized to a range of 0 to 1 by performing a softmax operation and interpreted as a probability distribution. The beam search can be performed according to the softmax operation. For example, if only the position (point) corresponding to the probability that the nearby vehicle exists at a specific time in the occupancy grid map is displayed, the vehicle is fed back to only one prediction such as which direction the vehicle will move or stop A beam search can be performed to solve the problems that occur and to predict various directions of travel for the surrounding vehicles. By performing the beam search on the probability distribution of the 757-dimensional result that is the result of performing the softmax operation, only the result value of a certain rank or more can be extracted. When setting the position of a specific point in time in the future, a point for a result of a predetermined rank or more can be passed through the embedding and re-vectorized and input as an input value to the LSTM layer.
임베딩 행렬을 포함한 신경망 파라미터들은 엔드-투-엔드(end-to-end) 방식으로 학습될 수 있다. 학습된 데이터는 주변 차량의 움직임에 대한 기록을 입력 길이 M, 출력 길이
Figure 112018049069911-pat00037
의 합인 (
Figure 112018049069911-pat00038
) 크기로 분할하여 생성할 수 있다. 센서에서 수집된 주변 차량 움직임이 충분히 정확하다면, 기 설정된 시점 이후에 대한 후반부
Figure 112018049069911-pat00039
만큼의 데이터는 점유 격자 지도에 대한 격자 좌표로 변환하여 지도 학습을 위한 정답으로 사용할 수 있다. 신경망 학습에 사용되는 손실 함수는 수학식3과 같은 음의 로그 우도 함수가 사용될 수 있다.
Neural network parameters, including the embedding matrix, can be learned end-to-end. The learned data includes a record of the movement of the surrounding vehicle as an input length M, an output length
Figure 112018049069911-pat00037
(
Figure 112018049069911-pat00038
) Size. If the motion of the surrounding vehicle collected by the sensor is sufficiently accurate,
Figure 112018049069911-pat00039
Can be converted into grid coordinates for the occupancy grid map and used as the correct answer for the map learning. A negative logarithmic likelihood function as shown in Equation (3) can be used for the loss function used for neural network learning.
수학식 3:Equation (3)
Figure 112018049069911-pat00040
Figure 112018049069911-pat00040
수학식 3에서 J는 학습 샘플의 개수,
Figure 112018049069911-pat00041
는 예측 길이, Q는 격자 클래스 개수이다.
Figure 112018049069911-pat00042
는 원 핫 인코딩(one hot encoding)으로 표현된 라벨로서, 만약 j번째 샘플에서 주변 차량이 q번째 격자를 점유하고 있다면
Figure 112018049069911-pat00043
는 1이 되고, j번째 샘플에서 주변 차량이 q번째 격자 이외의 다른 격자를 점유한 경우에는 0이 된다. 마지막으로
Figure 112018049069911-pat00044
는 Softmax 계층의 출력으로 획득된 주변 차량이 q번째 격자를 점유할 확률을 의미한다.
In Equation (3), J is the number of learning samples,
Figure 112018049069911-pat00041
Is the predicted length, and Q is the number of grid classes.
Figure 112018049069911-pat00042
Is a label expressed by one hot encoding, and if the neighboring vehicle occupies the qth lattice in the jth sample
Figure 112018049069911-pat00043
Becomes 1, and becomes 0 when the neighboring vehicle occupies another lattice other than the q-th lattice in the j-th sample. Finally
Figure 112018049069911-pat00044
Denotes the probability that the neighboring vehicle obtained as the output of the Softmax layer occupies the q-th grid.
도 3은 일 실시예에 따른 경로 예측 시스템의 성능을 설명하기 위한 그래프이다. 3 is a graph illustrating performance of a path prediction system according to an embodiment.
경로 예측 시스템은 결합형 순환 신경망 구조와 빔 탐색 알고리즘을 사용하여 주변 차량의 경로를 예측할 수 있다. 결합형 순환 신경망 구조로 구성된 인코더는 차량의 운동 데이터를 분석하고, 결합형 순환 신경망 구조로 구성된 디코더는 분석을 바탕으로 미래 경로를 생성할 수 있다. 인코더는 센서로 수집된 주변 차량의 이동 경로 및 자차의 운동 상태에 대한 시퀀스를 순차적으로 분석하여 내재한 경향(pattern)을 추출 및 요약할 수 있다. 디코더는 인코더의 입력 시퀀스를 요약한 정보를 전달받아 주변 차량의 미래 경로를 담고 있는 출력 시퀀스를 생성할 수 있다. 이때, 디코더가 출력 시퀀스를 생성할 때는 재귀적인 빔 탐색(beam search) 알고리즘이 사용되며, 이를 통해 주변 차량의 미래 경로에 대하여 가장 가능성 큰 K개의 가설을 출력할 수 있다. 예를 들면, 고속국도 주행을 통해 수집한 자차와 주변 차량의 주행 데이터를 이용하여 기계학습 및 성능 평가를 진행할 수 있다. 이때, 경로 예측의 범위는 2초(
Figure 112018049069911-pat00045
=20)로 설정하고, 적절한 초기 학습속도(learning rate)의 설정 하에 검증 데이터에 대한 오차 개선이 정체될 때마다 학습 속도를 절반으로 낮추는 방식을 이용하며 모델의 파라미터를 최적화할 수 있다.
The path prediction system can predict the path of the neighboring vehicle by using the combined circular neural network structure and the beam search algorithm. An encoder composed of a combined circular neural network structure analyzes motion data of a vehicle, and a decoder composed of a combined circular neural network structure can generate a future path based on analysis. The encoder can sequentially analyze the sequence of the movement path of the peripheral vehicle and the motion state of the vehicle collected by the sensor to extract and summarize the inherent pattern. The decoder may receive information summarizing the input sequence of the encoder and generate an output sequence containing the future path of the surrounding vehicle. At this time, a recursive beam search algorithm is used when the decoder generates the output sequence, which can output the K hypotheses most likely to the future route of the neighboring vehicle. For example, machine learning and performance evaluation can be carried out using the traveling data of a car and a nearby vehicle collected through a highway driving. In this case, the range of the path prediction is 2 seconds (
Figure 112018049069911-pat00045
= 20), and the parameter of the model can be optimized by using a method of lowering the learning rate by half each time the improvement of the error of the verification data is stalled under the setting of an appropriate initial learning rate.
모델의 성능을 나타내는 척도로는 Top-K Mean Absolute Error(MAE)를 정의하였다. 수학식 4는 Top-K MAE는 제안하는 모델을 통해 획득된 상위 K개의 가설 중에서 정답에 가장 가까운 하나를 선택하여 정답과 그 가설 사이의 Mean Absolute Error를 계산함으로써 획득될 수 있다. We define Top-K Mean Absolute Error (MAE) as a measure of the performance of the model. Equation (4) can be obtained by calculating the Mean Absolute Error between the correct answer and the hypothesis by selecting one of the top K hypotheses obtained through the proposed model, which is closest to the correct answer.
수학식 4:Equation 4:
Figure 112018049069911-pat00046
Figure 112018049069911-pat00046
수학식4에서 L은 검증 데이터 샘플 개수, (
Figure 112018049069911-pat00047
)는 정답에 가장 가까운 가설 시퀀스 샘플의 격자 좌표, (
Figure 112018049069911-pat00048
)는 대응하는 정답 시퀀스 샘플을 의미한다. 이 척도는 모델이 생성하는 K개 가설 중 하나가 정답을 얼마나 정확하게 예측할 수 있는지 보여준다. Top-K MAE의 단위는 '격자'이다. 성능의 비교를 위하여 전통적인 등속 모델에 의한 칼만 필터, 주변 차량이 Occupancy Grid Map 격자를 점유할 확률을 예측하도록 학습시킨 기본적인 LSTM 모델, 종래의 LSTM 신경망 구조의 차량 경로 예측 기법에서 제안된 보다 정교한 형태의 LSTM 모델을 대조군으로 설정할 수 있다. 이에 따라, 실시예에서 빔 탐색 결과 출력하는 가설 개수 K는 1, 3, 5 세 가지 설정을 비교할 수 있다. 표 1은
Figure 112018049069911-pat00049
=0.4, 0.8, 1.2, 1.6, 2.0초에서 경로 예측 기법들의 MAE를 확인할 수 있다.
In Equation 4, L is the number of verification data samples, (
Figure 112018049069911-pat00047
) Is the lattice coordinate of the hypothetical sequence sample closest to the correct answer, (
Figure 112018049069911-pat00048
) Denotes a corresponding correct answer sequence sample. This scale shows how accurately one of the K hypotheses generated by the model can predict the correct answer. The unit of Top-K MAE is 'grid'. In order to compare the performance, a Kalman filter with a conventional constant velocity model, a basic LSTM model in which a neighboring vehicle learns to predict the probability of occupying an Occupancy Grid Map grid, and a more sophisticated form proposed in the conventional LSTM neural network structure The LSTM model can be set as a control group. Accordingly, in the embodiment, the number of hypotheses K for outputting the beam search result can be compared among the three settings of 1, 3, and 5. Table 1
Figure 112018049069911-pat00049
= 0.4, 0.8, 1.2, 1.6, and 2.0 seconds, respectively.
표 1:Table 1:
Figure 112018049069911-pat00050
Figure 112018049069911-pat00050
칼만 필터 대조군의 경우 재귀 연산을 통하여 시퀀스를 생성할 수 있기 때문에 모든
Figure 112018049069911-pat00051
에 대하여 값을 구하여 표기하였다. 반면, 기본 LSTM 대조군과 종래의 LSTM 신경망 구조의 차량 경로 예측 기법에 대한 대조군의 경우 오로지 단일한 시각에서의 위치만 예측할 수 있기 때문에
Figure 112018049069911-pat00052
=2.0초에 대한 MAE 만을 표기하였다. 실험 결과에 따르면 실시예에서 제안된 방법은 오직 한 가지의 가설만 고려하는 K=1설정만으로도 칼만 필터 대조군과 LSTM 대조군에 비해 현저하게 우수한 성능을 보여준다. 또한, 종래의 LSTM 신경망 구조의 차량 경로 예측 기법의 대조군과 비교하여도 근소하게 우수한 성능을 보이며, K를 3, 5 등으로 변경하여 가설의 개수를 증가시키게 되면 더욱 우수한 성능을 보이는 것을 확인할 수 있다.
In the case of the Kalman filter control, the sequence can be generated through recursive operations,
Figure 112018049069911-pat00051
And the values were obtained. On the other hand, in the case of the control group for the vehicle path prediction method of the basic LSTM control and the conventional LSTM neural network structure, only the position at a single time can be predicted
Figure 112018049069911-pat00052
= 2.0 sec. ≪ / RTI > Experimental results show that the proposed method shows significantly better performance than the Kalman filter control and the LSTM control with only K = 1 setting considering only one hypothesis. In addition, the performance of the conventional LSTM neural network structure is slightly better than that of the control group of the vehicle path prediction method, and it is confirmed that the performance is improved when the number of hypotheses is increased by changing K to 3, 5, .
또한, 실시예에서 제안된 성능이 예측 범위
Figure 112018049069911-pat00053
와 가설 수 K에 따라서 어떻게 변화하는지를 확인할 수 있다. 도 3을 참고하면, K에 따른 MAE의 변화와 전체 시각에 대한 평균을 나타낸 그래프이다. K가 증가함에 따라 모든 시각에서 MAE 성능이 향상됨을 확인할 수 있다. 이때, K의 증가로 인한 성능 향상 정도가 더욱 더 먼 미래 시각일수록 뚜렷하게 나타나게 된다. 예를 들면,
Figure 112018049069911-pat00054
=2.0초에서 K=1을 K=3으로 증가시켰을 때, 약 0.2 정도의 MAE 감소를 확인할 수 있다. 이는 가설의 개수를 늘릴수록 모델이 실제 정답에 가까운 예측을 도출할 가능성이 커진다는 것을 의미한다. 이에 따라 다수의 가설을 생성하게 되어도 차량의 주행 경로 계획을 수행하는데 더욱 유용하고 신뢰성 있는 정보를 제공할 수 있다.
Also, if the performance proposed in the embodiment is within the prediction range
Figure 112018049069911-pat00053
And the number K of hypotheses. Referring to FIG. 3, it is a graph showing a change in MAE according to K and an average over the entire time. As K increases, MAE performance improves at all times. At this time, the degree of performance improvement due to the increase of K becomes more prominent as the future view becomes farther. For example,
Figure 112018049069911-pat00054
= 2.0 seconds, when K = 1 is increased to K = 3, a decrease of MAE of about 0.2 can be confirmed. This means that as the number of hypotheses increases, the likelihood of the model becoming more predictable is close to the actual answer. Accordingly, even if a plurality of hypotheses are generated, it is possible to provide more useful and reliable information for carrying out the traveling route planning of the vehicle.
도 4는 일 실시예에 따른 경로 예측 시스템의 구성을 설명하기 위한 블록도이고, 도 5는 일 실시예에 따른 경로 예측 시스템의 경로 예측 방법을 설명하기 위한 흐름도이다. FIG. 4 is a block diagram illustrating a configuration of a path prediction system according to an embodiment. FIG. 5 is a flowchart illustrating a path prediction method of a path prediction system according to an embodiment.
경로 예측 시스템(100)은 적어도 하나 이상의 순환 신경망 구조로 구성된 결합형 순환 신경망에 기반하여 각각 딥 러닝 학습을 수행함으로써 주변 차량의 미래 경로를 예측하기 위한 것으로, 인코더(410) 및 디코더(420)를 포함할 수 있다. 이러한 구성요소들은 경로 예측 시스템(100)에 저장된 프로그램 코드가 제공하는 제어 명령에 따라 프로세서에 의해 수행되는 서로 다른 기능들(different functions)의 표현들일 수 있다. 구성요소들은 도 5의 경로 예측 방법이 포함하는 단계들(510 내지 520)을 수행하도록 경로 예측 시스템(100)을 제어할 수 있다. 이때, 구성요소들은 메모리가 포함하는 운영체제의 코드와 적어도 하나의 프로그램의 코드에 따른 명령(instruction)을 실행하도록 구현될 수 있다. The path estimation system 100 is for predicting a future path of a neighboring vehicle by performing a deep learning learning based on a joint type circular neural network composed of at least one circular neural network structure and includes an encoder 410 and a decoder 420 . These components may be representations of different functions performed by the processor in accordance with control commands provided by the program code stored in the path prediction system 100. [ The components may control the path prediction system 100 to perform the steps 510 to 520 that the path prediction method of FIG. 5 includes. At this time, the components may be implemented to execute an instruction according to code of an operating system and code of at least one program included in the memory.
경로 예측 시스템(100)의 프로세서는 경로 예측 방법을 위한 프로그램의 파일에 저장된 프로그램 코드를 메모리에 로딩할 수 있다. 예를 들면, 경로 예측 시스템(100)에서 프로그램이 실행되면, 프로세서는 운영체제의 제어에 따라 프로그램의 파일로부터 프로그램 코드를 메모리에 로딩하도록 경로 예측 시스템을 제어할 수 있다. 이때, 프로세서 및 프로세서가 포함하는 인코더(410) 및 디코더부(420) 각각은 메모리에 로딩된 프로그램 코드 중 대응하는 부분의 명령을 실행하여 이후 단계들(510 내지 520)을 실행하기 위한 프로세서의 서로 다른 기능적 표현들일 수 있다. The processor of the path prediction system 100 may load the program code stored in the file of the program for the path prediction method into the memory. For example, when the program is executed in the path prediction system 100, the processor can control the path prediction system to load the program code from the file of the program into the memory under the control of the operating system. At this time, each of the encoder 410 and the decoder unit 420 included in the processor and the processor executes the instructions of the corresponding part of the program code loaded in the memory, so as to execute the steps 510 to 520 of the processor Other functional expressions.
단계(510)에서 인코더(410)는 자차 또는 자차와 주변에 존재하는 주변 차량의 주행 데이터에 기반하여 시퀀스 정보를 분석할 수 있다. 인코더(410)는 자차 또는 자차와 주변에 존재하는 주변 차량의 주행 데이터에 기반하여 딥 러닝 학습을 수행함에 따라 자차의 운전 상태 정보 및 주변 차량의 이동 경로 정보를 포함하는 시퀀스 정보를 분석할 수 있다. 인코더(410)는 자차 또는 주변 차량의 센서로부터 수집된 자차의 속력, 자차의 조향 각속도, 주변 차량의 상대 좌표 및 주변 차량의 상대 속도를 포함하는 주행 데이터가 입력되고, 입력된 자차의 속력, 자차의 조향 각속도, 주변 차량의 상대 좌표 및 주변 차량의 상대 속도에 기초하여 시퀀스 정보를 분석함에 따라 차량 또는 주변 차량간 패턴 정보를 추출 및 요약할 수 있다. 이때, 인코더(410)는 FC(Fully-Connected) 신경망 계층과 LSTM(Long-Short Term Memory) 순환 신경망 계층이 혼합된 형태로 구성될 수 있다. 인코더(410)의 FC 신경망 계층은, 아핀 변환(affine transformation)과 ReLU(Rectifed Linear Unit) 활성화 함수로 구성되고, 데이터의 차원을 일치시키고 자차와 주변 차량간의 움직임과 관련된 관계 정보를 추출할 수 있다. 인코더(410)의 LSTM 순환 신경망 계층은 복수 개의 LSTM 순환 신경망이 연결된 구조로 구성되고, 복수 개의 LSTM 에서 입력 시퀀스에 대한 재귀적 연산을 수행함에 따라 각각의 셀 벡터를 획득할 수 있다. In step 510, the encoder 410 may analyze the sequence information based on the traveling data of the surrounding vehicle existing in the vicinity of the car or the car. The encoder 410 can analyze the sequence information including the driving state information of the vehicle and the traveling route information of the surrounding vehicle by performing the deep learning learning based on the traveling data of the surrounding vehicle existing around the vehicle or the vehicle . The encoder 410 receives driving data including the speed of the own vehicle, the steering angular speed of the vehicle, the relative coordinates of the surrounding vehicles, and the relative speed of the surrounding vehicles collected from the sensors of the vehicle or the surrounding vehicle, The pattern information between the vehicle and the surrounding vehicles can be extracted and summarized by analyzing the sequence information based on the steering angular speed of the vehicle, the relative coordinates of the surrounding vehicles, and the relative speed of the surrounding vehicles. At this time, the encoder 410 may be configured as a mixture of FC (Fully-Connected) neural network layer and LSTM (Long-Short Term Memory) circular neural network layer. The FC neural network layer of the encoder 410 is composed of affine transformation and ReLU (Rectified Linear Unit) activation functions, and it can extract the relationship information related to the motion between the car and the surrounding vehicle, . The LSTM recurrent neural network layer of the encoder 410 has a structure in which a plurality of LSTM recurrent neural networks are connected, and each cell vector can be acquired by performing a recursive operation on an input sequence in a plurality of LSTMs.
단계(520)에서 디코더(420)는 시퀀스 정보를 분석한 분석 결과를 빔 서치(beam search)를 적용하여 주변 차량의 미래 경로를 예측할 수 있다. 디코더(420)는 시퀀스 정보를 분석함에 따라 요약된 요약 시퀀스로부터 빔 탐색에 기반한 재귀적 연산을 기 설정된 예측 시간에 도달할 때까지 반복하여 출력 시퀀스를 생성하고, 생성된 출력 시퀀스에 기반하여 기 설정된 가능성 이상의 가설을 출력할 수 있다. 이때, 디코더(420)는 디코더가 적어도 하나 이상의 FC 신경망 계층, 적어도 하나 이상의 LSTM 순환 신경망 계층, 확률 분포의 계산을 위한 Softmax 계층 및 출력을 피드백하기 위한 임베딩 계층으로 구성될 수 있다. 구체적으로, 디코더(420)는 디코더의 FC 신경망 계층과 LSTM 순환 신경망 계층에서 상기 인코더로부터 전달받은 복수 개의 셀 벡터를 사용하여 재귀적으로 계산한 출력값을 Softmax 계층에 통과시킴에 따라 자차 또는 주변 차량이 점유 격자 지도(Occupancy Grid Map)를 점유하는 조건부 확률로 표현하고, 조건부 확률을 기반으로 빔 탐색을 적용하여 자차 또는 주변 차량의 위치에 대한 기 설정된 개수의 후보를 선정하고, 선정된 후보를 상기 임베딩 계층을 통하여 피드백할 수 있다. 디코더(420)는 디코더의 임베딩 계층에서 상기 점유 격자 지도의 종축과 횡축의 격자 수에 대응하는 복수 개의 행렬로 구성되고, 빔 탐색에 기초하여 선정된 격자 좌표에 대응하는 열 벡터를 각각의 행렬로부터 추출한 후, 추출된 열 벡터를 결합(vector concatenation)하여 디코더의 LSTM 순환 신경망 계층의 입력으로 피드백할 수 있다. In operation 520, the decoder 420 may perform a beam search on the analysis result of analyzing the sequence information to predict the future path of the neighboring vehicle. The decoder 420 repeats the recursive operation based on the beam search from the summarized summary sequence as it analyzes the sequence information until it reaches a predetermined predicted time to generate an output sequence and generates a preset sequence based on the generated output sequence It is possible to output more hypotheses than possibility. At this time, the decoder 420 may include at least one FC neural network layer, at least one LSTM loop neural network layer, a Softmax layer for calculating probability distribution, and an embedding layer for feeding back the output. Specifically, the decoder 420 passes the recursively calculated output value to the Softmax layer using a plurality of cell vectors received from the encoder in the FC neural network layer of the decoder and the LSTM circular neural network layer, A predetermined number of candidates for a position of a vehicle or a neighboring vehicle are selected by applying a beam search based on a conditional probability, and the selected candidate is subjected to the embedding of the occupancy grid map, Feedback can be made through the layer. The decoder 420 is composed of a plurality of matrices corresponding to the vertical axis and the horizontal axis of the occupancy grid map at the embedding layer of the decoder and corresponding to the selected grid coordinates based on the beam search from each matrix After extraction, the extracted column vectors can be combined (vector concatenated) and fed back to the input of the LSTM recurrent neural network layer of the decoder.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The apparatus described above may be implemented as a hardware component, a software component, and / or a combination of hardware components and software components. For example, the apparatus and components described in the embodiments may be implemented within a computer system, such as, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA) , A programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. The processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For ease of understanding, the processing apparatus may be described as being used singly, but those skilled in the art will recognize that the processing apparatus may have a plurality of processing elements and / As shown in FIG. For example, the processing unit may comprise a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as a parallel processor.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of the foregoing, and may be configured to configure the processing device to operate as desired or to process it collectively or collectively Device can be commanded. The software and / or data may be in the form of any type of machine, component, physical device, virtual equipment, computer storage media, or device As shown in FIG. The software may be distributed over a networked computer system and stored or executed in a distributed manner. The software and data may be stored on one or more computer readable recording media.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

Claims (14)

  1. 인코더 및 디코더를 포함하는 경로 예측 시스템에 의해 수행되는 경로 예측 방법에 있어서,
    상기 인코더에서, 자차 또는 자차와 주변에 존재하는 주변 차량의 주행 데이터에 기반하여 시퀀스 정보를 분석하는 단계; 및
    상기 디코더에서, 상기 시퀀스 정보를 분석한 분석 결과를 빔 서치(beam search)를 적용하여 주변 차량의 미래 경로를 예측하는 단계
    를 포함하고,
    적어도 하나 이상의 순환 신경망 구조로 구성된 결합형 순환 신경망에 기반하여 각각 딥 러닝 학습이 수행되는 것을 포함하고,
    상기 시퀀스 정보를 분석하는 단계는,
    상기 인코더가 FC(Fully-Connected) 신경망 계층과 LSTM(Long-Short Term Memory) 순환 신경망 계층이 혼합된 형태로 구성되는 것을 포함하고,
    상기 인코더의 FC 신경망 계층은, 아핀 변환(affine transformation)과 ReLU(Rectifed Linear Unit) 활성화 함수로 구성되고, 데이터의 차원을 일치시키고 상기 자차와 상기 주변 차량간의 움직임과 관련된 관계 정보를 추출하고,
    상기 인코더의 LSTM 순환 신경망 계층은 복수 개의 LSTM 순환 신경망이 연결된 구조로 구성되고, 상기 복수 개의 LSTM 에서 입력 시퀀스에 대한 재귀적 연산을 수행함에 따라 각각의 셀 벡터를 획득하는
    것을 특징으로 하는 경로 예측 방법.
    A path prediction method performed by a path prediction system including an encoder and a decoder,
    Analyzing sequence information on the basis of the driving data of the peripheral vehicle existing around the vehicle or the vehicle; And
    Estimating, in the decoder, a future path of a neighboring vehicle by applying a beam search to the analyzed result of analyzing the sequence information
    Lt; / RTI >
    Wherein deep learning learning is performed based on a combined circular neural network composed of at least one or more circular neural network structures,
    Wherein analyzing the sequence information comprises:
    Wherein the encoder comprises a mix of FC (Fully-Connected) neural network layer and LSTM (Long-Short Term Memory)
    The FC neural network layer of the encoder is composed of an affine transformation and a rectilinear linear unit (ReLU) activation function, extracts relationship information related to movement between the car and the neighboring vehicle,
    The LSTM recurrent neural network layer of the encoder has a structure in which a plurality of LSTM circulating neural networks are connected, and each cell vector is obtained by performing a recursive operation on the input sequence in the plurality of LSTMs
    Wherein the path prediction method comprises:
  2. 제1항에 있어서,
    상기 시퀀스 정보를 분석하는 단계는,
    상기 인코더에서, 자차 또는 자차와 주변에 존재하는 주변 차량의 주행 데이터에 기반하여 딥 러닝 학습을 수행함에 따라 자차의 운전 상태 정보 및 주변 차량의 이동 경로 정보를 포함하는 시퀀스 정보를 분석하는 단계
    를 포함하는 경로 예측 방법.
    The method according to claim 1,
    Wherein analyzing the sequence information comprises:
    Analyzing the sequence information including the driving state information of the vehicle and the traveling route information of the surrounding vehicle by executing the deep learning learning based on the traveling data of the surrounding vehicle existing around the vehicle or the vehicle
    And estimating the path.
  3. 제2항에 있어서,
    상기 시퀀스 정보를 분석하는 단계는,
    상기 자차 또는 상기 주변 차량의 센서로부터 수집된 상기 자차의 속력, 상기 자차의 조향 각속도, 상기 주변 차량의 상대 좌표 및 상기 주변 차량의 상대 속도를 포함하는 주행 데이터가 입력되고, 상기 입력된 상기 자차의 속력, 상기 자차의 조향 각속도, 상기 주변 차량의 상대 좌표 및 상기 주변 차량의 상대 속도에 기초하여 시퀀스 정보를 분석함에 따라 상기 차량 또는 상기 주변 차량간 패턴 정보를 추출 및 요약하는 단계
    를 포함하는 경로 예측 방법.
    3. The method of claim 2,
    Wherein analyzing the sequence information comprises:
    The traveling data including the speed of the vehicle, the steering angular speed of the vehicle, the relative coordinates of the surrounding vehicle, and the relative speed of the surrounding vehicle are input from the vehicle or the sensor of the peripheral vehicle, Extracting and summarizing the pattern information between the vehicle and the surrounding vehicles by analyzing the sequence information based on the speed, the steering angular speed of the vehicle, the relative coordinates of the surrounding vehicle, and the relative speed of the surrounding vehicle
    And estimating the path.
  4. 삭제delete
  5. 제1항에 있어서,
    상기 주변 차량의 미래 경로를 예측하는 단계는,
    상기 디코더에서, 상기 시퀀스 정보를 분석함에 따라 요약된 요약 시퀀스로부터 빔 탐색에 기반한 재귀적 연산을 기 설정된 예측 시간에 도달할 때까지 반복하여 출력 시퀀스를 생성하고, 상기 생성된 출력 시퀀스에 기반하여 기 설정된 가능성 이상의 가설을 출력하는 단계
    를 포함하는 경로 예측 방법.
    The method according to claim 1,
    Wherein the step of predicting a future route of the neighboring vehicle comprises:
    And generating an output sequence by repeating a recursive operation based on the beam search from the summarized summation sequence by analyzing the sequence information until a predetermined predicted time is reached by analyzing the sequence information to generate an output sequence based on the generated output sequence, Outputting a hypothesis more than the set possibility
    And estimating the path.
  6. 인코더 및 디코더를 포함하는 경로 예측 시스템에 의해 수행되는 경로 예측 방법에 있어서,
    상기 인코더에서, 자차 또는 자차와 주변에 존재하는 주변 차량의 주행 데이터에 기반하여 시퀀스 정보를 분석하는 단계; 및
    상기 디코더에서, 상기 시퀀스 정보를 분석한 분석 결과를 빔 서치(beam search)를 적용하여 주변 차량의 미래 경로를 예측하는 단계
    를 포함하고,
    적어도 하나 이상의 순환 신경망 구조로 구성된 결합형 순환 신경망에 기반하여 각각 딥 러닝 학습이 수행되는 것을 포함하고,
    상기 주변 차량의 미래 경로를 예측하는 단계는,
    상기 디코더에서, 상기 시퀀스 정보를 분석함에 따라 요약된 요약 시퀀스로부터 빔 탐색에 기반한 재귀적 연산을 기 설정된 예측 시간에 도달할 때까지 반복하여 출력 시퀀스를 생성하고, 상기 생성된 출력 시퀀스에 기반하여 기 설정된 가능성 이상의 가설을 출력하고, 상기 디코더가 적어도 하나 이상의 FC 신경망 계층, 적어도 하나 이상의 LSTM 순환 신경망 계층, 확률 분포의 계산을 위한 Softmax 계층 및 출력을 피드백하기 위한 임베딩 계층으로 구성되는
    것을 포함하고,
    상기 디코더의 FC 신경망 계층과 LSTM 순환 신경망 계층에서 상기 인코더로부터 전달받은 복수 개의 셀 벡터를 사용하여 재귀적으로 계산한 출력값을 상기 Softmax 계층에 통과시킴에 따라 자차 또는 주변 차량이 점유 격자 지도(Occupancy Grid Map)를 점유하는 조건부 확률로 표현되고, 상기 조건부 확률을 기반으로 빔 탐색을 적용하여 자차 또는 주변 차량의 위치에 대한 기 설정된 개수의 후보를 선정하고, 상기 선정된 후보를 상기 임베딩 계층을 통하여 피드백하는 단계
    를 포함하는 경로 예측 방법.
    A path prediction method performed by a path prediction system including an encoder and a decoder,
    Analyzing sequence information on the basis of the driving data of the peripheral vehicle existing around the vehicle or the vehicle; And
    Estimating, in the decoder, a future path of a neighboring vehicle by applying a beam search to the analyzed result of analyzing the sequence information
    Lt; / RTI >
    Wherein deep learning learning is performed based on a combined circular neural network composed of at least one or more circular neural network structures,
    Wherein the step of predicting a future route of the neighboring vehicle comprises:
    And generating an output sequence by repeating a recursive operation based on the beam search from the summarized summation sequence by analyzing the sequence information until a predetermined predicted time is reached by analyzing the sequence information to generate an output sequence based on the generated output sequence, Wherein the decoder comprises at least one FC neural network layer, at least one LSTM loop neural network layer, a Softmax layer for computing a probability distribution, and an embedding layer for feedbacking the output
    ≪ / RTI >
    An output value recursively calculated by using a plurality of cell vectors received from the encoder in the FC neural network layer and the LSTM loop neural network layer of the decoder is passed through the Softmax layer so that the own vehicle or an adjacent vehicle can be classified into Occupancy Grid Map), applying a beam search based on the conditional probability to select a predetermined number of candidates for the position of a vehicle or a nearby vehicle, and transmitting the selected candidate to the feedback via the embedding layer Step
    And estimating the path.
  7. 제6항에 있어서,
    상기 주변 차량의 미래 경로를 예측하는 단계는,
    상기 디코더의 상기 임베딩 계층에서 상기 점유 격자 지도의 종축과 횡축의 격자 수에 대응하는 복수 개의 행렬로 구성되고, 상기 빔 탐색에 기초하여 선정된 격자 좌표에 대응하는 열 벡터를 각각의 행렬로부터 추출한 후, 상기 추출된 열 벡터를 결합(vector concatenation)하여 상기 디코더의 LSTM 순환 신경망 계층의 입력으로 피드백하는 단계
    를 포함하는 경로 예측 방법.
    The method according to claim 6,
    Wherein the step of predicting a future route of the neighboring vehicle comprises:
    And a plurality of matrices corresponding to the number of grids in the vertical axis and the horizontal axis of the occupation grid map in the embedding layer of the decoder, wherein a column vector corresponding to the selected grid coordinates is extracted from each matrix based on the beam search , Coupling the extracted column vectors (vector concatenation), and feeding back to the input of the LSTM loop neural network layer of the decoder
    And estimating the path.
  8. 경로 예측 시스템에 있어서,
    자차 또는 자차와 주변에 존재하는 주변 차량의 주행 데이터에 기반하여 시퀀스 정보를 분석하는 인코더; 및
    상기 시퀀스 정보를 분석한 분석 결과를 빔 서치(beam search)를 적용하여 주변 차량의 미래 경로를 예측하는 디코더
    를 포함하고,
    적어도 하나 이상의 순환 신경망 구조로 구성된 결합형 순환 신경망에 기반하여 각각 딥 러닝 학습이 수행되는 것을 포함하고,
    상기 인코더는,
    상기 인코더가 FC(Fully-Connected) 신경망 계층과 LSTM(Long-Short Term Memory) 순환 신경망 계층이 혼합된 형태로 구성되는 것을 포함하고,
    상기 인코더의 FC 신경망 계층은, 아핀 변환(affine transformation)과 ReLU(Rectifed Linear Unit) 활성화 함수로 구성되고, 데이터의 차원을 일치시키고 상기 자차와 상기 주변 차량간의 움직임과 관련된 관계 정보를 추출하고,
    상기 인코더의 LSTM 순환 신경망 계층은 복수 개의 LSTM 순환 신경망이 연결된 구조로 구성되고, 상기 복수 개의 LSTM 에서 입력 시퀀스에 대한 재귀적 연산을 수행함에 따라 각각의 셀 벡터를 획득하는
    것을 특징으로 하는 경로 예측 시스템.
    In the path prediction system,
    An encoder for analyzing the sequence information based on the traveling data of the vehicle or the surrounding vehicle existing around the vehicle or the vehicle; And
    A decoder for predicting a future path of a nearby vehicle by applying a beam search to an analysis result obtained by analyzing the sequence information;
    Lt; / RTI >
    Wherein deep learning learning is performed based on a combined circular neural network composed of at least one or more circular neural network structures,
    The encoder comprising:
    Wherein the encoder comprises a mix of FC (Fully-Connected) neural network layer and LSTM (Long-Short Term Memory)
    The FC neural network layer of the encoder is composed of an affine transformation and a rectilinear linear unit (ReLU) activation function, extracts relationship information related to movement between the car and the neighboring vehicle,
    The LSTM recurrent neural network layer of the encoder has a structure in which a plurality of LSTM circulating neural networks are connected, and each cell vector is obtained by performing a recursive operation on the input sequence in the plurality of LSTMs
    The path prediction system comprising:
  9. 제8항에 있어서,
    상기 인코더는,
    상기 인코더에서, 자차 또는 자차와 주변에 존재하는 주변 차량의 주행 데이터에 기반하여 딥 러닝 학습을 수행함에 따라 자차의 운전 상태 정보 및 주변 차량의 이동 경로 정보를 포함하는 시퀀스 정보를 분석하는
    것을 특징으로 하는 경로 예측 시스템.
    9. The method of claim 8,
    The encoder comprising:
    The encoder analyzes the sequence information including the driving state information of the vehicle and the traveling route information of the surrounding vehicles by performing the deep learning learning based on the traveling data of the surrounding vehicle existing in the vicinity of the vehicle or the vehicle
    The path prediction system comprising:
  10. 제9항에 있어서,
    상기 인코더는,
    상기 자차 또는 상기 주변 차량의 센서로부터 수집된 상기 자차의 속력, 상기 자차의 조향 각속도, 상기 주변 차량의 상대 좌표 및 상기 주변 차량의 상대 속도를 포함하는 주행 데이터가 입력되고, 상기 입력된 상기 자차의 속력, 상기 자차의 조향 각속도, 상기 주변 차량의 상대 좌표 및 상기 주변 차량의 상대 속도에 기초하여 시퀀스 정보를 분석함에 따라 상기 차량 또는 상기 주변 차량간 패턴 정보를 추출 및 요약하는
    것을 특징으로 하는 경로 예측 시스템.
    10. The method of claim 9,
    The encoder comprising:
    The traveling data including the speed of the vehicle, the steering angular speed of the vehicle, the relative coordinates of the surrounding vehicle, and the relative speed of the surrounding vehicle are input from the vehicle or the sensor of the peripheral vehicle, Extracts and summarizes the pattern information between the vehicle and the surrounding vehicles by analyzing the sequence information based on the speed, the steering angular speed of the vehicle, the relative coordinates of the surrounding vehicle, and the relative speed of the surrounding vehicle
    The path prediction system comprising:
  11. 삭제delete
  12. 제8항에 있어서,
    상기 디코더는,
    상기 시퀀스 정보를 분석함에 따라 요약된 요약 시퀀스로부터 빔 탐색에 기반한 재귀적 연산을 기 설정된 예측 시간에 도달할 때까지 반복하여 출력 시퀀스를 생성하고, 상기 생성된 출력 시퀀스에 기반하여 기 설정된 가능성 이상의 가설을 출력하는
    것을 특징으로 하는 경로 예측 시스템.
    9. The method of claim 8,
    The decoder includes:
    Generating an output sequence by repeating a recursive operation based on the beam search from the summarized summary sequence by analyzing the sequence information until a predetermined predicted time is reached, and generating an output sequence based on the generated output sequence, To output
    The path prediction system comprising:
  13. 경로 예측 시스템에 있어서,
    자차 또는 자차와 주변에 존재하는 주변 차량의 주행 데이터에 기반하여 시퀀스 정보를 분석하는 인코더; 및
    상기 시퀀스 정보를 분석한 분석 결과를 빔 서치(beam search)를 적용하여 주변 차량의 미래 경로를 예측하는 디코더
    를 포함하고,
    적어도 하나 이상의 순환 신경망 구조로 구성된 결합형 순환 신경망에 기반하여 각각 딥 러닝 학습이 수행되는 것을 포함하고,
    상기 디코더는,
    상기 시퀀스 정보를 분석함에 따라 요약된 요약 시퀀스로부터 빔 탐색에 기반한 재귀적 연산을 기 설정된 예측 시간에 도달할 때까지 반복하여 출력 시퀀스를 생성하고, 상기 생성된 출력 시퀀스에 기반하여 기 설정된 가능성 이상의 가설을 출력하고, 상기 디코더가 적어도 하나 이상의 FC 신경망 계층, 적어도 하나 이상의 LSTM 순환 신경망 계층, 확률 분포의 계산을 위한 Softmax 계층 및 출력을 피드백하기 위한 임베딩 계층으로 구성되는 것을 포함하고,
    상기 디코더의 FC 신경망 계층과 LSTM 순환 신경망 계층에서 상기 인코더로부터 전달받은 복수 개의 셀 벡터를 사용하여 재귀적으로 계산한 출력값을 상기 Softmax 계층에 통과시킴에 따라 자차 또는 주변 차량이 점유 격자 지도(Occupancy Grid Map)를 점유하는 조건부 확률로 표현되고, 상기 조건부 확률을 기반으로 빔 탐색을 적용하여 자차 또는 주변 차량의 위치에 대한 기 설정된 개수의 후보를 선정하고, 상기 선정된 후보를 상기 임베딩 계층을 통하여 피드백하는
    것을 특징으로 하는 경로 예측 시스템.
    In the path prediction system,
    An encoder for analyzing the sequence information based on the traveling data of the vehicle or the surrounding vehicle existing around the vehicle or the vehicle; And
    A decoder for predicting a future path of a nearby vehicle by applying a beam search to an analysis result obtained by analyzing the sequence information;
    Lt; / RTI >
    Wherein deep learning learning is performed based on a combined circular neural network composed of at least one or more circular neural network structures,
    The decoder includes:
    Generating an output sequence by repeating a recursive operation based on the beam search from the summarized summary sequence by analyzing the sequence information until a predetermined predicted time is reached, and generating an output sequence based on the generated output sequence, Wherein the decoder comprises at least one FC neural network layer, at least one LSTM loop neural network layer, a Softmax layer for computing a probability distribution, and an embedding layer for feedbacking the output,
    An output value recursively calculated by using a plurality of cell vectors received from the encoder in the FC neural network layer and the LSTM loop neural network layer of the decoder is passed through the Softmax layer so that the own vehicle or an adjacent vehicle can be classified into Occupancy Grid Map), applying a beam search based on the conditional probability to select a predetermined number of candidates for the position of a vehicle or a nearby vehicle, and transmitting the selected candidate to the feedback via the embedding layer doing
    The path prediction system comprising:
  14. 제13항에 있어서,
    상기 디코더는,
    상기 디코더의 상기 임베딩 계층에서 상기 점유 격자 지도의 종축과 횡축의 격자 수에 대응하는 복수 개의 행렬로 구성되고, 상기 빔 탐색에 기초하여 선정된 격자 좌표에 대응하는 열 벡터를 각각의 행렬로부터 추출한 후, 상기 추출된 열 벡터를 결합(vector concatenation)하여 상기 디코더의 LSTM 순환 신경망 계층의 입력으로 피드백하는
    것을 특징으로 하는 경로 예측 시스템.
    14. The method of claim 13,
    The decoder includes:
    And a plurality of matrices corresponding to the number of grids in the vertical axis and the horizontal axis of the occupation grid map in the embedding layer of the decoder, wherein a column vector corresponding to the selected grid coordinates is extracted from each matrix based on the beam search , Combines the extracted column vectors (vector concatenation), and feeds them back to the input of the LSTM recurrent neural network layer of the decoder
    The path prediction system comprising:
KR1020180057025A 2018-05-18 2018-05-18 Vehicle trajectory prediction system and method based on modular recurrent neural network architecture KR101951595B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180057025A KR101951595B1 (en) 2018-05-18 2018-05-18 Vehicle trajectory prediction system and method based on modular recurrent neural network architecture

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180057025A KR101951595B1 (en) 2018-05-18 2018-05-18 Vehicle trajectory prediction system and method based on modular recurrent neural network architecture

Publications (1)

Publication Number Publication Date
KR101951595B1 true KR101951595B1 (en) 2019-02-22

Family

ID=65584857

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180057025A KR101951595B1 (en) 2018-05-18 2018-05-18 Vehicle trajectory prediction system and method based on modular recurrent neural network architecture

Country Status (1)

Country Link
KR (1) KR101951595B1 (en)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110070715A (en) * 2019-04-29 2019-07-30 浙江工业大学 A kind of road traffic flow prediction method based on Conv1D-NLSTMs neural network structure
CN110223515A (en) * 2019-06-17 2019-09-10 北京航空航天大学 A kind of track of vehicle generation method
CN110221611A (en) * 2019-06-11 2019-09-10 北京三快在线科技有限公司 A kind of Trajectory Tracking Control method, apparatus and automatic driving vehicle
CN110428613A (en) * 2019-07-09 2019-11-08 中山大学 A kind of intelligent transportation trend prediction method of machine learning
CN110658818A (en) * 2019-09-29 2020-01-07 浙江大学 Multi-objective optimization intelligent operation control prediction method for novel power supply train
CN110675632A (en) * 2019-11-11 2020-01-10 重庆邮电大学 Vehicle short-time trajectory prediction control method aiming at multi-feature space and data sparseness
CN110733506A (en) * 2019-10-17 2020-01-31 上海舵敏智能科技有限公司 Lane changing method and apparatus for unmanned vehicle
CN111591288A (en) * 2020-03-31 2020-08-28 北京智行者科技有限公司 Collision detection method and device based on distance transformation graph
KR102176483B1 (en) * 2020-03-30 2020-11-09 한양대학교 산학협력단 Deep Learning-based Vehicle Trajectory Prediction Method and Apparatus using Rasterized Lane Information
KR102192348B1 (en) * 2020-02-24 2020-12-17 한국과학기술원 Electronic device for integrated trajectory prediction for unspecified number of surrounding vehicles and operating method thereof
CN112652165A (en) * 2020-12-11 2021-04-13 北京百度网讯科技有限公司 Model training and road condition prediction method, device, equipment, medium and program product
WO2021097435A1 (en) * 2019-11-15 2021-05-20 Waymo Llc Agent trajectory prediction using vectorized inputs

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170048888A (en) * 2015-10-27 2017-05-10 현대자동차주식회사 A system for predicting a volume of traffic, a displaying apparatus for a vehicle, a vehicle and a method for predicting a volume of traffic
JP2017083273A (en) * 2015-10-27 2017-05-18 日本電信電話株式会社 Route prediction apparatus, route prediction method, and route prediction program
JP2017204174A (en) * 2016-05-12 2017-11-16 日本電信電話株式会社 Destination prediction apparatus, destination prediction method, and destination prediction program
JP2017215859A (en) * 2016-06-01 2017-12-07 日本電信電話株式会社 Character string recognition device, method and program
KR20180020615A (en) * 2016-08-19 2018-02-28 한양대학교 산학협력단 Method for predicting driving path of object vehicle by maching learning and method for controlling vehicle using the same

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170048888A (en) * 2015-10-27 2017-05-10 현대자동차주식회사 A system for predicting a volume of traffic, a displaying apparatus for a vehicle, a vehicle and a method for predicting a volume of traffic
JP2017083273A (en) * 2015-10-27 2017-05-18 日本電信電話株式会社 Route prediction apparatus, route prediction method, and route prediction program
JP2017204174A (en) * 2016-05-12 2017-11-16 日本電信電話株式会社 Destination prediction apparatus, destination prediction method, and destination prediction program
JP2017215859A (en) * 2016-06-01 2017-12-07 日本電信電話株式会社 Character string recognition device, method and program
KR20180020615A (en) * 2016-08-19 2018-02-28 한양대학교 산학협력단 Method for predicting driving path of object vehicle by maching learning and method for controlling vehicle using the same

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110070715A (en) * 2019-04-29 2019-07-30 浙江工业大学 A kind of road traffic flow prediction method based on Conv1D-NLSTMs neural network structure
CN110221611B (en) * 2019-06-11 2020-09-04 北京三快在线科技有限公司 Trajectory tracking control method and device and unmanned vehicle
CN110221611A (en) * 2019-06-11 2019-09-10 北京三快在线科技有限公司 A kind of Trajectory Tracking Control method, apparatus and automatic driving vehicle
CN110223515A (en) * 2019-06-17 2019-09-10 北京航空航天大学 A kind of track of vehicle generation method
CN110428613A (en) * 2019-07-09 2019-11-08 中山大学 A kind of intelligent transportation trend prediction method of machine learning
CN110658818A (en) * 2019-09-29 2020-01-07 浙江大学 Multi-objective optimization intelligent operation control prediction method for novel power supply train
CN110658818B (en) * 2019-09-29 2020-08-21 浙江大学 Multi-objective optimization intelligent operation control prediction method for novel power supply train
CN110733506A (en) * 2019-10-17 2020-01-31 上海舵敏智能科技有限公司 Lane changing method and apparatus for unmanned vehicle
CN110675632A (en) * 2019-11-11 2020-01-10 重庆邮电大学 Vehicle short-time trajectory prediction control method aiming at multi-feature space and data sparseness
WO2021097435A1 (en) * 2019-11-15 2021-05-20 Waymo Llc Agent trajectory prediction using vectorized inputs
KR102192348B1 (en) * 2020-02-24 2020-12-17 한국과학기술원 Electronic device for integrated trajectory prediction for unspecified number of surrounding vehicles and operating method thereof
WO2021172675A1 (en) * 2020-02-24 2021-09-02 한국과학기술원 Electronic device for integral prediction of future route for unspecified number of surrounding vehicles, and operation method therefor
KR102176483B1 (en) * 2020-03-30 2020-11-09 한양대학교 산학협력단 Deep Learning-based Vehicle Trajectory Prediction Method and Apparatus using Rasterized Lane Information
CN111591288A (en) * 2020-03-31 2020-08-28 北京智行者科技有限公司 Collision detection method and device based on distance transformation graph
CN111591288B (en) * 2020-03-31 2021-09-10 北京智行者科技有限公司 Collision detection method and device based on distance transformation graph
CN112652165A (en) * 2020-12-11 2021-04-13 北京百度网讯科技有限公司 Model training and road condition prediction method, device, equipment, medium and program product

Similar Documents

Publication Publication Date Title
KR101951595B1 (en) Vehicle trajectory prediction system and method based on modular recurrent neural network architecture
Pfeiffer et al. A data-driven model for interaction-aware pedestrian motion prediction in object cluttered environments
Galceran et al. Multipolicy decision-making for autonomous driving via changepoint-based behavior prediction: Theory and experiment
Miglani et al. Deep learning models for traffic flow prediction in autonomous vehicles: A review, solutions, and challenges
Francis et al. Long-range indoor navigation with prm-rl
EP3035314A1 (en) A traffic data fusion system and the related method for providing a traffic state for a network of roads
Hou et al. Interactive trajectory prediction of surrounding road users for autonomous driving using structural-LSTM network
Hu et al. A framework for probabilistic generic traffic scene prediction
Grigorescu et al. Neurotrajectory: A neuroevolutionary approach to local state trajectory learning for autonomous vehicles
Park et al. Diverse and admissible trajectory forecasting through multimodal context understanding
Mermoud et al. Top-down vs. bottom-up model-based methodologies for distributed control: a comparative experimental study
Khakzar et al. A dual learning model for vehicle trajectory prediction
Campo et al. Learning probabilistic awareness models for detecting abnormalities in vehicle motions
Ivanovic et al. Mats: An interpretable trajectory forecasting representation for planning and control
Aghabayk et al. Exploring a local linear model tree approach to car‐following
Louati et al. Deep learning and case-based reasoning for predictive and adaptive traffic emergency management
Phung et al. Motion-encoded particle swarm optimization for moving target search using UAVs
Rahman et al. Real-time signal queue length prediction using long short-term memory neural network
Wei et al. Information value in nonparametric Dirichlet-process Gaussian-process (DPGP) mixture models
Zhou et al. Autonomous vehicles’ turning motion planning for conflict areas at mixed-flow intersections
Du et al. Online monitoring for safe pedestrian-vehicle interactions
Platho et al. Learning driving situations and behavior models from data
Worrall et al. A context-based approach to vehicle behavior prediction
Sirmatel et al. Modeling, estimation, and control in large-scale urban road networks with remaining travel distance dynamics
Wolfe et al. Approximate predictive state representations

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant