KR102155054B1 - Method for predicting the intentional cut-in of neighboring vehicles using artificial intelligence - Google Patents
Method for predicting the intentional cut-in of neighboring vehicles using artificial intelligence Download PDFInfo
- Publication number
- KR102155054B1 KR102155054B1 KR1020190155969A KR20190155969A KR102155054B1 KR 102155054 B1 KR102155054 B1 KR 102155054B1 KR 1020190155969 A KR1020190155969 A KR 1020190155969A KR 20190155969 A KR20190155969 A KR 20190155969A KR 102155054 B1 KR102155054 B1 KR 102155054B1
- Authority
- KR
- South Korea
- Prior art keywords
- data
- intention
- surrounding vehicles
- autonomous vehicle
- vehicles
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 8
- 238000007781 pre-processing Methods 0.000 claims abstract description 15
- 230000006403 short-term memory Effects 0.000 claims abstract description 3
- 230000008859 change Effects 0.000 claims description 17
- 238000004088 simulation Methods 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/04—Traffic conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
- B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
- B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/14—Adaptive cruise control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/18—Propelling the vehicle
- B60W30/18009—Propelling the vehicle related to particular drive situations
- B60W30/18163—Lane change; Overtaking manoeuvres
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
- B60Y2300/00—Purposes or special features of road vehicle drive control systems
- B60Y2300/14—Cruise control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
- B60Y2300/00—Purposes or special features of road vehicle drive control systems
- B60Y2300/18—Propelling the vehicle
- B60Y2300/18008—Propelling the vehicle related to particular drive situations
- B60Y2300/18166—Overtaking, changing lanes
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
본 발명은 인공지능을 활용한 주변차량 컷인 의도 예측 방법에 관한 것으로, 특히 PreScan과 Vissim을 활용하여 데이터 취득 및 3D CNN과 LSTM을 적용하여 주변차량의 컷인 의도를 판단하는 예측 방법에 관한 것이다.The present invention relates to a method for predicting cut-in intention of surrounding vehicles using artificial intelligence, and more particularly, to a prediction method for determining the cut-in intention of neighboring vehicles by acquiring data using PreScan and Vissim and applying 3D CNN and LSTM.
자동차 산업의 발전에 따라 운전자에게 편의성을 제공하기 위해 주변 차량의 위치, 속도, 회전각, 길이 및 폭 등과 같은 다양한 정보를 획득할 수 있는 센서 및 시스템의 개발이 지속적으로 이루어지고 있다. 예를 들어, 차량은 전방 레이더, 코너 레이더, 비전(visioin) 및 라이더(lidar) 등과 같은 다양한 센서들을 이용하여 주변 차량에 대한 정보를 획득할 수 있다. 차량은 센서와 인공지능 기술을 이용하여 주변 차량이 차량의 전방으로 컷인 의도를 갖는지 여부를 판단할 수 있고, 판단 결과에 기초하여 주변 차량과 충돌을 회피하는 기능 등과 같은 다양한 기능을 운전자에게 제공할 수 있다.With the development of the automobile industry, development of sensors and systems capable of acquiring various information such as the location, speed, rotation angle, length and width of surrounding vehicles in order to provide convenience to the driver is continuously made. For example, a vehicle may acquire information about a nearby vehicle using various sensors such as a front radar, a corner radar, a vision and a lidar. Vehicles can use sensors and artificial intelligence technology to determine whether or not a nearby vehicle has an intention to cut in the front of the vehicle, and provide various functions to the driver, such as a function to avoid collision with surrounding vehicles based on the determination result. I can.
한편, 주로 스마트 크루즈 컨트롤 시스템이 적용되는 고속도로 상에는 나들목(interchange; IC), 분기점(junction; JC)과 같이 고속도로에 다른 도로와 합쳐지거나(합류지점) 분기되는 지점(분기지점)이 존재한다. 또한, 도로 공사가 있는 경우에는 차로가 줄어드는 병목지점과 차로가 확장되는 확장지점이 존재한다. 상기와 같은 구간들에 있어서는 차량들의 차로 변경이 매우 빈번하다. 즉, 자기 차량을 기준으로 볼 때 옆 차로의 타 차량이 끼어들거나(이른바 컷인(cut-in)), 동일 차로의 선행 차량이 옆 차로로 차로를 변경(이른바 컷아웃(cutout))하는 것이 자주 일어난다.On the other hand, on highways to which the smart cruise control system is mainly applied, there is a point (branch point) that merges with other roads (joint point) or diverges with other roads on the highway such as interchange (IC) and junction (JC). In addition, when there is road construction, there are bottlenecks where lanes are reduced and expansion points where lanes are expanded. In such sections, vehicle lanes are changed very frequently. In other words, it is common for other vehicles in the next lane to intervene (so-called cut-in) or the preceding vehicle in the same lane to change lanes to the next lane (so-called cutout) when viewed from the own vehicle. It happens.
이와 관련, 종래의 한국공개특허 제10-2016-0047268호는 타겟차량이 차로를 변경할 확률을 미리 산출하여 차로 변경을 예측하는 장치 및 방법에 관한 기술을 개시하고 있다.In this regard, Korean Patent Laid-Open Publication No. 10-2016-0047268 discloses a technology related to an apparatus and method for predicting a lane change by calculating a probability of a target vehicle changing lane in advance.
다만, 종래 기술은, 경로 상의 특이지점까지의 거리를 탐색하며 이에 기초한 가속도를 바탕으로 확률을 계산하는데, 이 경우 해당 차량에 대해서만 산출된 확률을 임계값과의 비교를 바탕으로 컷인을 예측하기 때문에, 이 외의 다양한 주행환경에서의 컷인 의도를 판단할 수 없는 문제점이 있다.However, in the prior art, the probability is calculated based on the acceleration based on the search for the distance to the singular point on the route. In this case, the cut-in is predicted based on the comparison of the probability calculated only for the vehicle with a threshold value. In addition, there is a problem in that it is impossible to determine the intention of cut-in in various driving environments.
본 발명은 가상의 차량을 바탕으로 컷인 의도를 예측하는 알고리즘에 관한 것으로, 실제 자율 주행하는 차량과 같이 가상 차량을 만들어 이에 적용하는 기술로서, 자율주행에 적용할 수 있는 분야로써, 자율주행 차량 주행 시 주변 차량의 움직임 데이터를 CNN(Convolution Neural Network)과 LSTM을 활용하여 컷인 의도를 판단 및 예측하는 기술로서, 실주행 데이터를 모사하는 자동차 동역학 시뮬레이션을 통해 다양한 주행 상황을 생성한 데이터를 사용하며 이를 통해 실제 주행 상황과 비슷한 환경에서 차선 변경 의도를 예측하는 기술에 관한 것이다.
본 발명은 주행 차량 주변 차량의 정보에 대한 운전 모델이 적용된 데이터를 취득하여 차선 변경 의도가 있는 모든 시나리오로 판단하는 예측 방법을 제공하는 것을 목적으로 한다.The present invention relates to an algorithm that predicts cut-in intention based on a virtual vehicle, as a technology that creates and applies a virtual vehicle like a vehicle that actually drives autonomously, as a field that can be applied to autonomous driving. It is a technology that determines and predicts the intention of cut-in by using CNN (Convolution Neural Network) and LSTM of the motion data of vehicles around the city. It relates to a technology that predicts the intention to change lanes in an environment similar to the actual driving situation.
An object of the present invention is to provide a prediction method of acquiring data to which a driving model is applied to information of a vehicle surrounding a driving vehicle and determining as all scenarios in which lane change is intended.
상기 목적을 달성하기 위하여 본 발명은, 자율주행차량의 주변차량에 대하여 차량 시뮬레이터인 프리스캔(PreScan)과 교통 시뮬레이터인 비심(Vissim)을 적용하여 운전 모델이 적용된 데이터를 생성하는 단계; 상기 자율주행차량을 중심 데이터로 포함하여 상기 자율주행차량 및 주변차량에 대한 상기 운전 모델이 적용된 데이터를 9대의 차량 정보로 배열하여 데이터 스테이트 버퍼(Data states buffer)로 형성하여 상기 데이터를 전처리하는 단계; 및 상기 데이터 스테이트 버퍼에 3D CNN을 적용하여 상기 자율주행차량과 상기 주변차량과의 주행 정보를 바탕으로 상관관계를 산출하여 LSTM을 적용하여 컷인 의도를 판단하는 단계를 포함하는 인공지능을 활용한 주변차량 컷인 의도 예측 방법을 제공한다.In order to achieve the above object, the present invention includes the steps of generating data to which a driving model is applied by applying a vehicle simulator, PreScan, and a traffic simulator, Vissim, to surrounding vehicles of an autonomous vehicle; Pre-processing the data by arranging the data to which the driving model for the autonomous vehicle and surrounding vehicles is applied, including the autonomous vehicle as central data, as information on 9 vehicles, and forming a data states buffer ; And applying a 3D CNN to the data state buffer to calculate a correlation based on driving information between the autonomous vehicle and the surrounding vehicle, and then applying LSTM to determine the cut-in intention. A vehicle cut-in intention prediction method is provided.
실시 예에 따라, 상기 데이터를 생성하는 단계는, 상기 프리스캔 및 비심을 적용하여 차선변경 시나리오를 적용하는 단계; 및 상기 차선변경 시나리오에 따라 차선 변경 의도 여부를 판단하는 단계를 포함할 수 있다.According to an embodiment, the generating of the data may include applying the lane change scenario by applying the pre-scan and non-sim; And determining whether to change lanes according to the lane change scenario.
실시 예에 따라, 상기 데이터를 전처리하는 단계는, 상기 자율주행차량을 기준으로 인접한 주변차량을 감지하는 단계; 및 상기 주변차량에 대한 데이터를 취득하여 상기 주행정보를 적용하는 단계를 포함할 수 있다.According to an embodiment, the pre-processing of the data may include: detecting adjacent vehicles based on the autonomous vehicle; And acquiring data on the surrounding vehicle and applying the driving information.
상기 데이터를 전처리하는 단계는, 상기 자율주행차량과 주변차량을 포함한 9대의 차량에 시뮬레이션 시간을 적용한 4D 형태로 데이터 스테이트 버퍼를 형성하는 단계를 더 포함할 수 있다.The pre-processing of the data may further include forming a data state buffer in a 4D format in which a simulation time is applied to nine vehicles including the autonomous vehicle and the surrounding vehicles.
상기 주행정보는, 상기 데이터를 시뮬레이션하는 시간, 거리, 진행 방향 각도, 상대 위치, 상대 속도, 좌우 차선과의 거리 중 적어도 어느 하나 이상을 포함할 수 있다.The driving information may include at least one or more of a time for simulating the data, a distance, a traveling direction angle, a relative position, a relative speed, and a distance to a left and right lane.
또한 본 발명은, 예측 방법을 구현하는 프로그램이 저장된 컴퓨터로 판독가능한 기록 매체를 포함할 수 있다.Further, the present invention may include a computer-readable recording medium in which a program implementing the prediction method is stored.
전술한 바와 같은 구성을 갖는 본 발명에 따르면, 가상 환경에서의 예측 기술을 응용하여 실제 자율주행 차량과 주변 차량에 적용하여 컷인 의도를 예측할 수 있는 이점이 있다.
주변 차량의 의도 판단으로 자율주행차량이 차선변경을 하는 상황에서 일어날 수 있는 사고의 가능성을 신속하고 빠르게 경감시킬 수 있는 이점이 있다.According to the present invention having the configuration as described above, there is an advantage of being able to predict cut-in intention by applying a prediction technology in a virtual environment to an actual autonomous vehicle and surrounding vehicles.
There is an advantage of being able to quickly and quickly reduce the likelihood of an accident that may occur in a situation where an autonomous vehicle changes lanes by determining the intention of the surrounding vehicle.
또한 본 발명은, 자율주행차량이 주변차량의 의도를 파악함으로써 최적의 주행 경로로 안전한 주행을 할 수 있는 이점이 있다.In addition, the present invention has an advantage in that the autonomous vehicle can safely drive with an optimal driving route by grasping the intention of the surrounding vehicles.
도 1은 본 발명의 실시 예에 따른 예측 방법의 구성도를 나타낸다.
도 2는 본 발명의 실시 예에 따라 주행정보에 따라 운전 모델이 적용되어 취득된 데이터 테이블을 나타낸다.
도 3은 본 발명의 실시 예에 따라 데이터 4D 형태로 데이터 스테이트 버퍼를 형성하여 데이터를 전처리하는 모습을 나타낸다.1 is a block diagram of a prediction method according to an embodiment of the present invention.
2 shows a data table obtained by applying a driving model according to driving information according to an embodiment of the present invention.
3 shows a state of pre-processing data by forming a data state buffer in a data 4D format according to an embodiment of the present invention.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.The terms used in the present specification will be briefly described, and the present invention will be described in detail.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다. The terms used in the present invention have been selected from general terms that are currently widely used while considering functions in the present invention, but this may vary depending on the intention or precedent of a technician working in the field, the emergence of new technologies, and the like. In addition, in certain cases, there are terms arbitrarily selected by the applicant, and in this case, the meaning of the terms will be described in detail in the description of the corresponding invention. Therefore, the terms used in the present invention should be defined based on the meaning of the term and the overall contents of the present invention, not a simple name of the term.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 명세서 전체에서 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, "그 중간에 다른 구성을 사이에 두고" 연결되어 있는 경우도 포함한다.When a part of the specification is said to "include" a certain component, it means that other components may be further included rather than excluding other components unless otherwise stated. In addition, terms such as "... unit" and "module" described in the specification mean a unit that processes at least one function or operation, which may be implemented as hardware or software or a combination of hardware and software. . In addition, when a part is said to be "connected" with another part throughout the specification, this includes not only a case in which it is "directly connected", but also a case in which a part is connected "with another configuration in the middle."
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art can easily implement the present invention. However, the present invention may be implemented in various forms and is not limited to the embodiments described herein. In the drawings, parts irrelevant to the description are omitted in order to clearly describe the present invention, and similar reference numerals are assigned to similar parts throughout the specification.
본 발명에서 사용하는 ‘주행정보’의 용어는, 상기 데이터를 시뮬레이션하는 시간, 거리, 진행 방향 각도, 상대 위치, 상대 속도, 좌우 차선과의 거리 중 적어도 어느 하나 이상을 포함하는 용어로 사용될 수 있다.The term'driving information' used in the present invention may be used as a term including at least one or more of time, distance, angle of travel direction, relative position, relative speed, and distance to left and right lanes for simulating the data. .
또한 본 발명은, 아래의 예측 방법을 프로그램으로 구현이 가능하고, 예측 방법을 구현하는 프로그램이 저장된 컴퓨터로 판독가능한 기록 매체를 제공할 수 있다.In addition, the present invention can provide a computer-readable recording medium in which the following prediction method can be implemented as a program, and a program for implementing the prediction method is stored.
도 1은 본 발명의 실시 예에 따른 예측 방법의 구성도를 나타낸다.1 is a block diagram of a prediction method according to an embodiment of the present invention.
도 1을 참조하면, 본 발명은 데이터를 생성하는 단계, 데이터를 전처리하는 단계 및 컷인 의도를 판단하는 단계를 포함할 수 있다.Referring to FIG. 1, the present invention may include generating data, pre-processing data, and determining cut-in intention.
데이터를 생성하는 단계는, 자율주행차량의 주변차량에 대하여 동역학 시뮬레이터인 프리스캔(PreScan)과 교통 시뮬레이터인 비심(Vissim)을 적용하여 운전 모델이 적용시키는 과정이다.The step of generating data is a process in which a driving model is applied by applying PreScan, a dynamics simulator, and Vissim, a traffic simulator, to surrounding vehicles of the autonomous vehicle.
데이터를 전처리하는 단계는, 상기 자율주행차량을 중심 데이터로 포함하여 상기 자율주행차량 및 주변차량에 대한 상기 운전 모델이 적용된 데이터를 9대의 차량 정보로 배열하여 데이터 스테이트 버퍼(Data states buffer)로 형성하는 과정이다.The pre-processing of the data comprises arranging the data to which the driving model for the autonomous vehicle and surrounding vehicles is applied, including the autonomous vehicle as central data, as information on 9 vehicles, and forming a data states buffer. It is a process.
컷인 의도를 판단하는 단계는, 상기 데이터 스테이트 버퍼에 3D CNN을 적용하여 상기 자율주행차량과 상기 주변차량과의 주행 정보를 바탕으로 상관관계를 산출하여 LSTM을 적용하는 과정이다. The step of determining cut-in intention is a process of applying LSTM by applying a 3D CNN to the data state buffer to calculate a correlation based on driving information between the autonomous vehicle and the surrounding vehicle.
도 2는 본 발명의 실시 예에 따라 주행정보에 따라 운전 모델이 적용되어 취득된 데이터 테이블을 나타낸다.2 shows a data table obtained by applying a driving model according to driving information according to an embodiment of the present invention.
도 2를 참조하면, 시나리오 취득 데이터를 나타내는데, 이 과정은 상기 프리스캔 및 비심을 적용하여 차선변경 시나리오를 적용하는 단계 및 상기 차선변경 시나리오에 따라 차선 변경 의도 여부를 판단하는 단계를 포함할 수 있다.Referring to FIG. 2, scenario acquisition data is shown, and the process may include applying a lane change scenario by applying the pre-scan and non-sim, and determining whether or not a lane change is intended according to the lane change scenario. .
데이터를 전처리하는 과정에 있어, 상기 자율주행차량을 기준으로 인접한 주변차량을 감지하는 단계 및 상기 주변차량에 대한 데이터를 취득하여 상기 주행정보를 적용하는 단계를 포함할 수 있다.In the process of pre-processing the data, it may include detecting adjacent vehicles based on the autonomous vehicle, acquiring data on the surrounding vehicles and applying the driving information.
Cut-in 의도를 판단하기 위한 데이터 스테이트 버퍼는, 자동차 동역학 시뮬레이터인 프리스캔(PreScan)과 교통 시뮬레이터인 비심(Vissim)을 활용하고, 다양한 도로 상황과 주변 차량의 운전 모델이 적용된 데이터를 취득할 수 있다.The data state buffer for determining the cut-in intention uses PreScan, a vehicle dynamics simulator, and Vissim, a traffic simulator, and acquires data applied to various road conditions and driving models of nearby vehicles. have.
실시 예에 따라, 프리스캔(PreScan)으로 4개의 대표 차선변경 시나리오를 총 40명의 실험자를 대상으로 ‘차선 변경 의도 있음’과 ‘차선 변경 의도 없음’으로 구분하여 실험해서 운전자 실험 데이터를 취득할 수 있다.Depending on the embodiment, driver experiment data can be acquired by dividing four representative lane change scenarios into four representative lane change scenarios for a total of 40 experimenters into'with intention to change lane' and'without intention to change lane' according to the embodiment. have.
또한 실시 예에 따라, 비심(Vissim) 자체 기능을 통하여 다양한 도로 상황에서 ‘차선 변경 의도 있음’과 ‘차선 변경 의도 없음’으로 구분하여 시나리오 주행 데이터를 취득할 수 있다.In addition, according to an exemplary embodiment, scenario driving data may be obtained by dividing into'there is an intention to change lane' and'there is no intention to change lane' in various road conditions through the Vissim's own function.
도 3은 본 발명의 실시 예에 따라 데이터 4D 형태로 데이터 스테이트 버퍼를 형성하여 데이터를 전처리하는 모습을 나타낸다.3 shows a state of pre-processing data by forming a data state buffer in a data 4D format according to an embodiment of the present invention.
도 3을 참조하면, 좌측은 자율주행차량을 중심으로 주변차량과의 상대적인 연산을 하기 위해 감지하는 모습을 나타낸 것이고, 우측은 획득된 데이터에 시뮬레이션 시간 개념을 추가하여 4D 형태의 데이터 스테이트 버퍼로 형성한 데이터 형태를 나타낸다.Referring to FIG. 3, the left side shows the state of detecting the autonomous vehicle in order to perform relative calculations with the surrounding vehicles, and the right side is formed as a 4D data state buffer by adding a simulation time concept to the acquired data. Represents one data type.
데이터를 전처리하는 단계는, 상기 자율주행차량과 주변차량을 포함한 9대의 차량에 시뮬레이션 시간을 적용한 4D 형태로 데이터 스테이트 버퍼를 형성하는 단계를 더 포함할 수 있다.The pre-processing of the data may further include forming a data state buffer in a 4D format in which a simulation time is applied to nine vehicles including the autonomous vehicle and the surrounding vehicle.
데이터를 전처리하는 단계는, 상술한 프리스캔(PreScan)과 비심(Vissim)을 통하여 생성한 데이터를 같은 포맷으로 전처리하여 데이터 스테이트 버퍼(Data states buffer)를 생성할 수 있다.In the step of pre-processing the data, the data generated through the above-described PreScan and Vissim may be pre-processed in the same format to generate a data states buffer.
컷인 차량, 즉 주변차량에 대해 자율주행차량을 기준으로 각 차선에서 가장 가까운 차량들을 감지하여 9개의 분면으로 나누어 주변 차량의 상호관계를 정의하고, 여기에 시간에 따른 9대의 차량의 정보를 4D 형태(2D 형태의 9개 차량의 공간, 차량의 데이터, 시뮬레이션 시간)로 Data states buffer 생성할 수 있다.Cut-in vehicles, that is, vehicles closest to each lane based on autonomous vehicles, are detected and divided into 9 quadrants to define the interrelationship of surrounding vehicles, and the information of 9 vehicles over time is displayed in 4D form. Data states buffer can be created with (2D-type space of 9 vehicles, vehicle data, and simulation time).
마지막으로, 컷인 의도를 판단하는 단계는, 3D CNN을 적용하여 중심 차량과 타 차량과의 관계를 계산한 후, LSTM을 사용하여 차량의 Cut-in 의도 판단하는 과정이다.Finally, the step of determining the cut-in intention is a process of determining the cut-in intention of the vehicle using LSTM after calculating the relationship between the central vehicle and other vehicles by applying 3D CNN.
CNN(Convolution Neural Network, 합성곱 신경망)은 최소한의 전처리(preprocess)를 사용하도록 설계된 다계층 퍼셉트론(multilayer perceptrons)의 한 종류이다. CNN (Convolution Neural Network) is a type of multilayer perceptrons designed to use minimal preprocessing.
CNN은 하나 또는 여러 개의 합성곱 계층과 그 위에 올려진 일반적인 인공 신경망 계층들로 이루어져 있으며, 가중치와 풀링 계층(pooling layer)들을 추가로 활용할 수 있다. A CNN consists of one or several convolutional layers and a general artificial neural network layer on top of it, and can additionally utilize weights and pooling layers.
본 발명의 실시 예에서, CNN은 2차원 구조의 입력 데이터를 충분히 활용할 수 있고, 다른 딥 러닝 구조들과 비교해서 주행차량의 영상을 분석하는 면에서 좋은 성능을 보여줄 수 있다. 또한, CNN은 표준 역전달을 통해 훈련될 수 있고 다른 피드포워드 인공신경망 기법들보다 쉽게 훈련되며 적은 수의 매개변수를 사용한다는 장점이 있다.In an embodiment of the present invention, the CNN can sufficiently utilize the input data of a two-dimensional structure and can show good performance in terms of analyzing an image of a driving vehicle compared to other deep learning structures. In addition, CNNs can be trained through standard inverse forwarding, are trained more easily than other feed-forward artificial neural networks, and have the advantage of using fewer parameters.
본 발명의 실시 예에 따른 LSTM(Long Short Term Memory)은 이전 프레임의 신호를 현재 프레임에 반영하여 시간적으로 연속하는 데이터를 처리하는 기법으로서, LSTM은 메모리 셀(memory cell)에 이전의 정보들(예컨대, 주행차량의 시간에 따른 흐름에 대한 데이터들)을 저장하고 게이트들(gates)을 통하여 메모리 셀로 흐르는 정보의 양을 조절한다.The LSTM (Long Short Term Memory) according to an embodiment of the present invention is a technique for processing temporally continuous data by reflecting a signal of a previous frame to a current frame, and the LSTM is a method of processing previous information in a memory cell ( For example, data on the flow of a driving vehicle over time) is stored and the amount of information flowing to the memory cell through gates is controlled.
CNN을 통해 최소한의 전처리를 수행할 수 있고, 연속성을 고려하는 LSTM과 특징 벡터의 사상에 각 레이어 적층 구조로 쌓아 영상 신호를 처리할 수 있다. 실시 예에 따라, LSTM을 통하여 선택된 영상 품질을 향상시킬 수 있는 이점이 있다.Through CNN, minimal pre-processing can be performed, and image signals can be processed by stacking the mapping of LSTM and feature vectors that consider continuity in a layered structure. Depending on the embodiment, there is an advantage of improving the image quality selected through LSTM.
이상에서 대표적인 실시예를 통하여 본 발명을 상세하게 설명하였으나, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리 범위는 설명한 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 특허청구범위와 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태에 의하여 정해져야 한다.Although the present invention has been described in detail through exemplary embodiments above, those of ordinary skill in the art to which the present invention pertains will understand that various modifications can be made to the above-described embodiments without departing from the scope of the present invention. will be. Therefore, the scope of the present invention is limited to the described embodiments and should not be determined, and should be determined by all changes or modifications derived from the claims and the concept of equality as well as the claims to be described later.
Claims (6)
상기 자율주행차량을 중심 데이터로 포함하여 상기 자율주행차량 및 주변차량에 대한 상기 운전 모델이 적용된 데이터를 9대의 주행 정보로 배열하여 데이터 스테이트 버퍼(Data states buffer)로 형성하여 상기 데이터를 전처리하는 단계; 및
상기 데이터에 3D CNN을 적용하여 상기 자율주행차량과 상기 주변차량과의 상관관계를 산출하고, 상기 상관관계에 LSTM(Long Short Term Memory)을 적용하여 컷인 의도를 판단하는 단계를 포함하는 인공지능을 활용한 주변차량 컷인 의도 예측 방법.
Generating data to which a driving model is applied by applying a vehicle simulator, PreScan, and a traffic simulator, Vissim, to surrounding vehicles of the autonomous vehicle;
Pre-processing the data by arranging the data to which the driving model for the autonomous vehicle and surrounding vehicles is applied, including the autonomous vehicle as central data, as driving information of 9 vehicles, forming a data states buffer ; And
Artificial intelligence comprising the step of calculating a correlation between the autonomous vehicle and the surrounding vehicle by applying 3D CNN to the data, and determining cut-in intention by applying a long short term memory (LSTM) to the correlation. A method of predicting the cut-in intention of surrounding vehicles using
상기 데이터를 생성하는 단계는,
상기 자율주행차량의 주변차량에 대하여 프리스캔 및 비심을 적용하여 차선변경 시나리오를 생성하는 단계를 포함하는 인공지능을 활용한 주변차량 컷인 의도 예측 방법.
The method of claim 1,
The step of generating the data,
And generating a lane change scenario by applying pre-scan and non-sim to the surrounding vehicles of the autonomous vehicle.
상기 데이터를 생성하는 단계는,
상기 자율주행차량을 기준으로 인접한 주변차량을 감지하는 단계; 및
상기 주변차량에 대한 데이터를 취득하여 상기 주행정보를 생성하는 단계를 포함하는 인공지능을 활용한 주변차량 컷인 의도 예측 방법.
The method of claim 1,
The step of generating the data,
Detecting neighboring vehicles adjacent to the autonomous vehicle; And
And generating the driving information by acquiring data on the surrounding vehicles.
상기 데이터를 전처리하는 단계는,
상기 자율주행차량과 주변차량을 포함한 9대의 주행 정보에 시뮬레이션 시간을 적용한 4D 형태로 데이터 스테이트 버퍼를 형성하는 단계를 더 포함하는 인공지능을 활용한 주변차량 컷인 의도 예측 방법.
The method of claim 1,
The step of pre-processing the data,
A method for predicting cut-in intention of surrounding vehicles using artificial intelligence, further comprising forming a data state buffer in a 4D format in which a simulation time is applied to driving information of nine vehicles including the autonomous vehicle and the surrounding vehicles.
상기 주행정보는,
상기 데이터를 시뮬레이션하는 시간, 거리, 진행 방향 각도, 상대 위치, 상대 속도, 좌우 차선과의 거리 중 적어도 어느 하나 이상을 포함하는 것을 특징으로 하는 인공지능을 활용한 주변차량 컷인 의도 예측 방법.
The method according to any one of claims 1 to 4,
The driving information,
An intention prediction method that is a cut-in intention of surrounding vehicles using artificial intelligence, comprising at least one or more of a time, a distance, an angle of a traveling direction, a relative position, a relative speed, and a distance to a left and right lane for simulating the data.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190155969A KR102155054B1 (en) | 2019-11-28 | 2019-11-28 | Method for predicting the intentional cut-in of neighboring vehicles using artificial intelligence |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190155969A KR102155054B1 (en) | 2019-11-28 | 2019-11-28 | Method for predicting the intentional cut-in of neighboring vehicles using artificial intelligence |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102155054B1 true KR102155054B1 (en) | 2020-09-11 |
Family
ID=72472544
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190155969A KR102155054B1 (en) | 2019-11-28 | 2019-11-28 | Method for predicting the intentional cut-in of neighboring vehicles using artificial intelligence |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102155054B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112036556A (en) * | 2020-11-06 | 2020-12-04 | 西南交通大学 | Target intention inversion method based on LSTM neural network |
| KR20220076583A (en) * | 2020-11-30 | 2022-06-08 | 재단법인대구경북과학기술원 | Customized self-driving devices and methods based on deep learning using cognitive characteristics |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190028386A (en) * | 2016-06-27 | 2019-03-18 | 모빌아이 비젼 테크놀로지스 엘티디. | Control of the host vehicle based on the characteristics of the detected parking vehicle |
| KR20190039648A (en) * | 2017-10-05 | 2019-04-15 | 주식회사 스트라드비젼 | Method for monotoring blind spot of vehicle and blind spot monitor using the same |
| KR20190050217A (en) | 2017-11-02 | 2019-05-10 | 현대자동차주식회사 | Apparatus and method for determining intention for cut-in |
| KR20190103093A (en) * | 2019-08-16 | 2019-09-04 | 엘지전자 주식회사 | Apparatus and method for changing traffic line of autonomous vehicle |
| KR20190104474A (en) * | 2019-08-20 | 2019-09-10 | 엘지전자 주식회사 | Apparatus and method for controlling the driving of a vehicle |
-
2019
- 2019-11-28 KR KR1020190155969A patent/KR102155054B1/en active IP Right Grant
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190028386A (en) * | 2016-06-27 | 2019-03-18 | 모빌아이 비젼 테크놀로지스 엘티디. | Control of the host vehicle based on the characteristics of the detected parking vehicle |
| KR20190039648A (en) * | 2017-10-05 | 2019-04-15 | 주식회사 스트라드비젼 | Method for monotoring blind spot of vehicle and blind spot monitor using the same |
| JP2019071057A (en) * | 2017-10-05 | 2019-05-09 | 株式会社ストラドビジョン | Vehicle blind spot monitoring method and blind spot monitor using the same |
| KR20190050217A (en) | 2017-11-02 | 2019-05-10 | 현대자동차주식회사 | Apparatus and method for determining intention for cut-in |
| KR20190103093A (en) * | 2019-08-16 | 2019-09-04 | 엘지전자 주식회사 | Apparatus and method for changing traffic line of autonomous vehicle |
| KR20190104474A (en) * | 2019-08-20 | 2019-09-10 | 엘지전자 주식회사 | Apparatus and method for controlling the driving of a vehicle |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112036556A (en) * | 2020-11-06 | 2020-12-04 | 西南交通大学 | Target intention inversion method based on LSTM neural network |
| KR20220076583A (en) * | 2020-11-30 | 2022-06-08 | 재단법인대구경북과학기술원 | Customized self-driving devices and methods based on deep learning using cognitive characteristics |
| KR102585149B1 (en) | 2020-11-30 | 2023-10-10 | 재단법인대구경북과학기술원 | Customized self-driving devices and methods based on deep learning using cognitive characteristics |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11645916B2 (en) | Moving body behavior prediction device and moving body behavior prediction method | |
| US20220080961A1 (en) | Control system and control method for sampling based planning of possible trajectories for motor vehicles | |
| US11932282B2 (en) | Vehicle trajectory control using a tree search | |
| KR20210074366A (en) | Autonomous vehicle planning and forecasting | |
| JP6470839B2 (en) | Travel command generator | |
| CN116547495A (en) | Collaborative vehicle path generation | |
| US11860634B2 (en) | Lane-attention: predicting vehicles' moving trajectories by learning their attention over lanes | |
| CN112292717A (en) | Prediction control device | |
| JP2024528425A (en) | Active prediction based on object trajectories | |
| US11663913B2 (en) | Neural network with lane aggregation for lane selection prediction of moving objects during autonomous driving | |
| KR102155054B1 (en) | Method for predicting the intentional cut-in of neighboring vehicles using artificial intelligence | |
| US20210291862A1 (en) | Learning based controller for autonomous driving | |
| CN117980212A (en) | Planning system based on optimization | |
| JP7429172B2 (en) | Vehicle control device, vehicle control method, and program | |
| US20230391356A1 (en) | Dynamic scenario parameters for an autonomous driving vehicle | |
| JP2020111302A (en) | Vehicle driving support system and method | |
| WO2024049925A1 (en) | Trajectory prediction based on a decision tree | |
| CN116001805A (en) | Software architecture platform of automatic driving vehicle, control method, vehicle and medium | |
| JP7258077B2 (en) | Other vehicle behavior prediction device | |
| US20230053243A1 (en) | Hybrid Performance Critic for Planning Module's Parameter Tuning in Autonomous Driving Vehicles | |
| CN113654569A (en) | Path planning method, system and storage medium | |
| US20240212360A1 (en) | Generating object data using a diffusion model | |
| US20240211731A1 (en) | Generating object representations using a variable autoencoder | |
| US20240211797A1 (en) | Training a variable autoencoder using a diffusion model | |
| US20240210942A1 (en) | Generating a scenario using a variable autoencoder conditioned with a diffusion model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |