KR102133342B1 - 차량의 주변 지도 이미지를 활용하는 딥러닝 기반 차량 경로 예측 방법 및 장치 - Google Patents

차량의 주변 지도 이미지를 활용하는 딥러닝 기반 차량 경로 예측 방법 및 장치 Download PDF

Info

Publication number
KR102133342B1
KR102133342B1 KR1020190153609A KR20190153609A KR102133342B1 KR 102133342 B1 KR102133342 B1 KR 102133342B1 KR 1020190153609 A KR1020190153609 A KR 1020190153609A KR 20190153609 A KR20190153609 A KR 20190153609A KR 102133342 B1 KR102133342 B1 KR 102133342B1
Authority
KR
South Korea
Prior art keywords
vehicle
information
route
surrounding map
surrounding
Prior art date
Application number
KR1020190153609A
Other languages
English (en)
Inventor
최준원
김병도
이석환
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020190153609A priority Critical patent/KR102133342B1/ko
Application granted granted Critical
Publication of KR102133342B1 publication Critical patent/KR102133342B1/ko
Priority to PCT/KR2020/013490 priority patent/WO2021107380A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097—Predicting future conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • B60W2050/0089—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/10—Historical data
    • G05D2201/0213—

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Chemical & Material Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명에서 제안하는 차량의 주변 지도 이미지를 활용하는 딥러닝 기반 차량 경로 예측 방법은 예측 대상 차량의 현재 위치를 중심으로 하는 주변 지도 이미지를 전처리하는 단계, 전처리된 주변 지도 이미지의 주변 지도 정보를 CNN(Convolutional neural network)를 이용하여 분석하는 단계 및 분석된 주변 지도 정보를 차량의 과거 경로 정보와 융합하고, 주변 지도 정보와 차량의 과거 경로 정보 간의 연관성에 대하여 학습하여 미래 경로를 예측하는 단계를 포함한다.

Description

차량의 주변 지도 이미지를 활용하는 딥러닝 기반 차량 경로 예측 방법 및 장치{Method and Apparatus for Deep learning-based vehicle trajectory prediction technology using vehicle's surrounding map image}
본 발명은 차량의 주변 지도 이미지를 활용하는 딥러닝 기반 차량 경로 예측 방법 및 장치에 관한 것이다.
자율주행 자동차는 운전자가 핸들과 가속페달, 브레이크 등을 조작하지 않아도 차량의 각종 센서로 부터 얻은 정보를 활용하여 스스로 목적지까지 찾아가는 자동차를 말한다. 자동차 자율주행 시스템에서 앞으로의 경로를 계획함에 있어서 사고 없이 안전한 주행을 하기 위해서는 주변 차량들의 이동 경로를 예측할 필요가 있다. 따라서 주변 차량 경로 예측 기술은 자율주행 시스템에서 차선 변경, 속도제어 시에 필수적으로 사용된다. 자동차의 카메라, 라이더 등의 센서를 통해 주변 차량을 검출하고, 검출된 정보를 통해 주변 차량들의 미래 경로를 예측함으로써 앞으로의 경로의 위험도를 판단하고 위험도가 낮은 방향으로의 경로 계획을 돕는다. 자율 주행 시스템에서 다양한 환경에서의 주변 차량의 경로 예측은 딥러닝 기술을 필요로 하며 이를 통해 얻어지는 예측 결과의 정확도는 자율주행 자동차의 안전성과 밀접한 관련이 있다.
딥러닝 분야에서 미래 경로 예측 기술은 활발히 연구 되고 있으며 과거의 경로만을 통해 예측하거나 경로뿐만 아니라 주변 이미지까지 활용하여 예측하는 기술 등 다양한 미래 경로 예측 딥러닝 기술이 있다. 과거 경로와 이미지 정보를 사용하는 예측 기술 중 대표적인 기술로는 MATF(Multi-Agent Tensor Fusion) 등이 있다. MATF는 특정 대상을 기준으로 반경을 정하고 반경안에 예측하려하는 대상의 과거 경로를 각각 LSTM(Long Short-Term_Memory) 인코더를 통과시키고 해당 반경의 주변 환경 이미지와 융합하여 CNN(Convolutional neural network) 구조를 통해 경로 정보와 환경 이미지 정보를 한번에 처리한다. 이를 통해 딥러닝 모델이 환경 정보와 경로를 융합하여 주변 환경과 물체들 간의 상호관계를 배울 수 있도록 하여 예측 정확도를 높이는 기법이다.
종래의 미래 경로 예측 딥러닝 기술은 과거 경로 정보를 이미지화 하여 주변 환경 정보와 함께 처리함으로써 경로 예측 정확도를 높이고자 하였다. 그러나 종래 기술에서 더 많은 정보를 딥러닝 모델에 제공하였으나 물체간의 상호관계를 파악하는데 집중한 기술이며 주변 환경 정보는 고정된 탑뷰(top-view) 이미지를 제공하였다. 이러한 고정된 탑뷰 이미지를 활용하는 형태는 자율주행 기술에 적용하기 어려우며 또한 교차로 등의 복잡한 교통 환경에 대하여 고려하지 않았기 때문에 해당 이미지로부터 도로의 형태 등의 구체적인 교통 요소들을 고려하여 경로예측을 하였다고 보기 어렵다.
본 발명이 이루고자 하는 기술적 과제는 지도 정보를 사용하여 기존 LSTM(Long Short-Term_Memory) 모델보다 주변 환경에 대한 정보를 딥러닝 모델에 추가로 제공하며 예측 정확도를 높여 보다 자율주행 시의 안전성을 높이기 위한 방법 및 장치를 제안하고자 한다.
일 측면에 있어서, 본 발명에서 제안하는 차량의 주변 지도 이미지를 활용하는 딥러닝 기반 차량 경로 예측 방법은 예측 대상 차량의 현재 위치를 중심으로 하는 주변 지도 이미지를 전처리하는 단계, 전처리된 주변 지도 이미지의 주변 지도 정보를 CNN(Convolutional neural network)를 이용하여 분석하는 단계 및 분석된 주변 지도 정보를 차량의 과거 경로 정보와 융합하고, 주변 지도 정보와 차량의 과거 경로 정보 간의 연관성에 대하여 학습하여 미래 경로를 예측하는 단계를 포함한다.
예측 대상 차량의 현재 위치를 중심으로 하는 주변 지도 이미지를 전처리하는 단계는 도로의 형태, 도로의 외곽선, 차량의 과거 경로가 주변 지도 이미지 상에 표현되도록 전처리된다.
전처리된 지도 이미지의 주변 지도 정보를 CNN(Convolutional neural network)를 이용하여 분석하는 단계는 차량의 과거 경로 정보의 시퀀스 정보를 또 다른 1-차 CNN을 통하여 분석한다. CNN을 이용하여 분석된 지도 이미지의 주변 지도 정보 벡터와 과거 경로 임베딩 벡터를 연관시킨뒤 완전 연결 레이어(fully-connected layer)를 통해 융합한 후 LSTM(Long Short-Term_Memory) 인코더로 입력한다.
분석된 주변 지도 정보를 차량의 과거 경로 정보와 융합하고, 주변 지도 정보와 차량의 과거 경로 정보 간의 연관성에 대하여 학습하여 미래 경로를 예측하는 단계는 LSTM 인코더는 딥러닝 모델을 통해 주변 지도 정보와 차량의 과거 경로 정보를 함께 분석하여 LSTM 디코더로 전달하고, LSTM 디코더는 LSTM 인코더로부터 분석된 정보를 RNN(Recurrent Neural Network) 구조를 통해 미래 경로를 예측하여 출력한다.
또 다른 일 측면에 있어서, 본 발명에서 제안하는 차량의 주변 지도 이미지를 활용하는 딥러닝 기반 차량 경로 예측 장치는 예측 대상 차량의 현재 위치를 중심으로 하는 주변 지도 이미지를 전처리하는 전처리부, 전처리된 주변 지도 이미지의 주변 지도 정보를 CNN(Convolutional neural network)를 이용하여 분석하는 분석부 및 분석된 주변 지도 정보를 차량의 과거 경로 정보와 융합하고, 주변 지도 정보와 차량의 과거 경로 정보 간의 연관성에 대하여 학습하여 미래 경로를 예측하는 예측부를 포함한다.
본 발명의 실시예들에 따르면 지도 이미지를 CNN(Convolutional Neural Network) 모델을 통해 임베딩(embedding)하고 이를 차량의 경로정보와 융합하여 딥러닝 신경망에 제공하여 신경망이 지도정보를 이용하여 경로를 예측할 수 있다. 본 발명의 실시예들에 따른 LSTM 구조를 기반으로 하는 딥러닝 모델이 차량 경로 예측 시 주변 지도 정보를 더욱 효과적으로 사용 할 수 있게 한다.
도 1은 본 발명의 일 실시예에 따른 차량의 주변 지도 이미지를 활용하는 딥러닝 기반 차량 경로 예측 방법을 설명하기 위한 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 지도 이미지 전처리 과정을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 차량의 주변 지도 이미지를 활용하는 딥러닝 기반 차량 경로 예측 장치의 구성을 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 차량의 주변 지도 이미지를 활용하는 딥러닝 처리 과정을 설명하기 위한 도면이다.
본 발명에서는 자율주행 시 주행 경로 계획을 위한 시스템에서 차량의 카메라, 라이더, 레이더 등의 센서를 통해 얻은 주변 차량의 경로 정보와 GPS(Global Positioning System)를 통해 얻은 주변 지도 정보를 이용해 대상 차량의 미래 경로를 예측하는 딥러닝 기법에 대해 제안하고자 한다. 기존의 딥러닝 기반의 주변 차량 경로 예측 기술은 주변 차량의 경로 정보만을 이용하여 미래 경로를 예측하였기 때문에 주변 환경 정보를 이용하지 못하였다. 본 발명에서는 지도 이미지를 CNN(Convolutional Neural Network) 모델을 통해 임베딩(embedding)하고 이를 차량의 경로정보와 융합하여 딥러닝 신경망에 제공하여 신경망이 지도정보를 이용하여 경로를 예측할 수 있도록 한다. 이때 사용되는 딥러닝 신경망인 인코더-디코더 LSTM(Encoder-Decoder Long Short-Term_Memory) 모델은 시간에 따라 순차적으로 정보를 처리 할 수 있어 예측 모델에 적합하다. 본 발명은 LSTM 구조를 기반으로 하는 딥러닝 모델이 차량 경로 예측 시 주변 지도 정보를 더욱 효과적으로 사용 할 수 있게 한다. 이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.
차량 경로 예측 기술은 자율주행 자동차에서 주행 경로를 계획하는 시스템에 적용이 가능하다. 자율주행 자동차에서 스스로 경로를 계획하기 위해서는 가려하는 경로의 위험도를 알 필요가 있다. 위험도는 주변의 차량, 도로의 상태, 보행자 등 다양한 주변 환경에 따라 달라지는데 도로위에서는 특히 주변 차량에 대한 위험도가 중요하다. 주변 차량에 대한 충돌 위험을 파악하기 위해서는 주변 차량의 미래 경로를 예측 할 필요가 있다. 본 발명은 주변 지도와 같은 주변 정보를 활용하여 경로를 예측하는 딥러닝 기술로 보다 정확한 주변 차량의 미래 경로를 예측하여 자율주행 자동차의 경로 예측 및 주행 경로 계획 기술에 적용이 가능하다.
이 기술을 적용하기 위해서는 카메라, 라이더 센서를 통해 주변 정보를 실시간으로 취득하고 이를 GPU(Graphics Processing Unit) 등을 장착한 임베디드 시스템에서 물체 인식 알고리즘을 통해 주변 차량을 검출한다. 그리고 검출된 주변 차량의 위치 정보와 GPS(Global Positioning System) 정보를 통해 얻은 주변 지도 이미지를 임베디드 시스템에서 주변 차량 예측 기술을 수행하여 주변 차량의 미래 경로를 예측하는 방법이 있다. 이를 위해서는 다양한 환경에 대한 데이터들을 확보하고 이를 통해 DNN(Deep Neural Network) 구조를 학습 시켜야 한다. 학습된 DNN(Deep Neural Network)의 계수를 저장하고 이를 임베디드 시스템에 적용하여 센서와 알고리즘으로부터 들어오는 정보를 취합하여 예측 결과를 얻도록 한다.
현재 자율주행 자동차 기술은 아직 시작단계로 차선을 인식하거나 앞차량의 위치 정도만 룰기반으로 예측하여 충돌을 방지하는 정도 수준으로 활용되고 있다. 본 발명은 카메라나 라이더 등의 센서를 통해 얻은 주변 차량 정보를 바탕으로 지도 정보를 활용하여 대상의 미래 경로를 예측하는 딥러닝 기술로 보다 고성능의 자율주행 기술에 적용이 가능하다. 이 기술을 적용한 자율주행 기술은 지금의 룰기반의 경로 예측기술에서는 파악할 수 없는 보다 복잡한 상황에서 주변 환경에 대한 이해를 바탕으로 미래 경로를 예측하기 때문에 충돌 위험 상황을 보다 정확히 예측하고 충돌을 방지하여 안전한 방향으로 주행할 수 있을 것이다.
본 발명의 실시예에 따른 예측 기술은 자율주행 자동차 뿐 아니라 자율적으로 움직이는 모든 인공지능 로봇에 사용 될 수 있으며 드론이나 소형 비행기 같은 비행체부터 대형 선박과 같은 해양 운송수단까지 인공지능을 탑재한 운송수단에서 주변 환경을 바탕으로 경로를 예측하는 상황에 향후 적용이 예상된다.
도 1은 본 발명의 일 실시예에 따른 차량의 주변 지도 이미지를 활용하는 딥러닝 기반 차량 경로 예측 방법을 설명하기 위한 흐름도이다.
제안하는 차량의 주변 지도 이미지를 활용하는 딥러닝 기반 차량 경로 예측 방법은 예측 대상 차량의 현재 위치를 중심으로 하는 주변 지도 이미지를 전처리하는 단계(110) 전처리된 주변 지도 이미지의 주변 지도 정보를 CNN(Convolutional neural network)를 이용하여 분석하는 단계(120) 및 분석된 주변 지도 정보를 차량의 과거 경로 정보와 융합하고, 주변 지도 정보와 차량의 과거 경로 정보 간의 연관성에 대하여 학습하여 미래 경로를 예측하는 단계(130)를 포함한다.
단계(110)에서, 예측 대상 차량의 현재 위치를 중심으로 하는 주변 지도 이미지를 전처리한다. 이때, 도로의 형태, 도로의 외곽선, 챠량의 과거 경로가 주변 지도 이미지 상에 표현되도록 전처리된다.
종래 기술에서는 고정된 탑뷰(top-view) 이미지를 그대로 입력으로 사용하였지만 본 발명에서는 주변 환경에 대한 정보를 얻기 위해 예측 대상 차량의 현재 위치를 중심으로 하는 지도 이미지를 사용한다. 또한 이미지를 전처리하여 딥러닝 구조가 주변 지도정보를 보다 효율적으로 분석하고 학습할 수 있도록 한다. 주변 지도 이미지는 도로의 형태와 도로의 외곽선, 과거 경로를 지도 이미지 상에 표현하도록 전처리되어 입력 이미지로 사용하며 그 예시는 도 2와 같다.
도 2는 본 발명의 일 실시예에 따른 지도 이미지 전처리 과정을 설명하기 위한 도면이다.
도 2에서의 녹색부분은 도로의 형태이고 빨간색은 도로의 외곽선, 하늘색은 대상 차량의 과거 경로를 표시한 것이다.
단계(120)에서, 전처리된 주변 지도 이미지의 주변 지도 정보를 CNN를 이용하여 분석한다. 차량의 과거 경로 정보의 시퀀스 정보는 또 다른 1-차 CNN을 통하여 분석한다. CNN을 이용하여 분석된 지도 이미지의 주변 지도 정보 벡터와 과거 경로 임베딩 벡터를 연관시킨뒤 완전 연결 레이어(fully-connected layer)를 통해 융합한 후 LSTM(Long Short-Term_Memory) 인코더로 입력한다.
단계(130)에서, 분석된 주변 지도 정보를 차량의 과거 경로 정보와 융합하고, 주변 지도 정보와 차량의 과거 경로 정보 간의 연관성에 대하여 학습하여 미래 경로를 예측한다. LSTM 인코더는 딥러닝 모델을 통해 주변 지도 정보와 차량의 과거 경로 정보를 함께 분석하여 LSTM 디코더로 전달하고, LSTM 디코더는 LSTM 인코더로부터 분석된 정보를 RNN(Recurrent Neural Network) 구조를 통해 미래 경로를 예측하여 출력한다. 이러한 과정은 과거 경로와 지도 이미지를 사용한 환경 정보의 직접적인 융합, LSTM 인코더-디코더(encoder-decoder) 구조를 통한 구조적인 효율성, 간략화된 과정을 통한 연산속도의 최적화로 인해 종래 기술이 가지던 교통 요소를 활용한 예측이 어려운 부분을 개선할 수 있다.
도 3은 본 발명의 일 실시예에 따른 차량의 주변 지도 이미지를 활용하는 딥러닝 기반 차량 경로 예측 장치의 구성을 나타내는 도면이다.
제안하는 차량의 주변 지도 이미지를 활용하는 딥러닝 기반 차량 경로 예측 장치는 전처리부(310), 분석부(320), 예측부(330)를 포함한다.
전처리부(310)는 예측 대상 차량의 현재 위치를 중심으로 하는 주변 지도 이미지를 전처리한다. 전처리부(310)는 도로의 형태, 도로의 외곽선, 챠량의 과거 경로를 주변 지도 이미지 상에 표현되도록 전처리된다.
종래 기술에서는 고정된 탑뷰(top-view) 이미지를 그대로 입력으로 사용하였지만 본 발명에서는 주변 환경에 대한 정보를 얻기 위해 예측 대상 차량의 현재 위치를 중심으로 하는 지도 이미지를 사용한다. 또한 이미지를 전처리하여 딥러닝 구조가 주변 지도정보를 보다 효율적으로 분석하고 학습할 수 있도록 한다. 주변 지도 이미지는 도로의 형태와 도로의 외곽선, 과거 경로를 지도 이미지 상에 표현하도록 전처리되어 입력 이미지로 사용한다.
분석부(320)는 전처리된 주변 지도 이미지의 주변 지도 정보를 CNN(Convolutional neural network)를 이용하여 분석한다. 분석부(320)는 차량의 과거 경로 정보의 시퀀스 정보는 또 다른 1-차 CNN을 통하여 분석한다. CNN을 이용하여 분석된 지도 이미지의 주변 지도 정보 벡터와 과거 경로 임베딩 벡터를 연관시킨뒤 완전 연결 레이어(fully-connected layer)를 통해 융합한 후 LSTM(Long Short-Term_Memory) 인코더로 입력한다.
예측부(330)는 분석된 주변 지도 정보를 차량의 과거 경로 정보와 융합하고, 주변 지도 정보와 차량의 과거 경로 정보 간의 연관성에 대하여 학습하여 미래 경로를 예측한다. 예측부(330)는 LSTM 인코더는 딥러닝 모델을 통해 주변 지도 정보와 차량의 과거 경로 정보를 함께 분석하여 LSTM 디코더로 전달하고, LSTM 디코더는 LSTM 인코더로부터 분석된 정보를 RNN(Recurrent Neural Network) 구조를 통해 미래 경로를 예측하여 출력한다. 이러한 과정은 과거 경로와 지도 이미지를 사용한 환경 정보의 직접적인 융합, LSTM 인코더-디코더(encoder-decoder) 구조를 통한 구조적인 효율성, 간략화된 과정을 통한 연산속도의 최적화로 인해 종래 기술이 가지던 교통 요소를 활용한 예측이 어려운 부분을 개선할 수 있다.
도 4는 본 발명의 일 실시예에 따른 차량의 주변 지도 이미지를 활용하는 딥러닝 처리 과정을 설명하기 위한 도면이다.
본 발명의 실시예에 따르면, 주변 환경에 대한 정보를 얻기 위해 예측 대상 차량의 현재 위치를 중심으로 하는 지도 이미지를 사용한다. 또한 이미지를 사전에 처리하여 딥러닝 구조가 주변 지도 정보를 보다 효율적으로 분석하고 학습할 수 있도록 한다. 주변 지도이미지는 도로의 형태와 도로의 외곽선, 과거 경로를 지도 이미지 상에 표현하도록 전처리되어 입력 이미지로 사용하며 그 예시는 도 2와 같다. 도 2에서의 녹색부분은 도로의 형태이고 빨간색은 도로의 외곽선, 하늘색은 대상 차량의 과거 경로를 표시한 것이다. 본 발명의 전체적인 처리 과정은 도 4와 같다.
위 설명과 같이 전처리된 주변 지도 이미지는 CNN(Convolutional neural network)을 이용하여 분석하고 과거 경로의 시퀀스 정보는 또 다른 1-차 CNN을 통하여 임베딩된다.
위 과정을 거친 주변 지도 정보 벡터(420)와 과거 경로 임베딩 벡터(410)는 상호 연관된 뒤 완전 연결 레이어(fully-connected layer)(431)를 통하여 합쳐진 후 LSTM(Long Short-Term_Memory)(431)의 입력으로 사용된다. 도 3에서 설명된 분석부(320)는 도 4의 LSTM 인코더(430)를 포함한다.
본 발명은 위의 과정을 통해 과거 경로 정보와 주변 환경에 대한 정보를 직접적으로 융합시키며 딥러닝 모델은 과거 경로 정보와 그 상황의 주변 지도 정보를 함께 분석하여 인코더 LSTM 상태 벡터(433)로 LSTM 디코더(440)로 전달한다. 도 3에서 설명된 예측부(330)는 도 4의 LSTM 디코더(440)를 포함한다.
LSTM 디코더(440)에서는 LSTM 인코더(430)로부터 온 정보를 RNN(Recurrent Neural Network) 구조를 통해 앞으로의 미래 경로를 예측하여 출력한다. 위의 과정은 과거 경로와 지도 이미지를 사용한 환경 정보의 직접적인 융합, LSTM 인코더-디코더 구조를 통한 구조적인 효율성, 간략화된 과정을 통한 연산속도의 최적화로 인해 종래의 기술이 가지던 교통 요소를 활용한 예측이 어려운 부분을 개선하였다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.　 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.　 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다.　 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다.　 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.　 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다.　 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.　 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.　 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.　 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.　 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.　
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (10)

  1. 예측 대상 차량의 현재 위치를 중심으로 하는 주변 지도 이미지를 전처리하는 단계;
    전처리된 주변 지도 이미지의 주변 지도 정보를 CNN(Convolutional neural network)를 이용하여 분석하는 단계; 및
    분석된 주변 지도 정보를 차량의 과거 경로 정보와 융합하고, 주변 지도 정보와 차량의 과거 경로 정보 간의 연관성에 대하여 학습하여 미래 경로를 예측하는 단계
    를 포함하고,
    예측 대상 차량의 현재 위치를 중심으로 하는 주변 지도 이미지를 전처리하는 단계는,
    고정된 탑뷰(top-view) 이미지를 입력으로 사용하지 않고, 주변 환경에 대한 정보를 얻기 위해 예측 대상 차량의 현재 위치를 중심으로 하는 지도 이미지를 사용하며, 도로의 형태, 도로의 외곽선, 챠량의 과거 경로가 주변 지도 이미지 상에 표현되도록 전처리되고,
    분석된 주변 지도 정보를 차량의 과거 경로 정보와 융합하고, 주변 지도 정보와 차량의 과거 경로 정보 간의 연관성에 대하여 학습하여 미래 경로를 예측하는 단계는,
    과거 경로와 지도 이미지를 사용한 환경 정보의 직접적인 융합과 교통 요소를 활용한 예측 및 연산속도의 최적화를 위해 LSTM 인코더-디코더(encoder-decoder) 구조를 이용하고,
    LSTM 인코더는 딥러닝 모델을 통해 주변 지도 정보와 차량의 과거 경로 정보를 함께 분석하여 LSTM 디코더로 전달하고,
    LSTM 디코더는 LSTM 인코더로부터 분석된 정보를 RNN(Recurrent Neural Network) 구조를 통해 미래 경로를 예측하여 출력하는
    차량 경로 예측 방법.
  2. 삭제
  3. 제1항에 있어서,
    전처리된 지도 이미지의 주변 지도 정보를 CNN(Convolutional neural network)를 이용하여 분석하는 단계는,
    차량의 과거 경로 정보의 시퀀스 정보를 또 다른 1-차 CNN을 통하여 분석하는
    차량 경로 예측 방법.
  4. 제1항에 있어서,
    전처리된 지도 이미지의 주변 지도 정보를 CNN(Convolutional neural network)를 이용하여 분석하는 단계는,
    CNN을 이용하여 분석된 지도 이미지의 주변 지도 정보 벡터와 과거 경로 임베딩 벡터를 연관시킨뒤 완전 연결 레이어(fully-connected layer)를 통해 융합한 후 LSTM(Long Short-Term_Memory) 인코더로 입력하는
    차량 경로 예측 방법.
  5. 삭제
  6. 예측 대상 차량의 현재 위치를 중심으로 하는 주변 지도 이미지를 전처리하는 전처리부;
    전처리된 주변 지도 이미지의 주변 지도 정보를 CNN(Convolutional neural network)를 이용하여 분석하는 분석부; 및
    분석된 주변 지도 정보를 차량의 과거 경로 정보와 융합하고, 주변 지도 정보와 차량의 과거 경로 정보 간의 연관성에 대하여 학습하여 미래 경로를 예측하는 예측부
    를 포함하고,
    전처리하는 전처리부는,
    고정된 탑뷰(top-view) 이미지를 입력으로 사용하지 않고, 주변 환경에 대한 정보를 얻기 위해 예측 대상 차량의 현재 위치를 중심으로 하는 지도 이미지를 사용하며, 도로의 형태, 도로의 외곽선, 챠량의 과거 경로가 주변 지도 이미지 상에 표현되도록 전처리되고,
    예측부는,
    과거 경로와 지도 이미지를 사용한 환경 정보의 직접적인 융합과 교통 요소를 활용한 예측 및 연산속도의 최적화를 위해 LSTM 인코더-디코더(encoder-decoder) 구조를 이용하고,
    LSTM 인코더는 딥러닝 모델을 통해 주변 지도 정보와 차량의 과거 경로 정보를 함께 분석하여 LSTM 디코더로 전달하고,
    LSTM 디코더는 LSTM 인코더로부터 분석된 정보를 RNN(Recurrent Neural Network) 구조를 통해 미래 경로를 예측하여 출력하는
    차량 경로 예측 장치.
  7. 삭제
  8. 제6항에 있어서,
    분석부는,
    차량의 과거 경로 정보의 시퀀스 정보를 또 다른 1-차 CNN을 통하여 분석하는
    차량 경로 예측 장치.
  9. 제6항에 있어서,
    분석부는,
    CNN을 이용하여 분석된 지도 이미지의 주변 지도 정보 벡터와 과거 경로 임베딩 벡터를 연관시킨뒤 완전 연결 레이어(fully-connected layer)를 통해 융합한 후 LSTM(Long Short-Term_Memory) 인코더로 입력하는
    차량 경로 예측 장치.
  10. 삭제
KR1020190153609A 2019-11-26 2019-11-26 차량의 주변 지도 이미지를 활용하는 딥러닝 기반 차량 경로 예측 방법 및 장치 KR102133342B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190153609A KR102133342B1 (ko) 2019-11-26 2019-11-26 차량의 주변 지도 이미지를 활용하는 딥러닝 기반 차량 경로 예측 방법 및 장치
PCT/KR2020/013490 WO2021107380A1 (ko) 2019-11-26 2020-10-05 차량의 주변 지도 이미지를 활용하는 딥러닝 기반 차량 경로 예측 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190153609A KR102133342B1 (ko) 2019-11-26 2019-11-26 차량의 주변 지도 이미지를 활용하는 딥러닝 기반 차량 경로 예측 방법 및 장치

Publications (1)

Publication Number Publication Date
KR102133342B1 true KR102133342B1 (ko) 2020-07-13

Family

ID=71570644

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190153609A KR102133342B1 (ko) 2019-11-26 2019-11-26 차량의 주변 지도 이미지를 활용하는 딥러닝 기반 차량 경로 예측 방법 및 장치

Country Status (2)

Country Link
KR (1) KR102133342B1 (ko)
WO (1) WO2021107380A1 (ko)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112389436A (zh) * 2020-11-25 2021-02-23 中汽院智能网联科技有限公司 基于改进lstm神经网络的安全性自动驾驶换道轨迹规划方法
WO2021107380A1 (ko) * 2019-11-26 2021-06-03 한양대학교 산학협력단 차량의 주변 지도 이미지를 활용하는 딥러닝 기반 차량 경로 예측 방법 및 장치
CN113076599A (zh) * 2021-04-15 2021-07-06 河南大学 一种基于长短时记忆网络的多模态车辆轨迹预测方法
CN113313941A (zh) * 2021-05-25 2021-08-27 北京航空航天大学 基于记忆网络和编码器-解码器模型的车辆轨迹预测方法
CN113361206A (zh) * 2021-06-30 2021-09-07 上海理工大学 基于地图api信息和hmm的未来能耗预测方法
CN114019947A (zh) * 2020-07-15 2022-02-08 广州汽车集团股份有限公司 一种车辆在路口处的行驶控制方法、系统及计算机可读存储介质
WO2022086167A1 (ko) * 2020-10-20 2022-04-28 주식회사 와이파워원 주행 중 무선충전을 위한 위치정보 제공 방법, 장치 및 무선충전 제어 방법
KR20220076583A (ko) * 2020-11-30 2022-06-08 재단법인대구경북과학기술원 인지 특징을 활용한 딥러닝 기반 맞춤형 자율주행 장치 및 방법
KR20230010569A (ko) 2021-07-12 2023-01-19 국민대학교산학협력단 딥러닝 기반 차량 경로 예측 장치 및 방법
KR20230131984A (ko) * 2022-03-07 2023-09-15 부산대학교 산학협력단 가변하는 운전성향을 고려한 운전자 식별 장치 및 방법 그리고 시스템
KR102614118B1 (ko) * 2022-11-24 2023-12-13 중앙대학교 산학협력단 교통 흐름 예측 장치 및 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113643542A (zh) * 2021-10-13 2021-11-12 北京理工大学 基于集成学习的多车交互环境下车辆轨迹预测方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120022305A (ko) * 2010-09-02 2012-03-12 주식회사 만도 자율 주행 차량
KR20170133149A (ko) * 2016-05-25 2017-12-05 주식회사 만도 주행 학습 기반 자율 주행 시스템 및 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4054103B2 (ja) * 1998-04-09 2008-02-27 富士通テン株式会社 走行路形状認識装置
JP4207088B2 (ja) * 2007-06-20 2009-01-14 トヨタ自動車株式会社 車両走行推定装置
KR102133342B1 (ko) * 2019-11-26 2020-07-13 한양대학교 산학협력단 차량의 주변 지도 이미지를 활용하는 딥러닝 기반 차량 경로 예측 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120022305A (ko) * 2010-09-02 2012-03-12 주식회사 만도 자율 주행 차량
KR20170133149A (ko) * 2016-05-25 2017-12-05 주식회사 만도 주행 학습 기반 자율 주행 시스템 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
박성현, 김병도, 최준원. 자율주행을 위한 딥러닝 기반 차량 경로 예측. 한국통신학회지(정보와통신), 2018.2, 35(3), pp 26-31. 1부.* *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021107380A1 (ko) * 2019-11-26 2021-06-03 한양대학교 산학협력단 차량의 주변 지도 이미지를 활용하는 딥러닝 기반 차량 경로 예측 방법 및 장치
CN114019947A (zh) * 2020-07-15 2022-02-08 广州汽车集团股份有限公司 一种车辆在路口处的行驶控制方法、系统及计算机可读存储介质
CN114019947B (zh) * 2020-07-15 2024-03-12 广州汽车集团股份有限公司 一种车辆在路口处的行驶控制方法、系统及计算机可读存储介质
WO2022086167A1 (ko) * 2020-10-20 2022-04-28 주식회사 와이파워원 주행 중 무선충전을 위한 위치정보 제공 방법, 장치 및 무선충전 제어 방법
KR20220052436A (ko) * 2020-10-20 2022-04-28 주식회사 와이파워원 주행 중 무선충전을 위한 위치정보 제공 방법, 장치 및 무선충전 제어 방법
KR102605886B1 (ko) * 2020-10-20 2023-11-27 (주)와이파워원 주행 중 무선충전을 위한 위치정보 제공 방법, 장치 및 무선충전 제어 방법
CN112389436A (zh) * 2020-11-25 2021-02-23 中汽院智能网联科技有限公司 基于改进lstm神经网络的安全性自动驾驶换道轨迹规划方法
KR102585149B1 (ko) * 2020-11-30 2023-10-10 재단법인대구경북과학기술원 인지 특징을 활용한 딥러닝 기반 맞춤형 자율주행 장치 및 방법
KR20220076583A (ko) * 2020-11-30 2022-06-08 재단법인대구경북과학기술원 인지 특징을 활용한 딥러닝 기반 맞춤형 자율주행 장치 및 방법
CN113076599A (zh) * 2021-04-15 2021-07-06 河南大学 一种基于长短时记忆网络的多模态车辆轨迹预测方法
CN113313941A (zh) * 2021-05-25 2021-08-27 北京航空航天大学 基于记忆网络和编码器-解码器模型的车辆轨迹预测方法
CN113361206A (zh) * 2021-06-30 2021-09-07 上海理工大学 基于地图api信息和hmm的未来能耗预测方法
KR20230010569A (ko) 2021-07-12 2023-01-19 국민대학교산학협력단 딥러닝 기반 차량 경로 예측 장치 및 방법
KR102589270B1 (ko) * 2022-03-07 2023-10-17 부산대학교 산학협력단 가변하는 운전성향을 고려한 운전자 식별 장치 및 방법 그리고 시스템
KR20230131984A (ko) * 2022-03-07 2023-09-15 부산대학교 산학협력단 가변하는 운전성향을 고려한 운전자 식별 장치 및 방법 그리고 시스템
KR102614118B1 (ko) * 2022-11-24 2023-12-13 중앙대학교 산학협력단 교통 흐름 예측 장치 및 방법

Also Published As

Publication number Publication date
WO2021107380A1 (ko) 2021-06-03

Similar Documents

Publication Publication Date Title
KR102133342B1 (ko) 차량의 주변 지도 이미지를 활용하는 딥러닝 기반 차량 경로 예측 방법 및 장치
US11919512B2 (en) Path prediction for a vehicle
KR102138979B1 (ko) 차선 기반의 확률론적 주변 차량 거동 예측 및 이를 이용한 종방향 제어 방법
US10696298B2 (en) Path prediction for a vehicle
US11157008B2 (en) Autonomous vehicle routing using annotated maps
JP7086911B2 (ja) 自動運転車両のためのリアルタイム意思決定
CN111258217B (zh) 实时对象行为预测
US9915951B2 (en) Detection of overhanging objects
JP2020126639A (ja) 安全な自律走行を支援する学習方法、そしてこれを利用した学習装置、テスト方法、及びテスト装置
CN113056749A (zh) 用于自主机器应用的未来对象轨迹预测
KR101934368B1 (ko) 앙상블 인공 신경망 조합을 이용한 자율 운항 선박 제어 장치 및 그 방법
Raju et al. Performance of open autonomous vehicle platforms: Autoware and Apollo
CN114072841A (zh) 根据图像使深度精准化
KR102176483B1 (ko) 차선 정보를 래스터화하여 활용하는 딥러닝 기반 차량 경로 예측 방법 및 장치
US11753012B2 (en) Systems and methods for controlling the operation of an autonomous vehicle using multiple traffic light detectors
CN111062405A (zh) 训练图像识别模型的方法和装置以及图像识别方法和装置
US20210302975A1 (en) Systems and methods for predicting road-agent trajectories in terms of a sequence of primitives
US11592810B2 (en) Systems and methods for injecting faults into an autonomy system
US20220097690A1 (en) Optical sense-compute solution for real-time navigation involving multiple vehicles
CN116776151A (zh) 可与车外人员进行自主交互的自动驾驶模型和训练方法
US20230132512A1 (en) Autonomous vehicle trajectory determination based on state transition model
KR102602271B1 (ko) 인공신경망을 이용한 주행 차량의 충돌 가능성 판단 방법 및 장치
US20230029900A1 (en) Three-dimensional object detection based on image data
US20240149895A1 (en) Map Based Annotation for Autonomous Movement Models Training
RU2763215C2 (ru) Способы и системы формирования обучающих данных для нейронной сети

Legal Events

Date Code Title Description
GRNT Written decision to grant