KR20220139756A

KR20220139756A - 주변차량의 경로 예측 장치 및 그 방법

Info

Publication number: KR20220139756A
Application number: KR1020210046141A
Authority: KR
Inventors: 김준수; 김정수; 이완재; 최준원; 김병도; 이석환
Original assignee: 현대자동차주식회사; 기아 주식회사; 한양대학교 산학협력단
Priority date: 2021-04-08
Filing date: 2021-04-08
Publication date: 2022-10-17
Also published as: DE102021125136A1; CN115195772A; US20220327317A1

Abstract

본 발명은 주변차량의 경로 예측 장치 및 그 방법에 관한 것으로, 타겟차량의 과거 경로정보와 상기 타겟차량의 주변 차선정보를 학습이 완료된 LSN(Lane Selection Network)에 입력하여 기준 차선정보를 검출하고, 상기 검출한 기준 차선정보와 상기 타겟차량의 과거 경로정보를 학습이 완료된 TPN(Trajectory Prediction Network)에 입력하여 상기 타겟차량의 미래 경로정보를 출력함으로써, 상기 타겟차량의 미래경로를 정확도 높게 예측할 수 있는 주변차량의 경로 예측 장치 및 그 방법을 제공하고자 한다.
이를 위하여, 본 발명은 정밀지도와 LSN(Lane Selection Network) 및 TPN(Trajectory Prediction Network)을 저장하는 저장부; 및 상기 정밀지도에 기초하여 타겟차량의 주변 차선정보를 추출하고, 상기 타겟차량의 주변 차선정보와 상기 타겟차량의 과거 경로정보를 LSN에 입력하여 기준 차선정보를 검출하며, 상기 기준 차선정보와 상기 타겟차량의 과거 경로정보를 TPN에 입력하여 상기 타겟차량의 미래 경로정보를 예측하는 제어부를 포함할 수 있다.

Description

주변차량의 경로 예측 장치 및 그 방법{APPARATUS FOR PREDICTING TRAJECTORY OF PERIPHERAL VEHICLE AND METHOD THEREOF}

본 발명은 자율주행차량에서 주변차량 중에서 타겟차량의 미래경로(Future Trajectory)를 예측하는 기술에 관한 것이다.

일반적으로, 자율주행차량은 스스로 도로 환경을 인식하고 주행상황을 판단하며 현재 위치에서 계획된 주행경로를 따라 목표 위치까지 이동할 수 있다. 이러한 자율주행차량은 주행 안정성을 유지하기 위해 주변 차량들의 미래경로에 대한 정확한 정보를 필요로 한다.

주변 차량들의 미래경로를 예측하는 기술은 자율주행차량이 주행중에 위험상황을 판단하고 안전한 경로 계획을 세워 안정적으로 주행할 수 있게 하는 중요한 기술이다. 하지만, 실제 주행환경에서 자율주행차량은 주변의 주행환경이나 차량 등과 같은 다양한 변수의 영향을 받기 때문에 단순히 과거경로만을 이용해서는 미래 경로를 정확히 예측하기 어렵다. 따라서 안전한 자율주행을 위해서는 차량이 주행하는데 영향을 주는 요소들을 고려하여 보다 정확하게 경로를 예측하는 경로 예측 기법이 요구된다.

도로정보는 차량이 주행중에 고려하는 가장 기본적인 지표이며, 차량은 일반적으로 목적지까지 이어지는 차선(Lane)을 따라 주행한다. 따라서 도로정보는 차량의 주행 경로를 제한하는 중요한 요소이며, 차량이 주행중인 차선정보는 차량의 주행 방향성을 파악하는 중요한 지표로 작용한다. 결국, 차량 경로 예측 기법은 예측 대상 차량의 다양한 주행환경 요소 중에서도 주변 도로정보를 우선적으로 고려할 필요가 있으며, 도로정보의 적절한 활용은 경로 예측 정확도를 높이는 주요한 역할을 한다.

한편, 주변차량의 미래경로(Future Trajectory)를 예측하는 종래의 기술은, 정밀지도(High Definition Map)와 주변차량의 과거 경로정보(좌표 데이터) 및 이미지 형태의 주변 환경정보에 기초하여 주변차량의 미래경로를 예측하기 때문에, 이미지 형태의 주변 환경정보와 좌표 데이터 형태의 과거 경로정보를 서로 융합하는데 어려움이 있으며, 특히 이미지 형태의 주변 환경정보 중에서 물체정보를 주로 반영하기 때문에 주변차량의 미래 경로에 대한 예측 정확도가 떨어지는 문제점이 있다.

이 배경기술 부분에 기재된 사항은 발명의 배경에 대한 이해를 증진하기 위하여 작성된 것으로서, 이 기술이 속하는 분야에서 통상의 지식을 가진 자에게 이미 알려진 종래기술이 아닌 사항을 포함할 수 있다.

상기와 같은 종래 기술의 문제점을 해결하기 위하여, 본 발명은 타겟차량의 과거 경로정보와 상기 타겟차량의 주변 차선정보를 학습이 완료된 LSN(Lane Selection Network)에 입력하여 기준 차선정보를 검출하고, 상기 검출한 기준 차선정보와 상기 타겟차량의 과거 경로정보를 학습이 완료된 TPN(Trajectory Prediction Network)에 입력하여 상기 타겟차량의 미래 경로정보를 출력함으로써, 상기 타겟차량의 미래경로를 정확도 높게 예측할 수 있는 주변차량의 경로 예측 장치 및 그 방법을 제공하는데 그 목적이 있다.

본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 주변차량의 경로 예측 장치는, 정밀지도와 LSN(Lane Selection Network) 및 TPN(Trajectory Prediction Network)을 저장하는 저장부; 및 상기 정밀지도에 기초하여 타겟차량의 주변 차선정보를 추출하고, 상기 타겟차량의 주변 차선정보와 상기 타겟차량의 과거 경로정보를 LSN에 입력하여 기준 차선정보를 검출하며, 상기 기준 차선정보와 상기 타겟차량의 과거 경로정보를 TPN에 입력하여 상기 타겟차량의 미래 경로정보를 예측하는 제어부를 포함할 수 있다.

본 발명의 일 실시예에서, 상기 제어부는 상기 예측한 타겟차량의 미래 경로정보를 지도상에 표시할 수 있다.

본 발명의 일 실시예에서, 상기 차선정보는 각 차선의 센터 라인을 나타내는 LCV(Lane Coordinate Vector)일 수 있다.

본 발명의 일 실시예에서, 상기 제어부는 상기 타겟차량의 과거 주행경로와 가장 가까이 위치한 기준 센터 라인에 기초하여 각 차선들에 대한 센터 라인을 결정하고, 상기 타겟차량의 현재 위치를 각 센터 라인 상에 투영하며, 각 센터 라인 상에서 상기 타겟차량의 위치를 기준으로 세그먼트를 설정하고, 각 세그먼트 상의 등간격의 좌표를 차선정보로서 추출할 수 있다.

본 발명의 일 실시예에서, 상기 타겟차량의 과거 경로정보 및 미래 경로정보는 TCV(Trajectory Coordinate Vector)일 수 있다.

본 발명의 일 실시예에서, 상기 제어부는 상기 타겟차량의 과거 경로정보를 제1 CNN에 입력하여 제1 특징값을 추출하고, 상기 타겟차량의 주변 차선정보를 제2 CNN에 입력하여 제2 특징값을 추출하며, 상기 제1 특징값과 제2 특징값을 결합하여 FCN에 입력하고, 상기 FCN의 출력에 'softmax 함수'를 적용하여 각 차선에 대한 확률값을 산출하며, 가장 확률값이 높은 차선정보를 기준 차선정보로서 출력할 수 있다.

본 발명의 일 실시예에서, 상기 제어부는 상기 타겟차량의 과거 경로정보를 제3 CNN에 입력하고, 상기 제3 CNN의 출력을 제1 LSTM 네트워크에 입력하여 상기 타겟 차량의 과거 경로정보에 대한 특징값을 추출하며, 상기 타겟차량의 기준 차선정보를 제4 CNN에 입력하고, 상기 제4 CNN의 출력을 제2 LSTM 네트워크에 입력하여 상기 타겟 차량의 기준 차선정보에 대한 특징값을 추출하며, 상기 타겟 차량의 과거 경로정보에 대한 특징값과 기준 차선정보에 대한 특징값을 결합하여 FCN에 입력하고, 상기 FCN의 출력을 상기 타겟 차량의 미래 경로정보로서 출력할 수 있다.

본 발명의 일 실시예에서, 상기 제어부는 서버로부터 상기 타겟차량 주변의 정밀지도를 획득하여 상기 저장부에 저장할 수 있다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 주변차량의 경로 예측 방법은, 저장부가 정밀지도와 LSN(Lane Selection Network) 및 TPN(Trajectory Prediction Network)을 저장하는 단계; 제어부가 상기 정밀지도에 기초하여 타겟차량의 주변 차선정보를 추출하는 단계; 상기 제어부가 상기 타겟차량의 주변 차선정보와 상기 타겟차량의 과거 경로정보를 LSN에 입력하여 기준 차선정보를 검출하는 단계; 및 상기 제어부가 상기 기준 차선정보와 상기 타겟차량의 과거 경로정보를 TPN에 입력하여 상기 타겟차량의 미래 경로정보를 예측하는 단계를 포함할 수 있다.

본 발명의 일 실시예는, 상기 제어부가 상기 예측한 타겟차량의 미래 경로정보를 지도상에 표시하는 단계를 더 포함할 수 있다.

본 발명의 일 실시예는, 상기 타겟차량의 과거 주행경로와 가장 가까이 위치한 기준 센터 라인에 기초하여 각 차선들에 대한 센터 라인을 결정하는 단계; 상기 상기 타겟차량의 현재 위치를 각 센터 라인 상에 투영하는 단계; 각 센터 라인 상에서 상기 타겟차량의 위치를 기준으로 세그먼트를 설정하는 단계; 및 각 세그먼트 상의 등간격의 좌표를 차선정보로서 추출하는 단계를 포함할 수 있다.

본 발명의 일 실시예는, 상기 타겟차량의 과거 경로정보를 제1 CNN에 입력하여 제1 특징값을 추출하는 단계; 상기 타겟차량의 주변 차선정보를 제2 CNN에 입력하여 제2 특징값을 추출하는 단계; 상기 제1 특징값과 제2 특징값을 결합하여 FCN에 입력하는 단계; 상기 FCN의 출력에 'softmax 함수'를 적용하여 각 차선에 대한 확률값을 산출하는 단계; 및 가장 확률값이 높은 차선정보를 기준 차선정보로서 출력하는 단계를 포함할 수 있다.

본 발명의 일 실시예는, 상기 타겟차량의 과거 경로정보를 제3 CNN에 입력하는 단계; 상기 제3 CNN의 출력을 제1 LSTM 네트워크에 입력하여 상기 타겟 차량의 과거 경로정보에 대한 특징값을 추출하는 단계; 상기 타겟차량의 기준 차선정보를 제4 CNN에 입력하는 단계; 상기 제4 CNN의 출력을 제2 LSTM 네트워크에 입력하여 상기 타겟 차량의 기준 차선정보에 대한 특징값을 추출하는 단계; 상기 타겟 차량의 과거 경로정보에 대한 특징값과 기준 차선정보에 대한 특징값을 결합하여 FCN에 입력하는 단계; 및 상기 FCN의 출력을 상기 타겟 차량의 미래 경로정보로서 출력하는 단계를 포함할 수 있다.

본 발명의 일 실시예는, 상기 제어부가 서버로부터 상기 타겟차량 주변의 정밀지도를 획득하는 단계를 포함할 수 있다.

상기와 같은 본 발명의 일 실시예에 따른 주변차량의 경로 예측 장치 및 그 방법은, 타겟차량의 과거 경로정보와 상기 타겟차량의 주변 차선정보를 학습이 완료된 LSN(Lane Selection Network)에 입력하여 기준 차선정보를 검출하고, 상기 검출한 기준 차선정보와 상기 타겟차량의 과거 경로정보를 학습이 완료된 TPN(Trajectory Prediction Network)에 입력하여 상기 타겟차량의 미래 경로정보를 출력함으로써, 상기 타겟차량의 미래경로를 정확도 높게 예측할 수 있다.

도 1 은 본 발명의 일 실시예에 따른 주변차량의 경로 예측 장치에 대한 구성도,
도 2 는 본 발명의 일 실시예에 따른 주변차량의 경로 예측 장치에 구비된 센서부의 상세 구성도,
도 3 은 본 발명의 일 실시예에 따른 주변차량의 경로 예측 장치에 구비된 제어부의 전체 동작을 나타내는 일예시도,
도 4 는 본 발명의 일 실시예에 따른 주변차량의 경로 예측 장치에 구비된 제어부가 타겟차량 주변 차선정보를 추출하는 과정을 나타내는 일예시도,
도 5 는 본 발명의 일 실시예에 따른 주변차량의 경로 예측 장치에 구비된 제어부가 타겟차량의 기준 차선정보를 검출하는 과정을 나타내는 일예시도,
도 6 은 본 발명의 일 실시예에 따른 주변차량의 경로 예측 장치에 구비된 제어부가 타겟차량의 미래 경로정보를 예측하는 과정을 나타내는 일예시도,
도 7 은 본 발명의 일 실시예에 따른 주변차량의 경로 예측 장치에 대한 성능 분석도,
도 8 은 본 발명의 일 실시예에 따른 주변차량의 경로 예측 방법에 대한 흐름도,
도 9 는 본 발명의 일 실시예에 따른 주변차량의 경로 예측 방법을 실행하기 위한 컴퓨팅 시스템을 보여주는 블록도이다.

이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.

본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

본 발명의 실시예에서 차선(Lane)은 차량이 주행하는 차로를 의미하고, 도로는 복수의 차로(일례로, 1차로, 2차로 등)로 구성되며, 차선의 센터 라인(Center Line)은 차로의 중심을 지나는 가상의 라인을 의미한다. 이때, 가상의 라인은 일례로 LCV(Lane Coordinate Vector)로 표현될 수 있다.

도 1 은 본 발명의 일 실시예에 따른 주변차량의 경로 예측 장치에 대한 구성도이다.

도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 주변차량의 경로 예측 장치는, 를 포함할 수 있다. 이때, 본 발명의 일 실시예에 따른 주변차량의 경로 예측 장치를 실시하는 방식에 따라 각 구성요소는 서로 결합되어 하나로 구현될 수도 있고, 일부의 구성요소가 생략될 수도 있다.

상기 각 구성요소들에 대해 살펴보면, 먼저 저장부(10)는 자차(자율주행차량)의 주변에서 주행하는 타겟차량의 과거 경로정보와 상기 타겟차량의 주변 차선정보를 학습이 완료된 LSN(Lane Selection Network)에 입력하여 기준 차선정보를 검출하고, 상기 검출한 기준 차선정보와 상기 타겟차량의 과거 경로정보를 학습이 완료된 TPN(Trajectory Prediction Network)에 입력하여 상기 타겟차량의 미래 경로정보를 출력하는 과정에서 요구되는 각종 로직과 알고리즘 및 프로그램을 저장할 수 있다. 여기서, LSN과 TPN은 각각 학습이 완료된 딥러닝 모델로서 저장부(10)에 저장될 수 있다.

저장부(10)는 제어부(40)에 의해 검출된 타겟차량의 과거 경로정보 및 미래 경로정보로서 TCV(Trajectory Coordinate Vector)와, 상기 타겟차량의 주변 차선정보로서 각 차선의 센터 라인(Center Line)을 나타내는 LCV(Lane Coordinate Vector)를 저장할 수 있다.

저장부(10)는 정밀지도를 저장할 수 있다. 이때, 정밀지도는 자율주행용 지도로서, 차량의 정확한 위치 측정 및 자율주행의 안전성 강화를 위해 도로의 차선정보, 신호등 정보, 표지판 정보 등을 포함할 수 있다.

저장부(10)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 마이크로 타입(micro type), 및 카드 타입(예컨대, SD 카드(Secure Digital Card) 또는 XD 카드(eXtream Digital Card)) 등의 메모리와, 램(RAM, Random Access Memory), SRAM(Static RAM), 롬(ROM, Read-Only Memory), PROM(Programmable ROM), EEPROM(Electrically Erasable PROM), 자기 메모리(MRAM, Magnetic RAM), 자기 디스크(magnetic disk), 및 광디스크(optical disk) 타입의 메모리 중 적어도 하나의 타입의 기록 매체(storage medium)를 포함할 수 있다.

센서부(20)는 도 2에 도시된 바와 같이 자율주행차량에 장착된 각종 센서를 통칭한다.

도 2 는 본 발명의 일 실시예에 따른 주변차량의 경로 예측 장치에 구비된 센서부의 상세 구성도이다.

도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 주변차량의 경로 예측 장치에 구비된 센서부(20)는, 라이다(LiDAR: Light Detection And Ranging) 센서(21), 카메라(22), 레이더(RaDAR: Radio Detecting And Ranging) 센서(23), V2X 모듈(24), GPS(Global Positioning System) 수신기(25), 및 차량 네트워크(26)를 포함할 수 있다.

라이다 센서(21)는 환경인지 센서의 한 종류로서, 자율주행차량에 탑재되어 회전하면서 전방위에 레이저를 쏘아 반사되어 돌아오는 시간에 기초하여 반사체의 위치좌표 등을 측정할 수 있다.

카메라(22)는 자율주행차량의 실내 룸 미러 뒷쪽에 장착되어 차량 주변에 위치한 차선, 차량, 사람 등을 포함하는 영상을 촬영할 수 있다.

레이더 센서(23)는 전자기파 발사 후 물체에서 반사되는 전자기파를 수신하여 물체와의 거리, 물체의 방향 등을 측정하는 모듈로서, 자율주행차량의 전방 범퍼와 후측방에 장차될 수 있으며, 장거리 물체 인식이 가능하고 기상의 영향을 거의 받지 않는다.

V2X 모듈(24)는 V2V 모듈(Vehicle to Vehicle, 미도시)과 V2I 모듈(Vehicle to Infrastructure, 미도시)을 포함할 수 있으며, V2V 모듈은 주변차량과 통신하여 타 주변차량의 위치, 속도, 가속도, 요레이트, 진행방향 등을 획득할 수 있고, V2I 모듈은 기반시설(Infrastructure)로부터 도로의 형태, 주변 구조물, 신호등 정보(위치, 점등상태(적색, 황색, 녹색 등))를 획득할 수 있다.

GPS 수신기(25)는 3개 이상의 GPS 위성으로부터 GPS 신호를 수신한다.

차량 네트워크(26)는 자율주행차량 내 각 제어기 간의 통신을 위한 네트워크로서, CAN(Controller Area Network), LIN(Local Interconnect Network), 플렉스레이(FlexRay), MOST(Media Oriented Systems Transport), 이더넷(Ethernet) 등을 포함할 수 있다.

출력부(30)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 디스플레이부, 음향 출력 모듈 등을 포함할 수 있다.

디스플레이부는 차량용 멀티미디어 시스템에서 처리되는 정보를 표시(출력)한다. 예를 들어, 내비게이션 모드인 경우 운행과 관련되어 현재 위치나 목적지, 경로 등에 관련된 지도, 속도, 방향, 거리 지시 등과 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 블랙박스 모드 또는 촬영 모드인 경우에는 촬영된 영상 또는 UI, GUI를 표시한다.

디스플레이부는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 보는 방향에 따라 다른 영상이 표시되는 듀얼 디스플레이(예를 들어, 하나의 디스플레이를 운전석에서 보면 지도가 보이고, 조수석에서 보면 방송 화면이 보임) 중에서 적어도 하나를 포함할 수 있다.

이들 중 일부 디스플레이는 그를 통해 외부를 볼 수 있도록 투명형 또는 광투과형으로 구성될 수 있다. 이는 투명 디스플레이라 호칭될 수 있는데, 상기 투명 디스플레이의 대표적인 예로는 TOLED(Transparant OLED) 등이 있다. 디스플레이부의 후방 구조 또한 광 투과형 구조로 구성될 수 있다.

음향출력모듈은 차량용 멀티미디어 시스템에서 수행되는 기능(예를 들어, 경고음, 알림음, 경로 안내 음성 등)과 관련된 음향신호를 출력할 수 있다. 이러한 음향출력모듈은 리시버(Receiver), 스피커(speaker), 버저(Buzzer) 등이 포함할 수 있다.

제어부(40)는 상기 각 구성요소들이 제 기능을 정상적으로 수행할 수 있도록 전반적인 제어를 수행할 수 있다. 이러한 제어부(40)는 하드웨어의 형태로 구현되거나, 또는 소프트웨어의 형태로 구현되거나, 또는 하드웨어 및 소프트웨어가 결합된 형태로 구현될 수 있다. 바람직하게는, 제어부(40)는 마이크로프로세서로 구현될 수 있으나 이에 한정되는 것은 아니다.

특히, 제어부(40)는 자차(자율주행차량)의 주변에서 주행하는 타겟차량의 과거 경로정보와 상기 타겟차량의 주변 차선정보를 학습이 완료된 LSN(Lane Selection Network)에 입력하여 기준 차선정보를 검출하고, 상기 검출한 기준 차선정보와 상기 타겟차량의 과거 경로정보를 학습이 완료된 TPN(Trajectory Prediction Network)에 입력하여 상기 타겟차량의 미래 경로정보를 출력하는 과정에서 각종 제어를 수행할 수 있다.

제어부(40)는 저장부(10)에 저장되어 있는 정밀지도로부터 타겟차량의 주변 차선정보를 추출할 수 있다. 이때, 제어부(40)는 외부의 서버(미도시)로부터 타겟차량 주변의 정밀지도를 획득할 수 있다.

제어부(40)는 센서부(20)를 통해 획득한 각종 센서데이터에 기초하여 타겟차량의 과거 경로정보를 검출할 수 있다. 이러한 타겟차량의 과거 경로정보를 검출하는 기술은 종래의 기술에서도 언급한 바와 같이 주지 관용의 기술이다.

이하, 도 3 내지 도 6을 참조하여 제어부(40)에 동작에 대해 상세히 살펴보기로 한다.

도 3 은 본 발명의 일 실시예에 따른 주변차량의 경로 예측 장치에 구비된 제어부의 전체 동작을 나타내는 일예시도이다.

먼저, 제어부(40)는 저장부(10)에 저장되어 있는 정밀지도와 센서부(20)를 통해 획득한 각종 데이터에 기초하여, 타겟차량의 과거 경로정보(311)와 상기 타겟차량의 주변 차선정보(312)를 추출할 수 있다(310). 이때, 상기 타겟차량의 과거 경로정보(311)는 TCV로서 복수의 점(313)에 대응된다.

이후, 제어부(40)는 상기 타겟차량의 과거 경로정보(311)와 상기 타겟차량의 주변 차선정보(312)를 학습이 완료된 LSN(학습이 완료된 모델)에 입력하여 기준 차선정보를 검출할 수 있다(320).

이후, 제어부(40)는 상기 검출한 기준 차선정보와 상기 타겟차량의 과거 경로정보(311)를 TPN(학습이 완료된 모델)에 입력하여 상기 타겟차량의 미래 경로정보를 예측할 수 있다(330).

이후, 제어부(40)는 상기 예측된 타겟차량의 미래 경로정보(341)를 지도상에 복수의 점(342)으로 표시할 수 있다(340).

도 4 는 본 발명의 일 실시예에 따른 주변차량의 경로 예측 장치에 구비된 제어부가 타겟차량 주변 차선정보를 추출하는 과정을 나타내는 일예시도이다.

도 4에서, '410'은 타겟차량의 현재 위치를 나타내고, 점선(411)은 타겟차량의 과거 경로정보를 나타내며, '420'은 타겟차량의 주변 영역(일례로, 20m)을 나타내고, '430'은 타겟차량의 주변 차선들에 대한 센터 라인을 의미한다.

제어부(40)는 타겟차량의 과거 주행경로와 가장 가까이 위치한 센터 라인(431)을 기준으로 주변 차선들에 대한 센터 라인을 결정할 수 있다. 이때, 제어부(40)는 정밀지도를 참조할 수 있다.

제어부(40)는 타겟차량의 현재 위치를 센터 라인(431) 상에 투영하고, 센터 라인(431) 상에서 타겟차량의 위치를 기준으로 세그먼트(일례로 전방 50m, 후방 30m)를 설정하며, 상기 세그먼트 상의 등간격의 좌표를 차선정보로서 추출할 수 있다. 이러한 방식으로 각 센터 라인을 대상으로 복수의 차선정보를 추출할 수 있다. 이렇게 추출된 각 차선정보는 라벨링되어 TPN으로 입력될 수 있다.

도 5 는 본 발명의 일 실시예에 따른 주변차량의 경로 예측 장치에 구비된 제어부가 타겟차량의 기준 차선정보를 검출하는 과정을 나타내는 일예시도이다.

먼저, LSN은 복수의 CNN(Convolution Neural Network)과 FCN(Fully Connected Network) 및 'softmax 함수'를 구비할 수 있다.

이후, 제어부(40)는 경로 벡터 분석 과정으로서, 상기 타겟차량의 과거 경로정보(311)를 제1 CNN(321)에 입력하여 제1 특징값(323)을 추출할 수 있다. 이때, 제1 특징값(323)은 입력받은 정보에 상응하는 일정한 크기의 벡터를 의미한다.

그리고, 제어부(40)는 차선 벡터 분석 과정으로서, 상기 타겟차량의 주변 차선정보(312)를 제2 CNN(322)에 입력하여 K개의 제2 특징값(324)을 추출할 수 있다. 이때, 제2 특징값(324)은 각 차선을 선택하는 정도에 대응하는 값을 의미한다.

여기서, 경로정보(311)와 차선정보(312)를 처리하기 위해 LSN에 LSTM(Long Short-Term Memory)을 적용하는 것이 일반적인지만, 본 발명의 일 실시예에서는 경로정보(311)와 차선정보(312)를 하나하나 처리하는 과정에서 발생하는 연산 부하를 줄이기 위해 제1 CNN(321)과 제2 CNN(322)을 적용한다. 이러한 제1 CNN(321)과 제2 CNN(322)은 'trial and error'를 통해 전처리 역할을 수행할 수 있다.

이후, 제어부(40)는 제1 특징값(323)과 제2 특징값(324)을 결합하여 FCN에 입력한다(325).

이후, 제어부(40)는 상기 FCN의 출력에 'softmax 함수'를 적용하여 각 차선에 대한 확률값을 산출하고, 가장 확률값이 높은 차선정보를 기준 차선정보로서 출력한다(326). 이때, 각 차선의 확률값은 타겟차량이 해당 차선을 선택할 가능성을 나타낸다.

도 6 은 본 발명의 일 실시예에 따른 주변차량의 경로 예측 장치에 구비된 제어부가 타겟차량의 미래 경로정보를 예측하는 과정을 나타내는 일예시도이다.

먼저, TPN은 연속적인 시계열 데이터(일례로, 좌표)를 분석하기 위해 제3 CNN(331)과 제1 LSTM(Long Short Term Memory) 네트워크(332), 제4 CNN(334)와 제2 LSTM(335), 및 FCN을 구비할 수 있다. 이러한 TPN은 CNN과 LSTM의 연결 구조를 통해 타겟차량의 이동 궤적을 실시간으로 예측할 수 있는 것은 물론, 상기 타겟차량의 이동 궤적을 실시간으로 예측하는 과정에서 효율적으로 특징값을 추출할 수 있다.

이후, 제어부(40)는 경로 벡터 특징값 추출 과정으로서, 상기 타겟차량의 과거 경로정보(311)를 제3 CNN(331)에 입력하고, 상기 제3 CNN(331)의 출력을 제1 LSTM 네트워크(332)에 입력하여 상기 타겟차량의 과거 경로정보에 대한 특징값(333)을 추출한다.

그리고, 제어부(40)는 차선 벡터 특징값 추출 과정으로서, 상기 타겟차량의 기준 차선정보를 제4 CNN(334)에 입력하고, 상기 제4 CNN(334)의 출력을 제2 LSTM 네트워크(335)에 입력하여 상기 타겟차량의 기준 차선정보에 대한 특징값(336)을 추출한다.

이후, 제어부(40)는 상기 타겟차량의 과거 경로정보에 대한 특징값(333)과 기준 차선정보에 대한 특징값(336)을 결합하여 FCN에 입력한다(337).

이후, 제어부(40)는 FCN의 출력에 기초하여 상기 타겟차량의 미래 경로정보로 예측할 수 있다(340). 이때, 미래 경로는 일례로 향후 3초 동안의 경로일 수 있다.

도 7 은 본 발명의 일 실시예에 따른 주변차량의 경로 예측 장치에 대한 성능 분석도이다.

도 7에서, '710'은 기준 차선을 나타내고, '711'은 타겟차량의 과거 경로를 나타내며, '720'은 타겟차량의 현재 위치를 나타내고, '730'은 타겟차량이 실제 주행한 경로를 나타내며, '740'은 종래의 방식으로 예측한 타겟차량의 미래 경로를 나타내고, '750'은 본 발명의 방식으로 예측한 타겟차량의 미래 경로를 나타낸다.

도 7에 도시된 바와 같이, 종래의 방식에 의해 예측된 타겟차량의 미래 경로(740)는 타겟차량이 실제 주행한 경로(730)와 상이한 반면, 본 발명의 방식에 의해 예측된 타겟차량의 미래 경로(750)는 타겟차량이 실제 주행한 경로(730)와 동일함을 알 수 있다.

도 8 은 본 발명의 일 실시예에 따른 주변차량의 경로 예측 방법에 대한 흐름도이다.

먼저, 저장부(10)가 정밀지도와 LSN(Lane Selection Network) 및 TPN(Trajectory Prediction Network)을 저장한다(801).

이후, 제어부(40)가 상기 정밀지도에 기초하여 타겟차량의 주변 차선정보를 추출한다(802).

이후, 제어부(40)가 상기 타겟차량의 주변 차선정보와 상기 타겟차량의 과거 경로정보를 LSN에 입력하여 기준 차선정보를 검출한다(803).

이후, 제어부(40)가 상기 기준 차선정보와 상기 타겟차량의 과거 경로정보를 TPN에 입력하여 상기 타겟차량의 미래 경로정보를 예측한다(804).

도 9 는 본 발명의 일 실시예에 따른 주변차량의 경로 예측 방법을 실행하기 위한 컴퓨팅 시스템을 보여주는 블록도이다.

도 9를 참조하면, 상술한 본 발명의 일 실시예에 따른 주변차량의 경로 예측 방법은 컴퓨팅 시스템을 통해서도 구현될 수 있다. 컴퓨팅 시스템(1000)은 시스템 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.

프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory, 1310) 및 RAM(Random Access Memory, 1320)을 포함할 수 있다.

따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, SSD(Solid State Drive), 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.

따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

10: 저장부
20: 센서부
30: 출력부
40: 제어부

Claims

정밀지도와 LSN(Lane Selection Network) 및 TPN(Trajectory Prediction Network)을 저장하는 저장부; 및
상기 정밀지도에 기초하여 타겟차량의 주변 차선정보를 추출하고, 상기 타겟차량의 주변 차선정보와 상기 타겟차량의 과거 경로정보를 LSN에 입력하여 기준 차선정보를 검출하며, 상기 기준 차선정보와 상기 타겟차량의 과거 경로정보를 TPN에 입력하여 상기 타겟차량의 미래 경로정보를 예측하는 제어부
를 포함하는 주변차량의 경로 예측 장치.
제 1 항에 있어서,
상기 제어부는,
상기 예측한 타겟차량의 미래 경로정보를 지도상에 표시하는 것을 특징으로 하는 주변차량의 경로 예측 장치.
제 1 항에 있어서,
상기 차선정보는,
각 차선의 센터 라인을 나타내는 LCV(Lane Coordinate Vector)인 것을 특징으로 하는 주변차량의 경로 예측 장치.
제 3 항에 있어서,
상기 제어부는,
상기 타겟차량의 과거 주행경로와 가장 가까이 위치한 기준 센터 라인에 기초하여 각 차선들에 대한 센터 라인을 결정하고, 상기 타겟차량의 현재 위치를 각 센터 라인 상에 투영하며, 각 센터 라인 상에서 상기 타겟차량의 위치를 기준으로 세그먼트를 설정하고, 각 세그먼트 상의 등간격의 좌표를 차선정보로서 추출하는 것을 특징으로 하는 주변차량의 경로 예측 장치.
제 1 항에 있어서,
상기 타겟차량의 과거 경로정보 및 미래 경로정보는,
TCV(Trajectory Coordinate Vector)인 것을 특징으로 하는 주변차량의 경로 예측 장치.
제 1 항에 있어서,
상기 제어부는,
상기 타겟차량의 과거 경로정보를 제1 CNN에 입력하여 제1 특징값을 추출하고, 상기 타겟차량의 주변 차선정보를 제2 CNN에 입력하여 제2 특징값을 추출하며, 상기 제1 특징값과 제2 특징값을 결합하여 FCN(Fully Connected Network)에 입력하고, 상기 FCN의 출력에 'softmax 함수'를 적용하여 각 차선에 대한 확률값을 산출하며, 가장 확률값이 높은 차선정보를 기준 차선정보로서 출력하는 것을 특징으로 하는 주변차량의 경로 예측 장치.
제 1 항에 있어서,
상기 제어부는,
상기 타겟차량의 과거 경로정보를 제3 CNN에 입력하고, 상기 제3 CNN의 출력을 제1 LSTM 네트워크에 입력하여 상기 타겟 차량의 과거 경로정보에 대한 특징값을 추출하며, 상기 타겟차량의 기준 차선정보를 제4 CNN에 입력하고, 상기 제4 CNN의 출력을 제2 LSTM 네트워크에 입력하여 상기 타겟 차량의 기준 차선정보에 대한 특징값을 추출하며, 상기 타겟 차량의 과거 경로정보에 대한 특징값과 기준 차선정보에 대한 특징값을 결합하여 FCN에 입력하고, 상기 FCN의 출력을 상기 타겟 차량의 미래 경로정보로서 출력하는 것을 특징으로 하는 주변차량의 경로 예측 장치.
제 1 항에 있어서,
상기 제어부는,
서버로부터 상기 타겟차량 주변의 정밀지도를 획득하여 상기 저장부에 저장하는 것을 특징으로 하는 주변차량의 경로 예측 장치.
저장부가 정밀지도와 LSN(Lane Selection Network) 및 TPN(Trajectory Prediction Network)을 저장하는 단계;
제어부가 상기 정밀지도에 기초하여 타겟차량의 주변 차선정보를 추출하는 단계;
상기 제어부가 상기 타겟차량의 주변 차선정보와 상기 타겟차량의 과거 경로정보를 LSN에 입력하여 기준 차선정보를 검출하는 단계; 및
상기 제어부가 상기 기준 차선정보와 상기 타겟차량의 과거 경로정보를 TPN에 입력하여 상기 타겟차량의 미래 경로정보를 예측하는 단계
를 포함하는 주변차량의 경로 예측 방법.
제 9 항에 있어서,
상기 제어부가 상기 예측한 타겟차량의 미래 경로정보를 지도상에 표시하는 단계
를 더 포함하는 주변차량의 경로 예측 방법.
제 9 항에 있어서,
상기 차선정보는,
각 차선의 센터 라인을 나타내는 LCV(Lane Coordinate Vector)인 것을 특징으로 하는 주변차량의 경로 예측 방법.
제 11 항에 있어서,
상기 타겟차량의 주변 차선정보를 추출하는 단계는,
상기 타겟차량의 과거 주행경로와 가장 가까이 위치한 기준 센터 라인에 기초하여 각 차선들에 대한 센터 라인을 결정하는 단계;
상기 상기 타겟차량의 현재 위치를 각 센터 라인 상에 투영하는 단계;
각 센터 라인 상에서 상기 타겟차량의 위치를 기준으로 세그먼트를 설정하는 단계; 및
각 세그먼트 상의 등간격의 좌표를 차선정보로서 추출하는 단계
를 포함하는 주변차량의 경로 예측 방법.
제 9 항에 있어서,
상기 타겟차량의 과거 경로정보 및 미래 경로정보는,
TCV(Trajectory Coordinate Vector)인 것을 특징으로 하는 주변차량의 경로 예측 방법.
제 9 항에 있어서,
상기 기준 차선정보를 검출하는 단계는,
상기 타겟차량의 과거 경로정보를 제1 CNN에 입력하여 제1 특징값을 추출하는 단계;
상기 타겟차량의 주변 차선정보를 제2 CNN에 입력하여 제2 특징값을 추출하는 단계;
상기 제1 특징값과 제2 특징값을 결합하여 FCN에 입력하는 단계;
상기 FCN의 출력에 'softmax 함수'를 적용하여 각 차선에 대한 확률값을 산출하는 단계; 및
가장 확률값이 높은 차선정보를 기준 차선정보로서 출력하는 단계
를 포함하는 주변차량의 경로 예측 방법.
제 9 항에 있어서,
상기 타겟차량의 미래 경로정보를 예측하는 단계는,
상기 타겟차량의 과거 경로정보를 제3 CNN에 입력하는 단계;
상기 제3 CNN의 출력을 제1 LSTM 네트워크에 입력하여 상기 타겟 차량의 과거 경로정보에 대한 특징값을 추출하는 단계;
상기 타겟차량의 기준 차선정보를 제4 CNN에 입력하는 단계;
상기 제4 CNN의 출력을 제2 LSTM 네트워크에 입력하여 상기 타겟 차량의 기준 차선정보에 대한 특징값을 추출하는 단계;
상기 타겟 차량의 과거 경로정보에 대한 특징값과 기준 차선정보에 대한 특징값을 결합하여 FCN에 입력하는 단계; 및
상기 FCN의 출력을 상기 타겟 차량의 미래 경로정보로서 출력하는 단계
를 포함하는 주변차량의 경로 예측 방법.
제 9 항에 있어서,
상기 저장하는 단계는,
상기 제어부가 서버로부터 상기 타겟차량 주변의 정밀지도를 획득하는 단계
를 포함하는 주변차량의 경로 예측 방법.