KR20210074193A

KR20210074193A - 궤적 예측을 위한 시스템 및 방법

Info

Publication number: KR20210074193A
Application number: KR1020200167739A
Authority: KR
Inventors: 린 선; 첸슈 루오; 다리우시 다비리
Original assignee: 삼성전자주식회사
Priority date: 2019-12-10
Filing date: 2020-12-03
Publication date: 2021-06-21
Also published as: US20210174668A1; CN112937603A; US11989952B2; EP3836013A1

Abstract

목표 차량의 위치를 예측하기 위한 시스템 및 방법이 개시된다. 프로세서는 목표 차량을 위한 궤적 정보를 수신하고 상기 궤적 정보에 기반하여 궤적 특징을 결정한다. 상기 프로세서는 상기 목표 차량의 임계 값 부근에 있는 차선의 차선 특징을 결정하고, 상기 궤적 특징 및 상기 차선 특징에 기반하여 상기 차선과 관련된 확률을 결정한다. 상기 차량이 진입할 수 있는 상기 차선은 상기 확률에 기반하여 식별된다. 또한 상기 프로세서는 상기 목표 차량 및 다른 차량들 사이의 상호작용들의 상호작용 특징들을 생성한다. 상기 프로세서는 상기 차선 특징 및 상기 궤적 특징에 기반하여 다가오는 시간 기간에 상기 목표 차량의 위치를 예측한다. 일부 실시 예들에서, 상호작용 특징들도 또한 상기 예측을 위해 사용된다.

Description

궤적 예측을 위한 시스템 및 방법 {SYSTEMS AND METHODS FOR TRAJECTORY PREDICTION}

본 발명은 자율 주행 차량에 관한 것으로, 좀 더 상세하게는 자율 주행 차량의 미래 궤적 예측에 관한 것이다.

자율 주행 차(self-driving vehicle 또는 autonomous vehicle)는 현재 환경에서 안전하게 운전하기 위해 다양한 작업을 수행한다. 이러한 작업 중 하나는 주변 차량의 궤적뿐만 아니라 미래 궤적(future trajectory)을 예측하는 것이다.

그러나 궤적 예측(trajectory prediction)은 미래의 내재적 불확실성(inherent uncertainty)과, 차량이 탐색하는 환경의 복잡성으로 인해, 종종 어려움에 직면할 수 있다. 운전자의 의도가 궤적을 결정하는 경우가 많고 의도를 추정하기 어려울 수 있으므로 궤적 예측도 어려울 수 있다. 따라서 자율 주행 차량의 궤적 예측이라는 어려운 작업(challenging task)을 처리하는 시스템과 방법을 갖는 것이 바람하다.

본 발명의 배경 기술에 기재된 상술한 정보는 본 발명의 배경 기술을 이해하는 데 도움을 주기 위한 것이기 때문에, 종래 기술을 형성하지 않는 정보를 포함할 수 있다.

본 발명은 상술한 기술적 과제를 해결하기 위한 것으로, 본 발명의 목적은 차량 주변의 교통 차선에 기초하여 타겟 차량의 미래 궤적을 예측함으로, 궤도 예측의 어려움을 해결할 수 있는 타겟 차량의 위치 예측 방법 및 시스템을 제공하는 데 있다.

본 발명의 실시 예에 따른 타겟 차량의 위치를 예측하는 방법은, 프로세서가 상기 타겟 차량에 대한 궤적 정보를 수신하는 단계; 상기 프로세서가 상기 궤적 정보에 기초하여 궤적 특징을 결정하는 단계; 상기 프로세서가 상기 타겟 차량의 임계 부근에 있는 차선의 차선 특징을 결정하는 단계; 상기 프로세서가 상기 궤적 특징 및 상기 차선 특징에 기초하여 상기 차선과 관련된 확률을 결정하는 단계; 상기 프로세서가 상기 확률에 기초하여 상기 차선을 식별하는 단계; 및 상기 프로세서가 상기 차선 특징 및 상기 궤적 특징에 기초하여 다가오는 기간에 상기 타겟 차량의 위치를 예측하는 단계를 포함할 수 있다.

상기 궤적 정보는 상기 타겟 차량의 위치 이력 및 속도 이력을 포함할 수 있다. 상기 궤적 특징을 결정하는 단계는, 상기 위치 이력을 제 1 벡터로 인코딩하는 단계; 상기 속도 이력을 제 2 벡터로 인코딩하는 단계; 및 상기 제 1 및 제 2 벡터를 연결하는 단계를 포함할 수 있다.

상기 차선은 상기 차선의 중심으로부터 샘플링된 정렬된 포인트들의 집합에 기초하여 식별되고, 상기 정렬된 포인트들의 집합은 지역 맵에 의해 제공될 수 있다. 상기 임계 부근은 상기 타겟 차량으로부터의 임계 반경을 포함할 수 있다.

상기 차선 특징을 결정하는 단계는 상기 차선의 하나 또는 그 이상의 특징을 추출하고 상기 하나 또는 그 이상의 특징을 벡터에 저장하기위한 신경망을 호출하는 단계를 포함할 수 있다.

상기 차선의 하나 또는 그 이상의 특징을 추출하는 단계는 컨볼루션 신경망을 통해 수행될 수 있다. 상기 차선과 관련된 확률을 결정하는 단계는 상기 타겟 차량이 상기 차선에 진입할 확률을 결정하는 단계를 포함할 수 있다.

상기 타겟 차량의 위치 예측 방법은, 상기 프로세서가 제 2 차량에 대한 제 2 궤적 정보를 수신하는 단계; 상기 프로세서가 상기 제 2 궤적 정보에 기초하여 제 2 궤적 특징을 결정하는 단계; 및 상기 프로세서가 상기 궤적 특징 및 상기 제 2 궤적 특징에 기초하여 상호 작용 특징을 결정하는 단계를 더 포함하되, 상기 프로세서가 상기 타겟 차량의 위치를 예측하는 것은 상기 차선 특징, 상기 궤적 특징 및 상기 상호 작용 특징에 기초할 수 있다.

상기 프로세서가 상기 타겟 차량의 임계 부근(threshold vicinity) 내에 있는 제 2 차선의 제 2 차선 특징을 결정하는 단계; 및 상기 프로세서가 상기 궤적 특징 및 상기 제 2 차선 특징에 기초하여 상기 제 2 차선과 연관된 제 2 확률을 결정하는 단계를 포함하되, 상기 예측하는 단계는 상기 제 2 차선 특징 및 상기 궤적 특징에 기초하여 다가오는 기간에 상기 타겟 차량의 제 2 위치를 예측하는 것을 포함할 수 있다.

본 발명은 타겟 차량의 위치를 예측하기 위한 시스템에 관한 것으로, 상기 시스템은, 프로세서; 및 메모리를 포함하고, 상기 메모리는 실행될 때 상기 프로세서가, 상기 타겟 차량에 대한 궤적 정보를 수신하고; 상기 궤적 정보에 기초하여 궤적 특징을 결정하고; 상기 타겟 차량의 임계 부근(threshold vicinity)에 있는 차선의 차선 특징을 결정하고; 상기 궤적 특징 및 상기 차선 특징에 기초하여 상기 차선과 관련된 확률을 결정하고; 상기 확률에 따라 상기 차선을 식별하고; 및 상기 차선 특징과 상기 궤적 특징을 기반으로 다가오는 기간에 상기 타겟 차량의 위치를 예측하도록 하는 명령을 저장할 수 있다.

상기 궤적 정보는 상기 타겟 차량의 위치 이력 및 속도 이력을 포함할 수 있다. 상기 프로세서가 상기 궤적 특징을 결정하게 하는 명령은, 상기 프로세서가, 상기 위치 이력을 제 1 벡터로 인코딩하고, 상기 속도 이력을 제 2 벡터로 인코딩하고, 상기 제 1 및 제 2 벡터를 연결하게 하는 명령을 포함할 수 있다.

상기 프로세서가 상기 차선 특징을 결정하게 하는 명령은, 상기 프로세서가 상기 차선의 하나 또는 그 이상의 특징을 추출하기 위한 신경망을 호출하고, 상기 하나 또는 그 이상의 특징을 벡터에 저장하게 하는 명령을 포함할 수 있다.

상기 차선의 하나 또는 그 이상의 특징의 추출은 컨볼루션 신경망을 통해 이루어질 수 있다. 상기 프로세서가 상기 차선과 관련된 확률을 결정하게 하는 명령은, 상기 프로세서가 상기 타겟 차량이 상기 차선에 진입할 확률을 결정하게 하는 명령을 포함할 수 있다.

상기 명령은 상기 프로세서가, 추가적으로, 제 2 차량에 대한 제 2 궤적 정보를 수신하고; 상기 제 2 궤적 정보에 기초하여 제 2 궤적 특징을 결정하고; 상기 궤적 특징과 상기 제 2 궤적 특징을 기반으로 상호 작용 특징을 결정하도록 하고, 상기 타겟 차량의 위치를 예측하는 것은 상기 차선 특징, 상기 궤적 특징 및 상기 상호 작용 특징에 기초할 수 있다.

상기 명령은 상기 프로세서가, 추가적으로, 상기 타겟 차량의 임계 부근 내에 있는 제 2 차선의 제 2 차선 특징을 결정하고; 상기 궤적 특징 및 상기 제 2 차선 특징에 기초하여 상기 제 2 차선과 관련된 제 2 확률을 결정하도록 하고, 상기 예측은 상기 제 2 차선 특징 및 상기 궤적 특징에 기초하여 다가오는 기간에 상기 타겟 차량의 제 2 위치를 예측하는 것을 포함할 수 있다.

본 발명의 실시 예에 따른 타겟 차량의 위치 예측 방법 및 시스템은 차량 주변의 교통 차선에 기초하여 타겟 차량의 미래 궤적을 예측할 수 있다. 본 발명은 차량이 이동할 가능성이 있는 하나 또는 그 이상의 타겟 차선을 예측하고, 예측된 타겟 차선에 기초하여 연관된 확률과 함께 하나 또는 그 이상의 궤적 예측(trajectory predictions)을 수행할 수 있다. 본 발명에 의하면, 차량 주변의 교통 차선에 기초하여 타겟 차량의 미래 궤적을 예측함으로, 궤도 예측의 어려움을 해결할 수 있다.

본 발명의 비제한적이고 비포괄적인 실시 예(non-limiting and non-exhaustive embodiments)는 다음 도면을 참조하여 설명되며, 여기서 동일한 참조 번호는 달리 명시되지 않는 한 다른 도면에서도 동일한 부분을 나타낸다.
도 1은 본 발명의 실시 예에 따른 타겟 자율 주행 차의 내비게이션 제어 시스템을 보여주는 블록도이다.
도 2는 본 발명의 실시 예에 따른 타겟 자율 주행 차량에서 동작하는 예측 모듈을 개념적으로 보여주는 레이아웃도이다.
도 3은 본 발명의 실시 예에 따른 타겟 차량의 근처에 있는 차선의 지역 맵을 개념적으로 보여주는 레이아웃도이다.
도 4는 본 발명의 실시 예에 따른 차선 주의 모듈을 개념적으로 보여주는 레이아웃도이다.
도 5는 본 발명의 실시 예에 따른 타겟 차량의 위치를 예측하기 위한 프로세스를 보여주는 순서도이다.

이하에서는, 본 발명의 실시 예가 첨부한 도면을 참조하여 좀 더 상세하게 설명될 것이다. 여기서 동일한 참조 번호는 본 명세서 전체에 걸쳐 동일한 구성 요소(elements)를 나타낼 수 있다. 그러나 본 발명은 여러 가지 다른 형태로 구현될 수 있으며, 여기에서 예시적으로 기재된 실시 예에 한정되는 것으로 해석되어서는 안될 것이다.

오히려, 이들 실시 예는 본 발명이 철저하고 완전하도록(thorough and complete) 예로서 제공되고, 본 발명의 측면 및 특징(aspects and features)을 당업자에게 완전히 전달할 수 있도록 제공된다. 따라서, 본 발명의 측면 및 특징을 완전하게 이해하기 위해서 당업자에게 필요하지 않은 프로세스, 요소 및 기술은 설명되지 않을 수 있다. 별도의 언급이 없는 한, 동일한 도면 부호는 첨부한 도면 및 설명을 통해 동일한 구성 요소를 나타내므로 그 설명은 반복되지 않을 수 있다. 또한, 도면에서, 요소, 계층 및 영역의 상대적 크기는 명확성을 위해 과장 및/또는 단순화될 수 있다.

물체의 미래 위치를 예측하는 것을 포함하는 궤적 예측(trajectory prediction)은 자율 주행 차량(autonomous vehicles)이 수행하는 다양한 작업 중 하나일 수 있다. 자율 주행의 경우에, 차량의 궤적은 차선 형상(lane geometry)의 영향을 받을 수 있다. 예를 들어, 운전할 때, 운전자는 일반적으로 자신의 의도 또는 목표에 근거해서, 하나 또는 그 이상의 교통 차선에 주의를 기울인다. 운전자는 일반적으로 현재 차선을 따르거나 의도한 차선을 향해 운전한다. 따라서 차량의 향후 움직임을 예측하기 위해서는 타겟 차량을 둘러싼 교통 차선을 고려하는 것이 바람직하다.

일반적으로, 본 발명의 실시 예는 차량 주변의 교통 차선에 기초하여 타겟 차량의 미래 궤적을 예측하기 위한 시스템 및 방법에 관한 것이다. 차선 정보는 차량이 이동할 가능성이 있는 하나 또는 그 이상의 타겟 차선을 예측하는 데 사용될 수 있다. 그 다음, 예측된 타겟 차선에 기초하여, 연관된 확률과 함께, 하나 또는 그 이상의 궤적 예측(trajectory predictions)이 이루어질 수 있다.

실시 예로서, 타겟 차량의 지역 부근에 있는 차선은 정렬된 지점의 집합(a set of ordered points)으로 표시될 수 있다. 정렬된 지점의 집합을 통해 차선을 나타내는 이점은 래스터화된 지도(rasterized map)보다 메모리 효율성이 더 높을 수 있다는 점이다. 또한, 지역 지도(local map)는 타겟 차량에 대해 글로벌 래스터화된 지도(global rasterized map)보다 더 정확한 지역 정보를 제공할 수 있다.

실시 예로서, 차선 인코더는 차선 표현을 위해 고정 길이 벡터(fixed-length vector)를 추출한다. 차선 표현 정보(lane representation information)는 타겟 차량이 차선 진입 확률을 예측하기 위해 차선 주의 모듈(lane attention module)에 제공될 수 있다. 자율 주행의 경우에, 차량의 현재 관측과 운전자의 의도에 대한 불확실성을 고려할 때, 타겟 차량이 진입할 수 있는 여러 차선이 있을 수 있다. 실시 예로서, 다양한 차선 각각의 확률은 타겟 차량에 대해 다른 타당한 궤적(different plausible trajectories)을 고려하기 위해 사용될 수 있다.

도 1은 본 발명의 실시 예에 따른 타겟 자율 주행 차의 내비게이션 제어 시스템을 보여주는 블록도이다. 자율 주행 차량(100)은 육상 차량(예; 자동차), 항공기(예; 비행기), 또는 이와 유사한 것(예; 수상 차량)일 수 있다. 본 발명의 실시 예는 자율 주행 차량의 내비게이션 제어 이외의 상황에서도 적용될 수 있다. 예를 들어, 본 발명의 실시 예는 증강 현실 애플리케이션, 운전자 또는 조종사 지원 애플리케이션, 매핑 애플리케이션, 및/또는 궤적 예측을 필요로 하는 다른 애플리케이션으로 확장될 수 있다.

자율 주행 차량(100)은 하나 또는 그 이상의 센서(102), 컴퓨팅 시스템(104), 그리고 하나 또는 그 이상의 차량 제어 장치(106)를 포함할 수 있다. 하나 또는 그 이상의 센서(102)는 LiDAR(Light Detection and Ranging) 시스템, RADAR(Radio Detection and Ranging) 시스템, 하나 또는 그 이상의 카메라, 지리적 위치 시스템(GPS) 등을 포함할 수 있다. 센서는 자율 주행 차량의 주변에 있는 물체의 정보를 제공하도록 구성될 수 있다. 물체는 신호등, 기타 차량, 보행자 등일 수 있다.

컴퓨팅 시스템(104)은 하나 또는 그 이상의 프로세서와 메모리를 포함할 수 있다. 메모리는 하나 또는 그 이상의 프로세서에 의해 실행될 때 하나 또는 그 이상의 프로세서가 본 명세서에 설명된 다양한 동작을 실행하게 하는 명령어를 저장할 수 있다. 실시 예로서, 명령은 하나 또는 그 이상의 프로세서로 하여금 자율 주행 차량의 미래 위치/궤적을 추정하고, 그에 따라 자율 주행 차량을 제어하게 할 수 있다.

실시 예로서, 차량 컴퓨팅 시스템(104)은 제한없이 인식 모듈(108), 예측 모듈(110), 모션 계획 모듈(111) 및 제어 모듈(112)을 포함할 수 있다. 다양한 모듈(108-112)은 기능 단위로 구별될 것으로 가정될 수 있다. 그러나 모듈의 기능이 단일 모듈로 결합되거나 통합될 수 있거나, 본 발명의 개념이나 내용를 벗어나지 않는 범위 내에서 추가 서브 모듈로 더 세분 될 수 있음은 당업자에게 자명할 것이다.

실시 예로서, 인식 모듈(108)은 하나 또는 그 이상의 센서(102)로부터의 센서 데이터에 기초하여 하나 또는 그 이상의 물체를 식별하고 주변 환경에 대한 데이터를 매핑하도록 구성될 수 있다. 맵 데이터(map data)는 자율 주행 차량의 임계 부근(threshold vicinity)에 있는 차선의 지역 맵 데이터(local map data)를 포함할 수 있다. 인식 모듈(108)은 센서 데이터 및 맵 데이터(map data)를 사용하여 자율 주행 차량 근처에 있는 물체의 현재 상태를 식별할 수 있다. 현재 상태 정보는 예를 들어, 자율 주행 차량 주변의 움직이는 물체의 궤적 뿐만 아니라, 차량이나 보행자 등과 같은 물체의 분류를 포함할 수 있다.

예측 모듈(110)은 예를 들어, 하나 또는 그 이상의 컨볼루션 신경망(CNN; Convolutional Neural Network), 순환 신경망(RNN; Recurrent Neural Network), LSTM(Long Short-Term Memory) 순환 신경망, GRUs(gated recurrent units) 등과 같은 하나 또는 그 이상의 신경망을 포함할 수 있다. 적용되는 신경망은 신경망의 각 계층 내에서 상이한 수의 계층 및 상이한 수의 노드를 포함할 수 있다.

하나 또는 그 이상의 신경망은 무엇보다도 네트워크로의 입력에 대한 관련 특징을 추출하고, 자율 주행 차량이 진입하는 하나 또는 그 이상의 차선에 대한 예측을 생성하고, 및/또는 자율 주행 자량을 위한 하나 또는 그 이상의 미래 궤적을 예측하도록 학습될 수 있다. 예측 모듈(110)의 출력은 예를 들어, 연관된 확률 값과 함께 자율 주행 차량의 예측된 미래 궤적(future trajectories)일 수 있다.

실시 예로서, 예측 모듈(110)로부터 예측된 미래 궤적은 모션 계획 모듈(111)에 제공될 수 있다. 실시 예로서, 모션 계획 모듈(111)은 예측된 미래 궤적 및 관련된 확률 값에 기초하여, 자율 주행 차량(100)에 대한 모션 계획을 결정하도록 구성될 수 있다. 이와 관련하여, 모션 계획 모듈(111)은 예측된 미래 궤적 중 하나를 안전하게 따르는 모션 계획을 생성할 수 있다.

실시 예로서, 제어 모듈(112)은 모션 계획 모듈(111)에 의한 모션 계획에 따라 자율 주행 차량(100)을 제어하기 위해 차량 제어 장치(106)에 대한 명령을 생성한다. 하나 또는 그 이상의 차량 제어 장치(106)는 제한없이 액추에이터 또는 가스 흐름, 가속, 조향, 제동 등을 제어하는 다른 장치를 포함할 수 있다. 제어 모듈(112)로부터의 명령에 기초하여, 차량 제어 장치(106)는 자율 주행 차량(100)이 이동, 정지 또는 다른 원하는 동작을 하도록 할 수 있다.

실시 예로서, 컴퓨팅 시스템(104)은 데이터 통신 네트워크(116)를 통해 학습 시스템(training system, 114)에 결합될 수 있다. 데이터 통신 네트워크는 근거리 통신망, 사설 광역 통신망(WAN) 및/또는 예를 들면, 인터넷과 같은 공용 광역 통신망(public wide area network)일 수 있다. 실시 예로서, 통신 네트워크는 코드 분할 다중 액세스(CDMA) 네트워크, 모바일 통신을 위한 글로벌 시스템 네트워크(GSM network), 또는 기술 분야에서 통상적인 무선 네트워크/기술을 포함하지만 , 3G, 4G, 5G, LTE 등에 제한될 수 있는, 무선 캐리어 네트워크를 포함할수 있다.

학습 시스템(114)은 하나 또는 그 이상의 프로세서 및 메모리를 포함할 수 있다. 메모리는 하나 또는 그 이상의 프로세서에 의해 실행될 때, 하나 또는 그 이상의 프로세서로 하여금 타겟 차량의 미래 궤적을 예측하기 위해 하나 또는 그 이상의 신경망을 학습하도록 하는 명령을 저장할 수 있다. 이와 관련하여, 학습 시스템(114)은 하나 또는 그 이상의 학습(training) 또는 학습 알고리즘(learning algorithms)을 사용하여, 하나 또는 그 이상의 신경망을 학습하기 위한 학습 모듈(118)을 포함할 수 있다. 학습 기법의 한 가지 예는 역방향 오류 전파(backwards propagation of errors)이다.

실시 예로서, 학습 모듈(118)은 학습 데이터를 사용하여 하나 또는 그 이상의 신경망을 학습시키기 위해 지도 학습 기술(supervised learning techniques)을 사용할 수 있다. 학습 데이터는 예를 들어, 지상 실측 데이터(ground truth data)를 포함할 수 있다. 지상 실측 데이터는 예를 들어 지상 실측 차선 및 지상 실측 궤적일 수 있습니다.

실시 예로서, 하나 또는 그 이상의그 이상의 신경망의 학습은 예측을 하기 위해 하나 또는 그 이상의 신경망에 지상 실측 데이터의 일부를 제공하는 것을 포함한다. 예를 들어, 하나 또는 그 이상의 신경망은 예측된 차선 의도 분류(predicted lane intention classifications), 예측된 궤적(predicted trajectories) 등을 출력할 수 있다. 예측 결과는 학습 모듈(118)에 의해 사용될 수 있다.

학습 모듈(118)은 손실 함수(loss fuction)를 적용하거나 계산할 수 있다. 손실 함수는 예측(predictions)을 지상 실측 데이터와 비교한다. 지상 실측 데이터는 신경망이 예측하려고 시도한 것이다. 학습 모듈(118)은 예를 들어 하나 또는 그 이상의 신경망과 관련된 하나 또는 그 이상의그 이상의 가중치를 변경함으로써, 하나 또는 그 이상의 신경망을 학습시키기 위해, 하나 또는 그 이상의 신경망을 통해 손실 함수를 역전파하도록 구성될 수 있다.

지상 실측 데이터를 입력하고, 손실 함수를 결정하고, 손실 함수를 역전파하는 과정은 수렴(convergence)이 달성될 때까지 다른 학습 데이터로 여러 번 반복될 수 있다. 이 시점에, 하나 또는 그 이상의 신경망이 학습된 것으로 간주될 수 있다.

도 2는 본 발명의 실시 예에 따른 타겟 자율 주행 차량(100)에서 동작하는 예측 모듈(110)을 개념적으로 보여주는 레이아웃도이다. 실시 예로서, 타겟 차량(100)의 하나 또는 그 이상의 센서(102)는 주변 물체의 센서 데이터를 캡처하고 제공할 수 있다. 주변 물체는 예를 들어, 타겟 차량(100) 근처의 다른 차량(200a-200c)일 수 있다. 근처의 다른 차량(200a-200c)의 참조 번호는 총칭하여 200으로 표기하기로 한다. 타겟 차량(100) 및 주변 차량(200)은 에이전트라고도 칭할 수 있다.

실시 예로서, 타겟 차량(100)에 설치된 하나 또는 그 이상의 센서(102)는 타겟 차량(100)의 속도 및 위치 정보뿐만 아니라 주변 차량(200)의 속도 및 위치 정보를 캡처한다. 위치 및 속도 정보(position and velocity information)는 다수의 시간 단계(multiple time steps)를 거쳐서 캡처되고, 그리고 타겟 차량(100) 및 주변 차량(200)의 궤적(202)을 결정하기 위해 인식 모듈(108)에 의해 사용될 수 있다.

실시 예로서, 인식 모듈(108)은 타겟 차량(100)의 임계 부근 또는 임계 거리(206) 내의 차선 중심의 일련의 정렬된 차선 지점(예를 들어 지리적 x, y 좌표)(204)를 포함하는 지역 지도(local map)를 획득하도록 추가로 구성될 수 있다. 임계 부근은 예를 들어, 타겟 차량(100)을 중심으로 하여 반경으로 측정한 영역을 포함할 수 있다. 지역 지도(local map)는 하나 또는 그 이상의그 이상의 센서(102)에 의해 감지된 차선을 기반으로 생성될 수 있다. 지역 지도(local map)는 또한 타겟 차량의 위치를 지역화한 다음에, 저장 장치에 저장된 미리 수집된 지도로부터 임계 부근(threshold vicinity) 내의 차선을 가져옴으로써 도출될 수 있다.

실시 예로서, 예측 모듈(110)은 궤적 인코더 모듈(208), 차선 인코더 모듈(210), 차선 주의 모듈(212), 상호 작용 네트워크 모듈(214) 및 디코더 모듈(216)를 포함한다. 예측 모듈(110)의 다양한 구성 요소(208-216)는 기능적 유닛으로 분리될 수 있는 것으로 가정되지만, 모듈의 기능이 단일 모듈로 결합되거나 통합될 수 있거나, 본 발명의 기술적 사이이나 범위를 벗어나지 않는 범위 내에서 추가 서브-모듈로 더 세분될 수 있음은 당업자에게 자명할 것이다.

궤적 인코더 모듈(208)은 타겟 차량(100) 및 주변 차량(200)에 대한 궤적의 특징을 추출하고 인코딩하도록 학습된 하나 또는 그 이상의그 이상의 신경망(예를 들어, LSTM, GRU 등)을 포함할 수 있다. 실시 예로서, 궤적 인코더 모듈(208)는 에이전트의 위치 히스토리를 제 1 벡터로 인코딩하기 위한 제 1 신경망, 및 에이전트의 속도 히스토리를 제 2 벡터로 인코딩하기 위한 제 2 신경망을 포함한다. 2개의 추출된 특징은 다음 수학식 1과 같이 에이전트에 대한 모션/궤적 특징 벡터 f_TRi를 형성하기 위해 연결될 수 있다.

여기에서, Xⁱ 및 Vⁱ는 각각 i 번째 에이전트에 대한 위치 및 속도 시퀀스이다. g1 및 g2는 위치 및 속도에 대한 LSTM 모듈이다. 그리고 ||은 연결(concatenation)을 의미한다.

차선 인코더 모듈(210)은 타겟 차량(100)의 임계 부근(206) 내의 차선 세그먼트의 특징을 추출하고 인코딩하도록 학습된 하나 또는 그 이상의 신경망을 포함할 수 있다. 실시 예로서, 차선 인코더 모듈(210)은 차선 세그먼트의 정렬된 차선 포인트 세트(204)에 기초하여 차선 특징을 추출하기 위하여, 하나 또는 그 이상의 컨볼 루션 계층(예를 들어, 2개의 1 차원 컨볼루션 층)을 갖는 컨벌루션 신경망(convolutional neural network) 및 복수 층 퍼셉트론(MLP; multiple layer perceptron)을 포함한다.

컨벌루션 신경망(convolutional neural network)의 최종 출력은 풀링되어 각 차선에 대한 고정 크기 특징 벡터(fixed size feature vector)에 저장될 수 있다. 래스터화된 지도(rasterized maps)를 사용하여 타겟 차량(100)을 둘러싼 전체 장면에 대한 특징 표현(feature representations)을 추출하는 것과는 반대로, 타겟 차량 근처의 차선만의 특징을 추출하기 위해 지역 지도를 사용하는 것은 장치에 부담을 덜 주고(lightweight) 메모리 효율도 더 높다.

차선 인코더 모듈(210)에 의해 생성된 차선에 대한 차선 특징 벡터(lane feature vectors), 및 궤적 인코더 모듈(208)에 의해 생성된 타겟 차량(100)에 대한 궤적 특징 벡터(trajectory feature vector)는, 다가오는 미래(예를 들면, 3 초 후)에 타겟 차량의 목표가 될 것으로 예측되는 하나 또는 그 이상의 타겟 차선을 식별하기 위해 차선 주의 모듈(212)에 의해 사용된다. 운전자가 의도에 따라 하나 또는 몇 개의 차선에 주의를 기울이는 것은 흔한 일이 아니다. 운전자는 의도 한 차선 중 하나의 방향을 따라 타겟 차량의 궤적을 결정하는 경향이 있다.

실시 예로서, 차선 주의 모듈(212)은 "주의"로 알려진 딥러닝 개념(deep learning concept)으로 구축된 하나 또는 그 이상의 신경망을 포함할 수 있다. 이와 관련하여, 차선에 대한 확률 분포를 결정하기 위해, 타겟 차량(100)의 궤적을 타겟 차량 주변의 차선과 상관시키기 위해 소프트 맥스 기능(softmax function)이 호출될 수 있다. 확률 분포는 타겟 차량(100)이 다양한 차선에 진입할 가능성을 설명할 수 있다.

실시 예로서, 차선 주의 모듈(212)의 출력은 타겟 차량(100)이 진입할 임계 확률(threshold probability)을 만족하는 타겟 차선으로 식별된 차선의 차선 특징이다. 타겟 차선 특징(target lane feature)은 연관된 확률 정보와 함께 출력될 수 있다. 실시 예로서, 차선 주의 모듈(212)은 대응하는 확률과 함께 대안적인 타겟 차선(alternative target lanes)의 차선 특징을 출력한다.

상호 작용 네트워크 모듈(214)은 다양한 에이전트(100, 200) 간의 상호 작용을 모델링하도록 구성될 수 있다. 일부 상황에서, 타겟 차량의 미래 궤적은 운전자의 주의를 받는 차선에 의해 영향을 받을 뿐만 아니라, 다른 차량(200)과의 상호 작용에 의해서도 영향을 받을 수있다.

실시 예로서, 상호 작용 네트워크 모듈(214)은 주의 계층을 갖는 하나 또는 그 이상의 신경망을 포함한다는 점에서 차선 주의 모듈(212)과 유사하다. 이와 관련하여, 상호 작용 네트워크 모듈(214)은 다른 차량(200)의 궤적 특징 벡터(f_TRj)와 타겟 차량(100)의 궤적 특징 벡터(f_TRv)를 얻고, 다음 수학식 2를 통해 타겟 차량 v과 j 번째 차량 간의 상호 작용 가중치 wvj를 계산할 수 있다.

여기서, W_I는 타겟 차량 궤적 및 다양한 궤적에 대한 미래에 내장되는 층(feature embedding layer)의 가중치이다. 실시 예로서, 상호 작용 네트워크 모듈(214)은 수학식 3과 같이 타겟 차량 v와 j 번째 차량 간의 상호 작용을 모델링하기 위한 최종 상호 작용 특징 사실(final interaction feature fact)을 출력하기 위해 계산된 상호 작용 가중치를 사용한다.

실시 예로서, 상호 작용 네트워크 모듈(214)은 타겟 차량(100) 근처에 있는 타겟 차량과 다른 모든 차량(200) 사이의 상호 작용에 대한 상호 작용 특징(interaction feature)을 출력한다.

실시 예로서, 디코더 모듈(216)은 표준 LSTM 네트워크 또는 임의의 다른 순환 신경망(recurrent neural network)일 수 있다. 디코더 모듈(216)은 타겟 차량(100)의 궤적 특징(trajectory feature), 상호 작용 네트워크 모듈(214)에 의해 생성된 상호 작용 특징(interaction features), 및 차선 주의 모듈(212)에 의해 생성된 타겟 차선의 특징(feature of target lane)을 수신하고, 타겟 차량(100)을 위한 예측된 미래 궤적을 출력하도록 구성될 수 있다. 실시 예로서, 예측된 미래 궤적은 수학식 4와 같이 이변량 정규 분포(bi-variate Gaussian distribution)를 사용하여 각 타임 스탬프 t에서 예측된 위치(x, y)를 포함할 수 있다.

여기에서, (μ^t _v, μ^t _y)은 평균이고, (σ^t _x, σ^t _y, ρt)은 각 타임 스탬프 t에서의 분산이다.

실시 예로서, 디코더 모듈(216)은 하나 또는 그 이상의 궤적 예측을 출력하고 각각의 예측에 확률을 할당하도록 구성될 수 있다. 이와 관련하여, 차선 주의 모듈(212)로부터의 상이한 타겟 차선 특징은 대응하는 예측 및 연관된 확률을 생성하기 위해 디코더 모듈(216)에 공급될 수 있다. 이와 관련하여, 다른 타겟 차선 특징은 자율 주행 차량의 의도로 볼 수 있다. 다양한 고정 의도(various fixed intents) (예를 들어, 차선 변경 또는 회전) 중 하나의 의도 대신에, 다양한 실시 예에 따른 의도 세트는 다양한 주행 시나리오를 처리하기 위해 동적이고 유연한 일련의 타겟 차선일 수 있다.

도 3은 본 발명의 실시 예에 따른 타겟 차량(100)의 근처에 있는 차선(302a-302d)의 지역 맵(300)을 개념적으로 보여주는 레이아웃도이다. 근처에 있는 차선(302a-302d)의 참조 번호는 총칭하여 302로 표기하기로 한다. 지역 맵(300)은 타겟 차량(100)의 위치가 변경됨에 따라 업데이트될 수 있다. 실시 예로서, 차선(302)의 중심의 세그먼트는 시작점(304) 및 끝점(306)에 의해 식별된다. 실시 예로서, 지역 맵(300)은 차선의 특징 추출을 위해, 차선 인코더 모듈(210)에 대한 일련의 차선 세그먼트의 지리적 좌표를 제공할 수 있다.

도 4는 본 발명의 실시 예에 따른 차선 주의 모듈(212)을 개념적으로 보여주는 레이아웃도이다. 다양한 실시 예에 따른 차선 주의 모듈(212)은 동적 주행 환경(dynamic driving environment)에서 다양한 수의 차선을 처리할 수 있다는 점에서 유연하다는 것을 이해해야 한다.

이와 관련하여, 차선 주의 모듈(212)은 차선 인코더 모듈(210)에 의해 생성된 다양한 수의 차선 특징 벡터(400a-400c)(총칭하여 400으로 지칭됨)를 입력으로서 수신할 수 있다. 차선 주의 모듈(212)은 또한 타겟 차량(100)에 대한 궤적 특징 벡터(402)를 입력으로서 수신할 수도 있다. 실시 예로서, 내적 계산(dot product computation)이 각 차선에 대한 주의 점수를 생성하기 위해 각 차선 특징 벡터(400)와 궤적 특징 벡터(402) 사이에서 수행될 수 있다.

생성된 스코어는 예를 들어 소프트 맥스 층과 같은 정규화 계층(404)을 통해 실행될 수 있다. 정규화 계층(404)은 각 차선과 관련된 확률을 포함하는 확률 분포로 점수를 정규화하도록 구성될 수 있다. n개의 가능한 차선의 차선 특징이 l₁, l₂, ... ,l_n이라고 가정하면, 각 차선에 대한 확률은 수학식 5와 같이 계산될 수 있다.

실시 예로서, 상호 작용 네트워크 모듈(214)은 차선 주의 모듈(212)과 유사한 구조를 포함하지만, 타겟 차량(100)의 궤적 특징을 갖는 내적 계산을 위해 차선 특징 벡터를 사용하는 대신에, 타겟 차량(100) 근처에 있는 다른 차량(200)의 궤적 특징 벡터가 사용될 수 있다.

실시 예로서, 학습 모듈(118)은 예측 모듈(110)에 의해 사용되는 하나 또는 그 이상의 신경망을 학습하기 위해 하나 또는 그 이상의 손실 함수를 사용한다. 하나 또는 그 이상의 손실 함수는 수학식 6과 같이 차선 의도 분류(lane intention classification)를 위한 차선 의도 손실 함수(lane intention loss function)를 포함할 수 있다.

여기서 n은 지역 지도의 차선 수이다.

하나 또는 그 이상의 손실 함수는 또한 수학식 7과 같이 타겟 차량의 지역이나 위치(location or position)를 예측하기 위한 궤적 손실 함수(trajectory loss function)를 포함할 수 있다.

실시 예로서, 학습 모듈(118)은 예측 모듈(110)에 의해 사용되는 하나 또는 그 이상의 신경망을 학습하기 위한 최종 손실로서 차선 의도 손실 및 궤적 손실을 사용할 수 있다. 일단 학습되면, 예측 모듈(110)은 타켓 차량(100)의 미래 위치나 궤적을 예측하는 데 사용될 수 있다.

도 5는 본 발명의 실시 예에 따른 타겟 차량의 위치를 예측하기 위한 프로세스를 보여주는 순서도이다. 도 5의 프로세스는 단계의 순서가 고정되어 있지 않지 않고, 수정되거나, 순서가 변경되거나, 다르게 수행되거나, 순차적으로 수행되거나, 동시에 수행하거나, 당업자가 인식하는 대로 원하는 순서로 변경될 수 있다.

프로세스가 시작되고, 블록 500에서, 인식 모듈(108)은 타겟 차량(100) 및 주변 차량(200)의 궤적을 식별한다. 궤적 식별(trajectory identification)은 하나 또는 그 이상의 센서(102)에 의해 제공된 센서 데이터(예를 들면, 속도 및 위치 정보)에 기반할 수 있다.

블록 502에서, 궤적 인코더 모듈(208)은 타겟 차량(100) 및 임의의 주변 차량(200)에 대한 궤적 특징(trajectory features)을 결정하기 위해 궤적 정보(trajectory information)를 사용한다.

블록 504에서, 인식 모듈(108)은 타겟 차량(100)의 임계 부근 내의 하나 또는 그 이상의 차선에 대한 차선 세그먼트(lane segments)에 대한 정보를 식별한다. 실시 예로서, 정보는 차선의 중심선을 따라 정렬된 세트 지리적 좌표(ordered set geographic coordinates)를 포함한다.

블록 506에서, 차선 인코더 모듈(210)은 식별된 차선에 대한 차선 특징을 결정하기 위해 차선 좌표(lane coordinates)를 사용한다.

블록 508에서, 차선 주의 모듈(212)은 각 차선에 대한 차선 확률을 결정하기 위해 타겟 차량(100)의 차선 특징 및 궤적 특징을 사용한다. 차선 확률은 자율 주행 차량이 차선에 진입하려는 의도로 해석될 수 있다.

블록 510에서, 상호 작용 네트워크 모듈(214)은 타겟 차량과 주변 차량의 상호 작용을 모델링하기 위해 타겟 차량(100) 및 주변 차량(200)의 궤적 특징을 사용한다. 모델링된 타겟 차량과 주변 차량 간의 상호 작용은 상호 작용 특징 벡터(interaction feature vector)로 출력될 수 있다. 타겟 차량(100)과 각각의 주변 차량(200) 간의 상호 작용을 모델링하기 위해 별도의 상호 작용 특징 벡터(interaction feature vector)가 생성될 수 있다.

블록 512에서, 디코더 모듈(216)은 타겟 차량의 차량 위치나 궤적을 예측하기 위해, 타겟 차량(100)의 궤적 특징, 상호 작용 네트워크 모듈(214)에 의해 생성된 상호 작용 특징, 그리고 차선 주의 모듈(212)에 의해 생성된 타겟 차선의 차선 특징을 입력으로서 수신한다. 예측에는 해당 확률 값이 수반될 수 있다. 실시 예로서, 연관된 확률과 함께 상이한 궤적 예측을 생성하기 위해, 상이한 타겟 차선의 상이한 차선 특징이 하나씩 디코더 모듈(216)에 공급될 수 있다. 이와 같은 방식으로, 타겟 차량의 계획 모듈(111)은 타겟 차량의 경로를 계획함에 있어 다양한 궤적을 고려할 수 있다.

실시 예로서, 위에서 설명한 타겟 차량의 위치를 예측하기 위한 시스템 및 방법은 하나 또는 그 이상의 프로세서에서 구현될 수 있다. 프로세서(processor)란 용어는 하나 또는 그 이상의 프로세서 및/또는 하나 또는 그 이상의 프로세싱 코어를 지칭할 수 있다. 하나 또는 그 이상의그 이상의 프로세서는 단일 장치에서 호스팅되거나 다중 장치(예를 들면, 클라우드 시스템)에 분산될 수 있다.

프로세서는 예를 들어, ASIC(application specific integrated circuits), 범용 또는 특수 목적 중앙 처리 장치(CPU), 디지털 신호 프로세서(DSP), 그래픽 처리 장치(GPU) 및 필드 프로그래밍 가능 게이트 어레이(FPGAs)과 같은 프로그래밍 가능 논리 장치를 포함할 수 있다.

본 명세서에서 사용되는 프로세서에서, 각각의 기능은 그 기능을 수행하도록 구성된 하드웨어, 즉 하드 와이어에 의해 수행되거나, CPU와 같은 보다 범용적인 하드웨어에 의해 수행되며, 비일시적 저장 매체(non-transitory storage medium, 예를 들면, 메모리)에 저장된 명령을 실행하도록 구성될 수 있다. 프로세서는 단일 인쇄 회로 기판(PCB)에서 제작되거나 여러 개의 상호 연결된 PCB에 분산될 수 있다. 프로세서에는 다른 처리 회로가 포함될 수 있다. 예를 들어, 처리 회로는 PCB 상에서 상호 연결된 두 개의 처리 회로, FPGA 및 CPU를 포함할 수 있다.

본 명세서에서 비록 용어 "제 1", "제 2", "제 3" 등이 다양한 요소, 구성 요소, 영역, 층 및/또는 섹션를 설명하기 위해 사용될 수 있지만, 이러한 요소, 구성 요소, 영역은 이러한 용어에 의해 제한되어서는 안될 것이다. 이러한 용어는 한 요소, 구성 요소, 영역, 레이어 또는 섹션을 다른 요소, 구성 요소, 영역, 레이어 또는 섹션과 구별하는 데 사용될 수 있다. 따라서, 본 명세서에서 설명된 제 1 요소, 구성 요소, 영역, 층 또는 섹션은 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서, 제 2 요소, 구성 요소, 영역, 층 또는 섹션으로 사용될 수도 있다.

본 명세서에서 사용된 용어는 특정 실시 예를 설명하기 위한 것이며, 본 발명을 제한하려는 의도가 아니다. 본 명세서에서 사용되는 용어인, "실질적으로", "약" 및 이와 유사한 용어는 정도의 용어가 아니라 근사값의 용어로 사용될 수 있다. 또한, 이러한 용어는 당업자가 인식한 측정되거나 계산된 값의 내재적 편차(inherent deviations)를 설명하기 위한 의도로 사용될 수 있다.

본 명세서에서 사용된 바와 같이, 단수 형태 "a" 및 "an"은 문맥상 명백하게 달리 나타내지 않는 한, 복수 형태도 포함하는 의도를 갖는 것으로 해석될 수 있다. 본 명세서에서 사용될 때, "포함한다" 및/또는 "포함하는" 이라는 용어는 언급된 특징, 정수, 단계, 연산, 요소 및/또는 구성 요소의 존재를 지정하지만, 하나 또는 그 이상의 다른 특징, 정수, 단계, 연산, 요소, 구성 요소 및/또는 그 것들의 그룹의 존재나 추가를 배제하지는 않는 것으로 해석될 수 있다.

본 명세서에서 사용되는 용어 "및/또는"은 하나 또는 그 이상의 연관된 열거된 항목들 중에서 임의의 조합 또는 모든 조합을 포함할 수 있다. "최소 하나 또는 그 이상의그 이상의"와 같은 표현은 요소 목록 앞에 올 때 전체 요소 목록을 수정하고 목록의 개별 요소를 수정하지 않는다.

또한, 본 발명의 실시 예를 설명 할 때 "할 수 있다"라는 용어는 "본 발명의 하나 또는 그 이상의 실시 예"를 의미한다. 또한, "예시적인"이라는 용어는 예 또는 예시를 나타내는 의도로 해석될 수 있다. 본 명세서에서 사용되는 용어 "사용하다(use)", "사용하는(using)" 및 "사용된(used)"은 각각 "활용하다(utilize)", "활용하는(utlizing)" 및 "활용된(utilized)"이라는 용어와 동의어로 간주 될 수 있다.

하나의 요소 또는 계층이 다른 요소 또는 계층의 "위에 있거나(on)", "연결되거나(connected to)", "커플되거나(coupled to)" 또는 "인접한(adjacent to)" 것으로 언급될 때, 다른 요소 또는 계층과 직접적으로 위에 있거나, 직접적으로 연결되거나 커플되거나 인접할 수 있고, 또한 하나 또는 그 이상의 요소 또는 계층이 그 중간에 존재할 수 있는 것으로 해석될 수 있다.

반대로, 하나의 요소 또는 계층이 다른 요소 또는 계층에 "직접 위에 있거나(directly on)", "직접 연결되거나(directly connected to)", "직접 커플되거나(directly coupled to)" 또는 "바로 인접한(immediately adjacent to)" 것으로 언급될 때, 그 중간에 다른 요소 또는 계층이 존재하지 않는 것으로 해석될 수 있다.

본 명세서에서 인용된 임의의 수치 범위는 인용된 범위 내에 포함된 동일한 수치 정밀도(same numerical precision)의 모든 하위 범위를 포함하도록 의도된 것으로 해석될 수 있다. 예를 들어, "1.0에서 10.0"의 범위는 언급된 최소값 1.0과 언급된 최대값 10.0 사이의 모든 하위 범위, 예를 들면, 최소값 1.0 이상이고 최대값 10.0 이하(예를 들면, 2.4~7.6)를 포함하는 것으로 해석될 수 있다. 본 명세서에 언급된 임의의 최대 수치 제한은 그 안에 포함된 더 낮은 모든 수치 제한을 포함하는 의도를 갖는 것으로 해석될 수 있다. 본 명세서에 언급된 임의의 최소 수치 제한은 거기에 포함된 더 높은 모든 수치 제한을 포함하는 의도를 갖는 것으로 해석될 수 있다.

타겟 차량의 위치를 예측하기 위한 시스템 및 방법의 예시적인 실시 예가 본 명세서에서 구체적으로 설명되고 예시되었지만, 많은 수정 및 변형이 당업자에게 자명할 것이다. 따라서 본 발명의 개시의 원리에 따라 구성된 타겟 차량의 위치를 예측하기 위한 시스템 및 방법은 본 명세서에서 구체적으로 설명된 것과 다른 것으로 구현될 수 있은 자명할 것이다. 본 명세서의 개시는 또한 다음의 청구 범위 및 그 균등 범위에서 정의될 수 있다.

100: 자율 주행 차량 102: 센서
104: 컴퓨팅 시스템 106: 차량 제어 장치
108: 인식 모듈 110: 예측 모듈
111: 모션 계획 모듈 112: 제어 모듈
114: 학습 시스템 116: 데이터 통신 네트워크
118: 학습 모듈 200: 주변 차량
202: 궤적 204: 표본 차선 좌표
206: 임계 부근 또는 임계 거리 208: 궤적 인코더 모듈
210: 차선 인코더 모듈 212: 차선 주의 모듈
214: 상호 작용 네트워크 모듈 216: 디코더 모듈
218: 예측된 차선

Claims

타겟 차량의 위치를 예측하는 방법에 있어서,
프로세서가 상기 타겟 차량에 대한 궤적 정보를 수신하는 단계;
상기 프로세서가 상기 궤적 정보에 기초하여 궤적 특징을 결정하는 단계;
상기 프로세서가 상기 타겟 차량의 임계 부근에 있는 차선의 차선 특징을 결정하는 단계;
상기 프로세서가 상기 궤적 특징 및 상기 차선 특징에 기초하여 상기 차선과 관련된 확률을 결정하는 단계;
상기 프로세서가 상기 확률에 기초하여 상기 차선을 식별하는 단계; 및
상기 프로세서가 상기 차선 특징 및 상기 궤적 특징에 기초하여 다가오는 기간에 상기 타겟 차량의 위치를 예측하는 단계를 포함하는 타겟 차량의 위치 예측 방법.
제 1 항에 있어서,
상기 궤적 정보는 상기 타겟 차량의 위치 이력 및 속도 이력을 포함하는 것을 특징으로하는 타겟 차량의 위치 예측 방법.
제 2 항에 있어서,
상기 궤적 특징을 결정하는 단계는,
상기 위치 이력을 제 1 벡터로 인코딩하는 단계;
상기 속도 이력을 제 2 벡터로 인코딩하는 단계; 및
상기 제 1 및 제 2 벡터를 연결하는 단계를 포함하는 타겟 차량의 위치 예측 방법.
제 1 항에 있어서,
상기 차선은 상기 차선의 중심으로부터 샘플링된 정렬된 포인트들의 집합에 기초하여 식별되고, 상기 정렬된 포인트들의 집합은 지역 맵에 의해 제공되는 타겟 차량의 위치 예측 방법.
제 1 항에 있어서,
상기 임계 부근은 상기 타겟 차량으로부터의 임계 반경을 포함하는 타겟 차량의 위치 예측 방법.
제 1 항에 있어서,
상기 차선 특징을 결정하는 단계는 상기 차선의 하나 또는 그 이상의 특징을 추출하고 상기 하나 또는 그 이상의 특징을 벡터에 저장하기위한 신경망을 호출하는 단계를 포함하는 타겟 차량의 위치 예측 방법.
제 1 항에 있어서,
상기 차선의 하나 또는 그 이상의 특징을 추출하는 단계는 컨볼루션 신경망을 통해 수행되는 타겟 차량의 위치 예측 방법.
제 1 항에 있어서,
상기 차선과 관련된 확률을 결정하는 단계는 상기 타겟 차량이 상기 차선에 진입할 확률을 결정하는 단계를 포함하는 타겟 차량의 위치 예측 방법.
제 1 항에 있어서,
상기 프로세서가 제 2 차량에 대한 제 2 궤적 정보를 수신하는 단계;
상기 프로세서가 상기 제 2 궤적 정보에 기초하여 제 2 궤적 특징을 결정하는 단계; 및
상기 프로세서가 상기 궤적 특징 및 상기 제 2 궤적 특징에 기초하여 상호 작용 특징을 결정하는 단계를 더 포함하되,
상기 프로세서가 상기 타겟 차량의 위치를 예측하는 것은 상기 차선 특징, 상기 궤적 특징 및 상기 상호 작용 특징에 기초하는 타겟 차량의 위치 예측 방법.
제 1 항에 있어서,
상기 프로세서가 상기 타겟 차량의 임계 부근(threshold vicinity) 내에 있는 제 2 차선의 제 2 차선 특징을 결정하는 단계; 및
상기 프로세서가 상기 궤적 특징 및 상기 제 2 차선 특징에 기초하여 상기 제 2 차선과 연관된 제 2 확률을 결정하는 단계를 포함하되,
상기 예측하는 단계는 상기 제 2 차선 특징 및 상기 궤적 특징에 기초하여 다가오는 기간에 상기 타겟 차량의 제 2 위치를 예측하는 것을 포함하는 타겟 차량의 위치 예측 방법.
타겟 차량의 위치를 예측하기 위한 시스템에 있어서,
프로세서; 및
메모리를 포함하고,
상기 메모리는 실행될 때 상기 프로세서가,
상기 타겟 차량에 대한 궤적 정보를 수신하고;
상기 궤적 정보에 기초하여 궤적 특징을 결정하고;
상기 타겟 차량의 임계 부근(threshold vicinity)에 있는 차선의 차선 특징을 결정하고;
상기 궤적 특징 및 상기 차선 특징에 기초하여 상기 차선과 관련된 확률을 결정하고;
상기 확률에 따라 상기 차선을 식별하고; 및
상기 차선 특징과 상기 궤적 특징을 기반으로 다가오는 기간에 상기 타겟 차량의 위치를 예측하도록 하는 명령을 저장하는 시스템.
제 11 항에 있어서,
상기 궤적 정보는 상기 타겟 차량의 위치 이력 및 속도 이력을 포함하는 시스템.
제 12 항에 있어서,
상기 프로세서가 상기 궤적 특징을 결정하게 하는 명령은,
상기 프로세서가,
상기 위치 이력을 제 1 벡터로 인코딩하고,
상기 속도 이력을 제 2 벡터로 인코딩하고,
상기 제 1 및 제 2 벡터를 연결하게 하는 명령을 포함하는 시스템.
제 11 항에 있어서,
상기 차선은 상기 차선의 중심으로부터 샘플링된 정렬된 포인트들의 집합에 기초하여 식별되고,
상기 정렬된 포인트들의 집합은 지역 맵에 의해 제공되는 시스템.
제 11 항에 있어서,
상기 임계 부근은 상기 타겟 차량으로부터의 임계 반경을 포함하는 시스템.
제 11 항에 있어서,
상기 프로세서가 상기 차선 특징을 결정하게 하는 명령은,
상기 프로세서가 상기 차선의 하나 또는 그 이상의 특징을 추출하기 위한 신경망을 호출하고, 상기 하나 또는 그 이상의 특징을 벡터에 저장하게 하는 명령을 포함하는 시스템.
제 11 항에 있어서,
상기 차선의 하나 또는 그 이상의 특징의 추출은 컨볼루션 신경망을 통해 이루어지는 시스템.
제 11 항에 있어서,
상기 프로세서가 상기 차선과 관련된 확률을 결정하게 하는 명령은,
상기 프로세서가 상기 타겟 차량이 상기 차선에 진입할 확률을 결정하게 하는 명령을 포함하는 시스템.
제 11 항에 있어서,
상기 명령은 상기 프로세서가, 추가적으로,
제 2 차량에 대한 제 2 궤적 정보를 수신하고;
상기 제 2 궤적 정보에 기초하여 제 2 궤적 특징을 결정하고;
상기 궤적 특징과 상기 제 2 궤적 특징을 기반으로 상호 작용 특징을 결정하도록 하고,
상기 타겟 차량의 위치를 예측하는 것은 상기 차선 특징, 상기 궤적 특징 및 상기 상호 작용 특징에 기초하여 수행되는 시스템.
제 11 항에 있어서,
상기 명령은 상기 프로세서가, 추가적으로,
상기 타겟 차량의 임계 부근 내에 있는 제 2 차선의 제 2 차선 특징을 결정하고;
상기 궤적 특징 및 상기 제 2 차선 특징에 기초하여 상기 제 2 차선과 관련된 제 2 확률을 결정하도록 하고,
상기 예측은 상기 제 2 차선 특징 및 상기 궤적 특징에 기초하여 다가오는 기간에 상기 타겟 차량의 제 2 위치를 예측하는 것을 포함하는 시스템.