KR102525191B1

KR102525191B1 - 자율주행 차량에서의 주행 경로 생성 및 제어 시스템 및 방법

Info

Publication number: KR102525191B1
Application number: KR1020200099527A
Authority: KR
Inventors: 최두섭; 김주영; 민경욱; 한승준; 최정단
Original assignee: 한국전자통신연구원
Priority date: 2020-08-07
Filing date: 2020-08-07
Publication date: 2023-04-26
Also published as: KR20220019204A; US20220041180A1; US11866067B2

Abstract

자율주행 차량을 위한 주행 경로 생성 및 제어 방법이 제공된다. 상기 방법은 상기 자율주행 차량에 결합된 적어도 하나의 센싱 모듈을 통해 상기 자율주행 차량의 외부에 대한 센싱 데이터를 획득하는 단계; 상기 센싱 데이터와 주행 의도 정보 및 목표 속도 정보를 제1 인공 신경망의 입력 데이터로 하여, 상기 주행 의도 정보에 대응하는 다수의 주행 경로를 생성하는 단계; 상기 센싱 데이터를 기반으로 인식한 객체 정보로부터 상기 다수의 주행 경로 각각에 대한 위험도를 평가하는 단계; 상기 위험도가 가장 낮은 주행 경로와 상기 목표 속도 정보를 제2 인공 신경망의 입력 데이터로 하여, 상기 자율주행 차량에 대한 조향각 정보를 결정하는 단계; 및 상기 결정된 조향각 정보에 기초하여 상기 자율주행 차량의 조향각을 제어하는 단계를 포함하며, 상기 주행 의도 정보는 상기 자율주행 차량과 연동되는 네비게이션 시스템으로부터 설정되는 주행 경로로부터 획득된다.

Description

자율주행 차량에서의 주행 경로 생성 및 제어 시스템 및 방법{SYSTEM AND METHOD FOR GENERATING AND CONTROLLING DRIVING PATHS IN AUTONOMOUS VEHICLES}

본 발명은 자율주행 차량에서의 주행 경로 생성 및 제어 시스템, 방법에 관한 것으로, 자율주행 차량의 센서 모듈로부터 센싱된 데이터에 기초하여 주행 의도에 부합하는 경로 및 조향각 정보를 생성하기 위한 시스템 및 방법에 관한 것이다.

기존의 자율주행 차량을 위한 자율주행 시스템(Autonomous Driving System, ADS)은 인식 과정, 판단 과정 및 제어 과정을 거쳐 자율주행 차량을 운전한다.

도 1은 기존 자율주행 시스템을 설명하기 위한 도면이다.

먼저, 인식 과정(S10)에서는 카메라, 라이다 등의 센서 모듈로부터 획득한 데이터를 활용하여 자율주행 차량 주변의 정적 혹은 동적 객체들을 탐색하고 추적한다. 또한, 차선, 주변 건물들을 인식하여 고정밀 지도(HD map)과 비교 후 자율주행 차량의 위치 및 자세를 예측한다.

다음으로, 판단 과정(S20)에서는 인식 과정에서의 결과물로부터 주행 의도에 맞는 다수의 경로를 생성하고, 각 경로의 위험도를 판단하여 하나의 경로를 결정한다.

다음으로, 제어 과정(S30)에서는 판단 과정에서 생성된 경로를 따라 자율주행 차량이 이동할 수 있도록 차량의 조향각과 속도를 제어한다.

이때, 종래 기술의 경우 ADS의 고정밀 지도에 대한 높은 의존성을 가지고 있으며, 이는 자율주행 차량이 다양한 환경에서 주행하는데 제약으로 작용한다.

예를 들어, 차선이 없거나 차선이 새롭게 그려진 도로의 경우, 인식 과정에서 고정밀 지도를 이용하여 자율주행 차량의 위치 및 자세를 예측하기 어려우며, 판단 과정에서 차선을 이용하여 경로를 생성하는 작업이 불가능하다.

본 발명의 실시예는 자율주행 차량의 센싱 모듈로부터 획득한 센싱 데이터에 기초하여 주행 의도에 부합하는 주행 경로를 생성하며, 생성된 주행 경로에 상응하는 조향각 정보를 결정하여 자율주행 차량의 조향각을 제어하는 자율주행 차량에서의 주행 경로 생성 및 제어 시스템 및 방법을 제공한다.

다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따른 자율주행 차량에서의 주행 경로 생성 및 제어 방법은 상기 자율주행 차량에 결합된 적어도 하나의 센싱 모듈을 통해 상기 자율주행 차량의 외부에 대한 센싱 데이터를 획득하는 단계; 상기 센싱 데이터와 주행 의도 정보 및 목표 속도 정보를 제1 인공 신경망의 입력 데이터로 하여, 상기 주행 의도 정보에 대응하는 다수의 주행 경로를 생성하는 단계; 상기 센싱 데이터를 기반으로 인식한 객체 정보로부터 상기 다수의 주행 경로 각각에 대한 위험도를 평가하는 단계; 상기 위험도가 가장 낮은 주행 경로와 상기 목표 속도 정보를 제2 인공 신경망의 입력 데이터로 하여, 상기 자율주행 차량에 대한 조향각 정보를 결정하는 단계; 및 상기 결정된 조향각 정보에 기초하여 상기 자율주행 차량의 조향각을 제어하는 단계를 포함한다. 이때, 상기 주행 의도 정보는 상기 자율주행 차량과 연동되는 네비게이션 시스템으로부터 설정되는 주행 경로로부터 획득된다.

본 발명의 일부 실시예는, 상기 자율주행 차량 또는 학습 데이터 수집 차량에서의 센싱 모듈로부터, 사용자에 의한 실제 주행 중 상기 제1 및 제2 인공 신경망의 학습용 센싱 데이터를 수집하는 단계; 상기 수집된 학습용 센싱 데이터에 각각 상응하는 상기 자율주행 차량에서의 주행 상태 정보를 부여하는 단계; 상기 주행 상태 정보가 부여된 각 학습용 센싱 데이터를 이용하여 학습 데이터를 구성하는 단계; 및 상기 학습 데이터에 기초하여 상기 제1 및 제2 인공 신경망을 학습하는 단계를 더 포함하되, 상기 학습 데이터는 시각 t에 대한 상기 학습용 센싱 데이터, 속도 정보, 참값 주행 의도 정보, 참값 조향각 정보 및 실제 경로 정보를 포함할 수 있다.

본 발명의 일부 실시예에서, 상기 주행 상태 정보가 부여된 각 학습용 센싱 데이터를 이용하여 학습 데이터를 구성하는 단계는, 상기 학습용 센싱 데이터로부터 획득된 상기 자율주행 차량 또는 학습 데이터 수집 차량의 요(yaw) 값, 피치(pitch) 값, 롤(roll) 값, 높이 값 및 위경도 값을 이용하여 변환 행렬을 산출하는 단계; 상기 변환 행렬을 이용하여 상기 시각 t 이후에 대한 상기 자율주행 차량 또는 학습 데이터 수집 차량의 전역 위치를 자기중심 좌표계(egocentric coordinate system)로 변환하는 단계; 및 상기 변환된 자기중심 좌표계를 기반으로 상기 실제 경로 정보를 획득하는 단계를 포함할 수 있다.

본 발명의 일부 실시예에서, 상기 주행 상태 정보가 부여된 각 학습용 센싱 데이터를 이용하여 학습 데이터를 구성하는 단계는, 상기 실제 경로 정보 내 각 위치에 대하여, 상기 주행 상태 정보가 부여된 각 학습용 센싱 데이터에서의 상기 자율주행 차량 또는 학습 데이터 수집 차량에 대한 상응하는 최단 위치를 검출하는 단계; 상기 검출된 위치에 대응하는 주행 상태 정보를 상기 실제 경로 정보에서의 주행 의도 정보로 획득하는 단계; 및 상기 실제 경로 정보의 주행 의도 정보 중 상기 실제 경로 정보를 대표하는 참값 주행 의도 정보를 선택하는 단계를 포함할 수 있다.

본 발명의 일부 실시예에서, 상기 실제 경로 정보의 주행 의도 정보 중 상기 실제 경로 정보를 대표하는 참값 주행 의도 정보를 선택하는 단계는, 상기 실제 경로 정보에서의 L개의 주행 의도 정보 중 최다 주행 의도 정보 또는 가장 마지막 위치에서의 주행 의도 정보를 상기 참값 주행 의도 정보로 선택할 수 있다.

본 발명의 일부 실시예에서, 상기 주행 상태 정보는 상기 주행 의도 정보와 상응하는 정보로 구성되며, 상기 주행 의도 정보 및 주행 상태 정보는 직진, 좌회전, 우회전, 유턴, 왼쪽 차선변경, 오른쪽 차선변경, 회피, 왼쪽 방향 및 오른쪽 방향 중 어느 하나일 수 있다.

본 발명의 일부 실시예는, 상기 학습 데이터를 센싱하는 센싱 모듈이 복수 개인 경우, 상기 복수 개의 각 센싱 모듈로부터 획득되는 학습용 센싱 데이터를 시계열적으로 동기화하는 단계를 더 포함할 수 있다.

본 발명의 일부 실시예에서, 상기 학습 데이터에 기초하여 상기 제1 및 제2 인공 신경망을 학습하는 단계는, 상기 제1 인공 신경망의 출력 데이터인 다수의 주행 경로와 상기 실제 경로 정보 간의 오차가 작아지도록 상기 제1 인공 신경망을 학습할 수 있다.

본 발명의 일부 실시예에서, 상기 학습 데이터에 기초하여 상기 제1 및 제2 인공 신경망을 학습하는 단계는, 상기 목표 속도 정보를 RNN(Recurrent Neural Network) 기반의 상기 제2 인공 신경망의 초기 은닉 상태 벡터로 설정하는 단계; 상기 제2 인공 신경망에 상기 실제 경로 정보 내 각 위치 및 상기 각 위치에 상응하는 은닉 상태 벡터를 순차적으로 입력시키는 단계; 상기 제2 인공 신경망의 종단에서의 은닉 상태 벡터를 조향각 정보로 획득하는 단계; 및 상기 획득한 조향각 정보와 상기 참값 조향각 정보 간의 오차가 작아지도록 상기 제2 인공 신경망을 학습하는 단계를 포함할 수 있다.

본 발명의 일부 실시예에서, 상기 주행 의도 정보에 대응하는 다수의 주행 경로를 생성하는 단계는, 상기 센싱 데이터를 CNN(Convolution Neural Network) 기반의 특징 추출 알고리즘의 입력 데이터로 하여 특징 벡터를 추출하는 단계; 및 상기 특징 벡터와 상기 목표 속도 정보, 주행 의도 정보 및 노이즈 벡터를 RNN(Recurrent Neural Network) 기반의 경로 생성 알고리즘의 입력 데이터로 하되, 상기 노이즈 벡터를 반복적으로 가변시켜 상기 다수의 주행 경로를 생성하는 단계를 포함할 수 있다.

본 발명의 일부 실시예에서, 상기 노이즈 벡터를 반복적으로 상기 다수의 주행 경로를 생성하는 단계는, 주행 경로에서의 l번째 위치 및 상기 l번째 위치에 상응하는 은닉 상태 벡터를 상기 RNN 기반의 경로 생성 알고리즘의 입력 데이터로 입력시키는 단계; 상기 입력에 대한 출력으로 획득한 l+1번째 은닉 상태 벡터 및 상기 특징 벡터에 기초하여 상기 주행 경로 내 l+1번째 위치를 획득하는 단계; 및 상기 주행 경로에 대하여 상기 노이즈 벡터를 반복적으로 가변시켜 상기 다수의 주행 경로를 생성하는 단계를 포함할 수 있다.

또한, 본 발명의 제2 측면에 따른 자율주행 차량을 위한 주행 경로 생성 및 제어 시스템은 상기 자율주행 차량에 결합되어, 상기 자율주행 차량의 외부에 대한 센싱 데이터를 획득하는 적어도 하나의 센싱 모듈, 상기 센싱 데이터에 기초하여 상기 자율주행 차량을 위한 다수의 주행 경로를 생성하고, 상기 생성된 다수의 주행 경로 중 어느 하나에 상응하는 조향각 정보를 결정하기 위한 프로그램이 저장된 메모리 및 상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함한다. 이때, 상기 프로세서는 상기 프로그램을 실행시킴에 따라, 상기 센싱 데이터와 상기 자율주행 차량과 연동되는 네비게이션 시스템으로부터 설정되는 주행 의도 정보, 그리고 목표 속도 정보를 제1 인공 신경망의 입력 데이터로 하여, 상기 주행 의도 정보에 대응하는 다수의 주행 경로를 생성하고, 상기 센싱 데이터를 기반으로 인식한 객체 정보로부터 상기 다수의 주행 경로 각각에 대한 위험도를 평가하며, 상기 위험도가 가장 낮은 주행 경로와 상기 목표 속도 정보를 제2 인공 신경망의 입력 데이터로 하여, 상기 자율주행 차량에 대한 조향각 정보를 결정하여 상기 자율주행 차량의 조향각을 제어한다.

본 발명의 일부 실시예에서, 상기 프로세서는 상기 센싱 데이터를 CNN(Convolution Neural Network) 기반의 특징 추출 알고리즘의 입력 데이터로 하여 특징 벡터를 추출하고, 상기 특징 벡터와 상기 목표 속도 정보, 주행 의도 정보 및 노이즈 벡터를 RNN(Recurrent Neural Network) 기반의 경로 생성 알고리즘의 입력 데이터로 하되, 상기 노이즈 벡터를 반복적으로 가변시켜 상기 다수의 주행 경로를 생성할 수 있다.

본 발명의 일부 실시예에서, 상기 프로세서는, 주행 경로에서의 l번째 위치 및 상기 l번째 위치에 상응하는 은닉 상태 벡터를 상기 RNN 기반의 경로 생성 알고리즘의 입력 데이터로 입력시키고, 상기 입력에 대한 출력으로 획득한 l+1번째 은닉 상태 벡터 및 상기 특징 벡터에 기초하여 상기 주행 경로 내 l+1번째 위치를 획득한 후, 상기 주행 경로에 대하여 상기 노이즈 벡터를 반복적으로 가변시켜 상기 다수의 주행 경로를 생성할 수 있다.

본 발명의 일부 실시예에서, 상기 프로세서는 상기 자율주행 차량 또는 학습 데이터 수집 차량에서의 센싱 모듈로부터, 사용자에 의한 실제 주행 중 상기 제1 및 제2 인공 신경망의 학습용 센싱 데이터를 수집하고, 상기 학습용 센싱 데이터에 각각 상응하는 상기 자율주행 차량에서의 주행 상태 정보를 부여하며, 상기 주행 상태 정보가 부여된 각 학습용 센싱 데이터를 이용하여 학습 데이터를 구성하고, 상기 학습 데이터에 기초하여 상기 제1 및 제2 인공 신경망을 학습하며, 상기 학습 데이터는 시각 t에 대한 상기 학습용 센싱 데이터, 속도 정보, 참값 주행 의도 정보, 조향각 정보 및 실제 경로 정보를 포함할 수 있다.

본 발명의 일부 실시예에서, 상기 프로세서는 상기 학습용 센싱 데이터로부터 획득된 상기 자율주행 차량 또는 학습 데이터 수집 차량의 요(yaw) 값, 피치(pitch) 값, 롤(roll) 값, 높이 값 및 위경도 값을 이용하여 변환 행렬을 산출하고, 상기 변환 행렬을 이용하여 상기 시각 t 이후에 대한 상기 자율주행 차량 또는 학습 데이터 수집 차량의 전역 위치를 자기중심 좌표계(egocentric coordinate system)로 변환한 후, 상기 변환된 자기중심 좌표계를 기반으로 상기 실제 경로 정보를 획득할 수 있다.

본 발명의 일부 실시예에서, 상기 프로세서는 상기 실제 경로 정보 내 각 위치에 대하여, 상기 주행 상태 정보가 부여된 각 학습용 센싱 데이터에서의 상기 자율주행 차량 또는 학습 데이터 수집 차량에 대한 상응하는 최단 위치를 검출하고, 상기 검출된 위치에 대응하는 주행 상태 정보를 상기 실제 경로 정보에서의 주행 의도 정보로 획득하며, 상기 실제 경로 정보의 주행 의도 정보 중 상기 실제 경로 정보를 대표하는 참값 주행 의도 정보를 선택할 수 있다.

본 발명의 일부 실시예에서, 상기 프로세서는 상기 실제 경로 정보에서의 L개의 주행 의도 정보 중 최다 주행 의도 정보 또는 가장 마지막 위치에서의 주행 의도 정보를 상기 참값 주행 의도 정보로 선택할 수 있다.

본 발명의 일부 실시예에서, 상기 프로세서는 상기 제1 인공 신경망의 출력 데이터인 다수의 주행 경로와 상기 실제 경로 정보 간의 오차가 작아지도록 상기 제1 인공 신경망을 학습하며, 상기 목표 속도 정보를 RNN(Recurrent Neural Network) 기반의 상기 제2 인공 신경망의 초기 은닉 상태 벡터로 설정하고, 상기 제2 인공 신경망에 상기 실제 경로 정보 내 각 위치 및 상기 각 위치에 상응하는 은닉 상태 벡터를 순차적으로 입력시켜, 상기 제2 인공 신경망의 종단에서의 은닉 상태 벡터를 조향각 정보로 획득한 후, 상기 획득한 조향각 정보와 상기 참값 조향각 정보 간의 오차가 작아지도록 상기 제2 인공 신경망을 학습할 수 있다.

이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.

상기와 같은 본 발명에 따르면, 고정밀 지도가 없이 주행 의도 정보에 부합하는 주행 경로 및 조향각을 생성하여 자율 주행 차량을 제어할 수 있다.

이에 따라, 차선이 없는 도로 등 다양한 환경에서의 자율 주행이 가능하다는 장점이 있다.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 기존 자율주행 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 주행 경로 생성 및 제어 방법의 순서도이다.
도 3은 제1 인공 신경망에 의해 생성되는 주행 경로를 설명하기 위한 도면이다.
도 4는 제1 인공 신경망에 의해 생성된 다수의 주행 경로의 일 예시를 도시한 도면이다.
도 5는 제2 인공 신경망을 설명하기 위한 도면이다.
도 6은 제1 및 제2 인공 신경망을 학습하는 과정을 설명하기 위한 순서도이다.
도 7은 학습용 센싱 데이터를 동기화하는 일 예시를 설명하기 위한 도면이다.
도 8은 실제 경로 정보를 획득하는 내용을 설명하기 위한 순서도이다.
도 9는 실제 경로 정보를 획득하는 일 예시를 도시한 도면이다.
도 10은 참값 주행 의도 정보를 획득하는 내용을 설명하기 위한 순서도이다.
도 11은 참값 주행 의도 정보를 획득하는 일 예시를 도시한 도면이다.
도 12 및 도 13는 제1 인공 신경망을 설명하기 위한 도면이다.
도 14는 제2 인공 신경망을 설명하기 위한 도면이다.
도 15는 본 발명의 일 실시예에 따른 주행 경로 생성 및 제어 시스템을 설명하기 위한 도면이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

이하에서는 도 2 내지 도 14를 참조하여 본 발명의 일 실시예에 따른 자율주행 차량을 위한 주행 경로 생성 및 제어 시스템(100)에 의해 수행되는 방법에 대하여 설명하도록 한다.

도 2는 본 발명의 일 실시예에 따른 주행 경로 생성 및 제어 방법의 순서도이다.

먼저, 자율주행 차량에 결합된 적어도 하나의 센싱 모듈을 통해 자율주행 차량의 외부에 대한 센싱 데이터를 획득한다(S110).

일 실시예로, 센싱 모듈은 적어도 하나의 스테레오 카메라, 라이더, 레이더, GPS, IMU 등으로 구성될 수 있으며, 센싱 데이터는 이러한 센싱 모듈을 통해 획득되는 로우 데이터(raw data)를 의미한다.

센싱 모듈은 자율주행 차량의 외부 환경을 센싱하며, 일 예로 전후방 차량, 측면 차량, 사람, 바이크 등과 같이 인도 또는 차도에서 이동 중인 객체를 센싱하거나, 차선, 건물, 신호등, 횡단보도 등 고정된 객체를 센싱할 수 있다. 센싱 모듈을 통한 센싱 데이터는 별도의 인식 과정을 통해 객체 정보로 가공된다. 예를 들어, 인식 과정을 통해 이동 중 또는 고정된 객체를 인식하거나, 객체 간의 상대 거리, 주행 가능 영역 등을 객체 정보로 획득할 수 있다.

다음으로, 센싱 모듈을 통한 센싱 데이터와, 주행 의도 정보 및 목표 속도 정보를 제1 인공 신경망의 입력 데이터로 하여, 주행 의도 정보에 대응하는 다수의 주행 경로를 생성한다(S120).

여기에서 주행 의도 정보는 직진, 좌회전, 우회전, 유턴, 왼쪽 차선변경, 오른쪽 차선변경, 회피, 왼쪽 방향 및 오른쪽 방향 중 어느 하나로 선언되며, 자율주행 차량과 연동되는 네비게이션 시스템으로부터 설정되는 주행 경로로부터 획득될 수 있다. 또는, 주행 의도 정보 및 목표 속도 정보는 사용자에 의해 네비게이션 시스템, 기타 자율주행 차량 내 다양한 인터페이스를 통해 직접 입력될 수도 있다.

도 3은 제1 인공 신경망에 의해 생성되는 주행 경로를 설명하기 위한 도면이다. 도 4는 제1 인공 신경망에 의해 생성된 다수의 주행 경로의 일 예시를 도시한 도면이다.

센싱 모듈로부터 획득한 로우 데이터인 센싱 데이터를 I, 주행 의도 정보를 a, 목표 속도 정보를 s, 그리고 k번째 차량의 주행 경로를 p^k=[p₁, p₂,??,p_L]로 정의하여 도 3의 (a)와 같은 제1 인공 신경망의 입출력으로 설정하게 되면, 제1 인공 신경망은 도 3의 (b)와 같이 주행 의도 정보에 대응하는 다수의 주행 경로를 생성한다. 이때, 도 3의 (b)는 생성된 3개의 주행 경로를 자기 중심 좌표계(egocentric coordinate system)에서 나타낸 것이다.

도 4를 참조하면, 붉은색 선은 자율주행 차량이 실제 주행 경로를 나타내며, 파란색, 노란색, 녹색, 하늘색 경로는 각각 '직진', '좌회전', '우회전', '유턴'의 주행 의도 정보로 생성된 다수의 주행 경로를 나타낸다.

도 4에 도시된 바와 같이, 제1 인공 신경망을 이용할 경우 실제 주행한 경로와 매우 유사한 경로를 생성할 뿐만 아니라, 동일한 주행 의도를 갖는 다양한 경로를 생성할 수 있음을 확인할 수 있다.

한편, 제1 인공 신경망의 구조 및 이를 학습하는 구체적인 내용은 후술하도록 한다.

다음으로, 센싱 데이터를 기반으로 인식한 객체 정보로부터 다수의 주행 경로 각각에 대한 위험도를 평가하고(S130), 위험도가 가장 낮은 주행 경로와 목표 속도 정보를 제2 인공 신경망의 입력 데이터로 하여, 자율주행 차량에 대한 조향각 정보를 결정한다(S140). 이와 같이 조향각 정보가 결정되면 이에 기초하여 자율주행 차량의 실제 조향각을 제어한다(S150).

도 5는 제2 인공 신경망을 설명하기 위한 도면이다.

다수의 주행 경로 중에서 위험도가 가장 낮은 주행 경로 P*가 선택되면, 선택된 주행 경로 P*와 목표 속도 정보 s를 제2 인공 신경망의 입력 데이터로 설정하여, 자율 주행 차량에 대한 조향각 정보 SA를 획득할 수 있다.

조향각 정보 SA는 실제 차량의 스티어링 휠(steering wheel)을 제어하기 위한 값으로, 각도(degree) 또는 -1에서 1 사이의 값으로 표현될 수 있다. 조향각 정보를 결정하는 제2 인공 신경망의 구조 및 이를 학습하는 구체적인 내용은 후술하도록 한다.

이하에서는 제1 및 제2 인공 신경망을 학습하기 위한 학습 데이터를 구성하는 내용을 설명한 후, 학습 데이터에 기초하여 제1 및 제2 인공 신경망을 학습하는 내용에 대하여 설명하도록 한다.

도 6은 제1 및 제2 인공 신경망을 학습하는 과정을 설명하기 위한 순서도이다.

먼저, 자율주행 차량 또는 학습 데이터 수집 차량에서의 센싱 모듈로부터, 사용자에 의한 실제 주행 중 제1 및 제2 인공 신경망의 학습을 위한 학습용 센싱 데이터를 수집한다(S210).

학습 데이터를 생성하기 위한 학습용 센싱 데이터는 자율주행 차량의 센싱 모듈로부터 획득될 수 있으며, 이와 별개로 학습 데이터 수집 차량의 센싱 모듈로부터 획득될 수 있다. 이러한 학습용 센싱 데이터는 자율주행이 아닌 사용자에 의한 실제 주행 중 실시간으로 획득되는 데이터이다.

일 실시예로, 학습 데이터를 센싱하는 센싱 모듈이 복수 개인 경우, 복수 개의 각 센싱 모듈로부터 획득되는 학습용 센싱 데이터를 시계열적으로 동기화할 수 있다(S220).

도 7은 학습용 센싱 데이터를 동기화하는 일 예시를 설명하기 위한 도면이다.

일 예로, 자율주행 차량 또는 학습 데이터 수집 차량에 도 6의 (a)와 같이 센싱 모듈로 스테레오 카메라, 64ch 라이더, GPS, IMU 그리고 CAN 모듈을 포함하고 있는 경우, 이러한 센싱 모듈로부터 획득된 복수 개의 학습용 센싱 데이터를 도 7의 (b)와 같이 시계열적으로 동기화할 수 있다.

다음으로, 수집된 학습용 센싱 데이터에 각각 상응하는 자율주행 차량에서의 주행 상태 정보를 부여한다(S230).

주행 상태 정보는 주행 의도 정보와 같이, 직진, 좌회전, 우회전, 유턴, 왼쪽 차선변경, 오른쪽 차선변경, 회피, 왼쪽 방향 및 오른쪽 방향 중 어느 하나일 수 있다.

이러한 주행 상태 정보는 단일의 학습용 센싱 데이터 또는 도 6의 (b)와 같이 동기화된 학습용 센싱 데이터에 각각 상응하도록 부여될 수 있다. 일 예로, 주행 상태 정보는 사용자가 실제 주행 영상 및 학습용 센싱 데이터를 확인한 후 부여할 수도 있다.

다음으로, 주행 상태 정보가 부여된 각 학습용 센싱 데이터를 이용하여 제1 및 제2 인공 신경망을 학습하기 위한 학습 데이터를 구성한다(S240).

일 실시예로, 학습 데이터는 시각 t에 대한 학습용 센싱 데이터 I, 시각 t에 대한 속도 정보 s, 시각 t에 대한 참값 주행 의도 정보 a, 시각 t에서의 참값 조향각 정보 SA 및 시각 t 이후에서의 실제 경로 정보 P^gt를 포함한다. 즉, 학습 데이터는 (I, a, s, P^gt, SA)와 같은 데이터 참값 쌍으로 구성될 수 있다.

학습용 센싱 데이터를 이용하여 실제 경로 정보 P^gt 및 참값 주행 의도 정보 a를 획득하는 방법은 다음과 같다.

도 8은 실제 경로 정보를 획득하는 내용을 설명하기 위한 순서도이다. 도 9는 실제 경로 정보를 획득하는 일 예시를 도시한 도면이다.

먼저, 학습용 센싱 데이터로부터 획득한 자율주행 차량 또는 학습용 데이터 수집 차량의 시각 t에서의 요(yaw) 값, 피치(pitch) 값, 롤(roll) 값, 높이(altitude) 값 및 위경도(altitude, longitude) 값을 이용하여 변환 행렬 M을 산출한다(S241).

그 다음, 변환 행렬 M을 이용하여 시각 t 이후에 대한 자율주행 차량 또는 학습 데이터 수집 차량의 GPS에 의한 전역(global) 위치를 자기중심 좌표계(egocentric coordinate system)으로 변환한다(S242).

그 다음, 변환된 자기중심 좌표계를 기반으로 도 9와 같이 실제 경로 정보 P^gt를 획득한다(S243).

도 10은 참값 주행 의도 정보를 획득하는 내용을 설명하기 위한 순서도이다. 도 11은 참값 주행 의도 정보를 획득하는 일 예시를 도시한 도면이다.

참값 주행 의도 정보 a를 획득하기 위해, 먼저 실제 경로 정보 P^gt내 각 위치에 대하여, 주행 상태 정보가 부여된 각 학습용 센싱 데이터에서의 자율주행 차량 또는 학습 데이터 수집 차량에 대한 상응하는 최단 위치를 검출한다(S244).

전술한 바와 같이, 학습용 센싱 데이터에는 상응하는 주행 상태 정보가 부여되어 있는바, 도 11과 같이 GPS를 통해 획득한 경로의 각 위치에 해당하는 주행 상태 정보를 알 수 있다. 이를 이용하여 실제 경로 정보 P^gt의 각 위치에 대하여, GPS를 통해 획득한 경로 내 위치 중 가장 가까운 위치를 검출한다.

다음으로, 검출된 위치에 대응하는 주행 상태 정보를 실제 경로 정보에서의 주행 의도 정보로 획득한다(S245). 가령, 실제 경로 정보 P^gt가 L개의 위치로 정의된 경로인 경우, P^gt의각 위치에는 상응하는 L개의 주행 의도 정보가 존재하게 된다.

다음으로, 실제 경로 정보 P^gt의 주행 의도 정보 중 실제 경로 정보를 대표하는 참값 주행 의도 정보 a를 선택한다(S246).

즉, L개의 주행 의도 정보를 이용하여 P^gt를 대표할 수 있는 하나의 참값 주행 의도 정보 a를 선택한다.

일 실시예로, 참값 주행 의도 정보 a는 실제 경로 정보에서의 L개의 주행 의도 정보 중 최다 주행 의도 정보일 수 있다. 또는, 실제 경로 정보에서의 가장 마지막 위치에서의 주행 의도 정보가 참값 주행 의도 정보 a로 선택될 수 있다. 이러한 참값 주행 의도 정보 a를 선택하는 방법은 반드시 이에 한정되는 것은 아니며, 다양한 실시예에 따라 실시될 수 있다.

이와 같이 학습 데이터가 구성되면, 학습 데이터에 기초하여 제1 및 제2 인공 신경망을 학습한다(S250).

일 실시예로, 제1 인공 신경망은 제1 인공 신경망의 출력 데이터인 다수의 주행 경로와 실제 경로 정보 간의 오차가 작아지도록 학습될 수 있다.

즉, 학습 데이터의 (I, a, s, P^gt, SA)를 이용하여, 제1 인공 신경망의 출력과 실제 경로 정보 P^gt 간의 오차가 작아지도록 제1 인공 신경망 내의 각 파라미터에 대한 학습을 수행한다.

또한, 본 발명의 일 실시예는 GANs(Generative Adversarial Networks) 프레임워크를 추가로 이용하여 제1 인공 신경망의 출력 데이터인 다수의 주행 경로가 보다 더 실제 경로 정보와 일치되도록 학습할 수 있다. 예를 들어, 입력으로 들어온 경로가 실제 경로 정보인지 여부를 구분하는 구별자를 구성하고, 제1 인공 신경망을 통한 출력 데이터인 주행 경로와 실제 경로를 구분하도록 학습할 수 있다.

또한, 본 발명의 일 실시예는 구별자가 제1 인공 신경망의 입력으로 들어오는 경로의 주행 의도 정보를 예측하도록 학습할 수도 있다.

한편, 본 발명의 일 실시예에서 제1 인공 신경망은 출력 데이터인 주행 경로에 대하여 구별자가 실제 경로로 인식할 수 있도록 학습될 수 있으며, 동시에 출력 데이터인 주행 경로의 주행 의도 정보를 구별자가 맞추도록 학습될 수도 있다.

이와 같은 방법에 따라 학습된 제1 인공 신경망은 센싱 데이터 I, 목표 속도 정보 s, 주행 의도 정보 a 및 노이즈 벡터 z를 입력으로 하여 다수의 주행 경로 P를 출력시킨다. 이때, 제1 인공 신경망은 노이즈 벡터 z를 반복적으로 가변시켜 다수의 주행 경로를 생성할 수 있다.

도 12 및 도 13는 제1 인공 신경망을 설명하기 위한 도면이다.

일 실시예로, 제1 인공 신경망은 CNN(Convolution Neural Network) 기반의 특징 추출 알고리즘 및 RNN(Recurrent Neural Network) 기반의 경로 생성 알고리즘으로 구성될 수 있다.

먼저 도 12의 (a)를 참조하면, 센싱 데이터를 제1 인공 신경망의 CNN 기반의 특징 추출 알고리즘(Feature Extraction Network, FEN)의 입력 데이터로 하여 특징 벡터 v를 추출한다.

그 다음 도 12의 (b)와 같이, 특징 벡터 v와 목표 속도 정보 s, 주행 의도 정보 a 및 노이즈 벡터 z를 RNN 기반의 경로 생성 알고리즘(Path Generation Network, PGN)의 입력 데이터로 하여 주행 의도 정보 a에 부합하는 경로 P를 생성한다. 이때, 본 발명의 일 실시예는 노이즈 벡터 z를 반복적으로 가변시킴으로써 동일한 주행 의도 정보 a를 갖는 다수의 주행 경로를 생성할 수 있다.

도 13은 제1 인공 신경망의 RNN 기반의 경로 생성 알고리즘을 도시한 것이다.

도 13을 참조하면, 주행 경로 P에서의 ㅣ번째 위치인 p_l을 계산하기 위하여, 이전 위치 p_l-1과 이전 위치인 l-1번째 위치에 상응하는 은닉 상태 벡터

을 RNN 기반의 경로 생성 알고리즘의 입력 데이터로 입력시킨다.

그 다음, RNN 기반의 경로 생성 알고리즘은 입력에 대하여 새로운 은닉 상태 벡터

를 출력시키며, CNN 기반의 특징 추출 알고리즘을 통해 획득한 특징 벡터 v를 이용하여 attention operation(ATT)을 수행한 후, 이를 통해 주행 경로 P에서의 l번째 위치인 p_l을 획득할 수 있다.

마찬가지로,

과 p_l을 이용하여 전술한 과정을 동일하게 수행할 경우 l+1번째 위치인 P_l+1을 획득할 수 있다. 이때, 주행 의도 정보 a, 목표 속도 정보 s, 노이즈 벡터 z는 RNN 기반의 경로 생성 알고리즘의 초기 입력 값 p₀ 또는 초기 은닉 상태

의 형태로 전달될 수 있다.

도 14는 제2 인공 신경망을 설명하기 위한 도면이다.

일 실시예로, 제2 인공 신경망은 RNN(Recurrent Neural Network)으로 구성될 수 있다.

본 발명의 일 실시예는 제2 인공 신경망 학습을 위해 먼저, 목표 속도 정보 s를 RNN 기반의 제2 인공 신경망의 초기 은닉 상태 벡터

로 설정한다.

그 다음, 제2 인공 신경망에 실제 경로 정보 내 각 위치 및 각 위치에 상응하는 은닉 상태 벡터를 순차적으로 입력시키며, 이에 따라 제2 인공 신경망의 종단에서의 은닉 상태 벡터

를 조향각 정보로 획득한다.

그 다음, 획득한 조향각 정보와 실제 주행으로부터 획득한 학습 데이터에서의 참값 조향각 정보 간의 오차가 작아지도록 제2 인공 신경망을 학습할 수 있다.

한편, 상술한 설명에서, 단계 S110 내지 S250은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다. 아울러, 기타 생략된 내용이라 하더라도 도 1 내지 도 14에 기술된 내용은 후술하는 도 15의 자율주행 차량을 위한 주행 경로 생성 및 제어 시스템(100)에도 적용된다.

이하에서는 도 15를 참조하여, 본 발명의 일 실시예에 따른 자율주행 차량을 위한 주행 경로 생성 및 제어 시스템(100, 이하 주행 경로 생성 및 제어 시스템)을 설명하도록 한다.

도 15는 본 발명의 일 실시예에 따른 주행 경로 생성 및 제어 시스템(100)을 설명하기 위한 도면이다.

본 발명의 일 실시예에 따른 주행 경로 생성 및 제어 시스템(100)은, 적어도 하나의 센싱 모듈(110), 메모리(120) 및 프로세서(130)를 포함한다.

센싱 모듈(110)은 자율주행 차량에 결합되며, 자율주행 차량의 외부에 대한 센싱 데이터를 획득한다.

메모리(120)에는 센싱 모듈(110)로부터 획득한 센싱 데이터에 기초하여 자율주행 차량을 위한 다수의 주행 경로를 생성하며, 생성된 다수의 주행 경로 중 어느 하나에 상응하는 조향각 정보를 결정하기 위한 프로그램이 저장된다.

이때, 메모리(120)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 휘발성 저장장치를 통칭하는 것이다. 예를 들어, 메모리(120)는 콤팩트 플래시(compact flash; CF) 카드, SD(secure digital) 카드, 메모리 스틱(memory stick), 솔리드 스테이트 드라이브(solid-state drive; SSD) 및 마이크로(micro) SD 카드 등과 같은 낸드 플래시 메모리(NAND flash memory), 하드 디스크 드라이브(hard disk drive; HDD) 등과 같은 마그네틱 컴퓨터 기억 장치 및 CD-ROM, DVD-ROM 등과 같은 광학 디스크 드라이브(optical disc drive) 등을 포함할 수 있다.

프로세서(130)는 메모리(120)에 저장된 프로그램을 실행시킴에 따라, 센싱 데이터와 주행 의도 정보, 그리고 목표 속도 정보를 제1 인공 신경망의 입력 데이터로 설정하여, 주행 의도 정보에 대응하는 다수의 주행 경로를 생성한다.

그리고 프로세서(130)는 센싱 데이터를 기반으로 인식한 객체 정보로부터 다수의 주행 경로 각각에 대한 위험도를 평가하며, 위험도가 가장 낮은 주행 경로와 목표 속도 정보를 제2 인공 신경망의 입력 데이터로 하여, 자율 주행 차량에 대한 조향각 정보를 결정하며, 결정된 조향각 정보로 자율주행 차량의 조향각을 제어한다.

이상에서 전술한 본 발명의 일 실시예에 따른 자율주행 차량에서의 주행 경로 생성 및 제어 방법은, 하드웨어인 서버와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.

상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.

상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

100: 주행 경로 생성 및 제어 시스템
110: 센싱 모듈
120: 메모리
130: 프로세서

Claims

자율주행 차량에서의 주행 경로 생성 및 제어 방법에 있어서,
상기 자율주행 차량에 결합된 적어도 하나의 센싱 모듈을 통해 상기 자율주행 차량의 외부에 대한 센싱 데이터를 획득하는 단계;
상기 센싱 데이터와 주행 의도 정보 및 목표 속도 정보를 제1 인공 신경망의 입력 데이터로 하여, 상기 주행 의도 정보에 대응하는 다수의 주행 경로를 생성하는 단계;
상기 센싱 데이터를 기반으로 인식한 객체 정보로부터 상기 다수의 주행 경로 각각에 대한 위험도를 평가하는 단계;
상기 위험도가 가장 낮은 주행 경로와 상기 목표 속도 정보를 제2 인공 신경망의 입력 데이터로 하여, 상기 자율주행 차량에 대한 조향각 정보를 결정하는 단계; 및
상기 결정된 조향각 정보에 기초하여 상기 자율주행 차량의 조향각을 제어하는 단계를 포함하며,
상기 제1 인공 신경망은 상기 제1 인공 신경망의 출력 데이터인 다수의 주행 경로와 실제 경로 정보 간의 오차가 작아지도록 학습되고,
상기 주행 의도 정보는 상기 자율주행 차량과 연동되는 네비게이션 시스템으로부터 설정되는 주행 경로로부터 획득되는 것인,
자율주행 차량에서의 주행 경로 생성 및 제어 방법.
제1항에 있어서,
상기 자율주행 차량 또는 학습 데이터 수집 차량에서의 센싱 모듈로부터, 사용자에 의한 실제 주행 중 상기 제1 및 제2 인공 신경망의 학습용 센싱 데이터를 수집하는 단계;
상기 수집된 학습용 센싱 데이터에 각각 상응하는 상기 자율주행 차량에서의 주행 상태 정보를 부여하는 단계;
상기 주행 상태 정보가 부여된 각 학습용 센싱 데이터를 이용하여 학습 데이터를 구성하는 단계; 및
상기 학습 데이터에 기초하여 상기 제1 및 제2 인공 신경망을 학습하는 단계를 더 포함하되,
상기 학습 데이터는 시각 t에 대한 상기 학습용 센싱 데이터, 속도 정보, 참값 주행 의도 정보, 참값 조향각 정보 및 실제 경로 정보를 포함하는 것인,
자율주행 차량에서의 주행 경로 생성 및 제어 방법.
제2항에 있어서,
상기 주행 상태 정보가 부여된 각 학습용 센싱 데이터를 이용하여 학습 데이터를 구성하는 단계는,
상기 학습용 센싱 데이터로부터 획득된 상기 자율주행 차량 또는 학습 데이터 수집 차량의 요(yaw) 값, 피치(pitch) 값, 롤(roll) 값, 높이 값 및 위경도 값을 이용하여 변환 행렬을 산출하는 단계;
상기 변환 행렬을 이용하여 상기 시각 t 이후에 대한 상기 자율주행 차량 또는 학습 데이터 수집 차량의 전역 위치를 자기중심 좌표계(egocentric coordinate system)로 변환하는 단계; 및
상기 변환된 자기중심 좌표계를 기반으로 상기 실제 경로 정보를 획득하는 단계를 포함하는
자율주행 차량에서의 주행 경로 생성 및 제어 방법.
제3항에 있어서,
상기 주행 상태 정보가 부여된 각 학습용 센싱 데이터를 이용하여 학습 데이터를 구성하는 단계는,
상기 실제 경로 정보 내 각 위치에 대하여, 상기 주행 상태 정보가 부여된 각 학습용 센싱 데이터에서의 상기 자율주행 차량 또는 학습 데이터 수집 차량에 대한 상응하는 최단 위치를 검출하는 단계;
상기 검출된 위치에 대응하는 주행 상태 정보를 상기 실제 경로 정보에서의 주행 의도 정보로 획득하는 단계; 및
상기 실제 경로 정보의 주행 의도 정보 중 상기 실제 경로 정보를 대표하는 참값 주행 의도 정보를 선택하는 단계를 포함하는,
자율주행 차량에서의 주행 경로 생성 및 제어 방법.
제4항에 있어서,
상기 실제 경로 정보의 주행 의도 정보 중 상기 실제 경로 정보를 대표하는 참값 주행 의도 정보를 선택하는 단계는,
상기 실제 경로 정보에서의 L개의 주행 의도 정보 중 최다 주행 의도 정보 또는 가장 마지막 위치에서의 주행 의도 정보를 상기 참값 주행 의도 정보로 선택하는 것인,
자율주행 차량에서의 주행 경로 생성 및 제어 방법.
제2항에 있어서,
상기 주행 상태 정보는 상기 주행 의도 정보와 상응하는 정보로 구성되며,
상기 주행 의도 정보 및 주행 상태 정보는 직진, 좌회전, 우회전, 유턴, 왼쪽 차선변경, 오른쪽 차선변경, 회피, 왼쪽 방향 및 오른쪽 방향 중 어느 하나인 것인,
자율주행 차량에서의 주행 경로 생성 및 제어 방법.
제2항에 있어서,
상기 학습 데이터를 센싱하는 센싱 모듈이 복수 개인 경우, 상기 복수 개의 각 센싱 모듈로부터 획득되는 학습용 센싱 데이터를 시계열적으로 동기화하는 단계를 더 포함하는,
자율주행 차량에서의 주행 경로 생성 및 제어 방법.
삭제
제2항에 있어서,
상기 학습 데이터에 기초하여 상기 제1 및 제2 인공 신경망을 학습하는 단계는,
상기 목표 속도 정보를 RNN(Recurrent Neural Network) 기반의 상기 제2 인공 신경망의 초기 은닉 상태 벡터로 설정하는 단계;
상기 제2 인공 신경망에 상기 실제 경로 정보 내 각 위치 및 상기 각 위치에 상응하는 은닉 상태 벡터를 순차적으로 입력시키는 단계;
상기 제2 인공 신경망의 종단에서의 은닉 상태 벡터를 조향각 정보로 획득하는 단계; 및
상기 획득한 조향각 정보와 상기 참값 조향각 정보 간의 오차가 작아지도록 상기 제2 인공 신경망을 학습하는 단계를 포함하는,
자율주행 차량에서의 주행 경로 생성 및 제어 방법.
제1항에 있어서,
상기 주행 의도 정보에 대응하는 다수의 주행 경로를 생성하는 단계는,
상기 센싱 데이터를 CNN(Convolution Neural Network) 기반의 특징 추출 알고리즘의 입력 데이터로 하여 특징 벡터를 추출하는 단계; 및
상기 특징 벡터와 상기 목표 속도 정보, 주행 의도 정보 및 노이즈 벡터를 RNN(Recurrent Neural Network) 기반의 경로 생성 알고리즘의 입력 데이터로 하되, 상기 노이즈 벡터를 반복적으로 가변시켜 상기 다수의 주행 경로를 생성하는 단계를 포함하는,
자율주행 차량에서의 주행 경로 생성 및 제어 방법.
제10항에 있어서,
상기 노이즈 벡터를 반복적으로 상기 다수의 주행 경로를 생성하는 단계는,
주행 경로에서의 l번째 위치 및 상기 l번째 위치에 상응하는 은닉 상태 벡터를 상기 RNN 기반의 경로 생성 알고리즘의 입력 데이터로 입력시키는 단계;
상기 입력에 대한 출력으로 획득한 l+1번째 은닉 상태 벡터 및 상기 특징 벡터에 기초하여 상기 주행 경로 내 l+1번째 위치를 획득하는 단계; 및
상기 주행 경로에 대하여 상기 노이즈 벡터를 반복적으로 가변시켜 상기 다수의 주행 경로를 생성하는 단계를 포함하는,
자율주행 차량에서의 주행 경로 생성 및 제어 방법.
자율주행 차량을 위한 주행 경로 생성 및 제어 시스템에 있어서,
상기 자율주행 차량에 결합되어, 상기 자율주행 차량의 외부에 대한 센싱 데이터를 획득하는 적어도 하나의 센싱 모듈,
상기 센싱 데이터에 기초하여 상기 자율주행 차량을 위한 다수의 주행 경로를 생성하고, 상기 생성된 다수의 주행 경로 중 어느 하나에 상응하는 조향각 정보를 결정하기 위한 프로그램이 저장된 메모리 및
상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함하되,
상기 프로세서는 상기 프로그램을 실행시킴에 따라, 상기 센싱 데이터와 상기 자율주행 차량과 연동되는 네비게이션 시스템으로부터 설정되는 주행 의도 정보, 그리고 목표 속도 정보를 제1 인공 신경망의 입력 데이터로 하여, 상기 주행 의도 정보에 대응하는 다수의 주행 경로를 생성하고,
상기 센싱 데이터를 기반으로 인식한 객체 정보로부터 상기 다수의 주행 경로 각각에 대한 위험도를 평가하며, 상기 위험도가 가장 낮은 주행 경로와 상기 목표 속도 정보를 제2 인공 신경망의 입력 데이터로 하여, 상기 자율주행 차량에 대한 조향각 정보를 결정하여 상기 자율주행 차량의 조향각을 제어하고,
상기 프로세서는 상기 제1 인공 신경망의 출력 데이터인 다수의 주행 경로와 실제 경로 정보 간의 오차가 작아지도록 상기 제1 인공 신경망을 학습하는 것인,
자율주행 차량을 위한 주행 경로 생성 및 제어 시스템.
제12항에 있어서,
상기 프로세서는 상기 센싱 데이터를 CNN(Convolution Neural Network) 기반의 특징 추출 알고리즘의 입력 데이터로 하여 특징 벡터를 추출하고, 상기 특징 벡터와 상기 목표 속도 정보, 주행 의도 정보 및 노이즈 벡터를 RNN(Recurrent Neural Network) 기반의 경로 생성 알고리즘의 입력 데이터로 하되, 상기 노이즈 벡터를 반복적으로 가변시켜 상기 다수의 주행 경로를 생성하는 것인,
자율주행 차량에서의 주행 경로 생성 및 제어 시스템.
제13항에 있어서,
상기 프로세서는, 주행 경로에서의 l번째 위치 및 상기 l번째 위치에 상응하는 은닉 상태 벡터를 상기 RNN 기반의 경로 생성 알고리즘의 입력 데이터로 입력시키고, 상기 입력에 대한 출력으로 획득한 l+1번째 은닉 상태 벡터 및 상기 특징 벡터에 기초하여 상기 주행 경로 내 l+1번째 위치를 획득한 후, 상기 주행 경로에 대하여 상기 노이즈 벡터를 반복적으로 가변시켜 상기 다수의 주행 경로를 생성하는 것인,
자율주행 차량에서의 주행 경로 생성 및 제어 시스템.
제12항에 있어서,
상기 프로세서는 상기 자율주행 차량 또는 학습 데이터 수집 차량에서의 센싱 모듈로부터, 사용자에 의한 실제 주행 중 상기 제1 및 제2 인공 신경망의 학습용 센싱 데이터를 수집하고, 상기 학습용 센싱 데이터에 각각 상응하는 상기 자율주행 차량에서의 주행 상태 정보를 부여하며,
상기 주행 상태 정보가 부여된 각 학습용 센싱 데이터를 이용하여 학습 데이터를 구성하고, 상기 학습 데이터에 기초하여 상기 제1 및 제2 인공 신경망을 학습하며,
상기 학습 데이터는 시각 t에 대한 상기 학습용 센싱 데이터, 속도 정보, 참값 주행 의도 정보, 조향각 정보 및 실제 경로 정보를 포함하는 것인,
자율주행 차량을 위한 주행 경로 생성 및 제어 시스템.
제15항에 있어서,
상기 프로세서는 상기 학습용 센싱 데이터로부터 획득된 상기 자율주행 차량 또는 학습 데이터 수집 차량의 요(yaw) 값, 피치(pitch) 값, 롤(roll) 값, 높이 값 및 위경도 값을 이용하여 변환 행렬을 산출하고, 상기 변환 행렬을 이용하여 상기 시각 t 이후에 대한 상기 자율주행 차량 또는 학습 데이터 수집 차량의 전역 위치를 자기중심 좌표계(egocentric coordinate system)로 변환한 후, 상기 변환된 자기중심 좌표계를 기반으로 상기 실제 경로 정보를 획득하는 것인,
자율주행 차량을 위한 주행 경로 생성 및 제어 시스템.
제16항에 있어서,
상기 프로세서는 상기 실제 경로 정보 내 각 위치에 대하여, 상기 주행 상태 정보가 부여된 각 학습용 센싱 데이터에서의 상기 자율주행 차량 또는 학습 데이터 수집 차량에 대한 상응하는 최단 위치를 검출하고, 상기 검출된 위치에 대응하는 주행 상태 정보를 상기 실제 경로 정보에서의 주행 의도 정보로 획득하며, 상기 실제 경로 정보의 주행 의도 정보 중 상기 실제 경로 정보를 대표하는 참값 주행 의도 정보를 선택하는 것인,
자율주행 차량을 위한 주행 경로 생성 및 제어 시스템.
제17항에 있어서,
상기 프로세서는 상기 실제 경로 정보에서의 L개의 주행 의도 정보 중 최다 주행 의도 정보 또는 가장 마지막 위치에서의 주행 의도 정보를 상기 참값 주행 의도 정보로 선택하는 것인,
자율주행 차량에서의 주행 경로 생성 및 제어 시스템.
제15항에 있어서,
상기 프로세서는 상기 목표 속도 정보를 RNN(Recurrent Neural Network) 기반의 상기 제2 인공 신경망의 초기 은닉 상태 벡터로 설정하고, 상기 제2 인공 신경망에 상기 실제 경로 정보 내 각 위치 및 상기 각 위치에 상응하는 은닉 상태 벡터를 순차적으로 입력시켜, 상기 제2 인공 신경망의 종단에서의 은닉 상태 벡터를 조향각 정보로 획득한 후, 상기 획득한 조향각 정보와 참값 조향각 정보 간의 오차가 작아지도록 상기 제2 인공 신경망을 학습하는 것인,
자율주행 차량에서의 주행 경로 생성 및 제어 시스템.