KR20200096131A

KR20200096131A - 다양한 소스로부터 획득되는 정보의 퓨전을 통해 주변 객체의 모션을 예측함으로써, 사고 위험을 회피하여 안전한 자율 주행을 지원하는 학습 방법, 그리고 이를 이용한 학습 장치, 테스트 방법, 및 테스트 장치

Info

Publication number: KR20200096131A
Application number: KR1020200007638A
Authority: KR
Inventors: 김계현; 김용중; 김학경; 남운현; 부석훈; 성명철; 신동수; 여동훈; 유우주; 이명춘; 이형수; 장태웅; 정경중; 제홍모; 조호진
Original assignee: 주식회사 스트라드비젼
Priority date: 2019-01-31
Filing date: 2020-01-20
Publication date: 2020-08-11
Also published as: US10824947B2; EP3690730A2; CN111507172B; EP3690730A3; KR102328732B1; US20200250541A1; CN111507172A; JP2020126639A; JP6857371B2

Abstract

본 발명은, 이미지 및 통신을 통해 획득되는 정보의 퓨전을 통해 안전한 자율 주행을 수행하도록 지원하는 학습 방법에 있어서, (a) 학습 장치가, 제1 뉴럴 네트워크 및 제2 뉴럴 네트워크로 하여금, 상황 이미지 및 상황 통신 정보를 사용하여, 이미지 기반 특징 맵 및 통신 기반 특징 맵을 생성하도록 하는 단계; (b) 상기 학습 장치가, 제3 뉴럴 네트워크로 하여금, 상기 이미지 기반 특징 맵 및 상기 통신 기반 특징 맵에 제3 뉴럴 네트워크 연산을 가하여, 통합 특징 맵을 생성하도록 하는 단계; (c) 상기 학습 장치가, 제4 뉴럴 네트워크로 하여금, 상기 통합 특징 맵에 제4 뉴럴 네트워크 연산을 가하여, 예측 주변 모션 정보를 생성하도록 하는 단계; 및 (d) 상기 학습 장치가, 제1 로스 레이어로 하여금, 상기 제1 내지 상기 제4 뉴럴 네트워크의 파라미터를 학습하도록 하는 단계;를 포함하는 것을 특징으로 하는 방법이 제공된다.

Description

다양한 소스로부터 획득되는 정보의 퓨전을 통해 주변 객체의 모션을 예측함으로써, 사고 위험을 회피하여 안전한 자율 주행을 지원하는 학습 방법, 그리고 이를 이용한 학습 장치, 테스트 방법, 및 테스트 장치{LEARNING METHOD FOR SUPPORTING SAFER AUTONOMOUS DRIVING WITHOUT DANGER OF ACCIDENT BY ESTIMATING MOTIONS OF SURROUNDING OBJECTS THROUGH FUSION OF INFORMATION FROM MULTIPLE SOURCES, LEARNING DEVICE, TESTING METHOD AND TESTING DEVICE USING THE SAME}

본 발명은 자율 주행 차량에 사용되기 위한 방법 및 장치에 관한 것으로; 보다 상세하게는, 다양한 소스(source)로부터 획득되는 정보의 퓨전(fusion)을 통해 주변 객체의 모션을 예측함으로써, 사고 위험을 회피하여 안전한 자율 주행을 수행하도록 지원하는 학습 방법, 그리고 이를 이용한 학습 장치, 테스트 방법, 및 테스트 장치에 관한 것이다.

최근 자동차 안전 지원 시스템과 자율 주행 시스템이 빠르게 발전하여, 지능형 자동차 서비스 기술인 협업 주행 기술이 제안되고 있다.

종래의 협업 주행 기술은 자동차 사이의 협업 레벨에 따라 크게 3가지 기술로 분류되는데, 하나는 개별 자동차 중심의 자율주행 기술이고, 다른 하나는 호송(convoy) 기술이며, 또 다른 하나는, 군집주행(platooning) 기술이다.

호송(Convoy) 기술은, 차량의 이동 패턴 및 대형을 유지하여 수행되는 기술로, 리딩 차량 없이 운전자들이 그들의 차량을 운전하는 것을 특징으로 한다. 마찬가지로, 군집주행(Platooning) 기술은, 차량의 이동 패턴 및 대형을 유지하여 수행된다. 그러나, 군집주행 기술은 적어도 하나의 리딩 차량 및 적어도 하나의 후속 차량을 포함한다. 여기서, 상기 후속 차량은 운전자의 개입 없이 상기 리딩 차량의 운행을 따라 제어되는 것을 특징으로 한다.

즉, 군집주행 동안에, 후속 차량의 스티어링 휠, 엑셀, 브레이크 등을 제어할 수 있는 적어도 하나의 리딩 차량의 도움으로, 자율주행 차량들이 그들간의 거리를 유지하면서 안전하게 주행할 수 있다.

군집주행에는 여러 장점이 있다. 예를 들면, 공기 저항을 낮춰 연비를 향상시켜 배기 가스 배출량을 줄일 수 있다. 또한, 다수의 차량이 교통 법규를 준수하여 도로의 운영 효율성도 높일 수 있다.

한편, 자율주행 차량은, 다른 자율주행 차량 및/또는 비자율주행 차량과 함께 도로를 주행할 수 있다. 즉, 도로 조건, 운전자 조건 등의 다양한 변수에 따라, 자율 주행 차량이 자신의 모드를 반자율주행 모드, 자율주행 모드, 일반주행 모드로 전환할 수 있다.

따라서, 종래 군집주행 기술에서는, 자율주행 차량이 주행하고 있는 도로에 사고 발생시, 적절히 대응하지 못하면 2차 사고로 연결될 수 있는 문제점이 있다.

본 발명은 상술한 문제점을 모두 해결하는 것을 그 목적으로 한다.

본 발명은, 자율 주행 차량으로 하여금, 차량 군집주행(platooning) 중 적어도 하나의 사고 발생 시 적절히 대응을 할 수 있도록 하는 것을 다른 목적으로 한다.

또한 본 발명은, 상기 자율 주행 차량으로 하여금, 사고위험이 높은 하나 이상의 주변 객체를 회피할 수 있도록 하는 것을 또 다른 목적으로 한다.

상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한, 본 발명의 특징적인 구성은 하기와 같다.

본 발명의 일 태양에 따르면, 이미지 및 통신을 통해 획득되는 각 정보의 퓨전을 사용하여 하나 이상의 주변 객체의 하나 이상의 모션(motion)을 예측함으로써, 사고 위험을 회피하여 안전한 자율 주행을 수행하도록 지원하는 학습 방법에 있어서, (a) 학습 장치가, 대상 차량에 탑재된 적어도 하나의 카메라를 통해 적어도 하나의 상황 이미지가 획득되면, 제1 뉴럴 네트워크로 하여금, 상기 상황 이미지에 적어도 하나의 제1 뉴럴 네트워크 연산을 가하여, 상기 상황 이미지에 대응하는 적어도 하나의 이미지 기반 특징 맵을 생성하도록 하는 프로세스, 및 상기 대상 차량에 탑재된 적어도 하나의 통신 모듈을 통해 상황 통신 정보가 획득되면, 제2 뉴럴 네트워크로 하여금, 상기 상황 통신 정보에 적어도 하나의 제2 뉴럴 네트워크 연산을 가하여, 상기 상황 통신 정보에 대응하는 통신 기반 특징 맵을 생성하도록 하는 프로세스를 수행하는 단계; (b) 상기 학습 장치가, 제3 뉴럴 네트워크로 하여금, 상기 이미지 기반 특징 맵 및 상기 통신 기반 특징 맵에 적어도 하나의 제3 뉴럴 네트워크 연산을 가하여, 통합 특징 맵을 생성하도록 하는 단계; (c) 상기 학습 장치가, 제4 뉴럴 네트워크로 하여금, 상기 통합 특징 맵에 적어도 하나의 제4 뉴럴 네트워크 연산을 가하여, 특정 시간 범위 동안의 상기 주변 객체의 모션 예측 결과인 예측 주변 모션 정보를 생성하도록 하는 단계; 및 (d) 상기 학습 장치가, 제1 로스 레이어로 하여금, 상기 예측 주변 모션 정보 및 이에 대응하는 GT(Ground Truth) 주변 모션 정보를 참조로 하여 적어도 하나의 모션 로스를 생성하도록 하고, 상기 모션 로스를 사용하여 백프로퍼게이션(backpropagation)을 수행함으로써 상기 제1 내지 상기 제4 뉴럴 네트워크의 파라미터 중 적어도 일부를 학습하도록 하는 단계;를 포함하는 것을 특징으로 하는 방법이 제공된다.

일 실시예에서, 상기 (a) 단계에서, 상기 학습 장치가, (i) 상기 제2 뉴럴 네트워크에 포함된 적어도 하나의 제2 FC(Fully-Connected) 레이어로 하여금, 상기 대상 차량으로부터 임계치 이하의 거리에 위치한 주변 객체 각각에 대한 통신 기반 메타 데이터를 각각의 통신 기반 메타 데이터 벡터로서 포함하는 상기 상황 통신 정보에 적어도 하나의 제2 FC 연산을 가하여, 각각의 상기 통신 기반 메타 데이터 벡터에 대응하는 통신 기반 메타 특징 벡터를 생성하도록 하고, (ii) 상기 제2 뉴럴 네트워크에 포함된 적어도 하나의 제2 풀링 레이어로 하여금, 상기 통신 기반 메타 특징 벡터에 적어도 하나의 제2 풀링 연산을 가하여 상기 통신 기반 특징 맵을 생성하도록 한다.

일 실시예에서, 상기 (c) 단계에서, 상기 학습 장치가, 상기 제4 뉴럴 네트워크로 하여금, (i) 상기 카메라 및 상기 통신 모듈을 통해 획득된 글로벌 정보에 대응하는 상기 통합 특징 맵 및 (ii) 각각의 상기 주변 객체에 대한 로컬 정보에 대응하는, 상기 통신 기반 특징 맵이 생성되는 과정에서 사용된 하나 이상의 통신 기반 메타 특징 벡터를 포함하는 메타 특징 맵에, 상기 제4 뉴럴 네트워크 연산을 가하여 상기 예측 주변 모션 정보를 생성하도록 한다.

일 실시예에서, 상기 (c) 단계에서, 상기 학습 장치가, 상기 카메라를 통해 획득된 상기 주변 객체에 대한 이미지 기반 메타 데이터에 대응하는 하나 이상의 이미지 기반 메타 특징 벡터 및 상기 통신 기반 메타 특징 벡터를 참조로 하여, 상기 메타 특징 맵을 생성한다.

일 실시예에서, 상기 (b) 단계에서, 상기 학습 장치는, 상기 통신 기반 특징 맵 및 상기 이미지 기반 특징 맵을 채널 방향 컨캐터네이팅(channel-wise concatenating)하여 임시 특징 맵을 생성하고, RNN(Recurrent Neural Network)으로써 구현된 상기 제3 뉴럴 네트워크로 하여금, 상기 제3 뉴럴 네트워크에 이전에 입력된 정보에 대응하는 상태 벡터를 사용하여 상기 임시 특징 맵에 상기 제3 뉴럴 네트워크 연산을 가함으로써, 상기 통합 특징 맵을 생성하도록 한다.

일 실시예에서, 상기 제3 뉴럴 네트워크는, 상기 RNN의 일종인 LSTM(Long-Short Term Memory) 네트워크로서 구현된다.

일 실시예에서, 상기 학습 장치는, 상기 제1 로스 레이어로 하여금, (i) 상기 상황 이미지 및 상기 상황 통신 정보가 소정의 제T 시점에 대응할 때, 상기 제T 시점 이후의 시점인 제(T+1) 시점에서의 상기 주변 객체의 위치 정보 및 속도 정보를 참조로 하여 획득된 상기 GT 주변 모션 정보 및 (ii) 상기 예측 주변 모션 정보를 참조로 하여, 상기 모션 로스를 생성하도록 한다.

일 실시예에서, (e) 상기 학습 장치가, 상기 제1 내지 상기 제4 뉴럴 네트워크의 학습이 완료된 상태에서, 제5 뉴럴 네트워크로 하여금, 학습이 완료된 상기 제4 뉴럴 네트워크로부터 출력된 예측 주변 모션 정보에 적어도 하나의 제5 뉴럴 네트워크 연산을 가하여, 상기 특정 시간 범위 동안에 상기 대상 차량과의 연관도가 임계치 이상인 사고가 일어날 확률에 대한 정보를 포함하는 예측 위험 정보를 생성하도록 하는 단계; 및 (f) 상기 학습 장치가, 제2 로스 레이어로 하여금, 상기 예측 위험 정보 및 이에 대응하는 GT 위험 정보를 참조로 하여 적어도 하나의 위험 로스를 생성하도록 하고, 상기 위험 로스를 사용하여 백프로퍼게이션을 수행함으로써 상기 제5 뉴럴 네트워크의 파라미터 중 적어도 일부를 학습하도록 하는 단계;를 더 포함한다.

일 실시예에서, 상기 (a) 단계에서, 상기 학습 장치가, 상기 제1 뉴럴 네트워크에 포함된 제1 컨벌루션 레이어로 하여금 상기 상황 이미지에 적어도 하나의 제1 컨벌루션 연산을 가하여 적어도 하나의 제1 특징 맵을 생성하도록 하고, 상기 제1 뉴럴 네트워크에 포함된 제1 풀링 레이어로 하여금 상기 제1 특징 맵에 적어도 하나의 제1 풀링 연산을 가하여 적어도 하나의 제1 풀링된 특징 맵을 생성하도록 하고, 상기 제1 뉴럴 네트워크에 포함된 제1 FC 레이어로 하여금 상기 제1 풀링된 특징 맵에 적어도 하나의 제1 FC 연산을 가하여 상기 이미지 기반 특징 맵을 생성하도록 한다.

본 발명의 다른 태양에 따르면, 이미지 및 통신을 통해 획득되는 각 정보의 퓨전을 사용하여 하나 이상의 테스트용 주변 객체의 하나 이상의 모션을 예측함으로써, 사고 위험을 회피하여 안전한 자율 주행을 수행하도록 지원하는 테스트 방법에 있어서, (a) (1) 학습 장치가, 학습용 대상 차량에 탑재된 적어도 하나의 학습용 카메라를 통해 적어도 하나의 학습용 상황 이미지가 획득되면, 제1 뉴럴 네트워크로 하여금, 상기 학습용 상황 이미지에 적어도 하나의 제1 뉴럴 네트워크 연산을 가하여, 상기 학습용 상황 이미지에 대응하는 적어도 하나의 학습용 이미지 기반 특징 맵을 생성하도록 하는 프로세스, 및 상기 학습용 대상 차량에 탑재된 적어도 하나의 학습용 통신 모듈을 통해 학습용 상황 통신 정보가 획득되면, 제2 뉴럴 네트워크로 하여금, 상기 학습용 상황 통신 정보에 적어도 하나의 제2 뉴럴 네트워크 연산을 가하여, 상기 학습용 상황 통신 정보에 대응하는 학습용 통신 기반 특징 맵을 생성하도록 하는 프로세스를 수행하고, (2) 상기 학습 장치가, 제3 뉴럴 네트워크로 하여금, 상기 학습용 이미지 기반 특징 맵 및 상기 학습용 통신 기반 특징 맵에 적어도 하나의 제3 뉴럴 네트워크 연산을 가하여, 학습용 통합 특징 맵을 생성하도록 하고, (3) 상기 학습 장치가, 제4 뉴럴 네트워크로 하여금, 상기 학습용 통합 특징 맵에 적어도 하나의 제4 뉴럴 네트워크 연산을 가하여, 특정 시간 범위 동안의 학습용 주변 객체의 모션 예측 결과인 학습용 예측 주변 모션 정보를 생성하도록 하고, (4) 상기 학습 장치가, 제1 로스 레이어로 하여금, 상기 학습용 예측 주변 모션 정보 및 이에 대응하는 GT 주변 모션 정보를 참조로 하여 적어도 하나의 모션 로스를 생성하도록 하고, 상기 모션 로스를 사용하여 백프로퍼게이션을 수행함으로써 상기 제1 내지 상기 제4 뉴럴 네트워크의 파라미터 중 적어도 일부를 학습하도록 한 상태에서, 테스트 장치가, 테스트용 대상 차량에 탑재된 적어도 하나의 테스트용 카메라를 통해 적어도 하나의 테스트용 상황 이미지가 획득되면, 상기 제1 뉴럴 네트워크로 하여금, 상기 테스트용 상황 이미지에 상기 제1 뉴럴 네트워크 연산을 가하여, 상기 테스트용 상황 이미지에 대응하는 적어도 하나의 테스트용 이미지 기반 특징 맵을 생성하도록 하는 프로세스, 및 상기 테스트용 대상 차량에 탑재된 적어도 하나의 테스트용 통신 모듈을 통해 테스트용 상황 통신 정보가 획득되면, 상기 제2 뉴럴 네트워크로 하여금, 상기 테스트용 상황 통신 정보에 상기 제2 뉴럴 네트워크 연산을 가하여, 상기 테스트용 상황 통신 정보에 대응하는 적어도 하나의 테스트용 통신 기반 특징 맵을 생성하도록 하는 프로세스를 수행하는 단계; (b) 상기 테스트 장치가, 상기 제3 뉴럴 네트워크로 하여금, 상기 테스트용 이미지 기반 특징 맵 및 상기 테스트용 통신 기반 특징 맵에 상기 제3 뉴럴 네트워크 연산을 가하여, 테스트용 통합 특징 맵을 생성하도록 하는 단계; 및 (c) 상기 테스트 장치가, 상기 제4 뉴럴 네트워크로 하여금, 상기 테스트용 통합 특징 맵에 상기 제4 뉴럴 네트워크 연산을 가하여, 상기 특정 시간 범위 동안의 상기 테스트용 주변 객체의 모션 예측 결과인 테스트용 예측 주변 모션 정보를 생성하도록 하는 단계;를 포함하는 것을 특징으로 하는 방법이 제공된다.

일 실시예에서, (d) 상기 테스트 장치가, 상기 제1 내지 상기 제4 뉴럴 네트워크를 사용하여 학습이 완료된 제5 뉴럴 네트워크로 하여금, 상기 테스트용 예측 주변 모션 정보에 적어도 하나의 제5 뉴럴 네트워크 연산을 가하여, 상기 특정 시간 범위 동안에 상기 테스트용 대상 차량과의 연관도가 임계치 이상인 사고가 일어날 확률에 대한 정보를 포함하는 테스트용 예측 위험 정보를 생성하도록 하는 단계;를 더 포함한다.

일 실시예에서, (e) 상기 테스트 장치가, 상기 테스트용 대상 차량이 군집주행(platooning)을 통해 상기 자율 주행을 수행하고 있는 경우, 상기 테스트용 예측 위험 정보를 참조로 하여 군집주행 파라미터를 조정하는 단계;를 더 포함한다.

일 실시예에서, 상기 테스트 장치가, 상기 테스트용 대상 차량과의 상기 연관도가 상기 임계치 이상인 특정 사고가 실제로 발생하여 검출된 경우, 상기 특정 사고에 대한 정보를 상기 테스트용 주변 객체와 공유하고, 상기 테스트용 대상 차량으로 하여금, 상기 특정 사고로 인해 발생할 위험한 상황을 회피하기 위한 주행 전략을 참조로 하여 상기 자율 주행을 수행하도록 지원한다.

일 실시예에서, 상기 (c) 단계에서, 상기 테스트 장치가, 상기 제4 뉴럴 네트워크로 하여금, (i) 상기 테스트용 카메라 및 상기 테스트용 통신 모듈을 통해 획득된 테스트용 글로벌 정보에 대응하는 상기 테스트용 통합 특징 맵 및 (ii) 각각의 상기 테스트용 주변 객체에 대한 테스트용 로컬 정보에 대응하는, 상기 테스트용 통신 기반 특징 맵이 생성되는 과정에서 사용된 하나 이상의 테스트용 통신 기반 메타 특징 벡터를 포함하는 테스트용 메타 특징 맵에, 상기 제4 뉴럴 네트워크 연산을 가하여 상기 테스트용 예측 주변 모션 정보를 생성하도록 한다.

일 실시예에서, 상기 (c) 단계에서, 상기 테스트 장치가, 상기 테스트용 카메라를 통해 획득된 상기 테스트용 주변 객체에 대한 테스트용 이미지 기반 메타 데이터에 대응하는 하나 이상의 테스트용 이미지 기반 메타 특징 벡터 및 상기 테스트용 통신 기반 메타 특징 벡터를 참조로 하여, 상기 테스트용 메타 특징 맵을 생성한다.

본 발명의 또 다른 태양에 따르면, 이미지 및 통신을 통해 획득되는 각 정보의 퓨전을 사용하여 하나 이상의 주변 객체의 하나 이상의 모션(motion)을 예측함으로써, 사고 위험을 회피하여 안전한 자율 주행을 수행하도록 지원하는 학습 장치에 있어서, 하나 이상의 인스트럭션들을 저장하는 적어도 하나의 메모리; 및 (I) 대상 차량에 탑재된 적어도 하나의 카메라를 통해 적어도 하나의 상황 이미지가 획득되면, 제1 뉴럴 네트워크로 하여금, 상기 상황 이미지에 적어도 하나의 제1 뉴럴 네트워크 연산을 가하여, 상기 상황 이미지에 대응하는 적어도 하나의 이미지 기반 특징 맵을 생성하도록 하며, 상기 대상 차량에 탑재된 적어도 하나의 통신 모듈을 통해 상황 통신 정보가 획득되면, 제2 뉴럴 네트워크로 하여금, 상기 상황 통신 정보에 적어도 하나의 제2 뉴럴 네트워크 연산을 가하여, 상기 상황 통신 정보에 대응하는 통신 기반 특징 맵을 생성하도록 하는 프로세스, (II) 제3 뉴럴 네트워크로 하여금, 상기 이미지 기반 특징 맵 및 상기 통신 기반 특징 맵에 적어도 하나의 제3 뉴럴 네트워크 연산을 가하여, 통합 특징 맵을 생성하도록 하는 프로세스, (III) 제4 뉴럴 네트워크로 하여금, 상기 통합 특징 맵에 적어도 하나의 제4 뉴럴 네트워크 연산을 가하여, 특정 시간 범위 동안의 상기 주변 객체의 모션 예측 결과인 예측 주변 모션 정보를 생성하도록 하는 프로세스, 및 (IV) 제1 로스 레이어로 하여금, 상기 예측 주변 모션 정보 및 이에 대응하는 GT(Ground Truth) 주변 모션 정보를 참조로 하여 적어도 하나의 모션 로스를 생성하도록 하고, 상기 모션 로스를 사용하여 백프로퍼게이션(backpropagation)을 수행함으로써 상기 제1 내지 상기 제4 뉴럴 네트워크의 파라미터 중 적어도 일부를 학습하도록 하는 프로세스를 수행하기 위한 상기 인스트럭션들을 실행하도록 구성된 적어도 하나의 프로세서;를 포함하는 것을 특징으로 하는 장치가 제공된다.

일 실시예에서, 상기 (I) 프로세스에서, 상기 프로세서가, (i) 상기 제2 뉴럴 네트워크에 포함된 적어도 하나의 제2 FC(Fully-Connected) 레이어로 하여금, 상기 대상 차량으로부터 임계치 이하의 거리에 위치한 주변 객체 각각에 대한 통신 기반 메타 데이터를 각각의 통신 기반 메타 데이터 벡터로서 포함하는 상기 상황 통신 정보에 적어도 하나의 제2 FC 연산을 가하여, 각각의 상기 통신 기반 메타 데이터 벡터에 대응하는 통신 기반 메타 특징 벡터를 생성하도록 하고, (ii) 상기 제2 뉴럴 네트워크에 포함된 적어도 하나의 제2 풀링 레이어로 하여금, 상기 통신 기반 메타 특징 벡터에 적어도 하나의 제2 풀링 연산을 가하여 상기 통신 기반 특징 맵을 생성하도록 한다.

일 실시예에서, 상기 (III) 프로세스에서, 상기 프로세서가, 상기 제4 뉴럴 네트워크로 하여금, (i) 상기 카메라 및 상기 통신 모듈을 통해 획득된 글로벌 정보에 대응하는 상기 통합 특징 맵 및 (ii) 각각의 상기 주변 객체에 대한 로컬 정보에 대응하는, 상기 통신 기반 특징 맵이 생성되는 과정에서 사용된 하나 이상의 통신 기반 메타 특징 벡터를 포함하는 메타 특징 맵에, 상기 제4 뉴럴 네트워크 연산을 가하여 상기 예측 주변 모션 정보를 생성하도록 한다.

일 실시예에서, 상기 (III) 프로세스에서, 상기 프로세서가, 상기 카메라를 통해 획득된 상기 주변 객체에 대한 이미지 기반 메타 데이터에 대응하는 하나 이상의 이미지 기반 메타 특징 벡터 및 상기 통신 기반 메타 특징 벡터를 참조로 하여, 상기 메타 특징 맵을 생성한다.

일 실시예에서, 상기 (II) 프로세스에서, 상기 프로세서는, 상기 통신 기반 특징 맵 및 상기 이미지 기반 특징 맵을 채널 방향 컨캐터네이팅(channel-wise concatenating)하여 임시 특징 맵을 생성하고, RNN(Recurrent Neural Network)으로써 구현된 상기 제3 뉴럴 네트워크로 하여금, 상기 제3 뉴럴 네트워크에 이전에 입력된 정보에 대응하는 상태 벡터를 사용하여 상기 임시 특징 맵에 상기 제3 뉴럴 네트워크 연산을 가함으로써, 상기 통합 특징 맵을 생성하도록 한다.

일 실시예에서, 상기 프로세서는, 상기 제1 로스 레이어로 하여금, (i) 상기 상황 이미지 및 상기 상황 통신 정보가 소정의 제T 시점에 대응할 때, 상기 제T 시점 이후의 시점인 제(T+1) 시점에서의 상기 주변 객체의 위치 정보 및 속도 정보를 참조로 하여 획득된 상기 GT 주변 모션 정보 및 (ii) 상기 예측 주변 모션 정보를 참조로 하여, 상기 모션 로스를 생성하도록 한다.

일 실시예에서, 상기 프로세서는, (V) 상기 제1 내지 상기 제4 뉴럴 네트워크의 학습이 완료된 상태에서, 제5 뉴럴 네트워크로 하여금, 학습이 완료된 상기 제4 뉴럴 네트워크로부터 출력된 예측 주변 모션 정보에 적어도 하나의 제5 뉴럴 네트워크 연산을 가하여, 상기 특정 시간 범위 동안에 상기 대상 차량과의 연관도가 임계치 이상인 사고가 일어날 확률에 대한 정보를 포함하는 예측 위험 정보를 생성하도록 하는 프로세스, 및 (VI) 제2 로스 레이어로 하여금, 상기 예측 위험 정보 및 이에 대응하는 GT 위험 정보를 참조로 하여 적어도 하나의 위험 로스를 생성하도록 하고, 상기 위험 로스를 사용하여 백프로퍼게이션을 수행함으로써 상기 제5 뉴럴 네트워크의 파라미터 중 적어도 일부를 학습하도록 하는 프로세스를 더 수행한다.

일 실시예에서, 상기 (I) 프로세스에서, 상기 프로세서가, 상기 제1 뉴럴 네트워크에 포함된 제1 컨벌루션 레이어로 하여금 상기 상황 이미지에 적어도 하나의 제1 컨벌루션 연산을 가하여 적어도 하나의 제1 특징 맵을 생성하도록 하고, 상기 제1 뉴럴 네트워크에 포함된 제1 풀링 레이어로 하여금 상기 제1 특징 맵에 적어도 하나의 제1 풀링 연산을 가하여 적어도 하나의 제1 풀링된 특징 맵을 생성하도록 하고, 상기 제1 뉴럴 네트워크에 포함된 제1 FC 레이어로 하여금 상기 제1 풀링된 특징 맵에 적어도 하나의 제1 FC 연산을 가하여 상기 이미지 기반 특징 맵을 생성하도록 한다.

본 발명의 또 다른 태양에 따르면, 이미지 및 통신을 통해 획득되는 각 정보의 퓨전을 사용하여 하나 이상의 테스트용 주변 객체의 하나 이상의 모션을 예측함으로써, 사고 위험을 회피하여 안전한 자율 주행을 수행하도록 지원하는 테스트 장치에 있어서, 하나 이상의 인스트럭션들을 저장하는 적어도 하나의 메모리; 및 (I) (1) 학습 장치가, 학습용 대상 차량에 탑재된 적어도 하나의 학습용 카메라를 통해 적어도 하나의 학습용 상황 이미지가 획득되면, 제1 뉴럴 네트워크로 하여금, 상기 학습용 상황 이미지에 적어도 하나의 제1 뉴럴 네트워크 연산을 가하여, 상기 학습용 상황 이미지에 대응하는 적어도 하나의 학습용 이미지 기반 특징 맵을 생성하도록 하는 프로세스, 및 상기 학습용 대상 차량에 탑재된 적어도 하나의 학습용 통신 모듈을 통해 학습용 상황 통신 정보가 획득되면, 제2 뉴럴 네트워크로 하여금, 상기 학습용 상황 통신 정보에 적어도 하나의 제2 뉴럴 네트워크 연산을 가하여, 상기 학습용 상황 통신 정보에 대응하는 학습용 통신 기반 특징 맵을 생성하도록 하는 프로세스를 수행하고, (2) 상기 학습 장치가, 제3 뉴럴 네트워크로 하여금, 상기 학습용 이미지 기반 특징 맵 및 상기 학습용 통신 기반 특징 맵에 적어도 하나의 제3 뉴럴 네트워크 연산을 가하여, 학습용 통합 특징 맵을 생성하도록 하고, (3) 상기 학습 장치가, 제4 뉴럴 네트워크로 하여금, 상기 학습용 통합 특징 맵에 적어도 하나의 제4 뉴럴 네트워크 연산을 가하여, 특정 시간 범위 동안의 학습용 주변 객체의 모션 예측 결과인 학습용 예측 주변 모션 정보를 생성하도록 하고, (4) 상기 학습 장치가, 제1 로스 레이어로 하여금, 상기 학습용 예측 주변 모션 정보 및 이에 대응하는 GT 주변 모션 정보를 참조로 하여 적어도 하나의 모션 로스를 생성하도록 하고, 상기 모션 로스를 사용하여 백프로퍼게이션을 수행함으로써 상기 제1 내지 상기 제4 뉴럴 네트워크의 파라미터 중 적어도 일부를 학습하도록 한 상태에서, 테스트용 대상 차량에 탑재된 적어도 하나의 테스트용 카메라를 통해 적어도 하나의 테스트용 상황 이미지가 획득되면, 상기 제1 뉴럴 네트워크로 하여금, 상기 테스트용 상황 이미지에 상기 제1 뉴럴 네트워크 연산을 가하여, 상기 테스트용 상황 이미지에 대응하는 적어도 하나의 테스트용 이미지 기반 특징 맵을 생성하도록 하며, 상기 테스트용 대상 차량에 탑재된 적어도 하나의 테스트용 통신 모듈을 통해 테스트용 상황 통신 정보가 획득되면, 상기 제2 뉴럴 네트워크로 하여금, 상기 테스트용 상황 통신 정보에 상기 제2 뉴럴 네트워크 연산을 가하여, 상기 테스트용 상황 통신 정보에 대응하는 적어도 하나의 테스트용 통신 기반 특징 맵을 생성하도록 하는 프로세스, (II) 상기 제3 뉴럴 네트워크로 하여금, 상기 테스트용 이미지 기반 특징 맵 및 상기 테스트용 통신 기반 특징 맵에 상기 제3 뉴럴 네트워크 연산을 가하여, 테스트용 통합 특징 맵을 생성하도록 하는 프로세스, 및 (III) 상기 제4 뉴럴 네트워크로 하여금, 상기 테스트용 통합 특징 맵에 상기 제4 뉴럴 네트워크 연산을 가하여, 상기 특정 시간 범위 동안의 상기 테스트용 주변 객체의 모션 예측 결과인 테스트용 예측 주변 모션 정보를 생성하도록 하는 프로세스를 수행하기 위한 상기 인스트럭션들을 실행하도록 구성된 적어도 하나의 프로세서;를 포함하는 것을 특징으로 하는 장치가 제공된다.

일 실시예에서, 상기 프로세서가, (IV) 상기 제1 내지 상기 제4 뉴럴 네트워크를 사용하여 학습이 완료된 제5 뉴럴 네트워크로 하여금, 상기 테스트용 예측 주변 모션 정보에 적어도 하나의 제5 뉴럴 네트워크 연산을 가하여, 상기 특정 시간 범위 동안에 상기 테스트용 대상 차량과의 연관도가 임계치 이상인 사고가 일어날 확률에 대한 정보를 포함하는 테스트용 예측 위험 정보를 생성하도록 하는 프로세스를 더 수행한다.

일 실시예에서, 상기 프로세서가, (V) 상기 테스트용 대상 차량이 군집주행(platooning)을 통해 상기 자율 주행을 수행하고 있는 경우, 상기 테스트용 예측 위험 정보를 참조로 하여 군집주행 파라미터를 조정하는 프로세스를 더 수행한다.

일 실시예에서, 상기 프로세서가, 상기 테스트용 대상 차량과의 상기 연관도가 상기 임계치 이상인 특정 사고가 실제로 발생하여 검출된 경우, 상기 특정 사고에 대한 정보를 상기 테스트용 주변 객체와 공유하고, 상기 테스트용 대상 차량으로 하여금, 상기 특정 사고로 인해 발생할 위험한 상황을 회피하기 위한 주행 전략을 참조로 하여 상기 자율 주행을 수행하도록 지원한다.

일 실시예에서, 상기 (III) 프로세스에서, 상기 프로세서가, 상기 제4 뉴럴 네트워크로 하여금, (i) 상기 테스트용 카메라 및 상기 테스트용 통신 모듈을 통해 획득된 테스트용 글로벌 정보에 대응하는 상기 테스트용 통합 특징 맵 및 (ii) 각각의 상기 테스트용 주변 객체에 대한 테스트용 로컬 정보에 대응하는, 상기 테스트용 통신 기반 특징 맵이 생성되는 과정에서 사용된 하나 이상의 테스트용 통신 기반 메타 특징 벡터를 포함하는 테스트용 메타 특징 맵에, 상기 제4 뉴럴 네트워크 연산을 가하여 상기 테스트용 예측 주변 모션 정보를 생성하도록 한다.

일 실시예에서, 상기 (III) 프로세스에서, 상기 프로세서가, 상기 테스트용 카메라를 통해 획득된 상기 테스트용 주변 객체에 대한 테스트용 이미지 기반 메타 데이터에 대응하는 하나 이상의 테스트용 이미지 기반 메타 특징 벡터 및 상기 테스트용 통신 기반 메타 특징 벡터를 참조로 하여, 상기 테스트용 메타 특징 맵을 생성한다.

이 외에도, 본 발명의 방법을 실행하기 위한 컴퓨터 프로그램을 기록하기 위한 컴퓨터 판독 가능한 기록 매체가 더 제공된다.

본 발명에 의하면, 자율 주행 차량으로 하여금, 차량 군집주행(platooning) 중 적어도 하나의 사고 발생 시 적절히 대응할 수 있도록 하는 효과가 있다.

또한, 본 발명에 의하면, 상기 자율 주행 차량으로 하여금, 사고위험 이 높은 하나 이상의 주변 객체를 회피할 수 있도록 하는 효과가 있다.

본 발명의 상기 및 다른 목적 및 특징은 다음의 첨부 도면과 함께 주어진 바람직한 실시예들의 설명에서 명백해질 것이다.
본 발명의 실시예의 설명에 이용되기 위하여 첨부된 아래 도면들은 본 발명의 실시예들 중 단지 일부일 뿐이며, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자(이하 "통상의 기술자")에게 있어서는 발명적 작업이 이루어짐 없이 이 도면들에 기초하여 다른 도면들이 얻어질 수 있다.
도 1은 본 발명의 일 실시예에 따라 다양한 소스(source)로부터 획득되는 정보의 퓨전(fushion)을 통해 주변 객체의 모션을 예측함으로써, 사고 위험을 회피하여 안전한 자율 주행을 수행하도록 지원하는 학습 방법을 수행하는 학습 장치의 구성을 개략적으로 나타낸 도면이다.
도 2a 및 도 2b는 본 발명의 일 실시예에 따라 상기 다양한 소스로부터 획득되는 정보의 퓨전을 통해 상기 주변 객체의 상기 모션을 예측함으로써, 상기 사고 위험을 회피하여 상기 안전한 자율 주행을 수행하도록 지원하는 상기 학습 방법을 개략적으로 나타낸 흐름도이다.
도 3은 본 발명의 일 실시예에 따라 상기 다양한 소스로부터 획득되는 정보의 퓨전을 통해 상기 주변 객체의 상기 모션을 예측함으로써, 상기 사고 위험을 회피하여 상기 안전한 자율 주행을 수행하도록 지원하는 상기 학습 방법을 수행하기 위해 사용되는 통합 특징 맵이 어떠한 방식으로 생성되는 지에 대한 일 예시를 개략적으로 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따라 상기 다양한 소스로부터 획득되는 정보의 퓨전을 통해 상기 주변 객체의 상기 모션을 예측함으로써, 상기 사고 위험을 회피하여 상기 안전한 자율 주행을 수행하도록 지원하는 상기 학습 방법을 수행하기 위해 사용되는 제1 내지 제5 뉴럴 네트워크가 어떠한 방식으로 학습되는 지에 대한 일 예시를 개략적으로 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 상기 다양한 소스로부터 획득되는 정보의 퓨전을 통해 상기 주변 객체의 상기 모션을 예측함으로써, 상기 사고 위험을 회피하여 상기 안전한 자율 주행을 수행하도록 지원하는 테스트 방법을 개략적으로 나타낸 흐름도이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명의 목적들, 기술적 해법들 및 장점들을 분명하게 하기 위하여 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다.

또한, 본 발명의 상세한 설명 및 청구항들에 걸쳐, "포함하다"라는 단어 및 그것의 변형은 다른 기술적 특징들, 부가물들, 구성요소들 또는 단계들을 제외하는 것으로 의도된 것이 아니다. 통상의 기술자에게 본 발명의 다른 목적들, 장점들 및 특성들이 일부는 본 설명서로부터, 그리고 일부는 본 발명의 실시로부터 드러날 것이다. 아래의 예시 및 도면은 실례로서 제공되며, 본 발명을 한정하는 것으로 의도된 것이 아니다.

더욱이 본 발명은 본 명세서에 표시된 실시예들의 모든 가능한 조합들을 망라한다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

본 발명에서 언급하는 각종 이미지는 포장 또는 비포장 도로 관련 이미지를 포함할 수 있으며, 이 경우 도로 환경에서 등장할 수 있는 물체(가령, 자동차, 사람, 동물, 식물, 물건, 건물, 비행기나 드론과 같은 비행체, 기타 장애물)를 상정할 수 있을 것이나, 반드시 이에 한정되는 것은 아니며, 본 발명에서 언급하는 각종 이미지는 도로와 상관 없는 이미지(가령, 비포장도로, 골목길, 공터, 바다, 호수, 강, 산, 숲, 사막, 하늘, 실내와 관련된 이미지)일 수도 있으며, 이 경우, 비포장도로, 골목길, 공터, 바다, 호수, 강, 산, 숲, 사막, 하늘, 실내 환경에서 등장할 수 있는 물체(가령, 자동차, 사람, 동물, 식물, 물건, 건물, 비행기나 드론과 같은 비행체, 기타 장애물)를 상정할 수 있을 것이나, 반드시 이에 한정되는 것은 아니다.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따라 다양한 소스(source)로부터 획득되는 정보의 퓨전을 통해 주변 객체의 모션(motion)을 예측함으로써, 사고 위험을 회피하여 안전한 자율 주행을 수행하도록 지원하는 학습 방법을 수행하는 학습 장치의 구성을 나타낸 도면이다.

도 1을 참조하면, 상기 학습 장치(100)는, 추후 자세히 설명할 구성요소들인 제1 내지 제5 뉴럴 네트워크(130 내지 170) 및 제1 내지 제2 로스 레이어(180 내지 190)을 포함할 수 있다. 상기 제1 내지 상기 제5 뉴럴 네트워크(130 내지 170) 및 상기 제1 내지 상기 제2 로스 레이어(180 내지 190)의 입출력 및 연산 과정은 각각 적어도 하나의 통신부(110) 및 적어도 하나의 프로세서(120)에 의해 이루어질 수 있다. 다만 도 1에서는 상기 통신부(110) 및 상기 프로세서(120)의 구체적인 연결 관계를 생략하였다. 이 때, 메모리(115)가 후술할 여러 가지 인스트럭션들을 저장한 상태일 수 있고, 상기 프로세서(120)는, 상기 메모리(115)에 저장된 상기 인스트럭션들을 실행할 수 있으며, 추후 설명할 상기 인스트럭션들들을 실행함으로써 본 발명의 프로세스를 수행할 수 있다. 이와 같이 상기 학습 장치(100)가 묘사되었다고 하여, 상기 학습 장치(100)가 본 발명을 실시하기 위한 프로세서, 메모리, 매체(medium) 또는 기타 컴퓨팅 요소가가 통합된 형태인 통합 프로세서를 포함하는 경우를 배제하는 것은 아니다.

여기서, 상기 제1 로스 레이어(180)와 상기 제2 로스 레이어(190)는, 동일한 개체일 수 있으나, 이하의 설명에서는 편의상 둘을 구분하도록 한다.

이상 본 발명의 일 실시예에 따른 상기 학습 장치(100)의 상기 구성에 대해 설명한 바, 이하 상가 학습 방법에 대해 더욱 구체적으로 설명하도록 한다. 상기 학습 방법의 흐름을 설명하기 위해, 도 2a 및 도 2b를 참조하도록 한다.

도 2a 및 도 2b는 본 발명의 일 실시예에 따라 상기 다양한 소스로부터 획득되는 정보의 퓨전을 통해 상기 주변 객체의 상기 모션을 예측함으로써, 상기 사고 위험을 회피하여 상기 안전한 자율 주행을 수행하도록 지원하는 상기 학습 방법을 개략적으로 나타낸 흐름도이다.

도 2a를 참조하면, 상기 학습 장치(100)는, 상기 제1 뉴럴 네트워크(130)로 하여금, 적어도 하나의 상황 이미지에 적어도 하나의 제1 뉴럴 네트워크 연산을 가하여, 상기 상황 이미지에 대응하는 적어도 하나의 이미지 기반 특징 맵을 생성하도록 하는 프로세스를 수행할 수 있다(S01-1). 또한, 상기 학습 장치(100)는, 상기 제2 뉴럴 네트워크(140)로 하여금, 상황 통신 정보에 적어도 하나의 제2 뉴럴 네트워크 연산을 가하여, 상기 상황 통신 정보에 대응하는 적어도 하나의 통신 기반 특징 맵을 생성하도록 하는 프로세스를 수행할 수 있다(S01-2).

이후, 상기 학습 장치(100)는, 상기 제3 뉴럴 네트워크(150)로 하여금, 상기 이미지 기반 특징 맵 및 상기 통신 기반 특징 맵에 적어도 하나의 제3 뉴럴 네트워크 연산을 가하여, 통합 특징 맵을 생성하도록 할 수 있다(S02). 그리고, 상기 학습 장치(100)는, 상기 제4 뉴럴 네트워크(160)로 하여금, 상기 통합 특징 맵에 적어도 하나의 제4 뉴럴 네트워크 연산을 가하여, 예측 주변 모션 정보를 생성하도록 할 수 있다(S03). 여기서, 상기 예측 주변 모션 정보는, 특정 시간 범위 동안의 상기 주변 객체의 모션을 예측한 결과일 수 있다. 다음으로, 상기 학습 장치(100)는, 상기 제1 로스 레이어(180)로 하여금, 상기 예측 주변 모션 정보 및 이에 대응하는 GT(Ground Truth) 주변 모션 정보를 참조로 하여 적어도 하나의 모션 로스를 생성하도록 하고, 상기 모션 로스를 사용하여 백프로퍼게이션(backpropagation)을 수행함으로써 상기 제1 내지 상기 제4 뉴럴 네트워크(130 내지 160)의 파라미터 중 적어도 일부를 학습하도록 할 수 있다(S04). 도 2a의 끝부분 및 도 2b의 앞부분의 "A"는, 특정한 프로세스가 아니라 도2a의 프로세스와 도 2b의 프로세스가 연속되는 것임을 나타내는 단순한 표기이다.

도 2a의 상기 S01 내지 상기 S04 단계를 반복하여 상기 제1 내지 상기 제4 뉴럴 네트워크(130 내지 160)의 파라미터 중 적어도 일부가 학습된 후, 도 2b를 참조하면, 추가적인 프로세스로서, 상기 학습 장치(100)는, 상기 제5 뉴럴 네트워크(170)로 하여금, 학습이 완료된 상기 제4 뉴럴 네트워크로(160)부터 출력된 상기 예측 주변 모션 정보에 적어도 하나의 제5 뉴럴 네트워크 연산을 가하여, 예측 위험 정보를 생성하도록 할 수 있다(S05). 이후, 상기 학습 장치(100)는, 상기 제2 로스 레이어(190)로 하여금, 상기 예측 위험 정보 및 이에 대응하는 GT 위험 정보를 참조로 하여 적어도 하나의 위험 로스를 생성하도록 하고, 상기 위험 로스를 사용하여 백프로퍼게이션을 수행함으로써 상기 제5 뉴럴 네트워크(170)의 파라미터 중 적어도 일부를 학습하도록 할 수 있다(S06).

이상 본 발명의 상기 학습 방법의 흐름에 대해 개략적으로 설명한 바, 이에 대해 이하 더욱 구체적으로 설명하도록 한다.

먼저, 상기 학습 장치(100)는, 상기 대상 차량에 탑재된 적어도 하나의 카메라를 통해 상기 적어도 하나의 상황 이미지를 획득하고, 상기 대상 차량에 탑재된 적어도 하나의 통신 모듈을 통해 상기 상황 통신 정보를 획득할 수 있다. 여기서, 상기 상황 이미지는, 상기 카메라를 이용해 상기 대상 차량의 주변을 촬영한 결과일 수 있고, 상기 상황 통신 정보는, 상기 주변 객체의 메타 데이터를 포함하는, 상기 주변 객체로부터 전달된 정보일 수 있다. 여기서, 상기 주변 객체는, V2X(vehicle-to-everything) 통신을 통해 상기 대상 차량과 연결되며, 상기 대상 차량으로부터 제1 임계치 이하의 거리에 위치한 객체이다.

이와 같이 상기 상황 이미지 및 상기 상황 통신 정보가 획득되면, 상기 학습 장치(100)는, 상기 제1 뉴럴 네트워크(130) 및 제2 뉴럴 네트워크(140)로 하여금, 각각 상기 상황 이미지 및 상기 상황 통신 정보를 가공하여, 상기 이미지 기반 특징 맵 및 상기 통신 기반 특징 맵을 생성하도록 할 수 있다.

상기 제1 뉴럴 네트워크(130)에 대해 설명하면, 이는 적어도 하나의 제1 컨벌루션 레이어, 적어도 하나의 제1 풀링 레이어 및 적어도 하나의 제1 FC(Fully-Connected)레이어를 포함할 수 있다. 즉, 상기 학습 장치(100)는, 상기 제1 컨벌루션 레이어로 하여금 상기 상황 이미지에 적어도 하나의 제1 컨벌루션 연산을 가하여 적어도 하나의 제1 특징 맵을 생성하도록 하고, 상기 제1 풀링 레이어로 하여금 상기 제1 특징 맵에 적어도 하나의 제1 풀링 연산을 가하여 적어도 하나의 제1 풀링된 특징 맵을 생성하도록 하고, 상기 제1 FC 레이어로 하여금 상기 제1 풀링된 특징 맵에 적어도 하나의 제1 FC 연산을 가하여 상기 이미지 기반 특징 맵을 생성하도록 할 수 있다. 이와 같은 상기 제1 뉴럴 네트워크(130)의 구성이 필수는 아니며, 자신에 입력된 이미지로부터 특징 맵을 추출할 수 있다면 어떤 구성이라도 상기 제1 뉴럴 네트워크(130)에 사용될 수 있을 것이다.

이와는 달리, 상기 제2 뉴럴 네트워크(140)는 적어도 하나의 제2 FC 레이어 및 적어도 하나의 제2 풀링 레이어를 포함할 수 있다. 즉, 상기 학습 장치(100)는, 제2 FC 레이어로 하여금, 상기 대상 차량으로부터 상기 제1 임계치 이하의 거리에 위치한 상기 주변 객체 각각에 대한 통신 기반 메타 데이터를 각각의 통신 기반 메타 데이터 벡터로서 포함하는 상황 통신 정보에 적어도 하나의 제2 FC 연산을 가하여, 각각의 상기 통신 기반 메타 데이터 벡터에 대응하는 통신 기반 메타 특징 벡터를 생성하도록 할 수 있다. 그 후, 상기 학습 장치(100)는, 상기 제2 풀링 레이어로 하여금, 상기 통신 기반 메타 특징 벡터에 적어도 하나의 제2 풀링 연산을 가하여 상기 통신 기반 특징 맵을 생성하도록 할 수 있다.

여기서, 상기 대상 차량의 주변 전반의 광경에 대한 일반적인 정보를 "글로벌 정보"라 하고, 상기 주변 전반의 광경에 포함된 상기 주변 객체 각각에 대한 세분화된 정보를 "로컬 정보"라 한다면, 상기 이미지 기반 특징 맵 및 상기 통신 기반 특징 맵은, 상기 글로벌 정보를 포함하는 것으로 볼 수 있다. 이는, 상기 이미지 기반 특징 맵이, 상기 주변 전반의 광경을 포함하는 상기 상황 이미지를 가공함으로써 생성되었고, 상기 통신 기반 특징 맵이, 각각의 상기 주변 객체에 대한 상기 통신 기반 메타 데이터 벡터를 풀링함으로써 생성되었기 때문이다. 이와 비교하여, 전술한 통신 기반 메타 데이터 벡터는, 상기 로컬 정보를 포함하는 것으로 볼 수 있을 것이다. 이후 설명하겠지만, 이와 같은 두 종류의 정보, 즉 상기 글로벌 정보와 상기 로컬 정보는 함께 사용됨으로써, 상기 대상 차량으로 하여금 그 주변의 모션들을 예측하도록 지원할 수 있다. 그러나, 상기 글로벌 정보만을 사용하는 실시예도 가능하다. 이하에서는, (i) 상기 V2X 통신을 통해 획득된 상기 글로벌 정보 중 일부를 포함하는 상기 통신 기반 특징 맵과, (ii) 상기 카메라를 통해 획득된 상기 글로벌 정보 중 다른 일부를 포함하는 상기 이미지 기반 특징 맵을 통합하여, 보다 풍부한 글로벌 정보가 반영되는 상기 통합 특징 맵을 생성하는 방법에 대해 설명하도록 한다.

즉, 상기 학습 장치(100)는, 상기 제3 뉴럴 네트워크(150)로 하여금, 상기 이미지 기반 특징 맵 및 상기 통신 기반 특징 맵에 상기 제3 뉴럴 네트워크 연산을 가하여, 상기 통합 특징 맵을 생성하도록 할 수 있다. 여기서, 상기 제3 뉴럴 네트워크(150)는 RNN(Recurrent Neural Network)의 형태로서 구현된 것일 수 있다. 나아가, 상기 제3뉴럴 네트워크는, 상기 RNN의 일종인 LSTM(Long-Short Term Memory) 네트워크의 형태로서 구현될 수 있을 것이다. 상기 통합 특징 맵이 어떠한 방식으로 생성될 수 있는지에 대해 더 자세히 설명하기 위해 도 3을 참조하도록 한다.

도 3은 본 발명의 일 실시예에 따라 상기 다양한 소스로부터 획득되는 정보의 퓨전을 통해 상기 주변 객체의 상기 모션을 예측함으로써, 상기 사고 위험을 회피하여 상기 안전한 자율 주행을 수행하록 지원하는 상기 학습 방법을 수행하기 위해 사용되는 상기 통합 특징 맵이 어떠한 방식으로 생성되는 지에 대한 일 예시를 개략적으로 나타낸 도면이다.

도 3을 참조하면, 상기 학습 장치(100)는, 1×M₂ 사이즈의 상기 이미지 기반 특징 맵 및 1×M₂ 사이즈의 상기 통신 기반 특징 맵을 채널 방향 컨캐터네이팅(channel-wise concatenating)하여 임시 특징 맵을 생성하고, 상기 LSTM 네트워크로서 구현된 상기 제3 뉴럴 네트워크(150)로 하여금, 상기 제3 뉴럴 네트워크(150)에 이전에 입력된 정보에 대응하는 상태 벡터를 사용하여 상기 상기 임시 특징 맵에 상기 제3 뉴럴 네트워크 연산을 가함으로써, 상기 통합 특징 맵을 생성하도록 할 수 있다. 도 3에서, 실선으로 표시된 일부분은, 현재의 시점, 즉 제T 시점에 생성된, 이미지 기반 특징 맵, 통신 기반 특징 맵, 임시 특징 맵 및 통합 특징 맵을 의미하고, 점선으로 표시된 나머지 부분은, 이전의 시점, 즉 제(T-2) 및 제(T-1) 시점에 생성된, 이미지 기반 특징 맵, 통신 기반 특징 맵, 임시 특징 맵 및 통합 특징 맵을 의미한다. 상기 제3 뉴럴 네트워크(150)는, 각각의 시점마다 입력된 임시 특징 맵을 가공하여 상기 통합 특징 맵을 생성하면서, 상기 상태 벡터를 업데이트할 수 있다. 이와 같이 과거의 상기 제(T-2) 및 상기 제(T-1) 시점에서 업데이트된 상기 상태 벡터가, 현재의 상기 제T 시점에서의 임시 특징 맵을 가공하는 과정에서 사용되는 바, 과거의 정보가 상기 통합 특징 맵을 생성하는 프로세스에 반영된다고 볼 수 있다. 상기 상태 벡터를 사용하는 이와 같은 용법은 통상의 기술자에게 잘 알려진 것이므로 더욱 자세한 설명은 생략하도록 한다.

도 3에는, 상기 제2 뉴럴 네트워크(140)로부터 출력된, N×M₂ 사이즈의 출력 매트릭스가 도시되어있다. 상기 이미지 기반 특징 맵을 생성하는 과정 동안에, 상기 출력 매트릭스는, 후술될 N×M₁ 사이즈의 입력 매트릭스에 포함된 상기 상황 통신 정보에 대응하는 N 개의 이미지 기반 메타 특징 벡터를 포함한다. 이러한 이미지 기반 메타 특징 벡터에 대해서는 추후 설명할 것이다.

상기 통합 특징 맵이 생성되면, 상기 학습 장치(100)는 상기 제4 뉴럴 네트워크(160)으로 하여금, 상기 카메라 및 상기 통신 모듈을 통해 획득된 글로벌 정보에 대응하는 상기 통합 특징 맵에 상기 제4 뉴럴 네트워크 연산을 가하여, 상기 예측 주변 모션 정보를 생성하도록 할 수 있다. 상기 제4 뉴럴 네트워크는, 컨벌루션 레이어, 풀링 레이어 및 FC 레이어 중 적어도 일부를 포함할 수 있고, 상기 제4 뉴럴 네트워크 연산은, 이들 레이어 중 적어도 일부를 사용한 연산일 수 있다.

이하에서는, 상기 글로벌 정보만을 사용하는 상술한 실시예와 달리, 상기 글로벌 정보 및 상기 로컬 정보를 함께 사용하는 다른 실시예에 대해 설명하도록 한다.

즉, 상기 학습 장치(100)는, 상기 제4 뉴럴 네트워크(160)로 하여금, (i) 상기 카메라 및 상기 통신 모듈을 통해 획득된 상기 글로벌 정보에 대응하는 상기 통합 특징 맵, 및 (ii) 각각의 상기 주변 객체에 대한 상기 로컬 정보에 대응하는, 상기 통신 기반 특징 맵이 생성되는 과정에서 사용된 하나 이상의 통신 기반 메타 특징 벡터를 열(column)벡터로서 포함하는 메타 특징 맵에, 상기 제4 뉴럴 네트워크 연산을 가하여 상기 예측 주변 모션 정보를 생성하도록 할 수 있다. 구체적으로, (i) 상기 통신 기반 메타 특징 벡터를 수집하고 (ii) 상기 수집된 통신 기반 메타 특징 벡터를 사용하여 하나의 매트릭스를 생성함으로써, 상기 메타 특징 맵이 생성된 상태일 수 있다. 이와 같은 실시예의 경우, 상기 V2X 통신을 통해 획득된 상기 로컬 정보의 일부분만이 상기 메타 특징 맵에 반영된다고 볼 수 있다.

상술한 실시예와 달리, 상기 로컬 정보의 상기 일부분과 함께, 상기 카메라로부터 획득된 상기 로컬 정보의 다른 일부분도 상기 메타 특징 맵에 반영되는 다른 실시예가 존재할 수 있다. 즉, 상기 학습 장치(100)는, 상기 상황 이미지에 객체 검출 연산을 가함으로써 상기 주변 객체에 대한 이미지 기반 메타 데이터를 생성하고, 이를 가공하여 생성된 상기 하나 이상의 이미지 기반 메타 특징 벡터를 추가적으로 사용함으로써 메타 특징 맵을 생성할 수 있다. 일 예시로, 상기 이미지 기반 메타 특징 벡터는, 각각의 상기 이미지 기반 메타 데이터를 구성요소로서 포함할 수 있다. 또는, 상기 상황 이미지가 아닌, 각각의 상기 주변 객체를 포함하는 각각의 개별 이미지가 가공되어 상기 이미지 기반 메타 특징 벡터를 생성할 수 있고, 상기 이미지 기반 메타 특징 벡터가 상기 메타 특징 맵을 생성하기 위해 사용될 수도 있을 것이다.

상기의 실시예들 중 적어도 하나를 사용하여 상기 예측 주변 모션 정보가 생성되면, 상기 학습 장치(100)는 이를 이용해 상기 제1 내지 상기 제5 뉴럴 네트워크(130 내지 170)를 학습할 수 있다. 여기서, 상기 제1 내지 상기 제5 뉴럴 네트워크(130 내지 170)의 학습 과정에 대한 실시예가 다수 존재하므로, 이들을 나누어 차례로 설명하도록 한다.

먼저, 전술한 바와 같이, 상기 제1 내지 상기 제3 뉴럴 네트워크(130 내지 150)는, 상기 글로벌 정보를 반영한 상기 통합 특징 맵을 생성하기 위한 구성이고, 상기 제4 뉴럴 네트워크(160)는, 상기 통합 특징 맵을 이용해 상기 예측 주변 모션 정보를 생성하기 위한 구성이다. 이러한 뉴럴 네트워크들과 비교하여, 상기 제5 뉴럴 네트워크(170)는, 상기 예측 주변 모션 정보를 참조하여 상기 예측 위험 정보를 생성하기 위한 구성일 수 있다. 이를 바탕으로, 일 실시예에 따르면, 상기 학습 장치(100)는 상기 제1 로스 레이어(180)를 이용해 상기 제1 내지 상기 제4 뉴럴 네트워크(130 내지 160)의 파라미터 중 적어도 일부를 학습할 수 있다. 이와 같은 과정을 반복함으로써, 상기 제1 내지 상기 제4 뉴럴 네트워크(130 내지 160)의 파라미터의 학습이 완료되고, 상기 제1 내지 제4 뉴럴 네트워크(130 내지 160)가 상기 제5 뉴럴 네트워크(170)를 학습하는 데에 사용될 수 있다. 이와 같은 실시예에 대해 설명하기 위해 도 4를 참조하도록 한다.

도 4는 본 발명의 일 실시예에 따라 상기 다양한 소스로부터 획득되는 정보의 퓨전을 통해 상기 주변 객체의 상기 모션을 예측함으로써, 상기 사고 위험을 회피하여 상기 안전한 자율 주행을 수행하도록 지원하는 상기 학습 방법을 수행하기 위해 사용되는 상기 제1 내지 상기 제5 뉴럴 네트워크가 어떠한 방식으로 학습되는 지에 대한 일 예시를 개략적으로 나타낸 도면이다.

도 4를 참조로 하면, 상기 예측 주변 모션 정보가 획득되면, 상기 학습 장치(100)는, 상기 제1 로스 레이어(180)로 하여금, 상기 예측 주변 모션 정보 및 이에 대응하는 GT 주변 모션 정보를 참조로 하여 상기 모션 로스를 생성하도록 하고, 상기 모션 로스를 사용하여 백프로퍼게이션을 수행함으로써 상기 제1 내지 상기 제4 뉴럴 네트워크(130 내지 160)의 파라미터 중 적어도 일부를 학습하도록 할 수 있다. 여기서, 상기 GT 주변 모션 정보는, 상기 상황 이미지 및 상기 상황 통신 정보가 소정의 제T 시점에 대응할 때, 상기 제T 시점 이후의 시점인 제(T+1) 시점에서의 상기 주변 객체의 위치 정보 및 속도 정보를 참조로 하여 생성된 것일 수 있다.

상기 제1 내지 상기 제4 뉴럴 네트워크(130 내지 160)의 파라미터 중 상기 적어도 일부의 학습이 완료된 상태에서, 상기 학습 장치(100)는, 상기 제5 뉴럴 네트워크(170)로 하여금, 상기 제4 뉴럴 네트워크(160)로부터 출력된 상기 예측 주변 모션 정보에 상기 제5 뉴럴 네트워크 연산을 가하여, 상기 특정 시간 범위 동안에 상기 대상 차량과의 연관도가 제2 임계치 이상인 사고가 일어날 확률에 대한 정보를 포함하는 예측 위험 정보를 생성하도록 할 수 있다. 예를 들어, 상기 연관도는, 상기 사고가 일어난 위치와 그 때의 상기 대상 차량의 위치 사이의 거리를 이용하여 계산될 수 있으나, 이에 한정되는 것은 아니다.

그리고, 상기 학습 장치(100)는, 상기 제2 로스 레이어(190)로 하여금, 상기 예측 위험 정보 및 이에 대응하는 GT 위험 정보를 참조로 하여 상기 위험 로스를 생성하도록 하고, 상기 위험 로스를 참조로 하여 백프로퍼게이션을 수행함으로써 상기 제5 뉴럴 네트워크(170)의 파라미터 중 적어도 일부를 학습하도록 할 수 있다. 여기서, 상기 GT 위험 정보는, 상기 상황 이미지 및 상기 상황 통신 정보가 상기 제T 시점에 대응할 때, 상기 제T 시점 이후의 시점인 상기 제(T+1) 시점에서 상기 대상 차량 또는 그 주변에 사고가 발생하였는지 여부에 대한 정보를 참조로 하여 생성된 것일 수 있다.

전술한 실시예와는 다른 실시예로서, 상기 제1 내지 상기 제5 뉴럴 네트워크(130 내지 170)가 한 번에 학습되는 실시예가 존재하므로, 이에 대해 설명하도록 한다. 즉, 상기 학습 장치(100)는, 학습되지 않은 상기 제4 뉴럴 네트워트에 의해 생성된 상기 예측 주변 모션 정보가 획득되면, 상기 제5 뉴럴 네트워크(170)로 하여금, 상기 예측 주변 모션 정보에 상기 제5 뉴럴 네트워크 연산을 가하여, 상기 예측 위험 정보를 생성하도록 할 수 있다. 다시 말해서, 본 실시예에서 사용되는 상기 예측 주변 모션 정보는, 상기 제1 내지 상기 제4 뉴럴 네트워크(130 내지 160)의 학습이 완료된 후에 생성된 것이 아니라, 이들이 학습되는 도중 생성된 것일 수 있다. 이후, 상기 학습 장치(100)는, 하나의 로스 레이어로 하여금, 상기 예측 위험 정보 및 이에 대응하는 GT 위험 정보를 참조로 하여 로스를 생성하도록 하고, 상기 로스를 사용하여 백프로퍼게이션을 수행함으로써 상기 제5 뉴럴 네트워크(170)의 파라미터 중 적어도 일부를 학습하도록 할 수 있다.

상기 제1 내지 상기 제5 뉴럴 네트워크(130 내지 170)이 학습되면, 본 발명의 테스트 방법을 수행하기 위해 사용될 수 있다. 이에 대해 이하 도 5를 참조로 하여 설명하도록 한다.

도 5는 본 발명의 일 실시예에 따른 상기 다양한 소스로부터 획득되는 정보의 퓨전을 통해 상기 주변 객체의 상기 모션을 예측함으로써, 상기 사고 위험을 회피하여 상기 안전한 자율 주행을 수행하도록 지원하는 상기 테스트 방법을 나타낸 도면이다.

도 5를 참조로 하면, 먼저, (1) 상기 학습 장치(100)가, 학습용 대상 차량에 탑재된 적어도 하나의 학습용 카메라를 통해 적어도 하나의 학습용 상황 이미지가 획득되면, 상기 제1 뉴럴 네트워크(130)로 하여금, 상기 학습용 상황 이미지에 상기 제1 뉴럴 네트워크 연산을 가하여, 상기 학습용 상황 이미지에 대응하는 적어도 하나의 학습용 이미지 기반 특징 맵을 생성하도록 하는 프로세스, 및 상기 학습용 대상 차량에 탑재된 적어도 하나의 학습용 통신 모듈을 통해 학습용 상황 통신 정보가 획득되면, 상기 제2 뉴럴 네트워크(140)로 하여금, 상기 학습용 상황 통신 정보에 상기 제2 뉴럴 네트워크 연산을 가하여, 상기 학습용 상황 통신 정보에 대응하는 학습용 통신 기반 특징 맵을 생성하도록 하는 프로세스를 수행하고, (2) 상기 학습 장치(100)가, 상기 제3 뉴럴 네트워크(150)로 하여금, 상기 학습용 이미지 기반 특징 맵 및 상기 학습용 통신 기반 특징 맵에 상기 제3 뉴럴 네트워크 연산을 가하여, 학습용 통합 특징 맵을 생성하도록 하고, (3) 상기 학습 장치가, 상기 제4 뉴럴 네트워크(160)로 하여금, 상기 학습용 통합 특징 맵에 상기 제4 뉴럴 네트워크 연산을 가하여, 특정 시간 범위 동안의 학습용 주변 객체의 모션 예측 결과 학습용 예측 주변 모션 정보를 생성하도록 하고, (4) 상기 학습 장치가, 상기 제1 로스 레이어(180)로 하여금, 상기 학습용 예측 주변 모션 정보 및 이에 대응하는 GT 주변 모션 정보를 참조로 하여 적어도 하나의 모션 로스를 생성하도록 하고, 상기 모션 로스를 사용하여 백프로퍼게이션을 수행함으로써 상기 제1 내지 상기 제4 뉴럴 네트워크(130 내지 160)의 파라미터 중 적어도 일부를 학습하도록 한 상태에서; 테스트 장치가, 테스트용 대상 차량에 탑재된 적어도 하나의 테스트용 카메라를 통해 적어도 하나의 테스트용 상황 이미지가 획득되면, 상기 제1 뉴럴 네트워크(130)로 하여금, 상기 테스트용 상황 이미지에 상기 제1 뉴럴 네트워크 연산을 가하여, 상기 테스트용 상황 이미지에 대응하는 적어도 하나의 테스트용 이미지 기반 특징 맵을 생성하도록 하는 프로세스, 및 상기 테스트용 대상 차량에 탑재된 적어도 하나의 테스트용 통신 모듈을 통해 테스트용 상황 통신 정보가 획득되면, 상기 제2 뉴럴 네트워크(140)로 하여금, 상기 테스트용 상황 통신 정보에 상기 제2 뉴럴 네트워크 연산을 가하여, 상기 테스트용 상황 통신 정보에 대응하는 적어도 하나의 테스트용 통신 기반 특징 맵을 생성하도록 하는 프로세스를 수행할 수 있다.

또한, 상기 테스트 장치가, 상기 제3 뉴럴 네트워크(150)로 하여금, 상기 테스트용 이미지 기반 특징 맵 및 상기 테스트용 통신 기반 특징 맵에 상기 제3 뉴럴 네트워크 연산을 가하여, 테스트용 통합 특징 맵을 생성하도록 할 수 있다.

그 후, 상기 테스트 장치가, 상기 제4 뉴럴 네트워크(160)로 하여금, 상기 테스트용 통합 특징 맵에 상기 제4 뉴럴 네트워크 연산을 가하여, 상기 특정 시간 범위 동안의 하나 이상의 테스트용 주변 객체의 모션 예측 결과인 테스트용 예측 주변 모션 정보를 생성하도록 할 수 있다.

이후, 상기 테스트 장치는, 상기 제1 내지 상기 제4 뉴럴 네트워크(130 내지 160)를 사용하여 학습이 완료된 상기 제5 뉴럴 네트워크(170)로 하여금, 상기 테스트용 예측 주변 모션 정보에 상기 제5 뉴럴 네트워크 연산을 가하여, 상기 특정 시간 범위 동안에 상기 테스트용 대상 차량과의 연관도가 상기 제2 임계치 이상인 사고가 일어날 확률에 대한 정보를 포함하는 테스트용 예측 위험 정보를 생성하도록 할 수 있다.

상기 테스트용 예측 위험 정보가 생성되면, 상기 테스트 장치는, 상기 테스트용 대상 차량이 군집주행(platooning)을 통해 상기 자율 주행을 수행하고 있는 경우, 상기 테스트용 예측 위험 정보를 참조로 하여 군집주행 파라미터를 조정할 수 있다. 예를 들면, 상기 테스트용 예측 위험 정보가, 상기 테스트용 대상 차량의 주변에 사고가 일어날 확률이 제 3 임계치보다 높은 것을 나타내는 경우, 상기 사고에 대비하기 위해, 군집의 전체적인 속도를 줄이도록 상기 군집주행 파라미터가 조정될 수 있을 것이다. 또는, 상기 테스트용 예측 위험 정보가, 상기 테스트용 대상 차량의 주변에 상기 사고가 일어날 확률이 상기 제3 임계치보다 낮은 것을 나타내는 경우, 효율성을 위해, 군집의 전체적인 속도를 높이거나 군집의 대형을 속도 위주로 변경하도록 상기 군집주행 파라미터가 조정될 수 있을 것이다.

이상의 프로세스와 별개로, 상기 테스트 장치는, 주변의 사고를 검출하고, 이에 대한 정보를 상기 테스트용 주변 객체와 공유할 수 있다. 구체적으로, 상기 테스트 장치는, 상기 테스트용 대상 차량과의 연관도가 상기 제2 임계치 이상인 특정 사고가 실제로 발생하여 검출된 경우, 상기 특정 사고에 대한 정보를 상기 테스트용 주변 객체와 공유하고, 상기 테스트용 대상 차량으로 하여금, 상기 특정 사고로 인해 발생할 위험한 상황을 회피하기 위한 주행 전략을 참조로 하여 상기 자율 주행을 수행하도록 지원할 수 있다. 일 예로, 상기 테스트용 대상 차량이 상기 군집 주행을 수행하고 있었던 경우, 상기 테스트 장치는, 상기 군집 주행을 잠시 정지하고 상기 군집을 해체하며, 상기 테스트용 대상 차량으로 하여금 상기 특정 사고를 회피하도록 지원할 수 있되, 전방에 사고가 난 경우 상기 테스트용 대상 차량의 속도를 낮추고, 후방에 사고가 난 경우 상기 테스트용 대상 차량의 속도를 높임으로써 상기 특정 사고를 회피하도록 할 수 있다.

이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims

이미지 및 통신을 통해 획득되는 각 정보의 퓨전을 사용하여 하나 이상의 주변 객체의 하나 이상의 모션(motion)을 예측함으로써, 사고 위험을 회피하여 안전한 자율 주행을 수행하도록 지원하는 학습 방법에 있어서,
(a) 학습 장치가, 대상 차량에 탑재된 적어도 하나의 카메라를 통해 적어도 하나의 상황 이미지가 획득되면, 제1 뉴럴 네트워크로 하여금, 상기 상황 이미지에 적어도 하나의 제1 뉴럴 네트워크 연산을 가하여, 상기 상황 이미지에 대응하는 적어도 하나의 이미지 기반 특징 맵을 생성하도록 하는 프로세스, 및 상기 대상 차량에 탑재된 적어도 하나의 통신 모듈을 통해 상황 통신 정보가 획득되면, 제2 뉴럴 네트워크로 하여금, 상기 상황 통신 정보에 적어도 하나의 제2 뉴럴 네트워크 연산을 가하여, 상기 상황 통신 정보에 대응하는 통신 기반 특징 맵을 생성하도록 하는 프로세스를 수행하는 단계;
(b) 상기 학습 장치가, 제3 뉴럴 네트워크로 하여금, 상기 이미지 기반 특징 맵 및 상기 통신 기반 특징 맵에 적어도 하나의 제3 뉴럴 네트워크 연산을 가하여, 통합 특징 맵을 생성하도록 하는 단계;
(c) 상기 학습 장치가, 제4 뉴럴 네트워크로 하여금, 상기 통합 특징 맵에 적어도 하나의 제4 뉴럴 네트워크 연산을 가하여, 특정 시간 범위 동안의 상기 주변 객체의 모션 예측 결과인 예측 주변 모션 정보를 생성하도록 하는 단계; 및
(d) 상기 학습 장치가, 제1 로스 레이어로 하여금, 상기 예측 주변 모션 정보 및 이에 대응하는 GT(Ground Truth) 주변 모션 정보를 참조로 하여 적어도 하나의 모션 로스를 생성하도록 하고, 상기 모션 로스를 사용하여 백프로퍼게이션(backpropagation)을 수행함으로써 상기 제1 내지 상기 제4 뉴럴 네트워크의 파라미터 중 적어도 일부를 학습하도록 하는 단계;
를 포함하는 것을 특징으로 하는 방법.
제 1항에 있어서,
상기 (a) 단계에서,
상기 학습 장치가, (i) 상기 제2 뉴럴 네트워크에 포함된 적어도 하나의 제2 FC(Fully-Connected) 레이어로 하여금, 상기 대상 차량으로부터 임계치 이하의 거리에 위치한 주변 객체 각각에 대한 통신 기반 메타 데이터를 각각의 통신 기반 메타 데이터 벡터로서 포함하는 상기 상황 통신 정보에 적어도 하나의 제2 FC 연산을 가하여, 각각의 상기 통신 기반 메타 데이터 벡터에 대응하는 통신 기반 메타 특징 벡터를 생성하도록 하고, (ii) 상기 제2 뉴럴 네트워크에 포함된 적어도 하나의 제2 풀링 레이어로 하여금, 상기 통신 기반 메타 특징 벡터에 적어도 하나의 제2 풀링 연산을 가하여 상기 통신 기반 특징 맵을 생성하도록 하는 것을 특징으로 하는 방법.
제 1항에 있어서,
상기 (c) 단계에서,
상기 학습 장치가, 상기 제4 뉴럴 네트워크로 하여금, (i) 상기 카메라 및 상기 통신 모듈을 통해 획득된 글로벌 정보에 대응하는 상기 통합 특징 맵 및 (ii) 각각의 상기 주변 객체에 대한 로컬 정보에 대응하는, 상기 통신 기반 특징 맵이 생성되는 과정에서 사용된 하나 이상의 통신 기반 메타 특징 벡터를 포함하는 메타 특징 맵에, 상기 제4 뉴럴 네트워크 연산을 가하여 상기 예측 주변 모션 정보를 생성하도록 하는 것을 특징으로 하는 방법.
제 3항에 있어서,
상기 (c) 단계에서,
상기 학습 장치가, 상기 카메라를 통해 획득된 상기 주변 객체에 대한 이미지 기반 메타 데이터에 대응하는 하나 이상의 이미지 기반 메타 특징 벡터 및 상기 통신 기반 메타 특징 벡터를 참조로 하여, 상기 메타 특징 맵을 생성하는 것을 특징으로 하는 방법.
제 1항에 있어서,
상기 (b) 단계에서,
상기 학습 장치는, 상기 통신 기반 특징 맵 및 상기 이미지 기반 특징 맵을 채널 방향 컨캐터네이팅(channel-wise concatenating)하여 임시 특징 맵을 생성하고, RNN(Recurrent Neural Network)으로써 구현된 상기 제3 뉴럴 네트워크로 하여금, 상기 제3 뉴럴 네트워크에 이전에 입력된 정보에 대응하는 상태 벡터를 사용하여 상기 임시 특징 맵에 상기 제3 뉴럴 네트워크 연산을 가함으로써, 상기 통합 특징 맵을 생성하도록 하는 것을 특징으로 하는 방법.
제 5항에 있어서,
상기 제3 뉴럴 네트워크는, 상기 RNN의 일종인 LSTM(Long-Short Term Memory) 네트워크로서 구현되는 것을 특징으로 하는 방법.
제 1항에 있어서,
상기 학습 장치는, 상기 제1 로스 레이어로 하여금, (i) 상기 상황 이미지 및 상기 상황 통신 정보가 소정의 제T 시점에 대응할 때, 상기 제T 시점 이후의 시점인 제(T+1) 시점에서의 상기 주변 객체의 위치 정보 및 속도 정보를 참조로 하여 획득된 상기 GT 주변 모션 정보 및 (ii) 상기 예측 주변 모션 정보를 참조로 하여, 상기 모션 로스를 생성하도록 하는 것을 특징으로 하는 방법.
제 1항에 있어서,
(e) 상기 학습 장치가, 상기 제1 내지 상기 제4 뉴럴 네트워크의 학습이 완료된 상태에서, 제5 뉴럴 네트워크로 하여금, 학습이 완료된 상기 제4 뉴럴 네트워크로부터 출력된 예측 주변 모션 정보에 적어도 하나의 제5 뉴럴 네트워크 연산을 가하여, 상기 특정 시간 범위 동안에 상기 대상 차량과의 연관도가 임계치 이상인 사고가 일어날 확률에 대한 정보를 포함하는 예측 위험 정보를 생성하도록 하는 단계; 및
(f) 상기 학습 장치가, 제2 로스 레이어로 하여금, 상기 예측 위험 정보 및 이에 대응하는 GT 위험 정보를 참조로 하여 적어도 하나의 위험 로스를 생성하도록 하고, 상기 위험 로스를 사용하여 백프로퍼게이션을 수행함으로써 상기 제5 뉴럴 네트워크의 파라미터 중 적어도 일부를 학습하도록 하는 단계;
를 더 포함하는 것을 특징으로 하는 방법.
제 1항에 있어서,
상기 (a) 단계에서,
상기 학습 장치가, 상기 제1 뉴럴 네트워크에 포함된 제1 컨벌루션 레이어로 하여금 상기 상황 이미지에 적어도 하나의 제1 컨벌루션 연산을 가하여 적어도 하나의 제1 특징 맵을 생성하도록 하고, 상기 제1 뉴럴 네트워크에 포함된 제1 풀링 레이어로 하여금 상기 제1 특징 맵에 적어도 하나의 제1 풀링 연산을 가하여 적어도 하나의 제1 풀링된 특징 맵을 생성하도록 하고, 상기 제1 뉴럴 네트워크에 포함된 제1 FC 레이어로 하여금 상기 제1 풀링된 특징 맵에 적어도 하나의 제1 FC 연산을 가하여 상기 이미지 기반 특징 맵을 생성하도록 하는 것을 특징으로 하는 방법.
이미지 및 통신을 통해 획득되는 각 정보의 퓨전을 사용하여 하나 이상의 테스트용 주변 객체의 하나 이상의 모션을 예측함으로써, 사고 위험을 회피하여 안전한 자율 주행을 수행하도록 지원하는 테스트 방법에 있어서,
(a) (1) 학습 장치가, 학습용 대상 차량에 탑재된 적어도 하나의 학습용 카메라를 통해 적어도 하나의 학습용 상황 이미지가 획득되면, 제1 뉴럴 네트워크로 하여금, 상기 학습용 상황 이미지에 적어도 하나의 제1 뉴럴 네트워크 연산을 가하여, 상기 학습용 상황 이미지에 대응하는 적어도 하나의 학습용 이미지 기반 특징 맵을 생성하도록 하는 프로세스, 및 상기 학습용 대상 차량에 탑재된 적어도 하나의 학습용 통신 모듈을 통해 학습용 상황 통신 정보가 획득되면, 제2 뉴럴 네트워크로 하여금, 상기 학습용 상황 통신 정보에 적어도 하나의 제2 뉴럴 네트워크 연산을 가하여, 상기 학습용 상황 통신 정보에 대응하는 학습용 통신 기반 특징 맵을 생성하도록 하는 프로세스를 수행하고, (2) 상기 학습 장치가, 제3 뉴럴 네트워크로 하여금, 상기 학습용 이미지 기반 특징 맵 및 상기 학습용 통신 기반 특징 맵에 적어도 하나의 제3 뉴럴 네트워크 연산을 가하여, 학습용 통합 특징 맵을 생성하도록 하고, (3) 상기 학습 장치가, 제4 뉴럴 네트워크로 하여금, 상기 학습용 통합 특징 맵에 적어도 하나의 제4 뉴럴 네트워크 연산을 가하여, 특정 시간 범위 동안의 학습용 주변 객체의 모션 예측 결과인 학습용 예측 주변 모션 정보를 생성하도록 하고, (4) 상기 학습 장치가, 제1 로스 레이어로 하여금, 상기 학습용 예측 주변 모션 정보 및 이에 대응하는 GT 주변 모션 정보를 참조로 하여 적어도 하나의 모션 로스를 생성하도록 하고, 상기 모션 로스를 사용하여 백프로퍼게이션을 수행함으로써 상기 제1 내지 상기 제4 뉴럴 네트워크의 파라미터 중 적어도 일부를 학습하도록 한 상태에서, 테스트 장치가, 테스트용 대상 차량에 탑재된 적어도 하나의 테스트용 카메라를 통해 적어도 하나의 테스트용 상황 이미지가 획득되면, 상기 제1 뉴럴 네트워크로 하여금, 상기 테스트용 상황 이미지에 상기 제1 뉴럴 네트워크 연산을 가하여, 상기 테스트용 상황 이미지에 대응하는 적어도 하나의 테스트용 이미지 기반 특징 맵을 생성하도록 하는 프로세스, 및 상기 테스트용 대상 차량에 탑재된 적어도 하나의 테스트용 통신 모듈을 통해 테스트용 상황 통신 정보가 획득되면, 상기 제2 뉴럴 네트워크로 하여금, 상기 테스트용 상황 통신 정보에 상기 제2 뉴럴 네트워크 연산을 가하여, 상기 테스트용 상황 통신 정보에 대응하는 적어도 하나의 테스트용 통신 기반 특징 맵을 생성하도록 하는 프로세스를 수행하는 단계;
(b) 상기 테스트 장치가, 상기 제3 뉴럴 네트워크로 하여금, 상기 테스트용 이미지 기반 특징 맵 및 상기 테스트용 통신 기반 특징 맵에 상기 제3 뉴럴 네트워크 연산을 가하여, 테스트용 통합 특징 맵을 생성하도록 하는 단계; 및
(c) 상기 테스트 장치가, 상기 제4 뉴럴 네트워크로 하여금, 상기 테스트용 통합 특징 맵에 상기 제4 뉴럴 네트워크 연산을 가하여, 상기 특정 시간 범위 동안의 상기 테스트용 주변 객체의 모션 예측 결과인 테스트용 예측 주변 모션 정보를 생성하도록 하는 단계;
를 포함하는 것을 특징으로 하는 방법.
제 10항에 있어서,
(d) 상기 테스트 장치가, 상기 제1 내지 상기 제4 뉴럴 네트워크를 사용하여 학습이 완료된 제5 뉴럴 네트워크로 하여금, 상기 테스트용 예측 주변 모션 정보에 적어도 하나의 제5 뉴럴 네트워크 연산을 가하여, 상기 특정 시간 범위 동안에 상기 테스트용 대상 차량과의 연관도가 임계치 이상인 사고가 일어날 확률에 대한 정보를 포함하는 테스트용 예측 위험 정보를 생성하도록 하는 단계;
를 더 포함하는 것을 특징으로 하는 방법.
제 11항에 있어서,
(e) 상기 테스트 장치가, 상기 테스트용 대상 차량이 군집주행(platooning)을 통해 상기 자율 주행을 수행하고 있는 경우, 상기 테스트용 예측 위험 정보를 참조로 하여 군집주행 파라미터를 조정하는 단계;
를 더 포함하는 것을 특징으로 하는 방법.
제 12항에 있어서,
상기 테스트 장치가, 상기 테스트용 대상 차량과의 상기 연관도가 상기 임계치 이상인 특정 사고가 실제로 발생하여 검출된 경우, 상기 특정 사고에 대한 정보를 상기 테스트용 주변 객체와 공유하고, 상기 테스트용 대상 차량으로 하여금, 상기 특정 사고로 인해 발생할 위험한 상황을 회피하기 위한 주행 전략을 참조로 하여 상기 자율 주행을 수행하도록 지원하는 것을 특징으로 하는 방법.
제 10항에 있어서,
상기 (c) 단계에서,
상기 테스트 장치가, 상기 제4 뉴럴 네트워크로 하여금, (i) 상기 테스트용 카메라 및 상기 테스트용 통신 모듈을 통해 획득된 테스트용 글로벌 정보에 대응하는 상기 테스트용 통합 특징 맵 및 (ii) 각각의 상기 테스트용 주변 객체에 대한 테스트용 로컬 정보에 대응하는, 상기 테스트용 통신 기반 특징 맵이 생성되는 과정에서 사용된 하나 이상의 테스트용 통신 기반 메타 특징 벡터를 포함하는 테스트용 메타 특징 맵에, 상기 제4 뉴럴 네트워크 연산을 가하여 상기 테스트용 예측 주변 모션 정보를 생성하도록 하는 것을 특징으로 하는 방법.
제 14항에 있어서,
상기 (c) 단계에서,
상기 테스트 장치가, 상기 테스트용 카메라를 통해 획득된 상기 테스트용 주변 객체에 대한 테스트용 이미지 기반 메타 데이터에 대응하는 하나 이상의 테스트용 이미지 기반 메타 특징 벡터 및 상기 테스트용 통신 기반 메타 특징 벡터를 참조로 하여, 상기 테스트용 메타 특징 맵을 생성하는 것을 특징으로 하는 방법.
이미지 및 통신을 통해 획득되는 각 정보의 퓨전을 사용하여 하나 이상의 주변 객체의 하나 이상의 모션(motion)을 예측함으로써, 사고 위험을 회피하여 안전한 자율 주행을 수행하도록 지원하는 학습 장치에 있어서,
하나 이상의 인스트럭션들을 저장하는 적어도 하나의 메모리; 및
(I) 대상 차량에 탑재된 적어도 하나의 카메라를 통해 적어도 하나의 상황 이미지가 획득되면, 제1 뉴럴 네트워크로 하여금, 상기 상황 이미지에 적어도 하나의 제1 뉴럴 네트워크 연산을 가하여, 상기 상황 이미지에 대응하는 적어도 하나의 이미지 기반 특징 맵을 생성하도록 하며, 상기 대상 차량에 탑재된 적어도 하나의 통신 모듈을 통해 상황 통신 정보가 획득되면, 제2 뉴럴 네트워크로 하여금, 상기 상황 통신 정보에 적어도 하나의 제2 뉴럴 네트워크 연산을 가하여, 상기 상황 통신 정보에 대응하는 통신 기반 특징 맵을 생성하도록 하는 프로세스, (II) 제3 뉴럴 네트워크로 하여금, 상기 이미지 기반 특징 맵 및 상기 통신 기반 특징 맵에 적어도 하나의 제3 뉴럴 네트워크 연산을 가하여, 통합 특징 맵을 생성하도록 하는 프로세스, (III) 제4 뉴럴 네트워크로 하여금, 상기 통합 특징 맵에 적어도 하나의 제4 뉴럴 네트워크 연산을 가하여, 특정 시간 범위 동안의 상기 주변 객체의 모션 예측 결과인 예측 주변 모션 정보를 생성하도록 하는 프로세스, 및 (IV) 제1 로스 레이어로 하여금, 상기 예측 주변 모션 정보 및 이에 대응하는 GT(Ground Truth) 주변 모션 정보를 참조로 하여 적어도 하나의 모션 로스를 생성하도록 하고, 상기 모션 로스를 사용하여 백프로퍼게이션(backpropagation)을 수행함으로써 상기 제1 내지 상기 제4 뉴럴 네트워크의 파라미터 중 적어도 일부를 학습하도록 하는 프로세스를 수행하기 위한 상기 인스트럭션들을 실행하도록 구성된 적어도 하나의 프로세서;
를 포함하는 것을 특징으로 하는 장치.
제 16항에 있어서,
상기 (I) 프로세스에서,
상기 프로세서가, (i) 상기 제2 뉴럴 네트워크에 포함된 적어도 하나의 제2 FC(Fully-Connected) 레이어로 하여금, 상기 대상 차량으로부터 임계치 이하의 거리에 위치한 주변 객체 각각에 대한 통신 기반 메타 데이터를 각각의 통신 기반 메타 데이터 벡터로서 포함하는 상기 상황 통신 정보에 적어도 하나의 제2 FC 연산을 가하여, 각각의 상기 통신 기반 메타 데이터 벡터에 대응하는 통신 기반 메타 특징 벡터를 생성하도록 하고, (ii) 상기 제2 뉴럴 네트워크에 포함된 적어도 하나의 제2 풀링 레이어로 하여금, 상기 통신 기반 메타 특징 벡터에 적어도 하나의 제2 풀링 연산을 가하여 상기 통신 기반 특징 맵을 생성하도록 하는 것을 특징으로 하는 장치.
제 16항에 있어서,
상기 (III) 프로세스에서,
상기 프로세서가, 상기 제4 뉴럴 네트워크로 하여금, (i) 상기 카메라 및 상기 통신 모듈을 통해 획득된 글로벌 정보에 대응하는 상기 통합 특징 맵 및 (ii) 각각의 상기 주변 객체에 대한 로컬 정보에 대응하는, 상기 통신 기반 특징 맵이 생성되는 과정에서 사용된 하나 이상의 통신 기반 메타 특징 벡터를 포함하는 메타 특징 맵에, 상기 제4 뉴럴 네트워크 연산을 가하여 상기 예측 주변 모션 정보를 생성하도록 하는 것을 특징으로 하는 장치.
제 18항에 있어서,
상기 (III) 프로세스에서,
상기 프로세서가, 상기 카메라를 통해 획득된 상기 주변 객체에 대한 이미지 기반 메타 데이터에 대응하는 하나 이상의 이미지 기반 메타 특징 벡터 및 상기 통신 기반 메타 특징 벡터를 참조로 하여, 상기 메타 특징 맵을 생성하는 것을 특징으로 하는 장치.
제 16항에 있어서,
상기 (II) 프로세스에서,
상기 프로세서는, 상기 통신 기반 특징 맵 및 상기 이미지 기반 특징 맵을 채널 방향 컨캐터네이팅(channel-wise concatenating)하여 임시 특징 맵을 생성하고, RNN(Recurrent Neural Network)으로써 구현된 상기 제3 뉴럴 네트워크로 하여금, 상기 제3 뉴럴 네트워크에 이전에 입력된 정보에 대응하는 상태 벡터를 사용하여 상기 임시 특징 맵에 상기 제3 뉴럴 네트워크 연산을 가함으로써, 상기 통합 특징 맵을 생성하도록 하는 것을 특징으로 하는 장치.
제 20항에 있어서,
상기 제3 뉴럴 네트워크는, 상기 RNN의 일종인 LSTM(Long-Short Term Memory) 네트워크로서 구현되는 것을 특징으로 하는 장치.
제 16항에 있어서,
상기 프로세서는, 상기 제1 로스 레이어로 하여금, (i) 상기 상황 이미지 및 상기 상황 통신 정보가 소정의 제T 시점에 대응할 때, 상기 제T 시점 이후의 시점인 제(T+1) 시점에서의 상기 주변 객체의 위치 정보 및 속도 정보를 참조로 하여 획득된 상기 GT 주변 모션 정보 및 (ii) 상기 예측 주변 모션 정보를 참조로 하여, 상기 모션 로스를 생성하도록 하는 것을 특징으로 하는 장치.
제 16항에 있어서,
상기 프로세서는, (V) 상기 제1 내지 상기 제4 뉴럴 네트워크의 학습이 완료된 상태에서, 제5 뉴럴 네트워크로 하여금, 학습이 완료된 상기 제4 뉴럴 네트워크로부터 출력된 예측 주변 모션 정보에 적어도 하나의 제5 뉴럴 네트워크 연산을 가하여, 상기 특정 시간 범위 동안에 상기 대상 차량과의 연관도가 임계치 이상인 사고가 일어날 확률에 대한 정보를 포함하는 예측 위험 정보를 생성하도록 하는 프로세스, 및 (VI) 제2 로스 레이어로 하여금, 상기 예측 위험 정보 및 이에 대응하는 GT 위험 정보를 참조로 하여 적어도 하나의 위험 로스를 생성하도록 하고, 상기 위험 로스를 사용하여 백프로퍼게이션을 수행함으로써 상기 제5 뉴럴 네트워크의 파라미터 중 적어도 일부를 학습하도록 하는 프로세스를 더 수행하는 것을 특징으로 하는 장치.
제 16항에 있어서,
상기 (I) 프로세스에서,
상기 프로세서가, 상기 제1 뉴럴 네트워크에 포함된 제1 컨벌루션 레이어로 하여금 상기 상황 이미지에 적어도 하나의 제1 컨벌루션 연산을 가하여 적어도 하나의 제1 특징 맵을 생성하도록 하고, 상기 제1 뉴럴 네트워크에 포함된 제1 풀링 레이어로 하여금 상기 제1 특징 맵에 적어도 하나의 제1 풀링 연산을 가하여 적어도 하나의 제1 풀링된 특징 맵을 생성하도록 하고, 상기 제1 뉴럴 네트워크에 포함된 제1 FC 레이어로 하여금 상기 제1 풀링된 특징 맵에 적어도 하나의 제1 FC 연산을 가하여 상기 이미지 기반 특징 맵을 생성하도록 하는 것을 특징으로 하는 장치.
이미지 및 통신을 통해 획득되는 각 정보의 퓨전을 사용하여 하나 이상의 테스트용 주변 객체의 하나 이상의 모션을 예측함으로써, 사고 위험을 회피하여 안전한 자율 주행을 수행하도록 지원하는 테스트 장치에 있어서,
하나 이상의 인스트럭션들을 저장하는 적어도 하나의 메모리; 및
(I) (1) 학습 장치가, 학습용 대상 차량에 탑재된 적어도 하나의 학습용 카메라를 통해 적어도 하나의 학습용 상황 이미지가 획득되면, 제1 뉴럴 네트워크로 하여금, 상기 학습용 상황 이미지에 적어도 하나의 제1 뉴럴 네트워크 연산을 가하여, 상기 학습용 상황 이미지에 대응하는 적어도 하나의 학습용 이미지 기반 특징 맵을 생성하도록 하는 프로세스, 및 상기 학습용 대상 차량에 탑재된 적어도 하나의 학습용 통신 모듈을 통해 학습용 상황 통신 정보가 획득되면, 제2 뉴럴 네트워크로 하여금, 상기 학습용 상황 통신 정보에 적어도 하나의 제2 뉴럴 네트워크 연산을 가하여, 상기 학습용 상황 통신 정보에 대응하는 학습용 통신 기반 특징 맵을 생성하도록 하는 프로세스를 수행하고, (2) 상기 학습 장치가, 제3 뉴럴 네트워크로 하여금, 상기 학습용 이미지 기반 특징 맵 및 상기 학습용 통신 기반 특징 맵에 적어도 하나의 제3 뉴럴 네트워크 연산을 가하여, 학습용 통합 특징 맵을 생성하도록 하고, (3) 상기 학습 장치가, 제4 뉴럴 네트워크로 하여금, 상기 학습용 통합 특징 맵에 적어도 하나의 제4 뉴럴 네트워크 연산을 가하여, 특정 시간 범위 동안의 학습용 주변 객체의 모션 예측 결과인 학습용 예측 주변 모션 정보를 생성하도록 하고, (4) 상기 학습 장치가, 제1 로스 레이어로 하여금, 상기 학습용 예측 주변 모션 정보 및 이에 대응하는 GT 주변 모션 정보를 참조로 하여 적어도 하나의 모션 로스를 생성하도록 하고, 상기 모션 로스를 사용하여 백프로퍼게이션을 수행함으로써 상기 제1 내지 상기 제4 뉴럴 네트워크의 파라미터 중 적어도 일부를 학습하도록 한 상태에서, 테스트용 대상 차량에 탑재된 적어도 하나의 테스트용 카메라를 통해 적어도 하나의 테스트용 상황 이미지가 획득되면, 상기 제1 뉴럴 네트워크로 하여금, 상기 테스트용 상황 이미지에 상기 제1 뉴럴 네트워크 연산을 가하여, 상기 테스트용 상황 이미지에 대응하는 적어도 하나의 테스트용 이미지 기반 특징 맵을 생성하도록 하며, 상기 테스트용 대상 차량에 탑재된 적어도 하나의 테스트용 통신 모듈을 통해 테스트용 상황 통신 정보가 획득되면, 상기 제2 뉴럴 네트워크로 하여금, 상기 테스트용 상황 통신 정보에 상기 제2 뉴럴 네트워크 연산을 가하여, 상기 테스트용 상황 통신 정보에 대응하는 적어도 하나의 테스트용 통신 기반 특징 맵을 생성하도록 하는 프로세스, (II) 상기 제3 뉴럴 네트워크로 하여금, 상기 테스트용 이미지 기반 특징 맵 및 상기 테스트용 통신 기반 특징 맵에 상기 제3 뉴럴 네트워크 연산을 가하여, 테스트용 통합 특징 맵을 생성하도록 하는 프로세스, 및 (III) 상기 제4 뉴럴 네트워크로 하여금, 상기 테스트용 통합 특징 맵에 상기 제4 뉴럴 네트워크 연산을 가하여, 상기 특정 시간 범위 동안의 상기 테스트용 주변 객체의 모션 예측 결과인 테스트용 예측 주변 모션 정보를 생성하도록 하는 프로세스를 수행하기 위한 상기 인스트럭션들을 실행하도록 구성된 적어도 하나의 프로세서;
를 포함하는 것을 특징으로 하는 장치.
제 25항에 있어서,
상기 프로세서가, (IV) 상기 제1 내지 상기 제4 뉴럴 네트워크를 사용하여 학습이 완료된 제5 뉴럴 네트워크로 하여금, 상기 테스트용 예측 주변 모션 정보에 적어도 하나의 제5 뉴럴 네트워크 연산을 가하여, 상기 특정 시간 범위 동안에 상기 테스트용 대상 차량과의 연관도가 임계치 이상인 사고가 일어날 확률에 대한 정보를 포함하는 테스트용 예측 위험 정보를 생성하도록 하는 프로세스를 더 수행하는 것을 특징으로 하는 장치.
제 26항에 있어서,
상기 프로세서가, (V) 상기 테스트용 대상 차량이 군집주행(platooning)을 통해 상기 자율 주행을 수행하고 있는 경우, 상기 테스트용 예측 위험 정보를 참조로 하여 군집주행 파라미터를 조정하는 프로세스를 더 수행하는 것을 특징으로 하는 장치.
제 27항에 있어서,
상기 프로세서가, 상기 테스트용 대상 차량과의 상기 연관도가 상기 임계치 이상인 특정 사고가 실제로 발생하여 검출된 경우, 상기 특정 사고에 대한 정보를 상기 테스트용 주변 객체와 공유하고, 상기 테스트용 대상 차량으로 하여금, 상기 특정 사고로 인해 발생할 위험한 상황을 회피하기 위한 주행 전략을 참조로 하여 상기 자율 주행을 수행하도록 지원하는 것을 특징으로 하는 장치.
제 25항에 있어서,
상기 (III) 프로세스에서,
상기 프로세서가, 상기 제4 뉴럴 네트워크로 하여금, (i) 상기 테스트용 카메라 및 상기 테스트용 통신 모듈을 통해 획득된 테스트용 글로벌 정보에 대응하는 상기 테스트용 통합 특징 맵 및 (ii) 각각의 상기 테스트용 주변 객체에 대한 테스트용 로컬 정보에 대응하는, 상기 테스트용 통신 기반 특징 맵이 생성되는 과정에서 사용된 하나 이상의 테스트용 통신 기반 메타 특징 벡터를 포함하는 테스트용 메타 특징 맵에, 상기 제4 뉴럴 네트워크 연산을 가하여 상기 테스트용 예측 주변 모션 정보를 생성하도록 하는 것을 특징으로 하는 장치.
제 29항에 있어서,
상기 (III) 프로세스에서,
상기 프로세서가, 상기 테스트용 카메라를 통해 획득된 상기 테스트용 주변 객체에 대한 테스트용 이미지 기반 메타 데이터에 대응하는 하나 이상의 테스트용 이미지 기반 메타 특징 벡터 및 상기 테스트용 통신 기반 메타 특징 벡터를 참조로 하여, 상기 테스트용 메타 특징 맵을 생성하는 것을 특징으로 하는 장치.