KR20200095355A

KR20200095355A - 자율 주행 모드와 수동 주행 모드 사이의 주행 모드 변경을 위해 자율 주행 안전 확인을 위한 rnn의 학습 방법 및 학습 장치, 그리고 테스트 방법 및 테스트 장치

Info

Publication number: KR20200095355A
Application number: KR1020200001714A
Authority: KR
Inventors: 김계현; 김용중; 김학경; 남운현; 부석훈; 성명철; 신동수; 여동훈; 유우주; 이명춘; 이형수; 장태웅; 정경중; 제홍모; 조호진
Original assignee: 주식회사 스트라드비젼
Priority date: 2019-01-30
Filing date: 2020-01-06
Publication date: 2020-08-10
Also published as: US11087175B2; EP3690709A1; CN111507163B; EP3690709B1; US20200242408A1; EP3690709C0; JP6850047B2; CN111507163A; KR102396267B1; JP2020123334A

Abstract

본 발명은 자율 주행 자동차의 주행 모드를 변경하기 위해 사용되는, 자율 주행 안전을 확인하는 RNN(Recurrent Neural Network)의 학습 방법에 관한 것으로, 학습 장치는, (a) 자율 주행 자동차의 전방 및 후방 카메라에 대응되는 트레이닝 이미지가 획득되면, 트레이닝 이미지의 각각의 페어를 대응되는 CNN에 입력하여, 트레이닝 이미지를 컨캐터네이팅하고 학습용 특징 맵을 생성하는 단계, (b) 학습용 특징 맵을 포워드 RNN의 시퀀스에 대응되는 LSTM(Long Short-Term Memory) 모델과 백워드 RNN의 시퀀스에 대응되는 LSTM에 입력하여, 학습용 업데이트 특징 맵(Updated Feature Map)을 생성하고, 학습용 특징 벡터(Feature Vector)를 어텐션 레이어(Attention Layer)에 입력하여 학습용 자율 주행 모드 값을 생성하는 단계, 및 (c) 로스 레이어로 하여금 로스를 산출하도록 하고 LSTM 모델을 학습하도록 하는 단계를 포함하는 것을 특징으로 하는 방법을 제공한다.

Description

자율 주행 모드와 수동 주행 모드 사이의 주행 모드 변경을 위해 자율 주행 안전 확인을 위한 RNN의 학습 방법 및 학습 장치, 그리고 테스트 방법 및 테스트 장치{LEARNING METHOD AND LEARNING DEVICE OF RECURRENT NEURAL NETWORK FOR AUTONOMOUS DRIVING SAFETY CHECK FOR CHANGING DRIVING MODE BETWEEN AUTONOMOUS DRIVING MODE AND MANUAL DRIVING MODE, AND TESTING METHOD AND TESTING DEVICE USING THEM}

본 발명은 자율 주행 모드와 수동 주행 모드 사이의 모드 변경을 위한 RNN(Recurrent Neural Network)을 학습하는 방법 및 장치, 그리고, 이를 이용하여 테스트하는 방법 및 장치에 관한 것으로, 보다 상세하게는, 통합된 다수의 카메라 정보를 이용하여 자율 주행 자동차의 위험 상황을 인식하여 자율 주행 모드와 수동 주행 모드 사이의 주행 모드를 변경하기 위해 적어도 하나의 자율 주행 안전을 확인하는 RNN을 학습하는 방법 및 장치, 그리고, 이를 이용하여 테스트하는 방법 및 장치에 관한 것이다.

자율 주행 자동차는 한 곳에서 다른 곳으로 승객들을 수송하는데 도움을 주는 다양한 컴퓨팅 시스템을 사용한다. 일부 자율 주행 자동차는 파일럿, 운전자 또는 승객과 같은 운영자로부터 일부의 초기 입력 또는 연속 입력을 획득할 수 있다. 다른 시스템들, 예를 들어 오토 파일럿 시스템은, 운영자가 수동 주행 모드로부터 자율 주행 모드로 변경할 수 있도록 할 수 있다.

특히, 미국등록특허 US8818608호에는, 특정 조건 하에서 자율 주행 모드를 수동 주행 모드로 변경하는 방법이 개시되어 있다.

하지만, 종래의 자율 주행 자동차에서 주행 모드를 변경하려면 다양한 주행 정보가 필요하다. 이를 위해 다양한 센서들이 종래의 자율 주행 자동차에 설치되어야 하므로 종래의 자율 주행 자동차의 제조 비용을 증가시키는 문제점이 있다.

또한, 종래의 자율 주행 자동차에서는 주행 모드 변경을 위하여 다양한 센서로부터 대량의 센서 정보를 처리하여야 하므로, 막대한 컴퓨팅 소스(Computing Source)가 필요하다.

본 발명은 상술한 문제점을 모두 해결하는 것을 그 목적으로 한다.

본 발명은 자율 주행 자동차의 제조 비용을 증가시키지 않으며 주행 모드 변경을 위한 자율 주행 안전을 확인할 수 있도록 하는 것을 다른 목적으로 한다.

본 발명은 자율 주행 자동차의 주행 모드 변경을 위한 주행 정보를 획득할 수 있는 센서의 수를 종래 방법에 비하여 최소화할 수 있도록 하는 것을 또 다른 목적으로 한다.

본 발명은 자율 주행 자동차의 주행 모드 변경을 위한 주행 정보를 획득하기 위해 센서 정보 처리를 더 적은 컴퓨팅 소스(Computing Source)로 가능하도록 하는 것을 또 다른 목적으로 한다.

상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한, 본 발명의 특징적인 구성은 하기와 같다.

본 발명의 일 태양에 따르면, 자율 주행 자동차의 주행 모드 변경을 위해 사용되는, 자율 주행 안정성을 확인하는 RNN(Recurrent Neural Network)을 학습하는 방법에 있어서, (a) 학습용 자율 주행 자동차의 학습용 전방 카메라와 학습용 후방 카메라에 각각 대응되는 시퀀스 이미지인 제1_1 트레이닝 이미지 내지 제1_n 트레이닝 이미지와 제2_1 트레이닝 이미지 내지 제2_n 트레이닝 이미지가 획득되면, 학습 장치가, 제1_k 트레이닝 이미지와 제2_k 트레이닝 이미지 - 상기 k는 정수이며, 시퀀스는 n으로부터 1로 진행됨 -로 구성된 페어(Pair) 각각을, 상기 페어 각각의 시퀀스에 대응되는 제1 CNN(Convolutional Neural Network) 내지 제n CNN으로 각각 입력하여, 제k CNN으로 하여금, 상기 제1_k 트레이닝 이미지와 상기 제2_k 트레이닝 이미지를 컨캐터네이팅(Concatenating)하도록 한 다음, 상기 제1_k 트레이닝 이미지와 상기 제2_k 트레이닝 이미지의 컨캐터네이팅 결과에 대하여 컨벌루션 연산을 적용하여 학습용 제1 특징 맵(Feature Map) 내지 학습용 제n 특징 맵을 생성하도록 하는 단계; (b) 상기 학습 장치가, (i) 상기 학습용 제1 특징 맵 내지 상기 학습용 제n 특징 맵을 포워드 RNN(Forward RNN)의 각각의 시퀀스에 대응되는 제1_1 LSTM(Long Short-Term Memory) 모델 내지 제1_n LSTM 모델 각각에 입력하고 백워드 RNN(Backward RNN)의 각각의 시퀀스에 대응되는 제2_1 LSTM 모델 내지 제2_n LSTM 모델 각각에 입력하여, (i-1) 제1_k LSTM 모델로 하여금, (i-1-a) 제1_(k+1) LSTM 모델에서 출력되는 학습용 제1_(k+1) 업데이트 특징 맵(Updated Feature Map)과 상기 제k CNN에서 출력되는 학습용 제k 특징 맵을 모두 참조하여 상기 학습용 제k 특징 맵을 업데이트한 결과인 학습용 제1_k 업데이트 특징 맵을 생성하도록 하며, (i-1-b) 상기 학습용 제1_k 업데이트 특징 맵에 대하여 FC 연산(Fully Connected Operation)을 적용한 결과인 학습용 제1_1 특징 벡터 내지 학습용 제1_n 특징 벡터를 생성하도록 하며, (i-2) 제2_k LSTM 모델로 하여금, (i-2-a) 제2_(k-1) LSTM 모델에서 출력되는 학습용 제2_(k-1) 업데이트 특징 맵과 상기 제k CNN에서 출력되는 상기 학습용 제k 특징 맵을 모두 참조하여 상기 학습용 제k 특징 맵을 업데이트한 결과인 학습용 제2_k 업데이트 특징 맵을 생성하도록 하며, (i-2-b) 상기 학습용 제2_k 업데이트 특징 맵에 대하여 FC 연산을 적용한 결과인 학습용 제2_1 특징 벡터 내지 학습용 제2_n 특징 벡터를 생성하도록 하는 프로세스, 및 (ii) 상기 학습용 제1_1 특징 벡터 내지 상기 학습용 제1_n 특징 벡터와 상기 학습용 제2_1 특징 벡터 내지 상기 학습용 제2_n 특징 벡터를 어텐션 레이어(Attention Layer)로 입력하여, 상기 어텐션 레이어로 하여금, 상기 학습용 제1_1 특징 벡터 내지 상기 학습용 제1_n 특징 벡터와 상기 학습용 제2_1 특징 벡터 내지 상기 학습용 제2_n 특징 벡터를 참조하여, 상기 제1_1 트레이닝 이미지 내지 상기 제1_n 트레이닝 이미지와 상기 제2_1 트레이닝 이미지 내지 상기 제2_n 트레이닝 이미지의 모든 시퀀스에서의 학습용 자율주행 모드 값(Autonomous-Driving Mode Value)을 생성하도록 하는 프로세스를 수행하는 단계; 및 (c) 상기 학습 장치가, 로스 레이어(Loss Layer)로 하여금 상기 학습용 자율주행 모드 값과 이에 대응되는 GT(Ground Truth)를 참조하여 적어도 하나의 로스를 산출하도록 하는 프로세스, 및 상기 로스를 이용한 백프로퍼게이션을 통해 상기 로스를 최소화하도록 상기 제1_1 LSTM 모델 내지 상기 제1_n LSTM 모델과 상기 제2_1 LSTM 모델 내지 상기 제2_n LSTM 모델을 학습하는 프로세스를 수행하는 단계;를 포함하는 것을 특징으로 한다.

일 실시예에서, 상기 (b) 단계에서, 상기 학습 장치는, 상기 어텐션 레이어로 하여금, (i) 학습용 제1_k 특징 벡터와 학습용 제2_k 특징 벡터를 컨캐터네이팅하도록 하여, 학습용 제1 컨캐터네이팅된 특징 벡터 내지 학습용 제n 컨캐터네이팅된 특징 벡터를 생성하도록 하며, (ii) 상기 학습용 제1 컨캐터네이팅된 특징 벡터 내지 상기 학습용 제n 컨캐터네이팅된 특징 벡터에 대하여 가중 평균(Weighted Average)하도록 하여, 상기 학습용 자율주행 모드 값을 생성하도록 하는 것을 특징으로 한다.

일 실시예에서, 상기 (a) 단계에서, 상기 학습 장치는, 상기 제1 CNN 내지 상기 제n CNN 각각으로 하여금, (i) 상기 제1_k 트레이닝 이미지와 상기 제2_k 트레이닝 이미지를 각각 컨캐터네이팅하도록 하여 제k 컨캐터네이팅된 트레이닝 이미지를 생성하도록 하고, (ii) 상기 제k 컨캐터네이팅된 트레이닝 이미지에 대하여 컨벌루션 연산을 적용하도록 하여 상기 학습용 제1 특징 맵 내지 상기 학습용 제n 특징 맵을 생성하도록 한다.

일 실시예에서, 상기 (b) 단계에서, 상기 학습 장치는, (i) 상기 제1_k LSTM 모델로 하여금, 상기 학습용 제1_(k+1) 업데이트 특징 맵과 상기 학습용 제1_k 특징 맵을 참조하여, 학습용 주행 환경이 위험 상황(Hazard Situation)인지를 상기 제1_k 트레이닝 이미지와 상기 제2_k 트레이닝 이미지의 상기 페어를 참조해 확인하는데 사용되는 특징에 대응되는 상기 학습용 제1_1 특징 벡터 내지 상기 학습용 제1_n 특징 벡터를 생성하도록 하는 프로세스, 및 (ii) 상기 제2_k LSTM 모델로 하여금, 상기 학습용 제2_(k-1) 업데이트 특징 맵과 상기 학습용 제2_k 특징 맵을 참조하여, 상기 학습용 주행 환경이 위험 상황인지를 상기 제1_k 트레이닝 이미지와 상기 제2_k 트레이닝 이미지의 상기 페어를 참조해 확인하는데 사용되는 특징에 대응되는 상기 학습용 제2_1 특징 벡터 내지 상기 학습용 제2_n 특징 벡터를 생성하도록 하는 프로세스를 수행하는 것을 특징으로 한다.

일 실시예에서, 상기 (c) 단계에서, 상기 학습 장치는, 상기 로스 레이어로 하여금 소프트맥스(Softmax) 알고리즘을 이용하여 상기 학습용 자율주행 모드 값을 정규화(Normalize)하는 프로세스, 및 정규화된 상기 학습용 자율주행 모드 값과 상기 GT를 참조하여 상기 로스를 산출하는 프로세스를 수행하는 것을 특징으로 한다.

일 실시예에서, 상기 제1_1 트레이닝 이미지 내지 상기 제1_n 트레이닝 이미지와 상기 제2_1 트레이닝 이미지 내지 상기 제2_n 트레이닝 이미지는, (i) (i-1) 상기 학습용 자율 주행 자동차의 상기 학습용 전방 카메라로부터 촬영되는 영상을 기설정된 시간 간격으로 샘플링하여 제1 시퀀스 이미지를 추출하는 프로세스, 및 (i-2) 추출된 상기 제1 시퀀스 이미지 각각에 대하여 자율주행 가능 여부를 라벨링하는 프로세스, 및 (ii) (ii-1) 상기 학습용 자율 주행 자동차의 상기 학습용 후방 카메라로부터 촬영되는 영상을 상기 기설정된 시간 간격으로 샘플링하여 제2 시퀀스 이미지를 추출하는 프로세스, 및 (ii-2) 샘플링된 상기 제2 시퀀스 이미지 각각에 대하여 자율주행 가능 여부를 라벨링하는 프로세스를 수행하여 생성되는 것을 특징으로 한다.

일 실시예에서, 상기 (c) 단계에서, 상기 GT는, 상기 시퀀스 이미지 중 상기 제1_1 트레이닝 이미지 내지 상기 제1_n 트레이닝 이미지의 다음 시퀀스에 대응되는 제1 다음 시퀀스 이미지(Next Sequence Image)와, 상기 제2_1 트레이닝 이미지 내지 상기 제2_n 트레이닝 이미지의 상기 다음 시퀀스에 대응되는 제2 다음 시퀀스 이미지로부터 획득되는 것을 특징으로 한다.

본 발명의 다른 태양에 따르면, 자율 주행 자동차의 주행 모드 변경을 위해 사용되는, 자율 주행 안정성을 확인하는 RNN(Recurrent Neural Network)을 테스트하는 방법에 있어서, (a) 학습용 자율 주행 자동차의 학습용 전방 카메라와 학습용 후방 카메라에 각각 대응되는 시퀀스 이미지인 제1_1 트레이닝 이미지 내지 제1_n 트레이닝 이미지와 제2_1 트레이닝 이미지 내지 제2_n 트레이닝 이미지가 획득되면, 학습 장치가, (i) 제1_k 트레이닝 이미지와 제2_k 트레이닝 이미지 - 상기 k는 정수이며, 시퀀스는 n으로부터 1로 진행됨 - 로 구성된 페어(Pair) 각각을, 상기 페어 각각의 시퀀스에 대응되는 제1 CNN(Convolutional Neural Network) 내지 제n CNN으로 각각 입력하여, 제k CNN으로 하여금, 상기 제1_k 트레이닝 이미지와 상기 제2_k 트레이닝 이미지를 컨캐터네이팅(Concatenating)하도록 한 다음, 상기 제1_k 트레이닝 이미지와 상기 제2_k 트레이닝 이미지의 컨캐터네이팅 결과에 대하여 컨벌루션 연산을 적용하여 학습용 제1 특징 맵(Feature Map) 내지 학습용 제n 특징 맵을 생성하도록 하는 프로세스, (ii) 상기 학습용 제1 특징 맵 내지 상기 학습용 제n 특징 맵을 포워드 RNN(Forward RNN)의 각각의 시퀀스에 대응되는 제1_1 LSTM(Long Short-Term Memory) 모델 내지 제1_n LSTM 모델 각각에 입력하고 백워드 RNN(Backward RNN)의 각각의 시퀀스에 대응되는 제2_1 LSTM 모델 내지 제2_n LSTM 모델 각각에 입력하여, (ii-1) 제1_k LSTM 모델로 하여금, (ii-1-a) 제1_(k+1) LSTM 모델에서 출력되는 학습용 제1_(k+1) 업데이트 특징 맵(Updated Feature Map)과 상기 제k CNN에서 출력되는 학습용 제k 특징 맵을 모두 참조하여 상기 학습용 제k 특징 맵을 업데이트한 결과인 학습용 제1_k 업데이트 특징 맵을 생성하도록 하며, (ii-1-b) 상기 학습용 제1_k 업데이트 특징 맵에 대하여 FC 연산(Fully Connected Operation)을 적용한 결과인 학습용 제1_1 특징 벡터 내지 학습용 제1_n 특징 벡터를 생성하도록 하며, (ii-2) 제2_k LSTM 모델로 하여금, (ii-2-a) 제2_(k-1) LSTM 모델에서 출력되는 학습용 제2_(k-1) 업데이트 특징 맵과 상기 제k CNN에서 출력되는 상기 학습용 제k 특징 맵을 모두 참조하여 상기 학습용 제k 특징 맵을 업데이트한 결과인 학습용 제2_k 업데이트 특징 맵을 생성하도록 하며, (ii-2-b) 상기 학습용 제2_k 업데이트 특징 맵에 대하여 FC 연산을 적용한 결과인 학습용 제2_1 특징 벡터 내지 학습용 제2_n 특징 벡터를 생성하도록 하는 프로세스, 및 (iii) 상기 학습용 제1_1 특징 벡터 내지 상기 학습용 제1_n 특징 벡터와 상기 학습용 제2_1 특징 벡터 내지 상기 학습용 제2_n 특징 벡터를 어텐션 레이어(Attention Layer)로 입력하여, 상기 어텐션 레이어로 하여금, 상기 학습용 제1_1 특징 벡터 내지 상기 학습용 제1_n 특징 벡터와 상기 학습용 제2_1 특징 벡터 내지 상기 학습용 제2_n 특징 벡터를 참조하여, 상기 제1_1 트레이닝 이미지 내지 상기 제1_n 트레이닝 이미지와 상기 제2_1 트레이닝 이미지 내지 상기 제2_n 트레이닝 이미지의 모든 시퀀스에서의 학습용 자율주행 모드 값(Autonomous-Driving Mode Value)을 생성하도록 하는 프로세스, (iv) 로스 레이어(Loss Layer)로 하여금 상기 학습용 자율주행 모드 값과 이에 대응되는 GT(Ground Truth)를 참조하여 적어도 하나의 로스를 산출하도록 하는 프로세스, 및 상기 로스를 이용한 백프로퍼게이션을 통해 상기 로스를 최소화하도록 상기 제1_1 LSTM 모델 내지 상기 제1_n LSTM 모델과 상기 제2_1 LSTM 모델 내지 상기 제2_n LSTM 모델을 학습하는 프로세스를 수행한 상태에서, 주행 중인 테스트용 자율 주행 자동차의 테스트용 전방 카메라와 테스트용 후방 카메라로부터 상기 테스트용 자율 주행 자동차의 테스트용 전방 영상과 테스트용 후방 영상이 획득되면, 테스트 장치가, 상기 테스트용 전방 영상의 현재 프레임에 대응되는 제1 테스트 이미지와 상기 테스트용 후방 영상의 상기 현재 프레임에 대응되는 제2 테스트 이미지를 상기 제1 CNN에 입력하여, 상기 제1 CNN으로 하여금 상기 제1 테스트 이미지와 상기 제2 테스트 이미지의 컨캐터네이팅 결과에 대하여 컨벌루션 연산을 적용하여 테스트용 제1 특징 맵을 생성하도록 하는 단계; 및 (b) 상기 테스트 장치가, (i) 상기 테스트용 제1 특징 맵 내지 상기 테스트용 제n 특징 맵을 상기 포워드 RNN의 각각의 시퀀스에 대응되는 상기 제1_1 LSTM 모델 내지 상기 제1_n LSTM 모델 각각에 입력하고 상기 백워드 RNN의 각각의 시퀀스에 대응되는 상기 제2_1 LSTM 모델 내지 상기 제2_n LSTM 모델 각각에 입력하여, (i-1) 상기 제1_k LSTM 모델로 하여금, (i-1-a) 상기 제1_(k+1) LSTM 모델에서 출력되는 테스트용 제1_(k+1) 업데이트 특징 맵(Updated Feature Map)과 상기 제k CNN에서 출력되는 테스트용 제k 특징 맵을 모두 참조하여 상기 테스트용 제k 특징 맵을 업데이트한 결과인 테스트용 제1_k 업데이트 특징 맵을 생성하도록 하며, (i-1-b) 상기 테스트용 제1_k 업데이트 특징 맵에 대하여 FC 연산을 적용한 결과인 테스트용 제1_1 특징 벡터 내지 테스트용 제1_n 특징 벡터를 생성하도록 하며, (i-2) 상기 제2_k LSTM 모델로 하여금, (i-2-a) 상기 제2_(k-1) LSTM 모델에서 출력되는 테스트용 제2_(k-1) 업데이트 특징 맵과 상기 제k CNN에서 출력되는 상기 테스트용 제k 특징 맵을 모두 참조하여 상기 테스트용 제k 특징 맵을 업데이트한 결과인 테스트용 제2_k 업데이트 특징 맵을 생성하도록 하며, (i-2-b) 상기 테스트용 제2_k 업데이트 특징 맵에 대하여 FC 연산을 적용한 결과인 테스트용 제2_1 특징 벡터 내지 테스트용 제2_n 특징 벡터를 생성하도록 하는 프로세스, 및 (ii) 상기 테스트용 제1_1 특징 벡터 내지 상기 테스트용 제1_n 특징 벡터와 상기 테스트용 제2_1 특징 벡터 내지 상기 테스트용 제2_n 특징 벡터를 상기 어텐션 레이어로 입력하여, 상기 어텐션 레이어로 하여금, 상기 테스트용 제1_1 특징 벡터 내지 상기 테스트용 제1_n 특징 벡터와 상기 테스트용 제2_1 특징 벡터 내지 상기 테스트용 제2_n 특징 벡터를 참조하여 상기 제1_1 테스트 이미지 내지 상기 제1_n 테스트 이미지와 상기 제2_1 테스트 이미지 내지 상기 제2_n 테스트 이미지의 모든 시퀀스에서의 테스트용 자율주행 모드 값을 생성하도록 하는 단계;를 포함하는 것을 특징으로 한다.

일 실시예에서, 상기 (b) 단계에서, 상기 테스트 장치는, 상기 어텐션 레이어로 하여금, (i) 테스트용 제1_k 특징 벡터와 테스트용 제2_k 특징 벡터를 컨캐터네이팅하도록 하여, 테스트용 제1 컨캐터네이팅된 특징 벡터 내지 테스트용 제n 컨캐터네이팅된 특징 벡터를 생성하도록 하며, (ii) 상기 테스트용 제1 컨캐터네이팅된 특징 벡터 내지 상기 테스트용 제n 컨캐터네이팅된 특징 벡터에 대하여 가중 평균(Weighted Average)하도록 하여, 상기 테스트용 자율주행 모드 값을 생성하도록 하는 프로세스를 수행하는 것을 특징으로 한다.

일 실시예에서, 상기 (a) 단계에서, 상기 테스트 장치는, 상기 제1 CNN으로 하여금, (i) 상기 제1 테스트 이미지와 상기 제2 테스트 이미지를 컨캐터네이팅하도록 하여 제1 컨캐터네이팅된 테스트 이미지를 생성하도록 하고, (ii) 상기 제1 컨캐터네이팅된 테스트 이미지에 대하여 컨벌루션 연산을 적용하도록 하여 상기 테스트용 제1 특징 맵을 생성하도록 하는 프로세스를 수행하는 것을 특징으로 한다.

일 실시예에서, 상기 (b) 단계에서, 상기 테스트 장치는, (i) 상기 제1_1 LSTM 모델로 하여금, 상기 테스트용 제1_2 업데이트 특징 맵과 상기 테스트용 제1 특징 맵을 참조하여, 테스트용 주행 환경이 위험 상황(Hazard Situation)인지를 상기 제1 테스트 이미지와 상기 제2 테스트 이미지의 페어를 참조해 확인하는데 사용되는 특징에 대응되는 상기 테스트용 제1_1 특징 벡터를 생성하도록 하는 프로세스, (ii) 상기 제2_1 LSTM 모델로 하여금, 상기 테스트용 제2_1 업데이트 특징 맵을 참조하여, 상기 테스트용 주행 환경이 위험 상황인지를 상기 제1 테스트 이미지와 상기 제2 테스트 이미지의 상기 페어를 참조해 확인하는데 사용되는 특징에 대응되는 상기 테스트용 제2_1 특징 벡터를 생성하도록 하는 프로세스, 및 (iii) 상기 제2_m LSTM 모델로 하여금, 상기 테스트용 제2_(m-1) 업데이트 특징 맵과 상기 테스트용 제m 특징 맵을 참조하여, 상기 테스트용 주행 환경이 위험 상황인지를 상기 제1 테스트 이미지와 상기 제2 테스트 이미지의 상기 페어를 참조해 확인하는데 사용되는 특징에 대응되는 테스트용 제2_2 특징 벡터 내지 상기 테스트용 제2_n 특징 벡터를 생성하도록 하는 프로세스를 수행하는 하는 것을 특징으로 한다.

본 발명의 또 다른 태양에 따르면, 자율 주행 자동차의 주행 모드 변경을 위해 사용되는, 자율 주행 안정성을 확인하는 RNN(Recurrent Neural Network)을 학습하는 학습 장치에 있어서, 인스트럭션을 저장하는 적어도 하나의 메모리; 및 (I) 학습용 자율 주행 자동차의 학습용 전방 카메라와 학습용 후방 카메라에 각각 대응되는 시퀀스 이미지인 제1_1 트레이닝 이미지 내지 제1_n 트레이닝 이미지와 제2_1 트레이닝 이미지 내지 제2_n 트레이닝 이미지가 획득되면, 제1_k 트레이닝 이미지와 제2_k 트레이닝 이미지 - 상기 k는 정수이며, 시퀀스는 n으로부터 1로 진행됨 - 로 구성된 페어(Pair) 각각을, 상기 페어 각각의 시퀀스에 대응되는 제1 CNN(Convolutional Neural Network) 내지 제n CNN으로 각각 입력하여, 제k CNN으로 하여금, 상기 제1_k 트레이닝 이미지와 상기 제2_k 트레이닝 이미지를 컨캐터네이팅(Concatenating)하도록 한 다음, 상기 제1_k 트레이닝 이미지와 상기 제2_k 트레이닝 이미지의 컨캐터네이팅 결과에 대하여 컨벌루션 연산을 적용하여 학습용 제1 특징 맵(Feature Map) 내지 학습용 제n 특징 맵을 생성하도록 하는 프로세스, (II) (i) 상기 학습용 제1 특징 맵 내지 상기 학습용 제n 특징 맵을 포워드 RNN(Forward RNN)의 각각의 시퀀스에 대응되는 제1_1 LSTM(Long Short-Term Memory) 모델 내지 제1_n LSTM 모델 각각에 입력하고 백워드 RNN(Backward RNN)의 각각의 시퀀스에 대응되는 제2_1 LSTM 모델 내지 제2_n LSTM 모델 각각에 입력하여, (i-1) 제1_k LSTM 모델로 하여금, (i-1-a) 제1_(k+1) LSTM 모델에서 출력되는 학습용 제1_(k+1) 업데이트 특징 맵(Updated Feature Map)과 상기 제k CNN에서 출력되는 학습용 제k 특징 맵을 모두 참조하여 상기 학습용 제k 특징 맵을 업데이트한 결과인 학습용 제1_k 업데이트 특징 맵을 생성하도록 하며, (i-1-b) 상기 학습용 제1_k 업데이트 특징 맵에 대하여 FC 연산(Fully Connected Operation)을 적용한 결과인 학습용 제1_1 특징 벡터 내지 학습용 제1_n 특징 벡터를 생성하도록 하며, (i-2) 제2_k LSTM 모델로 하여금, (i-2-a) 제2_(k-1) LSTM 모델에서 출력되는 학습용 제2_(k-1) 업데이트 특징 맵과 상기 제k CNN에서 출력되는 상기 학습용 제k 특징 맵을 모두 참조하여 상기 학습용 제k 특징 맵을 업데이트한 결과인 학습용 제2_k 업데이트 특징 맵을 생성하도록 하며, (i-2-b) 상기 학습용 제2_k 업데이트 특징 맵에 대하여 FC 연산을 적용한 결과인 학습용 제2_1 특징 벡터 내지 학습용 제2_n 특징 벡터를 생성하도록 하는 프로세스, 및 (ii) 상기 학습용 제1_1 특징 벡터 내지 상기 학습용 제1_n 특징 벡터와 상기 학습용 제2_1 특징 벡터 내지 상기 학습용 제2_n 특징 벡터를 어텐션 레이어(Attention Layer)로 입력하여, 상기 어텐션 레이어로 하여금, 상기 학습용 제1_1 특징 벡터 내지 상기 학습용 제1_n 특징 벡터와 상기 학습용 제2_1 특징 벡터 내지 상기 학습용 제2_n 특징 벡터를 참조하여, 상기 제1_1 트레이닝 이미지 내지 상기 제1_n 트레이닝 이미지와 상기 제2_1 트레이닝 이미지 내지 상기 제2_n 트레이닝 이미지의 모든 시퀀스에서의 학습용 자율주행 모드 값(Autonomous-Driving Mode Value)을 생성하도록 하는 프로세스, 및 (III) 로스 레이어(Loss Layer)로 하여금 상기 학습용 자율주행 모드 값과 이에 대응되는 GT(Ground Truth)를 참조하여 적어도 하나의 로스를 산출하도록 하는 프로세스, 및 상기 로스를 이용한 백프로퍼게이션을 통해 상기 로스를 최소화하도록 상기 제1_1 LSTM 모델 내지 상기 제1_n LSTM 모델과 상기 제2_1 LSTM 모델 내지 상기 제2_n LSTM 모델을 학습하는 프로세스를 수행하기 위한 상기 인스트럭션을 실행하도록 구성된 적어도 하나의 프로세서;를 포함하는 것을 특징으로 한다.

일 실시예에서, 상기 (II) 프로세스에서, 상기 프로세서는, 상기 어텐션 레이어로 하여금, (i) 학습용 제1_k 특징 벡터와 학습용 제2_k 특징 벡터를 컨캐터네이팅하도록 하여, 학습용 제1 컨캐터네이팅된 특징 벡터 내지 학습용 제n 컨캐터네이팅된 특징 벡터를 생성하도록 하며, (ii) 상기 학습용 제1 컨캐터네이팅된 특징 벡터 내지 상기 학습용 제n 컨캐터네이팅된 특징 벡터에 대하여 가중 평균(Weighted Average)하도록 하여, 상기 학습용 자율주행 모드 값을 생성하도록 하는 것을 특징으로 한다.

일 실시예에서, 상기 (I) 프로세스에서, 상기 프로세서는, 상기 제1 CNN 내지 상기 제n CNN 각각으로 하여금, (i) 상기 제1_k 트레이닝 이미지와 상기 제2_k 트레이닝 이미지를 각각 컨캐터네이팅하도록 하여 제k 컨캐터네이팅된 트레이닝 이미지를 생성하도록 하고, (ii) 상기 제k 컨캐터네이팅된 트레이닝 이미지에 대하여 컨벌루션 연산을 적용하도록 하여 상기 학습용 제1 특징 맵 내지 상기 학습용 제n 특징 맵을 생성하도록 한다.

일 실시예에서, 상기 (II) 프로세스에서, 상기 프로세서는, (i) 상기 제1_k LSTM 모델로 하여금, 상기 학습용 제1_(k+1) 업데이트 특징 맵과 상기 학습용 제1_k 특징 맵을 참조하여, 학습용 주행 환경이 위험 상황(Hazard Situation)인지를 상기 제1_k 트레이닝 이미지와 상기 제2_k 트레이닝 이미지의 상기 페어를 참조해 확인하는데 사용되는 특징에 대응되는 상기 학습용 제1_1 특징 벡터 내지 상기 학습용 제1_n 특징 벡터를 생성하도록 하는 프로세스, 및 (ii) 상기 제2_k LSTM 모델로 하여금, 상기 학습용 제2_(k-1) 업데이트 특징 맵과 상기 학습용 제2_k 특징 맵을 참조하여, 상기 학습용 주행 환경이 위험 상황인지를 상기 제1_k 트레이닝 이미지와 상기 제2_k 트레이닝 이미지의 상기 페어를 참조해 확인하는데 사용되는 특징에 대응되는 상기 학습용 제2_1 특징 벡터 내지 상기 학습용 제2_n 특징 벡터를 생성하도록 하는 프로세스를 수행하는 것을 특징으로 한다.

일 실시예에서, 상기 (III) 프로세스에서, 상기 프로세서는, 상기 로스 레이어로 하여금 소프트맥스(Softmax) 알고리즘을 이용하여 상기 학습용 자율주행 모드 값을 정규화(Normalize)하는 프로세스, 및 정규화된 상기 학습용 자율주행 모드 값과 상기 GT를 참조하여 상기 로스를 산출하는 프로세스를 수행하는 것을 특징으로 한다.

일 실시예에서, 상기 (III) 프로세스에서, 상기 GT는, 상기 시퀀스 이미지 중 상기 제1_1 트레이닝 이미지 내지 상기 제1_n 트레이닝 이미지의 다음 시퀀스에 대응되는 제1 다음 시퀀스 이미지(Next Sequence Image)와, 상기 제2_1 트레이닝 이미지 내지 상기 제2_n 트레이닝 이미지의 상기 다음 시퀀스에 대응되는 제2 다음 시퀀스 이미지로부터 획득되는 것을 특징으로 한다.

본 발명의 또 다른 태양에 따르면, 자율 주행 자동차의 주행 모드 변경을 위해 사용되는, 자율 주행 안정성을 확인하는 RNN(Recurrent Neural Network)을 테스트하는 테스트 장치에 있어서, 인스트럭션을 저장하는 적어도 하나의 메모리; 및 (I) 학습용 자율 주행 자동차의 학습용 전방 카메라와 학습용 후방 카메라에 각각 대응되는 시퀀스 이미지인 제1_1 트레이닝 이미지 내지 제1_n 트레이닝 이미지와 제2_1 트레이닝 이미지 내지 제2_n 트레이닝 이미지가 획득되면, 학습 장치가, (i) 제1_k 트레이닝 이미지와 제2_k 트레이닝 이미지 - 상기 k는 정수이며, 시퀀스는 n으로부터 1로 진행됨 - 로 구성된 페어(Pair) 각각을, 상기 페어 각각의 시퀀스에 대응되는 제1 CNN(Convolutional Neural Network) 내지 제n CNN으로 각각 입력하여, 제k CNN으로 하여금, 상기 제1_k 트레이닝 이미지와 상기 제2_k 트레이닝 이미지를 컨캐터네이팅(Concatenating)하도록 한 다음, 상기 제1_k 트레이닝 이미지와 상기 제2_k 트레이닝 이미지의 컨캐터네이팅 결과에 대하여 컨벌루션 연산을 적용하여 학습용 제1 특징 맵(Feature Map) 내지 학습용 제n 특징 맵을 생성하도록 하는 프로세스, (ii) 상기 학습용 제1 특징 맵 내지 상기 학습용 제n 특징 맵을 포워드 RNN(Forward RNN)의 각각의 시퀀스에 대응되는 제1_1 LSTM(Long Short-Term Memory) 모델 내지 제1_n LSTM 모델 각각에 입력하고 백워드 RNN(Backward RNN)의 각각의 시퀀스에 대응되는 제2_1 LSTM 모델 내지 제2_n LSTM 모델 각각에 입력하여, (ii-1) 제1_k LSTM 모델로 하여금, (ii-1-a) 제1_(k+1) LSTM 모델에서 출력되는 학습용 제1_(k+1) 업데이트 특징 맵(Updated Feature Map)과 상기 제k CNN에서 출력되는 학습용 제k 특징 맵을 모두 참조하여 상기 학습용 제k 특징 맵을 업데이트한 결과인 학습용 제1_k 업데이트 특징 맵을 생성하도록 하며, (ii-1-b) 상기 학습용 제1_k 업데이트 특징 맵에 대하여 FC 연산(Fully Connected Operation)을 적용한 결과인 학습용 제1_1 특징 벡터 내지 학습용 제1_n 특징 벡터를 생성하도록 하며, (ii-2) 제2_k LSTM 모델로 하여금, (ii-2-a) 제2_(k-1) LSTM 모델에서 출력되는 학습용 제2_(k-1) 업데이트 특징 맵과 상기 제k CNN에서 출력되는 상기 학습용 제k 특징 맵을 모두 참조하여 상기 학습용 제k 특징 맵을 업데이트한 결과인 학습용 제2_k 업데이트 특징 맵을 생성하도록 하며, (ii-2-b) 상기 학습용 제2_k 업데이트 특징 맵에 대하여 FC 연산을 적용한 결과인 학습용 제2_1 특징 벡터 내지 학습용 제2_n 특징 벡터를 생성하도록 하는 프로세스, 및 (iii) 상기 학습용 제1_1 특징 벡터 내지 상기 학습용 제1_n 특징 벡터와 상기 학습용 제2_1 특징 벡터 내지 상기 학습용 제2_n 특징 벡터를 어텐션 레이어(Attention Layer)로 입력하여, 상기 어텐션 레이어로 하여금, 상기 학습용 제1_1 특징 벡터 내지 상기 학습용 제1_n 특징 벡터와 상기 학습용 제2_1 특징 벡터 내지 상기 학습용 제2_n 특징 벡터를 참조하여, 상기 제1_1 트레이닝 이미지 내지 상기 제1_n 트레이닝 이미지와 상기 제2_1 트레이닝 이미지 내지 상기 제2_n 트레이닝 이미지의 모든 시퀀스에서의 학습용 자율주행 모드 값(Autonomous-Driving Mode Value)을 생성하도록 하는 프로세스, (iv) 로스 레이어(Loss Layer)로 하여금 상기 학습용 자율주행 모드 값과 이에 대응되는 GT(Ground Truth)를 참조하여 적어도 하나의 로스를 산출하도록 하는 프로세스, 및 상기 로스를 이용한 백프로퍼게이션을 통해 상기 로스를 최소화하도록 상기 제1_1 LSTM 모델 내지 상기 제1_n LSTM 모델과 상기 제2_1 LSTM 모델 내지 상기 제2_n LSTM 모델을 학습하는 프로세스를 수행한 상태에서, 주행 중인 테스트용 자율 주행 자동차의 테스트용 전방 카메라와 테스트용 후방 카메라로부터 상기 테스트용 자율 주행 자동차의 테스트용 전방 영상과 테스트용 후방 영상이 획득되면, 상기 테스트용 전방 영상의 현재 프레임에 대응되는 제1 테스트 이미지와 상기 테스트용 후방 영상의 상기 현재 프레임에 대응되는 제2 테스트 이미지를 상기 제1 CNN에 입력하여, 상기 제1 CNN으로 하여금 상기 제1 테스트 이미지와 상기 제2 테스트 이미지의 컨캐터네이팅 결과에 대하여 컨벌루션 연산을 적용하여 테스트용 제1 특징 맵을 생성하도록 하는 프로세스, 및 (II) (i) 상기 테스트용 제1 특징 맵 내지 상기 테스트용 제n 특징 맵을 상기 포워드 RNN의 각각의 시퀀스에 대응되는 상기 제1_1 LSTM 모델 내지 상기 제1_n LSTM 모델 각각에 입력하고 상기 백워드 RNN의 각각의 시퀀스에 대응되는 상기 제2_1 LSTM 모델 내지 상기 제2_n LSTM 모델 각각에 입력하여, (i-1) 상기 제1_k LSTM 모델로 하여금, (i-1-a) 상기 제1_(k+1) LSTM 모델에서 출력되는 테스트용 제1_(k+1) 업데이트 특징 맵(Updated Feature Map)과 상기 제k CNN에서 출력되는 테스트용 제k 특징 맵을 모두 참조하여 상기 테스트용 제k 특징 맵을 업데이트한 결과인 테스트용 제1_k 업데이트 특징 맵을 생성하도록 하며, (i-1-b) 상기 테스트용 제1_k 업데이트 특징 맵에 대하여 FC 연산을 적용한 결과인 테스트용 제1_1 특징 벡터 내지 테스트용 제1_n 특징 벡터를 생성하도록 하며, (i-2) 상기 제2_k LSTM 모델로 하여금, (i-2-a) 상기 제2_(k-1) LSTM 모델에서 출력되는 테스트용 제2_(k-1) 업데이트 특징 맵과 상기 제k CNN에서 출력되는 상기 테스트용 제k 특징 맵을 모두 참조하여 상기 테스트용 제k 특징 맵을 업데이트한 결과인 테스트용 제2_k 업데이트 특징 맵을 생성하도록 하며, (i-2-b) 상기 테스트용 제2_k 업데이트 특징 맵에 대하여 FC 연산을 적용한 결과인 테스트용 제2_1 특징 벡터 내지 테스트용 제2_n 특징 벡터를 생성하도록 하는 프로세스, 및 (ii) 상기 테스트용 제1_1 특징 벡터 내지 상기 테스트용 제1_n 특징 벡터와 상기 테스트용 제2_1 특징 벡터 내지 상기 테스트용 제2_n 특징 벡터를 상기 어텐션 레이어로 입력하여, 상기 어텐션 레이어로 하여금, 상기 테스트용 제1_1 특징 벡터 내지 상기 테스트용 제1_n 특징 벡터와 상기 테스트용 제2_1 특징 벡터 내지 상기 테스트용 제2_n 특징 벡터를 참조하여 상기 제1_1 테스트 이미지 내지 상기 제1_n 테스트 이미지와 상기 제2_1 테스트 이미지 내지 상기 제2_n 테스트 이미지의 모든 시퀀스에서의 테스트용 자율주행 모드 값을 생성하도록 하는 프로세스를 수행하기 위한 상기 인스트럭션을 실행하도록 구성된 적어도 하나의 프로세서;를 포함하는 것을 특징으로 한다.

일 실시예에서, 상기 (II) 프로세스에서, 상기 프로세서는, 상기 어텐션 레이어로 하여금, (i) 테스트용 제1_k 특징 벡터와 테스트용 제2_k 특징 벡터를 컨캐터네이팅하도록 하여, 테스트용 제1 컨캐터네이팅된 특징 벡터 내지 테스트용 제n 컨캐터네이팅된 특징 벡터를 생성하도록 하며, (ii) 상기 테스트용 제1 컨캐터네이팅된 특징 벡터 내지 상기 테스트용 제n 컨캐터네이팅된 특징 벡터에 대하여 가중 평균(Weighted Average)하도록 하여, 상기 테스트용 자율주행 모드 값을 생성하도록 하는 프로세스를 수행하는 것을 특징으로 한다.

일 실시예에서, 상기 (I) 프로세스에서, 상기 프로세서는, 상기 제1 CNN으로 하여금, (i) 상기 제1 테스트 이미지와 상기 제2 테스트 이미지를 컨캐터네이팅하도록 하여 제1 컨캐터네이팅된 테스트 이미지를 생성하도록 하고, (ii) 상기 제1 컨캐터네이팅된 테스트 이미지에 대하여 컨벌루션 연산을 적용하도록 하여 상기 테스트용 제1 특징 맵을 생성하도록 하는 프로세스를 수행하는 것을 특징으로 한다.

일 실시예에서, 상기 (II) 프로세스에서, 상기 프로세서는, (i) 상기 제1_1 LSTM 모델로 하여금, 상기 테스트용 제1_2 업데이트 특징 맵과 상기 테스트용 제1 특징 맵을 참조하여, 테스트용 주행 환경이 위험 상황(Hazard Situation)인지를 상기 제1 테스트 이미지와 상기 제2 테스트 이미지의 페어를 참조해 확인하는데 사용되는 특징에 대응되는 상기 테스트용 제1_1 특징 벡터를 생성하도록 하는 프로세스, (ii) 상기 제2_1 LSTM 모델로 하여금, 상기 테스트용 제2_1 업데이트 특징 맵을 참조하여, 상기 테스트용 주행 환경이 위험 상황인지를 상기 제1 테스트 이미지와 상기 제2 테스트 이미지의 상기 페어를 참조해 확인하는데 사용되는 특징에 대응되는 상기 테스트용 제2_1 특징 벡터를 생성하도록 하는 프로세스, 및 (iii) 상기 제2_m LSTM 모델로 하여금, 상기 테스트용 제2_(m-1) 업데이트 특징 맵과 상기 테스트용 제m 특징 맵을 참조하여, 상기 테스트용 주행 환경이 위험 상황인지를 상기 제1 테스트 이미지와 상기 제2 테스트 이미지의 상기 페어를 참조해 확인하는데 사용되는 특징에 대응되는 테스트용 제2_2 특징 벡터 내지 상기 테스트용 제2_n 특징 벡터를 생성하도록 하는 프로세스를 수행하는 하는 것을 특징으로 한다.

이 외에도, 본 발명의 방법을 실행하기 위한 컴퓨터 프로그램을 기록하기 위한 컴퓨터 판독 가능한 기록 매체가 더 제공된다.

본 발명은 RNN(Recurrent Neural Network)을 이용해, 다수의 통합 카메라 정보를 분석하고 위험 상황(Hazardous Situation)을 인지하며 자율 주행 안전성을 확인하여 자율 주행 자동차의 자율 주행 모드와 수동 주행 모드 사이의 주행 모드를 변경함으로써, 종래의 다양한 센서들을 이용하는 것과는 달리, 자율 주행 자동차의 제조 비용 증가를 막는 효과가 있다.

본 발명은 RNN을 이용해, 다수의 통합 카메라 정보를 분석하고 위험 상황을 인지하며 자율 주행 안전성을 확인하여 자율 주행 자동차의 자율 주행 모드와 수동 주행 모드 사이의 주행 모드를 변경함으로써 종래 방법에 비하여, 센서의 개수를 최소할 수 있는 다른 효과가 있다.

본 발명은 RNN을 이용해, 다수의 통합 카메라 정보를 분석하고 위험 상황을 인지하며 자율 주행 안전성을 확인하여 자율 주행 자동차의 자율 주행 모드와 수동 주행 모드 사이의 주행 모드를 변경함으로써, 다수의 통합 카메라 정보가 처리되기 때문에, 종래 방법에 비하여, 더 적은 컴퓨팅 소스(Computing Source)로 자율 주행 자동차의 주행 모드를 변경할 수 있는 또 다른 효과가 있다.

본 발명의 실시예의 설명에 이용되기 위하여 첨부된 아래 도면들은 본 발명의 실시예들 중 단지 일부일 뿐이며, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자(이하 "통상의 기술자")에게 있어서는 발명적 작업이 이루어짐 없이 이 도면들에 기초하여 다른 도면들이 얻어질 수 있다.
도 1은 본 발명의 일 실시예에 따라 자율 주행 모드와 수동 주행 모드 사이의 주행 모드 변경을 위한 자율 주행 안전성을 확인하기 위해 사용되는 RNN(Recurrent Neural Network)을 학습하는 학습 장치를 개략적으로 도시한 것이고,
도 2는 본 발명의 일 실시예에 따라 자율 주행 모드와 수동 주행 모드 사이의 주행 모드 변경을 위한 자율 주행 안정성을 확인하기 위해 사용되는 RNN을 학습하는 방법을 개략적으로 도시한 것이고,
도 3은 본 발명의 일 실시예에 따라 자율 주행 모드와 수동 주행 모드 사이의 주행 모드 변경을 위한 자율 주행 안정성을 확인하기 위해 사용되는 RNN을 학습하기 위한 트레이닝 데이터를 생성하는 프로세스를 개략적으로 도시한 것이고,
도 4는 본 발명의 일 실시예에 따라 자율 주행 모드와 수동 주행 모드 사이의 주행 모드 변경을 위한 자율 주행 안정성을 확인하기 위해 사용되는 RNN을 테스트하는 테스트 장치를 개략적으로 도시한 것이고,
도 5는 본 발명의 일 실시예에 따라 자율 주행 모드와 수동 주행 모드 사이의 주행 모드 변경을 위한 자율 주행 안정성을 확인하기 위해 사용되는 RNN을 적용한 자율 주행 자동차의 주행 상태를 개략적으로 도시한 것이고,
도 6은 본 발명의 일 실시예에 따라 자율 주행 모드와 수동 주행 모드 사이의 주행 모드 변경을 위한 자율 주행 안정성을 확인하기 위해 사용되는 RNN을 위한 테스트 방법을 개략적으로 도시한 것이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명의 목적들, 기술적 해법들 및 장점들을 분명하게 하기 위하여 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 통상의 기술자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다.

또한, 본 발명의 상세한 설명 및 청구항들에 걸쳐, "포함하다"라는 단어 및 그것의 변형은 다른 기술적 특징들, 부가물들, 구성요소들 또는 단계들을 제외하는 것으로 의도된 것이 아니다. 통상의 기술자에게 본 발명의 다른 목적들, 장점들 및 특성들이 일부는 본 설명서로부터, 그리고 일부는 본 발명의 실시로부터 드러날 것이다. 아래의 예시 및 도면은 실례로서 제공되며, 본 발명을 한정하는 것으로 의도된 것이 아니다.

더욱이 본 발명은 본 명세서에 표시된 실시예들의 모든 가능한 조합들을 망라한다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

본 발명에서 언급하는 각종 이미지는 포장 또는 비포장 도로 관련 이미지를 포함할 수 있으며, 이 경우 도로 환경에서 등장할 수 있는 물체(가령, 자동차, 사람, 동물, 식물, 물건, 건물, 비행기나 드론과 같은 비행체, 기타 장애물)를 상정할 수 있을 것이나, 반드시 이에 한정되는 것은 아니며, 본 발명에서 언급하는 각종 이미지는 도로와 상관 없는 이미지(가령, 비포장도로, 골목길, 공터, 바다, 호수, 강, 산, 숲, 사막, 하늘, 실내와 관련된 이미지)일 수도 있으며, 이 경우, 비포장도로, 골목길, 공터, 바다, 호수, 강, 산, 숲, 사막, 하늘, 실내 환경에서 등장할 수 있는 물체(가령, 자동차, 사람, 동물, 식물, 물건, 건물, 비행기나 드론과 같은 비행체, 기타 장애물)를 상정할 수 있을 것이나, 반드시 이에 한정되는 것은 아니다.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따라 자율 주행 모드와 수동 주행 모드 사이의 주행 모드 변경을 위한 자율 주행 안전성을 확인하기 위해 사용되는 RNN(Recurrent Neural Network)을 학습하는 학습 장치를 개략적으로 도시한 것이다. 도 1을 참조하면, 학습 장치(100)는 자율 주행 모드와 수동 주행 모드 사이의 주행 모드 변경을 위한 자율 주행 안정성을 확인하기 위해 사용되는 RNN을 학습하기 위한 인스트럭션(Instruction)을 저장하는 메모리(110)와 메모리(110)에 저장된 인스트럭션에 대응하여 자율 주행 모드와 수동 주행 모드 사이의 주행 모드 변경을 위한 자율 주행 안정성을 확인하기 위해 사용되는 RNN을 학습하는 프로세서(120)를 포함할 수 있다.

구체적으로, 학습 장치(100)는 전형적으로 적어도 하나의 컴퓨팅 장치(예컨대, 컴퓨터 프로세서, 메모리, 스토리지, 입력 장치 및 출력 장치, 기타 기존의 컴퓨팅 장치의 구성요소를 포함할 수 있는 장치; 라우터, 스위치 등과 같은 전자 통신 장치; 네트워크 부착 스토리지(NAS) 및 스토리지 영역 네트워크(SAN)와 같은 전자 정보 스토리지 시스템)와 적어도 하나의 컴퓨터 소프트웨어(즉, 컴퓨팅 장치로 하여금 특정의 방식으로 기능하게 하는 인스트럭션)의 조합을 이용하여 원하는 시스템 성능을 달성하는 것일 수 있다.

또한, 컴퓨팅 장치의 프로세서는 MPU(Micro Processing Unit) 또는 CPU(Central Processing Unit), 캐쉬 메모리(Cache Memory), 데이터 버스(Data Bus) 등의 하드웨어 구성을 포함할 수 있다. 또한, 컴퓨팅 장치는 운영체제, 특정 목적을 수행하는 애플리케이션의 소프트웨어 구성을 더 포함할 수도 있다.

그러나, 컴퓨팅 장치가 본 발명을 실시하기 위한 프로세서, 메모리 미디엄 또는 기타 컴퓨팅 구성요소의 어떠한 조합을 포함하는 통합 프로세서(Integrated Processor)를 배제하는 것은 아니다.

이와 같이 구성된 본 발명의 일 실시예에 따른 학습 장치(100)를 이용하여 자율 주행 모드와 수동 주행 모드 사이의 주행 모드 변경을 위한 자율 주행 안정성을 확인하기 위한 RNN을 학습하는 방법을 도 2를 참조하여 설명하면 다음과 같다.

먼저, 학습 장치(100)는 학습용 자율 주행 자동차 상의 적어도 하나의 학습용 전방 카메라와 적어도 하나의 학습용 후방 카메라에 대응되는 학습용 시퀀스 이미지를 포함하는 트레이닝 데이터를 획득할 수 있다. 본 발명 전반에 걸쳐, "시퀀스(Sequence)" 또는 "시퀀스들(Sequences)"은 그 다음에 명사가 나오지 않고 단독으로 쓰이는 경우에 "타임 시퀀스(Sequence In Time)" 또는 "타임 시퀀스들(Sequences In Time)"을 나타낸다. 즉, "시퀀스 이미지(Sequence Image)" 등에 사용된 "시퀀스"는 시간의 개념을 나타내지 않을 수 있다.

이때, 도 3을 참조하면, 트레이닝 데이터는 학습용 자율 주행 자동차 상의 학습용 전방 카메라에 대응되는 학습용 시퀀스 이미지인 1_1 트레이닝 이미지 내지 제1_n 트레이닝 이미지와, 학습용 자율 주행 자동차 상의 학습용 후방 카메라에 대응되는 학습용 시퀀스 이미지인 제2_1 트레이닝 이미지 내지 제2_n 트레이닝 이미지를 포함할 수 있다. 이때, n은 정수이며, 시퀀스는 n으로부터 1로 진행될 수 있다.

일 예로, 트레이닝 데이터를 생성하기 위하여, 학습용 자율 주행 자동차 상의 학습용 전방 카메라로부터 촬영되는 영상을 기설정된 시간 간격으로(일 예로, 1초마다) 샘플링하여 학습용 시퀀스 이미지를 생성하고, 각각의 학습용 시퀀스 이미지에 대하여 자율 주행 가능 여부를 라벨링하여 제1_1 이미지 내지 제1_n 이미지를 생성할 수 있다. 그리고, 학습용 자율 주행 자동차 상의 학습용 후방 카메라로부터 촬영되는 영상을 기설정된 시간 간격으로 샘플링하여 학습용 시퀀스 이미지를 생성하고, 각각의 학습용 시퀀스 이미지에 대하여 자율 주행 가능 여부를 라벨링하여 제2_1 이미지 내지 제2_n 이미지를 생성한다. 그리고, k를 1 이상이며, n 이하인 정수라 할 경우, 시퀀스에 대응하는 제1_k 이미지와 제2_k 이미지로 구성된 각각의 페어(Pair)를 포함하는 적어도 하나의 트레이닝 데이터를 생성할 수 있다. 그리고, 위와 같은 방법에 의해 학습에 필요한 충분한 트레이닝 데이터를 생성할 수 있다.

이때, 트레이닝 데이터에 포함되는 제1_k 이미지와 제2_k 이미지의 페어의 개수는 RNN에서의 LSTM(Long Short-Term Memory Network)의 개수에 대응되도록 설정할 수 있다.

한편, 자율 주행이 불가능한 상황은, 자율 주행 자동차를 계속 자율 주행 모드로 주행할 경우 사고나 오작동이 발생할 가능성이 있는 주행 환경일 수 있으며, 일 예로, 터널 안 주행, 폭우, 폭설, 조도가 낮은 경우, 카메라 렌즈에 이물질이 묻은 경우 등과 같이 자율 주행을 위해 필요한 정보의 검출이 어려운 주행 환경과, 도로 상에서 사고가 발생한 경우, 과속 자동차가 접근하는 경우, 비정상 주행을 하는 인근 자동차가 있는 경우 등과 같은 위험 상황일 수 있다. 하지만, 본 발명이 이에 한정되는 것은 아니다.

따라서, 자율 주행이 가능한 상황에 대응하는 시퀀스 이미지와 자율 주행이 불가능한 상황에 대응하는 시퀀스 이미지를 수집하여 트레이닝 데이터를 생성할 수 있다.

다음으로, 학습 장치(100)는, 트레이닝 데이터 상의 제1_k 트레이닝 이미지와 제2_k 트레이닝 이미지의 각각의 페어를 각각의 시퀀스에 대응하는 제1 CNN(Convolutional Neural Network) 내지 제n CNN에 입력하여, k가 1부터 n까지일 때, 제k CNN, 즉, 제1 CNN 내지 제n CNN 각각으로 하여금, 자신의 시퀀스에 대응하는 페어 상의 제1_k 트레이닝 이미지와 제2_k 트레이닝 이미지를 컨캐터네이팅(Concatenating)하도록 한 다음, 제1_k 트레이닝 이미지와 제2_k 트레이닝 이미지의 컨캐터네이팅 결과에 대하여 컨벌루션 연산을 적용하여 학습용 제1 특징 맵 내지 학습용 제n 특징 맵을 생성하도록 할 수 있다. 이때, 학습 장치(100)는 제1 CNN 내지 제n CNN 각각으로 하여금, (i) 제1_k 트레이닝 이미지와 제2_k 트레이닝 이미지를 각각 컨캐터네이팅하도록 하여 제k 컨캐터네이팅된 트레이닝 이미지를 생성하도록 하고, (ii) 제k 컨캐터네이팅된 트레이닝 이미지에 대하여 컨벌루션 연산을 적용하여 학습용 제1 특징 맵 내지 학습용 제n 특징 맵을 생성하도록 할 수 있다. 즉, 제1 CNN 내지 제n CNN은 다수의 카메라 정보를 각각 융합하여 하나의 정보로 출력할 수 있다. 이때, 제1 CNN 내지 제n CNN은 미리 학습된 상태일 수 있다.

다음으로, 학습 장치(100)는 학습용 제1 특징 맵 내지 학습용 제n 특징 맵을 포워드(Forward) RNN의 각각의 시퀀스에 대응되는 제1_1 LSTM 모델 내지 제1_n LSTM 모델에 입력하여, 제1_k LSTM 모델로 하여금, (i) 제1_(k+1) LSTM 모델에서 출력되는 학습용 제1_(k+1) 업데이트 특징 맵(Updated Feature Map)과 제k CNN에서 출력되는 학습용 제k 특징 맵을 모두 참조하여 학습용 제k 특징 맵을 업데이트한 결과인 학습용 제1_k 업데이트 특징 맵을 생성하도록 하며, (ii) 제1_k 업데이트 특징 맵에 대하여 FC 연산(Fully Connected Operation)을 적용하여 학습용 제1_1 특징 벡터 내지 학습용 제1_n 특징 벡터를 생성하도록 하는 프로세스를 수행할 수 있다.

즉, 학습 장치(100)는, 제1_k LSTM 모델로 하여금, 학습용 제1_(k+1) 업데이트 특징 맵과 학습용 제1_k 특징 맵을 참조하여, 학습용 주행 환경이 위험 상황(Hazard Situation)인지를 제1_k 트레이닝 이미지와 제2_k 트레이닝 이미지의 페어를 참조해 확인하는데 사용되는 특징에 대응되는 학습용 제1_1 특징 벡터 내지 학습용 제1_n 특징 벡터를 생성하도록 하는 프로세스를 수행할 수 있다.

또한, 학습 장치(100)는, 학습용 제1 특징 맵 내지 학습용 제n 특징 맵을 백워드(Backward) RNN의 각각의 시퀀스에 대응되는 제2_1 LSTM 모델 내지 제2_n LSTM 모델에 입력하여, 제2_k LSTM 모델로 하여금, (i) (i-1) 제2_(k-1) LSTM 모델에서 출력되는 학습용 제2_(k-1) 업데이트 특징 맵과 (i-2) 제k CNN에서 출력되는 학습용 제k 특징 맵을 모두 참조하여 학습용 제k 특징 맵을 업데이트한 결과인 학습용 제2_k 업데이트 특징 맵을 생성하도록 하며, (ii) 제2_k 업데이트 특징 맵에 대하여 FC 연산(Fully Connected Operation)을 적용하여 학습용 제2_1 특징 벡터 내지 학습용 제2_n 특징 벡터를 생성하도록 하는 프로세스를 수행할 수 있다.

즉, 학습 장치(100)는, 제2_k LSTM 모델로 하여금, 학습용 제2_(k-1) 업데이트 특징 맵과 학습용 제2_k 특징 맵을 참조하여, 학습용 주행 환경이 위험 상황인지를 제1_k 트레이닝 이미지와 제2_k 트레이닝 이미지의 페어를 참조해 확인하는데 사용되는 특징에 대응되는 학습용 제2_1 특징 벡터 내지 학습용 제2_n 특징 벡터를 생성하도록 하는 프로세스를 수행할 수 있다.

다음으로, 학습 장치(100)는, 학습용 제1_1 특징 벡터 내지 학습용 1_n 특징 벡터와 학습용 2_1 특징 벡터 내지 학습용 2_n 특징 벡터를 어텐션 레이어(Attention Layer)로 입력하여, 어텐션 레이어로 하여금, 학습용 제1_1 특징 벡터 내지 학습용 제1_n 특징 벡터와 학습용 제2_1 특징 벡터 내지 학습용 제2_n 특징 벡터를 참조하여 학습용 제1_1 이미지 내지 학습용 제1_n 이미지와 학습용 제2_1 이미지 내지 학습용 제2_n 이미지의 전체 시퀀스에서의 학습용 자율주행 모드 값(Autonomous-Driving Mode Value)을 생성하도록 할 수 있다.

즉, 학습 장치(100)는 제1_k LSTM과 제2_k LSTM으로부터 각각 출력되는 자율 주행이 가능한 학습용 주행 환경인지를 나타내는 학습용 특징 벡터를 컨캐터네이팅하고, 학습용 특징 벡터의 컨캐터네이팅 결과를 가중 평균(Weighed Average)하여, 학습용 제1_1 이미지 내지 학습용 제1_n 이미지와 학습용 제2_1 이미지 내지 학습용 제2_n 이미지의 각각의 페어에 대한 일정 시간 동안의 주행 정보를 참조하여 학습용 자율 주행 자동차가 현재 시점에서 자율 주행이 가능한지 여부를 나타내는 학습용 자율주행 모드 값을 출력하도록 할 수 있다.

다음으로, 학습 장치(100)는, 적어도 하나의 로스 레이어로 하여금, (i) 어텐션 레이어로부터 출력되는, 자율 주행 가능 여부에 대한 학습용 자율주행 모드 값과 (ii) 이에 대응되는 GT를 참조하여 적어도 하나의 로스를 산출하도록 함으로써, 로스를 이용한 백프로퍼게이션을 통해 로스가 최소화되도록 백워드 RNN의 제2_1 LSTM 내지 제2_n LSTM 및 포워드 RNN의 제1_1 LSTM 내지 제1_n LSTM의 적어도 하나의 파라미터의 적어도 일부를 학습할 수 있다.

이때, 학습 장치(100)는 로스 레이어로 하여금 어텐션 레이어로부터 출력되는 학습용 자율주행 모드 값을 소프트맥스(Softmax) 알고리즘을 이용하여 정규화하는 프로세스, 및 정규화된 학습용 자율주행 모드 값과 이에 대응되는 GT를 참조하여 로스를 산출하는 프로세스를 수행할 수 있다. 그리고, 학습용 자율주행 모드 값에 대응되는 GT는 제1_1 트레이닝 이미지 내지 제1_n 트레이닝 이미지의 다음 시퀀스에 대응되는 제1 다음 시퀀스 이미지(Next Sequence Image)와 제2_1 트레이닝 이미지 내지 제2_n 트레이닝 이미지의 다음 시퀀스에 대응되는 제2 다음 시퀀스 이미지로부터 획득될 수 있다.

도 4는 본 발명의 일 실시예에 따라 자율 주행 모드와 수동 주행 모드 사이의 주행 모드 변경을 위한 자율 주행 안정성을 확인하기 위해 사용되는 RNN을 테스트하는 테스트 장치를 개략적으로 도시한 것이다. 도 4를 참조하면, 테스트 장치(200)는 자율 주행 모드와 수동 주행 모드 사이의 주행 모드 변경을 위해 자율 주행 안정성을 확인하기 위한 RNN을 테스트하기 위한 인스트럭션을 저장하는 메모리(210)와 메모리(210)에 저장된 인스트럭션에 대응하여 자율 주행 모드와 수동 주행 모드 사이의 주행 모드 변경을 위해 자율 주행 안정성을 확인하기 위한 RNN을 테스트하는 프로세서(220)를 포함할 수 있다.

구체적으로, 테스트 장치(200)는 전형적으로 적어도 하나의 컴퓨팅 장치(예컨대, 컴퓨터 프로세서, 메모리, 스토리지, 입력 장치 및 출력 장치, 기타 기존의 컴퓨팅 장치의 구성요소을 포함할 수 있는 장치; 라우터, 스위치 등과 같은 전자 통신 장치; 네트워크 부착 스토리지(NAS) 및 스토리지 영역 네트워크(SAN)와 같은 전자 정보 스토리지 시스템)와 적어도 하나의 컴퓨터 소프트웨어(즉, 컴퓨팅 장치로 하여금 특정의 방식으로 기능하게 하는 인스트럭션)의 조합을 이용하여 원하는 시스템 성능을 달성하는 것일 수 있다.

그러나, 컴퓨팅 장치가 본 발명을 실시하기 위한 프로세서, 메모리, 미디엄 또는 기타 컴퓨팅 구성요소의 어떠한 조합을 포함하는 통합 프로세서(Integrated Device)를 배제하는 것은 아니다.

이와 같이 구성된 본 발명의 일 실시예에 따른 테스트 장치(200)를 이용하여 자율 주행 모드와 수동 주행 모드 사이의 주행 모드 변경을 위한 자율 주행 안정성을 확인하는데 사용되는 RNN을 테스트하는 방법을 도 5와 도6을 참조하여 설명하면 다음과 같다.

도 5를 참조하면, 도 2를 참조하여 설명한 학습 방법에 의해 자율 주행 모드와 수동 주행 모드 사이의 주행 모드 변경을 위한 자율 주행 안정성을 확인하는데 사용되는 RNN이 학습된 상태일 수 있다.

즉, 학습용 자율 주행 자동차의 학습용 전방 카메라와 학습용 후방 카메라에 각각 대응되는 시퀀스 이미지인 제1_1 트레이닝 이미지 내지 제1_n 트레이닝 이미지와 제2_1 트레이닝 이미지 내지 제2_n 트레이닝 이미지가 획득되면, 학습 장치는, 제1_k 트레이닝 이미지와 제2_k 트레이닝 이미지로 구성된 각각의 페어를 각각의 페어의 시퀀스에 대응되는 제1 CNN 내지 제n CNN으로 각각 입력하여, 제k CNN로 하여금 제1_k 트레이닝 이미지와 제2_k 트레이닝 이미지를 컨캐터네이팅하도록 한 다음, 제1_k 트레이닝 이미지와 제2_k 트레이닝 이미지의 컨캐터네이팅 결과에 대하여 컨벌루션 연산을 적용하여 학습용 제1 특징 맵 내지 학습용 제n 특징 맵을 생성하도록 하는 프로세스를 수행할 수 있다. 그리고, 학습 장치는, 학습용 제1 특징 맵 내지 학습용 제n 특징 맵을 포워드 RNN의 각각의 시퀀스에 대응되는 제1_1 LSTM 모델 내지 제1_n LSTM 모델에 입력하고 백워드 RNN의 각각의 시퀀스에 대응되는 제2_1 LSTM 모델 내지 제2_n LSTM 모델 각각에 입력하여, (i) 제1_k LSTM 모델로 하여금, (i-1) 제1_(k+1) LSTM 모델에서 출력되는 학습용 제1_(k+1) 업데이트 특징 맵과 제1_k CNN에서 출력되는 학습용 제1_k 특징 맵을 모두 참조하여 학습용 제k 특징 맵을 업데이트한 결과인 학습용 제1_k 업데이트 특징 맵을 생성하도록 하며, (i-2) 제1_k 업데이트 특징 맵에 대하여 FC 연산을 적용하여 학습용 제1_1 특징 벡터 내지 학습용 제1_n 특징 벡터를 생성하도록 하고, (ii) 제2_k LSTM 모델로 하여금, (ii-1) 제2_(k-1) LSTM 모델에서 출력되는 학습용 제2_(k-1) 업데이트 특징 맵과 제2_k CNN에서 출력되는 학습용 제2_k 특징 맵을 모두 참조하여 학습용 제2_k 특징 맵을 업데이트한 결과인 학습용 제2_k 업데이트 특징 맵을 생성하도록 하며, (ii-2) 제2_k 업데이트 특징 맵에 대하여 FC 연산을 적용하여 학습용 제2_1 특징 벡터 내지 학습용 제2_n 특징 벡터를 생성하도록 하는 프로세스를 수행할 수 있다. 이후, 학습 장치는 학습용 제1_1 특징 벡터 내지 학습용 제1_n 특징 벡터와 학습용 제2_1 특징 벡터 내지 학습용 제2_n 특징 벡터를 어텐션 레이어로 입력하여, 어텐션 레이어로 하여금 학습용 제1_1 특징 벡터 내지 학습용 제1_n 특징 벡터와 학습용 제2_1 특징 벡터 내지 학습용 제2_n 특징 벡터를 참조하여 제1_1 트레이닝 이미지 내지 제1_n 트레이닝 이미지와 제2_1 트레이닝 이미지 내지 제2_n 트레이닝 이미지의 모든 시퀀스에서의 학습용 자율주행 모드 값을 생성하도록 하는 프로세스, 로스 레이어로 하여금 학습용 자율주행 모드 값과 이에 대응되는 GT를 참조하여 적어도 하나의 로스를 산출하도록 하는 프로세스, 및 로스를 이용한 백프로퍼게이션을 통해 로스를 최소화하도록 제1_1 LSTM 모델 내지 제1_n LSTM 모델과 제2_1 LSTM 모델 내지 제2_n LSTM 모델을 학습하는 프로세스를 수행한 상태일 수 있다.

이와 같이 RNN이 학습된 상태에서, 테스트용 자율 주행 자동차가 주행하는 동안, 테스트용 자율 주행 자동차의 테스트용 전방 카메라로부터 테스트용 전방 영상이 획득되고 테스트용 자율 주행 자동차의 테스트용 후방 카메라로부터 테스트용 후방 영상이 획득되면, 테스트 장치(200)는, 테스트용 전방 영상의 현재 프레임에 대응되는 제1 테스트 이미지와 테스트용 후방 영상의 현재 프레임에 대응되는 제2 테스트 이미지를 획득할 수 있다. 이때, 제1 테스트 이미지와 제2 테스트 이미지는 테스트용 자율 주행 자동차의 테스트용 전방 카메라와 테스트용 후방 카메라에 의해 촬영되는 각각의 영상을 기설정된 시간 간격으로(예를 들면, 1초마다 1장씩) 샘플링하여 생성된 현재 시점에서의 테스트 이미지일 수 있다.

다음으로, 도 6을 참조하면, 테스트 장치(200)는, 제1 테스트 이미지와 제2 테스트 이미지의 페어를 제1 CNN으로 입력하여, 제1 CNN으로 하여금 제1 테스트 이미지와 제2 테스트 이미지의 컨캐터네이팅 결과에 대하여 컨벌루션 연산을 적용하여 적어도 하나의 테스트용 제1 특징 맵을 출력하도록 할 수 있다.

이때, 도 2에서의 학습 방법에서는 제1 CNN 내지 제n CNN을 사용하였으나, 테스트 프로세스에서는 이전 프레임, 즉, 제1 이미지와 제2 이미지에 대응되는 이전 샘플링 이미지를 이용하여 생성된 테스트용 이전 특징 맵, 즉, 테스트용 제2 특징 맵 내지 테스트용 제n 특징 맵이 저장되어 있으므로, 테스트 프로세스는 현재 시점에 대응되는 하나의 CNN을 이용해 수행될 수 있다.

또한, 테스트 장치(200)는, 제1 CNN으로 하여금, (i) 제1 테스트 이미지와 제2 테스트 이미지를 컨캐터네이팅하도록 하여 제1 컨캐터네이팅된 테스트 이미지를 생성하도록 하고, (ii) 제1 컨캐터네이팅된 테스트 이미지에 대하여 컨벌루션 연산을 적용하도록 하여 테스트용 제1 특징 맵을 생성하도록 할 수 있다.

다음으로, 테스트 장치(200)는 테스트용 제1 특징 맵을 제1_1 LSTM 모델에 입력하여, 제1_1 LSTM 모델로 하여금, (i) 이전 프레임에서 생성된 테스트용 제1_2 업데이트 특징 맵과 (ii) 테스트용 제1 특징 맵을 모두 참조하여 상기 테스트용 제1 특징 맵을 업데이트한 결과인 테스트용 제1_1 업데이트 특징 맵을 생성하도록 하며, 테스트용 제1_1 업데이트 특징 맵에 대하여 FC 연산을 적용하여 테스트용 제1_1 특징 벡터를 생성하도록 하는 프로세스를 수행할 수 있다.

즉, 테스트 장치(200)는, 제1_1 LSTM 모델로 하여금, 테스트용 제1_2 업데이트 특징 맵과 테스트용 제1 특징 맵을 참조하여, 테스트용 주행 환경이 위험 상황(Hazard Situation)인지를 제1 테스트 이미지와 제2 테스트 이미지의 페어를 참조해 확인하는데 사용되는 테스트용 제1_1 특징 벡터를 생성하도록 할 수 있다.

또한, 테스트 장치(200)는, 테스트용 제1 특징 맵을 제2_1 LSTM 모델에 입력하여, 제2_1 LSTM 모델로 하여금, 제1 CNN에서 출력되는 테스트용 제1 특징 맵을 참조하여, 테스트용 제1 특징 맵을 업데이트한 결과인 테스트용 제2_1 업데이트 특징 맵을 생성하도록 한 후, 테스트용 제2_1 업데이트 특징 맵에 대하여 FC 연산을 적용하여 테스트용 제2_1 특징 벡터를 출력하도록 하며, 제2_m LSTM 모델로 하여금, 제2_(m-1) LSTM 모델에서 생성된 테스트용 제2_(m-1) 업데이트 특징 맵과 이전 프레임에서 제1 CNN에 의해 생성된 테스트용 제m 특징 맵을 모두 참조하여, 테스트용 제m 특징 맵을 업데이트한 결과인 테스트용 제2_m 업데이트 특징 맵을 생성하도록 한 후, 테스트용 제2_m 업데이트 특징 맵에 대하여 FC 연산을 적용하여 테스트용 제2_2 특징 벡터 내지 테스트용 제2_n 특징 벡터를 출력하도록 할 수 있다. 이때, m은 2 이상이며 n 이하인 정수일 수 있다.

즉, 테스트 장치(200)는, (i) 제2_1 LSTM 모델로 하여금, 테스트용 제2_1 업데이트 특징 맵을 참조하여, 테스트용 주행 환경이 위험 상황인지를 제1 테스트 이미지와 제2 테스트 이미지의 페어를 참조해 확인하는데 사용되는 특징에 대응되는 테스트용 제2_1 특징 벡터를 생성하도록 하는 프로세스, 및 (ii) 제2_m LSTM 모델로 하여금, 테스트용 제2_(m-1) 업데이트 특징 맵과 테스트용 제m 특징 맵을 참조하여, 테스트용 주행 환경이 위험 상황인지를 제1 테스트 이미지와 제2 테스트 이미지의 페어를 참조해 확인하는데 사용되는 특징에 대응되는 테스트용 제2_2 특징 벡터 내지 상기 테스트용 제2_n 특징 벡터를 생성하도록 하는 프로세스를 수행할 수 있다.

이때, 도 2에서의 학습 방법에서는 제1_1 LSTM 내지 제1_n LSTM을 사용하였으나, 테스트 프로세스에서는 이전 프레임, 즉, 이전 테스트용 특징 벡터를 이용한 제1_1 LSTM에 의해 생성된 이전 테스트용 특징 벡터가 저장되어 있으므로, 테스트 프로세스는 현재 시점에 대응되는 하나의 제1_1 LSTM를 이용해 수행될 수 있다.

다음으로, 테스트 장치(200)는, (i) 테스트용 제1_1 특징 벡터 및 (ii) 이전 프레임으로부터 나온 제1_1 LSTM 모델에 의해 출력된 테스트용 제1_2 특징 벡터 내지 테스트용 제1_n 특징 벡터와 테스트용 제2_1 특징 벡터 내지 테스트용 제2_m 특징 벡터를, 어텐션 레이어로 입력하여, 어텐션 레이어로 하여금, 테스트용 제1_1 특징 벡터 내지 테스트용 제1_n 특징 벡터와 테스트용 제2_1 특징 벡터 내지 테스트용 제2_n 특징 벡터를 참조하여, 제1 테스트 이미지와 제2 테스트 이미지에 대한 테스트용 자율주행 모드 값, 즉, 자율주행 모드로 자율 주행 자동차를 주행할 것인지 수동주행 모드로 자율 주행 자동차를 주행할 것인지에 대해 확인하는 값을 출력하도록 할 수 있다.

이때, 테스트 장치(200)는, 어텐션 레이어로 하여금, (i) 테스트용 제1_k 특징 벡터와 테스트용 제2_k 특징 벡터를 컨캐터네이팅하도록 하여, 테스트용 제1 컨캐터네이팅된 특징 벡터 내지 테스트용 제n 컨캐터네이팅된 특징 벡터를 생성하도록 하며, (ii) 테스트용 제1 컨캐터네이팅된 특징 벡터 내지 테스트용 제n 컨캐터네이팅된 특징 벡터를 가중 평균하도록 하여, 테스트용 자율주행 모드 값을 생성하도록 하는 프로세스를 수행할 수 있다.

상기에서 설명한 바와 같이, 본 발명은 자율 주행 자동차의 전방 카메라와 후방 카메라부터 획득되는 다중 시점 정보를 융합하기 위한 방법에 관한 것으로, RNN으로 하여금, 주행 환경이 위험 상황인지를 판단하여 자율 주행 안전성을 확인하도록 하여, 그에 따라 자율 주행 자동차의 주행 모드 변경을 수행하도록 하는 것이다.

또한, 이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

100: 학습 장치,
110: 메모리,
120: 프로세서,
200: 테스트 장치,
210: 메모리,
220: 프로세서

Claims

자율 주행 자동차의 주행 모드 변경을 위해 사용되는, 자율 주행 안정성을 확인하는 RNN(Recurrent Neural Network)을 학습하는 방법에 있어서,
(a) 학습용 자율 주행 자동차의 학습용 전방 카메라와 학습용 후방 카메라에 각각 대응되는 시퀀스 이미지인 제1_1 트레이닝 이미지 내지 제1_n 트레이닝 이미지와 제2_1 트레이닝 이미지 내지 제2_n 트레이닝 이미지가 획득되면, 학습 장치가, 제1_k 트레이닝 이미지와 제2_k 트레이닝 이미지 - 상기 k는 정수이며, 시퀀스는 n으로부터 1로 진행됨 - 로 구성된 페어(Pair) 각각을, 상기 페어 각각의 시퀀스에 대응되는 제1 CNN(Convolutional Neural Network) 내지 제n CNN으로 각각 입력하여, 제k CNN으로 하여금, 상기 제1_k 트레이닝 이미지와 상기 제2_k 트레이닝 이미지를 컨캐터네이팅(Concatenating)하도록 한 다음, 상기 제1_k 트레이닝 이미지와 상기 제2_k 트레이닝 이미지의 컨캐터네이팅 결과에 대하여 컨벌루션 연산을 적용하여 학습용 제1 특징 맵(Feature Map) 내지 학습용 제n 특징 맵을 생성하도록 하는 단계;
(b) 상기 학습 장치가, (i) 상기 학습용 제1 특징 맵 내지 상기 학습용 제n 특징 맵을 포워드 RNN(Forward RNN)의 각각의 시퀀스에 대응되는 제1_1 LSTM(Long Short-Term Memory) 모델 내지 제1_n LSTM 모델 각각에 입력하고 백워드 RNN(Backward RNN)의 각각의 시퀀스에 대응되는 제2_1 LSTM 모델 내지 제2_n LSTM 모델 각각에 입력하여, (i-1) 제1_k LSTM 모델로 하여금, (i-1-a) 제1_(k+1) LSTM 모델에서 출력되는 학습용 제1_(k+1) 업데이트 특징 맵(Updated Feature Map)과 상기 제k CNN에서 출력되는 학습용 제k 특징 맵을 모두 참조하여 상기 학습용 제k 특징 맵을 업데이트한 결과인 학습용 제1_k 업데이트 특징 맵을 생성하도록 하며, (i-1-b) 상기 학습용 제1_k 업데이트 특징 맵에 대하여 FC 연산(Fully Connected Operation)을 적용한 결과인 학습용 제1_1 특징 벡터 내지 학습용 제1_n 특징 벡터를 생성하도록 하며, (i-2) 제2_k LSTM 모델로 하여금, (i-2-a) 제2_(k-1) LSTM 모델에서 출력되는 학습용 제2_(k-1) 업데이트 특징 맵과 상기 제k CNN에서 출력되는 상기 학습용 제k 특징 맵을 모두 참조하여 상기 학습용 제k 특징 맵을 업데이트한 결과인 학습용 제2_k 업데이트 특징 맵을 생성하도록 하며, (i-2-b) 상기 학습용 제2_k 업데이트 특징 맵에 대하여 FC 연산을 적용한 결과인 학습용 제2_1 특징 벡터 내지 학습용 제2_n 특징 벡터를 생성하도록 하는 프로세스, 및 (ii) 상기 학습용 제1_1 특징 벡터 내지 상기 학습용 제1_n 특징 벡터와 상기 학습용 제2_1 특징 벡터 내지 상기 학습용 제2_n 특징 벡터를 어텐션 레이어(Attention Layer)로 입력하여, 상기 어텐션 레이어로 하여금, 상기 학습용 제1_1 특징 벡터 내지 상기 학습용 제1_n 특징 벡터와 상기 학습용 제2_1 특징 벡터 내지 상기 학습용 제2_n 특징 벡터를 참조하여, 상기 제1_1 트레이닝 이미지 내지 상기 제1_n 트레이닝 이미지와 상기 제2_1 트레이닝 이미지 내지 상기 제2_n 트레이닝 이미지의 모든 시퀀스에서의 학습용 자율주행 모드 값(Autonomous-Driving Mode Value)을 생성하도록 하는 프로세스를 수행하는 단계; 및
(c) 상기 학습 장치가, 로스 레이어(Loss Layer)로 하여금 상기 학습용 자율주행 모드 값과 이에 대응되는 GT(Ground Truth)를 참조하여 적어도 하나의 로스를 산출하도록 하는 프로세스, 및 상기 로스를 이용한 백프로퍼게이션을 통해 상기 로스를 최소화하도록 상기 제1_1 LSTM 모델 내지 상기 제1_n LSTM 모델과 상기 제2_1 LSTM 모델 내지 상기 제2_n LSTM 모델을 학습하는 프로세스를 수행하는 단계;
를 포함하는 것을 특징으로 하는 방법.
제 1 항에 있어서,
상기 (b) 단계에서,
상기 학습 장치는, 상기 어텐션 레이어로 하여금, (i) 학습용 제1_k 특징 벡터와 학습용 제2_k 특징 벡터를 컨캐터네이팅하도록 하여, 학습용 제1 컨캐터네이팅된 특징 벡터 내지 학습용 제n 컨캐터네이팅된 특징 벡터를 생성하도록 하며, (ii) 상기 학습용 제1 컨캐터네이팅된 특징 벡터 내지 상기 학습용 제n 컨캐터네이팅된 특징 벡터에 대하여 가중 평균(Weighted Average)하도록 하여, 상기 학습용 자율주행 모드 값을 생성하도록 하는 것을 특징으로 하는 방법.
제 1 항에 있어서,
상기 (a) 단계에서,
상기 학습 장치는, 상기 제1 CNN 내지 상기 제n CNN 각각으로 하여금, (i) 상기 제1_k 트레이닝 이미지와 상기 제2_k 트레이닝 이미지를 각각 컨캐터네이팅하도록 하여 제k 컨캐터네이팅된 트레이닝 이미지를 생성하도록 하고, (ii) 상기 제k 컨캐터네이팅된 트레이닝 이미지에 대하여 컨벌루션 연산을 적용하도록 하여 상기 학습용 제1 특징 맵 내지 상기 학습용 제n 특징 맵을 생성하도록 하는 방법.
제 1 항에 있어서,
상기 (b) 단계에서,
상기 학습 장치는, (i) 상기 제1_k LSTM 모델로 하여금, 상기 학습용 제1_(k+1) 업데이트 특징 맵과 상기 학습용 제1_k 특징 맵을 참조하여, 학습용 주행 환경이 위험 상황(Hazard Situation)인지를 상기 제1_k 트레이닝 이미지와 상기 제2_k 트레이닝 이미지의 상기 페어를 참조해 확인하는데 사용되는 특징에 대응되는 상기 학습용 제1_1 특징 벡터 내지 상기 학습용 제1_n 특징 벡터를 생성하도록 하는 프로세스, 및 (ii) 상기 제2_k LSTM 모델로 하여금, 상기 학습용 제2_(k-1) 업데이트 특징 맵과 상기 학습용 제2_k 특징 맵을 참조하여, 상기 학습용 주행 환경이 위험 상황인지를 상기 제1_k 트레이닝 이미지와 상기 제2_k 트레이닝 이미지의 상기 페어를 참조해 확인하는데 사용되는 특징에 대응되는 상기 학습용 제2_1 특징 벡터 내지 상기 학습용 제2_n 특징 벡터를 생성하도록 하는 프로세스를 수행하는 것을 특징으로 하는 방법.
제 1 항에 있어서,
상기 (c) 단계에서,
상기 학습 장치는, 상기 로스 레이어로 하여금 소프트맥스(Softmax) 알고리즘을 이용하여 상기 학습용 자율주행 모드 값을 정규화(Normalize)하는 프로세스, 및 정규화된 상기 학습용 자율주행 모드 값과 상기 GT를 참조하여 상기 로스를 산출하는 프로세스를 수행하는 것을 특징으로 하는 방법.
제 1 항에 있어서,
상기 제1_1 트레이닝 이미지 내지 상기 제1_n 트레이닝 이미지와 상기 제2_1 트레이닝 이미지 내지 상기 제2_n 트레이닝 이미지는, (i) (i-1) 상기 학습용 자율 주행 자동차의 상기 학습용 전방 카메라로부터 촬영되는 영상을 기설정된 시간 간격으로 샘플링하여 제1 시퀀스 이미지를 추출하는 프로세스, 및 (i-2) 추출된 상기 제1 시퀀스 이미지 각각에 대하여 자율주행 가능 여부를 라벨링하는 프로세스, 및 (ii) (ii-1) 상기 학습용 자율 주행 자동차의 상기 학습용 후방 카메라로부터 촬영되는 영상을 상기 기설정된 시간 간격으로 샘플링하여 제2 시퀀스 이미지를 추출하는 프로세스, 및 (ii-2) 샘플링된 상기 제2 시퀀스 이미지 각각에 대하여 자율주행 가능 여부를 라벨링하는 프로세스를 수행하여 생성되는 것을 특징으로 하는 방법.
제 1 항에 있어서,
상기 (c) 단계에서,
상기 GT는, 상기 시퀀스 이미지 중 상기 제1_1 트레이닝 이미지 내지 상기 제1_n 트레이닝 이미지의 다음 시퀀스에 대응되는 제1 다음 시퀀스 이미지(Next Sequence Image)와, 상기 제2_1 트레이닝 이미지 내지 상기 제2_n 트레이닝 이미지의 상기 다음 시퀀스에 대응되는 제2 다음 시퀀스 이미지로부터 획득되는 것을 특징으로 하는 방법.
자율 주행 자동차의 주행 모드 변경을 위해 사용되는, 자율 주행 안정성을 확인하는 RNN(Recurrent Neural Network)을 테스트하는 방법에 있어서,
(a) 학습용 자율 주행 자동차의 학습용 전방 카메라와 학습용 후방 카메라에 각각 대응되는 시퀀스 이미지인 제1_1 트레이닝 이미지 내지 제1_n 트레이닝 이미지와 제2_1 트레이닝 이미지 내지 제2_n 트레이닝 이미지가 획득되면, 학습 장치가, (i) 제1_k 트레이닝 이미지와 제2_k 트레이닝 이미지 - 상기 k는 정수이며, 시퀀스는 n으로부터 1로 진행됨 - 로 구성된 페어(Pair) 각각을, 상기 페어 각각의 시퀀스에 대응되는 제1 CNN(Convolutional Neural Network) 내지 제n CNN으로 각각 입력하여, 제k CNN으로 하여금, 상기 제1_k 트레이닝 이미지와 상기 제2_k 트레이닝 이미지를 컨캐터네이팅(Concatenating)하도록 한 다음, 상기 제1_k 트레이닝 이미지와 상기 제2_k 트레이닝 이미지의 컨캐터네이팅 결과에 대하여 컨벌루션 연산을 적용하여 학습용 제1 특징 맵(Feature Map) 내지 학습용 제n 특징 맵을 생성하도록 하는 프로세스, (ii) 상기 학습용 제1 특징 맵 내지 상기 학습용 제n 특징 맵을 포워드 RNN(Forward RNN)의 각각의 시퀀스에 대응되는 제1_1 LSTM(Long Short-Term Memory) 모델 내지 제1_n LSTM 모델 각각에 입력하고 백워드 RNN(Backward RNN)의 각각의 시퀀스에 대응되는 제2_1 LSTM 모델 내지 제2_n LSTM 모델 각각에 입력하여, (ii-1) 제1_k LSTM 모델로 하여금, (ii-1-a) 제1_(k+1) LSTM 모델에서 출력되는 학습용 제1_(k+1) 업데이트 특징 맵(Updated Feature Map)과 상기 제k CNN에서 출력되는 학습용 제k 특징 맵을 모두 참조하여 상기 학습용 제k 특징 맵을 업데이트한 결과인 학습용 제1_k 업데이트 특징 맵을 생성하도록 하며, (ii-1-b) 상기 학습용 제1_k 업데이트 특징 맵에 대하여 FC 연산(Fully Connected Operation)을 적용한 결과인 학습용 제1_1 특징 벡터 내지 학습용 제1_n 특징 벡터를 생성하도록 하며, (ii-2) 제2_k LSTM 모델로 하여금, (ii-2-a) 제2_(k-1) LSTM 모델에서 출력되는 학습용 제2_(k-1) 업데이트 특징 맵과 상기 제k CNN에서 출력되는 상기 학습용 제k 특징 맵을 모두 참조하여 상기 학습용 제k 특징 맵을 업데이트한 결과인 학습용 제2_k 업데이트 특징 맵을 생성하도록 하며, (ii-2-b) 상기 학습용 제2_k 업데이트 특징 맵에 대하여 FC 연산을 적용한 결과인 학습용 제2_1 특징 벡터 내지 학습용 제2_n 특징 벡터를 생성하도록 하는 프로세스, 및 (iii) 상기 학습용 제1_1 특징 벡터 내지 상기 학습용 제1_n 특징 벡터와 상기 학습용 제2_1 특징 벡터 내지 상기 학습용 제2_n 특징 벡터를 어텐션 레이어(Attention Layer)로 입력하여, 상기 어텐션 레이어로 하여금, 상기 학습용 제1_1 특징 벡터 내지 상기 학습용 제1_n 특징 벡터와 상기 학습용 제2_1 특징 벡터 내지 상기 학습용 제2_n 특징 벡터를 참조하여, 상기 제1_1 트레이닝 이미지 내지 상기 제1_n 트레이닝 이미지와 상기 제2_1 트레이닝 이미지 내지 상기 제2_n 트레이닝 이미지의 모든 시퀀스에서의 학습용 자율주행 모드 값(Autonomous-Driving Mode Value)을 생성하도록 하는 프로세스, (iv) 로스 레이어(Loss Layer)로 하여금 상기 학습용 자율주행 모드 값과 이에 대응되는 GT(Ground Truth)를 참조하여 적어도 하나의 로스를 산출하도록 하는 프로세스, 및 상기 로스를 이용한 백프로퍼게이션을 통해 상기 로스를 최소화하도록 상기 제1_1 LSTM 모델 내지 상기 제1_n LSTM 모델과 상기 제2_1 LSTM 모델 내지 상기 제2_n LSTM 모델을 학습하는 프로세스를 수행한 상태에서, 주행 중인 테스트용 자율 주행 자동차의 테스트용 전방 카메라와 테스트용 후방 카메라로부터 상기 테스트용 자율 주행 자동차의 테스트용 전방 영상과 테스트용 후방 영상이 획득되면, 테스트 장치가, 상기 테스트용 전방 영상의 현재 프레임에 대응되는 제1 테스트 이미지와 상기 테스트용 후방 영상의 상기 현재 프레임에 대응되는 제2 테스트 이미지를 상기 제1 CNN에 입력하여, 상기 제1 CNN으로 하여금 상기 제1 테스트 이미지와 상기 제2 테스트 이미지의 컨캐터네이팅 결과에 대하여 컨벌루션 연산을 적용하여 테스트용 제1 특징 맵을 생성하도록 하는 단계; 및
(b) 상기 테스트 장치가, (i) 상기 테스트용 제1 특징 맵 내지 상기 테스트용 제n 특징 맵을 상기 포워드 RNN의 각각의 시퀀스에 대응되는 상기 제1_1 LSTM 모델 내지 상기 제1_n LSTM 모델 각각에 입력하고 상기 백워드 RNN의 각각의 시퀀스에 대응되는 상기 제2_1 LSTM 모델 내지 상기 제2_n LSTM 모델 각각에 입력하여, (i-1) 상기 제1_k LSTM 모델로 하여금, (i-1-a) 상기 제1_(k+1) LSTM 모델에서 출력되는 테스트용 제1_(k+1) 업데이트 특징 맵(Updated Feature Map)과 상기 제k CNN에서 출력되는 테스트용 제k 특징 맵을 모두 참조하여 상기 테스트용 제k 특징 맵을 업데이트한 결과인 테스트용 제1_k 업데이트 특징 맵을 생성하도록 하며, (i-1-b) 상기 테스트용 제1_k 업데이트 특징 맵에 대하여 FC 연산을 적용한 결과인 테스트용 제1_1 특징 벡터 내지 테스트용 제1_n 특징 벡터를 생성하도록 하며, (i-2) 상기 제2_k LSTM 모델로 하여금, (i-2-a) 상기 제2_(k-1) LSTM 모델에서 출력되는 테스트용 제2_(k-1) 업데이트 특징 맵과 상기 제k CNN에서 출력되는 상기 테스트용 제k 특징 맵을 모두 참조하여 상기 테스트용 제k 특징 맵을 업데이트한 결과인 테스트용 제2_k 업데이트 특징 맵을 생성하도록 하며, (i-2-b) 상기 테스트용 제2_k 업데이트 특징 맵에 대하여 FC 연산을 적용한 결과인 테스트용 제2_1 특징 벡터 내지 테스트용 제2_n 특징 벡터를 생성하도록 하는 프로세스, 및 (ii) 상기 테스트용 제1_1 특징 벡터 내지 상기 테스트용 제1_n 특징 벡터와 상기 테스트용 제2_1 특징 벡터 내지 상기 테스트용 제2_n 특징 벡터를 상기 어텐션 레이어로 입력하여, 상기 어텐션 레이어로 하여금, 상기 테스트용 제1_1 특징 벡터 내지 상기 테스트용 제1_n 특징 벡터와 상기 테스트용 제2_1 특징 벡터 내지 상기 테스트용 제2_n 특징 벡터를 참조하여 상기 제1_1 테스트 이미지 내지 상기 제1_n 테스트 이미지와 상기 제2_1 테스트 이미지 내지 상기 제2_n 테스트 이미지의 모든 시퀀스에서의 테스트용 자율주행 모드 값을 생성하도록 하는 단계;
를 포함하는 것을 특징으로 하는 방법.
제 8 항에 있어서,
상기 (b) 단계에서,
상기 테스트 장치는, 상기 어텐션 레이어로 하여금, (i) 테스트용 제1_k 특징 벡터와 테스트용 제2_k 특징 벡터를 컨캐터네이팅하도록 하여, 테스트용 제1 컨캐터네이팅된 특징 벡터 내지 테스트용 제n 컨캐터네이팅된 특징 벡터를 생성하도록 하며, (ii) 상기 테스트용 제1 컨캐터네이팅된 특징 벡터 내지 상기 테스트용 제n 컨캐터네이팅된 특징 벡터에 대하여 가중 평균(Weighted Average)하도록 하여, 상기 테스트용 자율주행 모드 값을 생성하도록 하는 프로세스를 수행하는 것을 특징으로 하는 방법.
제 8 항에 있어서,
상기 (a) 단계에서,
상기 테스트 장치는, 상기 제1 CNN으로 하여금, (i) 상기 제1 테스트 이미지와 상기 제2 테스트 이미지를 컨캐터네이팅하도록 하여 제1 컨캐터네이팅된 테스트 이미지를 생성하도록 하고, (ii) 상기 제1 컨캐터네이팅된 테스트 이미지에 대하여 컨벌루션 연산을 적용하도록 하여 상기 테스트용 제1 특징 맵을 생성하도록 하는 프로세스를 수행하는 것을 특징으로 하는 방법.
제 8 항에 있어서,
상기 (b) 단계에서,
상기 테스트 장치는, (i) 상기 제1_1 LSTM 모델로 하여금, 상기 테스트용 제1_2 업데이트 특징 맵과 상기 테스트용 제1 특징 맵을 참조하여, 테스트용 주행 환경이 위험 상황(Hazard Situation)인지를 상기 제1 테스트 이미지와 상기 제2 테스트 이미지의 페어를 참조해 확인하는데 사용되는 특징에 대응되는 상기 테스트용 제1_1 특징 벡터를 생성하도록 하는 프로세스, (ii) 상기 제2_1 LSTM 모델로 하여금, 상기 테스트용 제2_1 업데이트 특징 맵을 참조하여, 상기 테스트용 주행 환경이 위험 상황인지를 상기 제1 테스트 이미지와 상기 제2 테스트 이미지의 상기 페어를 참조해 확인하는데 사용되는 특징에 대응되는 상기 테스트용 제2_1 특징 벡터를 생성하도록 하는 프로세스, 및 (iii) 상기 제2_m LSTM 모델로 하여금, 상기 테스트용 제2_(m-1) 업데이트 특징 맵과 상기 테스트용 제m 특징 맵을 참조하여, 상기 테스트용 주행 환경이 위험 상황인지를 상기 제1 테스트 이미지와 상기 제2 테스트 이미지의 상기 페어를 참조해 확인하는데 사용되는 특징에 대응되는 테스트용 제2_2 특징 벡터 내지 상기 테스트용 제2_n 특징 벡터를 생성하도록 하는 프로세스를 수행하는 하는 것을 특징으로 하는 방법.
자율 주행 자동차의 주행 모드 변경을 위해 사용되는, 자율 주행 안정성을 확인하는 RNN(Recurrent Neural Network)을 학습하는 학습 장치에 있어서,
인스트럭션을 저장하는 적어도 하나의 메모리; 및
(I) 학습용 자율 주행 자동차의 학습용 전방 카메라와 학습용 후방 카메라에 각각 대응되는 시퀀스 이미지인 제1_1 트레이닝 이미지 내지 제1_n 트레이닝 이미지와 제2_1 트레이닝 이미지 내지 제2_n 트레이닝 이미지가 획득되면, 제1_k 트레이닝 이미지와 제2_k 트레이닝 이미지 - 상기 k는 정수이며, 시퀀스는 n으로부터 1로 진행됨 - 로 구성된 페어(Pair) 각각을, 상기 페어 각각의 시퀀스에 대응되는 제1 CNN(Convolutional Neural Network) 내지 제n CNN으로 각각 입력하여, 제k CNN으로 하여금, 상기 제1_k 트레이닝 이미지와 상기 제2_k 트레이닝 이미지를 컨캐터네이팅(Concatenating)하도록 한 다음, 상기 제1_k 트레이닝 이미지와 상기 제2_k 트레이닝 이미지의 컨캐터네이팅 결과에 대하여 컨벌루션 연산을 적용하여 학습용 제1 특징 맵(Feature Map) 내지 학습용 제n 특징 맵을 생성하도록 하는 프로세스, (II) (i) 상기 학습용 제1 특징 맵 내지 상기 학습용 제n 특징 맵을 포워드 RNN(Forward RNN)의 각각의 시퀀스에 대응되는 제1_1 LSTM(Long Short-Term Memory) 모델 내지 제1_n LSTM 모델 각각에 입력하고 백워드 RNN(Backward RNN)의 각각의 시퀀스에 대응되는 제2_1 LSTM 모델 내지 제2_n LSTM 모델 각각에 입력하여, (i-1) 제1_k LSTM 모델로 하여금, (i-1-a) 제1_(k+1) LSTM 모델에서 출력되는 학습용 제1_(k+1) 업데이트 특징 맵(Updated Feature Map)과 상기 제k CNN에서 출력되는 학습용 제k 특징 맵을 모두 참조하여 상기 학습용 제k 특징 맵을 업데이트한 결과인 학습용 제1_k 업데이트 특징 맵을 생성하도록 하며, (i-1-b) 상기 학습용 제1_k 업데이트 특징 맵에 대하여 FC 연산(Fully Connected Operation)을 적용한 결과인 학습용 제1_1 특징 벡터 내지 학습용 제1_n 특징 벡터를 생성하도록 하며, (i-2) 제2_k LSTM 모델로 하여금, (i-2-a) 제2_(k-1) LSTM 모델에서 출력되는 학습용 제2_(k-1) 업데이트 특징 맵과 상기 제k CNN에서 출력되는 상기 학습용 제k 특징 맵을 모두 참조하여 상기 학습용 제k 특징 맵을 업데이트한 결과인 학습용 제2_k 업데이트 특징 맵을 생성하도록 하며, (i-2-b) 상기 학습용 제2_k 업데이트 특징 맵에 대하여 FC 연산을 적용한 결과인 학습용 제2_1 특징 벡터 내지 학습용 제2_n 특징 벡터를 생성하도록 하는 프로세스, 및 (ii) 상기 학습용 제1_1 특징 벡터 내지 상기 학습용 제1_n 특징 벡터와 상기 학습용 제2_1 특징 벡터 내지 상기 학습용 제2_n 특징 벡터를 어텐션 레이어(Attention Layer)로 입력하여, 상기 어텐션 레이어로 하여금, 상기 학습용 제1_1 특징 벡터 내지 상기 학습용 제1_n 특징 벡터와 상기 학습용 제2_1 특징 벡터 내지 상기 학습용 제2_n 특징 벡터를 참조하여, 상기 제1_1 트레이닝 이미지 내지 상기 제1_n 트레이닝 이미지와 상기 제2_1 트레이닝 이미지 내지 상기 제2_n 트레이닝 이미지의 모든 시퀀스에서의 학습용 자율주행 모드 값(Autonomous-Driving Mode Value)을 생성하도록 하는 프로세스, 및 (III) 로스 레이어(Loss Layer)로 하여금 상기 학습용 자율주행 모드 값과 이에 대응되는 GT(Ground Truth)를 참조하여 적어도 하나의 로스를 산출하도록 하는 프로세스, 및 상기 로스를 이용한 백프로퍼게이션을 통해 상기 로스를 최소화하도록 상기 제1_1 LSTM 모델 내지 상기 제1_n LSTM 모델과 상기 제2_1 LSTM 모델 내지 상기 제2_n LSTM 모델을 학습하는 프로세스를 수행하기 위한 상기 인스트럭션을 실행하도록 구성된 적어도 하나의 프로세서;
를 포함하는 것을 특징으로 하는 장치.
제 12 항에 있어서,
상기 (II) 프로세스에서,
상기 프로세서는, 상기 어텐션 레이어로 하여금, (i) 학습용 제1_k 특징 벡터와 학습용 제2_k 특징 벡터를 컨캐터네이팅하도록 하여, 학습용 제1 컨캐터네이팅된 특징 벡터 내지 학습용 제n 컨캐터네이팅된 특징 벡터를 생성하도록 하며, (ii) 상기 학습용 제1 컨캐터네이팅된 특징 벡터 내지 상기 학습용 제n 컨캐터네이팅된 특징 벡터에 대하여 가중 평균(Weighted Average)하도록 하여, 상기 학습용 자율주행 모드 값을 생성하도록 하는 것을 특징으로 하는 장치.
제 12 항에 있어서,
상기 (I) 프로세스에서,
상기 프로세서는, 상기 제1 CNN 내지 상기 제n CNN 각각으로 하여금, (i) 상기 제1_k 트레이닝 이미지와 상기 제2_k 트레이닝 이미지를 각각 컨캐터네이팅하도록 하여 제k 컨캐터네이팅된 트레이닝 이미지를 생성하도록 하고, (ii) 상기 제k 컨캐터네이팅된 트레이닝 이미지에 대하여 컨벌루션 연산을 적용하도록 하여 상기 학습용 제1 특징 맵 내지 상기 학습용 제n 특징 맵을 생성하도록 하는 장치.
제 12 항에 있어서,
상기 (II) 프로세스에서,
상기 프로세서는, (i) 상기 제1_k LSTM 모델로 하여금, 상기 학습용 제1_(k+1) 업데이트 특징 맵과 상기 학습용 제1_k 특징 맵을 참조하여, 학습용 주행 환경이 위험 상황(Hazard Situation)인지를 상기 제1_k 트레이닝 이미지와 상기 제2_k 트레이닝 이미지의 상기 페어를 참조해 확인하는데 사용되는 특징에 대응되는 상기 학습용 제1_1 특징 벡터 내지 상기 학습용 제1_n 특징 벡터를 생성하도록 하는 프로세스, 및 (ii) 상기 제2_k LSTM 모델로 하여금, 상기 학습용 제2_(k-1) 업데이트 특징 맵과 상기 학습용 제2_k 특징 맵을 참조하여, 상기 학습용 주행 환경이 위험 상황인지를 상기 제1_k 트레이닝 이미지와 상기 제2_k 트레이닝 이미지의 상기 페어를 참조해 확인하는데 사용되는 특징에 대응되는 상기 학습용 제2_1 특징 벡터 내지 상기 학습용 제2_n 특징 벡터를 생성하도록 하는 프로세스를 수행하는 것을 특징으로 하는 장치.
제 12 항에 있어서,
상기 (III) 프로세스에서,
상기 프로세서는, 상기 로스 레이어로 하여금 소프트맥스(Softmax) 알고리즘을 이용하여 상기 학습용 자율주행 모드 값을 정규화(Normalize)하는 프로세스, 및 정규화된 상기 학습용 자율주행 모드 값과 상기 GT를 참조하여 상기 로스를 산출하는 프로세스를 수행하는 것을 특징으로 하는 장치.
제 12 항에 있어서,
상기 제1_1 트레이닝 이미지 내지 상기 제1_n 트레이닝 이미지와 상기 제2_1 트레이닝 이미지 내지 상기 제2_n 트레이닝 이미지는, (i) (i-1) 상기 학습용 자율 주행 자동차의 상기 학습용 전방 카메라로부터 촬영되는 영상을 기설정된 시간 간격으로 샘플링하여 제1 시퀀스 이미지를 추출하는 프로세스, 및 (i-2) 추출된 상기 제1 시퀀스 이미지 각각에 대하여 자율주행 가능 여부를 라벨링하는 프로세스, 및 (ii) (ii-1) 상기 학습용 자율 주행 자동차의 상기 학습용 후방 카메라로부터 촬영되는 영상을 상기 기설정된 시간 간격으로 샘플링하여 제2 시퀀스 이미지를 추출하는 프로세스, 및 (ii-2) 샘플링된 상기 제2 시퀀스 이미지 각각에 대하여 자율주행 가능 여부를 라벨링하는 프로세스를 수행하여 생성되는 것을 특징으로 하는 장치.
제 12 항에 있어서,
상기 (III) 프로세스에서,
상기 GT는, 상기 시퀀스 이미지 중 상기 제1_1 트레이닝 이미지 내지 상기 제1_n 트레이닝 이미지의 다음 시퀀스에 대응되는 제1 다음 시퀀스 이미지(Next Sequence Image)와, 상기 제2_1 트레이닝 이미지 내지 상기 제2_n 트레이닝 이미지의 상기 다음 시퀀스에 대응되는 제2 다음 시퀀스 이미지로부터 획득되는 것을 특징으로 하는 장치.
자율 주행 자동차의 주행 모드 변경을 위해 사용되는, 자율 주행 안정성을 확인하는 RNN(Recurrent Neural Network)을 테스트하는 테스트 장치에 있어서,
인스트럭션을 저장하는 적어도 하나의 메모리; 및
(I) 학습용 자율 주행 자동차의 학습용 전방 카메라와 학습용 후방 카메라에 각각 대응되는 시퀀스 이미지인 제1_1 트레이닝 이미지 내지 제1_n 트레이닝 이미지와 제2_1 트레이닝 이미지 내지 제2_n 트레이닝 이미지가 획득되면, 학습 장치가, (i) 제1_k 트레이닝 이미지와 제2_k 트레이닝 이미지 - 상기 k는 정수이며, 시퀀스는 n으로부터 1로 진행됨 - 로 구성된 페어(Pair) 각각을, 상기 페어 각각의 시퀀스에 대응되는 제1 CNN(Convolutional Neural Network) 내지 제n CNN으로 각각 입력하여, 제k CNN으로 하여금, 상기 제1_k 트레이닝 이미지와 상기 제2_k 트레이닝 이미지를 컨캐터네이팅(Concatenating)하도록 한 다음, 상기 제1_k 트레이닝 이미지와 상기 제2_k 트레이닝 이미지의 컨캐터네이팅 결과에 대하여 컨벌루션 연산을 적용하여 학습용 제1 특징 맵(Feature Map) 내지 학습용 제n 특징 맵을 생성하도록 하는 프로세스, (ii) 상기 학습용 제1 특징 맵 내지 상기 학습용 제n 특징 맵을 포워드 RNN(Forward RNN)의 각각의 시퀀스에 대응되는 제1_1 LSTM(Long Short-Term Memory) 모델 내지 제1_n LSTM 모델 각각에 입력하고 백워드 RNN(Backward RNN)의 각각의 시퀀스에 대응되는 제2_1 LSTM 모델 내지 제2_n LSTM 모델 각각에 입력하여, (ii-1) 제1_k LSTM 모델로 하여금, (ii-1-a) 제1_(k+1) LSTM 모델에서 출력되는 학습용 제1_(k+1) 업데이트 특징 맵(Updated Feature Map)과 상기 제k CNN에서 출력되는 학습용 제k 특징 맵을 모두 참조하여 상기 학습용 제k 특징 맵을 업데이트한 결과인 학습용 제1_k 업데이트 특징 맵을 생성하도록 하며, (ii-1-b) 상기 학습용 제1_k 업데이트 특징 맵에 대하여 FC 연산(Fully Connected Operation)을 적용한 결과인 학습용 제1_1 특징 벡터 내지 학습용 제1_n 특징 벡터를 생성하도록 하며, (ii-2) 제2_k LSTM 모델로 하여금, (ii-2-a) 제2_(k-1) LSTM 모델에서 출력되는 학습용 제2_(k-1) 업데이트 특징 맵과 상기 제k CNN에서 출력되는 상기 학습용 제k 특징 맵을 모두 참조하여 상기 학습용 제k 특징 맵을 업데이트한 결과인 학습용 제2_k 업데이트 특징 맵을 생성하도록 하며, (ii-2-b) 상기 학습용 제2_k 업데이트 특징 맵에 대하여 FC 연산을 적용한 결과인 학습용 제2_1 특징 벡터 내지 학습용 제2_n 특징 벡터를 생성하도록 하는 프로세스, 및 (iii) 상기 학습용 제1_1 특징 벡터 내지 상기 학습용 제1_n 특징 벡터와 상기 학습용 제2_1 특징 벡터 내지 상기 학습용 제2_n 특징 벡터를 어텐션 레이어(Attention Layer)로 입력하여, 상기 어텐션 레이어로 하여금, 상기 학습용 제1_1 특징 벡터 내지 상기 학습용 제1_n 특징 벡터와 상기 학습용 제2_1 특징 벡터 내지 상기 학습용 제2_n 특징 벡터를 참조하여, 상기 제1_1 트레이닝 이미지 내지 상기 제1_n 트레이닝 이미지와 상기 제2_1 트레이닝 이미지 내지 상기 제2_n 트레이닝 이미지의 모든 시퀀스에서의 학습용 자율주행 모드 값(Autonomous-Driving Mode Value)을 생성하도록 하는 프로세스, (iv) 로스 레이어(Loss Layer)로 하여금 상기 학습용 자율주행 모드 값과 이에 대응되는 GT(Ground Truth)를 참조하여 적어도 하나의 로스를 산출하도록 하는 프로세스, 및 상기 로스를 이용한 백프로퍼게이션을 통해 상기 로스를 최소화하도록 상기 제1_1 LSTM 모델 내지 상기 제1_n LSTM 모델과 상기 제2_1 LSTM 모델 내지 상기 제2_n LSTM 모델을 학습하는 프로세스를 수행한 상태에서, 주행 중인 테스트용 자율 주행 자동차의 테스트용 전방 카메라와 테스트용 후방 카메라로부터 상기 테스트용 자율 주행 자동차의 테스트용 전방 영상과 테스트용 후방 영상이 획득되면, 상기 테스트용 전방 영상의 현재 프레임에 대응되는 제1 테스트 이미지와 상기 테스트용 후방 영상의 상기 현재 프레임에 대응되는 제2 테스트 이미지를 상기 제1 CNN에 입력하여, 상기 제1 CNN으로 하여금 상기 제1 테스트 이미지와 상기 제2 테스트 이미지의 컨캐터네이팅 결과에 대하여 컨벌루션 연산을 적용하여 테스트용 제1 특징 맵을 생성하도록 하는 프로세스, 및 (II) (i) 상기 테스트용 제1 특징 맵 내지 상기 테스트용 제n 특징 맵을 상기 포워드 RNN의 각각의 시퀀스에 대응되는 상기 제1_1 LSTM 모델 내지 상기 제1_n LSTM 모델 각각에 입력하고 상기 백워드 RNN의 각각의 시퀀스에 대응되는 상기 제2_1 LSTM 모델 내지 상기 제2_n LSTM 모델 각각에 입력하여, (i-1) 상기 제1_k LSTM 모델로 하여금, (i-1-a) 상기 제1_(k+1) LSTM 모델에서 출력되는 테스트용 제1_(k+1) 업데이트 특징 맵(Updated Feature Map)과 상기 제k CNN에서 출력되는 테스트용 제k 특징 맵을 모두 참조하여 상기 테스트용 제k 특징 맵을 업데이트한 결과인 테스트용 제1_k 업데이트 특징 맵을 생성하도록 하며, (i-1-b) 상기 테스트용 제1_k 업데이트 특징 맵에 대하여 FC 연산을 적용한 결과인 테스트용 제1_1 특징 벡터 내지 테스트용 제1_n 특징 벡터를 생성하도록 하며, (i-2) 상기 제2_k LSTM 모델로 하여금, (i-2-a) 상기 제2_(k-1) LSTM 모델에서 출력되는 테스트용 제2_(k-1) 업데이트 특징 맵과 상기 제k CNN에서 출력되는 상기 테스트용 제k 특징 맵을 모두 참조하여 상기 테스트용 제k 특징 맵을 업데이트한 결과인 테스트용 제2_k 업데이트 특징 맵을 생성하도록 하며, (i-2-b) 상기 테스트용 제2_k 업데이트 특징 맵에 대하여 FC 연산을 적용한 결과인 테스트용 제2_1 특징 벡터 내지 테스트용 제2_n 특징 벡터를 생성하도록 하는 프로세스, 및 (ii) 상기 테스트용 제1_1 특징 벡터 내지 상기 테스트용 제1_n 특징 벡터와 상기 테스트용 제2_1 특징 벡터 내지 상기 테스트용 제2_n 특징 벡터를 상기 어텐션 레이어로 입력하여, 상기 어텐션 레이어로 하여금, 상기 테스트용 제1_1 특징 벡터 내지 상기 테스트용 제1_n 특징 벡터와 상기 테스트용 제2_1 특징 벡터 내지 상기 테스트용 제2_n 특징 벡터를 참조하여 상기 제1_1 테스트 이미지 내지 상기 제1_n 테스트 이미지와 상기 제2_1 테스트 이미지 내지 상기 제2_n 테스트 이미지의 모든 시퀀스에서의 테스트용 자율주행 모드 값을 생성하도록 하는 프로세스를 수행하기 위한 상기 인스트럭션을 실행하도록 구성된 적어도 하나의 프로세서;
를 포함하는 것을 특징으로 하는 장치.
제 19 항에 있어서,
상기 (II) 프로세스에서,
상기 프로세서는, 상기 어텐션 레이어로 하여금, (i) 테스트용 제1_k 특징 벡터와 테스트용 제2_k 특징 벡터를 컨캐터네이팅하도록 하여, 테스트용 제1 컨캐터네이팅된 특징 벡터 내지 테스트용 제n 컨캐터네이팅된 특징 벡터를 생성하도록 하며, (ii) 상기 테스트용 제1 컨캐터네이팅된 특징 벡터 내지 상기 테스트용 제n 컨캐터네이팅된 특징 벡터에 대하여 가중 평균(Weighted Average)하도록 하여, 상기 테스트용 자율주행 모드 값을 생성하도록 하는 프로세스를 수행하는 것을 특징으로 하는 장치.
제 19 항에 있어서,
상기 (I) 프로세스에서,
상기 프로세서는, 상기 제1 CNN으로 하여금, (i) 상기 제1 테스트 이미지와 상기 제2 테스트 이미지를 컨캐터네이팅하도록 하여 제1 컨캐터네이팅된 테스트 이미지를 생성하도록 하고, (ii) 상기 제1 컨캐터네이팅된 테스트 이미지에 대하여 컨벌루션 연산을 적용하도록 하여 상기 테스트용 제1 특징 맵을 생성하도록 하는 프로세스를 수행하는 것을 특징으로 하는 장치.
제 19 항에 있어서,
상기 (II) 프로세스에서,
상기 프로세서는, (i) 상기 제1_1 LSTM 모델로 하여금, 상기 테스트용 제1_2 업데이트 특징 맵과 상기 테스트용 제1 특징 맵을 참조하여, 테스트용 주행 환경이 위험 상황(Hazard Situation)인지를 상기 제1 테스트 이미지와 상기 제2 테스트 이미지의 페어를 참조해 확인하는데 사용되는 특징에 대응되는 상기 테스트용 제1_1 특징 벡터를 생성하도록 하는 프로세스, (ii) 상기 제2_1 LSTM 모델로 하여금, 상기 테스트용 제2_1 업데이트 특징 맵을 참조하여, 상기 테스트용 주행 환경이 위험 상황인지를 상기 제1 테스트 이미지와 상기 제2 테스트 이미지의 상기 페어를 참조해 확인하는데 사용되는 특징에 대응되는 상기 테스트용 제2_1 특징 벡터를 생성하도록 하는 프로세스, 및 (iii) 상기 제2_m LSTM 모델로 하여금, 상기 테스트용 제2_(m-1) 업데이트 특징 맵과 상기 테스트용 제m 특징 맵을 참조하여, 상기 테스트용 주행 환경이 위험 상황인지를 상기 제1 테스트 이미지와 상기 제2 테스트 이미지의 상기 페어를 참조해 확인하는데 사용되는 특징에 대응되는 테스트용 제2_2 특징 벡터 내지 상기 테스트용 제2_n 특징 벡터를 생성하도록 하는 프로세스를 수행하는 하는 것을 특징으로 하는 장치.