KR20240037396A

KR20240037396A - 머신러닝에 기반하여 주변 차량 정보를 생성함으로써 자율 주행을 지원하기 위한 학습 방법 및 학습 장치, 이를 이용한 테스트 방법 및 테스트 장치

Info

Publication number: KR20240037396A
Application number: KR1020220115356A
Authority: KR
Inventors: 원웅재; 김도연; 박태곤; 허명선
Original assignee: (주) 오토노머스에이투지
Priority date: 2022-09-14
Filing date: 2022-09-14
Publication date: 2024-03-22

Abstract

머신러닝에 기반하여 주변 차량 정보를 생성함으로써 자율 주행을 지원하기 위한 학습 방법에 있어서, (a) 현재 입력 이미지에 포함된 주변 차량을 검출하여 획득되는 현재 검출 이미지 또는 이로부터 생성된 현재 가공 이미지, 및 소스 사운드 데이터로부터 생성된 가공 사운드 데이터가 컨캐터네이션됨으로써 생성된 컨캐터네이티드 입력 데이터가 획득되면, 학습 장치가, (i) 상기 컨캐터네이티드 입력 데이터를 공유 인코더에 입력하여, 상기 공유 인코더로 하여금 현재 공유 특징 맵을 생성하도록 하고, (ii) 상기 현재 공유 특징 맵을 시계열 특징 맵 융합 레이어에 입력하여 상기 시계열 특징 맵 융합 레이어로 하여금 상기 현재 공유 특징 맵 및 이에 대응되는 적어도 하나의 과거 공유 특징 맵을 참조하여 시계열 융합 특징 맵을 생성하도록 하는 단계; (b) 상기 학습 장치가, (i) 상기 시계열 융합 특징 맵을 자동차 타입 헤더 레이어에 입력하여 상기 자동차 타입 헤더 레이어로 하여금 현재 자동차 타입 특징 맵을 생성하도록 하고, 상기 현재 자동차 타입 특징 맵을 자동차 타입 추정 레이어에 입력하여 상기 자동차 타입 추정 레이어로 하여금 상기 현재 검출 이미지 또는 상기 현재 가공 이미지에 포함된 상기 주변 차량의 종류를 나타내는 현재 예측 자동차 타입 정보를 출력하도록 하는 프로세스, (ii) 상기 시계열 융합 특징 맵을 자동차 포즈 헤더 레이어에 입력하여 상기 자동차 포즈 헤더 레이어로 하여금 현재 자동차 포즈 특징 맵을 생성하도록 하고, 상기 현재 자동차 포즈 특징 맵을 자동차 포즈 추정 레이어에 입력하여 상기 자동차 포즈 추정 레이어로 하여금 상기 주변 차량의 포즈를 나타내는 현재 예측 자동차 포즈 정보를 출력하도록 하는 프로세스, (iii) 상기 시계열 융합 특징 맵을 키포인트 헤더 레이어에 입력하여 상기 키포인트 헤더 레이어로 하여금 상기 주변 차량의 복수의 키포인트에 대응되는 현재 키포인트 특징 맵을 생성하도록 하고, 상기 현재 키포인트 특징 맵을 키포인트 추정 레이어에 입력하여 상기 키포인트 추정 레이어로 하여금 상기 복수의 키포인트에 대응되는 현재 예측 키포인트 정보를 출력하도록 하는 프로세스 및 (iv) 상기 시계열 융합 특징 맵을 사이렌 헤더 레이어에 입력하여 상기 사이렌 헤더 레이어로 하여금 상기 주변 차량의 사이렌 취명 상태에 대응되는 현재 사이렌 취명 상태 특징 맵을 생성하도록 하고, 상기 현재 사이렌 취명 상태 특징 맵을 사이렌 취명 상태 추정 레이어에 입력하여 상기 사이렌 취명 상태 추정 레이어로 하여금 상기 주변 차량의 사이렌 취명 상태를 나타내는 현재 예측 사이렌 취명 상태 정보를 출력하도록 하는 프로세스 중 적어도 일부를 수행하는 단계; 및 (c) 상기 학습 장치가, 상기 현재 예측 자동차 타입 정보, 상기 현재 예측 자동차 포즈 정보, 상기 현재 예측 키포인트 정보, 상기 현재 예측 사이렌 취명 상태 정보, 및 이에 각각 대응되는 현재 GT 자동차 타입 정보, 현재 GT 자동차 포즈 정보, 현재 GT 키포인트 정보 및 현재 GT 사이렌 취명 상태 정보 중 적어도 일부를 참조하여 자동차 타입 로스, 자동차 포즈 로스, 키포인트 로스 및 사이렌 취명 상태 로스 중 적어도 일부를 생성하고, 상기 자동차 타입 로스, 상기 자동차 포즈 로스, 상기 키포인트 로스 및 상기 사이렌 취명 상태 로스 중 적어도 일부를 이용하여 백프로퍼게이션을 수행함으로써 상기 공유 인코더, 상기 시계열 특징 맵 융합 레이어, 상기 자동차 타입 헤더 레이어, 상기 자동차 타입 추정 레이어, 상기 자동차 포즈 헤더 레이어, 상기 자동차 포즈 추정 레이어, 상기 키포인트 헤더 레이어, 상기 키포인트 추정 레이어, 상기 사이렌 헤더 레이어 및 상기 사이렌 취명 상태 추정 레이어 중 적어도 일부의 파라미터를 학습하는 단계;를 포함하는 학습 방법 및 학습 장치, 이를 이용한 테스트 방법 및 테스트 장치가 개시된다.

Description

머신러닝에 기반하여 주변 차량 정보를 생성함으로써 자율 주행을 지원하기 위한 학습 방법 및 학습 장치, 이를 이용한 테스트 방법 및 테스트 장치{LEARNING METHOD AND LEARNING DEVICE FOR SUPPORTING AUTONOMOUS DRIVING BY GENERATING INFORMATION ON SURROUNDING VEHICLES BASED ON MACHINE LEARNING AND TESTING METHOD AND TESTING DEVICE USING THE SAME}

본 발명은 자율 주행을 지원하기 위한 학습 방법 및 학습 장치에 관한 것으로, 보다 상세하게는, 머신러닝에 기반하여 주변 차량 정보를 생성함으로써 자율 주행을 지원하기 위한 학습 방법 및 학습 장치, 이를 이용한 테스트 방법 및 테스트 장치에 관한 것이다.

대상 차량의 안전한 자율 주행이 이루어지기 위해서는 대상 차량의 주변에 위치하는 주변 차량에 대한 다양한 정보가 필요하다.

일례로, 대상 차량의 주변에 긴급 차량(가령, 소방차, 구급차, 경찰차 등)이 위치할 경우, 긴급 차량의 원활한 통행을 지원(가령, 대상 차량이 점유하는 차로를 비워주는 동작)할 수 있도록 대상 차량의 자율 주행이 이루어지기 위해서는, 긴급 차량을 포함하는 주변 차량에 대한 다양한 정보(가령, 주변 차량의 주행 의도 정보)가 필요하다.

하지만, 종래에는, 단순한 수준의 주변 차량 정보(가령, 주변 차량 검출 정보)만을 획득할 수 있었던 바, 대상 차량의 안전한 자율 주행을 담보하기 어려운 문제점이 존재하였다.

일례로, 종래에는, 주변 차량의 제동 램프, 방향지시 램프의 상태를 추정하고, 이를 통해 주변 차량의 주행 의도를 판단하였다(D. Frossard et all, "DeepSignals: Predicting Intent of Drivers Through Visual Signals", ICRA, 2019).

하지만, 주변 차량의 램프가 고장나거나, 주변 차량의 램프가 다른 차량으로 인해 가려지거나, 빛의 반사로 인해 주변 차량의 램프가 부정확하게 식별되는 경우, 상기와 같은 종래의 방식으로 주변 차량의 주행 의도를 정확하게 판단할 수 없게 되는 문제점이 존재하였다.

다른 예로, 종래에는, 3D 객체 영역 추정 모델을 통해 주변 차량의 외각 영역을 결정하고, 주변 차량의 이동 방향을 예측하였다(T. Wang et all, "FCOS3D: Fully Convolutional One-Stage Monocular 3D Object Detection").

하지만, 대상 차량에 설치된 카메라의 설치 각도 및 주변 차량의 종류에 따라 추정의 정확도의 성능 편차가 심하고, 모델을 학습시키기 위한 학습 데이터를 구축하는 비용이 과도하다는 문제점이 존재하였다.

또 다른 예로, 종래에는, 소리를 발생시킨 객체를 분류하는 소리 분류 모델(https://towardsdatascience.com/audio-deep-learning-made-simple-sound-classification-step-by-step-cebc936bbe5)이 존재하였으나, 해당 모델을 통해서는, 소리를 발생시킨 객체가 어디에 위치하는지를 정확하게 판단할 수 없는 문제점이 존재하였다.

따라서, 상기 문제점들을 해결하기 위한 개선 방안이 요구되는 실정이다.

본 발명은 상술한 문제점을 모두 해결하는 것을 그 목적으로 한다.

또한, 본 발명은 대상 차량의 안전한 자율 주행을 지원하는 것을 다른 목적으로 한다.

또한, 본 발명은 단일 모델을 통해 주변 차량에 대한 다양한 정보를 생성하는 것을 또 다른 목적으로 한다.

또한, 본 발명은 시계열 이미지를 활용하여 주변 차량에 대한 정확한 정보를 생성하는 것을 또 다른 목적으로 한다.

또한, 본 발명은 긴급 차량의 원활한 통행이 이루어질 수 있도록 대상 차량의 자율 주행을 지원하는 것을 또 다른 목적으로 한다.

또한, 본 발명은 주변 차량에 대한 다양한 정보를 참조하여 주변 차량의 주행 의도를 정확하게 예측하는 것을 또 다른 목적으로 한다.

상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한, 본 발명의 특징적인 구성은 하기와 같다.

본 발명의 일 태양에 따르면, 머신러닝에 기반하여 주변 차량 정보를 생성함으로써 자율 주행을 지원하기 위한 학습 방법에 있어서, (a) 현재 입력 이미지에 포함된 주변 차량을 검출하여 획득되는 현재 검출 이미지 또는 이로부터 생성된 현재 가공 이미지, 및 소스 사운드 데이터로부터 생성된 가공 사운드 데이터가 컨캐터네이션됨으로써 생성된 컨캐터네이티드 입력 데이터가 획득되면, 학습 장치가, (i) 상기 컨캐터네이티드 입력 데이터를 공유 인코더에 입력하여, 상기 공유 인코더로 하여금 현재 공유 특징 맵을 생성하도록 하고, (ii) 상기 현재 공유 특징 맵을 시계열 특징 맵 융합 레이어에 입력하여 상기 시계열 특징 맵 융합 레이어로 하여금 상기 현재 공유 특징 맵 및 이에 대응되는 적어도 하나의 과거 공유 특징 맵을 참조하여 시계열 융합 특징 맵을 생성하도록 하는 단계; (b) 상기 학습 장치가, (i) 상기 시계열 융합 특징 맵을 자동차 타입 헤더 레이어에 입력하여 상기 자동차 타입 헤더 레이어로 하여금 현재 자동차 타입 특징 맵을 생성하도록 하고, 상기 현재 자동차 타입 특징 맵을 자동차 타입 추정 레이어에 입력하여 상기 자동차 타입 추정 레이어로 하여금 상기 현재 검출 이미지 또는 상기 현재 가공 이미지에 포함된 상기 주변 차량의 종류를 나타내는 현재 예측 자동차 타입 정보를 출력하도록 하는 프로세스, (ii) 상기 시계열 융합 특징 맵을 자동차 포즈 헤더 레이어에 입력하여 상기 자동차 포즈 헤더 레이어로 하여금 현재 자동차 포즈 특징 맵을 생성하도록 하고, 상기 현재 자동차 포즈 특징 맵을 자동차 포즈 추정 레이어에 입력하여 상기 자동차 포즈 추정 레이어로 하여금 상기 주변 차량의 포즈를 나타내는 현재 예측 자동차 포즈 정보를 출력하도록 하는 프로세스, (iii) 상기 시계열 융합 특징 맵을 키포인트 헤더 레이어에 입력하여 상기 키포인트 헤더 레이어로 하여금 상기 주변 차량의 복수의 키포인트에 대응되는 현재 키포인트 특징 맵을 생성하도록 하고, 상기 현재 키포인트 특징 맵을 키포인트 추정 레이어에 입력하여 상기 키포인트 추정 레이어로 하여금 상기 복수의 키포인트에 대응되는 현재 예측 키포인트 정보를 출력하도록 하는 프로세스 및 (iv) 상기 시계열 융합 특징 맵을 사이렌 헤더 레이어에 입력하여 상기 사이렌 헤더 레이어로 하여금 상기 주변 차량의 사이렌 취명 상태에 대응되는 현재 사이렌 취명 상태 특징 맵을 생성하도록 하고, 상기 현재 사이렌 취명 상태 특징 맵을 사이렌 취명 상태 추정 레이어에 입력하여 상기 사이렌 취명 상태 추정 레이어로 하여금 상기 주변 차량의 사이렌 취명 상태를 나타내는 현재 예측 사이렌 취명 상태 정보를 출력하도록 하는 프로세스 중 적어도 일부를 수행하는 단계; 및 (c) 상기 학습 장치가, 상기 현재 예측 자동차 타입 정보, 상기 현재 예측 자동차 포즈 정보, 상기 현재 예측 키포인트 정보, 상기 현재 예측 사이렌 취명 상태 정보, 및 이에 각각 대응되는 현재 GT 자동차 타입 정보, 현재 GT 자동차 포즈 정보, 현재 GT 키포인트 정보 및 현재 GT 사이렌 취명 상태 정보 중 적어도 일부를 참조하여 자동차 타입 로스, 자동차 포즈 로스, 키포인트 로스 및 사이렌 취명 상태 로스 중 적어도 일부를 생성하고, 상기 자동차 타입 로스, 상기 자동차 포즈 로스, 상기 키포인트 로스 및 상기 사이렌 취명 상태 로스 중 적어도 일부를 이용하여 백프로퍼게이션을 수행함으로써 상기 공유 인코더, 상기 시계열 특징 맵 융합 레이어, 상기 자동차 타입 헤더 레이어, 상기 자동차 타입 추정 레이어, 상기 자동차 포즈 헤더 레이어, 상기 자동차 포즈 추정 레이어, 상기 키포인트 헤더 레이어, 상기 키포인트 추정 레이어, 상기 사이렌 헤더 레이어 및 상기 사이렌 취명 상태 추정 레이어 중 적어도 일부의 파라미터를 학습하는 단계;를 포함하는 방법이 개시된다.

일례로서, 상기 (b) 단계에서, 상기 학습 장치가, 상기 현재 자동차 포즈 특징 맵을 이동 방향 추정 레이어에 추가로 입력하여 상기 이동 방향 추정 레이어로 하여금 상기 주변 차량의 이동 방향에 대응되는 현재 예측 이동 방향 정보를 생성하도록 하는 프로세스를 추가로 수행하고, 상기 (c) 단계에서, 상기 학습 장치가, 상기 현재 예측 이동 방향 정보 및 이에 대응되는 현재 GT 이동 방향 정보를 추가로 참조하여 이동 방향 로스를 추가로 생성하고, 상기 이동 방향 로스를 추가로 이용하여 백프로퍼게이션을 수행함으로써 상기 공유 인코더, 상기 시계열 특징 맵 융합 레이어, 상기 자동차 타입 헤더 레이어, 상기 자동차 타입 추정 레이어, 상기 자동차 포즈 헤더 레이어, 상기 자동차 포즈 추정 레이어, 상기 이동 방향 추정 레이어, 상기 키포인트 헤더 레이어, 상기 키포인트 추정 레이어, 상기 사이렌 헤더 레이어, 상기 사이렌 취명 상태 추정 레이어 중 적어도 일부의 파라미터를 학습하는 것을 특징으로 하는 방법이 개시된다.

일례로서, 상기 (b) 단계에서, 상기 키포인트 추정 레이어는, 키포인트 위치 추정 레이어 및 키포인트 차폐도 추정 레이어를 포함하며, 상기 키포인트 위치 추정 레이어는, 상기 현재 키포인트 특징 맵을 참조하여 현재 예측 키포인트 위치 정보를 상기 현재 예측 키포인트 정보로서 출력하고, 상기 키포인트 차폐도 추정 레이어는, 상기 현재 키포인트 특징 맵을 참조하여 현재 예측 키포인트 차폐도 정보를 상기 현재 예측 키포인트 정보로서 출력하며, 상기 (c) 단계에서, 상기 학습 장치가, 상기 현재 예측 키포인트 위치 정보, 상기 현재 예측 키포인트 차폐도 정보 및 이에 각각 대응되는 현재 GT 키포인트 위치 정보 및 현재 GT 키포인트 차폐도 정보를 참조하여 키포인트 위치 로스 및 키포인트 차폐도 로스를 상기 키포인트 로스로서 생성하고, 상기 자동차 타입 로스, 상기 자동차 포즈 로스, 상기 키포인트 위치 로스, 상기 키포인트 차폐도 로스 및 상기 사이렌 취명 상태 로스 중 적어도 일부를 이용하여 백프로퍼게이션을 수행함으로써 상기 공유 인코더, 상기 시계열 특징 맵 융합 레이어, 상기 자동차 타입 헤더 레이어, 상기 자동차 타입 추정 레이어, 상기 자동차 포즈 헤더 레이어, 상기 자동차 포즈 추정 레이어, 상기 키포인트 헤더 레이어, 상기 키포인트 위치 추정 레이어, 상기 키포인트 차폐도 추정 레이어, 상기 사이렌 헤더 레이어 및 상기 사이렌 취명 상태 추정 레이어 중 적어도 일부의 파라미터를 학습하는 것을 특징으로 하는 방법이 개시된다.

일례로서, (i) 상기 복수의 키포인트 중 차폐 키포인트 - 상기 차폐 키포인트는, 상기 주변 차량의 상기 복수의 키포인트 중, 상기 현재 검출 이미지 또는 상기 현재 가공 이미지 상의 비차폐 키포인트를 제외한 키포인트임 - 의 개수가 임계치 미만이거나, 상기 복수의 키포인트 중 상기 차폐 키포인트의 비율이 임계비율 미만인 경우, 상기 현재 예측 자동차 포즈 정보 및 상기 현재 예측 키포인트 위치 정보가 참조되어 현재 예측 주행 방향 정보가 생성되며, (ii) 상기 복수의 키포인트 중 상기 차폐 키포인트의 개수가 상기 임계치 이상이거나, 상기 복수의 키포인트 중 상기 차폐 키포인트의 비율이 상기 임계비율 이상인 경우, 현재 예측 이동 방향 정보 - 상기 현재 예측 이동 방향 정보는, 상기 현재 자동차 포즈 특징 맵이 이동 방향 추정 레이어에 추가로 입력됨으로써 상기 이동 방향 추정 레이어에 의해 추가로 생성되는 정보임 - 가 참조되어 상기 현재 예측 주행 방향 정보가 생성되고, 상기 (c) 단계에서, 상기 학습 장치가, 상기 현재 예측 주행 방향 정보 및 이에 대응되는 현재 GT 주행 방향 정보를 추가로 참조하여 주행 방향 로스를 추가로 생성하고, 상기 주행 방향 로스를 추가로 이용하여 백프로퍼게이션을 수행함으로써 상기 공유 인코더, 상기 시계열 특징 맵 융합 레이어, 상기 자동차 타입 헤더 레이어, 상기 자동차 타입 추정 레이어, 상기 자동차 포즈 헤더 레이어, 상기 자동차 포즈 추정 레이어, 상기 이동 방향 추정 레이어, 상기 키포인트 헤더 레이어, 상기 키포인트 위치 추정 레이어, 상기 키포인트 차폐도 추정 레이어, 상기 사이렌 헤더 레이어 및 상기 사이렌 취명 상태 추정 레이어 중 적어도 일부의 파라미터를 학습하는 것을 특징으로 하는 방법이 개시된다.

일례로서, 상기 (c) 단계에서, 상기 학습 장치가, 상기 자동차 타입 로스, 상기 자동차 포즈 로스, 이동 방향 로스 - 상기 이동 방향 로스는, 상기 현재 예측 이동 방향 정보 및 이에 대응되는 현재 GT 이동 방향 정보가 참조되어 생성됨 - , 상기 키포인트 위치 로스, 상기 키포인트 차폐도 로스, 상기 주행 방향 로스 및 상기 사이렌 취명 상태 로스 중 적어도 일부 각각에 제1 로스 가중치, 제2 로스 가중치, 제3 로스 가중치, 제4 로스 가중치, 제5 로스 가중치, 제6 로스 가중치 및 제7 로스 가중치 중 적어도 일부를 각각 적용하여 자동차 타입 조정 로스, 자동차 포즈 조정 로스, 이동 방향 조정 로스, 키포인트 위치 조정 로스, 키포인트 차폐도 조정 로스, 주행 방향 조정 로스 및 사이렌 취명 상태 조정 로스 중 적어도 일부를 생성하고, 상기 자동차 타입 조정 로스, 상기 자동차 포즈 조정 로스, 상기 이동 방향 조정 로스, 상기 키포인트 위치 조정 로스, 상기 키포인트 차폐도 조정 로스, 상기 주행 방향 조정 로스 및 상기 사이렌 취명 상태 조정 로스 중 적어도 일부를 이용하여 백프로퍼게이션을 수행함으로써 상기 공유 인코더, 상기 시계열 특징 맵 융합 레이어, 상기 자동차 타입 헤더 레이어, 상기 자동차 타입 추정 레이어, 상기 자동차 포즈 헤더 레이어, 상기 자동차 포즈 추정 레이어, 상기 이동 방향 추정 레이어, 상기 키포인트 헤더 레이어, 상기 키포인트 위치 추정 레이어, 상기 키포인트 차폐도 추정 레이어, 상기 사이렌 헤더 레이어 및 상기 사이렌 취명 상태 추정 레이어 중 적어도 일부의 파라미터를 학습하는 것을 특징으로 하는 방법이 개시된다.

일례로서, 상기 가공 사운드 데이터는, 상기 소스 사운드 데이터에 국소 푸리에 변환(Short-Time Fourier Transform) 연산을 적용하여 스펙트로그램을 생성한 후, 상기 스펙트로그램에 필터링 연산을 적용함으로써 생성되는 것을 특징으로 하는 방법이 개시된다.

본 발명의 다른 태양에 따르면, 머신러닝에 기반하여 주변 차량 정보를 생성함으로써 자율 주행을 지원하기 위한 테스트 방법에 있어서, (a) 학습 장치가, (i) 현재 입력 학습 이미지에 포함된 학습용 주변 차량을 검출하여 획득되는 현재 검출 학습 이미지 또는 이로부터 생성된 현재 가공 학습 이미지, 및 소스 사운드 학습 데이터로부터 생성된 가공 사운드 학습 데이터가 컨캐터네이션됨으로써 생성된 컨캐터네이티드 학습 데이터가 획득되면, 상기 컨캐터네이티드 학습 데이터를 공유 인코더에 입력하여, 상기 공유 인코더로 하여금 학습용 현재 공유 특징 맵을 생성하도록 하고, 상기 학습용 현재 공유 특징 맵을 시계열 특징 맵 융합 레이어에 입력하여 상기 시계열 특징 맵 융합 레이어로 하여금 상기 학습용 현재 공유 특징 맵 및 이에 대응되는 적어도 하나의 학습용 과거 공유 특징 맵을 참조하여 학습용 시계열 융합 특징 맵을 생성하도록 하고, (ii) (ii-1) 상기 학습용 시계열 융합 특징 맵을 자동차 타입 헤더 레이어에 입력하여 상기 자동차 타입 헤더 레이어로 하여금 학습용 현재 자동차 타입 특징 맵을 생성하도록 하고, 상기 학습용 현재 자동차 타입 특징 맵을 자동차 타입 추정 레이어에 입력하여 상기 자동차 타입 추정 레이어로 하여금 상기 현재 검출 학습 이미지 또는 상기 현재 가공 학습 이미지에 포함된 상기 학습용 주변 차량의 종류를 나타내는 학습용 현재 예측 자동차 타입 정보를 출력하도록 하는 서브 프로세스, (ii-2) 상기 학습용 시계열 융합 특징 맵을 자동차 포즈 헤더 레이어에 입력하여 상기 자동차 포즈 헤더 레이어로 하여금 학습용 현재 자동차 포즈 특징 맵을 생성하도록 하고, 상기 학습용 현재 자동차 포즈 특징 맵을 자동차 포즈 추정 레이어에 입력하여 상기 자동차 포즈 추정 레이어로 하여금 상기 학습용 주변 차량의 포즈를 나타내는 학습용 현재 예측 자동차 포즈 정보를 출력하도록 하는 서브 프로세스, (ii-3) 상기 학습용 시계열 융합 특징 맵을 키포인트 헤더 레이어에 입력하여 상기 키포인트 헤더 레이어로 하여금 상기 학습용 주변 차량의 복수의 학습용 키포인트에 대응되는 학습용 현재 키포인트 특징 맵을 생성하도록 하고, 상기 학습용 현재 키포인트 특징 맵을 키포인트 추정 레이어에 입력하여 상기 키포인트 추정 레이어로 하여금 상기 복수의 학습용 키포인트에 대응되는 학습용 현재 예측 키포인트 정보를 출력하도록 하는 서브 프로세스 및 (ii-4) 상기 학습용 시계열 융합 특징 맵을 사이렌 헤더 레이어에 입력하여 상기 사이렌 헤더 레이어로 하여금 상기 학습용 주변 차량의 사이렌 취명 상태에 대응되는 학습용 현재 사이렌 취명 상태 특징 맵을 생성하도록 하고, 상기 학습용 현재 사이렌 취명 상태 특징 맵을 사이렌 취명 상태 추정 레이어에 입력하여 상기 사이렌 취명 상태 추정 레이어로 하여금 상기 학습용 주변 차량의 사이렌 취명 상태를 나타내는 학습용 현재 예측 사이렌 취명 상태 정보를 출력하도록 하는 서브 프로세스 중 적어도 일부를 수행하고, (iii) 상기 학습용 현재 예측 자동차 타입 정보, 상기 학습용 현재 예측 자동차 포즈 정보, 상기 학습용 현재 예측 키포인트 정보, 상기 학습용 현재 예측 사이렌 취명 상태 정보, 및 이에 각각 대응되는 현재 GT 자동차 타입 정보, 현재 GT 자동차 포즈 정보, 현재 GT 키포인트 정보 및 현재 GT 사이렌 취명 상태 정보 중 적어도 일부를 참조하여 자동차 타입 로스, 자동차 포즈 로스, 키포인트 로스 및 사이렌 취명 상태 로스 중 적어도 일부를 생성하고, 상기 자동차 타입 로스, 상기 자동차 포즈 로스, 상기 키포인트 로스 및 상기 사이렌 취명 상태 로스 중 적어도 일부를 이용하여 백프로퍼게이션을 수행함으로써 상기 공유 인코더, 상기 시계열 특징 맵 융합 레이어, 상기 자동차 타입 헤더 레이어, 상기 자동차 타입 추정 레이어, 상기 자동차 포즈 헤더 레이어, 상기 자동차 포즈 추정 레이어, 상기 키포인트 헤더 레이어, 상기 키포인트 추정 레이어, 상기 사이렌 헤더 레이어 및 상기 사이렌 취명 상태 추정 레이어 중 적어도 일부의 파라미터가 학습된 상태에서, 현재 입력 테스트 이미지에 포함된 테스트용 주변 차량을 검출하여 획득되는 현재 검출 테스트 이미지 또는 이로부터 생성된 현재 가공 테스트 이미지, 및 소스 사운드 테스트 데이터로부터 생성된 가공 사운드 테스트 데이터가 컨캐터네이션됨으로써 생성된 컨캐터네이티드 테스트 데이터가 획득되면, 테스트 장치가, 상기 컨캐터네이티드 테스트 데이터를 상기 공유 인코더에 입력하여, 상기 공유 인코더로 하여금 테스트용 현재 공유 특징 맵을 생성하도록 하고, 상기 테스트용 현재 공유 특징 맵을 상기 시계열 특징 맵 융합 레이어에 입력하여 상기 시계열 특징 맵 융합 레이어로 하여금 상기 테스트용 현재 공유 특징 맵을 참조하여 테스트용 시계열 융합 특징 맵을 생성하거나, 상기 테스트용 현재 공유 특징 맵 및 이에 대응되는 적어도 하나의 테스트용 과거 공유 특징 맵을 참조하여 상기 테스트용 시계열 융합 특징 맵을 생성하도록 하는 단계; 및 (b) 상기 테스트 장치가, (i) 상기 테스트용 시계열 융합 특징 맵을 상기 자동차 타입 헤더 레이어에 입력하여 상기 자동차 타입 헤더 레이어로 하여금 테스트용 현재 자동차 타입 특징 맵을 생성하도록 하고, 상기 테스트용 현재 자동차 타입 특징 맵을 상기 자동차 타입 추정 레이어에 입력하여 상기 자동차 타입 추정 레이어로 하여금 상기 현재 검출 테스트 이미지 또는 상기 현재 가공 테스트 이미지에 포함된 상기 테스트용 주변 차량의 종류를 나타내는 테스트용 현재 예측 자동차 타입 정보를 출력하도록 하는 프로세스, (ii) 상기 테스트용 시계열 융합 특징 맵을 상기 자동차 포즈 헤더 레이어에 입력하여 상기 자동차 포즈 헤더 레이어로 하여금 테스트용 현재 자동차 포즈 특징 맵을 생성하도록 하고, 상기 테스트용 현재 자동차 포즈 특징 맵을 상기 자동차 포즈 추정 레이어에 입력하여 상기 자동차 포즈 추정 레이어로 하여금 상기 테스트용 주변 차량의 포즈를 나타내는 테스트용 현재 예측 자동차 포즈 정보를 출력하도록 하는 프로세스, (iii) 상기 테스트용 시계열 융합 특징 맵을 상기 키포인트 헤더 레이어에 입력하여 상기 키포인트 헤더 레이어로 하여금 상기 테스트용 주변 차량의 복수의 테스트용 키포인트에 대응되는 테스트용 현재 키포인트 특징 맵을 생성하도록 하고, 상기 테스트용 현재 키포인트 특징 맵을 상기 키포인트 추정 레이어에 입력하여 상기 키포인트 추정 레이어로 하여금 상기 복수의 테스트용 키포인트에 대응되는 테스트용 현재 예측 키포인트 정보를 출력하도록 하는 프로세스 및 (iv) 상기 테스트용 시계열 융합 특징 맵을 상기 사이렌 헤더 레이어에 입력하여 상기 사이렌 헤더 레이어로 하여금 상기 테스트용 주변 차량의 사이렌 취명 상태에 대응되는 테스트용 현재 사이렌 취명 상태 특징 맵을 생성하도록 하고, 상기 테스트용 현재 사이렌 취명 상태 특징 맵을 상기 사이렌 취명 상태 추정 레이어에 입력하여 상기 사이렌 취명 상태 추정 레이어로 하여금 상기 테스트용 주변 차량의 사이렌 취명 상태를 나타내는 테스트용 현재 예측 사이렌 취명 상태 정보를 출력하도록 하는 프로세스 중 적어도 일부를 수행하는 단계;를 포함하는 방법이 개시된다.

일례로서, 상기 (a) 단계에서, 상기 현재 입력 테스트 이미지가 획득되면, 상기 테스트 장치가, (i) 상기 현재 입력 테스트 이미지를 객체 검출 모델에 입력하여 상기 객체 검출 모델로 하여금 상기 현재 입력 테스트 이미지에 포함된 테스트용 전체 차량에 대응되는 테스트용 전체 차량 검출 정보를 생성하도록 함으로써 상기 현재 검출 테스트 이미지를 획득하고, (ii) 상기 테스트용 전체 차량 검출 정보 및 대상 차량 - 상기 대상 차량은, 상기 현재 입력 테스트 이미지를 생성하는 이미지 센서가 장착된 차량임 - 의 위치 정보를 참조하여 상기 테스트용 전체 차량 중 상기 테스트용 주변 차량을 선택하며, (iii) 상기 현재 검출 테스트 이미지 상에서 상기 테스트용 주변 차량에 대응되는 영역을 크롭한 이미지인 상기 현재 가공 테스트 이미지를 생성하고, (iv) 상기 현재 가공 테스트 이미지 및 상기 가공 사운드 테스트 데이터를 컨캐터네이션함으로써 상기 컨캐터네이티드 테스트 데이터를 생성하며, 상기 컨캐터네이티드 테스트 데이터를 상기 공유 인코더에 입력하여 상기 공유 인코더로 하여금 상기 테스트용 현재 공유 특징 맵을 생성하도록 하는 것을 특징으로 하는 방법이 개시된다.

일례로서, (c) 상기 테스트 장치가, 상기 테스트용 현재 예측 자동차 타입 정보, 상기 테스트용 현재 예측 자동차 포즈 정보, 상기 테스트용 현재 예측 키포인트 정보, 상기 테스트용 현재 예측 사이렌 취명 상태 정보 중 적어도 일부를 참조하여 상기 테스트용 주변 차량 중 특정 테스트용 주변 차량의 주행 의도 정보를 생성하는 단계;를 더 포함하는 것을 특징으로 하는 방법이 개시된다.

일례로서, 상기 가공 사운드 테스트 데이터는, 상기 소스 사운드 테스트 데이터에 국소 푸리에 변환(Short-Time Fourier Transform) 연산을 적용하여 테스트 스펙트로그램을 생성한 후, 상기 테스트 스펙트로그램에 필터링 연산을 적용함으로써 생성되는 것을 특징으로 하는 방법이 개시된다.

본 발명의 또 다른 태양에 따르면, 머신러닝에 기반하여 주변 차량 정보를 생성함으로써 자율 주행을 지원하기 위한 학습 장치에 있어서, 인스트럭션들을 저장하는 적어도 하나의 메모리; 및 상기 인스트럭션들을 실행하기 위해 구성된 적어도 하나의 프로세서를 포함하되, 상기 프로세서는, (1) 현재 입력 이미지에 포함된 주변 차량을 검출하여 획득되는 현재 검출 이미지 또는 이로부터 생성된 현재 가공 이미지, 및 소스 사운드 데이터로부터 생성된 가공 사운드 데이터가 컨캐터네이션됨으로써 생성된 컨캐터네이티드 입력 데이터가 획득되면, (i) 상기 컨캐터네이티드 입력 데이터를 공유 인코더에 입력하여, 상기 공유 인코더로 하여금 현재 공유 특징 맵을 생성하도록 하고, (ii) 상기 현재 공유 특징 맵을 시계열 특징 맵 융합 레이어에 입력하여 상기 시계열 특징 맵 융합 레이어로 하여금 상기 현재 공유 특징 맵 및 이에 대응되는 적어도 하나의 과거 공유 특징 맵을 참조하여 시계열 융합 특징 맵을 생성하도록 하는 프로세스, (2) (i) 상기 시계열 융합 특징 맵을 자동차 타입 헤더 레이어에 입력하여 상기 자동차 타입 헤더 레이어로 하여금 현재 자동차 타입 특징 맵을 생성하도록 하고, 상기 현재 자동차 타입 특징 맵을 자동차 타입 추정 레이어에 입력하여 상기 자동차 타입 추정 레이어로 하여금 상기 현재 검출 이미지 또는 상기 현재 가공 이미지에 포함된 상기 주변 차량의 종류를 나타내는 현재 예측 자동차 타입 정보를 출력하도록 하는 프로세스, (ii) 상기 시계열 융합 특징 맵을 자동차 포즈 헤더 레이어에 입력하여 상기 자동차 포즈 헤더 레이어로 하여금 현재 자동차 포즈 특징 맵을 생성하도록 하고, 상기 현재 자동차 포즈 특징 맵을 자동차 포즈 추정 레이어에 입력하여 상기 자동차 포즈 추정 레이어로 하여금 상기 주변 차량의 포즈를 나타내는 현재 예측 자동차 포즈 정보를 출력하도록 하는 프로세스, (iii) 상기 시계열 융합 특징 맵을 키포인트 헤더 레이어에 입력하여 상기 키포인트 헤더 레이어로 하여금 상기 주변 차량의 복수의 키포인트에 대응되는 현재 키포인트 특징 맵을 생성하도록 하고, 상기 현재 키포인트 특징 맵을 키포인트 추정 레이어에 입력하여 상기 키포인트 추정 레이어로 하여금 상기 복수의 키포인트에 대응되는 현재 예측 키포인트 정보를 출력하도록 하는 프로세스 및 (iv) 상기 시계열 융합 특징 맵을 사이렌 헤더 레이어에 입력하여 상기 사이렌 헤더 레이어로 하여금 상기 주변 차량의 사이렌 취명 상태에 대응되는 현재 사이렌 취명 상태 특징 맵을 생성하도록 하고, 상기 현재 사이렌 취명 상태 특징 맵을 사이렌 취명 상태 추정 레이어에 입력하여 상기 사이렌 취명 상태 추정 레이어로 하여금 상기 주변 차량의 사이렌 취명 상태를 나타내는 현재 예측 사이렌 취명 상태 정보를 출력하도록 하는 프로세스 중 적어도 일부를 수행하는 프로세스 및 (3) 상기 현재 예측 자동차 타입 정보, 상기 현재 예측 자동차 포즈 정보, 상기 현재 예측 키포인트 정보, 상기 현재 예측 사이렌 취명 상태 정보, 및 이에 각각 대응되는 현재 GT 자동차 타입 정보, 현재 GT 자동차 포즈 정보, 현재 GT 키포인트 정보 및 현재 GT 사이렌 취명 상태 정보 중 적어도 일부를 참조하여 자동차 타입 로스, 자동차 포즈 로스, 키포인트 로스 및 사이렌 취명 상태 로스 중 적어도 일부를 생성하고, 상기 자동차 타입 로스, 상기 자동차 포즈 로스, 상기 키포인트 로스 및 상기 사이렌 취명 상태 로스 중 적어도 일부를 이용하여 백프로퍼게이션을 수행함으로써 상기 공유 인코더, 상기 시계열 특징 맵 융합 레이어, 상기 자동차 타입 헤더 레이어, 상기 자동차 타입 추정 레이어, 상기 자동차 포즈 헤더 레이어, 상기 자동차 포즈 추정 레이어, 상기 키포인트 헤더 레이어, 상기 키포인트 추정 레이어, 상기 사이렌 헤더 레이어 및 상기 사이렌 취명 상태 추정 레이어 중 적어도 일부의 파라미터를 학습하는 프로세스를 수행하는 학습 장치가 개시된다.

일례로서, 상기 프로세서는, 상기 (2) 프로세스에서, 상기 현재 자동차 포즈 특징 맵을 이동 방향 추정 레이어에 추가로 입력하여 상기 이동 방향 추정 레이어로 하여금 상기 주변 차량의 이동 방향에 대응되는 현재 예측 이동 방향 정보를 생성하도록 하는 프로세스를 추가로 수행하고, 상기 (3) 단계에서, 상기 현재 예측 이동 방향 정보 및 이에 대응되는 현재 GT 이동 방향 정보를 추가로 참조하여 이동 방향 로스를 추가로 생성하고, 상기 이동 방향 로스를 추가로 이용하여 백프로퍼게이션을 수행함으로써 상기 공유 인코더, 상기 시계열 특징 맵 융합 레이어, 상기 자동차 타입 헤더 레이어, 상기 자동차 타입 추정 레이어, 상기 자동차 포즈 헤더 레이어, 상기 자동차 포즈 추정 레이어, 상기 이동 방향 추정 레이어, 상기 키포인트 헤더 레이어, 상기 키포인트 추정 레이어, 상기 사이렌 헤더 레이어, 상기 사이렌 취명 상태 추정 레이어 중 적어도 일부의 파라미터를 학습하는 것을 특징으로 하는 학습 장치가 개시된다.

일례로서, 상기 (2) 프로세스에서, 상기 키포인트 추정 레이어는, 키포인트 위치 추정 레이어 및 키포인트 차폐도 추정 레이어를 포함하며, 상기 키포인트 위치 추정 레이어는, 상기 현재 키포인트 특징 맵을 참조하여 현재 예측 키포인트 위치 정보를 상기 현재 예측 키포인트 정보로서 출력하고, 상기 키포인트 차폐도 추정 레이어는, 상기 현재 키포인트 특징 맵을 참조하여 현재 예측 키포인트 차폐도 정보를 상기 현재 예측 키포인트 정보로서 출력하며, 상기 프로세서는, 상기 (3) 프로세스에서, 상기 현재 예측 키포인트 위치 정보, 상기 현재 예측 키포인트 차폐도 정보 및 이에 각각 대응되는 현재 GT 키포인트 위치 정보 및 현재 GT 키포인트 차폐도 정보를 참조하여 키포인트 위치 로스 및 키포인트 차폐도 로스를 상기 키포인트 로스로서 생성하고, 상기 자동차 타입 로스, 상기 자동차 포즈 로스, 상기 키포인트 위치 로스, 상기 키포인트 차폐도 로스 및 상기 사이렌 취명 상태 로스 중 적어도 일부를 이용하여 백프로퍼게이션을 수행함으로써 상기 공유 인코더, 상기 시계열 특징 맵 융합 레이어, 상기 자동차 타입 헤더 레이어, 상기 자동차 타입 추정 레이어, 상기 자동차 포즈 헤더 레이어, 상기 자동차 포즈 추정 레이어, 상기 키포인트 헤더 레이어, 상기 키포인트 위치 추정 레이어, 상기 키포인트 차폐도 추정 레이어, 상기 사이렌 헤더 레이어 및 상기 사이렌 취명 상태 추정 레이어 중 적어도 일부의 파라미터를 학습하는 것을 특징으로 하는 학습 장치가 개시된다.

일례로서, (i) 상기 복수의 키포인트 중 차폐 키포인트 - 상기 차폐 키포인트는, 상기 주변 차량의 상기 복수의 키포인트 중, 상기 현재 검출 이미지 또는 상기 현재 가공 이미지 상의 비차폐 키포인트를 제외한 키포인트임 - 의 개수가 임계치 미만이거나, 상기 복수의 키포인트 중 상기 차폐 키포인트의 비율이 임계비율 미만인 경우, 상기 현재 예측 자동차 포즈 정보 및 상기 현재 예측 키포인트 위치 정보가 참조되어 현재 예측 주행 방향 정보가 생성되며, (ii) 상기 복수의 키포인트 중 상기 차폐 키포인트의 개수가 상기 임계치 이상이거나, 상기 복수의 키포인트 중 상기 차폐 키포인트의 비율이 상기 임계비율 이상인 경우, 상기 현재 예측 이동 방향 정보 - 상기 현재 예측 이동 방향 정보는, 상기 현재 자동차 포즈 특징 맵이 이동 방향 추정 레이어에 추가로 입력됨으로써 상기 이동 방향 추정 레이어에 의해 추가로 생성되는 정보임 - 가 참조되어 상기 현재 예측 주행 방향 정보가 생성되고, 상기 프로세서는, 상기 (3) 프로세스에서, 상기 현재 예측 주행 방향 정보 및 이에 대응되는 현재 GT 주행 방향 정보를 추가로 참조하여 주행 방향 로스를 추가로 생성하고, 상기 주행 방향 로스를 추가로 이용하여 백프로퍼게이션을 수행함으로써 상기 공유 인코더, 상기 시계열 특징 맵 융합 레이어, 상기 자동차 타입 헤더 레이어, 상기 자동차 타입 추정 레이어, 상기 자동차 포즈 헤더 레이어, 상기 자동차 포즈 추정 레이어, 상기 이동 방향 추정 레이어, 상기 키포인트 헤더 레이어, 상기 키포인트 위치 추정 레이어, 상기 키포인트 차폐도 추정 레이어, 상기 사이렌 헤더 레이어 및 상기 사이렌 취명 상태 추정 레이어 중 적어도 일부의 파라미터를 학습하는 것을 특징으로 하는 학습 장치가 개시된다.

일례로서, 상기 프로세서는, 상기 (3) 프로세스에서, 상기 자동차 타입 로스, 상기 자동차 포즈 로스, 이동 방향 로스 - 상기 이동 방향 로스는, 상기 현재 예측 이동 방향 정보 및 이에 대응되는 현재 GT 이동 방향 정보가 참조되어 생성됨 - , 상기 키포인트 위치 로스, 상기 키포인트 차폐도 로스, 상기 주행 방향 로스 및 상기 사이렌 취명 상태 로스 중 적어도 일부 각각에 제1 로스 가중치, 제2 로스 가중치, 제3 로스 가중치, 제4 로스 가중치, 제5 로스 가중치, 제6 로스 가중치 및 제7 로스 가중치 중 적어도 일부를 각각 적용하여 자동차 타입 조정 로스, 자동차 포즈 조정 로스, 이동 방향 조정 로스, 키포인트 위치 조정 로스, 키포인트 차폐도 조정 로스, 주행 방향 조정 로스 및 사이렌 취명 상태 조정 로스 중 적어도 일부를 생성하고, 상기 자동차 타입 조정 로스, 상기 자동차 포즈 조정 로스, 상기 이동 방향 조정 로스, 상기 키포인트 위치 조정 로스, 상기 키포인트 차폐도 조정 로스, 상기 주행 방향 조정 로스 및 상기 사이렌 취명 상태 조정 로스 중 적어도 일부를 이용하여 백프로퍼게이션을 수행함으로써 상기 공유 인코더, 상기 시계열 특징 맵 융합 레이어, 상기 자동차 타입 헤더 레이어, 상기 자동차 타입 추정 레이어, 상기 자동차 포즈 헤더 레이어, 상기 자동차 포즈 추정 레이어, 상기 이동 방향 추정 레이어, 상기 키포인트 헤더 레이어, 상기 키포인트 위치 추정 레이어, 상기 키포인트 차폐도 추정 레이어, 상기 사이렌 헤더 레이어 및 상기 사이렌 취명 상태 추정 레이어 중 적어도 일부의 파라미터를 학습하는 것을 특징으로 하는 학습 장치가 개시된다.

일례로서, 상기 가공 사운드 데이터는, 상기 소스 사운드 데이터에 국소 푸리에 변환(Short-Time Fourier Transform) 연산을 적용하여 스펙트로그램을 생성한 후, 상기 스펙트로그램에 필터링 연산을 적용함으로써 생성되는 것을 특징으로 하는 학습 장치가 개시된다.

본 발명의 또 다른 태양에 따르면, 머신러닝에 기반하여 주변 차량 정보를 생성함으로써 자율 주행을 지원하기 위한 테스트 장치에 있어서, 인스트럭션들을 저장하는 적어도 하나의 메모리; 및 상기 인스트럭션들을 실행하기 위해 구성된 적어도 하나의 프로세서를 포함하되, 상기 프로세서는, (1) 학습 장치가, (i) 현재 입력 학습 이미지에 포함된 학습용 주변 차량을 검출하여 획득되는 현재 검출 학습 이미지 또는 이로부터 생성된 현재 가공 학습 이미지, 및 소스 사운드 학습 데이터로부터 생성된 가공 사운드 학습 데이터가 컨캐터네이션됨으로써 생성된 컨캐터네이티드 학습 데이터가 획득되면, 상기 컨캐터네이티드 학습 데이터를 공유 인코더에 입력하여, 상기 공유 인코더로 하여금 학습용 현재 공유 특징 맵을 생성하도록 하고, 상기 학습용 현재 공유 특징 맵을 시계열 특징 맵 융합 레이어에 입력하여 상기 시계열 특징 맵 융합 레이어로 하여금 상기 학습용 현재 공유 특징 맵 및 이에 대응되는 적어도 하나의 학습용 과거 공유 특징 맵을 참조하여 학습용 시계열 융합 특징 맵을 생성하도록 하고, (ii) (ii-1) 상기 학습용 시계열 융합 특징 맵을 자동차 타입 헤더 레이어에 입력하여 상기 자동차 타입 헤더 레이어로 하여금 학습용 현재 자동차 타입 특징 맵을 생성하도록 하고, 상기 학습용 현재 자동차 타입 특징 맵을 자동차 타입 추정 레이어에 입력하여 상기 자동차 타입 추정 레이어로 하여금 상기 현재 검출 학습 이미지 또는 상기 현재 가공 학습 이미지에 포함된 상기 학습용 주변 차량의 종류를 나타내는 학습용 현재 예측 자동차 타입 정보를 출력하도록 하는 서브 프로세스, (ii-2) 상기 학습용 시계열 융합 특징 맵을 자동차 포즈 헤더 레이어에 입력하여 상기 자동차 포즈 헤더 레이어로 하여금 학습용 현재 자동차 포즈 특징 맵을 생성하도록 하고, 상기 학습용 현재 자동차 포즈 특징 맵을 자동차 포즈 추정 레이어에 입력하여 상기 자동차 포즈 추정 레이어로 하여금 상기 학습용 주변 차량의 포즈를 나타내는 학습용 현재 예측 자동차 포즈 정보를 출력하도록 하는 서브 프로세스, (ii-3) 상기 학습용 시계열 융합 특징 맵을 키포인트 헤더 레이어에 입력하여 상기 키포인트 헤더 레이어로 하여금 상기 학습용 주변 차량의 복수의 학습용 키포인트에 대응되는 학습용 현재 키포인트 특징 맵을 생성하도록 하고, 상기 학습용 현재 키포인트 특징 맵을 키포인트 추정 레이어에 입력하여 상기 키포인트 추정 레이어로 하여금 상기 복수의 학습용 키포인트에 대응되는 학습용 현재 예측 키포인트 정보를 출력하도록 하는 서브 프로세스 및 (ii-4) 상기 학습용 시계열 융합 특징 맵을 사이렌 헤더 레이어에 입력하여 상기 사이렌 헤더 레이어로 하여금 상기 학습용 주변 차량의 사이렌 취명 상태에 대응되는 학습용 현재 사이렌 취명 상태 특징 맵을 생성하도록 하고, 상기 학습용 현재 사이렌 취명 상태 특징 맵을 사이렌 취명 상태 추정 레이어에 입력하여 상기 사이렌 취명 상태 추정 레이어로 하여금 상기 학습용 주변 차량의 사이렌 취명 상태를 나타내는 학습용 현재 예측 사이렌 취명 상태 정보를 출력하도록 하는 서브 프로세스 중 적어도 일부를 수행하고, (iii) 상기 학습용 현재 예측 자동차 타입 정보, 상기 학습용 현재 예측 자동차 포즈 정보, 상기 학습용 현재 예측 키포인트 정보, 상기 학습용 현재 예측 사이렌 취명 상태 정보, 및 이에 각각 대응되는 현재 GT 자동차 타입 정보, 현재 GT 자동차 포즈 정보, 현재 GT 키포인트 정보 및 현재 GT 사이렌 취명 상태 정보 중 적어도 일부를 참조하여 자동차 타입 로스, 자동차 포즈 로스, 키포인트 로스 및 사이렌 취명 상태 로스 중 적어도 일부를 생성하고, 상기 자동차 타입 로스, 상기 자동차 포즈 로스, 상기 키포인트 로스 및 상기 사이렌 취명 상태 로스 중 적어도 일부를 이용하여 백프로퍼게이션을 수행함으로써 상기 공유 인코더, 상기 시계열 특징 맵 융합 레이어, 상기 자동차 타입 헤더 레이어, 상기 자동차 타입 추정 레이어, 상기 자동차 포즈 헤더 레이어, 상기 자동차 포즈 추정 레이어, 상기 키포인트 헤더 레이어, 상기 키포인트 추정 레이어, 상기 사이렌 헤더 레이어 및 상기 사이렌 취명 상태 추정 레이어 중 적어도 일부의 파라미터가 학습된 상태에서, 현재 입력 테스트 이미지에 포함된 테스트용 주변 차량을 검출하여 획득되는 현재 검출 테스트 이미지 또는 이로부터 생성된 현재 가공 테스트 이미지, 및 소스 사운드 테스트 데이터로부터 생성된 가공 사운드 테스트 데이터가 컨캐터네이션됨으로써 생성된 컨캐터네이티드 테스트 데이터가 획득되면, 상기 컨캐터네이티드 테스트 데이터를 상기 공유 인코더에 입력하여, 상기 공유 인코더로 하여금 테스트용 현재 공유 특징 맵을 생성하도록 하고, 상기 테스트용 현재 공유 특징 맵을 상기 시계열 특징 맵 융합 레이어에 입력하여 상기 시계열 특징 맵 융합 레이어로 하여금 상기 테스트용 현재 공유 특징 맵을 참조하여 테스트용 시계열 융합 특징 맵을 생성하거나, 상기 테스트용 현재 공유 특징 맵 및 이에 대응되는 적어도 하나의 테스트용 과거 공유 특징 맵을 참조하여 상기 테스트용 시계열 융합 특징 맵을 생성하도록 하는 프로세스 및 (2) (i) 상기 테스트용 시계열 융합 특징 맵을 상기 자동차 타입 헤더 레이어에 입력하여 상기 자동차 타입 헤더 레이어로 하여금 테스트용 현재 자동차 타입 특징 맵을 생성하도록 하고, 상기 테스트용 현재 자동차 타입 특징 맵을 상기 자동차 타입 추정 레이어에 입력하여 상기 자동차 타입 추정 레이어로 하여금 상기 현재 검출 테스트 이미지 또는 상기 현재 가공 테스트 이미지에 포함된 상기 테스트용 주변 차량의 종류를 나타내는 테스트용 현재 예측 자동차 타입 정보를 출력하도록 하는 프로세스, (ii) 상기 테스트용 시계열 융합 특징 맵을 상기 자동차 포즈 헤더 레이어에 입력하여 상기 자동차 포즈 헤더 레이어로 하여금 테스트용 현재 자동차 포즈 특징 맵을 생성하도록 하고, 상기 테스트용 현재 자동차 포즈 특징 맵을 상기 자동차 포즈 추정 레이어에 입력하여 상기 자동차 포즈 추정 레이어로 하여금 상기 테스트용 주변 차량의 포즈를 나타내는 테스트용 현재 예측 자동차 포즈 정보를 출력하도록 하는 프로세스, (iii) 상기 테스트용 시계열 융합 특징 맵을 상기 키포인트 헤더 레이어에 입력하여 상기 키포인트 헤더 레이어로 하여금 상기 테스트용 주변 차량의 복수의 테스트용 키포인트에 대응되는 테스트용 현재 키포인트 특징 맵을 생성하도록 하고, 상기 테스트용 현재 키포인트 특징 맵을 상기 키포인트 추정 레이어에 입력하여 상기 키포인트 추정 레이어로 하여금 상기 복수의 테스트용 키포인트에 대응되는 테스트용 현재 예측 키포인트 정보를 출력하도록 하는 프로세스 및 (iv) 상기 테스트용 시계열 융합 특징 맵을 상기 사이렌 헤더 레이어에 입력하여 상기 사이렌 헤더 레이어로 하여금 상기 테스트용 주변 차량의 사이렌 취명 상태에 대응되는 테스트용 현재 사이렌 취명 상태 특징 맵을 생성하도록 하고, 상기 테스트용 현재 사이렌 취명 상태 특징 맵을 상기 사이렌 취명 상태 추정 레이어에 입력하여 상기 사이렌 취명 상태 추정 레이어로 하여금 상기 테스트용 주변 차량의 사이렌 취명 상태를 나타내는 테스트용 현재 예측 사이렌 취명 상태 정보를 출력하도록 하는 프로세스 중 적어도 일부를 수행하는 프로세스를 수행하는 테스트 장치가 개시된다.

일례로서, 상기 프로세서는, 상기 (1) 프로세스에서, 상기 현재 입력 테스트 이미지가 획득되면, (i) 상기 현재 입력 테스트 이미지를 객체 검출 모델에 입력하여 상기 객체 검출 모델로 하여금 상기 현재 입력 테스트 이미지에 포함된 테스트용 전체 차량에 대응되는 테스트용 전체 차량 검출 정보를 생성하도록 함으로써 상기 현재 검출 테스트 이미지를 획득하고, (ii) 상기 테스트용 전체 차량 검출 정보 및 대상 차량 - 상기 대상 차량은, 상기 현재 입력 테스트 이미지를 생성하는 이미지 센서가 장착된 차량임 - 의 위치 정보를 참조하여 상기 테스트용 전체 차량 중 상기 테스트용 주변 차량을 선택하며, (iii) 상기 현재 검출 테스트 이미지 상에서 상기 테스트용 주변 차량에 대응되는 영역을 크롭한 이미지인 상기 현재 가공 테스트 이미지를 생성하고, (iv) 상기 현재 가공 테스트 이미지 및 상기 가공 사운드 테스트 데이터를 컨캐터네이션함으로써 상기 컨캐터네이티드 테스트 데이터를 생성하며, 상기 컨캐터네이티드 테스트 데이터를 상기 공유 인코더에 입력하여 상기 공유 인코더로 하여금 상기 테스트용 현재 공유 특징 맵을 생성하도록 하는 것을 특징으로 하는 테스트 장치가 개시된다.

일례로서, 상기 프로세서는, (3) 상기 테스트용 현재 예측 자동차 타입 정보, 상기 테스트용 현재 예측 자동차 포즈 정보, 상기 테스트용 현재 예측 키포인트 정보, 상기 테스트용 현재 예측 사이렌 취명 상태 정보 중 적어도 일부를 참조하여 상기 테스트용 주변 차량 중 특정 테스트용 주변 차량의 주행 의도 정보를 생성하는 프로세스를 더 수행하는 것을 특징으로 하는 테스트 장치가 개시된다.

일례로서, 상기 가공 사운드 테스트 데이터는, 상기 소스 사운드 테스트 데이터에 국소 푸리에 변환(Short-Time Fourier Transform) 연산을 적용하여 테스트 스펙트로그램을 생성한 후, 상기 테스트 스펙트로그램에 필터링 연산을 적용함으로써 생성되는 것을 특징으로 하는 테스트 장치가 개시된다.

본 발명은 대상 차량의 안전한 자율 주행을 지원하는 효과가 있다.

또한, 본 발명은 단일 모델을 통해 주변 차량에 대한 다양한 정보를 생성하는 효과가 있다.

또한, 본 발명은 시계열 이미지를 활용하여 주변 차량에 대한 정확한 정보를 생성하는 효과가 있다.

또한, 본 발명은 긴급 차량의 원활한 통행이 이루어질 수 있도록 대상 차량의 자율 주행을 지원하는 효과가 있다.

또한, 본 발명은 주변 차량에 대한 다양한 정보를 참조하여 주변 차량의 주행 의도를 정확하게 예측하는 효과가 있다.

본 발명의 실시예의 설명에 이용되기 위하여 첨부된 아래 도면들은 본 발명의 실시예들 중 단지 일부일 뿐이며, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자(이하 "통상의 기술자")에게 있어서는 발명적 작업이 이루어짐 없이 이 도면들에 기초하여 다른 도면들이 얻어질 수 있다.
도 1은 본 발명에 따른 머신러닝에 기반하여 주변 차량 정보를 생성함으로써 자율 주행을 지원하기 위한 학습 장치를 개략적으로 도시한 것이고,
도 2는 본 발명에 따른 머신러닝에 기반하여 주변 차량 정보를 생성함으로써 자율 주행을 지원하기 위한 학습 방법을 설명하기 위한 도면이며,
도 3a 내지 도 3d는 본 발명에 따른 머신러닝에 기반하여 주변 차량 정보를 생성함으로써 자율 주행을 지원하기 위한 학습 방법을 설명하기 위한 도면이고,
도 4a 및 도 4b는 예측 주행 방향 정보를 생성하는 방법을 설명하기 위한 도면이며,
도 5는 본 발명에 따른 머신러닝에 기반하여 주변 차량 정보를 생성함으로써 자율 주행을 지원하기 위한 테스트 장치를 개략적으로 도시한 것이고,
도 6은 본 발명에 따른 머신러닝에 기반하여 주변 차량 정보를 생성함으로써 자율 주행을 지원하기 위한 테스트 방법을 설명하기 위한 도면이며,
도 7은 테스트용 주변 차량을 선택하는 방법을 설명하기 위한 도면이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명의 목적들, 기술적 해법들 및 장점들을 분명하게 하기 위하여 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 통상의 기술자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다.

또한, 본 발명의 상세한 설명 및 청구항들에 걸쳐, "포함하다"라는 단어 및 그것의 변형은 다른 기술적 특징들, 부가물들, 구성요소들 또는 단계들을 제외하는 것으로 의도된 것이 아니다. 통상의 기술자에게 본 발명의 다른 목적들, 장점들 및 특성들이 일부는 본 설명서로부터, 그리고 일부는 본 발명의 실시로부터 드러날 것이다. 아래의 예시 및 도면은 실례로서 제공되며, 본 발명을 한정하는 것으로 의도된 것이 아니다.

더욱이 본 발명은 본 명세서에 표시된 실시예들의 모든 가능한 조합들을 망라한다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

도 1은 머신러닝에 기반하여 주변 차량 정보를 생성함으로써 자율 주행을 지원하기 위한 학습 장치(1000)를 개략적으로 도시한 것으로, 학습 장치(1000)는 머신러닝에 기반하여 주변 차량 정보를 생성함으로써 자율 주행을 지원하기 위한 인스트럭션들을 저장하는 메모리(1001)와 메모리(1001)에 저장된 인스트럭션들에 대응하여 머신러닝에 기반하여 주변 차량 정보를 생성함으로써 자율 주행을 지원하는 동작을 수행하는 프로세서(1002)를 포함할 수 있다.

구체적으로, 학습 장치(1000)는 전형적으로 컴퓨팅 장치(예컨대, 컴퓨터 프로세서, 메모리, 스토리지, 입력 장치 및 출력 장치, 기타 기존의 컴퓨팅 장치의 구성요소들을 포함할 수 있는 장치; 라우터, 스위치 등과 같은 전자 통신 장치; 네트워크 부착 스토리지(NAS) 및 스토리지 영역 네트워크(SAN)와 같은 전자 정보 스토리지 시스템)와 컴퓨터 소프트웨어(즉, 컴퓨팅 장치로 하여금 특정의 방식으로 기능하게 하는 인스트럭션들)의 조합을 이용하여 원하는 시스템 성능을 달성하는 것일 수 있다.

또한, 컴퓨팅 장치의 프로세서는 MPU(Micro Processing Unit) 또는 CPU(Central Processing Unit), 캐쉬 메모리(Cache Memory), 데이터 버스(Data Bus) 등의 하드웨어 구성을 포함할 수 있다. 또한, 컴퓨팅 장치는 운영체제, 특정 목적을 수행하는 애플리케이션의 소프트웨어 구성을 더 포함할 수도 있다.

그러나, 컴퓨팅 장치가 본 발명을 실시하기 위한 미디엄, 프로세서 및 메모리가 통합된 형태인 integrated 프로세서를 포함하는 경우를 배제하는 것은 아니다.

이와 같이 구성된 학습 장치(1000)를 이용하여 머신러닝에 기반하여 주변 차량 정보를 생성함으로써 자율 주행을 지원하기 위한 학습 방법에 대해 도 2, 도 3a 내지 도 3d, 도 4a 및 도 4b를 참조하여 설명하면 다음과 같다.

참고로, 아래에서 각각의 구성요소들이 단수로 기재되었다고 하더라도, 복수의 가능성을 배제하는 것은 아니다.

먼저, 전체 학습 과정에 대해 도 2를 참조하여 설명하기로 한다.

(i) 현재 입력 이미지에 포함된 주변 차량을 검출하여 획득되는 현재 검출 이미지 또는 이로부터 생성된 현재 가공 이미지, 및 (ii) 소스 사운드 데이터로부터 생성된 가공 사운드 데이터가 컨캐터네이션됨으로써 생성되는 컨캐터네이티드 입력 데이터가 획득되면, 학습 장치(1000)는, 컨캐터네이티드 입력 데이터를 공유 인코더(1100)에 입력하여, 공유 인코더(1100)로 하여금 현재 공유 특징 맵을 생성하도록 할 수 있다.

이때, 현재 검출 이미지는, 대상 차량(가령, 현재 입력 이미지를 생성하는 이미지 센서가 장착된 차량)의 주행 중 또는 정차 중에 이미지 센서를 통해 획득되는 현재 입력 이미지에 포함된 주변 차량을 객체 검출 모델이 검출함으로써 획득될 수 있다.

또한, 현재 가공 이미지는, 현재 검출 이미지 상에서 주변 차량에 대응되는 영역을 크롭(crop)한 이미지일 수 있다. 참고로, 현재 검출 이미지 또는 현재 가공 이미지의 크기는, 공유 인코더(1100)에 입력되기 위한 기설정된 크기로 리사이즈(resize)될 수 있다. 참고로, 현재 검출 이미지 또는 현재 가공 이미지 상의 주변 차량은, 긴급 차량(가령, 소방차, 구급차, 경찰차 등)일 수 있으나, 이에 한정되는 것은 아니다. 가령, 주변 차량은 긴급 차량이 아닌 일반 차량일 수도 있다.

또한, 소스 사운드 데이터는, 데이터 수집 차량이 도로에서 마이크로폰 센서를 통해 획득한 데이터로서, 긴급 차량의 사이렌 소리에 대한 정보를 포함할 수 있으나, 이에 한정되는 것은 아니다. 가령, 소스 사운드 데이터는, 도로에서 발생할 수 있는 일반적인 소리(가령, 경적음, 배기음, 풍절음 등)에 관한 정보를 포함할 수도 있다.

그리고, 소스 사운드 데이터로부터 생성되는 가공 사운드 데이터는, 소스 사운드 데이터에 국소 푸리에 변환(Short-Time Fourier Transform) 연산을 적용하여 스펙트로그램을 생성한 후, 스펙트로그램에 필터링 연산을 적용함으로써 생성될 수 있다. 가령, 스펙트로그램에 적용되는 필터링 연산으로, 멜(mel) 필터링 연산이 적용될 수 있으나, 이에 한정되는 것은 아니다.

이때, 컨캐터네이티드 입력 데이터는, 현재 검출 이미지 또는 현재 가공 이미지의 사이즈(가령, 가로 및 세로 길이)에 대응되는 사이즈를 가지도록 생성될 수 있다.

일례로, 소스 사운드 데이터에 대응되는 멜 주파수 밴드가 현재 검출 이미지 또는 현재 가공 이미지의 세로(높이) 길이보다 작을 경우, 멜 주파수 밴드 외 영역에 대해서는 0을 할당함으로써, 가공 사운드 데이터의 세로(높이) 길이가, 현재 검출 이미지 또는 현재 가공 이미지의 세로(높이) 길이와 동일하게 되도록 가공 사운드 데이터를 생성할 수 있다.

가령, 소스 사운드 데이터의 크기가 44100*3*1(샘플링레이트 44100, 측정 시간 3초, 채널 1)이고, 현재 검출 이미지 또는 현재 가공 이미지의 크기가 3*256*256*3(배치 사이즈 3, 가로 3, 세로 3, 채널 3)인 경우, 상기에서 설명한 방식을 통해 소스 사운드 데이터의 크기를 256*256*1로 변환하고, 현재 검출 이미지 또는 현재 가공 이미지의 배치 사이즈(3)만큼 특징을 복사함으로써 3*256*256*1 크기의 가공 사운드 데이터를 생성한 후, 가공 사운드 데이터를 현재 검출 이미지 또는 현재 가공 이미지에 컨캐터네이션함으로써 컨캐터네이티드 입력 데이터를 획득할 수 있다.

또한, 공유 인코더(1100)는, 후술할 각각의 레이어에서 공통적으로 이용할 수 있는 특징을 컨캐터네이티드 입력 데이터로부터 추출하는 동작을 수행할 수 있다. 일례로, 공유 인코더(1100)로서, ResNet, VGGNet 및 MobileNet 중 어느 하나가 이용될 수 있으나, 이는 이해를 돕기 위한 예시에 불과하며, 본 발명이 이에 한정되는 것은 아니다.

그리고, 학습 장치(1000)는, 현재 공유 특징 맵을 시계열 특징 맵 융합 레이어(1200)에 입력하여 시계열 특징 맵 융합 레이어(1200)로 하여금 현재 공유 특징 맵 및 이에 대응되는 적어도 하나의 과거 공유 특징 맵을 참조하여 시계열 융합 특징 맵을 생성하도록 할 수 있다.

일례로, 학습 장치(1000)는, 현재 공유 특징 맵을 시계열 특징 맵 융합 레이어(1200)에 입력하여 시계열 특징 맵 융합 레이어(1200)로 하여금 컨볼루셔널 LSTM(long short term memory)을 통해 현재 공유 특징 맵 및 이에 대응되는 적어도 하나의 과거 공유 특징 맵을 참조하여 시계열 융합 특징 맵을 생성하도록 할 수 있다. 이때, 현재 공유 특징 맵 및 과거 공유 특징 맵의 채널 수를 감소시키기 위해, 1*1 컨볼루션 연산이 추가로 적용될 수 있다.

그리고, 학습 장치(1000)는, (i) 시계열 융합 특징 맵을 자동차 타입 헤더 레이어(1310)에 입력하여 자동차 타입 헤더 레이어(1310)로 하여금 현재 자동차 타입 특징 맵을 생성하도록 하고, 현재 자동차 타입 특징 맵을 자동차 타입 추정 레이어(1320)에 입력하여 자동차 타입 추정 레이어(1320)로 하여금 현재 검출 이미지 또는 현재 가공 이미지에 포함된 주변 차량의 종류(가령, 소방차, 구급차, 경찰차 등)를 나타내는 현재 예측 자동차 타입 정보를 출력하도록 하는 프로세스, (ii) 시계열 융합 특징 맵을 자동차 포즈 헤더 레이어(1410)에 입력하여 자동차 포즈 헤더 레이어(1410)로 하여금 현재 자동차 포즈 특징 맵을 생성하도록 하고, 현재 자동차 포즈 특징 맵을 자동차 포즈 추정 레이어(1420)에 입력하여 자동차 포즈 추정 레이어(1420)로 하여금 주변 차량의 포즈(가령, 이미지 상에서 나타나는 주변 차량의 정면, 후면, 우측면, 좌측면, 전방 좌측면, 전방 우측면, 후방 좌측면 및 후방 우측면 중 어느 하나)를 나타내는 현재 예측 자동차 포즈 정보를 출력하도록 하는 프로세스, (iii) 시계열 융합 특징 맵을 키포인트 헤더 레이어(1510)에 입력하여 키포인트 헤더 레이어(1510)로 하여금 주변 차량의 복수의 키포인트(가령, 주변 차량을 육면체로 가정할 때, 전방 좌측 하단 꼭짓점, 전방 우측 하단 꼭짓점, 후방 좌측 하단 꼭짓점 및 후방 우측 하단 꼭짓점)에 대응되는 현재 키포인트 특징 맵을 생성하도록 하고, 현재 키포인트 특징 맵을 키포인트 추정 레이어(1520)에 입력하여 키포인트 추정 레이어(1520)로 하여금 주변 차량의 복수의 키포인트에 대응되는 현재 예측 키포인트 정보를 출력하도록 하는 프로세스 및 (iv) 시계열 융합 특징 맵을 사이렌 헤더 레이어(1610)에 입력하여 사이렌 헤더 레이어(1610)로 하여금 주변 차량의 사이렌 취명 상태에 대응되는 현재 사이렌 취명 상태 특징 맵을 생성하도록 하고, 현재 사이렌 취명 상태 특징 맵을 사이렌 취명 상태 추정 레이어(1620)에 입력하여 사이렌 취명 상태 추정 레이어(1620)로 하여금 주변 차량의 사이렌 취명 상태를 나타내는 현재 예측 사이렌 취명 상태 정보를 출력하도록 하는 프로세스 중 적어도 일부를 수행할 수 있다.

참고로, 학습 장치(1000)는, 도 2에서 도시하는 바와 같이, 자동차 타입 헤더 레이어(1310) 및 자동차 포즈 헤더 레이어(1410) 총 2개의 레이어 각각으로 하여금 현재 자동차 타입 특징 맵 및 현재 자동차 포즈 특징 맵 각각을 생성하도록 할 수 있으나, 이에 한정되는 것은 아니다. 가령, 학습 장치(1000)는, 1개의 헤더 레이어로 하여금 현재 자동차 타입 특징 맵 및 현재 자동차 포즈 특징 맵을 생성하도록 할 수 있다.

또한, 상기에서는 주변 차량의 종류로서, 소방차, 구급차, 경찰차를 언급하였으나, 주변 차량이 소방차, 구급차, 경찰차 등의 긴급 차량으로 한정되는 것은 아니다. 가령, 현재 예측 자동차 타입 정보가 나타내는 주변 차량의 종류에는, 버스, 화물차, 세단, SUV가 포함될 수 있다.

그리고, 학습 장치(1000)는, 현재 예측 자동차 타입 정보, 현재 예측 자동차 포즈 정보, 현재 예측 키포인트 정보, 현재 예측 사이렌 취명 상태 정보, 및 이에 각각 대응되는 현재 GT 자동차 타입 정보, 현재 GT 자동차 포즈 정보, 현재 GT 키포인트 정보 및 현재 GT 사이렌 취명 상태 정보 중 적어도 일부를 참조하여 자동차 타입 로스, 자동차 포즈 로스, 키포인트 로스 및 사이렌 취명 상태 로스 중 적어도 일부를 생성하고, 자동차 타입 로스, 자동차 포즈 로스, 키포인트 로스 및 사이렌 취명 상태 로스 중 적어도 일부를 이용하여 백프로퍼게이션을 수행함으로써 공유 인코더(1100), 시계열 특징 맵 융합 레이어(1200), 자동차 타입 헤더 레이어(1310), 자동차 타입 추정 레이어(1320), 자동차 포즈 헤더 레이어(1410), 자동차 포즈 추정 레이어(1420), 키포인트 헤더 레이어(1510), 키포인트 추정 레이어(1520), 사이렌 헤더 레이어(1610) 및 사이렌 취명 상태 추정 레이어(1620) 중 적어도 일부의 파라미터를 학습할 수 있다.

지금까지, 전체 학습 과정에 대해 도 2를 참조하여 개괄적으로 설명하였으며, 아래에서는, 각각의 레이어의 예시적인 구성 및 동작에 대해 도 3a 내지 도 3d를 참조하여 설명하기로 한다.

참고로, 도 3a 내지 도 3d에 기재된 각각의 레이어에 포함된 서브 레이어(가령, 에버리지 풀링 레이어, 소프트맥스 레이어, FC(fully connected) 레이어 등)의 종류 및 개수는 예시일 뿐, 본 발명이 이에 한정되는 것은 아니다.

먼저, 도 3a를 참조하면, 학습 장치(1000)는, 시계열 융합 특징 맵을 자동차 타입 헤더 레이어(1310)에 입력하여 자동차 타입 헤더 레이어(1310)로 하여금 (i) 컨볼루션 레이어를 통해 시계열 융합 특징 맵에 컨볼루션 연산을 적용하도록 한 후, (ii) 애버리지 풀링 레이어를 통해 애버리지 풀링 연산을 적용하도록 함으로써 현재 자동차 타입 특징 맵을 생성하도록 할 수 있다.

참고로, 설명의 편의상, 자동차 타입 헤더 레이어(1310)에 기재된 (2*8*8*256)에 대해 대표적으로 설명하면, 배치 사이즈(batch size) 3의 시계열 융합 특징 맵에 대해 컨볼루션 연산이 적용됨으로써 생성되는 중간 출력물의 가로*세로 크기가 8*8이고, 채널의 개수가 256인 것을 의미한다.

그리고, 학습 장치(1000)는, 현재 자동차 타입 특징 맵을 자동차 타입 추정 레이어(1320)에 입력하여 자동차 타입 추정 레이어(1320)로 하여금 (i) FC 레이어를 통해 현재 자동차 타입 특징 맵에 FC 연산을 적용하도록 한 후, (ii) 소프트맥스 레이어를 통해 소프트맥스 연산을 적용하도록 함으로써 컨캐터네이티드 입력 데이터에 대응되는 주변 차량의 종류를 나타내는 현재 예측 자동차 타입 정보를 출력하도록 할 수 있다.

다음으로, 도 3b를 참조하면, 학습 장치(1000)는, 시계열 융합 특징 맵을 자동차 포즈 헤더 레이어(1410)에 입력하여 자동차 포즈 헤더 레이어(1410)로 하여금 (i) 컨볼루션 레이어를 통해 시계열 융합 특징 맵에 컨볼루션 연산을 적용하도록 한 후, (ii) 애버리지 풀링 레이어를 통해 애버리지 풀링 연산을 적용하도록 함으로써 현재 자동차 포즈 특징 맵을 생성하도록 할 수 있다.

그리고, 학습 장치(1000)는, 현재 자동차 포즈 특징 맵을 자동차 포즈 추정 레이어(1420)에 입력하여 자동차 포즈 추정 레이어(1420)로 하여금 (i) FC 레이어를 통해 현재 자동차 포즈 특징 맵에 FC 연산을 적용하도록 한 후, (ii) 소프트맥스 레이어를 통해 소프트맥스 연산을 적용하도록 함으로써 주변 차량의 포즈를 나타내는 현재 예측 자동차 포즈 정보를 출력하도록 할 수 있다.

이때, 도 3b에서 도시하는 바와 같이, 학습 장치(1000)는, 현재 자동차 포즈 특징 맵을 이동 방향 추정 레이어(1430)에 추가로 입력하여, 이동 방향 추정 레이어(1430)로 하여금 FC 레이어를 통해 현재 자동차 포즈 특징 맵에 FC 연산을 적용하도록 한 후, 소프트맥스 레이어를 통해 소프트맥스 연산을 적용하도록 함으로써 주변 차량의 이동 방향에 대응되는 현재 예측 이동 방향 정보를 생성하도록 하는 프로세스를 추가로 수행할 수 있다.

일례로, 학습 장치(1000)는, 이동 방향 추정 레이어(1430)에 포함된 이동 방향 각도 추정 레이어 및 이동 방향 변화율 추정 레이어 각각에 현재 자동차 포즈 특징 맵을 추가로 입력하여, 이동 방향 각도 추정 레이어 및 이동 방향 변화율 추정 레이어 각각으로 하여금 각각의 FC 레이어를 통해 현재 자동차 포즈 특징 맵에 FC 연산을 각각 적용하도록 한 후, 각각의 소프트맥스 레이어를 통해 소프트맥스 연산을 각각 적용하도록 함으로써 주변 차량의 이동 방향에 대응되는 현재 예측 이동 방향 정보로서의 현재 예측 이동 방향 각도 정보 및 현재 예측 이동 방향 변화율 정보를 생성하도록 하는 프로세스를 추가로 수행할 수 있다.

참고로, 현재 예측 이동 방향 정보로서의 현재 예측 이동 방향 각도 정보는, 현재 자동차 포즈 특징 맵을 참조하여 주변 차량의 주행 방향을 러프하게 예측한 값으로서, 키포인트의 대부분이 가려짐으로 인해서 키포인트들의 위치로부터 주변 차량의 주행 방향을 계산하기 어려울 경우에 주행 방향 정보로서 이용되는 정보일 수 있다.

가령, 0° 내지 360°를 아래 표 1과 같이 12개 구간(즉, 12개의 클래스)으로 분류한 상태에서, 이동 방향 추정 레이어에 포함된 이동 방향 각도 추정 레이어는, 현재 자동차 포즈 특징 맵을 참조하여 12개 클래스 중 어느 하나의 클래스(가령, 10 bin class)를 예측할 수 있으며, 이 경우, 10 bin class에 대응되는 각도 구간인 285°≤θ<315°의 중간값인 300°를 주행 방향 정보로 삼을 수 있다.

Bin class	각도
0	345°≤θ<15°
1	15°≤θ<45°
2	45°≤θ<75°
3	75°≤θ<105°
4	105°≤θ<135°
5	135°≤θ<165°
6	165°≤θ<195°
7	195°≤θ<225°
8	225°≤θ<255°
9	255°≤θ<285°
10	285°≤θ<315°
11	315°≤θ<345°

또한, 현재 예측 이동 방향 변화율 정보로서의 현재 예측 이동 방향 변화율 정보는, 현재 공유 특징 맵 및 이에 대응되는 과거 공유 특징 맵이 참조되어 생성된 시계열 융합 특징 맵에 대응되는 현재 자동차 포즈 특징 맵을 참조하여 주변 차량의 주행 방향 변화율을 러프하게 예측한 값일 수 있다.

일례로, 이동 방향 변화율 추정 레이어는, 현재 자동차 포즈 특징 맵을 참조하여 복수의 클래스 중 특정 클래스를 예측할 수 있다.

가령, 이동 방향 변화율 추정 레이어에 의해 예측된 특정 클래스는, 10개의 프레임당 10°의 이동 방향 변화율에 대응되는 특정 클래스일 수 있으며, 이때, 10개의 프레임은, 이동 방향 변화율 추정을 위해 기설정된 개수의 프레임(가령, 현재 시점에 가장 근접한 9개의 과거 프레임 및 1개의 현재 프레임) 일 수 있다.

그리고, 위와 같이 현재 예측 이동 방향 정보가 생성되면, 학습 장치(1000)는, 현재 예측 이동 방향 정보 및 이에 대응되는 현재 GT 이동 방향 정보를 추가로 참조하여 이동 방향 로스를 추가로 생성하고, 이동 방향 로스를 추가로 이용하여 백프로퍼게이션을 수행함으로써 공유 인코더(1100), 시계열 특징 맵 융합 레이어(1200), 자동차 타입 헤더 레이어(1310), 자동차 타입 추정 레이어(1320), 자동차 포즈 헤더 레이어(1410), 자동차 포즈 추정 레이어(1420), 이동 방향 추정 레이어(1430), 키포인트 헤더 레이어(1510), 키포인트 추정 레이어(1520), 사이렌 헤더 레이어(1610), 사이렌 취명 상태 추정 레이어(1620) 중 적어도 일부의 파라미터를 학습할 수 있다.

일례로, 현재 예측 이동 방향 정보로서의 현재 예측 이동 방향 각도 정보 및 현재 예측 이동 방향 변화율 정보가 생성되면, 학습 장치(1000)는, (i) 현재 예측 이동 방향 각도 정보 및 이에 대응되는 현재 GT 이동 방향 각도 정보 및 (ii) 현재 예측 이동 방향 변화율 정보 및 이에 대응되는 현재 GT 이동 방향 변화율 정보를 추가로 참조하여 이동 방향 각도 로스 및 이동 방향 변화율 로스를 추가로 생성하고, 이동 방향 각도 로스 및 이동 방향 변화율 로스를 추가로 이용하여 백프로퍼게이션을 수행함으로써 공유 인코더(1100), 시계열 특징 맵 융합 레이어(1200), 자동차 타입 헤더 레이어(1310), 자동차 타입 추정 레이어(1320), 자동차 포즈 헤더 레이어(1410), 자동차 포즈 추정 레이어(1420), 이동 방향 추정 레이어(1430)(즉, 이동 방향 각도 추정 레이어(미도시), 이동 방향 변화율 추정 레이어(미도시)), 키포인트 헤더 레이어(1510), 키포인트 추정 레이어(1520), 사이렌 헤더 레이어(1610), 사이렌 취명 상태 추정 레이어(1620) 중 적어도 일부의 파라미터를 학습할 수 있다.

다음으로, 도 3c를 참조하면, 학습 장치(1000)는, 시계열 융합 특징 맵을 키포인트 헤더 레이어(1510)에 입력하여 키포인트 헤더 레이어(1510)로 하여금 컨볼루션 레이어를 통해 시계열 융합 특징 맵에 컨볼루션 연산을 적용하도록 함으로써 주변 차량의 복수의 키포인트에 대응되는 현재 키포인트 특징 맵을 생성하도록 할 수 있다.

그리고, 학습 장치(1000)는, 현재 키포인트 특징 맵을 키포인트 추정 레이어(1520)에 입력하여 키포인트 추정 레이어(1520)로 하여금 주변 차량의 복수의 키포인트에 대응되는 현재 예측 키포인트 정보를 출력하도록 할 수 있다.

이때, 도 3c에서 도시하는 바와 같이, 키포인트 추정 레이어(1520)는, 키포인트 위치 추정 레이어(1521) 및 키포인트 차폐도 추정 레이어(1522)를 포함할 수 있다.

도 3c를 참조하면, 학습 장치(1000)는, 키포인트 위치 추정 레이어(1521)로 하여금 FC 레이어를 통해 현재 키포인트 특징 맵에 FC 연산을 적용하도록 함으로써 현재 예측 키포인트 위치 정보를 현재 예측 키포인트 정보로서 출력하도록 할 수 있다.

참고로, 현재 예측 키포인트 위치 정보는, 현재 예측 키포인트 센터 정보 및 현재 예측 키포인트 좌표 정보를 포함할 수 있다.

이때, 현재 예측 키포인트 센터 정보는, 복수의 키포인트의 중심(가령, 동일한 객체에 대한 복수의 키포인트의 이미지 상에서의 좌표의 평균 또는 무게 중심)을 추정한 정보일 수 있다.

또한, 현재 예측 키포인트 좌표 정보는, 복수의 키포인트의 센터를 기준으로 하는, 복수의 키포인트 각각의 상대적 위치를 추정한 정보일 수 있다.

가령, 주변 차량의 전방 좌측면, 전방 우측면, 후방 좌측면 및 후방 우측면 하단의 4개의 꼭짓점을 키포인트라고 할 때, 현재 예측 키포인트 위치 정보로서의 현재 예측 키포인트 센터 정보는, 이미지 상에서의 4개의 키포인트의 중심의 좌표에 관한 정보를 포함할 수 있으며, 현재 예측 키포인트 위치 정보로서의 현재 예측 키포인트 좌표 정보는, 이미지 상에서의 4개의 키포인트의 센터를 기준으로 하는, 4개의 키포인트 각각의 상대적 위치에 관한 정보를 포함할 수 있다.

또한, 학습 장치(1000)는, 키포인트 차폐도 추정 레이어(1522)로 하여금 (i) FC 레이어를 통해 현재 키포인트 특징 맵에 FC 연산을 적용하도록 한 후, (ii) 시그모이드 레이어를 통해 시그모이드 연산을 적용하도록 함으로써 현재 예측 키포인트 차폐도 정보를 현재 예측 키포인트 정보로서 출력하도록 할 수 있다. 가령, 키포인트 차폐도 추정 레이어(1522)는, 각각의 키포인트에 대하여, 가려진 경우 1에 가까운 값을 출력하고, 가려지지 않은 경우 0에 가까운 값을 출력할 수 있다.

그리고, 위와 같이 현재 예측 키포인트 정보로서 현재 예측 키포인트 위치 정보 및 현재 예측 키포인트 차폐도 정보가 생성되면, 학습 장치(1000)는, 현재 예측 키포인트 위치 정보, 현재 예측 키포인트 차폐도 정보, 및 이에 각각 대응되는 현재 GT 키포인트 위치 정보 및 현재 GT 키포인트 차폐도 정보를 참조하여 키포인트 위치 로스 및 키포인트 차폐도 로스를 키포인트 로스로서 생성하고, 자동차 타입 로스, 자동차 포즈 로스, 키포인트 위치 로스, 키포인트 차폐도 로스 및 사이렌 취명 상태 로스 중 적어도 일부를 이용하여 백프로퍼게이션을 수행함으로써 공유 인코더(1100), 시계열 특징 맵 융합 레이어(1200), 자동차 타입 헤더 레이어(1310), 자동차 타입 추정 레이어(1320), 자동차 포즈 헤더 레이어(1410), 자동차 포즈 추정 레이어(1420), 키포인트 헤더 레이어(1510), 키포인트 위치 추정 레이어(1521), 키포인트 차폐도 추정 레이어(1522), 사이렌 헤더 레이어(1610) 및 사이렌 취명 상태 추정 레이어(1620) 중 적어도 일부의 파라미터를 학습할 수 있다.

일례로, 현재 예측 키포인트 센터 정보, 현재 예측 키포인트 좌표 정보 및 현재 예측 키포인트 차폐도 정보가 생성되면, 학습 장치(1000)는, 현재 예측 키포인트 센터 정보, 현재 예측 키포인트 좌표 정보, 현재 예측 키포인트 차폐도 정보, 및 이에 각각 대응되는 현재 GT 키포인트 센터 정보, 현재 GT 키포인트 좌표 정보 및 현재 GT 키포인트 차폐도 정보를 참조하여 키포인트 센터 로스, 키포인트 좌표 로스 및 키포인트 차폐도 로스를 키포인트 로스로서 생성하고, 자동차 타입 로스, 자동차 포즈 로스, 키포인트 센터 로스, 키포인트 좌표 로스, 키포인트 차폐도 로스 및 사이렌 취명 상태 로스 중 적어도 일부를 이용하여 백프로퍼게이션을 수행함으로써 공유 인코더(1100), 시계열 특징 맵 융합 레이어(1200), 자동차 타입 헤더 레이어(1310), 자동차 타입 추정 레이어(1320), 자동차 포즈 헤더 레이어(1410), 자동차 포즈 추정 레이어(1420), 키포인트 헤더 레이어(1510), 키포인트 위치 추정 레이어(1521), 키포인트 차폐도 추정 레이어(1522), 사이렌 헤더 레이어(1610) 및 사이렌 취명 상태 추정 레이어(1620) 중 적어도 일부의 파라미터를 학습할 수 있다.

이때, 도 3c에는 도시되지 않았지만, 더 정확한 키포인트 정보를 출력하기 위한 학습 방법으로서, 키포인트 추정 레이어(1520)는, 키포인트 위치 추정 보조 레이어를 추가로 포함할 수 있다.

일례로, 학습 장치(1000)는, 키포인트 위치 추정 보조 레이어로 하여금 FC 레이어를 통해 현재 키포인트 특징 맵에 FC 연산을 적용하도록 함으로써 이미지 상에서의 각각의 키포인트의 좌표를 나타내는 현재 예측 키포인트 위치 보조 정보를 추가로 출력하도록 할 수 있다.

위와 같이, 현재 예측 키포인트 위치 보조 정보가 추가로 생성되면, 학습 장치(1000)는, 현재 예측 키포인트 위치 보조 정보 및 이에 대응되는 현재 GT 키포인트 위치 보조 정보를 추가로 참조하여 키포인트 위치 보조 로스를 추가로 생성하고, 키포인트 위치 보조 로스를 추가로 이용하여 백프로퍼게이션을 수행함으로써 공유 인코더(1100), 시계열 특징 맵 융합 레이어(1200), 자동차 타입 헤더 레이어(1310), 자동차 타입 추정 레이어(1320), 자동차 포즈 헤더 레이어(1410), 자동차 포즈 추정 레이어(1420), 키포인트 헤더 레이어(1510), 키포인트 위치 추정 레이어(1521), 키포인트 위치 추정 보조 레이어(미도시), 키포인트 차폐도 추정 레이어(1522), 사이렌 헤더 레이어(1610) 및 사이렌 취명 상태 추정 레이어(1620) 중 적어도 일부의 파라미터를 학습할 수 있다.

한편, 도 3d를 참조하면, 학습 장치(1000)는, 시계열 융합 특징 맵을 사이렌 헤더 레이어(1610)에 입력하여 사이렌 헤더 레이어(1610)로 하여금 (i) 컨볼루션 레이어를 통해 시계열 융합 특징 맵에 컨볼루션 연산을 적용하도록 한 후, (ii) 애버리지 풀링 레이어를 통해 애버리지 풀링 연산을 적용하도록 함으로써 주변 차량의 사이렌 취명 상태에 대응되는 현재 사이렌 취명 상태 특징 맵을 생성하도록 할 수 있다.

그리고, 학습 장치(1000)는, 현재 사이렌 취명 상태 특징 맵을 사이렌 취명 상태 추정 레이어(1620)에 입력하여 사이렌 취명 상태 추정 레이어(1620)로 하여금 (i) FC 레이어를 통해 현재 사이렌 취명 상태 특징 맵에 FC 연산을 적용하도록 한 후, (ii) 시그모이드 레이어를 통해 시그모이드 연산을 적용하도록 함으로써 주변 차량의 사이렌 취명 상태를 나타내는 현재 예측 사이렌 취명 상태 정보를 출력하도록 할 수 있다.

참고로, 자동차 타입 로스 및 자동차 포즈 로스 각각을 생성하기 위한 손실 함수로서 크로스-엔트로피 함수가 사용될 수 있고, 키포인트 위치 로스를 생성하기 위한 손실 함수로서 L1 로스 함수 또는 Soft-L1 로스 함수가 사용될 수 있으며, 키포인트 차폐도 로스를 생성하기 위한 손실 함수로서 L1 로스 함수 또는 Smooth L1 로스 함수가 사용될 수 있고, 이동 방향 로스를 생성하기 위한 손실 함수로서 크로스-엔트로피 함수가 사용될 수 있으며, 사이렌 취명 상태 로스를 생성하기 위한 손실 함수로서 smooth L1 로스 함수가 사용될 수 있고, 후술할 주행 방향 로스를 생성하기 위한 손실 함수로서 L1 로스 함수 또는 Soft-L1 로스 함수가 사용될 수 있으며, 키포인트 위치 보조 로스를 생성하기 위한 손실 함수로서 L1 로스 함수 또는 Soft-L1 로스 함수가 사용될 수 있다. 다만, 이는 이해를 돕기 위한 예시일 뿐, 본 발명이 이에 한정되는 것은 아니다.

한편, 도 4a에서 도시하는 바와 같이, 대상 차량과 특정 주변 차량의 상대적인 위치에 따라, 특정 주변 차량의 전체 키포인트(가령, 특정 주변 차량의 전방 좌측면(front left), 전방 우측면(front right), 후방 좌측면(back left) 및 후방 우측면(back right) 하단의 4개의 꼭짓점) 중 일부가 가려지는 경우가 발생할 수 있다. 이와 같은 경우, 학습 장치(1000)는, 가려지는 키포인트의 개수 또는 비율에 따라, 방식을 달리하여 후술할 현재 예측 주행 방향 정보를 생성할 수 있다.

일례로, 도 4a에서 도시하는 바와 같이, 복수의 키포인트(가령, 4개) 중 차폐 키포인트(즉, 주변 차량의 복수의 키포인트 중, 현재 검출 이미지 또는 현재 가공 이미지 상의 비차폐 키포인트를 제외한 키포인트)의 개수(가령, 1개)가 임계치(가령, 2개) 미만이거나, 복수의 키포인트(가령, 4개) 중 차폐 키포인트(가령, 1개)의 비율이 임계비율(가령, 30%) 미만인 경우, 학습 장치(1000)는, 도 4b에서 도시하는 바와 같이, 현재 예측 자동차 포즈 정보 및 현재 예측 키포인트 위치 정보를 참조하여 현재 예측 주행 방향 정보(θ)를 생성할 수 있다. 즉, 학습 장치(1000)는, 현재 예측 자동차 포즈 정보(가령, 도 4b의 경우 후방 우측면)를 참조하여 4개의 키포인트(전방 좌측면, 전방 우측면, 후방 좌측면 및 후방 우측면) 중 3개의 키포인트(전방 우측면, 후방 좌측면 및 후방 우측면)를 현재 예측 주행 방향 정보를 생성하기 위한 키포인트로 선택하고, 3개의 키포인트의 위치 정보를 참조하여 현재 예측 주행 방향 정보를 생성할 수 있다.

만약, 복수의 키포인트 중 차폐 키포인트의 개수가 임계치 이상이거나, 복수의 키포인트 중 차폐 키포인트의 비율이 임계비율 이상인 경우(미도시), 키포인트의 대부분이 가려짐으로 인해서 키포인트들의 위치로부터 주변 차량의 주행 방향을 계산하기 어려운 경우에 해당하므로, 현재 예측 이동 방향 정보가 참조되어 현재 예측 주행 방향 정보가 생성될 수 있다.

그리고, 위와 같이 현재 예측 주행 방향 정보가 생성되면, 학습 장치(1000)는, 현재 예측 주행 방향 정보 및 이에 대응되는 현재 GT 주행 방향 정보를 추가로 참조하여 주행 방향 로스를 추가로 생성하고, 주행 방향 로스를 추가로 이용하여 백프로퍼게이션을 수행함으로써 공유 인코더(1100), 시계열 특징 맵 융합 레이어(1200), 자동차 타입 헤더 레이어(1310), 자동차 타입 추정 레이어(1320), 자동차 포즈 헤더 레이어(1410), 자동차 포즈 추정 레이어(1420), 이동 방향 추정 레이어(1430), 키포인트 헤더 레이어(1510), 키포인트 위치 추정 레이어(1521), 키포인트 차폐도 추정 레이어(1522), 사이렌 헤더 레이어(1610) 및 사이렌 취명 상태 추정 레이어(1620) 중 적어도 일부의 파라미터를 학습할 수 있다.

이때, 학습 장치(1000)는, 각각의 로스에 대해 가중치를 적용할 수 있다.

일례로, 학습 장치(1000)는, 자동차 타입 로스, 자동차 포즈 로스, 이동 방향 로스, 키포인트 위치 로스, 키포인트 차폐도 로스, 주행 방향 로스 및 사이렌 취명 상태 로스 중 적어도 일부 각각에 제1 로스 가중치, 제2 로스 가중치, 제3 로스 가중치, 제4 로스 가중치, 제5 로스 가중치, 제6 로스 가중치 및 제7 로스 가중치 중 적어도 일부를 각각 적용하여 자동차 타입 조정 로스, 자동차 포즈 조정 로스, 이동 방향 조정 로스, 키포인트 위치 조정 로스, 키포인트 차폐도 조정 로스, 주행 방향 조정 로스 및 사이렌 취명 상태 조정 로스 중 적어도 일부를 생성하고, 자동차 타입 조정 로스, 자동차 포즈 조정 로스, 이동 방향 조정 로스, 키포인트 위치 조정 로스, 키포인트 차폐도 조정 로스, 주행 방향 조정 로스 및 사이렌 취명 상태 조정 로스 중 적어도 일부를 이용하여 백프로퍼게이션을 수행함으로써 공유 인코더(1100), 시계열 특징 맵 융합 레이어(1200), 자동차 타입 헤더 레이어(1310), 자동차 타입 추정 레이어(1320), 자동차 포즈 헤더 레이어(1410), 자동차 포즈 추정 레이어(1420), 이동 방향 추정 레이어(1430), 키포인트 헤더 레이어(1510), 키포인트 위치 추정 레이어(1521), 키포인트 차폐도 추정 레이어(1522), 사이렌 헤더 레이어(1610) 및 사이렌 취명 상태 추정 레이어(1620) 중 적어도 일부의 파라미터를 학습할 수 있다. 여기서, 이동 방향 조정 로스는, 이동 방향 각도 로스 및 이동 방향 변화율 로스 중 적어도 일부에 제3 로스 가중치를 적용함으로써 획득될 수 있으며, 키포인트 위치 조정 로스는, 키포인트 센터 로스 및 키포인트 좌표 로스 중 적어도 일부에 제4 로스 가중치를 적용함으로써 획득될 수 있다.

또한, 키포인트 위치 보조 로스에 제8 로스 가중치를 적용함으로써 키포인트 위치 조정 보조 로스가 획득될 수도 있다.

이처럼, 학습 장치(1000)가 공유 인코더(1100), 시계열 특징 맵 융합 레이어(1200), 자동차 타입 헤더 레이어(1310), 자동차 타입 추정 레이어(1320), 자동차 포즈 헤더 레이어(1410), 자동차 포즈 추정 레이어(1420), 이동 방향 추정 레이어(1430), 키포인트 헤더 레이어(1510), 키포인트 추정 레이어(1520), 사이렌 헤더 레이어(1610) 및 사이렌 취명 상태 추정 레이어(1620)의 파라미터 중 적어도 일부를 학습한 상태에서, 컨캐터네이티드 테스트 데이터(현재 검출 테스트 이미지 또는 이로부터 생성된 현재 가공 테스트 이미지, 및 소스 사운드 테스트 데이터로부터 생성된 가공 사운드 테스트 데이터가 컨캐터네이션됨으로써 생성되는 데이터)가 획득되는 경우 테스트 장치의 동작에 대해 도 5 내지 도 7을 참조하여 설명하기로 한다.

먼저, 도 5를 참조하여, 머신러닝에 기반하여 주변 차량 정보를 생성함으로써 자율 주행을 지원하기 위한 테스트 장치(2000)에 대해 설명하겠다.

테스트 장치(2000)는, 머신러닝에 기반하여 주변 차량 정보를 생성함으로써 자율 주행을 지원하기 위한 인스트럭션들을 저장하는 메모리(2001)와 메모리(2001)에 저장된 인스트럭션들에 대응하여 머신러닝에 기반하여 주변 차량 정보를 생성함으로써 자율 주행을 지원하는 동작을 수행하는 프로세서(2002)를 포함할 수 있다.

구체적으로, 테스트 장치(2000)는 전형적으로 컴퓨팅 장치(예컨대, 컴퓨터 프로세서, 메모리, 스토리지, 입력 장치 및 출력 장치, 기타 기존의 컴퓨팅 장치의 구성요소들을 포함할 수 있는 장치; 라우터, 스위치 등과 같은 전자 통신 장치; 네트워크 부착 스토리지(NAS) 및 스토리지 영역 네트워크(SAN)와 같은 전자 정보 스토리지 시스템)와 컴퓨터 소프트웨어(즉, 컴퓨팅 장치로 하여금 특정의 방식으로 기능하게 하는 인스트럭션들)의 조합을 이용하여 원하는 시스템 성능을 달성하는 것일 수 있다.

이때, 테스트 장치(2000)는, 도 1에 도시된 학습 장치(1000)와 동일한 장치이거나, 서로 별개의 장치일 수 있다.

아래에서는 도 6을 참조하여 테스트 장치(2000)가 머신러닝에 기반하여 주변 차량 정보를 생성함으로써 자율 주행을 지원하는 과정에 대해 구체적으로 설명하겠다.

참고로, 학습 장치(1000)에 대해 설명한 내용과 동일/유사한 내용에 대해서는 중복되는 설명을 생략하기로 한다.

먼저, 현재 입력 테스트 이미지에 포함된 테스트용 주변 차량을 검출하여 획득되는 현재 검출 테스트 이미지 또는 이로부터 생성된 현재 가공 테스트 이미지, 및 소스 사운드 테스트 데이터로부터 생성된 가공 사운드 테스트 데이터가 컨캐터네이션됨으로써 생성되는 컨캐터네이티드 테스트 데이터가 획득되면, 테스트 장치(2000)는, 컨캐터네이티드 테스트 데이터를 공유 인코더(2100)에 입력하여, 공유 인코더(2100)로 하여금 테스트용 현재 공유 특징 맵을 생성하도록 할 수 있다.

일례로, 현재 입력 테스트 이미지가 획득되면, 테스트 장치(2000)는, 현재 입력 테스트 이미지를 객체 검출 모델에 입력하여 객체 검출 모델로 하여금 현재 입력 테스트 이미지에 포함된 테스트용 전체 차량에 대응되는 테스트용 전체 차량 검출 정보를 생성하도록 할 수 있다.

이때, 테스트용 전체 차량 검출 정보의 바운딩 박스들 중, 현재 입력 테스트 이미지 상에서 다른 주변 차량으로 인해 일부 영역이 가려진 특정 주변 차량에 대응되는 특정 바운딩 박스는, 특정 주변 차량의 가려진 영역까지도 포함하도록 생성될 수 있으나, 이에 한정되는 것은 아니며, 특정 주변 차량의 보이는 영역만 포함하도록 생성될 수도 있다.

그리고, 테스트 장치(2000)는, 테스트용 전체 차량 검출 정보 및 대상 차량의 위치 정보를 참조하여 테스트용 전체 차량 중 테스트용 주변 차량을 선택할 수 있다.

일례로, 테스트 장치는, 대상 차량의 바로 왼쪽 차로, 대상차량의 차로 및 대상 차량의 바로 오른쪽 차로에 위치하는 차량 중 대상 차량에 가장 가까이 위치하는 차량을 테스트용 주변 차량으로서 선택할 수 있다.

다른 예로, 테스트 장치(2000)는, 대상 차량의 위치를 기준으로 하는 기준 영역을 설정하고, (i) 테스트용 전체 차량 각각의 기준 위치(가령, 테스트용 전체 차량 각각의 후면 하단부)가 기준 영역에 포함되는지 여부 및 (ii) 테스트용 전체 차량의 바운딩 박스들 각각이 일정 비율 이상(가령, 20% 이상) 기준 영역에 포함되는지 여부를 참조하여 테스트용 주변 차량을 선택할 수 있다.

도 7을 참조하면, (i) 각각의 기준 위치(711, 721, 731)가 기준 영역(740) 내에 포함되며, (ii) 각각의 바운딩 박스(712, 722, 732)가 기준 영역(740) 내에 일정 비율 이상 포함된 테스트용 주변 차량(710, 720, 730)을 확인할 수 있다.

또 다른 예로, 테스트 장치(2000)는, 테스트용 전체 차량 검출 정보 및 대상 차량의 위치 정보를 참조하여 테스트용 전체 차량 중 특수 차량(가령, 소방차, 구급차, 경찰차 등)을 테스트용 주변 차량으로서 선택할 수 있다.

참고로, 현재 검출 테스트 이미지에 대해 버드 아이 뷰 변환을 적용하여, 대상 차량과 주변 차량 사이의 거리를 계산할 수 있다.

그리고, 다시 도 6을 참조하면, 테스트 장치(2000)는, 테스트용 주변 차량에 대응되는 영역을 크롭한 이미지인 현재 가공 테스트 이미지를 생성하고, (iv) 현재 가공 테스트 이미지 및 가공 사운드 테스트 데이터를 컨캐터네이션 함으로써 생성한 컨캐터네이티드 테스트 데이터를 공유 인코더(2100)에 입력하여 공유 인코더(2100)로 하여금 테스트용 현재 공유 특징 맵을 생성하도록 할 수 있다.

참고로, 소스 사운드 테스트 데이터로부터 가공 사운드 테스트 데이터를 생성하는 방식에 대해서는, 위에서 설명한, 학습 방법과 관련하여 가공 사운드 데이터를 생성하는 방식과 동일/유사하므로, 중복되는 설명을 생략하기로 한다.

그리고, 테스트 장치(2000)는, 테스트용 현재 공유 특징 맵을 시계열 특징 맵 융합 레이어(2200)에 입력하여, 시계열 특징 맵 융합 레이어(2200)로 하여금 테스트용 현재 공유 특징 맵을 참조하여 테스트용 시계열 융합 특징 맵을 생성하거나, 상기 테스트용 현재 공유 특징 맵 및 이에 대응되는 적어도 하나의 테스트용 과거 공유 특징 맵을 참조하여 상기 테스트용 시계열 융합 특징 맵을 생성하도록 할 수 있다.

참고로, 시계열 특징 맵 융합 레이어(2200)는, 테스트용 현재 공유 특징 맵 및 이에 대응되는 테스트용 과거 공유 특징 맵을 참조하여 테스트용 시계열 융합 특징 맵을 생성할 수 있으나, 이에 한정되는 것은 아니다. 가령, 시계열 특징 맵 융합 레이어(2200)는, 테스트용 현재 공유 특징 맵을 참조하여 테스트용 시계열 융합 특징 맵을 생성할 수도 있다. 즉, 테스트용 시계열 융합 특징 맵을 생성하기 위해 테스트용 과거 공유 특징 맵이 참조되어야만 하는 것은 아니다.

그리고, 테스트 장치(2000)는, (i) 테스트용 시계열 융합 특징 맵을 자동차 타입 헤더 레이어(2310)에 입력하여 자동차 타입 헤더 레이어(2310)로 하여금 테스트용 현재 자동차 타입 특징 맵을 생성하도록 하고, 테스트용 현재 자동차 타입 특징 맵을 자동차 타입 추정 레이어(2320)에 입력하여 자동차 타입 추정 레이어(2320)로 하여금 현재 검출 테스트 이미지 또는 현재 가공 테스트 이미지에 포함된 테스트용 주변 차량의 종류를 나타내는 테스트용 현재 예측 자동차 타입 정보를 출력하도록 하는 프로세스, (ii) 테스트용 시계열 융합 특징 맵을 자동차 포즈 헤더 레이어(2410)에 입력하여 자동차 포즈 헤더 레이어(2410)로 하여금 테스트용 현재 자동차 포즈 특징 맵을 생성하도록 하고, 테스트용 현재 자동차 포즈 특징 맵을 자동차 포즈 추정 레이어(2420)에 입력하여 자동차 포즈 추정 레이어(2420)로 하여금 테스트용 주변 차량의 포즈를 나타내는 테스트용 현재 예측 자동차 포즈 정보를 출력하도록 하는 프로세스, (iii) 테스트용 시계열 융합 특징 맵을 키포인트 헤더 레이어(2510)에 입력하여 키포인트 헤더 레이어(2510)로 하여금 테스트용 주변 차량의 복수의 테스트용 키포인트에 대응되는 테스트용 현재 키포인트 특징 맵을 생성하도록 하고, 테스트용 현재 키포인트 특징 맵을 키포인트 추정 레이어(2520)에 입력하여 키포인트 추정 레이어(2520)로 하여금 테스트용 주변 차량의 복수의 테스트용 키포인트에 대응되는 테스트용 현재 예측 키포인트 정보를 출력하도록 하는 프로세스 및 (iv) 테스트용 시계열 융합 특징 맵을 사이렌 헤더 레이어(2610)에 입력하여 사이렌 헤더 레이어(2610)로 하여금 테스트용 주변 차량의 사이렌 취명 상태에 대응되는 테스트용 현재 사이렌 취명 상태 특징 맵을 생성하도록 하고, 테스트용 현재 사이렌 취명 상태 특징 맵을 사이렌 취명 상태 추정 레이어(2620)에 입력하여 사이렌 취명 상태 추정 레이어(2620)로 하여금 테스트용 주변 차량의 사이렌 취명 상태를 나타내는 테스트용 현재 예측 사이렌 취명 상태 정보를 출력하도록 하는 프로세스 중 적어도 일부를 수행할 수 있다.

위와 같이, 테스트용 현재 예측 자동차 타입 정보, 테스트용 현재 예측 자동차 포즈 정보, 테스트용 현재 키포인트 정보, 테스트용 현재 예측 사이렌 취명 상태 정보 중 적어도 일부가 생성되면, 테스트 장치(2000)는, 테스트용 현재 예측 자동차 타입 정보, 테스트용 현재 예측 자동차 포즈 정보, 테스트용 현재 예측 키포인트 정보 및 테스트용 현재 예측 사이렌 취명 상태 정보 중 적어도 일부를 참조하여 테스트용 주변 차량 중 특정 테스트용 주변 차량의 주행 의도 정보(가령, 특정 테스트용 주변 차량이 직진을 하고 있는 상태인지, 좌회전/우회전을 하는 상태인지, 감속을 하는 상태인지, 비상등을 켠 상태인지, 주정차 상태인지, 특정 테스트용 주변 차량이 사이렌을 울리며 주행 중인지, 특정 테스트용 주변 차량이 대상 차량 주변 어디에 위치하는지에 관한 정보를 최종적으로 예측한 정보)를 생성할 수 있다.

또한, 이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims

머신러닝에 기반하여 주변 차량 정보를 생성함으로써 자율 주행을 지원하기 위한 학습 방법에 있어서,
(a) 현재 입력 이미지에 포함된 주변 차량을 검출하여 획득되는 현재 검출 이미지 또는 이로부터 생성된 현재 가공 이미지, 및 소스 사운드 데이터로부터 생성된 가공 사운드 데이터가 컨캐터네이션됨으로써 생성된 컨캐터네이티드 입력 데이터가 획득되면, 학습 장치가, (i) 상기 컨캐터네이티드 입력 데이터를 공유 인코더에 입력하여, 상기 공유 인코더로 하여금 현재 공유 특징 맵을 생성하도록 하고, (ii) 상기 현재 공유 특징 맵을 시계열 특징 맵 융합 레이어에 입력하여 상기 시계열 특징 맵 융합 레이어로 하여금 상기 현재 공유 특징 맵 및 이에 대응되는 적어도 하나의 과거 공유 특징 맵을 참조하여 시계열 융합 특징 맵을 생성하도록 하는 단계;
(b) 상기 학습 장치가, (i) 상기 시계열 융합 특징 맵을 자동차 타입 헤더 레이어에 입력하여 상기 자동차 타입 헤더 레이어로 하여금 현재 자동차 타입 특징 맵을 생성하도록 하고, 상기 현재 자동차 타입 특징 맵을 자동차 타입 추정 레이어에 입력하여 상기 자동차 타입 추정 레이어로 하여금 상기 현재 검출 이미지 또는 상기 현재 가공 이미지에 포함된 상기 주변 차량의 종류를 나타내는 현재 예측 자동차 타입 정보를 출력하도록 하는 프로세스, (ii) 상기 시계열 융합 특징 맵을 자동차 포즈 헤더 레이어에 입력하여 상기 자동차 포즈 헤더 레이어로 하여금 현재 자동차 포즈 특징 맵을 생성하도록 하고, 상기 현재 자동차 포즈 특징 맵을 자동차 포즈 추정 레이어에 입력하여 상기 자동차 포즈 추정 레이어로 하여금 상기 주변 차량의 포즈를 나타내는 현재 예측 자동차 포즈 정보를 출력하도록 하는 프로세스, (iii) 상기 시계열 융합 특징 맵을 키포인트 헤더 레이어에 입력하여 상기 키포인트 헤더 레이어로 하여금 상기 주변 차량의 복수의 키포인트에 대응되는 현재 키포인트 특징 맵을 생성하도록 하고, 상기 현재 키포인트 특징 맵을 키포인트 추정 레이어에 입력하여 상기 키포인트 추정 레이어로 하여금 상기 복수의 키포인트에 대응되는 현재 예측 키포인트 정보를 출력하도록 하는 프로세스 및 (iv) 상기 시계열 융합 특징 맵을 사이렌 헤더 레이어에 입력하여 상기 사이렌 헤더 레이어로 하여금 상기 주변 차량의 사이렌 취명 상태에 대응되는 현재 사이렌 취명 상태 특징 맵을 생성하도록 하고, 상기 현재 사이렌 취명 상태 특징 맵을 사이렌 취명 상태 추정 레이어에 입력하여 상기 사이렌 취명 상태 추정 레이어로 하여금 상기 주변 차량의 사이렌 취명 상태를 나타내는 현재 예측 사이렌 취명 상태 정보를 출력하도록 하는 프로세스 중 적어도 일부를 수행하는 단계; 및
(c) 상기 학습 장치가, 상기 현재 예측 자동차 타입 정보, 상기 현재 예측 자동차 포즈 정보, 상기 현재 예측 키포인트 정보, 상기 현재 예측 사이렌 취명 상태 정보, 및 이에 각각 대응되는 현재 GT 자동차 타입 정보, 현재 GT 자동차 포즈 정보, 현재 GT 키포인트 정보 및 현재 GT 사이렌 취명 상태 정보 중 적어도 일부를 참조하여 자동차 타입 로스, 자동차 포즈 로스, 키포인트 로스 및 사이렌 취명 상태 로스 중 적어도 일부를 생성하고, 상기 자동차 타입 로스, 상기 자동차 포즈 로스, 상기 키포인트 로스 및 상기 사이렌 취명 상태 로스 중 적어도 일부를 이용하여 백프로퍼게이션을 수행함으로써 상기 공유 인코더, 상기 시계열 특징 맵 융합 레이어, 상기 자동차 타입 헤더 레이어, 상기 자동차 타입 추정 레이어, 상기 자동차 포즈 헤더 레이어, 상기 자동차 포즈 추정 레이어, 상기 키포인트 헤더 레이어, 상기 키포인트 추정 레이어, 상기 사이렌 헤더 레이어 및 상기 사이렌 취명 상태 추정 레이어 중 적어도 일부의 파라미터를 학습하는 단계;
를 포함하는 방법.
제1항에 있어서,
상기 (b) 단계에서,
상기 학습 장치가, 상기 현재 자동차 포즈 특징 맵을 이동 방향 추정 레이어에 추가로 입력하여 상기 이동 방향 추정 레이어로 하여금 상기 주변 차량의 이동 방향에 대응되는 현재 예측 이동 방향 정보를 생성하도록 하는 프로세스를 추가로 수행하고,
상기 (c) 단계에서,
상기 학습 장치가, 상기 현재 예측 이동 방향 정보 및 이에 대응되는 현재 GT 이동 방향 정보를 추가로 참조하여 이동 방향 로스를 추가로 생성하고, 상기 이동 방향 로스를 추가로 이용하여 백프로퍼게이션을 수행함으로써 상기 공유 인코더, 상기 시계열 특징 맵 융합 레이어, 상기 자동차 타입 헤더 레이어, 상기 자동차 타입 추정 레이어, 상기 자동차 포즈 헤더 레이어, 상기 자동차 포즈 추정 레이어, 상기 이동 방향 추정 레이어, 상기 키포인트 헤더 레이어, 상기 키포인트 추정 레이어, 상기 사이렌 헤더 레이어, 상기 사이렌 취명 상태 추정 레이어 중 적어도 일부의 파라미터를 학습하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 (b) 단계에서,
상기 키포인트 추정 레이어는, 키포인트 위치 추정 레이어 및 키포인트 차폐도 추정 레이어를 포함하며,
상기 키포인트 위치 추정 레이어는, 상기 현재 키포인트 특징 맵을 참조하여 현재 예측 키포인트 위치 정보를 상기 현재 예측 키포인트 정보로서 출력하고,
상기 키포인트 차폐도 추정 레이어는, 상기 현재 키포인트 특징 맵을 참조하여 현재 예측 키포인트 차폐도 정보를 상기 현재 예측 키포인트 정보로서 출력하며,
상기 (c) 단계에서,
상기 학습 장치가, 상기 현재 예측 키포인트 위치 정보, 상기 현재 예측 키포인트 차폐도 정보 및 이에 각각 대응되는 현재 GT 키포인트 위치 정보 및 현재 GT 키포인트 차폐도 정보를 참조하여 키포인트 위치 로스 및 키포인트 차폐도 로스를 상기 키포인트 로스로서 생성하고, 상기 자동차 타입 로스, 상기 자동차 포즈 로스, 상기 키포인트 위치 로스, 상기 키포인트 차폐도 로스 및 상기 사이렌 취명 상태 로스 중 적어도 일부를 이용하여 백프로퍼게이션을 수행함으로써 상기 공유 인코더, 상기 시계열 특징 맵 융합 레이어, 상기 자동차 타입 헤더 레이어, 상기 자동차 타입 추정 레이어, 상기 자동차 포즈 헤더 레이어, 상기 자동차 포즈 추정 레이어, 상기 키포인트 헤더 레이어, 상기 키포인트 위치 추정 레이어, 상기 키포인트 차폐도 추정 레이어, 상기 사이렌 헤더 레이어 및 상기 사이렌 취명 상태 추정 레이어 중 적어도 일부의 파라미터를 학습하는 것을 특징으로 하는 방법.
제3항에 있어서,
(i) 상기 복수의 키포인트 중 차폐 키포인트 - 상기 차폐 키포인트는, 상기 주변 차량의 상기 복수의 키포인트 중, 상기 현재 검출 이미지 또는 상기 현재 가공 이미지 상의 비차폐 키포인트를 제외한 키포인트임 - 의 개수가 임계치 미만이거나, 상기 복수의 키포인트 중 상기 차폐 키포인트의 비율이 임계비율 미만인 경우, 상기 현재 예측 자동차 포즈 정보 및 상기 현재 예측 키포인트 위치 정보가 참조되어 현재 예측 주행 방향 정보가 생성되며, (ii) 상기 복수의 키포인트 중 상기 차폐 키포인트의 개수가 상기 임계치 이상이거나, 상기 복수의 키포인트 중 상기 차폐 키포인트의 비율이 상기 임계비율 이상인 경우, 현재 예측 이동 방향 정보 - 상기 현재 예측 이동 방향 정보는, 상기 현재 자동차 포즈 특징 맵이 이동 방향 추정 레이어에 추가로 입력됨으로써 상기 이동 방향 추정 레이어에 의해 추가로 생성되는 정보임 - 가 참조되어 상기 현재 예측 주행 방향 정보가 생성되고,
상기 (c) 단계에서,
상기 학습 장치가, 상기 현재 예측 주행 방향 정보 및 이에 대응되는 현재 GT 주행 방향 정보를 추가로 참조하여 주행 방향 로스를 추가로 생성하고, 상기 주행 방향 로스를 추가로 이용하여 백프로퍼게이션을 수행함으로써 상기 공유 인코더, 상기 시계열 특징 맵 융합 레이어, 상기 자동차 타입 헤더 레이어, 상기 자동차 타입 추정 레이어, 상기 자동차 포즈 헤더 레이어, 상기 자동차 포즈 추정 레이어, 상기 이동 방향 추정 레이어, 상기 키포인트 헤더 레이어, 상기 키포인트 위치 추정 레이어, 상기 키포인트 차폐도 추정 레이어, 상기 사이렌 헤더 레이어 및 상기 사이렌 취명 상태 추정 레이어 중 적어도 일부의 파라미터를 학습하는 것을 특징으로 하는 방법.
제4항에 있어서,
상기 (c) 단계에서,
상기 학습 장치가, 상기 자동차 타입 로스, 상기 자동차 포즈 로스, 이동 방향 로스 - 상기 이동 방향 로스는, 상기 현재 예측 이동 방향 정보 및 이에 대응되는 현재 GT 이동 방향 정보가 참조되어 생성됨 - , 상기 키포인트 위치 로스, 상기 키포인트 차폐도 로스, 상기 주행 방향 로스 및 상기 사이렌 취명 상태 로스 중 적어도 일부 각각에 제1 로스 가중치, 제2 로스 가중치, 제3 로스 가중치, 제4 로스 가중치, 제5 로스 가중치, 제6 로스 가중치 및 제7 로스 가중치 중 적어도 일부를 각각 적용하여 자동차 타입 조정 로스, 자동차 포즈 조정 로스, 이동 방향 조정 로스, 키포인트 위치 조정 로스, 키포인트 차폐도 조정 로스, 주행 방향 조정 로스 및 사이렌 취명 상태 조정 로스 중 적어도 일부를 생성하고, 상기 자동차 타입 조정 로스, 상기 자동차 포즈 조정 로스, 상기 이동 방향 조정 로스, 상기 키포인트 위치 조정 로스, 상기 키포인트 차폐도 조정 로스, 상기 주행 방향 조정 로스 및 상기 사이렌 취명 상태 조정 로스 중 적어도 일부를 이용하여 백프로퍼게이션을 수행함으로써 상기 공유 인코더, 상기 시계열 특징 맵 융합 레이어, 상기 자동차 타입 헤더 레이어, 상기 자동차 타입 추정 레이어, 상기 자동차 포즈 헤더 레이어, 상기 자동차 포즈 추정 레이어, 상기 이동 방향 추정 레이어, 상기 키포인트 헤더 레이어, 상기 키포인트 위치 추정 레이어, 상기 키포인트 차폐도 추정 레이어, 상기 사이렌 헤더 레이어 및 상기 사이렌 취명 상태 추정 레이어 중 적어도 일부의 파라미터를 학습하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 가공 사운드 데이터는, 상기 소스 사운드 데이터에 국소 푸리에 변환(Short-Time Fourier Transform) 연산을 적용하여 스펙트로그램을 생성한 후, 상기 스펙트로그램에 필터링 연산을 적용함으로써 생성되는 것을 특징으로 하는 방법.
머신러닝에 기반하여 주변 차량 정보를 생성함으로써 자율 주행을 지원하기 위한 테스트 방법에 있어서,
(a) 학습 장치가, (i) 현재 입력 학습 이미지에 포함된 학습용 주변 차량을 검출하여 획득되는 현재 검출 학습 이미지 또는 이로부터 생성된 현재 가공 학습 이미지, 및 소스 사운드 학습 데이터로부터 생성된 가공 사운드 학습 데이터가 컨캐터네이션됨으로써 생성된 컨캐터네이티드 학습 데이터가 획득되면, 상기 컨캐터네이티드 학습 데이터를 공유 인코더에 입력하여, 상기 공유 인코더로 하여금 학습용 현재 공유 특징 맵을 생성하도록 하고, 상기 학습용 현재 공유 특징 맵을 시계열 특징 맵 융합 레이어에 입력하여 상기 시계열 특징 맵 융합 레이어로 하여금 상기 학습용 현재 공유 특징 맵 및 이에 대응되는 적어도 하나의 학습용 과거 공유 특징 맵을 참조하여 학습용 시계열 융합 특징 맵을 생성하도록 하고, (ii) (ii-1) 상기 학습용 시계열 융합 특징 맵을 자동차 타입 헤더 레이어에 입력하여 상기 자동차 타입 헤더 레이어로 하여금 학습용 현재 자동차 타입 특징 맵을 생성하도록 하고, 상기 학습용 현재 자동차 타입 특징 맵을 자동차 타입 추정 레이어에 입력하여 상기 자동차 타입 추정 레이어로 하여금 상기 현재 검출 학습 이미지 또는 상기 현재 가공 학습 이미지에 포함된 상기 학습용 주변 차량의 종류를 나타내는 학습용 현재 예측 자동차 타입 정보를 출력하도록 하는 서브 프로세스, (ii-2) 상기 학습용 시계열 융합 특징 맵을 자동차 포즈 헤더 레이어에 입력하여 상기 자동차 포즈 헤더 레이어로 하여금 학습용 현재 자동차 포즈 특징 맵을 생성하도록 하고, 상기 학습용 현재 자동차 포즈 특징 맵을 자동차 포즈 추정 레이어에 입력하여 상기 자동차 포즈 추정 레이어로 하여금 상기 학습용 주변 차량의 포즈를 나타내는 학습용 현재 예측 자동차 포즈 정보를 출력하도록 하는 서브 프로세스, (ii-3) 상기 학습용 시계열 융합 특징 맵을 키포인트 헤더 레이어에 입력하여 상기 키포인트 헤더 레이어로 하여금 상기 학습용 주변 차량의 복수의 학습용 키포인트에 대응되는 학습용 현재 키포인트 특징 맵을 생성하도록 하고, 상기 학습용 현재 키포인트 특징 맵을 키포인트 추정 레이어에 입력하여 상기 키포인트 추정 레이어로 하여금 상기 복수의 학습용 키포인트에 대응되는 학습용 현재 예측 키포인트 정보를 출력하도록 하는 서브 프로세스 및 (ii-4) 상기 학습용 시계열 융합 특징 맵을 사이렌 헤더 레이어에 입력하여 상기 사이렌 헤더 레이어로 하여금 상기 학습용 주변 차량의 사이렌 취명 상태에 대응되는 학습용 현재 사이렌 취명 상태 특징 맵을 생성하도록 하고, 상기 학습용 현재 사이렌 취명 상태 특징 맵을 사이렌 취명 상태 추정 레이어에 입력하여 상기 사이렌 취명 상태 추정 레이어로 하여금 상기 학습용 주변 차량의 사이렌 취명 상태를 나타내는 학습용 현재 예측 사이렌 취명 상태 정보를 출력하도록 하는 서브 프로세스 중 적어도 일부를 수행하고, (iii) 상기 학습용 현재 예측 자동차 타입 정보, 상기 학습용 현재 예측 자동차 포즈 정보, 상기 학습용 현재 예측 키포인트 정보, 상기 학습용 현재 예측 사이렌 취명 상태 정보, 및 이에 각각 대응되는 현재 GT 자동차 타입 정보, 현재 GT 자동차 포즈 정보, 현재 GT 키포인트 정보 및 현재 GT 사이렌 취명 상태 정보 중 적어도 일부를 참조하여 자동차 타입 로스, 자동차 포즈 로스, 키포인트 로스 및 사이렌 취명 상태 로스 중 적어도 일부를 생성하고, 상기 자동차 타입 로스, 상기 자동차 포즈 로스, 상기 키포인트 로스 및 상기 사이렌 취명 상태 로스 중 적어도 일부를 이용하여 백프로퍼게이션을 수행함으로써 상기 공유 인코더, 상기 시계열 특징 맵 융합 레이어, 상기 자동차 타입 헤더 레이어, 상기 자동차 타입 추정 레이어, 상기 자동차 포즈 헤더 레이어, 상기 자동차 포즈 추정 레이어, 상기 키포인트 헤더 레이어, 상기 키포인트 추정 레이어, 상기 사이렌 헤더 레이어 및 상기 사이렌 취명 상태 추정 레이어 중 적어도 일부의 파라미터가 학습된 상태에서, 현재 입력 테스트 이미지에 포함된 테스트용 주변 차량을 검출하여 획득되는 현재 검출 테스트 이미지 또는 이로부터 생성된 현재 가공 테스트 이미지, 및 소스 사운드 테스트 데이터로부터 생성된 가공 사운드 테스트 데이터가 컨캐터네이션됨으로써 생성된 컨캐터네이티드 테스트 데이터가 획득되면, 테스트 장치가, 상기 컨캐터네이티드 테스트 데이터를 상기 공유 인코더에 입력하여, 상기 공유 인코더로 하여금 테스트용 현재 공유 특징 맵을 생성하도록 하고, 상기 테스트용 현재 공유 특징 맵을 상기 시계열 특징 맵 융합 레이어에 입력하여 상기 시계열 특징 맵 융합 레이어로 하여금 상기 테스트용 현재 공유 특징 맵을 참조하여 테스트용 시계열 융합 특징 맵을 생성하거나, 상기 테스트용 현재 공유 특징 맵 및 이에 대응되는 적어도 하나의 테스트용 과거 공유 특징 맵을 참조하여 상기 테스트용 시계열 융합 특징 맵을 생성하도록 하는 단계; 및
(b) 상기 테스트 장치가, (i) 상기 테스트용 시계열 융합 특징 맵을 상기 자동차 타입 헤더 레이어에 입력하여 상기 자동차 타입 헤더 레이어로 하여금 테스트용 현재 자동차 타입 특징 맵을 생성하도록 하고, 상기 테스트용 현재 자동차 타입 특징 맵을 상기 자동차 타입 추정 레이어에 입력하여 상기 자동차 타입 추정 레이어로 하여금 상기 현재 검출 테스트 이미지 또는 상기 현재 가공 테스트 이미지에 포함된 상기 테스트용 주변 차량의 종류를 나타내는 테스트용 현재 예측 자동차 타입 정보를 출력하도록 하는 프로세스, (ii) 상기 테스트용 시계열 융합 특징 맵을 상기 자동차 포즈 헤더 레이어에 입력하여 상기 자동차 포즈 헤더 레이어로 하여금 테스트용 현재 자동차 포즈 특징 맵을 생성하도록 하고, 상기 테스트용 현재 자동차 포즈 특징 맵을 상기 자동차 포즈 추정 레이어에 입력하여 상기 자동차 포즈 추정 레이어로 하여금 상기 테스트용 주변 차량의 포즈를 나타내는 테스트용 현재 예측 자동차 포즈 정보를 출력하도록 하는 프로세스, (iii) 상기 테스트용 시계열 융합 특징 맵을 상기 키포인트 헤더 레이어에 입력하여 상기 키포인트 헤더 레이어로 하여금 상기 테스트용 주변 차량의 복수의 테스트용 키포인트에 대응되는 테스트용 현재 키포인트 특징 맵을 생성하도록 하고, 상기 테스트용 현재 키포인트 특징 맵을 상기 키포인트 추정 레이어에 입력하여 상기 키포인트 추정 레이어로 하여금 상기 복수의 테스트용 키포인트에 대응되는 테스트용 현재 예측 키포인트 정보를 출력하도록 하는 프로세스 및 (iv) 상기 테스트용 시계열 융합 특징 맵을 상기 사이렌 헤더 레이어에 입력하여 상기 사이렌 헤더 레이어로 하여금 상기 테스트용 주변 차량의 사이렌 취명 상태에 대응되는 테스트용 현재 사이렌 취명 상태 특징 맵을 생성하도록 하고, 상기 테스트용 현재 사이렌 취명 상태 특징 맵을 상기 사이렌 취명 상태 추정 레이어에 입력하여 상기 사이렌 취명 상태 추정 레이어로 하여금 상기 테스트용 주변 차량의 사이렌 취명 상태를 나타내는 테스트용 현재 예측 사이렌 취명 상태 정보를 출력하도록 하는 프로세스 중 적어도 일부를 수행하는 단계;
를 포함하는 방법.
제7항에 있어서,
상기 (a) 단계에서,
상기 현재 입력 테스트 이미지가 획득되면, 상기 테스트 장치가, (i) 상기 현재 입력 테스트 이미지를 객체 검출 모델에 입력하여 상기 객체 검출 모델로 하여금 상기 현재 입력 테스트 이미지에 포함된 테스트용 전체 차량에 대응되는 테스트용 전체 차량 검출 정보를 생성하도록 함으로써 상기 현재 검출 테스트 이미지를 획득하고, (ii) 상기 테스트용 전체 차량 검출 정보 및 대상 차량 - 상기 대상 차량은, 상기 현재 입력 테스트 이미지를 생성하는 이미지 센서가 장착된 차량임 - 의 위치 정보를 참조하여 상기 테스트용 전체 차량 중 상기 테스트용 주변 차량을 선택하며, (iii) 상기 현재 검출 테스트 이미지 상에서 상기 테스트용 주변 차량에 대응되는 영역을 크롭한 이미지인 상기 현재 가공 테스트 이미지를 생성하고, (iv) 상기 현재 가공 테스트 이미지 및 상기 가공 사운드 테스트 데이터를 컨캐터네이션함으로써 상기 컨캐터네이티드 테스트 데이터를 생성하며, 상기 컨캐터네이티드 테스트 데이터를 상기 공유 인코더에 입력하여 상기 공유 인코더로 하여금 상기 테스트용 현재 공유 특징 맵을 생성하도록 하는 것을 특징으로 하는 방법.
제7항에 있어서,
(c) 상기 테스트 장치가, 상기 테스트용 현재 예측 자동차 타입 정보, 상기 테스트용 현재 예측 자동차 포즈 정보, 상기 테스트용 현재 예측 키포인트 정보, 상기 테스트용 현재 예측 사이렌 취명 상태 정보 중 적어도 일부를 참조하여 상기 테스트용 주변 차량 중 특정 테스트용 주변 차량의 주행 의도 정보를 생성하는 단계;
를 더 포함하는 것을 특징으로 하는 방법.
제7항에 있어서,
상기 가공 사운드 테스트 데이터는, 상기 소스 사운드 테스트 데이터에 국소 푸리에 변환(Short-Time Fourier Transform) 연산을 적용하여 테스트 스펙트로그램을 생성한 후, 상기 테스트 스펙트로그램에 필터링 연산을 적용함으로써 생성되는 것을 특징으로 하는 방법.
머신러닝에 기반하여 주변 차량 정보를 생성함으로써 자율 주행을 지원하기 위한 학습 장치에 있어서,
인스트럭션들을 저장하는 적어도 하나의 메모리; 및
상기 인스트럭션들을 실행하기 위해 구성된 적어도 하나의 프로세서를 포함하되,
상기 프로세서는, (1) 현재 입력 이미지에 포함된 주변 차량을 검출하여 획득되는 현재 검출 이미지 또는 이로부터 생성된 현재 가공 이미지, 및 소스 사운드 데이터로부터 생성된 가공 사운드 데이터가 컨캐터네이션됨으로써 생성된 컨캐터네이티드 입력 데이터가 획득되면, (i) 상기 컨캐터네이티드 입력 데이터를 공유 인코더에 입력하여, 상기 공유 인코더로 하여금 현재 공유 특징 맵을 생성하도록 하고, (ii) 상기 현재 공유 특징 맵을 시계열 특징 맵 융합 레이어에 입력하여 상기 시계열 특징 맵 융합 레이어로 하여금 상기 현재 공유 특징 맵 및 이에 대응되는 적어도 하나의 과거 공유 특징 맵을 참조하여 시계열 융합 특징 맵을 생성하도록 하는 프로세스, (2) (i) 상기 시계열 융합 특징 맵을 자동차 타입 헤더 레이어에 입력하여 상기 자동차 타입 헤더 레이어로 하여금 현재 자동차 타입 특징 맵을 생성하도록 하고, 상기 현재 자동차 타입 특징 맵을 자동차 타입 추정 레이어에 입력하여 상기 자동차 타입 추정 레이어로 하여금 상기 현재 검출 이미지 또는 상기 현재 가공 이미지에 포함된 상기 주변 차량의 종류를 나타내는 현재 예측 자동차 타입 정보를 출력하도록 하는 프로세스, (ii) 상기 시계열 융합 특징 맵을 자동차 포즈 헤더 레이어에 입력하여 상기 자동차 포즈 헤더 레이어로 하여금 현재 자동차 포즈 특징 맵을 생성하도록 하고, 상기 현재 자동차 포즈 특징 맵을 자동차 포즈 추정 레이어에 입력하여 상기 자동차 포즈 추정 레이어로 하여금 상기 주변 차량의 포즈를 나타내는 현재 예측 자동차 포즈 정보를 출력하도록 하는 프로세스, (iii) 상기 시계열 융합 특징 맵을 키포인트 헤더 레이어에 입력하여 상기 키포인트 헤더 레이어로 하여금 상기 주변 차량의 복수의 키포인트에 대응되는 현재 키포인트 특징 맵을 생성하도록 하고, 상기 현재 키포인트 특징 맵을 키포인트 추정 레이어에 입력하여 상기 키포인트 추정 레이어로 하여금 상기 복수의 키포인트에 대응되는 현재 예측 키포인트 정보를 출력하도록 하는 프로세스 및 (iv) 상기 시계열 융합 특징 맵을 사이렌 헤더 레이어에 입력하여 상기 사이렌 헤더 레이어로 하여금 상기 주변 차량의 사이렌 취명 상태에 대응되는 현재 사이렌 취명 상태 특징 맵을 생성하도록 하고, 상기 현재 사이렌 취명 상태 특징 맵을 사이렌 취명 상태 추정 레이어에 입력하여 상기 사이렌 취명 상태 추정 레이어로 하여금 상기 주변 차량의 사이렌 취명 상태를 나타내는 현재 예측 사이렌 취명 상태 정보를 출력하도록 하는 프로세스 중 적어도 일부를 수행하는 프로세스 및 (3) 상기 현재 예측 자동차 타입 정보, 상기 현재 예측 자동차 포즈 정보, 상기 현재 예측 키포인트 정보, 상기 현재 예측 사이렌 취명 상태 정보, 및 이에 각각 대응되는 현재 GT 자동차 타입 정보, 현재 GT 자동차 포즈 정보, 현재 GT 키포인트 정보 및 현재 GT 사이렌 취명 상태 정보 중 적어도 일부를 참조하여 자동차 타입 로스, 자동차 포즈 로스, 키포인트 로스 및 사이렌 취명 상태 로스 중 적어도 일부를 생성하고, 상기 자동차 타입 로스, 상기 자동차 포즈 로스, 상기 키포인트 로스 및 상기 사이렌 취명 상태 로스 중 적어도 일부를 이용하여 백프로퍼게이션을 수행함으로써 상기 공유 인코더, 상기 시계열 특징 맵 융합 레이어, 상기 자동차 타입 헤더 레이어, 상기 자동차 타입 추정 레이어, 상기 자동차 포즈 헤더 레이어, 상기 자동차 포즈 추정 레이어, 상기 키포인트 헤더 레이어, 상기 키포인트 추정 레이어, 상기 사이렌 헤더 레이어 및 상기 사이렌 취명 상태 추정 레이어 중 적어도 일부의 파라미터를 학습하는 프로세스를 수행하는 학습 장치.
제11항에 있어서,
상기 프로세서는,
상기 (2) 프로세스에서,
상기 현재 자동차 포즈 특징 맵을 이동 방향 추정 레이어에 추가로 입력하여 상기 이동 방향 추정 레이어로 하여금 상기 주변 차량의 이동 방향에 대응되는 현재 예측 이동 방향 정보를 생성하도록 하는 프로세스를 추가로 수행하고,
상기 (3) 단계에서,
상기 현재 예측 이동 방향 정보 및 이에 대응되는 현재 GT 이동 방향 정보를 추가로 참조하여 이동 방향 로스를 추가로 생성하고, 상기 이동 방향 로스를 추가로 이용하여 백프로퍼게이션을 수행함으로써 상기 공유 인코더, 상기 시계열 특징 맵 융합 레이어, 상기 자동차 타입 헤더 레이어, 상기 자동차 타입 추정 레이어, 상기 자동차 포즈 헤더 레이어, 상기 자동차 포즈 추정 레이어, 상기 이동 방향 추정 레이어, 상기 키포인트 헤더 레이어, 상기 키포인트 추정 레이어, 상기 사이렌 헤더 레이어, 상기 사이렌 취명 상태 추정 레이어 중 적어도 일부의 파라미터를 학습하는 것을 특징으로 하는 학습 장치.
제11항에 있어서,
상기 (2) 프로세스에서,
상기 키포인트 추정 레이어는, 키포인트 위치 추정 레이어 및 키포인트 차폐도 추정 레이어를 포함하며,
상기 키포인트 위치 추정 레이어는, 상기 현재 키포인트 특징 맵을 참조하여 현재 예측 키포인트 위치 정보를 상기 현재 예측 키포인트 정보로서 출력하고,
상기 키포인트 차폐도 추정 레이어는, 상기 현재 키포인트 특징 맵을 참조하여 현재 예측 키포인트 차폐도 정보를 상기 현재 예측 키포인트 정보로서 출력하며,
상기 프로세서는,
상기 (3) 프로세스에서,
상기 현재 예측 키포인트 위치 정보, 상기 현재 예측 키포인트 차폐도 정보 및 이에 각각 대응되는 현재 GT 키포인트 위치 정보 및 현재 GT 키포인트 차폐도 정보를 참조하여 키포인트 위치 로스 및 키포인트 차폐도 로스를 상기 키포인트 로스로서 생성하고, 상기 자동차 타입 로스, 상기 자동차 포즈 로스, 상기 키포인트 위치 로스, 상기 키포인트 차폐도 로스 및 상기 사이렌 취명 상태 로스 중 적어도 일부를 이용하여 백프로퍼게이션을 수행함으로써 상기 공유 인코더, 상기 시계열 특징 맵 융합 레이어, 상기 자동차 타입 헤더 레이어, 상기 자동차 타입 추정 레이어, 상기 자동차 포즈 헤더 레이어, 상기 자동차 포즈 추정 레이어, 상기 키포인트 헤더 레이어, 상기 키포인트 위치 추정 레이어, 상기 키포인트 차폐도 추정 레이어, 상기 사이렌 헤더 레이어 및 상기 사이렌 취명 상태 추정 레이어 중 적어도 일부의 파라미터를 학습하는 것을 특징으로 하는 학습 장치.
제13항에 있어서,
(i) 상기 복수의 키포인트 중 차폐 키포인트 - 상기 차폐 키포인트는, 상기 주변 차량의 상기 복수의 키포인트 중, 상기 현재 검출 이미지 또는 상기 현재 가공 이미지 상의 비차폐 키포인트를 제외한 키포인트임 - 의 개수가 임계치 미만이거나, 상기 복수의 키포인트 중 상기 차폐 키포인트의 비율이 임계비율 미만인 경우, 상기 현재 예측 자동차 포즈 정보 및 상기 현재 예측 키포인트 위치 정보가 참조되어 현재 예측 주행 방향 정보가 생성되며, (ii) 상기 복수의 키포인트 중 상기 차폐 키포인트의 개수가 상기 임계치 이상이거나, 상기 복수의 키포인트 중 상기 차폐 키포인트의 비율이 상기 임계비율 이상인 경우, 상기 현재 예측 이동 방향 정보 - 상기 현재 예측 이동 방향 정보는, 상기 현재 자동차 포즈 특징 맵이 이동 방향 추정 레이어에 추가로 입력됨으로써 상기 이동 방향 추정 레이어에 의해 추가로 생성되는 정보임 - 가 참조되어 상기 현재 예측 주행 방향 정보가 생성되고,
상기 프로세서는,
상기 (3) 프로세스에서,
상기 현재 예측 주행 방향 정보 및 이에 대응되는 현재 GT 주행 방향 정보를 추가로 참조하여 주행 방향 로스를 추가로 생성하고, 상기 주행 방향 로스를 추가로 이용하여 백프로퍼게이션을 수행함으로써 상기 공유 인코더, 상기 시계열 특징 맵 융합 레이어, 상기 자동차 타입 헤더 레이어, 상기 자동차 타입 추정 레이어, 상기 자동차 포즈 헤더 레이어, 상기 자동차 포즈 추정 레이어, 상기 이동 방향 추정 레이어, 상기 키포인트 헤더 레이어, 상기 키포인트 위치 추정 레이어, 상기 키포인트 차폐도 추정 레이어, 상기 사이렌 헤더 레이어 및 상기 사이렌 취명 상태 추정 레이어 중 적어도 일부의 파라미터를 학습하는 것을 특징으로 하는 학습 장치.
제14항에 있어서,
상기 프로세서는,
상기 (3) 프로세스에서,
상기 자동차 타입 로스, 상기 자동차 포즈 로스, 이동 방향 로스 - 상기 이동 방향 로스는, 상기 현재 예측 이동 방향 정보 및 이에 대응되는 현재 GT 이동 방향 정보가 참조되어 생성됨 - , 상기 키포인트 위치 로스, 상기 키포인트 차폐도 로스, 상기 주행 방향 로스 및 상기 사이렌 취명 상태 로스 중 적어도 일부 각각에 제1 로스 가중치, 제2 로스 가중치, 제3 로스 가중치, 제4 로스 가중치, 제5 로스 가중치, 제6 로스 가중치 및 제7 로스 가중치 중 적어도 일부를 각각 적용하여 자동차 타입 조정 로스, 자동차 포즈 조정 로스, 이동 방향 조정 로스, 키포인트 위치 조정 로스, 키포인트 차폐도 조정 로스, 주행 방향 조정 로스 및 사이렌 취명 상태 조정 로스 중 적어도 일부를 생성하고, 상기 자동차 타입 조정 로스, 상기 자동차 포즈 조정 로스, 상기 이동 방향 조정 로스, 상기 키포인트 위치 조정 로스, 상기 키포인트 차폐도 조정 로스, 상기 주행 방향 조정 로스 및 상기 사이렌 취명 상태 조정 로스 중 적어도 일부를 이용하여 백프로퍼게이션을 수행함으로써 상기 공유 인코더, 상기 시계열 특징 맵 융합 레이어, 상기 자동차 타입 헤더 레이어, 상기 자동차 타입 추정 레이어, 상기 자동차 포즈 헤더 레이어, 상기 자동차 포즈 추정 레이어, 상기 이동 방향 추정 레이어, 상기 키포인트 헤더 레이어, 상기 키포인트 위치 추정 레이어, 상기 키포인트 차폐도 추정 레이어, 상기 사이렌 헤더 레이어 및 상기 사이렌 취명 상태 추정 레이어 중 적어도 일부의 파라미터를 학습하는 것을 특징으로 하는 학습 장치.
제11항에 있어서,
상기 가공 사운드 데이터는, 상기 소스 사운드 데이터에 국소 푸리에 변환(Short-Time Fourier Transform) 연산을 적용하여 스펙트로그램을 생성한 후, 상기 스펙트로그램에 필터링 연산을 적용함으로써 생성되는 것을 특징으로 하는 학습 장치.
머신러닝에 기반하여 주변 차량 정보를 생성함으로써 자율 주행을 지원하기 위한 테스트 장치에 있어서,
인스트럭션들을 저장하는 적어도 하나의 메모리; 및
상기 인스트럭션들을 실행하기 위해 구성된 적어도 하나의 프로세서를 포함하되,
상기 프로세서는, (1) 학습 장치가, (i) 현재 입력 학습 이미지에 포함된 학습용 주변 차량을 검출하여 획득되는 현재 검출 학습 이미지 또는 이로부터 생성된 현재 가공 학습 이미지, 및 소스 사운드 학습 데이터로부터 생성된 가공 사운드 학습 데이터가 컨캐터네이션됨으로써 생성된 컨캐터네이티드 학습 데이터가 획득되면, 상기 컨캐터네이티드 학습 데이터를 공유 인코더에 입력하여, 상기 공유 인코더로 하여금 학습용 현재 공유 특징 맵을 생성하도록 하고, 상기 학습용 현재 공유 특징 맵을 시계열 특징 맵 융합 레이어에 입력하여 상기 시계열 특징 맵 융합 레이어로 하여금 상기 학습용 현재 공유 특징 맵 및 이에 대응되는 적어도 하나의 학습용 과거 공유 특징 맵을 참조하여 학습용 시계열 융합 특징 맵을 생성하도록 하고, (ii) (ii-1) 상기 학습용 시계열 융합 특징 맵을 자동차 타입 헤더 레이어에 입력하여 상기 자동차 타입 헤더 레이어로 하여금 학습용 현재 자동차 타입 특징 맵을 생성하도록 하고, 상기 학습용 현재 자동차 타입 특징 맵을 자동차 타입 추정 레이어에 입력하여 상기 자동차 타입 추정 레이어로 하여금 상기 현재 검출 학습 이미지 또는 상기 현재 가공 학습 이미지에 포함된 상기 학습용 주변 차량의 종류를 나타내는 학습용 현재 예측 자동차 타입 정보를 출력하도록 하는 서브 프로세스, (ii-2) 상기 학습용 시계열 융합 특징 맵을 자동차 포즈 헤더 레이어에 입력하여 상기 자동차 포즈 헤더 레이어로 하여금 학습용 현재 자동차 포즈 특징 맵을 생성하도록 하고, 상기 학습용 현재 자동차 포즈 특징 맵을 자동차 포즈 추정 레이어에 입력하여 상기 자동차 포즈 추정 레이어로 하여금 상기 학습용 주변 차량의 포즈를 나타내는 학습용 현재 예측 자동차 포즈 정보를 출력하도록 하는 서브 프로세스, (ii-3) 상기 학습용 시계열 융합 특징 맵을 키포인트 헤더 레이어에 입력하여 상기 키포인트 헤더 레이어로 하여금 상기 학습용 주변 차량의 복수의 학습용 키포인트에 대응되는 학습용 현재 키포인트 특징 맵을 생성하도록 하고, 상기 학습용 현재 키포인트 특징 맵을 키포인트 추정 레이어에 입력하여 상기 키포인트 추정 레이어로 하여금 상기 복수의 학습용 키포인트에 대응되는 학습용 현재 예측 키포인트 정보를 출력하도록 하는 서브 프로세스 및 (ii-4) 상기 학습용 시계열 융합 특징 맵을 사이렌 헤더 레이어에 입력하여 상기 사이렌 헤더 레이어로 하여금 상기 학습용 주변 차량의 사이렌 취명 상태에 대응되는 학습용 현재 사이렌 취명 상태 특징 맵을 생성하도록 하고, 상기 학습용 현재 사이렌 취명 상태 특징 맵을 사이렌 취명 상태 추정 레이어에 입력하여 상기 사이렌 취명 상태 추정 레이어로 하여금 상기 학습용 주변 차량의 사이렌 취명 상태를 나타내는 학습용 현재 예측 사이렌 취명 상태 정보를 출력하도록 하는 서브 프로세스 중 적어도 일부를 수행하고, (iii) 상기 학습용 현재 예측 자동차 타입 정보, 상기 학습용 현재 예측 자동차 포즈 정보, 상기 학습용 현재 예측 키포인트 정보, 상기 학습용 현재 예측 사이렌 취명 상태 정보, 및 이에 각각 대응되는 현재 GT 자동차 타입 정보, 현재 GT 자동차 포즈 정보, 현재 GT 키포인트 정보 및 현재 GT 사이렌 취명 상태 정보 중 적어도 일부를 참조하여 자동차 타입 로스, 자동차 포즈 로스, 키포인트 로스 및 사이렌 취명 상태 로스 중 적어도 일부를 생성하고, 상기 자동차 타입 로스, 상기 자동차 포즈 로스, 상기 키포인트 로스 및 상기 사이렌 취명 상태 로스 중 적어도 일부를 이용하여 백프로퍼게이션을 수행함으로써 상기 공유 인코더, 상기 시계열 특징 맵 융합 레이어, 상기 자동차 타입 헤더 레이어, 상기 자동차 타입 추정 레이어, 상기 자동차 포즈 헤더 레이어, 상기 자동차 포즈 추정 레이어, 상기 키포인트 헤더 레이어, 상기 키포인트 추정 레이어, 상기 사이렌 헤더 레이어 및 상기 사이렌 취명 상태 추정 레이어 중 적어도 일부의 파라미터가 학습된 상태에서, 현재 입력 테스트 이미지에 포함된 테스트용 주변 차량을 검출하여 획득되는 현재 검출 테스트 이미지 또는 이로부터 생성된 현재 가공 테스트 이미지, 및 소스 사운드 테스트 데이터로부터 생성된 가공 사운드 테스트 데이터가 컨캐터네이션됨으로써 생성된 컨캐터네이티드 테스트 데이터가 획득되면, 상기 컨캐터네이티드 테스트 데이터를 상기 공유 인코더에 입력하여, 상기 공유 인코더로 하여금 테스트용 현재 공유 특징 맵을 생성하도록 하고, 상기 테스트용 현재 공유 특징 맵을 상기 시계열 특징 맵 융합 레이어에 입력하여 상기 시계열 특징 맵 융합 레이어로 하여금 상기 테스트용 현재 공유 특징 맵을 참조하여 테스트용 시계열 융합 특징 맵을 생성하거나, 상기 테스트용 현재 공유 특징 맵 및 이에 대응되는 적어도 하나의 테스트용 과거 공유 특징 맵을 참조하여 상기 테스트용 시계열 융합 특징 맵을 생성하도록 하는 프로세스 및 (2) (i) 상기 테스트용 시계열 융합 특징 맵을 상기 자동차 타입 헤더 레이어에 입력하여 상기 자동차 타입 헤더 레이어로 하여금 테스트용 현재 자동차 타입 특징 맵을 생성하도록 하고, 상기 테스트용 현재 자동차 타입 특징 맵을 상기 자동차 타입 추정 레이어에 입력하여 상기 자동차 타입 추정 레이어로 하여금 상기 현재 검출 테스트 이미지 또는 상기 현재 가공 테스트 이미지에 포함된 상기 테스트용 주변 차량의 종류를 나타내는 테스트용 현재 예측 자동차 타입 정보를 출력하도록 하는 프로세스, (ii) 상기 테스트용 시계열 융합 특징 맵을 상기 자동차 포즈 헤더 레이어에 입력하여 상기 자동차 포즈 헤더 레이어로 하여금 테스트용 현재 자동차 포즈 특징 맵을 생성하도록 하고, 상기 테스트용 현재 자동차 포즈 특징 맵을 상기 자동차 포즈 추정 레이어에 입력하여 상기 자동차 포즈 추정 레이어로 하여금 상기 테스트용 주변 차량의 포즈를 나타내는 테스트용 현재 예측 자동차 포즈 정보를 출력하도록 하는 프로세스, (iii) 상기 테스트용 시계열 융합 특징 맵을 상기 키포인트 헤더 레이어에 입력하여 상기 키포인트 헤더 레이어로 하여금 상기 테스트용 주변 차량의 복수의 테스트용 키포인트에 대응되는 테스트용 현재 키포인트 특징 맵을 생성하도록 하고, 상기 테스트용 현재 키포인트 특징 맵을 상기 키포인트 추정 레이어에 입력하여 상기 키포인트 추정 레이어로 하여금 상기 복수의 테스트용 키포인트에 대응되는 테스트용 현재 예측 키포인트 정보를 출력하도록 하는 프로세스 및 (iv) 상기 테스트용 시계열 융합 특징 맵을 상기 사이렌 헤더 레이어에 입력하여 상기 사이렌 헤더 레이어로 하여금 상기 테스트용 주변 차량의 사이렌 취명 상태에 대응되는 테스트용 현재 사이렌 취명 상태 특징 맵을 생성하도록 하고, 상기 테스트용 현재 사이렌 취명 상태 특징 맵을 상기 사이렌 취명 상태 추정 레이어에 입력하여 상기 사이렌 취명 상태 추정 레이어로 하여금 상기 테스트용 주변 차량의 사이렌 취명 상태를 나타내는 테스트용 현재 예측 사이렌 취명 상태 정보를 출력하도록 하는 프로세스 중 적어도 일부를 수행하는 프로세스를 수행하는 테스트 장치.
제17항에 있어서,
상기 프로세서는,
상기 (1) 프로세스에서,
상기 현재 입력 테스트 이미지가 획득되면, (i) 상기 현재 입력 테스트 이미지를 객체 검출 모델에 입력하여 상기 객체 검출 모델로 하여금 상기 현재 입력 테스트 이미지에 포함된 테스트용 전체 차량에 대응되는 테스트용 전체 차량 검출 정보를 생성하도록 함으로써 상기 현재 검출 테스트 이미지를 획득하고, (ii) 상기 테스트용 전체 차량 검출 정보 및 대상 차량 - 상기 대상 차량은, 상기 현재 입력 테스트 이미지를 생성하는 이미지 센서가 장착된 차량임 - 의 위치 정보를 참조하여 상기 테스트용 전체 차량 중 상기 테스트용 주변 차량을 선택하며, (iii) 상기 현재 검출 테스트 이미지 상에서 상기 테스트용 주변 차량에 대응되는 영역을 크롭한 이미지인 상기 현재 가공 테스트 이미지를 생성하고, (iv) 상기 현재 가공 테스트 이미지 및 상기 가공 사운드 테스트 데이터를 컨캐터네이션함으로써 상기 컨캐터네이티드 테스트 데이터를 생성하며, 상기 컨캐터네이티드 테스트 데이터를 상기 공유 인코더에 입력하여 상기 공유 인코더로 하여금 상기 테스트용 현재 공유 특징 맵을 생성하도록 하는 것을 특징으로 하는 테스트 장치.
제17항에 있어서,
상기 프로세서는, (3) 상기 테스트용 현재 예측 자동차 타입 정보, 상기 테스트용 현재 예측 자동차 포즈 정보, 상기 테스트용 현재 예측 키포인트 정보, 상기 테스트용 현재 예측 사이렌 취명 상태 정보 중 적어도 일부를 참조하여 상기 테스트용 주변 차량 중 특정 테스트용 주변 차량의 주행 의도 정보를 생성하는 프로세스를 더 수행하는 것을 특징으로 하는 테스트 장치.
제17항에 있어서,
상기 가공 사운드 테스트 데이터는, 상기 소스 사운드 테스트 데이터에 국소 푸리에 변환(Short-Time Fourier Transform) 연산을 적용하여 테스트 스펙트로그램을 생성한 후, 상기 테스트 스펙트로그램에 필터링 연산을 적용함으로써 생성되는 것을 특징으로 하는 테스트 장치.