KR102589764B1

KR102589764B1 - 자율주행 자동차의 퍼셉션 네트워크를 학습시키기 위한 온-비히클 액티브 러닝 방법 및 장치

Info

Publication number: KR102589764B1
Application number: KR1020217040053A
Authority: KR
Inventors: 제홍모; 강봉남; 김용중; 권성안; 전봉진
Original assignee: 주식회사 스트라드비젼
Priority date: 2020-04-24
Filing date: 2021-04-14
Publication date: 2023-10-17
Also published as: US11157813B1; US20210334652A1; CN115279643A; JP2022539697A; KR20210152025A; EP3901822A1; JP7181654B2; WO2021215740A1; EP3901822B1; EP3901822C0

Abstract

자율주행 자동차의 퍼셉션(perception) 네트워크를 학습시키기 위한 온-비히클 액티브 러닝(on-vehicle active learning) 방법이 제공된다. 그 방법은, 온-비히클 액티브 러닝 장치가, (a) 자율주행 자동차의 카메라와 센서들로부터 주행 영상과 센싱 정보들이 획득되면, 상기 주행 영상에서의 프레임들과 상기 센싱 정보들을 신 코드(scene code) 생성 모듈로 입력하여 상기 프레임들에서의 신들과 주행 이벤트에 대한 정보를 포함하는 신 코드들을 생성하는 단계; 및 (b) 상기 프레임들 각각의 상기 신 코드들과 오브젝트 디텍션 정보들을 이용하여, 상기 오브젝트 디텍션 정보들이 기설정된 조건을 만족하는 프레임들을 특정 프레임들로 선정하거나, 상기 신 코드들과 상기 오브젝트 디텍션 정보들을 이용하여 학습 정책에 매칭되는 프레임들을 상기 특정 프레임들로 선정하며, 상기 특정 프레임들과 특정 신 코드들을 프레임 저장부에 저장하는 단계를 포함한다.

Description

자율주행 자동차의 퍼셉션 네트워크를 학습시키기 위한 온-비히클 액티브 러닝 방법 및 장치

본 출원은 2020년 4월 24일에 미국특허청에 출원된 미국특허출원 제63/014,877호 및 2021년 3월 17일에 미국특허청에 출원된 미국특허출원 제17/204,287호를 기초로 출원되었으며 이에 대해 우선권을 주장하고, 이것의 전체 내용이 참조로서 본 명세서에 포함된다.

본 발명은 자율주행 자동차의 퍼셉션(perception) 네트워크를 학습시키기 위한 온-비히클 액티브 러닝(on-vehicle active leaning) 방법 및 장치에 관한 것으로, 보다 상세하게는, 자율주행 자동차의 실시간 데이터에서 퍼셉션 네트워크를 학습시키기 위한 학습용 데이터를 선정하며, 선정된 학습용 데이터를 이용하여 퍼셉션 네트워크를 학습시키는 온-비히클 액티브 러닝 방법 및 장치에 관한 것이다.

최근, 머신 러닝(machine learning)을 이용하여 물체의 식별 등을 수행하는 방법에 대한 연구가 이루어지고 있다.

이러한 머신 러닝 중의 하나로 인풋 레이어(input layer)와 아웃풋 레이어(output layer) 사이에 여러 개의 히든 레이어(hidden layer)를 가지는 신경망을 이용한 머신 러닝(machine learning)인 딥 러닝(deep learning)은 높은 식별 성능을 가지고 있다.

그리고, 딥 러닝을 이용하는 뉴럴 네트워크(neural network)는 일반적으로 로스(loss)를 이용한 백프로파게이션(backpropagation)을 통해 학습을 한다.

이러한 딥 러닝 네트워크의 학습을 위하여, 종래에는 데이터 수집 정책에 따라 로우 데이터들을 수집하며, 휴먼 라벨러(labeler)들이 수집된 로우 데이터에 어노테이션(annotation)하여 새로운 트레이닝 데이터를 생성한다. 이후, 새로운 트레이닝 데이터와 기존 트레이닝 데이터를 이용하여 딥 러닝 네트워크를 학습시킨 다음, 휴먼 엔지니어들이 성능을 분석한 결과를 참조하여 딥 러닝 네트워크의 학습을 위한 학습 알고리즘을 수정 및 개선한다. 또한, 분석한 결과를 참조하여 데이터 수집 정책을 변경하며, 잘못된 어노테이션이 있는지 재검수하고 수정한다.

하지만, 이러한 종래의 방법에서는, 딥 러닝 네트워크의 성능이 좋아질수록 학습에 유용한 하드 이그잼플(hard example)은 희소해지므로 새로운 트레이닝 데이터에 의한 딥 러닝 네트워크의 성능 향상 효과가 감소하게 되며, 휴먼 라벨러들에 의한 데이터 어노테이션의 투자수익이 감소하게 된다.

한편, 자율주행 자동차는 자동차의 운행 정보와 주행 환경에 대응하여 운전자에 의한 액션이 없는 상태에서 운행하는 것으로, 주행 환경 정보, 일 예로, 자동차 주변의 오브젝트들, 차선, 트래픽 시그널 등을 검출하기 위하여 딥 러닝 기반의 퍼셉션(perception) 네트워크를 이용하고 있다.

이러한 자율주행 자동차에서는 퍼셉션 네트워크를 업데이트하기 위하여 온라인 러닝, 즉, 퍼셉션 네트워크가 설치된 상태에서의 학습이 필요하지만, 자동차용 임베디드(embedded) 시스템에서의 저장 용량의 한계로 인하여 퍼셉션 네트워크의 학습에 필요한 학습용 데이터를 획득하기 위하여 학습용 데이터들이 저장된 클라우드 등과 같은 데이터베이스에서의 데이터 샘플링(sampling)을 수행하여야 한다.

하지만, 데이터 샘플링을 위하여 종래에는 랜덤(random) 샘플링 방식, 메타데이터 샘플링 방식, 매뉴얼 큐레이션(manual curation) 샘플링 방식 등이 사용되고 있으나, 이러한 종래의 샘플링 방식은 온-비히클 러닝에 적합하지 않다.

따라서, 종래에는 오프라인에서 모든 데이터를 클라우드 등과 같은 데이터베이스에 저장한 후, 액티브 러닝을 수행하여야 하는 단점이 있다.

본 발명은 상술한 문제점을 모두 해결하는 것을 그 목적으로 한다.

본 발명은 온라인에서 액티브 러닝을 수행할 수 있도록 하는 것을 다른 목적으로 한다.

본 발명은 새로운 트레이닝 데이터에 의한 퍼셉션 네트워크의 학습 효과를 형상시킬 수 있도록 하는 것을 또 다른 목적으로 한다.

본 발명은 자율주행 자동차의 퍼셉션 네트워크에 대한 온-비히클 러닝을 수행할 수 있도록 하는 것을 또 다른 목적으로 한다.

본 발명의 일 실시예에 따르면, 자율주행 자동차의 퍼셉션(perception) 네트워크를 학습시키기 위한 온-비히클 액티브 러닝(on-vehicle active learning) 방법에 있어서, (a) 자율주행 자동차의 주행 중 카메라로부터의 주행 영상과 자동차 센서들로부터의 센싱 정보들이 획득되면, 온-비히클 액티브 러닝 장치가, 상기 주행 영상에서의 연속된 프레임들과 상기 센싱 정보들을 신 코드(scene code) 생성 모듈로 입력하여 상기 신 코드 생성 모듈로 하여금 상기 프레임들과 상기 센싱 정보들을 참조하여 상기 프레임들 각각의 신에 대한 정보와 주행 이벤트에 대한 정보를 포함하는 신 코드들을 생성하도록 하는 단계; 및 (b) 상기 온-비히클 액티브 러닝 장치가, (i) 상기 프레임들 각각의 상기 신 코드들과, 오브젝트 디텍터를 통해 검출한 상기 프레임들 각각에서의 오브젝트 디텍션 정보들을 이용하여, 상기 프레임들 중 상기 주행 이벤트들에서의 상기 오브젝트 디텍션 정보들이 기설정된 조건을 만족하는 프레임들을 상기 자율주행 자동차의 퍼셉션 네트워크의 학습에 이용하기 위한 특정 프레임들로 선정하며, 상기 특정 프레임들과 이에 대응되는 특정 신 코드들을 매칭하여 프레임 저장부에 저장하는 프로세스, 및 (ii) 상기 신 코드들과 상기 오브젝트 디텍션 정보들을 이용하여 상기 자율주행 자동차의 상기 퍼셉션 네트워크의 학습 정책에 매칭되는 프레임들을 상기 특정 프레임들로 선정하며, 상기 특정 프레임들과 이에 대응되는 상기 특정 신 코드들을 매칭하여 상기 프레임 저장부에 저장하는 프로세스 중 적어도 하나를 수행하는 단계; 를 포함하는 방법이 제공된다.

상기 일 실시예는, (c) 상기 온-비히클 액티브 러닝 장치가, 상기 특정 신 코드들을 이용하여 상기 프레임 저장부에 저장된 상기 특정 프레임들을 샘플링하여 학습 데이터를 생성하며, 상기 학습 데이터를 이용하여 상기 자율주행 자동차의 상기 퍼셉션 네트워크를 온-비히클 학습시키는 단계; 를 더 포함할 수 있다.

상기 (c) 단계에서, 상기 온-비히클 액티브 러닝 장치는, 상기 특정 프레임들을 샘플링 할 경우, 상기 신 코드들을 참조하여, 다수(majority) 클래스의 일부만을 선택하고 소수(minority) 클래스는 최대한 많은 데이터를 사용하여 언더 샘플링(under sampling)하거나, 소수 클래스의 복사본을 다수 클래스의 수 만큼 데이터를 만드는 오버 샘플링(over sampling)하여 상기 학습 데이터를 생성하여 상기 퍼셉션 네트워크를 학습시키는 프로세스, 및 상기 학습 데이터를 이용한 상기 퍼셉션 네트워크의 학습시 웨이트 발란싱(weight balancing)을 통해 상기 신 코드들에 대응되는 상기 학습 데이터에 대한 웨이트 발란스드(weight balanced) 로스를 생성하며 상기 웨이트 발란스드 로스를 이용한 백프로파게이션을 통해 상기 퍼셉션 네트워크를 학습시키는 프로세스 중 적어도 하나의 프로세스를 수행할 수 있다.

상기 (a) 단계에서, 상기 온-비히클 액티브 러닝 장치는, 상기 신 코드 생성 모듈로 하여금, 딥 러닝 기반의 신 클래시파이어(classifier)를 통해 상기 프레임들 각각을 러닝 연산하여 상기 프레임들 각각의 신들을 주행 환경과 주행 도로의 클래스로 분류하여 상기 프레임들 각각의 신 클래스 코드들을 생성하도록 하고, 주행 이벤트 검출 모듈을 통해 상기 프레임들 및 상기 프레임들 각각에서의 상기 센싱 정보들로부터 상기 자율주행 자동차의 주행 중 발생한 주행 이벤트들을 검출하여 주행 이벤트 코드들을 생성하도록 하며, 상기 프레임들 각각에서의 상기 신 클래스 코드들과 상기 주행 이벤트 코드들을 이용하여 상기 프레임들 각각에 대한 신 코드들을 생성하도록 할 수 있다.

상기 온-비히클 액티브 러닝 장치는, 상기 신 코드 생성 모듈로 하여금, 상기 주행 이벤트 검출 모듈을 통해 상기 프레임들에서의 신 변화를 검출하여 프레임 기반 이벤트 코드들을 생성하도록 하며, 상기 센싱 정보들에서의 상기 자율주행 자동차의 동작 상태를 검출하여 자동차 기반 이벤트 코드들을 생성하도록 하여 상기 주행 이벤트 코드들을 생성하도록 할 수 있다.

상기 (b) 단계에서, 상기 온-비히클 액티브 러닝 장치는, 상기 신 코드들을 참조하여, 사고 이벤트에서 충돌 영역 - 상기 충돌 영역은 상기 자율주행 자동차가 오브젝트와 충돌하거나 충돌할 것으로 예측되는 경우 상기 프레임들에서 상기 오브젝트가 위치할 것으로 예측되는 영역임 - 에 오브젝트가 검출되지 않는 프레임들을 상기 특정 프레임들로 선정할 수 있다.

상기 (b) 단계에서, 상기 온-비히클 액티브 러닝 장치는, 상기 신 코드들을 참조하여, 노멀(normal) 이벤트에서 충돌 영역 - 상기 충돌 영역은 상기 자율주행 자동차가 오브젝트와 충돌하거나 충돌할 것으로 예측되는 경우 상기 프레임에서 상기 오브젝트가 위치할 것으로 예측되는 영역임 - 에 오브젝트가 검출된 프레임들을 상기 특정 프레임들로 선정할 수 있다.

상기 (b) 단계에서, 상기 온-비히클 액티브 러닝 장치는, 상기 오브젝트 디텍션 정보들 중 오브젝트에 대한 컨피던스 스코어(confidence score)가 기설정된 값 이하인 오브젝트가 있는 프레임들을 상기 특정 프레임들로 선정할 수 있다.

상기 (b) 단계에서, 상기 온-비히클 액티브 러닝 장치는, 상기 신 코드들을 참조하여, 레어(rare) 주행 환경에서 보행자가 검출된 프레임들을 상기 특정 프레임들로 선정할 수 있다.

또한, 본 발명의 다른 실시예에 따르면, 자율주행 자동차의 퍼셉션(perception) 네트워크를 학습시키기 위한 온-비히클 액티브 러닝(on-vehicle active learning) 장치에 있어서, 자율주행 자동차에서 획득되는 영상에서의 연속된 프레임들에 대한 온-비히클 액티브 러닝하기 위한 인스트럭션들이 저장된 메모리; 및 상기 메모리에 저장된 인스트럭션들에 따라 온-비히클 액티브 러닝을 위한 동작을 수행하는 프로세서; 를 포함하며, 상기 프로세서는, (I) 자율주행 자동차의 주행 중 카메라로부터의 주행 영상과 자동차 센서들로부터의 센싱 정보들이 획득되면, 상기 주행 영상에서의 연속된 프레임들과 상기 센싱 정보들을 신 코드(scene code) 생성 모듈로 입력하여 상기 신 코드 생성 모듈로 하여금 상기 프레임들과 상기 센싱 정보들을 참조하여 상기 프레임들 각각의 신에 대한 정보와 주행 이벤트에 대한 정보를 포함하는 신 코드들을 생성하도록 하는 프로세스, 및 (II) (i) 상기 프레임들 각각의 상기 신 코드들과, 오브젝트 디텍터를 통해 검출한 상기 프레임들 각각에서의 오브젝트 디텍션 정보들을 이용하여, 상기 프레임들 중 상기 주행 이벤트들에서의 상기 오브젝트 디텍션 정보들이 기설정된 조건을 만족하는 프레임들을 상기 자율주행 자동차의 퍼셉션 네트워크의 학습에 이용하기 위한 특정 프레임들로 선정하며, 상기 특정 프레임들과 이에 대응되는 특정 신 코드들을 매칭하여 프레임 저장부에 저장하는 프로세스, 및 (ii) 상기 신 코드들과 상기 오브젝트 디텍션 정보들을 이용하여 상기 자율주행 자동차의 상기 퍼셉션 네트워크의 학습 정책에 매칭되는 프레임들을 상기 특정 프레임들로 선정하며, 상기 특정 프레임들과 이에 대응되는 상기 특정 신 코드들을 매칭하여 상기 프레임 저장부에 저장하는 프로세스 중 적어도 하나를 수행하는 프로세스를 수행하는 온-비히클 액티브 러닝 장치가 제공된다.

상기 다른 실시예에서, 상기 프로세서는, (III) 상기 특정 신 코드들을 이용하여 상기 프레임 저장부에 저장된 상기 특정 프레임들을 샘플링하여 학습 데이터를 생성하며, 상기 학습 데이터를 이용하여 상기 자율주행 자동차의 상기 퍼셉션 네트워크를 온-비히클 학습시키는 프로세스를 더 수행할 수 있다.

상기 프로세서는, 상기 (III) 프로세스에서, 상기 특정 프레임들을 샘플링 할 경우, 상기 신 코드들을 참조하여, 다수(majority) 클래스의 일부만을 선택하고 소수(minority) 클래스는 최대한 많은 데이터를 사용하여 언더 샘플링(under sampling)하거나, 소수 클래스의 복사본을 다수 클래스의 수 만큼 데이터를 만드는 오버 샘플링(over sampling)하여 상기 학습 데이터를 생성하여 상기 퍼셉션 네트워크를 학습시키는 프로세스, 및 상기 학습 데이터를 이용한 상기 퍼셉션 네트워크의 학습시 웨이트 발란싱(weight balancing)을 통해 상기 신 코드들에 대응되는 상기 학습 데이터에 대한 웨이트 발란스드(weight balanced) 로스를 생성하며 상기 웨이트 발란스드 로스를 이용한 백프로파게이션을 통해 상기 퍼셉션 네트워크를 학습시키는 프로세스 중 적어도 하나의 프로세스를 수행할 수 있다.

상기 프로세서는, 상기 (I) 프로세스에서, 상기 신 코드 생성 모듈로 하여금, 딥 러닝 기반의 신 클래시파이어(classifier)를 통해 상기 프레임들 각각을 러닝 연산하여 상기 프레임들 각각의 신들을 주행 환경과 주행 도로의 클래스로 분류하여 상기 프레임들 각각의 신 클래스 코드들을 생성하도록 하고, 주행 이벤트 검출 모듈을 통해 상기 프레임들 및 상기 프레임들 각각에서의 상기 센싱 정보들로부터 상기 자율주행 자동차의 주행 중 발생한 주행 이벤트들을 검출하여 주행 이벤트 코드들을 생성하도록 하며, 상기 프레임들 각각에서의 상기 신 클래스 코드들과 상기 주행 이벤트 코드들을 이용하여 상기 프레임들 각각에 대한 신 코드들을 생성하도록 할 수 있다.

상기 프로세서는, 상기 신 코드 생성 모듈로 하여금, 상기 주행 이벤트 검출 모듈을 통해 상기 프레임들에서의 신 변화를 검출하여 프레임 기반 이벤트 코드들을 생성하도록 하며, 상기 센싱 정보들에서의 상기 자율주행 자동차의 동작 상태를 검출하여 자동차 기반 이벤트 코드들을 생성하도록 하여 상기 주행 이벤트 코드들을 생성하도록 할 수 있다.

상기 프로세서는, 상기 (II) 프로세스에서, 상기 신 코드들을 참조하여, 사고 이벤트에서 충돌 영역 - 상기 충돌 영역은 상기 자율주행 자동차가 오브젝트와 충돌하거나 충돌할 것으로 예측되는 경우 상기 프레임들에서 상기 오브젝트가 위치할 것으로 예측되는 영역임 - 에 오브젝트가 검출되지 않는 프레임들을 상기 특정 프레임들로 선정할 수 있다.

상기 프로세서는, 상기 (II) 프로세스에서, 상기 신 코드들을 참조하여, 노멀(normal) 이벤트에서 충돌 영역 - 상기 충돌 영역은 상기 자율주행 자동차가 오브젝트와 충돌하거나 충돌할 것으로 예측되는 경우 상기 프레임에서 상기 오브젝트가 위치할 것으로 예측되는 영역임 - 에 오브젝트가 검출된 프레임들을 상기 특정 프레임들로 선정할 수 있다.

상기 프로세서는, 상기 (II) 프로세스에서, 상기 오브젝트 디텍션 정보들 중 오브젝트에 대한 컨피던스 스코어(confidence score)가 기설정된 값 이하인 오브젝트가 있는 프레임들을 상기 특정 프레임들로 선정할 수 있다.

상기 프로세서는, 상기 (II) 프로세스에서, 상기 신 코드들을 참조하여, 레어(rare) 주행 환경에서 보행자가 검출된 프레임들을 상기 특정 프레임들로 선정할 수 있다.

이 외에도, 본 발명의 방법을 실행하기 위한 컴퓨터 프로그램을 기록하기 위한 컴퓨터 판독 가능한 기록 매체가 더 제공된다.

본 발명은 온-비히클(on-vehicle)에서 입력되는 영상 이미지에 따른 신 코드를 부여하고 학습에 유의미한 데이터인지 판단하여 자동차의 저장부에 저장함으로써 새로운 트레이닝 데이터에 의한 퍼셉션 네트워크의 학습 효과를 향상시킬 수 있게 된다.

또한, 본 발명은 학습을 위한 트레이닝 데이터를 신 코드에 따라 샘플링 발란싱을 수행함으로써 온라인 상, 즉, 자동차 자체에서 액티브 러닝을 수행할 수 있게 된다.

또한, 본 발명은 학습을 위한 트레이닝 데이터를 신 코드에 따라 샘플링 발란싱을 수행함으로써 자율주행 자동차의 퍼셉션 네트워크에 대한 온-비히클 러닝을 수행할 수 있게 된다.

본 발명의 실시예의 설명에 이용되기 위하여 첨부된 아래 도면들은 본 발명의 실시예들 중 단지 일부일 뿐이며, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자(이하 "통상의 기술자")에게 있어서는 발명적 작업이 이루어짐 없이 이 도면들에 기초하여 다른 도면들이 얻어질 수 있다.
도 1은 본 발명의 일 실시예에 따른 자율주행 자동차의 퍼셉션 네트워크를 학습시키기 위한 온-비히클 액티브 러닝을 위한 온-비히클 액티브 러닝 장치를 개략적으로 도시한 것이며,
도 2는 본 발명의 일 실시예에 따른 자율주행 자동차의 퍼셉션 네트워크를 학습시키기 위한 온-비히클 액티브 러닝 방법을 개략적으로 도시한 것이며,
도 3은 본 발명의 일 실시예에 따른 자율주행 자동차의 퍼셉션 네트워크를 학습시키기 위한 온-비히클 액티브 러닝 방법에서 신 코드를 생성하는 방법을 개략적으로 도시한 것이며,
도 4는 본 발명의 일 실시예에 따른 자율주행 자동차의 퍼셉션 네트워크를 학습시키기 위한 온-비히클 액티브 러닝 방법에서 학습에 유의미한 데이터를 판단하는 방법을 개략적으로 도시한 것이고,
도 5는 본 발명의 일 실시예에 따른 자율주행 자동차의 퍼셉션 네트워크를 학습시키기 위한 온-비히클 액티브 러닝 방법에서 학습에 유의미한 데이터를 판단하는 다른 방법을 개략적으로 도시한 것이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명의 목적들, 기술적 해법들 및 장점들을 분명하게 하기 위하여 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 통상의 기술자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다.

또한, 본 발명의 상세한 설명 및 청구항들에 걸쳐, "포함하다"라는 단어 및 그것의 변형은 다른 기술적 특징들, 부가물들, 구성요소들 또는 단계들을 제외하는 것으로 의도된 것이 아니다. 통상의 기술자에게 본 발명의 다른 목적들, 장점들 및 특성들이 일부는 본 설명서로부터, 그리고 일부는 본 발명의 실시로부터 드러날 것이다. 아래의 예시 및 도면은 실례로서 제공되며, 본 발명을 한정하는 것으로 의도된 것이 아니다.

더욱이 본 발명은 본 명세서에 표시된 실시예들의 모든 가능한 조합들을 망라한다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 자율주행 자동차의 퍼셉션 네트워크를 학습시키기 위한 온-비히클 액티브 러닝을 위한 온-비히클 액티브 러닝 장치를 개략적으로 도시한 것으로, 도 1을 참조하면, 온-비히클 액티브 러닝 장치(1000)는 자율주행 자동차에서 획득되는 영상에서의 연속된 프레임들에 대한 온-비히클 액티브 러닝하기 위한 인스트럭션들이 저장된 메모리(1001)와 메모리(1001)에 저장된 인스트럭션들에 따라 온-비히클 액티브 러닝을 위한 동작을 수행하는 프로세서(1002)를 포함할 수 있다.

구체적으로, 학습 장치(1000)는 전형적으로 컴퓨팅 장치(예컨대, 컴퓨터 프로세서, 메모리, 스토리지, 입력 장치 및 출력 장치, 기타 기존의 컴퓨팅 장치의 구성요소들을 포함할 수 있는 장치; 라우터, 스위치 등과 같은 전자 통신 장치; 네트워크 부착 스토리지(NAS) 및 스토리지 영역 네트워크(SAN)와 같은 전자 정보 스토리지 시스템)와 컴퓨터 소프트웨어(즉, 컴퓨팅 장치로 하여금 특정의 방식으로 기능하게 하는 인스트럭션들)의 조합을 이용하여 원하는 시스템 성능을 달성하는 것일 수 있다.

또한, 컴퓨팅 장치의 프로세서는 MPU(Micro Processing Unit) 또는 CPU(Central Processing Unit), 캐쉬 메모리(Cache Memory), 데이터 버스(Data Bus) 등의 하드웨어 구성을 포함할 수 있다. 또한, 컴퓨팅 장치는 운영체제, 특정 목적을 수행하는 애플리케이션의 소프트웨어 구성을 더 포함할 수도 있다.

그러나, 컴퓨팅 장치가 본 발명을 실시하기 위한 미디엄, 프로세서 및 메모리가 통합된 형태인 integrated 프로세서를 포함하는 경우를 배제하는 것은 아니다.

이와 같이 구성된 본 발명의 일 실시예에 따른 자율주행 자동차의 퍼셉션 네트워크를 학습시키기 위한 온-비히클 액티브 러닝을 위한 온-비히클 액티브 러닝 장치(1000)를 이용하여 온-비히클 액티브 러닝을 수행하는 방법에 대하여 도 2를 참조하여 설명하면 다음과 같다.

먼저, 자율주행 자동차의 운행 중, 카메라, 일 예로, 이미지 센서로부터의 주행 영상과 자동차 센서들로부터의 센싱 정보들이 획득되면, 온-비히클 액티브 러닝 장치(1000)는 주행 영상에서의 연속된 프레임들과 센싱 정보들을 신 코드(scene code) 생성 모듈(1200)로 입력하여 신 코드 생성 모듈(1200)로 하여금 프레임들과 센싱 정보들을 참조하여 프레임들 각각의 신에 대한 정보와 주행 이벤트에 대한 정보를 포함하는 신 코드들을 생성하도록 할 수 있다.

이때, 신 코드는 프레임들 각각에서의 신에 대한 정보와 주행 이벤트에 대한 정보를 코드화한 것일 수 있다.

일 예로, 도 3을 참조하면, 신 코드 생성 모듈(1200)은 딥 러닝 기반의 신 클래시파이어(scene classifier)(1210)를 통해 프레임들 각각을 러닝 연산하여 프레임들 각각의 신들을 주행 환경과 주행 도로의 클래스로 분류하여 프레임들 각각의 신 클래스 코드들을 생성할 수 있다. 그리고, 신 클래시파이어(1210)는 프레임들 각각의 피처들을 추출하고, 추출된 피처들이 기설정된 주행 환경과 주행 도로의 클래스들 중 어느 클래스에 해당되는지 분류함으로써 프레임들 각각의 신 클래스 코드들을 생성할 수 있다.

이때, 주행 환경은 자율주행 자동차가 주행 중인 영역에서의 기상 정보와 시간대 정보를 포함할 수 있으나, 이에 한정되지 않으며, 자율주행 자동차가 주행 중인 영역 또는 지역의 다양한 기상 정보를 포함할 수 있다. 그리고, 기상 정보는 sunny, rain, snow, fog 등을 포함할 수 있으며, 시간대 정보는 day, night 등을 포함할 수 있다. 또한, 주행 도로는 자율주행 자동차가 주행 중인 도로의 종류, 일 예로, 고속도로, 시내 도로, 터널 구간 등을 포함할 수 있으나, 이에 한정되지 않으며, 자율주행 자동차가 주행 중인 다양한 도로 환경을 포함할 수 있다.

또한, 신 코드 생성 모듈(1200)은 주행 이벤트 검출 모듈(1220)을 통해 프레임들, 및 프레임들 각각에서의 센싱 정보들로부터 자율주행 자동차의 주행 중 발행한 주행 이벤트들을 검출하여 주행 이벤트 코드들을 생성할 수 있다.

이때, 주행 이벤트 코드들은 연속된 프레임들을 이용하여 검출한 이미지 기반 이벤트 코드들과 센싱 정보들을 이용하여 검출한 자동차 기반 이벤트 코드들을 포함할 수 있다.

일 예로, 신 코드 생성 모듈(1200)은 연속된 프레임들을 주행 이벤트 검출 모듈(1220)의 신 변화 디텍터로 입력하여 신 변화 디텍터로 하여금 연속된 프레임들 각각에서의 신이 변경되었는지를 검출하여, 신 변화 여부에 따라 프레임들 각각에 대응되는 이미지 기반 이벤트 코드들을 생성하도록 할 수 있다. 이때, 이미지 기반 이벤트 코드들은 신 변화 여부에 따른 uniform sample, scene change 등을 포함할 수 있다. 이에 더하여, 신 코드 생성 모듈(1200)은 센싱 정보들을 이용하여 자율주행 자동차의 동작 상태를 검출하여 자동차의 운행 중 발생하는 이벤트들을 검출하여 자동차 기반 이벤트 코드들을 생성할 수 있다. 이때, 자동차 기반 이벤트 코드들은 rapid steering, slam on the braking, normal action, AEB activated 등을 포함할 수 있다. 그리고, 신 코드 생성 모듈(1200)은 프레임들 각각에서의 신 클래스 코드들과 주행 이벤트 코드들을 이용하여 프레임들 각각에 대한 신 코드들을 생성할 수 있다.

이때, 프레임들 각각에 대한 신 코드들은 다음의 표와 같이 나타내어질 수 있다.

신 클래스 코드 code		주행 이벤트 코드
주행 환경 (날씨/시간)	주행 도로	프레임 기반 이벤트 코드	자동차 기반 이벤트 코드
sunny, rain, snow, fog, etc.day/night	highway/city/tunnel	uniform sample scene change	rapid steering/ slam on the braking/ normal action/ AEB activated

한편, 상기에서 설명한 신 코드는 예시적으로 기재한 것으로, 본 발명은 이에 한정되지 않으며, 주행 영상의 연속된 프레임들 각각에 대한 신 코드는 다양한 형태로 생성될 수 있다.

한편, 다시 도 2를 참조하면, 주행 영상과 센싱 정보들은 자율주행 자동차의 주행 영상 및 운행 정보 분석 모듈(1100)로 입력될 수 있다.

그러면, 주행 영상 및 운행 정보 분석 모듈(1100)은 퍼셉션 네트워크를 통해 주행 영상의 연속된 프레임들을 러닝 연산하여 자율주행 자동차의 주변 환경 정보, 일 예로, 자동차, 보행자 등과 같은 오브젝트들, 주행 도로의 차선들, 트래픽 시그널 등을 검출하며, 센싱 정보들을 참조하여 자율주행 자동차의 운행 상태 정보를 검출할 수 있다. 그리고, 자율주행 자동차의 주변 환경 정보와 운행 상태 정보는 자율주행 제어부(1500)로 전송되며, 자율주행 제어부(1500)는 환경 정보와 운행 상태 정보를 이용하여 자율주행 자동차의 주행 동작을 제어할 수 있게 된다.

일 예로, 주행 영상 및 운행 정보 분석 모듈(1110)은 딥 러닝 기반, 일 예로, CNN(convolutional neural network) 기반의 오브젝트 디텍터를 통해 주행 영상의 프레임들에 대한 오브젝트 디텍션을 수행하여 프레임들 각각에서의 오브젝트 디텍션 정보를 생성하거나, 딥 러닝 기반의 세그먼테이션 네트워크를 통해 주행 영상의 프레임들에 대한 세그먼테이션을 수행하여 프레임들 각각에서의 차선 정보를 생성할 수 있다. 또한, 주행 영상 및 운행 정보 분석 모듈(1110)은 센싱 정보들을 참조하여 자동차의 운행 상태 정보, 즉, 자율주행 자동차의 가감속 상태, 스티어링휠 조작 상태, 긴급제동시스템(autonomous emergency braking: AEB)의 동작 여부 등의 운행 상태 정보를 출력하도록 할 수 있다.

다음으로, 온-비히클 액티브 러닝 장치(1000)는 프레임 선정 모듈(1300)을 통해 프레임들 각각의 scene 코드들과 오브젝트 디텍터를 통해 검출한 프레임들 각각에서의 오브젝트 디텍션 정보들을 이용하여 자율주행 자동차의 퍼셉션 네트워크를 학습시키기 위한 학습 데이터에 유용한 프레임들을 선정하도록 하며, 학습 데이터로 선정된 프레임들을 프레임 저장부(1400)에 저장할 수 있다.

즉, 온-비히클 액티브 러닝 장치(1000)는 프레임 선정 모듈(1300)로 하여금 주행 영상으로부터 획득된 연속된 프레임들 중에서 자율주행 자동차의 딥 러닝 기반의 퍼셉션 네트워크를 학습시키기 위한 유의미한 프레임, 즉, 이미지를 선정하도록 할 수 있다.

이때, 프레임 선정 모듈(1300)은 다양한 방법에 의해 퍼셉션 네트워크의 학습에 유의미한 프레임을 선정할 수 있다.

즉, 온-비히클 액티브 러닝 장치(1000)는 프레임 선정 모듈(1300)을 통해, 프레임들 각각의 신 코드들과, 오브젝트 디텍터를 통해 검출한 프레임들 각각에서의 오브젝트 디텍션 정보들을 이용하여, 프레임들 중 주행 이벤트들에서의 오브젝트 디텍션 정보들이 기설정된 조건을 만족하는 프레임들을 자율주행 자동차의 퍼셉션 네트워크의 학습에 이용하기 위한 특정 프레임들로 선정하도록 하며, 특정 프레임들과 이에 대응되는 특정 신 코드들을 매칭하여 프레임 저장부(1400), 즉, 자율주행 자동차의 설치된 한정된 저장 용량을 가지는 메모리에 저장하는 프로세스를 수행할 수 있다.

또한, 온-비히클 액티브 러닝 장치(1000)는 프레임 선정 모둘(1300)을 통해, 프레임들 각각의 신 코드들과 오브젝트 디텍션 정보들을 이용하여 자율주행 자동차의 퍼셉션 네트워크의 학습 정책에 매칭되는 프레임들을 특정 프레임들로 선정하도록 하며, 특정 프레임들과 이에 대응되는 특정 신 코드들을 매칭하여 프레임 저장부(1400)에 저장하는 프로세스를 수행할 수 있다.

일 예로, 온-비히클 액티브 러닝 장치(1000)는 신 코드들을 참조하여, 사고 이벤트(accident event)에서 충돌 영역에 오브젝트가 검출되지 않은 프레임들을 퍼셉션 네트워크의 학습에 유용한 특정 프레임들로 선정할 수 있다. 이때, 사고 이벤트는 자율주행 자동차의 급정거, 급좌회전, 급우회전 등과 같이 자율주행 자동차의 주행 상태가 충돌 상황이거나 충돌을 예측한 상황에서 수행한 주행 이벤트일 수 있다. 그리고, 충돌 영역은 자율주행 자동차가 오브젝트와 충돌하거나 충돌할 것으로 예측되는 프레임들에서 해당 오브젝트가 위치할 것으로 예측되는 영역일 수 있다.

즉, 자율주행 자동차의 이벤트 코드가 급정거, 급좌회전, 급우회전 등과 같은 상황에서는 충돌 영역에 오브젝트가 검출되어야 하지만, 주행 영상의 프레임에서의 충돌 영역에 검출된 오브젝트가 없다면 폴스 네거티브(false negative) 상황이 의심되므로 해당 프레임을 퍼셉션 네트워크의 학습에 유용한 프레임으로 선정할 수 있다.

또한, 온-비히클 액티브 러닝 장치(1000)는 신 코드들을 참조하여, 노멀(normal) 이벤트에서 충돌 영역에 오브젝트가 검출된 프레임들을 퍼셉션 네트워크의 학습에 유용한 특정 프레임들로 선정할 수 있다.

즉, 사고 상황 등이 아닌 정상 주행 상황에서 자율주행 자동차가 운행하는 상태에서는 충돌 영역에 오브젝트가 검출되지 않아야 하지만, 주행 영상의 프레임에서의 충돌 영역에 검출된 오브젝트가 있으면 기능 고장 알람(function false alarm) 상황이 의심되므로 해당 프레임을 퍼셉션 네트워크의 학습에 유용한 프레임으로 선정할 수 있다.

또한, 온-비히클 액티브 러닝 장치(1000)는 오브젝트 디텍션 정보들 중 오브젝트에 대한 컨피던스 스코어(confidence score)가 기설정된 값, 즉, 임계값 이하인 오브젝트가 있는 프레임들을 퍼셉션 네트워크의 학습용 유용한 특정 프레임들로 선정할 수 있다.

그리고, 상기와 같은 특정 상황 이외의 프레임들은 퍼셉션 네트워크가 잘 판단하고 있으므로 퍼셉션 네트워크의 학습에 유용하지 않은 프레임들로 판단하여 해당 프레임들을 제거(discard)할 수 있다.

한편, 온-비히클 액티브 러닝 장치(1000)는 퍼셉션 네트워크의 학습 정책에 따라, 신 코드들을 참조하여, 레어(rare) 주행 환경에서 보행자가 검출된 프레임들을 퍼셉션 네트워크의 학습에 유용한 특정 프레임들로 선정할 수 있다.

일 예로, 신 코드가 비 오는 날 야간인 경우에 보행자가 검출된 프레임은 퍼셉션 네트워크의 학습에 유용한 하드 케이스(hard case)인 것으로 판단하여 해당 프레임이 퍼셉션 네트워크의 학습에 유용한 것으로 판단할 수 있으며, 신 코드가 day/sunny인 경우에는 퍼셉션 네트워크가 충분히 학습이 되어 있는 것으로 판단하여 오버피팅(overfitting)을 방지하기 위하여 해당 프레임을 퍼셉션 네트워크의 학습에 유용하지 않은 것으로 판단할 수 있다.

하지만, 상기에서 설명한 주행 영상에서의 프레임들이 퍼셉션 네트워크의 학습에 유용한 것인지 여부를 판단하는 방법은 예시적인 것으로, 본 발명은 이에 한정되지 않으며, 설정 조건에 따라 다양한 방법에 의해 프레임들이 퍼셉션 네트워크의 학습에 유용한 것인지 여부를 판단할 수 있다.

한편, 프레임 선정 모듈(1300)은 학습된 네트워크, 즉, 학습된 딥 러닝 네트워크를 이용하여 주행 영상의 프레임이 퍼셉션 네트워크의 학습에 유용한 것인지 여부를 판단할 수도 있다.

일 예로, 도 4를 참조하면, 프레임 선정 모듈(1300)은 프레임을 각각 오토 라벨링 네트워크(1310)와 학습된 딥 러닝 네트워크(1320)로 입력하고, 오토 라벨링 네트워크(1310)에서 출력되는 출력 정보와 학습된 딥 러닝 네트워크(1320)에서 출력되는 출력 정보를 비교하여 오토 라벨링 네트워크(1310)의 출력 정보와 학습된 딥 러닝 네트워크(1320)의 출력 정보가 같거나 유사하면 해당 프레임이 퍼셉션 네트워크의 학습에 유용하지 않은 것으로 판단하며, 차이가 기설정된 임계값 이상이면 하드 이그잼플(hard example)로 판단하여 해당 프레임이 퍼셉션 네트워크의 학습에 유용한 것으로 판단할 수 있다.

다른 예로, 도 5를 참조하면, 프레임 선정 모듈(1300)은 프레임을 다수의 방법으로 변경(modify)하여 다수의 변경된 프레임들로 생성하여 준다. 이때, 변경은 프레임의 사이즈를 리사이즈 하거나, 종횡비(aspect ratio)를 변경하거나, 컬러 톤(color tone)을 변경하는 등 다양한 방법으로 수행할 수 있다. 그리고, 다수의 변경된 프레임들 각각을 학습된 딥 러닝 네트워크(1320)로 입력하고, 학습된 딥 러닝 네트워크(1320)로부터 출력되는 다수의 변경된 프레임들 각각에 대응되는 출력값들의 편차(variance)를 연산하며, 연산된 편차가 기설정된 임계값 이하이면 해당 프레임이 퍼셉션 네트워크의 학습에 유용하지 않은 것으로 판단하고, 연산된 편차가 기설정된 임계값 초과이면 하드 이그잼플로 판단하여 해당 프레임이 퍼셉션 네트워크의 학습에 유용한 것으로 판단할 수 있다.

다음으로, 온-비히클 액티브 러닝 장치(1000)는 특정 신 코드들을 이용하여 프레임 저장부(1400)에 저장된 특정 프레임들을 샘플링하여 학습 데이터를 생성하며, 학습 데이터를 이용하여 자율주행 자동차의 퍼셉션 네트워크를 온-비히클 학습시킬 수 있다.

이때, 온-비히클 액티브 러닝 장치(1000)는 프레임 저장부(1400)에 저장된 특정 프레임들을 샘플링할 경우, 신 코드들을 참조하여, 다수(majority) 클래스의 일부만을 선택하고 소수(minority) 클래스는 최대한 많은 데이터를 사용하여 언더 샘플링(under sampling)하거나, 소수 클래스의 복사본을 다수 클래스의 수만큼 데이터를 만드는 오버 샘플링(over sampling)하여 학습 데이터를 생성할 수 있으며, 샘플링된 학습 데이터를 이용하여 퍼셉션 네트워크를 학습시키는 프로세스를 수행할 수 있다.

또한, 온-비히클 액티브 러닝 장치(1000)는 프레임 저장부(1400)에 저장된 특정 프레임들을 이용하여 퍼셉션 네트워크의 학습시, 우에트 발란싱(weight balancing)을 통해 신 코드들에 대응되는 학습 데이터에 대한 웨이트 발란스드(weight balanced) 로스를 생성하며 웨이트 발란스드 로스를 이용한 백프로파게이션(backpropagation)을 통해 퍼셉션 네트워크를 학습시키는 프로세스를 수행할 수 있다.

또한, 이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims

자율주행 자동차의 퍼셉션(perception) 네트워크를 학습시키기 위한 온-비히클 액티브 러닝(on-vehicle active learning) 방법에 있어서,
(a) 자율주행 자동차의 주행 중 카메라로부터의 주행 영상과 자동차 센서들로부터의 센싱 정보들이 획득되면, 온-비히클 액티브 러닝 장치가, 상기 주행 영상에서의 연속된 프레임들과 상기 센싱 정보들을 신 코드(scene code) 생성 모듈로 입력하여 상기 신 코드 생성 모듈로 하여금 상기 프레임들과 상기 센싱 정보들을 참조하여 상기 프레임들 각각의 신에 대한 정보와 주행 이벤트에 대한 정보를 포함하는 신 코드들을 생성하도록 하는 단계; 및
(b) 상기 온-비히클 액티브 러닝 장치가, (i) 상기 프레임들 각각의 상기 신 코드들과, 오브젝트 디텍터를 통해 검출한 상기 프레임들 각각에서의 오브젝트 디텍션 정보들을 이용하여, 상기 프레임들 중 상기 주행 이벤트들에서의 상기 오브젝트 디텍션 정보들이 기설정된 조건을 만족하는 프레임들을 상기 자율주행 자동차의 퍼셉션 네트워크의 학습에 이용하기 위한 특정 프레임들로 선정하며, 상기 특정 프레임들과 이에 대응되는 특정 신 코드들을 매칭하여 프레임 저장부에 저장하는 프로세스, 및 (ii) 상기 신 코드들과 상기 오브젝트 디텍션 정보들을 이용하여 상기 자율주행 자동차의 상기 퍼셉션 네트워크의 학습 정책에 매칭되는 프레임들을 상기 특정 프레임들로 선정하며, 상기 특정 프레임들과 이에 대응되는 상기 특정 신 코드들을 매칭하여 상기 프레임 저장부에 저장하는 프로세스 중 적어도 하나를 수행하는 단계;
를 포함하는 방법.
제1항에 있어서,
(c) 상기 온-비히클 액티브 러닝 장치가, 상기 특정 신 코드들을 이용하여 상기 프레임 저장부에 저장된 상기 특정 프레임들을 샘플링하여 학습 데이터를 생성하며, 상기 학습 데이터를 이용하여 상기 자율주행 자동차의 상기 퍼셉션 네트워크를 온-비히클 학습시키는 단계;
를 더 포함하는 방법.
제2항에 있어서,
상기 (c) 단계에서,
상기 온-비히클 액티브 러닝 장치는, 상기 특정 프레임들을 샘플링 할 경우, 상기 신 코드들을 참조하여, 다수(majority) 클래스의 일부만을 선택하고 소수(minority) 클래스는 최대한 많은 데이터를 사용하여 언더 샘플링(under sampling)하거나, 소수 클래스의 복사본을 다수 클래스의 수 만큼 데이터를 만드는 오버 샘플링(over sampling)하여 상기 학습 데이터를 생성하여 상기 퍼셉션 네트워크를 학습시키는 프로세스, 및 상기 학습 데이터를 이용한 상기 퍼셉션 네트워크의 학습시 웨이트 발란싱(weight balancing)을 통해 상기 신 코드들에 대응되는 상기 학습 데이터에 대한 웨이트 발란스드(weight balanced) 로스를 생성하며 상기 웨이트 발란스드 로스를 이용한 백프로파게이션을 통해 상기 퍼셉션 네트워크를 학습시키는 프로세스 중 적어도 하나의 프로세스를 수행하는 방법.
제1항에 있어서,
상기 (a) 단계에서,
상기 온-비히클 액티브 러닝 장치는, 상기 신 코드 생성 모듈로 하여금, 딥 러닝 기반의 신 클래시파이어(classifier)를 통해 상기 프레임들 각각을 러닝 연산하여 상기 프레임들 각각의 신들을 주행 환경과 주행 도로의 클래스로 분류하여 상기 프레임들 각각의 신 클래스 코드들을 생성하도록 하고, 주행 이벤트 검출 모듈을 통해 상기 프레임들 및 상기 프레임들 각각에서의 상기 센싱 정보들로부터 상기 자율주행 자동차의 주행 중 발생한 주행 이벤트들을 검출하여 주행 이벤트 코드들을 생성하도록 하며, 상기 프레임들 각각에서의 상기 신 클래스 코드들과 상기 주행 이벤트 코드들을 이용하여 상기 프레임들 각각에 대한 신 코드들을 생성하도록 하는 방법.
제4항에 있어서,
상기 온-비히클 액티브 러닝 장치는, 상기 신 코드 생성 모듈로 하여금, 상기 주행 이벤트 검출 모듈을 통해 상기 프레임들에서의 신 변화를 검출하여 프레임 기반 이벤트 코드들을 생성하도록 하며, 상기 센싱 정보들에서의 상기 자율주행 자동차의 동작 상태를 검출하여 자동차 기반 이벤트 코드들을 생성하도록 하여 상기 주행 이벤트 코드들을 생성하도록 하는 방법.
제1항에 있어서,
상기 (b) 단계에서,
상기 온-비히클 액티브 러닝 장치는, 상기 신 코드들을 참조하여, 사고 이벤트에서 충돌 영역 - 상기 충돌 영역은 상기 자율주행 자동차가 오브젝트와 충돌하거나 충돌할 것으로 예측되는 경우 상기 프레임들에서 상기 오브젝트가 위치할 것으로 예측되는 영역임 - 에 오브젝트가 검출되지 않는 프레임들을 상기 특정 프레임들로 선정하는 방법.
제1항에 있어서,
상기 (b) 단계에서,
상기 온-비히클 액티브 러닝 장치는, 상기 신 코드들을 참조하여, 노멀(normal) 이벤트에서 충돌 영역 - 상기 충돌 영역은 상기 자율주행 자동차가 오브젝트와 충돌하거나 충돌할 것으로 예측되는 경우 상기 프레임에서 상기 오브젝트가 위치할 것으로 예측되는 영역임 - 에 오브젝트가 검출된 프레임들을 상기 특정 프레임들로 선정하는 방법.
제1항에 있어서,
상기 (b) 단계에서,
상기 온-비히클 액티브 러닝 장치는, 상기 오브젝트 디텍션 정보들 중 오브젝트에 대한 컨피던스 스코어(confidence score)가 기절정된 값 이하인 오브젝트가 있는 프레임들을 상기 특정 프레임들로 선정하는 방법.
제1항에 있어서,
상기 (b) 단계에서,
상기 온-비히클 액티브 러닝 장치는, 상기 신 코드들을 참조하여, 레어(rare) 주행 환경에서 보행자가 검출된 프레임들을 상기 특정 프레임들로 선정하는 방법.
자율주행 자동차의 퍼셉션(perception) 네트워크를 학습시키기 위한 온-비히클 액티브 러닝(on-vehicle active learning) 장치에 있어서,
자율주행 자동차에서 획득되는 영상에서의 연속된 프레임들에 대한 온-비히클 액티브 러닝하기 위한 인스트럭션들이 저장된 메모리; 및
상기 메모리에 저장된 인스트럭션들에 따라 온-비히클 액티브 러닝을 위한 동작을 수행하는 프로세서;
를 포함하며,
상기 프로세서는, (I) 자율주행 자동차의 주행 중 카메라로부터의 주행 영상과 자동차 센서들로부터의 센싱 정보들이 획득되면, 상기 주행 영상에서의 연속된 프레임들과 상기 센싱 정보들을 신 코드(scene code) 생성 모듈로 입력하여 상기 신 코드 생성 모듈로 하여금 상기 프레임들과 상기 센싱 정보들을 참조하여 상기 프레임들 각각의 신에 대한 정보와 주행 이벤트에 대한 정보를 포함하는 신 코드들을 생성하도록 하는 프로세스, 및 (II) (i) 상기 프레임들 각각의 상기 신 코드들과, 오브젝트 디텍터를 통해 검출한 상기 프레임들 각각에서의 오브젝트 디텍션 정보들을 이용하여, 상기 프레임들 중 상기 주행 이벤트들에서의 상기 오브젝트 디텍션 정보들이 기설정된 조건을 만족하는 프레임들을 상기 자율주행 자동차의 퍼셉션 네트워크의 학습에 이용하기 위한 특정 프레임들로 선정하며, 상기 특정 프레임들과 이에 대응되는 특정 신 코드들을 매칭하여 프레임 저장부에 저장하는 프로세스, 및 (ii) 상기 신 코드들과 상기 오브젝트 디텍션 정보들을 이용하여 상기 자율주행 자동차의 상기 퍼셉션 네트워크의 학습 정책에 매칭되는 프레임들을 상기 특정 프레임들로 선정하며, 상기 특정 프레임들과 이에 대응되는 상기 특정 신 코드들을 매칭하여 상기 프레임 저장부에 저장하는 프로세스 중 적어도 하나를 수행하는 프로세스를 수행하는 온-비히클 액티브 러닝 장치.
제10항에 있어서,
상기 프로세서는, (III) 상기 특정 신 코드들을 이용하여 상기 프레임 저장부에 저장된 상기 특정 프레임들을 샘플링하여 학습 데이터를 생성하며, 상기 학습 데이터를 이용하여 상기 자율주행 자동차의 상기 퍼셉션 네트워크를 온-비히클 학습시키는 프로세스를 더 수행하는 온-비히클 액티브 러닝 장치.
제11항에 있어서,
상기 프로세서는, 상기 (III) 프로세스에서, 상기 특정 프레임들을 샘플링 할 경우, 상기 신 코드들을 참조하여, 다수(majority) 클래스의 일부만을 선택하고 소수(minority) 클래스는 최대한 많은 데이터를 사용하여 언더 샘플링(under sampling)하거나, 소수 클래스의 복사본을 다수 클래스의 수 만큼 데이터를 만드는 오버 샘플링(over sampling)하여 상기 학습 데이터를 생성하여 상기 퍼셉션 네트워크를 학습시키는 프로세스, 및 상기 학습 데이터를 이용한 상기 퍼셉션 네트워크의 학습시 웨이트 발란싱(weight balancing)을 통해 상기 신 코드들에 대응되는 상기 학습 데이터에 대한 웨이트 발란스드(weight balanced) 로스를 생성하며 상기 웨이트 발란스드 로스를 이용한 백프로파게이션을 통해 상기 퍼셉션 네트워크를 학습시키는 프로세스 중 적어도 하나의 프로세스를 수행하는 온-비히클 액티브 러닝 장치.
제10항에 있어서,
상기 프로세서는, 상기 (I) 프로세스에서, 상기 신 코드 생성 모듈로 하여금, 딥 러닝 기반의 신 클래시파이어(classifier)를 통해 상기 프레임들 각각을 러닝 연산하여 상기 프레임들 각각의 신들을 주행 환경과 주행 도로의 클래스로 분류하여 상기 프레임들 각각의 신 클래스 코드들을 생성하도록 하고, 주행 이벤트 검출 모듈을 통해 상기 프레임들 및 상기 프레임들 각각에서의 상기 센싱 정보들로부터 상기 자율주행 자동차의 주행 중 발생한 주행 이벤트들을 검출하여 주행 이벤트 코드들을 생성하도록 하며, 상기 프레임들 각각에서의 상기 신 클래스 코드들과 상기 주행 이벤트 코드들을 이용하여 상기 프레임들 각각에 대한 신 코드들을 생성하도록 하는 온-비히클 액티브 러닝 장치.
제13항에 있어서,
상기 프로세서는, 상기 신 코드 생성 모듈로 하여금, 상기 주행 이벤트 검출 모듈을 통해 상기 프레임들에서의 신 변화를 검출하여 프레임 기반 이벤트 코드들을 생성하도록 하며, 상기 센싱 정보들에서의 상기 자율주행 자동차의 동작 상태를 검출하여 자동차 기반 이벤트 코드들을 생성하도록 하여 상기 주행 이벤트 코드들을 생성하도록 하는 온-비히클 액티브 러닝 장치.
제10항에 있어서,
상기 프로세서는, 상기 (II) 프로세스에서, 상기 신 코드들을 참조하여, 사고 이벤트에서 충돌 영역 - 상기 충돌 영역은 상기 자율주행 자동차가 오브젝트와 충돌하거나 충돌할 것으로 예측되는 경우 상기 프레임들에서 상기 오브젝트가 위치할 것으로 예측되는 영역임 - 에 오브젝트가 검출되지 않는 프레임들을 상기 특정 프레임들로 선정하는 온-비히클 액티브 러닝 장치.
제10항에 있어서,
상기 프로세서는, 상기 (II) 프로세스에서, 상기 신 코드들을 참조하여, 노멀(normal) 이벤트에서 충돌 영역 - 상기 충돌 영역은 상기 자율주행 자동차가 오브젝트와 충돌하거나 충돌할 것으로 예측되는 경우 상기 프레임에서 상기 오브젝트가 위치할 것으로 예측되는 영역임 - 에 오브젝트가 검출된 프레임들을 상기 특정 프레임들로 선정하는 온-비히클 액티브 러닝 장치.
제10항에 있어서,
상기 프로세서는, 상기 (II) 프로세스에서, 상기 오브젝트 디텍션 정보들 중 오브젝트에 대한 컨피던스 스코어(confidence score)가 기절정된 값 이하인 오브젝트가 있는 프레임들을 상기 특정 프레임들로 선정하는 온-비히클 액티브 러닝 장치.
제10항에 있어서,
상기 프로세서는, 상기 (II) 프로세스에서, 상기 신 코드들을 참조하여, 레어(rare) 주행 환경에서 보행자가 검출된 프레임들을 상기 특정 프레임들로 선정하는 온-비히클 액티브 러닝 장치.