KR20210141784A

KR20210141784A - Ai 기반으로 딥 러닝 네트워크를 학습시키는 방법 및 이를 이용한 학습 장치

Info

Publication number: KR20210141784A
Application number: KR1020217037187A
Authority: KR
Inventors: 김계현; 제홍모; 강봉남; 유우주
Original assignee: 주식회사 스트라드비젼
Priority date: 2020-03-26
Filing date: 2020-12-17
Publication date: 2021-11-23
Also published as: JP7282212B2; EP3885998A1; WO2021194056A1; JP2022531620A; CN115244548A; US10963792B1

Abstract

본 발명은 AI(Artificial Intelligence) 기반으로 딥 러닝 네트워크를 학습시키는 방법에 있어서, (a) 학습 장치가, 언라벨드 데이터들을 액티브 러닝 네트워크에 입력하여 상기 액티브 러닝 네트워크로 하여금 상기 언라벨드 데이터들 중 기존 러닝 네트워크 - 상기 기존 러닝 네트워크는 기존 라벨드 데이터들을 이용하여 학습된 상태임 - 의 학습에 유용한 하드 이그잼플(hard example)들로 판단되는 서브 언라벨드 데이터들을 추출하도록 하며, 상기 서브 언라벨드 데이터들을 오토 라벨링 네트워크에 입력하여 상기 오토 라벨링 네트워크로 하여금 상기 서브 언라벨드 데이터들 각각을 라벨링하여 신규 라벨드 데이터들을 생성하도록 하는 단계; (b) 상기 학습 장치가, 컨티뉴얼 러닝 네트워크로 하여금 상기 신규 라벨드 데이터들과 상기 기존 라벨드 데이터들을 샘플링하여 샘플링된 신규 라벨드 데이터들과 샘플링된 기존 라벨드 데이터들을 포함하는 미니배치를 생성하도록 하며, 상기 미니배치를 이용하여 상기 기존 러닝 네트워크를 학습시키되, 상기 샘플링된 신규 라벨드 데이터들은 학습에 모두 반영하며, 상기 샘플링된 기존 라벨드 데이터들은 상기 기존 러닝 네트워크의 성능이 낮아지는 경우에만 학습에 반영하여 상기 기존 러닝 네트워크를 학습시켜 학습된 러닝 네트워크를 생성하도록 하는 단계; 및 (c) 상기 학습 장치가, 익스플레이너블 분석 네트워크로 하여금 상기 학습된 러닝 네트워크를 통해 검증 데이터들에 대한 인사이트펄(insightful) 결과들을 생성하도록 하며, 상기 인사이트펄 결과들을 적어도 하나의 휴먼 엔지니어로 전송하여 상기 휴먼 엔지니어로 하여금 상기 인사이트펄 결과들을 참조하여 상기 학습된 러닝 네트워크의 성능을 분석한 분석 결과를 전송하도록 하며, 상기 분석 결과를 참조하여 상기 액티브 러닝 네트워크 및 상기 컨티뉴얼 러닝 네트워크 중 적어도 하나를 수정 및 개선하는 단계; 를 포함하는 방법에 관한 것이다.

Description

AI 기반으로 딥 러닝 네트워크를 학습시키는 방법 및 이를 이용한 학습 장치

본 발명은 2020년 3월 26일 출원된 미국특허출원번호 제63/000,202호와 2020년 12월 4일 출원된 미국특허출원번호 제17/111,539호에 대한 우선권을 주장하며, 이는 본원에 참조로서 포함된다.

본 발명은 딥 러닝 네트워크를 학습시키는 방법 및 이를 이용한 학습 장치에 관한 것으로, 보다 상세하게는, AI(Artificial Intelligence) 기반으로 딥 러닝 네트워크를 학습시키는 방법 및 이를 이용한 학습 장치에 관한 것이다.

최근, 머신 러닝(machine learning)을 이용하여 물체의 식별 등을 수행하는 방법에 대한 연구가 이루어지고 있다.

이러한 머신 러닝 중의 하나로 인풋 레이어(input layer)와 아웃풋 레이어(output layer) 사이에 여러 개의 히든 레이어(hidden layer)를 가지는 신경망을 이용한 머신 러닝인 딥 러닝(deep learning)은 높은 식별 성능을 가지고 있다.

그리고, 딥 러닝을 이용하는 뉴럴 네트워크(neural network)는 일반적으로 로스(loss)를 이용한 백프로파게이션(backpropagation)을 통해 학습을 한다.

이러한 딥 러닝 네트워크의 학습을 위하여, 종래에는 데이터 수집 정책에 따라 로우(raw) 데이터들을 수집하며, 휴먼 라벨러들이 수집된 로우 데이터에 어노테이션(annotation)하여 새로운 트레이닝 데이터를 생성한다. 이후, 새로운 트레이닝 데이터와 기존 트레이닝 데이터를 이용하여 딥 러닝 네트워크를 학습시킨 다음, 휴먼 엔지니어들이 성능을 분석한 결과를 참조하여 딥 러닝 네트워크의 학습을 위한 학습 알고리즘을 수정 및 개선한다. 또한, 분석한 결과를 참조하여 데이터 수집 정책을 변경하며, 잘못된 어노테이션이 있는지 재검수하고 수정한다.

하지만, 이러한 종래의 방법에서는, 딥 러닝 네트워크의 성능이 좋아질수록 학습에 유용한 하드 이그잼플(hard example)은 희소해지므로 새로운 트레이닝 데이터에 의한 딥 러닝 네트워크의 성능 향상 효과가 감소하게 되며, 휴먼 라벨러들에 의한 데이터 어노테이션의 투자수익이 감소하게 된다.

또한, 종래의 방법에서는, 휴먼 라벨러들에 의해 어노테이션된 신규 트레이닝 데이터와 기존 트레이닝 데이터를 설정 비율로 반영하는 경우, 기존 트레이닝 데이터는 점점 많아지게 되며, 그에 따라 신규 트레이닝 데이터에 의한 딥 러닝 네트워크의 학습 효과가 점점 감소하게 된다.

또한, 종래의 방법에서는, 휴먼 엔지니어들에 의한 성능 분석 결과만 가지고는 학습 알고리즘, 데이터 수집 정책, 트레이닝 데이터 등의 학습 모델의 어떤 부분이 원인이고, 개선을 하여야 하는지 알 수 없다. 즉, 아주 작은 요소 한 개를 변경해보고 성능을 비교하는 비효율적인 트라이 앤 에러를 하거나, 더 세부적인 원인을 찾기 위하여 학습된 딥 러닝 네트워크의 결과값을 하나 하나 직접 살펴보며 원인을 추측해야 하므로, 휴먼 엔지니어의 경험과 판단에 의존하여야 한다.

본 발명은 상술한 문제점을 모두 해결하는 것을 그 목적으로 한다.

본 발명은 데이터 어노테이션의 투자수익을 증가할 수 있도록 하는 것을 다른 목적으로 한다.

본 발명은 신규 트레이닝 데이터에 의한 딥 러닝 네트워크의 학습 효과를 향상시킬 수 있도록 하는 것을 또 다른 목적으로 한다.

본 발명은 학습된 딥 러닝 네트워크의 출력값으로부터 성능 분석을 위한 인사이트펄(insightful) 정보를 제공하여 주는 것을 또 다른 목적으로 한다.

본 발명은 딥 러닝 네트워크의 학습을 위한 휴먼의 간섭을 최소화하도록 하는 것을 또 다른 목적으로 한다.

본 발명의 일 실시예에 따르면, AI(Artificial Intelligence) 기반으로 딥 러닝 네트워크를 학습시키는 방법에 있어서, (a) 학습 장치가, 언라벨드 데이터들을 액티브 러닝 네트워크에 입력하여 상기 액티브 러닝 네트워크로 하여금 상기 언라벨드 데이터들 중 기존 러닝 네트워크 - 상기 기존 러닝 네트워크는 기존 라벨드 데이터들을 이용하여 학습된 상태임 - 의 학습에 유용한 하드 이그잼플(hard example)들로 판단되는 서브 언라벨드 데이터들을 추출하도록 하며, 상기 서브 언라벨드 데이터들을 오토 라벨링 네트워크에 입력하여 상기 오토 라벨링 네트워크로 하여금 상기 서브 언라벨드 데이터들 각각을 라벨링하여 신규 라벨드 데이터들을 생성하도록 하는 단계; (b) 상기 학습 장치가, 컨티뉴얼 러닝 네트워크로 하여금 상기 신규 라벨드 데이터들과 상기 기존 라벨드 데이터들을 샘플링하여 샘플링된 신규 라벨드 데이터들과 샘플링된 기존 라벨드 데이터들을 포함하는 미니배치를 생성하도록 하며, 상기 미니배치를 이용하여 상기 기존 러닝 네트워크를 학습시키되, 상기 샘플링된 신규 라벨드 데이터들은 학습에 모두 반영하며, 상기 샘플링된 기존 라벨드 데이터들은 상기 기존 러닝 네트워크의 성능이 낮아지는 경우에만 학습에 반영하여 상기 기존 러닝 네트워크를 학습시켜 학습된 러닝 네트워크를 생성하도록 하는 단계; 및 (c) 상기 학습 장치가, 익스플레이너블 분석 네트워크로 하여금 상기 학습된 러닝 네트워크를 통해 검증 데이터들에 대한 인사이트펄(insightful) 결과들을 생성하도록 하며, 상기 인사이트펄 결과들을 적어도 하나의 휴먼 엔지니어로 전송하여 상기 휴먼 엔지니어로 하여금 상기 인사이트펄 결과들을 참조하여 상기 학습된 러닝 네트워크의 성능을 분석한 분석 결과를 전송하도록 하며, 상기 분석 결과를 참조하여 상기 액티브 러닝 네트워크 및 상기 컨티뉴얼 러닝 네트워크 중 적어도 하나를 수정 및 개선하는 단계; 를 포함하는 방법이 제공된다.

상기 학습 장치는, 상기 오토 라벨링 네트워크로 하여금 상기 서브 언라벨드 데이터들 각각을 라벨링하여 중간 라벨드 데이터들을 생성하도록 하며, 상기 중간 라벨드 데이터들에 대한 언설턴티(uncertainty)들을 평가하여 예측된 로스들을 생성하도록 하고, 예측된 로스가 로스 임계값 이상인 제1 중간 라벨드 데이터들을 적어도 하나의 휴먼 라벨러에게 전송하여 상기 휴먼 라벨러로 하여금 상기 제1 중간 라벨드 데이터들을 검증하여 검증된 라벨드 데이터들을 생성하도록 하며, 상기 검증된 라벨드 데이터들과 상기 예측된 로스가 상기 로스 임계값 미만인 제2 중간 라벨드 데이터들을 상기 신규 라벨드 데이터들로 생성할 수 있다.

상기 학습 장치는, 학습용 데이터를 상기 오토 라벨링 네트워크로 입력하여 상기 오토 라벨링 네트워크로 하여금 상기 학습용 데이터를 라벨링하여 학습용 라벨드 데이터를 생성하도록 하며, 상기 학습용 데이터에 대한 학습용 언설턴티를 평가하여 학습용 예측된 로스를 생성하도록 하고, 상기 학습용 라벨드 데이터와 이에 대응되는 그라운드 트루스를 참조한 학습용 라벨링 로스와, 상기 학습용 라벨링 로스와 상기 학습용 예측된 로스의 차이에 의한 로스 예측 에러를 백프로파게이션하여 상기 오토 라벨링 네트워크를 학습시킨 상태일 수 있다.

상기 학습 장치는, 상기 검증된 라벨드 데이터들과 상기 제1 중간 라벨드 데이터들을 참조한 정확도 로스들을 이용하여 상기 오토 라벨링 네트워크를 컨티뉴얼 학습시킬 수 있다.

상기 (b) 단계에서, 상기 기존 라벨드 데이터들에 대한 상기 기존 러닝 네트워크의 기존 출력 정보들에 대한 기존 로스들을 평균한 평균 로스를 베이스 로스로 획득한 상태에서, 상기 학습 장치는, 상기 컨티뉴얼 러닝 네트워크로 하여금, 상기 샘플링된 신규 라벨드 데이터들과 상기 샘플링된 기존 라벨드 데이터들이 1:1 비율이 되도록 상기 미니배치를 생성하며, 상기 샘플링된 신규 라벨드 데이터들에 대한 상기 기존 러닝 네트워크의 샘플링된 신규 출력 정보를 참조한 신규 로스들 모두를 이용하여 상기 기존 러닝 네트워크를 학습시키도록 하고, 상기 샘플링된 기존 라벨드 데이터들에 대한 상기 기존 러닝 네트워크의 샘플링된 기존 출력 정보들을 참조한 기존 로스들 중 상기 베이스 로스 이상인 특정 기존 로스들만을 이용하여 상기 기존 러닝 네트워크를 학습시키도록 할 수 있다.

상기 (c) 단계에서, 상기 학습 장치는, 상기 익스플레이너블 분석 네트워크로 하여금, 검증 데이터들에 대한 상기 학습된 러닝 네트워크의 검증 출력 정보를 적합성 평가하여 픽셀-와이즈 설명들을 생성하도록 하고, 상기 픽셀-와이즈 설명들을 상기 인사이트펄 결과들로 획득할 수 있다.

상기 (a) 단계에서, 상기 학습 장치는, 상기 액티브 러닝 네트워크로 하여금, 상기 언라벨드 데이터들에 대한 상기 오토 라벨링 네트워크의 제1 라벨링 출력 정보들과 상기 기존 러닝 네트워크의 제2 라벨링 출력 정보들을 비교하여, 제1 라벨링 출력 정보들과 제2 라벨링 출력 정보들의 차이들 중 차이 임계값 이상인 특정 차이들에 대응되는 특정 언라벨드 데이터들을 상기 서브 언라벨드 데이터들로 추출할 수 있다.

상기 (a) 단계에서, 상기 학습 장치는, 상기 언라벨드 데이터들을 제1 변환 방법 내지 제n 변환 방법에 의해 제1 변환된 언라벨드 데이터들 내지 제n 변환된 언라벨드 데이터로 변환하며, 상기 제1 변환된 언라벨드 데이터들 내지 상기 제n 변환된 언라벨드 데이터들을 상기 액티브 러닝 네트워크로 입력하여 상기 액티브 러닝 네트워크로 하여금, 상기 제1 변환된 언라벨드 데이터들 내지 상기 제n 변환된 언라벨드 데이터들 각각에 대한 상기 기존 러닝 네트워크의 제1 변환된 출력 정보들 내지 제n 변환된 출력 정보들의 분산들을 평가하도록 하며, 상기 분산들 중 분산 임계값 이상인 특정 분산들에 대응되는 특정 언라벨드 데이터들을 상기 서브 언라벨드 데이터들로 추출하도록 할 수 있다.

상기 (a) 단계에서, 상기 학습 장치는, 상기 액티브 러닝 네트워크로 하여금, 상기 기존 러닝 네트워크를 통해 상기 언라벨드 데이터들에 대한 컨피던스들을 측정하도록 하며, 컨피던스가 가장 낮은 순서로 기설정된 개수가 되는 특정 언라벨드 데이터들을 상기 서브 언라벨드 데이터들로 추출하도록 할 수 있다.

또한, 본 발명의 일 실시예에 따르면, AI(Artificial Intelligence) 기반으로 딥 러닝 네트워크를 학습시키는 학습 장치에 있어서, AI 기반으로 딥 러닝 네트워크를 학습시키기 위한 인스트럭션들이 저장된 메모리; 및 상기 메모리에 저장된 인스트럭션들에 따라 상기 AI 기반으로 상기 딥 러닝 네트워크를 학습시키기 위한 동작을 수행하는 프로세서; 를 포함하며, 상기 프로세서는, (I) 언라벨드 데이터들을 액티브 러닝 네트워크에 입력하여 상기 액티브 러닝 네트워크로 하여금 상기 언라벨드 데이터들 중 기존 러닝 네트워크 - 상기 기존 러닝 네트워크는 기존 라벨드 데이터들을 이용하여 학습된 상태임 - 의 학습에 유용한 하드 이그잼플(hard example)들로 판단되는 서브 언라벨드 데이터들을 추출하도록 하며, 상기 서브 언라벨드 데이터들을 오토 라벨링 네트워크에 입력하여 상기 오토 라벨링 네트워크로 하여금 상기 서브 언라벨드 데이터들 각각을 라벨링하여 신규 라벨드 데이터들을 생성하도록 하는 프로세스, (II) 컨티뉴얼 러닝 네트워크로 하여금 상기 신규 라벨드 데이터들과 상기 기존 라벨드 데이터들을 샘플링하여 샘플링된 신규 라벨드 데이터들과 샘플링된 기존 라벨드 데이터들을 포함하는 미니배치를 생성하도록 하며, 상기 미니배치를 이용하여 상기 기존 러닝 네트워크를 학습시키되, 상기 샘플링된 신규 라벨드 데이터들은 학습에 모두 반영하며, 상기 샘플링된 기존 라벨드 데이터들은 상기 기존 러닝 네트워크의 성능이 낮아지는 경우에만 학습에 반영하여 상기 기존 러닝 네트워크를 학습시켜 학습된 러닝 네트워크를 생성하도록 하는 프로세스, 및 (III) 익스플레이너블 분석 네트워크로 하여금 상기 학습된 러닝 네트워크를 통해 검증 데이터들에 대한 인사이트펄(insightful) 결과들을 생성하도록 하며, 상기 인사이트펄 결과들을 적어도 하나의 휴먼 엔지니어로 전송하여 상기 휴먼 엔지니어로 하여금 상기 인사이트펄 결과들을 참조하여 상기 학습된 러닝 네트워크의 성능을 분석한 분석 결과를 전송하도록 하며, 상기 분석 결과를 참조하여 상기 액티브 러닝 네트워크 및 상기 컨티뉴얼 러닝 네트워크 중 적어도 하나를 수정 및 개선하는 프로세스를 수행하는 학습 장치가 제공된다.

상기 프로세서는, 상기 (I) 프로세스에서, 상기 오토 라벨링 네트워크로 하여금 상기 서브 언라벨드 데이터들 각각을 라벨링하여 중간 라벨드 데이터들을 생성하도록 하며, 상기 중간 라벨드 데이터들에 대한 언설턴티(uncertainty)들을 평가하여 예측된 로스들을 생성하도록 하고, 예측된 로스가 로스 임계값 이상인 제1 중간 라벨드 데이터들을 적어도 하나의 휴먼 라벨러에게 전송하여 상기 휴먼 라벨러로 하여금 상기 제1 중간 라벨드 데이터들을 검증하여 검증된 라벨드 데이터들을 생성하도록 하며, 상기 검증된 라벨드 데이터들과 상기 예측된 로스가 상기 로스 임계값 미만인 제2 중간 라벨드 데이터들을 상기 신규 라벨드 데이터들로 생성할 수 있다.

상기 프로세서는, 학습용 데이터를 상기 오토 라벨링 네트워크로 입력하여 상기 오토 라벨링 네트워크로 하여금 상기 학습용 데이터를 라벨링하여 학습용 라벨드 데이터를 생성하도록 하며, 상기 학습용 데이터에 대한 학습용 언설턴티를 평가하여 학습용 예측된 로스를 생성하도록 하고, 상기 학습용 라벨드 데이터와 이에 대응되는 그라운드 트루스를 참조한 학습용 라벨링 로스와, 상기 학습용 라벨링 로스와 상기 학습용 예측된 로스의 차이에 의한 로스 예측 에러를 백프로파게이션하여 상기 오토 라벨링 네트워크를 학습시킨 상태일 수 있다.

상기 프로세서는, 상기 검증된 라벨드 데이터들과 상기 제1 중간 라벨드 데이터들을 참조한 정확도 로스들을 이용하여 상기 오토 라벨링 네트워크를 컨티뉴얼 학습시킬 수 있다.

상기 프로세서는, 상기 (II) 프로세스에서, 상기 기존 라벨드 데이터들에 대한 상기 기존 러닝 네트워크의 기존 출력 정보들에 대한 기존 로스들을 평균한 평균 로스를 베이스 로스로 획득한 상태에서, 상기 컨티뉴얼 러닝 네트워크로 하여금, 상기 샘플링된 신규 라벨드 데이터들과 상기 샘플링된 기존 라벨드 데이터들이 1:1 비율이 되도록 상기 미니배치를 생성하며, 상기 샘플링된 신규 라벨드 데이터들에 대한 상기 기존 러닝 네트워크의 샘플링된 신규 출력 정보를 참조한 신규 로스들 모두를 이용하여 상기 기존 러닝 네트워크를 학습시키도록 하고, 상기 샘플링된 기존 라벨드 데이터들에 대한 상기 기존 러닝 네트워크의 샘플링된 기존 출력 정보들을 참조한 기존 로스들 중 상기 베이스 로스 이상인 특정 기존 로스들만을 이용하여 상기 기존 러닝 네트워크를 학습시키도록 할 수 있다.

상기 프로세서는, 상기 (III) 프로세스에서, 상기 익스플레이너블 분석 네트워크로 하여금, 검증 데이터들에 대한 상기 학습된 러닝 네트워크의 검증 출력 정보를 적합성 평가하여 픽셀-와이즈 설명들을 생성하도록 하고, 상기 픽셀-와이즈 설명들을 상기 인사이트펄 결과들로 획득할 수 있다.

상기 프로세서는, 상기 (I) 프로세스에서, 상기 액티브 러닝 네트워크로 하여금, 상기 언라벨드 데이터들에 대한 상기 오토 라벨링 네트워크의 제1 라벨링 출력 정보들과 상기 기존 러닝 네트워크의 제2 라벨링 출력 정보들을 비교하여, 제1 라벨링 출력 정보들과 제2 라벨링 출력 정보들의 차이들 중 차이 임계값 이상인 특정 차이들에 대응되는 특정 언라벨드 데이터들을 상기 서브 언라벨드 데이터들로 추출할 수 있다.

상기 프로세서는, 상기 (I) 프로세스에서, 상기 언라벨드 데이터들을 제1 변환 방법 내지 제n 변환 방법에 의해 제1 변환된 언라벨드 데이터들 내지 제n 변환된 언라벨드 데이터로 변환하며, 상기 제1 변환된 언라벨드 데이터들 내지 상기 제n 변환된 언라벨드 데이터들을 상기 액티브 러닝 네트워크로 입력하여 상기 액티브 러닝 네트워크로 하여금, 상기 제1 변환된 언라벨드 데이터들 내지 상기 제n 변환된 언라벨드 데이터들 각각에 대한 상기 기존 러닝 네트워크의 제1 변환된 출력 정보들 내지 제n 변환된 출력 정보들의 분산들을 평가하도록 하며, 상기 분산들 중 분산 임계값 이상인 특정 분산들에 대응되는 특정 언라벨드 데이터들을 상기 서브 언라벨드 데이터들로 추출하도록 할 수 있다.

상기 프로세서는, 상기 (I) 프로세스에서, 상기 액티브 러닝 네트워크로 하여금, 상기 기존 러닝 네트워크를 통해 상기 언라벨드 데이터들에 대한 컨피던스들을 측정하도록 하며, 컨피던스가 가장 낮은 순서로 기설정된 개수가 되는 특정 언라벨드 데이터들을 상기 서브 언라벨드 데이터들로 추출하도록 할 수 있다.

이 외에도, 본 발명의 방법을 실행하기 위한 컴퓨터 프로그램을 기록하기 위한 컴퓨터 판독 가능한 기록 매체가 더 제공된다.

본 발명은 수집된 로우 데이터 중 딥 러닝 네트워크의 성능을 향상시킬 수 있는 하드 이그잼플들을 추출하여 데이터 어노테이션을 수행하도록 함으로써 데이터 어노테이션의 투자수익을 향상시킬 수 있게 된다.

또한, 본 발명은 신규 트레이닝 데이터와 기존 트레이닝 데이터의 최적 반영 비율을 자동적으로 조정함으로써 딥 러닝 네트워크의 학습 효과를 극대화시킬 수 있게 된다.

또한, 본 발명은 학습된 딥 러닝 네트워크의 출력값으로부터 성능 분석을 위한 인사이트펄 정보를 제공하여 줌으로써 휴먼 엔지니어들에 의한 성능 분석의 정확성을 향상시킬 수 있으며 성능 분석에 소요되는 시간을 최소화할 수 있게 된다.

또한, 본 발명은 딥 러닝 네트워크의 학습을 위한 휴먼의 간섭을 최소화함으로써 딥 러닝 네트워크의 학습을 위한 비용 및 시간을 절감할 수 있게 된다.

본 발명의 실시예의 설명에 이용되기 위하여 첨부된 아래 도면들은 본 발명의 실시예들 중 단지 일부일 뿐이며, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자(이하 "통상의 기술자")에게 있어서는 발명적 작업이 이루어짐 없이 이 도면들에 기초하여 다른 도면들이 얻어질 수 있다.
도 1은 본 발명의 일 실시예에 따른 AI 기반으로 딥 러닝 네트워크를 학습시키는 학습 장치를 개략적으로 도시한 것이며,
도 2는 본 발명의 일 실시예에 따른 AI 기반으로 딥 러닝 네트워크를 학습시키는 방법을 개략적으로 도시한 것이며,
도 3은 본 발명의 일 실시예에 따른 AI 기반으로 딥 러닝 네트워크를 학습시키는 방법에서 액티브 러닝 네트워크의 동작 과정을 개략적으로 도시한 것이며,
도 4는 본 발명의 일 실시예에 따른 AI 기반으로 딥 러닝 네트워크를 학습시키는 방법에서 액티브 러닝 네트워크의 다른 동작 과정을 개략적으로 도시한 것이며,
도 5는 본 발명의 일 실시예에 따른 AI 기반으로 딥 러닝 네트워크를 학습시키는 방법에서 오토 라벨링 네트워크의 동작 과정을 개략적으로 도시한 것이며,
도 6은 본 발명의 일 실시예에 따른 AI 기반으로 딥 러닝 네트워크를 학습시키는 방법에서 오토 라벨링 네트워크를 학습시키는 과정을 개략적으로 도시한 것이며,
도 7은 본 발명의 일 실시예에 따른 AI 기반으로 딥 러닝 네트워크를 학습시키는 방법에서 컨티뉴얼(continual) 러닝 네트워크의 동작 과정을 개략적으로 도시한 것이며,
도 8은 본 발명의 일 실시예에 따른 AI 기반으로 딥 러닝 네트워크를 학습시키는 방법에서 익스플레이너블(explainable) 분석 네트워크의 동작 과정을 개략적으로 도시한 것이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명의 목적들, 기술적 해법들 및 장점들을 분명하게 하기 위하여 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 통상의 기술자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다.

또한, 본 발명의 상세한 설명 및 청구항들에 걸쳐, "포함하다"라는 단어 및 그것의 변형은 다른 기술적 특징들, 부가물들, 구성요소들 또는 단계들을 제외하는 것으로 의도된 것이 아니다. 통상의 기술자에게 본 발명의 다른 목적들, 장점들 및 특성들이 일부는 본 설명서로부터, 그리고 일부는 본 발명의 실시로부터 드러날 것이다. 아래의 예시 및 도면은 실례로서 제공되며, 본 발명을 한정하는 것으로 의도된 것이 아니다.

더욱이 본 발명은 본 명세서에 표시된 실시예들의 모든 가능한 조합들을 망라한다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 AI 기반으로 딥 러닝 네트워크를 학습시키는 학습 장치를 개략적으로 도시한 것이며, 도 1을 참조하면, 학습 장치(1000)는 AI 기반으로 딥 러닝 네트워크를 학습시키기 위한 인스트럭션들이 저장된 메모리(1001)와 메모리(1001)에 저장된 인스트럭션들에 따라 AI 기반으로 딥 러닝 네트워크를 학습시키기 위한 동작을 수행하는 프로세서(1001)를 포함할 수 있다.

구체적으로, 학습 장치(1000)는 전형적으로 컴퓨팅 장치(예컨대, 컴퓨터 프로세서, 메모리, 스토리지, 입력 장치 및 출력 장치, 기타 기존의 컴퓨팅 장치의 구성요소들을 포함할 수 있는 장치; 라우터, 스위치 등과 같은 전자 통신 장치; 네트워크 부착 스토리지(NAS) 및 스토리지 영역 네트워크(SAN)와 같은 전자 정보 스토리지 시스템)와 컴퓨터 소프트웨어(즉, 컴퓨팅 장치로 하여금 특정의 방식으로 기능하게 하는 인스트럭션들)의 조합을 이용하여 원하는 시스템 성능을 달성하는 것일 수 있다.

또한, 컴퓨팅 장치의 프로세서는 MPU(Micro Processing Unit) 또는 CPU(Central Processing Unit), 캐쉬 메모리(Cache Memory), 데이터 버스(Data Bus) 등의 하드웨어 구성을 포함할 수 있다. 또한, 컴퓨팅 장치는 운영체제, 특정 목적을 수행하는 애플리케이션의 소프트웨어 구성을 더 포함할 수도 있다.

그러나, 컴퓨팅 장치가 본 발명을 실시하기 위한 미디엄, 프로세서 및 메모리가 통합된 형태인 integrated 프로세서를 포함하는 경우를 배제하는 것은 아니다.

이와 같이 구성된 본 발명의 일 실시예에 따른 AI 기반으로 딥 러닝 네트워크를 학습시키는 학습 장치(1000)를 이용하여 AI 기반으로 딥 러닝 네트워크를 학습시키는 방법에 대하여 도 2를 참조하여 설명하면 다음과 같다.

먼저, 학습에 이용하기 위한 로우 데이터들인 언라벨드(unlabeled) 데이터들이 수집되면, 학습 장치(1000)는 언라벨드 데이터들을 액티브 러닝 네트워크(100)로 입력하여 액티브 러닝 네트워크(100)로 하여금 언라벨드 데이터들 중 기존(existing) 러닝 네트워크의 학습에 유용한 하드 이그잼플(hard example) 데이터들로 판단되는 서버(sub) 언라벨드 데이터들을 추출하도록 할 수 있다. 상기 기존 러닝 네트워크는 기존 라벨드(labeled) 데이터들을 이용하여 학습된 상태일 수 있다.

이때, 기존 러닝 네트워크의 학습에 유용한 하드 이그잼플은 기존에 수집되어 딥 러닝 네트워크의 학습에 이용된 트레이닝 데이터와는 차이를 가지는 데이터일 수 있다.

그리고, 액티브 러닝 네트워크(100)는 언설턴티(uncertainty) 샘플링(sampling), Query-by-Committee, Expected-Mode-Change 등의 다양한 기법을 이용하여 언라벨드 데이터들에서 하드 이그잼플인 서브 언라벨드 데이터들을 추출할 수 있다.

일 예로, 도 3을 참조하여 액티브 러닝 네트워크(100)가 언라벨드 데이터들로부터 서브 언라벨드 데이터들을 추출하는 과정을 설명하면 다음과 같다.

학습 장치(1000)는, 언라벨드 데이터들을 액티브 러닝 네트워크(100)에 입력하여 액티브 러닝 네트워크(100)로 하여금, 언라벨드 데이터들에 대한 오토 라벨링 네트워크(200)의 제1 라벨링 출력 정보들과 기존 러닝 네트워크(400)의 제2 라벨링 출력 정보들을 비교하여, 제1 라벨링 출력 정보들과 제2 라벨링 출력 정보들의 차이(difference)들 중 차이 임계값 이상인 특정 차이들에 대응되는 특정 언라벨드 데이터들을 서브 언라벨드 데이터들로 추출할 수 있다.

즉, 학습 장치(1000)는 수집된 언라벨드 데이터들을 액티브 러닝 네트워크(100)에 입력하여 줄 수 있다.

그러면, 액티브 러닝 네트워크(100)는 언라벨드 데이터들을 오토 라벨링 네트워크(200)와 기존 러닝 네트워크(400)에 각각 입력하여 줄 수 있다.

이에 따라, 오토 라벨링 네트워크(200)는 언라벨드 데이터들 각각에 대하여 라벨링을 수행하여 언라벨드 데이터들 각각에 대한 제1 라벨링 정보들을 출력할 수 있다. 이때, 제1 라벨링 정보들은 언라벨드 데이터에 대한 그라운드 트루스(ground truth)일 수 있으며, 그라운드 트루스는 오브젝트에 대한 영역 정보, 오브젝트의 클래스 정보, 픽셀의 클래스 정보, 오브젝트의 위치 정보, 포인트의 위치 정보 등 다양한 정보를 포함할 수 있다.

그리고, 기존 러닝 네트워크(400)는 언라벨드 데이터들 각각에 대하여 러닝 연산을 수행하여 언라벨드 데이터들 각각에 대한 제2 라벨링 정보들을 출력할 수 있다. 이때, 제2 라벨링 정보들은 언라벨드 데이터에 대한 인식 결과일 수 있으며, 기존 러닝 네트워크(400)가 수행하고자 하는 태스크(task)에 따른 오브젝트에 대한 영역 정보, 오트젝트의 클래스 정보, 픽셀의 클래스 정보, 오브젝트의 위치 정보, 포인트의 위치 정보 등 다양한 정보를 포함할 수 있다.

이후, 액티브 러닝 네트워크(100)는 제1 라벨링 정보들과 제2 라벨링 정보들을 비교하여 제1 라벨링 정보들과 제2 라벨링 정보들의 차이(difference0들을 확인하고, 제1 라벨링 정보와 제2 라벨링 정보의 차이가 차이 임계값 미만, 즉, 제1 라벨링 정보와 제2 라벨링 정보가 같거나 유사한 것으로 확인되면 이에 대응되는 언라벨드 데이터들을 학습용 데이터들에서 제외하며, 제1 라벨링 정보와 제2 라벨링 정보의 차이가 차이 임계값 이상, 즉, 제1 라벨링 정보와 제2 라벨링 정보의 차이가 크면 이에 대응되는 언라벨드 데이터들을 하드 이그잼플들로 판단하여 서브 언라벨드 데이터들로 추출할 수 있다.

다른 실시예로, 도 4를 참조하여 액티브 러닝 네트워크(100)가 언라벨드 데이터들로부터 서브 언라벨드 데이터들을 추출하는 다른 과정을 설명하면 다음과 같다.

학습 장치(1000)는, 언라벨드 데이터들을 제1 변환(modify) 방법 내지 제n 변환 방법에 의해 제1 변환된 언라벨드 데이터들 내지 제n 변환된 언라벨드 데이터들로 변환하며, 제1 변환된 언라벨드 데이터들 내지 제n 변환된 언라벨드 데이터들을 액티브 러닝 네트워크(100)로 입력하여 액티브 러닝 네트워크(100)로 하여금, 제1 변환된 언라벨드 데이터들 내지 제n 변환된 언라벨드 데이터들 각각에 대한 기존 러닝 네트워크(400)의 제1 변환된 출력 정보들 내지 제n 변환된 출력 정보들의 분산들을 측정/평가하도록 하며, 분산들 중 분산 임계값 이상인 특정 분산들에 대응되는 특정 언라벨드 데이터들을 서브 언라벨드 데이터들로 추출하도록 할 수 있다.

즉, 학습 장치(1000)는 언라벨드 데이터들을 제1 변환 방법 내지 제n 변환 방법에 의해 변환하여 제1 변환된 언라벨드 데이터들 내지 제n 변환된 언라벨드 데이터들을 생성할 수 있다.

이때, 변환 방법은 언라벨드 데이터들의 사이즈를 리사이즈하거나, 언라벨드 데이터들의 종횡비(aspect ratio)를 변경하거나, 언라벨드 데이터들의 컬러 톤(color tone)을 변경하는 등 다양한 방법으로 수행할 수 있다.

그리고, 학습 장치(1000)는 제1 변환된 언라벨드 데이터들 내지 제n 변환된 언라벨드 데이터들을 기존 러닝 네트워크(400)에 입력하여 줄 수 있다.

그러면, 기존 러닝 네트워크(400)는 제1 변환된 언라벨드 데이터들 내지 제n 변환된 언라벨드 데이터들에 대하여 러닝 연산을 수행하여 제1 변환된 언라벨드 데이터들 내지 제n 변환된 언라벨드 데이터들에 대한 제1 변환된 출력 정보들 내지 제n 변환된 출력 정보들을 출력하여 줄 수 있다.

이때, 제1 변환된 출력 정보들 내지 제n 변환된 출력 정보들은, 제1 변환된 언라벨드 데이터들 내지 제n 변환된 언라벨드 데이터들에 대한 인식 결과들일 수 있으며, 기존 러닝 네트워크(400)가 수행하고자 하는 태스크에 따른 오브젝트에 대한 영역 정보, 오트젝트의 클래스 정보, 픽셀의 클래스 정보, 오브젝트의 위치 정보, 포인트의 위치 정보 등 다양한 정보를 포함할 수 있다.

이후, 액티브 러닝 네트워크(100)는 제1 변환된 출력 정보들 내지 제n 변환된 출력 정보들의 분산들을 연산하며, 언라벨드 데이터들 각각에 대한 분산들이 분산 임계값 이상인지를 확인하고, 분산 임계값 이상인 분산들에 대응되는 특정 언라벨드 데이터들을 서브 언라벨드 데이터들로 추출할 수 있으며, 분산 임계값 미만인 분산들에 대응되는 언라벨드 데이터들은 학습용 데이터들에서 제외할 수 있다.

또한, 학습 장치(1000)는 도 3과 도 4에 따른 방법 이외에도, 컨피던스(confidence) 샘플링을 통해 언라벨드 데이터들로부터 서브 언라벨드 데이터들을 추출할 수 있다. 일 예로, 학습 장치(1000)는, 액티브 러닝 네트워크(100)로 하여금, 기존 러닝 네트워크(400)를 통해 언라벨드 데이터들에 대한 컨피던스들을 측정하도록 하며, 컨피던스가 가장 낮은 순서로 기설정된 개수가 되는 특정 언라벨드 데이터들을 서브 언라벨드 데이터들로 추출하도록 할 수도 있다.

다음으로, 학습 장치(1000)는 서브 언라벨드 데이터들을 오토 라벨링 네트워크(200)로 입력하여, 오토 라벨링 네트워크(200)로 하여금 서브 언라벨드 데이터들 각각을 라벨링, 즉, 어노테이션을 수행하여 신규 라벨드 데이터들을 생성하도록 할 수 있다.

즉, 도 5를 참조하면, 학습 장치(1000)에 의해 서브 언라벨드 데이터들이 입력되면, 오토 라벨링 네트워크(200)는 서브 언라벨드 데이터들 각각에 대한 어노테이션, 즉, 그라운드 트루스 생성을 위한 라벨링을 수행하여 중간(intermediate) 라벨드 데이터들을 생성할 수 있다.

그리고, 오토 라벨링 네트워크(200)는 중간 라벨드 데이터들에 대한 언설턴티(uncertainty)들을 평가하여 예측된(predicted) 로스들을 생성할 수 있다.

즉, 오토 라벨링 네트워크(200)는 중간 라벨드 데이터들에 대한 라벨링 정보들을 생성하며, 라벨링 정보들에 대한 언설턴티들을 이용하여 예측된 로스들을 생성할 수 있다.

이후, 오토 라벨링 네트워크(200)는 예측된 로스들 각각을 로스 임계값과 비교하여, 예측된 로스가 로스 임계값 이상인 제1 중간 라벨드 데이터들을 적어도 하나의 휴먼 라벨러(labeler)에게 전송하여 휴먼 라벨러로 하여금 제1 중간 라벨드 데이터들을 검증하여 검증된(verified) 라벨드 데이터들을 생성하도록 할 수 있다. 그리고, 오토 라벨링 네트워크(200)는 휴먼 라벨러의 검증에 의해 라벨링 정보가 수정된 검증된 라벨드 데이터들과, 예측 로스가 로스 임계값 미만인 제2 중간 라벨드 데이터들을 신규 라벨드 데이터들로 생성하여 줄 수 있다. 한편, 예측된 로스를 이용하여 제1 중간 라벨드 데이터들을 휴먼 라벨러에게 전송하며, 검증된 라벨드 데이터들과 제2 중간 라벨드 데이터들을 신규 라벨드 데이터들로 생성하는 동작을 학습 장치(1000)가 수행할 수도 있다.

이때, 오토 라벨링 네트워크(200)는 언라벨드 데이터를 오토 라벨링하도록 미리 학습된 상태일 수 있다.

일 예로, 도 6을 참조하면, 그라운드 트루스를 포함하는 학습용 데이터가 획득되면, 학습 장치(2000)가, 학습용 데이터를 오토 라벨링 네트워크(200)로 입력하여 오토 라벨링 네트워크(200)로 하여금 학습용 데이터를 라벨링하여 학습용 라벨드 데이터를 생성하도록 하며, 학습용 데이터에 대한 학습용 언설턴티를 평가하여 학습용 예측 로스를 생성하도록 할 수 있다. 이때, 학습 장치(2000)는 AI 기반으로 딥 러닝 네트워크를 학습시키기 위한 학습 장치(1000)와 동일하거나, 오토 라벨링 네트워크(200)만을 학습시키기 위한 별도의 학습 장치일 수 있다.

그리고, 학습 장치(2000)는 오토 라벨링 네트워크(200)가 생성한 학습용 라벨드 데이터에서의 라벨링 정보와 이에 대응되는 그라운드 트루스를 참조하여 학습용 라벨링 로스를 연산하며, 학습용 예측 로스와 학습용 라벨링 로스를 참조하여 로스 예측 에러를 연산한다. 이후, 학습 장치(2000)는 학습용 라벨링 로스와 로스 예측 에러를 이용한 백프로파게이션(backpropagation)을 통해 오토 라벨링 네트워크(200)를 학습시킬 수 있다.

한편, 학습 장치(1000)는 검증된 라벨드 데이터들과 제1 중간 라벨드 데이터들을 참조한 정확도(accuracy) 로스들을 이용하여 오토 라벨링 네트워크(200)를 컨티뉴얼(continual) 학습시킬 수 있다. 이를 통해, 오토 라벨링 네트워크(200)의 성능을 계속적으로 향상시킬 수 있게 된다.

다음으로, 학습 장치(1000)는 컨티뉴얼 러닝 네트워크(300)로 하여금 신규 라벨드 데이터들과 기존 라벨드 데이터들을 샘플링하여 샘플링된 신규 라벨드 데이터들과 샘플링된 기존 라벨드 데이터들을 포함하는 미니배치(minibatch)를 생성하도록 하며, 미니배치를 이용하여 기존 러닝 네트워크(400)를 학습시키되, 샘플링된 신규 라벨드 데이터들은 학습에 모두 반영하며, 샘플링된 기존 라벨드 데이터들은 기존 러닝 네트워크(400)의 성능이 낮아지는 경우에만 학습에 반영하여 기존 러닝 네트워크(400)를 학습시켜 학습된 러닝 네트워크(400a)를 생성하도록 할 수 있다.

즉, 학습 장치(1000)는 미니배치를 이용하여 기존 러닝 네트워크(400)를 학습시켜 학습된 러닝 네트워크(400a)를 생성하되, 학습된 러닝 네트워크(400a)가 기존 라벨드 데이터들에 대해서는 기존 러닝 네트워크(400)와 거의 동일한 성능을 가지도록 하며, 신규 라벨드 데이터들에 대해서는 기존 러닝 네트워크(400)보다 우수한 성능을 가지도록 할 수 있다. 이때, 기존 러닝 네트워크(400)는 기존에 학습된 러닝 네트워크가 아닌, 새로운 딥 러닝 모델을 생성하기 위한 신규 러닝 네트워크일 수 있다.

일 예로, 도 7을 참조하면, 컨티뉴얼 러닝 네트워크(300)는 기존 트레이닝 데이터베이스에 등록된 기존 라벨드 데이터들을 기존 러닝 네트워크(400)에 입력하여 기존 러닝 네트워크(400)로 하여금 기존 라벨드 데이터들을 러닝 연산하여 기존 출력 정보들을 출력하도록 하며, 기존 출력 정보들을 평균한 평균 로스를 베이스 로스로 획득할 수 있다.

이후, 컨티뉴얼 러닝 네트워크(300)는 기존 러닝 네트워크(400)를 학습시키기 위한 매 이터레이션(iteration)마다, 신규 트레이닝 데이터베이스에 등록된 신규 라벨드 데이터들과 기존 트레이닝 데이터베이스에 등록된 기존 라벨드 데이터들을 샘플링하여 샘플링된 신규 라벨드 데이터들과 샘플링된 기존 라벨드 데이터들을 포함하는 미니배치를 생성할 수 있다. 이때, 컨티뉴얼 러닝 네트워크(300)는 미니배치에 포함된 샘플링된 신규 라벨드 데이터들과 샘플링된 기존 라벨드 데이터들의 비율이 1:1이 되도록 샘플링할 수 있다.

그리고, 컨티뉴얼 러닝 네트워크(300)는 샘플링된 신규 라벨드 데이터들과 샘플링된 기존 라벨드 데이터들을 기존 러닝 네트워크(400)로 입력하여 기존 러닝 네트워크(400)로 하여금 샘플링된 신규 라벨드 데이터들과 샘플링된 기존 라벨드 데이터들을 러닝 연산하여 샘플링된 신규 라벨드 데이터들에 대응되는 샘플링된 신규 출력 정보들과 샘플링된 기존 라벨드 데이터들에 대응되는 샘플링된 기존 출력 정보들을 출력하도록 할 수 있다. 이때, 기존 러닝 네트워크(400)는 기존에 학습된 러닝 네트워크가 아닌, 새로운 딥 러닝 모델을 생성하기 위한 신규 러닝 네트워크일 수 있다.

그리고, 컨티뉴얼 러닝 네트워크(300)는 샘플링된 신규 출력 정보들과 이에 대응되는 그라운드 트루스들을 참조하여 신규 로스들을 생성하며, 샘플링된 기존 출력 정보들과 이에 대응되는 그라운드 트루스들을 참조하여 기존 로스들을 생성할 수 있다.

이후, 컨티뉴얼 러닝 네트워크(300)는 신규 로스들과 기존 로스들을 이용한 백프로파게이션을 통해 기존 러닝 네트워크(400)를 학습시키되, 신규 로스들에 대해서는 백프로파게이션을 수행하나, 기존 로스들에 대해서는 베이스 로스와 비교하여 베이스 로스 이상인 특정 기존 로스들에 대해서만 백프로파게이션을 수행하며 베이스 로스 미만인 다른 기존 로스들에 대해서는 백프로파게이션을 수행하지 않도록 할 수 있다. 즉, 신규 라벨드 데이터들은 모두 학습에 반영하며, 기존 라벨드 데이터들에 대해서는 성능이 떨어지는 경우에만 학습에 반영함으로써, 학습된 러닝 네트워크(400a)가 기존 라벨드 데이터들에 대해서는 기존 러닝 네트워크(400)와 거의 동일한 성능을 가지며 신규 라벨드 데이터들에 대해서는 기존 러닝 네트워크(400)보다 우수한 성능을 가지도록 학습시킬 수 있게 된다.

다음으로, 학습 장치(1000)는 익스플레이너블 분석 네트워크(500)로 하여금 학습된 러닝 네트워크(400a)를 통해 검증 데이터들에 대한 인사이트펄(insightful) 결과들을 생성하도록 하며, 인사이트펄 결과들을 적어도 하나의 휴먼 엔지니어로 전송하여 휴먼 엔지니어로 하여금 인사이트펄 결과들을 참조하여 학습된 러닝 네트워크(400a)의 성능을 분석한 분석 결과를 전송하도록 하며, 분석 결과를 참조하여 액티브 러닝 네트워크(100) 및 컨티뉴얼 러닝 네트워크(300) 중 적어도 하나를 수정 및 개선할 수 있다.

즉, 학습 장치(1000)는 검증 데이터들을 학습된 러닝 네트워크(400a)로 입력하여 학습된 러닝 네트워크(400a)로 하여금 검증 데이터들을 러닝 연산한 검증 출력 정보들을 출력하도록 하며, 검증 데이터들에 대응되는 검증 출력 정보들을 익스플레이너블 분석 네트워크(500)로 입력하여 익스플레이너블 분석 네트워크(500)로 하여금 검증 출력 정보들을 참조하여 학습된 러닝 네트워크(400a)의 성능 분석을 위한 인사이트펄 결과들을 출력하도록 한다. 이때, 학습 장치(1000)가 검증 출력 정보들을 익스플레이너블 분석 네트워크(500)로 입력하였으나, 이와는 달리, 익스플레이너블 분석 네트워크(500)가 검증 데이터들을 학습된 러닝 네트워크(400a)로 입력하여 학습된 러닝 네트워크(400a)로 하여금 검증 데이터들을 러닝 연산한 검증 출력 정보들을 출력하도록 함으로써 검증 출력 정보를 획득할 수도 있다.

이때, 익스플레이너블 분석 네트워크(500)가 생성한 인사이트펄 결과들은, 학습된 러닝 네트워크(400a)의 성능이 안 좋게 나온 이그잼플, 일 예로, 오검출 또는 미검출 이그잼플, 해당 이그잼플이 오검출 또는 미검출된 원인, 일 예로, 인풋 데이터에서 아웃풋에 큰 영향을 준 영역, 중간 레이어 안에서 아웃풋에 큰 영향을 준 피처들을 표시한 것일 수 있다.

일 예로, 도 8을 참조하면, (a)에서와 같이 검증 데이터들을 학습된 러닝 네트워크(400a)에 입력하여, 학습된 러닝 네트워크(400a)로 하여금 검증 데이터들을 클래시피케이션(classification)하도록 한 다음, (b)에서와 같이 학습된 러닝 네트워크(400a)의 검증 츨력 정보들을 익스플레이너블 분석 네트워크(500)로 입력하여 익스플레이너블 분석 네트워크(500)로 하여금 학습된 러닝 네트워크(400a)의 검증 출력 정보들을 적합성 평가하도록 하여 픽셀 와이즈(pixel-wise) 설명들을 출력하도록 한다. 즉, 검증 데이터가 검증 이미지일 경우, 각각의 이미지 픽셀에 대하여, i번째 피처(feature)가 1 증가할때 클래시피케이션 결과인 "고양이"의 스코어 변화량인 피처 적합성 변화량을 이미지 상의 (x, y) 번째 입력 픽셀이 1 증가할때 "고양이"의 스코어 변화량인 픽셀 와이즈 설명으로 생성함으로써 인사이트펄 결과들을 출력하도록 할 수 있다. 한편, 익스플레이너블 분석 네트워크(500)는 상기에서의 적합성 평가 이외에도 다양한 방법에 의해 학습된 러닝 네트워크(400a)의 출력값에 대한 인사이트펄 결과를 생성하여 줄 수 있다.

다음으로, 학습 장치(1000)는 익스플레이너블 분석 네트워크(500)에 의해 생성된 인사이트펄 결과들을 휴먼 엔지니어들에게 전달하여, 휴먼 엔지니어들이 인사이트펄 결과들을 참조하여 용이하게 학습된 러닝 네트워크(400a)의 성능을 분석할 수 있도록 한다.

그리고, 학습 장치(1000)는 휴먼 엔지니어들에 의해 생성된 성능 분석 결과를 참조하여 액티브 러닝 네트워크(100)를 수정 및 개선하며, 컨티뉴얼 러닝 네트워크(300)의 학습 모델을 수정 및 개선하여 줄 수 있다.

또한, 이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims

AI(Artificial Intelligence) 기반으로 딥 러닝 네트워크를 학습시키는 방법에 있어서,
(a) 학습 장치가, 언라벨드 데이터들을 액티브 러닝 네트워크에 입력하여 상기 액티브 러닝 네트워크로 하여금 상기 언라벨드 데이터들 중 기존 러닝 네트워크 - 상기 기존 러닝 네트워크는 기존 라벨드 데이터들을 이용하여 학습된 상태임 - 의 학습에 유용한 하드 이그잼플(hard example)들로 판단되는 서브 언라벨드 데이터들을 추출하도록 하며, 상기 서브 언라벨드 데이터들을 오토 라벨링 네트워크에 입력하여 상기 오토 라벨링 네트워크로 하여금 상기 서브 언라벨드 데이터들 각각을 라벨링하여 신규 라벨드 데이터들을 생성하도록 하는 단계;
(b) 상기 학습 장치가, 컨티뉴얼 러닝 네트워크로 하여금 상기 신규 라벨드 데이터들과 상기 기존 라벨드 데이터들을 샘플링하여 샘플링된 신규 라벨드 데이터들과 샘플링된 기존 라벨드 데이터들을 포함하는 미니배치를 생성하도록 하며, 상기 미니배치를 이용하여 상기 기존 러닝 네트워크를 학습시키되, 상기 샘플링된 신규 라벨드 데이터들은 학습에 모두 반영하며, 상기 샘플링된 기존 라벨드 데이터들은 상기 기존 러닝 네트워크의 성능이 낮아지는 경우에만 학습에 반영하여 상기 기존 러닝 네트워크를 학습시켜 학습된 러닝 네트워크를 생성하도록 하는 단계; 및
(c) 상기 학습 장치가, 익스플레이너블 분석 네트워크로 하여금 상기 학습된 러닝 네트워크를 통해 검증 데이터들에 대한 인사이트펄(insightful) 결과들을 생성하도록 하며, 상기 인사이트펄 결과들을 적어도 하나의 휴먼 엔지니어로 전송하여 상기 휴먼 엔지니어로 하여금 상기 인사이트펄 결과들을 참조하여 상기 학습된 러닝 네트워크의 성능을 분석한 분석 결과를 전송하도록 하며, 상기 분석 결과를 참조하여 상기 액티브 러닝 네트워크 및 상기 컨티뉴얼 러닝 네트워크 중 적어도 하나를 수정 및 개선하는 단계;
를 포함하는 방법.
제1항에 있어서,
상기 (a) 단계에서,
상기 학습 장치는, 상기 오토 라벨링 네트워크로 하여금 상기 서브 언라벨드 데이터들 각각을 라벨링하여 중간 라벨드 데이터들을 생성하도록 하며, 상기 중간 라벨드 데이터들에 대한 언설턴티(uncertainty)들을 평가하여 예측된 로스들을 생성하도록 하고, 예측된 로스가 로스 임계값 이상인 제1 중간 라벨드 데이터들을 적어도 하나의 휴먼 라벨러에게 전송하여 상기 휴먼 라벨러로 하여금 상기 제1 중간 라벨드 데이터들을 검증하여 검증된 라벨드 데이터들을 생성하도록 하며, 상기 검증된 라벨드 데이터들과 상기 예측된 로스가 상기 로스 임계값 미만인 제2 중간 라벨드 데이터들을 상기 신규 라벨드 데이터들로 생성하는 방법.
제2항에 있어서,
상기 학습 장치는, 학습용 데이터를 상기 오토 라벨링 네트워크로 입력하여 상기 오토 라벨링 네트워크로 하여금 상기 학습용 데이터를 라벨링하여 학습용 라벨드 데이터를 생성하도록 하며, 상기 학습용 데이터에 대한 학습용 언설턴티를 평가하여 학습용 예측된 로스를 생성하도록 하고, 상기 학습용 라벨드 데이터와 이에 대응되는 그라운드 트루스를 참조한 학습용 라벨링 로스와, 상기 학습용 라벨링 로스와 상기 학습용 예측된 로스의 차이에 의한 로스 예측 에러를 백프로파게이션하여 상기 오토 라벨링 네트워크를 학습시킨 상태인 방법.
제2항에 있어서,
상기 학습 장치는, 상기 검증된 라벨드 데이터들과 상기 제1 중간 라벨드 데이터들을 참조한 정확도 로스들을 이용하여 상기 오토 라벨링 네트워크를 컨티뉴얼 학습시키는 방법.
제1항에 있어서,
상기 (b) 단계에서,
상기 기존 라벨드 데이터들에 대한 상기 기존 러닝 네트워크의 기존 출력 정보들에 대한 기존 로스들을 평균한 평균 로스를 베이스 로스로 획득한 상태에서,
상기 학습 장치는, 상기 컨티뉴얼 러닝 네트워크로 하여금, 상기 샘플링된 신규 라벨드 데이터들과 상기 샘플링된 기존 라벨드 데이터들이 1:1 비율이 되도록 상기 미니배치를 생성하며, 상기 샘플링된 신규 라벨드 데이터들에 대한 상기 기존 러닝 네트워크의 샘플링된 신규 출력 정보를 참조한 신규 로스들 모두를 이용하여 상기 기존 러닝 네트워크를 학습시키도록 하고, 상기 샘플링된 기존 라벨드 데이터들에 대한 상기 기존 러닝 네트워크의 샘플링된 기존 출력 정보들을 참조한 기존 로스들 중 상기 베이스 로스 이상인 특정 기존 로스들만을 이용하여 상기 기존 러닝 네트워크를 학습시키도록 하는 방법.
제1항에 있어서,
상기 (c) 단계에서,
상기 학습 장치는, 상기 익스플레이너블 분석 네트워크로 하여금, 검증 데이터들에 대한 상기 학습된 러닝 네트워크의 검증 출력 정보를 적합성 평가하여 픽셀-와이즈 설명들을 생성하도록 하고, 상기 픽셀-와이즈 설명들을 상기 인사이트펄 결과들로 획득하는 방법.
제1항에 있어서,
상기 (a) 단계에서,
상기 학습 장치는, 상기 액티브 러닝 네트워크로 하여금, 상기 언라벨드 데이터들에 대한 상기 오토 라벨링 네트워크의 제1 라벨링 출력 정보들과 상기 기존 러닝 네트워크의 제2 라벨링 출력 정보들을 비교하여, 제1 라벨링 출력 정보들과 제2 라벨링 출력 정보들의 차이들 중 차이 임계값 이상인 특정 차이들에 대응되는 특정 언라벨드 데이터들을 상기 서브 언라벨드 데이터들로 추출하는 방법.
제1항에 있어서,
상기 (a) 단계에서,
상기 학습 장치는, 상기 언라벨드 데이터들을 제1 변환 방법 내지 제n 변환 방법에 의해 제1 변환된 언라벨드 데이터들 내지 제n 변환된 언라벨드 데이터들로 변환하며, 상기 제1 변환된 언라벨드 데이터들 내지 상기 제n 변환된 언라벨드 데이터들을 상기 액티브 러닝 네트워크로 입력하여 상기 액티브 러닝 네트워크로 하여금, 상기 제1 변환된 언라벨드 데이터들 내지 상기 제n 변환된 언라벨드 데이터들 각각에 대한 상기 기존 러닝 네트워크의 제1 변환된 출력 정보들 내지 제n 변환된 출력 정보들의 분산들을 평가하도록 하며, 상기 분산들 중 분산 임계값 이상인 특정 분산들에 대응되는 특정 언라벨드 데이터들을 상기 서브 언라벨드 데이터들로 추출하도록 하는 방법.
제1항에 있어서,
상기 (a) 단계에서,
상기 학습 장치는, 상기 액티브 러닝 네트워크로 하여금, 상기 기존 러닝 네트워크를 통해 상기 언라벨드 데이터들에 대한 컨피던스들을 측정하도록 하며, 컨피던스가 가장 낮은 순서로 기설정된 개수가 되는 특정 언라벨드 데이터들을 상기 서브 언라벨드 데이터들로 추출하도록 하는 방법.
AI(Artificial Intelligence) 기반으로 딥 러닝 네트워크를 학습시키는 학습 장치에 있어서,
AI 기반으로 딥 러닝 네트워크를 학습시키기 위한 인스트럭션들이 저장된 메모리; 및
상기 메모리에 저장된 인스트럭션들에 따라 상기 AI 기반으로 상기 딥 러닝 네트워크를 학습시키기 위한 동작을 수행하는 프로세서;
를 포함하며,
상기 프로세서는, (I) 언라벨드 데이터들을 액티브 러닝 네트워크에 입력하여 상기 액티브 러닝 네트워크로 하여금 상기 언라벨드 데이터들 중 기존 러닝 네트워크 - 상기 기존 러닝 네트워크는 기존 라벨드 데이터들을 이용하여 학습된 상태임 - 의 학습에 유용한 하드 이그잼플(hard example)들로 판단되는 서브 언라벨드 데이터들을 추출하도록 하며, 상기 서브 언라벨드 데이터들을 오토 라벨링 네트워크에 입력하여 상기 오토 라벨링 네트워크로 하여금 상기 서브 언라벨드 데이터들 각각을 라벨링하여 신규 라벨드 데이터들을 생성하도록 하는 프로세스, (II) 컨티뉴얼 러닝 네트워크로 하여금 상기 신규 라벨드 데이터들과 상기 기존 라벨드 데이터들을 샘플링하여 샘플링된 신규 라벨드 데이터들과 샘플링된 기존 라벨드 데이터들을 포함하는 미니배치를 생성하도록 하며, 상기 미니배치를 이용하여 상기 기존 러닝 네트워크를 학습시키되, 상기 샘플링된 신규 라벨드 데이터들은 학습에 모두 반영하며, 상기 샘플링된 기존 라벨드 데이터들은 상기 기존 러닝 네트워크의 성능이 낮아지는 경우에만 학습에 반영하여 상기 기존 러닝 네트워크를 학습시켜 학습된 러닝 네트워크를 생성하도록 하는 프로세스, 및 (III) 익스플레이너블 분석 네트워크로 하여금 상기 학습된 러닝 네트워크를 통해 검증 데이터들에 대한 인사이트펄(insightful) 결과들을 생성하도록 하며, 상기 인사이트펄 결과들을 적어도 하나의 휴먼 엔지니어로 전송하여 상기 휴먼 엔지니어로 하여금 상기 인사이트펄 결과들을 참조하여 상기 학습된 러닝 네트워크의 성능을 분석한 분석 결과를 전송하도록 하며, 상기 분석 결과를 참조하여 상기 액티브 러닝 네트워크 및 상기 컨티뉴얼 러닝 네트워크 중 적어도 하나를 수정 및 개선하는 프로세스를 수행하는 학습 장치.
제10항에 있어서,
상기 프로세서는, 상기 (I) 프로세스에서, 상기 오토 라벨링 네트워크로 하여금 상기 서브 언라벨드 데이터들 각각을 라벨링하여 중간 라벨드 데이터들을 생성하도록 하며, 상기 중간 라벨드 데이터들에 대한 언설턴티(uncertainty)들을 평가하여 예측된 로스들을 생성하도록 하고, 예측된 로스가 로스 임계값 이상인 제1 중간 라벨드 데이터들을 적어도 하나의 휴먼 라벨러에게 전송하여 상기 휴먼 라벨러로 하여금 상기 제1 중간 라벨드 데이터들을 검증하여 검증된 라벨드 데이터들을 생성하도록 하며, 상기 검증된 라벨드 데이터들과 상기 예측된 로스가 상기 로스 임계값 미만인 제2 중간 라벨드 데이터들을 상기 신규 라벨드 데이터들로 생성하는 학습 장치.
제11항에 있어서,
상기 프로세서는, 학습용 데이터를 상기 오토 라벨링 네트워크로 입력하여 상기 오토 라벨링 네트워크로 하여금 상기 학습용 데이터를 라벨링하여 학습용 라벨드 데이터를 생성하도록 하며, 상기 학습용 데이터에 대한 학습용 언설턴티를 평가하여 학습용 예측된 로스를 생성하도록 하고, 상기 학습용 라벨드 데이터와 이에 대응되는 그라운드 트루스를 참조한 학습용 라벨링 로스와, 상기 학습용 라벨링 로스와 상기 학습용 예측된 로스의 차이에 의한 로스 예측 에러를 백프로파게이션하여 상기 오토 라벨링 네트워크를 학습시킨 상태인 학습 장치.
제11항에 있어서,
상기 프로세서는, 상기 검증된 라벨드 데이터들과 상기 제1 중간 라벨드 데이터들을 참조한 정확도 로스들을 이용하여 상기 오토 라벨링 네트워크를 컨티뉴얼 학습시키는 학습 장치.
제10항에 있어서,
상기 프로세서는, 상기 (II) 프로세스에서, 상기 기존 라벨드 데이터들에 대한 상기 기존 러닝 네트워크의 기존 출력 정보들에 대한 기존 로스들을 평균한 평균 로스를 베이스 로스로 획득한 상태에서, 상기 컨티뉴얼 러닝 네트워크로 하여금, 상기 샘플링된 신규 라벨드 데이터들과 상기 샘플링된 기존 라벨드 데이터들이 1:1 비율이 되도록 상기 미니배치를 생성하며, 상기 샘플링된 신규 라벨드 데이터들에 대한 상기 기존 러닝 네트워크의 샘플링된 신규 출력 정보를 참조한 신규 로스들 모두를 이용하여 상기 기존 러닝 네트워크를 학습시키도록 하고, 상기 샘플링된 기존 라벨드 데이터들에 대한 상기 기존 러닝 네트워크의 샘플링된 기존 출력 정보들을 참조한 기존 로스들 중 상기 베이스 로스 이상인 특정 기존 로스들만을 이용하여 상기 기존 러닝 네트워크를 학습시키도록 하는 학습 장치.
제10항에 있어서,
상기 프로세서는, 상기 (III) 프로세스에서, 상기 익스플레이너블 분석 네트워크로 하여금, 검증 데이터들에 대한 상기 학습된 러닝 네트워크의 검증 출력 정보를 적합성 평가하여 픽셀-와이즈 설명들을 생성하도록 하고, 상기 픽셀-와이즈 설명들을 상기 인사이트펄 결과들로 획득하는 학습 장치.
제10항에 있어서,
상기 프로세서는, 상기 (I) 프로세스에서, 상기 액티브 러닝 네트워크로 하여금, 상기 언라벨드 데이터들에 대한 상기 오토 라벨링 네트워크의 제1 라벨링 출력 정보들과 상기 기존 러닝 네트워크의 제2 라벨링 출력 정보들을 비교하여, 제1 라벨링 출력 정보들과 제2 라벨링 출력 정보들의 차이들 중 차이 임계값 이상인 특정 차이들에 대응되는 특정 언라벨드 데이터들을 상기 서브 언라벨드 데이터들로 추출하는 학습 장치.
제10항에 있어서,
상기 프로세서는, 상기 (I) 프로세스에서, 상기 언라벨드 데이터들을 제1 변환 방법 내지 제n 변환 방법에 의해 제1 변환된 언라벨드 데이터들 내지 제n 변환된 언라벨드 데이터로 변환하며, 상기 제1 변환된 언라벨드 데이터들 내지 상기 제n 변환된 언라벨드 데이터들을 상기 액티브 러닝 네트워크로 입력하여 상기 액티브 러닝 네트워크로 하여금, 상기 제1 변환된 언라벨드 데이터들 내지 상기 제n 변환된 언라벨드 데이터들 각각에 대한 상기 기존 러닝 네트워크의 제1 변환된 출력 정보들 내지 제n 변환된 출력 정보들의 분산들을 평가하도록 하며, 상기 분산들 중 분산 임계값 이상인 특정 분산들에 대응되는 특정 언라벨드 데이터들을 상기 서브 언라벨드 데이터들로 추출하도록 하는 학습 장치.
제10항에 있어서,
상기 프로세서는, 상기 (I) 프로세스에서, 상기 액티브 러닝 네트워크로 하여금, 상기 기존 러닝 네트워크를 통해 상기 언라벨드 데이터들에 대한 컨피던스들을 측정하도록 하며, 컨피던스가 가장 낮은 순서로 기설정된 개수가 되는 특정 언라벨드 데이터들을 상기 서브 언라벨드 데이터들로 추출하도록 하는 학습 장치.