KR20200098904A

KR20200098904A - 학습 모델 생성 장치 및 방법

Info

Publication number: KR20200098904A
Application number: KR1020190016610A
Authority: KR
Inventors: 김하영; 김남길; 강바롬; 염겨레; 임준범; 장지현; 정계은
Original assignee: 아주대학교산학협력단
Priority date: 2019-02-13
Filing date: 2019-02-13
Publication date: 2020-08-21
Also published as: KR102333730B1

Abstract

본 발명은, 학습 데이터를 복수의 학습 모델에 학습시키는 모델 학습부와, 학습된 복수의 학습 모델 중 가장 정확도가 높은 최적 학습 모델을 선택하는 모델 선택부와, 최적 학습 모델을 제외한 나머지 복수의 학습 모델에 포함되는 복수의 히든 레이어 중 적어도 하나의 선택 레이어를 선택하는 레이어 선택부와, 최적 학습 모델에 선택 레이어를 결합하는 레이어 결합부를 포함하는 학습 모델 생성 장치를 제공한다.

Description

학습 모델 생성 장치 및 방법{Apparatus And Method For Generating Learning Model}

본 발명은 학습 모델 생성 장치 및 방법에 관한 것으로, 특히, 새로운 앙상블 방법을 적용한 학습 모델 생성 장치 및 방법에 관한 것이다.

현재의 심층 신경망(Deep Neural Network) 구조는 다양한 분야에서 많은 관심을 받고 있다. 또한, 많은 관심과 함께 다양한(특히, 이미지 및 음성)분야에서 높은 성능을 보이며 각 분야에서 크게 기여를 하고 있다.

하지만, 심층 신경망이 높은 성능을 내기 위해서는 복잡한 계산이 필요하며, 이를 위해 많은 파라미터를 사용하는 용량이 큰 학습 모델이 요구 되고 있는 실정이다.

이와 같이, 학습 모델을 생성한 후에 보다 더 높은 성능을 내기 위한 방법 중 가장 많이 사용되는 방법으로는 앙상블(Ensemble) 방법이 있다.

여기서, 앙상블이란 조화라는 뜻을 가진 단어로, 음악에서는 두 사람 이상의 연주자에 의한 합주 또는 합창을 말한다. 이와 비슷하게 심층 신경망에서의 앙상블 방법은 단일 학습 모델이 아닌 복수개의 학습 모델에서 나온 결과를 조합함으로써 단일 학습 모델 보다 높은 성능을 나타내도록 하는 방법을 말한다. 이러한 앙상블 방법은 조건이 동일한 환경에서 학습 모델들을 동일한 데이터로 학습을 시켜도 각 학습 모델들의 결과가 다르기 때문에 각 모델들의 결과들을 조합해 더 높은 성능을 낼 수 있다.

기존의 앙상블의 동작 방식은 먼저 학습하고자 하는 학습 데이터를 복수개의 학습 모델들에 각각 학습을 시킨다. 그리고, 학습이 완료된 복수개의 학습 모델들에 대해 데이터를 입력한 후 각 학습 모델들의 마지막 심층 신경망층의 정보를 가져 온다. 그리고, 각 학습 모델들의 마지막 심층 신경망층에 정보를 더한 후 복수개의 학습 모델들의 수만큼 나눠 주는 작업을 거친 후 이 값으로 데이터의 최종 결과를 결정하게 된다.

하지만, 기존의 앙상블 방법을 사용하기 위해서는 복수의 학습 모델들로부터 결과가 나오기 때문에 기존 단일 학습 모델 보다 훨씬 많은 파라미터들이 필요하고, 이에 따라 학습 모델의 용량을 비교적 크게 증대시켜야 하는 문제점이 여전히 남아있다.

본 발명은, 비교적 높은 정확도 및 적은 파라미터를 갖는 학습 모델을 생성할 수 있는 학습 모델 생성 장치 및 방법을 제공하는 것을 목적으로 한다.

또한, 본 발명은, 비교적 가벼운 학습 모델을 생성함으로써, 공간 제한적인 환경에서도 앙상블 효과를 갖는 학습 모델을 임베디드 시스템에 쉽게 탑재할 수 있는 학습 모델 생성 장치 및 방법을 제공하는 것을 목적으로 한다.

본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

이러한 과제를 해결하기 위해, 본 발명은, 학습 데이터를 복수의 학습 모델에 학습시키는 모델 학습부와, 학습된 복수의 학습 모델 중 가장 정확도가 높은 최적 학습 모델을 선택하는 모델 선택부와, 최적 학습 모델을 제외한 나머지 복수의 학습 모델에 포함되는 복수의 히든 레이어 중 적어도 하나의 선택 레이어를 선택하는 레이어 선택부와, 최적 학습 모델에 선택 레이어를 결합하는 레이어 결합부를 포함하는 학습 모델 생성 장치를 제공한다.

또한, 선택 레이어의 데이터들 중 중복된 중복 데이터를 추출하고, 추출된 중복 데이터 중 어느 하나만 남기고 나머지는 제거하는 데이터 제거부를 더 포함할 수 있다.

여기서, 데이터 제거부는 K-DPP(Determinant Point Process) 방법을 이용하여 상기 중복 데이터를 추출 및 제거할 수 있다.

이와 달리, 데이터 제거부는 최적 학습 모델에 중복 데이터를 추출 및 제거하기 위한 제거 레이어를 추가할 수 있다.

여기서, 데이터 학습부는 제거 레이어에서 중복 데이터가 추출 및 제거될 수 있도록 최적 학습 모델을 학습시킬 수 있다.

또한, 본 발명은, 학습 데이터를 복수의 학습 모델에 학습시키는 단계와, 학습된 복수의 학습 모델 중 가장 정확도가 높은 최적 학습 모델을 선택하는 단계와, 최적 학습 모델을 제외한 나머지 복수의 학습 모델에 포함되는 복수의 히든 레이어 중 적어도 하나의 선택 레이어를 선택하는 단계와, 최적 학습 모델에 상기 선택 레이어를 결합하는 단계를 포함하는 학습 모델 생성 방법을 제공한다.

또한, 선택 레이어의 데이터들 중 중복된 중복 데이터를 추출하고, 추출된 중복 데이터 중 어느 하나만 남기고 나머지는 제거하는 단계를 더 포함할 수 있다.

여기서, 중복 데이터를 추출 및 제거하는 단계는 K-DPP(Determinant Point Process)를 이용하여 중복 데이터를 추출 및 제거하는 단계일 수 있다.

이와 달리, 중복 데이터를 추출 및 제거하는 단계는 최적 학습 모델에 중복 데이터를 추출 및 제거하기 위한 제거 레이어를 추가하는 단계일 수 있다.

여기서, 제거 레이어에서 중복 데이터가 추출 및 제거될 수 있도록 최적 학습 모델을 학습시키는 단계를 더 포함할 수 있다.

본 발명에 따르면, 기존 앙상블 방법과 달리 복수의 학습 모델에서 특정 레이어(즉, 중간 층)를 선택 및 조합하는 새로운 앙상블 방법을 적용함으로써, 비교적 높은 정확도 및 적은 파라미터를 갖는 학습 모델을 생성할 수 있다.

또한, 본 발명에 따르면, 공간 제한적인 환경에서도 앙상블 효과를 갖는 학습 모델을 임베디드 시스템에 쉽게 탑재할 수 있게 된다.

또한, 본 발명에 따르면, 중복 데이터를 제거하고 가장 다양성 있는 데이터만으로 레이어를 다시 구성하기 때문에, 기존 앙상블 방법 보다 더 가볍고, 정확도가 높은 학습 모델을 생성할 수 있다.

본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당해 기술분야에 있어서의 통상의 지식을 가진 자가 명확하게 이해할 수 있을 것이다.

도 1은 본 발명의 실시예에 따른 학습 모델을 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 학습 모델 생성 장치의 개략적인 블록도이다.
도 3은 복수의 학습 모델 중 최적 학습 모델을 선택하는 방법을 설명하기 위한 도면이다.
도 4는 최적 학습 모델에 선택 레이어를 결합하는 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 학습 모델 생성 방법의 순서도이다.

본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.

따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원 시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.

도 1은 본 발명의 실시예에 따른 학습 모델을 도시한 도면이다.

도 1을 참고하면, 학습 모델(10)은 특정 입력에 대해 특정 출력이 출력되도록 학습된 모델로서, 예를 들어, 신경망(neural network)을 포함할 수 있다.

신경망은 연결선으로 연결된 많은 수의 인공 뉴런들을 이용하여 생물학적인 시스템의 계산 능력을 모방하는 인식 모델이다.

이와 같은 신경망은 생물학적인 뉴런의 기능을 단순화시킨 인공 뉴런들이 이용되고, 인공 뉴런들은 연결 가중치(connection weight)를 가지는 연결선을 통해 상호 연결될 수 있다. 그리고, 신경망의 파라미터인 연결 가중치는 연결선이 갖는 특정한 값으로서 연결 강도를 의미한다.

신경망은 인공 뉴런들을 통해 인간의 인지 작용 이나 학습 과정을 수행할 수 있다. 여기서, 인공 뉴런은 노드(node)라고도 지칭할 수 있다.

신경망은 복수의 레이어들을 포함할 수 있다. 예를 들어, 신경망은 입력 레이어(input layer), 히든 레이어(hidden layer) 및 출력 레이어(output layer)를 포함할 수 있다.

입력 레이어는 학습을 수행하기 위한 입력을 수신하여 히든 레이어에 전달할 수 있고, 출력 레이어는 히든 레이어의 노드들로부터 수신한 신호에 기초하여 신경망의 출력을 생성할 수 있다.

히든 레이어는 입력 레이어와 출력 레이어 사이에 위치하고, 입력 레이어를 통해 전달된 학습 데이터를 예측하기 쉬운 값으로 변화시킬 수 있다.

입력 레이어와 히든 레이어에 포함된 노드들은 연결 가중치를 가지는 연결선을 통해 서로 연결되고, 히든 레이어와 출력 레이어에 포함된 노드들에서도 연결 가중치를 가지는 연결선을 통해 서로 연결될 수 있다.

입력 레이어, 히든 레이어 및 출력 레이어는 복수의 노드들을 포함할 수 있다.

신경망은 복수의 히든 레이어들을 포함할 수 있다. 복수의 히든 레이어들을 포함하는 신경망을 깊은 신경망(deep neural network)이라고 하고, 깊은 신경망을 학습시키는 것을 깊은 학습(deep learning)이라고 한다.

신경망은 감독 학습(supervised learning)을 통해 학습될 수 있다. 감독 학습이란 입력 데이터와 그에 대응하는 출력 데이터를 함께 신경망에 입력하고, 입력 데이터에 대응하는 출력 데이터가 출력되도록 연결선들의 연결 가중치를 업데이트하는 방법이다. 예를 들어, 모델 학습 장치는 델타 규칙(delta rule)과 오류 역전파 학습(back propagation learning) 등을 통해 인공 뉴런들 사이의 연결 가중치를 업데이트할 수 있다.

여기서, 오류 역전파 학습은, 주어진 입력 데이터에 대해 전방 계산(forward computation)으로 손실을 추정한 후, 출력 레이어에서 시작하여 히든 레이어와 입력 레이어로의 역 방향으로 추정한 손실을 전파하는 과정에서 손실을 줄이는 방향으로 연결 가중치를 업데이트하는 방법이다.

신경망의 처리는 입력 레이어, 히든 레이어 및 출력 레이어의 순서로 진행되지만, 오류 역전파 학습에서 연결 가중치의 업데이트 방향은 출력 레이어, 히든 레이어 및 입력 레이어의 순서로 진행될 수 있다.

이하, 신경망을 학습시킨다는 것은 신경망의 파라미터를 학습시킨다는 것으로 이해될 수 있다. 또한, 학습된 신경망은 학습된 파라미터가 적용된 신경망으로 이해될 수 있다.

도 2는 본 발명의 실시예에 따른 학습 모델 생성 장치의 개략적인 블록도이다.

본 발명의 실시예에 따른 학습 모델 생성 장치는 데이터 인식을 위한 신경망을 학습시켜 최적의 학습 모델을 생성하는 장치로서, 단일 프로세서 또는 멀티 프로세서로 구현될 수 있다. 또한, 서로 다른 장치에 포함된 복수의 모듈들로 구현될 수도 있고, 이 경우 복수의 모듈들은 네트워크 등을 통하여 서로 연결될 수 있다.

구체적으로, 도 2에 도시한 바와 같이, 본 발명의 실시예에 따른 학습 모델 생성 장치는 모델 학습부(110), 모델 선택부(120), 레이어 선택부(130) 및 레이어 결합부(140)를 포함하여 구성될 수 있다.

모델 학습부(110)는 학습 데이터를 복수의 학습 모델(10)에 학습시킨다.

복수의 학습 모델(10)은 서로 다른 초기 가중치를 가질 수 있다. 여기서, 초기 가중치는 신경망 내의 연결선이 가지는 연결 가중치의 초기 값을 의미하는 것으로, 에러 역전파 신경망 학습에서 학습 속도와 수렴률에 큰 영향을 줄 수 있다. 또한, 초기 가중치는 랜덤 초기치 설정 또는 사전 학습 등 다양한 방법을 통해 서로 다른 값으로 설정될 수 있다.

복수의 학습 모델(10)은 서로 다른 히든 레이어 개수, 필터 개수, 커널 사이즈(kernel size) 등으로 구성되는 다양한 신경망 구조를 가질 수 있다.

복수의 학습 모델(10)에 학습되는 학습 데이터가 동일하더라도, 학습이 완료된 복수의 학습 모델(10)에서 출력되는 결과 값은 상이할 수 있다. 즉, 학습된 복수의 학습 모델(10)의 정확도는 상이할 수 있다.

도 3은 복수의 학습 모델 중 최적 학습 모델을 선택하는 방법을 설명하기 위한 도면이고, 도 4는 최적 학습 모델에 선택 레이어를 결합하는 방법을 설명하기 위한 도면이다.

도 3에 도시한 바와 같이, 복수의 학습 모델(10)은 다양한 신경망 구조와 다양한 정확도를 가질 수 있으며, 제1 내지 제n(여기서, n은 자연수) 학습 모델(10)을 포함할 수 있다.

모델 선택부(120)는 정확도를 기초로 학습된 복수의 학습 모델(10) 중 적어도 어느 하나를 선택할 수 있다. 예를 들어, 모델 선택부(120)는 제1 내지 제n 학습 모델(10) 중 가장 정확도가 높은 제2 학습 모델(10)을 최적 학습 모델(10a)로 선택할 수 있다. 이와 달리, 모델 선택부(120)는 정확도가 기준 값 이상인 학습 모델(10)들 중 어느 하나를 최적 학습 모델로 선택할 수도 있다.

도 4에 도시한 바와 같이, 레이어 선택부(130)는 최적 학습 모델(10a)을 제외한 나머지 복수의 학습 모델(10)에 포함되는 복수의 히든 레이어(1) 중 적어도 하나의 선택 레이어(1a)를 선택할 수 있다.

레이어 결합부(140)는 모델 선택부(120)에 의해 선택된 최적 학습 모델(10a)에 선택 레이어(1a)들을 결합한다. 예를 들어, 레이어 결합부(140)는 제2 학습 모델을 제외한 나머지 학습 모델에 포함되는 선택 레이어(1a)들을 최적 학습 모델(10a)에 추가할 수 있다.

이와 같이, 본 발명의 실시예에 따른 학습 모델 생성 장치는, 기존 앙상블 방법과 달리 복수의 학습 모델에서 특정 레이어(즉, 중간 층)를 선택 및 조합하는 새로운 앙상블 방법을 적용한 것으로, 비교적 높은 정확도 및 적은 파라미터를 갖는 학습 모델을 생성할 수 있다.

이를 통해, 공간 제한적인 환경에서도 앙상블 효과를 갖는 학습 모델을 임베디드 시스템에 쉽게 탑재할 수 있게 된다.

본 발명의 실시예에 따른 학습 모델 생성 장치는 선태 레이어(1a)들에 포함되는 데이터들 중 중복된 데이터를 제거하기 위한 데이터 제거부(150)를 더 포함할 수 있다.

데이터 제거부(150)는 복수의 학습 모델(10)에 포함되는 선택 레이어(1a)의 데이터들 중 중복된 중복 데이터를 추출하고, 추출된 중복 데이터 중 어느 하나만 남기고 나머지는 제거한다.

구체적으로, 데이터 제거부(150)는 K-DPP(Determinant Point Process) 방법을 이용하여 중복 데이터를 추출 및 제거할 수 있다.

한편, DPP방법은 일반적으로 주어진 값들을 행렬화 시켜 다양성을 찾는 방법으로서, 본 발명의 실시예에 따른 학습 모델 생성 장치는 이와 같은 DPP방법을 적용하여 선택 레이어(1a)의 데이터들 즉, 가중치들 중 다양성이 높은 것만 선택하여 이를 특정 레이어의 가중치로 구성할 수 있다.

이와 같은 DPP 방법은 선택 레이어(1a)의 가중치들을 채널 별로 분리한 다음 이 값들을 Gaussian kernel에 입력하여 채널 별로 비교한 값을 출력하고, 이를 토대로 다양성이 가장 높은 가중치들을 선택한다. 그러나, 이러한 DPP 방법은 NP-HARD 문제가 초래될 수 있다.

K-DPP 방법은 선택할 k개의 가중치를 정하되, 처음 값은 랜덤하게 선택 하고, 이 후부터는 그리드 알고리즘을 통해 k개의 다양성을 가지는 가중치들을 선택한다. 이 때, 처음 값이 랜덤하게 선택되어 지기 때문에 처음 값에 의해서 k개의 가중치들이 결정될 수 있는 문제점이 있다.

이에 본 발명의 실시예에 따른 학습 모델 생성 장치는 최적의 가중치를 고정 시킨 후 나머지 선택 레이어(1a)의 가중치들에서 K-DPP 방법을 적용해 가중치를 선택하는 방법을 통해 정확도를 더욱더 향상시킬 수 있다.

이와 달리, 데이터 제거부(150)는 최적 학습 모델(10a)에 중복 데이터를 추출 및 제거하기 위한 제거 레이어(2)를 추가할 수도 있다.

즉, 데이터 제거부(150)는 최적 학습 모델(10a)에 레이어 하나를 더 추가하여 최적 학습 모델(10a) 자체에서 중복 데이터를 제거할 수 있도록 할 수 있다.

여기서, 데이터 학습부(110)는 제거 레이어(2)에서 중복 데이터가 추출 및 제거될 수 있도록 최적 학습 모델(10a)을 학습시킨다.

이와 같이, 본 발명의 실시예에 따른 학습 모델 생성 장치는 중복 데이터를 제거하고 가장 다양성 있는 데이터만으로 레이어를 다시 구성하기 때문에, 기존 앙상블 방법 보다 더 가볍고, 정확도가 높은 학습 모델을 생성할 수 있다.

도 5는 본 발명의 실시예에 따른 학습 모델 생성 방법의 순서도이다.

이하, 도 1 내지 도 4를 참조하여 본 발명의 실시예에 따른 학습 모델 생성 방법을 설명하되, 전술한 본 발명의 실시예에 따른 학습 모델 생성 장치와 동일한 내용에 대해서는 생략하겠다.

본 발명의 실시예에 따른 학습 모델 생성 방법은, 학습 데이터를 복수의 학습 모델(10)에 학습시키는 단계(S10)와, 학습된 복수의 학습 모델(10) 중 가장 정확도가 높은 최적 학습 모델(10a)을 선택하는 단계(S20)와, 최적 학습 모델(10a)을 제외한 나머지 복수의 학습 모델(10)에 포함되는 복수의 히든 레이어(1) 중 적어도 하나의 선택 레이어(1a)를 선택하는 단계(S30)와, 최적 학습 모델(10a)에 선택 레이어(1a)를 결합하는 단계(S40)를 포함하여 구성될 수 있다.

이와 같이, 본 발명의 실시예에 따른 학습 모델 생성 방법은, 기존 앙상블 방법과 달리 복수의 학습 모델에서 특정 레이어(즉, 중간 층)를 선택 및 조합하는 새로운 앙상블 방법을 적용한 것으로, 비교적 높은 정확도 및 적은 파라미터를 갖는 학습 모델을 생성할 수 있다.

본 발명의 실시예에 따른 학습 모델 생성 방법은, 선택 레이어의 데이터들 중 중복된 중복 데이터를 추출하고, 추출된 중복 데이터 중 어느 하나만 남기고 나머지는 제거하는 단계(S50)를 더 포함할 수 있다.

중복 데이터를 추출 및 제거하는 단계(S50)는 K-DPP(Determinant Point Process) 방법을 이용하여 중복 데이터를 추출 및 제거하는 단계일 수 있다.

또한, 중복 데이터를 추출 및 제거하는 단계(S50)는 최적 학습 모델에 중복 데이터를 추출 및 제거하기 위한 제거 레이어를 추가하는 단계일 수 있다.

여기서, 제거 레이어에서 중복 데이터가 추출 및 제거될 수 있도록 최적 학습 모델(10a)을 학습시키는 단계를 더 포함할 수 있다.

이와 같이, 본 발명의 실시예에 따른 학습 모델 생성 방법은 중복 데이터를 제거하고 가장 다양성 있는 데이터만으로 레이어를 다시 구성하기 때문에, 기존 앙상블 방법 보다 더 가볍고, 정확도가 높은 학습 모델을 생성할 수 있다.

이상의 상세한 설명은 본 발명을 예시하는 것이다. 또한 전술한 내용은 본 발명의 바람직한 실시 형태를 나타내고 설명하는 것에 불과하며, 본 발명은 다양한 다른 조합, 변경 및 환경에서 사용할 수 있다. 즉, 본 명세서에 개시된 발명의 개념의 범위, 저술한 개시 내용과 균등한 범위 및/또는 당업계의 기술 또는 지식의 범위 내에서 변경 또는 수정이 가능하다. 전술한 실시예들은 본 발명을 실시하는데 있어 최선의 상태를 설명하기 위한 것이며, 본 발명과 같은 다른 발명을 이용하는데 당업계에 알려진 다른 상태로의 실시, 그리고 발명의 구체적인 적용 분야 및 용도에서 요구되는 다양한 변경도 가능하다. 따라서 이상의 발명의 상세한 설명은 개시된 실시 상태로 본 발명을 제한하려는 의도가 아니다. 또한 첨부된 청구범위는 다른 실시 상태도 포함하는 것으로 해석되어야 한다.

110: 모델 학습부
120: 모델 선택부
130: 레이어 선택부
140: 레이어 결합부
150: 데이터 제거부

Claims

학습 데이터를 복수의 학습 모델에 학습시키는 모델 학습부;
학습된 상기 복수의 학습 모델 중 가장 정확도가 높은 최적 학습 모델을 선택하는 모델 선택부;
상기 최적 학습 모델을 제외한 나머지 상기 복수의 학습 모델에 포함되는 복수의 히든 레이어 중 적어도 하나의 선택 레이어를 선택하는 레이어 선택부; 및
상기 최적 학습 모델에 상기 선택 레이어를 결합하는 레이어 결합부
를 포함하는 학습 모델 생성 장치.
제 1 항에 있어서,
상기 선택 레이어의 데이터들 중 중복된 중복 데이터를 추출하고, 추출된 상기 중복 데이터 중 어느 하나만 남기고 나머지는 제거하는 데이터 제거부를
더 포함하는 학습 모델 생성 장치.
제 2 항에 있어서,
상기 데이터 제거부는
K-DPP(Determinant Point Process) 방법을 이용하여 상기 중복 데이터를 추출 및 제거하는 학습 모델 생성 장치.
제 2 항에 있어서,
상기 데이터 제거부는
상기 최적 학습 모델에 상기 중복 데이터를 추출 및 제거하기 위한 제거 레이어를 추가하는 학습 모델 생성 장치.
제 4 항에 있어서,
상기 데이터 학습부는
상기 제거 레이어에서 상기 중복 데이터가 추출 및 제거될 수 있도록 상기 최적 학습 모델을 학습시키는
학습 모델 생성 장치.
학습 데이터를 복수의 학습 모델에 학습시키는 단계;
학습된 상기 복수의 학습 모델 중 가장 정확도가 높은 최적 학습 모델을 선택하는 단계;
상기 최적 학습 모델을 제외한 나머지 상기 복수의 학습 모델에 포함되는 복수의 히든 레이어 중 적어도 하나의 선택 레이어를 선택하는 단계; 및
상기 최적 학습 모델에 상기 선택 레이어를 결합하는 단계
를 포함하는 학습 모델 생성 방법.
제 6 항에 있어서,
상기 선택 레이어의 데이터들 중 중복된 중복 데이터를 추출하고, 추출된 상기 중복 데이터 중 어느 하나만 남기고 나머지는 제거하는 단계를
더 포함하는 학습 모델 생성 방법.
제 7 항에 있어서,
상기 중복 데이터를 추출 및 제거하는 단계는
K-DPP(Determinant Point Process)를 이용하여 상기 중복 데이터를 추출 및 제거하는 단계인 학습 모델 생성 방법.
제 7 항에 있어서,
상기 중복 데이터를 추출 및 제거하는 단계는
상기 최적 학습 모델에 상기 중복 데이터를 추출 및 제거하기 위한 제거 레이어를 추가하는 단계인 학습 모델 생성 방법.
제 9 항에 있어서,
상기 제거 레이어에서 상기 중복 데이터가 추출 및 제거될 수 있도록 상기 최적 학습 모델을 학습시키는 단계
를 더 포함하는 학습 모델 생성 방법.