KR20200057291A - 전이 학습 모델 생성 방법 및 장치 - Google Patents

전이 학습 모델 생성 방법 및 장치 Download PDF

Info

Publication number
KR20200057291A
KR20200057291A KR1020180141473A KR20180141473A KR20200057291A KR 20200057291 A KR20200057291 A KR 20200057291A KR 1020180141473 A KR1020180141473 A KR 1020180141473A KR 20180141473 A KR20180141473 A KR 20180141473A KR 20200057291 A KR20200057291 A KR 20200057291A
Authority
KR
South Korea
Prior art keywords
data
learning
learning model
basic
transfer learning
Prior art date
Application number
KR1020180141473A
Other languages
English (en)
Inventor
장성준
박준석
방준학
이해룡
최종우
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020180141473A priority Critical patent/KR20200057291A/ko
Publication of KR20200057291A publication Critical patent/KR20200057291A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Machine Translation (AREA)

Abstract

전이 학습 모델 생성 방법 및 장치가 개시된다. 상기 전이 학습 모델 생성 방법 및 장치는 적어도 하나의 기초 학습 데이터 중 클래스를 대표하는 시드 정보를 샘플링하여 표준 데이터의 입력 정보를 획득하고, 획득한 표준 데이터 및 신규 데이터를 균등 결합하여, 기초 학습 모델에 종속되지 않은 고성능, 고정밀 및 고신뢰성의 전이 학습 모델 생성 방법 및 장치를 제공할 수 있다.

Description

전이 학습 모델 생성 방법 및 장치{METHOD AND APPARATUS FOR CREATING MODEL BASED ON TRANSFER LEARNING}
본 발명은 전이 학습 모델 생성 방법 및 장치에 관한 것으로, 보다 상세하게는, 기계 학습 모델의 학습 데이터를 활용하여 새로운 학습을 수행하는 전이 학습 모델 생성 방법 및 장치에 관한 것이다.
오늘날, 인공지능은 영상 인식, 음성 인식, 자연어 처리 등 다양한 분야에 적용되고 있다. 이에 따라, 인공지능의 주요 기술인 기계학습의 기술 또한 다양한 분야에서 활용되고 있다.
기계학습은 사전에 주어지는 학습 데이터를 분석하고, 학습 데이터의 분석 결과를 바탕으로 학습 가능한 규칙이나 새로운 지식을 동적으로 추출하는 기술이다. 이에 따라, 기계학습은 학습 데이터가 많을수록 고정밀한 결과 데이터를 획득할 수 있다.
최근에는 빅데이터가 인공지능을 위한 학습 데이터로 제공됨으로써 정밀한 기계학습의 데이터 분석이 가능하나, 빅데이터를 활용한 기계학습은 방대한 데이터량에 의해 장시간의 학습 시간이 소요되며, 신규 데이터가 유입되거나 또는 기존의 학습 모델과 유사한 신규 학습 모델을 새롭게 생성할 경우, 방대한 량의 빅데이터를 새롭게 학습하여야 하는 단점이 있다.
이에, 종래에는 기존에 학습된 빅데이터 학습 결과를 일부 이용하여 새로운 학습을 수행하는 전이 학습 기술이 각광받고 있다.
도 1은 종래의 전이 학습 모델의 개념도이다. 도 1을 참조하면, 종래의 전이 학습 모델은 기존의 학습 모델 내 변수에 신규 변수를 단순 결합한 신규 데이터를 학습하여 생성함으로써, 결과적으로는 기존의 학습 모델에 신규 데이터만을 추가 학습하는 결과와 동일하게 제공된다. 이에 따라, 종래의 전이 학습 방법들은 신규 데이터에 편향된 학습 결과를 제공함으로써, 기존 학습 모델의 성능을 유지하기 어려워, 물체 인식과 같이 클래스 구분이 명확한 기계학습 분야에만 한정적으로 사용되는 단점이 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 고성능 및 고정밀의 전이 학습 모델 생성 방법을 제공하는 데 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은 고성능 및 고정밀의 전이 학습 모델 생성 장치를 제공하는 데 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 전이 학습 모델 생성 방법은 신규 데이터를 수신하는 단계, 적어도 하나의 기초 학습 데이터로부터 상기 기초 학습 데이터의 특성을 대표하는 적어도 하나의 시드 정보를 샘플링하여 입력 정보를 생성하고, 기초 학습 모델에 의해 상기 입력 정보에 대응하는 라벨 정보를 포함하는 표준 데이터를 생성하는 단계, 상기 신규 데이터 및 상기 표준 데이터를 결합하여 적어도 하나의 전이 학습 데이터를 생성하는 단계 및 상기 전이 학습 데이터를 학습하여 전이 학습 모델을 생성하는 단계를 포함한다.
여기서, 상기 표준 데이터를 생성하는 단계는 적어도 하나의 상기 기초 학습 데이터를 이용하여 상기 기초 학습 모델을 학습하는 단계, 적어도 하나의 상기 기초 학습 데이터의 분포를 학습하는 단계, 적어도 하나의 특정 클래스에 위치된 상기 기초 학습 데이터를 기초하여, 상기 특정 클래스를 대표하는 시드 정보를 샘플링하는 단계, 상기 시드 정보에 대응하는 상기 표준 데이터의 입력 정보를 생성하는 단계, 상기 기초 학습 모델을 이용하여, 상기 표준 데이터의 입력 정보에 대응하는 라벨 정보를 생성하는 단계, 상기 신규 데이터 및 상기 표준 데이터 각각의 라벨 정보를 서로 비교하는 단계 및 상기 신규 데이터의 라벨 정보와 일치하지 않는 라벨 정보를 갖는 상기 표준 데이터를 추출하는 단계를 포함할 수 있다.
이때, 상기 기초 학습 데이터의 분포를 학습하는 단계에서는 데이터 분포 모델에 의해 적어도 하나의 상기 기초 학습 데이터의 분류를 학습할 수 있다.
여기서, 상기 데이터 분포 모델은, 결정 트리(Decision Tree) 알고리즘, k-근접 이웃(KNN, K-Nearest Neighbor) 알고리즘, 다층 퍼셉트론(MLP, Multi-Layer Perceptron) 신경망 알고리즘, 딥러닝(Deep-Learning) 알고리즘, 서포트 벡터 머신(SVM, Support Vector Machine) 알고리즘, 에이다부스트(AdaBoost) 알고리즘, 랜덤 포레스트(RF, Random Forest) 알고리즘 또는 확률 그래프 모델(Probabilistic Graphical Models) 중 어느 하나를 이용하여 상기 기초 학습 데이터를 분류할 수 있다.
상기 전이 학습 데이터를 생성하는 단계는 상기 신규 데이터 및 상기 추출된 표준 데이터의 개수 및 출력 정보 비중을 균등하게 조정하는 단계 및 조정된 상기 신규 데이터 및 상기 표준 데이터를 결합하여 상기 전이 학습 데이터를 생성하는 단계를 포함할 수 있다.
또한, 상기 전이 학습 모델을 생성하는 단계 이후에 상기 신규 데이터가 발생될 경우, 상기 기초 학습 모델에 상기 생성된 전이 학습 모델을 대체 적용하여 상기 전이 학습 모델을 갱신할 수 있다.
상기 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 전이 학습 모델 생성 장치는 메모리(memory) 및 상기 메모리 내 적어도 하나의 명령을 실행하는 프로세서(processor)를 포함하되, 상기 적어도 하나의 명령은, 신규 데이터를 수신하도록 하는 명령, 적어도 하나의 기초 학습 데이터로부터 상기 기초 학습 데이터의 특성을 대표하는 적어도 하나의 시드 정보를 샘플링하여 입력 정보를 생성하고, 기초 학습 모델에 의해 상기 입력 정보에 대응하는 라벨 정보를 포함하는 표준 데이터를 생성하도록 하는 명령, 상기 신규 데이터 및 상기 표준 데이터를 결합하여 적어도 하나의 전이 학습 데이터를 생성하도록 하는 명령 및 상기 전이 학습 데이터를 학습하여 전이 학습 모델을 생성하도록 하는 명령을 포함한다.
여기서, 상기 표준 데이터를 생성하도록 하는 명령은, 적어도 하나의 상기 기초 학습 데이터를 이용하여 상기 기초 학습 모델을 학습하도록 하는 명령, 적어도 하나의 상기 기초 학습 데이터의 분포를 학습하도록 하는 명령, 적어도 하나의 특정 클래스에 위치된 상기 기초 학습 데이터를 기초하여, 상기 특정 클래스를 대표하는 시드 정보를 샘플링하도록 하는 명령, 상기 시드 정보에 대응하는 상기 표준 데이터의 입력 정보를 생성하도록 하는 명령, 상기 기초 학습 모델을 이용하여, 상기 표준 데이터의 입력 정보에 대응하는 라벨 정보를 생성하도록 하는 명령 및 상기 신규 데이터 및 상기 표준 데이터 각각의 라벨 정보를 서로 비교하여 상기 표준 데이터를 생성하도록 하는 명령을 포함할 수 있다.
상기 프로세서는, 데이터 분포 모델에 의해 적어도 하나의 상기 기초 학습 데이터의 분류를 학습할 수 있다.
이때, 상기 데이터 분포 모델은, 결정 트리(Decision Tree) 알고리즘, k-근접 이웃(KNN, K-Nearest Neighbor) 알고리즘, 다층 퍼셉트론(MLP, Multi-Layer Perceptron) 신경망 알고리즘, 딥러닝(Deep-Learning) 알고리즘, 서포트 벡터 머신(SVM, Support Vector Machine) 알고리즘, 에이다부스트(AdaBoost) 알고리즘, 랜덤 포레스트(RF, Random Forest) 알고리즘 또는 확률 그래프 모델(Probabilistic Graphical Models) 중 어느 하나를 이용하여 상기 기초 학습 데이터를 분류할 수 있다.
상기 전이 학습 데이터를 생성하도록 하는 명령은, 상기 신규 데이터 및 상기 추출된 표준 데이터의 개수 및 출력 정보 비중을 균등하게 조정하도록 하는 명령 및 조정된 상기 신규 데이터 및 상기 표준 데이터를 결합하여 상기 전이 학습 데이터를 생성하도록 하는 명령을 포함할 수 있다.
또한, 본 발명의 다른 실시예에 따른 상기 전이 학습 모델 생성 장치는 상기 전이 학습 모델의 생성 이후에 상기 신규 데이터가 발생될 경우, 상기 기초 학습 모델에 상기 생성된 전이 학습 모델을 대체 적용하여 상기 전이 학습 모델을 갱신할 수 있다.
본 발명의 실시예에 따른 전이 학습 모델 생성 방법 및 장치는 복수의 기초 학습 데이터들을 샘플링한 표준 데이터를 획득함으로써, 신규 데이터와의 전이 학습 모델 생성시 신속하고 정밀한 데이터 학습이 가능한 고신뢰성의 전이 학습 모델 생성 방법 및 장치를 제공할 수 있다.
또한, 상기 전이 학습 모델 생성 방법 및 장치는 전이 학습 데이터의 생성시 표준 데이터 및 신규 데이터의 결합 개수 및 출력 정보 비중을 고려하여 결합함으로써, 고성능 및 고정밀의 전이 학습 모델 생성 방법 및 장치를 제공할 수 있다.
도 1은 종래의 전이 학습 모델의 개념도이다.
도 2는 본 발명의 실시예에 따른 전이 학습 모델 생성 장치의 블록 구성도이다.
도 3은 본 발명의 실시예에 따른 전이 학습 모델 생성 장치의 개념도이다.
도 4는 본 발명의 실시예에 따른 전이 학습 모델 생성 방법의 순서도이다.
도 5는 본 발명의 실시예에 따른 전이 학습 모델 생성 방법 중 표준 데이터를 생성하는 단계를 설명하기 위한 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는 데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. "및/또는"이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 2는 본 발명의 실시예에 따른 전이 학습 모델 생성 장치의 블록 구성도이다.
도 2를 참조하면, 전이 학습 모델 생성 장치는 기초 학습 모델에 의해 학습된 기초 학습 데이터를 활용하여, 다른 분야의 새로운 학습을 위한 전이 학습 모델을 생성하는 장치일 수 있다.
보다 구체적으로 설명하면, 전이 학습 모델 생성 장치는 저장부(1000). 메모리(3000) 및 프로세서(5000)를 포함할 수 있다.
저장부(1000)는 전이 학습 모델 생성을 위한 복수의 학습 데이터들을 저장할 수 있다.
실시예에 따르면, 저장부(1000)는 제1 저장부(1100), 제2 저장부(1300) 및 제3 저장부(1500)를 포함할 수 있다.
제1 저장부(1100)는 기초 학습 모델의 생성을 위한 적어도 하나의 기초 학습 데이터를 포함할 수 있다. 실시예에 따르면, 기초 학습 데이터는 기초 학습 모델 생성을 위해 사용되는 적어도 하나의 입력 정보 및 출력 정보를 포함할 수 있다.
제2 저장부(1300)는 외부로부터 수신된 신규 데이터를 저장할 수 있다. 여기서, 신규 데이터는 전이 학습 모델 생성을 위해 추가되는 학습 데이터일 수 있다. 실시예에 따르면, 제2 저장부(1300)는 전이 학습 모델 생성을 위해 사용되는 적어도 하나의 입력 정보 및 출력 정보를 포함할 수 있다.
제3 저장부(1500)는 전이 학습 모델의 생성을 위한 적어도 하나의 표준 데이터를 포함할 수 있다. 실시예에 따르면, 표준 데이터는 제1 저장부(1100)에 저장된 적어도 하나의 기초 학습 데이터로부터 획득될 수 있다. 표준 데이터의 획득 방법에 대해서는 하기 전이 학습 모델 생성 방법의 설명시 보다 자세히 설명하겠다.
도 3은 본 발명의 실시예에 따른 전이 학습 모델 생성 장치의 개념도이다.
도 3을 참조하면, 메모리(3000)는 후술될 프로세서(5000)를 실행하기 위한 적어도 하나의 명령을 포함할 수 있다.
실시예에 따르면, 적어도 하나의 명령은 신규 데이터(New Data Set)를 수신하도록 하는 명령, 표준 데이터(Standard Data Set)를 생성(Data Generation)하도록 하는 명령, 상기 표준 데이터(Standard Data Set) 및 신규 데이터(New Data Set)를 결합하여 전이 학습 데이터를 생성하도록 하는 명령 및 전이 학습 데이터를 이용하여 전이 학습 모델(New Training Model)을 학습(New Learning)하도록 하는 명령을 포함할 수 있다. 이때, 표준 데이터(Standard Data Set)를 생성(Data Generation)하도록 하는 명령은 적어도 하나의 기초 학습 데이터(Pre Data Set)를 이용하여 기초 학습 모델(Pre Training Model)을 학습(Pre Learning)하도록 하는 명령, 데이터 분포 모델(Data Distribution Model)을 이용하여, 적어도 하나의 기초 학습 데이터(Pre Data Set)의 분포를 학습(Distribution Learning)하도록 하는 명령, 적어도 하나의 특정 클래스에 위치된 기초 학습 데이터(Pre Data Set)에 기초하여 상기 특정 클래스를 대표하는 시드 정보를 샘플링(Seed Sampling)하도록 하는 명령, 시드 정보에 대응하는 상기 표준 데이터(Standard Data Set)의 입력 정보를 생성(Input Generation)하도록 하는 명령 및 상기 기초 학습 모델(Pre Training Model)을 이용하여, 상기 표준 데이터(Standard Data Set)의 입력 정보에 대응하는 라벨 정보를 생성(Label Generation)하도록 하는 명령을 포함할 수 있다.
다시 도 2를 참조하면, 프로세서(5000)는 앞서 설명한 바와 같이, 메모리(3000)에 저장된 적어도 하나의 명령에 따라 동작할 수 있다. 프로세서(5000)의 동작은 하기 전이 학습 모델을 생성하는 방법의 설명시 보다 자세히 설명하겠다.
이상, 본 발명의 실시예에 따른 전이 학습 모델 생성 장치를 설명하였다. 이하에서는 앞서 언급한 바와 같이, 전이 학습 모델 생성 장치 내 프로세서의 동작에 의한 전이 학습 모델 생성 방법을 보다 구체적으로 설명하겠다.
도 4는 본 발명의 실시예에 따른 전이 학습 모델 생성 방법의 순서도이다.
도 4를 참조하면, 본 발명의 실시예에 따른 전이 학습 모델 생성 장치 내 프로세서(5000)는 외부로부터 적어도 하나의 신규 데이터를 수신할 수 있다(S1000). 여기서, 신규 데이터는 기초 학습 모델과 유사한 전이 학습 모델을 학습하기 위한 학습 데이터일 수 있다.
이후, 프로세서(5000)는 적어도 하나의 표준 데이터를 생성할 수 있다(S3000). 여기서, 표준 데이터는 전이 학습 모델의 생성을 위해 추출된 일반화된 학습 데이터일 수 있다. 다시 말하면, 표준 데이터는 제1 저장부(1100)로부터 전이 학습 모델 생성을 위해 추출된 적어도 하나의 학습 데이터일 수 있다. 적어도 하나의 표준 데이터를 생성하는 단계는 하기 도 5를 참조하여 보다 구체적으로 설명하겠다.
도 5는 본 발명의 실시예에 따른 전이 학습 모델 생성 방법 중 표준 데이터를 생성하는 단계를 설명하기 위한 순서도이다.
도 5를 참조하면, 본 발명의 실시예에 따른 전이 학습 모델 생성 장치 내 프로세서(5000)는 적어도 하나의 기초 학습 데이터를 이용하여, 기초 학습 모델을 학습할 수 있다(S3100). 다시 말하면, 프로세서(5000)는 적어도 하나의 기초 학습 데이터를 기계학습하여, 최적화된 기초 학습 모델을 획득할 수 있다.
이후, 프로세서(5000)는 적어도 하나의 기초 학습 데이터들의 분포를 학습할 수 있다(S3200).
보다 구체적으로 설명하면, 프로세서(5000)는 데이터 분포 모델을 이용하여 적어도 하나의 기초 학습 데이터를 특정 클래스로 분류할 수 있다.
실시예에 따르면, 데이터 분포 모델은 알고리즘을 이용한 기계학습에 의해 학습될 수 있다. 예를 들어, 데이터 분포 모델은 결정 트리(Decision Tree) 알고리즘, k-근접 이웃(KNN, K-Nearest Neighbor) 알고리즘, 다층 퍼셉트론(MLP, Multi-Layer Perceptron) 신경망 알고리즘, 딥러닝(Deep-Learning) 알고리즘, 서포트 벡터 머신(SVM, Support Vector Machine) 알고리즘, 에이다부스트(AdaBoost) 알고리즘, 랜덤 포레스트(RF, Random Forest) 알고리즘 또는 확률 그래프 모델(Probabilistic Graphical Models) 중 어느 하나의 알고리즘에 의해 학습될 수 있다.
프로세서(5000)는 기초 학습 데이터의 입력 분포를 대표할 수 있는 위치를 샘플링하여 시드(seed) 정보를 생성할 수 있다(S3300). 여기서, 시드(seed) 정보는 데이터 분포 모델에 의해 형성된 적어도 하나의 클래스(Class)로부터 해당 클래스(Class)를 대표하는 적어도 하나의 입력 정보들의 위치를 샘플링한 데이터일 수 있다.
이후, 프로세서(5000)는 데이터 분포 모델을 이용하여, 상기 생성된 시드(seed) 정보에 대응하는 입력 정보를 표준 데이터의 입력 정보로 생성할 수 있다(S3400).
프로세서(5000)는 학습된 기초 학습 모델을 이용하여, 표준 데이터의 입력 정보에 대응하는 라벨을 생성할 수 있다(S3500). 이에 따라, 프로세서(5000)는 라벨이 생성된 적어도 하나의 표준 데이터를 획득할 수 있다.
이후, 프로세서(5000)는 외부로부터 수신된 신규 데이터를 표준 데이터의 입력 정보와 비교할 수 있다. 실시예에 따르면, 프로세서(5000)는 외부로부터 수신된 신규 데이터 및 포준 데이터 각각의 라벨 정보를 비교할 수 있다(S3600).
프로세서(5000)는 라벨 비교 결과, 신규 데이터와 충돌이 없는 입력 정보를 갖는 적어도 하나의 표준 데이터를 획득할 수 있다(S3700).
본 발명의 실시예에 따른 전이 학습 모델 생성 방법은 복수의 기초 학습 데이터 중 대표 특성을 지닌 적어도 하나의 기초 학습 데이터를 샘플링하여 표준 데이터를 획득함으로써, 신규 데이터와의 전이 학습 모델 생성시, 짧은 학습 시간에도 고신뢰성의 일반화된 전이 학습 모델을 생성할 수 있다.
다시 도 4를 참조하면, 프로세서(5000)는 수신된 신규 데이터 및 표준 데이터를 결합하여 전이 학습 데이터를 생성할 수 있다(S5000).
실시예에 따르면, 프로세서(5000)는 전이 학습 데이터의 생성시, 신규 데이터 및 표준 데이터의 개수 및 출력 정보 비중이 일정하도록 각각 조정하여 결합시킬 수 있다. 이에 따라, 본 발명의 실시예에 따른 전이 학습 모델 생성 방법은 기초 학습 모델의 학습 결과에 종속되지 않은 고신뢰성의 전이 학습 모델을 생성할 수 있다.
프로세서(5000)는 생성된 전이 학습 데이터를 이용하여, 전이 학습 모델을 생성할 수 있다(S7000).
이후, 외부로부터 새로운 신규 데이터가 수신될 경우, 프로세서(5000)는 생성된 전이 학습 모델을 S3200 단계에서 사용되는 기초 학습 모델에 대체 적용함으로써, 전이 학습 모델을 계속적으로 갱신할 수 있다.
이상, 본 발명의 실시예에 따른 전이 학습 모델 생성 방법 및 장치를 설명하였다.
본 발명의 실시예에 따른 전이 학습 모델 생성 방법 및 장치는 적어도 하나의 기초 학습 데이터 중 클래스를 대표하는 시드 정보를 샘플링하여 표준 데이터의 입력 정보를 획득하고, 획득한 표준 데이터 및 신규 데이터를 균등 결합하여, 기초 학습 모델에 종속되지 않은 고성능, 고정밀 및 고신뢰성의 전이 학습 모델 생성 방법 및 장치를 제공할 수 있다.
본 발명의 실시예에 따른 방법의 동작은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 프로그램 또는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산 방식으로 컴퓨터로 읽을 수 있는 프로그램 또는 코드가 저장되고 실행될 수 있다.
또한, 컴퓨터가 읽을 수 있는 기록매체는 롬(rom), 램(ram), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다. 프로그램 명령은 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
본 발명의 일부 측면들은 장치의 문맥에서 설명되었으나, 그것은 상응하는 방법에 따른 설명 또한 나타낼 수 있고, 여기서 블록 또는 장치는 방법 단계 또는 방법 단계의 특징에 상응한다. 유사하게, 방법의 문맥에서 설명된 측면들은 또한 상응하는 블록 또는 아이템 또는 상응하는 장치의 특징으로 나타낼 수 있다. 방법 단계들의 몇몇 또는 전부는 예를 들어, 마이크로프로세서, 프로그램 가능한 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해(또는 이용하여) 수행될 수 있다. 몇몇의 실시예에서, 가장 중요한 방법 단계들의 하나 이상은 이와 같은 장치에 의해 수행될 수 있다.
실시예들에서, 프로그램 가능한 로직 장치(예를 들어, 필드 프로그머블 게이트 어레이)가 여기서 설명된 방법들의 기능의 일부 또는 전부를 수행하기 위해 사용될 수 있다. 실시예들에서, 필드 프로그머블 게이트 어레이는 여기서 설명된 방법들 중 하나를 수행하기 위한 마이크로프로세서와 함께 작동할 수 있다. 일반적으로, 방법들은 어떤 하드웨어 장치에 의해 수행되는 것이 바람직하다.
이상 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
1000: 저장부 1100: 제1 저장부
1300: 제2 저장부 1500: 제3 저장부
3000: 메모리 5000: 프로세서

Claims (12)

  1. 신규 데이터를 수신하는 단계;
    적어도 하나의 기초 학습 데이터로부터 상기 기초 학습 데이터의 특성을 대표하는 적어도 하나의 시드 정보를 샘플링하여 입력 정보를 생성하고, 기초 학습 모델에 의해 상기 입력 정보에 대응하는 라벨 정보를 포함하는 표준 데이터를 생성하는 단계;
    상기 신규 데이터 및 상기 표준 데이터를 결합하여 적어도 하나의 전이 학습 데이터를 생성하는 단계; 및
    상기 전이 학습 데이터를 학습하여 전이 학습 모델을 생성하는 단계를 포함하는, 전이 학습 모델 생성 방법.
  2. 제1 항에 있어서,
    상기 표준 데이터를 생성하는 단계는
    적어도 하나의 상기 기초 학습 데이터를 이용하여 상기 기초 학습 모델을 학습하는 단계;
    적어도 하나의 상기 기초 학습 데이터의 분포를 학습하는 단계;
    적어도 하나의 특정 클래스에 위치된 상기 기초 학습 데이터를 기초하여, 상기 특정 클래스를 대표하는 시드 정보를 샘플링하는 단계;
    상기 시드 정보에 대응하는 상기 표준 데이터의 입력 정보를 생성하는 단계;
    상기 기초 학습 모델을 이용하여, 상기 표준 데이터의 입력 정보에 대응하는 라벨 정보를 생성하는 단계;
    상기 신규 데이터 및 상기 표준 데이터 각각의 라벨 정보를 서로 비교하는 단계; 및
    상기 신규 데이터의 라벨 정보와 일치하지 않는 라벨 정보를 갖는 상기 표준 데이터를 추출하는 단계를 포함하는, 전이 학습 모델 생성 방법.
  3. 제2 항에 있어서,
    상기 기초 학습 데이터의 분포를 학습하는 단계에서는 데이터 분포 모델에 의해 적어도 하나의 상기 기초 학습 데이터의 분류를 학습하는, 전이 학습 모델 생성 방법.
  4. 제3 항에 있어서,
    상기 데이터 분포 모델은, 결정 트리(Decision Tree) 알고리즘, k-근접 이웃(KNN, K-Nearest Neighbor) 알고리즘, 다층 퍼셉트론(MLP, Multi-Layer Perceptron) 신경망 알고리즘, 딥러닝(Deep-Learning) 알고리즘, 서포트 벡터 머신(SVM, Support Vector Machine) 알고리즘, 에이다부스트(AdaBoost) 알고리즘, 랜덤 포레스트(RF, Random Forest) 알고리즘 또는 확률 그래프 모델(Probabilistic Graphical Models) 중 어느 하나를 이용하여 상기 기초 학습 데이터를 분류하는, 전이 학습 모델 생성 방법.
  5. 제1 항에 있어서,
    상기 전이 학습 데이터를 생성하는 단계는
    상기 신규 데이터 및 상기 추출된 표준 데이터의 개수 및 출력 정보 비중을 균등하게 조정하는 단계; 및
    조정된 상기 신규 데이터 및 상기 표준 데이터를 결합하여 상기 전이 학습 데이터를 생성하는 단계를 포함하는, 전이 학습 모델 생성 방법.
  6. 제1 항에 있어서,
    상기 전이 학습 모델을 생성하는 단계 이후에 상기 신규 데이터가 발생될 경우, 상기 기초 학습 모델에 상기 생성된 전이 학습 모델을 대체 적용하여 상기 전이 학습 모델을 갱신하는 전이 학습 모델 생성 방법.
  7. 메모리(memory); 및
    상기 메모리 내 적어도 하나의 명령을 실행하는 프로세서(processor)를 포함하되,
    상기 적어도 하나의 명령은,
    신규 데이터를 수신하도록 하는 명령,
    적어도 하나의 기초 학습 데이터로부터 상기 기초 학습 데이터의 특성을 대표하는 적어도 하나의 시드 정보를 샘플링하여 입력 정보를 생성하고, 기초 학습 모델에 의해 상기 입력 정보에 대응하는 라벨 정보를 포함하는 표준 데이터를 생성하도록 하는 명령,
    상기 신규 데이터 및 상기 표준 데이터를 결합하여 적어도 하나의 전이 학습 데이터를 생성하도록 하는 명령 및
    상기 전이 학습 데이터를 학습하여 전이 학습 모델을 생성하도록 하는 명령을 포함하는, 전이 학습 모델 생성 장치.
  8. 제7 항에 있어서,
    상기 표준 데이터를 생성하도록 하는 명령은,
    적어도 하나의 상기 기초 학습 데이터를 이용하여 상기 기초 학습 모델을 학습하도록 하는 명령,
    적어도 하나의 상기 기초 학습 데이터의 분포를 학습하도록 하는 명령,
    적어도 하나의 특정 클래스에 위치된 상기 기초 학습 데이터를 기초하여, 상기 특정 클래스를 대표하는 시드 정보를 샘플링하도록 하는 명령,
    상기 시드 정보에 대응하는 상기 표준 데이터의 입력 정보를 생성하도록 하는 명령,
    상기 기초 학습 모델을 이용하여, 상기 표준 데이터의 입력 정보에 대응하는 라벨 정보를 생성하도록 하는 명령 및
    상기 신규 데이터 및 상기 표준 데이터 각각의 라벨 정보를 서로 비교하여 상기 표준 데이터를 생성하도록 하는 명령을 포함하는, 전이 학습 모델 생성 장치.
  9. 제8 항에 있어서,
    상기 프로세서는, 데이터 분포 모델에 의해 적어도 하나의 상기 기초 학습 데이터의 분류를 학습하는, 전이 학습 모델 생성 장치.
  10. 제9 항에 있어서,
    상기 데이터 분포 모델은, 결정 트리(Decision Tree) 알고리즘, k-근접 이웃(KNN, K-Nearest Neighbor) 알고리즘, 다층 퍼셉트론(MLP, Multi-Layer Perceptron) 신경망 알고리즘, 딥러닝(Deep-Learning) 알고리즘, 서포트 벡터 머신(SVM, Support Vector Machine) 알고리즘, 에이다부스트(AdaBoost) 알고리즘, 랜덤 포레스트(RF, Random Forest) 알고리즘 또는 확률 그래프 모델(Probabilistic Graphical Models) 중 어느 하나를 이용하여 상기 기초 학습 데이터를 분류하는, 전이 학습 모델 생성 장치.
  11. 제7 항에 있어서,
    상기 전이 학습 데이터를 생성하도록 하는 명령은,
    상기 신규 데이터 및 상기 추출된 표준 데이터의 개수 및 출력 정보 비중을 균등하게 조정하도록 하는 명령 및
    조정된 상기 신규 데이터 및 상기 표준 데이터를 결합하여 상기 전이 학습 데이터를 생성하도록 하는 명령을 포함하는, 전이 학습 모델 생성 장치.
  12. 제7 항에 있어서,
    상기 전이 학습 모델의 생성 이후에 상기 신규 데이터가 발생될 경우, 상기 기초 학습 모델에 상기 생성된 전이 학습 모델을 대체 적용하여 상기 전이 학습 모델을 갱신하는, 전이 학습 모델 생성 장치.
KR1020180141473A 2018-11-16 2018-11-16 전이 학습 모델 생성 방법 및 장치 KR20200057291A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180141473A KR20200057291A (ko) 2018-11-16 2018-11-16 전이 학습 모델 생성 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180141473A KR20200057291A (ko) 2018-11-16 2018-11-16 전이 학습 모델 생성 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20200057291A true KR20200057291A (ko) 2020-05-26

Family

ID=70915278

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180141473A KR20200057291A (ko) 2018-11-16 2018-11-16 전이 학습 모델 생성 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20200057291A (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220015262A (ko) * 2020-07-30 2022-02-08 한국화학연구원 다층 온톨로지 기반 데이터베이스 플랫폼을 이용한 전이 학습 방법 및 그를 위한 시스템
KR20220029279A (ko) * 2020-08-28 2022-03-08 한국전자통신연구원 전이학습을 이용한 딥러닝 기반 사용자 손 동작 인식 및 가상 현실 콘텐츠 제공 시스템
KR102405168B1 (ko) * 2021-06-17 2022-06-07 국방과학연구소 데이터 셋 생성 방법 및 장치, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램
WO2022182163A1 (ko) * 2021-02-24 2022-09-01 (주) 제이엘케이 데이터 가공 및 인공지능 모델 생성과 성능 고도화 자동 제공 방법 및 장치
WO2022196955A1 (ko) * 2021-03-15 2022-09-22 (주)뤼이드 인공지능 모델을 사전 학습시키는 방법 및 장치
KR102515914B1 (ko) * 2022-12-21 2023-03-30 주식회사 액션파워 Stt 모델을 활용하는 발음 전사 방법
KR20240029127A (ko) 2022-08-26 2024-03-05 한국전자기술연구원 환경정보 인식을 위한 계층적 전이학습 기반의 딥러닝 모델 생성 시스템 및 방법
US12013918B2 (en) 2021-02-09 2024-06-18 Samsung Sds Co., Ltd. Method and apparatus for clustering images
KR20240094057A (ko) 2022-11-18 2024-06-25 고려대학교 산학협력단 언어 간 전이학습을 통한 한국어 언어 모델 구축 방법 및 장치

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220015262A (ko) * 2020-07-30 2022-02-08 한국화학연구원 다층 온톨로지 기반 데이터베이스 플랫폼을 이용한 전이 학습 방법 및 그를 위한 시스템
KR20220029279A (ko) * 2020-08-28 2022-03-08 한국전자통신연구원 전이학습을 이용한 딥러닝 기반 사용자 손 동작 인식 및 가상 현실 콘텐츠 제공 시스템
US12013918B2 (en) 2021-02-09 2024-06-18 Samsung Sds Co., Ltd. Method and apparatus for clustering images
WO2022182163A1 (ko) * 2021-02-24 2022-09-01 (주) 제이엘케이 데이터 가공 및 인공지능 모델 생성과 성능 고도화 자동 제공 방법 및 장치
WO2022196955A1 (ko) * 2021-03-15 2022-09-22 (주)뤼이드 인공지능 모델을 사전 학습시키는 방법 및 장치
KR102405168B1 (ko) * 2021-06-17 2022-06-07 국방과학연구소 데이터 셋 생성 방법 및 장치, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램
KR20240029127A (ko) 2022-08-26 2024-03-05 한국전자기술연구원 환경정보 인식을 위한 계층적 전이학습 기반의 딥러닝 모델 생성 시스템 및 방법
KR20240094057A (ko) 2022-11-18 2024-06-25 고려대학교 산학협력단 언어 간 전이학습을 통한 한국어 언어 모델 구축 방법 및 장치
KR102515914B1 (ko) * 2022-12-21 2023-03-30 주식회사 액션파워 Stt 모델을 활용하는 발음 전사 방법
US12051421B2 (en) 2022-12-21 2024-07-30 Actionpower Corp. Method for pronunciation transcription using speech-to-text model

Similar Documents

Publication Publication Date Title
KR20200057291A (ko) 전이 학습 모델 생성 방법 및 장치
US11960843B2 (en) Multi-module and multi-task machine learning system based on an ensemble of datasets
Rodrigues et al. Deep learning from crowds
Settle et al. Discriminative acoustic word embeddings: Tecurrent neural network-based approaches
CN110287312B (zh) 文本相似度的计算方法、装置、计算机设备及计算机存储介质
Hong et al. Sentiment analysis with deeply learned distributed representations of variable length texts
CN113610232B (zh) 网络模型量化方法、装置、计算机设备以及存储介质
Daskin A simple quantum neural net with a periodic activation function
CN109214407B (zh) 事件检测模型、方法、装置、计算设备及存储介质
Mokbel et al. Metric learning for sequences in relational LVQ
CN110598869B (zh) 基于序列模型的分类方法、装置、电子设备
Keren et al. Convolutional neural networks with data augmentation for classifying speakers' native language
KR20210065076A (ko) 문서 레이아웃의 분석 방법, 장치, 전자기기 및 저장매체
CN112016300A (zh) 预训练模型处理、下游任务处理方法、装置及存储介质
CN112668607A (zh) 一种用于目标物体触觉属性识别的多标签学习方法
WO2021257160A1 (en) Model selection learning for knowledge distillation
CN110334716B (zh) 特征图处理方法、图像处理方法及装置
Aizenberg et al. Batch linear least squares-based learning algorithm for MLMVN with soft margins
Eppa et al. Source code plagiarism detection: A machine intelligence approach
CN115098722B (zh) 文本和图像的匹配方法、装置、电子设备和存储介质
CN111340117A (zh) Ctc模型的训练方法和数据处理方法、装置及存储介质
CN116542254A (zh) 风洞试验数据异常决策方法、装置、电子设备及存储介质
US20220180623A1 (en) Method, Program, & Apparatus for Managing a Tree-Based Learner
Yap et al. Enhancing BISINDO Recognition Accuracy Through Comparative Analysis of Three CNN Architecture Models
JP6601965B2 (ja) 探索木を用いて量子化するプログラム、装置及び方法