KR102595347B1 - 소량 데이터 기반의 지도학습을 위한 장인 트레이닝 방법 및 장치 - Google Patents

소량 데이터 기반의 지도학습을 위한 장인 트레이닝 방법 및 장치 Download PDF

Info

Publication number
KR102595347B1
KR102595347B1 KR1020200150343A KR20200150343A KR102595347B1 KR 102595347 B1 KR102595347 B1 KR 102595347B1 KR 1020200150343 A KR1020200150343 A KR 1020200150343A KR 20200150343 A KR20200150343 A KR 20200150343A KR 102595347 B1 KR102595347 B1 KR 102595347B1
Authority
KR
South Korea
Prior art keywords
data
label
artisan
craftsman
network
Prior art date
Application number
KR1020200150343A
Other languages
English (en)
Other versions
KR20220064149A (ko
Inventor
배혜림
심성현
김혜미
Original Assignee
부산대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 부산대학교 산학협력단 filed Critical 부산대학교 산학협력단
Priority to KR1020200150343A priority Critical patent/KR102595347B1/ko
Publication of KR20220064149A publication Critical patent/KR20220064149A/ko
Application granted granted Critical
Publication of KR102595347B1 publication Critical patent/KR102595347B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

소량 데이터 기반의 지도학습을 위한 장인 트레이닝 방법 및 장치가 개시된다. 본 발명의 일실시예에 따른, 소량 데이터 기반의 지도학습을 위한 장인 트레이닝 방법은, 전체 라벨 그룹으로부터, 동일한 라벨을 갖는 라벨 데이터를 추출하는 제1 단계; 상기 추출된 라벨 데이터를 이용하여, 상기 라벨에 관한 크래프트맨 네트워크(Craftsman Network)를 학습하는 제2 단계; 및 상기 학습된 크래프트맨 네트워크로부터 출력되는 학습 데이터를, 새로운 라벨 데이터로서 추가하는 단계를 포함하여 구성한다.

Description

소량 데이터 기반의 지도학습을 위한 장인 트레이닝 방법 및 장치{JANGIN TRAINING METHOD AND DEVICE FOR SUPERVISED LEARNING WITH SMALL DATA SET}
본 발명은, 언라벨 데이터(unlabeled data)을 활용하지 않고, 소량의 라벨 데이터(labeled data) 만을 활용해서 학습을 가능하게 하기 위한, 소량 데이터 기반의 지도학습을 위한 장인 트레이닝 방법 및 장치를 제공한다.
특히, 본 발명에서는, 고유하게 생성되는 모델인 WGAN-GP를 기반으로, 크래프트맨 네트워크(Craftsman Network)를 학습 함으로써, 학습 데이터를 추가로 확보할 수 있게 하는, 장인 트레이닝 방법 및 장치를 제안한다.
분류 문제에서 라벨 데이터로 구성된 학습 데이터(training data)의 수가, 모델 학습에 충분하지 않은 경우, 일반적으로 사용되는 학습 방법은, 준지도학습(semi-supervised learning)과, 데이터 증강(Data Augmentation) 등을 예시할 수 있다.
준지도학습은, 부족한 라벨 데이터를 대신하여, 언라벨 데이터를 이용하는 방법을 의미한다.
데이터 증강은, 언라벨 데이터를 변형하여, 학습 데이터를 확보하는 방법을 의미한다.
종래에는, 준지도학습 중 일관성(Consistency)을 기반으로 진행되는 학습과, 데이터 증강을 결합한 방법을 이용 하였다. 즉, 종래 발명의 경우는, 기존에 존재하던 일관성 기반의 준지도학습을 통해서, 노이즈를 결합하여 여러 상태를 만든 후, 데이터 증강을 통해 데이터를 추가적으로 생성하였다.
이러한 결합한 방법은 언라벨 데이터를 기본으로 하여, 모델이 같은 이미지의 여러 상태를 학습할 수 있게 하는 방법일 수 있다.
다만, 언라벨 데이터를 활용하여, 라벨 데이터의 부족 수를 해결하는 기존의, 준지도학습, 데이터 증강 등은, 학습 데이터를 확보하는 데에 한계를 가지고 있다.
따라서, 언라벨 데이터를 활용하지 않고, 소량의 라벨 데이터 만을 활용해서 학습을 가능하게 하는 기술이 요구되고 있다.
본 발명의 실시예는, 언라벨 데이터를 활용하지 않고, 소량의 라벨 데이터 만을 활용해서 학습을 가능하게 하는, 소량 데이터 기반의 지도학습을 위한 장인 트레이닝 방법 및 장치를 제공하는 것을 해결과제로 한다.
또한, 본 발명의 실시예는, WGAN-GP을 기반으로 크래프트맨 네트워크를 학습하여, 학습 데이터를 생성/확보하는 것을 목적으로 한다.
본 발명의 일실시예에 따른, 소량 데이터 기반의 지도학습을 위한 장인 트레이닝 방법은, 전체 라벨 그룹으로부터, 동일한 라벨을 갖는 라벨 데이터를 추출하는 제1 단계; 상기 추출된 라벨 데이터를 이용하여, 상기 라벨에 관한 크래프트맨 네트워크(Craftsman Network)를 학습하는 제2 단계; 및 상기 학습된 크래프트맨 네트워크로부터 출력되는 학습 데이터를, 새로운 라벨 데이터로서 추가하는 단계를 포함할 수 있다.
또한, 본 발명의 실시예에 따른, 소량 데이터 기반의 지도학습을 위한 장인 트레이닝 장치는, 전체 라벨 그룹으로부터, 동일한 라벨을 갖는 라벨 데이터를 추출하고, 상기 추출된 라벨 데이터를 이용하여, 상기 라벨에 관한 크래프트맨 네트워크를 학습하는 학습부; 및 상기 학습된 크래프트맨 네트워크로부터 출력되는 학습 데이터를, 새로운 라벨 데이터로서 추가하는 처리부를 포함하여 구성할 수 있다.
본 발명의 일실시예에 따르면, 언라벨 데이터를 활용하지 않고, 소량의 라벨 데이터 만을 활용해서 학습을 가능하게 하는, 소량 데이터 기반의 지도학습을 위한 장인 트레이닝 방법 및 장치를 제공 할 수 있다.
또한, 본 발명의 일실시예에 따르면, WGAN-GP을 기반으로 크래프트맨 네트워크를 학습하여, 학습 데이터를 생성/확보 할 수 있다.
도 1은 본 발명의 소량 데이터 기반의 지도학습을 위한 장인 트레이닝 장치의 구성을 도시한 블록도이다.
도 2는 본 발명에 따른, 장인 트레이닝 방법의 전체 과정을 설명하기 위한 도면이다.
도 3은 본 발명의 실시예에 따라, 학습된 크래프트맨 네트워크를 이용하여, 지도학습 하는 과정을 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른, WGAN-GP 기반의 크래프트맨 네트워크 학습 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일실시예에 따른, 장인 트레이닝 방법을 도시한 흐름도이다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 본 발명의 소량 데이터 기반의 지도학습을 위한 장인 트레이닝 장치의 구성을 도시한 블록도이다.
도 1을 참조하면, 본 발명의 일실시예에 따른, 소량 데이터 기반의 지도학습을 위한 장인 트레이닝 장치(이하, '장인 트레이닝 장치'라 약칭함, 100)는, 학습부(110) 및 처리부(120)를 포함하여 구성할 수 있다. 또한, 장인 트레이닝 장치(100)는, 실시예에 따라, 실행부(130)를 추가적으로 포함할 수 있다.
학습부(110)는 전체 라벨 그룹으로부터, 동일한 라벨을 갖는 라벨 데이터를 추출한다. 즉, 학습부(110)는 라벨 데이터의 집합인, 전체 라벨 그룹 중에서, 특정 라벨이 공통으로 태깅되어 있는 라벨 데이터를 선별하는 역할을 할 수 있다.
전체 라벨 그룹에 저장되는 라벨 데이터는, 라벨의 종류에 따라, n개(상기 n은 자연수)의 그룹으로 구분되어 유지될 수 있다.
학습부(110)는 동일한 라벨로 구분되어 있는 그룹 내의 모든 라벨 데이터를 추출할 수 있다.
또한, 학습부(110)는 상기 추출된 라벨 데이터를 이용하여, 상기 라벨에 관한 크래프트맨 네트워크를 학습한다. 즉, 학습부(110)는 각 라벨 별로 추출되는 소량의 라벨 데이터를 기반으로 하여, 크래프트맨 네트워크를 학습시키는 역할을 할 수 있다.
학습되는 크래프트맨 네트워크의 수는, 라벨 데이터가 갖는, 라벨의 종류에 연동될 수 있다.
라벨의 종류 만큼 크래프트맨 네트워크를 학습하기 위해, 학습부(110)는 상기 전체 라벨 그룹에 포함되는 라벨 데이터를 라벨의 종류 별로 구분할 수 있다. 즉, 학습부(110)는 전체 라벨 그룹에 저장되는 라벨 데이터를, 라벨의 종류에 따라, 복수의 그룹으로 구분하는 역할을 할 수 있다.
상기 그룹은 라벨의 종류에 따라 n 개로 구분되며, 학습부(110)는 구분된 라벨의 종류의 수를 n으로 카운트 할 수 있다.
또한, 학습부(110)는 구분된 라벨의 종류의 수인 n번 만큼, 상기 라벨 데이터의 추출 및 상기 크래프트맨 네트워크의 학습을 반복하여, 상기 라벨의 종류 각각에 관한 n개의 크래프트맨 네트워크를 학습할 수 있다.
즉, 학습부(110)는 전체 라벨 그룹으로부터, 동일한 라벨을 갖는 라벨 데이터를 추출하는 제1 단계와, 상기 추출된 라벨 데이터를 이용하여, 상기 라벨에 관한 크래프트맨 네트워크를 학습하는 제2 단계를 n번 반복 함으로써, 상기 라벨의 종류 각각에 관한 n개의 크래프트맨 네트워크를 학습시킬 수 있다.
처리부(120)는 상기 학습된 크래프트맨 네트워크로부터 출력되는 학습 데이터를, 새로운 라벨 데이터로서 추가한다. 즉, 처리부(120)는 라벨 별로 학습시킨 크래프트맨 네트워크를 통해 학습 데이터를 생성하고, 생성된 학습 데이터에 크래프트맨 네트워크와 관련되는 라벨을 부여 함으로써, 신규한 라벨 데이터를 작성하는 역할을 할 수 있다.
라벨 데이터의 추가에 있어, 처리부(120)는 임의의 라벨을 갖는 라벨 데이터 x를, 라벨 yi(상기 i는 1에서 n까지의 자연수)에 관해 학습된 크래프트맨 네트워크 CNi에 입력할 수 있다.
즉, 처리부(120)는 기존의 라벨 데이터를, 특정 라벨의 종류에 관해 학습시킨 크래프트맨 네트워크에 입력시키는 역할을 할 수 있다.
예컨대, 라벨의 종류 '2'을 갖는 라벨 데이터 x2를, 라벨 y1에 관해 학습된 크래프트맨 네트워크 CN1에 입력할 수 있다.
또한, 처리부(120)는 상기 크래프트맨 네트워크 CNi로부터 출력되는 학습 데이터 x'에, 상기 라벨 yi를 부여 함으로써, 상기 새로운 라벨 데이터 x'i를 추가할 수 있다.
즉, 처리부(120)는 크래프트맨 네트워크에 의해 생성되는 학습 데이터에, 해당 크래프트맨 네트워크와 관련되는 라벨을 부여하여, 신규의 라벨 데이터를 작성할 수 있다.
라벨 데이터 x2를 크래프트맨 네트워크 CN1에 입력하는 상술의 예시에서, 처리부(120)는 크래프트맨 네트워크 CN1로부터 출력되는 학습 데이터 x'1에, 라벨 y1를 부여 함으로써, 새로운 라벨 데이터 x'1을 추가할 수 있다.
본 발명의 장인 트레이닝 장치(100)는 추가된 신규의 라벨 데이터를 활용하여, 지도학습을 수행할 수 있다.
이를 위해 장인 트레이닝 장치(100)는 실행부(130)를 구성으로 추가할 수 있다.
실행부(130)는 상기 새로운 라벨 데이터를, 추가 라벨 그룹 DA에 보관할 수 있다. 즉, 실행부(130)는 학습된 크래프트맨 네트워크와 관련되어 생성된 신규의 라벨 데이터를, 전체 라벨 그룹과 구분되는 추가 라벨 그룹에 포함시키는 역할을 할 수 있다.
추가 라벨 그룹에 보관되는 라벨 데이터의 개수는, 지도학습시 부족할 것으로 예측된 라벨 데이터의 수를 적어도 상회하여 결정될 수 있다. 만약, 결정된 개수에 미치지 못한다면, 장인 트레이닝 장치(100)는 처리부(120)를 통해, 새로운 라벨 데이터가 부족분 만큼 생성되도록 하는 명령을 발생시킬 수 있다.
이후, 실행부(130)는 상기 전체 라벨 그룹 D와, 상기 라벨 그룹 DA를 함께 이용하여, 모델 학습에 따른 지도학습(supervised learning)을 수행할 수 있다. 즉, 실행부(130)는 기존의 라벨 데이터와 새로 추가된 라벨 데이터를 활용 함으로써, 라벨 된 데이터를 충분히 확보한 상태에서 지도학습을 수행하도록 할 수 있다.
실시예에 따라, 장인 트레이닝 장치(100)는 상기 크래프트맨 네트워크와, 데이터 간의 손실(loss)를 판별하는 판별기(Discriminator)에 관한 가중치에 대해, 처리 능력, 환경을 고려하여 적절하게 조정할 수 있다.
이를 위해, 처리부(120)는 잠재변수 z를, 상기 학습된 크래프트맨 네트워크에 입력하여, 생성 데이터(Generated Data) xcn을 생성할 수 있다. 즉, 처리부(120)는 크래프트맨 네트워크의 성능을 점검하기 위한, 잠재변수를 입력하여, 크래프트맨 네트워크로부터 생성 데이터를 출력할 수 있다.,
여기서, 잠재변수(latent variable)는 직접 관찰되거나 측정될 수 없기 때문에 다른 변수를 통해서 간접적으로만 측정이 가능한 변수를 일컫는다. 이러한 잠재변수는, 가우시안 분포(Gaussian distribution)에서 무작위로 도출될 수 있다. 상기 가우시안 분포는 도수 분포의 그래프가 평균값을 중심으로 하여 좌우가 완전한 대칭을 이루는 것을 곡선을 의미할 수 있다.
또한, 처리부(120)는 상기 생성 데이터 xcn과 실제 데이터 xr을 이용하여 내분 데이터(Internally dividing Data) xid를 획득할 수 있다.
즉, 처리부(120)는 생성 데이터 xcn과 실제 데이터 xr을 잇는 가상의 선 상에, 생성 데이터 xcn과 실제 데이터 xr와 일정한 비율로 위치되도록 내분하여 얻어진 데이터를, 내분 데이터 xid로서 획득할 수 있다.
상기 내분 데이터 xid는, 상기 생성 데이터 xcn과 실제 데이터 xr을 내분하여 얻은, 0과 1 사이의 파라미터일 수 있다.
예컨대, 내부 데이터 xid는, 생성 데이터 xcn과 실제 데이터 xr을 지정하는, 두 좌표 사이에서의 내분 거리 공식 등을 통해 산출될 수 있다.
이후, 처리부(120)는 상기 생성 데이터 xcn, 상기 실제 데이터 xr, 및 상기 내분 데이터xid 를 판별기(Discriminator)에 입력하여, 데이터 간의 진위 확률, 및 상기 진위 확률에 따른 손실(loss)을 계산할 수 있다. 즉, 처리부(120)는 학습시키는 과정에서 크래프트맨 네트워크에 대해 발생되는 손실을 수치적으로 계산할 수 있다.
여기서 판별기는 어떤 기준으로부터의 편이(偏移) 또는 2개의 신호 차를 검출하는 장치로서, 본 발명에서는 실제 데이터에 비해, 생성 데이터 및 내분 데이터가 어느 정도 일치하는가를 식별하는 수단일 수 있다.
손실의 계산에 있어, 처리부(120)는 original critic loss와, Gradient penalty을 연산하여, 이를 합쳐 손실 정도를 추정할 수 있다.
즉, 처리부(120)는 상기 생성 데이터 xcn와, 상기 실제 데이터 xr와 연관되어 연산되는 original critic loss와, 상기 내분 데이터xid 와 연관되어 연산되는 Gradient penalty를 합산하여, 상기 손실을 계산할 수 있다.
예컨대, 처리부(120)는 [수식 1]를 통해, 크래프트맨 네트워크에 대해 발생되는 손실을 수치적으로 계산할 수 있다.
[수식 1]
Figure 112020120799699-pat00001
[수식 1]은, GAN Loss ''와, Gradient penalty ''로 구성될 수 있다.
[수식 1]에서, GAN Loss는 생성 데이터 xcn와, 실제 데이터 xr와 연관되어 연산되는 original critic loss과 관련될 수 있다.
GAN Loss에서, 함수 은 장인 네트워크가 생성한 데이터를 판별기에 넣었을 때 실제인지 거짓인지 판단하는 값을 의미할 수 있다.
또한, GAN Loss에서, P cn 은 Craft Network 생성 값의 확률 분포를 의미하고, P r 은 실제 데이터의 확률 분포를 의미하며, P cn 과 P r 은 하나의 compact space 포함된 2개의 확률 분포를 의미할 수 있다.
또한, GAN Loss에서, x cn 과 x r 은 각각의 장인네트워크가 생성한 데이터와 실제 데이터를 의미할 수 있다. 만약 x cn 과 x r 이 하나의 분포에서 도출 되었다면, 동일한 compact space 에서 도출된 서로 다른 확률분포임에도, x cn 과 x r 은 동일한 기대값을 가질 것이다. 이러한 이유로 GAN Loss는, 생성 데이터와 실제 데이터를 판별기에 넣어서 도출된 확률의 차를 loss로 사용할 수 있다.
또한, [수식 1]에서, Gradient penalty은, 내분 데이터xid 와 연관되어 연산되는 Gradient penalty와 관련될 수 있다.
Gradient penalty에서, 함수 은 실제 이미지를 판별기에 넣었을 때 실제인지 거짓인지 판단하는 값을 의미할 수 있다.
또한, Gradient penalty에서, x id 는 x cn 와 x r 사이의 임의의 내분점을 의미하며 이때 람다는 uniform 분포에서 추출된 랜덤 value일 수 있다.
만약 실제 데이터와, 생성 데이터가 동일하다면 gradient penalty는 0에 근사하게 된다.
본 발명의 장인 트레이닝 장치(100)는, 학습 과정에서 이 과정을 함께 고려하여 전체 손실이 낮아지도록 학습을 수행할 수 있다.
처리부(120)는 GAN Loss와 Gradient penalty을 합산하여, 손실을 수치적으로 연산할 수 있다.
또한, 처리부(120)는 상기 손실을 최소화하도록, 상기 크래프트맨 네트워크 및 상기 판별기에 대한 가중치를 조정할 수 있다. 즉, 처리부(120)는 계산된 손실을 최소화 시킬 수 있게, 크래프트맨 네트워크 및 판별기에 대한 가중치를 갱신할 수 있다. 여기서 가중치는, 크래프트맨 네트워크 및 판별기가 동작하는 처리능에 관한 파라메타 일 수 있다.
본 발명의 일실시예에 따르면, 언라벨 데이터를 활용하지 않고, 소량의 라벨 데이터 만을 활용해서 학습을 가능하게 하는, 소량 데이터 기반의 지도학습을 위한 장인 트레이닝 방법 및 장치를 제공 할 수 있다.
또한, 본 발명의 일실시예에 따르면, WGAN-GP을 기반으로 크래프트맨 네트워크를 학습하여, 학습 데이터를 생성/확보 할 수 있다.
도 2는 본 발명에 따른, 장인 트레이닝 방법의 전체 과정을 설명하기 위한 도면이다.
도 2에서와 같이, 하나의 크래프트맨 네트워크는 하나의 라벨 데이터에 대해서만 학습될 수 있다.
따라서, 크래프트맨 네트워크는 라벨의 종류의 개수 만큼 구축되어, 학습 데이터를 생성할 수 있다.
본 발명은 장인 트레이닝 방법을 바탕으로 라벨 데이터를 이용하여 학습 데이터를 추가 생성하는 방법을 제안하고, 추가 생성된 학습 데이터를 이용하여, 라벨 데이터가 부족한 상황에서도 지도학습을 수행할 수 있게 한다.
이하에서는, 도 2를 참조하여, 본 발명의 장인 트레이닝 장치(100)에 의해 학습 데이터를 추가 생성하는 과정을 설명한다.
Step 1에서, 장인 트레이닝 장치(100)는, 라벨의 종류의 개수를 n이라 할 때, 동일한 라벨 yi(i = 1, … , n)을 갖는 라벨 데이터 x를, 전체 라벨 그룹 D로부터 추출한다.
Step 2에서, 장인 트레이닝 장치(100)는, Step 1에서 추출된 라벨 데이터 x를 활용하여, 크래프트맨 네트워크 CNi를 학습한다. 즉, 장인 트레이닝 장치(100)는, 하나의 라벨에 대해, 하나의 크래프트맨 네트워크를 학습시킬 수 있다.
Step 3에서, 장인 트레이닝 장치(100)는, Step 1과 Step 2의 과정을 반복하여, n개의 크래프트맨 네트워크 CNi를 학습한다.
Step 4에서, 장인 트레이닝 장치(100)는, 학습된 크래프트맨 네트워크 CNi(i = 1, … , n)로부터 학습 데이터 x' 를 생성한다. 이 때 생성된 학습 데이터 x' 에는 라벨 yi 를 부여한 후, 추가 라벨 그룹 DA에 넣는다.
Step 5에서, 장인 트레이닝 장치(100)는, 원래의 전체 라벨 그룹 D와, 크래프트맨 네트워크 CNi(i = 1, … , n)를 통해 생성된 새로운 라벨 데이터를 보관하는 추가 라벨 그룹 DA를 함께 활용하여, 지도학습을 수행한다.
도 3은 본 발명의 실시예에 따라, 학습된 크래프트맨 네트워크를 이용하여, 지도학습 하는 과정을 설명하기 위한 도면이다.
본 발명의 핵심 요소인 크래프트맨 네트워크의 학습 과정은 도 3에 구체적으로 도시한다.
도 3에서는, 상술의 도 2의 Step 2에 대해, 구체적으로 설명한다.
본 발명의 장인 트레이닝 장치(100)는, 라벨 yi에 대한 하나의 크래프트맨 네트워크CNi를 학습하는 과정에서, WGAN-GP 모델을 차용하여 구성할 수 있다.
학습 후 크래프트맨 네트워크로 활용되는 부분은, WGAN-GP 모델의 Generator가 될 수 있다.
도 4는 본 발명의 실시예에 따른, WGAN-GP 기반의 크래프트맨 네트워크 학습 방법을 설명하기 위한 도면이다.
Step 2-1에서 본 발명의 장인 트레이닝 장치(100)는, Gaussian 분포에서 무작위로 생성된 잠재변수 z를 크래프트맨 네트워크에 입력하여 이를 통해 인공적으로 Generated Data Xcn 을 생성한다.
Step 2-2에서 장인 트레이닝 장치(100)는, Step 2-1에서 생성된 Generated Data Xcn 과 실제 데이터 xr를 활용하여 내분 데이터 xid를 생성한다.
이 때 내분 데이터 xid는 0과 1사이의 임의의 파라미터를 이용하여, 실제 데이터 xr과, Generated Data xcn을 내분하여 얻은 데이터(Internally dividing Data)일 수 있다.
Step 2-3에서, 장인 트레이닝 장치(100)는, Generated Data Xcn , 실제 데이터 xr, 내분 데이터 xid를 Discriminator에 입력하고, 입력된 데이터들 간의 진위 확률을 출력하고, 출력된 진위 확률을 바탕으로 loss를 계산한다.
이 때 loss는 Generated Data Xcn 와 실제 데이터 xr로 계산되는 original critic loss와, 내분 데이터 xid 로 계산되는 Gradient penalty의 합으로 구성될 수 있다.
Step 2-4에서 장인 트레이닝 장치(100)는, Step 2-3에서 계산된 loss를 최소화하는 방향으로 Craftsman Network와 Discriminator의 가중치를 업데이트한다.
이와 같이, 본 발명은 동일한 label을 가진 데이터에 대해 학습된 크래프트맨 네트워크를 통해 항상 해당 라벨로 판정될 수 있는 학습 데이터를 생성할 수 있다. 이러한 과정을 거쳐 학습된 크래프트맨 네트워크는 특정 라벨을 갖는 데이터를 생성하여 데이터를 확보하는데 이용될 수 있다.
이하, 도 5에서는 본 발명의 실시예들에 따른 장인 트레이닝 장치(100)의 작업 흐름을 상세히 설명한다.
본 실시예에 따른 장인 트레이닝 방법은 장인 트레이닝 장치(100)에 의해 수행될 수 있다.
도 5는 본 발명의 일실시예에 따른, 장인 트레이닝 방법을 도시한 흐름도이다.
우선, 장인 트레이닝 장치(100)는 전체 라벨 그룹으로부터, 동일한 라벨을 갖는 라벨 데이터를 추출한다(510). 단계(510)는 라벨 데이터의 집합인, 전체 라벨 그룹 중에서, 특정 라벨이 공통으로 태깅되어 있는 라벨 데이터를 선별하는 과정일 수 있다.
전체 라벨 그룹에 저장되는 라벨 데이터는, 라벨의 종류에 따라, n개(상기 n은 자연수)의 그룹으로 구분되어 유지될 수 있다.
장인 트레이닝 장치(100)는 동일한 라벨로 구분되어 있는 그룹 내의 모든 라벨 데이터를 추출할 수 있다.
또한, 장인 트레이닝 장치(100)는 상기 추출된 라벨 데이터를 이용하여, 상기 라벨에 관한 크래프트맨 네트워크를 학습한다(520). 단계(520)는 각 라벨 별로 추출되는 소량의 라벨 데이터를 기반으로 하여, 크래프트맨 네트워크를 학습시키는 과정일 수 있다.
학습되는 크래프트맨 네트워크의 수는, 라벨 데이터가 갖는, 라벨의 종류에 연동될 수 있다.
라벨의 종류 만큼 크래프트맨 네트워크를 학습하기 위해, 장인 트레이닝 장치(100)는 상기 전체 라벨 그룹에 포함되는 라벨 데이터를 라벨의 종류 별로 구분할 수 있다. 즉, 장인 트레이닝 장치(100)는 전체 라벨 그룹에 저장되는 라벨 데이터를, 라벨의 종류에 따라, 복수의 그룹으로 구분 할 수 있다.
상기 그룹은 라벨의 종류에 따라 n 개로 구분되며, 장인 트레이닝 장치(100)는 구분된 라벨의 종류의 수를 n으로 카운트 할 수 있다.
또한, 장인 트레이닝 장치(100)는 구분된 라벨의 종류의 수인 n번 만큼, 상기 라벨 데이터의 추출 및 상기 크래프트맨 네트워크의 학습을 반복하여, 상기 라벨의 종류 각각에 관한 n개의 크래프트맨 네트워크를 학습할 수 있다.
즉, 장인 트레이닝 장치(100)는 전체 라벨 그룹으로부터, 동일한 라벨을 갖는 라벨 데이터를 추출하는 제1 단계와, 상기 추출된 라벨 데이터를 이용하여, 상기 라벨에 관한 크래프트맨 네트워크를 학습하는 제2 단계를 n번 반복 함으로써, 상기 라벨의 종류 각각에 관한 n개의 크래프트맨 네트워크를 학습시킬 수 있다.
계속해서, 장인 트레이닝 장치(100)는 상기 학습된 크래프트맨 네트워크로부터 출력되는 학습 데이터를, 새로운 라벨 데이터로서 추가한다(530). 단계(530)는 라벨 별로 학습시킨 크래프트맨 네트워크를 통해 학습 데이터를 생성하고, 생성된 학습 데이터에 크래프트맨 네트워크와 관련되는 라벨을 부여 함으로써, 신규한 라벨 데이터를 작성하는 역할을 할 수 있다.
라벨 데이터의 추가에 있어, 장인 트레이닝 장치(100)는 임의의 라벨을 갖는 라벨 데이터 x를, 라벨 yi(상기 i는 1에서 n까지의 자연수)에 관해 학습된 크래프트맨 네트워크 CNi에 입력할 수 있다.
즉, 장인 트레이닝 장치(100)는 기존의 라벨 데이터를, 특정 라벨의 종류에 관해 학습시킨 크래프트맨 네트워크에 입력시킬 수 있다.
예컨대, 라벨의 종류 '2'을 갖는 라벨 데이터 x2를, 라벨 y1에 관해 학습된 크래프트맨 네트워크 CN1에 입력할 수 있다.
또한, 장인 트레이닝 장치(100)는 상기 크래프트맨 네트워크 CNi로부터 출력되는 학습 데이터 x'에, 상기 라벨 yi를 부여 함으로써, 상기 새로운 라벨 데이터 x'i를 추가할 수 있다.
즉, 장인 트레이닝 장치(100)는 크래프트맨 네트워크에 의해 생성되는 학습 데이터에, 해당 크래프트맨 네트워크와 관련되는 라벨을 부여하여, 신규의 라벨 데이터를 작성할 수 있다.
라벨 데이터 x2를 크래프트맨 네트워크 CN1에 입력하는 상술의 예시에서, 장인 트레이닝 장치(100)는 크래프트맨 네트워크 CN1로부터 출력되는 학습 데이터 x'1에, 라벨 y1를 부여 함으로써, 새로운 라벨 데이터 x'1을 추가할 수 있다.
본 발명의 장인 트레이닝 장치(100)는 추가된 신규의 라벨 데이터를 활용하여, 지도학습을 수행할 수 있다.
이를 위해 장인 트레이닝 장치(100)는 상기 새로운 라벨 데이터를, 추가 라벨 그룹 DA에 보관할 수 있다. 즉, 장인 트레이닝 장치(100)는 학습된 크래프트맨 네트워크와 관련되어 생성된 신규의 라벨 데이터를, 전체 라벨 그룹과 구분되는 추가 라벨 그룹에 포함시킬 수 있다.
추가 라벨 그룹에 보관되는 라벨 데이터의 개수는, 지도학습시 부족할 것으로 예측된 라벨 데이터의 수를 적어도 상회하여 결정될 수 있다. 만약, 결정된 개수에 미치지 못한다면, 장인 트레이닝 장치(100)는 새로운 라벨 데이터가 부족분 만큼 생성되도록 하는 명령을 발생시킬 수 있다.
이후, 장인 트레이닝 장치(100)는 상기 전체 라벨 그룹 D와, 상기 라벨 그룹 DA를 함께 이용하여, 모델 학습에 따른 지도학습(supervised learning)을 수행할 수 있다. 즉, 장인 트레이닝 장치(100)는 기존의 라벨 데이터와 새로 추가된 라벨 데이터를 활용 함으로써, 라벨 된 데이터를 충분히 확보한 상태에서 지도학습을 수행하도록 할 수 있다.
실시예에 따라, 장인 트레이닝 장치(100)는 상기 크래프트맨 네트워크와, 데이터 간의 손실(loss)를 판별하는 판별기(Discriminator)에 관한 가중치에 대해, 처리 능력, 환경을 고려하여 적절하게 조정할 수 있다.
이를 위해, 장인 트레이닝 장치(100)는 잠재변수 z를, 상기 학습된 크래프트맨 네트워크에 입력하여, 생성 데이터(Generated Data) xcn을 생성할 수 있다. 즉, 장인 트레이닝 장치(100)는 크래프트맨 네트워크의 성능을 점검하기 위한, 잠재변수를 입력하여, 크래프트맨 네트워크로부터 생성 데이터를 출력할 수 있다.,
여기서, 잠재변수(latent variable)는 직접 관찰되거나 측정될 수 없기 때문에 다른 변수를 통해서 간접적으로만 측정이 가능한 변수를 일컫는다. 이러한 잠재변수는, 가우시안 분포(Gaussian distribution)에서 무작위로 도출될 수 있다. 상기 가우시안 분포는 도수 분포의 그래프가 평균값을 중심으로 하여 좌우가 완전한 대칭을 이루는 것을 곡선을 의미할 수 있다.
또한, 장인 트레이닝 장치(100)는 상기 생성 데이터 xcn과 실제 데이터 xr을 이용하여 내분 데이터(Internally dividing Data) xid를 획득할 수 있다.
즉, 장인 트레이닝 장치(100)는 생성 데이터 xcn과 실제 데이터 xr을 잇는 가상의 선 상에, 생성 데이터 xcn과 실제 데이터 xr와 일정한 비율로 위치되도록 내분하여 얻어진 데이터를, 내분 데이터 xid로서 획득할 수 있다.
상기 내분 데이터 xid는, 상기 생성 데이터 xcn과 실제 데이터 xr을 내분하여 얻은, 0과 1 사이의 파라미터일 수 있다.
예컨대, 내부 데이터 xid는, 생성 데이터 xcn과 실제 데이터 xr을 지정하는, 두 좌표 사이에서의 내분 거리 공식 등을 통해 산출될 수 있다.
이후, 장인 트레이닝 장치(100)는 상기 생성 데이터 xcn, 상기 실제 데이터 xr, 및 상기 내분 데이터xid 를 판별기(Discriminator)에 입력하여, 데이터 간의 진위 확률, 및 상기 진위 확률에 따른 손실(loss)을 계산할 수 있다. 즉, 장인 트레이닝 장치(100)는 학습시키는 과정에서 크래프트맨 네트워크에 대해 발생되는 손실을 수치적으로 계산할 수 있다.
여기서 판별기는 어떤 기준으로부터의 편이(偏移) 또는 2개의 신호 차를 검출하는 장치로서, 본 발명에서는 실제 데이터에 비해, 생성 데이터 및 내분 데이터가 어느 정도 일치하는가를 식별하는 수단일 수 있다.
손실의 계산에 있어, 장인 트레이닝 장치(100)는 original critic loss와, Gradient penalty을 연산하여, 이를 합쳐 손실 정도를 추정할 수 있다.
즉, 장인 트레이닝 장치(100)는 상기 생성 데이터 xcn와, 상기 실제 데이터 xr와 연관되어 연산되는 original critic loss와, 상기 내분 데이터xid 와 연관되어 연산되는 Gradient penalty를 합산하여, 상기 손실을 계산할 수 있다.
예컨대, 장인 트레이닝 장치(100)는 상술의 [수식 1]를 통해, 크래프트맨 네트워크에 대해 발생되는 손실을 수치적으로 계산할 수 있다.
[수식 1]에서, GAN Loss는 생성 데이터 xcn와, 실제 데이터 xr와 연관되어 연산되는 original critic loss과 관련될 수 있다.
GAN Loss에서, 함수 은 장인 네트워크가 생성한 데이터를 판별기에 넣었을 때 실제인지 거짓인지 판단하는 값을 의미할 수 있다.
또한, GAN Loss에서, P cn 은Craft Network 생성 값의 확률 분포를 의미하고, P r 은 실제 데이터의 확률 분포를 의미하며, P cn 과 P r 은 하나의 compact space 포함된 2개의 확률 분포를 의미할 수 있다.
또한, GAN Loss에서, x cn 과 x r 은 각각의 장인네트워크가 생성한 데이터와 실제 데이터를 의미할 수 있다. 만약 x cn 과 x r 이 하나의 분포에서 도출 되었다면, 동일한 compact space 에서 도출된 서로 다른 확률분포임에도, x cn 과 x r 은 동일한 기대값을 가질 것이다. 이러한 이유로 GAN Loss는, 생성 데이터와 실제 데이터를 판별기에 넣어서 도출된 확률의 차를 loss로 사용할 수 있다.
또한, [수식 1]에서, Gradient penalty은, 내분 데이터xid 와 연관되어 연산되는 Gradient penalty와 관련될 수 있다.
Gradient penalty에서, 함수 은 실제 이미지를 판별기에 넣었을 때 실제인지 거짓인지 판단하는 값을 의미할 수 있다.
또한, Gradient penalty에서, x id 는 x cn 와 x r 사이의 임의의 내분점을 의미하며 이때 람다는 uniform 분포에서 추출된 랜덤 value일 수 있다.
만약 실제 데이터와, 생성 데이터가 동일하다면 gradient penalty는 0에 근사하게 된다.
본 발명의 장인 트레이닝 장치(100)는, 학습 과정에서 이 과정을 함께 고려하여 전체 손실이 낮아지도록 학습을 수행할 수 있다.
장인 트레이닝 장치(100)는 GAN Loss와 Gradient penalty을 합산하여, 손실을 수치적으로 연산할 수 있다.
또한, 장인 트레이닝 장치(100)는 상기 손실을 최소화하도록, 상기 크래프트맨 네트워크 및 상기 판별기에 대한 가중치를 조정할 수 있다. 즉, 장인 트레이닝 장치(100)는 계산된 손실을 최소화 시킬 수 있게, 크래프트맨 네트워크 및 판별기에 대한 가중치를 갱신할 수 있다. 여기서 가중치는, 크래프트맨 네트워크 및 판별기가 동작하는 처리능에 관한 파라메타 일 수 있다.
본 발명의 일실시예에 따르면, 언라벨 데이터를 활용하지 않고, 소량의 라벨 데이터 만을 활용해서 학습을 가능하게 하는, 소량 데이터 기반의 지도학습을 위한 장인 트레이닝 방법 및 장치를 제공 할 수 있다.
또한, 본 발명의 일실시예에 따르면, WGAN-GP을 기반으로 크래프트맨 네트워크를 학습하여, 학습 데이터를 생성/확보 할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드 뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.
100 : 장인 트레이닝 장치
110 : 학습부 120 : 처리부
130 : 실행부

Claims (17)

  1. 장인 트레이닝 장치에 의해 구현되는 장인 트레이닝 방법에 있어서,
    상기 장인 트레이닝 장치의 학습부에서, 전체 라벨 그룹으로부터, 동일한 라벨을 갖는 라벨 데이터를 추출하는 제1 단계;
    상기 장인 트레이닝 장치의 학습부에서, 상기 추출된 라벨 데이터를 이용하여, 상기 라벨에 관한 크래프트맨 네트워크(Craftsman Network)를 학습하는 제2 단계;
    상기 장인 트레이닝 장치의 처리부에서, 상기 학습된 크래프트맨 네트워크로부터 출력되는 학습 데이터를, 새로운 라벨 데이터로서 추가하는 단계;
    상기 처리부에서, 잠재변수 z를, 상기 학습된 크래프트맨 네트워크에 입력하여, 생성 데이터(Generated Data) xcn을 생성하는 단계;
    상기 처리부에서, 상기 생성 데이터 xcn과 실제 데이터 xr을 이용하여 내분 데이터(Internally dividing Data) xid를 획득하는 단계;
    상기 처리부에서, 상기 생성 데이터 xcn, 상기 실제 데이터 xr, 및 상기 내분 데이터 xid 를 판별기(Discriminator)에 입력하여, 데이터 간의 진위 확률, 및 상기 진위 확률에 따른 손실(loss)을 계산하는 단계; 및
    상기 처리부에서, 상기 손실을 최소화하도록, 상기 크래프트맨 네트워크 및 상기 판별기에 대한 가중치를 조정하는 단계
    를 포함하는, 소량 데이터 기반의 지도학습을 위한 장인 트레이닝 방법.
  2. 제1항에 있어서,
    상기 추가하는 단계는,
    임의의 라벨을 갖는 라벨 데이터 x를, 라벨 yi(상기 i는 1에서 n까지의 자연수)에 관해 학습된 크래프트맨 네트워크 CNi에 입력하는 단계; 및
    상기 크래프트맨 네트워크 CNi로부터 출력되는 학습 데이터 x'에, 상기 라벨 yi를 부여 함으로써, 상기 새로운 라벨 데이터 x'i를 추가하는 단계
    를 포함하는, 소량 데이터 기반의 지도학습을 위한 장인 트레이닝 방법.
  3. 제1항에 있어서,
    상기 학습부에서, 상기 전체 라벨 그룹에 포함되는 라벨 데이터를 라벨의 종류 별로 구분하는 단계; 및
    상기 학습부에서, 상기 구분된 라벨의 종류의 수인 n번 만큼, 상기 제1 단계와 상기 제2 단계를 반복하여, 상기 라벨의 종류 각각에 관한 n개의 크래프트맨 네트워크를 학습하는 단계
    를 더 포함하는, 소량 데이터 기반의 지도학습을 위한 장인 트레이닝 방법.
  4. 제1항에 있어서,
    상기 장인 트레이닝 장치의 실행부에서, 상기 새로운 라벨 데이터를, 추가 라벨 그룹 DA에 보관하는 단계; 및
    상기 실행부에서, 상기 전체 라벨 그룹 D와, 상기 라벨 그룹 DA를 함께 이용하여, 모델 학습에 따른 지도학습(supervised learning)을 수행하는 단계
    를 더 포함하는, 소량 데이터 기반의 지도학습을 위한 장인 트레이닝 방법.
  5. 삭제
  6. 제1항에 있어서,
    상기 잠재변수는,
    가우시안 분포(Gaussian distribution)에서 무작위로 도출되는
    소량 데이터 기반의 지도학습을 위한 장인 트레이닝 방법.
  7. 제1항에 있어서,
    상기 손실을 계산하는 단계는,
    상기 생성 데이터 xcn와, 상기 실제 데이터 xr와 연관되어 연산되는 original critic loss와, 상기 내분 데이터 xid 와 연관되어 연산되는 Gradient penalty를 합산하여, 상기 손실을 계산하는 단계
    를 포함하는, 소량 데이터 기반의 지도학습을 위한 장인 트레이닝 방법.
  8. 제1항에 있어서,
    상기 내분 데이터 xid는,
    상기 생성 데이터 xcn과 실제 데이터 xr을 내분하여 얻은, 0과 1 사이의 파라미터인
    소량 데이터 기반의 지도학습을 위한 장인 트레이닝 방법.
  9. 전체 라벨 그룹으로부터, 동일한 라벨을 갖는 라벨 데이터를 추출하고, 상기 추출된 라벨 데이터를 이용하여, 상기 라벨에 관한 크래프트맨 네트워크를 학습하는 학습부; 및
    상기 학습된 크래프트맨 네트워크로부터 출력되는 학습 데이터를, 새로운 라벨 데이터로서 추가하는 처리부
    를 포함하고,
    상기 처리부는,
    잠재변수 z를, 상기 학습된 크래프트맨 네트워크에 입력하여, 생성 데이터 xcn을 생성하고,
    상기 생성 데이터 xcn과 실제 데이터 xr을 이용하여 내분 데이터 xid를 획득하며,
    상기 생성 데이터 xcn, 상기 실제 데이터 xr, 및 상기 내분 데이터 xid 를 판별기에 입력하여, 데이터 간의 진위 확률, 및 상기 진위 확률에 따른 손실을 계산하고,
    상기 손실을 최소화하도록, 상기 크래프트맨 네트워크 및 상기 판별기에 대한 가중치를 조정하는,
    소량 데이터 기반의 지도학습을 위한 장인 트레이닝 장치.
  10. 제9항에 있어서,
    상기 처리부는,
    임의의 라벨을 갖는 라벨 데이터 x를, 라벨 yi(상기 i는 1에서 n까지의 자연수)에 관해 학습된 크래프트맨 네트워크 CNi에 입력하고,
    상기 크래프트맨 네트워크 CNi로부터 출력되는 학습 데이터 x'에, 상기 라벨 yi를 부여 함으로써, 상기 새로운 라벨 데이터 x'i를 추가하는
    소량 데이터 기반의 지도학습을 위한 장인 트레이닝 장치.
  11. 제9항에 있어서,
    상기 학습부는,
    상기 전체 라벨 그룹에 포함되는 라벨 데이터를 라벨의 종류 별로 구분하고,
    상기 구분된 라벨의 종류의 수인 n번 만큼, 상기 라벨 데이터의 추출 및 상기 크래프트맨 네트워크의 학습을 반복하여, 상기 라벨의 종류 각각에 관한 n개의 크래프트맨 네트워크를 학습하는
    소량 데이터 기반의 지도학습을 위한 장인 트레이닝 장치.
  12. 제9항에 있어서,
    상기 장인 트레이닝 장치는,
    상기 새로운 라벨 데이터를, 추가 라벨 그룹 DA에 보관하고, 상기 전체 라벨 그룹 D와, 상기 라벨 그룹 DA를 함께 이용하여, 모델 학습에 따른 지도학습을 수행하는 실행부
    를 더 포함하는, 소량 데이터 기반의 지도학습을 위한 장인 트레이닝 장치.
  13. 삭제
  14. 제9항에 있어서,
    상기 잠재변수는,
    가우시안 분포에서 무작위로 도출되는
    소량 데이터 기반의 지도학습을 위한 장인 트레이닝 장치.
  15. 제9항에 있어서,
    상기 처리부는,
    상기 생성 데이터 xcn와, 상기 실제 데이터 xr와 연관되어 연산되는 original critic loss와, 상기 내분 데이터 xid 와 연관되어 연산되는 Gradient penalty를 합산하여, 상기 손실을 계산하는
    소량 데이터 기반의 지도학습을 위한 장인 트레이닝 장치.
  16. 제9항에 있어서,
    상기 내분 데이터 xid는,
    상기 생성 데이터 xcn과 실제 데이터 xr을 내분하여 얻은, 0과 1 사이의 파라미터인
    소량 데이터 기반의 지도학습을 위한 장인 트레이닝 장치.
  17. 제1항 내지 제4항, 제6항 내지 제8항 중 어느 한 항의 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.
KR1020200150343A 2020-11-11 2020-11-11 소량 데이터 기반의 지도학습을 위한 장인 트레이닝 방법 및 장치 KR102595347B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200150343A KR102595347B1 (ko) 2020-11-11 2020-11-11 소량 데이터 기반의 지도학습을 위한 장인 트레이닝 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200150343A KR102595347B1 (ko) 2020-11-11 2020-11-11 소량 데이터 기반의 지도학습을 위한 장인 트레이닝 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20220064149A KR20220064149A (ko) 2022-05-18
KR102595347B1 true KR102595347B1 (ko) 2023-10-31

Family

ID=81800463

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200150343A KR102595347B1 (ko) 2020-11-11 2020-11-11 소량 데이터 기반의 지도학습을 위한 장인 트레이닝 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102595347B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024071640A1 (ko) * 2022-09-29 2024-04-04 삼성전자 주식회사 인공 지능 모델을 훈련시키는 전자 장치 및 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Georgios Douzas and Fernando Bacao, "Effective data generation for imbalanced learning using conditional generative adversarial networks," Expert Systems with Applications (2017.09.13.)*
Snehal Bhatia and Rozenn Dahyot, "Using WGAN for Improving Imbalanced Classification Performance," Proc. AICS, 2019 (2019.07.12.)*

Also Published As

Publication number Publication date
KR20220064149A (ko) 2022-05-18

Similar Documents

Publication Publication Date Title
Wu et al. Synthesis of optimal insertion functions for opacity enforcement
US20100004941A1 (en) Method and Apparatus for Generating Customized Provisioning Workflows from One Flow Models
US11367005B2 (en) Optimization calculation method and optimization calculation apparatus
KR102595347B1 (ko) 소량 데이터 기반의 지도학습을 위한 장인 트레이닝 방법 및 장치
US11074274B2 (en) Large scale social graph segmentation
CN110019174A (zh) 数据质量确定方法、装置、电子设备及存储介质
KR20190081218A (ko) 컨볼루션 신경망의 하이퍼파라미터를 설정하는 방법 및 이를 수행하는 단말 장치
KR102414823B1 (ko) 금융 서비스를 위한 금융 세그먼트 분화 방법 및 이러한 방법을 수행하는 장치
US20200210853A1 (en) Optimization calculation method and information processing apparatus
US20210012247A1 (en) Information processing apparatus, information processing method, and program
CN111950579A (zh) 分类模型的训练方法和训练装置
CN114297041A (zh) 网络异构计算平台测试方法、装置和计算机设备
CN104834816A (zh) 一种短期风速预测方法
CN110929851A (zh) 基于计算图子图的ai模型自动生成的方法
JP7009971B2 (ja) プロセススケジューリング装置およびプロセススケジューリング方法
CN110313150B (zh) 网络分析工具测试
JP2020107185A (ja) 画像認識装置、画像認識方法及びプログラム
CN113794732B (zh) 一种部署仿真网络环境的方法、装置、设备及存储介质
KR20230037830A (ko) 점진적 빈발패턴 기반의 그래프스트림 압축 방법 및 시스템
CN107105052A (zh) 基于图规划的启发式Web服务组合方法
US9123008B2 (en) Buildable part pairs in an unconfigured product structure
Azar et al. Biased random walks
Naybour et al. Efficient risk based optimization of large system models using a reduced petri net methodology
KR102414821B1 (ko) 금융 서비스를 위한 인공지능 모델 생성 방법 및 이러한 방법을 수행하는 장치
CN115099943A (zh) 控制贷款风险的方法及装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant