KR102184278B1 - 메타학습에 기반한 임의의 목표 데이터셋과 모델 구조로의 전이학습 방법 및 시스템 - Google Patents

메타학습에 기반한 임의의 목표 데이터셋과 모델 구조로의 전이학습 방법 및 시스템 Download PDF

Info

Publication number
KR102184278B1
KR102184278B1 KR1020180144354A KR20180144354A KR102184278B1 KR 102184278 B1 KR102184278 B1 KR 102184278B1 KR 1020180144354 A KR1020180144354 A KR 1020180144354A KR 20180144354 A KR20180144354 A KR 20180144354A KR 102184278 B1 KR102184278 B1 KR 102184278B1
Authority
KR
South Korea
Prior art keywords
model
learning
meta
target
transfer learning
Prior art date
Application number
KR1020180144354A
Other languages
English (en)
Other versions
KR20200063330A (ko
Inventor
신진우
황성주
장윤훈
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020180144354A priority Critical patent/KR102184278B1/ko
Priority to US16/214,598 priority patent/US20200160212A1/en
Publication of KR20200063330A publication Critical patent/KR20200063330A/ko
Application granted granted Critical
Publication of KR102184278B1 publication Critical patent/KR102184278B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)
  • Machine Translation (AREA)

Abstract

메타학습에 기반한 임의의 목표 데이터셋과 모델 구조로의 전이학습 방법 및 시스템이 제시된다. 일 실시예에 따른 전이학습 방법은, 사전학습 모델이 이용한 소스 데이터셋(source dataset)과 새로운 목표 데이터셋(target dataset)의 유사도에 따라 메타 모델을 이용하여 전이될 정보의 형태 및 양을 결정하는 단계; 및 상기 메타 모델에 의해 결정된 상기 사전학습 모델의 상기 전이될 정보의 형태 및 양을 이용하여 목표 모델(target model)을 전이학습(transfer learning)시키는 단계를 포함하여 이루어질 수 있다.

Description

메타학습에 기반한 임의의 목표 데이터셋과 모델 구조로의 전이학습 방법 및 시스템{METHOD AND SYSTEM FOR TRANSFER LEARNING INTO ANY TARGET DATASET AND MODEL STRUCTURE BASED ON META-LEARNING}
아래의 실시예들은 딥러닝(deep learning) 모델의 전이학습(transfer learning)에 관한 것으로, 더욱 상세하게는 메타학습(meta-learning)에 기반한 임의의 목표 데이터셋(target dataset)과 모델 구조로의 전이학습 방법 및 시스템에 관한 것이다.
최근 컴퓨터 비전, 음성 인식, 자연어 처리와 같은 분야에서 딥러닝 모델은 혁신적인 성능을 보여주고 있다. 하지만 이러한 딥러닝 모델들은 학습하기 위해 레이블링(labeling)된 학습데이터가 매우 많이 필요하며, 새로운 종류의 작업을 수행하는 모델을 구현할 때마다 새롭게 많은 양의 레이블링 학습데이터를 수집해야 한다는 한계점을 가지고 있다.
이와 같은 문제를 해결하기 위하여 다양한 방식의 전이학습 기법들이 연구되고 있다. 전이학습은 미리 학습된 사전학습 모델의 지식을 활용하여 새로운 목표 모델을 적은 수의 학습데이터를 가지고도 좋은 성능을 보일 수 있도록 학습하는데 사용되는 기법이다. 가장 보편적으로 이용되는 전이학습 방법은 많은 양의 학습데이터로 학습된 사전학습 모델의 파라미터를 새로운 목표 모델의 초기 파라미터로 설정한 뒤, 새로운 목표 데이터셋의 학습데이터로 다시 학습하는 파인튜닝 기법(fine-tuning)이다. 하지만, 이 방법은 목표 데이터셋이 기존 소스 데이터셋과 많이 달라지는 경우, 또는 새로운 모델의 구조가 사전학습 모델과 달라지는 경우 적용하기 어렵다는 한계점을 가진다.
이와 같은 문제를 해결하기 위해 다양한 전이학습 기법들이 제안되었지만, 임의의 목표 데이터셋과 모델 구조에 대해 전이학습을 수행하는 것은 어려운 문제이다. 유사한 목표 데이터셋으로의 전이 또는 같은 구조로의 전이는 일반적으로 목표 모델의 성능 향상에 도움을 주지만, 그렇지 않은 경우 사전학습 모델의 정보가 오히려 목표 모델의 학습을 위한 목적함수 최적화에 방해가 될 수 있어 임의의 상황에서의 전이학습 방법을 디자인하는 것이 어렵다.
한국등록특허 10-1738825호는 이러한 비연속적으로 확률 뉴런을 가지는 딥러닝 모델 및 지식 전파에 기반한 학습 방법에 관한 것으로, 기존의 딥러닝 모델과 같은 개수의 변수를 가지는 딥러닝 모델을 디자인하는 기술을 기재하고 있다.
한국등록특허 10-1738825호
Manzil Zaheer, Satwik Kottur, Siamak Ravanbakhsh, Barnabas Poczos, Ruslan R Salakhutdinov, 324 and Alexander J Smola. Deep sets. In Advances in Neural Information Processing Systems, 325 pages 3394-3404, 2017.
실시예들은 메타학습에 기반한 임의의 목표 데이터셋과 모델 구조로의 전이학습 방법 및 시스템에 관하여 기술하며, 보다 구체적으로 소스 데이터셋을 이용해 사전학습된 딥러닝 모델을 활용하여 새로운 목표 데이터셋을 학습하는 새로운 목표 모델의 성능을 향상시키기 위한 전이학습 기술을 제공한다.
실시예들은 사전학습 모델과 소스 데이터셋이 주어졌을 때, 그들과 새로운 목표 모델의 구조 및 목표 데이터셋과의 연관 관계를 고려하여 전이 정도와 전이 정보의 형태를 결정하는 메타 모델을 제공하는 메타학습에 기반한 임의의 목표 데이터셋과 모델 구조로의 전이학습 방법 및 시스템을 제공하는데 있다.
일 실시예에 따른 전이학습 방법은, 사전학습 모델이 이용한 소스 데이터셋(source dataset)과 새로운 목표 데이터셋(target dataset)의 유사도에 따라 메타 모델을 이용하여 전이될 정보의 형태 및 양을 결정하는 단계; 및 상기 메타 모델에 의해 결정된 상기 사전학습 모델의 상기 전이될 정보의 형태 및 양을 이용하여 목표 모델(target model)을 전이학습(transfer learning)시키는 단계를 포함하여 이루어질 수 있다.
상기 사전학습 모델이 이용한 소스 데이터셋을 통해 가상의 소스 데이터셋 및 가상의 목표 데이터셋을 생성하여 가상의 사전학습 모델 및 가상의 목표 모델을 학습시키며, 상기 학습에 도움이 되도록 메타 모델을 학습시키는 단계를 더 포함할 수 있다.
상기 메타 모델을 이용하여 전이될 정보의 형태 및 양을 결정하는 단계는, 제1 메타 모델에 상기 사전학습 모델 또는 상기 목표 모델의 피쳐맵(feature map)이 입력으로 들어왔을 때, 출력으로 전이학습에 사용될 어텐션맵(attention map)을 생성하여 전이학습에서 전이될 정보의 형태를 결정하는 단계; 및 상기 소스 데이터셋과 상기 목표 데이터셋의 유사도에 따라 제2 메타 모델을 이용하여 상기 사전학습 모델과 상기 목표 모델의 각 레이어(layer)에서 전이될 정보의 양을 결정하는 단계를 포함할 수 있다.
상기 전이될 정보의 양을 결정하는 단계는, 상기 전이될 정보의 양이 상기 제2 메타 모델을 통해 출력된 상수 값이며, 상기 상수 값은 각 레이어의 쌍마다 다르게 적용될 수 있다.
상기 목표 모델을 전이학습시키는 단계는, 상기 메타 모델을 통해 생성된 상기 목표 모델의 어텐션맵이 메타 모델을 통해 생성된 상기 사전학습 모델의 어텐션맵과 유사해지는 방향으로 전이학습될 수 있다.
상기 목표 모델을 전이학습시키는 단계는, 상기 메타 모델을 통해 생성된 상기 목표 모델의 어텐션맵이 메타 모델을 통해 생성된 상기 사전학습 모델의 어텐션맵과 유사해지는 방향으로 전이학습 시, 추가적인 손실을 줄이는 방향으로 학습될 수 있다.
상기 메타 모델을 학습시키는 단계는, 손실 함수(loss function)를 최소화하도록 상기 메타 모델 및 상기 가상의 목표 모델을 학습시킬 수 있다.
상기 사전학습 모델 및 상기 목표 모델은 딥러닝(deep learning) 모델로 이루어지며, 사전학습된 딥러닝 모델을 활용하여 상기 새로운 목표 데이터셋을 통해 상기 목표 모델을 학습시킬 수 있다.
다른 실시예에 따른 컴퓨터로 구현되는 전이학습 시스템에 있어서, 상기 컴퓨터에서 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 사전학습 모델이 이용한 소스 데이터셋(source dataset)과 새로운 목표 데이터셋(target dataset)의 유사도에 따라 메타 모델을 이용하여 전이될 정보의 형태 및 양을 결정하고, 상기 메타 모델에 의해 결정된 상기 사전학습 모델의 상기 전이될 정보의 형태 및 양을 이용하여 목표 모델(target model)을 전이학습(transfer learning)시킬 수 있다.
상기 적어도 하나의 프로세서는, 상기 사전학습 모델이 이용한 소스 데이터셋을 통해 가상의 소스 데이터셋 및 가상의 목표 데이터셋을 생성하여 가상의 사전학습 모델 및 가상의 목표 모델을 학습시키며, 상기 학습에 도움이 되도록 메타 모델을 학습시킬 수 있다.
상기 적어도 하나의 프로세서는, 상기 메타 모델을 이용하여 전이될 정보의 형태 및 양을 결정하되, 제1 메타 모델에 상기 사전학습 모델 또는 상기 목표 모델의 피쳐맵(feature map)이 입력으로 들어왔을 때, 출력으로 전이학습에 사용될 어텐션맵(attention map)을 생성하여 전이학습에서 전이될 정보의 형태를 결정하고, 상기 소스 데이터셋과 상기 목표 데이터셋의 유사도에 따라 제2 메타 모델을 이용하여 상기 사전학습 모델과 상기 목표 모델의 각 레이어(layer)에서 전이될 정보의 양을 결정할 수 있다.
상기 적어도 하나의 프로세서는, 상기 목표 모델을 전이학습시키되, 상기 메타 모델을 통해 생성된 상기 목표 모델의 어텐션맵이 메타 모델을 통해 생성된 상기 사전학습 모델의 어텐션맵과 유사해지는 방향으로 전이학습될 수 있다.
또 다른 실시예에 따른 전이학습 시스템은, 사전학습 모델이 이용한 소스 데이터셋(source dataset)과 새로운 목표 데이터셋(target dataset)의 유사도에 따라 전이될 정보의 형태 및 양을 결정하는 메타 모델부를 포함할 수 있다. 여기서, 상기 메타 모델부는, 상기 사전학습 모델 또는 상기 목표 모델의 피쳐맵(feature map)이 입력으로 들어왔을 때, 출력으로 전이학습에 사용될 어텐션맵(attention map)을 생성하여 전이학습에서 전이될 정보의 형태를 결정하는 제1 메타 모델; 및 상기 소스 데이터셋과 상기 목표 데이터셋의 유사도에 따라 상기 사전학습 모델과 상기 목표 모델의 각 레이어(layer)에서 전이될 정보의 양을 결정하는 제2 메타 모델을 포함할 수 있다.
또한, 상기 사전학습 모델이 이용한 소스 데이터셋을 통해 가상의 소스 데이터셋 및 가상의 목표 데이터셋을 생성하여 가상의 사전학습 모델 및 가상의 목표 모델을 학습시키며, 상기 학습에 도움이 되도록 메타 모델을 학습시키는 메타 모델 학습부를 더 포함할 수 있다.
또한, 상기 메타 모델에 의해 결정된 상기 전이될 정보의 형태 및 양을 이용하여 목표 모델(target model)을 전이학습(transfer learning)시키는 전이학습부를 더 포함할 수 있다.
상기 전이될 정보의 양은, 상기 제2 메타 모델을 통해 출력된 상수 값이며, 상기 상수 값은 각 레이어의 쌍마다 다르게 적용될 수 있다.
상기 전이학습부는, 상기 메타 모델을 통해 생성된 상기 목표 모델의 어텐션맵이 메타 모델을 통해 생성된 상기 사전학습 모델의 어텐션맵과 유사해지는 방향으로 전이학습될 수 있다.
상기 전이학습부는, 상기 메타 모델을 통해 생성된 상기 목표 모델의 어텐션맵이 메타 모델을 통해 생성된 상기 사전학습 모델의 어텐션맵과 유사해지는 방향으로 전이학습 시, 추가적인 손실을 줄이는 방향으로 학습될 수 있다.
상기 메타 모델 학습부는, 손실 함수(loss function)를 최소화하도록 상기 메타 모델 및 상기 가상의 목표 모델을 학습시킬 수 있다.
상기 사전학습 모델 및 상기 목표 모델은 딥러닝(deep learning) 모델로 이루어지며, 사전학습된 딥러닝 모델을 활용하여 상기 새로운 목표 데이터셋을 통해 상기 목표 모델을 학습시킬 수 있다.
실시예들에 따르면 소스 데이터셋을 이용해 사전학습된 딥러닝 모델을 활용하여 새로운 목표 데이터셋을 학습하는 새로운 목표 모델의 성능을 향상시키기 위한 메타학습에 기반한 임의의 목표 데이터셋과 모델 구조로의 전이학습 방법 및 시스템을 제공할 수 있다.
또한, 실시예들에 따르면 사전학습 모델과 소스 데이터셋이 주어졌을 때, 그들과 새로운 목표 모델의 구조 및 목표 데이터셋과의 연관 관계를 고려하여 전이 정도와 전이 정보의 형태를 결정하는 메타 모델을 제공함으로써 메타학습에 기반한 임의의 목표 데이터셋과 모델 구조로의 전이학습 방법 및 시스템을 제공할 수 있다.
도 1은 일 실시예에 따른 전이학습 시스템의 구조를 개략적으로 나타내는 도면이다.
도 2는 일 실시예에 따른 소스 데이터셋을 활용하여 가상의 소스 데이터셋 및 목표 데이터셋을 만드는 과정을 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 전이학습 방법을 나타내는 흐름도이다.
도 4는 일 실시예에 따른 메타 모델을 이용한 전이될 정보를 결정 방법을 나타내는 흐름도이다.
도 5는 일 실시예에 따른 전이학습 시스템을 나타내는 블록도이다.
이하, 첨부된 도면을 참조하여 실시예들을 설명한다. 그러나, 기술되는 실시예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명되는 실시예들에 의하여 한정되는 것은 아니다. 또한, 여러 실시예들은 당해 기술분야에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해서 제공되는 것이다. 도면에서 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
아래의 실시예들은 전이학습(transfer learning)의 모델 구조 및 데이터셋 유사도 의존성 문제를 해결하여 임의의(random) 모델 구조와 데이터셋을 위한 전이학습 시 성능을 향상시킬 수 있다. 기존에 많이 사용된 파라미터 초기화 및 파인튜닝(weight initialization & fine-tuning) 기법의 경우 새로운 목표 데이터셋(target dataset)이 기존의 소스 데이터셋(source dataset)과 유사해야 하며, 모델 구조가 같아야 한다는 문제점을 가진다. 이러한 문제를 해결하기 위해 목표 데이터셋의 소스 데이터셋과의 유사도와 모델 구조에 따라 전이학습의 형태와 정도를 결정하는 메타 모델(meta networks)을 디자인하고 학습할 수 있는 방법을 제공한다.
본 실시예들은 메타학습(meta-learning)에 기반한 임의의 목표 데이터셋과 모델 구조로의 전이학습 방법 및 시스템에 관한 것으로, 보다 구체적으로 큰 소스 데이터셋을 이용하여 사전학습된 딥러닝 모델을 통해 새로운 목표 데이터셋을 학습하는 새로운 목표 모델(target model)의 성능을 향상시키기 위한 전이학습 방법 및 시스템을 제공할 수 있다. 이러한 메타학습에 기반한 임의의 목표 데이터셋과 모델 구조로의 전이학습 방법 및 시스템은 (1) 기존의 사전학습 모델이 활용한 데이터셋(소스 데이터셋)과 새로운 목표 데이터셋의 유사 관계를 활용하여 전이 정도를 결정하는 메타 모델을 제공하고, (2) 전이될 정보의 형태를 결정하는 메타 모델의 디자인 및 학습 기법을 제공하며, 그리고 (3) 메타 모델을 활용한 전이학습 기법을 제공할 수 있다.
여기에서 제안된 메타 모델은 사전학습 모델과 소스 데이터셋이 주어졌을 때, 그들과 새로운 목표 모델의 구조 및 목표 데이터셋과의 연관 관계를 고려하여 전이 정도와 전이 정보의 형태를 결정할 수 있다.
메타 모델의 구조
도 1은 일 실시예에 따른 전이학습 시스템의 구조를 개략적으로 나타내는 도면이다.
도 1을 참조하면, 메타 모델들과 사전학습 모델 및 목표 모델들을 이용한 메타학습에 기반한 임의의 목표 데이터셋과 모델 구조로의 전이학습 시스템(100)을 제공할 수 있다.
메타학습에 기반한 임의의 목표 데이터셋과 모델 구조로의 전이학습 시스템(100)은 사전학습 모델(110), 목표 모델(120), 그리고 메타 모델(130, 140, 150)을 포함할 수 있다. 여기서, 메타 모델(130, 140, 150)은 전이학습에서 전이될 정보의 형태를 결정하는 제1 메타 모델(130, 140)과, 전이학습에서 전이될 정보의 양을 결정하는 제2 메타 모델(150)로 구분될 수 있다.
Figure 112018116074215-pat00001
는 각각 전이될 정보의 형태와 전이가 일어나는 레이어(layer)와 양을 결정하는 메타 모델(130, 140, 150)이다. 그리고 xS, xT는 각각 소스 데이터셋(151)과 목표 데이터셋(152)의 데이터 샘플들(예: 이미지)이며, 사전학습 모델(110)과 목표 모델(120)은 서로 다른 모델 구조를 가질 수 있다.
제1 메타 모델(130, 140) N at은 사전학습 모델(110) 또는 목표 모델(120)의 피쳐맵(feature map)이 입력으로 들어왔을 때, 출력으로 전이학습에 사용될 어텐션맵(attention map)을 생성하는 메타 모델로서, 전이학습에서 전이될 정보의 형태를 결정하는 역할을 할 수 있다. 여기서, 제1 메타 모델(130, 140) N at은 하나의 메타 모델로 이루어질 수 있으며, 또한 별개의 두 개의 메타 모델로 이루어질 수도 있다.
제2 메타 모델(150)
Figure 112018116074215-pat00002
는 소스 데이터셋(151)과 목표 데이터셋(152)이 주어졌을 때, 두 개의 소스 데이터셋(151)과 목표 데이터셋(152)의 유사도를 고려하여, 사전학습 모델(110)과 목표 모델(120)의 각 레이어(layer)(111, 121)에서 전이될 정보의 양을 결정하는 상수 값(153)
Figure 112018116074215-pat00003
을 출력할 수 있다. 이 때, 입력으로 소스 데이터셋(151)과 목표 데이터셋(152)의 특징표현(representation)으로는 DeepSet(Deep Sets, NIPS 2017, 비특허문헌1) 구조를 활용할 수 있다.
여기서, 각각의 모델들은 컨볼루션 뉴럴 네트워크(Convolutional Neural Network, CNN) 기반의 뉴럴 네트워크로 구성될 수 있으며, 그 외의 특별한 제약 조건없이 다양한 형태의 모델 구조를 사용할 수 있다.
상술한 제1 메타 모델(130, 140) 및 제2 메타 모델(150)은 사전학습 모델(110)이 주어졌을 때, 목표 모델(120)의 학습시 사전학습 모델(110)의 학습된 지식을 전달(distillation)하기 위해 사용될 수 있다. 자세한 메타 모델의 학습 방법 및 이를 활용한 목표 모델(120) 학습 방법은 아래에서 설명한다.
메타 모델의 학습
도 2는 일 실시예에 따른 소스 데이터셋을 활용하여 가상의 소스 데이터셋 및 목표 데이터셋을 만드는 과정을 설명하기 위한 도면이다.
메타 모델을 학습하는 메타학습 단계에서는, 실제 목표 모델을 학습할 때 사용되는 상황을 비슷하게 시뮬레이션 하는 것이 중요하므로, 소스 데이터셋과 사전학습 모델이 주어졌을 때, 목표 데이터셋과 목표 모델로의 전이학습이 효과적으로 이루어지기 위해 사용되는 메타 모델들의 학습에는 실제 전이학습시의 소스 데이터셋과 목표 데이터셋의 관계를 시뮬레이션 할 수 있는 소스 데이터셋 및 목표 데이터셋 쌍들이 필요하다.
이를 위해, 도 2에 도시된 바와 같이, 기존의 소스 데이터셋(210)을 활용하여, 가상의 소스 데이터셋(220) 및 가상의 목표 데이터셋들(230)을 생성할 수 있다. 이 과정에서 소스 데이터셋(210)에 제공된 클래스 레이블들을 나누어 일부를 가상의 소스 데이터셋(220)에만 속하도록 설정하고, 가상의 목표 데이터셋(230)은 가상의 소스 데이터셋(220)의 클래스들과 겹침을 허용하며 다양한 유사도를 가질 수 있도록 설정할 수 있다. 이를 이용해 가상의 사전학습 모델 및 가상의 목표 모델을 학습하며, 이 과정에 도움이 되도록 메타 모델을 학습시킬 수 있다.
이 때, 손실 함수(loss function) L meta을 최소화하도록 메타 모델 및 가상의 목표 모델을 학습시킬 수 있으며, 다음 식과 같이 나타낼 수 있다.
[수학식 1]
Figure 112018116074215-pat00004
[수학식 2]
Figure 112018116074215-pat00005
여기서, {xS}, {xT} 는 각각 소스 데이터셋과 목표 데이터셋이며, M, L은 각각 사전학습 모델의 레이어 개수 및 목표 모델의 레이어 개수이고,
Figure 112018116074215-pat00006
는 각각 목표 모델과
Figure 112018116074215-pat00007
의 파라미터이다. 그리고,
Figure 112018116074215-pat00008
은
Figure 112018116074215-pat00009
의 출력으로써, 사전학습 모델의 m 번째 레이어와 목표 모델의 l 번째 레이어 사이에 전이가 일어나는 정도를 결정할 수 있다.
목표 모델은 앞에서 설명한 손실함수가 학습데이터에 대해 최소화되도록 학습되며, 메타 모델들은 그렇게 학습된 목표 모델이 테스트데이터에 대해 낮은 오류를 내도록 학습될 수 있다.
표 1은 메타 모델 학습 알고리즘을 나타낸다.
[표 1]
Figure 112018116074215-pat00010
목표 모델의 학습
목표 모델의 학습은 메타 모델의 파라미터를 고정시켜 놓는다는 점을 제외하고는 메타 모델의 학습과정과 같다. 즉, 상술한 표 1의 메타 모델 학습 알고리즘에서 가상의 목표 데이터셋을 생성하는 부분(line 1)과, 메타 모델의 파라미터를 업데이트하는 부분(line 10, 12, 13)을 제외한 알고리즘을 그대로 적용할 수 있다.
이를 통해 목표 모델이 사전학습 모델의 어텐션맵을 이용해 유용한 정보를 전달받아 학습될 수 있다.
즉, 다시 도 1을 참조하면, 사전학습 모델(110)과 목표 모델(120) 사이의 전이학습은 제1 메타 모델(140) N at으로 생성된 목표 모델(120)의 어텐션맵(141)이 제1 메타 모델(130) N at으로 생성된 사전학습 모델(110)의 어텐션맵(131)과 유사해지도록 학습하며, 이 때 추가적인 손실(160) L tr을 줄이도록 학습될 수 있다.
또한, 전이의 정도는 제2 메타 모델(150)
Figure 112018116074215-pat00011
로 인해 결정된 상수 값(153)
Figure 112018116074215-pat00012
로 이루어지게 된다. 이 때, 상수 값(153)
Figure 112018116074215-pat00013
는 각 레이어(111, 121)의 쌍마다 다르게 적용되어 데이터셋(151, 152)에 따라 동적으로 각 레이어(111, 121)마다 필요한 전이될 정보의 양을 결정하게 된다.
도 3은 일 실시예에 따른 전이학습 방법을 나타내는 흐름도이다.
도 3을 참조하면, 일 실시예에 따른 전이학습 방법은, 사전학습 모델이 이용한 소스 데이터셋과 새로운 목표 데이터셋의 유사도에 따라 메타 모델을 이용하여 전이될 정보의 형태 및 양을 결정하는 단계(S110), 및 메타 모델에 의해 결정된 사전학습 모델의 전이될 정보의 형태 및 양을 이용하여 목표 모델을 전이학습시키는 단계(S130)를 포함하여 이루어질 수 있다.
사전학습 모델이 이용한 소스 데이터셋을 통해 가상의 소스 데이터셋 및 가상의 목표 데이터셋을 생성하여 가상의 사전학습 모델 및 가상의 목표 모델을 학습시키며, 학습에 도움이 되도록 메타 모델을 학습시키는 단계(S120)를 더 포함할 수 있다.
도 4는 일 실시예에 따른 메타 모델을 이용한 전이될 정보를 결정 방법을 나타내는 흐름도이다.
도 4를 참조하면, 메타 모델을 이용하여 전이될 정보의 형태 및 양을 결정하는 단계(S110)는, 제1 메타 모델에 사전학습 모델 또는 목표 모델의 피쳐맵이 입력으로 들어왔을 때, 출력으로 전이학습에 사용될 어텐션맵을 생성하여 전이학습에서 전이될 정보의 형태를 결정하는 단계(S111), 및 소스 데이터셋과 목표 데이터셋의 유사도에 따라 제2 메타 모델을 이용하여 사전학습 모델과 목표 모델의 각 레이어에서 전이될 정보의 양을 결정하는 단계(S112)를 포함할 수 있다.
실시예들에 따르면, 기존의 전이학습 방법을 개선하여 작은 데이터셋을 가진 새로운 모델을 학습할 때, 사전학습 모델과 소스 데이터셋, 새로운 목표 모델과 목표 데이터셋의 관계를 고려하여 전이학습의 정도와 형태를 결정하는 메타 모델 디자인 방법 및 그를 위한 메타 모델의 학습 방법과 전이학습 방법을 제공할 수 있다.
아래에서 일 실시예에 따른 전이학습 방법을 하나의 예를 들어 설명하기로 한다.
일 실시예에 따른 전이학습 방법은 전이학습 시스템을 하나의 예로써 보다 상세히 설명할 수 있다.
도 5는 일 실시예에 따른 전이학습 시스템을 나타내는 블록도이다.
도 5를 참조하면, 일 실시예에 따른 전이학습 시스템(500)은 메타 모델부(510)를 포함하여 이루어질 수 있으며, 메타 모델부(510)는 제1 메타 모델(511) 및 제2 메타 모델(512)을 포함할 수 있다. 또한, 실시예에 따라 전이학습 시스템(500)은 메타 모델 학습부(520) 및 전이학습부(530)를 더 포함하여 이루어질 수 있다.
단계(S110)에서, 메타 모델부(510)는 사전학습 모델이 이용한 소스 데이터셋과 새로운 목표 데이터셋의 유사도에 따라 전이될 정보의 형태 및 양을 결정할 수 있다.
여기서, 메타 모델부(510)는 제1 메타 모델(511) 및 제2 메타 모델(512)을 포함하여 이루어질 수 있다.
보다 상세히 설명하면, 단계(S111)에서, 제1 메타 모델(511)은 사전학습 모델 또는 목표 모델의 피쳐맵이 입력으로 들어왔을 때, 출력으로 전이학습에 사용될 어텐션맵을 생성하여 전이학습에서 전이될 정보의 형태를 결정할 수 있다.
그리고, 단계(S112)에서, 제2 메타 모델(512)은 소스 데이터셋과 목표 데이터셋의 유사도에 따라 사전학습 모델과 목표 모델의 각 레이어에서 전이될 정보의 양을 결정할 수 있다. 여기서 전이될 정보의 양은, 도 1에서 설명한 바와 같이, 제2 메타 모델(512)을 통해 출력된 상수 값이 될 수 있다. 이 때, 상수 값은 각 레이어의 쌍마다 다르게 적용되어 데이터셋에 따라 동적으로 각 레이어마다 필요한 전이될 정보의 양을 결정할 수 있다.
사전학습 모델 및 목표 모델은 딥러닝 모델로 이루어질 수 있다. 즉, 사전학습된 딥러닝 모델인 사전학습 모델을 활용하여 새로운 목표 데이터셋을 통해 딥러닝 모델인 목표 모델을 학습시킬 수 있다.
실시예에 따라 전이학습 시스템(500)은 메타 모델 학습부(520) 및 전이학습부(530)를 더 포함하여 이루어질 수 있다.
단계(S120)에서, 메타 모델 학습부(520)는 사전학습 모델이 이용한 소스 데이터셋을 통해 가상의 소스 데이터셋 및 가상의 목표 데이터셋을 생성하여 가상의 사전학습 모델 및 가상의 목표 모델을 학습시키며, 학습에 도움이 되도록 메타 모델을 학습시킬 수 있다. 즉, 메타 모델 학습부(520)는 목표 데이터셋과 목표 모델로의 전이학습이 이루어지도록 메타 모델을 학습시킬 수 있다.
이 때, 메타 모델 학습부(520)는 손실 함수를 최소화하도록 메타 모델 및 가상의 목표 모델을 학습시킬 수 있으며, 이는 도 2에서 설명하였으므로 상세한 설명은 생략한다.
단계(S130)에서, 전이학습부(530)는 메타 모델에 의해 결정된 전이될 정보의 형태 및 양을 이용하여 목표 모델을 전이학습시킬 수 있다. 즉, 전이학습부(530)는 메타 모델로부터 사전학습 모델의 학습된 정보를 전달 받아 목표 모델을 학습시킬 수 있으며, 특히 목표 모델이 사전학습 모델의 어텐션맵을 이용해 유용한 정보를 전달받아 새로운 목표 데이터셋을 학습할 수 있다.
보다 구체적으로, 전이학습부(530)는 메타 모델을 통해 생성된 목표 모델의 어텐션맵이 메타 모델을 통해 생성된 사전학습 모델의 어텐션맵과 유사해지는 방향으로 전이학습될 수 있다. 이 때, 전이학습부(530)는 메타 모델을 통해 생성된 목표 모델의 어텐션맵이 메타 모델을 통해 생성된 사전학습 모델의 어텐션맵과 유사해지는 방향으로 전이학습 시, 추가적인 손실을 줄이는 방향으로 학습될 수 있다.
한편, 상술한 전이학습 방법은 컴퓨터로 구현되는 전이학습 시스템을 통해 구현될 수 있다. 특히, 컴퓨터로 구현되는 전이학습 시스템에 있어서, 컴퓨터에서 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서를 통해 구현될 수 있다.
다른 실시예에 따른 컴퓨터로 구현되는 전이학습 시스템은, 컴퓨터에서 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서를 포함할 수 있다. 여기서, 적어도 하나의 프로세서는 사전학습 모델이 이용한 소스 데이터셋과 새로운 목표 데이터셋의 유사도에 따라 메타 모델을 이용하여 전이될 정보의 형태 및 양을 결정하고, 메타 모델에 의해 결정된 사전학습 모델의 전이될 정보의 형태 및 양을 이용하여 목표 모델을 전이학습시킬 수 있다.
또한, 적어도 하나의 프로세서는 사전학습 모델이 이용한 소스 데이터셋을 통해 가상의 소스 데이터셋 및 가상의 목표 데이터셋을 생성하여 가상의 사전학습 모델 및 가상의 목표 모델을 학습시키며, 학습에 도움이 되도록 메타 모델을 학습시킬 수 있다.
또한, 적어도 하나의 프로세서는 메타 모델을 이용하여 전이될 정보의 형태 및 양을 결정하되, 제1 메타 모델에 사전학습 모델 또는 목표 모델의 피쳐맵이 입력으로 들어왔을 때, 출력으로 전이학습에 사용될 어텐션맵을 생성하여 전이학습에서 전이될 정보의 형태를 결정하고, 소스 데이터셋과 목표 데이터셋의 유사도에 따라 제2 메타 모델을 이용하여 사전학습 모델과 목표 모델의 각 레이어에서 전이될 정보의 양을 결정할 수 있다.
또한, 적어도 하나의 프로세서는 목표 모델을 전이학습시키되, 메타 모델을 통해 생성된 목표 모델의 어텐션맵이 메타 모델을 통해 생성된 사전학습 모델의 어텐션맵과 유사해지는 방향으로 전이학습될 수 있다.
이와 같이 다른 실시예에 따른 컴퓨터로 구현되는 전이학습 시스템은 상술한 전이학습 방법을 구현할 수 있는 것으로, 중복되는 설명은 생략하기로 한다.
이상과 같이, 실시예들에 따르면 소스 데이터셋을 이용해 사전학습된 딥러닝 모델을 활용하여 새로운 목표 데이터셋을 학습하는 새로운 목표 모델의 성능을 향상시키기 위한 전이학습 기술을 제공할 수 있다. 이에 따라 전이학습을 활용하는 많은 분야에서 기존의 목표 모델의 성능을 더 높일 수 있으며, 좀 더 다양한 목표 모델 학습에 소스 모델이 활용될 수 있다. 이를 통해 새로운 작업을 학습하기 위한 데이터셋의 수집 및 모델 개발에 대한 시간 및 비용이 단축될 것으로 기대된다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (20)

  1. 전이학습 시스템을 이용하여 수행되는 전이학습 방법에 있어서,
    상기 전이학습 시스템의 메타 모델부는 사전학습 모델이 이용한 소스 데이터셋(source dataset)과 새로운 목표 데이터셋(target dataset)의 유사도에 따라 메타 모델을 이용하여 전이될 정보의 형태 및 양을 결정하는 단계;
    상기 전이학습 시스템의 메타 모델 학습부는 상기 사전학습 모델이 이용한 소스 데이터셋을 통해 가상의 소스 데이터셋 및 가상의 목표 데이터셋을 생성하여 가상의 사전학습 모델 및 가상의 목표 모델을 학습시키며, 상기 학습에 도움이 되도록 메타 모델을 학습시키는 단계; 및
    상기 전이학습 시스템의 전이학습부는 상기 메타 모델에 의해 결정된 상기 사전학습 모델의 상기 전이될 정보의 형태 및 양을 이용하여 목표 모델(target model)을 전이학습(transfer learning)시키는 단계
    를 포함하는, 전이학습 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 메타 모델을 이용하여 전이될 정보의 형태 및 양을 결정하는 단계는,
    제1 메타 모델에 상기 사전학습 모델 또는 상기 목표 모델의 피쳐맵(feature map)이 입력으로 들어왔을 때, 출력으로 전이학습에 사용될 어텐션맵(attention map)을 생성하여 전이학습에서 전이될 정보의 형태를 결정하는 단계; 및
    상기 소스 데이터셋과 상기 목표 데이터셋의 유사도에 따라 제2 메타 모델을 이용하여 상기 사전학습 모델과 상기 목표 모델의 각 레이어(layer)에서 전이될 정보의 양을 결정하는 단계
    를 포함하는, 전이학습 방법.
  4. 전이학습 시스템을 이용하여 수행되는 전이학습 방법에 있어서,
    상기 전이학습 시스템의 메타 모델부는 사전학습 모델이 이용한 소스 데이터셋(source dataset)과 새로운 목표 데이터셋(target dataset)의 유사도에 따라 메타 모델을 이용하여 전이될 정보의 형태 및 양을 결정하는 단계; 및
    상기 전이학습 시스템의 전이학습부는 상기 메타 모델에 의해 결정된 상기 사전학습 모델의 상기 전이될 정보의 형태 및 양을 이용하여 목표 모델(target model)을 전이학습(transfer learning)시키는 단계
    를 포함하고,
    상기 메타 모델을 이용하여 전이될 정보의 형태 및 양을 결정하는 단계는,
    제1 메타 모델에 상기 사전학습 모델 또는 상기 목표 모델의 피쳐맵(feature map)이 입력으로 들어왔을 때, 출력으로 전이학습에 사용될 어텐션맵(attention map)을 생성하여 전이학습에서 전이될 정보의 형태를 결정하는 단계; 및
    상기 소스 데이터셋과 상기 목표 데이터셋의 유사도에 따라 제2 메타 모델을 이용하여 상기 사전학습 모델과 상기 목표 모델의 각 레이어(layer)에서 전이될 정보의 양을 결정하는 단계
    를 포함하며,
    상기 전이될 정보의 양을 결정하는 단계는,
    상기 전이될 정보의 양이 상기 제2 메타 모델을 통해 출력된 상수 값이며, 상기 상수 값은 각 레이어의 쌍마다 다르게 적용되는 것
    을 특징으로 하는, 전이학습 방법.
  5. 제1항에 있어서,
    상기 목표 모델을 전이학습시키는 단계는,
    상기 메타 모델을 통해 생성된 상기 목표 모델의 어텐션맵이 메타 모델을 통해 생성된 상기 사전학습 모델의 어텐션맵과 유사해지는 방향으로 전이학습되는 것
    을 특징으로 하는, 전이학습 방법.
  6. 제5항에 있어서,
    상기 목표 모델을 전이학습시키는 단계는,
    상기 메타 모델을 통해 생성된 상기 목표 모델의 어텐션맵이 메타 모델을 통해 생성된 상기 사전학습 모델의 어텐션맵과 유사해지는 방향으로 전이학습 시, 추가적인 손실을 줄이는 방향으로 학습되는 것
    을 특징으로 하는, 전이학습 방법.
  7. 제1항에 있어서,
    상기 메타 모델을 학습시키는 단계는,
    손실 함수(loss function)를 최소화하도록 상기 메타 모델 및 상기 가상의 목표 모델을 학습시키는 것
    을 특징으로 하는, 전이학습 방법.
  8. 제1항에 있어서,
    상기 사전학습 모델 및 상기 목표 모델은 딥러닝(deep learning) 모델로 이루어지며, 사전학습된 딥러닝 모델을 활용하여 상기 새로운 목표 데이터셋을 통해 상기 목표 모델을 학습시키는 것
    을 특징으로 하는, 전이학습 방법.
  9. 컴퓨터로 구현되는 전이학습 시스템에 있어서,
    상기 컴퓨터에서 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서
    를 포함하고,
    상기 적어도 하나의 프로세서는,
    사전학습 모델이 이용한 소스 데이터셋(source dataset)과 새로운 목표 데이터셋(target dataset)의 유사도에 따라 메타 모델을 이용하여 전이될 정보의 형태 및 양을 결정하고,
    상기 사전학습 모델이 이용한 소스 데이터셋을 통해 가상의 소스 데이터셋 및 가상의 목표 데이터셋을 생성하여 가상의 사전학습 모델 및 가상의 목표 모델을 학습시키며, 상기 학습에 도움이 되도록 메타 모델을 학습시키고,
    상기 메타 모델에 의해 결정된 상기 사전학습 모델의 상기 전이될 정보의 형태 및 양을 이용하여 목표 모델(target model)을 전이학습(transfer learning)시키는 것
    을 특징으로 하는, 전이학습 시스템.
  10. 삭제
  11. 제9항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 메타 모델을 이용하여 전이될 정보의 형태 및 양을 결정하되, 제1 메타 모델에 상기 사전학습 모델 또는 상기 목표 모델의 피쳐맵(feature map)이 입력으로 들어왔을 때, 출력으로 전이학습에 사용될 어텐션맵(attention map)을 생성하여 전이학습에서 전이될 정보의 형태를 결정하고,
    상기 소스 데이터셋과 상기 목표 데이터셋의 유사도에 따라 제2 메타 모델을 이용하여 상기 사전학습 모델과 상기 목표 모델의 각 레이어(layer)에서 전이될 정보의 양을 결정하는 것
    을 특징으로 하는, 전이학습 시스템.
  12. 제9항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 목표 모델을 전이학습시키되, 상기 메타 모델을 통해 생성된 상기 목표 모델의 어텐션맵이 메타 모델을 통해 생성된 상기 사전학습 모델의 어텐션맵과 유사해지는 방향으로 전이학습되는 것
    을 특징으로 하는, 전이학습 시스템.
  13. 사전학습 모델이 이용한 소스 데이터셋(source dataset)과 새로운 목표 데이터셋(target dataset)의 유사도에 따라 전이될 정보의 형태 및 양을 결정하는 메타 모델부
    를 포함하고,
    상기 메타 모델부는,
    상기 사전학습 모델 또는 목표 모델의 피쳐맵(feature map)이 입력으로 들어왔을 때, 출력으로 전이학습에 사용될 어텐션맵(attention map)을 생성하여 전이학습에서 전이될 정보의 형태를 결정하는 제1 메타 모델;
    상기 사전학습 모델이 이용한 소스 데이터셋을 통해 가상의 소스 데이터셋 및 가상의 목표 데이터셋을 생성하여 가상의 사전학습 모델 및 가상의 목표 모델을 학습시키며, 상기 학습에 도움이 되도록 메타 모델을 학습시키는 메타 모델 학습부; 및
    상기 소스 데이터셋과 상기 목표 데이터셋의 유사도에 따라 상기 사전학습 모델과 상기 목표 모델의 각 레이어(layer)에서 전이될 정보의 양을 결정하는 제2 메타 모델
    을 포함하는, 전이학습 시스템.
  14. 삭제
  15. 제13항에 있어서,
    상기 메타 모델에 의해 결정된 상기 전이될 정보의 형태 및 양을 이용하여 목표 모델(target model)을 전이학습(transfer learning)시키는 전이학습부
    를 더 포함하는, 전이학습 시스템.
  16. 사전학습 모델이 이용한 소스 데이터셋(source dataset)과 새로운 목표 데이터셋(target dataset)의 유사도에 따라 전이될 정보의 형태 및 양을 결정하는 메타 모델부
    를 포함하고,
    상기 메타 모델부는,
    상기 사전학습 모델 또는 목표 모델의 피쳐맵(feature map)이 입력으로 들어왔을 때, 출력으로 전이학습에 사용될 어텐션맵(attention map)을 생성하여 전이학습에서 전이될 정보의 형태를 결정하는 제1 메타 모델; 및
    상기 소스 데이터셋과 상기 목표 데이터셋의 유사도에 따라 상기 사전학습 모델과 상기 목표 모델의 각 레이어(layer)에서 전이될 정보의 양을 결정하는 제2 메타 모델
    을 포함하고,
    상기 전이될 정보의 양은,
    상기 제2 메타 모델을 통해 출력된 상수 값이며, 상기 상수 값은 각 레이어의 쌍마다 다르게 적용되는 것
    을 특징으로 하는, 전이학습 시스템.
  17. 제15항에 있어서,
    상기 전이학습부는,
    상기 메타 모델을 통해 생성된 상기 목표 모델의 어텐션맵이 메타 모델을 통해 생성된 상기 사전학습 모델의 어텐션맵과 유사해지는 방향으로 전이학습되는 것
    을 특징으로 하는, 전이학습 시스템.
  18. 제17항에 있어서,
    상기 전이학습부는,
    상기 메타 모델을 통해 생성된 상기 목표 모델의 어텐션맵이 메타 모델을 통해 생성된 상기 사전학습 모델의 어텐션맵과 유사해지는 방향으로 전이학습 시, 추가적인 손실을 줄이는 방향으로 학습되는 것
    을 특징으로 하는, 전이학습 시스템.
  19. 제13항에 있어서,
    상기 메타 모델 학습부는,
    손실 함수(loss function)를 최소화하도록 상기 메타 모델 및 상기 가상의 목표 모델을 학습시키는 것
    을 특징으로 하는, 전이학습 시스템.
  20. 제13항에 있어서,
    상기 사전학습 모델 및 상기 목표 모델은 딥러닝(deep learning) 모델로 이루어지며, 사전학습된 딥러닝 모델을 활용하여 상기 새로운 목표 데이터셋을 통해 상기 목표 모델을 학습시키는 것
    을 특징으로 하는, 전이학습 시스템.
KR1020180144354A 2018-11-21 2018-11-21 메타학습에 기반한 임의의 목표 데이터셋과 모델 구조로의 전이학습 방법 및 시스템 KR102184278B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180144354A KR102184278B1 (ko) 2018-11-21 2018-11-21 메타학습에 기반한 임의의 목표 데이터셋과 모델 구조로의 전이학습 방법 및 시스템
US16/214,598 US20200160212A1 (en) 2018-11-21 2018-12-10 Method and system for transfer learning to random target dataset and model structure based on meta learning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180144354A KR102184278B1 (ko) 2018-11-21 2018-11-21 메타학습에 기반한 임의의 목표 데이터셋과 모델 구조로의 전이학습 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20200063330A KR20200063330A (ko) 2020-06-05
KR102184278B1 true KR102184278B1 (ko) 2020-11-30

Family

ID=70727987

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180144354A KR102184278B1 (ko) 2018-11-21 2018-11-21 메타학습에 기반한 임의의 목표 데이터셋과 모델 구조로의 전이학습 방법 및 시스템

Country Status (2)

Country Link
US (1) US20200160212A1 (ko)
KR (1) KR102184278B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220160897A (ko) 2021-05-28 2022-12-06 삼성에스디에스 주식회사 모델 예측 값에 기반한 예측 방법 및 장치

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11580390B2 (en) * 2020-01-22 2023-02-14 Canon Medical Systems Corporation Data processing apparatus and method
CN112001489A (zh) 2020-07-01 2020-11-27 北京百度网讯科技有限公司 优化器学习的方法、装置、电子设备和可读存储介质
KR102292703B1 (ko) * 2020-07-02 2021-08-23 주식회사 마키나락스 피처 셋 정보에 기초한 전이 학습 방법
CN111931991A (zh) * 2020-07-14 2020-11-13 上海眼控科技股份有限公司 气象临近预报方法、装置、计算机设备和存储介质
CN111832282B (zh) * 2020-07-16 2023-04-14 平安科技（深圳）有限公司 融合外部知识的bert模型的微调方法、装置及计算机设备
CN112200211B (zh) * 2020-07-17 2024-04-05 南京农业大学 一种基于残差网络和迁移学习的小样本鱼识别方法及系统
CN111626438B (zh) * 2020-07-27 2021-12-14 北京淇瑀信息科技有限公司 基于模型迁移的用户策略分配方法、装置及电子设备
KR102612430B1 (ko) * 2020-08-28 2023-12-12 한국전자통신연구원 전이학습을 이용한 딥러닝 기반 사용자 손 동작 인식 및 가상 현실 콘텐츠 제공 시스템
CN112291807B (zh) * 2020-10-15 2022-09-23 山东科技大学 一种基于深度迁移学习和跨域数据融合的无线蜂窝网络流量预测方法
KR20220069653A (ko) * 2020-11-20 2022-05-27 한국전자기술연구원 초경량 딥러닝 네트워크 학습 방법
CN113447536B (zh) * 2021-06-24 2022-09-30 山东大学 一种混凝土介电常数反演与病害识别方法及系统
CN112863549A (zh) * 2021-01-20 2021-05-28 广东工业大学 一种基于元-多任务学习的语音情感识别方法及装置
KR102576829B1 (ko) * 2021-01-21 2023-09-12 주식회사 휴이노 생체 신호에 기초한 학습 모델을 관리하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
CN112927152B (zh) * 2021-02-26 2024-02-02 平安科技（深圳）有限公司 Ct图像去噪处理方法、装置、计算机设备及介质
CN113051366A (zh) * 2021-03-10 2021-06-29 北京工业大学 专业领域论文的批量实体抽取方法及系统
KR102406458B1 (ko) * 2021-04-01 2022-06-08 (주)뤼이드 복수의 시험 도메인에 적용되는 전이요소로 학습된 인공지능 모델을 통해 사용자의 실력을 평가하는 장치, 시스템 및 그것의 동작방법
CN113111792A (zh) * 2021-04-16 2021-07-13 东莞市均谊视觉科技有限公司 一种基于迁移学习的饮料瓶回收视觉检测方法
WO2022251684A1 (en) * 2021-05-28 2022-12-01 Visa International Service Association Metamodel and feature generation for rapid and accurate anomaly detection
KR102539047B1 (ko) * 2021-06-04 2023-06-02 주식회사 피앤씨솔루션 증강현실 글라스 장치의 입력 인터페이스를 위한 손동작 및 음성명령어 인식 성능 향상 방법 및 장치
CN113627611A (zh) * 2021-08-06 2021-11-09 苏州科韵激光科技有限公司 一种模型训练方法、装置、电子设备及存储介质
KR102605923B1 (ko) * 2021-09-13 2023-11-24 인하대학교 산학협력단 Pos 카메라를 이용한 상품 검출 시스템 및 방법
KR20230118235A (ko) * 2022-02-04 2023-08-11 한양대학교 산학협력단 메타 학습 기반의 배터리 soc 추정 방법 및 장치
KR102518913B1 (ko) * 2022-12-14 2023-04-10 라온피플 주식회사 인공지능 모델의 성능 관리 장치 및 방법
CN115938390B (zh) * 2023-01-06 2023-06-30 中国科学院自动化研究所 生成语音鉴别模型的连续学习方法、装置和电子设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10878320B2 (en) * 2015-07-22 2020-12-29 Qualcomm Incorporated Transfer learning in neural networks
KR101738825B1 (ko) 2016-11-07 2017-05-23 한국과학기술원 비연속적으로 확률 뉴런을 가지는 딥러닝 모델 및 지식 전파에 기반한 학습 방법 및 그 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Hong, Seunghoon, et al. "Learning transferrable knowledge for semantic segmentation with deep convolutional neural network."(2016.07.26. 공개)*

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220160897A (ko) 2021-05-28 2022-12-06 삼성에스디에스 주식회사 모델 예측 값에 기반한 예측 방법 및 장치

Also Published As

Publication number Publication date
US20200160212A1 (en) 2020-05-21
KR20200063330A (ko) 2020-06-05

Similar Documents

Publication Publication Date Title
KR102184278B1 (ko) 메타학습에 기반한 임의의 목표 데이터셋과 모델 구조로의 전이학습 방법 및 시스템
CN110268422B (zh) 利用强化学习的设备布局优化
US10803591B2 (en) 3D segmentation with exponential logarithmic loss for highly unbalanced object sizes
US11061805B2 (en) Code dependency influenced bug localization
US11048870B2 (en) Domain concept discovery and clustering using word embedding in dialogue design
US20170308790A1 (en) Text classification by ranking with convolutional neural networks
TW202026858A (zh) 在深度神經網路中利用啟動稀疏性
US11010664B2 (en) Augmenting neural networks with hierarchical external memory
KR101934372B1 (ko) 시각적 질의응답을 위해 원소단위곱과 다중모달 잔차 학습을 이용한 데이터 처리 방법 및 시스템
WO2020101948A1 (en) Dynamic precision scaling at epoch granularity in neural networks
CN115965061A (zh) 通过实时代理评估反馈增强的深度神经网络模型设计
US20240020541A1 (en) Model training method and apparatus
US20220076062A1 (en) Image processing device and operation method thereof
JP2018194974A (ja) 情報処理装置、情報処理システム、情報処理プログラムおよび情報処理方法
CN114072816A (zh) 用于神经主题建模中的多视图和多源迁移的方法和系统
CN115271093A (zh) 用于多任务用户界面建模的基于神经网络的多模态变换器
US11687712B2 (en) Lexical analysis training of convolutional neural network by windows of different lengths with matrix of semantic vectors
JP7014230B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN112132281B (zh) 一种基于人工智能的模型训练方法、装置、服务器及介质
Hany et al. Hands-On Generative Adversarial Networks with PyTorch 1. x: Implement next-generation neural networks to build powerful GAN models using Python
US20230281400A1 (en) Systems and Methods for Pretraining Image Processing Models
US20230196067A1 (en) Optimal knowledge distillation scheme
Julian Deep learning with pytorch quick start guide: learn to train and deploy neural network models in Python
US11461665B2 (en) Systems and methods of a Boolean network development environment
KR20220096966A (ko) 학생 친화적 교사 모델 및 학생 모델의 학습을 위한 시스템 및 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant