KR102033136B1 - 준지도 학습 기반의 기계학습 방법 및 그 장치 - Google Patents

준지도 학습 기반의 기계학습 방법 및 그 장치 Download PDF

Info

Publication number
KR102033136B1
KR102033136B1 KR1020190039033A KR20190039033A KR102033136B1 KR 102033136 B1 KR102033136 B1 KR 102033136B1 KR 1020190039033 A KR1020190039033 A KR 1020190039033A KR 20190039033 A KR20190039033 A KR 20190039033A KR 102033136 B1 KR102033136 B1 KR 102033136B1
Authority
KR
South Korea
Prior art keywords
model
data
learning
probability distribution
final output
Prior art date
Application number
KR1020190039033A
Other languages
English (en)
Inventor
박천성
Original Assignee
주식회사 루닛
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 루닛 filed Critical 주식회사 루닛
Priority to KR1020190039033A priority Critical patent/KR102033136B1/ko
Application granted granted Critical
Publication of KR102033136B1 publication Critical patent/KR102033136B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification

Abstract

준지도 학습 기반의 기계학습 방법 및 그 장치가 제공된다. 본 개시의 몇몇 실시예에 따른 준지도 학습 기반의 기계학습 방법은 제1 모델, 상기 제1 모델보다 더 적은 데이터로 학습이 수행된 제2 모델 및 상기 제1 모델의 최종 출력 확률 분포를 학습한 제3 모델의 최종 출력 확률 분포에 기초하여 레이블 정보가 주어지지 않은 데이터셋에서 추가 학습할 데이터를 정확하게 선별할 수 있다. 또한, 상기 선별된 데이터의 예측 레이블 정보를 추가로 학습시킴으로써 기계학습 모델의 성능이 점진적으로 향상될 수 있다.

Description

준지도 학습 기반의 기계학습 방법 및 그 장치{METHOD FOR MACHINE LEARNING BASED ON SEMI-SUPERVISED LEARNING AND APPARATUS THEREOF}
본 개시는 준지도 학습 기반의 기계학습 방법 및 그 장치에 관한 것이다. 보다 자세하게는, 레이블 정보가 주어지지 않은 데이터셋에서 올바른 예측 레이블을 갖는 데이터 샘플들을 정확하게 선별하고, 선별된 데이터 샘플들을 추가 학습함으로써 타깃 모델의 성능을 향상시킬 수 있는 준지도 학습 기반의 기계학습 방법 및 그 방법을 수행하는 장치에 관한 것이다.
준지도 학습(semi-supervised learning) 기법은 레이블 정보가 주어진 데이터셋과 레이블 정보가 주어지지 않은 데이터셋을 함께 활용하여 모델의 성능을 향상시키는 기법이다. 이러한 준지도 학습 기법은 레이블이 있는 데이터 샘플을 구하기 어렵거나 레이블링 작업에 많은 비용이 소요되는 도메인(e.g. 의료 도메인)에서 타깃 모델의 성능 향상을 꾀하기 위해 많이 활용되고 있다.
따라서, 레이블이 주어지지 않은 데이터셋에서 올바른 예측 레이블을 갖는 데이터 샘플들을 정확하게 선별할 수 있는 방법이 요구된다.
한국공개특허 제10-2013-0063565호 (2013.06.17 공개)
본 개시의 몇몇 실시예들을 통해 해결하고자 하는 기술적 과제는, 타깃 모델의 성능 개선 효과를 더욱 향상시킬 수 있는 준지도 학습 기반의 기계학습 방법 및 그 방법을 수행하는 장치를 제공하는 것이다.
보다 구체적으로, 본 개시의 몇몇 실시예들을 통해 해결하고자 하는 기술적 과제는, 레이블 정보가 주어지지 않은 데이터셋에서 올바른 예측 레이블을 갖는 데이터 샘플들을 정확하게 선별할 수 있는 방법 및 그 방법을 수행하는 장치를 제공하는 것이다.
본 개시의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시의 기술분야에서의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 해결하기 위한 본 개시의 몇몇 실시예에 따른 준지도 학습 기반의 기계학습 방법은, 제1 추가학습데이터를 추출하기 위한 제1 과정을 포함하고, 상기 제1 과정은, 레이블 정보가 주어진 제1 데이터셋과 레이블 정보가 주어지지 않은 제2 데이터셋을 얻는 단계, 상기 제1 데이터셋을 이용하여 제1 모델과, 상기 제1 데이터셋에서 상기 제1 모델보다 더 적은 데이터를 이용하여 제2 모델을 학습시키는 단계, 상기 제1 모델을 이용하여 상기 제1 데이터셋에 대한 새로운 레이블 정보인 제1 레이블 정보를 생성하고, 상기 생성된 제1 레이블 정보를 기초로 제3 모델을 학습시키는 단계 및 상기 제1 모델, 상기 제2 모델 및 상기 제3 모델 각각의 최종 출력 확률 분포에 기초하여 상기 제2 데이터셋에서 상기 제1 추가학습데이터를 선별하는 단계를 포함할 수 있다.
몇몇 실시예에서, 상기 제1 추가학습데이터를 선별하는 단계는, 상기 제1 모델의 최종 출력 확률 분포와 상기 제2 모델의 최종 출력 확률 분포 간의 차이 및 상기 제1 모델의 최종 출력 확률 분포와 상기 제3 모델의 최종 출력 확률 분포 간의 차이에 기초하여 상기 제1 추가학습데이터를 선별하는 단계를 포함할 수 있다.
몇몇 실시예에서, 상기 최종 출력 확률 분포는 컨피던스 스코어(confidence score)를 포함하고, 상기 제1 추가학습데이터를 선별하는 단계는, 상기 제1 모델의 제1 컨피던스 스코어,와 상기 제2 모델의 제2 컨피던스 스코어 및 상기 제3 모델의 제3 컨피던스 스코어에 기초하여 상기 제2 데이터셋에 포함된 각 데이터 샘플에 대한 특징 벡터를 생성하는 단계, 상기 생성된 특징 벡터를 클러스터링하여 벡터 공간 상에 복수의 클러스터를 구축하는 단계, 상기 벡터 공간 상의 상기 제1 데이터셋에 포함된 데이터 샘플의 위치를 이용하여 상기 복수의 클러스터 중에서 추가학습클러스터를 선택하는 단계 및 상기 선택된 추가학습클러스터에 포함된 데이터 샘플 중에서 상기 제1 추가학습데이터를 선별하는 단계를 포함할 수 있다.
몇몇 실시예에서, 상기 제1 과정을 이용하여 제2 추가학습데이터를 추출하기 위한 제2 과정을 더 포함하고, 상기 제2 과정은, 상기 제1 모델을 이용하여 상기 제1 추가학습데이터에 대한 제2 레이블 정보를 생성하고, 상기 생성된 제2 레이블 정보 및 상기 제1 데이터셋을 기초로 제4 모델을 학습시키는 단계, 상기 제4 모델을 이용하여 상기 제1 데이터셋 및 상기 제1 추가학습데이터에 대한 제3 레이블 정보를 생성하고, 상기 생성된 제3 레이블 정보를 기초로 제5 모델을 학습시키는 단계 및 상기 제1 모델, 상기 제4 모델 및 상기 제5 모델 각각의 최종 출력 확률 분포에 기초하여, 상기 제2 데이터셋에서 상기 제1 추가학습데이터를 제외한 나머지에서 제2 추가학습데이터를 선별하는 단계를 포함할 수 있다.
상기 기술적 과제를 해결하기 위한 본 개시의 몇몇 실시예에 따른 준지도 학습 기반의 기계학습 장치는, 프로세서, 상기 프로세서에 의하여 수행되는 컴퓨터 프로그램을 로드(load)하는 메모리 및 상기 컴퓨터 프로그램을 저장하는 스토리지를 포함하되, 상기 컴퓨터 프로그램은, 상기 프로세서가 제1 추가학습데이터를 추출하기 위한 제1 절차를 수행하도록 하는 하나 이상의 인스트럭션들(instruction)을 포함할 수 있다. 이때, 상기 제1 절차는, 레이블 정보가 주어진 제1 데이터셋과 레이블 정보가 주어지지 않은 제2 데이터셋을 얻는 과정, 상기 제1 데이터셋을 이용하여 제1 모델과, 상기 제1 데이터셋에서 상기 제1 모델보다 더 적은 데이터를 이용하여 제2 모델을 학습시키는 과정, 상기 제1 모델을 이용하여 상기 제1 데이터셋에 대한 새로운 레이블 정보인 제1 레이블 정보를 생성하고, 상기 생성된 제1 레이블 정보를 기초로 제3 모델을 학습시키는 과정, 상기 제1 모델, 상기 제2 모델 및 상기 제3 모델 각각의 최종 출력 확률 분포에 기초하여 상기 제2 데이터셋에서 상기 제1 추가학습데이터를 선별하는 과정을 포함할 수 있다.
도 1는 준지도 학습 기법의 문제점을 설명하기 위한 도면이다.
도 2는 본 개시의 몇몇 실시예에 따른 준지도 학습 기반 기계학습 장치와 학습 환경을 설명하기 위한 도면이다.
도 3 및 도 4는 본 개시의 제1 실시예에 따른 준지도 학습 기반 기계학습 방법을 설명하기 위한 도면이다.
도 5 내지 도 7은 본 개시의 제2 실시예에 따른 준지도 학습 기반 기계학습 방법을 설명하기 위한 도면이다.
도 8은 본 개시의 제3 실시예에 따른 준지도 학습 기반 기계학습 방법을 설명하기 위한 도면이다.
도 9 및 도 10은 본 개시의 제4 실시예에 따른 준지도 학습 기반 기계학습 방법을 설명하기 위한 도면이다.
도 11은 본 개시의 다양한 실시예에 따른 준지도 학습의 반복 수행 과정을 설명하기 위한 예시도이다.
도 12 내지 도 14는 준지도 학습 기법과 제안된 방법의 성능에 대한 비교 시험 결과를 나타내는 도면이다.
도 15는 본 개시의 다양한 실시예에 따른 장치를 구현할 수 있는 예시적인 컴퓨팅 장치를 나타내는 하드웨어 구성도이다.
이하, 첨부된 도면을 참조하여 본 개시의 바람직한 실시예들을 상세히 설명한다. 본 개시의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 개시의 기술적 사상은 이하의 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 개시의 기술적 사상을 완전하도록 하고, 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 본 개시의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 개시의 기술적 사상은 청구항의 범주에 의해 정의될 뿐이다.
각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 개시를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 개시를 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.
또한, 본 개시의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
명세서에서 사용되는 "포함한다 (comprises)" 및/또는 "포함하는 (comprising)"은 언급된 구성 요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성 요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
본 명세서에 대한 설명에 앞서, 본 명세서에서 사용되는 몇몇 용어들에 대하여 명확하게 하기로 한다.
본 명세서에서, 타깃 모델(target model)이란, 목적 태스크를 수행하는 모델이자 기계학습을 통해 구축하고자 하는 대상 모델을 지칭한다.
본 명세서에서, 보조 모델(auxiliary model)이란, 상기 타깃 모델에 대한 준지도 학습을 수행하기 위해 보조적으로 활용되는 모델을 지칭한다.
본 명세서에서, 컨피던스 스코어(confidence score)란, 활성화 함수(activation function)를 거친 모델의 최종 출력 확률 분포를 의미할 수 있다. 예를 들면, 컨피던스 스코어는 소프트맥스(softmax) 활성화 함수를 거친 모델의 최종 출력 확률 분포일 수 있다.
본 명세서에서 인스트럭션(instruction)이란, 기능을 기준으로 묶인 일련의 컴퓨터 판독가능 명령어들로서 컴퓨터 프로그램의 구성 요소이자 프로세서에 의해 실행되는 것을 가리킨다.
본 개시의 몇몇 실시예들에 대한 본격적인 설명에 앞서, 준지도 학습 기법에 대하여 간략하게 설명한다. 준지도 학습 기법은 도 1에 도시된 바와 같이 수행될 수 있다. 도 1을 참조하면, 준지도 학습 기법은 레이블 정보가 주어진 제1 데이터셋(1)을 이용하여 타깃 모델(5)을 학습하는 과정(①), 레이블 정보가 주어지지 않은 제2 데이터셋(3)에 대한 레이블링 과정(②, ③) 및 레이블링 결과를 이용한 추가 학습 과정(④) 순서로 진행될 수 있다. 여기서, 레이블링 과정(②, ③)은 제2 데이터셋(3)에서 예측 레이블이 정확할 것으로 예측되는 일부 데이터 샘플(7, e.g. 특정 클래스의 컨피던스 스코어가 매우 높은 데이터 샘플)을 선별하고, 선별된 일부 데이터 샘플(7)에 예측 레이블을 부여하는 과정이다.
그러나, 충분히 학습되지 않은 타깃 모델(5)은 입력된 데이터 샘플의 레이블을 정확하게 예측할 수 없다. 가령, 타깃 모델(5)이 객체의 클래스를 분류하는 모델이라고 할 때, 제1 객체에 대한 이미지를 충분히 학습하지 못한 타깃 모델(5)은 제2 객체의 이미지를 제1 객체로 잘못 분류할 수 있는 것이다. 이와 같은 경우, 타깃 모델(5)은 결국 잘못된 예측 레이블 정보를 학습하게 되기 때문에, 준지도 학습에 따른 성능 향상 효과는 미미해지며, 목표 성능에 도달할 때까지 상당한 시간 비용과 컴퓨팅 비용이 소모될 수 있다.
이하, 본 개시의 몇몇 실시예들에 대하여 첨부된 도면에 따라 상세하게 설명한다.
도 2는 본 개시의 몇몇 실시예에 따른 준지도 학습 기반의 기계학습 장치(10)와 학습 환경을 설명하기 위한 도면이다.
도 2에 도시된 바와 같이, 준지도 학습 기반의 기계학습 장치(10)는 레이블 정보가 주어진 제1 데이터셋(11)과 레이블 정보가 주어지지 않은 제2 데이터셋(13)를 함께 활용하여 타깃 모델(15)을 위한 기계학습을 수행하는 컴퓨팅 장치이다. 상기 컴퓨팅 장치는, 노트북, 데스크톱(desktop), 랩탑(laptop), 서버(server) 등이 될 수 있으나, 이에 국한되는 것은 아니며 컴퓨팅 기능이 구비된 모든 종류의 장치를 포함할 수 있다. 이하, 설명의 편의상, 기계학습 장치(10)를 학습 장치(10)로 약칭하도록 한다.
도 2는 학습 장치(10)가 하나의 물리적 컴퓨팅 장치로 구현된 것이 예시되어 있으나, 복수의 물리적 컴퓨팅 장치로 구현될 수도 있다. 예를 들면, 실제 물리적 환경에서 학습 장치(10)의 제1 기능은 제1 컴퓨팅 장치에서 구현되고, 제2 기능은 제2 컴퓨팅 장치에서 구현될 수도 있다.
제1 데이터셋(11)은 정답 레이블이 주어진 데이터 샘플의 집합이고, 제2 데이터셋은 정답 레이블이 주어지지 않은 데이터 샘플의 집합이다. 일반적으로, 제2 데이터셋(13)의 양은 제1 데이터셋(1)의 양을 상회할 수 있어서, 타깃 모델(15)의 성능을 향상시키기 위해서는 제2 데이터셋(13)에서 올바른 예측 레이블을 갖는 데이터 샘플들을 정확하게 선별하는 것이 관건이라 할 수 있다.
본 개시의 다양한 실시예에 따르면, 학습 장치(10)는 타깃 모델(15) 외에도 다양한 보조 모델을 이용하여 제2 데이터셋(13)에 대한 레이블링을 수행할 수 있다. 보다 구체적으로, 학습 장치(10)는 타깃 모델(15) 및/또는 보조 모델을 이용하여 제2 데이터셋(13)에서 일부 데이터셋을 선별하고, 상기 일부 데이터셋에 대해 자동 레이블링(즉, 예측 레이블을 부여)을 수행하며, 상기 일부 데이터셋에 대한 예측 레이블 정보를 이용하여 타깃 모델(15)을 추가 학습시킬 수 있다. 여기서, 상기 일부 데이터셋은 상기 예측 레이블 정보가 정확할 것으로 예상되는 데이터 샘플의 집합을 의미한다. 또한, 학습 장치(10)는 상기 일부 데이터셋을 제외한 나머지 데이터셋에 대해 전술한 선별, 자동 레이블링 및 추가 학습 과정을 반복 수행함으로써 타깃 모델(15)에 대한 성능을 점진적으로 향상시킬 수 있다. 그렇게 함으로써, 준지도 학습에 따른 성능 개선 효과가 극대화될 수 있다. 상기 보조 모델과 연관된 다양한 실시예에 대해서는 도 3 이하의 도면을 참조하여 상세하게 설명하도록 한다.
지금까지 도 2를 참조하여 본 개시의 몇몇 실시예에 따른 학습 장치(10)와 학습 환경에 대하여 설명하였다. 이하에서는, 본 개시의 다양한 실시예에 따른 준지도 학습 기반의 기계학습 방법에 대하여 설명하도록 한다.
이하에서 후술될 방법들의 각 단계는 컴퓨팅 장치에 의해 수행될 수 있다. 다시 말하면, 상기 방법들의 각 단계는 컴퓨팅 장치의 프로세서에 의해 실행되는 하나 이상의 인스트럭션들로 구현될 수 있다. 상기 방법들에 포함되는 모든 단계는 하나의 물리적인 컴퓨팅 장치에 의하여 실행될 수도 있을 것이나, 상기 방법들의 제1 단계들은 제1 컴퓨팅 장치에 의하여 수행되고, 상기 방법들의 제2 단계들은 제2 컴퓨팅 장치에 의하여 수행될 수도 있다. 이하에서는, 상기 방법들의 각 단계는 학습 장치(10)에 의해 수행되고, 도 2에 예시된 학습 환경에서 수행되는 것을 가정하여 설명을 이어가도록 한다. 따라서, 상기 방법들에 관한 설명에서 각 동작의 주어가 생략된 경우, 상기 예시된 장치(10)에 의하여 수행될 수 있는 것으로 이해될 수 있을 것이다. 또한, 이하에서 후술될 방법들은 필요에 따라 논리적으로 수행 순서가 바뀔 수 있는 범위 안에서 각 동작의 수행 순서가 바뀔 수 있음은 물론이다.
먼저, 본 개시의 제1 실시예에 따른 준지도 학습 기반의 기계학습 방법에 대하여 설명하도록 한다. 상기 제1 실시예는 제1 타입의 보조 모델을 이용하여 준지도 학습을 수행하는 방법에 관한 것이다. 이때, 상기 제1 타입의 보조 모델은 상기 타깃 모델보다 더 적은 학습이 수행된 모델을 의미한다. 가령, 상기 제1 타입의 보조 모델은 상기 타깃 모델보다 더 적은 개수의 데이터 샘플을 학습한 모델 또는 더 적은 횟수의 학습이 수행된 모델이 될 수 있을 것이나, 본 개시의 기술적 범위가 이에 한정되는 것은 아니다. 이하, 상기 제1 실시예에 한하여, 보조 모델은 상기 제1 타입의 보조 모델을 지칭하는 의미로 사용한다.
이하, 상기 제1 실시예의 세부 내용에 대하여 도 3 및 도 4를 참조하여 상세하게 설명한다. 도 3은 상기 제1 실시예에 따른 기계학습 방법을 나타내는 예시적인 흐름도이고, 도 4는 상기 제1 실시예에 따른 기계학습 방법을 부연 설명하기 위한 개념도이다.
도 3에 도시된 바와 같이, 상기 제1 실시예는 레이블 정보가 주어진 제1 데이터셋과 레이블 정보가 주어지지 않은 제2 데이터셋 획득하는 단계 S100에서 시작된다.
단계 S120에서, 상기 제1 데이터셋을 이용하여 타깃 모델과 보조 모델이 학습된다. 이때, 상기 보조 모델은 상기 타깃 모델보다 더 적은 학습이 수행될 수 있다. 가령, 도 4에 도시된 바와 같이, 레이블 정보가 주어진 제1 데이터셋(21) 전체를 이용하여 타깃 모델(24)이 학습된다면, 보조 모델(23)은 제1 데이터셋(21)의 일부(22)를 이용하여 학습될 수 있다. 따라서, 보조 모델은 타깃 모델보다 더 적은 데이터를 이용하여 학습된 모델일 수 있다.
다만, 다른 몇몇 실시예에서는, 상기 제1 보조 모델은 상기 타깃 모델보다 더 적은 횟수의 학습이 수행된 모델일 수도 있다. 즉, 특정 데이터셋(e.g. 데이터셋 21 or 22)에 대해 n회(단, n은 2이상의 자연수) 이상의 학습을 수행하여 상기 타깃 모델이 구축된 경우, 상기 제1 보조 모델은 동일한 데이터셋에 대해 n회 미만의 학습을 수행함으로써 구축될 수도 있다.
단계 S140에서, 타깃 모델과 보조 모델의 최종 출력 확률 분포에 기초하여 제2 데이터셋 중에서 추가학습데이터가 선별된다. 보다 자세하게는, 제2 데이터셋에 포함된 복수의 데이터 샘플 각각을 상기 타깃 모델과 상기 보조 모델에 입력하여 각 모델의 최종 출력 확률 분포가 획득될 수 있다. 가령, 도 4에 도시된 바와 같이, 상기 제2 데이터셋에 포함된 데이터 샘플(25)을 보조 모델(23)과 타깃 모델(24)에 입력하여 각 모델의 클래스별 컨피던스 스코어(26, 27)가 획득될 수 있다. 또한, 두 모델의 컨피던스 스코어(26, 27)를 이용하여 상기 제2 데이터셋 중 적어도 일부가 상기 추가학습데이터로 선별되고, 추가학습데이터에는 예측 레이블(28)이 부여될 수 있다. 이때, 두 모델의 최종 출력 확률 분포를 이용하는 구체적인 방식은 실시예에 따라 달라질 수 있다.
몇몇 실시예에서, 상기 타깃 모델의 최종 출력 확률 분포와 상기 보조 모델의 최종 출력 확률 분포의 차이에 기초하여 상기 추가학습데이터가 선별될 수 있다. 가령, 두 최종 출력 확률 분포의 차이가 기준치 미만인 데이터 샘플이 상기 추가학습데이터로 선별될 수 있다. 학습이 더 진행되었음에도 최종 출력 확률 분포가 변동되지 않은 경우(e.g. 두 모델 모두 클래스 A의 컨피던스 스코어를 매우 높게 출력한 경우)라면, 해당 데이터 샘플의 예측 레이블은 정확한 것일 가능성이 높기 때문이다. 몇몇 실시예에서는, 상기 차이를 산출하기 위해 Kullback-Leibler 발산(KL divergence), 또는 KL 발산의 변형 기법들(e.g. Jensen-Shannon divergence)이 이용될 수 있다. 그러나, 본 개시의 기술적 범위가 이에 한정되는 것은 아니다.
몇몇 실시예에서, 상기 타깃 모델의 최종 출력 확률 분포에 대한 엔트로피(entropy) 값과 상기 보조 모델의 최종 출력 확률 분포에 대한 엔트로피 값 중 적어도 일부에 기초하여 상기 추가학습데이터가 선별될 수 있다. 가령, 특정 데이터 샘플에 대한 두 모델의 엔트로피 값이 모두 기준치 미만인 경우, 상기 특정 데이터 샘플이 추가학습데이터로 선별될 수 있다.
몇몇 실시예에서는, 전술한 실시예들의 조합에 기초하여 상기 추가학습데이터가 선별될 수 있다. 이를테면, 두 모델의 최종 출력 확률 분포에 대한 엔트로피 값의 차이에 기초하여 추가학습데이터가 선별될 수도 있다.
단계 S160에서, 추가학습데이터와 추가학습데이터의 예측 레이블 정보를 이용하여 타깃 모델이 학습된다. 이때, 상기 예측 레이블 정보는 상기 타깃 모델 및/또는 상기 보조 모델을 통해 출력된 최종 출력 확률 분포(e.g. 클래스별 컨피던스 스코어)에 따라 예측된 레이블 정보(e.g. 도 4의 28)를 의미한다. 본 단계에서 타깃 모델을 학습하는 구체적인 방식은 실시예에 따라 달라질 수 있다.
몇몇 실시예에서는, 타깃 모델을 초기화하고, 처음부터 다시 타깃 모델에 대한 재학습이 수행될 수 있다. 예를 들어, 상기 제1 데이터셋과 상기 선별된 추가학습데이터를 이용하여 초기화된 타깃 모델에 대해 다시 학습이 수행될 수 있다.
다른 몇몇 실시예에서는, 타깃 모델에 대한 초기화 없이, 기 학습된 타깃 모델에 대해 추가 학습이 수행될 수 있다. 즉, 상기 선별된 추가학습데이터를 이용하여 타깃 모델을 미세 조정(fine-tuning)하는 방식으로 추가 학습이 이루어질 수 도 있다.
한편, 몇몇 실시예에서는, 전술한 단계 S120 내지 S160은 반복적으로 수행될 수 있다. 이때, 반복 수행되는 단계들은 추가학습데이터를 제외한 나머지 데이터셋에 대해서 수행될 수 있을 것이나, 본 개시의 기술적 범위가 이에 한정되는 것은 아니다. 본 실시예에 따르면, 점진적으로 데이터 선별의 정확도가 향상되고, 타깃 모델의 성능 또한 점진적으로 향상될 수 있다. 본 실시예에 대한 상세한 설명은 도 11을 참조하도록 한다.
또한, 몇몇 실시예에서는, 상기 타깃 모델의 성능이 기준치를 초과하는 경우, 보조 모델의 도움 없이 상기 타깃 모델만을 이용하여 준지도 학습이 수행될 수도 있다. 상기 타깃 모델이 충분히 학습된 경우라면, 보조 모델 없이도 올바른 예측 레이블을 갖는 데이터셋을 정확하게 선별할 수 있기 때문이다. 가령, 도 1에 예시된 준지도 학습 기법과 유사한 방식으로 타깃 모델만을 이용하여 레이블링 및 학습이 수행될 수 있다.
지금가지 도 3 및 도 4를 참조하여 본 개시의 제1 실시예에 따른 준지도 학습 기반의 기계학습 방법에 대하여 설명하였다. 상술한 방법에 따르면, 타깃 모델보다 덜 학습된 보조 모델을 더 이용하여 추가학습데이터가 정확하게 선별될 수 있다. 그 결과, 준지도 학습에 따른 타깃 모델의 성능 개선 효과가 향상될 수 있다.
이하에서는, 본 개시의 제2 실시예에 따른 준지도 학습 기반의 기계학습 방법에 대하여 설명하도록 한다. 설명의 편의상, 앞선 실시예와 중복되는 내용에 대한 설명은 생략하나, 앞선 실시예의 내용이 본 실시예에도 적용될 수 있음은 물론이다.
상기 제2 실시예 또한 1개의 보조 모델을 이용하여 준지도 학습을 수행하는 방법에 관한 것이다. 이때, 상기 보조 모델은 제2 타입의 보조 모델로서, 다른 모델의 최종 출력 확률 분포를 학습한 모델을 의미한다. 즉, 상기 타깃 모델이 특정 클래스(e.g. 클래스 A, 클래스 B)를 가리키는 레이블 정보를 학습한 모델이라면, 상기 보조 모델은 각 클래스 별로 분포된 확률을 새로운 레이블로 이용하여 학습한 모델로 이해될 수 있다. 이와 같이 학습된 보조 모델은 클래스를 정확하게 예측하기 어려운 데이터 샘플(e.g. 복수의 클래스가 포함된 데이터 샘플, 분류가 애매한 데이터 샘플 등)을 보다 정확하게 판별할 수 있기 때문에, 추가학습데이터 선별에 활용(e.g. 클래스 예측이 어려운 데이터 샘플을 배제하기 위해 활용)될 수 있다. 이하, 상기 제2 실시예에 한하여, 보조 모델은 상기 제2 타입의 보조 모델을 지칭하는 의미로 사용한다.
이하, 상기 제2 실시예의 세부 내용에 대하여 도 5 내지 도 7을 참조하여 상세하게 설명한다. 도 5는 상기 제2 실시예에 따른 기계학습 방법을 나타내는 예시적인 흐름도이고, 도 6 및 도 7은 상기 제2 실시예에 따른 기계학습 방법을 부연 설명하기 위한 개념도이다.
도 5에 도시된 바와 같이, 상기 제2 실시예 또한 레이블 정보가 주어진 제1 데이터셋과 레이블 정보가 주어지지 않은 제2 데이터셋을 획득하는 단계 S200에서 시작된다.
단계 S220에서, 상기 제1 데이터셋을 이용하여 타깃 모델에 대한 학습이 수행된다. 또한, 상기 학습을 통해 상기 제1 데이터셋에 대한 최종 출력 확률 분포 정보가 획득된다. 가령, 상기 제1 데이터셋에 포함된 각각의 데이터 샘플을 상기 타깃 모델에 입력하면, 각 데이터 샘플에 대응되는 최종 출력 확률 분포가 획득될 수 있다.
단계 S240에서, 최종 출력 확률 분포 정보를 기초로 제1 데이터셋에 대한 신규 레이블 정보가 생성되고, 상기 신규 레이블 정보를 이용하여 보조 모델이 학습된다. 가령, 도 6에 도시된 바와 같이, 제1 데이터셋(31)으로 타깃 모델(33)을 학습하는 과정에서 클래스별 컨피던스 스코어 정보(35)가 획득되고, 획득된 정보(35)를 제1 데이터셋(31)의 레이블 정보로 이용하여 보조 모델(37)이 학습될 수 있다.
단계 S260에서, 상기 보조 모델의 최종 출력 확률 분포에 기초하여 제2 데이터셋 중에서 추가학습데이터가 선별된다. 예를 들어, 상기 최종 출력 확률 분포의 엔트로피 값에 기초하여 상기 추가학습데이터가 선별(e.g. 엔프로피 값이 기준치 미만인 데이터 샘플을 선별)될 수 있다.
몇몇 실시예에서는, 상기 타깃 모델의 최종 출력 확률 분포 정보가 추가로 이용될 수 있다. 이를테면, 도 7에 도시된 바와 같이, 타깃 모델(33)과 보조 모델(37)의 컨피던스 스코어 정보(43, 45)를 함께 이용하여 데이터 샘플(41)의 예측 레이블(47)이 정확한지에 대한 판단이 수행되고, 상기 판단에 기초하여 데이터 샘플(41)에 예측 레이블(47)이 부여될 수 있다. 본 실시예에서, 두 모델의 최종 출력 확률 분포 정보를 이용하는 방식은 최종 출력 확률 분포 간의 차이 값을 이용하는 방식, 두 모델의 최종 출력 확률 분포에 대한 엔트로피 값을 이용하는 방식, 상기 엔트로피 값의 차이 값을 이용하는 방식 등을 포함할 수 있다. 이에 대한 자세한 설명은 전술한 제1 실시예에 대한 설명 내용을 더 참조하도록 한다.
단계 S280에서, 상기 추가학습데이터와 추가학습데이터의 예측 레이블 정보를 이용하여 타깃 모델이 학습된다.
몇몇 실시예에서는, 전술한 단계 S220 내지 S280이 반복적으로 수행될 수 있다. 이때, 반복 수행되는 단계들은 추가학습데이터를 제외한 나머지 데이터셋에 대해서 수행될 수 있을 것이나, 본 개시의 기술적 범위가 이에 한정되는 것은 아니다. 본 실시예에 따르면, 점진적으로 데이터 선별의 정확도가 향상되고, 타깃 모델의 성능 또한 점진적으로 향상될 수 있다. 본 실시예에 대한 상세한 설명은 도 11을 참조하도록 한다.
지금가지 도 5 내지 도 7을 참조하여 본 개시의 제2 실시예에 따른 준지도 학습 기반의 기계학습 방법에 대하여 설명하였다. 상술한 방법에 따르면, 클래스별 컨피던스 스코어 정보를 학습한 보조 모델을 이용하여 추가학습데이터가 정확하게 선별될 수 있다. 이를테면, 상기 보조 모델을 통해 복수의 객체가 존재하는 데이터 샘플, 분류가 애매한 데이터 샘플 등을 필터링하고, 예측이 쉬운 데이터 샘플만을 추가학습데이터로 선별함으로써, 데이터 선별의 정확도가 향상될 수 있다. 그 결과, 준지도 학습에 따른 타깃 모델의 성능 개선 효과도 향상될 수 있다.
이하에서는, 본 개시의 제3 실시예에 따른 준지도 학습 기반의 기계학습 방법에 대하여 설명하도록 한다. 설명의 편의상, 앞선 실시예와 중복되는 내용에 대한 설명은 생략하나, 앞선 실시예의 내용이 본 실시예에도 적용될 수 있음은 물론이다.
도 8은 본 개시의 제3 실시예에 따른 준지도 학습 기반의 기계학습 방법을 나타내는 개념도이다.
도 8에 도시된 바와 같이, 상기 제3 실시예는 2개의 보조 모델(52, 53)을 이용하여 준지도 학습을 수행하는 방법에 관한 것이다. 이때, 제1 보조 모델(52)은 전술한 제1 실시예에 따른 보조 모델(즉, 제1 타입의 보조 모델)이고, 제2 보조 모델(53)은 전술한 제2 실시예에 따른 보조 모델(즉, 제2 타입의 보조 모델)이다. 각 보조 모델(52, 53)과 타깃 모델(54)에 대한 학습 과정은 전술한 실시예와 동일하므로, 더 이상의 설명은 생략하도록 한다.
상기 제3 실시예에서는, 레이블 정보가 주어지지 않은 데이터셋에서 추가학습데이터를 선별하기 위해 타깃 모델(54)과 2개의 보조 모델(52, 53)의 최종 출력 확률 분포가 이용될 수 있다. 가령, 상기 데이터셋에 포함된 데이터 샘플(51)을 각 모델(52 내지 54)에 입력하여 각 모델의 클래스별 컨피던스 스코어(55 내지 57)가 획득되면, 획득된 클래스별 컨피던스 스코어(55 내지 57)를 기초로 예측 레이블(58)의 정확도가 판단되고, 상기 판단에 기초하여 데이터 샘플(51)이 추가학습데이터로 선별될 수 있다. 데이터 샘플(51)이 추가학습데이터로 선별된 경우, 데이터 샘플(51)과 그의 예측 레이블(58)를 이용하여 타깃 모델(54)이 학습될 수 있다.
몇몇 실시예에서, 상기 추가학습데이터를 선별하기 위해서, 각 모델(52 내지 54)의 최종 출력 확률 분포 또는 클래스별 컨피던스 스코어(55 내지 57)의 엔트로피 값, 차이 값(e.g. KL 발산, JS 발산) 중 적어도 하나가 이용될 수 있다. 이에 대한 자세한 설명은 전술한 실시예들을 참조하도록 한다.
지금가지 도 8을 참조하여 본 개시의 제3 실시예에 따른 준지도 학습 기반의 기계학습 방법에 대하여 설명하였다. 상술한 방법에 따르면, 모델보다 복수의 보조 모델을 이용하여 추가학습데이터가 더욱 정확하게 선별될 수 있으며, 준지도 학습에 따른 타깃 모델의 성능 개선 효과 또한 더욱 향상될 수 있다.
이하에서는, 본 개시의 제4 실시예에 따른 준지도 학습 기반의 기계학습 방법에 대하여 설명하도록 한다. 설명의 편의상, 앞선 실시예와 중복되는 내용에 대한 설명은 생략하나, 앞선 실시예의 내용이 본 실시예에도 적용될 수 있음은 물론이다.
상기 제4 실시예는 추가학습데이터를 선별 시 클러스터링 기법을 활용하는 방법에 관한 것이다. 이하에서는, 타깃 모델과 2개의 보조 모델을 모두 이용하여 것을 예로 들어서 설명하나, 예시된 모델들 중 일부만이 이용될 수도 있음은 물론이다.
도 9는 본 개시의 제4-1 실시예에 따른 준지도 학습 기반의 기계학습 방법을 설명하기 위한 예시도이다. 이하, 도 9를 참조하여 설명한다.
상기 제4-1 실시예는 레이블 정보가 주어진 제1 데이터셋(67)에 클러스터링 기법을 적용하여 추가학습데이터를 선별하는 방법에 관한 것이다. 보다 구체적으로, 상기 제4-1 실시예에서는, 제1 데이터셋(67)에 포함된 각 데이터 샘플에 대해 특징 벡터가 생성되고, 상기 특징 벡터를 클러스터링하여 벡터 공간 상에 하나 이상의 클러스터(68)가 구축된다.
몇몇 실시예에서, 상기 특징 벡터(e.g. 65)는 각 모델(62 내지 64)의 최종 출력 확률 분포(e.g. 클래스별 컨피던스 스코어), 상기 최종 출력 확률 분포에 대한 엔트로피 값, 상기 최종 출력 확률 분포 간의 차이 값(e.g. KL 발산, JS 발산 등) 중 적어도 일부를 요소 값으로 포함할 수 있다.
또한, 상기 벡터 공간 상에서 제2 데이터셋에 포함된 데이터 샘플(61)의 위치(즉, 특징 벡터 65가 가리키는 위치 66)와 클러스터(68)와의 거리에 기초하여 추가학습데이터가 선별될 수 있다. 이때, 상기 제2 데이터셋은 물론 레이블 정보가 주어지지 않은 데이터셋이다. 가령, 데이터 샘플(61)의 위치(66)와 클러스터(68)의 중심 간의 거리가 기준치 미만인 경우, 데이터 샘플(61)은 추가학습데이터로 선별될 수 있다.
도 10은 본 개시의 제4-2 실시예에 따른 준지도 학습 기반의 기계학습 방법을 설명하기 위한 예시도이다. 이하, 도 10을 참조하여 설명한다.
상기 제4-2 실시예는 레이블 정보가 주어지지 않은 제2 데이터셋(71)에 클러스터링 기법을 적용하여 추가학습데이터를 선별하는 방법에 관한 것이다. 보다 구체적으로, 상기 제4-2 실시예에서는, 제2 데이터셋(71)에 포함된 각 데이터 샘플에 대해 특징 벡터(75)가 생성되고, 특징 벡터(75)를 클러스터링하여 벡터 공간 상에 하나 이상의 클러스터(76, 77)가 구축된다. 전술한 바와 같이, 특징 벡터(75)는 각 모델(72 내지 74)의 최종 출력 확률 분포(e.g. 클래스별 컨피던스 스코어)에 기초하여 생성될 수 있다.
또한, 상기 벡터 공간 상의 제1 데이터셋(78)의 위치(즉 데이터 샘플의 특징 벡터가 가리키는 위치)를 이용하여 복수의 클러스터(76, 77) 중에서 추가학습될 클러스터(76)가 선택될 수 있다. 이를테면, 상기 벡터 공간 상에서 제1 데이터셋(78)과 인접하여 위치한 클러스터(76)가 추가학습클러스터(76)로 선택될 수 있다. 마지막으로, 추가학습클러스터(76)에 포함된 데이터 샘플 중에서 적어도 일부가 추가학습데이터(e.g. 클러스터 중심으로부터 일정 거리 이내에 위치한 샘플들)로 선별될 수 있다.
지금까지 도 9 및 도 10을 참조하여 본 개시의 제4 실시예에 따른 준지도 학습 기반의 기계학습 방법에 대하여 설명하였다. 상술한 방법에 따르면, 모델의 클러스터링을 통해 레이블이 없는 데이터셋을 컨피던스 스코어 특성 별로 분류함으로써, 정답 레이블을 갖는 데이터 샘플과 유사한 특성을 갖는 데이터 샘플들이 추가학습데이터로 선별될 수 있다. 이에 따라, 추가학습데이터가 더욱 정확하게 선별되고, 타깃 모델의 성능 개선 효과는 극대화될 수 있다.
도 11은 본 개시의 다양한 실시예에 따른 준지도 학습의 반복 수행 과정을 설명하기 위한 예시도이다. 특히, 도 11은 3개의 모델을 이용하여 준지도 학습이 수행되는 것(e.g. 제3 실시예)을 예로써 도시하고 있다.
도 11에 도시된 바와 같이, 전술한 준지도 학습 기반의 기계 학습 방법은 복수의 학습 절차에 걸쳐 반복적으로 수행될 수 있다. 가장 왼편의 모델들(81-1 내지 83-1)은 타깃 모델로 이용될 수 있는 기계 학습 모델이다. 예를 들어, 2nd 학습 절차가 마지막 학습 절차인 경우, 2nd 학습 절차에서 선별된 추가학습데이터를 이용하여 학습된 최종 모델이 실제 이용되는 타깃 모델이 될 수 있다. 모델(81-1)은 레이블이 주어진 제1 데이터셋을 학습한 모델일 수 있다.
또한, 가운데 위치한 모델들(81-2 내지 83-2)는 제1 타입의 보조 모델을 의미하고, 가장 오른편에 위치한 모델들(81-3)은 제2 타입의 보조 모델을 의미할 수 있다. 이하, 각각의 학습 절차에 대하여 설명하도록 한다.
1st 학습 절차에서, 보조 모델(81-2)은 모델(81-1)보다 더 적게 학습된 모델(e.g. 상기 제1 데이터셋의 일부를 학습한 모델)일 수 있고, 보조 모델(81-3)은 모델(81-1)의 최종 출력 확률 분포를 학습함으로써 구축될 수 있다. 또한, 3개의 모델(81-1 내지 81-3)의 최종 출력 확률 분포를 이용하여 레이블이 주어지지 않은 제2 데이터셋에서 제1 추가학습데이터가 선별될 수 있다. 1st 학습 절차에 대한 자세한 내용은 앞선 설명 내용을 참조하도록 한다.
2nd 학습 절차는 상기 제2 데이터셋에서 상기 제1 추가학습데이터를 제외한 나머지 데이터셋에 대하여 수행될 수 있다. 학습 절차가 진행될 때마다, 이전 절차에서 선별된 추가학습데이터는 제외되고, 나머지 데이터셋에 대해서 다음 절차가 수행될 수 있다.
2nd 학습 절차에서, 모델(82-1)은 상기 제1 데이터셋과 상기 제1 추가학습데이터를 학습한 모델일 수 있다. 도 11에 도시된 바와 같이, 모델(82-1)은 초기화된 상태에서 상기 제1 데이터셋과 상기 제1 추가학습데이터를 학습함으로써 구축될 수 있다. 다른 몇몇 실시예에서는, 이전 절차의 모델(81-1)에 대해 상기 제1 추가학습데이터를 추가 학습시킴으로써 본 절차의 모델(82-1)이 구축될 수도 있다.
보조 모델(82-2)은 이전 절차의 모델(81-1)이 그대로 이용될 수 있다. 이전 절차의 모델(81-1)은 본 절차의 모델(82-1)보다 적게 학습된 모델이기 때문이다. 물론, 다른 몇몇 실시예에서는, 이전 절차의 보조 모델(81-2)을 추가 학습시킴으로써 보조 모델(82-2)이 구축될 수도 있다.
보조 모델(82-3)은 본 절차의 모델(82-1)의 최종 출력 확률 분포를 학습함으로써 구축될 수 있다. 즉, 보조 모델(82-3)은 상기 제1 데이터셋과 상기 제1 추가학습데이터에 대한 모델(82-1)의 최종 출력 확률 분포를 신규 레이블로 이용하여 학습된 모델일 수 있다. 2nd 학습 절차에서는, 상기 제2 데이터셋에서 상기 제1 추가학습데이터를 제외한 나머지 데이터셋에서 제2 추가학습데이터가 선별될 수 있다. 구체적인 선별 과정은 1st 학습 절차와 동일하게 수행될 수 있다.
3rd 학습 절차는 전술한 2nd 학습 절차와 유사하게 수행될 수 있다. 구체적으로, 본 절차의 모델(83-1)은 상기 제1 데이터셋, 상기 제1 추가학습데이터 및 상기 제2 추가학습데이터를 학습한 모델일 수 있다. 도 11에 도시된 바와 같이, 모델(83-1)은 초기화된 상태에서 다시 상기 제1 데이터셋, 상기 제1 추가학습데이터 및 상기 제2 추가학습데이터를 학습함으로써 구축될 수 있다. 보조 모델(83-2)은 이전 절차의 모델(82-1)이 그대로 이용될 수 있다. 보조 모델(83-3)은 본 절차의 모델(83-1)의 최종 출력 확률 분포를 학습함으로써 구축될 수 있다. 즉, 보조 모델(83-3)은 상기 제1 데이터셋, 상기 제1 추가학습데이터 및 상기 제2추가학습데이터에 대한 모델(83-1)의 최종 출력 확률 분포를 신규 레이블로 이용하여 학습된 모델일 수 있다. 3rd 학습 절차에서는, 상기 제2 데이터셋에서 상기 제1 및 상기 제2 추가학습데이터를 제외한 나머지 데이터셋에서 제3 추가학습데이터가 선별될 수 있다. 구체적인 선별 과정은 이전의 학습 절차와 동일하게 수행될 수 있다.
이와 같이, 본 개시의 다양한 실시예에 따른 준지도 학습은 다수의 학습 절차를 거쳐 반복하여 수행될 수 있고, 학습 절차가 반복될 때마다 타깃 모델과 각 보조 모델의 성능은 점진적으로 향상될 수 있다.
이하에서는, 도 12 내지 도 14를 참조하여 준지도 학습 기법과 본 개시에서 제안된 방법의 성능에 대한 비교 실험 결과에 대하여 간략하게 소개하도록 한다.
도 12는 타깃 모델의 최종 출력 확률 분포에 대한 엔트로피 값만을 이용하여 레이블 정보가 주어지지 않은 데이터 샘플들을 클러스터링한 결과(91)를 도시한다. 또한, 도 12는 예측 레이블이 올바른 샘플들, 완전히 틀린 샘플들 및 그 외 샘플들을 각각 초록색, 검정색 및 보라색으로 도시하고 있다.
도 12를 참조하면, 클러스터링에 관계없이 샘플의 색상이 뒤죽박죽 섞여있는 것을 확인할 수 있는데, 이는 엔트로피 값만을 이용하여 데이터 샘플을 선별하는 경우, 잘못된 예측 레이블을 갖는 데이터 샘플이 추가학습데이터로 선별될 가능성이 높다는 것을 의미하는 것으로 이해될 수 있다.
도 13은 본 개시를 통해 제안된 방법(e.g. 제4 실시예)에 따라 보조 모델의 최종 출력 확률 분포를 더 이용하여 레이블 정보가 주어지지 않은 데이터 샘플들을 클러스터링한 결과(93)를 도시한다. 특히, 도 13은 정답 레이블을 가진 데이터 샘플과 가까운 거리에 있는 제1 클러스터를 초록색으로 도시하고, 가장 먼 거리에 있는 제2 클러스터를 검정색으로 도시하고 있다.
도 14에 도시된 결과(95)는 도 13에 도시된 클러스터링 결과에 대하여, 도 12와 유사하게, 예측 레이블이 올바른 샘플들, 완전히 틀린 샘플들 및 그 외 샘플들을 각각 초록색, 검정색 및 보라색으로 도시한 것이다.
도 13과 도 14를 비교해보면, 상기 제1 클러스터(즉, 왼편) 근처에 초록색의 샘플들이 모여 있고, 상기 제2 클러스터 근처(즉, 오른편)에 검정색의 샘플들이 모여있는 것을 확인할 수 있다. 이는, 제안된 방법에 따라 추가학습데이터가 선별될 때(e.g. 정답 레이블을 가진 데이터 샘플과 가까운 거리에 있는 클러스터의 샘플들이 추가학습데이터로 선별되는 경우, 도 10 참조), 실제로 올바른 예측 레이블을 갖는 데이터 샘플들이 추가학습데이터로 선별됨을 의미하는 것으로 이해될 수 있다. 따라서, 제안된 방법에 따라 준지도 학습이 수행되면, 타깃 모델에 대한 성능 개선 효과가 크게 향상될 수 있다.
마지막으로, 도 15를 참조하여 본 개시의 다양한 실시예에 따른 장치(e.g. 학습 장치 10)를 구현할 수 있는 예시적인 컴퓨팅 장치(100)에 대하여 설명하도록 한다.
도 15는 컴퓨팅 장치(100)를 나타내는 하드웨어 구성도이다.
도 15에 도시된 바와 같이, 컴퓨팅 장치(100)는 하나 이상의 프로세서(110), 버스(150), 통신 인터페이스(170), 프로세서(110)에 의하여 수행되는 컴퓨터 프로그램을 로드(load)하는 메모리(130)와, 컴퓨터 프로그램(191)를 저장하는 스토리지(190)를 포함할 수 있다. 다만, 도 15에는 본 개시의 실시예와 관련 있는 구성요소들만이 도시되어 있다. 따라서, 본 개시가 속한 기술분야의 통상의 기술자라면 도 15에 도시된 구성요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 알 수 있다.
프로세서(110)는 컴퓨팅 장치(100)의 각 구성의 전반적인 동작을 제어한다. 프로세서(110)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 개시의 기술 분야에 잘 알려진 임의의 형태의 프로세서 중 적어도 하나를 포함하여 구성될 수 있다. 또한, 프로세서(110)는 본 개시의 실시예들에 따른 방법/동작을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있다. 컴퓨팅 장치(100)는 하나 이상의 프로세서를 구비할 수 있다.
메모리(130)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(130)는 본 개시의 다양한 실시예들에 따른 방법/동작을 실행하기 위하여 스토리지(190)로부터 하나 이상의 프로그램(191)을 로드할 수 있다. 메모리(130)는 RAM과 같은 휘발성 메모리로 구현될 수 있을 것이나, 본 개시의 기술적 범위가 이에 한정되는 것은 아니다.
버스(150)는 컴퓨팅 장치(100)의 구성 요소 간 통신 기능을 제공한다. 버스(150)는 주소 버스(Address Bus), 데이터 버스(Data Bus) 및 제어 버스(Control Bus) 등 다양한 형태의 버스로 구현될 수 있다.
통신 인터페이스(170)는 컴퓨팅 장치(100)의 유무선 인터넷 통신을 지원한다. 또한, 통신 인터페이스(170)는 인터넷 통신 외의 다양한 통신 방식을 지원할 수도 있다. 이를 위해, 통신 인터페이스(170)는 본 개시의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다. 경우에 따라, 통신 인터페이스(170)는 생략될 수도 있다.
스토리지(190)는 상기 하나 이상의 컴퓨터 프로그램(191)과 각종 데이터(e.g. 학습 데이터셋), 기계학습 모델 등을 비임시적으로 저장할 수 있다. 스토리지(190)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 개시가 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.
컴퓨터 프로그램(191)은 메모리(130)에 로드될 때 프로세서(110)로 하여금 본 개시의 다양한 실시예에 따른 방법/동작을 수행하도록 하는 하나 이상의 인스트럭션들을 포함할 수 있다. 즉, 프로세서(110)는 상기 하나 이상의 인스트럭션들을 실행함으로써, 본 개시의 다양한 실시예에 따른 방법/동작들을 수행할 수 있다.
예를 들어, 컴퓨터 프로그램(191)은 레이블 정보가 주어진 제1 데이터셋과 레이블 정보가 주어지지 않은 제2 데이터셋을 얻는 동작, 상기 제1 데이터셋을 이용하여 제1 모델과 제2 모델을 학습시키는 동작 및 상기 제1 모델과 상기 제2 모델의 최종 출력 확률 분포에 기초하여 상기 제2 데이터셋에서 추가학습데이터를 선별하는 동작을 수행하도록 하는 인스트럭션들을 포함할 수 있다. 이와 같은 경우, 컴퓨팅 장치(100)를 통해 본 개시의 몇몇 실시예에 따른 준지도 학습 기반의 기계학습 장치(e.g. 10)가 구현될 수 있다.
다른 예를 들어, 컴퓨터 프로그램(191)은 레이블 정보가 주어진 제1 데이터셋과 레이블 정보가 주어지지 않은 제2 데이터셋을 얻는 동작, 상기 제1 데이터셋을 이용하여 제1 모델에 대한 학습을 수행하고, 상기 학습을 통해 상기 제1 데이터셋에 대한 최종 출력 확률 분포 정보를 얻는 동작, 상기 최종 출력 확률 분포 정보를 상기 제1 데이터셋의 레이블 정보로 이용하여 제2 모델을 학습시키는 동작 및 상기 제2 모델의 컨피던스 스코어에 기초하여 상기 제2 데이터셋 중에서 추가학습데이터를 선별하는 동작을 수행하도록 하는 인스트럭션들을 포함할 수 있다. 이와 같은 경우, 컴퓨팅 장치(100)를 통해 본 개시의 다른 몇몇 실시예에 따른 준지도 학습 기반의 기계학습 장치(e.g. 10)가 구현될 수 있다.
지금까지 도 1 내지 도 15를 참조하여 본 개시의 다양한 실시예들 및 그 실시예들에 따른 효과들을 언급하였다. 본 개시의 기술적 사상에 따른 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
지금까지 도 1 내지 도 15를 참조하여 설명된 본 개시의 기술적 사상은 컴퓨터가 읽을 수 있는 매체 상에 컴퓨터가 읽을 수 있는 코드로 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체는, 예를 들어 이동형 기록 매체(CD, DVD, 블루레이 디스크, USB 저장 장치, 이동식 하드 디스크)이거나, 고정식 기록 매체(ROM, RAM, 컴퓨터 구비 형 하드 디스크)일 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체에 기록된 상기 컴퓨터 프로그램은 인터넷 등의 네트워크를 통하여 다른 컴퓨팅 장치에 전송되어 상기 다른 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 다른 컴퓨팅 장치에서 사용될 수 있다.
이상에서, 본 개시의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 개시의 기술적 사상이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 개시의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.
도면에서 동작들이 특정한 순서로 도시되어 있지만, 반드시 동작들이 도시된 특정한 순서로 또는 순차적 순서로 실행되어야만 하거나 또는 모든 도시 된 동작들이 실행되어야만 원하는 결과를 얻을 수 있는 것으로 이해되어서는 안 된다. 특정 상황에서는, 멀티태스킹 및 병렬 처리가 유리할 수도 있다. 더욱이, 위에 설명한 실시예들에서 다양한 구성들의 분리는 그러한 분리가 반드시 필요한 것으로 이해되어서는 안 되고, 설명된 프로그램 컴포넌트들 및 시스템들은 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품으로 패키지 될 수 있음을 이해하여야 한다.
이상 첨부된 도면을 참조하여 본 개시의 실시예들을 설명하였지만, 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자는 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 본 개시가 다른 구체적인 형태로도 실시될 수 있다는 것을 이해할 수 있다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다. 본 개시의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 개시에 의해 정의되는 기술적 사상의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (20)

  1. 컴퓨팅 장치에서 준지도 학습(semi-supervised learning) 기반의 기계학습을 수행하는 방법에 있어서,
    제1 추가학습데이터를 추출하기 위한 제1 과정을 포함하고,
    상기 제1 과정은,
    레이블 정보가 주어진 제1 데이터셋과 레이블 정보가 주어지지 않은 제2 데이터셋을 얻는 단계;
    상기 제1 데이터셋을 이용하여 제1 모델을 학습시키고, 상기 제1 데이터셋에서 상기 제1 모델보다 더 적은 데이터를 이용하여 제2 모델을 학습시키는 단계;
    상기 제1 모델을 이용하여 상기 제1 데이터셋에 대한 새로운 레이블 정보인 제1 레이블 정보를 생성하고, 상기 생성된 제1 레이블 정보를 기초로 제3 모델을 학습시키는 단계; 및
    상기 제2 데이터셋을 상기 제1 모델, 상기 제2 모델 및 상기 제3 모델 각각에 입력하여 최종 출력 확률 분포를 획득하고, 상기 제1 모델, 상기 제2 모델 및 상기 제3 모델 각각의 최종 출력 확률 분포에 기초하여 상기 제2 데이터셋에서 예측 레이블을 부여할 상기 제1 추가학습데이터를 선별하는 단계;
    를 포함하는,
    준지도 학습 기반의 기계학습 방법.
  2. 제1 항에 있어서,
    상기 제1 추가학습데이터를 선별하는 단계는,
    상기 제1 모델의 최종 출력 확률 분포와 상기 제2 모델의 최종 출력 확률 분포 간의 차이 및 상기 제1 모델의 최종 출력 확률 분포와 상기 제3 모델의 최종 출력 확률 분포 간의 차이에 기초하여 상기 제1 추가학습데이터를 선별하는 단계를 포함하는,
    준지도 학습 기반의 기계학습 방법.
  3. 제2 항에 있어서,
    상기 차이는 KL 발산(KL divergence) 값 및 JS 발산(JS divergence) 값 중 적어도 하나에 기초하여 산출되는 것인,
    준지도 학습 기반의 기계학습 방법.
  4. 제1 항에 있어서,
    상기 추가학습데이터를 선별하는 단계는,
    상기 제1 모델의 최종 출력 확률 분포에 대한 엔트로피(entropy) 값,과 상기 제2 모델의 최종 출력 확률 분포에 대한 엔트로피 값 및 상기 제3 모델의 최종 출력 확률 분포에 대한 엔트로피 값에 기초하여 상기 제1 추가학습데이터를 선별하는 단계를 포함하는,
    준지도 학습 기반의 기계학습 방법.
  5. 제1 항에 있어서,
    상기 최종 출력 확률 분포는 컨피던스 스코어(confidence score)를 포함하고,
    상기 제1 추가학습데이터를 선별하는 단계는,
    상기 제1 모델의 제1 컨피던스 스코어,와 상기 제2 모델의 제2 컨피던스 스코어 및 상기 제3 모델의 제3 컨피던스 스코어에 기초하여 상기 제2 데이터셋에 포함된 각 데이터 샘플에 대한 특징 벡터를 생성하는 단계;
    상기 생성된 특징 벡터를 클러스터링하여 벡터 공간 상에 복수의 클러스터를 구축하는 단계;
    상기 벡터 공간 상의 상기 제1 데이터셋에 포함된 데이터 샘플의 위치를 이용하여 상기 복수의 클러스터 중에서 추가학습클러스터를 선택하는 단계; 및
    상기 선택된 추가학습클러스터에 포함된 데이터 샘플 중에서 상기 제1 추가학습데이터를 선별하는 단계를 포함하는,
    준지도 학습 기반의 기계학습 방법.
  6. 제5 항에 있어서,
    상기 특징 벡터는,
    상기 제1 컨피던스 스코어의 엔트로피 값, 상기 제2 컨피던스 스코어의 엔트로피 값, 상기 제3 컨피던스 스코어의 엔트로피 값, 상기 제1 컨피던스 스코어와 상기 제2 컨피던스 스코어 간의 차이 값 및 상기 제1 컨피던스 스코어와 상기 제3 컨피던스 스코어 간의 차이 값 중 적어도 일부를 요소값으로 포함하는,
    준지도 학습 기반의 기계학습 방법.
  7. 제1 항에 있어서,
    상기 제1 추가학습데이터를 선별하는 단계는,
    상기 제1 모델의 최종 출력 확률 분포와 상기 제2 모델의 최종 출력 확률 분포 및 상기 제3 모델의 최종 출력 확률 분포에 기초하여 상기 제1 데이터셋에 포함된 각 데이터 샘플에 대한 특징 벡터를 생성하는 단계;
    상기 생성된 특징 벡터를 클러스터링하여 벡터 공간 상에 하나 이상의 클러스터를 구축하는 단계; 및
    상기 벡터 공간 상에서 상기 제2 데이터셋에 포함된 데이터 샘플과 상기 구축된 클러스터와의 거리에 기초하여 상기 제1 추가학습데이터를 선별하는 단계를 포함하는,
    준지도 학습 기반의 기계학습 방법.
  8. 제1 항에 있어서,
    상기 제3 모델을 학습시키는 단계는,
    상기 생성된 제1 레이블 정보를 상기 제1 데이터셋에 매칭한 제3 데이터셋을 생성하는 단계; 및
    상기 생성된 제3 데이터셋을 이용하여 상기 제3 모델을 학습시키는 단계를 포함하는,
    준지도 학습 기반의 기계학습 방법.
  9. 제1 항에 있어서,
    상기 제2 모델을 학습시키는 단계는,
    상기 제1 데이터셋의 일부만을 이용하여 상기 제2 모델을 학습시키는 단계를 포함하는,
    준지도 학습 기반의 기계학습 방법.
  10. 제1 항에 있어서,
    상기 제1 과정을 이용하여 제2 추가학습데이터를 추출하기 위한 제2 과정을 더 포함하고,
    상기 제2 과정은,
    상기 제1 모델을 이용하여 상기 제1 추가학습데이터에 대한 제2 레이블 정보를 생성하고, 상기 생성된 제2 레이블 정보 및 상기 제1 데이터셋을 기초로 제4 모델을 학습시키는 단계;
    상기 제4 모델을 이용하여 상기 제1 데이터셋 및 상기 제1 추가학습데이터에 대한 제3 레이블 정보를 생성하고, 상기 생성된 제3 레이블 정보를 기초로 제5 모델을 학습시키는 단계; 및
    상기 제2 데이터셋에서 상기 제1 추가학습데이터를 제외한 제1 나머지 데이터를 상기 제1 모델, 상기 제4 모델 및 상기 제5 모델 각각에 입력하여 최종 출력 확률 분포를 획득하고, 상기 제1 모델, 상기 제4 모델 및 상기 제5 모델 각각의 최종 출력 확률 분포에 기초하여, 상기 제1 나머지 데이터에서 예측 레이블을 부여할 제2 추가학습데이터를 선별하는 단계;
    를 포함하는,
    준지도 학습 기반의 기계학습 방법.
  11. 제10 항에 있어서,
    상기 제2 과정을 이용하여 제3 추가학습데이터를 추출하기 위한 제3 과정을 더 포함하고,
    상기 제3 과정은,
    상기 제4 모델을 이용하여 상기 제1 추가학습데이터 및 상기 제2 추가학습데이터에 대한 제4 레이블 정보를 생성하고, 상기 생성된 제4 레이블 정보 및 상기 제1 데이터셋을 기초로 제6 모델을 학습시키는 단계;
    상기 제6 모델을 이용하여 상기 제1 데이터셋, 상기 제1 추가학습데이터 및 상기 제2 추가학습데이터에 대한 제5 레이블 정보를 생성하고, 상기 생성된 제5 레이블 정보를 기초로 제7 모델을 학습시키는 단계; 및
    상기 제2 데이터셋에서 상기 제1 추가학습데이터 및 상기 제2 추가학습데이터를 제외한 제2 나머지 데이터를 상기 제4 모델, 상기 제6 모델 및 상기 제7 모델 각각에 입력하여 최종 출력 확률 분포를 획득하고, 상기 제4 모델, 상기 제6 모델 및 상기 제7 모델 각각의 최종 확률 분포에 기초하여, 상기 제2 나머지 데이터에서 예측 레이블을 부여할 제3 추가학습데이터를 선별하는 단계;
    를 포함하는,
    준지도 학습 기반의 기계학습 방법.
  12. 프로세서; 및
    상기 프로세서에 의하여 수행되는 컴퓨터 프로그램을 로드(load)하는 메모리; 및
    상기 컴퓨터 프로그램을 저장하는 스토리지를 포함하되,
    상기 컴퓨터 프로그램은,
    상기 프로세서가 제1 추가학습데이터를 추출하기 위한 제1 절차를 수행하도록 하는 하나 이상의 인스트럭션들(instruction)을 포함하고,
    상기 제1 절차는,
    레이블 정보가 주어진 제1 데이터셋과 레이블 정보가 주어지지 않은 제2 데이터셋을 얻는 과정;
    상기 제1 데이터셋을 이용하여 제1 모델을 학습시키고, 상기 제1 데이터셋에서 상기 제1 모델보다 더 적은 데이터를 이용하여 제2 모델을 학습시키는 과정;
    상기 제1 모델을 이용하여 상기 제1 데이터셋에 대한 새로운 레이블 정보인 제1 레이블 정보를 생성하고, 상기 생성된 제1 레이블 정보를 기초로 제3 모델을 학습시키는 과정;
    상기 제2 데이터셋을 상기 제1 모델, 상기 제2 모델 및 상기 제3 모델 각각에 입력하여 최종 출력 확률 분포를 획득하고, 상기 제1 모델, 상기 제2 모델 및 상기 제3 모델 각각의 최종 출력 확률 분포에 기초하여 상기 제2 데이터셋에서 예측 레이블을 부여할 상기 제1 추가학습데이터를 선별하는 과정;
    을 포함하는,
    준지도 학습 기반의 기계학습 장치.
  13. 제12 항에 있어서,
    상기 제1 추가학습데이터를 선별하는 과정은,
    상기 제1 모델의 최종 출력 확률 분포와 상기 제2 모델의 최종 출력 확률 분포 간의 차이 및 상기 제1 모델의 최종 출력 확률 분포와 상기 제3 모델의 최종 출력 확률 분포 간의 차이에 기초하여 상기 제1 추가학습데이터를 선별하는 과정을 포함하는,
    준지도 학습 기반의 기계학습 장치.
  14. 제13 항에 있어서,
    상기 차이는 KL 발산(KL divergence) 값 및 JS 발산(JS divergence) 값 중 적어도 하나에 기초하여 산출되는 것인,
    준지도 학습 기반의 기계학습 장치.
  15. 제12 항에 있어서,
    상기 추가학습데이터를 선별하는 과정은,
    상기 제1 모델의 최종 출력 확률 분포에 대한 엔트로피(entropy) 값,과 상기 제2 모델의 최종 출력 확률 분포에 대한 엔트로피 값 및 상기 제3 모델의 최종 출력 확률 분포에 대한 엔트로피 값에 기초하여 상기 제1 추가학습데이터를 선별하는 과정을 포함하는,
    준지도 학습 기반의 기계학습 장치.
  16. 제12 항에 있어서,
    상기 최종 출력 확률 분포는 컨피던스 스코어(confidence score)를 포함하고,
    상기 제1 추가학습데이터를 선별하는 과정은,
    상기 제1 모델의 제1 컨피던스 스코어,와 상기 제2 모델의 제2 컨피던스 스코어 및 상기 제3 모델의 제3 컨피던스 스코어에 기초하여 상기 제2 데이터셋에 포함된 각 데이터 샘플에 대한 특징 벡터를 생성하는 과정;
    상기 생성된 특징 벡터를 클러스터링하여 벡터 공간 상에 복수의 클러스터를 구축하는 과정;
    상기 벡터 공간 상의 상기 제1 데이터셋에 포함된 데이터 샘플의 위치를 이용하여 상기 복수의 클러스터 중에서 추가학습클러스터를 선택하는 과정; 및
    상기 선택된 추가학습클러스터에 포함된 데이터 샘플 중에서 상기 제1 추가학습데이터를 선별하는 과정을 포함하는,
    준지도 학습 기반의 기계학습 장치.
  17. 제12 항에 있어서,
    상기 제3 모델을 학습시키는 과정은,
    상기 생성된 제1 레이블 정보를 상기 제1 데이터셋에 매칭한 제3 데이터셋을 생성하는 과정; 및
    상기 생성된 제3 데이터셋을 이용하여 상기 제3 모델을 학습시키는 과정을 포함하는,
    준지도 학습 기반의 기계학습 장치.
  18. 제12 항에 있어서,
    상기 제2 모델을 학습시키는 과정은,
    상기 제1 데이터셋의 일부만을 이용하여 상기 제2 모델을 학습시키는 과정을 포함하는,
    준지도 학습 기반의 기계학습 장치.
  19. 제18 항에 있어서,
    상기 컴퓨터 프로그램은,
    상기 제1 절차를 이용하여 제2 추가학습데이터를 추출하기 위한 제2 절차를 더 수행하도록 하는 인스트럭션들을 더 포함하고,
    상기 제2 절차는,
    상기 제1 모델을 이용하여 상기 제1 추가학습데이터에 대한 제2 레이블 정보를 생성하고, 상기 생성된 제2 레이블 정보 및 상기 제1 데이터셋을 기초로 제4 모델을 학습시키는 과정;
    상기 제4 모델을 이용하여 상기 제1 데이터셋 및 상기 제1 추가학습데이터에 대한 제3 레이블 정보를 생성하고, 상기 생성된 제3 레이블 정보를 기초로 제5 모델을 학습시키는 과정; 및
    상기 제2 데이터셋에서 상기 제1 추가학습데이터를 제외한 제1 나머지 데이터를 상기 제1 모델, 상기 제4 모델 및 상기 제5 모델 각각에 입력하여 최종 출력 확률 분포를 획득하고, 데이터를 상기 제1 모델, 상기 제4 모델 및 상기 제5 모델 각각의 최종 출력 확률 분포에 기초하여, 상기 제1 나머지데이터에서 예측 레이블을 부여할 제2 추가학습데이터를 선별하는 과정;
    을 포함하는,
    준지도 학습 기반의 기계학습 장치.
  20. 제19 항에 있어서,
    상기 컴퓨터 프로그램은,
    상기 제2 절차를 이용하여 제3 추가학습데이터를 추출하기 위한 제3 절차를 더 수행하도록 하는 인스트럭션들을 더 포함하고,
    상기 제3 절차는,
    상기 제4 모델을 이용하여 상기 제1 추가학습데이터 및 상기 제2 추가학습데이터에 대한 제4 레이블 정보를 생성하고, 상기 생성된 제4 레이블 정보 및 상기 제1 데이터셋을 기초로 제6 모델을 학습시키는 과정;
    상기 제6 모델을 이용하여 상기 제1 데이터셋, 상기 제1 추가학습데이터 및 상기 제2 추가학습데이터에 대한 제5 레이블 정보를 생성하고, 상기 생성된 제5 레이블 정보를 기초로 제7 모델을 학습시키는 과정;
    상기 제2 데이터셋에서 상기 제1 추가학습데이터 및 상기 제2 추가학습데이터를 제외한 제2 나머지 데이터를 상기 제4 모델, 상기 제6 모델 및 상기 제7 모델 각각에 입력하여 최종 출력 확률 분포를 획득하고, 상기 제4 모델, 상기 제6 모델 및 상기 제7 모델 각각의 최종 출력 확률 분포에 기초하여, 상기 제2 나머지 데이터에서 예측 레이블을 부여할 제3 추가학습데이터를 선별하는 과정;
    을 포함하는,
    준지도 학습 기반의 기계학습 장치.
KR1020190039033A 2019-04-03 2019-04-03 준지도 학습 기반의 기계학습 방법 및 그 장치 KR102033136B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190039033A KR102033136B1 (ko) 2019-04-03 2019-04-03 준지도 학습 기반의 기계학습 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190039033A KR102033136B1 (ko) 2019-04-03 2019-04-03 준지도 학습 기반의 기계학습 방법 및 그 장치

Publications (1)

Publication Number Publication Date
KR102033136B1 true KR102033136B1 (ko) 2019-10-16

Family

ID=68421503

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190039033A KR102033136B1 (ko) 2019-04-03 2019-04-03 준지도 학습 기반의 기계학습 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR102033136B1 (ko)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200108609A (ko) * 2019-03-11 2020-09-21 연세대학교 산학협력단 머신러닝 학습 데이터 증강장치 및 증강방법
KR102168558B1 (ko) * 2019-10-24 2020-10-21 서울대학교산학협력단 액티브 러닝을 위한 학습용 데이터 선정 방법, 액티브 러닝을 위한 학습용 데이터 선정 장치 및 액티브 러닝을 이용한 영상 분석 방법
KR20210085333A (ko) * 2019-12-30 2021-07-08 주식회사 안랩 기계 학습 기반의 악성 코드를 탐지하기 위한 적응적 방법, 장치, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램
WO2021194056A1 (en) * 2020-03-26 2021-09-30 StradVision, Inc. Method for training deep learning network based on artificial intelligence and learning device using the same
WO2021256597A1 (ko) * 2020-06-16 2021-12-23 (주) 씨이랩 객체 레이블링을 통한 사용자맞춤 이미지식별 딥러닝 모델 생성을 위한 시스템 및 이의 운용 방법
KR20220026647A (ko) 2020-08-25 2022-03-07 한림대학교 산학협력단 기계학습모델 공유 또는 판매를 위한 시스템 및 시스템의 동작 방법
CN114254588A (zh) * 2021-12-16 2022-03-29 马上消费金融股份有限公司 数据标签处理方法和装置
WO2022139263A1 (ko) * 2020-12-23 2022-06-30 주식회사 엘지에너지솔루션 머신러닝 학습 장치 및 그것의 동작 방법
KR20220106426A (ko) * 2021-01-22 2022-07-29 한국과학기술원 소셜 미디어 데이터에 대한 준 지도 멀티 모달 딥 임베디드 클러스터링을 이용한 인간 활동 인식 방법
KR20220138696A (ko) * 2021-04-06 2022-10-13 서울대학교산학협력단 이미지 분류 방법 및 장치
WO2022256194A1 (en) * 2021-06-01 2022-12-08 Lam Research Corporation In situ sensor and logic for process control

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008008142A2 (en) * 2006-07-12 2008-01-17 Kofax Image Products, Inc. Machine learning techniques and transductive data classification
KR20130063565A (ko) 2011-12-07 2013-06-17 조윤진 언라벨데이터를 이용한 앙상블 형태의 데이터마이닝 모형 구축장치 및 그 방법
US20160078339A1 (en) * 2014-09-12 2016-03-17 Microsoft Technology Licensing, Llc Learning Student DNN Via Output Distribution
JP2017126158A (ja) * 2016-01-13 2017-07-20 日本電信電話株式会社 ２値分類学習装置、２値分類装置、方法、及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008008142A2 (en) * 2006-07-12 2008-01-17 Kofax Image Products, Inc. Machine learning techniques and transductive data classification
KR20130063565A (ko) 2011-12-07 2013-06-17 조윤진 언라벨데이터를 이용한 앙상블 형태의 데이터마이닝 모형 구축장치 및 그 방법
US20160078339A1 (en) * 2014-09-12 2016-03-17 Microsoft Technology Licensing, Llc Learning Student DNN Via Output Distribution
JP2017126158A (ja) * 2016-01-13 2017-07-20 日本電信電話株式会社 ２値分類学習装置、２値分類装置、方法、及びプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Lee, Kibok, et al. "Incremental Learning with Unlabeled Data in the Wild." arXiv preprint arXiv:1903.12648. 2019.3.29. *
Zhang, Rong, and Alexander I. Rudnicky. "A new data selection approach for semi-supervised acoustic modeling." Acoustics Speech and Signal Processing Proceedings. IEEE. 2006. *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200108609A (ko) * 2019-03-11 2020-09-21 연세대학교 산학협력단 머신러닝 학습 데이터 증강장치 및 증강방법
KR102220174B1 (ko) 2019-03-11 2021-02-24 연세대학교 산학협력단 머신러닝 학습 데이터 증강장치 및 증강방법
KR102168558B1 (ko) * 2019-10-24 2020-10-21 서울대학교산학협력단 액티브 러닝을 위한 학습용 데이터 선정 방법, 액티브 러닝을 위한 학습용 데이터 선정 장치 및 액티브 러닝을 이용한 영상 분석 방법
KR20210085333A (ko) * 2019-12-30 2021-07-08 주식회사 안랩 기계 학습 기반의 악성 코드를 탐지하기 위한 적응적 방법, 장치, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램
KR102325293B1 (ko) * 2019-12-30 2021-11-12 주식회사 안랩 기계 학습 기반의 악성 코드를 탐지하기 위한 적응적 방법, 장치, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램
WO2021194056A1 (en) * 2020-03-26 2021-09-30 StradVision, Inc. Method for training deep learning network based on artificial intelligence and learning device using the same
WO2021256597A1 (ko) * 2020-06-16 2021-12-23 (주) 씨이랩 객체 레이블링을 통한 사용자맞춤 이미지식별 딥러닝 모델 생성을 위한 시스템 및 이의 운용 방법
KR20220026647A (ko) 2020-08-25 2022-03-07 한림대학교 산학협력단 기계학습모델 공유 또는 판매를 위한 시스템 및 시스템의 동작 방법
KR102453673B1 (ko) * 2020-08-25 2022-10-13 한림대학교 산학협력단 기계학습모델 공유 또는 판매를 위한 시스템 및 시스템의 동작 방법
WO2022139263A1 (ko) * 2020-12-23 2022-06-30 주식회사 엘지에너지솔루션 머신러닝 학습 장치 및 그것의 동작 방법
KR102514920B1 (ko) 2021-01-22 2023-03-29 한국과학기술원 소셜 미디어 데이터에 대한 준 지도 멀티 모달 딥 임베디드 클러스터링을 이용한 인간 활동 인식 방법
KR20220106426A (ko) * 2021-01-22 2022-07-29 한국과학기술원 소셜 미디어 데이터에 대한 준 지도 멀티 모달 딥 임베디드 클러스터링을 이용한 인간 활동 인식 방법
KR20220138696A (ko) * 2021-04-06 2022-10-13 서울대학교산학협력단 이미지 분류 방법 및 장치
KR102505303B1 (ko) * 2021-04-06 2023-03-02 서울대학교산학협력단 이미지 분류 방법 및 장치
WO2022256194A1 (en) * 2021-06-01 2022-12-08 Lam Research Corporation In situ sensor and logic for process control
CN114254588A (zh) * 2021-12-16 2022-03-29 马上消费金融股份有限公司 数据标签处理方法和装置
CN114254588B (zh) * 2021-12-16 2023-10-13 马上消费金融股份有限公司 数据标签处理方法和装置

Similar Documents

Publication Publication Date Title
KR102033136B1 (ko) 준지도 학습 기반의 기계학습 방법 및 그 장치
KR102128056B1 (ko) 기계 학습 방법 및 장치
US10922628B2 (en) Method and apparatus for machine learning
KR102052624B1 (ko) 기계 학습 방법 및 장치
CN111356997B (zh) 具有颗粒化注意力的层次神经网络
KR102542914B1 (ko) 다중언어 번역 장치 및 다중언어 번역 방법
Branavan et al. Reinforcement learning for mapping instructions to actions
US11062800B2 (en) Method for managing annotation job, apparatus and system supporting the same
KR20200014510A (ko) 기계 학습 기반의 예측 서비스 제공 방법 및 그 장치
US20180365217A1 (en) Word segmentation method based on artificial intelligence, server and storage medium
US10679143B2 (en) Multi-layer information fusing for prediction
KR102337070B1 (ko) 이상 데이터 자동 검출 및 자동 라벨링 기술을 이용한 학습 데이터베이스 구축 방법 및 시스템
You et al. TISK 1.0: An easy-to-use Python implementation of the time-invariant string kernel model of spoken word recognition
Horbach et al. Investigating active learning for short-answer scoring
US20220283784A1 (en) Performance based system configuration as preprocessing for system peformance simulation
KR102241724B1 (ko) 레이블 정보를 보정하는 방법 및 시스템
CN113407709A (zh) 生成式文本摘要系统和方法
US20220335209A1 (en) Systems, apparatus, articles of manufacture, and methods to generate digitized handwriting with user style adaptations
Anjum et al. CNN model with hilbert curve representation of DNA sequence for enhancer prediction
CN108460453B (zh) 一种用于ctc训练的数据处理方法、装置及系统
CN105117330A (zh) Cnn代码测试方法及装置
TW201911081A (zh) 在資料處理設備中比對連續值
CN114021718A (zh) 模型行为可解释性方法、系统、介质及设备
KR102309002B1 (ko) 환자별 유전자 특성에 기초하여 암의 예후 예측에 활용할 바이오 마커를 선정하는 전자 장치 및 그 동작 방법
JP6817690B2 (ja) 抽出装置、抽出方法とそのプログラム、及び、支援装置、表示制御装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant