KR102548178B1

KR102548178B1 - 클러스터링 기능을 구비한 퓨샷 분류 장치 및 이의 메타 학습 방법

Info

Publication number: KR102548178B1
Application number: KR1020200174300A
Authority: KR
Inventors: 이준환; 김동훈
Original assignee: 전북대학교산학협력단
Priority date: 2020-12-14
Filing date: 2020-12-14
Publication date: 2023-06-28
Also published as: KR20220084632A

Abstract

본 발명은 클러스터링 기능을 구비한 퓨샷 분류 장치 및 이의 메타 학습 방법에 관한 것으로, 이는 클래스별 샘플 데이터를 저장하는 데이터베이스; 상기 클래스별 샘플 데이터에 대한 클러스터링을 수행하여, 클래스별 군집 수 과 특징값을 파악하는 클러스터링부; 상기 클래스별 군집 수 에 기반하여 클래스별 학습 데이터 개수 k(k는 자연수)를 가변하고, 상기 클래스별 특징값을 기반하여 클래스 각각을 대표하는 샘플 데이터 k개를 선별한 후, 상기 선별된 클래스별 k개 샘플 데이터를 통해 퓨샷 모델을 학습시키는 퓨샷 모델 학습부; 및 상기 퓨샷 모델을 통해 입력 데이터의 클래스를 예측 및 출력하는 퓨샷 모델 분석부를 포함할 수 있다.

Description

클러스터링 기능을 구비한 퓨샷 분류 장치 및 이의 메타 학습 방법{Apparatus for few-shot classification with clustering function and meta-learning method thereof}

본 발명은 클러스터링 기능을 이용하여 퓨샷(few-shot) 분류 성능을 개선할 수 있도록 하는 클러스터링 기능을 구비한 퓨샷 분류 장치 및 이의 메타 학습 방법에 관한 것이다.

메타 학습(meta-learning)은 특정 작업에만 적합한 모델이 아닌 여러 작업에 적합한 모델을 학습하는 방법이다.

메타 학습의 달성을 위해 분류 문제에서는 클래스 마다 k개인 적은 양의 샘플 데이터(few-shot, k-shot)를 구성하여 학습을 수행한다.

일반적으로 학습 데이터가 적은 경우에는 과적합(overfitting) 발생으로 인해 모델을 학습시키기 어려우나 메타 학습은 해당 작업을 직접 학습하지 않고도 어느 정도의 성능 확보가 가능하다는 이점을 가진다.

퓨샷(few-shot) 분류는 일반적으로 도 1과 같이 고정된 k개의 샘플 데이터를 해당 클래스의 대표적인 데이터로 가정하여 학습과 테스트를 수행한다.

다만, 클래스에 포함되는 데이터가 복잡하지 않다면 작은 k값으로도 해당 클래스를 대표하는 데이터들을 샘플링하기에 충분하나, 복잡한 양상을 보이는 클래스의 경우 작은 k값으로 표현하기에 부족한 문제가 있다.

이에 퓨샷 분류기의 학습과 테스트에 이용되는 k개 샘플 데이터가 다양한 데이터 양상을 균일하게 반영하지 못하고 특정 양상에만 편중되는 경우, 퓨샷 분류기는 흔한 양상과 흔하지 않은 양상 모두에 균형적인 분류를 수행하지 못하게 되는 문제가 발생하게 된다.

국내공개특허 제10-2018-0078911호(공개일자 2018년07월10일)

이에 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명은 클러스터링을 통해 클래스별 군집수를 파악하고, 이에 따라 클래스별 샘플 이용 개수를 가변할 수 있도록 하는 퓨샷 분류 장치 및 이의 메타 학습 방법을 제공하고자 한다.

또한 클러스터링을 통해 클래스별 데이터 양상을 추가 파악하고, 이를 클래스별 데이터 양상을 다양하게 반영할 수 있는 샘플 데이터를 획득 및 이용할 수 있도록 한다.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상기 과제를 해결하기 위한 수단으로서, 본 발명의 일 실시 형태에 따르면 클래스별 샘플 데이터를 저장하는 데이터베이스; 상기 클래스별 샘플 데이터에 대한 클러스터링을 수행하여, 클래스별 군집 수 과 특징값을 파악하는 클러스터링부; 상기 클래스별 군집 수 에 기반하여 클래스별 학습 데이터 개수 k(k는 자연수)를 가변하고, 상기 클래스별 특징값을 기반하여 클래스 각각을 대표하는 샘플 데이터 k개를 선별한 후, 상기 선별된 클래스별 k개 샘플 데이터를 통해 퓨샷 모델을 학습시키는 퓨샷 모델 학습부; 및 상기 퓨샷 모델을 통해 입력 데이터의 클래스를 예측 및 출력하는 퓨샷 모델 분석부를 포함하는 클러스터링 기능을 구비한 퓨샷 분류 장치를 제공한다.

상기 클러스터링부는 기 등록된 특징 추출 네트워크를 이용하여 상기 클래스별 샘플 데이터 각각의 특징값을 추출한 후, 클래스 단위로 클러스터링함으로써 클래스별 군집 수 과 특징값을 파악하는 것을 특징으로 한다.

상기 클러스터링부는 상기 클래스별 샘플 데이터를 기 등록된 전문가에 안내하고, 상기 전문가가 획득 및 제공하는 클래스별 클러스터링 정보를 수신 및 저장하는 것을 특징으로 한다.

상기 퓨샷 모델 학습부는 상기 클래스별 특징값을 기준으로 상기 클래스별 샘플 데이터 각각의 데이터 편차를 파악한 후, 서로 상이한 데이터 편차 값을 가지는 샘플 데이터를 동일 비율로 선별함으로써, 상기 클래스별 k개 샘플 데이터를 획득하는 것을 특징으로 한다.

상기 퓨샷 모델은 k개 샘플 데이터에 대한 스케일링을 자체적으로 내포한 신경망 모델이나 스케일링을 적용한 신경망 모델로 구현되는 것을 특징으로 한다.

상기 퓨샷 모델 분석부는 상기 퓨샷 모델이 다수개로 구현되는 경우, 상기 다수의 퓨샷 모델을 통해 입력 데이터에 대한 다수개의 예측값을 획득한 후, 상기 다수의 예측값에 대한 하드 보팅 또는 소프트 보팅을 수행하여 최종 예측값을 획득 및 출력하는 것을 특징으로 한다.

상기 과제를 해결하기 위한 수단으로서, 본 발명의 일 실시 형태에 따르면 클래스별 샘플 데이터에 대한 클러스터링을 수행하여, 클래스별 군집 수 과 특징값을 파악하는 단계; 및 상기 클래스별 군집 수 에 기반하여 클래스별 학습 데이터 개수 k(k는 자연수)를 가변하고, 상기 클래스별 특징값을 기반하여 클래스 각각을 대표하는 샘플 데이터 k개를 선별한 후, 상기 선별된 클래스별 k개 샘플 데이터를 통해 퓨샷 모델을 학습시키는 단계를 포함하는 퓨샷 분류 장치의 메타 학습 방법을 제고한다.

본 발명은 클러스터링을 통해 데이터 복잡도를 파악하고, 이에 따라 클래스별 샘플 이용 개수를 수시 가변할 수 있도록 함으로써, 데이터 복잡도를 반영한 퓨샷 모델의 학습 및 테스트가 수행될 수 있도록 한다.

뿐 만 아니라 클러스터링을 통해 데이터 양상을 파악하고, 이를 반영한 샘플 데이터 선별 동작을 수행하도록 함으로써, 퓨샷 분류 장치가 흔한 양상과 흔하지 않은 양상 모두를 안정적으로 분류할 수 있도록 한다.

도 1은 일반적인 퓨샷(few-shot) 분류 동작의 개념을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 퓨샷 분류 장치를 도시한 도면이다.
도 3 및 도 4는 본 발명의 일 실시예에 따른 클러스터링 방법을 설명하기 위한 도면이다.
도 5 및 도 6은 본 발명의 일 실시예에 따른 퓨샷 분류기의 메타 학습 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 퓨샷 분류 방법을 설명하기 위한 도면이다.

이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.

또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.

따라서, 예를 들어, 본 명세서의 블럭도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도, 상태 변환도, 의사 코드 등은 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.

도 2는 본 발명의 일 실시예에 따른 클러스터링 기능을 구비한 퓨샷 분류 장치를 도시한 도면이다.

도 2에 도시된 바와 같이, 본 발명의 퓨샷 분류 장치는 데이터베이스(110), 클러스터링부(120), 퓨샷 모델 학습부(130) 및 퓨샷 모델 분석부(140)로 구성된다.

데이터베이스(110)는 특정 도메인에 속하는 다수의 샘플 데이터를 기 설정된 기준에 따라 다수의 클래스로 분류하여 저장한다. 예를 들어, 도메인은 식물명, 클래스는 질병 이름, 클러스터는 질병 중증도 등으로 구분될 수 있으나, 이에 한정되지는 않는다.

클러스터링부(120)는 데이터 저장부(110)에 저장된 클래스별 샘플 데이터에 대한 클러스터링을 수행하여, 클래스별 군집수 k(k는 자연수)와 특징값을 추출한 후 클래스별 클러스터링 정보로써 획득 및 저장하도록 한다.

퓨샷 모델 학습부(130)는 클래스별 군집 수 k에 기반하여 클래스별 학습 데이터 개수 k(k는 자연수)를 가변하고, 클래스별 특징값을 기반하여 클래스 각각을 대표하는 샘플 데이터 k개를 선별한 후, 선별된 클래스별 k개 샘플 데이터를 통해 퓨샷 모델(10)을 학습하도록 한다.

퓨샷 모델 분석부(140)는 학습 완료된 퓨샷 모델(10)을 입력 데이터의 클래스를 예측 및 출력하도록 한다.

이때, 퓨샷 분류기(130)에 구비되는 퓨샷 모델(10)은 하나이거나 다수개일 수 있다. 다수개인 경우에는 서로 상이한 종류의 신경망 모델로 구현되거나, 동일 종류의 신경망 모델로 구현되나 내부 레이어 구조가 상이한 방식으로 구현될 수 있도록 한다.

다만, 퓨샷 모델(10)은 k개 샘플 데이터에 대한 스케일링을 자체적으로 내포한 신경망 모델이나 스케일링을 적용한 신경망 모델인 것이 바람직한 데, 이는 클래스 별 가변 k개 샘플이 학습에 참여할 경우 k가 큰 클래스에 대한 손실 값이 커지게 되기 때문이다.

이와 같이, 본 발명에서는 클래스별 샘플 데이터에 대한 클러스터링을 추가로 수행하여 클래스별 데이터 복잡도를 파악하고, 이를 기반으로 퓨샷 모델의 학습 및 테스트에 이용될 샘플 데이터 개수를 고정하지 않고 클래스별로 가변할 수 있도록 한다.

또한 클러스터링을 통해 클래스별 특징값을 획득 및 이용하여 동일 클래스에 포함되는 샘플 데이터 각각의 데이터 편차를 파악하고, 이에 기반하여 클래스내 다양한 데이터 양상을 균형적으로 반영할 수 있는 샘플 데이터 k개를 선별할 수 있도록 한다. 이러한 경우, 퓨샷 분류기는 흔한 양상과 흔하지 않은 양상 모두를 안정적으로 분류할 수 있게 되며, 그 결과 보다 향상 분류 성능을 보장할 수 있게 된다.

도 3 및 도 4는 본 발명의 일 실시예에 따른 클러스터링 방법을 설명하기 위한 도면이다.

본 발명에서는 전문가 수동 개입 방법과 비지도(unsupervised) 클러스터링을 적용하는 기계적 방법의 두 가지 방법으로 클러스터링을 수행할 수 있다.

이에 클러스터링 수행이 요청되면, 사용자의 동의하에 클러스터링 방법을 결정하도록 한다(S1).

전문가 수동 개입 방법이 선택된 경우(S1), 클러스터링 수행부(120)는 클래스별 샘플 데이터를 기 등록된 전문가 단말에 전송하고, 전문가가 이에 응답하여 획득 및 제공하는 클래스별 클러스터링 정보를 전문가 단말로부터 수신 및 저장한다(S2).

반면 단계 S1을 통해 기계적 방법이 선택되는 경우(S1), 클러스터링 수행부(120)는 기 등록된 특징 추출 네트워크를 이용하여 샘플 데이터 각각의 특징값을 추출한다(S3).

이때, 특징 추출 네트워크는 관련 유사도(affinity approximation) 산출 방식으로 구동될 수 있으나, 이에 한정될 필요는 없다.

그리고 샘플 데이터 각각의 특징값을 클래스 단위로 클러스터링한다(S5).

예를 들어, 도 4에서와 같이 질병 진행 단계 기반으로 샘플 데이터 클래스가 구분되는 경우, 다수의 토마토 이미지 각각에 대응되는 특징값들을 획득한 후, 질병 진행 단계에 따라 토마토 이미지 각각의 특징값을 클러스터링할 수 있게 된다.

마지막으로 클래스별 클러스터링 결과를 기반으로 클래스별 군집 수 k를 파악하고, 샘플 데이터 특징값을 수집 및 통계내어 클래스별 특징값을 획득한 후(S5), 이들 정보를 포함하는 클래스별 클러스터링 정보를 생성 및 저장하도록 한다(S6).

도 5 및 도 6은 본 발명의 일 실시예에 따른 퓨샷 분류기의 메타 학습 방법을 설명하기 위한 도면이다.

먼저, 클래스별 클러스터링 정보에 포함된 클래스별 군집 수 k를 확인한 후, 이에 기반하여 클래스별 학습 데이터 개수 k를 조정한다(S11).

그리고 클러스터별 데이터 분포에 기반하여 클래스내 다양한 양상 모두를 대표할 수 있는 샘플 데이터 k개를 선별한다(S12).

즉, 도 6에서와 같이 클래스별 특징값과 샘플 데이터 각각의 특징값을 서로 비교하여 샘플 데이터 각각이 서로 상이한 데이터 양상을 균일 비율로 반영할 수 있도록 선별되도록 한다.

그리고 클래스별 k개 샘플 데이터를 기반으로 데이터 특징값을 입력 조건으로 가지고 클래스를 출력 조건을 가지는 k개의 학습 데이터를 생성한 후(S13), 이들 학습 데이터를 통해 적어도 하나의 퓨샷 모델(111~11n)을 앙상블 학습시킨다(S14).

이때, 앙상블 학습절차는 학습 데이터에서 여러 학습 집합들을 도출한 후 도출 및 생성 과정, 각 집합으로부터 모델을 학습하는 집합별 모델 학습 과정, 각 학습 모델로부터의 결과를 조합하는 결과 조합 과정, 학습된 모델들의 최적 의견을 도출하는 최적 의견 도출 과정으로 진행된다.

도 7은 본 발명의 일 실시예에 따른 퓨샷 분류 방법을 설명하기 위한 도면으로, 도 7에서는 설명의 편이를 위해 퓨샷 모델(111~11n)가 다수개 구비되는 경우에 한하여 설명하기로 한다.

먼저, 입력 데이터가 획득되면(S21), 다수의 퓨샷 모델(111~11n) 각각은 입력 데이터의 특징값에 대응되는 클래스를 예측하여 출력한다(S22).

그리고 단계 S22를 통해 획득된 다수의 예측값에 대한 하드 보팅(Hard Voting) 또는 소프트 보팅(Soft Voting)을 수행한 후(S23), 보팅 결과에 기반하여 최종 예측값을 획득 및 출력한다(S24).

이때, 하드 보팅은 다수의 퓨샷 모델(111~11n)가 예측한 결과 값을 최종 결과로 선정하는 것이고, 소프트 보팅은 다수의 퓨샷 모델(111~11n)가 예측한 레이블 값의 결정 확률 평균을 구한 뒤 가장 확률이 높은 레이블 값을 최종 결과로 선정하는 것이다.

단계 S23 및 S24상기에서는 퓨샷 모델(111~11n)가 다수개로 구현되는 경우에 한하여 수행되며, 만약 퓨샷 모델이 하나인 경우에는 별도의 보팅 과정 없이 퓨샷 모델의 출력값을 그대로 예측값으로 획득 및 출력하도록 한다.

이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

Claims

클래스별 샘플 데이터를 저장하는 데이터베이스;
상기 클래스별 샘플 데이터에 대한 클러스터링을 수행하여, 클래스별 군집 수와 특징값을 파악하는 클러스터링부;
상기 클래스별 군집 수에 기반하여 클래스별 학습 데이터 개수 k(k는 자연수)를 가변하고, 상기 클래스별 특징값을 기반하여 클래스 각각을 대표하는 샘플 데이터 k개를 선별한 후, 상기 선별된 클래스별 k개 샘플 데이터를 통해 퓨샷 모델을 학습시키는 퓨샷 모델 학습부; 및
상기 퓨샷 모델을 통해 입력 데이터의 클래스를 예측 및 출력하는 퓨샷 모델 분석부를 포함하며,
상기 퓨샷 모델은
k개 샘플 데이터에 대한 스케일링을 자체적으로 내포한 신경망 모델이나 스케일링을 적용한 신경망 모델로 구현되고,
상기 퓨샷 모델이 다수개인 경우에는 다수의 퓨샷 모델 각각이 서로 상이한 종류의 신경망 모델로 구현되거나 동일 종류의 신경망 모델로 구현되나 내부 레이어 구조가 상이한 방식으로 구현될 수 있도록 하며, 상기 다수의 퓨샷 모델을 통해 입력 데이터에 대한 다수개의 예측값을 획득한 후, 상기 다수의 예측값에 대한 하드 보팅 또는 소프트 보팅을 수행하여 최종 예측값을 획득 및 출력하는 것을 특징으로 하는 클러스터링 기능을 구비한 퓨샷 분류 장치.
제1항에 있어서, 상기 클러스터링부는
기 등록된 특징 추출 네트워크를 이용하여 상기 클래스별 샘플 데이터 각각의 특징값을 추출한 후, 클래스 단위로 클러스터링함으로써 클래스별 군집 수 과 특징값을 파악하는 것을 특징으로 하는 클러스터링 기능을 구비한 퓨샷 분류 장치.
제1항에 있어서, 상기 클러스터링부는
상기 클래스별 샘플 데이터를 기 등록된 전문가에 안내하고, 상기 전문가가 획득 및 제공하는 클래스별 클러스터링 정보를 수신 및 저장하는 것을 특징으로 하는 클러스터링 기능을 구비한 퓨샷 분류 장치.
제1항에 있어서, 상기 퓨샷 모델 학습부는
상기 클래스별 특징값을 기준으로 상기 클래스별 샘플 데이터 각각의 데이터 편차를 파악한 후, 서로 상이한 데이터 편차 값을 가지는 샘플 데이터를 동일 비율로 선별함으로써, 상기 클래스별 k개 샘플 데이터를 획득하는 것을 특징으로 하는 클러스터링 기능을 구비한 퓨샷 분류 장치.
삭제
삭제
클래스별 샘플 데이터에 대한 클러스터링을 수행하여, 클래스별 군집 수 과 특징값을 파악하는 단계; 및
상기 클래스별 군집 수 에 기반하여 클래스별 학습 데이터 개수 k(k는 자연수)를 가변하고, 상기 클래스별 특징값을 기반하여 클래스 각각을 대표하는 샘플 데이터 k개를 선별한 후, 상기 선별된 클래스별 k개 샘플 데이터를 통해 퓨샷 모델을 학습시키는 단계를 포함하며,
상기 퓨샷 모델은
k개 샘플 데이터에 대한 스케일링을 자체적으로 내포한 신경망 모델이나 스케일링을 적용한 신경망 모델로 구현되고,
상기 퓨샷 모델이 다수개인 경우에는 다수의 퓨샷 모델 각각이 서로 상이한 종류의 신경망 모델로 구현되거나 동일 종류의 신경망 모델로 구현되나 내부 레이어 구조가 상이한 방식으로 구현될 수 있도록 하며, 상기 다수의 퓨샷 모델을 통해 입력 데이터에 대한 다수개의 예측값을 획득한 후, 상기 다수의 예측값에 대한 하드 보팅 또는 소프트 보팅을 수행하여 최종 예측값을 획득 및 출력하는 것을 특징으로 하는 퓨샷 분류 장치의 메타 학습 방법.