KR20220103247A - 학습 데이터 분류를 이용한 연합 학습 프레임워크의 로컬 모델 학습 방법 - Google Patents

학습 데이터 분류를 이용한 연합 학습 프레임워크의 로컬 모델 학습 방법 Download PDF

Info

Publication number
KR20220103247A
KR20220103247A KR1020210005483A KR20210005483A KR20220103247A KR 20220103247 A KR20220103247 A KR 20220103247A KR 1020210005483 A KR1020210005483 A KR 1020210005483A KR 20210005483 A KR20210005483 A KR 20210005483A KR 20220103247 A KR20220103247 A KR 20220103247A
Authority
KR
South Korea
Prior art keywords
learning
model
client
sample
federated
Prior art date
Application number
KR1020210005483A
Other languages
English (en)
Inventor
이지형
강석규
홍만수
임지영
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020210005483A priority Critical patent/KR20220103247A/ko
Priority to US17/576,042 priority patent/US20220222578A1/en
Publication of KR20220103247A publication Critical patent/KR20220103247A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명은 학습 데이터 분류를 이용한 연합 학습 프레임워크의 로컬 모델 학습 방법에 관한 것으로, 클라이언트가 학습 데이터를 2개의 분류로 구분하는 단계, 상기 클라이언트가 학습을 위한 미니배치를 생성하는 단계로서, 상기 미니배치에 포함된 상기 2개의 분류로 구분된 샘플의 비율을 설정된 비율로 조정하여 미니배치를 생성하는 것인, 미니배치를 생성하는 단계 및 상기 클라이언트가 샘플의 비율이 조정된 상기 미니배치를 이용하여 학습 모델의 학습을 수행하는 단계를 포함하는 것을 특징으로 한다.

Description

학습 데이터 분류를 이용한 연합 학습 프레임워크의 로컬 모델 학습 방법{METHOD FOR LEARNING LOCAL MODEL OF FEDERATED LEARNING FRAMEWORK USING CLASSIFICATION OF TRAINING DATA}
본 발명은 연합 학습에 관한 것으로, 보다 상세하게는 연합 학습의 로컬 모델을 학습시키는 방법에 관한 것이다.
연합 학습(federated learning)은 개인정보를 포함한 예민한 정보를 보호할 목적으로 개발된 딥러닝 방법이다. 연합 학습 네트워크에 참여한 클라이언트(participant, client, party, edge device, node, user 등으로도 지칭) 각각의 로컬 모델들을 바탕으로 전체를 아우르는 글로벌 모델을 생성하는 방식을 이용한다.
좀 더 구체적으로, 각각의 클라이언트는 데이터를 수집하여 로컬 모델을 학습하고, 서버에 학습한 로컬 모델의 정보를 업로드한다. 서버는 로컬 모델 정보를 취합하여 글로벌 모델을 업데이트하고, 클라이언트에 업데이트한 글로벌 모델의 정보를 전송한다. 클라이언트는 서버로부터 받은 글로벌 모델의 정보로 로컬 모델을 업데이트한다.
이와 같은 과정에서 서버와 클라이언트 사이에서는 클로벌 모델과 로컬 모델의 정보만을 주고받기 때문에 클라이언트가 수집한 데이터가 외부로 전달될 염려가 없어 정보 보호 측면에서 장점이 있다.
한편 본 발명의 배경기술은 대한민국 공개특허 10-2019-0096872호(2019.08.20)에 개시되어 있다.
본 발명은 학습 데이터를 분류하여 학습 성능에 영향을 더 많이 주는 데이터를 보다 많이 학습할 수 있도록 하여 연합 학습의 성능(정확도)을 높일 수 있도록 하는 학습 데이터 분류를 이용한 연합 학습 프레임워크의 로컬 모델 학습 방법을 제공하는데 그 목적이 있다.
본 발명에 따른 학습 데이터 분류를 이용한 연합 학습 프레임워크의 로컬 모델 학습 방법은, 클라이언트가 학습 데이터를 2개의 분류로 구분하는 단계; 상기 클라이언트가 학습을 위한 미니배치를 생성하는 단계로서, 상기 미니배치에 포함된 상기 2개의 분류로 구분된 샘플의 비율을 설정된 비율로 조정하여 미니배치를 생성하는 것인, 미니배치를 생성하는 단계; 및 상기 클라이언트가 샘플의 비율이 조정된 상기 미니배치를 이용하여 학습 모델의 학습을 수행하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 상기 학습 데이터를 2개의 분류로 구분하는 단계에서, 상기 클라이언트는 상기 학습 데이터를 포게터블 샘플(forgettable sample)과 언포게터블 샘플(unforgettable sample)로 구분하는 것을 특징으로 한다.
본 발명에서 상기 클라이언트는 카타스트로픽 포게팅(Catastrophic forgetting)에 기반하여 상기 학습 데이터를 상기 포게터블 샘플과 상기 언포게터블 샘플로 구분하는 것을 특징으로 한다.
본 발명에서 상기 클라이언트는, 상기 학습 데이터를 상기 학습 모델에 학습시켜 도출되는 결과와, 상기 학습 데이터를 상기 학습 데이터가 학습된 학습 모델에 재차 학습시켜 도출되는 결과를 비교하여 상기 학습 데이터를 상기 포게터블 샘플과 상기 언포게터블 샘플로 구분하는 것을 특징으로 한다.
본 발명에서 상기 클라이언트는, 상기 학습 데이터를 상기 학습 모델에 학습시켜 도출되는 결과와 상기 학습 데이터를 재차 학습시켜 도출되는 결과가 상이한 샘플을 상기 포게터블 샘플로 분류하는 것을 특징으로 한다.
본 발명에서 상기 클라이언트는, 상기 학습 데이터를 상기 학습 모델에 학습시켜 도출되는 결과가 정답인 샘플 중, 재차 학습시켜 도출되는 결과가 오답인 샘플을 상기 포게터블 샘플로 분류하는 것을 특징으로 한다.
본 발명은 상기 클라이언트가 서버로부터 상기 설정된 비율을 수신하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명은, 상기 학습 데이터를 2개의 분류로 구분하는 단계 전에, 상기 클라이언트가 서버로부터 상기 학습 모델에 대한 정보를 수신하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명은, 상기 학습 모델의 학습을 수행하는 단계 이후에, 상기 클라이언트가 상기 서버로 학습이 수행된 학습 모델에 대한 정보를 전송하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명에서 상기 학습 모델에 대한 정보 및 상기 학습이 수행된 학습 모델에 대한 정보는 학습 모델을 위한 가중치(weight)인 것을 특징으로 한다.
본 발명에 따른 학습 데이터 분류를 이용한 연합 학습 프레임워크의 로컬 모델 학습 방법은 학습 데이터를 분류하여 미니배치에 포함된 샘플의 비율을 조정함으로써 학습 성능에 영향을 더 많이 주는 데이터를 보다 많이 학습할 수 있도록 함으로써 학습 모델의 성능을 높일 수 있도록 하는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 연합 학습이 수행되는 시스템을 설명하기 위한 예시도이다.
도 2는 본 발명의 일 실시예에 따른 연합 학습을 수행하는 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 학습 데이터 분류를 이용한 연합 학습 프레임워크의 로컬 모델 학습 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 학습 데이터 분류를 이용한 연합 학습 프레임워크의 로컬 모델 학습 방법의 동작 방식을 설명하기 위한 예시도이다.
도 5는 본 발명의 일 실시예에 따른 학습 데이터 분류를 이용한 연합 학습 프레임워크의 로컬 모델 학습 방법을 이용한 학습 모델의 성능과 일반적인 FedAvg를 이용한 학습 모델의 성능을 비교한 결과를 나타낸 예시도이다.
도 6은 본 발명의 일 실시예에 따른 학습 데이터 분류를 이용한 연합 학습 프레임워크의 로컬 모델 학습 방법에서의 샘플의 비율에 따른 성능을 나타낸 예시도이다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 학습 데이터 분류를 이용한 연합 학습 프레임워크의 로컬 모델 학습 방법의 실시예를 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로, 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 연합 학습이 수행되는 시스템을 설명하기 위한 예시도이고, 도 2는 본 발명의 일 실시예에 따른 연합 학습을 수행하는 방법을 설명하기 위한 흐름도이며, 도 3은 본 발명의 일 실시예에 따른 학습 데이터 분류를 이용한 연합 학습 프레임워크의 로컬 모델 학습 방법을 설명하기 위한 흐름도이고, 도 4는 본 발명의 일 실시예에 따른 학습 데이터 분류를 이용한 연합 학습 프레임워크의 로컬 모델 학습 방법의 동작 방식을 설명하기 위한 예시도로서, 이를 참조하여 본 발명의 실시예에 따른 학습 데이터 분류를 이용한 연합 학습 프레임워크의 로컬 모델 학습 방법을 설명하면 다음과 같다.
도 1에 도시된 것과 같이 연합 학습은 서버(100)와 클라이언트들(200)을 포함하는 시스템에서 수행된다.
서버(100)와 클라이언트(200)는 딥러닝 연산 등을 위한 프로세서, 학습 모델, 학습 데이터 등을 저장하기 위한 저장 장치, 서로 간의 통신을 위한 통신 장치 등을 포함하여 구성될 수 있으며, 다수의 클라이언트(200)가 서버(100)와 연결되어 연합 학습을 수행하도록 구성될 수 있다.
예시적으로, 사용자의 스마트기기, 개인용 컴퓨터 등이 클라이언트(200)로 사용될 수 있다.
도 2에 도시된 것과 같이, 연합 학습은 다음과 같은 과정을 통해 수행될 수 있다.
먼저 서버(100)는 자체적으로 보유한 학습 데이터를 이용하여 초기 학습 모델(글로벌 모델)을 생성하고 이를 클라이언트들(200)로 배포한다(S100). 이어서 각각의 클라이언트(200)는 각각의 클라이언트가 보유한 학습 데이터를 이용하여 학습을 수행한다(S200). 이렇게 학습이 수행되면, 각각의 클라이언트(200)는 개별적으로 업데이트된 학습 모델(로컬 모델)을 보유하게 되며, 각각의 클라이언트(200)는 이렇게 업데이트된 학습 모델의 정보를 서버(100)로 전송한다(S300). 서버(100)는 클라이언트들(200)로부터 수집된 정보를 바탕으로 초기 학습 모델(글로벌 모델)을 업데이트 하고(S400), 업데이트된 학습 모델을 클라이언트들(200)로 다시 배포한다(S500).
이와 같은 로컬 모델의 학습 및 글로벌 모델의 업데이트가 반복적으로 수행되어 연합 학습이 수행된다.
이때 각각의 클라이언트(200)가 서버(100)로 전송하는 정보는 학습 모델의 가중치(weights)이고, 서버(100)가 업데이트된 학습 모델을 클라이언트들(200)로 다시 배포할 때 전송되는 정보도 가중치일 수 있다. 여기서 가중치는 딥러닝의 신경망이 이용하여, 학습 가능한 변수의 집합을 의미할 수 있으며, 서버(100)는 수집된 가중치를 이용하여 글로벌 모델을 개선할 수 있다.
또한 이러한 연합 학습을 위해 FedAvg 알고리즘(H. B. McMahan et al., Communication-Efficient Learning of Deep Networks from Decentralized Data, 2016.), FedMA 알고리즘, (H. Wang et al., Federated Learning with Matched Averaging, 2019.), FedProx 알고리즘(T. Li et al, Federated Optimization in Heterogeneous Networks, 2018.) 등이 사용될 수 있고, 이외에도 알려진 다양한 알고리즘의 적용이 가능하다.
다만 가중치를 이용하는 연합 학습의 동작 방식 및 전술한 알고리즘의 적용 등은 본 발명의 기술분야의 통상의 기술자에게 널리 알려진 사항에 해당하므로, 본 발명에서 더 자세한 설명은 생략하기로 한다.
한편 도 3 및 도 4에서 볼 수 있듯이, 본 발명에 따른 학습 데이터 분류를 이용한 연합 학습 프레임워크의 로컬 모델 학습 방법은 클라이언트(200)의 로컬 모델의 학습에 있어서 다음과 같이 수행될 수 있다.
먼저 클라이언트(200)는 학습 데이터를 학습의 유의미 정도를 구분하여 분류할 수 있다.
구체적으로, 클라이언트(200)는 학습 데이터를 2가지 분류로 구분하여 학습에 보다 유용한 데이터와 일반 데이터로 분류할 수 있다.
예를 들어, 클라이언트(200)는 카타스트로픽 포게팅(Catastrophic forgetting) 현상에 기반하여 학습에 유의미한 데이터를 분류할 수 있다. 카타스트로픽 포게팅은 학습 모델이 학습한 데이터를 잊게 되는 현상을 의미한다. 즉, 데이터 x1을 맞게 예측하는 모델 f(x)가 있을 때, 이후 x2를 학습한 후에는 x1에 대한 f(x1)의 값이 달라져서 맞게 예측하지 못하는 데이터가 존재하며, 이러한 데이터는 포게터블 샘플(forgettable sample)에 해당될 수 있다.
반면 학습 모델에 학습된 이후 잊히지 않는 언포게터블 샘플(unforgettable sample)이 존재하며, 클라이언트(200)는 학습 데이터를 포게터블 샘플과 언포게터블 샘플로 구분하여 분류할 수 있다.
이러한 포게터블 샘플과 언포게터블 샘플의 구분은 학습 데이터를 학습 모델에 학습시켜 봄으로써 데이터가 잊히는가 잊히지 않는가를 테스트함으로써 수행될 수 있다.
즉, 클라이언트(200)는 학습 데이터를 학습하여 이를 포게터블 샘플과 언포게터블 샘플로 구분한다(S210).
구체적으로, 학습 데이터를 학습 모델(로컬 모델)에 학습시키면서 도출되는 결과를 먼저 기록한 후, 학습 데이터를 재차 학습시켜 도출되는 결과가 달라지는 샘플은 포게터블 샘플에 해당하는 것으로 판단할 수 있다.
또는 학습 데이터를 학습시킬 때 정답을 맞히는 샘플들에 대해서 재차 학습시켰을 때, 정답을 맞히지 못하는 샘플은 포게터블 샘플에 해당하는 것으로 판단할 수 있다.
또한 학습 데이터를 학습시킬 때, 처음부터 정답을 맞히지 못하는 샘플들도 포게터블 샘플에 해당하는 것으로 판단할 수 있다.
클라이언트(200)는 학습 데이터를 포게터블 샘플과 언포게터블 샘플로 구분하여 학습 데이터에 이에 대한 플래그(flag)를 추가하도록 구성될 수 있다.
이후 클라이언트(200)는 학습 데이터를 학습을 위해 미니배치로 구성하되, 미니배치에 포함되는 포게터블 샘플과 언포게터블 샘플의 비율을 설정된 비율로 조정한다(S220).
전술한 포게터블 샘플과 언포게터블 샘플은 모델이 학습하기 어려운 데이터와 학습하기 쉬운 데이터를 나타내는 것으로 볼 수 있다. 따라서 포게터블 샘플과 언포게터블 샘플 모두가 학습에 필요하지만, 딥러닝 모델의 성능을 결정하는 것에 있어서는 포게터블 샘플이 언포게터블 샘플보다 중요하다고 할 수 있다.
따라서 학습 과정에서 포게터블 샘플을 반복적으로 노출함으로써 딥러닝 모델의 성능을 보다 높일 수 있다.
또한 정답을 맞히지 못하는 샘플들은 학습을 어렵게 하는 무시해야 할 특성을 가질 수 있다. 예를 들어, 개의 이미지를 구분하는 학습 모델에 있어서, 개의 이미지에 개가 너무 작게 찍혀 있거나, 개를 안고 있는 사람의 팔이 함께 찍혀 있는 경우 등에도 이를 반복적으로 노출해 모델이 중요시해야 할 곳에 더 가중치를 주고 무시할 부분은 값을 낮추도록 할 수 있다.
다만 포게터블 샘플은 모델의 학습을 어렵게 만들 수 있으므로, 이러한 비율을 적정 수준으로 설정해주는 것이 필요하다.
이때 포게터블 샘플과 언포게터블 샘플의 비율은 서버(100)로부터 클라이언트(200)로 전달될 수 있다. 서버(100)는 딥러닝 모델의 종류 등을 고려하여 이러한 비율을 선정하도록 구성되거나, 사용자가 서버(100)에 비율을 입력하여 설정하도록 구성될 수 있다.
한편, 전술한 것과 같이, 연합 학습에서는 클라이언트들(200)에서 각각의 로컬 모델이 학습되면, 학습된 정보가 서버(100)로 집계되고, 서버(100)에서 이들을 통해 글로벌 모델을 업데이트하고, 클라이언트들(200)로 다시 배포하는 방식을 사용하므로, 각각의 로컬 모델 측면에서는 정보의 변경 및 손실이 발생한다. 따라서 일반적인 딥러닝 환경보다 이전에 훈련된 샘플을 잊어버릴 가능성이 더 높게 나타날 수 있다.
즉, 연합 학습 환경에서는 카타스트로픽 포게팅 이벤트가 발생할 가능성이 일반적인 딥러닝 환경보다 높으므로, 본 발명에서는 미니배치의 구성 시, 포게터블 샘플과 언포게터블 샘플의 비율을 조절하여 학습 모델의 성능을 높일 수 있도록 한다.
이후 클라이언트(200)는 샘플의 비율이 조정된 미니배치를 이용하여 학습을 수행한다(S230). 즉, 클라이언트(200)는 무작위로 미니배치를 구성하되 일정 비율의 포게터블 샘플이 포함되도록 미니배치를 구성하여 학습을 수행할 수 있다.
학습이 완료되면, 클라이언트(200)는 전술한 도 2의 단계 S300으로 진행하여 업데이트된 학습 모델의 정보를 서버(100)로 전송할 수 있다.
도 5는 본 발명의 일 실시예에 따른 학습 데이터 분류를 이용한 연합 학습 프레임워크의 로컬 모델 학습 방법을 이용한 학습 모델의 성능과 일반적인 FedAvg를 이용한 학습 모델의 성능을 비교한 결과를 나타낸 예시도이다.
도 5의 테스트에서는 CIFAR-10 이미지 데이터셋을 사용하였다. 가상 클라이언트들를 생성하여 이미지 데이터를 무작위로 분배하였으며, 도면에 나타낸 성능지표는 정확성이다. 이하에서 본 발명에 따른 방법은 B-Fed(Sample Boosted Federated Learning)라 지칭하였다.
도 5의 (a), (b)는 LeNet-5 모델을 사용한 것으로 각각 28개, 16개의 가상 클라이언트에 적용하였다. 도 5의 (c), (d)는 VGG-9을 사용하여 16개 가상 클라이언트에 적용하되 epoch만 10개, 20개로 차이를 두었다. 가중을 준 포게터블 샘플의 비율은 30%이다. FedAvg와 B-Fed는 1~3%까지 차이가 남을 확인할 수 있으며, 어떤 경우 어느 시점에도 B-Fed가 FedAvg보다 1% 이상의 더 나은 성능을 냄을 확인할 수 있다.
도 6은 본 발명의 일 실시예에 따른 학습 데이터 분류를 이용한 연합 학습 프레임워크의 로컬 모델 학습 방법에서의 샘플의 비율에 따른 성능을 나타낸 예시도이다.
도 6은 도 5와 같은 조건으로 포게터블 샘플의 가중 비율만 바꾸었을 때의 결과이다. 베이스라인(Baseline)은 가중 비율이 0%이므로 FedAvg를 의미하고 Boost All은 100%를 의미한다. 도 6에서 볼 수 있듯이, 포게터블 샘플의 가중 비율이 과도하게 커지면 역으로 성능이 떨어짐을 보인다. 40% 이후부터 평균 성능과 최종 성능마저 FedAvg에 비해 떨어지는 것을 확인할 수 있다. 그러나 40% 미만은 평균, 최종, 최고 성능과 수렴 시점 모두 FedAvg보다 높고 1~3% 가량의 차이를 냄을 확인할 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다.
100: 서버
200: 클라이언트

Claims (10)

  1. 클라이언트가 학습 데이터를 2개의 분류로 구분하는 단계;
    상기 클라이언트가 학습을 위한 미니배치를 생성하는 단계로서, 상기 미니배치에 포함된 상기 2개의 분류로 구분된 샘플의 비율을 설정된 비율로 조정하여 미니배치를 생성하는 것인, 미니배치를 생성하는 단계; 및
    상기 클라이언트가 샘플의 비율이 조정된 상기 미니배치를 이용하여 학습 모델의 학습을 수행하는 단계를 포함하는, 학습 데이터 분류를 이용한 연합 학습 프레임워크의 로컬 모델 학습 방법.
  2. 제1항에 있어서,
    상기 학습 데이터를 2개의 분류로 구분하는 단계에서, 상기 클라이언트는 상기 학습 데이터를 포게터블 샘플(forgettable sample)과 언포게터블 샘플(unforgettable sample)로 구분하는 것을 특징으로 하는, 학습 데이터 분류를 이용한 연합 학습 프레임워크의 로컬 모델 학습 방법.
  3. 제2항에 있어서,
    상기 클라이언트는 카타스트로픽 포게팅(Catastrophic forgetting)에 기반하여 상기 학습 데이터를 상기 포게터블 샘플과 상기 언포게터블 샘플로 구분하는 것을 특징으로 하는, 학습 데이터 분류를 이용한 연합 학습 프레임워크의 로컬 모델 학습 방법.
  4. 제2항에 있어서,
    상기 클라이언트는, 상기 학습 데이터를 상기 학습 모델에 학습시켜 도출되는 결과와, 상기 학습 데이터를 상기 학습 데이터가 학습된 학습 모델에 재차 학습시켜 도출되는 결과를 비교하여 상기 학습 데이터를 상기 포게터블 샘플과 상기 언포게터블 샘플로 구분하는 것을 특징으로 하는, 학습 데이터 분류를 이용한 연합 학습 프레임워크의 로컬 모델 학습 방법.
  5. 제4항에 있어서,
    상기 클라이언트는, 상기 학습 데이터를 상기 학습 모델에 학습시켜 도출되는 결과와 상기 학습 데이터를 재차 학습시켜 도출되는 결과가 상이한 샘플을 상기 포게터블 샘플로 분류하는 것을 특징으로 하는, 학습 데이터 분류를 이용한 연합 학습 프레임워크의 로컬 모델 학습 방법.
  6. 제4항에 있어서,
    상기 클라이언트는, 상기 학습 데이터를 상기 학습 모델에 학습시켜 도출되는 결과가 정답인 샘플 중, 재차 학습시켜 도출되는 결과가 오답인 샘플을 상기 포게터블 샘플로 분류하는 것을 특징으로 하는, 학습 데이터 분류를 이용한 연합 학습 프레임워크의 로컬 모델 학습 방법.
  7. 제1항에 있어서,
    상기 클라이언트가 서버로부터 상기 설정된 비율을 수신하는 단계를 더 포함하는 것을 특징으로 하는, 학습 데이터 분류를 이용한 연합 학습 프레임워크의 로컬 모델 학습 방법.
  8. 제1항에 있어서,
    상기 학습 데이터를 2개의 분류로 구분하는 단계 전에,
    상기 클라이언트가 서버로부터 상기 학습 모델에 대한 정보를 수신하는 단계를 더 포함하는 것을 특징으로 하는, 학습 데이터 분류를 이용한 연합 학습 프레임워크의 로컬 모델 학습 방법.
  9. 제8항에 있어서,
    상기 학습 모델의 학습을 수행하는 단계 이후에,
    상기 클라이언트가 상기 서버로 학습이 수행된 학습 모델에 대한 정보를 전송하는 단계를 더 포함하는 것을 특징으로 하는, 학습 데이터 분류를 이용한 연합 학습 프레임워크의 로컬 모델 학습 방법..
  10. 제9항에 있어서,
    상기 학습 모델에 대한 정보 및 상기 학습이 수행된 학습 모델에 대한 정보는 학습 모델을 위한 가중치(weight)인 것을 특징으로 하는, 학습 데이터 분류를 이용한 연합 학습 프레임워크의 로컬 모델 학습 방법.
KR1020210005483A 2021-01-14 2021-01-14 학습 데이터 분류를 이용한 연합 학습 프레임워크의 로컬 모델 학습 방법 KR20220103247A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210005483A KR20220103247A (ko) 2021-01-14 2021-01-14 학습 데이터 분류를 이용한 연합 학습 프레임워크의 로컬 모델 학습 방법
US17/576,042 US20220222578A1 (en) 2021-01-14 2022-01-14 Method of training local model of federated learning framework by implementing classification of training data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210005483A KR20220103247A (ko) 2021-01-14 2021-01-14 학습 데이터 분류를 이용한 연합 학습 프레임워크의 로컬 모델 학습 방법

Publications (1)

Publication Number Publication Date
KR20220103247A true KR20220103247A (ko) 2022-07-22

Family

ID=82322881

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210005483A KR20220103247A (ko) 2021-01-14 2021-01-14 학습 데이터 분류를 이용한 연합 학습 프레임워크의 로컬 모델 학습 방법

Country Status (2)

Country Link
US (1) US20220222578A1 (ko)
KR (1) KR20220103247A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102624299B1 (ko) * 2022-09-14 2024-01-15 디어젠 주식회사 연합 학습을 위한 지역 신경망 모델 학습 방법
KR102648588B1 (ko) 2023-08-11 2024-03-18 (주)씨앤텍시스템즈 연합 학습 방법 및 시스템

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102624299B1 (ko) * 2022-09-14 2024-01-15 디어젠 주식회사 연합 학습을 위한 지역 신경망 모델 학습 방법
WO2024058465A1 (ko) * 2022-09-14 2024-03-21 디어젠 주식회사 연합 학습을 위한 지역 신경망 모델 학습 방법
KR102648588B1 (ko) 2023-08-11 2024-03-18 (주)씨앤텍시스템즈 연합 학습 방법 및 시스템

Also Published As

Publication number Publication date
US20220222578A1 (en) 2022-07-14

Similar Documents

Publication Publication Date Title
US11138521B2 (en) System and method for defining and using different levels of ground truth
Sharma et al. CERTIFAI: A common framework to provide explanations and analyse the fairness and robustness of black-box models
WO2021179834A1 (zh) 基于异构图进行业务处理的方法及装置
US10628527B2 (en) Automatically cross-linking application programming interfaces
Criado et al. Non-iid data and continual learning processes in federated learning: A long road ahead
US9965717B2 (en) Learning image representation by distilling from multi-task networks
US20210374617A1 (en) Methods and systems for horizontal federated learning using non-iid data
CN113066484A (zh) 用于神经网络模型的分布式训练的系统和方法
KR20200052448A (ko) 지식 그래프에 기초하여 데이터베이스들을 통합하는 시스템 및 방법
US11449788B2 (en) Systems and methods for online annotation of source data using skill estimation
KR102607208B1 (ko) 뉴럴 네트워크 학습 방법 및 디바이스
KR20220103247A (ko) 학습 데이터 분류를 이용한 연합 학습 프레임워크의 로컬 모델 학습 방법
US20230195809A1 (en) Joint personalized search and recommendation with hypergraph convolutional networks
CN112257841A (zh) 图神经网络中的数据处理方法、装置、设备及存储介质
KR20210051343A (ko) 비지도 도메인 적응 장치 및 방법
US20150339591A1 (en) Collegial Activity Learning Between Heterogeneous Sensors
US20230115987A1 (en) Data adjustment system, data adjustment device, data adjustment method, terminal device, and information processing apparatus
Castillo et al. An adaptive predictive model for student modeling
Jain et al. Controlling federated learning for covertness
CN111079175B (zh) 数据处理方法、装置、计算机可读存储介质和计算机设备
CN116341976A (zh) 导航地图生产线的指标数据调整方法、装置及设备
US11657275B2 (en) Method and system for adjusting a machine learning output
Jokste et al. Rule based adaptation: literature review
CN114898184A (zh) 模型训练方法、数据处理方法、装置及电子设备
US11887003B1 (en) Identifying contributing training datasets for outputs of machine learning models

Legal Events

Date Code Title Description
A201 Request for examination