KR102523699B1 - 제조 환경을 위한 연합학습 시스템 - Google Patents

제조 환경을 위한 연합학습 시스템 Download PDF

Info

Publication number
KR102523699B1
KR102523699B1 KR1020220176971A KR20220176971A KR102523699B1 KR 102523699 B1 KR102523699 B1 KR 102523699B1 KR 1020220176971 A KR1020220176971 A KR 1020220176971A KR 20220176971 A KR20220176971 A KR 20220176971A KR 102523699 B1 KR102523699 B1 KR 102523699B1
Authority
KR
South Korea
Prior art keywords
data
client
model
facility
unit
Prior art date
Application number
KR1020220176971A
Other languages
English (en)
Inventor
이인배
양승재
Original Assignee
(주)임픽스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)임픽스 filed Critical (주)임픽스
Priority to KR1020220176971A priority Critical patent/KR102523699B1/ko
Application granted granted Critical
Publication of KR102523699B1 publication Critical patent/KR102523699B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/098Distributed learning, e.g. federated learning
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/418Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41885Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by modeling, simulation of the manufacturing system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/004Artificial life, i.e. computing arrangements simulating life
    • G06N3/006Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/094Adversarial learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Automation & Control Theory (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 제조 환경을 위한 연합학습 시스템에 관한 것으로서, 보다 구체적으로는 연합학습(Federated Learning, FL) 시스템으로서, 글로벌 모델을 복수의 클라이언트에 배포하고, 복수의 클라이언트에서 학습된 로컬 모델을 수거해 상기 글로벌 모델을 업데이트하며, 업데이트된 글로벌 모델을 재배포하는 연합학습 서버; 제조 환경에서 사용하는 설비로서, 설비에서 수집되는 데이터를 이용해 상기 연합학습 서버에서 배포된 글로벌 모델을 학습해 로컬 모델을 생성하는 적어도 하나 이상의 설비 클라이언트; 및 생성적 대립 신경망(Generative Adversarial Network, GAN)에 의해 상기 설비에서 수집되는 데이터와 유사한 가상 데이터를 생산하는 가상 데이터 시뮬레이터부를 포함하며, 상기 가상 데이터 시뮬레이터부에서 생산된 가상 데이터를 이용해 상기 연합학습 서버에서 배포된 글로벌 모델을 학습해 로컬 모델을 생성하는 적어도 하나 이상의 가상 설비 클라이언트를 포함하며, 상기 연합학습 서버는, 상기 설비 클라이언트 및 가상 설비 클라이언트에서 로컬 모델을 수거해 상기 글로벌 모델을 업데이트하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 제조 환경을 위한 연합학습 시스템에 따르면, 제조 환경에서 사용하는 설비인 설비 클라이언트와 생성적 대립 신경망에 의해 설비에서 수집되는 데이터와 유사한 가상 데이터를 생산하는 가상 설비 클라이언트를 이용해 연합학습을 수행함으로써, 설비에서 수집되는 데이터가 적거나 같은 설비의 대수가 적어서 연합학습을 적용하기 어려운 제조 환경에서도, 가상 설비 클라이언트를 이용해 연합학습을 효과적으로 수행할 수 있다.

Description

제조 환경을 위한 연합학습 시스템{FEDERATED LEARNING SYSTEM FOR MANUFACTURING ENVIRONMENT}
본 발명은 연합학습 시스템에 관한 것으로서, 보다 구체적으로는 충분한 데이터를 확보하기 어려운 제조 환경을 위한 연합학습 시스템에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 발명의 일실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
최근 인공지능, 딥러닝 또는 기계학습 기술이 발전함에 따라, 다양한 인공지능 서비스들이 높은 정확도로 제공되고 있다. 이러한 고도의 정확도를 유지하기 위해서는 학습을 위한 대용량의 데이터와 이를 처리할 수 있는 고성능의 컴퓨팅 자원이 필요하다.
도 1은 기존의 인공지능 또는 기계학습 방법을 설명하기 위해 도시한 도면이다. 도 1에 도시된 바와 같이, 기존의 인공지능 또는 기계학습 방법에서는, 고성능의 서버 또는 클라우드 등에 학습용 데이터를 모아두고, 중앙 서버에서 수집한 데이터를 학습해 학습 모델을 생성한 다음, 로컬 데이터를 중앙 서버로 가져와 생성한 학습 모델을 기반으로 중앙 서버에서 분석하였다. 즉, 인공지능 또는 기계학습을 위해 로컬의 데이터가 중앙 서버로 이동하는 방식을 취하고, 중앙 서버에 로컬의 데이터가 저장되므로, 데이터 보안 및 데이터 트랜잭션 문제가 제기되고 있다.
연합학습(Federated Learning, FL)은 이러한 문제를 해결하기 위하여 데이터를 한 곳에 모아두지 않고 데이터 생성원에만 보관하게 한 후, 데이터 생성원에서 학습을 진행하고 학습 결과만을 독립된 서버에서 취합하여 인공지능 모델의 성능을 개선하는 방법으로 제시되었다.
도 2는 연합학습 방법을 설명하기 위해 도시한 도면이다. 도 2에 도시된 바와 같이, 연합학습에서는 모델을 배포하여 학습하고 학습된 모델을 수거하여 업데이트하므로, 데이터가 아닌 모델이 이동하는 구조이다. 따라서 연합학습에서는 데이터를 중앙 서버로 취합하지 않으므로, 데이터의 유출을 원천적으로 차단하여 데이터 보안에 강인하고, 데이터 트랜잭션이 적은 장점이 있다.
한편, 제조 현장의 경우 인공지능 분석을 위한 데이터가 부족할 때가 많다. 특히, 제조 환경에 연합학습을 적용하려고 하는 경우, 설비에서 얻을 수 있는 데이터가 적거나 같은 설비의 대수가 적어서 학습을 위한 충분한 데이터를 확보하기 어려운 문제가 있다. 따라서 제조 환경에 인공지능 분석을 효과적으로 적용하기 위한 기술의 개발이 필요하다.
전술한 배경 기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지 기술이라 할 수는 없다.
한편, 본 발명과 관련된 선행기술로서, 공개특허 제10-2021-0121915호(발명의 명칭: 연합학습 자원 관리장치, 시스템 및 이의 자원 효율화 방법, 공개일자: 2021년 10월 08일) 등이 개시된 바 있다.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 제조 환경에서 사용하는 설비인 설비 클라이언트와 생성적 대립 신경망(Generative Adversarial Network, GAN)에 의해 설비에서 수집되는 데이터와 유사한 가상 데이터를 생산하는 가상 설비 클라이언트를 이용해 연합학습을 수행함으로써, 설비에서 수집되는 데이터가 적거나 같은 설비의 대수가 적어서 연합학습을 적용하기 어려운 제조 환경에서도, 가상 설비 클라이언트를 이용해 연합학습을 효과적으로 수행할 수 있는, 제조 환경을 위한 연합학습 시스템을 제공하는 것을 그 목적으로 한다.
다만, 본 발명이 이루고자 하는 기술적 과제는 상기한 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 제조 환경을 위한 연합학습 시스템은,
연합학습(Federated Learning, FL) 시스템으로서,
글로벌 모델을 복수의 클라이언트에 배포하고, 복수의 클라이언트에서 학습된 로컬 모델을 수거해 상기 글로벌 모델을 업데이트하며, 업데이트된 글로벌 모델을 재배포하는 연합학습 서버;
제조 환경에서 사용하는 설비로서, 설비에서 수집되는 데이터를 이용해 상기 연합학습 서버에서 배포된 글로벌 모델을 학습해 로컬 모델을 생성하는 적어도 하나 이상의 설비 클라이언트; 및
생성적 대립 신경망(Generative Adversarial Network, GAN)에 의해 상기 설비에서 수집되는 데이터와 유사한 가상 데이터를 생산하는 가상 데이터 시뮬레이터부를 포함하며, 상기 가상 데이터 시뮬레이터부에서 생산된 가상 데이터를 이용해 상기 연합학습 서버에서 배포된 글로벌 모델을 학습해 로컬 모델을 생성하는 적어도 하나 이상의 가상 설비 클라이언트를 포함하며,
상기 연합학습 서버는,
상기 설비 클라이언트 및 가상 설비 클라이언트에서 로컬 모델을 수거해 상기 글로벌 모델을 업데이트하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 연합학습 서버는,
상기 설비 클라이언트의 로컬 모델과 가상 설비 클라이언트의 로컬 모델을 이용해 애그리게이션(aggregation)을 수행하며, 검정 데이터를 통해 학습 결과를 확인하는 FL 서버부;
상기 FL 서버부를 주기적으로 실행하며, 글로벌 모델을 상기 설비 클라이언트 및 가상 설비 클라이언트에 배포하는 작업 관리부; 및
상기 FL 서버부를 제어하되, 코드 저장소의 변동 사항을 상기 글로벌 모델에 적용해 업데이트하며, 상기 FL 서버부의 상태를 클라이언트에 알리는 서버 관리부를 포함할 수 있다.
더욱 바람직하게는, 상기 가상 설비 클라이언트는,
생성적 대립 신경망(Generative Adversarial Network, GAN)에 의해 상기 설비 클라이언트가 사용하는 상기 설비에서 수집되는 데이터와 유사한 가상 데이터를 생산하는 가상 데이터 시뮬레이터부;
상기 글로벌 모델을 배포 받고, FL 클라이언트부에 연합학습 명령을 전달하는 클라이언트 관리부;
상기 가상 데이터 시뮬레이터부에서 생산된 가상 데이터를 저장하는 데이터 저장부; 및
상기 데이터 저장부에서 저장된 데이터를 이용해 연합학습을 수행하는 상기 FL 클라이언트부를 포함할 수 있다.
더더욱 바람직하게는, 상기 가상 설비 클라이언트는,
상기 글로벌 모델을 저장하고, 상기 가상 데이터 시뮬레이터부에서 생산된 가상 데이터를 입력 데이터로 하여 상기 글로벌 모델에 의한 예측값을 반환하는 추론 엔진부를 더 포함하며,
상기 클라이언트 관리부는, 상기 글로벌 모델을 배포 받아 상기 추론 엔진부의 모델을 업데이트하고,
상기 데이터 저장부는, 상기 추론 엔진부에서 사용한 입력 데이터 및 예측값을 저장할 수 있다.
더더욱 바람직하게는, 상기 설비 클라이언트는,
상기 글로벌 모델을 배포 받고, FL 클라이언트부에 연합학습 명령을 전달하는 클라이언트 관리부;
상기 설비에서 수집되는 데이터를 저장하는 데이터 저장부; 및
상기 데이터 저장부에 저장된 데이터를 이용해 연합학습을 수행하는 상기 FL 클라이언트부를 포함할 수 있다.
더욱더 바람직하게는, 상기 설비 클라이언트는,
상기 글로벌 모델을 저장하고, 상기 설비에서 수집되는 데이터를 입력 데이터로 하여 상기 글로벌 모델에 의한 예측값을 반환하는 추론 엔진부를 더 포함하며,
상기 클라이언트 관리부는, 상기 글로벌 모델을 배포 받아 상기 추론 엔진부의 모델을 업데이트하고,
상기 데이터 저장부는, 상기 추론 엔진부에서 사용한 입력 데이터 및 예측값을 저장할 수 있다.
더욱더 바람직하게는,
상기 FL 서버부와 상기 FL 클라이언트부는, gRPC로 신호 및 데이터를 송수신할 수 있다.
더욱더 바람직하게는,
상기 서버 관리부와 상기 클라이언트 관리부는, RESTful API로 신호 및 데이터를 송수신할 수 있다.
본 발명에서 제안하고 있는 제조 환경을 위한 연합학습 시스템에 따르면, 제조 환경에서 사용하는 설비인 설비 클라이언트와 생성적 대립 신경망에 의해 설비에서 수집되는 데이터와 유사한 가상 데이터를 생산하는 가상 설비 클라이언트를 이용해 연합학습을 수행함으로써, 설비에서 수집되는 데이터가 적거나 같은 설비의 대수가 적어서 연합학습을 적용하기 어려운 제조 환경에서도, 가상 설비 클라이언트를 이용해 연합학습을 효과적으로 수행할 수 있다.
도 1은 기존의 인공지능 또는 기계학습 방법을 설명하기 위해 도시한 도면.
도 2는 연합학습 방법을 설명하기 위해 도시한 도면.
도 3은 본 발명의 일실시예에 따른 제조 환경을 위한 연합학습 시스템의 구성을 도시한 도면.
도 4는 본 발명의 일실시예에 따른 제조 환경을 위한 연합학습 시스템에서의 연합학습 수행을 설명하기 위해 도시한 도면.
도 5는 본 발명의 일실시예에 따른 제조 환경을 위한 연합학습 시스템에서, 연합학습 서버의 세부적인 구성을 도시한 도면.
도 6은 본 발명의 일실시예에 따른 제조 환경을 위한 연합학습 시스템에서, 설비 클라이언트의 세부적인 구성을 도시한 도면.
도 7은 본 발명의 일실시예에 따른 제조 환경을 위한 연합학습 시스템에서, 가상 설비 클라이언트의 세부적인 구성을 도시한 도면.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하의 실시예는 본 발명의 이해를 돕기 위한 상세한 설명이며, 본 발명의 권리 범위를 제한하는 것이 아니다. 따라서 본 발명과 동일한 기능을 수행하는 동일 범위의 발명 역시 본 발명의 권리 범위에 속할 것이다.
또한, 본 발명의 각 실시예에 포함된 각 구성, 과정, 공정 또는 방법 등은 기술적으로 상호간 모순되지 않는 범위 내에서 공유될 수 있다.
도 3은 본 발명의 일실시예에 따른 제조 환경을 위한 연합학습 시스템의 구성을 도시한 도면이다. 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 제조 환경을 위한 연합학습 시스템은, 연합학습(Federated Learning, FL) 시스템으로서, 글로벌 모델을 복수의 클라이언트(200, 300)에 배포하고, 복수의 클라이언트(200, 300)에서 학습된 로컬 모델을 수거해 글로벌 모델을 업데이트하며, 업데이트된 글로벌 모델을 재배포하는 연합학습 서버(100); 제조 환경에서 사용하는 설비로서, 설비에서 수집되는 데이터를 이용해 연합학습 서버(100)에서 배포된 글로벌 모델을 학습해 로컬 모델을 생성하는 적어도 하나 이상의 설비 클라이언트(200); 및 생성적 대립 신경망(GAN)에 의해 설비에서 수집되는 데이터와 유사한 가상 데이터를 생산하는 가상 데이터 시뮬레이터부(350)를 포함하며, 가상 데이터 시뮬레이터부(350)에서 생산된 가상 데이터를 이용해 연합학습 서버(100)에서 배포된 글로벌 모델을 학습해 로컬 모델을 생성하는 적어도 하나 이상의 가상 설비 클라이언트(300)를 포함하여 구성될 수 있다. 여기서, 연합학습 서버(100)는, 설비 클라이언트(200) 및 가상 설비 클라이언트(300)에서 로컬 모델을 수거해 글로벌 모델을 업데이트할 수 있다.
즉, 본 발명에서 제안하고 있는 제조 환경을 위한 연합학습 시스템은, 연합학습 서버(100)의 관리하에 설비 클라이언트(200)와 가상 설비 클라이언트(300)를 모두 이용해 연합학습을 수행할 수 있다. 이때, 설비 클라이언트(200)는 제조 공장의 장비 등과 같이 제조 환경에서 실제 사용되는 설비이다. 설비 클라이언트(200)는, 제조 공장 등의 제조 환경에서 사용되는 설비의 센서나 제어부 등에서 수집되는 데이터를 이용해 로컬 모델의 인공지능 학습을 수행할 수 있다. 가상 설비 클라이언트(300)는 생성적 대립 신경망에 의해 설비 클라이언트(200)에서 수집되는 데이터와 유사한 가상 데이터를 생성하는 가상의 클라이언트이다. 가상 설비 클라이언트(300)는 가상 데이터를 이용해 로컬 모델의 인공지능 학습을 수행할 수 있다.
연합학습 서버(100)는, 설비 클라이언트(200)가 설비에서 수집되는 데이터를 이용해 글로벌 모델을 학습해 생성한 로컬 모델과, 가상 설비 클라이언트(300)가 가상 데이터를 이용해 글로벌 모델을 학습해 생성한 로컬 모델을 수거해, 글로벌 모델의 파라미터를 업데이트함으로써 업데이트된 글로벌 모델을 생성할 수 있다. 이와 같이 본 발명에서는, 제조 환경에서 같은 종류의 설비 대수가 적은 등으로, 설비 클라이언트(200)만으로는 연합학습을 하기 부족한 경우에 가상 설비 클라이언트(300)를 도입하여, 설비 클라이언트(200)와 가상 설비 클라이언트(300)를 모두 이용해 연합학습을 수행할 수 있다. 따라서 설비에서 수집되는 데이터가 적거나 같은 종류의 설비 대수가 적어서 연합학습을 적용하기 어려운 제조 환경에서도 연합학습을 효과적으로 수행할 수 있다.
도 4는 본 발명의 일실시예에 따른 제조 환경을 위한 연합학습 시스템에서의 연합학습 수행을 설명하기 위해 도시한 도면이다. 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 제조 환경을 위한 연합학습 시스템은, 연합학습 서버(100)와 클라이언트(200, 300)(설비 클라이언트(200) 및 가상 설비 클라이언트(300)로 구성됨) 사이에서 모델의 배포 및 수거를 통해 연합학습을 수행할 수 있다. 연합학습 수행을 위해서, 본 발명의 일실시예에 따른 제조 환경을 위한 연합학습 시스템은, 연합학습 서버(100), 설비 클라이언트(200) 및 가상 설비 클라이언트(300) 외에, 분산 버전 관리 시스템(Git)을 이용해 글로벌 모델 및 로컬 모델의 코드 버전을 관리하는 코드 저장소(400) 및 글로벌 모델을 저장하는 모델 저장소(500)를 더 포함할 수 있다.
도 4를 참조하여, 본 발명의 일실시예에 따른 제조 환경을 위한 연합학습 시스템에서의 연합학습 과정을 살펴보면, 연합학습 서버(100)가 연합학습의 초기 글로벌 모델을 학습하여 배포하고, 기준 모델을 이용하는 클라이언트(200, 300) 학습 평가를 수행한다. 클라이언트(200, 300)는 연합학습 서버(100)가 배포한 글로벌 모델을 이용하여 추론 또는 예측을 수행하며, 로컬 데이터(설비에서 수집되는 데이터 또는 가상 데이터)를 수집 및 저장할 수 있다. 연합학습 서버(100)는 주기적으로 모델 통합을 준비하며, 클라이언트(200, 300)가 학습 조건 체크 후 연합학습에 참여할 수 있다. 도 4에서 연합학습 서버(100)와 클라이언트(200, 300) 간에는 파라미터를 교환하게 되며, 설비에서 수집된 데이터나 가상 데이터는 교환하지 않는다. 연합학습 서버(100)와 클라이언트(200, 300)는 파라미터 교환을 통해 글로벌 모델 및 로컬 모델을 교환할 수 있다.
도 5는 본 발명의 일실시예에 따른 제조 환경을 위한 연합학습 시스템에서, 연합학습 서버(100)의 세부적인 구성을 도시한 도면이다. 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 제조 환경을 위한 연합학습 시스템의 연합학습 서버(100)는, FL 서버부(110), 작업 관리부(120) 및 서버 관리부(130)를 포함하여 구성될 수 있다.
FL 서버부(110)는, 설비 클라이언트(200)의 로컬 모델과 가상 설비 클라이언트(300)의 로컬 모델을 이용해 애그리게이션(aggregation)을 수행하며, 검정 데이터를 통해 학습 결과를 확인할 수 있다. 즉, 클라이언트(200, 300)로부터 로컬 모델을 수거해 글로벌 모델을 업데이트하는 애그리게이션을 수행하고, 검정 데이터를 통해 로컬 모델의 학습 결과를 확인할 수 있다. FL 서버부(110)에 의해 업데이트된 글로벌 모델은 모델 저장소(500)에 저장될 수 있다.
작업 관리부(120)는, FL 서버부(110)를 주기적으로 실행하며, 글로벌 모델을 설비 클라이언트(200) 및 가상 설비 클라이언트(300)에 배포할 수 있다. 즉, 작업 관리부(120)는, 초기 모델인 글로벌 모델을 클라이언트(200, 300)에 배포하며, FL 서버부(110)를 미리 설정된 주기에 따라 주기적으로 실행하여 연합학습을 수행하도록 할 수 있다.
서버 관리부(130)는, FL 서버부(110)를 제어하되, 코드 저장소(400)의 변동 사항을 글로벌 모델에 적용해 업데이트하며, FL 서버부(110)의 상태를 클라이언트(200, 300)에 알릴 수 있다. 즉, 서버 관리부(130)는, 수거한 로컬 모델을 이용해 글로벌 모델을 업데이트하도록 FL 서버부(110)를 제어할 수 있다.
도 6은 본 발명의 일실시예에 따른 제조 환경을 위한 연합학습 시스템에서, 설비 클라이언트(200)의 세부적인 구성을 도시한 도면이고, 도 7은 본 발명의 일실시예에 따른 제조 환경을 위한 연합학습 시스템에서, 가상 설비 클라이언트(300)의 세부적인 구성을 도시한 도면이다. 도 6 및 도 7에 도시된 바와 같이, 본 발명의 일실시예에 따른 제조 환경을 위한 연합학습 시스템의 설비 클라이언트(200)와 가상 설비 클라이언트(300)는 연합학습의 수행을 목적으로 하므로 클라이언트 관리부(210, 310), 추론 엔진부(220, 320), 데이터 저장부(230, 330) 및 FL 클라이언트부(240, 340)의 구성을 공통으로 할 수 있다. 다만, 가상 설비 클라이언트(300)는 가상 데이터를 생성하는 가상 데이터 시뮬레이터부(350)를 더 포함하여 구성될 수 있다. 이하에서는, 가상 설비 클라이언트(300)의 특징적인 구성인 가상 데이터 시뮬레이터부(350)를 먼저 설명하고, 설비 클라이언트(200)와 가상 설비 클라이언트(300)의 공통된 구성에 대해 각각 설명하도록 한다.
가상 데이터 시뮬레이터부(350)는, 생성적 대립 신경망(GAN)에 의해 설비 클라이언트(200)가 사용하는 설비에서 수집되는 데이터와 유사한 가상 데이터를 생산할 수 있다.
생성적 대립 신경망은, 생성모델과 판별모델이 경쟁하면서 실제와 가까운 데이터를 자동으로 만들어 내는 기계학습(ML) 방식의 하나이다. 보다 구체적으로, 생성적 대립 신경망은 확률 분포를 학습하는 생성모델과 서로 다른 집합을 구분하는 판별모델로 구성된다. 생성모델(또는 생성자)은 가짜 예제를 만들어 판별모델을 최대한 속일 수 있도록 훈련하고, 판별모델(또는 판별자)은 생성모델이 제시하는 가짜 예제와 실제 예제를 최대한 정확하게 구분할 수 있도록 훈련한다. 이와 같이, 생성모델과 판별모델을 대립적 프로세스를 통해 발전시키는 과정을 통해, 생성적 대립 신경망은 실제 예제와 매우 비슷한 유사품(실제 같은 가짜)을 생성할 수 있다.
가상 데이터 시뮬레이터부(350)는, 이와 같은 생성적 대립 신경망을 이용해 가상 데이터를 생성할 수 있다. 보다 구체적으로, 가상 데이터 시뮬레이터부(350)는, 설비에서 수집되는 데이터와 유사한 가상 데이터를 생성하는 생성모델과, 설비에서 수집되는 데이터와 생성모델이 생성한 가상 데이터를 구분하는 판별모델로 구성되며, 생성모델과 판별모델을 대립적 프로세스를 통해 학습시킴으로써, 실제 설비에서 수집되는 데이터와 매우 유사한 가상 데이터를 생성할 수 있다.
클라이언트 관리부(210, 310)는, 글로벌 모델을 배포 받고, FL 클라이언트부(240, 340)에 연합학습 명령을 전달할 수 있다. 즉, 클라이언트 관리부(210, 310)는 연합학습 서버(100)가 배포하는 글로벌 모델을 모델 저장소(500)를 통해 다운로드하고, 코드 저장소(400)를 통해 코드 버전을 동기화할 수 있다. 또한, 이하에서 상세히 설명할 추론 엔진부(220, 320)의 모델을 업데이트하고, FL 클라이언트부(240, 340)에 연합학습 명령을 전달할 수 있다. 이를 위해 클라이언트 관리부(210, 310)와 연합학습 서버(100)의 서버 관리부(130) 사이에 신호를 송수신할 수 있다. 이때, 도 4에 도시된 바와 같이, 서버 관리부(130)와 클라이언트 관리부(210, 310)는, RESTful API로 신호 및 데이터를 송수신할 수 있다.
추론 엔진부(220, 320)는, 글로벌 모델을 저장하고, 글로벌 모델에 의한 예측값을 반환할 수 있다. 이때, 설비 클라이언트(200)의 추론 엔진부(220)는 설비에서 수집되는 데이터를 입력 데이터로 하여 글로벌 모델에 의한 예측값을 반환하고, 가상 설비 클라이언트(300)의 추론 엔진부(320)는 가상 데이터 시뮬레이터부(350)에서 생산된 가상 데이터를 입력 데이터로 하여 글로벌 모델에 의한 예측값을 반환할 수 있다. 즉, 추론 엔진부(220, 320)는, 클라이언트(200, 300)가 수집 또는 생성하는 설비와 관련된 데이터를 입력받고, 글로벌 모델에 의한 예측값을 반환할 수 있다. 이때, 사용한 입력 데이터는 학습을 위해 데이터 저장부(230, 330)에 저장할 수 있다.
데이터 저장부(230, 330)는, 설비의 데이터를 저장할 수 있다. 이때, 설비 클라이언트(200)의 데이터 저장부(230)는 설비에서 수집되는 데이터를 저장할 수 있고, 가상 설비 클라이언트(300)의 데이터 저장부(330)는 가상 데이터 시뮬레이터부(350)에서 생산된 가상 데이터를 저장할 수 있다. 또한, 데이터 저장부(230, 330)는, 추론 엔진부(220, 320)에서 사용한 입력 데이터 및 예측값을 저장할 수 있다.
FL 클라이언트부(240, 340)는, 데이터 저장부(230, 330)에서 저장된 데이터를 이용해 연합학습을 수행할 수 있다. 즉, FL 클라이언트부(240, 340)는, 각 클라이언트(200, 300)의 로컬 데이터(설비에서 수집되는 데이터 또는 가상 데이터)를 이용해 글로벌 모델을 학습하여 로컬 모델을 생성하는 구성일 수 있다. FL 클라이언트부(240, 340)는, 각각의 클라이언트(200, 300) 내에서 자체적으로 확보한 로컬 데이터만 이용해 학습을 수행하므로, 로컬 데이터의 이동 없이 복수의 클라이언트(200, 300)가 연합하여 글로벌 모델을 업데이트할 수 있다. 이때, FL 서버부(110)와 FL 클라이언트부(240, 340)는, gRPC로 신호 및 데이터를 송수신할 수 있다.
전술한 바와 같이, 본 발명에서 제안하고 있는 제조 환경을 위한 연합학습 시스템에 따르면, 제조 환경에서 사용하는 설비인 설비 클라이언트(200)와 생성적 대립 신경망에 의해 설비에서 수집되는 데이터와 유사한 가상 데이터를 생산하는 가상 설비 클라이언트(300)를 이용해 연합학습을 수행함으로써, 설비에서 수집되는 데이터가 적거나 같은 설비의 대수가 적어서 연합학습을 적용하기 어려운 제조 환경에서도, 가상 설비 클라이언트(300)를 이용해 연합학습을 효과적으로 수행할 수 있다.
한편, 본 발명의 일 실시예는 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
본 발명은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 연합학습 서버
110: FL 서버부
120: 작업 관리부
130: 서버 관리부
200: 설비 클라이언트
210, 310: 클라이언트 관리부
220, 320: 추론 엔진부
230, 330: 데이터 저장부
240, 340: FL 클라이언트부
300: 가상 설비 클라이언트
350: 가상 데이터 시뮬레이터부
400: 코드 저장소
500: 모델 저장소

Claims (8)

  1. 설비에서 수집되는 데이터가 부족하거나 같은 종류의 설비 대수가 부족해서 연합학습을 적용하기 어려운 제조 환경을 위한 연합학습(Federated Learning, FL) 시스템으로서,
    글로벌 모델을 복수의 클라이언트(200, 300)에 배포하고, 복수의 클라이언트(200, 300)에서 학습된 로컬 모델을 수거해 상기 글로벌 모델을 업데이트하며, 업데이트된 글로벌 모델을 재배포하는 연합학습 서버(100);
    제조 환경에서 사용하는 설비로서, 설비에서 수집되는 데이터를 이용해 상기 연합학습 서버(100)에서 배포된 글로벌 모델을 학습해 로컬 모델을 생성하는 적어도 하나 이상의 설비 클라이언트(200);
    생성적 대립 신경망(Generative Adversarial Network, GAN)에 의해 상기 설비에서 수집되는 데이터와 유사한 가상 데이터를 생산하는 가상 데이터 시뮬레이터부(350)를 포함하며, 상기 가상 데이터 시뮬레이터부(350)에서 생산된 가상 데이터를 이용해 상기 연합학습 서버(100)에서 배포된 글로벌 모델을 학습해 로컬 모델을 생성하는 적어도 하나 이상의 가상 설비 클라이언트(300);
    분산 버전 관리 시스템(Git)을 이용해 글로벌 모델 및 로컬 모델의 코드 버전을 관리하는 코드 저장소(400); 및
    글로벌 모델을 저장하는 모델 저장소(500)를 포함하며,
    상기 연합학습 서버(100)는,
    상기 설비 클라이언트(200) 및 가상 설비 클라이언트(300)에서 로컬 모델을 수거해 상기 글로벌 모델을 업데이트하되,
    상기 연합학습 서버(100)는,
    상기 설비 클라이언트(200)의 로컬 모델과 가상 설비 클라이언트(300)의 로컬 모델을 이용해 애그리게이션(aggregation)을 수행하며, 검정 데이터를 통해 학습 결과를 확인하고, 업데이트된 글로벌 모델을 상기 모델 저장소(500)에 저장하는 FL 서버부(110);
    상기 FL 서버부(110)를 주기적으로 실행하며, 글로벌 모델을 상기 설비 클라이언트(200) 및 가상 설비 클라이언트(300)에 배포하는 작업 관리부(120); 및
    수거한 로컬 모델을 이용해 글로벌 모델을 업데이트하도록 상기 FL 서버부(110)를 제어하되, 상기 코드 저장소(400)의 변동 사항을 상기 글로벌 모델에 적용해 업데이트하며, 상기 FL 서버부(110)의 상태를 클라이언트(200, 300)에 알리는 서버 관리부(130)를 포함하며,
    상기 설비 클라이언트(200)는,
    상기 글로벌 모델을 상기 모델 저장소(500)를 통해 배포 받고, 상기 코드 저장소(400)를 통해 코드 버전을 동기화하여, FL 클라이언트부(240)에 연합학습 명령을 전달하는 클라이언트 관리부(210);
    상기 설비에서 수집되는 데이터를 저장하는 데이터 저장부(230); 및
    상기 데이터 저장부(230)에 저장된 데이터를 이용해 연합학습을 수행하는 상기 FL 클라이언트부(240)를 포함하며,
    상기 가상 설비 클라이언트(300)는,
    상기 설비에서 수집되는 데이터와 유사한 가상 데이터를 생성하는 생성모델과, 상기 설비에서 수집되는 데이터와 상기 생성모델이 생성한 가상 데이터를 구분하는 판별모델로 구성되며, 상기 생성모델과 판별모델을 대립적 프로세스를 통해 학습시킴으로써, 실제 설비에서 수집되는 데이터와 유사한 가상 데이터를 생성하는 생성적 대립 신경망(Generative Adversarial Network, GAN)에 의해, 상기 설비 클라이언트(200)가 사용하는 상기 설비에서 수집되는 데이터와 유사한 가상 데이터를 생산하는 가상 데이터 시뮬레이터부(350);
    상기 글로벌 모델을 상기 모델 저장소(500)를 통해 배포 받고, 상기 코드 저장소(400)를 통해 코드 버전을 동기화하여, FL 클라이언트부(340)에 연합학습 명령을 전달하는 클라이언트 관리부(310);
    상기 가상 데이터 시뮬레이터부(350)에서 생산된 가상 데이터를 저장하는 데이터 저장부(330); 및
    상기 데이터 저장부(330)에서 저장된 데이터를 이용해 연합학습을 수행하는 상기 FL 클라이언트부(340)를 포함하며,
    상기 서버 관리부(130)와 상기 클라이언트 관리부(210, 310)는, RESTful API로 신호 및 데이터를 송수신하며,
    상기 FL 서버부(110)와 상기 FL 클라이언트부(240, 340)는, gRPC로 신호 및 데이터를 송수신하고,
    설비에서 수집되는 데이터가 부족하거나 같은 종류의 설비 대수가 부족해서 연합학습을 적용하기 어려운 제조 환경에서 상기 가상 설비 클라이언트(300)를 도입하여, 상기 설비 클라이언트(200)와 가상 설비 클라이언트(300)를 모두 이용해 연합학습을 수행하는 것을 특징으로 하는, 제조 환경을 위한 연합학습 시스템.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서, 상기 가상 설비 클라이언트(300)는,
    상기 글로벌 모델을 저장하고, 상기 가상 데이터 시뮬레이터부(350)에서 생산된 가상 데이터를 입력 데이터로 하여 상기 글로벌 모델에 의한 예측값을 반환하는 추론 엔진부(320)를 더 포함하며,
    상기 클라이언트 관리부(310)는, 상기 글로벌 모델을 배포 받아 상기 추론 엔진부(320)의 모델을 업데이트하고,
    상기 데이터 저장부(330)는, 상기 추론 엔진부(320)에서 사용한 입력 데이터 및 예측값을 저장하는 것을 특징으로 하는, 제조 환경을 위한 연합학습 시스템.
  5. 삭제
  6. 제1항에 있어서, 상기 설비 클라이언트(200)는,
    상기 글로벌 모델을 저장하고, 상기 설비에서 수집되는 데이터를 입력 데이터로 하여 상기 글로벌 모델에 의한 예측값을 반환하는 추론 엔진부(220)를 더 포함하며,
    상기 클라이언트 관리부(210)는, 상기 글로벌 모델을 배포 받아 상기 추론 엔진부(220)의 모델을 업데이트하고,
    상기 데이터 저장부(230)는, 상기 추론 엔진부(220)에서 사용한 입력 데이터 및 예측값을 저장하는 것을 특징으로 하는, 제조 환경을 위한 연합학습 시스템.
  7. 삭제
  8. 삭제
KR1020220176971A 2022-12-16 2022-12-16 제조 환경을 위한 연합학습 시스템 KR102523699B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220176971A KR102523699B1 (ko) 2022-12-16 2022-12-16 제조 환경을 위한 연합학습 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220176971A KR102523699B1 (ko) 2022-12-16 2022-12-16 제조 환경을 위한 연합학습 시스템

Publications (1)

Publication Number Publication Date
KR102523699B1 true KR102523699B1 (ko) 2023-04-21

Family

ID=86098918

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220176971A KR102523699B1 (ko) 2022-12-16 2022-12-16 제조 환경을 위한 연합학습 시스템

Country Status (1)

Country Link
KR (1) KR102523699B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117196070A (zh) * 2023-11-08 2023-12-08 山东省计算中心(国家超级计算济南中心) 一种面向异构数据的双重联邦蒸馏学习方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210121915A (ko) * 2020-03-31 2021-10-08 한국전자기술연구원 연합학습 자원 관리장치, 시스템 및 이의 자원 효율화 방법
KR20220024718A (ko) * 2019-06-18 2022-03-03 몰로코, 인크. 머신 러닝 서비스를 제공하기 위한 방법 및 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220024718A (ko) * 2019-06-18 2022-03-03 몰로코, 인크. 머신 러닝 서비스를 제공하기 위한 방법 및 시스템
KR20210121915A (ko) * 2020-03-31 2021-10-08 한국전자기술연구원 연합학습 자원 관리장치, 시스템 및 이의 자원 효율화 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117196070A (zh) * 2023-11-08 2023-12-08 山东省计算中心(国家超级计算济南中心) 一种面向异构数据的双重联邦蒸馏学习方法及装置
CN117196070B (zh) * 2023-11-08 2024-01-26 山东省计算中心(国家超级计算济南中心) 一种面向异构数据的双重联邦蒸馏学习方法及装置

Similar Documents

Publication Publication Date Title
TWI798550B (zh) 多方聯合進行風險識別的方法和裝置
US20190340518A1 (en) Systems and methods for enriching modeling tools and infrastructure with semantics
US20200004582A1 (en) Cognitive cloud migration optimizer
US10452523B1 (en) System and method for state based intelligent test generation
US10817813B2 (en) Resource configuration and management system
Chadha et al. Towards federated learning using faas fabric
CN110377595A (zh) 一种车辆数据管理系统
Heit et al. An architecture for the deployment of statistical models for the big data era
KR102523699B1 (ko) 제조 환경을 위한 연합학습 시스템
CN106503007B (zh) 数据库操作方法及装置
KR102311787B1 (ko) Ai 모델의 성능 저하 방지를 위한 ai 모델 관리 장치 및 그 방법
DE112021001566T5 (de) Ermitteln von abhängigkeiten multivariater zeitreihendaten
CN110392025A (zh) 管理分布式系统的方法、设备和计算机程序产品
CN103473636A (zh) 一种收集、分析和分发网络商业信息的系统数据组件
CN114493865A (zh) 基于区块链的去中心化互联网协同系统和数据交互方法
Murthy et al. Internet of Things, a vision of digital twins and case studies
CN114528186A (zh) 一种模型管理方法、装置及模型管理服务器
Karadgi et al. Traceable and intelligent supply chain based on blockchain and artificial intelligence
CN108268512A (zh) 一种标签查询方法及装置
Bozorgi et al. Learning when to treat business processes: Prescriptive process monitoring with causal inference and reinforcement learning
CN105978712A (zh) 一种云计算管理系统的方法
Satyal et al. AB-BPM: performance-driven instance routing for business process improvement
US20210334704A1 (en) Method and System for Operating a Technical Installation with an Optimal Model
CN112053134A (zh) 一种基于b/s架构的电力设备信息管理系统
EP3851921A1 (en) Distributed computer control system and method of operation thereof via collective learning

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant