KR102393109B1 - Big data platform for collaboration among heterogeneous organizations and big data learning method using common learning model - Google Patents
Big data platform for collaboration among heterogeneous organizations and big data learning method using common learning model Download PDFInfo
- Publication number
- KR102393109B1 KR102393109B1 KR1020200052565A KR20200052565A KR102393109B1 KR 102393109 B1 KR102393109 B1 KR 102393109B1 KR 1020200052565 A KR1020200052565 A KR 1020200052565A KR 20200052565 A KR20200052565 A KR 20200052565A KR 102393109 B1 KR102393109 B1 KR 102393109B1
- Authority
- KR
- South Korea
- Prior art keywords
- learning
- model
- big data
- platform
- data
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
본 발명의 전역 학습 모델을 이용한 빅데이터 학습 방법은, 적어도 2 이상의 참여기업들에 학습 모델을 배포하는 단계; 상기 각 참여기업에서 배포받은 상기 학습 모델로 사전학습을 수행하는 단계; 상기 각 참여기업에서 통합 플랫폼으로 상기 사전학습에서 최적으로 판단된 상기 학습 모델의 가중치를 전송하는 단계; 통합 플랫폼에서 상기 참여기업들이 전송한 가중치를 조합하여 학습 모델을 업데이트하는 단계; 상기 참여기업들에 업데이트된 학습 모델을 배포하는 단계; 및 각 참여기업에서 상기 업데이트된 학습 모델에 대하여 미세조정 학습을 수행하는 단계를 포함할 수 있다.The big data learning method using the global learning model of the present invention comprises: distributing the learning model to at least two or more participating companies; performing pre-learning with the learning model distributed by each participating company; transmitting the weight of the learning model determined as optimal in the pre-learning from each participating company to an integrated platform; updating the learning model by combining the weights transmitted by the participating companies in the integrated platform; distributing the updated learning model to the participating companies; and performing fine-tuning learning for the updated learning model in each participating company.
Description
본 발명은 빅데이터 플랫폼에 참여하는 각 참여기업의 데이터 공유 없이 동종 업계에서 공동으로 사용 가능한 전역 최적 모델(global optimal mode)을 생성 및 공유하기 위한 데이터 병렬 기반 모델 분산 학습법을 기반으로 AI 학습 모델로서, 이종 기관 간 협업을 위한 빅데이터 플랫폼 및 공통 학습 모델을 이용한 빅데이터 학습 방법에 관한 것이다.The present invention is an AI learning model based on a data parallel-based model distributed learning method to create and share a global optimal mode that can be used jointly in the same industry without sharing data of each participating company participating in the big data platform. , to a big data platform for collaboration between heterogeneous institutions and a big data learning method using a common learning model.
클라우드 시스템이 널리 이용됨에 따라, 많은 양의 데이터가 쌓이게 되고, 그 데이터에 대한 분석의 필요성이 대두되면서 빅데이터 분석에 대한 시장의 규모도 커지고 있다. 국내 클라우드 플랫폼들은 아직 인프라 제공(IaaS) 위주로, 사용자들이 활용 가능한 기업용 응용 SW가 부족한 상황이며, 빅데이터 분석 플랫폼은 제공하지 못하거나 미약한 상태다.As cloud systems are widely used, a large amount of data is accumulated, and as the need for analysis of the data emerges, the size of the market for big data analysis is also increasing. Domestic cloud platforms are still centered on infrastructure provision (IaaS), lacking enterprise application software that users can use, and big data analysis platforms are either not available or weak.
기존 빅데이터 플랫폼은 플랫폼간 연동은 고려되지 않고 있으며, 자체 시스템에 저장된 데이터를 이용하여 분석을 하는 것이 일반적이다. 따라서, 분석 과정에서 데이터가 추가로 필요한 경우에는 추가로 수집하여 활용할 수 있는 형태로 가공해야 하는데, 이를 위해서는 우선 유효한 충분한 데이터가 존재하여야 한다. In the existing big data platform, inter-platform interworking is not considered, and it is common to analyze using data stored in its own system. Therefore, if additional data is needed during the analysis process, it must be processed into a form that can be additionally collected and utilized.
정부 정책에 따라 많은 기업들이 데이터를 공개하고 있지만, 회사의 운영 및 이익에 민감한 중요 데이터의 경우 대부분 데이터를 공개하고 있지 않다. 이에 따라 데이터 공유에 따른 시너지 효과를 기대하기는 실질적으로 어렵다. 그러나 공개하지 않은 데이터가 각 회사의 이윤과 직접적인 관계가 있기 때문에, 비공개 데이터의 공개를 강제할 수는 없다.Although many companies disclose data according to government policy, most of them do not disclose important data sensitive to the company's operations and profits. Accordingly, it is practically difficult to expect synergy from data sharing. However, since the undisclosed data has a direct relationship to the profits of each company, the disclosure of non-public data cannot be forced.
빅데이터의 중요성이 대두되고 데이터의 자산화가 이루어짐에 따라, 개별 기업은 자사의 데이터를 타 기업 및 기관과 공유를 하지 않는다. 데이터를 공유하더라도 원천 데이터(Raw Data)를 공개를 꺼려한다. 그러나 다양한 상황에서도 적용 가능한 최적 전역 학습 모델(Optimal Global Model)을 만들기 위해서는 많은 동종업계 기업의 데이터를 활용해야 한다.As the importance of big data rises and data assetization takes place, individual companies do not share their data with other companies and institutions. Even if they share data, they are reluctant to disclose raw data. However, in order to create an optimal global learning model that can be applied in various situations, data from many companies in the same industry must be used.
전력/발전 분야에서도, 개별로 구축된 빅데이터 플랫폼에 의해 하루에 몇 백 GB가 넘는 많은 데이터가 축적되고 있지만, 데이터 분석을 위하여 전처리를 할 경우 실질적으로 사용할 데이터는 매우 적다. 만약 동종 업계 이종 기업 간 데이터 공유가 되어, 알고리즘을 만드는 데이터가 배가된다면, 알고리즘의 성능이 향상시킬 수 있다. Even in the power/generation field, a lot of data exceeding several hundred GB per day is accumulated by the individually built big data platform, but when preprocessing for data analysis, there is very little data to be actually used. If data is shared between heterogeneous companies in the same industry and the data that makes the algorithm is doubled, the performance of the algorithm can be improved.
그러나, 데이터 자산화와 데이터 보안 문제로 인하여 타 기업 간 데이터 공유하지 않기 때문에, 이종 기업으로 구성된 빅데이터 플랫폼 구축 및 사용 가능성은 매우 낮다.However, since data is not shared between other companies due to data assetization and data security issues, the possibility of building and using a big data platform composed of heterogeneous companies is very low.
이종 기업 간 하나의 빅데이터플랫폼을 사용한다고 하더라도 대부분 아키텍처는 클라이언트-서버 구조로서, 각 기관은 데이터를 통합운영센터(Total Operating Center, TOC)로 모두 전송하고 통합운영센터에 데이터를 축적하고 각종 모델을 개발하여 배포하는 형식이다.Even if a single big data platform is used between heterogeneous companies, most architectures are client-server structures. It is a form of developing and distributing .
하나의 플랫폼을 사용할 경우, 수많은 데이터를 한 곳으로 전송함에 따라 네트워크 비용 및 I/O 비용이 발생한다. 한곳으로 데이터를 관리할 경우, 병목현상(Bottleneck)이 발생하는데, 이는 데이터를 전송하는 시간인 네트워크 비용과 하나의 서버가 데이터를 전송받고 저장하는 I/O 비용에서 발생한다. 플랫폼 참여기관(기업)이 많아짐에 따라, 네트워크 비용 및 I/O 비용이 커져 비효율성이 증가한다.When using a single platform, network costs and I/O costs occur as a lot of data is transmitted to one place. When data is managed in one place, a bottleneck occurs, which arises from the network cost, which is the time to transmit data, and the I/O cost for one server to receive and store data. As the number of platform participating organizations (enterprises) increases, network costs and I/O costs increase, resulting in increased inefficiency.
하나의 플랫폼의 처리 범위 이상의 데이터가 들어온다면 서버 과부하 문제가 발생할 수 있으며, 과부하로 인하여 시스템 고장으로 이어질 수 있다. 즉, 시스템의 안정성이 약해질 수 있다. 시스템 과부하로 인하여 데이터 동기화(Synchronization)가 주어진 시간 내로 실행되지 않을 경우, 플랫폼의 데이터와 실제 데이터간의 동기화 문제가 발생할 수 있다. 예를 들어, 플랫폼 과부하로 인하여 A 기업의 데이터가 최신화되지 않았을 경우, A 기업의 최신 상황을 반영하지 못한 알고리즘을 만들어져 적용될 수 있다.If data beyond the processing range of one platform is received, a server overload problem may occur, and the overload may lead to system failure. That is, the stability of the system may be weakened. If data synchronization is not performed within a given time due to system overload, a synchronization problem between platform data and actual data may occur. For example, if company A's data is not updated due to platform overload, an algorithm that does not reflect the latest situation of company A may be created and applied.
따라서, 각 기업의 데이터 공유 없이 동종업계에서 공동으로 사용 가능한 전역 최적 모델(Global Optimal Model)을 생성하고 공유하는 빅데이터 플랫폼이 필요하다. 또한 생성된 전역 최적 모델에 각 기업의 데이터를 추가한 기업별 최종 최적화 모델을 생성하여 최고 성능 모델을 생성 및 활용 가능한 플랫폼에 대한 필요성이 대두되고 있다.Therefore, there is a need for a big data platform that creates and shares a Global Optimal Model that can be used jointly in the same industry without sharing data of each company. In addition, the need for a platform that can generate and utilize the highest performance model by creating a final optimization model for each company by adding each company's data to the generated global optimal model is emerging.
본 발명은 각 참여기업(기관) 고유 데이터 공유 없이 공동으로 사용 가능한 전역 최적 학습 모델(global optimal mode)을 생성/공유/적용할 수 있는 빅데이터 플랫폼 및 전역 학습 모델을 이용한 빅데이터 학습 방법을 제공하고자 한다.The present invention provides a big data platform and a big data learning method using a global learning model that can create/share/apply a global optimal mode that can be used jointly without sharing data unique to each participating company (institution) want to
본 발명의 일 측면에 따른 전역 학습 모델을 이용한 빅데이터 학습 방법은, 적어도 2 이상의 참여기업들에 학습 모델을 배포하는 단계; 상기 각 참여기업에서 배포받은 상기 학습 모델로 사전학습을 수행하는 단계; 상기 각 참여기업에서 통합 플랫폼으로 상기 사전학습에서 최적으로 판단된 상기 학습 모델의 가중치를 전송하는 단계; 통합 플랫폼에서 상기 참여기업들이 전송한 가중치를 조합하여 학습 모델을 업데이트하는 단계; 상기 참여기업들에 업데이트된 학습 모델을 배포하는 단계; 및 각 참여기업에서 상기 업데이트된 학습 모델에 대하여 미세조정 학습을 수행하는 단계를 포함할 수 있다.A big data learning method using a global learning model according to an aspect of the present invention includes: distributing the learning model to at least two or more participating companies; performing pre-learning with the learning model distributed by each participating company; transmitting the weight of the learning model determined as optimal in the pre-learning from each participating company to an integrated platform; updating the learning model by combining the weights transmitted by the participating companies in the integrated platform; distributing the updated learning model to the participating companies; and performing fine-tuning learning for the updated learning model in each participating company.
여기서, 상기 학습 모델은 협의의 딥러닝 계열 학습 모델이며, 상기 사전학습은 Supervised Pre-Training이며, 상기 미세조정 학습은 Fine-tuned Training일 수 있다.Here, the learning model may be a narrow deep learning-based learning model, the pre-learning may be Supervised Pre-Training, and the fine-tuned learning may be Fine-tuned Training.
여기서, 상기 사전학습을 수행하는 단계에서는, 각 참여기업의 비공개 데이터를 이용하여 사전학습을 수행하는 전역 학습 모델을 이용할 수 있다.Here, in the step of performing the pre-learning, a global learning model in which pre-learning is performed using private data of each participating company may be used.
여기서, 상기 미세조정 학습을 수행하는 단계에서는, 출력층에 가까운 일부 레이어의 파라미터만 학습에 적용할 수 있다.Here, in the step of performing the fine-tuning learning, only parameters of some layers close to the output layer may be applied to the learning.
여기서, 상기 사전학습을 수행하는 단계에서는, 학습주기가 긴 경우에는 동기식 학습법으로 학습하며, 실시간성이 중요한 경우에는 비동식 학습법으로 학습할 수 있다.Here, in the step of performing the pre-learning, when the learning cycle is long, learning can be done by the synchronous learning method, and when real-time is important, learning can be done by the non-synchronous learning method.
본 발명의 다른 측면에 따른 이종 기관 간 협업을 위한 빅데이터 플랫폼은, 빅데이터를 수집하고, 상기 빅데이터를 이용하도록 작성된 빅데이터 학습 모델, 및 업데이트된 학습 모델을 배포하는 통합 플랫폼; 및 각 참여기업에 구비되며, 상기 빅데이터를 이용한 각 참여기업의 고유 비즈니스를 지원하는 빅데이터 참여 플랫폼을 포함하되,A big data platform for collaboration between heterogeneous organizations according to another aspect of the present invention includes: an integrated platform for collecting big data and distributing a big data learning model written to use the big data, and an updated learning model; and a big data participation platform provided in each participating company and supporting the unique business of each participating company using the big data,
상기 빅데이터 참여 플랫폼은, 상기 작성된 빅데이터 학습 모델을 배포받아, 각 참여기업의 비공개 데이터를 이용하여 사전학습을 수행하고, 상기 업데이트된 학습 모델을 배포받아, 미세조정 학습을 수행할 수 있다.The big data participation platform may receive the created big data learning model, perform pre-learning using the private data of each participating company, receive the updated learning model, and perform fine-tuning learning.
여기서, 상기 빅데이터 참여 플랫폼은, 상기 사전학습을 수행한 결과로 산정된 상기 학습 모델의 가중치를 상기 통합 플랫폼으로 전송할 수 있다.Here, the big data participation platform may transmit the weight of the learning model calculated as a result of performing the pre-learning to the integrated platform.
여기서, 상기 빅데이터 참여 플랫폼은, 학습주기가 긴 경우에는 동기식 학습법으로 학습하며, 실시간성이 중요한 경우에는 비동식 학습법으로 학습할 수 있다.Here, the big data participation platform can learn by a synchronous learning method when the learning cycle is long, and can learn by a non-synchronous learning method when real-time is important.
여기서, 상기 빅데이터 참여 플랫폼은, 상기 미세조정 학습시 출력층에 가까운 일부 레이어(파라미터)만 학습에 적용할 수 있다.Here, the big data participation platform may apply to learning only some layers (parameters) close to the output layer during the fine-tuning learning.
여기서, 상기 통합 플랫폼은, 응용 소프트웨어를 마켓플레이스를 기반으로 공통 활용할 수 있는 서비스를 제공하는 SaaS(Software as a Services)에 기반할 수 있다.Here, the integrated platform may be based on SaaS (Software as a Services) that provides a service that can commonly utilize application software based on a marketplace.
상기 구성에 따른 본 발명의 사상에 따른 이종 기관 간 협업을 위한 빅데이터 플랫폼 및/또는 전역 학습 모델을 이용한 빅데이터 학습 방법을 실시하면, 빅데이터 플랫폼 참여기업(기관) 고유 데이터 공유 없이 공동으로 사용 가능한 전역 최적 학습 모델(global optimal mode)을 생성/공유/적용할 수 있는 이점이 있다.When the big data learning method using the big data platform and/or global learning model for collaboration between heterogeneous institutions according to the idea of the present invention according to the above configuration is implemented, the big data platform participating companies (institutions) are jointly used without sharing data It has the advantage of being able to create/share/apply a possible global optimal mode.
본 발명의 이종 기관 간 협업을 위한 빅데이터 플랫폼 및/또는 전역 학습 모델을 이용한 빅데이터 학습 방법은, 플랫폼 사용 개별 기업의 데이터 격리(Isolation)를 통하여 각사의 민감 데이터를 보호하면서도, 각사에 공통적으로 적용할 AI모델을 협업하여 만들고 학습함으로써 협업 시너지를 창출할 수 있는 이점이 있다.The big data learning method using the big data platform and/or the global learning model for collaboration between heterogeneous organizations of the present invention protects sensitive data of each company through data isolation of individual companies using the platform, and is common to each company. It has the advantage of creating collaborative synergy by collaboratively creating and learning AI models to be applied.
본 발명의 이종 기관 간 협업을 위한 빅데이터 플랫폼 및/또는 전역 학습 모델을 이용한 빅데이터 학습 방법은, 범용 모델에 개별 기업 데이터를 추가 학습함으로써 개별 기업에 최적화된 모델을 생성하여 활용 가능한 이점이 있다.The big data learning method using the big data platform and/or global learning model for collaboration between heterogeneous institutions of the present invention has the advantage that it can be utilized by creating a model optimized for individual companies by additionally learning individual company data in a general-purpose model. .
도 1은 데이터 병렬 기반 분산학습 아키텍처를 도시한 개념도.
도 2는 CNN(Convolutional Neural Networks) 모델의 학습 구조를 도시한 개념도.
도 3은 사전 학습과 미세 조정 학습으로 이루어진 중첩 훈련(Training) 구조를 도시한 개념도.
도 4는 SaaS 통합 플랫폼 구조를 도시한 개념도.
도 5는 본 발명의 사상에 따른 이종 기관 간 협업을 위한 빅데이터 플랫폼의 분산 학습 구조를 도시한 구성도.
도 6은 본 발명의 사상에 따른 전역 학습 모델을 이용한 빅데이터 학습 방법을 도시한 흐름도.
도 7 내지 도 10은 도 5의 이종 기관 간 협업을 위한 빅데이터 플랫폼에서, 도 6의 전역 학습 모델을 이용한 빅데이터 학습 방법이 수행되는 모습을 각 단계별로 나타낸 구성도.1 is a conceptual diagram illustrating a data parallel-based distributed learning architecture.
2 is a conceptual diagram illustrating a learning structure of a CNN (Convolutional Neural Networks) model.
3 is a conceptual diagram illustrating a structure of overlap training (Training) consisting of prior learning and fine-tuning learning.
4 is a conceptual diagram illustrating a SaaS integration platform structure.
5 is a block diagram illustrating a distributed learning structure of a big data platform for collaboration between heterogeneous organizations according to the spirit of the present invention.
6 is a flowchart illustrating a big data learning method using a global learning model according to the spirit of the present invention.
7 to 10 are block diagrams showing each step of the big data learning method using the global learning model of FIG. 6 in the big data platform for collaboration between heterogeneous organizations of FIG. 5 .
본 발명을 설명함에 있어서 제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되지 않을 수 있다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. In describing the present invention, terms such as first, second, etc. may be used to describe various components, but the components may not be limited by the terms. The terms are only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, a first component may be referred to as a second component, and similarly, a second component may also be referred to as a first component.
어떤 구성요소가 다른 구성요소에 연결되어 있다거나 접속되어 있다고 언급되는 경우는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해될 수 있다.When a component is referred to as being connected or connected to another component, it may be directly connected or connected to the other component, but it can be understood that other components may exist in between. .
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. The terminology used herein is used only to describe specific embodiments, and is not intended to limit the present invention. The singular expression may include the plural expression unless the context clearly dictates otherwise.
본 명세서에서, 포함하다 또는 구비하다 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것으로서, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해될 수 있다. In this specification, the terms include or include are intended to designate that a feature, number, step, operation, component, part, or combination thereof described in the specification exists, and includes one or more other features or numbers, It may be understood that the existence or addition of steps, operations, components, parts, or combinations thereof is not precluded in advance.
또한, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.In addition, shapes and sizes of elements in the drawings may be exaggerated for clearer description.
먼저, 본 발명에 적용될 수 있는 분산학습 아키텍처를 살펴보겠다.First, let's look at the distributed learning architecture that can be applied to the present invention.
도 1은 데이터 병렬 기반 분산학습 아키텍처를 도시한 개념도이다.1 is a conceptual diagram illustrating a data parallel-based distributed learning architecture.
데이터 병렬 기반 모델 분산학습은 통합 플랫폼을 사용하는 동종업계 이종 기업의 각 플랫폼 서버에 똑같은 모델의 복제본을 가지고 있고, 각 서버는 학습 간에 데이터의 다른 부분(Subset of the entire training dataset, 각 기업에서 생성된 데이터)을 담당하면서 결과를 합치는 방식이다. 데이터의 공유 없이 전역 최적 모델(Global Optimal Model)을 학습할 수 있다.Data parallel-based model distributed learning has a replica of the same model on each platform server of a heterogeneous company in the same industry using an integrated platform, and each server has a different subset of the data (Subset of the entire training dataset, generated by each company) between training. It is a method of merging the results while in charge of the collected data). A Global Optimal Model can be trained without data sharing.
도면에서 설명하는 동기식 파라미터 평균 방식은 각 기기에서 계산된 파라미터를 파라미터 서버 역할을 담당하는 기기에 전송하여 파라미터를 평균한다. 평균한 파라미터는 다시 워커 기기로 전송되어 각 워커 기기는 각 기기에 저장되어 있는 데이터를 통하여 학습을 진행한다. 이와 같은 과정을 반복하여 최종 모델을 만든다. 즉, 각 참여 워커 기기에서 학습한 결과인 파라미터들을 평균하는 방식으로, 파라미터를 개선(학습반영)한다.In the synchronous parameter averaging method described in the drawings, parameters calculated by each device are transmitted to a device serving as a parameter server to average the parameters. The averaged parameter is sent back to the worker device, and each worker device performs learning through the data stored in each device. Repeat this process to make the final model. That is, the parameters are improved (reflected learning) by averaging the parameters that are the results of learning by each participating worker device.
매 단계(Epoch)당 동기식 학습을 할 경우 단일 기기에서의 학습의 정확도와 이론적으로 똑같은 정도의 정확도를 보장한다.In the case of synchronous learning per epoch, it guarantees the same degree of accuracy in theory as that of learning on a single device.
경사 업데이트 방식의 경우는 파라미터를 파라미터 서버에 전송하는 대신 파라미터의 변화값을 전송한다. 동기식 경사 업데이트 방식은 파라미터 평균 방식과 동일하다.In the case of the gradient update method, the change value of the parameter is transmitted instead of transmitting the parameter to the parameter server. The synchronous gradient update method is the same as the parameter average method.
각 워커는 동종업계 이종 기업의 빅데이터 플랫폼이 되며, 파라미터 서버는 통합 플랫폼이 될 수 있다.Each worker becomes a big data platform for heterogeneous companies in the same industry, and the parameter server can become an integrated platform.
다음, 상술한 분산학습 아키텍처에 적용될 수 있는 세부 학습 방법으로서, 사전 학습(Pre-training)에 대하여 살펴보겠다.Next, as a detailed learning method that can be applied to the aforementioned distributed learning architecture, we will look at pre-training.
도 2는 CNN(Convolutional Neural Networks) 모델의 학습 구조를 도시한다.2 shows a learning structure of a Convolutional Neural Networks (CNN) model.
CNN(Convolutional Neural Networks) 모델은 협의의 딥러닝 계열의 학습 모델에 속한다. 모든 기계 학습을 의미하는 광의의 딥러닝 개념과 구분하기 위해, 협의의 딥러닝임을 명시하였다.Convolutional Neural Networks (CNN) models belong to the deep learning series of narrow learning models. In order to distinguish it from the broad concept of deep learning that means all machine learning, it is specified that it is deep learning in a narrow sense.
CNN(Convolutional Neural Networks) 모델을 포함한 협의의 딥러닝 계열의 모델들을 학습시키기 위해서는 많은 데이터를 필요하며 학습시키는데 높은 컴퓨팅 파워와 긴 학습 시간이 요구된다. 각 기업별로 생성되는 데이터가 많다고 하더라도, 다양한 환경과 기기 종류, 특별한 상황의 모든 데이터를 가지고 있질 수는 없다. 각 케이스별로 일정 이상 데이터가 필요하며, 더 많은 데이터를 모델 학습 과정에 반영할수록 성능이 좋은 모델을 만들 수 있다. 최근에는 인터넷에 수많은 대량 데이터 셋이 공개되어 있고, 그데이터를 통해 학습된 모델이 공유되고 있다. 예를 들어, 1,000개의 이미지 종류를 분류하는 모델을 만들고, 미리 학습시킨 후 최종 모델을 공유하는 경우도 많다. 이와 같이 사전학습된 모델을 제공하는 이유는 대용량 데이터를 모으기도 힘들뿐만 아니라, 대용량 데이터를 처리할 수 있는 컴퓨팅 파워를 가진 환경이 적기 때문이다. A lot of data is needed to train the models of the deep learning series of narrow-mindedness, including the Convolutional Neural Networks (CNN) model, and high computing power and long learning time are required to learn. Even if there is a lot of data generated by each company, it is not possible to have all the data for various environments, device types, and special situations. More than a certain amount of data is required for each case, and the more data is reflected in the model training process, the better the model can be created. Recently, numerous large data sets have been published on the Internet, and models learned from the data are being shared. For example, it is often the case that a model is created to classify 1,000 image types, pre-trained, and then the final model is shared. The reason for providing such a pre-trained model is that it is difficult to collect large amounts of data, and there are few environments with computing power capable of processing large amounts of data.
또한 비공개 데이터나 민감 데이터의 경우, 데이터를 외부에 공개하기 어려운 문제도 있다.In addition, in the case of private or sensitive data, there is a problem in that it is difficult to disclose the data to the outside.
그러나 완성된 결과물인 모델을 공유하고자 할 때는 사전학습된 모델만 공유함으로써, 데이터 유출을 방지하면서도 최종 결과물인 정확도가 높은 모델을 다른 사람들과 공유할 수 있다. 동종업계 이종기업 간에도 더 많은 데이터를 사용하여 모델을 만들면 더 높은 성능을 가진 사전학습된 모델을 만들 수 있다. 다만 기존 방식으로 모델을 학습할 경우, 데이터가 공유되기 때문에 위에서 설명한 데이터 병렬 기반 모델 분산 학습 방식으로 모델을 생성한다면, 데이터 유출 없이도 높은 정확도를 자랑하는 사전학습된 모델을 생성할 수 있다.However, when you want to share the model that is the finished product, you can share the model with high accuracy as the final product with others while preventing data leakage by sharing only the pre-trained model. Building models using more data, even between peers and peers, can lead to higher-performing pre-trained models. However, when the model is trained in the existing method, data is shared, so if the model is created using the data parallel-based model distributed learning method described above, a pre-trained model with high accuracy can be created without data leakage.
다음, 미세 조정 학습(Fine-tuned Training)에 대하여 살펴보겠다.Next, we will look at fine-tuned training.
도 3은 사전 학습과 미세 조정 학습으로 이루어진 중첩 훈련(Training) 구조를 도시한다.3 shows a structure of superimposed training (Training) consisting of prior learning and fine-tuning learning.
CNN 모델을 포함한 협의의 딥러닝 계열의 학습 모델은 사전학습만 할 경우, 모든 데이터에 대해서 보편적으로 높은 정확도를 자랑한다. 그러나 실제적으로 적용해야할 케이스, 즉 각 이종의 참여기업에 적용할 경우, 해당 기업의 상황과 데이터에 맞도록 모델을 수정 혹은 피팅(Fitting)시키는 작업이 필요하다. 다양한 참여 기업의 데이터로 학습한 사전학습된 모델에 실제 적용할 데이터를 추가적으로 학습시킴으로서, 실제 적용할 현장에 적합한 모델을 만들 수 있다. 이 과정에서 모델 전체에 대해 학습을 시킬 수도 있으며, 데이터가 적은 경우 혹은 사전학습에 사용된 데이터와 성질이 유사한 경우는 대부분의 모델의 레이어(파라미터) 값을 고정시키고, 출력층에 가까운 일부 레이어(파라미터)만 학습에 적용시킬 수 있다. 본 발명의 상황에 적용하자면, 각 참여 기업은 데이터 병렬 기반 모델 분산 학습 기법을 기반으로 보편적으로 적용 가능한 공용 사전학습된 모델을 생성한다. 그 이후 사전학습된 모델에 각 기업의 데이터를 추가적으로 학습하여 각 기업에 최적화된 모델을 만들 수 있다.Deep learning-based learning models, including CNN models, generally boast high accuracy for all data when only pre-training is performed. However, in the case of practical application, that is, when applied to each heterogeneous participating company, it is necessary to modify or fit the model to fit the situation and data of the company. By additionally learning data to be applied to the pre-trained model learned from data of various participating companies, it is possible to create a model suitable for the field to be applied in practice. In this process, the entire model can be trained, and when there is little data or the properties are similar to the data used for pre-learning, most of the model's layer (parameter) values are fixed, and some layers (parameters) close to the output layer ) can be applied to learning. When applied to the context of the present invention, each participating company creates a universally applicable public pre-trained model based on a data parallel-based model distributed learning technique. After that, it is possible to create a model optimized for each company by additionally learning each company's data in the pre-trained model.
다음, 플랫폼에 대하여 살펴보겠다.Next, let's take a look at the platform.
도 4는 SaaS 통합 플랫폼 구조를 도시한 개념도이다.4 is a conceptual diagram illustrating a SaaS integration platform structure.
SaaS(Software as a Services)는 응용 소프트웨어를 마켓플레이스를 기반으로 공통 활용할 수 있는 서비스를 제공하는 플랫폼(100)을 말한다. SaaS는 사용자별로 격리된 환경(Multi Tenant)에서 소프트웨어를 독립적으로 이용할 수 있도록 제공하며, 다른 사용자 그룹의 간섭 없이 독립적으로 시스템 가용성 보장하고 권한 관리 기능을 지원한다.Software as a Services (SaaS) refers to a
SaaS는 개발된 소프트웨어 및 모델들이 패키지 단위로 공유되면서 비효율적으로 재사용되는 문제점을 해결할 수 있다. 유지 보수가 어렵고 소프트웨어 및 모델 변경에 따른 공유된 모델의 동기화가 어려운 패키지 단위 공유 방식과는 달리 SaaS 플랫폼(100)을 활용할 경우 소프트웨어를 개발한 기업뿐만 아니라 다른 기업 등 다른 이해관계자들도 위와 같은 문제점 없이 활용 가능하다. 본 발명의 경우는 각 기업들이 협력하여 만든 사전학습 모델을 SaaS 기반 플랫폼(100)을 통하여 각 기업의 참여 플랫폼(1000)에 공유하고 공동 활용 가능한 구조이다.SaaS can solve the problem of inefficient reuse of developed software and models as they are shared in package units. Unlike the package unit sharing method, which is difficult to maintain and it is difficult to synchronize the shared model according to software and model changes, when using the
도 5는 본 발명의 사상에 따른 이종 기관 간 협업을 위한 빅데이터 플랫폼의 분산 학습 구조를 도시한다. 5 shows a distributed learning structure of a big data platform for collaboration between heterogeneous organizations according to the spirit of the present invention.
도시한 분산 학습 구조의 이종 기관 간 협업을 위한 빅데이터 플랫폼은, The big data platform for collaboration between heterogeneous institutions of the illustrated distributed learning structure is,
빅데이터를 수집하고, 상기 빅데이터를 이용하도록 작성된 빅데이터 학습 모델, 및 업데이트된 학습 모델을 배포하는 통합 플랫폼(100); 및 각 참여기업에 구비되며, 상기 빅데이터를 이용한 각 참여기업의 고유 비즈니스를 지원하는 빅데이터 참여 플랫폼(1100 ~ 1400)을 포함한다.an
본 발명의 사상을 달성하기 위해, 상기 학습 모델은 전역 최적 모델을 위한 것이며, 상기 통합 플랫폼(100)은 상기 학습 모델에 대한 파라미터 서버로서 역할을 수행하며, 상기 빅데이터 참여 플랫폼(1100 ~ 1400)은, 상기 작성된 빅데이터 학습 모델을 배포받아, 각 참여기업의 비공개 데이터를 이용하여 사전학습을 수행하고, 상기 업데이트된 학습 모델을 배포받아, 미세조정 학습을 수행한다.In order to achieve the idea of the present invention, the learning model is for a global optimal model, the
도시한 분산 학습 구조로 본 발명의 사상에 따른 전역 최적 모델에 도달하기 위한 학습 모델(전역 학습 모델이라 약칭함)을 이용한 빅데이터 학습 방법이 수행될 수 있다. 즉, 도시한 분산 학습 구조는 각 참여기업의 민감 데이터를 비공유하는 방식의 분산 학습을 통한 공유 AI 알고리즘을 지원한다. With the distributed learning structure shown, a big data learning method using a learning model (abbreviated as a global learning model) for reaching a global optimal model according to the spirit of the present invention can be performed. In other words, the illustrated distributed learning structure supports a shared AI algorithm through distributed learning that does not share the sensitive data of each participating company.
데이터 병렬 기반 모델 분산 학습법을 활용하여 각 참여기업의 데이터 공유 없이 AI 모델의 가중치 및 가중치 변화값만을 공유함으로써 전역 최적 모델(Global Optimal Model)을 생성할 수 있다.Using the data parallel-based model distributed learning method, it is possible to create a Global Optimal Model by sharing only the weights and weight changes of the AI model without sharing data of each participating company.
참여기업의 데이터 공유 없이 전력 최적 모델을 주기적으로 재학습할 수 있기 때문에 참여기업의 데이터 유출 위험 및 데이터 공유 절차 없이 주기적으로 최적 모델을 생성할 수 있다. 최신 최적 AI 모델은 더 높은 예측 정확도를 보인다.Because the optimal power model can be periodically retrained without data sharing by participating companies, the optimal model can be periodically generated without risk of data leakage and data sharing procedures by participating companies. The latest optimal AI models show higher prediction accuracy.
네트워크 통신 과정에서 가중치 및 가중치 변화값이 유출되더라도 원본 데이터 및 AI 모델에 대한 어떤 정보를 유추하거나 복원할 수 없기 때문에 네트워크 통신 과정에서 정보 유출을 걱정할 필요가 없다.Even if weights and weight change values are leaked during network communication, there is no need to worry about information leakage during network communication because any information about the original data and AI model cannot be inferred or restored.
개선된 구현에서, 상기 빅데이터 참여 플랫폼(1100 ~ 1400)은, 각 참여기업의 고유 데이터로 학습 모델을 학습(pre-training)하고, 그 결과로서 가중치를 상기 통합 플랫폼(100)으로 전송한다. 이러한 개선된 구현에서는 각 참여기업의 데이터 대신 모델의 가중치만 전송하기 때문에 데이터 전송량을 확연히 줄일 수 있다. 이에 따라 네트워크 비용 및 I/O 비용을 줄임으로써 데이터 전송에 따른 비효율 제거할 수 있으며 모델 갱신 시간을 단축할 수 있다.In an improved implementation, the big
기업/기관에 따라서는, MDMS 시스템은 하루에 100GB가 넘는 데이터가 생성되며, 대부분의 시스템 데이터베이스의 테이블 하나당 TB 단위의 데이터가 존재한다. 위와 같은 대용량 데이터를 전송할 경우, 네트워크 과부하로 인한 전송 시간 증가 문제뿐만 아니라, 네트워크 장애를 초래할 수 있다. 또한, 참여기업에서 수집되는 모든 데이터를 통합 플랫폼은 모두 저장해야 하기 때문에 엄청난 I/O 비용이 발생한다. 과도한 I/O 비용은 저장 속도 저하뿐만 아니라, 시스템 장애 확률을 증가시킨다. 따라서 본 발명에서 제안한 데이터 병렬 기반 모델 분산 학습 기법에 입각한 방법이 효율성과 안정성 측면서 더 우수하다.Depending on the company/institution, the MDMS system generates more than 100GB of data per day, and there is data in TB units per table in most system databases. When the above-mentioned large-capacity data is transmitted, it may cause a network failure as well as an increase in transmission time due to network overload. In addition, since the integrated platform must store all data collected from participating companies, huge I/O costs are incurred. Excessive I/O cost not only slows down storage, but also increases the probability of system failure. Therefore, the method based on the data parallel-based model distributed learning method proposed in the present invention is superior in terms of efficiency and stability.
동일한 구조를 가진 예측 딥러닝 모델을 각 참여기관의 데이터로 학습을 수행한다. 이 때 분산 학습 과정에서 국부 최적(Local Optimum)에 빠지는 것을 방지하기 위하여 매 에포크(Epoch)마다 모델 업데이트 반복한다.A predictive deep learning model with the same structure is trained with data from each participating institution. In this case, the model update is repeated every epoch in order to prevent falling into the local optimization in the distributed learning process.
상기 빅데이터 참여 플랫폼(1100 ~ 1400)은 AI 모델의 활용처에 따라 동기식 학습법과 비동기식 학습법을 각각 적용할 수 있다. 즉, 각 빅데이터 참여 플랫폼(1100 ~ 1400) 마다 동기식 학습법 또는 비동기식 학습법을 적용할 수 있다. 동기식 학습법의 경우 학습 시간은 더 소요되지만 더 높은 정확도를 자랑한다. 따라서 특정 정해진 시간에 모델 갱신을 하는 경우 혹은 학습주기가 긴 경우에는 동기식 모델 생성법이 더 적합하다. The big
한편, 5분 단위 등 단기간 실시간 모델의 경우, 비동기식 모델 생성법이 더 적합하다. 비동기식 모델 생성법은 모델 갱신 작업을 위해 다른 참여기관의 학습 결과를 기다리지 않고 모델 학습을 진행하기 때문에 실시간성이 중요한 경우에 적합하다.On the other hand, for short-term real-time models such as 5-minute units, the asynchronous model generation method is more suitable. The asynchronous model creation method is suitable when real-time performance is important because model learning proceeds without waiting for the learning results of other participating organizations for model update.
따라서 실시간 예측 모델의 경우, 학습 시간이 빠른 비동기식 학습을 통하여 모델을 주기적으로 학습하는 방식이 필요하다.Therefore, in the case of a real-time prediction model, a method of periodically learning the model through asynchronous learning with a fast learning time is required.
전역 최적 모델 생성 과정에 참여기업이 참여하지 않을 경우, 완성된 모델은 해당 참여기업의 상황을 고려하지 않게 된다. 이렇게 완성된 모델은 모델 생성 과정에 참여하지 않은 기업에 적용시 해당 기업의 상황을 반영하지 않고 있기 때문에 해당 기업이 모델 적용시 성능이 떨어질 수 있다. 따라서 본 발명의 플랫폼은 참여기업이 예측 모델 생성 과정에 주기적으로 참여하게 할 충분한 유인(Incentive)을 제공한다.If a participating company does not participate in the global optimal model creation process, the completed model does not consider the situation of the participating company. When the model completed in this way is applied to a company that has not participated in the model creation process, the performance of the company may deteriorate when the model is applied because it does not reflect the situation of the company. Therefore, the platform of the present invention provides sufficient incentives for participating companies to periodically participate in the process of generating a predictive model.
상기 빅데이터 참여 플랫폼(1100 ~ 1400)은 미세조정 학습(Fine-tuned Training)을 통한 각 기업별 최적 AI 알고리즘 생성에 기여할 수 있다.The big
상술한 데이터 병렬 기반 모델 분산 학습법을 통하여 생성된 전역 최적 모델을 바로 각 기업이 적용하여도 높은 성과를 볼 수 있다. 그러나 전역 최적 모델에 각 기업의 데이터를 추가적으로 학습할 경우, 해당 기업의 특성을 더 잘 반영한 모델을 생성할 수 있다. 이때 데이터가 적을 경우 모델의 많은 레이어 파라미터 값을 고정시키고 적은 레이어 파라미터만을 학습시킨다. High performance can be seen even if each company directly applies the global optimal model generated through the above-described data parallel-based model distributed learning method. However, if the data of each company is additionally learned in the global optimal model, a model that better reflects the characteristics of the company can be created. In this case, when there is little data, many layer parameter values of the model are fixed and only a small number of layer parameters are trained.
즉, 상기 각 빅데이터 참여 플랫폼(1100 ~ 1400)은 해당 참여기업의 데이터의 양에 따라 추가 학습시키는 모델 파라미터의 정도를 조정함으로써 각 기업별 최적 AI 알고리즘을 완성할 수 있다.That is, each of the big
바람직하게, 상기 통합 플랫폼(100)은 SaaS 기반 전역 최적 모델 공유 플랫폼으로 구현될 수 있으나, 이에 한정되는 것은 아니다.Preferably, the
상기 통합 플랫폼(100)은 상술한 전역 최적 모델을 학습하는 과정에서 파라미터 서버역할을 할뿐만 아니라, 완성된 전역 최적 AI 모델을 참여 기업들이 사용할 수 있도록 공유하는 공유 플랫폼 기능을 한다. 각 참여기업은 여러 전역 최적 AI 모델(Mg)을 만들고 사용할 수 있다.The
즉, 각 참여기업의 각 빅데이터 참여 플랫폼(1100 ~ 1400)은 항상 최신화된 전역 최적 모델을 사용할 수 있으며, 자신의 데이터로 추가학습한 AI 모델의 성능이 좋지 않을 경우, 통합 플랫폼에 공유된 전역 최적모델을 사용 가능하다.That is, each big data participation platform (1100 ~ 1400) of each participating company can always use the latest global optimal model. A global optimal model can be used.
또한, 상기 통합 플랫폼(100)은 이외에도 모든 참여 기업이 공유 가능한 데이터와 외부 데이터를 저장하고 제공하는 허브(HUB) 역할을 수행할 수 있다.In addition, the
도 6은 본 발명의 사상에 따른 전역 학습 모델을 이용한 빅데이터 학습 방법을 도시한 흐름도이다.6 is a flowchart illustrating a big data learning method using a global learning model according to the spirit of the present invention.
도시한 전역 학습 모델을 이용한 빅데이터 학습 방법은, 적어도 2 이상의 참여기업들에 학습 모델을 배포하는 단계(S110); 상기 각 참여기업에서 배포받은 상기 학습 모델로 사전학습을 수행하는 단계(S120); 상기 각 참여기업에서 통합 플랫폼으로 상기 사전학습에서 최적으로 판단된 상기 학습 모델의 가중치를 전송하는 단계(S130); 통합 플랫폼에서 상기 참여기업들이 전송한 가중치를 조합하여 학습 모델을 업데이트하는 단계(S140); 상기 참여기업들에 업데이트된 학습 모델을 배포하는 단계(S150); 및 각 참여기업에서 상기 업데이트된 학습 모델에 대하여 미세조정 학습을 수행하는 단계(S200)를 포함할 수 있다.The big data learning method using the illustrated global learning model includes: distributing the learning model to at least two or more participating companies (S110); performing pre-learning with the learning model distributed by each participating company (S120); transmitting the weight of the learning model determined as optimal in the pre-learning from each participating company to the integrated platform (S130); updating the learning model by combining the weights transmitted by the participating companies in the integrated platform (S140); distributing the updated learning model to the participating companies (S150); and performing fine-tuning learning on the updated learning model in each participating company (S200).
예컨대, 상기 학습 모델은 전역 최적 모델에 도달하기 위한 학습을 수행하는 CNN(Convolutional Neural Networks) 모델 등 협의의 딥러닝 계열 학습 모델이며, 상기 사전학습은 CNN 모델의 Supervised Pre-Training이며, 상기 미세조정 학습은 CNN 모델의 Fine-tuned Training일 수 있다. For example, the learning model is a narrow deep learning-based learning model such as a Convolutional Neural Networks (CNN) model that performs learning to reach a global optimal model, and the pre-learning is Supervised Pre-Training of the CNN model, and the fine-tuning The training may be fine-tuned training of the CNN model.
도 7 내지 도 10은 도 5의 이종 기관 간 협업을 위한 빅데이터 플랫폼에서, 도 6의 전역 학습 모델을 이용한 빅데이터 학습 방법이 수행되는 모습을 각 단계별로 나타낸 것이다.7 to 10 show each step of the big data learning method using the global learning model of FIG. 6 being performed in the big data platform for collaboration between heterogeneous organizations of FIG. 5 .
도 7에 도시한 바와 같이, 상기 사전학습을 수행하는 단계(S120)에서는, 각 참여기업은 빅데이터 참여 플랫폼을 활용하여 각 기업의 데이터를 대상으로 동일 AI 모델을 학습한다. 예컨대, 각 참여기업은 각 설비의 데이터를 대상으로 1 에포크(Epoch)만큼 AI 모델을 학습할 수 있다. 이 때 개별 기업의 데이터를 활용하여 동일 AI 모델을 학습하며, 따라서 참여기업 간의 데이터 공유는 발생하지 않는다.As shown in FIG. 7 , in the step S120 of performing the pre-learning, each participating company learns the same AI model from the data of each company by using the big data participation platform. For example, each participating company can learn the AI model for 1 epoch based on the data of each facility. At this time, the same AI model is learned using the data of individual companies, so data sharing between participating companies does not occur.
도 8에 도시한 바와 같이, 상기 학습 모델의 가중치를 전송하는 단계(S130)에서 각 참여기업의 빅데이터 참여 플랫폼(1100 ~ 1400)은 학습한 모델의 가중치를 통합 플랫폼에 전송하고, 상기 학습 모델을 업데이트하는 단계(S140)에서 상기 통합 플랫폼(100)은 각 참여기업의 모델 가중치를 수집한 후 종합하여 모델을 업데이트 한다. As shown in FIG. 8, in the step of transmitting the weight of the learning model (S130), the big
예컨대, 각 참여기업의 빅데이터 참여 플랫폼(1100 ~ 1400)은 1 에포크(Epoch) 만큼 학습된 모델의 가중치 변화값을 통합 플랫폼으로 전송할 수 있으며, 이 경우 데이터를 모두 전송하는 것에 비하여 전송량을 확연히 줄일 수 있다. 원본 데이터는 TB 단위인 반면, 모델 가중치의 경우 500MB 내외일 수도 있다.For example, the big
도 9에 도시한 바와 같이, 상기 S150 단계에서는 통합 플랫폼(100)에서 업데이트된 모델의 가중치를 각 참여기업의 빅데이터 참여 플랫폼(1100 ~ 1400)으로 전송한다. 9, in step S150, the weight of the model updated in the
다음, 최적 모델이 완성될 때까지 상기 S120 단계 내지 S150 단계를 반복할 수 있으며(S160), 이에 따라 최종 모델이 완성되면 각 기업은 전역 최적 모델을 자신의 빅데이터 플랫폼에서 활용 가능하다.Next, steps S120 to S150 may be repeated until the optimal model is completed (S160). Accordingly, when the final model is completed, each company can utilize the global optimal model in its own big data platform.
도 10에 도시한 바와 같이, 상기 미세조정 학습을 수행하는 단계(S200)에서는 각 참여기업의 빅데이터 참여 플랫폼(1100 ~ 1400)에서 완성된 전역 최적 모델에 각 참여기업의 데이터를 추가 학습하여, 자신의 기업에 최적화된 AI 모델을 생성할 수 있다.As shown in Figure 10, in the step (S200) of performing the fine-tuning learning, the data of each participating company is additionally learned in the global optimal model completed in the big data participation platform (1100 ~ 1400) of each participating company, You can create an AI model optimized for your company.
하기 표 1은 본 발명의 사상에 따른 이종 기관 간 협업을 위한 빅데이터 플랫폼의 동작 원리를 나타낸 의사코드(Pseudocode)이다.Table 1 below is a pseudocode showing the principle of operation of a big data platform for collaboration between heterogeneous organizations according to the spirit of the present invention.
상기 표와 같이 필요한 분야에 본 발명의 사상 적용이 용이하여, 본 발명의 기술은 범용성이 높아, 상세설명에서 구체화된 전력 및 발전 산업뿐만 아니라 빅데이터를 활용하는 모든 기업 및 기관에서 사용 가능하다. As shown in the table above, the idea of the present invention can be easily applied to the necessary fields, and the technology of the present invention has high versatility, and can be used in all companies and institutions that utilize big data as well as the electric power and power generation industries specified in the detailed description.
본 발명의 제안 기술을 활용할 경우 각 기업의 데이터는 보호하면서도 협업을 통한 시너지 효과를 극대화하는 토대를 마련할 수 있다.When the proposed technology of the present invention is used, it is possible to lay the foundation for maximizing synergy effects through collaboration while protecting the data of each company.
본 발명이 속하는 기술 분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있으므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.Those skilled in the art to which the present invention pertains should understand that the present invention may be embodied in other specific forms without changing the technical spirit or essential characteristics thereof, so the embodiments described above are illustrative in all respects and not restrictive. only do The scope of the present invention is indicated by the following claims rather than the detailed description, and all changes or modifications derived from the meaning and scope of the claims and their equivalent concepts should be construed as being included in the scope of the present invention. .
100 : 통합 플랫폼
1100, 1200, 1300, 1400 : 빅데이터 참여 플랫폼
100: integrated platform
1100, 1200, 1300, 1400: Big data participation platform
Claims (10)
적어도 2 이상의 참여기업들에 학습 모델을 배포하는 단계;
상기 각 참여기업에서 배포받은 상기 학습 모델로 사전학습을 수행하는 단계;
상기 각 참여기업에서 통합 플랫폼으로 상기 사전학습에서 최적으로 판단된 상기 학습 모델의 가중치를 전송하는 단계;
통합 플랫폼에서 상기 참여기업들이 전송한 가중치를 조합하여 학습 모델을 업데이트하는 단계;
상기 참여기업들에 업데이트된 학습 모델을 배포하는 단계; 및
각 참여기업에서 상기 업데이트된 학습 모델에 대하여 미세조정 학습을 수행하는 단계
를 포함하되,
상기 사전학습을 수행하는 단계에서는, AI 모델의 활용처에 따라 동기식 학습법과 비동기식 학습법을 각각 적용하되,
특정 정해진 시간에 모델 갱신을 하는 모델의 경우 동기식 모델 학습법을 적용하고, 단기간 실시간 모델의 경우 비동기식 모델 학습법을 적용하는 전역 학습 모델을 이용한 빅데이터 학습 방법.
In a big data learning method using a global learning model in which each step is performed by a big data platform,
distributing the learning model to at least two or more participating companies;
performing pre-learning with the learning model distributed by each participating company;
transmitting the weight of the learning model determined as optimal in the pre-learning from each participating company to an integrated platform;
updating the learning model by combining the weights transmitted by the participating companies in the integrated platform;
distributing the updated learning model to the participating companies; and
Performing fine-tuning learning for the updated learning model in each participating company
including,
In the step of performing the prior learning, the synchronous learning method and the asynchronous learning method are respectively applied according to the application of the AI model,
A big data learning method using a global learning model that applies a synchronous model learning method to a model that updates a model at a specific time, and an asynchronous model learning method to a short-term real-time model.
상기 학습 모델은 협의의 딥러닝 계열 학습 모델이며,
상기 사전학습은 Supervised Pre-Training이며,
상기 미세조정 학습은 Fine-tuned Training인 전역 학습 모델을 이용한 빅데이터 학습 방법.
According to claim 1,
The learning model is a deep learning-based learning model in a narrow sense,
The pre-learning is Supervised Pre-Training,
The fine-tuning learning is a big data learning method using a global learning model that is fine-tuned training.
상기 사전학습을 수행하는 단계에서는,
각 참여기업의 비공개 데이터를 이용하여 사전학습을 수행하는 전역 학습 모델을 이용한 빅데이터 학습 방법.
According to claim 1,
In the step of performing the pre-learning,
A big data learning method using a global learning model that performs pre-learning using the private data of each participating company.
상기 미세조정 학습을 수행하는 단계에서는,
출력층에 가까운 일부 레이어의 파라미터만 학습에 적용하는 전역 학습 모델을 이용한 빅데이터 학습 방법.
According to claim 1,
In the step of performing the fine-tuning learning,
A big data learning method using a global learning model that applies only the parameters of some layers close to the output layer to training.
각 참여기업에 구비되며, 상기 빅데이터를 이용한 각 참여기업의 고유 비즈니스를 지원하는 빅데이터 참여 플랫폼을 포함하되,
상기 빅데이터 참여 플랫폼은,
상기 작성된 빅데이터 학습 모델을 배포받아, 각 참여기업의 비공개 데이터를 이용하여 사전학습을 수행하고,
상기 업데이트된 학습 모델을 배포받아, 미세조정 학습을 수행하고,
AI 모델의 활용처에 따라 동기식 학습법과 비동기식 학습법을 각각 적용하되, 특정 정해진 시간에 모델 갱신을 하는 모델의 경우 동기식 모델 학습법을 적용하고, 단기간 실시간 모델의 경우 비동기식 모델 학습법을 적용하는
이종 기관 간 협업을 위한 빅데이터 플랫폼.
an integrated platform for collecting big data and distributing a big data learning model written to use the big data, and an updated learning model; and
A big data participation platform provided in each participating company and supporting the unique business of each participating company using the big data,
The big data participation platform is
Receive the big data learning model created above and perform pre-learning using the private data of each participating company,
Receive the updated learning model, perform fine-tuning learning,
The synchronous learning method and the asynchronous learning method are respectively applied depending on the application of the AI model, but in the case of a model that updates the model at a specific time, the synchronous model learning method is applied, and in the case of a short-term real-time model, the asynchronous model learning method is applied.
A big data platform for collaboration between heterogeneous organizations.
상기 빅데이터 참여 플랫폼은,
상기 사전학습을 수행한 결과로 산정된 상기 학습 모델의 가중치를 상기 통합 플랫폼으로 전송하는 이종 기관 간 협업을 위한 빅데이터 플랫폼.
7. The method of claim 6,
The big data participation platform is
A big data platform for collaboration between heterogeneous organizations that transmits the weight of the learning model calculated as a result of performing the pre-learning to the integrated platform.
상기 빅데이터 참여 플랫폼은,
상기 미세조정 학습시 출력층에 가까운 일부 레이어(파라미터)만 학습에 적용하는 이종 기관 간 협업을 위한 빅데이터 플랫폼.
7. The method of claim 6,
The big data participation platform is
A big data platform for collaboration between heterogeneous institutions that applies only some layers (parameters) close to the output layer in the fine-tuning learning.
상기 통합 플랫폼은, 응용 소프트웨어를 마켓플레이스를 기반으로 공통 활용할 수 있는 서비스를 제공하는 SaaS(Software as a Services)에 기반한 이종 기관 간 협업을 위한 빅데이터 플랫폼.7. The method of claim 6,
The integrated platform is a big data platform for collaboration between heterogeneous organizations based on SaaS (Software as a Services) that provides services that can commonly utilize application software based on a marketplace.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200052565A KR102393109B1 (en) | 2020-04-29 | 2020-04-29 | Big data platform for collaboration among heterogeneous organizations and big data learning method using common learning model |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200052565A KR102393109B1 (en) | 2020-04-29 | 2020-04-29 | Big data platform for collaboration among heterogeneous organizations and big data learning method using common learning model |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20210133662A KR20210133662A (en) | 2021-11-08 |
KR102393109B1 true KR102393109B1 (en) | 2022-05-03 |
Family
ID=78485762
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200052565A KR102393109B1 (en) | 2020-04-29 | 2020-04-29 | Big data platform for collaboration among heterogeneous organizations and big data learning method using common learning model |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102393109B1 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101704926B1 (en) * | 2015-10-23 | 2017-02-23 | 한양대학교 산학협력단 | Statistical Model-based Voice Activity Detection with Ensemble of Deep Neural Network Using Acoustic Environment Classification and Voice Activity Detection Method thereof |
JP2019095247A (en) | 2017-11-21 | 2019-06-20 | 千代田化工建設株式会社 | Inspection assisting system, learning device, and determination device |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109716346A (en) * | 2016-07-18 | 2019-05-03 | 河谷生物组学有限责任公司 | Distributed machines learning system, device and method |
KR101971790B1 (en) | 2017-09-27 | 2019-05-13 | 주식회사 알티캐스트 | System and method for detecting abnormal behavior based on unified model |
KR102441422B1 (en) * | 2018-01-11 | 2022-09-07 | 한국전자통신연구원 | Personalized question-answering system, cloud server for privacy protection and method for providing shared nueral model thereof |
-
2020
- 2020-04-29 KR KR1020200052565A patent/KR102393109B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101704926B1 (en) * | 2015-10-23 | 2017-02-23 | 한양대학교 산학협력단 | Statistical Model-based Voice Activity Detection with Ensemble of Deep Neural Network Using Acoustic Environment Classification and Voice Activity Detection Method thereof |
JP2019095247A (en) | 2017-11-21 | 2019-06-20 | 千代田化工建設株式会社 | Inspection assisting system, learning device, and determination device |
Also Published As
Publication number | Publication date |
---|---|
KR20210133662A (en) | 2021-11-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CA3051762A1 (en) | Data isolation in a blockchain network | |
CN103959264B (en) | Used in storage cloud, deduplication is managing immutable redundant file | |
US8612406B1 (en) | Sharing business data across networked applications | |
CN106127038B (en) | A kind of processing method and system of blacklist | |
CN112866380B (en) | Chain network architecture based on block chain | |
US20190325056A1 (en) | Interconnected graph structured database for identifying and remediating conflicts in resource deployment | |
KR102107911B1 (en) | Automatic inspection system for label type data based on Artificial Intelligence Learning, and method thereof | |
WO2023087549A1 (en) | Efficient, secure and less-communication longitudinal federated learning method | |
CN116134448A (en) | Joint machine learning using locality sensitive hashing | |
CN113191530B (en) | Block link point reliability prediction method and system with privacy protection function | |
WO2022013879A1 (en) | Federated learning using heterogeneous labels | |
CN115563859A (en) | Power load prediction method, device and medium based on layered federal learning | |
Hulak et al. | Ensuring Data Security in the Peer-to-Peer Economic System of the DAO | |
Dong et al. | Cost index predictions for construction engineering based on LSTM neural networks | |
CN113095825B (en) | Asset management method and device based on block chain and electronic equipment | |
KR102393109B1 (en) | Big data platform for collaboration among heterogeneous organizations and big data learning method using common learning model | |
US20220114019A1 (en) | Distributed resource-aware training of machine learning pipelines | |
CN112927079A (en) | Block chain-based digital asset management of power industry | |
CN107292602A (en) | A kind of transfer account method and system for avoiding interest reversal | |
US20220351040A1 (en) | Model improvement using federated learning and canonical feature mapping | |
CN113572647B (en) | Block chain-edge calculation combined system based on reinforcement learning | |
WO2023209414A1 (en) | Methods and apparatus for computing resource allocation | |
CN115048458A (en) | Block chain-based data processing method, apparatus, device, medium, and program product | |
CN112800081A (en) | Associated user acquisition method and device | |
CN111078141A (en) | Hierarchical storage security management software based on cloud platform |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |