WO2022146050A1 - Federated artificial intelligence training method and system for depression diagnosis - Google Patents

Federated artificial intelligence training method and system for depression diagnosis Download PDF

Info

Publication number
WO2022146050A1
WO2022146050A1 PCT/KR2021/020216 KR2021020216W WO2022146050A1 WO 2022146050 A1 WO2022146050 A1 WO 2022146050A1 KR 2021020216 W KR2021020216 W KR 2021020216W WO 2022146050 A1 WO2022146050 A1 WO 2022146050A1
Authority
WO
WIPO (PCT)
Prior art keywords
local
model
global
data
learning
Prior art date
Application number
PCT/KR2021/020216
Other languages
French (fr)
Korean (ko)
Inventor
김현승
최준희
이종민
최민규
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Publication of WO2022146050A1 publication Critical patent/WO2022146050A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Definitions

  • the present invention relates to an artificial intelligence joint learning method and system for diagnosing depression.
  • Artificial intelligence technology is expected to have a significant impact on various medical fields in the near future.
  • Artificial intelligence-based medical treatment is expected to improve reading accuracy and contribute to disease prediction and prevention.
  • Artificial intelligence-based medical treatment has the characteristic of being able to improve performance and efficiency compared to existing medical treatment.
  • a convolutional neural network in the field of computer vision can be directly applied to medical image analysis.
  • the previously published artificial intelligence model for diagnosing depression diagnoses depression only with words and intonation through an interview with a clinician.
  • the AI model developed in this way utilizes text and voice data and responds more quickly to text information.
  • Embodiments of the present invention are intended to provide an artificial intelligence joint learning method and system for diagnosing depression in order to improve the accuracy of an artificial intelligence model through joint learning between a global model and a plurality of local models for diagnosing depression.
  • Embodiments of the present invention are to provide a joint learning method of an artificial intelligence model for diagnosing depression using brain wave data and brain imaging (fMRI) data.
  • fMRI brain imaging
  • embodiments of the present invention prevent the risk of personal information leakage due to not sharing the patient personal information data held by each institution and improve the accuracy of the global artificial intelligence model, artificial intelligence joint learning for depression diagnosis It is intended to provide a method and system.
  • an artificial intelligence federated learning method performed by an artificial intelligence federated learning apparatus, the method comprising: pre-learning a global model using global learning data; pre-training a local model based on the weight parameters of the pre-trained global model; updating a weight parameter of the pre-trained local model using a feature vector extracted from pre-stored local training data; and updating the weight parameter of the pre-trained global model based on the updated weight parameter of the local model, the artificial intelligence joint learning method for diagnosing depression may be provided.
  • the method may further include retraining the local model based on a weight parameter of the updated global model.
  • the global model may include any one neural network from a support vector machine (SVM), a convolutional neural network (CNN), and a recurrent neural network (RNN).
  • SVM support vector machine
  • CNN convolutional neural network
  • RNN recurrent neural network
  • the local model may be configured with the same neural network as that of the global model.
  • the global model is configured as a support vector machine if the number of data of the global learning data is less than a preset number of data, and if the number of data of the global learning data is greater than or equal to the preset number of data, it is completely at the end of a convolutional neural network or a recurrent neural network.
  • the fully-connected layer may be configured as a fully-connected neural network (NN).
  • the updating of the weight parameter of the local model includes extracting a feature vector using a convolutional neural network if the pre-stored local learning data is brain image data, or using a recurrent neural network if the pre-stored local learning data is time series data. Feature vectors can be extracted.
  • the updating of the weight parameter of the local model may include updating the weight parameter of the pre-trained local model by using individual feature vectors for each of the plurality of local models.
  • the updating of the weight parameter of the local model may include updating the weight parameter of the pre-trained local model based on the extracted feature vector using stochastic gradient descent.
  • the weight and bias are updated as much as the gradient value for the loss by the step size indicating the learning rate.
  • the updating of the weight parameters of the global model includes individually receiving the weight parameters of the updated local models for each of the plurality of local models, and integrating the weight parameters of the plurality of individually received local models to obtain the previously learned weight parameters. You can update the weight parameters of the global model.
  • a global federated learning apparatus for pre-learning a global model using global learning data; and a local federated learning apparatus that pre-trains a local model based on the weight parameter of the pre-trained global model, and updates the weight parameter of the pre-trained local model using a feature vector extracted from pre-stored local training data.
  • the global federated learning apparatus updates the weight parameter of the pre-trained global model based on the weight parameter of the updated local model.
  • the local federated learning apparatus may re-learn the local model based on the weight parameter of the updated global model.
  • the global model may include any one neural network from a support vector machine (SVM), a convolutional neural network (CNN), and a recurrent neural network (RNN).
  • SVM support vector machine
  • CNN convolutional neural network
  • RNN recurrent neural network
  • the local model may be configured with the same neural network as that of the global model.
  • the global model is composed of a support vector machine if the number of data of the global learning data is less than a preset number of data, and if the number of data of the global learning data is greater than or equal to the preset number of data, it is completely at the end of a convolutional neural network or a recurrent neural network.
  • the fully-connected layer may be configured as a fully-connected neural network (NN).
  • the local federated learning apparatus may extract a feature vector using a convolutional neural network if the pre-stored local learning data is image data, or extract a feature vector using a recurrent neural network if the pre-stored local learning data is time series data. .
  • the local federated learning apparatus may update each of the weight parameters of the pre-trained local model by using individual feature vectors for each of the plurality of local models.
  • the local federated learning apparatus may update the weight parameter of the pre-trained local model based on the extracted feature vector using stochastic gradient descent.
  • the local federated learning apparatus may update weights and biases as much as a gradient value for a loss in the stochastic gradient descent method by a step size indicating a learning rate.
  • the global federated learning apparatus individually receives the weight parameters of the updated local model for each of the plurality of local models, and integrates the weight parameters of the individually received plurality of local models to obtain the weight parameters of the pre-trained global model. can be updated.
  • a non-transitory computer-readable storage medium for storing instructions that, when executed by a processor, cause the processor to execute a method, the method comprising: using global learning data pre-training the global model; pre-training a local model based on the weight parameters of the pre-trained global model; updating a weight parameter of the pre-trained local model using a feature vector extracted from pre-stored local training data; and updating the weight parameter of the pre-trained global model based on the updated weight parameter of the local model.
  • the disclosed technology may have the following effects. However, this does not mean that a specific embodiment should include all of the following effects or only the following effects, so the scope of the disclosed technology should not be understood as being limited thereby.
  • Embodiments of the present invention can accurately diagnose depression by using brain wave data and brain imaging (fMRI) data in each institution.
  • fMRI brain imaging
  • embodiments of the present invention allow each institution to learn an artificial intelligence model within each institution by using such data, and improve the accuracy of the global artificial intelligence model by using the weights of the learned artificial intelligence model.
  • embodiments of the present invention can ensure privacy protection by individually managing the patient's personal data by each institution.
  • FIG. 1 is a block diagram of an artificial intelligence joint learning system for diagnosing depression according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a process of extracting a feature vector from a brain image used in an embodiment of the present invention.
  • FIG. 3 is a diagram showing the configuration of a CNN model used in an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a feature vector extraction process from EEG data according to an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating a learning process of a global model according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating a process of transmitting a weight parameter of a global model according to an embodiment of the present invention.
  • FIG. 7 is a diagram illustrating an update process of a local model according to an embodiment of the present invention.
  • FIG. 8 is a diagram illustrating a process of transmitting a weight parameter of a local model according to an embodiment of the present invention.
  • 9 and 10 are diagrams showing a learning result according to an embodiment of the present invention.
  • the term used in the present invention should be defined based on the meaning of the term and the overall content of the present invention, rather than the name of a simple term.
  • FIG. 1 is a block diagram of an artificial intelligence joint learning system for diagnosing depression according to an embodiment of the present invention.
  • the artificial intelligence federated learning system 100 for diagnosing depression includes a global federated learning device 120 and a plurality of local federated learning devices.
  • a global federated learning device 120 includes a global federated learning device 120 and a plurality of local federated learning devices.
  • not all illustrated components are essential components.
  • the artificial intelligence federated learning system 100 may be implemented by more components than the illustrated components, and the artificial intelligence federated learning system 100 may be implemented by fewer components than that.
  • the artificial intelligence combined learning system 100 aims to diagnose depression using brain image (fMRI) data and EEG data.
  • fMRI brain image
  • EEG electronic glycosysilicate
  • the size of brain imaging (fMRI) data and EEG data is large, the number of related data is not large, so it is difficult to implement an artificial intelligence model for diagnosing depression with high accuracy.
  • the artificial intelligence joint learning system 100 extracts feature vectors from a Convolutional Neural Network (CNN) model and a Recurrent Neural Network (RNN) model from brain image data and EEG data, respectively, to diagnose depression from the feature vectors.
  • CNN Convolutional Neural Network
  • RNN Recurrent Neural Network
  • an artificial intelligence model for diagnosing depression using CNN, RNN, or Support Vector Machine (SVM) may be trained by using brain wave data and fMRI data.
  • an embodiment of the present invention may receive and update a weight parameter of a local AI model of each institution using a global AI model.
  • the weight parameters of the artificial intelligence models of each institution may be updated by utilizing the brain wave data and fMRI data owned by each institution.
  • the weight parameter of the global AI model may be updated by transmitting the weight parameter of the local AI model of each institution to the global AI model.
  • the weight parameters of the updated global artificial intelligence model may be transmitted back to the local artificial intelligence models of various institutions.
  • a support vector machine (SVM) technique capable of effectively performing binary classification may be used among machine learning techniques.
  • the global federated learning apparatus 120 pre-trains the global SVM model using global learning data (S101).
  • the global federated learning apparatus 120 updates the weight of the global model (S102).
  • the local federated learning devices A, B, and C (111, 112, 113) implemented in each institution receive the weight parameters of the pre-trained global SVM model (S103).
  • the local federated learning devices A, B, and C (111, 112, 113) start learning the local SVM model of each institution based on the received weight parameter (S104, S106, S108).
  • Local federated learning devices A, B, and C put the data owned by each institution into a 3D CNN model commonly used by all institutions to extract feature vectors, and then use this to determine the weight parameters of the local model as a probability. It is updated using the stochastic gradient descent method (S105, S107, S109).
  • the local federated learning devices A, B, and C (111, 112, 113) transfer the local SVM model weights of each institution learned to the global SVM model again when the local model learning of each institution is completed (S110, S111, S112) ).
  • the global federated learning apparatus 120 updates the weights of the global SVM model with an arithmetic average value or a weighted average value of the weights received from each institution to create a high-accuracy global SVM model (S113) ).
  • the artificial intelligence combined learning system 100 may improve the accuracy of diagnosis of depression by performing joint learning using EEG data using a similar method.
  • the global federated learning apparatus 120 learns the global model in advance by using the global learning data.
  • the local federated learning device pre-learns a local model based on the weight parameters of the global model trained in advance in the global federated learning device 120, and uses a feature vector extracted from pre-stored local training data of the pre-trained local model. Update the weight parameter.
  • the global federated learning apparatus 110 updates the weight parameter of the pre-trained global model based on the updated weight parameter of the local model.
  • the local federated learning apparatus may relearn the local model based on the updated weight parameter of the global model.
  • the global model may be composed of any one neural network among a support vector machine (SVM), a convolutional neural network (CNN), and a recurrent neural network (RNN).
  • SVM support vector machine
  • CNN convolutional neural network
  • RNN recurrent neural network
  • the local model may be configured with the same neural network as that of the global model.
  • the global model is configured as a support vector machine when the number of data of the global training data is less than the preset number of data, and when the number of data of the global learning data is greater than or equal to the preset number of data, the last stage of the convolutional neural network or the recurrent neural network It may be composed of a fully-connected neural network (NN) with a fully-connected layer connected to .
  • NN fully-connected neural network
  • the SVM when the number of medical data currently possessed is small, the SVM may be used as a global model and a local model by extracting a feature vector.
  • a fully-connected layer is attached to the last stage of a CNN or RNN, and this part can be used as a global model and a local model instead of SVM. .
  • a fully connected layer contains a large number of parameters, so it is impossible to learn with a small number of data. Accordingly, in another embodiment of the present invention, if a sufficient amount of data is retained rather than the format of the data, a fully connected layer may be used instead of the SVM.
  • the CNN and RNN in the preceding stage may vary depending on the format of the medical data (3D-CNN is used in the case of a brain image image, and RNN is used because EEG data is time series data).
  • CNN when classifying a feature extracted through CNN or RNN, whether to use SVM as a global model or a local model classifier model, a fully-connected neural network (CNN) is selected. Whether to use it may depend on the amount of data.
  • CNN fully-connected neural network
  • the local federated learning apparatus extracts a feature vector using a convolutional neural network if the pre-stored local learning data is image data, or uses a recurrent neural network if the pre-stored local learning data is time series data. can be extracted.
  • the local federated learning apparatus may update each of the weight parameters of the pre-trained local model by using individual feature vectors for each of the plurality of local models.
  • the local federated learning apparatus may update the weight parameter of the pre-trained local model based on the extracted feature vector using stochastic gradient descent.
  • the local federated learning apparatus may update the weight and bias as much as the gradient value for the loss in the stochastic gradient descent method by the step size indicating the learning rate. .
  • the stochastic gradient descent method will be referred to as w, the bias as b, the feature vector as x, and the feature label as y.
  • the stochastic gradient descent method is a method of updating w and b by the step size (step_size (learning rate)) indicating the learning rate by the gradient value for the loss.
  • the global federated learning apparatus 120 individually receives the weight parameters of the local models updated for each of the plurality of local models, and integrates the weight parameters of the individually received plurality of local models to obtain a pre-trained global You can update the weight parameters of the model.
  • FIG. 2 is a diagram illustrating a process of extracting a feature vector from a brain image used in an embodiment of the present invention.
  • An embodiment of the present invention extracts a feature vector from a brain image (fMRI image) through a convolutional neural network.
  • FIG. 3 is a diagram showing the configuration of a CNN model used in an embodiment of the present invention.
  • fMRI Brain imaging
  • CNN 3D Convolutional Neural Network
  • FIG. 4 is a diagram illustrating a feature vector extraction process from EEG data according to an embodiment of the present invention.
  • An embodiment of the present invention extracts the EEG data through a recurrent neural network to extract a feature vector.
  • FIG. 5 is a diagram illustrating a learning process of a global model according to an embodiment of the present invention.
  • An embodiment of the present invention obtains a corresponding feature vector through global training data, and learns a global support vector machine model based on the feature vector.
  • FIG. 6 is a diagram illustrating a process of transmitting a weight parameter of a global model according to an embodiment of the present invention.
  • An embodiment of the present invention transmits weight parameters of a pre-trained global model, that is, weight & bias, to each local support vector machine model (Local SVM model). .
  • FIG. 7 is a diagram illustrating an update process of a local model according to an embodiment of the present invention.
  • a pre-trained weight parameter received from a global model as a feature vector from local training data possessed by each local federated learning device is used. update
  • a weight parameter of a local model is updated using a stochastic gradient descent method.
  • FIG. 8 is a diagram illustrating a process of transmitting a weight parameter of a local model according to an embodiment of the present invention.
  • An embodiment of the present invention transfers the weight parameters of the local support vector machine model (Local SVM model) learned by each local federated learning apparatus to the global model (Global model).
  • the update method of the weight parameter in the global support vector machine model may be updated using an arithmetic average or a weighted average method.
  • 9 and 10 are diagrams showing a learning result according to an embodiment of the present invention.
  • Brain image (fMRI) data is put into a pre-trained 3D CNN model to extract a feature vector of the 3D image, and the last convolution layer value of the 3D CNN model was used for the feature vector. Depression was diagnosed by applying the extracted feature vector to a machine learning technique.
  • a linear support vector machine (SVM) was used among the machine learning techniques.
  • the federated learning method of the SVM model is as follows. After training the global SVM model using the global training data set, the weights and bias values of the global SVM model are transferred to Model A, Model B, and Model C. Model A, model B, and model C train each model using the data available to each model based on the received SVM weights and biases.
  • the stochastic gradient descent method is used as a method for learning the SVM.
  • the global SVM model receives weights and bias values from each model and updates the weights and biases of the global SVM model.
  • the update method an arithmetic average value of the weight and bias values of each model or a weighted average value according to the number of training data was used.
  • the training epoch used in the stochastic gradient descent method was set to 10, and the step size was set to 10e-3, and the federated learning results for the SVM model according to the size of the training data set. Is as follows.
  • the patient's personal information data held by each institution is not directly used, but only the weight value of each model is used for global classification (classification). ) to improve the accuracy of the model.
  • a non-transitory computer-readable storage medium for storing instructions that, when executed by a processor, cause the processor to execute a method, the method comprising: pre-training a global model using global training data; pre-training a local model based on the weight parameters of the pre-trained global model; updating a weight parameter of the pre-trained local model using a feature vector extracted from pre-stored local training data; and updating the weight parameter of the pre-trained global model based on the updated weight parameter of the local model.
  • the various embodiments described above are implemented as software including instructions stored in a machine-readable storage media readable by a machine (eg, a computer).
  • a machine eg, a computer
  • the device is a device capable of calling a stored command from a storage medium and operating according to the called command, and may include an electronic device (eg, the electronic device A) according to the disclosed embodiments.
  • the processor may perform a function corresponding to the instruction by using other components directly or under the control of the processor.
  • Instructions may include code generated or executed by a compiler or interpreter.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' means that the storage medium does not include a signal and is tangible, and does not distinguish that data is semi-permanently or temporarily stored in the storage medium.
  • the methods according to the various embodiments described above may be provided by being included in a computer program product.
  • Computer program products may be traded between sellers and buyers as commodities.
  • the computer program product may be distributed in the form of a device-readable storage medium (eg, compact disc read only memory (CD-ROM)) or online through an application store (eg, PlayStoreTM).
  • an application store eg, PlayStoreTM
  • at least a portion of the computer program product may be temporarily stored or temporarily generated in a storage medium such as a memory of a server of a manufacturer, a server of an application store, or a relay server.
  • the various embodiments described above are stored in a recording medium readable by a computer or a similar device using software, hardware, or a combination thereof. can be implemented in In some cases, the embodiments described herein may be implemented by the processor itself. According to the software implementation, embodiments such as the procedures and functions described in this specification may be implemented as separate software modules. Each of the software modules may perform one or more functions and operations described herein.
  • non-transitory computer-readable medium refers to a medium that stores data semi-permanently, not a medium that stores data for a short moment, such as a register, cache, memory, etc., and can be read by a device.
  • Specific examples of the non-transitory computer-readable medium may include a CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM, and the like.
  • each of the components may be composed of a single or a plurality of entities, and some sub-components of the above-described corresponding sub-components may be omitted, or other Sub-components may be further included in various embodiments.
  • some components eg, a module or a program
  • operations performed by a module, program, or other component are sequentially, parallel, repetitively or heuristically executed, or at least some operations are executed in a different order, are omitted, or other operations are added.

Abstract

The present invention relates to a federated artificial intelligence training method and system for depression diagnosis, and the federated artificial intelligence training method for depression diagnosis, according to one embodiment of the present invention, comprises the steps of: pre-training a global model by using global training data; pre-training a local model on the basis of weight parameters of the pre-trained global model; updating the weight parameters of the pre-trained local model by using a feature vector extracted from pre-stored local training data; and updating the weight parameters of the pre-trained global model on the basis of the updated weight parameters of the local model.

Description

우울증 진단을 위한 인공지능 연합학습 방법 및 시스템Artificial intelligence joint learning method and system for diagnosing depression
본 발명은 우울증 진단을 위한 인공지능 연합학습 방법 및 시스템에 관한 것이다.The present invention relates to an artificial intelligence joint learning method and system for diagnosing depression.
인공지능 기술이 가까운 미래에 다양한 의료 분야에 많은 영향을 미칠 것으로 예상한다. 인공지능 기반의 의료진료는 판독 정확성을 향상하고 질병 예측 및 예방에 이바지할 수 있을 것으로 기대된다. 인공지능 기반 의료진료는 기존의 의료진료보다 성능, 효율 등을 높일 수 있는 특징이 있다. 특히 컴퓨터 비전 분야의 컨볼루션 신경망(Convolutional neural network)이 의학영상 분석에 직접 적용될 수 있다.Artificial intelligence technology is expected to have a significant impact on various medical fields in the near future. Artificial intelligence-based medical treatment is expected to improve reading accuracy and contribute to disease prediction and prevention. Artificial intelligence-based medical treatment has the characteristic of being able to improve performance and efficiency compared to existing medical treatment. In particular, a convolutional neural network in the field of computer vision can be directly applied to medical image analysis.
기존에 발표된 우울증 진단 인공지능 모델(Tuka Alhanai, Mohammad Ghassemi, & James Glass, Detecting Depression with Audio/Text Sequence modeling of Interviews, Interspeech 2018)은 임상의와 인터뷰를 통한 단어와 억양만으로 우울증을 진단한다. 이와 같은 방법으로 개발된 인공지능 모델은 문자와 목소리 데이터를 활용하며 문자 정보에 더 빠르게 반응하였다. 또한, 종래의 독립적인 인공지능 모델에서는 데이터 부족으로 우울증 진단의 인공지능 모델의 정확도를 보장하기 어렵다. 실제로 의료 분야에는 빅데이터(big data)와 인공지능 기술을 원활하게 적용할 수 있는 체계가 갖추어지지 않았다. 그뿐만 아니라 인공지능 모델 학습에 필요한 데이터가 각 기관 사이에서 공유될 경우 개인정보 유출의 문제가 있다. 다수의 기관이 보유한 데이터를 직접 활용하여 우울증 진단 인공지능 모델을 만드는 데 한계가 있다.The previously published artificial intelligence model for diagnosing depression (Tuka Alhanai, Mohammad Ghassemi, & James Glass, Detecting Depression with Audio/Text Sequence modeling of Interviews, Interspeech 2018) diagnoses depression only with words and intonation through an interview with a clinician. The AI model developed in this way utilizes text and voice data and responds more quickly to text information. In addition, in the conventional independent AI model, it is difficult to guarantee the accuracy of the AI model for diagnosing depression due to lack of data. In fact, there is no system in place to smoothly apply big data and artificial intelligence technology in the medical field. In addition, there is a problem of personal information leakage when the data required for AI model learning is shared between each institution. There is a limit to creating an artificial intelligence model for diagnosing depression by directly using data owned by a number of institutions.
본 발명의 실시예들은 우울증 진단을 위해 글로벌 모델과 복수의 로컬 모델 간의 연합학습을 통해 인공지능 모델의 정확도를 향상시키기 위한, 우울증 진단을 위한 인공지능 연합학습 방법 및 시스템을 제공하고자 한다.Embodiments of the present invention are intended to provide an artificial intelligence joint learning method and system for diagnosing depression in order to improve the accuracy of an artificial intelligence model through joint learning between a global model and a plurality of local models for diagnosing depression.
본 발명의 실시예들은 뇌파 데이터와 뇌영상(fMRI) 데이터를 활용한 우울증 진단을 위한 인공지능 모델의 연합학습 방법을 제공하고자 한다.Embodiments of the present invention are to provide a joint learning method of an artificial intelligence model for diagnosing depression using brain wave data and brain imaging (fMRI) data.
또한, 본 발명의 실시예들은 각 기관이 보유하고 있는 환자 개인정보 데이터를 공유하지 않음으로 인하여 개인정보의 유출 위험성을 막고 글로벌 인공지능 모델의 정확도를 향상시키기 위한, 우울증 진단을 위한 인공지능 연합학습 방법 및 시스템을 제공하고자 한다.In addition, embodiments of the present invention prevent the risk of personal information leakage due to not sharing the patient personal information data held by each institution and improve the accuracy of the global artificial intelligence model, artificial intelligence joint learning for depression diagnosis It is intended to provide a method and system.
다만, 본 발명의 해결하고자 하는 과제는 이에 한정되는 것이 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위의 환경에서도 다양하게 확장될 수 있을 것이다.However, the problem to be solved by the present invention is not limited thereto, and may be variously expanded in an environment within the scope not departing from the spirit and scope of the present invention.
본 발명의 일 실시예에 따르면, 인공지능 연합학습 장치에 의해 수행되는 인공지능 연합학습 방법에 있어서, 글로벌 학습 데이터를 이용하여 글로벌 모델을 미리 학습하는 단계; 상기 미리 학습된 글로벌 모델의 가중치 파라미터를 기반으로 로컬 모델을 미리 학습하는 단계; 기 저장된 로컬 학습 데이터로부터 추출된 특징 벡터를 이용하여 상기 미리 학습된 로컬 모델의 가중치 파라미터를 업데이트하는 단계; 및 상기 업데이트된 로컬 모델의 가중치 파라미터를 기반으로 상기 미리 학습된 글로벌 모델의 가중치 파라미터를 업데이트하는 단계를 포함하는, 우울증 진단을 위한 인공지능 연합학습 방법이 제공될 수 있다.According to an embodiment of the present invention, there is provided an artificial intelligence federated learning method performed by an artificial intelligence federated learning apparatus, the method comprising: pre-learning a global model using global learning data; pre-training a local model based on the weight parameters of the pre-trained global model; updating a weight parameter of the pre-trained local model using a feature vector extracted from pre-stored local training data; and updating the weight parameter of the pre-trained global model based on the updated weight parameter of the local model, the artificial intelligence joint learning method for diagnosing depression may be provided.
상기 방법은, 상기 업데이트된 글로벌 모델의 가중치 파라미터를 기반으로 상기 로컬 모델을 재학습하는 단계를 더 포함할 수 있다.The method may further include retraining the local model based on a weight parameter of the updated global model.
상기 글로벌 모델은, 서포트 벡터 머신(support vector machine, SVM), 컨벌루션 신경망(Convolutional Neural Networks, CNN) 및 순환 신경망(Recurrent neural network, RNN) 중에서 어느 하나의 신경망으로 구성될 수 있다.The global model may include any one neural network from a support vector machine (SVM), a convolutional neural network (CNN), and a recurrent neural network (RNN).
상기 로컬 모델은, 상기 글로벌 모델의 신경망과 동일한 신경망으로 구성될 수 있다.The local model may be configured with the same neural network as that of the global model.
상기 글로벌 모델은, 상기 글로벌 학습 데이터의 데이터 개수가 기 설정된 데이터 개수 미만이면 서포트 벡터 머신으로 구성되고, 상기 글로벌 학습 데이터의 데이터 개수가 기설정된 데이터 개수 이상이면 컨벌루션 신경망 또는 순환 신경망의 마지막단에 완전 연결 계층(fully-connected layer)이 연결된 완전 연결 신경망(Fully-connected NN)으로 구성될 수 있다.The global model is configured as a support vector machine if the number of data of the global learning data is less than a preset number of data, and if the number of data of the global learning data is greater than or equal to the preset number of data, it is completely at the end of a convolutional neural network or a recurrent neural network. The fully-connected layer may be configured as a fully-connected neural network (NN).
상기 로컬 모델의 가중치 파라미터를 업데이트하는 단계는, 상기 기저장된 로컬 학습 데이터가 뇌영상 이미지 데이터이면 컨벌루션 신경망을 이용하여 특징 벡터를 추출하거나, 상기 기 저장된 로컬 학습 데이터가 시계열 데이터이면 순환 신경망을 이용하여 특징 벡터를 추출할 수 있다.The updating of the weight parameter of the local model includes extracting a feature vector using a convolutional neural network if the pre-stored local learning data is brain image data, or using a recurrent neural network if the pre-stored local learning data is time series data. Feature vectors can be extracted.
상기 로컬 모델의 가중치 파라미터를 업데이트하는 단계는, 복수의 로컬 모델마다 개별적인 특징 벡터를 이용하여 상기 미리 학습된 로컬 모델의 가중치 파라미터를 각각 업데이트할 수 있다.The updating of the weight parameter of the local model may include updating the weight parameter of the pre-trained local model by using individual feature vectors for each of the plurality of local models.
상기 로컬 모델의 가중치 파라미터를 업데이트하는 단계는, 상기 추출된 특징 벡터를 기반으로 상기 미리 학습된 로컬 모델의 가중치 파라미터를 확률적 경사 하강법(Stochastic Gradient Descent)을 사용하여 업데이트할 수 있다.The updating of the weight parameter of the local model may include updating the weight parameter of the pre-trained local model based on the extracted feature vector using stochastic gradient descent.
상기 로컬 모델의 가중치 파라미터를 업데이트하는 단계는, 확률적 경사 하강법에서 로스(Loss)에 대한 경사(Gradient) 값만큼 가중치와 바이어스를 학습률(Learning rate)를 나타내는 스텝 사이즈(Step size)만큼 업데이트할 수 있다.In the step of updating the weight parameter of the local model, in the stochastic gradient descent method, the weight and bias are updated as much as the gradient value for the loss by the step size indicating the learning rate. can
상기 글로벌 모델의 가중치 파라미터를 업데이트하는 단계는, 복수의 로컬 모델마다 상기 업데이트된 로컬 모델의 가중치 파라미터를 개별적으로 수신하고, 상기 개별적으로 수신된 복수의 로컬 모델의 가중치 파라미터를 통합하여 상기 미리 학습된 글로벌 모델의 가중치 파라미터를 업데이트할 수 있다.The updating of the weight parameters of the global model includes individually receiving the weight parameters of the updated local models for each of the plurality of local models, and integrating the weight parameters of the plurality of individually received local models to obtain the previously learned weight parameters. You can update the weight parameters of the global model.
한편, 본 발명의 다른 실시예에 따르면, 글로벌 학습 데이터를 이용하여 글로벌 모델을 미리 학습하는 글로벌 연합학습 장치; 및 상기 미리 학습된 글로벌 모델의 가중치 파라미터를 기반으로 로컬 모델을 미리 학습하고, 기 저장된 로컬 학습 데이터로부터 추출된 특징 벡터를 이용하여 상기 미리 학습된 로컬 모델의 가중치 파라미터를 업데이트하는 로컬 연합학습 장치를 포함하고, 상기 글로벌 연합학습 장치는, 상기 업데이트된 로컬 모델의 가중치 파라미터를 기반으로 상기 미리 학습된 글로벌 모델의 가중치 파라미터를 업데이트하는, 우울증 진단을 위한 인공지능 연합학습 시스템이 제공될 수 있다.On the other hand, according to another embodiment of the present invention, a global federated learning apparatus for pre-learning a global model using global learning data; and a local federated learning apparatus that pre-trains a local model based on the weight parameter of the pre-trained global model, and updates the weight parameter of the pre-trained local model using a feature vector extracted from pre-stored local training data. Including, wherein the global federated learning apparatus updates the weight parameter of the pre-trained global model based on the weight parameter of the updated local model, an artificial intelligence federated learning system for diagnosing depression may be provided.
상기 로컬 연합학습 장치는, 상기 업데이트된 글로벌 모델의 가중치 파라미터를 기반으로 상기 로컬 모델을 재학습할 수 있다.The local federated learning apparatus may re-learn the local model based on the weight parameter of the updated global model.
상기 글로벌 모델은, 서포트 벡터 머신(support vector machine, SVM), 컨벌루션 신경망(Convolutional Neural Networks, CNN) 및 순환 신경망(Recurrent neural network, RNN) 중에서 어느 하나의 신경망으로 구성될 수 있다.The global model may include any one neural network from a support vector machine (SVM), a convolutional neural network (CNN), and a recurrent neural network (RNN).
상기 로컬 모델은, 상기 글로벌 모델의 신경망과 동일한 신경망으로 구성될 수 있다.The local model may be configured with the same neural network as that of the global model.
상기 글로벌 모델은, 상기 글로벌 학습 데이터의 데이터 개수가 기설정된 데이터 개수 미만이면 서포트 벡터 머신으로 구성되고, 상기 글로벌 학습 데이터의 데이터 개수가 기설정된 데이터 개수 이상이면 컨벌루션 신경망 또는 순환 신경망의 마지막단에 완전 연결 계층(fully-connected layer)이 연결된 완전 연결 신경망(Fully-connected NN)으로 구성될 수 있다.The global model is composed of a support vector machine if the number of data of the global learning data is less than a preset number of data, and if the number of data of the global learning data is greater than or equal to the preset number of data, it is completely at the end of a convolutional neural network or a recurrent neural network. The fully-connected layer may be configured as a fully-connected neural network (NN).
상기 로컬 연합학습 장치는, 상기 기 저장된 로컬 학습 데이터가 이미지 데이터이면 컨벌루션 신경망을 이용하여 특징 벡터를 추출하거나, 상기 기 저장된 로컬 학습 데이터가 시계열 데이터이면 순환 신경망을 이용하여 특징 벡터를 추출할 수 있다.The local federated learning apparatus may extract a feature vector using a convolutional neural network if the pre-stored local learning data is image data, or extract a feature vector using a recurrent neural network if the pre-stored local learning data is time series data. .
상기 로컬 연합학습 장치는, 복수의 로컬 모델마다 개별적인 특징 벡터를 이용하여 상기 미리 학습된 로컬 모델의 가중치 파라미터를 각각 업데이트할 수 있다.The local federated learning apparatus may update each of the weight parameters of the pre-trained local model by using individual feature vectors for each of the plurality of local models.
상기 로컬 연합학습 장치는, 상기 추출된 특징 벡터를 기반으로 상기 미리 학습된 로컬 모델의 가중치 파라미터를 확률적 경사 하강법(Stochastic Gradient Descent)을 사용하여 업데이트할 수 있다.The local federated learning apparatus may update the weight parameter of the pre-trained local model based on the extracted feature vector using stochastic gradient descent.
상기 로컬 연합학습 장치는, 확률적 경사 하강법에서 로스(Loss)에 대한 경사(Gradient) 값만큼 가중치와 바이어스를 학습률(Learning rate)를 나타내는 스텝 사이즈(Step size)만큼 업데이트할 수 있다.The local federated learning apparatus may update weights and biases as much as a gradient value for a loss in the stochastic gradient descent method by a step size indicating a learning rate.
상기 글로벌 연합학습 장치는, 복수의 로컬 모델마다 상기 업데이트된 로컬 모델의 가중치 파라미터를 개별적으로 수신하고, 상기 개별적으로 수신된 복수의 로컬 모델의 가중치 파라미터를 통합하여 상기 미리 학습된 글로벌 모델의 가중치 파라미터를 업데이트할 수 있다.The global federated learning apparatus individually receives the weight parameters of the updated local model for each of the plurality of local models, and integrates the weight parameters of the individually received plurality of local models to obtain the weight parameters of the pre-trained global model. can be updated.
한편, 본 발명의 다른 실시예에 따르면, 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 방법을 실행하게 하는 명령어들을 저장하기 위한 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 방법은: 글로벌 학습 데이터를 이용하여 글로벌 모델을 미리 학습하는 단계; 상기 미리 학습된 글로벌 모델의 가중치 파라미터를 기반으로 로컬 모델을 미리 학습하는 단계; 기 저장된 로컬 학습 데이터로부터 추출된 특징 벡터를 이용하여 상기 미리 학습된 로컬 모델의 가중치 파라미터를 업데이트하는 단계; 및 상기 업데이트된 로컬 모델의 가중치 파라미터를 기반으로 상기 미리 학습된 글로벌 모델의 가중치 파라미터를 업데이트하는 단계를 포함하는, 비일시적 컴퓨터 판독 가능한 저장 매체가 제공될 수 있다.Meanwhile, according to another embodiment of the present invention, there is provided a non-transitory computer-readable storage medium for storing instructions that, when executed by a processor, cause the processor to execute a method, the method comprising: using global learning data pre-training the global model; pre-training a local model based on the weight parameters of the pre-trained global model; updating a weight parameter of the pre-trained local model using a feature vector extracted from pre-stored local training data; and updating the weight parameter of the pre-trained global model based on the updated weight parameter of the local model.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.The disclosed technology may have the following effects. However, this does not mean that a specific embodiment should include all of the following effects or only the following effects, so the scope of the disclosed technology should not be understood as being limited thereby.
본 발명의 실시예들은 각 기관에서 뇌파 데이터와 뇌영상(fMRI) 데이터를 활용하여 우울증을 정확하게 진단할 수 있다.Embodiments of the present invention can accurately diagnose depression by using brain wave data and brain imaging (fMRI) data in each institution.
또한, 본 발명의 실시예들은 각 기관이 이러한 데이터를 활용하여 각 기관 내의 인공지능 모델을 학습시키고, 학습시킨 인공지능 모델의 가중치를 활용하여 글로벌 인공지능 모델의 정확도를 향상시킬 수 있다.In addition, embodiments of the present invention allow each institution to learn an artificial intelligence model within each institution by using such data, and improve the accuracy of the global artificial intelligence model by using the weights of the learned artificial intelligence model.
또한, 본 발명의 실시예들은 환자의 개인 데이터를 각 기관이 개별적으로 관리함으로써 프라이버시 보호를 보장할 수 있다.In addition, embodiments of the present invention can ensure privacy protection by individually managing the patient's personal data by each institution.
도 1은 본 발명의 일 실시예에 따른 우울증 진단을 위한 인공지능 연합학습 시스템의 구성도이다.1 is a block diagram of an artificial intelligence joint learning system for diagnosing depression according to an embodiment of the present invention.
도 2는 본 발명의 일 실시예에 사용되는 뇌영상 이미지로부터의 특징 벡터 추출 과정을 나타낸 도면이다.2 is a diagram illustrating a process of extracting a feature vector from a brain image used in an embodiment of the present invention.
도 3은 본 발명의 일 실시예에 사용되는 CNN 모델의 구성을 나타낸 도면이다.3 is a diagram showing the configuration of a CNN model used in an embodiment of the present invention.
도 4는 본 발명의 일 실시예에 따른 뇌파 데이터로부터의 특징 벡터 추출 과정을 나타낸 도면이다.4 is a diagram illustrating a feature vector extraction process from EEG data according to an embodiment of the present invention.
도 5는 본 발명의 일 실시예에 따른 글로벌 모델의 학습 과정을 나타낸 도면이다.5 is a diagram illustrating a learning process of a global model according to an embodiment of the present invention.
도 6은 본 발명의 일 실시예에 따른 글로벌 모델의 가중치 파라미터를 전달하는 과정을 나타낸 도면이다.6 is a diagram illustrating a process of transmitting a weight parameter of a global model according to an embodiment of the present invention.
도 7은 본 발명의 일 실시예에 따른 로컬 모델의 업데이트 과정을 나타낸 도면이다.7 is a diagram illustrating an update process of a local model according to an embodiment of the present invention.
도 8은 본 발명의 일 실시예에 따른 로컬 모델의 가중치 파라미터를 전달하는 과정을 나타낸 도면이다.8 is a diagram illustrating a process of transmitting a weight parameter of a local model according to an embodiment of the present invention.
도 9 및 도 10은 본 발명의 일 실시예에 따른 학습 결과를 나타낸 도면이다.9 and 10 are diagrams showing a learning result according to an embodiment of the present invention.
본 발명은 다양한 변환을 가할 수 있고 여러가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 구체적으로 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 기술적 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해될 수 있다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.Since the present invention can apply various transformations and can have various embodiments, specific embodiments are illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the present invention to a specific embodiment, it can be understood to include all transformations, equivalents or substitutes included in the spirit and scope of the present invention. In describing the present invention, if it is determined that a detailed description of a related known technology may obscure the gist of the present invention, the detailed description thereof will be omitted.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들이 용어들에 의해 한정되는 것은 아니다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Terms such as first, second, etc. may be used to describe various elements, but the elements are not limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 본 발명에서 사용한 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나 이는 당 분야에 종사하는 기술자의 의도, 판례, 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다.The terms used in the present invention are only used to describe specific embodiments, and are not intended to limit the present invention. The terms used in the present invention have been selected as currently widely used general terms as possible while considering the functions in the present invention, but these may vary depending on the intention, precedent, or emergence of new technology of those of ordinary skill in the art. In addition, in a specific case, there is a term arbitrarily selected by the applicant, and in this case, the meaning will be described in detail in the description of the corresponding invention.
따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.Therefore, the term used in the present invention should be defined based on the meaning of the term and the overall content of the present invention, rather than the name of a simple term.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 발명에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하The singular expression includes the plural expression unless the context clearly dictates otherwise. In the present invention, terms such as "comprises" or "have" are intended to designate that the features, numbers, steps, operations, components, parts, or combinations thereof described in the specification exist, but one or more other features To exclude in advance the possibility of the existence or addition of figures, numbers, steps, operations, components, parts, or combinations thereof.
지 않는 것으로 이해되어야 한다.should be understood as not
이하, 본 발명의 실시예들을 첨부 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, and in the description with reference to the accompanying drawings, the same or corresponding components are given the same reference numerals, and the overlapping description thereof will be omitted. do.
도 1은 본 발명의 일 실시예에 따른 우울증 진단을 위한 인공지능 연합학습 시스템의 구성도이다.1 is a block diagram of an artificial intelligence joint learning system for diagnosing depression according to an embodiment of the present invention.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 우울증 진단을 위한 인공지능 연합학습 시스템(100)은 글로벌 연합학습 장치(120)와 복수의 로컬 연합학습 장치를 포함한다. 그러나 도시된 구성요소 모두가 필수 구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 인공지능 연합학습 시스템(100)이 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 인공지능 연합학습 시스템(100)이 구현될 수 있다.As shown in FIG. 1 , the artificial intelligence federated learning system 100 for diagnosing depression according to an embodiment of the present invention includes a global federated learning device 120 and a plurality of local federated learning devices. However, not all illustrated components are essential components. The artificial intelligence federated learning system 100 may be implemented by more components than the illustrated components, and the artificial intelligence federated learning system 100 may be implemented by fewer components than that.
본 발명의 일 실시예에 따른 인공지능 연합학습 시스템(100)은 뇌 영상(fMRI) 데이터와 뇌파 데이터를 활용한 우울증 진단을 목적으로 한다. 뇌 영상(fMRI) 데이터와 뇌파 데이터는 데이터의 크기가 크지만 관련 데이터의 개수가 많지 않아 정확도가 높은 우울증 진단 인공지능 모델을 구현하는 데 어려움이 있다.The artificial intelligence combined learning system 100 according to an embodiment of the present invention aims to diagnose depression using brain image (fMRI) data and EEG data. Although the size of brain imaging (fMRI) data and EEG data is large, the number of related data is not large, so it is difficult to implement an artificial intelligence model for diagnosing depression with high accuracy.
이를 해결하기 위해, 인공지능 연합학습 시스템(100)은 뇌 영상 데이터와 뇌파 데이터로부터 각각 CNN(Convolutional Neural Network) 모델과 RNN(Recurrent Neural Network) 모델로부터 특징 벡터를 뽑아내어 특징 벡터로부터 우울증 진단을 할 수 있다.To solve this, the artificial intelligence joint learning system 100 extracts feature vectors from a Convolutional Neural Network (CNN) model and a Recurrent Neural Network (RNN) model from brain image data and EEG data, respectively, to diagnose depression from the feature vectors. can
본 발명의 일 실시예는 뇌파 데이터와 뇌영상(fMRI) 데이터를 활용하여 CNN, RNN, 또는 SVM(Support Vector Machine) 등을 활용한 우울증 진단 인공 지능 모델을 학습시킬 수 있다.According to an embodiment of the present invention, an artificial intelligence model for diagnosing depression using CNN, RNN, or Support Vector Machine (SVM) may be trained by using brain wave data and fMRI data.
또한, 본 발명의 일 실시예는 글로벌 인공지능 모델을 이용하여 각 기관의 로컬 인공지능 모델의 가중치 파라미터를 수신 및 갱신할 수 있다.In addition, an embodiment of the present invention may receive and update a weight parameter of a local AI model of each institution using a global AI model.
또한, 본 발명의 일 실시예는 수신한 가중치 파라미터를 바탕으로 각 기관이 보유한 뇌파 데이터와 뇌영상(fMRI) 데이터를 활용하여 각 기관의 인공지능 모델의 가중치 파라미터를 갱신할 수 있다.Also, according to an embodiment of the present invention, based on the received weight parameters, the weight parameters of the artificial intelligence models of each institution may be updated by utilizing the brain wave data and fMRI data owned by each institution.
또한, 본 발명의 일 실시예는 각 기관의 로컬 인공지능 모델의 가중치 파라미터를 글로벌 인공지능 모델로 전송하여 글로벌 인공지능 모델의 가중치 파라미터를 갱신할 수 있다.Also, according to an embodiment of the present invention, the weight parameter of the global AI model may be updated by transmitting the weight parameter of the local AI model of each institution to the global AI model.
또한, 본 발명의 일 실시예는 갱신된 글로벌 인공지능 모델의 가중치 파라미터를 다시 여러 기관의 로컬 인공지능 모델로 전송될 수 있다.In addition, according to an embodiment of the present invention, the weight parameters of the updated global artificial intelligence model may be transmitted back to the local artificial intelligence models of various institutions.
일례로, 본 발명의 일 실시예에서는 머신 러닝(machine learning)기법 중에는 이진 분류(Binary classification)를 효과적으로 진행할 수 있는 서포트 벡터 머신(Support Vector Machine, SVM) 기법을 사용할 수 있다.For example, in an embodiment of the present invention, a support vector machine (SVM) technique capable of effectively performing binary classification may be used among machine learning techniques.
글로벌 연합학습 장치(120)는 글로벌 SVM 모델의 경우는 글로벌 학습 데이터를 사용하여 미리 학습(pre-trained)시킨다(S101).The global federated learning apparatus 120 pre-trains the global SVM model using global learning data (S101).
글로벌 연합학습 장치(120)는 글로벌 모델의 가중치를 업데이트한다(S102).The global federated learning apparatus 120 updates the weight of the global model (S102).
이후, 각 기관에 구현된 로컬 연합학습 장치 A, B, C(111, 112, 113)는 미리 학습된(pre-trained)된 글로벌 SVM 모델의 가중치 파라미터를 전달받는다(S103).Thereafter, the local federated learning devices A, B, and C (111, 112, 113) implemented in each institution receive the weight parameters of the pre-trained global SVM model (S103).
로컬 연합학습 장치 A, B, C(111, 112, 113)는 전달받은 가중치 파라미터를 기반으로 각 기관의 로컬 SVM 모델 학습을 시작한다(S104, S106, S108).The local federated learning devices A, B, and C (111, 112, 113) start learning the local SVM model of each institution based on the received weight parameter (S104, S106, S108).
로컬 연합학습 장치 A, B, C(111, 112, 113)는 각 기관이 보유한 데이터를 모든 기관이 공통으로 사용하는 3D CNN 모델에 넣어 특징 벡터를 뽑아내고 이를 사용하여 로컬 모델의 가중치 파라미터를 확률적 경사 하강(Stochastic gradient descent) 방법을 사용하여 업데이트한다(S105, S107, S109).Local federated learning devices A, B, and C (111, 112, 113) put the data owned by each institution into a 3D CNN model commonly used by all institutions to extract feature vectors, and then use this to determine the weight parameters of the local model as a probability. It is updated using the stochastic gradient descent method (S105, S107, S109).
로컬 연합학습 장치 A, B, C(111, 112, 113)는 각 기관의 로컬 모델 학습이 모두 완료되면 학습된 각 기관의 로컬 SVM 모델 가중치를 다시 글로벌 SVM모델로 전달한다(S110, S111, S112).The local federated learning devices A, B, and C (111, 112, 113) transfer the local SVM model weights of each institution learned to the global SVM model again when the local model learning of each institution is completed (S110, S111, S112) ).
글로벌 연합학습 장치(120)는 각 기관으로부터 전달받은 가중치의 산술 평균(arithmetic average) 값 혹은 가중 평균(weighted average) 값으로 글로벌 SVM 모델의 가중치를 업데이트하여 정확도가 높은 글로벌 SVM 모델을 만들어낸다(S113).The global federated learning apparatus 120 updates the weights of the global SVM model with an arithmetic average value or a weighted average value of the weights received from each institution to create a high-accuracy global SVM model (S113) ).
한편, 본 발명의 일 실시예에 따른 인공지능 연합학습 시스템(100)은 비슷한 방법을 활용하여 뇌파 데이터를 활용한 연합학습도 진행하여 우울증 진단의 정확도를 향상시킬 수 있다.On the other hand, the artificial intelligence combined learning system 100 according to an embodiment of the present invention may improve the accuracy of diagnosis of depression by performing joint learning using EEG data using a similar method.
이하, 도 1의 본 발명의 일 실시예에 따른 인공지능 연합학습 시스템(100)의 각 구성요소들의 구체적인 구성 및 동작을 설명한다.Hereinafter, a detailed configuration and operation of each component of the artificial intelligence federated learning system 100 according to an embodiment of the present invention of FIG. 1 will be described.
글로벌 연합학습 장치(120)는 글로벌 학습 데이터를 이용하여 글로벌 모델을 미리 학습한다.The global federated learning apparatus 120 learns the global model in advance by using the global learning data.
로컬 연합학습 장치는 글로벌 연합학습 장치(120)에서 미리 학습된 글로벌 모델의 가중치 파라미터를 기반으로 로컬 모델을 미리 학습하고, 기 저장된 로컬 학습 데이터로부터 추출된 특징 벡터를 이용하여 미리 학습된 로컬 모델의 가중치 파라미터를 업데이트한다.The local federated learning device pre-learns a local model based on the weight parameters of the global model trained in advance in the global federated learning device 120, and uses a feature vector extracted from pre-stored local training data of the pre-trained local model. Update the weight parameter.
글로벌 연합학습 장치(110)는 업데이트된 로컬 모델의 가중치 파라미터를 기반으로 미리 학습된 글로벌 모델의 가중치 파라미터를 업데이트한다.The global federated learning apparatus 110 updates the weight parameter of the pre-trained global model based on the updated weight parameter of the local model.
실시예들에 따르면, 로컬 연합학습 장치는 업데이트된 글로벌 모델의 가중치 파라미터를 기반으로 상기 로컬 모델을 재학습할 수 있다.According to embodiments, the local federated learning apparatus may relearn the local model based on the updated weight parameter of the global model.
실시예들에 따르면, 글로벌 모델은 서포트 벡터 머신(support vector machine, SVM), 컨벌루션 신경망(Convolutional Neural Networks, CNN) 및 순환 신경망(Recurrent neural network, RNN) 중에서 어느 하나의 신경망으로 구성될 수 있다.According to embodiments, the global model may be composed of any one neural network among a support vector machine (SVM), a convolutional neural network (CNN), and a recurrent neural network (RNN).
실시예들에 따르면, 로컬 모델은 글로벌 모델의 신경망과 동일한 신경망으로 구성될 수 있다.According to embodiments, the local model may be configured with the same neural network as that of the global model.
실시예들에 따르면, 글로벌 모델은 글로벌 학습 데이터의 데이터 개수가 기설정된 데이터 개수 미만이면 서포트 벡터 머신으로 구성되고, 글로벌 학습 데이터의 데이터 개수가 기설정된 데이터 개수 이상이면 컨벌루션 신경망 또는 순환 신경망의 마지막단에 완전 연결 계층(fully-connected layer)이 연결된 완전 연결 신경망(Fully-connected NN)으로 구성될 수 있다.According to embodiments, the global model is configured as a support vector machine when the number of data of the global training data is less than the preset number of data, and when the number of data of the global learning data is greater than or equal to the preset number of data, the last stage of the convolutional neural network or the recurrent neural network It may be composed of a fully-connected neural network (NN) with a fully-connected layer connected to .
본 발명의 일 실시예에서는 현재 보유하고 있는 의료 데이터 개수가 적은 경우, 특징 벡터를 뽑아 SVM을 글로벌 모델과 로컬 모델로 사용할 수 있다.In an embodiment of the present invention, when the number of medical data currently possessed is small, the SVM may be used as a global model and a local model by extracting a feature vector.
SVM은 학습 데이터가 적은 경우에 분류 성공율이 높기 때문이다.This is because SVM has a high classification success rate when there is little training data.
또한, 본 발명의 다른 실시예에서는 의료 데이터를 충분히 가지고 있는 경우에는 CNN이나 RNN 마지막 단에 완전 연결 계층(fully-connected layer)을 부착하여 SVM 대신에 이 부분을 글로벌 모델과 로컬 모델로 사용할 수 있다. In addition, in another embodiment of the present invention, if there is enough medical data, a fully-connected layer is attached to the last stage of a CNN or RNN, and this part can be used as a global model and a local model instead of SVM. .
완전 연결 계층은 대량의 파라미터가 들어가서 적은 데이터 개수로는 학습이 불가능하다. 따라서, 본 발명의 다른 실시예에서는 데이터의 형식보다는 충분한 양의 데이터를 보유하면 SVM 대신 완전 연결 계층을 사용할 수 있다.A fully connected layer contains a large number of parameters, so it is impossible to learn with a small number of data. Accordingly, in another embodiment of the present invention, if a sufficient amount of data is retained rather than the format of the data, a fully connected layer may be used instead of the SVM.
본 발명의 일 실시예에서 앞 단의　CNN과 RNN 등은 의료 데이터의 형식(뇌영상 이미지 같은 경우 3D-CNN을 사용, 뇌파 데이터는 시계열 데이터이므로 RNN 등을 사용)에 따라 달라질 수 있다. In an embodiment of the present invention, the CNN and RNN in the preceding stage may vary depending on the format of the medical data (3D-CNN is used in the case of a brain image image, and RNN is used because EEG data is time series data).
본 발명의 일 실시예에서 CNN이나 RNN 등을 통해 뽑아진 특징(feature)을 분류(classification)할 때, 글로벌 모델이나 로컬 모델의 분류기 모델을 SVM을 사용할 것인지 완전 연결 신경망(Fully-connected CNN)을 사용할 것인지는 데이터의 양에 따라 달라질 수 있다.In an embodiment of the present invention, when classifying a feature extracted through CNN or RNN, whether to use SVM as a global model or a local model classifier model, a fully-connected neural network (CNN) is selected. Whether to use it may depend on the amount of data.
한편, 실시예들에 따르면, 로컬 연합학습 장치는 기 저장된 로컬 학습 데이터가 이미지 데이터이면 컨벌루션 신경망을 이용하여 특징 벡터를 추출하거나, 기 저장된 로컬 학습 데이터가 시계열 데이터이면 순환 신경망을 이용하여 특징 벡터를 추출할 수 있다.On the other hand, according to embodiments, the local federated learning apparatus extracts a feature vector using a convolutional neural network if the pre-stored local learning data is image data, or uses a recurrent neural network if the pre-stored local learning data is time series data. can be extracted.
실시예들에 따르면, 로컬 연합학습 장치는 복수의 로컬 모델마다 개별적인 특징 벡터를 이용하여 상기 미리 학습된 로컬 모델의 가중치 파라미터를 각각 업데이트할 수 있다.According to embodiments, the local federated learning apparatus may update each of the weight parameters of the pre-trained local model by using individual feature vectors for each of the plurality of local models.
실시예들에 따르면, 로컬 연합학습 장치는 추출된 특징 벡터를 기반으로 상기 미리 학습된 로컬 모델의 가중치 파라미터를 확률적 경사 하강법(Stochastic Gradient Descent)을 사용하여 업데이트할 수 있다.According to embodiments, the local federated learning apparatus may update the weight parameter of the pre-trained local model based on the extracted feature vector using stochastic gradient descent.
실시예들에 따르면, 로컬 연합학습 장치는 확률적 경사 하강법에서 로스(Loss)에 대한 경사(Gradient) 값만큼 가중치와 바이어스를 학습률(Learningrate)를 나타내는 스텝 사이즈(Step size)만큼 업데이트할 수 있다.According to embodiments, the local federated learning apparatus may update the weight and bias as much as the gradient value for the loss in the stochastic gradient descent method by the step size indicating the learning rate. .
확률적 경사 하강법을 구체적으로 살펴보면, 해당 SVM의 가중치를 w, 바이어스(bias)를 b, 특징 벡터를 x, 특징 라벨(feature label)을 y값이라 하기로 한다. Specifically, the stochastic gradient descent method will be referred to as w, the bias as b, the feature vector as x, and the feature label as y.
클래스(class)가 1(+)인 경우 (wx-b)를 1보다 크도록 클래스가 -1(-)인 경우　(wx-b)를 -1보다 작도록 만들도록 하기 위해서는, y(wx-b)를 1보다 크도록 학습시키면 되므로 1-y(wx-b)<0　이 되도록 학습시키면 된다.　In order to make (wx-b) greater than 1 when class is 1(+) so that (wx-b) is less than -1 when class is -1(-), y(wx-b) is Since b) can be learned to be greater than 1, it can be learned so that 1-y(wx-b)<0　.
따라서, 확률적 경사 하강법은 1-y(wx-b)>0　인 경우에 학습시키도록하며 1-y(wx-b)의 제곱 값을 로스(Loss) 값으로 설정한다. Therefore, the stochastic gradient descent method is taught when 1-y(wx-b)>0　, and the square value of 1-y(wx-b) is set as a Loss value.
이후, 확률적 경사 하강법은 로스에 대한 경사(gradient) 값만큼 w와 b를 학습률을 나타내는 스텝 사이즈(step_size(learning rate))만큼 업데이트 하는 방법이다.Thereafter, the stochastic gradient descent method is a method of updating w and b by the step size (step_size (learning rate)) indicating the learning rate by the gradient value for the loss.
실시예들에 따르면, 글로벌 연합학습 장치(120)는 복수의 로컬 모델마다 업데이트된 로컬 모델의 가중치 파라미터를 개별적으로 수신하고, 개별적으로 수신된 복수의 로컬 모델의 가중치 파라미터를 통합하여 미리 학습된 글로벌 모델의 가중치 파라미터를 업데이트할 수 있다.According to embodiments, the global federated learning apparatus 120 individually receives the weight parameters of the local models updated for each of the plurality of local models, and integrates the weight parameters of the individually received plurality of local models to obtain a pre-trained global You can update the weight parameters of the model.
도 2는 본 발명의 일 실시예에 사용되는 뇌영상 이미지로부터의 특징 벡터 추출 과정을 나타낸 도면이다.2 is a diagram illustrating a process of extracting a feature vector from a brain image used in an embodiment of the present invention.
본 발명의 일 실시예는 뇌영상 이미지(fMRI image)를 컨볼루션 신경망(convolution neural network)을 거쳐 특징 벡터(feature vector)를 추출(extraction)한다.An embodiment of the present invention extracts a feature vector from a brain image (fMRI image) through a convolutional neural network.
도 3은 본 발명의 일 실시예에 사용되는 CNN 모델의 구성을 나타낸 도면이다.3 is a diagram showing the configuration of a CNN model used in an embodiment of the present invention.
뇌 영상(fMRI) 데이터는 3D 이미지 형태의 데이터이다. 뇌 영상(fMRI) 데이터의 특징 벡터의 추출(feature extraction)을 위해 뇌영상(fMRI) 데이터로 미리 학습된(pre-trained)된 3D CNN(Convolutional Neural Network) 모델을 사용하며 자세한 모델 구성은 도 3과 같다.Brain imaging (fMRI) data is data in the form of a 3D image. A 3D Convolutional Neural Network (CNN) model pre-trained with fMRI data is used for feature extraction of fMRI data, and the detailed model configuration is shown in FIG. 3 same as
3D CNN 모델의 마지막 컨볼루션 계층(conv_layer) 결과값을 사용하며 128개의 특징으로 구성된 특징 벡터를 추출한다. 이 3D CNN 모델은 모든 기관에서 공통적으로 사용할 수 있도록 한다.Using the final convolution layer (conv_layer) result of the 3D CNN model, a feature vector consisting of 128 features is extracted. This 3D CNN model makes it common to all institutions.
도 4는 본 발명의 일 실시예에 따른 뇌파 데이터로부터의 특징 벡터 추출 과정을 나타낸 도면이다.4 is a diagram illustrating a feature vector extraction process from EEG data according to an embodiment of the present invention.
본 발명의 일 실시예는 뇌파 데이터를 순환 신경망(Recurrent neural network)을 거쳐 특징 벡터(feature vector)를 추출(extraction)한다.An embodiment of the present invention extracts the EEG data through a recurrent neural network to extract a feature vector.
도 5는 본 발명의 일 실시예에 따른 글로벌 모델의 학습 과정을 나타낸 도면이다.5 is a diagram illustrating a learning process of a global model according to an embodiment of the present invention.
본 발명의 일 실시예는 글로벌 학습 데이터(global training data)를 통해 해당 특징 벡터(feature vector)를 얻어내고, 특징 벡터를 기반으로 글로벌 서포트 벡터 머신 모델(Global Support Vector Machine model)을 학습한다.An embodiment of the present invention obtains a corresponding feature vector through global training data, and learns a global support vector machine model based on the feature vector.
도 6은 본 발명의 일 실시예에 따른 글로벌 모델의 가중치 파라미터를 전달하는 과정을 나타낸 도면이다. 본 발명의 일 실시예는 각 로컬 서포트 벡터 머신 모델(Local SVM model)에 미리 학습된(pre-trained)된 글로벌 모델(Global model)의 가중치 파라미터 즉, 가중치 및 바이어스(weight & bias)를 전달한다.6 is a diagram illustrating a process of transmitting a weight parameter of a global model according to an embodiment of the present invention. An embodiment of the present invention transmits weight parameters of a pre-trained global model, that is, weight & bias, to each local support vector machine model (Local SVM model). .
도 7은 본 발명의 일 실시예에 따른 로컬 모델의 업데이트 과정을 나타낸 도면이다.7 is a diagram illustrating an update process of a local model according to an embodiment of the present invention.
본 발명의 일 실시예에서는 각 로컬 연합학습 장치가 보유한 로컬 학습 데이터(Local training data)로부터의 특징 벡터로 글로벌 모델(global model)로부터 받아온 미리 학습(pre-trained)된 가중치 파라미터(weight parameter)를 업데이트한다. In an embodiment of the present invention, a pre-trained weight parameter received from a global model as a feature vector from local training data possessed by each local federated learning device is used. update
이때, 본 발명의 일 실시예에서는 확률적 경사 하강(Stochastic Gradient Descent) 방법을 사용해 로컬 모델(Local model)의 가중치 파라미터(weight parameter)를 업데이트(update)한다.In this case, in an embodiment of the present invention, a weight parameter of a local model is updated using a stochastic gradient descent method.
도 8은 본 발명의 일 실시예에 따른 로컬 모델의 가중치 파라미터를 전달하는 과정을 나타낸 도면이다.8 is a diagram illustrating a process of transmitting a weight parameter of a local model according to an embodiment of the present invention.
본 발명의 일 실시예는 각 로컬 연합학습 장치에서 학습한 로컬 서포트 벡터 머신 모델(Local SVM model)의 가중치 파라미터를 글로벌 모델(Global model)로 전달한다.An embodiment of the present invention transfers the weight parameters of the local support vector machine model (Local SVM model) learned by each local federated learning apparatus to the global model (Global model).
여기서, 글로벌 서포트 벡터 머신 모델에서의 가중치 파라미터의 업데이트 방식은 산술 평균 또는 가중 평균 방법을 사용하여 업데이트할 수 있다.Here, the update method of the weight parameter in the global support vector machine model may be updated using an arithmetic average or a weighted average method.
도 9 및 도 10은 본 발명의 일 실시예에 따른 학습 결과를 나타낸 도면이다.9 and 10 are diagrams showing a learning result according to an embodiment of the present invention.
도 9 및 도 10에 도시된 바와 같이, 학습 데이터의 개수에 따른 연합학습 학습 결과가 향상되었다. 이를 구체적으로 설명하기로 한다.As shown in FIGS. 9 and 10 , the combined learning result was improved according to the number of learning data. This will be described in detail.
본 발명의 일 실시예에 따른 실험은 뇌영상(fMRI) 데이터를 사용하여 진행하였다. 뇌영상(fMRI) 데이터를 미리 학습된(pre-trained) 3D CNN 모델에 넣어 3D 이미지의 특징 벡터를 뽑아내며, 특징 벡터는 3D CNN 모델의 마지막 컨볼루션 계층(Convolution layer) 값을 사용하였다. 뽑아낸 특징 벡터를 머신 러닝(machine learning) 기법에 적용하여 우울증을 진단하도록 하였으며 해당 실험에서는 머신 러닝 기법 중 선형 SVM(linear SVM(Support Vector Machine))을 사용하였다.An experiment according to an embodiment of the present invention was conducted using brain imaging (fMRI) data. Brain image (fMRI) data is put into a pre-trained 3D CNN model to extract a feature vector of the 3D image, and the last convolution layer value of the 3D CNN model was used for the feature vector. Depression was diagnosed by applying the extracted feature vector to a machine learning technique. In this experiment, a linear support vector machine (SVM) was used among the machine learning techniques.
SVM 모델의 연합학습 방법은 다음과 같다. 글로벌 학습 데이터 세트를 사용하여 글로벌 SVM 모델의 학습을 진행한 후, 모델 A, 모델 B, 모델 C로 글로벌 SVM 모델의 가중치와 바이어스 값을 전달한다. 모델 A, 모델 B, 모델 C는 전달받은 SVM 가중치와 바이어스를 기반으로 각 모델이 사용할 수 있는 데이터를 활용하여 각 모델을 학습시킨다. SVM을 학습시키는 방법으로는 확률적 경사 하강법(stochastic gradient descent method)을 사용한다.The federated learning method of the SVM model is as follows. After training the global SVM model using the global training data set, the weights and bias values of the global SVM model are transferred to Model A, Model B, and Model C. Model A, model B, and model C train each model using the data available to each model based on the received SVM weights and biases. The stochastic gradient descent method is used as a method for learning the SVM.
각 모델에서 학습이 완료되면 글로벌 SVM 모델은 각 모델로부터 가중치와 바이어스 값을 전달받아 글로벌 SVM 모델의 가중치와 바이어스를 업데이트한다. 업데이트 방법은 각 모델의 가중치와 바이어스 값들의 산술 평균(Arithemetic average) 값 또는 학습 데이터 개수에 따른 가중 평균(weighted average) 값을 사용하였다.When training in each model is completed, the global SVM model receives weights and bias values from each model and updates the weights and biases of the global SVM model. For the update method, an arithmetic average value of the weight and bias values of each model or a weighted average value according to the number of training data was used.
확률적 경사 하강법(stochastic gradient descent method)에서 사용한 학습 에포크(training epoch)는 10, 스텝 사이즈(step size)는 10e-3로 설정하였으며 학습 데이터 세트의 크기에 따른 SVM 모델에 대한 연합학습 결과값은 다음과 같다.The training epoch used in the stochastic gradient descent method was set to 10, and the step size was set to 10e-3, and the federated learning results for the SVM model according to the size of the training data set. Is as follows.
연합학습 이후 초기 글로벌 학습 데이터 개수가 9개일 때 정확도(accuracy) 12.2% 향상, 초기 글로벌 학습 데이터 개수가 14개일 때 정확도(accuracy) 6.8%가 향상된 것을 확인할 수 있다. 산술 평균과 가중 평균 방법 모두 정확도(accuracy)는 향상되었다. 산술 평균(arithmetic average) 방법이 학습 데이터 개수에 따른 가중 평균(weighted average) 방법보다 더 좋은 결과를 보여주었다.After federated learning, it can be seen that when the number of initial global learning data is 9, accuracy is improved by 12.2%, and when the number of initial global learning data is 14, accuracy is improved by 6.8%. Both the arithmetic mean and weighted mean methods improved accuracy. The arithmetic average method showed better results than the weighted average method according to the number of training data.
한편, 본 발명의 일 실시예에서는 연합학습을 머신 러닝(Machine learning) 기법에 적용함으로써 각 기관이 보유하고 있는 환자의 개인정보 데이터는 직접 사용하지 않고 각 모델의 가중치 값만을 사용하여 글로벌 분류(classification) 모델의 정확도를 향상시켰다. On the other hand, in an embodiment of the present invention, by applying federated learning to a machine learning technique, the patient's personal information data held by each institution is not directly used, but only the weight value of each model is used for global classification (classification). ) to improve the accuracy of the model.
따라서 환자 개인정보 데이터를 공유하지 않아 개인정보 유출의 위험성을 줄일 수 있으며, 우울증 진단 모델의 정확도는 크게 향상시킬 수 있어 우울증 진단 분야에 유용하게 사용할 수 있을 것이다.Therefore, the risk of personal information leakage can be reduced by not sharing patient personal information data, and the accuracy of the depression diagnosis model can be greatly improved, which will be useful in the field of depression diagnosis.
한편, 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 방법을 실행하게 하는 명령어들을 저장하기 위한 비일시적 컴퓨터 판독가능 저장매체로서, 상기 방법은: 글로벌 학습 데이터를 이용하여 글로벌 모델을 미리 학습하는 단계; 상기 미리 학습된 글로벌 모델의 가중치 파라미터를 기반으로 로컬 모델을 미리 학습하는 단계; 기 저장된 로컬 학습 데이터로부터 추출된 특징 벡터를 이용하여 상기 미리 학습된 로컬 모델의 가중치 파라미터를 업데이트하는 단계; 및 상기 업데이트된 로컬 모델의 가중치 파라미터를 기반으로 상기 미리 학습된 글로벌 모델의 가중치 파라미터를 업데이트하는 단계를 포함하는, 비일시적 컴퓨터 판독 가능한 저장 매체가 제공될 수 있다.Meanwhile, a non-transitory computer-readable storage medium for storing instructions that, when executed by a processor, cause the processor to execute a method, the method comprising: pre-training a global model using global training data; pre-training a local model based on the weight parameters of the pre-trained global model; updating a weight parameter of the pre-trained local model using a feature vector extracted from pre-stored local training data; and updating the weight parameter of the pre-trained global model based on the updated weight parameter of the local model.
한편, 본 발명의 일 실시예에 따르면, 이상에서 설명된 다양한 실시예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다.Meanwhile, according to an embodiment of the present invention, the various embodiments described above are implemented as software including instructions stored in a machine-readable storage media readable by a machine (eg, a computer). can be
기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시예들에 따른 전자 장치(예: 전자 장치(A))를 포함할 수 있다. 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령에 해당하는 기능을 수행할 수 있다.The device is a device capable of calling a stored command from a storage medium and operating according to the called command, and may include an electronic device (eg, the electronic device A) according to the disclosed embodiments. When the instruction is executed by the processor, the processor may perform a function corresponding to the instruction by using other components directly or under the control of the processor.
명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.Instructions may include code generated or executed by a compiler or interpreter. The device-readable storage medium may be provided in the form of a non-transitory storage medium. Here, 'non-transitory' means that the storage medium does not include a signal and is tangible, and does not distinguish that data is semi-permanently or temporarily stored in the storage medium.
또한, 본 발명의 일 실시예에 따르면, 이상에서 설명된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.In addition, according to an embodiment of the present invention, the methods according to the various embodiments described above may be provided by being included in a computer program product. Computer program products may be traded between sellers and buyers as commodities. The computer program product may be distributed in the form of a device-readable storage medium (eg, compact disc read only memory (CD-ROM)) or online through an application store (eg, PlayStore™). In the case of online distribution, at least a portion of the computer program product may be temporarily stored or temporarily generated in a storage medium such as a memory of a server of a manufacturer, a server of an application store, or a relay server.
또한, 본 발명의 일 실시예에 따르면, 이상에서 설명된 다양한 실시예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 일부 경우에 있어 본 명세서에서 설명되는 실시예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 동작을 수행할 수 있다.In addition, according to an embodiment of the present invention, the various embodiments described above are stored in a recording medium readable by a computer or a similar device using software, hardware, or a combination thereof. can be implemented in In some cases, the embodiments described herein may be implemented by the processor itself. According to the software implementation, embodiments such as the procedures and functions described in this specification may be implemented as separate software modules. Each of the software modules may perform one or more functions and operations described herein.
한편, 상술한 다양한 실시예들에 따른 기기의 프로세싱 동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium)에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 특정 기기의 프로세서에 의해 실행되었을 때 상술한 다양한 실시예에 따른 기기에서의 처리 동작을 특정 기기가 수행하도록 한다. 비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.Meanwhile, computer instructions for performing the processing operation of the device according to the above-described various embodiments may be stored in a non-transitory computer-readable medium. The computer instructions stored in the non-transitory computer-readable medium, when executed by the processor of the specific device, cause the specific device to perform the processing operation in the device according to the various embodiments described above. The non-transitory computer-readable medium refers to a medium that stores data semi-permanently, not a medium that stores data for a short moment, such as a register, cache, memory, etc., and can be read by a device. Specific examples of the non-transitory computer-readable medium may include a CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM, and the like.
또한, 상술한 다양한 실시예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.In addition, each of the components (eg, a module or a program) according to the above-described various embodiments may be composed of a single or a plurality of entities, and some sub-components of the above-described corresponding sub-components may be omitted, or other Sub-components may be further included in various embodiments. Alternatively or additionally, some components (eg, a module or a program) may be integrated into a single entity to perform the same or similar functions performed by each corresponding component prior to integration. According to various embodiments, operations performed by a module, program, or other component are sequentially, parallel, repetitively or heuristically executed, or at least some operations are executed in a different order, are omitted, or other operations are added. can be
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해 되서는 안될 것이다.In the above, preferred embodiments of the present invention have been illustrated and described, but the present invention is not limited to the specific embodiments described above, and is commonly used in the technical field pertaining to the present disclosure without departing from the gist of the present invention as claimed in the claims. Various modifications may be made by those having the knowledge of, of course, and these modifications should not be individually understood from the technical spirit or perspective of the present invention.

Claims (20)

  1. 인공지능 연합학습 장치에 의해 수행되는 인공지능 연합학습 방법에 있어서,In the artificial intelligence joint learning method performed by the artificial intelligence joint learning device,
    글로벌 학습 데이터를 이용하여 글로벌 모델을 미리 학습하는 단계;pre-training a global model using global learning data;
    상기 미리 학습된 글로벌 모델의 가중치 파라미터를 기반으로 로컬 모델을 미리 학습하는 단계;pre-training a local model based on the weight parameters of the pre-trained global model;
    기 저장된 로컬 학습 데이터로부터 추출된 특징 벡터를 이용하여 상기 미리 학습된 로컬 모델의 가중치 파라미터를 업데이트하는 단계; 및updating a weight parameter of the pre-trained local model using a feature vector extracted from pre-stored local training data; and
    상기 업데이트된 로컬 모델의 가중치 파라미터를 기반으로 상기 미리 학습된 글로벌 모델의 가중치 파라미터를 업데이트하는 단계를 포함하는, 우울증 진단을 위한 인공지능 연합학습 방법.An artificial intelligence joint learning method for diagnosing depression, comprising the step of updating a weight parameter of the pre-trained global model based on the weight parameter of the updated local model.
  2. 제1항에 있어서,According to claim 1,
    상기 업데이트된 글로벌 모델의 가중치 파라미터를 기반으로 상기 로컬 모델을 재학습하는 단계를 더 포함하는, 우울증 진단을 위한 인공지능 연합학습 방법.The artificial intelligence joint learning method for diagnosing depression further comprising the step of re-learning the local model based on the weight parameter of the updated global model.
  3. 제1항에 있어서,According to claim 1,
    상기 글로벌 모델은,The global model is
    서포트 벡터 머신(support vector machine, SVM), 컨벌루션 신경망 (Convolutional Neural Networks, CNN) 및 순환 신경망(Recurrent neural network, RNN) 중에서 어느 하나의 신경망으로 구성되는, 우울증 진단을 위한 인공지능 연합학습 방법.A support vector machine (SVM), a convolutional neural network (CNN), and a recurrent neural network (RNN) consisting of any one neural network, an artificial intelligence federated learning method for diagnosing depression.
  4. 제3항에 있어서,4. The method of claim 3,
    상기 로컬 모델은,The local model is
    상기 글로벌 모델의 신경망과 동일한 신경망으로 구성되는, 우울증 진단을 위한 인공지능 연합학습 방법.An artificial intelligence joint learning method for diagnosing depression, which is composed of the same neural network as the neural network of the global model.
  5. 제3항에 있어서,4. The method of claim 3,
    상기 글로벌 모델은,The global model is
    상기 글로벌 학습 데이터의 데이터 개수가 기설정된 데이터 개수 미만이면, 서포트 벡터 머신으로 구성되고, If the number of data of the global learning data is less than a preset number of data, it is configured as a support vector machine,
    상기 글로벌 학습 데이터의 데이터 개수가 기설정된 데이터 개수 이상이면, 컨벌루션 신경망 또는 순환 신경망의 마지막단에 완전 연결 계층(fully-connected layer)이 연결된 완전 연결 신경망(Fully-connected NN)으로 구성되는, 우울증 진단을 위한 인공지능 연합학습 방법.If the number of data of the global learning data is greater than or equal to the preset number of data, it is composed of a fully-connected neural network (fully-connected NN) in which a fully-connected layer is connected to the last end of a convolutional neural network or a recurrent neural network, depression diagnosis Artificial intelligence federated learning method for
  6. 제1항에 있어서,According to claim 1,
    상기 로컬 모델의 가중치 파라미터를 업데이트하는 단계는,Updating the weight parameter of the local model includes:
    상기 기 저장된 로컬 학습 데이터가 뇌영상 이미지 데이터이면 컨벌루션 신경망을 이용하여 특징 벡터를 추출하거나, 상기 기 저장된 로컬 학습 데이터가 시계열 데이터이면 순환 신경망을 이용하여 특징 벡터를 추출하는, 우울증 진단을 위한 인공지능 연합학습 방법.Artificial intelligence for diagnosing depression, extracting a feature vector using a convolutional neural network if the pre-stored local learning data is brain image data, or extracting a feature vector using a recurrent neural network if the pre-stored local learning data is time series data Coalition Learning Method.
  7. 제1항에 있어서,The method of claim 1,
    상기 로컬 모델의 가중치 파라미터를 업데이트하는 단계는,Updating the weight parameter of the local model includes:
    복수의 로컬 모델마다 개별적인 특징 벡터를 이용하여 상기 미리 학습된 로컬 모델의 가중치 파라미터를 각각 업데이트하는, 우울증 진단을 위한 인공지능 연합학습 방법.An artificial intelligence joint learning method for diagnosing depression, wherein each of the weight parameters of the pre-trained local model is updated using individual feature vectors for each of the plurality of local models.
  8. 제1항에 있어서,The method of claim 1,
    상기 로컬 모델의 가중치 파라미터를 업데이트하는 단계는,Updating the weight parameter of the local model includes:
    상기 추출된 특징 벡터를 기반으로 상기 미리 학습된 로컬 모델의 가중치 파라미터를 확률적 경사 하강법(Stochastic Gradient Descent)을 사용하여 업데이트하는, 우울증 진단을 위한 인공지능 연합학습 방법.An artificial intelligence joint learning method for diagnosing depression, for updating the weight parameters of the pre-trained local model based on the extracted feature vector using stochastic gradient descent.
  9. 제8항에 있어서,9. The method of claim 8,
    상기 로컬 모델의 가중치 파라미터를 업데이트하는 단계는,Updating the weight parameter of the local model includes:
    확률적 경사 하강법에서 로스(Loss)에 대한 경사(Gradient) 값만큼 가중치와 바이어스를 학습률(Learning rate)를 나타내는 스텝 사이즈(Step size)만큼 업데이트하는, 우울증 진단을 위한 인공지능 연합학습 방법.An artificial intelligence federated learning method for diagnosing depression, in which the weight and bias are updated as much as the gradient value for the loss in the stochastic gradient descent method by the step size indicating the learning rate.
  10. 제1항에 있어서,According to claim 1,
    상기 글로벌 모델의 가중치 파라미터를 업데이트하는 단계는,Updating the weight parameter of the global model comprises:
    복수의 로컬 모델마다 상기 업데이트된 로컬 모델의 가중치 파라미터를 개별적으로 수신하고, 상기 개별적으로 수신된 복수의 로컬 모델의 가중치 파라미터를 통합하여 상기 미리 학습된 글로벌 모델의 가중치 파라미터를 업데이트하는, 우울증 진단을 위한 인공지능 연합학습 방법.Depression diagnosis, which individually receives the weight parameters of the updated local models for each of the plurality of local models, and updates the weight parameters of the pre-trained global model by integrating the weight parameters of the individually received plurality of local models artificial intelligence federated learning method for
  11. 글로벌 학습 데이터를 이용하여 글로벌 모델을 미리 학습하는 글로벌 연합학습 장치; 및a global federated learning device that pre-trains a global model using global learning data; and
    상기 미리 학습된 글로벌 모델의 가중치 파라미터를 기반으로 로컬 모델을 미리 학습하고, 기 저장된 로컬 학습 데이터로부터 추출된 특징 벡터를 이용하여 상기 미리 학습된 로컬 모델의 가중치 파라미터를 업데이트하는 로컬 연합학습 장치를 포함하고,A local federated learning apparatus that pre-trains a local model based on the weight parameter of the pre-trained global model, and updates the weight parameter of the pre-trained local model using a feature vector extracted from pre-stored local training data do,
    상기 글로벌 연합학습 장치는, 상기 업데이트된 로컬 모델의 가중치 파라미터를 기반으로 상기 미리 학습된 글로벌 모델의 가중치 파라미터를 업데이트하는, 우울증 진단을 위한 인공지능 연합학습 시스템.The global federated learning apparatus is an artificial intelligence federated learning system for diagnosing depression that updates the weight parameter of the pre-trained global model based on the weight parameter of the updated local model.
  12. 제11항에 있어서,12. The method of claim 11,
    상기 로컬 연합학습 장치는,The local federated learning device,
    상기 업데이트된 글로벌 모델의 가중치 파라미터를 기반으로 상기 로컬 모델을 재학습하는, 우울증 진단을 위한 인공지능 연합학습 시스템.An artificial intelligence joint learning system for diagnosing depression, which re-learns the local model based on the weight parameters of the updated global model.
  13. 제11항에 있어서,12. The method of claim 11,
    상기 글로벌 모델은,The global model is
    서포트 벡터 머신(support vector machine, SVM), 컨벌루션 신경망(Convolutional Neural Networks, CNN) 및 순환 신경망(Recurrent neural network, RNN) 중에서 어느 하나의 신경망으로 구성되고,Consists of any one of a support vector machine (SVM), a convolutional neural network (CNN), and a recurrent neural network (RNN),
    상기 로컬 모델은,The local model is
    상기 글로벌 모델의 신경망과 동일한 신경망으로 구성되는, 우울증 진단을 위한 인공지능 연합학습 시스템.An artificial intelligence joint learning system for diagnosing depression, which is composed of the same neural network as the neural network of the global model.
  14. 제13항에 있어서,14. The method of claim 13,
    상기 글로벌 모델은,The global model is
    상기 글로벌 학습 데이터의 데이터 개수가 기설정된 데이터 개수 미만이면, 서포트 벡터 머신으로 구성되고, 상기 글로벌 학습 데이터의 데이터 개수가 기설정된 데이터 개수 이상이면 컨벌루션 신경망 또는 순환 신경망의 마지막단에 완전 연결 계층(fully-connected layer)이 연결된 완전 연결 신경망(Fully-connected NN)으로 구성되는, 우울증 진단을 위한 인공지능 연합학습 시스템.If the number of data of the global learning data is less than a preset number of data, it is composed of a support vector machine, and if the number of data of the global learning data is greater than or equal to the preset number of data, it is fully connected to the last end of a convolutional neural network or a recurrent neural network. -Connected layer) is composed of a fully connected neural network (Fully-connected NN), artificial intelligence joint learning system for diagnosing depression.
  15. 제11항에 있어서,12. The method of claim 11,
    상기 로컬 연합학습 장치는,The local federated learning device,
    상기 기 저장된 로컬 학습 데이터가 이미지 데이터이면 컨벌루션 신경망을 이용하여 특징 벡터를 추출하거나, 상기 기 저장된 로컬 학습 데이터가 시계열 데이터이면 순환 신경망을 이용하여 특징 벡터를 추출하는, 우울증 진단을 위한 인공지능 연합학습 시스템.If the pre-stored local learning data is image data, extracting a feature vector using a convolutional neural network, or extracting a feature vector using a recurrent neural network if the pre-stored local learning data is time series data. system.
  16. 제11항에 있어서,12. The method of claim 11,
    상기 로컬 연합학습 장치는,The local federated learning device,
    복수의 로컬 모델마다 개별적인 특징 벡터를 이용하여 상기 미리 학습된 로컬 모델의 가중치 파라미터를 각각 업데이트하는, 우울증 진단을 위한 인공지능 연합학습 시스템.An artificial intelligence joint learning system for diagnosing depression, each updating weight parameters of the pre-trained local model using individual feature vectors for each of the plurality of local models.
  17. 제11항에 있어서,12. The method of claim 11,
    상기 로컬 연합학습 장치는,The local federated learning device,
    상기 추출된 특징 벡터를 기반으로 상기 미리 학습된 로컬 모델의 가중치 파라미터를 확률적 경사 하강법(Stochastic Gradient Descent)을 사용하여 업데이트하는, 우울증 진단을 위한 인공지능 연합학습 시스템.An artificial intelligence federated learning system for diagnosing depression that updates the weight parameters of the pre-trained local model based on the extracted feature vector using stochastic gradient descent.
  18. 제17항에 있어서,18. The method of claim 17,
    상기 로컬 연합학습 장치는,The local federated learning device,
    확률적 경사 하강법에서 로스(Loss)에 대한 경사(Gradient) 값만큼 가중치와 바이어스를 학습률(Learning rate)를 나타내는 스텝 사이즈(Step size)만큼 업데이트하는, 우울증 진단을 위한 인공지능 연합학습 시스템.An artificial intelligence federated learning system for diagnosing depression that updates the weight and bias as much as the gradient value for the loss in the stochastic gradient descent method by the step size indicating the learning rate.
  19. 제11항에 있어서,12. The method of claim 11,
    상기 글로벌 연합학습 장치는,The global federated learning device is
    복수의 로컬 모델마다 상기 업데이트된 로컬 모델의 가중치 파라미터를 개별적으로 수신하고, 상기 개별적으로 수신된 복수의 로컬 모델의 가중치 파라미터를 통합하여 상기 미리 학습된 글로벌 모델의 가중치 파라미터를 업데이트하는, 우울증 진단을 위한 인공지능 연합학습 시스템.Depression diagnosis, which individually receives the weight parameters of the updated local models for each of the plurality of local models, and updates the weight parameters of the pre-trained global model by integrating the weight parameters of the individually received plurality of local models artificial intelligence federated learning system for
  20. 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 방법을 실행하게 하는 명령어들을 저장하기 위한 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 방법은:A non-transitory computer-readable storage medium for storing instructions that, when executed by a processor, cause the processor to execute a method, the method comprising:
    글로벌 학습 데이터를 이용하여 글로벌 모델을 미리 학습하는 단계;pre-training a global model using global training data;
    상기 미리 학습된 글로벌 모델의 가중치 파라미터를 기반으로 로컬 모델을 미리 학습하는 단계;pre-training a local model based on the weight parameters of the pre-trained global model;
    기 저장된 로컬 학습 데이터로부터 추출된 특징 벡터를 이용하여 상기 미리 학습된 로컬 모델의 가중치 파라미터를 업데이트하는 단계; 및updating a weight parameter of the pre-trained local model using a feature vector extracted from pre-stored local training data; and
    상기 업데이트된 로컬 모델의 가중치 파라미터를 기반으로 상기 미리 학습된 글로벌 모델의 가중치 파라미터를 업데이트하는 단계를 포함하는, 비일시적 컴퓨터판독 가능한 저장 매체.and updating a weight parameter of the pre-trained global model based on the weight parameter of the updated local model.
PCT/KR2021/020216 2020-12-29 2021-12-29 Federated artificial intelligence training method and system for depression diagnosis WO2022146050A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0186728 2020-12-29
KR1020200186728A KR102562377B1 (en) 2020-12-29 2020-12-29 Method and system for federated learning of artificial intelligence for providing diagnosis information of depression

Publications (1)

Publication Number Publication Date
WO2022146050A1 true WO2022146050A1 (en) 2022-07-07

Family

ID=82259550

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/020216 WO2022146050A1 (en) 2020-12-29 2021-12-29 Federated artificial intelligence training method and system for depression diagnosis

Country Status (2)

Country Link
KR (1) KR102562377B1 (en)
WO (1) WO2022146050A1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116564356A (en) * 2023-04-26 2023-08-08 新疆大学 Depression diagnosis method and system based on time delay neural network and door control circulation unit algorithm
KR102643869B1 (en) * 2023-07-31 2024-03-07 주식회사 몰팩바이오 Pathology diagnosis apparatus using federated learning model and its processing method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190032433A (en) * 2016-07-18 2019-03-27 난토믹스, 엘엘씨 Distributed machine learning systems, apparatus, and methods
KR20190136825A (en) * 2018-05-31 2019-12-10 가천대학교 산학협력단 Method for discriminating optimal contents for depression diagnosis using neural network with weighted fuzzy membership functions
US20190385043A1 (en) * 2018-06-19 2019-12-19 Adobe Inc. Asynchronously training machine learning models across client devices for adaptive intelligence
KR102089014B1 (en) * 2018-09-07 2020-03-13 연세대학교 산학협력단 Apparatus for generating image reconstructing brain activity of inspecting object and method thereof
US20200356878A1 (en) * 2019-05-07 2020-11-12 Cerebri AI Inc. Predictive, machine-learning, time-series computer models suitable for sparse training sets

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102021515B1 (en) * 2018-12-27 2019-09-16 (주)제이엘케이인스펙션 Apparatus for learning brain disease model, apparatus for detecting brain disease using the brain disease model, method for learning brain disease model, and method for detecting brain disease using the brain disease model

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190032433A (en) * 2016-07-18 2019-03-27 난토믹스, 엘엘씨 Distributed machine learning systems, apparatus, and methods
KR20190136825A (en) * 2018-05-31 2019-12-10 가천대학교 산학협력단 Method for discriminating optimal contents for depression diagnosis using neural network with weighted fuzzy membership functions
US20190385043A1 (en) * 2018-06-19 2019-12-19 Adobe Inc. Asynchronously training machine learning models across client devices for adaptive intelligence
KR102089014B1 (en) * 2018-09-07 2020-03-13 연세대학교 산학협력단 Apparatus for generating image reconstructing brain activity of inspecting object and method thereof
US20200356878A1 (en) * 2019-05-07 2020-11-12 Cerebri AI Inc. Predictive, machine-learning, time-series computer models suitable for sparse training sets

Also Published As

Publication number Publication date
KR20220094967A (en) 2022-07-06
KR102562377B1 (en) 2023-08-01

Similar Documents

Publication Publication Date Title
WO2022146050A1 (en) Federated artificial intelligence training method and system for depression diagnosis
WO2017213398A1 (en) Learning model for salient facial region detection
WO2021002549A1 (en) Deep learning-based system and method for automatically determining degree of damage to each area of vehicle
WO2018212494A1 (en) Method and device for identifying object
WO2017022882A1 (en) Apparatus for classifying pathological diagnosis of medical image, and pathological diagnosis system using same
WO2021054706A1 (en) Teaching gan (generative adversarial networks) to generate per-pixel annotation
WO2019235828A1 (en) Two-face disease diagnosis system and method thereof
WO2018135696A1 (en) Artificial intelligence platform using self-adaptive learning technology based on deep learning
WO2020111754A9 (en) Method for providing diagnostic system using semi-supervised learning, and diagnostic system using same
WO2020204364A2 (en) Method and device for word embedding on basis of context information and morphological information of word
WO2022149894A1 (en) Method for training artificial neural network providing determination result of pathological specimen, and computing system for performing same
WO2020045848A1 (en) System and method for diagnosing disease using neural network performing segmentation
WO2020032559A2 (en) System and method for disease diagnosis using neural network
WO2020101457A2 (en) Supervised learning-based consensus diagnosis method and system thereof
WO2020071854A1 (en) Electronic apparatus and control method thereof
WO2014106979A1 (en) Method for recognizing statistical voice language
WO2021010671A2 (en) Disease diagnosis system and method for performing segmentation by using neural network and unlocalized block
WO2018212584A2 (en) Method and apparatus for classifying class, to which sentence belongs, using deep neural network
WO2020231005A1 (en) Image processing device and operation method thereof
WO2020159241A1 (en) Method for processing image, and apparatus therefor
WO2021075742A1 (en) Deep learning-based value evaluation method and apparatus
WO2019240330A1 (en) Image-based strength prediction system and method therefor
WO2020032561A2 (en) Disease diagnosis system and method using multiple color models and neural network
EP3707646A1 (en) Electronic apparatus and control method thereof
WO2022004970A1 (en) Neural network-based key point training apparatus and method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21915847

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21915847

Country of ref document: EP

Kind code of ref document: A1