KR102562377B1 - 우울증 진단 정보를 제공하기 위한 인공지능 연합학습 방법 및 시스템 - Google Patents

우울증 진단 정보를 제공하기 위한 인공지능 연합학습 방법 및 시스템 Download PDF

Info

Publication number
KR102562377B1
KR102562377B1 KR1020200186728A KR20200186728A KR102562377B1 KR 102562377 B1 KR102562377 B1 KR 102562377B1 KR 1020200186728 A KR1020200186728 A KR 1020200186728A KR 20200186728 A KR20200186728 A KR 20200186728A KR 102562377 B1 KR102562377 B1 KR 102562377B1
Authority
KR
South Korea
Prior art keywords
local
data
weight parameters
global
neural network
Prior art date
Application number
KR1020200186728A
Other languages
English (en)
Other versions
KR20220094967A (ko
Inventor
김현승
최준희
이종민
최민규
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020200186728A priority Critical patent/KR102562377B1/ko
Priority to PCT/KR2021/020216 priority patent/WO2022146050A1/ko
Publication of KR20220094967A publication Critical patent/KR20220094967A/ko
Application granted granted Critical
Publication of KR102562377B1 publication Critical patent/KR102562377B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Software Systems (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Psychiatry (AREA)
  • Databases & Information Systems (AREA)
  • Social Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Computational Linguistics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Surgery (AREA)
  • Educational Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 우울증 진단을 위한 인공지능 연합학습 방법 및 시스템에 관한 것으로, 본 발명의 일 실시예에 따른 우울증 진단을 위한 인공지능 연합학습 방법은, 글로벌 학습 데이터를 이용하여 글로벌 모델을 미리 학습하는 단계, 상기 미리 학습된 글로벌 모델의 가중치 파라미터를 기반으로 로컬 모델을 미리 학습하는 단계, 기 저장된 로컬 학습 데이터로부터 추출된 특징 벡터를 이용하여 상기 미리 학습된 로컬 모델의 가중치 파라미터를 업데이트하는 단계, 및 상기 업데이트된 로컬 모델의 가중치 파라미터를 기반으로 상기 미리 학습된 글로벌 모델의 가중치 파라미터를 업데이트하는 단계를 포함한다.

Description

우울증 진단 정보를 제공하기 위한 인공지능 연합학습 방법 및 시스템{METHOD AND SYSTEM FOR FEDERATED LEARNING OF ARTIFICIAL INTELLIGENCE FOR PROVIDING DIAGNOSIS INFORMATION OF DEPRESSION}
본 발명은 우울증 진단 정보를 제공하기 위한 인공지능 연합학습 방법 및 시스템에 관한 것이다.
인공지능 기술이 가까운 미래에 다양한 의료 분야에 많은 영향을 미칠 것으로 예상한다. 인공지능 기반의 의료진료는 판독 정확성을 향상하고 질병 예측 및 예방에 이바지할 수 있을 것으로 기대된다. 인공지능 기반 의료진료는 기존의 의료진료보다 성능, 효율 등을 높일 수 있는 특징이 있다. 특히 컴퓨터 비전 분야의 컨볼루션 신경망(Convolutional neural network)이 의학영상 분석에 직접 적용될 수 있다.
기존에 발표된 우울증 진단 인공지능 모델(Tuka Alhanai, Mohammad Ghassemi, & James Glass, Detecting Depression with Audio/Text Sequence 모델ing of Interviews, Interspeech 2018)은 임상의와 인터뷰를 통한 단어와 억양만으로 우울증을 진단한다. 이와 같은 방법으로 개발된 인공지능 모델은 문자와 목소리 데이터를 활용하며 문자 정보에 더 빠르게 반응하였다. 이와는 달리 객관적인 뇌파 데이터와 뇌영상(fMRI) 데이터를 활용한 모델을 만들고자 한다.
또한, 종래의 독립적인 인공지능 모델에서는 데이터 부족으로 우울증 진단의 인공지능 모델의 정확도를 보장하기 어렵다. 실제로 의료 분야에는 빅데이터(big data)와 인공지능 기술을 원활하게 적용할 수 있는 체계가 갖추어지지 않았다. 그뿐만 아니라 인공지능 모델 학습에 필요한 데이터가 각 기관 사이에서 공유될 경우 개인정보 유출의 문제가 있다. 다수의 기관이 보유한 데이터를 직접 활용하여 우울증 진단 인공지능 모델을 만드는 데 한계가 있다.
본 발명의 실시예들은 우울증 진단 정보를 제공하기 위해 글로벌 모델과 복수의 로컬 모델 간의 연합학습을 통해 인공지능 모델의 정확도를 향상시키기 위한, 우울증 진단 정보를 제공하기 위한 인공지능 연합학습 방법 및 시스템을 제공하고자 한다.
본 발명의 실시예들은 뇌파 데이터와 뇌영상(fMRI) 데이터를 활용한 우울증 진단 정보를 제공하기 위한 인공지능 모델의 연합학습 방법을 제공하고자 한다.
또한, 본 발명의 실시예들은 각 기관이 보유하고 있는 환자 개인정보 데이터를 공유하지 않음으로 인하여 개인정보의 유출 위험성을 막고 글로벌 인공지능 모델의 정확도를 향상시키기 위한, 우울증 진단 정보를 제공하기 위한 인공지능 연합학습 방법 및 시스템을 제공하고자 한다.
다만, 본 발명의 해결하고자 하는 과제는 이에 한정되는 것이 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위의 환경에서도 다양하게 확장될 수 있을 것이다.
본 발명의 일 실시예에 따르면, 인공지능 연합학습 장치에 의해 수행되는 인공지능 연합학습 방법에 있어서, 글로벌 학습 데이터를 이용하여 글로벌 모델을 미리 학습하는 단계; 상기 미리 학습된 글로벌 모델의 가중치 파라미터를 기반으로 로컬 모델을 미리 학습하는 단계; 기 저장된 로컬 학습 데이터로부터 추출된 특징 벡터를 이용하여 상기 미리 학습된 로컬 모델의 가중치 파라미터를 업데이트하는 단계; 및 상기 업데이트된 로컬 모델의 가중치 파라미터를 기반으로 상기 미리 학습된 글로벌 모델의 가중치 파라미터를 업데이트하는 단계를 포함하는, 우울증 진단 정보를 제공하기 위한 인공지능 연합학습 방법이 제공될 수 있다.
상기 방법은, 상기 업데이트된 글로벌 모델의 가중치 파라미터를 기반으로 상기 로컬 모델을 재학습하는 단계를 더 포함할 수 있다.
상기 글로벌 모델은, 서포트 벡터 머신(support vector machine, SVM), 컨벌루션 신경망(Convolutional Neural Networks, CNN) 및 순환 신경망(Recurrent neural network, RNN) 중에서 어느 하나의 신경망으로 구성될 수 있다.
상기 로컬 모델은, 상기 글로벌 모델의 신경망과 동일한 신경망으로 구성될 수 있다.
상기 글로벌 모델은, 상기 글로벌 학습 데이터의 데이터 개수가 기설정된 데이터 개수 미만이면 서포트 벡터 머신으로 구성되고, 상기 글로벌 학습 데이터의 데이터 개수가 기설정된 데이터 개수 이상이면 컨벌루션 신경망 또는 순환 신경망의 마지막단에 완전 연결 계층(fully-connected layer)이 연결된 완전 연결 신경망(Fully-connected NN)으로 구성될 수 있다.
상기 로컬 모델의 가중치 파라미터를 업데이트하는 단계는, 상기 기 저장된 로컬 학습 데이터가 뇌영상 이미지 데이터이면 컨벌루션 신경망을 이용하여 특징 벡터를 추출하거나, 상기 기 저장된 로컬 학습 데이터가 시계열 데이터이면 순환 신경망을 이용하여 특징 벡터를 추출할 수 있다. 여기서, 상기 뇌영상 이미지 데이터는 혈류 변화를 영상화 한 fMRI(functional magnetic resonance imaging)일 수 있다.
상기 로컬 모델의 가중치 파라미터를 업데이트하는 단계는, 복수의 로컬 모델마다 개별적인 특징 벡터를 이용하여 상기 미리 학습된 로컬 모델의 가중치 파라미터를 각각 업데이트할 수 있다.
상기 로컬 모델의 가중치 파라미터를 업데이트하는 단계는, 상기 추출된 특징 벡터를 기반으로 상기 미리 학습된 로컬 모델의 가중치 파라미터를 확률적 경사 하강법(Stochastic Gradient Descent)을 사용하여 업데이트할 수 있다.
상기 로컬 모델의 가중치 파라미터를 업데이트하는 단계는, 확률적 경사 하강법에서 로스(Loss)에 대한 경사(Gradient) 값만큼 가중치와 바이어스를 학습률(Learning rate)를 나타내는 스텝 사이즈(Step size)만큼 업데이트할 수 있다.
상기 글로벌 모델의 가중치 파라미터를 업데이트하는 단계는, 복수의 로컬 모델마다 상기 업데이트된 로컬 모델의 가중치 파라미터를 개별적으로 수신하고, 상기 개별적으로 수신된 복수의 로컬 모델의 가중치 파라미터를 통합하여 상기 미리 학습된 글로벌 모델의 가중치 파라미터를 업데이트할 수 있다.
한편, 본 발명의 다른 실시예에 따르면, 글로벌 학습 데이터를 이용하여 글로벌 모델을 미리 학습하는 글로벌 연합학습 장치; 및 상기 미리 학습된 글로벌 모델의 가중치 파라미터를 기반으로 로컬 모델을 미리 학습하고, 기 저장된 로컬 학습 데이터로부터 추출된 특징 벡터를 이용하여 상기 미리 학습된 로컬 모델의 가중치 파라미터를 업데이트하는 로컬 연합학습 장치를 포함하고, 상기 글로벌 연합학습 장치는, 상기 업데이트된 로컬 모델의 가중치 파라미터를 기반으로 상기 미리 학습된 글로벌 모델의 가중치 파라미터를 업데이트하는, 우울증 진단 정보를 제공하기 위한 인공지능 연합학습 시스템이 제공될 수 있다.
상기 로컬 연합학습 장치는, 상기 업데이트된 글로벌 모델의 가중치 파라미터를 기반으로 상기 로컬 모델을 재학습할 수 있다.
상기 글로벌 모델은, 서포트 벡터 머신(support vector machine, SVM), 컨벌루션 신경망(Convolutional Neural Networks, CNN) 및 순환 신경망(Recurrent neural network, RNN) 중에서 어느 하나의 신경망으로 구성될 수 있다.
상기 로컬 모델은, 상기 글로벌 모델의 신경망과 동일한 신경망으로 구성될 수 있다.
상기 글로벌 모델은, 상기 글로벌 학습 데이터의 데이터 개수가 기설정된 데이터 개수 미만이면 서포트 벡터 머신으로 구성되고, 상기 글로벌 학습 데이터의 데이터 개수가 기설정된 데이터 개수 이상이면 컨벌루션 신경망 또는 순환 신경망의 마지막단에 완전 연결 계층(fully-connected layer)이 연결된 완전 연결 신경망(Fully-connected NN)으로 구성될 수 있다.
상기 로컬 연합학습 장치는, 상기 기 저장된 로컬 학습 데이터가 이미지 데이터이면 컨벌루션 신경망을 이용하여 특징 벡터를 추출하거나, 상기 기 저장된 로컬 학습 데이터가 시계열 데이터이면 순환 신경망을 이용하여 특징 벡터를 추출할 수 있다.
상기 로컬 연합학습 장치는, 복수의 로컬 모델마다 개별적인 특징 벡터를 이용하여 상기 미리 학습된 로컬 모델의 가중치 파라미터를 각각 업데이트할 수 있다.
상기 로컬 연합학습 장치는, 상기 추출된 특징 벡터를 기반으로 상기 미리 학습된 로컬 모델의 가중치 파라미터를 확률적 경사 하강법(Stochastic Gradient Descent)을 사용하여 업데이트할 수 있다.
상기 로컬 연합학습 장치는, 확률적 경사 하강법에서 로스(Loss)에 대한 경사(Gradient) 값만큼 가중치와 바이어스를 학습률(Learning rate)를 나타내는 스텝 사이즈(Step size)만큼 업데이트할 수 있다.
상기 글로벌 연합학습 장치는, 복수의 로컬 모델마다 상기 업데이트된 로컬 모델의 가중치 파라미터를 개별적으로 수신하고, 상기 개별적으로 수신된 복수의 로컬 모델의 가중치 파라미터를 통합하여 상기 미리 학습된 글로벌 모델의 가중치 파라미터를 업데이트할 수 있다.
한편, 본 발명의 다른 실시예에 따르면, 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 방법을 실행하게 하는 명령어들을 저장하기 위한 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 방법은: 글로벌 학습 데이터를 이용하여 글로벌 모델을 미리 학습하는 단계; 상기 미리 학습된 글로벌 모델의 가중치 파라미터를 기반으로 로컬 모델을 미리 학습하는 단계; 기 저장된 로컬 학습 데이터로부터 추출된 특징 벡터를 이용하여 상기 미리 학습된 로컬 모델의 가중치 파라미터를 업데이트하는 단계; 및 상기 업데이트된 로컬 모델의 가중치 파라미터를 기반으로 상기 미리 학습된 글로벌 모델의 가중치 파라미터를 업데이트하는 단계를 포함하는, 비일시적 컴퓨터 판독 가능한 저장 매체가 제공될 수 있다.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명의 실시예들은 각 기관에서 뇌파 데이터와 뇌영상(fMRI) 데이터를 활용하여 우울증을 정확하게 진단할 수 있다.
또한, 본 발명의 실시예들은 각 기관이 이러한 데이터를 활용하여 각 기관 내의 인공지능 모델을 학습시키고, 학습시킨 인공지능 모델의 가중치를 활용하여 글로벌 인공지능 모델의 정확도를 향상시킬 수 있다.
또한, 본 발명의 실시예들은 환자의 개인 데이터를 각 기관이 개별적으로 관리함으로써 프라이버시 보호를 보장할 수 있다.
도 1은 본 발명의 일 실시예에 따른 우울증 진단 정보를 제공하기 위한 인공지능 연합학습 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 사용되는 뇌영상 이미지로부터의 특징 벡터 추출 과정을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 사용되는 CNN 모델의 구성을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 뇌파 데이터로부터의 특징 벡터 추출 과정을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 글로벌 모델의 학습 과정을 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 글로벌 모델의 가중치 파라미터를 전달하는 과정을 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 로컬 모델의 업데이트 과정을 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 로컬 모델의 가중치 파라미터를 전달하는 과정을 나타낸 도면이다.
도 9 및 도 10은 본 발명의 일 실시예에 따른 학습 결과를 나타낸 도면이다.
본 발명은 다양한 변환을 가할 수 있고 여러가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 구체적으로 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 기술적 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해될 수 있다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들이 용어들에 의해 한정되는 것은 아니다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 본 발명에서 사용한 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나 이는 당 분야에 종사하는 기술자의 의도, 판례, 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 발명에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 본 발명의 실시예들을 첨부 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 일 실시예에 따른 우울증 진단 정보를 제공하기 위한 인공지능 연합학습 시스템의 구성도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 우울증 진단 정보를 제공하기 위한 인공지능 연합학습 시스템(100)은 글로벌 연합학습 장치(110)와 복수의 로컬 연합학습 장치를 포함한다. 그러나 도시된 구성요소 모두가 필수 구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 인공지능 연합학습 시스템(100)이 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 인공지능 연합학습 시스템(100)이 구현될 수 있다.
본 발명의 일 실시예에 따른 인공지능 연합학습 시스템(100)은 뇌 영상(fMRI) 데이터와 뇌파 데이터를 활용한 우울증 진단을 목적으로 한다. 뇌 영상(fMRI) 데이터와 뇌파 데이터는 데이터의 크기가 크지만 관련 데이터의 개수가 많지 않아 정확도가 높은 우울증 진단 인공지능 모델을 구현하는 데 어려움이 있다. 이를 해결하기 위해, 인공지능 연합학습 시스템(100)은 뇌 영상 데이터와 뇌파 데이터로부터 각각 CNN(Convolutional Neural Network) 모델과 RNN(Recurrent Neural Network) 모델로부터 특징 벡터를 뽑아내어 특징 벡터로부터 우울증 진단 정보를 제공할 수 있다.
본 발명의 일 실시예는 뇌파 데이터와 뇌영상(fMRI) 데이터를 활용하여 CNN, RNN, 또는 SVM(Support Vector Machine) 등을 활용한 우울증 진단 인공지능 모델을 학습시킬 수 있다.
또한, 본 발명의 일 실시예는 글로벌 인공지능 모델을 이용하여 각 기관의 로컬 인공지능 모델의 가중치 파라미터를 수신 및 갱신할 수 있다.
또한, 본 발명의 일 실시예는 수신한 가중치 파라미터를 바탕으로 각 기관이 보유한 뇌파 데이터와 뇌영상(fMRI) 데이터를 활용하여 각 기관의 인공지능 모델의 가중치 파라미터를 갱신할 수 있다.
또한, 본 발명의 일 실시예는 각 기관의 로컬 인공지능 모델의 가중치 파라미터를 글로벌 인공지능 모델로 전송하여 글로벌 인공지능 모델의 가중치 파라미터를 갱신할 수 있다.
또한, 본 발명의 일 실시예는 갱신된 글로벌 인공지능 모델의 가중치 파라미터를 다시 여러 기관의 로컬 인공지능 모델로 전송될 수 있다.
일례로, 본 발명의 일 실시예에서는 머신 러닝(machine learning) 기법 중에는 이진 분류(Binary classification)를 효과적으로 진행할 수 있는 서포트 벡터 머신(Support Vector Machine, SVM) 기법을 사용할 수 있다.
글로벌 연합학습 장치(110)는 글로벌 SVM 모델의 경우는 글로벌 학습 데이터를 사용하여 미리 학습(pre-trained)시킨다(S101).
글로벌 연합학습 장치(110)는 글로벌 모델의 가중치를 업데이트한다(S102).
이후, 각 기관에 구현된 로컬 연합학습 장치 A, B, C(121, 122, 123)는 미리 학습된(pre-trained)된 글로벌 SVM 모델의 가중치 파라미터를 전달받는다(S103).
로컬 연합학습 장치 A, B, C(121, 122, 123)는 전달받은 가중치 파라미터를 기반으로 각 기관의 로컬 SVM 모델 학습을 시작한다(S104, S106, S108).
로컬 연합학습 장치 A, B, C(121, 122, 123)는 각 기관이 보유한 데이터를 모든 기관이 공통으로 사용하는 3D CNN 모델에 넣어 특징 벡터를 뽑아내고 이를 사용하여 로컬 모델의 가중치 파라미터를 확률적 경사 하강(Stochastic gradient descent) 방법을 사용하여 업데이트한다(S105, S107, S109).
로컬 연합학습 장치 A, B, C(121, 122, 123)는 각 기관의 로컬 모델 학습이 모두 완료되면 학습된 각 기관의 로컬 SVM 모델 가중치를 다시 글로벌 SVM 모델로 전달한다(S110, S111, S112).
글로벌 연합학습 장치(110)는 각 기관으로부터 전달받은 가중치의 산술 평균(arithmetic average) 값 혹은 가중 평균(weighted average) 값으로 글로벌 SVM 모델의 가중치를 업데이트하여 정확도가 높은 글로벌 SVM 모델을 만들어낸다(S113).
한편, 본 발명의 일 실시예에 따른 인공지능 연합학습 시스템(100)은 비슷한 방법을 활용하여 뇌파 데이터를 활용한 연합학습도 진행하여 우울증 진단의 정확도를 향상시킬 수 있다.
이하, 도 1의 본 발명의 일 실시예에 따른 인공지능 연합학습 시스템(100)의 각 구성요소들의 구체적인 구성 및 동작을 설명한다.
글로벌 연합학습 장치(110)는 글로벌 학습 데이터를 이용하여 글로벌 모델을 미리 학습한다.
로컬 연합학습 장치는 글로벌 연합학습 장치(110)에서 미리 학습된 글로벌 모델의 가중치 파라미터를 기반으로 로컬 모델을 미리 학습하고, 기 저장된 로컬 학습 데이터로부터 추출된 특징 벡터를 이용하여 미리 학습된 로컬 모델의 가중치 파라미터를 업데이트한다.
글로벌 연합학습 장치(110)는 업데이트된 로컬 모델의 가중치 파라미터를 기반으로 미리 학습된 글로벌 모델의 가중치 파라미터를 업데이트한다.
실시예들에 따르면, 로컬 연합학습 장치는 업데이트된 글로벌 모델의 가중치 파라미터를 기반으로 상기 로컬 모델을 재학습할 수 있다.
실시예들에 따르면, 글로벌 모델은 서포트 벡터 머신(support vector machine, SVM), 컨벌루션 신경망(Convolutional Neural Networks, CNN) 및 순환 신경망(Recurrent neural network, RNN) 중에서 어느 하나의 신경망으로 구성될 수 있다.
실시예들에 따르면, 로컬 모델은 글로벌 모델의 신경망과 동일한 신경망으로 구성될 수 있다.
실시예들에 따르면, 글로벌 모델은 글로벌 학습 데이터의 데이터 개수가 기설정된 데이터 개수 미만이면 서포트 벡터 머신으로 구성되고, 글로벌 학습 데이터의 데이터 개수가 기설정된 데이터 개수 이상이면 컨벌루션 신경망 또는 순환 신경망의 마지막단에 완전 연결 계층(fully-connected layer)이 연결된 완전 연결 신경망(Fully-connected NN)으로 구성될 수 있다.
본 발명의 일 실시예에서는 현재 보유하고 있는 의료 데이터 개수가 적은 경우, 특징 벡터를 뽑아 SVM을 글로벌 모델과 로컬 모델로 사용할 수 있다. SVM은 학습 데이터가 적은 경우에 분류 성공율이 높기 때문이다.
또한, 본 발명의 다른 실시예에서는 의료 데이터를 충분히 가지고 있는 경우에는 CNN이나 RNN 마지막단에 완전 연결 계층(fully-connected layer)을 부착하여 SVM 대신에 이 부분을 글로벌 모델과 로컬 모델로 사용할 수 있다. 완전 연결 계층은 대량의 파라미터가 들어가여 적은 데이터 개수로는 학습이 불가능하다. 따라서, 본 발명의 다른 실시예에서는 데이터의 형식보다는 충분한 양의 데이터를 보유하면 SVM 대신 완전 연결 계층을 사용할 수 있다.
본 발명의 일 실시예에서 앞 단의　CNN과 RNN 등은 의료 데이터의 형식(뇌영상 이미지 같은 경우 3D-CNN을 사용, 뇌파 데이터는 시계열 데이터이므로 RNN 등을 사용)에 따라 달라질 수 있다. 본 발명의 일 실시예에서 CNN이나 RNN 등을 통해 뽑아진 특징(feature)을 분류(classification)할 때, 글로벌 모델이나 로컬 모델의 분류기 모델을 SVM을 사용할 것인지 완전 연결 신경망(Fully-connected NN)을 사용할 것인지는 데이터의 양에 따라 달라질 수 있다.
한편, 실시예들에 따르면, 로컬 연합학습 장치는 기 저장된 로컬 학습 데이터가 이미지 데이터이면 컨벌루션 신경망을 이용하여 특징 벡터를 추출하거나, 기 저장된 로컬 학습 데이터가 시계열 데이터이면 순환 신경망을 이용하여 특징 벡터를 추출할 수 있다.
실시예들에 따르면, 로컬 연합학습 장치는 복수의 로컬 모델마다 개별적인 특징 벡터를 이용하여 상기 미리 학습된 로컬 모델의 가중치 파라미터를 각각 업데이트할 수 있다.
실시예들에 따르면, 로컬 연합학습 장치는 추출된 특징 벡터를 기반으로 상기 미리 학습된 로컬 모델의 가중치 파라미터를 확률적 경사 하강법(Stochastic Gradient Descent)을 사용하여 업데이트할 수 있다.
실시예들에 따르면, 로컬 연합학습 장치는 확률적 경사 하강법에서 로스(Loss)에 대한 경사(Gradient) 값만큼 가중치와 바이어스를 학습률(Learning rate)를 나타내는 스텝 사이즈(Step size)만큼 업데이트할 수 있다.
확률적 경사 하강법을 구체적으로 살펴보면, 해당 SVM의 가중치를 w, 바이어스(bias)를 b, 특징 벡터를 x, 특징 라벨(feature label)을 y값이라 하기로 한다. 클래스(class)가 1(+)인 경우 (wx-b)를 1보다 크도록 클래스가 -1(-)인 경우　(wx-b)를 -1보다 작도록 만들도록 하기 위해서는, y(wx-b)를 1보다 크도록 학습시키면 되므로 1-y(wx-b)<0　이 되도록 학습시키면 된다.　
따라서 확률적 경사 하강법은 1-y(wx-b)>0　인 경우에 학습시키도록 하며 1-y(wx-b)　의 제곱 값을 로스(Loss) 값으로 설정한다. 이후, 확률적 경사 하강법은 로스에 대한 경사(gradient) 값만큼 w와 b를 학습률을 나타내는 스텝 사이즈(step_size(learning rate))만큼 업데이트 하는 방법이다.
실시예들에 따르면, 글로벌 연합학습 장치(110)는 복수의 로컬 모델마다 업데이트된 로컬 모델의 가중치 파라미터를 개별적으로 수신하고, 개별적으로 수신된 복수의 로컬 모델의 가중치 파라미터를 통합하여 미리 학습된 글로벌 모델의 가중치 파라미터를 업데이트할 수 있다.
도 2는 본 발명의 일 실시예에 사용되는 뇌영상 이미지로부터의 특징 벡터 추출 과정을 나타낸 도면이다.
본 발명의 일 실시예는 뇌영상 이미지(fMRI image)를 컨볼루션 신경망(convolution neural network)을 거쳐 특징 벡터(feature vector)를 추출(extraction)한다.
도 3은 본 발명의 일 실시예에 사용되는 CNN 모델의 구성을 나타낸 도면이다.
뇌 영상(fMRI) 데이터는 3D 이미지 형태의 데이터이다. 뇌 영상(fMRI) 데이터의 특징 벡터의 추출(feature extraction)을 위해 뇌영상(fMRI) 데이터로 미리 학습된(pre-trained)된 3D CNN(Convolutional Neural Network) 모델을 사용하며 자세한 모델 구성은 도 3과 같다.
3D CNN 모델의 마지막 컨볼루션 계층(conv_layer) 결과값을 사용하며 128개의 특징으로 구성된 특징 벡터를 추출한다. 이 3D CNN 모델은 모든 기관에서 공통적으로 사용할 수 있도록 한다.
도 4는 본 발명의 일 실시예에 따른 뇌파 데이터로부터의 특징 벡터 추출 과정을 나타낸 도면이다.
본 발명의 일 실시예는 뇌파 데이터를 순환 신경망(Recurrent neural network)을 거쳐 특징 벡터(feature vector)를 추출(extraction)한다.
도 5는 본 발명의 일 실시예에 따른 글로벌 모델의 학습 과정을 나타낸 도면이다.
본 발명의 일 실시예는 글로벌 학습 데이터(global training data)를 통해 해당 특징 벡터(feature vector)를 얻어내고, 특징 벡터를 기반으로 글로벌 서포트 벡터 머신 모델(Global Support Vector Machine model)을 학습한다.
도 6은 본 발명의 일 실시예에 따른 글로벌 모델의 가중치 파라미터를 전달하는 과정을 나타낸 도면이다.
본 발명의 일 실시예는 각 로컬 서포트 벡터 머신 모델(Local SVM model)에 미리 학습된(pre-trained)된 글로벌 모델(Global model)의 가중치 파라미터 즉, 가중치 및 바이어스(weight&bias)를 전달한다.
도 7은 본 발명의 일 실시예에 따른 로컬 모델의 업데이트 과정을 나타낸 도면이다.
본 발명의 일 실시예에서는 각 로컬 연합학습 장치가 보유한 로컬 학습 데이터(Local training data)로부터의 특징 벡터로 글로벌 모델(global model)로부터 받아온 미리 학습(pre-trained)된 가중치 파라미터(weight parameter)를 업데이트한다. 이때, 본 발명의 일 실시예에서는 확률적 경사 하강(Stochastic Gradient Descent) 방법을 사용해 로컬 모델(Local model)의 가중치 파라미터(weight parameter)를 업데이트(update)한다.
도 8은 본 발명의 일 실시예에 따른 로컬 모델의 가중치 파라미터를 전달하는 과정을 나타낸 도면이다.
본 발명의 일 실시예는 각 로컬 연합학습 장치에서 학습한 로컬 서포트 벡터 머신 모델(Local SVM model)의 가중치 파라미터를 글로벌 모델(Global model)로 전달한다.
여기서, 글로벌 서포트 벡터 머신 모델에서의 가중치 파라미터의 업데이트 방식은 산술 평균 또는 가중 평균 방법을 사용하여 업데이트할 수 있다.
도 9 및 도 10은 본 발명의 일 실시예에 따른 학습 결과를 나타낸 도면이다.
도 9 및 도 10에 도시된 바와 같이, 학습 데이터의 개수에 따른 연합학습 학습 결과가 향상되었다. 이를 구체적으로 설명하기로 한다.
본 발명의 일 실시예에 따른 실험은 뇌영상(fMRI) 데이터를 사용하여 진행하였다. 뇌영상(fMRI) 데이터를 미리 학습된(pre-trained) 3D CNN 모델에 넣어 3D 이미지의 특징 벡터를 뽑아내며, 특징 벡터는 3D CNN 모델의 마지막 컨볼루션 계층(Convolution layer) 값을 사용하였다. 뽑아낸 특징 벡터를 머신 러닝(machine learning) 기법에 적용하여 우울증 진단에 활용하도록 하였으며 해당 실험에서는 머신 러닝 기법 중 선형 SVM(linear SVM(Support Vector Machine))을 사용하였다.
SVM 모델의 연합학습 방법은 다음과 같다. 글로벌 학습 데이터 세트를 사용하여 글로벌 SVM 모델의 학습을 진행한 후, 모델 A, 모델 B, 모델 C로 글로벌 SVM 모델의 가중치와 바이어스 값을 전달한다. 모델 A, 모델 B, 모델 C는 전달받은 SVM 가중치와 바이어스를 기반으로 각 모델이 사용할 수 있는 데이터를 활용하여 각 모델을 학습시킨다. SVM을 학습시키는 방법으로는 확률적 경사 하강법(stochastic gradient descent method)을 사용한다.
각 모델에서 학습이 완료되면 글로벌 SVM 모델은 각 모델로부터 가중치와 바이어스 값을 전달받아 글로벌 SVM 모델의 가중치와 바이어스를 업데이트 한다. 업데이트 방법은 각 모델의 가중치와 바이어스 값들의 산술 평균(Arithemetic average) 값 또는 학습 데이터 개수에 따른 가중 평균(weighted average) 값을 사용하였다.
확률적 경사 하강법(stochastic gradient descent method)에서 사용한 학습 에포크(training epoch)는 10, 스텝 사이즈(step size)는 10e-3로 설정하였으며 학습 데이터 세트의 크기에 따른 SVM 모델에 대한 연합학습 결과값은 다음과 같다.
연합학습 이후 초기 글로벌 학습 데이터 개수가 9개일 때 정확도(accuracy) 12.2% 향상, 초기 글로벌 학습 데이터 개수가 14개일 때 정확도(accuracy) 6.8%가 향상된 것을 확인할 수 있다. 산술 평균과 가중 평균 방법 모두 정확도(accuracy)는 향상되었다. 산술 평균(arithmetic average) 방법이 학습 데이터 개수에 따른 가중 평균(weighted average) 방법보다 더 좋은 결과를 보여주었다.
한편, 본 발명의 일 실시예에서는 연합학습을 머신 러닝(Machine learning) 기법에 적용함으로써 각 기관이 보유하고 있는 환자의 개인정보 데이터는 직접 사용하지 않고 각 모델의 가중치 값만을 사용하여 글로벌 분류(classification) 모델의 정확도를 향상시켰다. 따라서 환자 개인정보 데이터를 공유하지 않아 개인정보 유출의 위험성을 줄일 수 있으며, 우울증 진단 모델의 정확도는 크게 향상시킬 수 있어 우울증 진단 분야에 유용하게 사용할 수 있을 것이다.
한편, 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 방법을 실행하게 하는 명령어들을 저장하기 위한 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 방법은: 글로벌 학습 데이터를 이용하여 글로벌 모델을 미리 학습하는 단계; 상기 미리 학습된 글로벌 모델의 가중치 파라미터를 기반으로 로컬 모델을 미리 학습하는 단계; 기 저장된 로컬 학습 데이터로부터 추출된 특징 벡터를 이용하여 상기 미리 학습된 로컬 모델의 가중치 파라미터를 업데이트하는 단계; 및 상기 업데이트된 로컬 모델의 가중치 파라미터를 기반으로 상기 미리 학습된 글로벌 모델의 가중치 파라미터를 업데이트하는 단계를 포함하는, 비일시적 컴퓨터 판독 가능한 저장 매체가 제공될 수 있다.
한편, 본 발명의 일 실시예에 따르면, 이상에서 설명된 다양한 실시예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시예들에 따른 전자 장치(예: 전자 장치(A))를 포함할 수 있다. 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
또한, 본 발명의 일 실시예에 따르면, 이상에서 설명된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
또한, 본 발명의 일 실시예에 따르면, 이상에서 설명된 다양한 실시예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 일부 경우에 있어 본 명세서에서 설명되는 실시예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 동작을 수행할 수 있다.
한편, 상술한 다양한 실시예들에 따른 기기의 프로세싱 동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium)에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 특정 기기의 프로세서에 의해 실행되었을 때 상술한 다양한 실시예에 따른 기기에서의 처리 동작을 특정 기기가 수행하도록 한다. 비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.
또한, 상술한 다양한 실시예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100: 인공지능 연합학습 시스템
110: 글로벌 연합학습 장치
121, 122, 123: 로컬 연합학습 장치 A, B, C

Claims (21)

  1. 인공지능 연합학습 장치에 의해 수행되는 인공지능 연합학습 방법에 있어서,
    글로벌 학습 데이터를 이용하여 글로벌 모델을 미리 학습하는 단계;
    상기 글로벌 모델의 가중치 파라미터를 기반으로 각 의료기관별 복수의 로컬 모델을 미리 학습하는 단계;
    기 저장된 로컬 학습 데이터로부터 추출된 특징 벡터를 이용하여 상기 복수의 로컬 모델의 개별 가중치 파라미터를 업데이트하는 단계; 및
    상기 복수의 로컬 모델의 업데이트된 개별 가중치 파라미터를 기반으로 상기 글로벌 모델의 가중치 파라미터를 업데이트하는 단계;를 포함하되,
    상기 복수의 로컬 모델의 개별 가중치 파라미터를 업데이트하는 단계는,
    상기 기 저장된 로컬 학습 데이터가 뇌영상 이미지 데이터이면 컨벌루션 신경망(convolutional neural networks, CNN)을 이용하여 특징 벡터를 추출하고, 상기 기 저장된 로컬 학습 데이터가 뇌파 데이터이면 순환 신경망(recurrent neural network, RNN)을 이용하여 특징 벡터를 추출하며,
    상기 뇌영상 이미지 데이터는 혈류 변화를 영상화 한 fMRI(functional magnetic resonance imaging)이고,
    상기 글로벌 모델은,
    서포트 벡터 머신(support vector machine, SVM), 상기 컨벌루션 신경망 및 상기 순환 신경망 중에서 어느 하나의 신경망으로 구성되며,
    상기 글로벌 모델은,
    상기 글로벌 학습 데이터의 데이터 개수가 기설정된 데이터 개수 미만이면 상기 서포트 벡터 머신으로 구성되고, 상기 글로벌 학습 데이터의 데이터 개수가 기설정된 데이터 개수 이상이면 상기 컨벌루션 신경망 또는 상기 순환 신경망의 마지막단에 완전 연결 계층(fully-connected layer)이 연결된 완전 연결 신경망(Fully-connected NN)으로 구성되는, 우울증 진단 정보를 제공하기 위한 인공지능 연합학습 방법.
  2. 제1항에 있어서,
    상기 글로벌 모델의 업데이트된 가중치 파라미터를 기반으로 상기 복수의 로컬 모델을 재학습하는 단계를 더 포함하는, 우울증 진단 정보를 제공하기 위한 인공지능 연합학습 방법.
  3. 삭제
  4. 제1항에 있어서,
    상기 로컬 모델은,
    상기 글로벌 모델의 신경망과 동일한 신경망으로 구성되는, 우울증 진단 정보를 제공하기 위한 인공지능 연합학습 방법.
  5. 삭제
  6. 삭제
  7. 제1항에 있어서,
    상기 복수의 로컬 모델의 가중치 파라미터를 업데이트하는 단계는,
    상기 복수의 로컬 모델마다 개별적인 특징 벡터를 이용하여 상기 복수의 로컬 모델의 가중치 파라미터를 각각 업데이트하는, 우울증 진단 정보를 제공하기 위한 인공지능 연합학습 방법.
  8. 제1항에 있어서,
    상기 복수의 로컬 모델의 가중치 파라미터를 업데이트하는 단계는,
    상기 특징 벡터를 기반으로 상기 복수의 로컬 모델의 가중치 파라미터를 확률적 경사 하강법(Stochastic Gradient Descent)을 사용하여 각각 업데이트하는, 우울증 진단 정보를 제공하기 위한 인공지능 연합학습 방법.
  9. 제8항에 있어서,
    상기 복수의 로컬 모델의 가중치 파라미터를 업데이트하는 단계는,
    상기 확률적 경사 하강법에서 로스(Loss)에 대한 경사(Gradient) 값만큼 가중치와 바이어스를 학습률(Learning rate)을 나타내는 스텝 사이즈(Step size)만큼 업데이트하는, 우울증 진단 정보를 제공하기 위한 인공지능 연합학습 방법.
  10. 제1항에 있어서,
    상기 글로벌 모델의 가중치 파라미터를 업데이트하는 단계는,
    상기 복수의 로컬 모델마다 상기 업데이트된 개별 가중치 파라미터를 각각 수신하고, 상기 수신된 개별 가중치 파라미터를 통합하여 상기 글로벌 모델의 가중치 파라미터를 업데이트하는, 우울증 진단 정보를 제공하기 위한 인공지능 연합학습 방법.
  11. 글로벌 학습 데이터를 이용하여 글로벌 모델을 미리 학습하는 글로벌 연합학습 장치; 및
    상기 글로벌 모델의 가중치 파라미터를 기반으로 각 의료기관별 복수의 로컬 모델을 미리 학습하고, 기 저장된 로컬 학습 데이터로부터 추출된 특징 벡터를 이용하여 상기 복수의 로컬 모델의 개별 가중치 파라미터를 업데이트하는 로컬 연합학습 장치;를 포함하고,
    상기 글로벌 연합학습 장치는, 상기 복수의 로컬 모델의 업데이트된 개별 가중치 파라미터를 기반으로 상기 글로벌 모델의 가중치 파라미터를 업데이트하되,
    상기 로컬 연합학습 장치는,
    상기 기 저장된 로컬 학습 데이터가 뇌영상 이미지 데이터이면 컨벌루션 신경망을 이용하여 특징 벡터를 추출하고, 상기 기 저장된 로컬 학습 데이터가 뇌파 데이터이면 순환 신경망을 이용하여 특징 벡터를 추출하며,
    상기 뇌영상 이미지 데이터는 혈류 변화를 영상화 한 fMRI이고,
    상기 글로벌 모델은,
    서포트 벡터 머신, 상기 컨벌루션 신경망 및 상기 순환 신경망 중에서 어느 하나의 신경망으로 구성되며,
    상기 글로벌 모델은,
    상기 글로벌 학습 데이터의 데이터 개수가 기설정된 데이터 개수 미만이면 상기 서포트 벡터 머신으로 구성되고, 상기 글로벌 학습 데이터의 데이터 개수가 기설정된 데이터 개수 이상이면 상기 컨벌루션 신경망 또는 상기 순환 신경망의 마지막단에 완전 연결 계층이 연결된 완전 연결 신경망으로 구성되는, 우울증 진단 정보를 제공하기 위한 인공지능 연합학습 시스템.
  12. 제11항에 있어서,
    상기 로컬 연합학습 장치는,
    상기 글로벌 모델의 업데이트된 가중치 파라미터를 기반으로 상기 복수의 로컬 모델을 재학습하는, 우울증 진단 정보를 제공하기 위한 인공지능 연합학습 시스템.
  13. 삭제
  14. 제11항에 있어서,
    상기 로컬 모델은,
    상기 글로벌 모델의 신경망과 동일한 신경망으로 구성되는, 우울증 진단 정보를 제공하기 위한 인공지능 연합학습 시스템.
  15. 삭제
  16. 삭제
  17. 제11항에 있어서,
    상기 로컬 연합학습 장치는,
    상기 복수의 로컬 모델마다 개별적인 특징 벡터를 이용하여 상기 복수의 로컬 모델의 가중치 파라미터를 각각 업데이트하는, 우울증 진단 정보를 제공하기 위한 인공지능 연합학습 시스템.
  18. 제11항에 있어서,
    상기 로컬 연합학습 장치는,
    상기 특징 벡터를 기반으로 상기 복수의 로컬 모델의 가중치 파라미터를 확률적 경사 하강법(Stochastic Gradient Descent)을 사용하여 각각 업데이트하는, 우울증 진단 정보를 제공하기 위한 인공지능 연합학습 시스템.
  19. 제18항에 있어서,
    상기 로컬 연합학습 장치는,
    상기 확률적 경사 하강법에서 로스(Loss)에 대한 경사(Gradient) 값만큼 가중치와 바이어스를 학습률(Learning rate)을 나타내는 스텝 사이즈(Step size)만큼 업데이트하는, 우울증 진단 정보를 제공하기 위한 인공지능 연합학습 시스템.
  20. 제11항에 있어서,
    상기 글로벌 연합학습 장치는,
    상기 복수의 로컬 모델마다 상기 업데이트된 개별 가중치 파라미터를 개별적으로 수신하고, 상기 수신된 개별 가중치 파라미터를 통합하여 상기 글로벌 모델의 가중치 파라미터를 업데이트하는, 우울증 진단 정보를 제공하기 위한 인공지능 연합학습 시스템.
  21. 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 방법을 실행하게 하는 명령어들을 저장하기 위한 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 방법은:
    글로벌 학습 데이터를 이용하여 글로벌 모델을 미리 학습하는 단계;
    상기 글로벌 모델의 가중치 파라미터를 기반으로 각 의료기관별 복수의 로컬 모델을 미리 학습하는 단계;
    기 저장된 로컬 학습 데이터로부터 추출된 특징 벡터를 이용하여 상기 복수의 로컬 모델의 개별 가중치 파라미터를 업데이트하는 단계; 및
    상기 복수의 로컬 모델의 업데이트된 개별 가중치 파라미터를 기반으로 상기 글로벌 모델의 가중치 파라미터를 업데이트하는 단계를 포함하되,
    상기 복수의 로컬 모델의 개별 가중치 파라미터를 업데이트하는 단계는,
    상기 기 저장된 로컬 학습 데이터가 뇌영상 이미지 데이터이면 컨벌루션 신경망을 이용하여 특징 벡터를 추출하고, 상기 기 저장된 로컬 학습 데이터가 뇌파 데이터이면 순환 신경망을 이용하여 특징 벡터를 추출하며,
    상기 뇌영상 이미지 데이터는 혈류 변화를 영상화 한 fMRI이고,
    상기 글로벌 모델은,
    서포트 벡터 머신, 상기 컨벌루션 신경망 및 상기 순환 신경망 중에서 어느 하나의 신경망으로 구성되며,
    상기 글로벌 모델은,
    상기 글로벌 학습 데이터의 데이터 개수가 기설정된 데이터 개수 미만이면 상기 서포트 벡터 머신으로 구성되고, 상기 글로벌 학습 데이터의 데이터 개수가 기설정된 데이터 개수 이상이면 상기 컨벌루션 신경망 또는 상기 순환 신경망의 마지막단에 완전 연결 계층이 연결된 완전 연결 신경망으로 구성되는, 비일시적 컴퓨터 판독 가능한 저장 매체.
KR1020200186728A 2020-12-29 2020-12-29 우울증 진단 정보를 제공하기 위한 인공지능 연합학습 방법 및 시스템 KR102562377B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200186728A KR102562377B1 (ko) 2020-12-29 2020-12-29 우울증 진단 정보를 제공하기 위한 인공지능 연합학습 방법 및 시스템
PCT/KR2021/020216 WO2022146050A1 (ko) 2020-12-29 2021-12-29 우울증 진단을 위한 인공지능 연합학습 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200186728A KR102562377B1 (ko) 2020-12-29 2020-12-29 우울증 진단 정보를 제공하기 위한 인공지능 연합학습 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20220094967A KR20220094967A (ko) 2022-07-06
KR102562377B1 true KR102562377B1 (ko) 2023-08-01

Family

ID=82259550

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200186728A KR102562377B1 (ko) 2020-12-29 2020-12-29 우울증 진단 정보를 제공하기 위한 인공지능 연합학습 방법 및 시스템

Country Status (2)

Country Link
KR (1) KR102562377B1 (ko)
WO (1) WO2022146050A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116564356A (zh) * 2023-04-26 2023-08-08 新疆大学 一种基于时延神经网络与门控循环单元算法的抑郁症诊断方法与系统
KR102643869B1 (ko) * 2023-07-31 2024-03-07 주식회사 몰팩바이오 연합학습모델을 이용한 병리진단시스템 및 그 프로세싱 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102021515B1 (ko) * 2018-12-27 2019-09-16 (주)제이엘케이인스펙션 뇌혈관 질환 학습 장치, 뇌혈관 질환 검출 장치, 뇌혈관 질환 학습 방법 및 뇌혈관 질환 검출 방법
KR102089014B1 (ko) * 2018-09-07 2020-03-13 연세대학교 산학협력단 피검사체의 뇌 활동을 재구성한 이미지 생성 장치 및 그 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018017467A1 (en) * 2016-07-18 2018-01-25 NantOmics, Inc. Distributed machine learning systems, apparatus, and methods
KR20190136825A (ko) * 2018-05-31 2019-12-10 가천대학교 산학협력단 가중 퍼지소속함수 기반의 퍼지 신경망을 이용한 우울증 진단을 위한 최적의 컨텐츠 판별 방법
US11593634B2 (en) * 2018-06-19 2023-02-28 Adobe Inc. Asynchronously training machine learning models across client devices for adaptive intelligence
US11636393B2 (en) * 2019-05-07 2023-04-25 Cerebri AI Inc. Predictive, machine-learning, time-series computer models suitable for sparse training sets

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102089014B1 (ko) * 2018-09-07 2020-03-13 연세대학교 산학협력단 피검사체의 뇌 활동을 재구성한 이미지 생성 장치 및 그 방법
KR102021515B1 (ko) * 2018-12-27 2019-09-16 (주)제이엘케이인스펙션 뇌혈관 질환 학습 장치, 뇌혈관 질환 검출 장치, 뇌혈관 질환 학습 방법 및 뇌혈관 질환 검출 방법

Also Published As

Publication number Publication date
KR20220094967A (ko) 2022-07-06
WO2022146050A1 (ko) 2022-07-07

Similar Documents

Publication Publication Date Title
Siqueira et al. Efficient facial feature learning with wide ensemble-based convolutional neural networks
Dawud et al. Application of deep learning in neuroradiology: brain haemorrhage classification using transfer learning
Amin et al. Multilevel weighted feature fusion using convolutional neural networks for EEG motor imagery classification
Pandey et al. An image augmentation approach using two-stage generative adversarial network for nuclei image segmentation
Gorban et al. How deep should be the depth of convolutional neural networks: a backyard dog case study
WO2020260936A1 (en) Medical image segmentation using an integrated edge guidance module and object segmentation network
US20210397954A1 (en) Training device and training method
Fang et al. DOG: A new background removal for object recognition from images
KR102306658B1 (ko) 이종 도메인 데이터 간의 변환을 수행하는 gan의 학습 방법 및 장치
KR102174379B1 (ko) 세그멘테이션을 수행하는 뉴럴 네트워크를 이용한 질병 진단 시스템 및 방법
KR102562377B1 (ko) 우울증 진단 정보를 제공하기 위한 인공지능 연합학습 방법 및 시스템
US20200134455A1 (en) Apparatus and method for training deep learning model
Droste et al. Ultrasound image representation learning by modeling sonographer visual attention
KR102236948B1 (ko) 준-지도학습을 이용하여 질병의 발병 영역에 대한 어노테이션을 수행하기 위한 방법 및 이를 수행하는 진단 시스템
Alnussairi et al. Malaria parasite detection using deep learning algorithms based on (CNNs) technique
Zhang et al. A comprehensive review on GANs for time-series signals
CN110704668B (zh) 基于网格的协同注意力vqa方法和装置
Sadik et al. Autismnet: Recognition of autism spectrum disorder from facial expressions using mobilenet architecture
Kramer et al. Reconstructing nonlinear dynamical systems from multi-modal time series
Maurya et al. Computer-aided diagnosis of auto-immune disease using capsule neural network
Dhawale et al. A review on deep learning applications
EP3819910A2 (en) Disease diagnosis system and method using multiple color models and neural network
CN111898465B (zh) 一种人脸识别模型的获取方法和装置
KR102297548B1 (ko) 신경망 모델을 이용한 정보 보호 방법 및 데이터처리장치
Dubey Usage of deep learning in recent applications

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant