KR20240015942A - 인간 뇌 네트워크 데이터 분석 방법 및 장치 - Google Patents

인간 뇌 네트워크 데이터 분석 방법 및 장치 Download PDF

Info

Publication number
KR20240015942A
KR20240015942A KR1020220093846A KR20220093846A KR20240015942A KR 20240015942 A KR20240015942 A KR 20240015942A KR 1020220093846 A KR1020220093846 A KR 1020220093846A KR 20220093846 A KR20220093846 A KR 20220093846A KR 20240015942 A KR20240015942 A KR 20240015942A
Authority
KR
South Korea
Prior art keywords
brain network
nodes
feature vector
feature vectors
graph
Prior art date
Application number
KR1020220093846A
Other languages
English (en)
Inventor
이종민
권혁진
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020220093846A priority Critical patent/KR20240015942A/ko
Publication of KR20240015942A publication Critical patent/KR20240015942A/ko

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4058—Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
    • A61B5/4064—Evaluating the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A61B5/0042—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Neurology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Neurosurgery (AREA)
  • Artificial Intelligence (AREA)
  • Primary Health Care (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Psychology (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

본 개시의 실시예에 따른 인간 뇌 네트워트 분석 장치는 인간의 뇌 영상을 기반으로 그래프 구조 데이터인 뇌 네트워크를 생성하는 뇌 네트워크 생성부; 상기 뇌 네트워크에 정의되어 있는 노드들 간의 연결정 정보에 기초하여, 상기 노드들의 특징 벡터를 결정하는 특징 벡터 결정부; 및 상기 결정된 특징 벡터들이 입력되면, 상기 입력 특징 벡터들을 대상으로 셀프 어텐션 기반의 계층적 그래프 풀링을 수행하여, 상기 뇌 네트워크 전체를 표현하는 하나의 특징 벡터를 출력하는 그래프 풀링부를 포함한다.

Description

인간 뇌 네트워크 데이터 분석 방법 및 장치{Method and device for analyzing human brain networks}
본 개시는 인간 뇌 네트워크 분석 방법 및 장치에 관한 것이다. 더욱 상세하게는 인간 뇌 네트워크가 가지는 특성을 고려하여 분석할 수 있는 인간 뇌 네트워크 분석 방법 및 장치에 관한 것이다.
인간의 뇌 영상에 근거하여 구조적 뇌 네트워크(structural brain networks) 또는 기능적 뇌 네트워크(functional brain networks)를 구축하고, 뇌 네트워크의 변화를 분석함으로써, 자폐증, 조현병, 알츠하이머 등의 뇌질환의 확률 또는 심각도를 예측하거나, 정상군과 질병군으로 분류하는 기술이 지속적으로 연구되어 오고 있다.
인간 뇌 네트워크를 분석하기 위한 인공지능 기반 모델로는 그래프 신경망(Graph Neural Network, GNN)을 예로 들 수 있다. 그래프 신경망은 노드(Node 또는 Vertex)와 엣지(Edge)로 이루어진, 그래프 구조 데이터(Graph-structured data)를 입력받아 처리하는 신경망이다. 뇌 네트워크의 경우, 각각의 노드들은 뇌에 존재하는 구분된 뇌 영역들을 의미하고, 엣지는 뇌 영역들 간의 구조적 연결성(Structural connectivity) 또는 기능적 연결성(Functional connectivity)을 의미한다.
GNN은 노드 레벨, 엣지 레벨 및 그래프 레벨에서 예측 및 분류를 수행할 수 있다. 구체적으로, 노드의 특징을 학습하고, 학습된 노드의 특징을 이용하여 노드 레벨에서 예측 및 분류를 수행한다. 또는 학습된 노드의 특징을 이용하여 그래프 전체를 표현하는 특징을 계산하고, 계산된 특징을 이용하여 그래프 레벨에서 예측 및 분류를 수행한다.
이처럼 GNN은 노드의 특징값을 학습하는 것을 목표로하기 때문에 각 노드별로 초기 특징값을 설정해야한다. 그런데 종래에는 전문지식을 가진 사람이 분석하고자 하는 질병의 종류에 따라 노드의 초기 특징값을 직접 설정하였다. 때문에 노드의 초기 특징값을 설정하는데 있어 개인의 주관이 반영된다는 문제가 있으며, 초기 특징값을 설정하는데 일괄적인 기준이 없어 초기 특징값을 설정하는 것이 용이하지 않다는 문제가 있다.
한편, 뇌 네트워크는 뇌 연결성이 계층적이고 희소하다는 특징을 갖는다. 뇌 연결성이란 뇌를 구성하는 각 뇌 영역들 간에 얼마나 잘 연결되어 있는가를 의미한다. 뇌 연결성이 계층적이라는 것은, 동일한 그룹에 속한 뇌 영역들 간에는 상호작용이 활발하지만, 다른 그룹에 속한 뇌 영역들과는 상호작용이 활발하지 않다는 것을 의미한다. 뇌 연결성이 희소하다는 것은, 임의의 뇌 영역이 나머지 뇌 영역들과 모두 상호작용하는 것이 아니라 소수의 특정 뇌 영역들과만 상호작용한다는 것을 의미한다. 그런데 뇌 네트워크를 분석하기 위한 종래의 신경망 모델들은 모든 뇌 영역들을 동등하게 고려하는 방식이므로, 뇌 네트워크를 분석하는데 있어 상술한 특징들을 고려하지 못한다는 한계가 있다.
공개번호: 10-2022-0056892 (발명의 명칭: 의료 영상 기반의 세그멘테이션 방법, 공개일자: 2020년 5월 9일)
본 개시는 상술한 필요성에 따라 안출된 것으로, 본 개시가 해결하고자 하는 과제는 인간 뇌 네트워크의 노드들의 초기 특징값을 딥러닝을 통해 설정할 수 있으며, 인간 뇌 네트워크가 가지는 특성을 고려하여 분석할 수 있는 인간 뇌 네트워크 분석 방법 및 장치를 제공하는 것이다.
본 개시가 해결하고자 하는 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위하여, 본 개시의 일 실시예에 따른 인간 뇌 네트워크 분석 장치는 인간의 뇌 영상을 기반으로 그래프 구조 데이터인 뇌 네트워크를 생성하는 뇌 네트워크 생성부; 상기 뇌 네트워크에 정의되어 있는 노드들 간의 연결정 정보에 기초하여, 상기 노드들의 특징 벡터를 결정하는 특징 벡터 결정부; 및 상기 결정된 특징 벡터들이 입력되면, 상기 입력 특징 벡터들을 대상으로 셀프 어텐션 기반의 계층적 그래프 풀링을 수행하여, 상기 뇌 네트워크 전체를 표현하는 하나의 특징 벡터를 출력하는 그래프 풀링부를 포함한다.
상기 특징 벡터 결정부는, 상기 뇌 네트워크를 라인 그래프(Line Graph)로 변환하여, 상기 뇌 네트워크의 노드 및 엣지를 각각 상기 라인 그래프의 엣지 및 노드로 표현하고, E2E(Edge-to-edge) 필터를 사용하여 공간적 그래프 합성곱(Spatial Graph Convolution)을 수행함으로써, 상기 라인 그래프의 노드들의 특징 벡터를 업데이트하고, 상기 라인 그래프의 노드들 중에서, 상기 뇌 네트워크의 각 노드와 관련된 라인 그래프의 노드들의 특징 벡터를 통합하여, 상기 뇌 네트워크의 각 노드의 특징 벡터를 결정한다.
상기 그래프 풀링부는, 상기 입력 특징 벡터들을 대상으로 셀프 어텐션을 수행하여, 상기 뇌 네트워크에서 중요도가 높은 노드의 특징이 강조된 특징 벡터를 획득하고, 상기 획득된 특징 벡터에 글로벌 풀링을 적용하여 풀링된 특징 벡터를 획득하고, 상기 풀링된 특징 벡터의 최댓값과 평균값을 연결하여 하나의 특징 벡터를 생성하고, 상기 셀프 어텐션 및 상기 글로벌 풀링을 m회 반복하여 얻은 m개의 특징 벡터를 모두 더하여, 상기 뇌 네트워크 전체를 표현하는 하나의 특징 벡터를 출력한다.
상기 그래프 풀링부는 상기 뇌 네트워크에서 중요도가 높은 노드의 특징이 강조된 특징 벡터를 획득함에 있어서, 상기 입력 특징 벡터들을 대상으로, 1회 또는 그보다 많은 횟수의 스펙트럼 기반의 그래프 합성곱을 수행한 후, 시그모이드 활성화 함수를 적용하여, 상기 뇌 네트워크의 노드마다 중요도를 계산하고, 상기 중요도가 높은 상위 k개의 노드를 선택하고, 상기 선택된 노드들의 중요도와 특징 벡터를 곱한 값을 상기 입력 특징 벡터들에 더한다.
상기 인간 뇌 네트워크 분석 장치는 상기 뇌 네트워크 전체를 표현하는 하나의 특징 벡터를 입력받아, 뇌질환의 종류 및 뇌질환의 심각도 중 적어도 하나를 예측하거나 분류하는 예측 분류부를 더 포함한다.
상기 예측 분류부는, 신경망 모델로서, 두 개의 은닉층(Hidden layer)를 포함하는 다층 퍼셉트론(Multilayer Perceptron) 모델을 포함한다.
상술한 과제를 해결하기 위하여, 본 개시의 일 실시예에 따른 인간 뇌 네트워크 분석 방법은 인간의 뇌 영상을 기반으로 그래프 구조 데이터인 뇌 네트워크를 생성하는 단계; 상기 뇌 네트워크에 정의되어 있는 노드들 간의 연결정 정보에 기초하여, 상기 노드들의 특징 벡터를 결정하는 단계; 및 상기 결정된 특징 벡터들이 입력되면, 상기 입력 특징 벡터들을 대상으로 셀프 어텐션 기반의 계층적 그래프 풀링을 수행하여, 상기 뇌 네트워크 전체를 표현하는 하나의 특징 벡터를 출력하는 단계를 포함한다.
상기 노드들의 특징 벡터를 결정하는 단계는, 상기 뇌 네트워크를 라인 그래프(Line Graph)로 변환하여, 상기 뇌 네트워크의 노드 및 엣지를 각각 상기 라인 그래프의 엣지 및 노드로 표현하는 단계; E2E(Edge-to-edge) 필터를 사용하여 공간적 그래프 합성곱(Spatial Graph Convolution)을 수행함으로써, 상기 라인 그래프의 노드들의 특징 벡터를 업데이트하는 단계; 및 상기 라인 그래프의 노드들 중에서, 상기 뇌 네트워크의 각 노드와 관련된 라인 그래프의 노드들의 특징 벡터를 통합하여, 상기 뇌 네트워크의 각 노드의 특징 벡터를 결정하는 단계를 포함한다.
상기 뇌 네트워크 전체를 표현하는 하나의 특징 벡터를 출력하는 단계는, 상기 입력 특징 벡터들을 대상으로 셀프 어텐션을 수행하여, 상기 뇌 네트워크에서 중요도가 높은 노드의 특징이 강조된 특징 벡터를 획득하는 단계; 상기 획득된 특징 벡터에 글로벌 풀링을 적용하여 풀링된 특징 벡터를 획득하는 단계; 상기 풀링된 특징 벡터의 최댓값과 평균값을 연결하여 하나의 특징 벡터를 생성하는 단계; 및 상기 셀프 어텐션 및 상기 글로벌 풀링을 m회 반복하여 얻은 m개의 특징 벡터를 모두 더하여, 상기 뇌 네트워크 전체를 표현하는 하나의 특징 벡터를 출력하는 단계를 포함한다.
상기 뇌 네트워크에서 중요도가 높은 노드의 특징이 강조된 특징 벡터를 획득하는 단계는, 상기 입력 특징 벡터들을 대상으로, 1회 또는 그보다 많은 횟수의 스펙트럼 기반의 그래프 합성곱을 수행한 후, 시그모이드 활성화 함수를 적용하여, 상기 뇌 네트워크의 노드마다 중요도를 계산하는 단계; 상기 중요도가 높은 상위 k개의 노드를 선택하는 단계; 및 상기 선택된 노드들의 중요도와 특징 벡터를 곱한 값을 상기 입력 특징 벡터들에 더하는 단계를 포함한다.
상기 인간 뇌 네트워크 분석 방법은 상기 뇌 네트워크 전체를 표현하는 하나의 특징 벡터를 입력받아, 뇌질환의 종류 및 뇌질환의 심각도 중 적어도 하나를 예측 또는 분류하는 단계를 더 포함한다.
상기 예측 또는 분류를 위한 신경망 모델은, 두 개의 은닉층(Hidden layer)를 포함하는 다층 퍼셉트론(Multilayer Perceptron) 모델을 포함한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 개시의 실시예들에 따르면, 뇌 네트워크의 노드들 간의 연결성 정보만으로도 딥러닝을 통해 각 노드들의 특징 벡터를 결정할 수 있으므로, 각 노드들의 특징값을 설정하는데 있어 사람의 주관이 반영되는 것을 방지할 수 있다.
본 개시의 실시예들에 따르면, 뇌 네트워크 전체를 표현하는 하나의 특징 벡터를 생성할 때, 셀프 어텐션 기반의 계층적 그래프 풀링을 적용함으로써, 뇌 네트워크가 가지는 계층적 특징을 고려할 수 있다.
본 개시의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 개시의 일 실시예에 따른 인간 뇌 네트워크 분석 장치의 구성을 도시한 도면이다.
도 2는 도 1에 도시된 특징 벡터 결정부의 동작을 설명하기 위한 도면이다.
도 3은 도 1에 도시된 그래프 풀링부의 동작을 설명하기 위한 도면이다.
도 4는 본 개시의 일 실시예에 따른 인간 뇌 네트워크 분석 방법을 도시한 순서도이다.
본 개시의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 개시는 이하에서 게시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다. 단지 본 실시예들은 본 개시가 완전하도록 하고, 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 개시는 청구항의 범주에 의해 정의될 뿐이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 개시를 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 출입문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
이하, 첨부된 도면들을 참조하여 본 개시의 실시예들을 설명한다. 도면에서 동일한 도면 부호는 동일한 구성요소를 나타낸다.
도 1은 본 개시의 일 실시예에 따른 인간 뇌 네트워크 분석 장치의 구성을 도시한 도면이다.
도 1을 참조하면, 인간 뇌 네트워크 분석 장치(100)는 뇌 네트워크 생성부(110), 특징 벡터 결정부(120), 그래프 풀링부(130) 및 예측 분류부(140)를 포함한다.
뇌 네트워크 생성부(110)는 인간의 뇌 영상을 기반으로 그래프 구조 데이터인 뇌 네트워크를 생성한다. 인간의 뇌 영상은 자기공명영상장치를 통해 획득된 자기공명영상(Magnetic Resonance Imaging, MRI)일 수 있다. 뇌 네트워크에서 각각의 노드들은 뇌에 존재하는 구분된 뇌 영역들을 의미한다. 그리고 노드와 노드를 연결하는 엣지는 뇌 영역들 간의 구조적 연결성(Structural connectivity) 또는 기능적 연결성(Functional connectivity)을 의미한다. 구조적 연결성은 신경세포(neuron)와 신경세포에서 길에 뻗어나온 가지인 축삭돌기(axon)에 근거하여 결정될 수 있다. 기능적 연결성은 각각의 뇌 영역에서 뇌파를 검출하고, 검출된 뇌파들 간의 동조율에 근거하여 결정될 수 있다. 즉, 동조율이 높으면 연결성이 있고, 동조율이 낮으면 연결성이 낮거나 없는 것으로 분석될 수 있다. 이러한 방식으로 생성된 뇌 네트워크는, 노드들 간의 연결성 정보(연결성 값)는 정의된 상태이지만, 각 노드들의 특징 정보(특징값)은 정의되지 않은 상태이다. 따라서 각 노드의 특징값을 결정하기 위하여, 뇌 네트워크는 특징 벡터 결정부(120)로 제공된다.
특징 벡터 결정부(120)는 뇌 네트워크에서 노드들 간의 연결성 정보에 기초하여, 각 노드의 특징 벡터를 결정한다. 이를 위해 특징 벡터 결정부(120)는 신경망 모델 예를 들어, 메시지 전달 기반 신경망(Message Passing Neural Networks, MPNN)을 포함할 수 있다. 뇌 네트워크가 n개의 노드를 포함한다고 했을 때, 노드와 노드 간의 연결관계를 나타내는 인접 행렬(Adjacency Matrix)은 n×n의 크기를 갖는다. 만약, i번째 노드와 j번째 노드 간에 연결성이 있으면, 인접 행렬의 (i, j)에는 1이 기록되고, 연결성이 없다면 0이 기록된다. 특징 벡터 결정부(120)는 이러한 n×n 크기의 행렬을 입력받는다. 그리고 특징 벡터 결정부(120)는 각 노드마다 d차원의 특징 벡터를 가지는, n×d 차원의 특징 벡터를 출력한다. 여기서, 특징 벡터 결정부(120)의 동작을 보다 구체적으로 설명하기 위해 도 2를 참조하기로 한다.
도 2를 참조하면, 특징 벡터 결정부(120)는 우선 뇌 네트워크를 라인 그래프(Line Graph)로 변환한다. 라인 그래프로의 변환이 완료되면, 뇌 네트워크에서의 엣지는 라인 그래프에서 노드로 표현되고, 뇌 네트워크에서의 노드는 라인 그래프에서 엣지로 표현된다. 도 2의 첫 번째 그림에 예시된 바와 같이, A, B, C, D, E의 5개의 노드를 포함하는 뇌 네트워크를 라인 그래프로 변환하면, 도 2의 두 번째 그림에 예시된 바와 같은 라인 그래프를 얻을 수 있다. 구체적으로, 뇌 네트워크에서 노드 A와 노드 C를 연결하는 엣지는, 라인 그래프에서 노드 AC로 표현된 것을 알 수 있다. 그리고 뇌 네트워크에서 노드 A와 노드 B를 연결하는 엣지는, 라인 그래프에서 노드 AB로 표현된 것을 알 수 있다. 또한, 뇌 네트워크에서 노드 A와 노드 C를 연결하는 엣지와, 노드 A와 노드 B를 연결하는 엣지의 사이에 존재하는 노드 A는, 라인 그래프에서 노드 AC와 노드 AB를 연결하는 엣지로 표현된 것을 알 수 있다. 라인 그래프의 노드들은 뇌 네트워크에서의 연결성 정보(연결성 값)를 초기 특징값으로 갖는다.
이후, 특징 벡터 결정부(120)는 E2E 필터(Edge-to-edge 필터)를 사용하여 공간적 그래프 합성곱(Spatial Graph Convolution)을 수행함으로써, 라인 그래프의 노드들의 특징값을 업데이트한다. 이때, 공간적 그래프 합성곱은 적어도 한 번 이상 수행될 수 있다.
이후, 특징 벡터 결정부(120)는 E2N 필터(Edge-to-node 필터)를 사용하여 뇌 네트워크의 특정 노드와 관련된 라인 그래프의 노드들의 특징 벡터를 통합(Aggregate)함으로써, 상기 뇌 네트워크의 특정 노드의 특징 벡터를 결정한다. 예를 들어, 뇌 네트워크에서 노드 B의 특징 벡터를 결정하기 위해서는, 라인 그래프의 노드들 중에서 뇌 네트워크의 노드 B와 관련된 노드들 즉, 노드 AB, 노드 BC, 노드 BD 및 노드 BE의 특징 벡터를 통합한다. 다른 예로, 뇌 네트워크에서 노드 A의 특징 벡터를 결정하기 위해서는, 라인 그래프의 노드들 중에서 뇌 네트워크의 노드 A와 관련된 노드들 즉, 노드 AB 및 노드 AC의 특징 벡터를 통합한다. 특징 벡터 결정부(120)는 이러한 방식으로 뇌 네트워크의 모든 노드에 대하여 특징 벡터를 결정한다. 상기 특징 벡터는 잠재 벡터(Latent vector), 잠재 특징(Latent feature), 잠재 특징 벡터(Latent feature vector), 표현(Representation) 또는 임베딩(Embedding) 등으로 지칭될 수도 있다.
한편, 특징 벡터 결정부(120)는 E2E 필터를 적용하는 과정 및 E2N 필터를 적용하는 과정을 미리 지정된 기준 횟수만큼 반복하여, 뇌 네트워크의 모든 노드들마다 d차원의 특징 벡터를 결정한다. 여기서, d는 특징의 개수를 의미한다. 도 2의 네 번째 그림은, 네트워크의 모든 노드들마다 8개의 특징 벡터 즉, 8차원의 특징 벡터가 결정된 모습을 보여주고 있다. 이러한 방식으로 결정된 특징 벡터들은 후술될 그래프 풀링부(130)로 입력된다.
다시 도 1을 참조하면, 그래프 풀링부(130)는 신경망 모델 예를 들어, 그래프 신경망 모델(Graph Neural Netwokr, GNN)을 포함할 수 있다. 상기 신경망 모델은 그래프 풀링을 통해 노드 임베딩(Node embedding)으로부터 그래프 임베딩(Graph embedding)을 얻는다. 실시예에 따르면, 상기 신경망 모델은, 입력된 특징 벡터들을 대상으로 셀프 어텐션(self attention) 기반의 계층적 그래프 풀링(Graph Pooling)을 수행하여, 뇌 네트워크 전체를 요약하는 하나의 특징 벡터를 출력한다. 셀프 어텐션 기반의 계층적 그래프 풀링이란, 셀프 어텐션과 그래프 풀링을 포함하는 과정으로 이해될 수 있다. 또한, 셀프 어텐션은 뇌 네트워크가 가지는 계층적 특징을 고려하기 위한 것일 수 있다. 즉, 뇌 네트워크에서 상호작용이 활발한 노드들(커뮤니티 단위, 또는 모듈 단위) 위주로 특징 벡터를 통합하고, 통합된 특징 벡터들을 다시 고려하기 위한 것일 수 있다. 이처럼 셀프 어텐션을 적용하면, 뇌 네트워크의 모든 노드들의 특징 벡터를 동등하게 고려하는 기존 방식에 비하여 뇌 네트워크가 가지는 계층적 특징을 고려할 수 있다. 여기서, 그래프 풀링부(130)의 동작을 보다 구체적으로 설명하기 위해 도 3을 참조하기로 한다.
도 3을 참조하면, 그래프 풀링부(130)는 우선, n×d 차원의 특징 벡터를 입력받는다. 그 다음, 입력 특징 벡터를 대상으로 1회 또는 그보다 많은 횟수의 스펙트럼 기반의 그래프 합성곱을 수행한 후, 시그모이드 활성화 함수(Sigmoid activation function)를 적용하여, 뇌 네트워크의 노드마다 중요도를 계산한다. 이후, 중요도가 높은 상위 k개의 노드를 선택한다. 그 다음, 선택된 노드들의 중요도와 상기 선택된 노드들의 입력 특징 벡터를 곱한다. 그 결과, k×d 차원의 특징 벡터가 획득된다. 획득된 특징 벡터들은 입력 특징 벡터에 더해진다. 그 결과, 뇌 네트워크에서 중요도가 높은 노드의 특징은 중요도가 낮은 노드의 특징에 비하여 상대적으로 강조된다. 도 3에서, 스펙트럼 기반의 그래프 합성곱이 수행되기 전의 뇌 네트워크와, 시그모이드 활성화 함수가 적용된 후의 뇌 네트워크를 비교하면, 노드 B와 노드 C의 특징이 상대적으로 가장 많이 강조되어 있고(특징 벡터가 검정색으로 표시되어 있음), 노드 D의 특징>노드 A의 특징>노드 E의 순서로 강조 정도가 낮아지는 것을 알 수 있다.
상술한 바와 같은 셀프 어텐션이 완료되면, 그래프 풀링부(130)는 셀프 어텐션으로 획득된 특징 벡터에 글로벌 풀링을 적용하여, 풀링된 특징 벡터를 얻는다. 구체적으로, 그래프 풀링부(130)는 셀프 어텐션으로 획득된 특징 벡터의 최댓값(d×1)과 평균값(d×1)을 각각 계산한다. 그 다음, 계산된 최댓값(d×1)과 평균값(d×1)을 연결(concatenate)하여, 2d×1 차원의 특징 벡터를 생성한다.
도 3에 도시된, 셀프 어텐션 기반의 그래프 풀링은 기준 횟수만큼 반복하여 수행될 수 있다. 기준 횟수는 사전에 설정될 수 있으며, 연구자에 의해 변경 가능하도록 구현될 수 있다. 예를 들어, 기준 횟수가 m번이라면, 그래프 풀링부(130)에서는 2d×1 차원의 특징 벡터 m개가 생성된다. 그래프 풀링부(130)는 2d×1 차원의 특징 벡터 m개를 모두 더하여, 뇌 네트워크 전체를 표현하는 하나의 특징 벡터를 출력한다. 출력된 특징 벡터는 후술될 예측 분류부(140)로 입력된다.
이상의 설명에서는, 계층적 그래프 풀링 방식으로써, Top-k 풀링(중요도가 높은 k개의 노드를 선택하고, 선택된 노드들을 대상으로 다시 중요도를 계산하는 방식)을 예로 들어 설명하였다. 다른 실시예에 따르면, 계층적 그래프 풀링 방식으로써, 모듈화 방식이 사용될 수도 있다. 좀 더 구체적인 설명을 위해, 노드 A, B, C, D, E 중에서 노드 B, C, D가 서로 상호작용이 활발하여 모듈(또는 커뮤니티)을 이룬다고 가정하자. 이 경우, 해당 모듈에 속하는 노드 B, C, D를 줄여서 새로운 노드 F를 만든다. 그 다음, 노드 A, E, F를 대상으로 상호작용 정도를 분석한다. 분석 결과, 노드 A, E, F 모두 서로 간의 상호작용이 활발하다면, 노드 A, E, F를 줄여서 새로운 노드 H를 만들 수 있다. 만약, 노드 A, E, F 중에서 노드 A, E 간이 상호작용이 활발하여 모듈(또는 커뮤니티)을 이룬다면, 해당 모듈에 속하는 노드 A, E를 줄여서 새로은 노드 H를 만든다.
다시 도 1을 참조하면, 예측 분류부(140)는 입력된 특징 벡터에 근거하여 예측 및 분류 중 적어도 하나를 수행한다. 즉, 입력된 특징 벡터에 근거하여, 자폐증, 조현병, 알츠하이머 등의 뇌질환의 종류 및/또는 뇌질환의 심각도를 예측하거나 분류한다.
이를 위하여 예측 분류부(140)는 신경망 모델로서, 두 개의 은닉층(Hidden layer)를 포함하는 다층 퍼셉트론(Multilayer Perceptron) 모델을 포함할 수 있다. 상기 신경망 모델이 분류 작업에 이용되는 경우, 상기 신경망 모델은 각 클래스에 대한 확률을 출력한다. 상기 신경망 모델이 예측 작업에 이용되는 경우, 상기 신경망 모델은 실제로 예측하려는 값을 출력한다.
한편, 상기 신경망 모델의 학습이 완료되면, 네트워크에서 학습된 파라미터를 통해 해당 분류 또는 해당 예측에 있어서, 가장 기여도가 높은 연결성 정보를 특정하여 연구자에게 제공할 수 있다. 예를 들어, 자폐증의 심각도를 예측하는 신경망 모델의 학습이 완료되면, 상기 신경망 모델의 학습된 파라미터들에 근거하여, 자폐의 증상에 영향을 많이 끼치는 연결성 정보를 특정할 수 있다. 특정된 연결 정보는 뇌질환 관련 인자, 뇌질환 유발 인자, 또는 뇌질환 예후 인자로서 연구자에게 제시될 수 있다. 상기 인자는 자폐증의 치료 및 예방과 관련된 다양한 연구들의 지표로 활용되거나 바이오마커 발굴에 활용될 수 있다.
이상, 도 1 내지 도 3을 참조하여 본 개시의 일 실시예에 따른 인간 뇌 네트워크 분석 장치(100)에 대해서 설명하였다. 도 1에 도시된 구성요소들 중에서 일부 구성요소들은 생략되거나, 다른 구성요소로 대체될 수 있다. 일 예로, 뇌 네트워크 생성부(110) 및 예측 분류부(140) 중에서 적어도 하나는 생략될 수 있다. 다른 예로, 예측 분류부(140)는 예측 작업만을 수행하는 예측부로 대체되거나, 분류 작업만을 수행하는 분류부로 대체될 수 있다.
도 4는 본 개시의 일 실시예에 따른 인간 뇌 네트워크 분석 방법을 도시한 순서도이다.
우선, 인간의 뇌 영상을 기반으로 그래프 구조 데이터인 뇌 네트워크를 생성한다(S910). 상기 뇌 네트워크는 노드와 엣지로 표현되는데 각각의 노드는 뇌에 존재하는 구분된 뇌 영역들을 의미하고, 노드와 노드를 연결하는 엣지는 뇌 영역들 간의 구조적 연결성 또는 기능적 연결성을 의미한다. 상기 뇌 네트워크는 노드들 간의 연결성 정보는 정의된 상태이지만, 각 노드들의 특징은 정의되지 않은 상태이다.
이후, 뇌 네트워크의 노드들 간의 연결성 정보에 기초하여 각 노드들의 특징 벡터를 결정한다(S920). 상기 S920 단계는, 뇌 네트워크를 라인 그래프로 변환하여, 뇌 네트워크의 노드 및 엣지를 각각 라인 그래프의 엣지 및 노드로 표현하는 단계, E2E 필터를 사용하여 공간적 그래프 합성곱(Spatial Graph Convolution)을 수행하여, 라인 그래프의 노드들의 특징 벡터를 업데이트하는 단계, 라인 그래프의 전체 노드들 중에서, 뇌 네트워크의 노드와 관련된 라인 그래프의 노드들의 특징 벡터를 통합하여, 뇌 네트워크의 노드의 특징 벡터를 결정하는 단계를 포함한다.
이후, 결정된 특징 벡터들 즉, 뇌 네트워크 노드들의 특징 벡터들을 대상으로 셀프 어텐션 기반의 계층적 그래프 풀링을 수행하여, 뇌 네트워크 전체를 표현하는 하나의 특징 벡터를 출력한다(S930). 상기 S930 단계는, 입력 특징 벡터들을 대상으로 셀프 어텐션을 수행하여, 뇌 네트워크에서 중요도가 높은 노드의 특징이 강조된 특징 벡터를 획득하는 단계, 상기 특징 벡터에 글로벌 풀링을 적용하여 풀링된 특징 벡터를 획득하고, 상기 풀링된 특징 벡터의 최댓값과 평균값을 연결하여, 하나의 특징 벡터를 생성하는 단계, 상기 셀프 어텐션 및 상기 글로벌 풀링을 m회 반복하여 얻은 m개의 특징 벡터를 모두 더하여, 뇌 네트워크 전체를 표현하는 하나의 특징 벡터를 출력하는 단계를 포함한다.
여기서, 뇌 네트워크에서 중요도가 높은 노드의 특징이 강조된 특징 벡터를 획득하는 단계는, 입력 특징 벡터들을 대상으로, 1회 또는 그보다 많은 횟수의 스펙트럼 기반의 그래프 합성곱을 수행한 후, 시그모이드 활성화 함수를 적용하여, 뇌 네트워크의 노드마다 중요도를 계산하는 단계, 중요도가 높은 상위 k개의 노드를 선택하는 단계, 선택된 노드들의 중요도와 특징 벡터를 곱한 값을 입력 특징 벡터들에 더하는 단계를 포함한다.
이후, 뇌 네트워크 전체를 표현하는 특징 벡터에 근거하여, 예측 및 분류 중 적어도 하나를 수행한다(S940).
이상으로, 본 개시의 실시예들을 설명하였다. 전술한 설명에서 도 1의 인간 뇌 분석 장치를 구성하는 구성요소들은 모듈로 구현될 수 있다. 모듈은 소프트웨어 또는 Field Programmable Gate Array(FPGA)나 주문형 반도체(Application Specific Integrated Circuit, ASIC)와 같은 하드웨어 구성요소를 의미하며, 모듈은 어떤 역할들을 수행한다. 그렇지만 모듈은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. 모듈은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다.
따라서, 일 예로서 모듈은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 모듈들에서 제공되는 기능은 더 작은 수의 구성요소들 및 모듈들로 결합되거나 추가적인 구성요소들과 모듈들로 더 분리될 수 있다.
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록매체를 포함한다. 예를 들어, ROM(read only memory), RAM(random access memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다.
또한, 컴퓨터가 읽을 수 있는 기록매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 기록 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트폰들) 간에 직접 배포되거나, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 기록 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
이상과 첨부된 도면을 참조하여 본 개시에 따른 실시예들을 설명하였다. 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자는 본 개시가 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
100: 인간 뇌 네트워크 분석 장치
110: 뇌 네트워크 생성부
120: 특징 벡터 결정부
130: 그래프 풀링부
140: 예측 분류부

Claims (13)

  1. 인간의 뇌 영상을 기반으로 그래프 구조 데이터인 뇌 네트워크를 생성하는 뇌 네트워크 생성부;
    상기 뇌 네트워크에 정의되어 있는 노드들 간의 연결정 정보에 기초하여, 상기 노드들의 특징 벡터를 결정하는 특징 벡터 결정부; 및
    상기 결정된 특징 벡터들이 입력되면, 상기 입력 특징 벡터들을 대상으로 셀프 어텐션 기반의 계층적 그래프 풀링을 수행하여, 상기 뇌 네트워크 전체를 표현하는 하나의 특징 벡터를 출력하는 그래프 풀링부를 포함하는,
    인간 뇌 네트워트 분석 장치.
  2. 제1항에 있어서,
    상기 특징 벡터 결정부는,
    상기 뇌 네트워크를 라인 그래프(Line Graph)로 변환하여, 상기 뇌 네트워크의 노드 및 엣지를 각각 상기 라인 그래프의 엣지 및 노드로 표현하고,
    E2E(Edge-to-edge) 필터를 사용하여 공간적 그래프 합성곱(Spatial Graph Convolution)을 수행함으로써, 상기 라인 그래프의 노드들의 특징 벡터를 업데이트하고,
    상기 라인 그래프의 노드들 중에서, 상기 뇌 네트워크의 각 노드와 관련된 라인 그래프의 노드들의 특징 벡터를 통합하여, 상기 뇌 네트워크의 각 노드의 특징 벡터를 결정하는,
    인간 뇌 네트워크 분석 장치.
  3. 제1항에 있어서,
    상기 그래프 풀링부는,
    상기 입력 특징 벡터들을 대상으로 셀프 어텐션을 수행하여, 상기 뇌 네트워크에서 중요도가 높은 노드의 특징이 강조된 특징 벡터를 획득하고,
    상기 획득된 특징 벡터에 글로벌 풀링을 적용하여 풀링된 특징 벡터를 획득하고,
    상기 풀링된 특징 벡터의 최댓값과 평균값을 연결하여 하나의 특징 벡터를 생성하고,
    상기 셀프 어텐션 및 상기 글로벌 풀링을 m회 반복하여 얻은 m개의 특징 벡터를 모두 더하여, 상기 뇌 네트워크 전체를 표현하는 하나의 특징 벡터를 출력하는,
    인간 뇌 네트워크 분석 장치.
  4. 제3항에 있어서,
    상기 그래프 풀링부는 상기 뇌 네트워크에서 중요도가 높은 노드의 특징이 강조된 특징 벡터를 획득함에 있어서,
    상기 입력 특징 벡터들을 대상으로, 1회 또는 그보다 많은 횟수의 스펙트럼 기반의 그래프 합성곱을 수행한 후, 시그모이드 활성화 함수를 적용하여, 상기 뇌 네트워크의 노드마다 중요도를 계산하고,
    상기 중요도가 높은 상위 k개의 노드를 선택하고,
    상기 선택된 노드들의 중요도와 특징 벡터를 곱한 값을 상기 입력 특징 벡터들에 더하는,
    인간 뇌 네트워크 분석 장치.
  5. 제1항에 있어서,
    상기 뇌 네트워크 전체를 표현하는 하나의 특징 벡터를 입력받아, 뇌질환의 종류 및 뇌질환의 심각도 중 적어도 하나를 예측하거나 분류하는 예측 분류부를 더 포함하는,
    인간 뇌 네트워크 분석 장치.
  6. 제5항에 있어서,
    상기 예측 분류부는,
    신경망 모델로서, 두 개의 은닉층(Hidden layer)를 포함하는 다층 퍼셉트론(Multilayer Perceptron) 모델을 포함하는,
    인간 뇌 네트워트 분석 장치.
  7. 인간의 뇌 영상을 기반으로 그래프 구조 데이터인 뇌 네트워크를 생성하는 단계;
    상기 뇌 네트워크에 정의되어 있는 노드들 간의 연결정 정보에 기초하여, 상기 노드들의 특징 벡터를 결정하는 단계; 및
    상기 결정된 특징 벡터들이 입력되면, 상기 입력 특징 벡터들을 대상으로 셀프 어텐션 기반의 계층적 그래프 풀링을 수행하여, 상기 뇌 네트워크 전체를 표현하는 하나의 특징 벡터를 출력하는 단계를 포함하는,
    인간 뇌 네트워트 분석 방법.
  8. 제7항에 있어서,
    상기 노드들의 특징 벡터를 결정하는 단계는,
    상기 뇌 네트워크를 라인 그래프(Line Graph)로 변환하여, 상기 뇌 네트워크의 노드 및 엣지를 각각 상기 라인 그래프의 엣지 및 노드로 표현하는 단계;
    E2E(Edge-to-edge) 필터를 사용하여 공간적 그래프 합성곱(Spatial Graph Convolution)을 수행함으로써, 상기 라인 그래프의 노드들의 특징 벡터를 업데이트하는 단계; 및
    상기 라인 그래프의 노드들 중에서, 상기 뇌 네트워크의 각 노드와 관련된 라인 그래프의 노드들의 특징 벡터를 통합하여, 상기 뇌 네트워크의 각 노드의 특징 벡터를 결정하는 단계를 포함하는,
    인간 뇌 네트워크 분석 방법.
  9. 제7항에 있어서,
    상기 뇌 네트워크 전체를 표현하는 하나의 특징 벡터를 출력하는 단계는,
    상기 입력 특징 벡터들을 대상으로 셀프 어텐션을 수행하여, 상기 뇌 네트워크에서 중요도가 높은 노드의 특징이 강조된 특징 벡터를 획득하는 단계;
    상기 획득된 특징 벡터에 글로벌 풀링을 적용하여 풀링된 특징 벡터를 획득하는 단계;
    상기 풀링된 특징 벡터의 최댓값과 평균값을 연결하여 하나의 특징 벡터를 생성하는 단계; 및
    상기 셀프 어텐션 및 상기 글로벌 풀링을 m회 반복하여 얻은 m개의 특징 벡터를 모두 더하여, 상기 뇌 네트워크 전체를 표현하는 하나의 특징 벡터를 출력하는 단계를 포함하는,
    인간 뇌 네트워크 분석 방법.
  10. 제9항에 있어서,
    상기 뇌 네트워크에서 중요도가 높은 노드의 특징이 강조된 특징 벡터를 획득하는 단계는,
    상기 입력 특징 벡터들을 대상으로, 1회 또는 그보다 많은 횟수의 스펙트럼 기반의 그래프 합성곱을 수행한 후, 시그모이드 활성화 함수를 적용하여, 상기 뇌 네트워크의 노드마다 중요도를 계산하는 단계;
    상기 중요도가 높은 상위 k개의 노드를 선택하는 단계; 및
    상기 선택된 노드들의 중요도와 특징 벡터를 곱한 값을 상기 입력 특징 벡터들에 더하는 단계를 포함하는,
    인간 뇌 네트워크 분석 방법.
  11. 제7항에 있어서,
    상기 뇌 네트워크 전체를 표현하는 하나의 특징 벡터를 입력받아, 뇌질환의 종류 및 뇌질환의 심각도 중 적어도 하나를 예측 또는 분류하는 단계를 더 포함하는,
    인간 뇌 네트워크 분석 방법.
  12. 제11항에 있어서,
    상기 예측 또는 분류를 위한 신경망 모델은,
    두 개의 은닉층(Hidden layer)를 포함하는 다층 퍼셉트론(Multilayer Perceptron) 모델을 포함하는,
    인간 뇌 네트워트 분석 방법.
  13. 인간의 뇌 영상을 기반으로 그래프 구조 데이터인 뇌 네트워크를 생성하는 단계;
    상기 뇌 네트워크에 정의되어 있는 노드들 간의 연결정 정보에 기초하여, 상기 노드들의 특징 벡터를 결정하는 단계; 및
    상기 결정된 특징 벡터들이 입력되면, 상기 입력 특징 벡터들을 대상으로 셀프 어텐션 기반의 계층적 그래프 풀링을 수행하여, 상기 뇌 네트워크 전체를 표현하는 하나의 특징 벡터를 출력하는 단계를 포함하는,
    인간 뇌 네트워크 방법을 실행시키기 위한 명령어를 포함하는 프로그램이 기록된, 비일시적 인 컴퓨터 판독 가능한 기록 매체.
KR1020220093846A 2022-07-28 2022-07-28 인간 뇌 네트워크 데이터 분석 방법 및 장치 KR20240015942A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220093846A KR20240015942A (ko) 2022-07-28 2022-07-28 인간 뇌 네트워크 데이터 분석 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220093846A KR20240015942A (ko) 2022-07-28 2022-07-28 인간 뇌 네트워크 데이터 분석 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20240015942A true KR20240015942A (ko) 2024-02-06

Family

ID=89858470

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220093846A KR20240015942A (ko) 2022-07-28 2022-07-28 인간 뇌 네트워크 데이터 분석 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20240015942A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118096776A (zh) * 2024-04-29 2024-05-28 北京邮电大学 一种基于异质图同构网络的孤独症脑影像识别方法和装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220056892A (ko) 2020-10-28 2022-05-09 주식회사 뷰노 의료 영상 기반의 세그먼테이션 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220056892A (ko) 2020-10-28 2022-05-09 주식회사 뷰노 의료 영상 기반의 세그먼테이션 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118096776A (zh) * 2024-04-29 2024-05-28 北京邮电大学 一种基于异质图同构网络的孤独症脑影像识别方法和装置

Similar Documents

Publication Publication Date Title
JP7417640B2 (ja) リアルタイム映像超高解像度
TW201947464A (zh) 用於離散化深度神經網路的量化的連續鬆弛
CN111242071B (zh) 一种基于锚框的注意力遥感图像目标检测方法
US11526722B2 (en) Data analysis apparatus, data analysis method, and data analysis program
US11514694B2 (en) Teaching GAN (generative adversarial networks) to generate per-pixel annotation
CN111091175A (zh) 神经网络模型训练方法、分类方法、装置和电子设备
JP2018513507A (ja) 人工ニューラルネットワークの関連性スコア割当て
JP2018506785A (ja) モデル圧縮および微調整
US11586924B2 (en) Determining layer ranks for compression of deep networks
CN113570029A (zh) 获取神经网络模型的方法、图像处理方法及装置
JP2017097718A (ja) 識別処理装置、識別システム、識別処理方法、およびプログラム
CN113723438A (zh) 分类模型校准
KR20200052440A (ko) 전자 장치 및 전자 장치의 제어 방법
CN113963200A (zh) 模态数据融合处理方法、装置、设备及存储介质
KR20240015942A (ko) 인간 뇌 네트워크 데이터 분석 방법 및 장치
JP7188856B2 (ja) 動的な画像解像度評価
CN112420125A (zh) 分子属性预测方法、装置、智能设备和终端
KR20180056013A (ko) 나노 물질의 독성을 예측하는 방법 및 장치
CN111462817B (zh) 一种分类模型构建方法、装置、分类模型及分类方法
Lima et al. Automatic design of deep neural networks applied to image segmentation problems
US11670403B2 (en) Method and apparatus for generating chemical structure using neural network
CN115641474A (zh) 基于高效学生网络的未知类型缺陷检测方法与装置
KR102454742B1 (ko) 뇌 피질 영역의 두께를 분석하는 방법
JP7438544B2 (ja) ニューラルネットワーク処理装置、コンピュータプログラム、ニューラルネットワーク製造方法、ニューラルネットワークデータの製造方法、ニューラルネットワーク利用装置、及びニューラルネットワーク小規模化方法
KR20230156911A (ko) 비디오 프로세싱을 위한 효율적인 셀프-어텐션

Legal Events

Date Code Title Description
E902 Notification of reason for refusal