KR20230120551A - Dementia prediction method based on 2-dimensional magnetic resonance imaging and analysis apparatus - Google Patents

Dementia prediction method based on 2-dimensional magnetic resonance imaging and analysis apparatus Download PDF

Info

Publication number
KR20230120551A
KR20230120551A KR1020220141115A KR20220141115A KR20230120551A KR 20230120551 A KR20230120551 A KR 20230120551A KR 1020220141115 A KR1020220141115 A KR 1020220141115A KR 20220141115 A KR20220141115 A KR 20220141115A KR 20230120551 A KR20230120551 A KR 20230120551A
Authority
KR
South Korea
Prior art keywords
interest
region
regions
mri
dementia
Prior art date
Application number
KR1020220141115A
Other languages
Korean (ko)
Other versions
KR102608203B1 (en
Inventor
서상원
장혜민
박채정
구윤아
Original Assignee
사회복지법인 삼성생명공익재단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 사회복지법인 삼성생명공익재단 filed Critical 사회복지법인 삼성생명공익재단
Priority to PCT/KR2023/001929 priority Critical patent/WO2023153839A1/en
Publication of KR20230120551A publication Critical patent/KR20230120551A/en
Application granted granted Critical
Publication of KR102608203B1 publication Critical patent/KR102608203B1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/40Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A61B5/0042Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the brain
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/40Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4058Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
    • A61B5/4064Evaluating the brain
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7275Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30016Brain

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Neurology (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Neurosurgery (AREA)
  • Theoretical Computer Science (AREA)
  • Psychology (AREA)
  • Psychiatry (AREA)
  • Hospice & Palliative Care (AREA)
  • Artificial Intelligence (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Signal Processing (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Quality & Reliability (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Geometry (AREA)

Abstract

2차원 MRI를 이용한 치매 예측 방법은 분석장치가 대상자의 2D MRI 슬라이스들을 입력받는 단계, 상기 분석장치가 상기 2D MRI 슬라이스들을 세그멘테이션 모델에 입력하여 관심 영역들을 추출하는 단계, 상기 분석장치가 상기 관심 영역들의 픽셀 합산 개수를 산출하는 단계, 상기 분석장치가 상기 관심 영역들을 사전에 학습된 제1 학습모델들에 입력하여 상기 관심 영역들 중 일부 영역들의 대뇌 피질 두께 및 상기 관심 영역들 중 일부 영역들의 부피를 예측하는 단계 및 상기 분석장치가 상기 일부 영역들의 대뇌 피질 두께 및 상기 일부 영역들의 부피를 사전에 학습된 제2 학습 모델에 입력하여 상기 대상자의 치매 여부를 분류하는 단계를 포함한다.A method for predicting dementia using 2D MRI includes the steps of receiving 2D MRI slices of a subject by an analysis device, inputting the 2D MRI slices into a segmentation model by the analysis device and extracting regions of interest, and the analysis device using the region of interest. Calculating the summed number of pixels of , wherein the analysis device inputs the regions of interest to first learning models pre-learned to calculate the cortical thickness of some of the regions of interest and the volume of some of the regions of interest Predicting and classifying whether or not the subject has dementia by inputting, by the analysis device, the thickness of the cerebral cortex of the partial regions and the volume of the partial regions to a second learning model trained in advance.

Description

2차원 MRI를 이용한 치매 예측 방법 및 분석장치{DEMENTIA PREDICTION METHOD BASED ON 2-DIMENSIONAL MAGNETIC RESONANCE IMAGING AND ANALYSIS APPARATUS}Dementia prediction method and analysis device using 2-dimensional MRI {DEMENTIA PREDICTION METHOD BASED ON 2-DIMENSIONAL MAGNETIC RESONANCE IMAGING AND ANALYSIS APPARATUS}

이하 설명하는 기술은 2차원 MRI를 이용하여 치매 여부를 예측하는 기법이다.The technique to be described below is a technique for predicting dementia using 2D MRI.

치매(dementia)는 기억, 언어, 판단력 등 인지 기능 장래를 초래하는 증후군을 말한다. 치매는 다양한 유형이 있는데 알츠하이머(Alzheimer's disease)가 치매의 가장 흔한 형태이다. Dementia refers to a syndrome that causes the future of cognitive functions such as memory, language, and judgment. There are many types of dementia, but Alzheimer's disease is the most common form of dementia.

치매 진단은 MRI(Magnetic Resonance Imaging), PET(positron emission tomography) 등의 뇌 영상이 사용되고 있다. 대표적으로 대뇌 피질 두께(Cortical thickness)가 치매와 연관된 인자로 활용되고 있다.Brain imaging such as Magnetic Resonance Imaging (MRI) and positron emission tomography (PET) is used to diagnose dementia. Typically, cortical thickness is used as a factor related to dementia.

한국공개특허 제10-2020-0062589호Korean Patent Publication No. 10-2020-0062589

종래 치매 조기 진단은 3D(dimension) MRI, PET-CT 등의 뇌영상이 사용되었다. 그러나 3D MRI는 고사양의 MRI 장비가 필요하며 시간 및 비용이 높게 소요된다. 나아가, 일반적인 건강 검진 센터나 일차 병원에서 사용하는 2D MRI 스캐너는 약 20개 이미지들을 생성하여 정확한 진단이 어렵다. Conventionally, brain imaging such as 3D (dimension) MRI and PET-CT was used for early diagnosis of dementia. However, 3D MRI requires high-spec MRI equipment and is time-consuming and expensive. Furthermore, 2D MRI scanners used in general health examination centers or primary hospitals generate about 20 images, making accurate diagnosis difficult.

이하 설명하는 기술은 소수의 2D MRI 이미지들을 이용하여 치매 진단 내지 예측하는 기법을 제공하고자 한다. The technology to be described below is intended to provide a technique for diagnosing or predicting dementia using a small number of 2D MRI images.

2차원 MRI를 이용한 치매 예측 방법은 분석장치가 대상자의 2D MRI 슬라이스들을 입력받는 단계, 상기 분석장치가 상기 2D MRI 슬라이스들을 세그멘테이션 모델에 입력하여 관심 영역들을 추출하는 단계, 상기 분석장치가 상기 관심 영역들의 픽셀 합산 개수를 산출하는 단계, 상기 분석장치가 상기 관심 영역들의 픽셀 합산 개수를 사전에 학습된 제1 학습모델들에 입력하여 상기 관심 영역들 중 일부 영역들의 대뇌 피질 두께 및 상기 관심 영역들 중 일부 영역들의 부피를 예측하는 단계 및 상기 분석장치가 상기 일부 영역들의 대뇌 피질 두께 및 상기 일부 영역들의 부피를 사전에 학습된 제2 학습 모델에 입력하여 상기 대상자의 치매 여부를 분류하는 단계를 포함한다.A method for predicting dementia using 2D MRI includes the steps of receiving 2D MRI slices of a subject by an analysis device, inputting the 2D MRI slices into a segmentation model by the analysis device and extracting regions of interest, and the analysis device using the region of interest. Calculating the summed number of pixels of the regions of interest, wherein the analysis device inputs the summed number of pixels of the regions of interest to first learning models trained in advance to obtain cortical thicknesses of some of the regions of interest and among the regions of interest Predicting the volume of some regions, and classifying whether the subject has dementia by inputting, by the analysis device, the thickness of the cerebral cortex of the partial regions and the volume of the partial regions to a second learning model trained in advance. .

2차원 MRI를 이용하여 치매를 예측하는 분석장치는 대상자의 2D MRI 슬라이스들을 입력받는 인터페이스 장치, 2D MRI 슬라이스에서 관심 영역을 추출하는 세그멘테이션 모델, 관심 영역 정보를 입력받아 대뇌 피질 두께 및 부피를 예측하는 제1 학습모델들 및 대뇌 피질 두께 및 부피를 입력받아 치매 여부를 분류하는 제2 학습모델을 저장하는 저장장치 및 상기 입력받은 2D MRI 슬라이스들을 상기 세그멘테이션 모델에 입력하여 관심 영역들을 추출하고, 상기 추출한 관심 영역들의 픽셀 합산 개수를 상기 제1 학습모델들에 입력하여 상기 관심 영역들 중 일부 영역들의 대뇌 피질 두께 및 상기 관심 영역들 중 일부 영역들의 부피를 예측하고, 상기 일부 영역들의 대뇌 피질 두께 및 상기 일부 영역들의 부피를 상기 제2 학습 모델에 입력하여 상기 대상자의 치매 여부를 분류하는 연산장치를 포함한다. 상기 관심 영역들은 전두부 회백질, 측두부 회백질, 두정부 회백질, 후두부 회백질, 측뇌실 및 해마체를 포함한다.An analysis device for predicting dementia using 2D MRI includes an interface device that receives 2D MRI slices of a subject, a segmentation model that extracts a region of interest from a 2D MRI slice, and a region of interest information that predicts cerebral cortical thickness and volume. A storage device for storing the first learning models and a second learning model for classifying dementia by receiving the thickness and volume of the cerebral cortex, inputting the received 2D MRI slices to the segmentation model to extract regions of interest, and extracting the extracted The summed number of pixels of the regions of interest is input to the first learning models to predict the cortical thickness of some of the regions of interest and the volume of some of the regions of interest, and the cortical thickness of the partial regions and the and an arithmetic device that classifies whether or not the subject has dementia by inputting the volume of some regions to the second learning model. The regions of interest include frontal gray matter, temporal gray matter, parietal gray matter, occipital gray matter, lateral ventricle and hippocampus.

이하 설명하는 기술은 소수의 2D MRI 이미지들을 분석하는 학습모델을 이용하여 치매 여부를 정확하게 예측한다. 이하 설명하는 기술은 저사양의 2D MRI 스캐너가 산출하는 뇌 MRI를 기준으로 치매 진단에 유용한 정보를 제공할 수 있다.The technology to be described below accurately predicts dementia by using a learning model that analyzes a small number of 2D MRI images. The technology described below can provide useful information for diagnosing dementia based on brain MRI calculated by a low-end 2D MRI scanner.

도 1은 뇌 영상을 이용하여 대상자의 치매 여부를 예측하는 전체 과정에 대한 예이다.
도 2는 뇌 영상에서 관심 영역을 추출하는 세그멘테이션 모델을 학습하는 과정의 예이다.
도 3은 관심 영역들을 기준으로 대뇌 피질 두께 및 뇌 영역 부피를 예측하는 학습모델의 학습 과정의 예이다.
도 4는 대뇌 피질 두께 및 뇌 영역 부피를 기준으로 치매 여부를 예측하는 학습모델의 학습 과정의 예이다.
도 5는 뇌 영상을 이용하여 대상자의 치매 여부를 예측하는 분석장치에 대한 예이다.
1 is an example of the entire process of predicting whether or not a subject has dementia using brain images.
2 is an example of a process of learning a segmentation model for extracting a region of interest from a brain image.
3 is an example of a learning process of a learning model that predicts cortical thickness and brain region volume based on regions of interest.
4 is an example of a learning process of a learning model predicting dementia based on cortical thickness and brain region volume.
5 is an example of an analysis device for predicting whether or not a subject has dementia using brain images.

이하 설명하는 기술은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 이하 설명하는 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 이하 설명하는 기술의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Since the technology to be described below can have various changes and various embodiments, specific embodiments will be illustrated in the drawings and described in detail. However, this is not intended to limit the technology described below to specific embodiments, and it should be understood to include all modifications, equivalents, or substitutes included in the spirit and scope of the technology described below.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 이하 설명하는 기술의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.Terms such as first, second, A, B, etc. may be used to describe various elements, but the elements are not limited by the above terms, and are merely used to distinguish one element from another. used only as For example, without departing from the scope of the technology described below, a first element may be referred to as a second element, and similarly, the second element may be referred to as a first element. The terms and/or include any combination of a plurality of related recited items or any of a plurality of related recited items.

본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함한다" 등의 용어는 설명된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.In terms used in this specification, singular expressions should be understood to include plural expressions unless clearly interpreted differently in context, and terms such as “comprising” refer to the described features, numbers, steps, operations, and components. , parts or combinations thereof, but it should be understood that it does not exclude the possibility of the presence or addition of one or more other features or numbers, step-action components, parts or combinations thereof.

도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다.Prior to a detailed description of the drawings, it is to be clarified that the classification of components in the present specification is merely a classification for each main function in charge of each component. That is, two or more components to be described below may be combined into one component, or one component may be divided into two or more for each more subdivided function. In addition, each component to be described below may additionally perform some or all of the functions of other components in addition to its main function, and some of the main functions of each component may be performed by other components. Of course, it may be dedicated and performed by .

또, 방법 또는 동작 방법을 수행함에 있어서, 상기 방법을 이루는 각 과정들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 과정들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.In addition, in performing a method or method of operation, each process constituting the method may occur in a different order from the specified order unless a specific order is clearly described in context. That is, each process may occur in the same order as specified, may be performed substantially simultaneously, or may be performed in the reverse order.

이하 설명하는 기술은 치매를 진단 내지 예측하는 기술이다. 이하 치매는 알츠하이머성 치매를 포함한다. The technology described below is a technology for diagnosing or predicting dementia. The following dementia includes Alzheimer's dementia.

이하 설명하는 기술은 뇌 MRI를 이용하여 뇌 위축 정도를 산출하는 기술이다. 대표적으로 뇌 위축 정도는 대뇌 피질 두께 내지 부피를 기준으로 산출할 수 있다.The technique described below is a technique for calculating the degree of brain atrophy using brain MRI. Typically, the degree of brain atrophy can be calculated based on the thickness or volume of the cerebral cortex.

이하 뇌 영상을 분석하여 대상자에 대한 치매 여부를 예측하는 장치를 분석장치라고 명명한다. 분석장치는 PC와 같은 컴퓨터 장치, 스마트 기기, 네트워크의 서버, 데이터 처리 전용 칩셋 등의 형태를 가질 수 있다.Hereinafter, a device that analyzes a brain image and predicts whether a subject has dementia is called an analysis device. The analysis device may take the form of a computer device such as a PC, a smart device, a network server, and a data processing dedicated chipset.

분석장치는 다수의 학습모델을 이용하여 뇌 영상을 기준으로 치매 여부를 예측할 수 있다. 학습모델은 기계학습 모델이다. 따라서, 분류 모델은 다양한 유형의 모델 중 어느 하나일 수 있다. 예컨대, 학습 모델은 결정 트리, RF(random forest), KNN(K-nearest neighbor), 나이브 베이즈(Naive Bayes), SVM(support vector machine), DNN(deep neural network), 회귀모델 등 중 어느 하나의 방식으로 구현된 모델일 수 있다. DNN은 다양한 유형의 모델이 존재한다. 예컨대, DNN은 영상에서 관심 영역을 추출하는 세그멘테이션(segmentation) 모델, 영상의 특징을 기준으로 분류를 수행하는 분류 모델 등이 있다.The analysis device can predict dementia based on brain images using a plurality of learning models. The learning model is a machine learning model. Thus, the classification model can be any of various types of models. For example, the learning model is any one of a decision tree, a random forest (RF), a K-nearest neighbor (KNN), a Naive Bayes, a support vector machine (SVM), a deep neural network (DNN), and a regression model. It may be a model implemented in the manner of There are various types of DNN models. For example, DNN includes a segmentation model for extracting a region of interest from an image, a classification model for performing classification based on features of an image, and the like.

도 1은 뇌 영상을 이용하여 대상자의 치매 여부를 예측하는 전체 과정(100)에 대한 예이다. 1 is an example of the entire process 100 of predicting whether or not a subject has dementia using brain images.

분석장치는 소수의 2D MRI 슬라이스들을 기준으로 대상자의 치매 여부를 예측할 수 있다. 이때 2D MRI 슬라이스들의 개수는 일반적으로 2D MRI 스캐너가 산출하는 개수이다. 연구자는 20장의 2D MRI 슬라이스들을 이용하여 학습모델을 구축하였다. 따라서, 이하 설명의 편의를 위하여 2D MRI 슬라이스들의 개수는 20이라고 가정한다. 즉, 2D MRI 스캐너가 대상자의 2D MRI 슬라이스들 생성한 상태라고 전제한다.The analysis device may predict whether or not the subject has dementia based on a small number of 2D MRI slices. In this case, the number of 2D MRI slices is generally calculated by a 2D MRI scanner. The researcher built a learning model using 20 2D MRI slices. Therefore, it is assumed that the number of 2D MRI slices is 20 for convenience of description below. That is, it is assumed that the 2D MRI scanner has generated 2D MRI slices of the subject.

분석장치는 대상자의 뇌 MRI를 입력받는다(110). 예컨대, 분석장치는 대상자의 2D MRI 슬라이스들 20장을 입력받을 수 있다.The analysis device receives an MRI of the subject's brain (110). For example, the analysis device may receive 20 2D MRI slices of the subject.

분석장치는 입력받은 2D MRI 슬라이스들에서 관심 영역(Region of Interest, ROI)들을 추출한다(120). 분석장치는 사전에 학습된 세그멘테이션 모델을 이용하여 설정된 다수의 관심 영역들을 추출할 수 있다. 관심 영역들은 대뇌 피질 두께를 산출하기 위한 기준 영역들을 포함할 수 있다. 또한, 관심 영역들은 뇌 부피를 산출하기 위한 영역들을 포함할 수도 있다. 예컨대, 관심 영역들은 전두부(frontal)의 회백질(gray matter), 측두부(temporal)의 회백질, 두정부(parietal)의 회백질, 후두부(occipital)의 회백질, 측뇌실(lateral ventricle) 및 해마체(hippocampus)를 포함할 수 있다.The analysis device extracts Regions of Interest (ROIs) from the received 2D MRI slices (120). The analysis device may extract a plurality of set regions of interest using a previously learned segmentation model. Regions of interest may include reference regions for calculating cortical thickness. Also, regions of interest may include regions for calculating brain volume. For example, regions of interest include frontal gray matter, temporal gray matter, parietal gray matter, occipital gray matter, lateral ventricle and hippocampus. can do.

분석장치는 추출한 관심 영역들을 이용하여 일정한 뇌 영상 지표를 산출할 수 있다(130). 여기서 뇌 영상 지표는 추출한 관심 영역의 픽셀들의 개수를 포함할 수 있다. 따라서, 사전에 관심 영역은 2D MRI 슬라이스 또는 관심 영역은 사전에 설정된 크기로 정규화될 수 있다. 또한, 뇌 영상 지표는 뇌 영상의 영역들 크기로 산출가능한 전체 뇌 크기(brain size)를 포함할 수 있다. 뇌 크기는 대뇌외 뇌척수액 영역(extracerebral cerebrospinal fluid), 전술한 6개의 관심 영역들 및 관심 영역들의 백질(white matter)의 크기를 합산하여 연산될 수 있다. 따라서, 분석장치는 뇌 MRI에서 뇌 크기 산출을 위한 관심 영역을 별도로 추출할 수 있다. 분석장치는 뇌 크기 산출에 기준이 되는 관심 영역들을 산출하는 별도의 세그멘테이션 모델을 이용할 수도 있다. 한편, 뇌 크기 결정을 위한 다양한 방법론이 연구되었기에, 분석장치는 다양한 영상처리기술 중 하나를 이용하여 대상자의 뇌 크기를 산출할 수도 있다.The analysis device may calculate a certain brain image index using the extracted regions of interest (130). Here, the brain image index may include the number of extracted pixels of the region of interest. Accordingly, the region of interest may be normalized to a 2D MRI slice or a size set in advance. In addition, the brain image index may include the total brain size, which can be calculated as the size of regions of the brain image. The brain size can be calculated by summing the sizes of the extracerebral cerebrospinal fluid, the six regions of interest described above, and the white matter of the regions of interest. Accordingly, the analysis device may separately extract a region of interest for brain size calculation from brain MRI. The analysis device may use a separate segmentation model that calculates regions of interest that are criteria for brain size calculation. Meanwhile, since various methodologies for brain size determination have been studied, the analysis device may calculate the subject's brain size using one of various image processing techniques.

분석장치는 사전에 학습된 학습 모델을 이용하여 대뇌 피질 두께 및 뇌 영역의 부피를 추정할 수 있다(140). 분석장치는 학습 모델에 뇌 영상 지표를 입력하여 대뇌 피질 두께를 예측할 수 있다. 분석장치는 다수의 학습 모델을 이용하여 각 관심 영역들에서의 대뇌 피질 두께를 예측할 수 있다. 예컨대, 분석장치는 전두부, 측두부, 두정부 및 후두부에 대한 개별적인 학습모델을 이용하여 각 영역의 대뇌 피질 두께를 산출할 수 있다. 또한, 분석장치는 별도의 학습 모델을 이용하여 뇌 영역의 부피를 예측할 수 있다. 예컨대, 분석장치는 측뇌실에 대한 학습 모델 및 해마체에 대한 학습 모델을 개별적으로 이용하여 각 영역의 부피를 산출할 수 있다.The analysis device may estimate the thickness of the cerebral cortex and the volume of the brain region using a pre-learned learning model (140). The analysis device may predict the thickness of the cerebral cortex by inputting the brain image index to the learning model. The analysis device may predict cortical thickness in each region of interest using a plurality of learning models. For example, the analysis device may calculate the thickness of the cerebral cortex of each region using individual learning models for the frontal region, the temporal region, the parietal region, and the occipital region. In addition, the analysis device can predict the volume of the brain region using a separate learning model. For example, the analyzer may calculate the volume of each region by separately using a learning model for the lateral ventricle and a learning model for the hippocampus.

한편, 분석장치는 뇌 영상 외에 대상자의 임상 정보(성별, 나이 등)를 추가로 더 이용하여 대뇌 피질 두께 또는 뇌 영역 부피를 산출할 수 있다. 이 경우, 각 학습모델은 뇌 MRI 외에 임상 정보를 이용하여 대뇌 피질 두께 또는 뇌 영역 부피를 산출하도록 사전에 학습되어야 한다.Meanwhile, the analysis device may calculate the thickness of the cerebral cortex or the volume of a brain region by additionally using the subject's clinical information (gender, age, etc.) in addition to the brain image. In this case, each learning model must be trained in advance to calculate the thickness of the cerebral cortex or the volume of the brain region using clinical information in addition to brain MRI.

분석장치는 최종적으로 관심 영역들의 대뇌 피질 두께 및 뇌 영역 부피를 기준으로 대상자의 치매 여부를 예측할 수 있다(150). 분석장치는 관심 영역들의 대뇌 피질 두께 및 뇌 영역 부피를 입력받는 별도의 학습모델을 이용하여 대상자의 치매 여부를 예측할 수 있다.The analysis device may finally predict whether or not the subject has dementia based on the thickness of the cerebral cortex and the volume of the brain region of the regions of interest (150). The analysis device may predict whether or not the subject has dementia by using a separate learning model that receives cortical thicknesses and brain region volumes of regions of interest.

도 1의 치매 예측 과정은 대상자의 치매를 예측하기 위하여 다수의 학습 모델들을 사용한다. 연구자는 전술한 과정을 위한 다수의 학습 모델들을 구축하였고, 개별적인 모델의 성능 및 치매 예측 성능을 검증하였다. 이하, 연구자가 대상자의 치매 예측을 위하여 사용한 학습모델들의 구축 과정을 설명한다.The dementia prediction process of FIG. 1 uses multiple learning models to predict the subject's dementia. The researcher built a number of learning models for the above-mentioned process, and verified the performance and dementia prediction performance of individual models. Hereinafter, the construction process of the learning models used by the researcher to predict the subject's dementia will be described.

연구자는 소속된 의료 기관(삼성서울병원)에 내원한 모집단의 데이터를 수집하였다. 모집단은 일정 기한 내에 MRI와 PET를 모두 촬영한 대상자로 선정하였다. 아래 표 1은 모집단에 대한 정보를 나타낸다. 연구자는 전체 1,120명의 데이터를 사용하였다. 모집단은 529명의 치매 환자(Alzheimer's disease dementia, ADD)들과 591명의 정상인(normal control, NC)들로 구성되었다. 표 1은 모집단 구성에 대한 임상 정보 및 관심 영역별 대뇌 피질의 두께 및 뇌 영역 부피를 나타낸다. 임상 정보는 성별, 나이 및 교육 수준을 포함한다. 대뇌 피질의 두께는 전두부, 측두부, 두정부 및 후두부 영역의 두께를 포함한다. 뇌 영역 부피는 측뇌실 및 해마체의 부피를 포함한다. The researcher collected data of the population who visited the affiliated medical institution (Samsung Seoul Hospital). The population was selected as subjects who had both MRI and PET scans taken within a certain period of time. Table 1 below shows information about the population. The researcher used data from a total of 1,120 people. The population consisted of 529 patients with Alzheimer's disease dementia (ADD) and 591 normal controls (NC). Table 1 shows clinical information on population composition and cortical thickness and brain region volume by region of interest. Clinical information includes gender, age and education level. The thickness of the cerebral cortex includes the thickness of the frontal, temporal, parietal and occipital regions. The brain region volume includes the volume of the lateral ventricle and the hippocampus.

전체 모집단total population ADD(치매환자)ADD (Patients with Dementia) NC(정상)NC (Normal) 평균average 표준편차(%)Standard Deviation(%) 평균average 표준편차(%)Standard Deviation(%) 평균average 표준편차(%)Standard Deviation(%) Subjects (명) Subjects (persons) 1,1201,120 (100.0%)(100.0%) 529529 (47.2%)(47.2%) 591591 (52.8%)(52.8%) Female (명) Female (person) 659659 (58.8%)(58.8%) 306306 (57.8%)(57.8%) 353353 (59.7%)(59.7%) Age (years)Age (years) 69.069.0 10.910.9 69.969.9 10.210.2 68.268.2 11.511.5 Education (years)Education (years) 11.711.7 4.84.8 11.311.3 4.94.9 12.112.1 4.74.7 Frontal cortical thickness (mm) Frontal cortical thickness (mm) 3.0873.087 0.1520.152 3.0073.007 0.1540.154 3.1583.158 0.1080.108 Parietal cortical thickness (mm)Parietal cortical thickness (mm) 2.9842.984 0.1920.192 2.8772.877 0.2000.200 3.0803.080 0.1200.120 Temporal cortical thickness (mm)Temporal cortical thickness (mm) 3.1863.186 0.1890.189 3.0683.068 0.1850.185 3.2913.291 0.1170.117 Occipital cortical thickness (mm)Occipital cortical thickness (mm) 2.8972.897 0.2040.204 2.7932.793 0.1860.186 2.9912.991 0.1710.171 Lateral ventricle volume (mm3)Lateral ventricle volume (mm 3 ) 18,06318,063 10,10710,107 22,31822,318 10,49310,493 14,25414,254 8,0288,028 Hippocampus volume (mm3)Hippocampus volume (mm 3 ) 2,6272,627 632632 2,1772,177 523523 3,0313,031 411411

연구자는 모집단의 데이터 중 980명의 데이터를 이용하여 세그멘테이션 모델을 구축하였다. 908명의 데이터는 3.0 T MRI 스캐너(Philips 3.0T Achieva)를 사용하여 생성한 3D MRI 데이터이다. The researcher built a segmentation model using the data of 980 people among the data of the population. The data of 908 persons are 3D MRI data generated using a 3.0 T MRI scanner (Philips 3.0T Achieva).

연구자는 CIVET 파이프라인의 3D 세그멘테이션 마스크를 이용하여 구조적 영상 분석을 하였다. CIVET에서 대뇌 피질 두께는 대뇌 피질의 안쪽과 바깥쪽 표면 사이의 유클리디언 거리로 연산한다. 관심 영역들은 (i) 전두부, 측두부, 두정부 및 후두부의 회백질, (ii) 측뇌실 및 (iii) 해마체를 포함한다. 연구자는 980명의 데이터에서 추출한 상기 관심 영역들을 세그멘테이션 모델 학습을 위한 정답(ground truth)으로 이용하였다. The researcher performed structural image analysis using the 3D segmentation mask of the CIVET pipeline. In CIVET, cortical thickness is computed as the Euclidean distance between the inner and outer surfaces of the cerebral cortex. Regions of interest include (i) frontal, temporal, parietal and occipital gray matter, (ii) lateral ventricle and (iii) hippocampus. The researcher used the regions of interest extracted from the data of 980 people as the ground truth for learning the segmentation model.

도 2는 뇌 영상에서 관심 영역을 추출하는 세그멘테이션 모델을 학습하는 과정(200)의 예이다. 이하 모델의 학습 과정은 학습장치가 수행한다고 설명한다. 학습장치는 영상 데이터 처리 및 기계학습모델의 학습 과정 수행이 가능한 컴퓨터 장치를 의미한다. 2 is an example of a process 200 of learning a segmentation model for extracting a region of interest from a brain image. Hereinafter, the learning process of the model will be described as being performed by the learning device. The learning device refers to a computer device capable of processing image data and performing a learning process of a machine learning model.

학습장치는 다수 대상자들의 MRI 영상을 이용하여 세그멘테이션 모델을 학습한다. 다만, 도 2는 대상자 한명의 MRI를 이용하여 세그멘테이션 모델을 학습하는 과정을 예로 설명한다. The learning device learns a segmentation model using MRI images of multiple subjects. However, FIG. 2 illustrates a process of learning a segmentation model using MRI of one subject as an example.

학습장치는 전술한 모집단에 속한 특정 대상자의 3D MRI를 입력받는다(210). The learning device receives a 3D MRI of a specific subject belonging to the aforementioned population (210).

학습장치는 학습 데이터 세트를 마련한다(220). 학습 데이터 세트는 다수의 슬라이스별로 입력 슬라이스(원본 슬라이스) 및 해당 슬라이스에 대한 정답 영상으로 구성된다. 학습장치는 3D MRI의 480개의 슬라이스들에서 20개의 슬라이스들을 선택한다. 학습장치는 480개의 슬라이스들 중 2D MRI 스캐너로부터 획득한 20개의 슬라이스들에 매칭되는 슬라이스들을 선별할 수 있다. 또한, 학습장치는 선택한 20개의 슬라이스들에 대한 정답 영상을 입력받는다. 정답 영상은 입력 슬라이스에 대하여 관심 영역들을 구분한 영상이다. 정답 영상은 의료 영상의 전문가가 관심 영역을 구분하여 표시한(주석한) 영상을 이용할 수 있다.The learning device prepares a learning data set (220). The training data set consists of an input slice (original slice) and an answer image for the corresponding slice for each slice. The learning device selects 20 slices from 480 slices of 3D MRI. The learning device may select slices matching 20 slices obtained from the 2D MRI scanner among 480 slices. In addition, the learning device receives the correct answer images for the selected 20 slices. The answer image is an image obtained by dividing regions of interest with respect to the input slice. As the correct answer image, an image displayed (annotated) by a medical imaging expert by dividing the region of interest may be used.

학습장치는 학습 데이터를 이용하여 세그멘테이션 모델의 학습을 수행한다(230). 학습장치는 20개의 슬라이스에 대한 입력 슬라이스 및 정답 영상을 이용하여 세그멘테이션 모델을 학습할 수 있다. 세그멘테이션 모델은 입력 슬라이스를 입력받아 정답 영상의 관심 영역들을 추출(구분)하도록 학습된다. The learning device performs learning of the segmentation model using the learning data (230). The learning device may learn a segmentation model using input slices and answer images for 20 slices. The segmentation model receives an input slice and learns to extract (separate) regions of interest of an answer image.

세그멘테이션 모델은 시멘틱 세그멘테이션 모델일 수 있다. 예컨대, 세그멘테이션 모델은 U-net과 같은 FCN(Fully convolutional network) 기반의 모델일 수 있다. 연구자는 U-net 구조의 세그멘테이션 모델을 이용하여 2D MRI 슬라이스에서 관심 영역을 추출하였다.The segmentation model may be a semantic segmentation model. For example, the segmentation model may be a fully convolutional network (FCN)-based model such as U-net. The researcher extracted a region of interest from a 2D MRI slice using a segmentation model of a U-net structure.

세그멘테이션 모델은 다수의 관심 영역들을 추출한다. 연구자는 특징이 서로 다른 다양한 관심 영역들을 정확하게 추출하기 위하여 커리큘럼 학습(curriculum learning)을 수행하였다. 커리큘럼 학습은 인간이 학습하는 프로세스를 모방하여 쉬운 난이도의 데이터를 먼저 학습하고, 점차 어려운 데이터를 학습하는 학습 전략이다.The segmentation model extracts multiple regions of interest. The researcher performed curriculum learning to accurately extract various areas of interest with different characteristics. Curriculum learning is a learning strategy that imitates the human learning process to learn data with easy difficulty first and gradually learns difficult data.

연구자는 아래 5개의 학습 순서에 따라 세그멘테이션 모델을 구축하고 성능을 검증하였다.The researcher built a segmentation model and verified its performance according to the following five learning sequences.

순번turn 학습 순서order of learning 1One 전체 관심 영역들(All ROIs)All ROIs 22 해마체(Hippocampus)→해마체 및 측뇌실(Hippocampus and LV)→전체 관심 영역들Hippocampus→Hippocampus and LV→All regions of interest 33 해마체 및 측뇌실→전체 관심 영역들Hippocampus and lateral ventricles → all regions of interest 44 측뇌실→해마체 및 측뇌실→전체 관심 영역들Lateral ventricle → hippocampus and lateral ventricle → all regions of interest 55 측뇌실→전체 관심 영역들Lateral ventricles → all regions of interest

세그멘테이션 모델의 성능은 정답과 세그멘테이션 모델이 추출한 관심 영역을 기준으로 산출되는 IoU(intersection over union) 및 DSC(dice similarity coefficient)로 측정되었다. IoU 및 DSC는 각각 아래 수학식 1 및 수학식 2로 표현될 수 있다.The performance of the segmentation model was measured by IoU (intersection over union) and DSC (dice similarity coefficient) calculated based on the correct answer and the region of interest extracted by the segmentation model. IoU and DSC may be expressed by Equations 1 and 2 below, respectively.

상기 수학식에서 AGT는 정답인 관심 영역, Apred는 세그멘테이션 모델이 구분한 관심 영역(예측 영역), Aoverlap는 AGT와 Apred의 중복 영역이다.In the above equation, A GT is the correct region of interest, A pred is the region of interest (prediction region) identified by the segmentation model, and A overlap is the overlapping region between A GT and A pred .

세그멘테이션 모델은 6개의 관심 영역들에 대하여 아래 표 3과 같은 IoU 및 DSC를 나타냈다. 세그멘테이션 모델은 측뇌실 추출에서 가장 높은 성능을 보였다.The segmentation model showed IoU and DSC as shown in Table 3 below for the six regions of interest. The segmentation model showed the highest performance in lateral ventricle extraction.

관심영역area of interest IoUIoU DSCDSC 전두부frontal area 0.701 0.701 0.7410.741 측두부temporal region 0.660 0.660 0.7020.702 두정부parietal region 0.644 0.644 0.6510.651 후두부occipital 0.560 0.560 0.6260.626 측뇌실lateral ventricle 0.848 0.848 0.8840.884 해마체hippocampus 0.691 0.691 0.7340.734 평균average 0.6890.689 0.7280.728

아래 표 4는 표 2의 학습 순서에 대한 성능을 분석한 결과이다. 측뇌실을 먼저 학습하는 순서의 학습 방법이 다른 순서의 학습 방법에 비하여 다소 높은 성능을 보였다. 따라서, 관심 영역을 구분하여 커리큘럼 학습을 수행하는 기법이 세그멘테이션 모델의 성능에 유의하다는 것을 알 수 있다.Table 4 below is the result of analyzing the performance of the learning sequence in Table 2. The learning method in the order of learning the lateral ventricle first showed slightly higher performance than the learning method in the other order. Therefore, it can be seen that the technique of performing curriculum learning by dividing the region of interest is significant in the performance of the segmentation model.

순번turn 학습 순서order of learning IoUIoU 1One 전체 관심 영역들(All ROIs)All ROIs 0.6530.653 22 해마체(Hippocampus)→해마체 및 측뇌실(Hippocampus and LV)→전체 관심 영역들Hippocampus→Hippocampus and LV→All regions of interest 0.5650.565 33 해마체 및 측뇌실→전체 관심 영역들Hippocampus and lateral ventricles → all regions of interest 0.6650.665 44 측뇌실→해마체 및 측뇌실→전체 관심 영역들Lateral ventricle → hippocampus and lateral ventricle → all regions of interest 0.6830.683 55 측뇌실→전체 관심 영역들Lateral ventricles → all regions of interest 0.6890.689

도 3은 관심 영역들을 기준으로 대뇌 피질 두께 및 뇌 영역 부피를 예측하는 학습모델의 학습 과정(300)의 예이다. 도 3에서 학습 모델은 전술한 관심 영역을 기준으로 대뇌 피질 두께 및 뇌 영역 부피를 예측한다. 3 is an example of a learning process 300 of a learning model that predicts cortical thickness and brain region volume based on regions of interest. In FIG. 3 , the learning model predicts the thickness of the cerebral cortex and the volume of the brain region based on the above-mentioned region of interest.

도 3의 학습은 모집단에 속한 대상자의 뇌 MRI에서 전술한 관심 영역을 추출한 상태를 전제로 한다. 즉, 학습장치는 도 2의 세그멘테이션 모델을 이용하여 산출한 관심 영역을 이용할 수 있다.The learning of FIG. 3 is based on a state in which the aforementioned region of interest is extracted from MRI of the brain of a subject belonging to a population. That is, the learning device may use the region of interest calculated using the segmentation model of FIG. 2 .

학습장치는 뇌 MRI에서 추출한 관심 영역들을 기준으로 입력 데이터를 추출한다(310). 입력 데이터는 세그멘테이션 모델이 추출하는 관심 영역들로부터 추출되는 뇌 영상 지표 및 임상 정보를 포함할 수 있다.The learning device extracts input data based on regions of interest extracted from brain MRI (310). The input data may include brain image indexes and clinical information extracted from regions of interest extracted by the segmentation model.

뇌 영상 지표는 6개의 관심 영역들(전두부 회백질, 측두부 회백질, 두정부 회백질, 후두부 회백질, 측뇌실 및 해마체)에 대한 크기 정보를 포함한다. 6개의 관심 영역들의 크기는 관심 영역 영상에서의 픽셀 개수로 결정될 수 있다. 즉, 관심 영역의 크기는 해당 영역에 속한 전체 픽셀들의 합산 개수일 수 있다. 또한, 뇌 영상 지표는 뇌 크기를 더 포함할 수 있다. 뇌 크기는 대뇌외 뇌척수액 영역, 전술한 6개의 관심 영역들 및 관심 영역들의 백질(white matter)의 크기를 합산하여 연산될 수 있다.The brain imaging index includes size information for six regions of interest (frontal gray matter, temporal gray matter, parietal gray matter, occipital gray matter, lateral ventricle, and hippocampus). The size of the six regions of interest may be determined by the number of pixels in the region of interest image. That is, the size of the region of interest may be the sum of all pixels belonging to the region. In addition, the brain image index may further include brain size. The brain size may be calculated by summing the sizes of the extracerebral cerebrospinal fluid region, the six regions of interest described above, and the white matter of the regions of interest.

특정 관심 영역의 픽셀 합산 개수는 20개의 슬라이스들 각각에 대하여 해당 관심 영역의 픽셀들의 개수를 모두 합산한 개수일 수 있다. 예컨대, 전두부 회백질의 픽셀 합산 개수는 20개의 슬라이스들 각각에서 전두부 회백질 영역에 속한 픽셀들을 전체 합산한 값일 수 있다. 20개의 슬라이스들의 인덱스가 0 ~ 19번이라고 가정한다. 전두부 회백질의 픽셀 합산 개수는 0번 슬라이스의 전두부 회백질 영역에 속한 픽셀들 개수, 1번 슬라이스의 전두부 회백질 영역에 속한 픽셀들 개수, ..., 19번 슬라이스의 전두부 회백질 영역에 속한 픽셀들 개수를 모두 합산한 값일 수 있다.The summed number of pixels of a specific region of interest may be the sum of all pixels of the corresponding region of interest for each of the 20 slices. For example, the summed number of pixels of the frontal gray matter may be a value obtained by summing all pixels belonging to the frontal gray matter region in each of 20 slices. Assume that the indexes of 20 slices are 0 to 19. The summed number of pixels in the frontal gray matter is the number of pixels belonging to the frontal gray matter region of slice 0, the number of pixels belonging to the frontal gray matter region of slice 1, ..., the number of pixels belonging to the frontal gray matter region of slice 19. It may be the sum of all values.

임상 정보는 대상자의 나이 및 성별을 포함할 수 있다.Clinical information may include age and gender of the subject.

연구자는 6개의 관심 영역들의 픽셀 합산 개수, 뇌 크기 및 임상 정보를 모두 입력 데이터로 이용하였다.The researcher used the combined number of pixels, brain size, and clinical information of the six regions of interest as input data.

학습장치는 추출한 입력 데이터를 활용하여 학습 모델을 학습하는 과정을 수행한다(320). 학습장치는 다수의 대상자의 뇌 MRI에서 추출한 입력 데이터를 이용하여 학습 모델의 학습 과정을 반복한다.The learning device performs a process of learning a learning model using the extracted input data (320). The learning device repeats the learning process of the learning model using input data extracted from brain MRIs of a plurality of subjects.

학습장치는 추출한 입력 데이터를 학습 모델에 입력하여 학습 모델이 출력하는 값(예측하는 값)과 정답을 비교하면서 학습을 수행한다. 학습 모델은 대뇌 피질 두께 및 특정 뇌 영역의 부피를 예측하도록 학습된다. 정답은 모집단에 속한 대상자들의 MRI 및 PET-CT로 산출된 정보(표 1 참고)이다. The learning device inputs the extracted input data to the learning model and performs learning while comparing the value (predicted value) output by the learning model with the correct answer. The trained model is trained to predict cortical thickness and volume of specific brain regions. The correct answer is the information calculated by MRI and PET-CT of subjects belonging to the population (see Table 1).

학습 모델은 예측하고자 하는 정보에 따라 개별적인 모델로 구축될 수 있다. 학습 모델은 기계학습모델이며 다양한 유형의 모델 중 하나로 구현될 수 있다. 연구자는 회귀모델(regression model)을 이용하였다. 연구자는 전부두의 대뇌 피질 두께를 예측하는 모델(전부두 모델), 측두부의 대뇌 피질 두께를 예측하는 모델(측두부 모델), 두정부의 대뇌 피질 두께를 예측하는 모델(두정부 모델), 후두부의 대뇌 피질 두께를 예측하는 모델(후두부 모델), 측뇌실의 부피를 예측하는 모델(측뇌실 모델) 및 해마체의 부피를 예측하는 모델(해마체 모델)을 개별적으로 구축하였다. A learning model may be built as an individual model according to the information to be predicted. A learning model is a machine learning model and can be implemented as one of many types of models. The researcher used a regression model. The researcher developed a model that predicts cortical thickness in the frontal region (anterior temporal model), a model that predicts cortical thickness in the temporal region (temporal region model), a model that predicts cortical thickness in the parietal region (parietal region model), and a model that predicts cortical thickness in the occipital region (parietal region model). A model to predict cortical thickness (occipital model), a model to predict volume of the lateral ventricle (lateral ventricle model), and a model to predict volume of the hippocampus (hippocampal model) were separately constructed.

예컨대, 전두부 모델은 전두부 회백질의 픽셀 합산 개수 및 임상 정보를 입력받아 전두부 영역의 대뇌 피질 두께를 예측할 수 있다. 또한, 전두부 모델은 전두부 회백질의 픽셀 합산 개수, 뇌 크기 및 임상 정보를 입력받아 전두부 영역의 대뇌 피질 두께를 예측할 수 있다.For example, the frontal model may predict the thickness of the cerebral cortex in the frontal region by receiving the summed number of pixels of the frontal gray matter and clinical information. In addition, the frontal model can predict the thickness of the cerebral cortex in the frontal region by receiving the summed number of pixels of the frontal gray matter, brain size, and clinical information.

연구자는 뇌 크기를 입력데이터로 이용하는 모델과 이용하지 않는 모델을 구축하여 해당 모델의 성능을 검증하였다. 아래 표 5는 연구자가 구축한 학습 모델의 성능을 평가한 모델이다. 성능 지표는 피어슨 상관 계수(Pearson Correlation Coefficient)이다. 표 5에서 모델 1은 뇌 크기를 이용하지 않는 모델이고, 모델 2는 뇌 크기까지 이용하는 모델이다. 관심 영역에 따라 모델 1 또는 모델 2의 성능이 조금 더 높은 것을 확인할 수 있다. 따라서, 대뇌 피질 두께 및 뇌 영역 부피를 예측하는 모델은 관심 영역에 따라서 선별적으로 모델 1 또는 모델 2를 활용할 수 있다. 다만, 성능에서 모델 1과 모델 2가 큰 차이를 보이지는 않았다.The researcher verified the performance of the model by constructing a model using brain size as input data and a model not using it. Table 5 below is a model that evaluated the performance of the learning model built by the researcher. The performance indicator is the Pearson Correlation Coefficient. In Table 5, model 1 is a model that does not use brain size, and model 2 is a model that uses even brain size. It can be seen that the performance of model 1 or model 2 is slightly higher depending on the area of interest. Accordingly, Model 1 or Model 2 may be selectively used as a model for predicting cortical thickness and brain region volume according to a region of interest. However, there was no significant difference between model 1 and model 2 in terms of performance.

ROIROI 모델 1model 1 모델 2model 2 전두부 회백질frontal gray matter 0.7740.774 0.7790.779 측두부 회백질temporal gray matter 0.7860.786 0.7880.788 두정부 회백질parietal gray matter 0.8010.801 0.7990.799 후두부 회백질occipital gray matter 0.6490.649 0.6380.638 측뇌실lateral ventricle 0.8800.880 0.8690.869 해마체hippocampus 0.6630.663 0.6670.667

도 4는 대뇌 피질 두께 및 뇌 영역 부피를 기준으로 치매 여부를 예측하는 학습모델의 학습 과정(400)의 예이다. 최종적으로 치매 여부를 예측하는 학습 모델은 다양한 기계학습모델 유형 중 어느 하나로 구현될 수 있다. 연구자는 딥러닝 모델로 치매 예측 모델을 구현하였다.4 is an example of a learning process 400 of a learning model predicting dementia based on cortical thickness and brain region volume. Finally, a learning model that predicts dementia can be implemented as any one of various machine learning model types. The researcher implemented a dementia prediction model with a deep learning model.

도 4의 학습은 모집단에 속한 대상자에 대한 대뇌 피질 두께, 특정 뇌 영역 부피 및 임상정보를 획득한 상태를 전제로 한다. 예컨대, 학습장치는 도 3의 학습모델을 이용하여 산출한 대상자의 영역별 대뇌 피질 두께 및 특정 뇌 영역 부피를 이용할 수 있다.The learning of FIG. 4 is based on the premise of acquiring cortical thickness, specific brain region volume, and clinical information for subjects belonging to the population. For example, the learning device may use the thickness of the cerebral cortex and the volume of a specific brain region for each region of the subject calculated using the learning model of FIG. 3 .

학습장치는 모집단에 속한 대상자들의 뇌 MRI에서 추출한 대뇌 피질 두께 및 특정 뇌 영역의 부피를 추출한다. 대뇌 피질 두께는 전두부, 측두부, 두정부 및 후두부의 대뇌 피질 두께를 포함할 수 있다. 특정 뇌 영역의 부피는 측뇌실 및 해마체 영역의 부피를 포함할 수 있다. 또한, 학습장치는 대상자들의 임상 정보를 획득한다. 임상 정보는 나이, 성별 및 교육 수준을 포함할 수 있다. 학습 데이터는 도 3의 학습 모델을 이용하여 산출한 대뇌 피질 두께 및 특정 뇌 영역의 부피를 포함할 수 있다. 또는 학습 데이터는 실제 대상자들의 뇌 영상으로부터 산출한 대뇌 피질 두께 및 특정 뇌 영역의 부피를 포함할 수도 있다. 연구자는 실제 대상자의 3D MRI 분석 결과에서 산출한 대뇌 피질 두께 및 특정 뇌 영역의 부피를 학습 데이터로 이용하였다.The learning device extracts the thickness of the cerebral cortex and the volume of a specific brain region extracted from brain MRI of subjects belonging to the population. The cortical thickness may include frontal, temporal, parietal, and occipital cortical thicknesses. The volume of a specific brain region may include the volume of the lateral ventricle and hippocampal region. In addition, the learning device acquires clinical information of subjects. Clinical information may include age, gender and education level. The learning data may include the thickness of the cerebral cortex and the volume of a specific brain region calculated using the learning model of FIG. 3 . Alternatively, the learning data may include the thickness of the cerebral cortex and the volume of a specific brain region calculated from brain images of actual subjects. The researcher used the thickness of the cerebral cortex and the volume of a specific brain region calculated from the 3D MRI analysis results of actual subjects as learning data.

학습장치는 추출한 입력 데이터를 활용하여 학습 모델을 학습하는 과정을 수행한다(420). 학습장치는 다수의 대상자에서 추출한 입력 데이터를 이용하여 학습 모델의 학습 과정을 반복한다.The learning device performs a process of learning a learning model using the extracted input data (420). The learning device repeats the learning process of the learning model using input data extracted from a plurality of subjects.

학습장치는 추출한 입력 데이터를 학습 모델에 입력하여 학습 모델이 출력하는 값(예측하는 값)과 정답을 비교하면서 학습을 수행한다. 학습 모델은 대상자의 치매 여부를 예측하도록 학습된다. 학습 모델은 대상자의 치매 여부에 대한 이진 분류 결과를 출력한다. 정답은 모집단에 속한 대상자들의 치매 여부에 대한 정보(표 1 참고)이다. The learning device inputs the extracted input data to the learning model and performs learning while comparing the value (predicted value) output by the learning model with the correct answer. The learning model is trained to predict whether or not the subject has dementia. The learning model outputs a binary classification result of whether or not the subject has dementia. The correct answer is the information on whether or not the subjects belonging to the population have dementia (see Table 1).

연구자는 서로 다른 입력 데이터 세트를 이용하여 3개의 학습 모델을 구축하였다. 연구자는 모집단의 데이터 중 924명(80%)의 데이터를 학습 데이터로 이용하였고, 196명(20%)의 데이터를 검증 데이터로 이용하였다. 3개의 학습 모델의 구축에 이용한 입력데이터는 아래 표 6과 같다.The researcher built three learning models using different input data sets. The researcher used the data of 924 people (80%) of the population as learning data, and the data of 196 people (20%) as verification data. The input data used to construct the three learning models are shown in Table 6 below.

모델 종류model type 학습 데이터(입력 데이터)Training data (input data) 학습 모델 1learning model 1 (i) 전두부의 대뇌 피질 두께, 측두부의 대뇌 피질 두께, 두정부의 대뇌 피질 두께, 후두부의 대뇌 피질 두께, 측뇌실의 부피 및 해마체의 부피(i) Frontal cortical thickness, temporal cortical thickness, parietal cortical thickness, occipital cortical thickness, lateral ventricular volume and hippocampal volume 학습 모델 2learning model 2 (i)+ (ii) 임상 정보(나이, 성별)(i)+ (ii) Clinical information (age, sex) 학습 모델 3learning model 3 (i)+ (ii) 임상 정보(나이, 성별)+(iii) 임상 정보(교육 수준)(i)+ (ii) Clinical information (age, sex) + (iii) Clinical information (educational level)

연구자는 구축한 학습 모델을 검증하였다. 한편, 검증 과정에서 연구자는 도 3의 학습모델이 예측한 대뇌 피질 두께 및 뇌 영역 부피를 도 4의 학습 모델의 입력 데이터로 이용하였다. 연구자는 10-폴드 교차 검증을 수행하였다. 검증 결과는 아래 표 7과 같다. 검증은 학습 모델이 예측한 결과와 정답을 비교하였다. 성능 지표는 AUC(area under the receiver operating characteristic curve) 및 AUPRC(area under the precision-recall curve)를 이용하였다. The researcher verified the built learning model. Meanwhile, in the verification process, the researcher used the cortical thickness and brain region volume predicted by the learning model of FIG. 3 as input data for the learning model of FIG. 4 . Researchers performed 10-fold cross-validation. The verification results are shown in Table 7 below. Verification compared the result predicted by the learning model with the correct answer. As performance indicators, AUC (area under the receiver operating characteristic curve) and AUPRC (area under the precision-recall curve) were used.

연구자는 종래 3D MRI 기반의 분류 모델과 전술한 2D MRI 기반의 학습 모델의 성능을 비교하였다. 종래 3D MRI 기반의 분류 모델은 종래 연구된 모델을 이용하였다(Rebsamen, M., et al., Direct cortical thickness estimation using deep learning-based anatomy segmentation and cortex parcellation. Human Brain Mapping, 2020. 41(17): p. 4804-4814.). The researcher compared the performance of the conventional 3D MRI-based classification model and the aforementioned 2D MRI-based learning model. Conventional 3D MRI-based classification models used previously studied models (Rebsamen, M., et al., Direct cortical thickness estimation using deep learning-based anatomy segmentation and cortex parcellation. Human Brain Mapping, 2020. 41(17) : p. 4804-4814.).

2D MRI 기반의 학습 모델에서 학습 모델 2가 가장 높은 성능을 보였다. 나아가, 3D MRI 기반의 모델(AUC: 0.936)과 2D MRI 기반의 모델(AUC:0.922)의 성능 차이가 크지 않았다. 따라서, 연구자가 개발한 2D MRI 기반의 모델도 치매 예측에 충분히 유의하다고 할 수 있다.Among the 2D MRI-based learning models, learning model 2 showed the highest performance. Furthermore, the performance difference between the 3D MRI-based model (AUC: 0.936) and the 2D MRI-based model (AUC: 0.922) was not significant. Therefore, it can be said that the 2D MRI-based model developed by the researcher is also sufficiently significant in predicting dementia.

모델 종류model type 종래 3D MRI 기반 학습 모델Conventional 3D MRI-based learning model 2D MRI 기반 학습 모델2D MRI-based learning model AUCAUC AUPRCAUPRC AUCAUC AUPRCAUPRC 학습 모델 1learning model 1 0.9380.938 0.9330.933 0.9130.913 0.8830.883 학습 모델 2learning model 2 0.9360.936 0.9350.935 0.9220.922 0.9000.900 학습 모델 3learning model 3 0.9360.936 0.9420.942 0.9170.917 0.8900.890

도 5는 뇌 영상을 이용하여 대상자의 치매 여부를 예측하는 분석장치(500)에 대한 예이다. 분석장치(500)는 물리적으로 다양한 형태로 구현될 수 있다. 예컨대, 분석장치(500)는 PC와 같은 컴퓨터 장치, 스마트기기, 네트워크의 서버, 데이터 처리 전용 칩셋 등의 형태를 가질 수 있다. 한편, 분석장치(500)는 뇌 영상 장비에 연결되거나 일체형의 장치일 수도 있다.5 is an example of an analysis device 500 that predicts whether or not a subject has dementia using brain images. The analysis device 500 may be physically implemented in various forms. For example, the analysis device 500 may have a form of a computer device such as a PC, a smart device, a network server, and a chipset dedicated to data processing. Meanwhile, the analysis device 500 may be connected to brain imaging equipment or may be an integral device.

분석장치(500)는 저장장치(510), 메모리(520), 연산장치(530), 인터페이스 장치(540), 통신장치(550) 및 출력장치(560)를 포함할 수 있다.The analysis device 500 may include a storage device 510, a memory 520, an arithmetic device 530, an interface device 540, a communication device 550, and an output device 560.

저장장치(510)는 의료 영상 장비에서 생성된 대상자의 2D MRI를 저장할 수 있다.The storage device 510 may store the 2D MRI of the subject generated by the medical imaging equipment.

저장장치(510)는 대상자의 임상 정보를 저장할 수 있다. 임상 정보는 나이, 성별 및 학력 수준 중 적어도 하나를 포함할 수 있다.The storage device 510 may store clinical information of the subject. Clinical information may include at least one of age, gender, and level of education.

저장장치(510)는 뇌 영상(2D MRI 슬라이스)에서 ROI를 추출하기 위한 세그멘테이션 모델을 저장할 수 있다. 세그멘테이션 모델은 사전에 학습된 모델이다.The storage device 510 may store a segmentation model for extracting an ROI from a brain image (2D MRI slice). A segmentation model is a pretrained model.

저장장치(510)는 관심 영역의 정보 및 임상 정보(나이, 성별)를 기준으로 대뇌 피질 두께 및 특정 뇌 영역의 부피를 예측하는 학습모델을 저장할 수 있다. 대뇌 피질 두께 및 특정 뇌 영역의 부피를 예측하는 학습모델을 제1 학습모델이라고 명명한다. 전술한 바와 같이 제1 학습모델은 관심 영역(전두부 회백질, 측두부 회백질, 두정부 회백질, 후두부 회백질, 측뇌실 및 해마체)의 픽셀 합산 개수 및 임상 정보를 입력 데이터로 이용한다. 나아가, 제1 학습모델은 뇌 크기를 입력 데이터로 더 이용할 수도 있다. 따라서, 제1 학습 모델은 뇌 크기를 이용하지 않는 모델 및 뇌 크기까지 이용하는 모델로 구분되어 사전에 마련될 수 있다. 또한, 제1 학습 모델은 관심 영역별로 사전에 마련될 수 있다.The storage device 510 may store a learning model for predicting the thickness of the cerebral cortex and the volume of a specific brain region based on information of the region of interest and clinical information (age, gender). A learning model that predicts the thickness of the cerebral cortex and the volume of a specific brain region is called a first learning model. As described above, the first learning model uses the summed number of pixels of the region of interest (frontal gray matter, temporal gray matter, parietal gray matter, occipital gray matter, lateral ventricle, and hippocampus) and clinical information as input data. Furthermore, the first learning model may further use brain size as input data. Accordingly, the first learning model may be divided into a model that does not use brain size and a model that uses even brain size, and may be prepared in advance. Also, the first learning model may be prepared in advance for each area of interest.

저장장치(510)는 대뇌 피질 두께 및 특정 뇌 영역의 부피를 기준으로 치매를 예측하는 학습모델을 저장할 수 있다. 최종적으로 치매를 예측하는 학습모델을 제2 학습모델이라고 명명한다. 제2 학습모델은 전술한 바와 같이 입력 데이터의 종류에 따라 다양한 모델로 구현될 수 있다. 제2 학습 모델은 (i) 대뇌 피질 두께 및 특정 뇌 영역의 부피만을 입력 데이터로 이용하는 모델, (ii) 대뇌 피질 두께 및 특정 뇌 영역의 부피, 임상 정보(나이 및 성별)를 입력 데이터로 이용하는 모델 및 (iii) 대뇌 피질 두께 및 특정 뇌 영역의 부피, 임상 정보(나이, 성별 및 학력 수준)입력 데이터로 이용하는 모델로 구분될 수 있다. The storage device 510 may store a learning model for predicting dementia based on the thickness of the cerebral cortex and the volume of a specific brain region. Finally, a learning model predicting dementia is called a second learning model. As described above, the second learning model may be implemented in various models according to the type of input data. The second learning model is (i) a model using only cortical thickness and volume of a specific brain region as input data, (ii) a model using cortical thickness and volume of specific brain region, and clinical information (age and gender) as input data. and (iii) models used as input data for cortical thickness, volume of specific brain regions, and clinical information (age, gender, and level of education).

뇌 영상에서 치매 예측을 위한 코드 내지 프로그램을 저장할 수 있다. Codes or programs for predicting dementia in brain images may be stored.

메모리(520)는 분석장치(500)가 뇌 영상에서 치매 여부를 예측하는 과정에서 생성되는 데이터 및 정보 등을 저장할 수 있다.The memory 520 may store data and information generated in the course of the analysis device 500 predicting dementia in a brain image.

인터페이스 장치(540)는 외부로부터 일정한 명령 및 데이터를 입력받는 장치이다. 인터페이스 장치(540)는 물리적으로 연결된 입력 장치 또는 외부 저장장치로부터 대상자의 2D MRI 및 임상 정보를 입력받을 수 있다. 입력되는 2D MRI 슬라이스들은 20개 이내의 개수이다. 인터페이스 장치(540)는 2D MRI를 기준으로 예측한 치매 정보를 외부 객체에 전달할 수도 있다.The interface device 540 is a device that receives certain commands and data from the outside. The interface device 540 may receive the subject's 2D MRI and clinical information from a physically connected input device or external storage device. The number of input 2D MRI slices is less than 20. The interface device 540 may transmit dementia information predicted based on 2D MRI to an external object.

통신장치(550)는 유선 또는 무선 네트워크를 통해 일정한 정보를 수신하고 전송하는 구성을 의미한다. 통신장치(550)는 외부 객체로부터 대상자의 2D MRI 및 임상 정보를 수신할 수 있다. 2D MRI 슬라이스들은 20개 이내의 개수이다. 통신장치(550)는 2D MRI를 기준으로 예측한 치매 정보를 사용자 단말과 같은 외부 객체에 송신할 수도 있다.The communication device 550 refers to a component that receives and transmits certain information through a wired or wireless network. The communication device 550 may receive 2D MRI and clinical information of a subject from an external object. The number of 2D MRI slices is less than 20. The communication device 550 may transmit dementia information predicted based on 2D MRI to an external object such as a user terminal.

인터페이스 장치(540)는 통신장치(550)에서 수신하는 데이터를 내부적으로 전달받는 장치일 수 있다.The interface device 540 may be a device that internally receives data received from the communication device 550 .

출력장치(560)는 일정한 정보를 출력하는 장치이다. 출력장치(560)는 데이터 처리 과정에 필요한 인터페이스, 뇌 영상, 뇌 영상에서 분할한 관심 영역, 관심 영역 기준 산출한 치매 관련 지표, 치매 예측 결과 등을 출력할 수 있다. The output device 560 is a device that outputs certain information. The output device 560 may output an interface necessary for a data processing process, a brain image, a region of interest divided from a brain image, a dementia-related indicator calculated based on a region of interest, a dementia prediction result, and the like.

연산 장치(530)는 대상자의 뇌 영상(2D MRI)을 일정하게 전처리할 수 있다. 연산 장치(530)는 데이터 전처리 과정을 통하여 뇌 영역 전체를 분할하기 위한 마스크를 생성할 수 있다. 연산 장치(530)는 뇌 영역 전체에 대한 마스크를 이용하여 뇌 영상에서 전체 뇌 영역을 분할할 수 있다.The arithmetic device 530 may pre-process the subject's brain image (2D MRI) at regular intervals. The arithmetic device 530 may generate a mask for segmenting the entire brain region through a data pre-processing process. The computing device 530 may segment the entire brain region from the brain image using a mask for the entire brain region.

연산 장치(530)는 대상자의 2D MRI의 크기 내지 해상도를 일정하게 정규화할 수 있다.The arithmetic unit 530 may normalize the size and resolution of the subject's 2D MRI to a constant.

연산 장치(530)는 대상자의 2D MRI 슬라이스를 학습된 세그멘테이션 모델에 입력하여 관심 영역을 추출할 수 있다. 관심 영역들은 전두부 회백질, 측두부 회백질, 두정부 회백질, 후두부 회백질, 측뇌실 및 해마체을 포함한다.The computing device 530 may extract a region of interest by inputting the 2D MRI slice of the subject to the learned segmentation model. Regions of interest include frontal gray matter, temporal gray matter, parietal gray matter, occipital gray matter, lateral ventricle and hippocampus.

연산 장치(530)는 관심 영역들에 대한 크기 정보를 추출할 수 있다. 연산 장치(530)는 관심 영역들 각각에 대한 픽셀 합산 개수를 산출할 수 있다. 연산 장치(530)는 관심 영역(예컨대, 전두부)별로 전체 2D 슬라이스에서 확인한 픽셀 개수를 합산하여 픽셀 합산 개수를 산출할 수 있다.The computing device 530 may extract size information of the regions of interest. The calculator 530 may calculate the summed number of pixels for each of the regions of interest. The calculation device 530 may calculate the summed number of pixels by summing the number of pixels identified in the entire 2D slice for each region of interest (eg, the frontal part).

연산 장치(530)는 뇌 MRI에서 관심 영역 및 다른 영역의 크기를 기준으로 전체 뇌 크기를 산출할 수 있다. 뇌 크기는 대뇌외 뇌척수액 영역, 전술한 6개의 관심 영역들 및 관심 영역들의 백질의 크기를 합산하여 결정될 수 있다.The computing device 530 may calculate the size of the entire brain based on the sizes of the region of interest and other regions in the brain MRI. The brain size can be determined by summing the size of the extracerebral cerebrospinal fluid region, the six regions of interest described above, and the white matter of the regions of interest.

연산 장치(530)는 관심 영역의 픽셀 합산 개수 및 임상 정보(나이 및 성별)를 제1 학습모델에 입력하여 해당 관심 영역의 대뇌 피질 두께 내지 부피를 예측할 수 있다. 연산 장치(530)는 관심 영역별로 픽셀 합산 개수 및 임상 정보(나이 및 성별)를 개별적인 학습모델에 입력하여 해당 관심 영역의 대뇌 피질 두께 내지 부피를 예측할 수 있다.The computing device 530 may predict the thickness or volume of the cerebral cortex of the region of interest by inputting the summed number of pixels and clinical information (age and gender) of the region of interest to the first learning model. The computing device 530 may predict the thickness or volume of the cerebral cortex of the region of interest by inputting the summed number of pixels and clinical information (age and gender) for each region of interest to an individual learning model.

또한, 연산 장치(530)는 관심 영역의 픽셀 합산 개수, 뇌크기 및 임상 정보(나이 및 성별)를 제1 학습모델에 입력하여 해당 관심 영역의 대뇌 피질 두께 내지 부피를 예측할 수도 있다. 연산 장치(530)는 관심 영역별로 픽셀 합산 개수, 뇌크기 및 임상 정보(나이 및 성별)를 개별적인 학습모델에 입력하여 해당 관심 영역의 대뇌 피질 두께 내지 부피를 예측할 수도 있다.In addition, the calculation device 530 may predict the thickness or volume of the cerebral cortex of the region of interest by inputting the summed number of pixels, brain size, and clinical information (age and gender) of the region of interest to the first learning model. The computing device 530 may predict the thickness or volume of the cerebral cortex of the region of interest by inputting the summed number of pixels, brain size, and clinical information (age and gender) for each region of interest into an individual learning model.

연산 장치(530)는 제1 학습모델에 예측한 대뇌 피질 두께 내지 부피를 제2 학습모델에 입력하여 대상자의 치매 여부를 예측할 수 있다.The arithmetic device 530 may predict whether or not the subject has dementia by inputting the thickness or volume of the cerebral cortex predicted in the first learning model to the second learning model.

연산 장치(530)는 전두부의 대뇌 피질 두께, 측두부의 대뇌 피질 두께, 두정부의 대뇌 피질 두께, 후두부의 대뇌 피질 두께, 측뇌실의 부피 및 해마체의 부피를 제2 학습모델에 입력하여 대상자의 치매 여부를 예측할 수 있다.The calculation device 530 inputs the thickness of the cerebral cortex of the frontal region, the thickness of the cerebral cortex of the temporal region, the thickness of the cerebral cortex of the parietal region, the thickness of the cerebral cortex of the occipital region, the volume of the lateral ventricle, and the volume of the hippocampus into the second learning model to determine whether the subject has dementia. can predict

또는, 연산 장치(530)는 (i) 전두부의 대뇌 피질 두께, 측두부의 대뇌 피질 두께, 두정부의 대뇌 피질 두께, 후두부의 대뇌 피질 두께, 측뇌실의 부피 및 해마체의 부피 및 (ii) 임상 정보(나이 및 성별)를 제2 학습모델에 입력하여 대상자의 치매 여부를 예측할 수 있다.Alternatively, the computing device 530 may include (i) frontal cortical thickness, temporal cortical thickness, parietal cortical thickness, occipital cortical thickness, lateral ventricle volume and hippocampus volume, and (ii) clinical information ( age and gender) can be input into the second learning model to predict whether or not the subject has dementia.

또는, 연산 장치(530)는 (i) 전두부의 대뇌 피질 두께, 측두부의 대뇌 피질 두께, 두정부의 대뇌 피질 두께, 후두부의 대뇌 피질 두께, 측뇌실의 부피 및 해마체의 부피 및 (ii) 임상 정보(나이, 성별 및 교육 수준)를 제2 학습모델에 입력하여 대상자의 치매 여부를 예측할 수 있다.Alternatively, the computing device 530 may include (i) frontal cortical thickness, temporal cortical thickness, parietal cortical thickness, occipital cortical thickness, lateral ventricle volume and hippocampus volume, and (ii) clinical information ( Age, gender, and education level) can be input into the second learning model to predict whether or not the subject has dementia.

연산 장치(530)는 데이터를 처리하고, 일정한 연산을 처리하는 프로세서, AP, 프로그램이 임베디드된 칩과 같은 장치일 수 있다.The arithmetic device 530 may be a device such as a processor, an AP, or a chip in which a program is embedded that processes data and performs certain arithmetic operations.

또한, 상술한 바와 같은 뇌 영상 분석 방법 내지 2D MRI 기반의 치매 예측 방법은 컴퓨터에서 실행될 수 있는 실행가능한 알고리즘을 포함하는 프로그램(또는 어플리케이션)으로 구현될 수 있다. 상기 프로그램은 일시적 또는 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.In addition, the brain image analysis method or the 2D MRI-based dementia prediction method as described above may be implemented as a program (or application) including an executable algorithm that can be executed on a computer. The program may be stored and provided in a temporary or non-transitory computer readable medium.

비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM (read-only memory), PROM (programmable read only memory), EPROM(Erasable PROM, EPROM) 또는 EEPROM(Electrically EPROM) 또는 플래시 메모리 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.A non-transitory readable medium is not a medium that stores data for a short moment, such as a register, cache, or memory, but a medium that stores data semi-permanently and can be read by a device. Specifically, the various applications or programs described above are CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM (read-only memory), PROM (programmable read only memory), EPROM (Erasable PROM, EPROM) Alternatively, it may be stored and provided in a non-transitory readable medium such as EEPROM (Electrically EPROM) or flash memory.

일시적 판독 가능 매체는 스태틱 램(Static RAM,SRAM), 다이내믹 램(Dynamic RAM,DRAM), 싱크로너스 디램 (Synchronous DRAM,SDRAM), 2배속 SDRAM(Double Data Rate SDRAM,DDR SDRAM), 증강형 SDRAM(Enhanced SDRAM,ESDRAM), 동기화 DRAM(Synclink DRAM,SLDRAM) 및 직접 램버스 램(Direct Rambus RAM,DRRAM) 과 같은 다양한 RAM을 의미한다.Temporary readable media include static RAM (SRAM), dynamic RAM (DRAM), synchronous DRAM (SDRAM), double data rate SDRAM (DDR SDRAM), and enhanced SDRAM (Enhanced SDRAM). SDRAM, ESDRAM), Synchronous DRAM (Synclink DRAM, SLDRAM) and Direct Rambus RAM (DRRAM).

본 실시예 및 본 명세서에 첨부된 도면은 전술한 기술에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 전술한 기술의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시례는 모두 전술한 기술의 권리범위에 포함되는 것이 자명하다고 할 것이다.This embodiment and the drawings accompanying this specification clearly represent only a part of the technical idea included in the foregoing technology, and those skilled in the art can easily understand it within the scope of the technical idea included in the specification and drawings of the above technology. It will be obvious that all variations and specific examples that can be inferred are included in the scope of the above-described technology.

Claims (12)

분석장치가 대상자의 2D(dimension) MRI(Magnetic Resonance Imaging) 슬라이스들을 입력받는 단계;
상기 분석장치가 상기 2D MRI 슬라이스들을 세그멘테이션 모델에 입력하여 관심 영역들을 추출하는 단계;
상기 분석장치가 상기 관심 영역들의 픽셀 합산 개수를 산출하는 단계;
상기 분석장치가 상기 관심 영역들의 픽셀 합산 개수를 사전에 학습된 제1 학습모델들에 입력하여 상기 관심 영역들 중 일부 영역들의 대뇌 피질 두께 및 상기 관심 영역들 중 일부 영역들의 부피를 예측하는 단계; 및
상기 분석장치가 상기 일부 영역들의 대뇌 피질 두께 및 상기 일부 영역들의 부피를 사전에 학습된 제2 학습 모델에 입력하여 상기 대상자의 치매 여부를 분류하는 단계를 포함하되,
상기 관심 영역들은 전두부 회백질, 측두부 회백질, 두정부 회백질, 후두부 회백질, 측뇌실 및 해마체를 포함하는, 2차원 MRI를 이용한 치매 예측 방법.
receiving 2D (dimension) Magnetic Resonance Imaging (MRI) slices of the subject by an analysis device;
extracting regions of interest by inputting the 2D MRI slices to a segmentation model by the analysis device;
calculating, by the analysis device, the number of summed pixels of the ROI;
predicting, by the analysis device, cortical thicknesses of some of the regions of interest and volumes of some of the regions of interest by inputting the summed number of pixels of the regions of interest to previously trained first learning models; and
Classifying whether or not the subject has dementia by inputting, by the analysis device, the thickness of the cerebral cortex of the partial regions and the volume of the partial regions to a pre-learned second learning model,
The regions of interest include frontal gray matter, temporal gray matter, parietal gray matter, occipital gray matter, lateral ventricles, and the hippocampus.
제1항에 있어서,
상기 제1 학습모델들은 상기 관심 영역들의 픽셀 합산 개수, 상기 대상자의 나이 및 상기 대상자의 성별을 입력받아 상기 일부 영역들의 대뇌 피질 두께 및 상기 일부 영역들의 부피를 예측하는 2차원 MRI를 이용한 치매 예측 방법.
According to claim 1,
The first learning models are a dementia prediction method using 2D MRI that predicts the thickness of the cerebral cortex of the partial regions and the volume of the partial regions by receiving the sum number of pixels of the regions of interest, the age of the subject, and the gender of the subject. .
제2항에 있어서,
상기 제1 학습모델들은 상기 2D MRI 슬라이스들을에서 산출되는 뇌 크기를 더 입력받는 2차원 MRI를 이용한 치매 예측 방법.
According to claim 2,
Dementia prediction method using 2D MRI, wherein the first learning models further receive brain sizes calculated from the 2D MRI slices.
제1항에 있어서,
상기 제1 학습모델들은 상기 관심 영역들별로 사전에 마련된 복수의 학습모델들을 포함하고, 상기 복수의 학습모델들은 대응하는 관심 영역에 대한 픽셀 합산 개수 및 상기 대상자의 나이 및 상기 대상자의 성별을 입력하여 상기 대응하는 관심 영역의 대뇌 피질 두께 또는 부피를 예측하는 2차원 MRI를 이용한 치매 예측 방법.
According to claim 1,
The first learning models include a plurality of learning models prepared in advance for each region of interest, and the plurality of learning models are input by inputting the sum of pixels for the corresponding region of interest, the age of the target, and the gender of the target. Dementia prediction method using two-dimensional MRI for predicting the thickness or volume of the cerebral cortex of the corresponding region of interest.
제1항에 있어서,
상기 제2 학습모델은 전두부의 대뇌 피질 두께, 측두부의 대뇌 피질 두께, 두정부의 대뇌 피질 두께, 후두부의 대뇌 피질 두께, 측뇌실의 부피 및 해마체의 부피를 입력받아 상기 대사자의 치매 여부를 분류하는 2차원 MRI를 이용한 치매 예측 방법.
According to claim 1,
The second learning model receives the thickness of the cerebral cortex of the frontal region, the thickness of the cerebral cortex of the temporal region, the thickness of the cerebral cortex of the parietal region, the thickness of the cerebral cortex of the occipital region, the volume of the lateral ventricle and the volume of the hippocampus, and classifies whether the metabolite has dementia 2 Dementia prediction method using dimensional MRI.
제5항에 있어서,
상기 제2 학습모델은 상기 대상자의 나이, 상기 대상자의 성별 및 상기 대상자의 교육 수준 중 적어도 하나의 정보를 더 입력받는 2차원 MRI를 이용한 치매 예측 방법.
According to claim 5,
The second learning model is a dementia prediction method using a two-dimensional MRI further receiving at least one information of the subject's age, the subject's gender, and the subject's education level.
제1항에 있어서,
상기 2D MRI 슬라이스들은 20개 이내의 슬라이스들을 포함하는 2차원 MRI를 이용한 치매 예측 방법.
According to claim 1,
The 2D MRI slices are a dementia prediction method using 2-dimensional MRI including 20 or less slices.
대상자의 2D(dimension) MRI(Magnetic Resonance Imaging) 슬라이스들을 입력받는 인터페이스 장치;
2D MRI 슬라이스에서 관심 영역을 추출하는 세그멘테이션 모델, 관심 영역 정보를 입력받아 대뇌 피질 두께 및 부피를 예측하는 제1 학습모델들 및 대뇌 피질 두께 및 부피를 입력받아 치매 여부를 분류하는 제2 학습모델을 저장하는 저장장치; 및
상기 입력받은 2D MRI 슬라이스들을 상기 세그멘테이션 모델에 입력하여 관심 영역들을 추출하고, 상기 추출한 관심 영역들의 픽셀 합산 개수를 상기 제1 학습모델들에 입력하여 상기 관심 영역들 중 일부 영역들의 대뇌 피질 두께 및 상기 관심 영역들 중 일부 영역들의 부피를 예측하고, 상기 일부 영역들의 대뇌 피질 두께 및 상기 일부 영역들의 부피를 상기 제2 학습 모델에 입력하여 상기 대상자의 치매 여부를 분류하는 연산장치를 포함하되,
상기 관심 영역들은 전두부 회백질, 측두부 회백질, 두정부 회백질, 후두부 회백질, 측뇌실 및 해마체를 포함하는, 2차원 MRI를 이용하여 치매를 예측하는 분석장치.
An interface device for receiving 2D (dimension) Magnetic Resonance Imaging (MRI) slices of a subject;
A segmentation model that extracts a region of interest from a 2D MRI slice, first learning models that predict cortical thickness and volume by receiving region of interest information, and a second learning model that classifies dementia by receiving cortical thickness and volume a storage device to store; and
The received 2D MRI slices are input to the segmentation model to extract regions of interest, and the summed number of pixels of the extracted regions of interest is input to the first learning models to obtain cortical thicknesses of some of the regions of interest and the An arithmetic device for predicting the volume of some of the regions of interest and inputting the cortical thickness of the partial region and the volume of the partial region to the second learning model to classify whether the subject has dementia,
The regions of interest include frontal gray matter, temporal gray matter, parietal gray matter, occipital gray matter, lateral ventricles, and the hippocampus, an analysis device for predicting dementia using 2-dimensional MRI.
제8항에 있어서,
상기 제1 학습모델들은 상기 관심 영역들의 픽셀 합산 개수, 상기 대상자의 나이 및 상기 대상자의 성별을 입력받아 상기 일부 영역들의 대뇌 피질 두께 및 상기 일부 영역들의 부피를 예측하는 2차원 MRI를 이용하여 치매를 예측하는 분석장치.
According to claim 8,
The first learning models use 2D MRI to predict the thickness of the cerebral cortex of the partial regions and the volume of the partial regions by receiving the sum of the number of pixels of the regions of interest, the age of the subject, and the gender of the subject, thereby preventing dementia. predictive analytics.
제8항에 있어서,
상기 제1 학습모델들은 상기 관심 영역들별로 사전에 마련된 복수의 학습모델들을 포함하고, 상기 복수의 학습모델들은 대응하는 관심 영역에 대한 픽셀 합산 개수 및 상기 대상자의 나이 및 상기 대상자의 성별을 입력하여 상기 대응하는 관심 영역의 대뇌 피질 두께 또는 부피를 예측하는 2차원 MRI를 이용하여 치매를 예측하는 분석장치.
According to claim 8,
The first learning models include a plurality of learning models prepared in advance for each region of interest, and the plurality of learning models are input by inputting the sum of pixels for the corresponding region of interest, the age of the target, and the gender of the target. An analysis device for predicting dementia using a two-dimensional MRI that predicts the thickness or volume of the cerebral cortex of the corresponding region of interest.
제8항에 있어서,
상기 제2 학습모델은 전두부의 대뇌 피질 두께, 측두부의 대뇌 피질 두께, 두정부의 대뇌 피질 두께, 후두부의 대뇌 피질 두께, 측뇌실의 부피 및 해마체의 부피를 입력받아 상기 대사자의 치매 여부를 분류하는 2차원 MRI를 이용하여 치매를 예측하는 분석장치.
According to claim 8,
The second learning model receives the thickness of the cerebral cortex of the frontal region, the thickness of the cerebral cortex of the temporal region, the thickness of the cerebral cortex of the parietal region, the thickness of the cerebral cortex of the occipital region, the volume of the lateral ventricle and the volume of the hippocampus, and classifies whether the metabolite has dementia 2 An analysis device that predicts dementia using dimensional MRI.
제11항에 있어서,
상기 제2 학습모델은 상기 대상자의 나이, 상기 대상자의 성별 및 상기 대상자의 교육 수준 중 적어도 하나의 정보를 더 입력받는 2차원 MRI를 이용하여 치매를 예측하는 분석장치.
According to claim 11,
The second learning model is an analysis device for predicting dementia using a two-dimensional MRI further receiving at least one information of the subject's age, the subject's gender, and the subject's education level.
KR1020220141115A 2022-02-09 2022-10-28 Dementia prediction method based on 2-dimensional magnetic resonance imaging and analysis apparatus KR102608203B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2023/001929 WO2023153839A1 (en) 2022-02-09 2023-02-09 Dementia information calculation method and analysis device using two-dimensional mri

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220017193 2022-02-09
KR20220017193 2022-02-09

Publications (2)

Publication Number Publication Date
KR20230120551A true KR20230120551A (en) 2023-08-17
KR102608203B1 KR102608203B1 (en) 2023-11-30

Family

ID=87800338

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020220141115A KR102608203B1 (en) 2022-02-09 2022-10-28 Dementia prediction method based on 2-dimensional magnetic resonance imaging and analysis apparatus
KR1020230017363A KR102608205B1 (en) 2022-02-09 2023-02-09 Dementia related information generation method using volume predicted from 2-dimensional magnetic resonance imaging and analysis apparatus

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020230017363A KR102608205B1 (en) 2022-02-09 2023-02-09 Dementia related information generation method using volume predicted from 2-dimensional magnetic resonance imaging and analysis apparatus

Country Status (1)

Country Link
KR (2) KR102608203B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101929965B1 (en) * 2017-11-01 2018-12-17 가천대학교 산학협력단 Method for diagnosis of alzheimer's disease based on structural mri images using relm and pca features and the apparatus thereof
KR20200062589A (en) 2018-11-27 2020-06-04 재단법인 아산사회복지재단 Apparatus and method for predicting dementia by dividing brain mri by brain region
KR20210029318A (en) * 2019-09-05 2021-03-16 고려대학교 산학협력단 Method and apparatus for cortical neurodegeneration prediction in alzheimer's disease using CT images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101929965B1 (en) * 2017-11-01 2018-12-17 가천대학교 산학협력단 Method for diagnosis of alzheimer's disease based on structural mri images using relm and pca features and the apparatus thereof
KR20200062589A (en) 2018-11-27 2020-06-04 재단법인 아산사회복지재단 Apparatus and method for predicting dementia by dividing brain mri by brain region
KR20210029318A (en) * 2019-09-05 2021-03-16 고려대학교 산학협력단 Method and apparatus for cortical neurodegeneration prediction in alzheimer's disease using CT images

Also Published As

Publication number Publication date
KR20230120605A (en) 2023-08-17
KR102608205B1 (en) 2023-11-30
KR102608203B1 (en) 2023-11-30

Similar Documents

Publication Publication Date Title
Liu et al. Multi-modality cascaded convolutional neural networks for Alzheimer’s disease diagnosis
US10482603B1 (en) Medical image segmentation using an integrated edge guidance module and object segmentation network
Liu et al. Weakly supervised deep learning for brain disease prognosis using MRI and incomplete clinical scores
KR101857624B1 (en) Medical diagnosis method applied clinical information and apparatus using the same
CN111488914B (en) Alzheimer disease classification and prediction system based on multitask learning
Nozadi et al. Classification of Alzheimer’s and MCI Patients from Semantically Parcelled PET Images: A Comparison between AV45 and FDG‐PET
Mechrez et al. Patch-based segmentation with spatial consistency: application to MS lesions in brain MRI
KR102318959B1 (en) Prediction method for probability of lung cancer based on artificial intelligence model analyzing medical image and analyzing apparatus for medical image
Garali et al. Histogram-based features selection and volume of interest ranking for brain PET image classification
Chen et al. Localization and segmentation of 3D intervertebral discs in MR images by data driven estimation
US11195273B2 (en) Disease detection from weakly annotated volumetric medical images using convolutional long short-term memory
Yue et al. Hierarchical feature extraction for early Alzheimer’s disease diagnosis
CN102938013A (en) Medical image processing apparatus and medical image processing method
CN111325714B (en) Method for processing region of interest, computer device and readable storage medium
WO2018150210A1 (en) Evaluating quality of a product such as a semiconductor substrate
US11151717B2 (en) Computer aided diagnosis system for mild cognitive impairment
Platero et al. Longitudinal neuroimaging hippocampal markers for diagnosing Alzheimer’s disease
US11417424B2 (en) Disease detection from weakly annotated volumetric medical images using convolutional long short-term memory and multiple instance learning
Tureckova et al. ISLES challenge: U-shaped convolution neural network with dilated convolution for 3D stroke lesion segmentation
Depeursinge et al. Comparative performance analysis of state-of-the-art classification algorithms applied to lung tissue categorization
Agnello et al. Unsupervised tissue classification of brain MR images for voxel‐based morphometry analysis
Zheng et al. Integrating semi-supervised and supervised learning methods for label fusion in multi-atlas based image segmentation
CN114298234A (en) Brain medical image classification method and device, computer equipment and storage medium
US20220383621A1 (en) Class-disparate loss function to address missing annotations in training data
Sokooti et al. Hierarchical prediction of registration misalignment using a convolutional LSTM: Application to chest CT scans

Legal Events

Date Code Title Description
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant