WO2024063271A1 - 급성 허혈성 뇌졸중 이후 주요 심뇌혈관사건 위험도 예측 방법 및 프로그램 - Google Patents

급성 허혈성 뇌졸중 이후 주요 심뇌혈관사건 위험도 예측 방법 및 프로그램 Download PDF

Info

Publication number
WO2024063271A1
WO2024063271A1 PCT/KR2023/009206 KR2023009206W WO2024063271A1 WO 2024063271 A1 WO2024063271 A1 WO 2024063271A1 KR 2023009206 W KR2023009206 W KR 2023009206W WO 2024063271 A1 WO2024063271 A1 WO 2024063271A1
Authority
WO
WIPO (PCT)
Prior art keywords
risk
prediction model
predicting
information
cardiovascular events
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2023/009206
Other languages
English (en)
French (fr)
Inventor
김자혜
최강호
김두영
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industry Foundation of Chonnam National University
Chonnam National University Hospital
Original Assignee
Industry Foundation of Chonnam National University
Chonnam National University Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industry Foundation of Chonnam National University, Chonnam National University Hospital filed Critical Industry Foundation of Chonnam National University
Publication of WO2024063271A1 publication Critical patent/WO2024063271A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus, e.g. for MRI, optical tomography or impedance tomography apparatus; Arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus, e.g. for MRI, optical tomography or impedance tomography apparatus; Arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A61B5/0042—Features or image-related aspects of imaging apparatus, e.g. for MRI, optical tomography or impedance tomography apparatus; Arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus, e.g. for MRI, optical tomography or impedance tomography apparatus; Arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus, e.g. for MRI, optical tomography or impedance tomography apparatus; Arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A61B5/0044—Features or image-related aspects of imaging apparatus, e.g. for MRI, optical tomography or impedance tomography apparatus; Arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
    • A61B5/02007—Evaluating blood vessel condition, e.g. elasticity, compliance
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Definitions

  • This invention was made under the support of the Ministry of Science and ICT through project identification number 1711165771 and task number 2020R1A2C1101082.
  • the research management agency for the project is the National Research Foundation of Korea, and the research project name is "(Type 1-1) Mid-level Research”.
  • the title of the project is "Development of traumatic injury treatment technology using mobile next-generation image-based intravascular navigation technique", the host institution is Chonnam National University (Hakdong), and the research period is 2020.09.01. ⁇ 2025.02.28.
  • the present invention relates to a method and program for predicting the risk of major cardiovascular events after an acute ischemic stroke. More specifically, the present invention relates to a method and program for predicting the risk of major cardiovascular events (major adverse events) in a subject after the occurrence of symptoms such as an acute ischemic stroke using medical images and clinical information. It relates to methods and programs for predicting the risk of cerebro-cardiovascular events (MACE).
  • MACE cerebro-cardiovascular events
  • Stroke is the second most common cause of death and disability worldwide. Despite significant advances in medical management and neurosurgical techniques for stroke prevention and treatment, stroke still causes high mortality and disability. Patients with acute ischemic stroke (AIS) have a high mortality and recurrence rate within 1 year after stroke onset, so continuous attention is needed, especially within the first year. According to previous studies, the mortality rate of patients with acute ischemic stroke was approximately 10% within 30 days and 20% within 1 year. In particular, deaths due to vascular-related disorders occur at a high rate after acute ischemic stroke, indicating the need to predict the risk of major adverse cerebro-cardiovascular events (MACE). In addition, because the cumulative probability of stroke recurrence one year after an acute ischemic stroke reaches 20%, there is an urgent need to develop a prediction model for major cardiovascular events in patients who have experienced an acute ischemic stroke.
  • MACE major adverse cerebro-cardiovascular events
  • Deep learning models are expected to improve performance over existing models by being able to learn non-linear and complex relationships between images and clinical information. Nevertheless, no studies have directly predicted major cardiovascular risk after acute ischemic stroke using individualized clinical factors and brain imaging.
  • the present inventors developed a method and program to predict the risk of major adverse cerebro-cardiovascular events (MACE) in subjects after the occurrence of symptoms such as acute ischemic stroke using medical images and clinical information, and the prediction accuracy was determined. It was confirmed that it was significantly superior.
  • MACE major adverse cerebro-cardiovascular events
  • the purpose of the present invention is to provide a method for predicting the risk of major cardiovascular events.
  • Another object of the present invention is to provide a computer program for predicting the risk of major cardiovascular events.
  • Another object of the present invention is to provide a computing device for predicting the risk of major cardiovascular events.
  • the present invention relates to a method and program for predicting the risk of major cardiovascular events after an acute ischemic stroke.
  • the method and program according to the present invention predicts major adverse cerebro-cardiovascular events (MACE) in subjects after the occurrence of symptoms such as acute ischemic stroke. ) can be accurately predicted.
  • MACE major adverse cerebro-cardiovascular events
  • One aspect of the present invention is a method of predicting the risk of major adverse cerebro-cardiovascular events (MACE) from clinical information and medical imaging data by a computing device, wherein medical imaging data including a brain image of a subject is provided.
  • MACE major adverse cerebro-cardiovascular events
  • medical image data in this specification may include multidimensional medical image data composed of discrete image elements (eg, pixels in a two-dimensional image).
  • medical imaging data may include a visible object or a digital representation of that object (e.g., a file corresponding to the pixel output of a CT, MRI detector, etc.).
  • Medical imaging data may be collected by computed tomography (CT), magnetic resonance imaging (MRI), fundus imaging, ultrasound, or any other medical imaging system known in the art ( It may include a medical image of a subject).
  • medical image data may include diffusion weighted image (DWI) data of MRI.
  • DWI diffusion weighted image
  • major cardiovascular event refers to the occurrence of specific symptoms or survival events related to the brain, heart, or blood vessels after a specific disease, such as an acute ischemic stroke.
  • a major cardiovascular event may mean one or more of myocardial infarction, cardiovascular revascularization, cerebrovascular disease (cerebral infarction, cerebral hemorrhage, transient cerebral ischemia), and death.
  • subject in this specification may be an individual (or subject) expected to experience a major cardiovascular event.
  • the subject may be a mammal, for example, the subject may be one or more selected from the group consisting of humans, monkeys, dogs, cats, mice, rats, cattle, horses, pigs, goats and sheep. You can.
  • the first prediction model and/or the second prediction model may be a deep neural network.
  • deep neural network in this specification may refer to a neural network that includes a plurality of hidden layers in addition to an input layer and an output layer.
  • the term “deep neural network” may be used interchangeably with the terms “neural network,” “network function,” and “neural network” throughout this specification.
  • Using deep neural networks it is possible to identify latent structures in data. In other words, it is possible to identify the potential structure of a photo, text, video, voice, or music (e.g., what object is in the photo, what the content and emotion of the text are, what the content and emotion of the voice are, etc.) .
  • the deep neural network includes a convolutional neural network (CNN), a recurrent neural network (RNN), a restricted Boltzmann machine (RBM), and a deep trust network (deep neural network). It may include, but is not limited to, belief network (DBN), Q network, U network, Siamese network, etc.
  • CNN convolutional neural network
  • RNN recurrent neural network
  • RBM restricted Boltzmann machine
  • deep trust network deep neural network
  • It may include, but is not limited to, belief network (DBN), Q network, U network, Siamese network, etc.
  • the first prediction model and the second prediction model may be composed of sub-models of the cardiovascular risk prediction model.
  • the first prediction model and the second prediction model may be separate and independent models.
  • clinical information in this specification refers to medical information related to the subject, such as the subject's demographic information, health status information, presence or absence of a specific disease, and treatment records.
  • clinical information includes, for example, gender, age, body mass index (BMI), presence or absence of statin therapy, TOAST classification information such as LAA, SVO, CE, OD, UD, modified Rankin Scale (mRS), and previous Transient cerebral ischemia, concomitant diseases, previous stroke, peripheral artery stenosis, coronary artery stenosis, hypertension, diabetes, dyslipidemia, smoking status, cancer, atrial fibrillation, cerebral microhemorrhage, left ventricular diastolic dysfunction, pulmonary hypertension, myocardial infarction, myocardium Contains one or more information selected from the group consisting of disease, left ventricular hypertrophy, left atrium enlargement, atrial tachycardia, ventricular tachycardia, valvular heart disease, a
  • the clinical information may include the National Institutes of Health Stroke Scale (NIHSS).
  • NIHSS National Institutes of Health Stroke Scale
  • the clinical information includes the National Institutes of Health Stroke Scale and statin administration information. It may be done, but it is not limited to this.
  • the second prediction model is supervised learning based on one or more learning data and a guide label that corresponds to the learning data and includes major cardiovascular event risk results, and the supervised learning is performed on the second prediction model. It may be performed based on the comparison results of the learning information generated for the learning data and the guide label using .
  • supervised learning may be performed based on the learning information and the result of calculating the guide label using maximum likelihood estimation.
  • the second prediction model may be to derive the survival function of Equation 3 by deriving the risk function of Equation 2 below.
  • x) is the risk function, the probability that a major cardiovascular event will occur at a specific time t, 0 (t) is the baseline risk function that does not receive x as input, h(x) is the output value of the second prediction model and is the log risk for each patient)
  • the second prediction model derives a survival function in the form of a Wavell distribution according to Equation 5, and combines the K survival distributions in the form of a Weibull distribution to obtain Equation 6 below: It may be possible to derive a survival function according to .
  • x) is the survival function, the probability of surviving longer than time t given patient information x, t is time, ⁇ and refers to the parameters of the wavele distribution
  • x) is the survival function, the probability of surviving longer than time t given patient information x, t is time, ⁇ and is the parameter of the wavel distribution, W k is the weight of the kth distribution
  • the method may be to predict the risk of major cardiovascular events after an acute ischemic stroke (AIS). Therefore, in the present invention, the subject may be an object that has experienced an acute ischemic stroke (AIS).
  • AIS acute ischemic stroke
  • Another aspect of the invention is a computer program stored in a storage medium, wherein the computer program, when executed on one or more processors, performs the following operations for predicting the risk of major adverse cerebro-cardiovascular events (MACE):
  • the operations include: a generation operation of generating input data from medical image data including a brain image of the subject; An extraction operation of extracting image features from input data through a first prediction model learned in advance; A derivation operation of deriving a survival function associated with major cardiovascular events based on extracted image features and clinical information of the subject using a pre-trained second prediction model; and a predictive operation for predicting the risk of a major cardiovascular event of a subject based on a survival function.
  • MACE major adverse cerebro-cardiovascular events
  • Another aspect of the invention is a computing device for predicting major adverse cerebro-cardiovascular events (MACE) risk, comprising: a processor including one or more cores; and a memory; wherein the processor generates input data from medical image data including a brain image of the target, extracts image features from the input data through a first pre-trained prediction model, and uses a pre-learned second prediction model.
  • a computing device that uses a prediction model to derive a survival function associated with a major cardiovascular event based on extracted image features and clinical information of the subject, and predicts the risk of a major cardiovascular event of the subject based on the survival function.
  • the present invention relates to a method and program for predicting the risk of major cardiovascular events after an acute ischemic stroke.
  • the method and program according to the present invention predicts major adverse cerebro-cardiovascular events (MACE) in subjects after the occurrence of symptoms such as acute ischemic stroke. ) can be accurately predicted.
  • MACE major adverse cerebro-cardiovascular events
  • FIG. 1 is a block diagram of a computing device that performs an operation to predict the risk of major adverse cerebro-cardiovascular events (MACE) according to an embodiment of the present invention.
  • MACE major adverse cerebro-cardiovascular events
  • Figure 2 is a schematic diagram showing a deep neural network according to an embodiment of the present invention.
  • FIG. 3 is a block diagram illustrating a process for predicting the risk of major adverse cerebro-cardiovascular events (MACE) according to an embodiment of the present invention.
  • MACE major adverse cerebro-cardiovascular events
  • Figure 4 is a diagram showing the structure of a deep learning model produced according to an embodiment of the present invention.
  • Figure 5 is a diagram showing the results of performance comparison based on the use of clinical information and image features according to an embodiment of the present invention.
  • Figure 6 is a diagram showing the results of calculating the importance ranking of data input from a deep learning model (DeepSurv and Deep Survival Machines) according to an embodiment of the present invention using the permutation feature importance method.
  • a deep learning model DeepSurv and Deep Survival Machines
  • Figure 7 is a diagram showing a representative example of personalized MACE prediction using a deep learning model according to an embodiment of the present invention.
  • MACE major adverse cerebro-cardiovascular events
  • a method for predicting the risk of a major cardiovascular event comprising: a prediction step of predicting the risk of a major cardiovascular event of a subject based on a survival function.
  • unit and “module” used in the specification refer to a unit that processes at least one function or operation, and may be implemented as hardware, software, or a combination of hardware and software.
  • FIG. 1 is a block diagram of a computing device that performs an operation to predict the risk of major adverse cerebro-cardiovascular events (MACE) according to an embodiment of the present invention.
  • MACE major adverse cerebro-cardiovascular events
  • a computing device 1000 that performs an operation to predict the risk of major adverse cerebro-cardiovascular events (MACE) according to an embodiment includes a processor 100 and a memory 200. It can be included.
  • MACE major adverse cerebro-cardiovascular events
  • the processor 100 generates input data from medical image data including a brain image of the target, extracts image features from the input data through a first prediction model learned in advance, and uses a second prediction model learned in advance. Based on the extracted image features and the subject's clinical information, a survival function associated with major cardiovascular events is derived, and based on the survival function, prediction information reflecting the risk level of the subject's major cardiovascular events is generated. can do.
  • the pre-trained first prediction model and the second prediction model may be a deep neural network (DNN).
  • DNN deep neural network
  • a deep neural network may include an input layer and an output layer, or may include a plurality of separate hidden layers other than the input layer and the output layer.
  • Deep neural networks include convolutional neural network (CNN), recurrent neural network (RNN), restricted Boltzmann machine (RBM), and deep belief network (DBN).
  • CNN convolutional neural network
  • RNN recurrent neural network
  • RBM restricted Boltzmann machine
  • DBN deep belief network
  • a deep neural network may be a convolutional neural network.
  • the first prediction model may be a convolutional neural network model.
  • the first prediction model and the second prediction model may be composed of sub-models of the cardiovascular risk prediction model, or the first prediction model and the second prediction model may be composed of independent models. If the first prediction model and the second prediction model are composed of sub-models of the cardiovascular risk prediction model, the cardiovascular risk prediction model is the first prediction model, which is a convolutional neural network model, and the second prediction model, which is a deep neural network model. It may include, and therefore, image features extracted through the first prediction model are input to the second prediction model together with clinical information, so that a survival function associated with major cardiovascular events can be derived. In addition, when the first prediction model and the second prediction model are composed of separate and independent models, image features are extracted through the first prediction model, and clinical information and extracted image features are extracted from the second prediction model. As input, survival functions related to major cardiovascular events can be derived.
  • the computer device uses image features extracted from medical image data together with clinical information in the process of generating predictive information for major cardiovascular events.
  • the second prediction model In the process of generating prediction information using a survival function, compared to using clinical information alone, when image features are used together, the second prediction model generates more accurate prediction information related to the subject's major cardiovascular events. It is possible (see Example 2).
  • a convolutional neural network is a type of multi-layer perceptron and may include a neural network including a convolutional layer.
  • a convolutional neural network can use weights in the computational process through a neural network.
  • a convolutional neural network may consist of one or more convolutional layers and neural network layers combined with them.
  • the convolutional layer can extract features from input data using filters.
  • the convolutional layer may include a filter and an activation function that changes the filter into a non-linear value.
  • a convolutional neural network can process image data by representing it as a matrix with dimensions, and through this, the convolutional neural network can be used to recognize objects in images.
  • image data encoded in red, green, and blue can be represented by R, G, and B colors as a two-dimensional matrix, i.e., the color value of each pixel can be a component of the matrix, where The size of may be the same as the size of the image.
  • a convolutional neural network may include a pooling layer, and through this, it is possible to utilize input data in a two-dimensional structure.
  • a convolutional neural network may include one or more convolutional layers and subsampling layers.
  • a subsampling layer is connected to the output of the convolutional layer to simplify the output of the convolutional layer. For example, when inputting the output of a convolutional layer to a pooling layer with a 2*2 average pooling filter, the image can be compressed by outputting the average value included in each 2*2 patch for each pixel of the image. there is.
  • the above-described pooling may be a method of outputting the minimum value of a patch or the maximum value of a patch, and any pooling method may be used.
  • a convolutional neural network can extract features from a given image by repeatedly performing subsampling processes such as convolutional process and pooling. At this time, the output from the convolutional layer and/or subsampling layer may be input to a fully connected layer.
  • a fully connected layer is a layer in which all neurons in one layer are connected to all neurons in neighboring layers.
  • Medical imaging data may include brain images.
  • medical image data may include images of one or more brain regions.
  • the medical data may include multidimensional medical image data composed of discrete image elements.
  • medical data may be collected by computed tomography (CT), magnetic resonance imaging (MRI), fundus imaging, ultrasound, or any other medical imaging system known in the art. It may be a medical image of a subject, and specifically, the medical image data may include diffusion weighted image (DWI) data of MRI.
  • CT computed tomography
  • MRI magnetic resonance imaging
  • DWI diffusion weighted image
  • the processor 100 may perform an operation to equalize medical image data. For example, when generating input data based on an MRI diffusion-weighted image, the intensity and contrast of the image can be adjusted to equalize the image and then the input data can be generated.
  • the processor 100 may perform a visualization operation to generate a visual image that displays the area causing the prediction information in the input data by distinguishing it from other areas.
  • the processor can perform a visualization operation to generate a visual image that displays the area causing the prediction information by distinguishing it from other areas.
  • the visualization operation can be performed by comparing output values and slopes based on the generated prediction information, displaying areas that are normal and causing predictions in the input data, and displaying these areas separately from other areas.
  • the processor can display the corresponding area using color type and brightness.
  • the visual image can be CAM (Class Activation Map), Grad-CAM, or Grad-CAM++.
  • Clinical information may include medical information related to the subject, such as the subject's demographic information, health status information, presence or absence of a specific disease, and treatment records.
  • Clinical information includes, for example, gender, age, body mass index (BMI), presence or absence of statin therapy, TOAST classification information such as LAA, SVO, CE, OD, UD, modified Rankin Scale (mRS), previous transient cerebral ischemia, and concomitant Disease, previous stroke, peripheral artery stenosis, coronary artery stenosis, hypertension, diabetes, dyslipidemia, smoking status, cancer, atrial fibrillation, cerebral microhemorrhage, left ventricular diastolic dysfunction, pulmonary hypertension, myocardial infarction, cardiomyopathy, left ventricular hypertrophy, It may include one or more information selected from the group consisting of left atrium enlargement, atrial tachycardia, ventricular tachycardia, valvular heart disease, aortic valve sclerosis, embolism, and
  • the second prediction model is calculated using the following equation: By deriving the risk function of 2, the survival function of Equation 3 may be derived.
  • x) is the risk function, the probability that a major cardiovascular event will occur at a specific time t, 0 (t) is the baseline risk function that does not receive x as input, h(x) is the output value of the second prediction model and is the log risk for each patient)
  • the processor 100 uses a pre-learned second prediction model to derive a survival function associated with a major cardiovascular event based on the extracted image features and clinical information of the subject, using a way according to Equation 5.
  • a survival function in the form of a Bull distribution may be derived, and survival functions in the form of K Weibull distributions may be combined to derive a survival function according to Equation 6 below.
  • x) is the survival function, the probability of surviving longer than time t given patient information x, t is time, ⁇ and refers to the parameters of the wavele distribution
  • x) is the survival function, the probability of surviving longer than time t given patient information x, t is time, ⁇ and is the parameter of the wavel distribution, W k is the weight of the kth distribution
  • weights may be used in the process of combining survival distributions in the form of K waveform distributions. Weight information is learned along with the parameters of the wavelet distribution during the training process, and can contribute to increasing accuracy through synthesis of each distribution.
  • the processor 100 may be comprised of one or more cores, and may include a central processing unit (CPU), a graphics processing unit (GPU), or a tensor processing unit (TPU) of a computing device. It may include a processor for data analysis and deep learning.
  • the processor may read a computer program stored in a memory and perform data processing for machine learning according to an embodiment.
  • the processor may perform calculations for learning a neural network.
  • the processor performs calculations for neural network learning, such as processing input data for learning in deep learning (DL), extracting features from input data, calculating errors, and updating the weights of the neural network using backpropagation. It can be done.
  • At least one of the CPU, GPU, and TPU of the processor 110 may process learning of the network function.
  • the memory 200 includes a flash memory type, hard disk type, multimedia card micro type, card type memory (for example, SD or XD memory, etc.), RAM (Random Access Memory), SRAM (Static Random Access Memory), ROM (Read-Only Memory; ROM), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), magnetic memory, It may include at least one type of storage medium among magnetic disks and optical disks.
  • Figure 2 is a schematic diagram showing a deep neural network according to an embodiment of the present invention.
  • a neural network may represent a model of a machine learning structure designed to extract feature data from input data and provide inference operations using feature data.
  • the feature data may represent data about features in which input data is abstracted.
  • the hidden layer is shown as including three layers, but the hidden layer may include a varying number of layers.
  • a neural network may include one or more layers, and each layer may include one or more nodes.
  • a node is an element that constitutes each layer, and each layer may be composed of a node or a set of nodes.
  • nodes in layers other than the output layer can be connected to nodes in the next layer through links for transmitting output signals.
  • the nodes of each layer may be connected to each other through a link, and the nodes of the connected layers may be in a relationship as an input node and an output node depending on whether signals are transmitted or received.
  • the value of the data of the output node may be determined according to the data input to the input node.
  • the output of an activation function regarding the weighted inputs of nodes included in the previous layer may be input to each node included in the hidden layer.
  • Weighted input reflects the weight of the input of nodes included in the previous layer.
  • the weight may be variable and may vary depending on the function and algorithm of the neural network.
  • Weights can be referred to as parameters of the neural network, and activation functions can be sigmoid, hyperbolic tangent (tanh), rectified linear unit (ReLU) and Scaled Exponential Linear Units (SELU). may include.
  • the initial input node may refer to one or more nodes in the neural network through which data is directly input without going through links in relationships with other nodes.
  • a neural network network in the relationship between nodes based on links, it may mean nodes that do not have other input nodes connected by links.
  • the final output node may refer to one or more nodes that do not have an output node in their relationship with other nodes among the nodes in the neural network.
  • hidden nodes may refer to nodes constituting a neural network other than the first input node and the last output node.
  • a deep neural network may refer to a neural network that includes a plurality of hidden layers in addition to an input layer and an output layer. Deep neural networks allow you to identify latent structures in data. In other words, it is possible to identify the potential structure of a photo, text, video, voice, or music (e.g., what object is in the photo, what the content and emotion of the text are, what the content and emotion of the voice are, etc.) .
  • Deep neural networks include convolutional neural networks (CNN), recurrent neural networks (RNN), auto encoders, Generative Adversarial Networks (GAN), restricted Boltzmann machines; RBM), deep belief network (DBN), Q network, U network, Siamese network, Generative Adversarial Network (GAN), etc.
  • CNN convolutional neural networks
  • RNN recurrent neural networks
  • GAN Generative Adversarial Networks
  • RBM restricted Boltzmann machines
  • DBN deep belief network
  • Q network U network
  • Siamese network Generative Adversarial Network
  • GAN Generative Adversarial Network
  • a convolutional neural network is a type of deep learning model for processing data with grid patterns such as images, inspired by the organization of the visual cortex of animals.
  • a convolutional neural network may generally include a convolutional layer, a pooling layer, and a fully connected layer. Convolutional layers and pooling layers can exist repeatedly within a neural network, and input data can be transformed into output through these layers.
  • the convolution layer uses a kernel (or mask) to extract features, and the product of each element between each element of the kernel and the input value is calculated and summed at each position to obtain an output value, which is called a feature map. It is referred to as This procedure can be repeated applying multiple kernels to form an arbitrary number of feature maps.
  • convolutional and pooling layers perform feature extraction, while fully connected layers map the extracted features to the final output, such as a classification operation.
  • Neural networks such as convolutional neural networks can be trained to minimize output errors. Separately from the forward propagation process that extracts values from the input layer to the output layer, within the neural network, the error between the input learning data and the corresponding output value of the neural network is calculated and the nodes of each layer are connected to reduce this error. Backpropagation occurs to update the weights.
  • the learning process in a convolutional neural network can be summarized as the process of finding a kernel that extracts an output value with the fewest errors based on given training data. The kernel is the only parameter that is automatically learned during the training process of the convolutional layer.
  • the size of the kernel, the number of kernels, padding, etc. are hyperparameters that must be set before starting the training process, and therefore, depending on the size of the kernel, the number of kernels, and the number of convolutional layers and pooling layers, They can be divided into different convolutional neural network models.
  • Neural networks use supervised learning using training data in which each training data is labeled with the correct answer, unsupervised learning using training data in which the correct answer is not labeled, semi-supervised learning, or reinforcement. It can be learned in at least one way: reinforcement learning.
  • the error can be calculated by comparing the output through the neural network and the label or training data, and the calculated error is back-propagated in the neural network in the reverse direction (i.e., from the output layer to the input layer), and the neural network is transmitted according to the back-propagation.
  • the connection weight of each node in each layer of the network may be updated. The amount of change in the connection weight of each updated node may be determined according to the learning rate.
  • Overfitting is a phenomenon in which errors increase even as the number of training increases due to excessive learning on training data in a neural network. Overfitting can cause errors in machine learning algorithms to increase, and various optimization methods can be used to prevent such overfitting. To prevent overfitting, methods such as increasing the learning data, regularization, dropout to disable some of the network nodes during the learning process, and use of a batch normalization layer can be applied. You can.
  • FIG. 3 is a block diagram illustrating a process for predicting the risk of major adverse cerebro-cardiovascular events (MACE) according to an embodiment of the present invention.
  • MACE major adverse cerebro-cardiovascular events
  • a computing device for predicting the risk of major adverse cerebro-cardiovascular events generates input data from medical imaging data including a brain image of the subject ( S101), image features are extracted from input data using a pre-trained first prediction model (S102), and using a pre-learned second prediction model, major cardiovascular and cerebrovascular diseases are based on the extracted image features and clinical information of the subject.
  • a survival function related to the event can be derived (S103), and the risk of major cardiovascular events of the subject can be predicted (S104) based on the survival function.
  • the computing device may normalize medical image data. For example, when generating input data based on an MRI diffusion-weighted image, the intensity and contrast of the image can be adjusted to equalize the image and then the input data can be generated.
  • the computing device may generate a visual image that displays the area responsible for generating the prediction information from the input data by distinguishing it from other areas.
  • the computing device When deriving a survival function associated with major cardiovascular events based on the extracted image features and clinical information of the subject using a pre-learned second prediction model, the computing device derives the risk function of Equation 2 below: , the survival function of Equation 3 may be derived.
  • x) is the risk function, the probability that a major cardiovascular event will occur at a specific time t, 0 (t) is the baseline risk function that does not receive x as input, h(x) is the output value of the second prediction model and is the log risk for each patient)
  • the computer device when the computer device derives a survival function associated with major cardiovascular events based on the extracted image features and clinical information of the subject using a pre-learned second prediction model, the waveble distribution according to Equation 5 It may be possible to derive a survival function in the form of a survival function and combine K survival distributions in the form of a Weibull distribution to derive a survival function according to Equation 6 below.
  • x) is the survival function, the probability of surviving longer than time t given patient information x, t is time, ⁇ and refers to the parameters of the wavele distribution
  • x) is the survival function, the probability of surviving longer than time t given patient information x, t is time, ⁇ and is the parameter of the wavel distribution, W k is the weight of the kth distribution
  • the patient information used was: 1) acute ischemic stroke (AIS) and hospitalization within 5 days after symptoms, 2) brain MRI including diffusion weighted image (DWI) upon admission, 3 ) Information on patients who underwent routine laboratory tests and 12-lead electrocardiograms was used. Patients who 1) did not undergo brain MRI with adequate DWI imaging, 2) underwent delayed brain MRI 5 days after symptom onset, or 3) had large artifacts on brain MRI that could affect image analysis in deep learning. Information was excluded. Information on a total of 8,590 acute ischemic stroke patients was used.
  • the primary composite outcome was the occurrence of MACE (composite of recurrent stroke, acute myocardial infarction, or death) at any time before final follow-up after 1 year.
  • Recurrent stroke was defined as the sudden onset or worsening of preexisting neurological deficits after AIS and the presence of evidence of new stroke lesions on brain imaging (CT or MRI).
  • CT or MRI brain imaging
  • the severity of neurological deficits was assessed using the National Institutes of Health Stroke Scale (NIHSS) and modified Rankin Scale (mRS) scores.
  • NIHSS National Institutes of Health Stroke Scale
  • mRS modified Rankin Scale
  • DeepSM deep learning survival analysis
  • This deep learning model automatically extracted features from DWI using a convolutional neural network (CNN) and used it to predict individual MACE risk. Additionally, using CNN's gradient and feature maps, the Grad-CAM method can highlight important regions of the image. Additionally, all images were resized to 128 ⁇ 128 ⁇ 64 and random transformations (flip, rotation, shear, gamma correction, translation and Gaussian noise) were applied to the images for data augmentation. All images and clinical features were normalized using z-score for model input.
  • CNN convolutional neural network
  • features were extracted from DWI (Diffusion-Weighted Image) using a Convolutional Neural Network (CNN), as shown in Figure 4.
  • DWI diffusion-Weighted Image
  • CNN Convolutional Neural Network
  • the output nodes interact with the parameters of each K survival distributions. and the mixing weight w for this K distribution.
  • a single output node represents the log risk for each patient.
  • the model included 20% dropout and a batch normalization layer to prevent overfitting.
  • We trained the ADAM optimizer with a batch size of 200 and a maximum of 100 epochs.
  • the learning rate was set to 0.0004, and learning was stopped if there was no continuous loss reduction for more than 15 epochs.
  • the model with the lowest loss on the validation set was selected.
  • Deep Survival Machines derived the survival function by combining K survival distributions using weights w, and DeepSurv calculated the survival function using the log risk h(x) for each patient.
  • x) is the probability of surviving longer than time t given the survival function patient information x
  • x) is the probability of surviving at time t
  • t is the time variable
  • T is the time point at which a major cardiovascular event occurs
  • x) is a lifetime distribution function and means the probability of a major cardiovascular event occurring within t time
  • the DeepSurv model was trained to estimate the risk function defined by Equation 2 and derive the survival function according to Equation 3.
  • x) is the risk function, the probability that a major cardiovascular event will occur at a specific time t, 0 (t) is the baseline risk function that takes no x as input, h(x) is the output of the DeepSurv model and is the log risk for each patient)
  • Deep Survival Machines learned the parameters of K Weibull distributions and their respective weights w while training through Equation 4, derived a wavelet distribution according to Equation 5, and mixed these K distributions with weights w.
  • the survival function was calculated according to Equation 6.
  • the weight w was calculated according to Equation 7.
  • SELU (here, is the output of the Deep Survival Machines model, refers to the parameters learned through the model, SELU refers to the activation function)
  • x) is the survival function, the probability of surviving longer than time t given patient information x, t is time, ⁇ and refers to the parameters of the wavele distribution
  • x) is the survival function, the probability of surviving longer than time t given patient information x, t is time, ⁇ and is the parameter of the wavel distribution, W k is the weight of the kth distribution
  • C td index time-dependent concordance index
  • C index Harrell's concordance index
  • the C index represents the proportion of patient pairs in which the risk of a patient experiencing an early recurrence is higher than that of patients who have not yet experienced a recurrence.
  • a value of 0.5 indicates a random prediction and a value of 1 indicates a perfect prediction.
  • the C index was calculated based on the individual patient's recurrence time, while the C td index was calculated to reflect the patient's risk over time. Additionally, the integrated Brier score (IBS) was calculated to evaluate overall performance. IBS represents the difference between model predicted probability and actual outcome. Unlike the C td index, an IBS of 0 indicates a perfect prediction.
  • each model was trained without using image features and CNN.
  • CoxPH and RSF models were trained using the same dataset. Since CoxPH and RSF cannot directly extract image features, training was performed using image features extracted from DeepSurv and DeepSM.
  • CoxPH and RSF models were trained with data excluding image features. CoxPH and RSF were implemented in the Python module scikit-survival.
  • the above models were trained and evaluated by changing the number of clinical data values to 1, 5, 10, 20, 30, 39, and 60. .
  • a bootstrap method with 1000 iterations was used to calculate the 95% confidence interval (CI).
  • the permutation feature importance method was used to rank feature importance. Feature importance was calculated through the change in prediction error measured by randomly mixing each variable.
  • the total number of patients included in the dataset was 8,590, with 4,940 (57.51%) men and 3,650 (42.49%) women.
  • the average age of patients as of the date of first visit was 71.0 years.
  • 6,872 were divided into training datasets and the remaining 1,718 were divided into test datasets.
  • 20% of the training data set was divided into a validation set and used for model evaluation during the training process, and the final model evaluation was performed using the test data set.
  • Patient baseline characteristics are summarized in Table 1.
  • CoxPH was trained using 75 pieces of clinical information. Information was selected by simply sorting the clinical information as shown in Table 2, 75 in order of absolute coefficient values of the trained CoxPH model with LASSO penalty. To verify the robustness of the model, the model was evaluated by training with different amounts of clinical data: 1, 5, 10, 20, 30, 39, and 60.
  • DeepSM, CoxPH and RSF showed the highest C td indices in the top 20 clinical information sets, with values of 0.8235 (95% CI 0.7489 to 0.8846), 0.8222 (95% CI 0.7477 to 0.8836) and 0.8335 (95% CI 0.8836), respectively. CI 0.7624 ⁇ 0.8936). DeepSurv showed the highest C td index in the top 39 clinical information sets, with a value of 0.8242 (95% CI 0.7503 to 0.8853).
  • DeepSurv and DeepSM showed the highest C td index when all top 39 relevant clinical factors were included, with values of 0.8496 (95% CI 0.7837 to 0.9038) and 0.8531 (95% CI 0.7882 to 0.9028), respectively.
  • the performance of the deep learning model using images and clinical information outperformed the model using only clinical information.
  • deep learning models showed high C td indices even when there was little clinical information.
  • the ranking of clinical information used in the prediction model was obtained using the permutation feature importance method, and is shown in Figure 6.
  • Imagery features are the second most important features and NIHSS always appears to have the most significant impact.
  • clinical features included NIHSS, statin therapy, age, pre-stroke leukocytes, and multiple infarct lesions.
  • age and statin treatment are the most important clinical information after NIHSS and imaging, and their rankings were maintained in most cases even when clinical information was added.
  • hemoglobin, white blood cells, iron levels, triglycerides, and body mass index were added. The effect of the added clinical data values was minimal compared to the initial clinical information.
  • endovascular treatment atrial fibrillation, D-dimer, male, ventricular tachycardia, iron, glycated hemoglobin, oral anticoagulant, cancer, large vessel occlusion, fasting blood sugar, triglycerides, homocysteine, platelets, lung/pericardial edema, cerebral Microbleeds, diastolic blood pressure, paradoxical embolism, thrombolytic therapy, aortic valve sclerosis, creatine, coronary artery stenosis, cardiomyopathy, statin treatment experience, troponin, old myocardial infarction, TOAST, HDL-cholesterol, total-cholesterol, related artery stenosis , multivascular stenosis was added. However, the added clinical information for this stage had no significant impact compared to the previous stage. Even when the number of clinical information was changed to 5, 10, and 39, the feature importance of brain images was consistently ranked high in DeepSurv and DeepSM.
  • FIG 7 shows the personalized prediction of the deep learning model and the image area used for prediction.
  • the Grad-CAM method was used to visualize the attribute portion of the image used for prediction.
  • Grad-CAM can visualize the specific patient's brain region that the model focused on and used for prediction.
  • the survival function shows how the model evaluates each patient's risk and predicts the date by which MACE will occur. For patients #1 and #2, MACE actually occurred on day 37 (vascular death) and day 36 (recurrent stroke), respectively. Additionally, for patient #3, no events occurred until the last follow-up.
  • each deep learning model predicted high risk as a function of survival for patients #1 and #2 with MACE and closely predicted the actual date of the event. In contrast, patient #3, who did not actually experience MACE after the index stroke with symptoms of subcortical aphasia, was expected to be at low risk for MACE even though the patients were older and had similar clinical severity scores (NIHSS).
  • NIHSS clinical severity scores
  • the deep learning model according to the present invention reflects the patient's meaningful and important lesions in predicting MACE.
  • the present inventors developed a method and program to predict the risk of major adverse cerebro-cardiovascular events (MACE) in subjects after the occurrence of symptoms such as acute ischemic stroke using medical images and clinical information, and the prediction accuracy was determined. It was confirmed that it was significantly superior.
  • MACE major adverse cerebro-cardiovascular events
  • the purpose of the present invention is to provide a method for predicting the risk of major cardiovascular events.
  • Another object of the present invention is to provide a computer program for predicting the risk of major cardiovascular events.
  • Another object of the present invention is to provide a computing device for predicting the risk of major cardiovascular events.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Databases & Information Systems (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Pulmonology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Vascular Medicine (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 급성 허혈성 뇌졸중 이후 주요 심혈관사건 위험도 예측 방법 및 프로그램에 관한 것으로, 본 발명에 따른 방법 및 프로그램은 급성 허혈성 뇌졸중 등의 증상 발생 이후 대상의 주요 심뇌혈관 사건 (major adverse cerebro-cardiovascular events; MACE)을 정확하게 예측할 수 있다.

Description

급성 허혈성 뇌졸중 이후 주요 심뇌혈관사건 위험도 예측 방법 및 프로그램
본 발명은 과학기술정보통신부의 지원 하에서 과제고유번호 1711165771, 과제번호 2020R1A2C1101082에 의해 이루어진 것으로서, 상기 과제의 연구관리전문기관은 한국연구재단, 연구사업명은 "(유형1-1)중견연구", 연구과제명은 "이동형 차세대 영상 기반의 혈관내 내비게이션 기법을 활용한 외상성 손상 치료기술 개발", 주관기관은 전남대학교(학동), 연구기간은 2020.09.01. ~ 2025.02.28.이다.
본 발명은 급성 허혈성 뇌졸중 이후 주요 심뇌혈관사건 위험도 예측 방법 및 프로그램에 관한 것으로, 더욱 상세하게는, 의료 영상 및 임상 정보를 이용하여 급성 허혈성 뇌졸중 등의 증상 발생 이후 대상의 주요 심뇌혈관사건 (major adverse cerebro-cardiovascular events; MACE) 위험을 예측하는 방법 및 프로그램에 관한 것이다.
뇌졸중은 전 세계적으로 두 번째로 흔한 사망 및 장애 원인이다. 뇌졸중 예방 및 치료를 위한 의학적 관리 및 신경외과 기술의 상당한 발전에도 불구하고 뇌졸중은 여전히 높은 사망률과 장애를 초래한다. 급성 허혈성 뇌졸중 (Acute Ischemic Stroke; AIS) 환자는 뇌졸중 발병 후 1년 이내 사망률과 재발률이 높기 때문에 특히 첫 1년 이내에 지속적인 주의가 필요하다. 기존에 연구된 바에 따르면 급성 허혈성 뇌졸중 환자의 사망률은 30일 이내에 약 10%, 1년 이내에 20%였다. 특히, 급성 허혈성 뇌졸중 후 혈관 관련 장애로 인한 사망이 높은 비율로 발생하여 주요 심뇌혈관 사건 (major adverse cerebro-cardiovascular events; MACE) 위험 예측이 필요함을 나타낸다. 또한 급성 허혈성 뇌졸중 발생 후 1년 누적 뇌졸중 재발 확률이 20%에 달하기 때문에 급성 허혈성 뇌졸중을 경험한 환자의 주요 심뇌혈관 사건에 대한 예측 모델 개발이 시급하다.
급성 허혈성 뇌졸중 후 결과를 예측하는 대부분의 이전 연구는 수정된 란킨스케일 (modified Rankin Scale; mRS) 또는 조기 신경학적 악화 (early neurological deterioration; END)에 기반한 분류 또는 사망률/이환율 분류와 같은 분류 작업으로만 구현되었다. 생존 분석 방법은 급성 허혈성 뇌졸중 후 개별 주요 심뇌혈관 사건에 따른 생존을 추정하는 데 사용되었다. 임상 정보를 이용한 생존 분석의 널리 사용되는 방법인 Cox 비례 위험 모델 (Cox proportional hazard model; Cox PH)은 변수가 생존에 미치는 영향을 평가하기 위한 선형 회귀 모델이고, 랜덤 서바이벌 포레스트 (Random Survival Forest; RSF)는 다중 결정 트리의 앙상블 예측을 사용한다. Cox PH를 사용하여 급성 허혈성 뇌졸중에서 주요 심뇌혈관 사건에 따른 생존을 예측하는 임상 예측 인자를 분석하기 위한 연구가 이전에 수행되었으나, 급성 허혈성 뇌졸중 후 주요 혈관 사건의 장기 위험은 개별 수준에서 전통적인 생존 분석에 의해 안정적으로 평가될 수 없었다.
최근 생존분석 분야에서 딥러닝을 적용한 사례가 증가하고 있다. 딥 러닝 모델은 영상과 임상 정보 간의 비선형적이고 복잡한 관계를 학습할 수 있어 기존 모델보다 성능이 향상될 것으로 기대된다. 그럼에도 불구하고, 개인화된 임상 요인과 뇌 이미지를 사용하여 급성 허혈성 뇌졸중 발생 후 주요 심뇌혈관 위험을 직접 예측한 연구는 존재하지 않았다.
이에 본 발명자들은 의료 영상 및 임상 정보를 이용하여 급성 허혈성 뇌졸중 등의 증상 발생 이후 대상의 주요 심뇌혈관 사건 (major adverse cerebro-cardiovascular events; MACE) 위험을 예측하는 방법 및 프로그램을 제작하였으며, 이의 예측 정확도가 월등히 우수한 것을 확인하였다.
이에, 본 발명의 목적은 주요 심뇌혈관 사건 위험을 예측하는 방법을 제공하는 것이다.
본 발명의 다른 목적은 주요 심뇌혈관 사건 위험을 예측하는 컴퓨터 프로그램을 제공하는 것이다.
본 발명의 또 다른 목적은 주요 심뇌혈관 사건 위험을 예측하는 컴퓨팅 장치를 제공하는 것이다.
본 발명은 급성 허혈성 뇌졸중 이후 주요 심혈관사건 위험도 예측 방법 및 프로그램에 관한 것으로, 본 발명에 따른 방법 및 프로그램은 급성 허혈성 뇌졸중 등의 증상 발생 이후 대상의 주요 심뇌혈관 사건 (major adverse cerebro-cardiovascular events; MACE)을 정확하게 예측할 수 있다.
이하 본 발명을 더욱 자세히 설명하고자 한다.
본 발명의 일 양태는, 컴퓨팅 장치에 의해 임상 정보 및 의료 영상데이터로부터 주요 심뇌혈관 사건 (major adverse cerebro-cardiovascular events; MACE) 위험을 예측하는 방법에 있어서, 대상의 뇌 영상을 포함하는 의료 영상데이터로부터 입력 데이터를 생성하는 생성 단계; 미리 학습된 제1예측모델을 통해 입력 데이터로부터 이미지 피쳐를 추출하는 추출 단계; 미리 학습된 제2예측 모델을 이용하여, 추출된 이미지 피쳐 및 대상의 임상 정보를 기초로 주요 심뇌혈관 사건과 연관된 생존 함수를 도출하는 도출 단계; 및 생존 함수를 기초로 대상의 주요 심뇌혈관 사건의 위험을 예측하는 예측 단계;를 포함하는, 주요 심뇌혈관 사건 위험을 예측하는 방법이다.
본 명세서 상의 용어 "의료 영상데이터"는, 이산적 영상 요소들 (예를 들어, 2차원 영상에 있어서는 픽셀)로 구성된 다차원 의료 영상 데이터를 포함하는 것일 수 있다. 구체적으로, 의료 영상데이터는 눈으로 볼 수 있는 대상 또는 (예컨대, CT, MRI 검출기 등의 픽셀 출력에 대응되는 파일과 같은) 그 대상의 디지털 표현물을 포함할 수 있다. 의료 영상데이터는 전산화 단층 촬영 (computed tomography; CT), 자기 공명 영상(magnetic resonance imaging; MRI), 안저 영상, 초음파 또는 본 발명의 기술분야에서 공지된 임의의 다른 의료 영상 시스템의 의하여 수집된 대상 (subject)의 의료 영상을 포함하는 것일 수 있다.
본 발명의 일 구현예에서, 의료 영상 데이터는, MRI의 확산강조영상 (diffusion weighted image; DWI) 데이터를 포함하는 것일 수 있다.
본 명세서 상의 용어 "주요 심뇌혈관 사건"은, 특정 질환, 예를 들어, 급성 허혈성 뇌졸중 등의 질환 이후 뇌, 심장 또는 혈관과 관련된 특정 증상이나 생존 이벤트가 발생하는 경우를 의미한다. 예를 들어, 주요 심뇌혈관 사건은 심근경색증, 심뇌혈관 재관류술, 뇌혈관 질환(뇌경색, 뇌출혈, 일과성 뇌허혈), 사망 중 하나 이상을 의미하는 것일 수 있다.
본 명세서 상의 용어 "대상"은 주요 심뇌혈관 사건의 발생이 예상되는 개체 (또는 피검체)일 수 있다. 본 발명의 일 구현예에서, 대상은 포유류 일 수 있고, 예를 들어, 대상은 인간, 원숭이, 개, 고양이, 마우스, 래트, 소, 말, 돼지, 염소 및 양으로 이루어지는 그룹에서 선택되는 하나 이상일 수 있다.
본 발명의 일 구현예에서, 제1예측모델 및/또는 제2예측모델은 딥 뉴럴 네트워크인 것일 수 있다.
본 명세서 상의 용어 "딥 뉴럴 네트워크"는 입력 레이어와 출력 레이어 외에 복수의 히든 레이어를 포함하는 신경망을 의미할 수 있다. 용어 "딥 뉴럴 네트워크"는 본 명세서에 걸쳐 용어 "신경망", "네트워크 함수", "뉴럴 네트워크 (neural network)"와 상호교차되어 사용될 수 있다. 딥 뉴럴 네트워크를 이용하면 데이터의 잠재적인 구조 (latent structures)를 파악하는 것이 가능하다. 즉, 사진, 글, 비디오, 음성, 음악의 잠재적인 구조 (예를 들어, 어떤 물체가 사진에 있는지, 글의 내용과 감정이 무엇인지, 음성의 내용과 감정이 무엇인지 등)를 파악할 수 있다. 본 발명에 있어서, 딥 뉴럴 네트워크는 컨볼루셔널 뉴럴 네트워크 (convolutional neural network; CNN), 리커런트 뉴럴 네트워크(recurrent neural network; RNN), 제한 볼츠만 머신 (restricted boltzmann machine; RBM), 심층 신뢰 네트워크(deep belief network; DBN), Q 네트워크, U 네트워크, 샴 네트워크 등을 포함할 수 있으나, 이에 제한되는 것은 아니다.
본 발명의 일 구현예에서, 제1예측모델 및 제2예측모델은 심뇌혈관 위험 예측 모델의 하위 모델로 구성되는 것일 수 있다. 또는 제1예측모델 및 제2예측모델은 서로 별개의 독립적인 모델인 것일 수 있다.
본 명세서 상의 용어 "임상 정보"는, 대상의 인구통계학적 정보, 건강 상태 정보, 특정 질환의 유무, 치료 기록 등의 대상과 관련된 의료정보를 의미한다. 본 발명에 있어서, 임상 정보는, 예를 들어, 성별, 연령, 체질량 지수 (BMI), 스타틴 요법 유무, LAA, SVO, CE, OD, UD 등의 TOAST 분류 정보, modified Rankin Scale (mRS), 이전의 일과성 뇌허혈, 동반질환, 이전 뇌졸중, 말초동맥 협착증, 관상동맥 협착증, 고혈압, 당뇨병, 이상 지지혈증, 흡연여부, 암, 심방세동, 대뇌 미세출혈, 좌심실 확장기 기능 장애, 폐 고혈압, 심근경색, 심근병증, 좌심실 비대, 좌심방 확대여부, 심방 빈맥, 심실 빈맥, 판막 심장병, 대동맥 판막 경화증, 색전증, 국립보건원 뇌졸중 척도 (National Institutes of Health Stroke Scale; NIHSS)으로 이루어지는 그룹에서 선택된 하나 이상의 정보가 포함된 것일 수 있다.
본 발명의 일 구현예에서, 임상정보는 국립보건원 뇌졸중 척도 (National Institutes of Health Stroke Scale; NIHSS)를 포함하는 것일 수 있고, 예를 들어, 임상정보는 국립보건원 뇌졸중 척도 및 스타틴 투여여부 정보를 포함하는 것일 수 있으나, 이에 한정되는 것은 아니다.
본 발명의 일 구현예에서, 제2예측모델은, 하나 이상의 학습 데이터 및 상기 학습 데이터에 대응되며 주요 심뇌혈관 사건 위험 결과를 포함하는 가이드 라벨에 기초하여 지도학습되며, 지도학습은 제2예측모델을 이용하여 학습 데이터에 대해 생성한 학습 정보와 가이드 라벨의 비교 결과에 기초하여 수행되는 것일 수 있다.
본 발명의 일 구현예에서, 지도학습은, 학습 정보와 상기 가이드 라벨을 최대 우도 추정법 (Maximum Likelihood Estimation)을 사용하여 계산한 결과값에 기초하여 수행되는 것일 수 있다.
본 발명의 일 구현예에서, 제2예측모델은, 하기 수학식 2의 위험 함수를 도출하여, 수학식 3의 생존함수를 도출하는 것일 수 있다.
[수학식 2]
Figure PCTKR2023009206-appb-img-000001
(여기서,
Figure PCTKR2023009206-appb-img-000002
(t|x)는 위험함수로 특정 시간 t에 주요 심뇌혈관 사건이 발생할 확률,
Figure PCTKR2023009206-appb-img-000003
0(t)는 x를 입력으로 받지 않는 기저 위험 함수, h(x)는 제2예측모델의 출력값으로 각 환자에 대한 로그 위험임)
[수학식 3]
Figure PCTKR2023009206-appb-img-000004
(여기서, S(t|x)는 생존함수로 환자정보 x가 주어질때 시간 t보다 오래 생존할 확률,
Figure PCTKR2023009206-appb-img-000005
(ti|x)는 ti 시간에 환자정보 x가 주어질때 위험도를 의미함)
본 발명의 일 구현예에서, 제2예측모델은, 수학식 5에 따른 웨이블 분포 형태의 생존함수를 도출하고, K개의 웨이블 분포 (Weibull distribution) 형태의 생존 분포를 결합하여 하기 수학식 6에 따른 생존함수를 도출하는 것일 수 있다.
[수학식 5]
Figure PCTKR2023009206-appb-img-000006
(여기서, S(t|x)는 생존함수로 환자정보 x가 주어질때 시간 t보다 오래 생존할 확률, t는 시간, ρ및
Figure PCTKR2023009206-appb-img-000007
는 웨이블 분포의 모수를 의미함)
[수학식 6]
Figure PCTKR2023009206-appb-img-000008
(여기서, S(t|x)는 생존함수로 환자정보 x가 주어질때 시간 t보다 오래 생존할 확률, t는 시간, ρ및
Figure PCTKR2023009206-appb-img-000009
는 웨이블 분포의 모수, Wk는 k번째 분포의 가중치임)
본 발명의 일 구현예에서, 방법은, 급성 허혈성 뇌졸중 (acute ischemic stroke; AIS) 이후 주요 심뇌혈관 사건 위험을 예측하는 것일 수 있다. 따라서, 본 발명에 있어서, 대상은, 급성 허혈성 뇌졸중 (acute ischemic stroke; AIS)을 경험한 객체인 것일 수 있다.
본 발명의 다른 양태는, 저장 매체에 저장된 컴퓨터 프로그램으로서, 컴퓨터 프로그램은 하나 이상의 프로세서에서 실행되는 경우, 주요 심뇌혈관 사건 (major adverse cerebro-cardiovascular events; MACE) 위험을 예측하기 위한 이하의 동작들을 수행하도록 하며, 동작들은: 대상의 뇌 영상을 포함하는 의료 영상데이터로부터 입력 데이터를 생성하는 생성 동작; 미리 학습된 제1예측모델을 통해 입력 데이터로부터 이미지 피쳐를 추출하는 추출 동작; 미리 학습된 제2예측 모델을 이용하여, 추출된 이미지 피쳐 및 대상의 임상 정보를 기초로 주요 심뇌혈관 사건과 연관된 생존 함수를 도출하는 도출 동작; 및 생존 함수를 기초로 대상의 주요 심뇌혈관 사건의 위험을 예측하는 예측 동작;을 포함하는 것인, 저장 매체에 저장된 컴퓨터 프로그램이다.
본 발명의 또 다른 양태는, 주요 심뇌혈관 사건 (major adverse cerebro-cardiovascular events; MACE) 위험을 예측하기 위한 컴퓨팅 장치로서, 하나 이상의 코어를 포함하는 프로세서; 및 메모리;를 포함하고, 프로세서는, 대상의 뇌 영상을 포함하는 의료 영상데이터로부터 입력 데이터를 생성하고, 미리 학습된 제1예측모델을 통해 입력 데이터로부터 이미지 피쳐를 추출하고, 미리 학습된 제2예측 모델을 이용하여, 추출된 이미지 피쳐 및 대상의 임상 정보를 기초로 주요 심뇌혈관 사건과 연관된 생존 함수를 도출하고, 및 생존 함수를 기초로 대상의 주요 심뇌혈관 사건의 위험을 예측하는, 컴퓨팅장치이다.
본 발명은 급성 허혈성 뇌졸중 이후 주요 심혈관사건 위험도 예측 방법 및 프로그램에 관한 것으로, 본 발명에 따른 방법 및 프로그램은 급성 허혈성 뇌졸중 등의 증상 발생 이후 대상의 주요 심뇌혈관 사건 (major adverse cerebro-cardiovascular events; MACE)을 정확하게 예측할 수 있다.
도 1은 본 발명의 일 실시예에 따른 주요 심뇌혈관 사건 (major adverse cerebro-cardiovascular events; MACE) 위험을 예측하기 위한 동작을 수행하는 컴퓨팅 장치의 블록구성도를 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 딥 뉴럴 네트워크를 나타낸 개략도이다.
도 3은 본 발명의 일 실시예에 따른 주요 심뇌혈관 사건 (major adverse cerebro-cardiovascular events; MACE) 위험을 예측하는 과정을 설명하기 위한 블록구성도를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따라 제작한 딥러닝 모델의 구조를 나타내는 도면이다.
도 5은 본 발명의 일 실시예에 따라 임상정보와 이미지 피쳐의 활용에 따른 성능 비교 결과를 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 딥러닝 모델 (DeepSurv 및 Deep Survival Machines)에서 인풋된 데이터의 중요도 순위를 순열 특징 중요도 방법으로 산출한 결과를 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 딥러닝 모델을 이용한 개인화 MACE 예측의 대표적인 사례를 나타낸 도면이다.
컴퓨팅 장치에 의해 임상 정보 및 의료 영상데이터로부터 주요 심뇌혈관 사건 (major adverse cerebro-cardiovascular events; MACE) 위험을 예측하는 방법에 있어서,
대상의 뇌 영상을 포함하는 의료 영상데이터로부터 입력 데이터를 생성하는 생성 단계;
미리 학습된 제1예측모델을 통해 입력 데이터로부터 이미지 피쳐를 추출하는 추출 단계;
미리 학습된 제2예측 모델을 이용하여, 추출된 이미지 피쳐 및 대상의 임상 정보를 기초로 주요 심뇌혈관 사건과 연관된 생존 함수를 도출하는 도출 단계; 및
생존 함수를 기초로 대상의 주요 심뇌혈관 사건의 위험을 예측하는 예측 단계;를 포함하는, 주요 심뇌혈관 사건 위험을 예측하는 방법.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 용어 "및/또는," "그리고/또는"은 그 관련되어 나열되는 항목들의 모든 조합들 및 어느 하나를 포함한다.
또한, 명세서에 기재된 "쪋 부", "쪋 모듈"의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
본 명세서 상에서 실시예들과 관련되어 설명된 다양한 예시적 논리적 블록들, 구성들, 모듈들, 회로들, 수단들, 로직들, 및 알고리즘 단계들이 전자 하드웨어, 컴퓨터 소프트웨어, 또는 양쪽 모두의 조합들로 구현될 수 있음을 인식해야 한다. 하드웨어 및 소프트웨어의 상호교환성을 명백하게 예시하기 위해, 다양한 예시적 컴포넌트들, 블록들, 구성들, 수단들, 로직들, 모듈들, 회로들, 및 단계들은 그들의 기능성 측면에서 일반적으로 위에서 설명되었다. 그러한 기능성이 하드웨어로 또는 소프트웨어로서 구현되는지 여부는 전반적인 시스템에 부과된 특정 어플리케이션(application) 및 설계 제한들에 달려 있다. 숙련된 기술자들은 각각의 특정 어플리케이션들을 위해 다양한 방법들로 설명된 기능성을 구현할 수 있다. 다만, 그러한 구현의 결정들이 본 개시내용의 영역을 벗어나게 하는 것으로 해석되어서는안된다.
도 1은 본 발명의 일 실시예에 따른 주요 심뇌혈관 사건 (major adverse cerebro-cardiovascular events; MACE) 위험을 예측하기 위한 동작을 수행하는 컴퓨팅 장치의 블록구성도를 도시한 도면이다.
도 1을 참조하면, 일 실시예에 따른 주요 심뇌혈관 사건 (major adverse cerebro-cardiovascular events; MACE) 위험을 예측하기 위한 동작을 수행하는 컴퓨팅 장치 (1000)는 프로세서 (100) 및 메모리 (200)를 포함할 수 있다.
프로세서 (100)는, 대상의 뇌 영상을 포함하는 의료 영상데이터로부터 입력 데이터를 생성하고, 미리 학습된 제1예측모델을 통해 입력 데이터로부터 이미지 피쳐를 추출하고, 미리 학습된 제2예측모델을 이용하여, 추출된 이미지 피쳐 및 대상의 임상 정보를 기초로 주요 심뇌혈관 사건과 연관된 생존 함수를 도출하고, 생존 함수를 기초로 대상의 주요 심뇌혈관 사건의 위험 정도가 반영된 예측 정보를 생성하는 동작을 수행할 수 있다.
미리 학습된 제1예측모델 및 제2예측모델은 딥 뉴럴 네트워크 (deep neural network; DNN)일 수 있다. 딥 뉴럴 네트워크는 입력 레이어, 출력 레이어를 포함할 수 있고, 또는 입력 레이어 및 출력 레이어 외의 별개의 복수의 히든 레이어를 포함하는 것일 수 있다. 딥 뉴럴 네트워크는 컨볼루셔널 뉴럴 네트워크 (convolutional neural network; CNN), 리커런트 뉴럴 네트워크(recurrent neural network; RNN), 제한 볼츠만 머신 (restricted boltzmann machine; RBM), 심층 신뢰 네트워크(deep belief network; DBN), Q 네트워크, U 네트워크, 샴 네트워크 등을 포함할 수 있고, 예를 들어, 딥 뉴럴 네트워크는 컨볼루셔널 뉴럴 네트워크일 수 있다. 이때, 제1예측모델은 컨볼루셔널 뉴럴 네트워크 모델일 수 있다. 제1예측모델 및 제2예측모델은 심뇌혈관 위험 예측 모델의 하위 모델로 구성될 수 있고, 또는, 제1예측모델 및 제2예측모델은 독립적인 모델로 구성될 수 있다. 제1예측모델과 제2예측모델이 심뇌혈관 위험 예측 모델의 하위 모델로 구성되는 경우, 심뇌혈관 위험 예측 모델은 컨볼루셔널 뉴럴 네트워크 모델인 제1예측모델과 딥 뉴럴 네트워크 모델인 제2예측모델을 포함할 수 있으며, 따라서, 제1예측모델을 통해 추출된 이미지 피쳐가 임상정보와 함께 제2예측모델로 인풋되어 주요 심뇌혈관 사건과 연관된 생존 함수가 도출될 수 있다. 또한, 제1예측모델과 제2예측모델이 별개의 독립적인 모델로 구성되는 경우, 동일하게, 제1예측모델을 통해 이미지 피쳐가 추출되고, 제2예측모델에 임상정보와 추출된 이미지 피쳐가 인풋됨에 따라 주요 심뇌혈관 사건과 연관된 생존 함수가 도출될 수 있다.
전술한 바와 같이 본 발명에 따른 컴퓨터 장치는 주요 심뇌혈관 사건의 예측 정보를 생성하는 과정에 있어서, 의료 영상데이터로부터 추출된 이미지 피쳐가 임상정보와 함께 사용된다. 생존 함수를 이용하여 예측 정보를 생성하는 과정에 있어서 임상정보 단독적으로 사용되는 것에 비하여, 이미지 피쳐가 함께 사용되는 경우 제2예측모델이 대상의 주요 심뇌혈관 사건과 관련된 더욱 정확한 예측 정보를 생성하는 것이 가능하다 (실시예 2 참조).
컨볼루셔널 뉴럴 네트워크는 다계층 퍼셉트론의 한 종류로 컨볼루셔널 레이어를 포함하는 신경망을 포함할 수 있다. 컨볼루셔널 뉴럴 네트워크는 신경망을 통한 연산과정에서 가중치를 이용할 수 있다. 컨볼루셔널 뉴럴 네트워크는 하나 이상의 컨볼루셔널 레이어 및 이와 결합된 신경망 레이어로 구성될 수 있다. 컨볼루셔널 레이어는 필터를 사용하여 입력된 데이터로부터 특징 (feature)를 추출할 수 있다. 이때, 컨볼루셔널 레이어는 필터와 필터를 비선형 값으로 바꾸는 액티베이션 함수를 포함할 수 있다. 컨볼루셔널 뉴럴 네트워크는 이미지 데이터를 차원을 가진 행렬로 나타내어 처리할 수 있으며, 이를 통해 컨볼루셔널 뉴럴 네트워크는 이미지에서 오브젝트를 인식하기 위해 이용될 수 있다. 예를 들어, 레드, 그린 및 블루로 인코딩 된 이미지 데이터는 R, G, B 색상별로 2차원 행렬로 나타내 질 수 있고, 즉, 각 픽셀의 색상 값이 행렬의 성분이 될 수 있으며, 이때, 행렬의 크기는 이미지의 크기와 동일할 수 있다. 컨볼루셔널 뉴럴 네트워크는 풀링 레이어 (Pooling layer)를 포함할 수 있고, 그리고, 이를 통해 2차원 구조의 입력 데이터를 활용하는 것이 가능하다.
컨볼루셔널 뉴럴 네트워크는 하나 이상의 컨볼루셔널 레이어 및 서브 샘플링 레이어를 포함할 수 있다. 컨벌루셔널 레이어의 출력에는 서브샘플링 레이어가 연결되어 컨벌루셔널 레이어의 출력을 단순화할 수 있다. 예를 들어, 2*2 에버리지 풀링 필터를 가지는 풀링 레이어에 컨벌루셔널 레이어의 출력을 입력시키는 경우, 이미지의 각 픽셀에서 2*2 패치마다 각 패치에 포함되는 평균값을 출력하여 이미지를 압축할 수 있다. 전술한 풀링은 패치에서 최소값을 출력하거나, 패치의 최대값을 출력하는 방식일 수도 있으며 임의의 풀링 방식이 이용될 수 있다. 컨볼루셔널 뉴럴 네트워크는 컨볼루셔널 과정과 풀링 등의 서브 샘플링 과정을 반복적으로 수행하여 주어진 이미지에서 특징 (feature)를 추출할 수 있다. 이때, 컨볼루셔널 레이어 및/또는 서브샘플링 레이어에서 출력은 풀리 커넥티드 레이어 (fully connected layer)에 입력될 수 있다. 풀리 커넥티드 레이어는 하나의 레이어에 있는 모든 뉴런과 이웃한 레이어에 있는 모든 뉴런이 연결되는 레이어이다.
의료 영상데이터는 뇌 영상을 포함할 수 있다. 예를 들어, 의료 영상데이터는 뇌영역 중 하나 이상의 뇌영역에 대한 영상을 포함하는 것일 수 있다. 이때, 의료데이터는 이산적 영상 요소들로 구성된 다차원 의료 영상 데이터를 포함하는 것일 수 있다. 예를 들어, 의료 데이터는 전산화 단층 촬영 (computed tomography; CT), 자기 공명 영상 (magnetic resonance imaging; MRI), 안저 영상, 초음파 또는 본 발명의 기술분야에서 공지된 임의의 다른 의료 영상 시스템의 의하여 수집된 대상 (subject)의 의료 영상일 수 있고, 구체적으로, 의료 영상데이터는 MRI의 확산강조영상 (diffusion weighted image; DWI) 데이터를 포함할 수 있다.
프로세서 (100)는, 의료 영상데이터를 기초로 입력 데이터를 생성할 때, 의료 영상데이터를 균일화하는 동작을 수행할 수 있다. 예를 들어, MRI의 확산강조영상을 기초로 입력 데이터를 생성하는 경우, 영상의 강도 (intensity) 및 대비 등을 조절하여 영상을 균일화한 후, 입력 데이터를 생성할 수 있다.
프로세서 (100)는, 입력데이터에서 예측 정보를 생성한 원인이 되는 영역을 다른 영역과 구분하여 표시하는 시각 영상을 생성하는 시각화 동작을 수행할 수 있다. 전술한 바와 같이, 예측 정보 생성에는 임상정보와 함께 이미지 피쳐가 이용되므로, 프로세서는 예측 정보를 생성한 원인이 되는 영역을 다른 영역과 구분하여 표시하는 시각 영상을 생성하는 시각화 동작을 수행할 수 있다. 시각화 동작은 생성된 예측 정보에 기초하여 출력값 및 경사도를 비교하여 입력 데이터에서 정상, 예측 원인이 되는 영역을 표시하고, 이를 다른 영역과 구분하여 표시함으로써 수행될 수 있다. 이때, 프로세서는 해당 영역을 색의 종류 및 밝기를 이용하여 표시할 수 있다. 시각 영상은 CAM (Class Activation Map), Grad-CAM 또는 Grad-CAM++이 될 수 있다.
임상정보는 대상의 인구통계학적 정보, 건강 상태 정보, 특정 질환의 유무, 치료 기록 등의 대상과 관련된 의료정보를 포함할 수 있다. 임상 정보는, 예를 들어, 성별, 연령, 체질량 지수 (BMI), 스타틴 요법 유무, LAA, SVO, CE, OD, UD 등의 TOAST 분류 정보, modified Rankin Scale (mRS), 이전의 일과성 뇌허혈, 동반질환, 이전 뇌졸중, 말초동맥 협착증, 관상동맥 협착증, 고혈압, 당뇨병, 이상 지지혈증, 흡연여부, 암, 심방세동, 대뇌 미세출혈, 좌심실 확장기 기능 장애, 폐 고혈압, 심근경색, 심근병증, 좌심실 비대, 좌심방 확대여부, 심방 빈맥, 심실 빈맥, 판막 심장병, 대동맥 판막 경화증, 색전증, 국립보건원 뇌졸중 척도 (National Institutes of Health Stroke Scale; NIHSS)으로 이루어지는 그룹에서 선택된 하나 이상의 정보가 포함된 것일 수 있다. 구체적으로, 임상정보는 국립보건원 뇌졸중 척도를 포함하는 것일 수 있고, 예를 들어, 임상정보는 국립보건원 뇌졸중 척도 및 스타틴 투여여부 정보를 포함하는 것일 수 있으나, 이에 한정되는 것은 아니다.
프로세서 (100)는, 미리 학습된 제2예측모델을 이용하여, 추출된 이미지 피쳐 및 대상의 임상 정보를 기초로 주요 심뇌혈관 사건과 연관된 생존 함수를 도출할 때, 제2예측모델이 하기 수학식 2의 위험 함수를 도출하여, 수학식 3의 생존함수를 도출하는 것일 수 있다.
[수학식 2]
Figure PCTKR2023009206-appb-img-000010
(여기서,
Figure PCTKR2023009206-appb-img-000011
(t|x)는 위험함수로 특정 시간 t에 주요 심뇌혈관 사건이 발생할 확률,
Figure PCTKR2023009206-appb-img-000012
0(t)는 x를 입력으로 받지 않는 기저 위험 함수, h(x)는 제2예측모델의 출력값으로 각 환자에 대한 로그 위험임)
[수학식 3]
Figure PCTKR2023009206-appb-img-000013
(여기서, S(t|x)는 생존함수로 환자정보 x가 주어질때 시간 t보다 오래 생존할 확률,
Figure PCTKR2023009206-appb-img-000014
(ti|x)는 ti 시간에 환자정보 x가 주어질 때 위험도를 의미함)
또는, 프로세서 (100)는, 미리 학습된 제2예측모델을 이용하여, 추출된 이미지 피쳐 및 대상의 임상 정보를 기초로 주요 심뇌혈관 사건과 연관된 생존 함수를 도출할 때, 수학식 5에 따른 웨이블 분포 형태의 생존함수를 도출하고, K개의 웨이블 분포 (Weibull distribution) 형태의 생존 분포를 결합하여 하기 수학식 6에 따른 생존함수를 도출하는 것일 수 있다.
[수학식 5]
Figure PCTKR2023009206-appb-img-000015
(여기서, S(t|x)는 생존함수로 환자정보 x가 주어질때 시간 t보다 오래 생존할 확률, t는 시간, ρ및
Figure PCTKR2023009206-appb-img-000016
는 웨이블 분포의 모수를 의미함)
[수학식 6]
Figure PCTKR2023009206-appb-img-000017
(여기서, S(t|x)는 생존함수로 환자정보 x가 주어질때 시간 t보다 오래 생존할 확률, t는 시간, ρ및
Figure PCTKR2023009206-appb-img-000018
는 웨이블 분포의 모수, Wk는 k번째 분포의 가중치임)
이때, K 개의 웨이블 분포 형태의 생존 분포를 결합하는 과정에서 가중치가 이용될 수 있다. 가중치 정보는, 훈련 과정에서 웨이블 분포의 모수와 함께 학습되며, 각 분포의 합성을 통한 정확도 증가에 기여할 수 있다.
프로세서 (100)는, 하나 이상의 코어로 구성될 수 있으며, 컴퓨팅 장치의 중앙 처리 장치 (central processing unit; CPU), 그래픽 처리 장치 (graphics processing unit; GPU), 텐서 처리 장치(tensor processing unit; TPU) 등의 데이터 분석, 딥러닝을 위한 프로세서를 포함할 수 있다. 프로세서는, 메모리에 저장된 컴퓨터 프로그램을 판독하여 일 실시예에 따른 기계 학습을 위한 데이터 처리를 수행할 수 있다. 일실시예에 따라 프로세서는, 신경망의 학습을 위한 연산을 수행할 수 있다. 프로세서는, 딥러닝 (deep learning; DL)에서 학습을 위한 입력 데이터의 처리, 입력 데이터에서의 피처 추출, 오차 계산, 역전파 (backpropagation)를 이용한 신경망의 가중치 업데이트 등의 신경망의 학습을 위한 계산을 수행할 수 있다. 프로세서(110)의 CPU, GPU, 및 TPU 중 적어도 하나가 네트워크 함수의 학습을 처리할 수 있다.
메모리 (200)는, 플래시 메모리 타입 (flash memory type), 하드디스크 타입 (hard disk type), 멀티미디어 카드 마이크로 타입 (multimedia card micro type), 카드 타입의 메모리 (예를 들어 SD 또는 XD 메모리 등), 램 (Random Access Memory; RAM), SRAM (Static Random Access Memory), 롬 (Read-Only Memory; ROM), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
도 2는 본 발명의 일 실시예에 따른 딥 뉴럴 네트워크를 나타낸 개략도이다.
뉴럴 네트워크는 입력 데이터로부터 특징 데이터를 추출하고 특징 데이터를 이용한 추론 (inference) 연산을 제공하도록 설계된 기계 학습 구조의 모델을 나타낼 수 있다. 이때, 특징 데이터는 입력 데이터가 추상화된 특징에 관한 데이터를 나타낼 수 있다. 도 2는 설명의 편의를 위해 히든 레이어가 3개의 레이어를 포함하는 것으로 도시되었으나, 히든 레이어에는 다양한 수의 레이어들을 포함할 수 있다. 신경망은 하나 이상의 레이어를 포함할 수 있으며, 각각의 레이어는 하나 이상의 노드를 포함할 수 있다.
노드 (또는 유닛)은 각 레이어를 구성하는 요소로, 각각의 레이어는 노드 또는 노드들의 집합으로 구성될 수 있다. 뉴럴 네트워크내에서 출력 레이어를 제외한 레이어들의 노드들은 출력 신호를 전송하기 위한 링크들을 통해 다음 레이어의 노드들과 연결될 수 있다. 이때, 각각의 레이어들의 노드들은 링크를 통해 서로 연결될 수 있으며, 연결된 레이어의 노드들은 신호의 송 수신 여부에 따라 입력 노드 및 출력 노드의 관계에 있을 수 있다. 링크를 통해 연결된 노드 중, 출력 노드의 데이터는 입력 노드에 입력된 데이터에 따라 값이 결정될 수 있다. 히든 레이어에 포함된 각각의 노드에는 이전 레이어에 포함된 노드들의 가중된 입력들 (weighted inputs)에 관한 활성 함수 (activation function)의 출력이 입력될 수 있다. 가중된 입력은 이전 레이어에 포함된 노드들의 입력에 가중치(weight)가 반영된 것이다. 이때, 가중치는 가변적일 수 있으며, 신경망의 기능 및 알고리즘에 따라서 가변될 수 있다. 가중치는 뉴럴 네트워크의 파라미터로 지칭될 수 있으며, 활성 함수는 시그모이드 (sigmoid), 하이퍼볼릭 탄젠트 (hyperbolic tangent; tanh), 렐루 (rectified linear unit; ReLU) 및 셀루 (Scaled Exponential Linear Units; SELU)를 포함할 수 있다.
최초 입력 노드는 신경망 내의 노드들 중 다른 노드들과의 관계에서 링크를 거치지 않고 데이터가 직접 입력되는 하나 이상의 노드들을 의미할 수 있다. 또는, 신경망 네트워크 내에서, 링크를 기준으로 한 노드 간의 관계에 있어서, 링크로 연결된 다른 입력 노드들을 가지지 않는 노드들을 의미할 수 있다. 이와 유사하게, 최종 출력 노드는 신경망 내의 노드들 중 다른 노드들과의 관계에서, 출력 노드를 가지지 않는 하나 이상의 노드들을 의미할 수 있다. 또한, 히든 노드는 최초 입력 노드 및 최후 출력 노드가 아닌 신경망을 구성하는 노드들을 의미할 수 있다.
딥 뉴럴 네트워크 (deep neural network; DNN)는 입력 레이어와 출력 레이어 외에 복수의 히든 레이어를 포함하는 신경망을 의미할 수 있다. 딥 뉴럴 네트워크를 이용하면 데이터의 잠재적인 구조 (latent structures)를 파악할 수 있다. 즉, 사진, 글, 비디오, 음성, 음악의 잠재적인 구조 (예를 들어, 어떤 물체가 사진에 있는지, 글의 내용과 감정이 무엇인지, 음성의 내용과 감정이 무엇인지 등)를 파악할 수 있다. 딥 뉴럴 네트워크는 컨볼루션 뉴럴 네트워크 (convolutional neural network; CNN), 리커런트 뉴럴 네트워크 (recurrent neural network; RNN), 오토 인코더 (auto encoder), GAN (Generative Adversarial Networks), 제한 볼츠만 머신 (restricted boltzmann machine; RBM), 심층 신뢰 네트워크 (deep belief network; DBN), Q 네트워크, U 네트워크, 샴 네트워크, 적대적 생성 네트워크(GAN: Generative Adversarial Network) 등을 포함할 수 있다.
컨볼루션 뉴럴 네트워크 (convolutional neural network; CNN)는 동물의 시각 피질의 구성에서 영감을 받아, 이미지와 같은 격자 패턴을 갖는 데이터를 처리하기 위한 딥 러닝 모델의 일종이다. 컨볼루션 뉴럴 네트워크는 일반적으로 컨볼루션 레이어, 풀링 레이어 및 풀리 커넥티드 레이어 (fully connected layer)를 포함할 수 있다. 컨볼루션 레이어 및 풀링 레이어는 신경망 내에 반복적으로 존재할 수 있으며, 입력 데이터는 이러한 레이어 계층을 통해 출력으로 변환될 수 있다. 컨볼루션은 레이어는 특징 추출을 위해서 커널 (또는 마스크)를 이용하여, 커널의 각 요소와 입력 값 간의 요소별 곱은 각각의 위치에서 계산되고 합산되어 출력 값을 얻게되며, 이를 특징 맵 (feature map)이라 지칭한다. 이러한 절차는 임의의 수의 특징 맵을 형성하기 위해 여러 커널을 적용하며 반복될 수 있다. 컨볼루션 뉴럴 네트워크에서 컨볼루션 및 풀링 레이어는 특징 추출을 수행하는 반면, 풀리 커넥티드 레이어는 추출된 특징을 분류하는 동작 등의 최종 출력에 매핑한다.
컨볼루션 뉴럴 네트워크는 등의 뉴럴 네트워크는 출력 오류를 최소화하는 방향으로 학습될 수 있다. 입력 레이어에서 출력 레이어로부터 값을 추출하는 순전파과정과 별개로, 뉴럴 네트워크 내에서는 입력된 학습데이터 및 이에 대한 뉴럴 네트워크의 출력값 사이의 오류를 계산하고 이러한 오류를 줄이기 위해 각각의 레이어의 노드들에 대한 가중치를 업데이트 하는 역전파 (backpropagation)가 일어나게 된다. 컨볼루션 뉴럴 네트워크에서 학습시키는 과정은 주어진 학습데이터를 기반으로, 가장 오류가 적은 출력값을 추출하는 커널을 찾는 과정으로 요약될 수 있다. 커널은 컨볼루션 레이어의 훈련과정에서 자동으로 학습되는 유일한 매개변수이다. 반면, 컨볼루션 뉴럴 네트워크에서 커널의 크기, 커널의 수, 패딩 등은 훈련 과정을 시작하기 전에 설정해야하는 하이퍼 파라미터이며, 따라서, 커널의 크기, 커널의 수, 컨볼루션 레이어 및 풀링 레이어의 숫자에 따라서 각기 다른 컨볼루션 뉴럴 네트워크 모델로 구분될 수 있다.
뉴럴 네트워크는 각각의 학습 데이터에 정답이 라벨링 된 학습데이터를 이용하는 교사 학습 (supervised learning), 학습 데이터에 정답이 라벨링 되지 않은 비교사 학습 (unsupervised learning), 반교사학습 (semi supervised learning), 또는 강화학습 (reinforcement learning) 중 적어도 하나의 방식으로 학습될 수 있다. 이때, 뉴럴 네트워크를 통한 출력과 라벨 또는 학습 데이터가 비교되면서 오류가 계산될 수 있고, 계산된 오류는 뉴럴 네트워크에서 역방향(즉, 출력 레이어에서 입력 레이어 방향)으로 역전파 되며, 역전파에 따라 뉴럴 네트워크의 각 레이어의 각 노드들의 연결 가중치가 업데이트 될 수 있다. 업데이트 되는 각 노드의 연결 가중치는 학습률(learning rate)에 따라 변화량이 결정될 수 있다.
과적합 (overfitting)은 뉴럴 네트워크에서 학습 데이터에 대한 학습이 과하게 일어나게 됨에 따라 학습 수가 증가함에도 오히려 오류가 증가하는 현상이다. 과적합은 머신러닝 알고리즘의 오류를 증가시키는 원인으로 작용할 수 있으며, 이러한 과적합을 막기 위하여 다양한 최적화 방법이 사용될 수 있다. 과적합을 막기 위해서는 학습 데이터를 증가시키거나, 레귤라이제이션 (regularization), 학습의 과정에서 네트워크의 노드 일부를 비활성화하는 드롭아웃 (dropout), 배치 정규화 레이어 (batch normalization layer)의 활용 등의 방법이 적용될 수 있다.
도 3은 본 발명의 일 실시예에 따른 주요 심뇌혈관 사건 (major adverse cerebro-cardiovascular events; MACE) 위험을 예측하는 과정을 설명하기 위한 블록구성도를 도시한 도면이다.
도 3을 참조하면, 일 실시예에 따른 주요 심뇌혈관 사건 (major adverse cerebro-cardiovascular events; MACE) 위험을 예측하는 컴퓨팅 장치는, 대상의 뇌 영상을 포함하는 의료 영상데이터로부터 입력 데이터를 생성하고 (S101), 미리 학습된 제1예측모델을 통해 입력 데이터로부터 이미지 피쳐를 추출하고 (S102), 미리 학습된 제2예측모델을 이용하여, 추출된 이미지 피쳐 및 대상의 임상 정보를 기초로 주요 심뇌혈관 사건과 연관된 생존 함수를 도출하고 (S103), 생존 함수를 기초로 대상의 주요 심뇌혈관 사건의 위험을 예측 (S104)할 수 있다.
컴퓨팅 장치는, 의료 영상데이터를 기초로 입력 데이터를 생성할 때, 의료 영상데이터를 균일화할 수 있다. 예를 들어, MRI의 확산강조영상을 기초로 입력 데이터를 생성하는 경우, 영상의 강도 (intensity) 및 대비 등을 조절하여 영상을 균일화한 후, 입력 데이터를 생성할 수 있다.
컴퓨팅 장치는, 입력데이터에서 예측 정보를 생성한 원인이 되는 영역을 다른 영역과 구분하여 표시하는 시각 영상을 생성할 수 있다.
컴퓨팅 장치는, 미리 학습된 제2예측모델을 이용하여, 추출된 이미지 피쳐 및 대상의 임상 정보를 기초로 주요 심뇌혈관 사건과 연관된 생존 함수를 도출할 때, 하기 수학식 2의 위험 함수를 도출하여, 수학식 3의 생존함수를 도출하는 것일 수 있다.
[수학식 2]
Figure PCTKR2023009206-appb-img-000019
(여기서,
Figure PCTKR2023009206-appb-img-000020
(t|x)는 위험함수로 특정 시간 t에 주요 심뇌혈관 사건이 발생할 확률,
Figure PCTKR2023009206-appb-img-000021
0(t)는 x를 입력으로 받지 않는 기저 위험 함수, h(x)는 제2예측모델의 출력값으로 각 환자에 대한 로그 위험임)
[수학식 3]
Figure PCTKR2023009206-appb-img-000022
(여기서, S(t|x)는 생존함수로 환자정보 x가 주어질때 시간 t보다 오래 생존할 확률,
Figure PCTKR2023009206-appb-img-000023
(ti|x)는 ti 시간에 환자정보 x가 주어질 때 위험도를 의미함)
또는, 컴퓨터 장치는, 미리 학습된 제2예측모델을 이용하여, 추출된 이미지 피쳐 및 대상의 임상 정보를 기초로 주요 심뇌혈관 사건과 연관된 생존 함수를 도출할 때, 수학식 5에 따른 웨이블 분포 형태의 생존함수를 도출하고, K개의 웨이블 분포 (Weibull distribution) 형태의 생존 분포를 결합하여 하기 수학식 6에 따른 생존함수를 도출하는 것일 수 있다.
[수학식 5]
Figure PCTKR2023009206-appb-img-000024
(여기서, S(t|x)는 생존함수로 환자정보 x가 주어질때 시간 t보다 오래 생존할 확률, t는 시간, ρ및
Figure PCTKR2023009206-appb-img-000025
는 웨이블 분포의 모수를 의미함)
[수학식 6]
Figure PCTKR2023009206-appb-img-000026
(여기서, S(t|x)는 생존함수로 환자정보 x가 주어질때 시간 t보다 오래 생존할 확률, t는 시간, ρ및
Figure PCTKR2023009206-appb-img-000027
는 웨이블 분포의 모수, Wk는 k번째 분포의 가중치임)
이하, 본 발명을 하기의 실시예에 의하여 더욱 상세히 설명한다. 그러나 이들 실시예는 본 발명을 예시하기 위한 것일 뿐이며, 본 발명의 범위가 이들 실시예에 의하여 한정되는 것은 아니다.
실시예 1: 방법
1-1. 연구 설계 및 모집단
연구는 2010년 1월부터 2019년 12월 사이에 정부 주도의 종합 뇌졸중 센터에 입원한 AIS 환자의 전향적 레지스트리를 사용했다. 사용한 환자정보는, 1) 급성 허혈성 뇌졸중 (acute ischemic stroke; AIS)가 있고 증상 후 5일 이내에 입원한 경우, 2) 입원 시 확산 강조 영상 (diffusion weighted image; DWI)을 포함한 뇌 MRI를 받았고, 3) 일상적인 실험실 테스트와 12-리드 심전도를 받은 환자 정보가 사용되었다. 1) 적절한 DWI 영상으로 뇌 MRI를 시행하지 않았거나, 2) 증상 발생 후 5일 후에 지연 뇌 MRI를 받았거나, 3) 딥 러닝의 이미지 분석에 영향을 미칠 수 있는 뇌 MRI에서 거대한 인공물이 있는 환자 정보는 제외하였다. 총 8,590명의 급성 허혈성 뇌졸중 환자의 정보가 이용되었다.
1-2. 임상 평가 및 결과 측정
1차 종합 결과는 1년 후 최종 추적 조사 전 어느 시점에서든 MACE (재발 뇌졸중, 급성 심근경색증 또는 사망의 복합)의 발생이었다. 재발성 뇌졸중은 AIS 후 기존의 신경학적 결손이 갑자기 발생하거나 악화되고 뇌 영상(CT 또는 MRI)에서 새로운 뇌졸중 병변의 증거가 있는 것으로 정의되었다. 신경학적 결손의 중증도는 NIHSS (National Institutes of Health Stroke Scale) 및 mRS (modified Rankin Scale) 점수를 사용하여 평가되었다. 결과에 대한 임상 정보는 입원, 일상적인 진료소 방문 또는 환자 또는 간병인과의 전화 인터뷰 동안 모든 환자로부터 전향적으로 얻었고 3개월 및 12개월에 훈련된 뇌졸중 의사 또는 간호사에 의해 평가되었다. 등록된 환자는 추적 관찰에 실패하지 않았다.
1-3. 딥러닝 모델
도 4와 같이 딥 러닝 생존 분석(DeepSurv 및 DeepSM)을 기반으로 두 가지 모델을 구축하였다. 이러한 딥 러닝 모델은 CNN (Convolutional Neural Network)을 사용하여 DWI에서 기능을 자동으로 추출하고 개별 MACE 위험 예측에 사용하였다. 또한 CNN의 그라디언트 및 피쳐 맵을 사용하여 Grad-CAM 방법은 이미지의 중요한 영역을 강조 표시할 수 있다. 또한, 모든 이미지는 128 Х 128 Х 64로 크기가 조정되었으며 데이터 증대를 위해 이미지에 무작위로 변환 (플립, 회전, 전단, 감마 보정, 이동 및 가우시안 노이즈)이 적용되었다. 모든 이미지와 임상 특징은 모델 입력에 대한 z-점수를 사용하여 정규화되었다.
구체적으로, 도 4와 같이 CNN (Convolutional Neural Network)을 사용하여 DWI (Diffusion-Weighted Image)에서 특징을 추출했다. CNN 및 임상 정보에서 추출한 총 64개의 이미지 특징이 각각 하위 Deep Survival Machines 및 DeepSurv 모델에 입력되었다.
Deep Survival Machines 모델의 경우 출력 노드는 각 K개의 생존 분포의 매개변수와 상호 작용하는
Figure PCTKR2023009206-appb-img-000028
및 이러한 K 분포에 대한 혼합 가중치 w를 나타낸다. DeepSurv 모델의 경우 단일 출력 노드는 각 환자의 로그 위험을 나타낸다.
모델에는 과적합을 방지하기 위해 20% 드롭 아웃과 배치 정규화 계층이 포함되었다. 200개의 배치 크기와 최대 100개의 Epoch로 ADAM 최적화 프로그램을 훈련했다. 러닝 레이트 (learning rate)는 0.0004로 설정하였고, 15epoch 이상의 지속적인 로스 감소 (loss reduction)가 없으면 학습을 중단하였다. 훈련 중 검증 세트의 손실이 가장 적은 모델을 선택했다.
Deep Survival Machines는 가중치 w를 사용하여 K개의 생존 분포를 결합하여 생존 함수를 유도하고 DeepSurv는 각 환자에 대한 로그 위험 h(x)을 사용하여 생존 함수를 계산하였다.
실시예에서, CoxPH (Cox Proportional Hazards) 모델과 RSF(Random Survival Forest)를 포함한 모든 모델이 수학식 1과 같이 정의된 생존 함수를 사용하여 개인화된 결과를 비교하였다.
[수학식 1]
Figure PCTKR2023009206-appb-img-000029
(여기서, S(t|x)는 생존함수 환자정보 x가 주어질때 시간 t보다 오래 생존할 확률이고, P(t<T|x)는 t 시간에 생존해 있을 확률, t는 시간변수, T는 주요 심뇌혈관사건 발생에 이르는 시점, F(t|x)는 생애분포함수로 t 시간 내에 주요 심뇌혈관사건이 발생할 확률을 의미함)
이때, DeepSurv 모델은 수학식 2로 정의된 위험 함수를 추정하고, 수학식 3에 따른 생존 함수를 도출하도록 학습되었다.
[수학식 2]
Figure PCTKR2023009206-appb-img-000030
(여기서,
Figure PCTKR2023009206-appb-img-000031
(t|x)는 위험함수로 특정 시간 t에 주요 심뇌혈관 사건이 발생할 확률,
Figure PCTKR2023009206-appb-img-000032
0(t)는 x를 입력으로 받지 않는 기저 위험 함수, h(x)는 DeepSurv 모델의 출력값으로 각 환자에 대한 로그 위험임)
[수학식 3]
Figure PCTKR2023009206-appb-img-000033
(여기서, S(t|x)는 생존함수로 환자정보 x가 주어질때 시간 t보다 오래 생존할 확률,
Figure PCTKR2023009206-appb-img-000034
(ti|x) ti 시간에 환자정보 x가 주어질때 위험도를 의미함)
한편, Deep Survival Machines은 수학식 4를 통해 훈련하는 동안 K개의 Weibull 분포의 매개변수 및 각각의 가중치 w를 학습시켰고, 수학식 5에 따른 웨이블 분포를 도출하고, 이러한 K 분포를 가중치 w와 혼합하여 수학식 6에 따른 생존 함수를 계산하였다. 이때, 가중치 w는 수학식 7에 따라 계산되었다.
[수학식 4]
Figure PCTKR2023009206-appb-img-000035
(여기서,
Figure PCTKR2023009206-appb-img-000036
은 Deep Survival Machines 모델의 출력,
Figure PCTKR2023009206-appb-img-000037
는 모델을 통해 학습되는 파라미터, SELU는 활성화 함수를 의미함)
[수학식 5]
Figure PCTKR2023009206-appb-img-000038
(여기서, S(t|x)는 생존함수로 환자정보 x가 주어질때 시간 t보다 오래 생존할 확률, t는 시간, ρ및
Figure PCTKR2023009206-appb-img-000039
는 웨이블 분포의 모수를 의미함)
[수학식 6]
Figure PCTKR2023009206-appb-img-000040
(여기서, S(t|x)는 생존함수로 환자정보 x가 주어질때 시간 t보다 오래 생존할 확률, t는 시간, ρ및
Figure PCTKR2023009206-appb-img-000041
는 웨이블 분포의 모수, Wk는 k번째 분포의 가중치임)
[수학식 7]
Figure PCTKR2023009206-appb-img-000042
1-4. 성능 평가
모델 평가를 위해 생존 분석에서 일반적으로 사용되는 판별 척도인 Harrell의 일치 지수인 C 지수 (Harrell's concordance index; C index))의 확장인 시간 종속 일치 지수 (Ctd index)를 계산했다.
C 지수는 아직 재발을 경험하지 않은 환자보다 조기에 재발을 경험한 환자의 위험이 더 높은 환자 쌍의 비율을 나타낸다. 값 0.5는 무작위 예측을 나타내고 값 1은 완벽한 예측을 나타낸다. C 지수는 개별 환자의 재발 시간을 기준으로 계산한 반면 Ctd index는 시간 경과에 따른 환자의 위험도를 반영하여 계산했다. 또한 전반적인 성능을 평가하기 위해 통합 Brier 점수(integrated Brier score; IBS)를 계산했다. IBS는 모델 예측 확률과 실제 결과의 차이를 나타낸다. Ctd 인덱스와 달리 IBS가 0이면 완벽한 예측을 나타낸다.
1-5. 통계 분석
DWI가 모델 성능에 미치는 영향을 검증하기 위해 이미지 기능과 CNN을 사용하지 않고 각 모델을 학습했다. 딥러닝으로 구현된 모델을 널리 사용되는 다른 모델과 비교하기 위해 동일한 데이터 세트를 사용하여 CoxPH 및 RSF 모델을 훈련했다. CoxPH와 RSF는 영상 특징을 직접 추출할 수 없기 때문에 DeepSurv와 DeepSM에서 추출한 영상 특징을 이용하여 훈련을 진행하였다. 마찬가지로 DWI의 효과를 검증하기 위해 이미지 기능을 제외한 데이터로 CoxPH 및 RSF 모델을 훈련했다. CoxPH 및 RSF는 Python 모듈 scikit-survival에서 구현되었다. 또한, 임상 정보의 양이 변화하더라도 영상의 영향이 감소하지 않는 것을 확인하기 위해 임상 데이터 값의 수를 1, 5, 10, 20, 30, 39, 60으로 변경하여 위의 모델들을 훈련 및 평가하였다. 95% 신뢰 구간 (CI)을 계산하기 위해 1000번 반복하는 부트스트랩 방법을 사용했다. 또한 순열 특성 중요도 방법 (permutation feature importance method)을 사용하여 특성 중요도의 순위를 매겼다. 특성 중요도는 각 변수를 무작위로 혼합하여 측정한 예측 오차의 변화를 통해 계산되었다.
실시예 2: 결과
데이터세트에 포함된 총 환자 수는 8,590명이었고, 남성은 4,940명(57.51%), 여성은 3,650명(42.49%)이었다. 최초 내원일 기준으로 환자의 평균 연령은 71.0세였다. 총 8,590개의 데이터 중 6,872개는 학습 데이터셋으로, 나머지 1,718개는 테스트 데이터셋으로 나눴다. 또한, 훈련 데이터 세트의 20%를 검증 세트로 나누어 훈련 과정에서 모델 평가에 사용하고, 최종 모델 평가는 테스트 데이터셋을 이용하여 수행하였다. 환자 기준선 특성은 표 1에 요약하였다.
Characteristic Total Dataset
( n = 8,590) 		Train Dataset
( n = 5,498) 		Validation Dataset
( n = 1,374) 		Test Dataset
( n = 1,718)
Men,n(%) 4940 (57.5) 3157 (57.4) 796 (57.9) 987 (57.5)
Age,years(mean±SD) 68.4 (12.7) 68.4 (12.7) 68.4 (12.7) 68.3 (12.5)
Body mass index(mean±SD) 23.5 (3.3) 23.6 (3.3) 23.4 (3.2) 23.5 (3.4)
Pre-stroke mRS of ≥1,n(%) 2537 (29.5) 1635 (29.7) 414 (30.1) 488 (28.4)
Prior statin therapy,n(%) 238 (2.8) 147 (2.7) 38 (2.8) 53 (3.1)
TOAST classification, n(%)
LAA 2416 (28.1) 1513 (27.5) 412 (30.0) 491 (28.6)
SVO 896 (10.4) 596 (10.8) 139 (10.1) 161 (9.4)
CE 1956 (22.8) 1260 (22.9) 312 (22.7) 384 (22.4)
OD 136 (1.6) 84 (1.5) 23 (1.7) 29 (1.7)
UD 3186 (37.1) 2045 (37.2) 488 (35.5) 653 (38.0)
Comorbidities, n (%)
Prior transient cerebral
ischemia		 156 (1.8) 113 (2.1) 18 (1.3) 25 (1.5)
Prior stroke 1279 (14.9) 841 (15.3) 202 (14.7) 236 (13.7)
Peripheral artery stenosis 83 (1.0) 56 (1.0) 14 (1.0) 13 (0.8)
Coronary artery stenosis 475 (5.5) 301 (5.5) 86 (6.3) 88 (5.1)
Hypertension 4980 (58.0) 3220 (58.6) 784 (57.1) 976 (56.8)
Diabetes mellitus 2357 (27.4) 1510 (27.5) 366 (26.6) 481 (28.0)
Dyslipidemia 1420 (16.5) 917 (16.7) 211 (15.4) 292 (17.0)
Current smoking 1673 (19.5) 1062 (19.3) 258 (18.8) 353 (20.5)
Cancer 1140 (13.3) 739 (13.4) 178 (13.0) 223 (13.0)
Atrial fibrillation 2060 (24.0) 1337 (24.3) 327 (23.8) 396 (23.1)
Cerebral microbleed 1430 (16.6) 920 (16.7) 235 (17.1) 275 (16.0)
LV diastolic dysfunction 3180 (37.0) 1992 (36.2) 497 (36.2) 691 (40.2)
Pulmonary hypertension 1741 (20.3) 1105 (20.1) 286 (20.8) 350 (20.4)
Old myocardial infarction 449 (5.2) 277 (5.0) 75 (5.5) 97 (5.6)
Cardiomyopathy 268 (3.1) 172 (3.1) 55 (4.0) 41 (2.4)
Left ventricular
hypertrophy		 295 (3.4) 186 (3.4) 45 (3.3) 64 (3.7)
Left atrial enlargement 1188 (13.8) 755 (13.7) 189 (13.8) 244 (14.2)
Atrial tachycardia 358 (4.2) 222 (4.0) 61 (4.4) 75 (4.4)
Ventricular tachycardia 18 (0.2) 12 (0.2) 3 (0.2) 3 (0.2)
Valvular heart disease 2494 (29.0) 1590 (28.9) 379 (27.6) 525 (30.6)
Aortic valve sclerosis 624 (7.3) 393 (7.1) 93 (6.8) 138 (8.0)
Paradoxical embolism,n(%) 1721 (20.0) 1116 (20.3) 238 (17.3) 367 (21.4)
Atrial septal aneurysm,n(%) 34 (0.4) 22 (0.4) 5 (0.4) 7 (0.4)
Initial NIHSS, median(IQR) 2.0 (1.0-7.0) 2.0 (1.0-7.0) 2.0 (1.0-6.0) 2.0 (1.0-6.0)
Multiple infarct lesions,n(%) 1584 (18.4) 1023 (18.6) 239 (17.4) 322 (18.7)
Pulmonary /Pericardial edema,n(%) 98 (1.1) 64 (1.2) 21 (1.5) 13 (0.8)
Cerebralartery status, n(%)
Multi-vesselstenosis≥50% 1054 (12.3) 700 (12.7) 138 (10.0) 216 (12.6)
Relevantarterystenosis≥
70%		 1379 (16.1) 892 (16.2) 210 (15.3) 277 (16.1)
Non-relevantstenosis≥70% 136 (1.6) 87 (1.6) 21 (1.5) 28 (1.6)
Cerebralatherosclerosis 4909 (57.1) 3138 (57.1) 765 (55.7) 1006 (58.6)
Largevesselocclusion 3042 (35.4) 1921 (34.9) 468 (34.1) 653 (38.0)
Recanalization 1150 (13.4) 735 (13.4) 158 (11.5) 257 (15.0)
Acutestroketreatment, n(%)
Thrombolytictherapy 1291 (15.0) 861 (15.7) 178 (13.0) 252 (14.7)
Endovasculartherapy 741 (8.6) 470 (8.5) 104 (7.6) 167 (9.7)
Oralanticoagulants 1553 (18.1) 977 (17.8) 263 (19.1) 313 (18.2)
Statintherapy 7224 (84.1) 4637 (84.3) 1137 (82.8) 1450 (84.4)
Laboratoryvalues(mean±SD)
Hemoglobin,g/dL 13.6 (1.9) 13.6 (1.9) 13.6 (1.9) 13.5 (1.9)
Whitebloodcells,×103/μL 8.4 (3.2) 8.4 (3.2) 8.3 (3.1) 8.4 (3.1)
Platelet,×103/μL 224.6 (68.6) 225.1 (69.7) 222.2 (66.6) 224.7 (66.9)
Iron,,μg/dL 82.8 (40.7) 83.1 (41.1) 83.1 (39.4) 81.6 (40.1)
D-dimer,mg/L 1.3 (3.3) 1.3 (3.5) 1.2 (3.0) 1.3 (3.2)
Homocysteine,mcmol/L 10.4 (5.4) 10.4 (5.4) 10.4 (5.2) 10.3 (5.4)
Blood ureanitrogen,mg/dL 17.1 (8.4) 17.1 (8.2) 16.8 (9.2) 17.2 (8.3)
Creatinine,mg/dL 0.9 (0.8) 0.9 (0.8) 0.9 (0.9) 0.9 (0.7)
Total-cholesterol,mg/dL 177.0 (44.0) 177.4 (44.5) 176.8 (44.2) 176.1 (42.1)
Triglyceride,mg/dL 115.7 (70.7) 115.9 (69.9) 115.8 (74.6) 114.9 (70.1)
HDL-cholesterol,mg/dL 44.9 (12.1) 45.1 (12.3) 44.8 (12.0) 44.7 (11.7)
LDL-cholesterol,mg/dL 111.9 (36.5) 112.2 (36.9) 111.3 (36.5) 111.6 (35.3)
Fastingbloodsugar,mg/dL 129.6 (51.8) 129.9 (51.8) 128.4 (52.2) 129.7 (51.2)
Admissionbloodsugar,mg/dL 138.2 (56.4) 139.0 (58.3) 136.6 (55.0) 137.1 (51.2)
Glycated hemoglobin,% 6.3 (1.3) 6.3 (1.3) 6.2 (1.2) 6.3 (1.3)
Elevatedtroponin(ng/L),n(%) 2426 (28.2) 1585 (28.8) 387 (28.2) 454 (26.4)
Systolicbloodpressure,mmHg 138.8 (23.1) 139.0 (23.2) 138.7 (22.8) 138.5 (23.2)
Diastolicbloodpressure,mmHg 83.4 (13.9) 83.6 (13.9) 83.1 (13.8) 83.1 (13.9)
또한, 75개의 임상 정보를 사용하여 CoxPH를 훈련시켰다. LASSO 패널티가 있는 훈련된 CoxPH 모델의 절대 계수 값 순서로 75개의 표 2와 같이 임상 정보를 간단히 정렬하여 정보를 선택했다. 모델의 견고성을 검증하기 위해, 임상 데이터의 양을 1, 5, 10, 20, 30, 39, 60으로 변경하여 학습하여 모델을 평가했다.
Clinical feature Coefficient Clinical feature Coefficient
Initial NIHSS score 0.621385 Aortic valve sclerosis 0.016857
Statin therapy -0.287705 Large vessel occlusion 0.016221
Age 0.228899 Men 0.010972
Prior stroke 0.163209 Pulmonary /Pericardial edema 0.010321
Multiple infarct lesions 0.098845 Coronary artery stenosis 0.008995
White blood cells 0.098644 Cerebral microbleed 0.007036
Triglyceride -0.096746 Relevant artery stenosis≥70% 0.004080
Iron -0.091373 Paradoxical embolism 0.002350
Hemoglobin -0.086269 Cardiomyopathy 0.001906
Body mass index -0.080133 Dyslipidemia 0
Atrial fibrillation 0.079687 Systolic blood pressure 0
Cancer 0.077873 Pre-stroke mRS score 0
Glycated hemoglobin 0.075544 Admission blood sugar 0
Troponin 0.061316 Prior transient cerebral ischemia 0
TOAST 0.053817 LDL-cholesterol 0
D-dimer 0.049070 Peripheral artery stenosis 0
Creatinine 0.041423 Hypertension 0
Multi-vessel stenosis ≥50% 0.038831 Diabetes mellitus 0
Ventricular tachycardia 0.036857 LV diastolic dysfunction 0
Platelet -0.034121 Current smoking 0
Prior statin therapy -0.032740 Pulmonary hypertension 0
Old myocardial infarction 0.032095 Blood urea nitrogen 0
Endovascular therapy -0.031002 Recanalization 0
Fasting blood sugar 0.028262 Atrial septal aneurysm 0
Oral anticoagulants -0.025244 Atrial tachycardia 0
Total-cholesterol -0.025138 Non-relevant stenosis≥70% 0
Thrombolytic therapy -0.023814 Cerebral atherosclerosis 0
HDL-cholesterol -0.019060 Left atrial enlargement 0
Diastolic blood pressure 0.018015 Left ventricular hypertrophy 0
Homocysteine 0.017806 Valvular heart disease 0
2-1. 모델 성능 평가
딥러닝 모델 간의 전반적인 성능과 차별성을 평가하기 위해 각 모델(DeepSurv, DeepSM, CoxPH 및 RSF)의 Ctd 인덱스와 IBS를 계산했다. 먼저, 임상 정보만 사용하여 딥 러닝 모델과 기존 기준 모델을 훈련하고 평가하였다. 도 5에서 확인할 수 있듯이, 개별 뇌 영상을 사용할 수 없는 CoxPH 및 RSF의 기존 생존 모델은 상위 1 내지 10개 임상 정보 세트에서 각각 0.7236 내지 0.8101 및 0.7279 내지 0.8143의 Ctd 지수를 나타냈다. DeepSM, CoxPH 및 RSF는 상위 20개 임상 정보 세트에서 가장 높은 Ctd 지수를 나타냈고, 그 값은 각각 0.8235(95% CI 0.7489 ~ 0.8846), 0.8222(95% CI 0.7477 ~ 0.8836) 및 0.8335(95% CI 0.7624 ~ 0.8936)를 나타냈다. DeepSurv는 상위 39개 임상 정보 세트에서 가장 높은 Ctd 지수를 나타냈고, 그 값은 0.8242(95% CI 0.7503 ~ 0.8853)을 나타냈다.
다음으로, 이미지와 임상 정보를 모두 사용하여 딥러닝 모델과 기존 기준 모델을 훈련하고 평가하였다. 딥러닝 모델에 이미지를 추가하면 성능이 향상되었다. DeepSurv 및 DeepSM는 상위 39개의 관련 임상 요인이 모두 포함된 경우 가장 높은 Ctd 지수를 나타냈고, 그 값은 각각 0.8496(95% CI 0.7837 ~ 0.9038) 및 0.8531(95% CI 0.7882 ~ 0.9028)을 나타냈다. 관련 임상 요인을 사용한 모든 경우에서 이미지와 임상 정보를 사용한 딥러닝 모델의 성능이 임상 정보만 사용한 모델을 능가하였다. 이미지를 사용한 경우, 딥러닝 모델은 임상 정보가 거의 없는 경우에도 높은 Ctd 지수를 나타냈다.
마지막으로, 기존 모델도 기존 모델도 DeepSurv 및 DeepSM 모델에서 추출한 임상 정보 및 이미지 특징을 사용하여 훈련하고 평가하였다. 기존 모델에 딥 러닝 모델이 지원하는 이미지를 추가하면 기존 모델의 성능이 향상되었다. 대부분의 경우 딥 러닝 모델의 지원을 받는 이미지를 사용하는 기존 모델의 성능은 포함된 임상 요인의 수에 관계없이 임상 정보만 사용하는 기존 모델의 성능을 능가하였다. DeepSurv 지원 CoxPH, DeepSurv 지원 RSF, 및 DeepSM 지원 CoxPH는 상위 39개의 관련 임상 요인이 모두 포함된 경우 가장 높은 Ctd 지수를 나타냈고, 그 값은 각각 0.8514(95% CI 0.7880 ~ 0.9016), 0.8485(95% CI 0.7873 ~ 0.8999) 및 0.8513(95% CI 0.7873 ~ 0.90)를 나타냈다. DeepSM 지원 RSF는 상위 60개의 관련 임상 요인이 모두 포함된 경우 가장 높은 Ctd 지수를 나타냈고, 그 값은 0.8488(95% CI 0.7874 ~ 0.9020)를 나타냈다.
전반적인 IBS 성능 측면에서 볼 때, 기존 모델과 딥러닝 모델 모두 0.075 이하의 우수한 IBS를 기록했으며, 이는 무작위 예측 한계치인 0.25보다 훨씬 낮은 수치로 신뢰할 수 있는 모델이라는 것을 보여주었다. 이미지 포함 여부에 따른 임상 인자 수에 따라 모델 간에는 전반적으로 큰 차이가 없었다. 그러나 딥러닝 모델과 딥러닝 모델의 지원을 받는 기존 모델에 이미지를 추가하면 전반적인 IBS 성능이 다소 향상되었다. 상위 39개의 관련 임상 요인을 모두 포함하였을 때 DeepSM이 0.0622(95% CI 0.0462~0.0800)로 가장 좋은 IBS를 산출하였다.
2-2. 피쳐 중요도 판별
예측 모델에 사용된 임상 정보의 순위를 순열 특징 중요도 방법을 사용하여 구하였으며, 이를 도 6에 나타내었다. 이미지 기능은 두 번째로 중요한 기능이며 NIHSS는 항상 가장 중요한 영향을 미치는 것으로 나타났다. 처음에는 NIHSS, 스타틴 요법, 연령, 뇌졸중 이전 백혈구 및 다발성 경색 병변이 임상 특징으로 포함되었다. 도 6에 나타나 있듯이, 나이와 스타틴 치료는 NIHSS와 영상 다음으로 중요한 임상 정보이며, 임상 정보가 추가되어도 대부분의 경우 순위가 유지되었다. 둘째, 헤모글로빈, 백혈구, 철 수치, 중성지방, 체질량지수를 추가하였다. 추가된 임상 데이터 값의 효과는 초기 임상 정보에 비해 미미했다. 셋째, 혈관 내 치료, 심방세동, D-이량체, 남성, 심실 빈맥, 철, 당화 헤모글로빈, 경구 항응고체, 암, 큰혈관 폐쇄, 공복혈당, 중성지방, 호모시스테인, 혈소판, 폐 /심낭 부종, 대뇌 미세 출혈, 이완기 혈압, 역설적 색전증, 혈전용해요법, 대동맥 판막 경화증, 크레아틴, 관상 동맥 협착증, 심근병증, 스타틴 치료 경험, 트로포닌, 오래된 심근 경색, TOAST, HDL-콜레스테롤, 전체-콜레스테롤, 관련동맥 협착증, 다혈관 협착증이 추가되었다. 그러나 이 단계에 대해 추가된 임상 정보는 이전 단계에 비해 유의미한 영향을 미치지 않았다. 임상 정보의 개수가 5, 10, 39로 변경되더라도 DeepSurv 및 DeepSM에서 뇌 이미지의 특징 중요도는 일관되게 높은 순위를 차지했다.
2-3. 개인화 된 모델 예측 및 이미지의 중요 영역
도 7은 딥러닝 모델의 개인화된 예측과 예측에 사용된 이미지 영역을 보여준다. 모델의 신뢰성을 검증하기 위해 Grad-CAM 방법을 사용하여 예측에 사용된 이미지의 속성 부분을 시각화했다. Grad-CAM은 모델이 초점을 맞추고 예측에 사용한 특정 환자의 뇌 영역을 시각화할 수 있다. 생존 함수는 모델이 각 환자의 위험을 평가하고 MACE가 발생할 날짜를 예측하는 방법을 보여준다. #1 및 #2 환자의 경우 MACE가 실제로 각각 37일째 (혈관 사망) 및 36일째 (재발성 뇌졸중)에 발생했다. 또한, 환자 #3의 경우 마지막 후속 조치까지 이벤트가 발생하지 않았다. 그림 5B와 같이 각 딥 러닝 모델은 MACE가 있는 #1, #2 환자의 생존 함수로 고위험을 예측하고 사건의 실제 날짜를 밀접하게 예측했다. 대조적으로, 피질하 실어증의 증상으로 지표 뇌졸중 후 실제로 MACE를 경험하지 않은 환자 #3은 환자가 노년이고 유사한 임상 중증도 점수 (NIHSS)를 가졌음에도 불구하고 MACE의 위험이 낮을 것으로 예상되었다.
따라서, 본 발명에 따른 딥 러닝 모델은 MACE 예측에 환자의 의미 있고 중요한 병변을 반영하는 것이 확인되었다.
이에 본 발명자들은 의료 영상 및 임상 정보를 이용하여 급성 허혈성 뇌졸중 등의 증상 발생 이후 대상의 주요 심뇌혈관 사건 (major adverse cerebro-cardiovascular events; MACE) 위험을 예측하는 방법 및 프로그램을 제작하였으며, 이의 예측 정확도가 월등히 우수한 것을 확인하였다.
이에, 본 발명의 목적은 주요 심뇌혈관 사건 위험을 예측하는 방법을 제공하는 것이다.
본 발명의 다른 목적은 주요 심뇌혈관 사건 위험을 예측하는 컴퓨터 프로그램을 제공하는 것이다.
본 발명의 또 다른 목적은 주요 심뇌혈관 사건 위험을 예측하는 컴퓨팅 장치를 제공하는 것이다.

Claims (12)

  1. 컴퓨팅 장치에 의해 임상 정보 및 의료 영상데이터로부터 주요 심뇌혈관 사건 (major adverse cerebro-cardiovascular events; MACE) 위험을 예측하는 방법에 있어서,
    대상의 뇌 영상을 포함하는 의료 영상데이터로부터 입력 데이터를 생성하는 생성 단계;
    미리 학습된 제1예측모델을 통해 입력 데이터로부터 이미지 피쳐를 추출하는 추출 단계;
    미리 학습된 제2예측 모델을 이용하여, 추출된 이미지 피쳐 및 대상의 임상 정보를 기초로 주요 심뇌혈관 사건과 연관된 생존 함수를 도출하는 도출 단계; 및
    생존 함수를 기초로 대상의 주요 심뇌혈관 사건의 위험을 예측하는 예측 단계;를 포함하는, 주요 심뇌혈관 사건 위험을 예측하는 방법.
  2. 제1항에 있어서, 상기 제1예측모델 및 제2예측모델은 심뇌혈관 위험 예측 모델의 하위 모델로 구성되는 것인, 주요 심뇌혈관 사건 위험을 예측하는 방법.
  3. 제1항에 있어서, 상기 의료 영상 데이터는,
    MRI의 확산강조영상 (diffusion weighted image; DWI) 데이터를 포함하는 것인, 주요 심뇌혈관 사건 위험을 예측하는 방법.
  4. 제1항에 있어서, 상기 임상 정보는,
    국립보건원 뇌졸중 척도 (National Institutes of Health Stroke Scale; NIHSS) 정보를 포함하는 것인, 주요 심뇌혈관 사건 위험을 예측하는 방법.
  5. 제1항에 있어서, 상기 임상정보는,
    국립보건원 뇌졸중 척도 (National Institutes of Health Stroke Scale; NIHSS) 정보 및 스타틴 투여여부 정보를 포함하는 것인, 주요 심뇌혈관 사건 위험을 예측하는 방법.
  6. 제1항에 있어서, 상기 제2예측모델은,
    하나 이상의 학습 데이터 및 상기 학습 데이터에 대응되며 주요 심뇌혈관 사건 위험 결과를 포함하는 가이드 라벨에 기초하여 지도학습되며,
    상기 지도학습은 제2예측모델을 이용하여 학습 데이터에 대해 생성한 학습 정보와 가이드 라벨의 비교 결과에 기초하여 수행되는 것인, 주요 심뇌혈관 사건 위험을 예측하는 방법.
  7. 제7항에 있어서, 상기 지도학습은,
    상기 학습 정보와 상기 가이드 라벨을 이진 크로스 엔트로피 (Binary Cross-Entropy) 손실함수에 대입하여 계산한 결과값에 기초하여 수행되는 것인, 주요 심뇌혈관 사건 위험을 예측하는 방법.
  8. 제1항에 있어서, 상기 제2예측모델은, 하기 수학식 2의 위험 함수를 도출하여, 수학식 3의 생존함수를 도출하는 것인, 주요 심뇌혈관 사건 위험을 예측하는 방법.
    [수학식 2]
    Figure PCTKR2023009206-appb-img-000043
    (여기서,
    Figure PCTKR2023009206-appb-img-000044
    (t|x)는 위험함수로 특정 시간 t에 주요 심뇌혈관 사건이 발생할 확률,
    Figure PCTKR2023009206-appb-img-000045
    0(t)는 x를 입력으로 받지 않는 기저 위험 함수, h(x)는 제2예측모델의 출력값으로 각 환자에 대한 로그 위험임)
    [수학식 3]
    Figure PCTKR2023009206-appb-img-000046
    (여기서, S(t|x)는 생존함수로 환자정보 x가 주어질때 시간 t보다 오래 생존할 확률,
    Figure PCTKR2023009206-appb-img-000047
    (ti|x)는 ti 시간에 환자정보 x가 주어질 때 위험도를 의미함)
  9. 제1항에 있어서, 상기 제2예측모델은,
    수학식 5에 따른 웨이블 분포 형태의 생존함수를 도출하고, K개의 웨이블 분포 (Weibull distribution) 형태의 생존 분포를 결합하여 하기 수학식 6에 따른 생존함수를 도출하는 것인, 주요 심뇌혈관 사건 위험을 예측하는 방법.
    [수학식 5]
    Figure PCTKR2023009206-appb-img-000048
    (여기서, S(t|x)는 생존함수로 환자정보 x가 주어질때 시간 t보다 오래 생존할 확률, t는 시간, ρ및
    Figure PCTKR2023009206-appb-img-000049
    는 웨이블 분포의 모수를 의미함)
    [수학식 6]
    Figure PCTKR2023009206-appb-img-000050
    (여기서, S(t|x)는 생존함수로 환자정보 x가 주어질때 시간 t보다 오래 생존할 확률, t는 시간, ρ및
    Figure PCTKR2023009206-appb-img-000051
    는 웨이블 분포의 모수, Wk는 k번째 분포의 가중치임)
  10. 제1항에 있어서, 상기 방법은,
    급성 허혈성 뇌졸중 (acute ischemic stroke; AIS)이후 주요 심뇌혈관 사건 위험을 예측하는 것인, 주요 심뇌혈관 사건 위험을 예측하는 방법.
  11. 저장 매체에 저장된 컴퓨터 프로그램으로서, 컴퓨터 프로그램은 하나 이상의 프로세서에서 실행되는 경우, 주요 심뇌혈관 사건 (major adverse cerebro-cardiovascular events; MACE) 위험을 예측하기 위한 이하의 동작들을 수행하도록 하며, 동작들은: 대상의 뇌 영상을 포함하는 의료 영상데이터로부터 입력 데이터를 생성하는 생성 동작; 미리 학습된 제1예측모델을 통해 입력 데이터로부터 이미지 피쳐를 추출하는 추출 동작; 미리 학습된 제2예측 모델을 이용하여, 추출된 이미지 피쳐 및 대상의 임상 정보를 기초로 주요 심뇌혈관 사건과 연관된 생존 함수를 도출하는 도출 동작; 및 생존 함수를 기초로 대상의 주요 심뇌혈관 사건의 위험을 예측하는 예측 동작;을 포함하는 것인, 저장 매체에 저장된 컴퓨터 프로그램.
  12. 주요 심뇌혈관 사건 (major adverse cerebro-cardiovascular events; MACE) 위험을 예측하기 위한 컴퓨팅 장치로서, 하나 이상의 코어를 포함하는 프로세서; 및 메모리;를 포함하고, 프로세서는, 대상의 뇌 영상을 포함하는 의료 영상데이터로부터 입력 데이터를 생성하고, 미리 학습된 제1예측모델을 통해 입력 데이터로부터 이미지 피쳐를 추출하고, 미리 학습된 제2예측 모델을 이용하여, 추출된 이미지 피쳐 및 대상의 임상 정보를 기초로 주요 심뇌혈관 사건과 연관된 생존 함수를 도출하고, 및 생존 함수를 기초로 대상의 주요 심뇌혈관 사건의 위험을 예측하는, 컴퓨팅장치.
PCT/KR2023/009206 2022-09-20 2023-06-30 급성 허혈성 뇌졸중 이후 주요 심뇌혈관사건 위험도 예측 방법 및 프로그램 Ceased WO2024063271A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220118418A KR102901477B1 (ko) 2022-09-20 2022-09-20 급성 허혈성 뇌졸중 이후 주요 심뇌혈관사건 위험도 예측 방법 및 프로그램
KR10-2022-0118418 2022-09-20

Publications (1)

Publication Number Publication Date
WO2024063271A1 true WO2024063271A1 (ko) 2024-03-28

Family

ID=90454501

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/009206 Ceased WO2024063271A1 (ko) 2022-09-20 2023-06-30 급성 허혈성 뇌졸중 이후 주요 심뇌혈관사건 위험도 예측 방법 및 프로그램

Country Status (2)

Country Link
KR (1) KR102901477B1 (ko)
WO (1) WO2024063271A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102001398B1 (ko) * 2018-01-25 2019-07-18 재단법인 아산사회복지재단 기계학습을 통한 뇌질환 상태변화 예측방법, 장치 및 프로그램
KR20210084979A (ko) * 2019-12-30 2021-07-08 (주)아이쿱 심혈관 질환 위험도 예측 방법 및 시스템
KR20220012123A (ko) * 2020-07-22 2022-02-03 사회복지법인 삼성생명공익재단 머신 러닝 기반의 뇌경색 치료 여부 결정 방법, 장치 및 컴퓨터 프로그램
US20220284578A1 (en) * 2019-08-29 2022-09-08 Koninklijke Philips N.V. Image processing for stroke characterization

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102001398B1 (ko) * 2018-01-25 2019-07-18 재단법인 아산사회복지재단 기계학습을 통한 뇌질환 상태변화 예측방법, 장치 및 프로그램
US20220284578A1 (en) * 2019-08-29 2022-09-08 Koninklijke Philips N.V. Image processing for stroke characterization
KR20210084979A (ko) * 2019-12-30 2021-07-08 (주)아이쿱 심혈관 질환 위험도 예측 방법 및 시스템
KR20220012123A (ko) * 2020-07-22 2022-02-03 사회복지법인 삼성생명공익재단 머신 러닝 기반의 뇌경색 치료 여부 결정 방법, 장치 및 컴퓨터 프로그램

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KIM DOO-YOUNG, CHOI KANG-HO, KIM JA-HAE, HONG JINA, CHOI SEONG-MIN, PARK MAN-SEOK, CHO KI-HYUN: "Deep learning-based personalised outcome prediction after acute ischaemic stroke", JOURNAL OF NEUROLOGY NEUROSURGERY & PSYCHIATRY., BMJ PUBLISHING GROUP, GB, vol. 94, no. 5, 1 May 2023 (2023-05-01), GB , pages 369 - 378, XP009554051, ISSN: 0022-3050, DOI: 10.1136/jnnp-2022-330230 *
PARK SEUNG, KIM BAIK-KYUN, HAN MOON-KU, HONG JEONG-HO, YUM KYU SUN, LEE DAE-IN: "Deep Learning for Prediction of Mechanism in Acute Ischemic Stroke Using Brain MRI", RESEARCH SQUARE, 11 June 2021 (2021-06-11), XP093034346, DOI: 10.21203/rs.3.rs-604141/v1 *

Also Published As

Publication number Publication date
KR20240040159A (ko) 2024-03-28
KR102901477B1 (ko) 2025-12-19

Similar Documents

Publication Publication Date Title
Guo et al. A retinal vessel detection approach using convolution neural network with reinforcement sample learning strategy
WO2022005090A1 (ko) 진단 결과를 제공하기 위한 방법 및 장치
Jiménez‐Partinen et al. CADICA: A new dataset for coronary artery disease detection by using invasive coronary angiography
Albahli et al. Automated detection of diabetic retinopathy using custom convolutional neural network
CN108694994B (zh) 基于栈式自编码器和支持向量机的无创心脏梗死分类模型构建方法
Bridge et al. Development and validation of a novel prognostic model for predicting AMD progression using longitudinal fundus images
WO2023214647A1 (ko) 심전도 데이터를 분석하기 위한 방법 및 장치
Reddy et al. Evaluation of deep belief network to predict hospital readmission of diabetic patients
KR20220143547A (ko) 심전도 이미지에 기반한 환자 평가 시스템 및 방법
CN116228731A (zh) 一种多对比学习冠状动脉高危斑块检测方法、系统及终端
WO2023048400A1 (ko) 심박변이도 특징 값을 추출하기 위한 방법
WO2020116878A1 (ko) 안저 사진을 이용한 뇌동맥류 예측 장치 및 뇌동맥류 예측 결과 제공 방법
WO2023146361A1 (ko) 인공지능 기반의 바이오 마커 선별 장치 및 방법
Huang et al. Prediction and detection of glaucomatous visual field progression using deep learning on macular optical coherence tomography
Beham et al. An optimized deep-learning algorithm for the automated detection of diabetic retinopathy
WO2024063271A1 (ko) 급성 허혈성 뇌졸중 이후 주요 심뇌혈관사건 위험도 예측 방법 및 프로그램
KR20240000930A (ko) 딥러닝 기술을 이용한 심방세동 환자의 허혈성 뇌졸중 발병 가능성 예측 방법 및 장치
Steffi Automated microaneurysms detection in retinal images using SSA optimised U-NET and Bayesian optimised CNN
WO2022220649A1 (ko) 심전도 이미지에 기반한 환자 평가 시스템 및 방법
Uddin et al. Dense-par-AttNet: an attention based deep learning model for skin lesion classification by transfer learning approach
Umoren et al. A new index for intelligent classification of early syndromic of cardiovascular (CVD) diseases based on electrocardiogram (ECG)
Xu et al. DeepHealth: Deep representation learning with autoencoders for healthcare prediction
Chen et al. Retinal vessel segmentation in fundus images using convolutional neural network
Sathananthavathi et al. Deep learning approaches for the retinal vasculature segmentation in fundus images
Mane et al. Heart disease prediction using machine learning and neural networks

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23868331

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 23868331

Country of ref document: EP

Kind code of ref document: A1