WO2023095989A1 - 뇌질환 진단을 위한 다중 모달리티 의료 영상 분석 방법 및 장치 - Google Patents

뇌질환 진단을 위한 다중 모달리티 의료 영상 분석 방법 및 장치 Download PDF

Info

Publication number
WO2023095989A1
WO2023095989A1 PCT/KR2021/018190 KR2021018190W WO2023095989A1 WO 2023095989 A1 WO2023095989 A1 WO 2023095989A1 KR 2021018190 W KR2021018190 W KR 2021018190W WO 2023095989 A1 WO2023095989 A1 WO 2023095989A1
Authority
WO
WIPO (PCT)
Prior art keywords
brain
medical image
medical images
output
analysis
Prior art date
Application number
PCT/KR2021/018190
Other languages
English (en)
French (fr)
Inventor
김한석
유영성
기리시스리니바산
피재우
니키타토마스
Original Assignee
주식회사 피노맥스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 피노맥스 filed Critical 주식회사 피노맥스
Priority to US18/023,378 priority Critical patent/US11900599B2/en
Publication of WO2023095989A1 publication Critical patent/WO2023095989A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A61B5/0042—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0073—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by tomography, i.e. reconstruction of 3D images from 2D projections
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/02007—Evaluating blood vessel condition, e.g. elasticity, compliance
    • A61B5/02014—Determining aneurysm
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4058—Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
    • A61B5/4064—Evaluating the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4082—Diagnosing or monitoring movement diseases, e.g. Parkinson, Huntington or Tourette
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4094—Diagnosing or monitoring seizure diseases, e.g. epilepsy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4842—Monitoring progression or stage of a disease
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7425—Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • A61B2576/026—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part for the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Definitions

  • the technical idea of the present disclosure relates to a multi-modality medical image analysis method and apparatus for diagnosing brain diseases.
  • multiple imaging modalities are acquired from a single patient.
  • radiologists record opinions on each image, and based on this, the attending physician finally makes a diagnosis or determines the progress of treatment, and then prescribes appropriate treatment and prescription.
  • a typical technique is a technique of segmenting an anatomically and pathologically significant region and analyzing changes in the size and shape of the corresponding region from a plurality of medical images taken for a certain period of time.
  • diagnosis through such structural analysis is possible only when the disease has already progressed beyond a certain level, and in the case of normal or mild disease, there is a limit in that it is difficult to distinguish between differences in imaging due to the disease and differences due to growth and genetic factors. .
  • Functional analysis of the brain through magnetic resonance imaging (fMRI) is also being conducted clinically, which connects detailed areas of the brain with a tendency for the BOLD signal (Blood-Oxygen Level Dependancy) to be activated in the patient's resting state. Create a network and analyze it.
  • BOLD signal Blood-Oxygen Level Dependancy
  • noise there is a lot of noise in the active part of the brain, and there is a limit to accurately identifying the signal difference between functional organs of the brain. That is, since the probability of the analyzed BOLD data being false positive is very high, making a diagnosis using only the fMRI technique is being discouraged.
  • Positron Emission Tomography is a technique for detecting and imaging biochemical changes in the body.
  • a very small amount of radioactive material is injected, and the more actively decomposition of the radioactive material occurs, the higher pixel value appears on a high image.
  • PET images also have multiple modalities in detail.
  • the technical problem to be achieved by the multi-modality medical image analysis method and apparatus is to analyze each medical image through a plurality of analysis models in diagnosing a patient through a multi-modality medical image, and to diagnose a patient. It is an object of the present invention to provide a multi-modality medical image analysis method and apparatus for significantly reducing the time required for diagnosis and increasing diagnosis accuracy by generating multiple diagnosis models according to brain diseases.
  • a multi-modality medical image analysis method for diagnosing a brain disease includes acquiring a plurality of medical images of different modalities for the same patient; selecting at least a part corresponding to a modality of each of the medical images from among a plurality of pre-learned analysis models; outputting an output value related to a plurality of factors that are a basis for reading at least one brain disease by respectively inputting the medical images corresponding to the selected analysis model based on modalities of the medical images; converting the output value to generate a plurality of feature vectors respectively corresponding to the output value; and predicting the degree of progression of the brain disease by inputting the feature vector into at least one pretrained diagnostic model to read different brain diseases, respectively.
  • the method may further include training each of the plurality of analysis models to output an output value related to the factor based on a set of medical images having different modalities.
  • the medical image is a magnetic resonance imaging (MRI), cerebrovascular angiography (CT) image, functional magnetic resonance imaging (fMRI), and positron emission tomography (PET-CT) of the patient's brain.
  • MRI magnetic resonance imaging
  • CT cerebrovascular angiography
  • fMRI functional magnetic resonance imaging
  • PET-CT positron emission tomography
  • the output value may be a value corresponding to at least one of a ratio of a plurality of brain regions and an amount of head and neck fat.
  • the output value may be a value corresponding to the presence or absence of abnormal blood vessels in each of a plurality of brain regions.
  • the output value when the medical image is a functional magnetic resonance image, the output value may be a value corresponding to a relationship between a plurality of brain regions simultaneously activated or deactivated while the patient is in a resting state.
  • the output value may be a value corresponding to a severity of at least one of tumor, dementia, Parkinson's disease, and epilepsy.
  • generating the plurality of feature vectors may include standardizing or normalizing the plurality of output values through feature scaling.
  • the step of retrieving a corresponding medical image of another patient having the same disease is further included.
  • the step of outputting an output value related to the plurality of factors may include outputting the output value by imputing and inputting the retrieved medical image of another patient with respect to the defect analysis model.
  • a model is selected, and each of the medical images is input corresponding to the selected analysis model based on the modality of the medical image, thereby outputting an output value related to a plurality of factors that are a basis for reading at least one brain disease,
  • the output values are converted to generate a plurality of feature vectors respectively corresponding to the output values, and the feature vectors are input to at least one pre-learned diagnostic model to read different brain diseases, respectively, to determine the diagnosis of the brain diseases. progress can be predicted.
  • each modality medical image is analyzed through a plurality of analysis models, and multiple diagnosis models are generated according to the brain disease desired to be diagnosed. By doing so, there is an effect of significantly reducing the time required for diagnosis and increasing diagnosis accuracy.
  • FIG. 1 is a flowchart illustrating a multi-modality medical image analysis method according to an embodiment of the present disclosure.
  • FIGS. 2A to 2D are diagrams exemplarily illustrating analysis models for performing analysis on multi-modality medical images according to embodiments of the present disclosure.
  • FIG. 3 is a diagram exemplarily illustrating a diagnosis model for predicting a brain disease using a feature vector corresponding to an output value of an analysis model according to an embodiment of the present disclosure.
  • FIG. 4 is a block diagram briefly illustrating the configuration of a multi-modality medical image analysis apparatus according to an embodiment of the present disclosure.
  • one component when one component is referred to as “connected” or “connected” to another component, the one component may be directly connected or directly connected to the other component, but in particular Unless otherwise described, it should be understood that they may be connected or connected via another component in the middle.
  • ⁇ unit means a unit that processes at least one function or operation, which includes a processor, a micro Processor (Micro Processor), Micro Controller, CPU (Central Processing Unit), GPU (Graphics Processing Unit), APU (Accelerate Processor Unit), DSP (Digital Signal Processor), ASIC (Application Specific Integrated Circuit), FPGA (Field Programmable Gate Array) may be implemented by hardware or software or a combination of hardware and software.
  • a micro Processor Micro Processor
  • Micro Controller CPU
  • CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • APU Accelerate Processor Unit
  • DSP Digital Signal Processor
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • classification of components in the present disclosure is merely a classification for each main function in charge of each component. That is, two or more components to be described below may be combined into one component, or one component may be divided into two or more for each more subdivided function.
  • each component to be described below may additionally perform some or all of the functions of other components in addition to its main function, and some of the main functions of each component may be performed by other components. Of course, it may be dedicated and performed by .
  • the method according to an embodiment of the present disclosure may be performed in a personal computer having computing capability, a workstation, a computer device for a server, or a separate device for this purpose.
  • the method may be performed on one or more computing devices.
  • at least one or more steps of the method 100 according to an embodiment of the present disclosure may be performed in a client device and other steps may be performed in a server device.
  • the client device and the server device may be connected through a network to transmit and receive calculation results.
  • method 100 may be performed by distributed computing technology.
  • FIG. 1 is a flowchart illustrating a multi-modality medical image analysis method according to an embodiment of the present disclosure.
  • the apparatus may acquire a plurality of medical images of different modalities, that is, of different types, for the same patient.
  • the medical image may be received from an external database server or may be captured by a photographing device connected to the device through wired or wireless communication.
  • the medical image is a magnetic resonance imaging (MRI) image generated by photographing a body region (eg, head and neck region) including the patient's brain using a predetermined method or a photographing device, and a cerebrovascular tomography.
  • MRI magnetic resonance imaging
  • body region eg, head and neck region
  • PET-CT Positron Emission Tomography-Computed Tomography
  • a positron emission tomography image may have a plurality of different modalities depending on the type of molding agent and the imaging method.
  • positron emission tomography images are F-18 FDGBrain PET/CT, F-18 FDOPA Brain PET/CT, F-18 FP-CIT Brain PET/CT, F-18 Florbetaben Brain PET/CT, C-11 Different modality images such as methionine brain PET/CT and C-11 PIB brain PET/CT may be included.
  • the device may select at least a part corresponding to a modality of each medical image from among a plurality of pre-learned analysis models as an application model.
  • each analysis model is learned to analyze a medical image of a specific modality, and in step S110, the device selects an analysis model suitable for each medical image from among a plurality of analysis models according to the modality of the obtained medical image.
  • each of the plurality of analysis models may include at least one network function. That is, learning may be performed so that the network function outputs predetermined data from each modality medical image in advance through learning data.
  • a neural network may be composed of a set of interconnected computational units, which may be generally referred to as nodes, and these nodes may be referred to as neurons.
  • a neural network generally includes a plurality of nodes, and the nodes constituting the neural network may be interconnected by one or more links. In this case, some of the nodes constituting the neural network may configure one layer based on distances from the first input node. For example, a set of nodes having a distance of n from the first input node may constitute n layers.
  • the neural network may include a deep neural network (DNN) including a plurality of hidden layers in addition to an input layer and an output layer.
  • DNN deep neural network
  • the analysis model may include at least one of a structural analysis model, a functional analysis model, a biochemical analysis model, and the like.
  • the structural analysis model may segment a specific brain region from a brain magnetic resonance image, output a ratio of each region, or divide a fat region of the brain and output a fat ratio.
  • the structural analysis model can extract blood vessels from a cerebrovascular tomography image and output the presence or absence of abnormal blood vessels for each detailed region of the brain.
  • the functional analysis model may extract active and/or inactive regions of the brain from the functional magnetic resonance image and output a relationship between them.
  • the biochemical analysis model may output evaluation values for the severity of a plurality of diseases from a positron emission tomography image.
  • the device may output output values related to a plurality of factors that are a basis for reading at least one brain disease by inputting medical images corresponding to the analysis model selected based on the modality of the medical images.
  • an output value of the analysis model may be a value corresponding to at least one of a ratio of each of a plurality of brain regions and a head and neck fat mass.
  • the analysis model may divide the patient's brain into a plurality of brain regions by reflecting the anatomical criteria, and output a ratio of the divided brain regions to the entire brain region as an output value.
  • the analysis model may segment the fat region from the brain MRI and output an output value of a ratio occupied by the fat region in the entire brain region.
  • the output value of the analysis model may output a value corresponding to the presence or absence of abnormal blood vessels in each of a plurality of brain regions.
  • the output values may include values for the location, volume, and shape of the abnormal blood vessel, presence or absence of cerebral aneurysm, and presence or absence of arteriosclerosis.
  • an output value of the analysis model may be a value corresponding to a relationship between a plurality of brain regions that are simultaneously active or inactive while the patient is in a resting state.
  • the analysis model may output a network connecting activated brain regions in the form of an adjacency matrix.
  • a higher value of each matrix may mean higher connectivity.
  • an output value of the analysis model may be a value corresponding to a severity of at least one of tumor, dementia, Parkinson's disease, and epilepsy.
  • the analysis model may be implemented differently according to the modalities of positron emission tomography, and an evaluation value for the severity of the brain disease may be output from positron emission tomography images of different modalities.
  • method 100 may further include training each analysis model to output the output value.
  • each of the plurality of analysis models may be trained to output the output value based on a set of medical images having different modalities.
  • the structural analysis model may be trained using a medical image set composed of a plurality of magnetic resonance images or a medical image set composed of a plurality of cerebrovascular tomography images as training data
  • the functional analysis model may be trained using a plurality of functional self-images. It may be learned using a medical image set composed of resonance images as learning data.
  • the biochemical analysis model may be learned using a medical image set composed of a plurality of positron emission tomography images having the same modality as training data.
  • the method 100 includes the steps of retrieving a medical image of another patient having the same disease with respect to a missing analysis model in which there is no medical image of a corresponding modality among the analysis models, and the searched medical image of the other patient is missing.
  • a step of replacing (augmentation) with an input value of the analysis model may be further included. This means a kind of data augmentation, and through this step, the prediction accuracy of the diagnostic model can be further improved.
  • the device may generate a plurality of feature vectors respectively corresponding to the output values by transforming the output values of the plurality of analysis models in a predetermined manner.
  • step S140 may be performed through a vector encoding technique.
  • step S140 may include standardizing or normalizing a plurality of output values through feature scaling. That is, if the range or number of each output value is different, or if a specific output value is too large or too small, an error may occur in data learning, so standardization or normalization of feature vectors is performed in the learning of the diagnostic model described in detail below.
  • the output value output by the analysis model in step S130 may be converted to the same scale as applied when learning the diagnosis model.
  • standardization can refer to a method of converting a normal distribution of output values into a standard normal distribution with a mean of 0 and a variance of 1, and normalization can refer to a method of converting all output values to values between 0 and 1.
  • the device may predict the degree of progression of the brain disease by inputting a plurality of feature vectors to the diagnosis model.
  • one or more diagnostic models may be configured corresponding to different brain diseases.
  • each of the diagnostic models converts the output value output from the analysis model into a feature vector in the process of learning the plurality of analysis models described above, and then uses this as learning data to predict the progress of the brain disease.
  • the diagnostic model may include at least one network function.
  • each of the plurality of diagnostic models may predict the degree of progression of a brain disease such as dementia, Parkinson's disease, malignant brain tumor, and/or epilepsy.
  • a brain disease such as dementia, Parkinson's disease, malignant brain tumor, and/or epilepsy.
  • the method 100 may further include receiving a user input for selecting a brain disease to be diagnosed and selecting a diagnostic model to be applied based on the user input.
  • FIGS. 2A to 2D are diagrams exemplarily illustrating analysis models for performing analysis on multi-modality medical images according to embodiments of the present disclosure.
  • a plurality of analysis models may be configured corresponding to modalities of medical images, and may include, for example, at least one structural analysis model, a functional analysis model, and/or a biochemical analysis model.
  • the device selects a first structural analysis model and a second structural analysis model as applicable models, and inputs the magnetic resonance image thereto. can do.
  • the first structural analysis model may divide a plurality of brain regions and an entire brain region including the plurality of brain regions from the magnetic resonance image through a learned network function, and then output a value for a ratio occupied by each brain region. there is.
  • the second structural analysis model may extract a fat region from the magnetic resonance image and output a value for a ratio occupied by the fat region in the entire brain region or the entire head and neck region.
  • the device selects a third structural analysis model as an application model, and the second structural analysis model divides a plurality of brain regions or blood vessel regions and then , the location, volume, shape, presence of cerebral aneurysms, and presence of arteriosclerosis of abnormal blood vessels can be output.
  • the device selects a functional analysis model as an application model, and the functional analysis model extracts and extracts brain regions that are simultaneously active or inactive while the patient is in a resting state.
  • An adjacency matrix representing the connection relationship between the identified brain regions can be output.
  • the device selects a biochemical analysis model as an application model, and the biochemical analysis model is derived from positron emission tomography images of different modalities for tumor, dementia, and Parkinson's disease. Evaluation values for the severity of brain diseases such as illness and epilepsy can be output.
  • FIG. 3 is a diagram exemplarily illustrating a diagnosis model for predicting a brain disease using a feature vector corresponding to an output value of an analysis model according to an embodiment of the present disclosure.
  • the diagnostic model may be composed of a plurality corresponding to one or more brain diseases.
  • the device selects a diagnostic model corresponding to the user input from among a plurality of diagnostic models and inputs a feature vector generated by converting output values of a plurality of analysis models into the selected diagnostic model.
  • the network function included in the diagnosis model outputs a prediction value for the degree of progression of the brain disease selected by the user based on the input feature vector.
  • the diagnostic model when the brain disease selected by the user is dementia, the diagnostic model reads the detailed types of dementia (Alzheimer's disease, alcoholic dementia, vascular dementia, Lewy body dementia, frontotemporal dementia, etc.) based on the feature vector, and It can be implemented to predict the degree of progress.
  • dementia Alzheimer's disease, alcoholic dementia, vascular dementia, Lewy body dementia, frontotemporal dementia, etc.
  • FIG. 4 is a block diagram briefly illustrating the configuration of a multi-modality medical image analysis apparatus according to an embodiment of the present disclosure.
  • the communication unit 410 may receive input data (medical images, etc.) for performing medical image analysis.
  • the communication unit 410 may include a wired/wireless communication unit.
  • the communication unit 410 may include a local area network (LAN), a wide area network (WAN), a value added network (VAN), and a mobile communication network ( Mobile Radio Communication Network), a satellite communication network, and one or more components that enable communication through a mutual combination thereof.
  • the communication unit 410 includes a wireless communication unit
  • the communication unit 410 transmits and receives data or signals wirelessly using cellular communication, a wireless LAN (eg, Wi-Fi), and the like.
  • the communication unit may transmit/receive data or signals with an external device or an external server under the control of the processor 440 .
  • the input unit 420 may receive various user commands through external manipulation.
  • the input unit 420 may include or connect one or more input devices.
  • the input unit 420 may be connected to an interface for various inputs such as a keypad and a mouse to receive user commands.
  • the input unit 420 may include an interface such as a thunderbolt as well as a USB port.
  • the input unit 420 may receive an external user command by including or combining various input devices such as a touch screen and buttons.
  • the memory 430 may store programs and/or program commands for operation of the processor 440 and may temporarily or permanently store input/output data.
  • the memory 430 is a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (eg SD or XD memory, etc.), RAM , SRAM, ROM (ROM), EEPROM, PROM, magnetic memory, a magnetic disk, it may include at least one type of storage medium.
  • the memory 430 may store various network functions and algorithms, and may store various data, programs (one or more instructions), applications, software, commands, codes, etc. for driving and controlling the device 700. there is.
  • the processor 440 may control the overall operation of the device 700 .
  • Processor 440 may execute one or more programs stored in memory 430 .
  • the processor 440 may mean a central processing unit (CPU), a graphics processing unit (GPU), or a dedicated processor on which methods according to the technical concept of the present disclosure are performed.
  • the processor 440 acquires a plurality of medical images of different modalities for the same patient, and selects at least one analysis model corresponding to each modality of the medical images from among a plurality of pre-trained analysis models.
  • the processor 440 By inputting medical images corresponding to the analysis model selected based on the modality of the medical image, output values related to a plurality of factors that are the basis for reading at least one brain disease are output, and the output values are converted to output values.
  • a plurality of corresponding feature vectors are generated, and the degree of progression of the brain disease can be predicted by inputting the feature vectors to at least one pre-learned diagnostic model to read different brain diseases.
  • the processor 440 may train each of the plurality of analysis models to output an output value related to the factor based on a set of medical images having different modalities.
  • the processor 440 may standardize or normalize output values of a plurality of analysis models through feature scaling.
  • the processor 440 searches for a corresponding medical image of another patient having the same disease and analyzes the missing disease.
  • An output value may be output by inputting a medical image of another patient retrieved with respect to the model by imputation.
  • the method according to an embodiment of the present disclosure may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • Program commands recorded on the medium may be specially designed and configured for the present disclosure, or may be known and usable to those skilled in computer software.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks.
  • - includes hardware devices specially configured to store and execute program instructions, such as magneto-optical media, and ROM, RAM, flash memory, and the like.
  • Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter, as well as machine language codes such as those produced by a compiler.
  • the method according to the disclosed embodiments may be provided by being included in a computer program product.
  • Computer program products may be traded between sellers and buyers as commodities.
  • a computer program product may include a S/W program and a computer-readable storage medium in which the S/W program is stored.
  • a computer program product may include a product in the form of a S/W program (eg, a downloadable app) that is distributed electronically through a manufacturer of an electronic device or an electronic marketplace (eg, Google Play Store, App Store). there is.
  • a part of the S/W program may be stored in a storage medium or temporarily generated.
  • the storage medium may be a storage medium of a manufacturer's server, an electronic market server, or a relay server temporarily storing SW programs.
  • a computer program product may include a storage medium of a server or a storage medium of a client device in a system composed of a server and a client device.
  • the computer program product may include a storage medium of the third device.
  • the computer program product may include a S/W program itself transmitted from the server to the client device or the third device or from the third device to the client device.
  • one of the server, the client device and the third device may execute the computer program product to perform the method according to the disclosed embodiments.
  • two or more of the server, the client device, and the third device may execute the computer program product to implement the method according to the disclosed embodiments in a distributed manner.
  • a server may execute a computer program product stored in the server to control a client device communicatively connected to the server to perform a method according to the disclosed embodiments.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Neurology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Neurosurgery (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Physiology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Psychology (AREA)
  • Vascular Medicine (AREA)
  • Developmental Disabilities (AREA)
  • Psychiatry (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Cardiology (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)

Abstract

본 개시는 뇌질환 진단을 위한 다중 모달리티 의료 영상 분석 방법 및 장치에 관한 것으로, 본 개시의 실시예에 따른 방법은, 동일 환자에 대한 상이한 모달리티(modality)의 복수의 의료 영상을 획득하는 단계; 사전 학습된 복수의 분석 모델 중에서 상기 의료 영상 각각의 모달리티에 대응하는 적어도 일부를 선정하는 단계; 상기 의료 영상의 모달리티를 기준으로 상기 선정된 분석 모델에 대응하여 상기 의료 영상을 각각 입력함으로써, 적어도 하나의 뇌질환을 판독하는 기초가 되는 복수의 인자와 관련된 출력값을 출력하는 단계; 상기 출력값을 변환하여 상기 출력값에 각각 대응하는 복수의 특성 벡터(feature vector)를 생성하는 단계; 및 상기 특성 벡터를 각각 상이한 뇌질환을 판독하도록 사전 학습된 적어도 하나의 진단 모델에 입력하여, 상기 뇌질환의 진행 정도를 예측하는 단계를 포함할 수 있다.

Description

뇌질환 진단을 위한 다중 모달리티 의료 영상 분석 방법 및 장치
본 개시(disclosure)의 기술적 사상은 뇌질환 진단을 위한 다중 모달리티 의료 영상 분석 방법 및 장치에 관한 것이다.
일반적으로 하나의 환자로부터 다수의 영상 모달리티 (modality, 다른 종류)가 얻어진다. 현재의 영상 분석은 영상의학과 전문의가 각각의 영상에 대한 의견을 기록하고, 이를 토대로 최종적으로 주치의가 진단을 내리거나 치료 경과를 판단하여, 이에 맞는 처치와 처방을 하게 된다.
다수의 영상과 그 기록을 분석하여 진단하고 환자에게 맞는 치료를 결정함에 있어, 다수의 분석 결과를 토대로 종합적으로 진단을 내리는 데 많은 시간과 노력이 소요될 뿐 아니라, 환자와의 의사 소통 및 치료 방향을 결정하는 데는 높은 지식과 경험이 필요하다. 이를 얻는 데에는 많은 시간의 수련과 시행착오를 거쳐야 하며, 이는 곧 높은 비용과도 연관된다. 더하여, 진단의의 판단에 편견이 개입됨으로써 오진이 일어나거나, 동시적으로 발병한 질병(comorbidity)중 일부를 놓칠 확률 또한 높다.
한편, 인공지능 기술을 통해 방사선 단층 촬영(CT) 영상 또는 자기 공명 영상(MRI)으로부터 뇌 영역을 자동으로 구조적으로 분석하는 방법은 현재 실제 임상에서도 활용되고 있다. 해부학적, 병리학적으로 의미 있는 영역을 분리(segmentation) 하고, 일정 기간 촬영한 다수의 의료 영상으로부터 해당 부분의 크기와 모양의 변화를 분석하는 기술이 대표적이다. 그런데, 이러한 구조적인 분석을 통한 진단은 이미 질병이 일정 이상 진행된 상태여야 가능하며, 정상이나 경도의 질병의 경우 질병에 의해 영상상의 차이와 성장 및 유전인자에 의한 차이를 구분해내기 어렵다는 한계가 있다.
자기 공명 영상을 통한 뇌의 기능적 분석 (fMRI) 또한 임상적으로 이루어지고 있는데, 이는 환자의 휴식 상태(resting state)에서 BOLD신호(Blood-Oxygen Level Dependancy)가 활성화되는 경향으로 뇌의 세부 영역을 연결한 네트워크를 만들고, 이를 분석한다. 하지만, 뇌의 활성화 부분을 잡음(noise)이 많으며, 뇌의 기능기관별 신호 차이를 정확하게 식별할 수 없는 한계가 존재한다. 즉, 분석된 BOLD 데이터가 위양성(false positive)일 확률이 매우 높기 때문에 fMRI기법 하나만으로 진단을 내리는 것은 지양되는 추세이다.
양전자 방출 단층촬영(PET, Positron Emission Tomography)은 신체의 생화학적인 변화를 감지하여 영상화 하는 기법이다. 일반적으로 극소량의 방사성 물질을 주입하고, 방사성 물질의 분해가 활발하게 일어날수록 높은 영상상에서 높은 픽셀값으로 나타나게 된다. 하지만, 원하는 질병의 종류에 따라 주입하는 방사성 물질을 달리 할 수 있어, PET 영상도 세부적으로는 다수의 모달리티를 가진다.
따라서, 여러 종류의 영상을 이용하여 빠르고 정확하게 질환을 진단할 수 있는 새로운 분석 기술이 필요하다.
본 개시의 기술적 사상에 따른 다중 모달리티 의료 영상 분석 방법 및 장치가 이루고자 하는 기술적 과제는, 다중 모달리티 의료 영상을 통해 환자를 진단함에 있어 복수의 분석 모델을 통해 각각의 의료 영상을 분석하고, 진단을 원하는 뇌질환에 따라 다중 진단 모델을 생성함으로써, 진단에 필요한 시간을 획기적으로 줄이고 진단 정확도를 높일 수 있는 다중 모달리티 의료 영상 분석 방법 및 이를 위한 장치를 제공하는 데에 있다.
본 개시의 기술적 사상에 따른 다중 모달리티 의료 영상 분석 방법 및 장치가 이루고자 하는 기술적 과제는 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제는 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 개시의 기술적 사상에 의한 일 양태에 따르면, 뇌질환 진단을 위한 다중 모달리티 의료 영상 분석 방법은, 동일 환자에 대한 상이한 모달리티(modality)의 복수의 의료 영상을 획득하는 단계; 사전 학습된 복수의 분석 모델 중에서 상기 의료 영상 각각의 모달리티에 대응하는 적어도 일부를 선정하는 단계; 상기 의료 영상의 모달리티를 기준으로 상기 선정된 분석 모델에 대응하여 상기 의료 영상을 각각 입력함으로써, 적어도 하나의 뇌질환을 판독하는 기초가 되는 복수의 인자와 관련된 출력값을 출력하는 단계; 상기 출력값을 변환하여 상기 출력값에 각각 대응하는 복수의 특성 벡터(feature vector)를 생성하는 단계; 및 상기 특성 벡터를 각각 상이한 뇌질환을 판독하도록 사전 학습된 적어도 하나의 진단 모델에 입력하여, 상기 뇌질환의 진행 정도를 예측하는 단계를 포함할 수 있다.
예시적인 실시예에 따르면, 상기 복수의 분석 모델 각각을 상이한 모달리티를 가지는 의료 영상 세트를 기초로 상기 인자에 관한 출력값을 출력하도록 학습시키는 단계를 더 포함할 수 있다.
예시적인 실시예에 따르면, 상기 의료 영상은 상기 환자의 뇌에 대한 자기 공명 영상(MRI), 뇌혈관 조영 단층 촬영(CT) 영상, 기능적 자기 공명 영상(fMRI) 및 양전자 방출 단층 촬영(PET-CT) 영상 중 적어도 2 이상을 포함할 수 있다.
예시적인 실시예에 따르면, 상기 의료 영상이 자기 공명 영상인 경우, 상기 출력값은 복수의 뇌 영역 각각의 비율 및 두경부 지방량 중 적어도 하나에 대응하는 값일 수 있다.
예시적인 실시예에 따르면, 상기 의료 영상이 뇌혈관 조형 단층 촬영 영상인 경우, 상기 출력값은 복수의 뇌 영역 각각의 이상 혈관 유무에 대응하는 값일 수 있다.
예시적인 실시예에 따르면, 상기 의료 영상이 기능적 자기 공명 영상인 경우, 상기 출력값은 상기 환자가 휴식 상태에서 동시 활성 또는 비활성되는 복수의 뇌 영역 사이의 관계에 대응하는 값일 수 있다.
예시적인 실시예에 따르면, 상기 의료 영상이 양전자 방출 단층 촬영(PET-CT) 영상인 경우, 상기 출력값은 종양, 치매, 파킨슨병 및 간질 중 적어도 하나의 중증 정도에 대응하는 값일 수 있다.
예시적인 실시예에 따르면, 상기 복수의 특성 벡터를 생성하는 단계는, 특성 스케일링(feature scaling)을 통해 상기 복수의 출력값을 표준화 또는 정규화하는 단계를 포함할 수 있다.
예시적인 실시예에 따르면, 상기 복수의 분석 모델 중 대응하는 모달리티를 가지는 상기 의료 영상이 존재하지 않는 결손 분석 모델이 있는 경우, 동일 질병을 가지는 다른 환자의 대응하는 의료 영상을 검색하는 단계를 더 포함하고, 상기 복수의 인자와 관련된 출력값을 출력하는 단계는, 상기 결손 분석 모델에 대하여 상기 검색된 다른 환자의 의료 영상을 대체(imputation)하여 입력함으로써, 상기 출력값을 출력하는 단계를 포함할 수 있다.
본 개시의 기술적 사상에 의한 일 양태에 따르면, 뇌질환 진단을 위한 다중 모달리티 의료 영상 분석 장치는, 적어도 하나의 프로세서; 상기 프로세서에 의해 실행 가능한 프로그램을 저장하는 메모리; 및 상기 프로세서는, 상기 프로그램을 실행함으로써, 동일 환자에 대한 상이한 모달리티(modality)의 복수의 의료 영상을 획득하고, 사전 학습된 복수의 분석 모델 중에서 상기 의료 영상 각각의 모달리티에 대응하는 적어도 하나의 분석 모델을 선정하며, 상기 의료 영상의 모달리티를 기준으로 상기 선정된 분석 모델에 대응하여 상기 의료 영상을 각각 입력함으로써, 적어도 하나의 뇌질환을 판독하는 기초가 되는 복수의 인자와 관련된 출력값을 출력하고, 상기 출력값을 변환하여 상기 출력값에 각각 대응하는 복수의 특성 벡터(feature vector)를 생성하며, 상기 특성 벡터를 각각 상이한 뇌질환을 판독하도록 사전 학습된 적어도 하나의 진단 모델에 입력하여, 상기 뇌질환의 진행 정도를 예측할 수 있다.
본 개시의 기술적 사상에 의한 실시예들에 따른 다중 모달리티 의료 영상 분석 방법 및 장치에 따르면, 복수의 분석 모델을 통해 각각의 모달리티 의료 영상을 분석하고, 진단을 원하는 뇌질환에 따라 다중 진단 모델을 생성함으로써, 진단에 필요한 시간을 획기적으로 줄이고 진단 정확도를 높일 수 있는 효과가 있다.
본 개시의 기술적 사상에 따른 다중 모달리티 의료 영상 분석 방법 및 장치가 얻을 수 있는 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 개시에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 개시의 실시예에 따른 다중 모달리티 의료 영상 분석 방법을 설명하기 위한 흐름도이다.
도 2a 내지 도 2d는 본 개시의 실시예에 따라 다중 모달리티 의료 영상에 대한 분석을 수행하는 분석 모델을 예시적으로 도시하는 도면이다.
도 3은 본 개시의 실시예에 따라 분석 모델의 출력값에 대응하는 특성 벡터를 이용하여 뇌질환을 예측하는 진단 모델을 예시적으로 도시하는 도면이다.
도 4는 본 개시의 실시예에 따른 다중 모달리티 의료 영상 분석 장치의 구성을 간략히 도시한 블록도이다.
본 개시의 기술적 사상은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다. 그러나, 이는 본 개시의 기술적 사상을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 기술적 사상의 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 개시의 기술적 사상을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 개시의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.
또한, 본 개시에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.
또한, 본 개시에 기재된 "~부", "~기", "~자", "~모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 프로세서(Processor), 마이크로 프로세서(Micro Processer), 마이크로 컨트롤러(Micro Controller), CPU(Central Processing Unit), GPU(Graphics Processing Unit), APU(Accelerate Processor Unit), DSP(Digital Signal Processor), ASIC(Application Specific Integrated Circuit), FPGA(Field Programmable Gate Array) 등과 같은 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
그리고 본 개시에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다.
본 개시의 실시예에 따른 방법은 연산 능력을 구비한 개인용 컴퓨터(Personal Computer), 워크스테이션(Work Station), 서버용 컴퓨터 장치 등에서 수행되거나 이를 위한 별도의 장치에서 수행될 수 있다.
또한, 방법은 하나 이상의 연산 장치들에서 수행될 수도 있다. 예를 들어, 본 개시의 실시예에 따른 방법(100) 중 적어도 하나 이상의 단계들은 클라이언트 디바이스에서, 다른 단계들은 서버 디바이스에서 수행될 수 있다. 이러한 경우, 클라이언트 디바이스와 서버 디바이스는 네트워크로 연결되어 연산 결과를 송수신할 수 있다. 또는, 방법(100)은 분산 컴퓨팅 기술에 의해 수행될 수도 있다.
이하, 본 개시의 실시예들을 차례로 상세히 설명한다.
도 1은 본 개시의 실시예에 따른 다중 모달리티 의료 영상 분석 방법을 설명하기 위한 흐름도이다.
S110 단계에서, 장치는 동일 환자에 대한 상이한 모달리티(modality)의, 즉, 서로 종류가 상이한 복수의 의료 영상을 획득할 수 있다.
예를 들어, 의료 영상은 외부의 데이터 베이스 서버로부터 수신되거나, 장치와 유, 무선 통신을 통해 연결된 촬영 장치로부터 촬영을 통해 획득될 수 있다.
실시예에서, 의료 영상은 환자의 뇌를 포함하는 신체 영역(예를 들어, 두경부)을 소정의 방식 또는 촬영 장치를 통해 촬영하여 생성된 자기 공명 영상(MRI, Magnetic Resonance Imaging), 뇌혈관 조형 단층 촬영 영상(Computed Tomography for brain angiography), 기능적 자기 공명 영상(fMRI, Functional Magnetic Resonance Imaging) 및 양전자 방출 단층 촬영(PET-CT, Positron Emission Tomography-Computed Tomography) 영상 중 적어도 2 이상을 포함할 수 있다.
또한, 실시예에 따라, 양전자 방출 단층 촬영 영상은 조형제의 종류와 촬영 방법에 따라 상이한 복수의 모달리티를 가질 수 있다. 예를 들어, 양전자 방출 단층 촬영 영상은 F-18 FDGBrain PET/CT, F-18 FDOPA Brain PET/CT, F-18 FP-CIT Brain PET/CT, F-18 Florbetaben Brain PET/CT, C-11 Methionine Brain PET/CT, C-11 PIB Brain PET/CT 등의 상이한 모달리티 영상을 포함할 수 있다.
S120 단계에서, 장치는 사전 학습된 복수의 분석 모델 중에서 의료 영상 각각의 모달리티에 대응하는 적어도 일부를 적용 모델로 선정할 수 있다.
이때, 분석 모델 각각은 특정 모달리티의 의료 영상을 분석하도록 학습된 것으로서, S110 단계에서 장치는 획득된 의료 영상의 모달리티에 따라, 복수의 분석 모델 중에서 각각의 의료 영상에 적합한 분석 모델을 선정하게 된다.
이를 위해, 복수의 분석 모델은 각각 적어도 하나의 네트워크 함수를 포함할 수 있다. 즉, 네트워크 함수가 학습 데이터를 통해 사전에 각각의 모달리티 의료 영상으로부터 소정의 데이터를 출력하도록 학습이 수행된 것일 수 있다.
여기서, 네트워크 함수는 신경망 네트워크 및/또는 뉴럴 네트워크(neural network)와 동일한 의미로 사용될 수 있다. 뉴럴 네트워크(신경망)는 일반적으로 노드라 지칭될 수 있는 상호 연결된 계산 단위들의 집합으로 구성될 수 있고, 이러한 노드들은 뉴런으로 지칭될 수 있다. 뉴럴 네트워크는 일반적으로 복수의 노드들을 포함하여 구성되며, 뉴럴 네트워크를 구성하는 노드들은 하나 이상의 링크에 의해 상호 연결될 수 있다. 이때, 뉴럴 네트워크를 구성하는 노드들 중 일부는 최초 입력 노드로부터의 거리들에 기초하여 하나의 레이어(layer)를 구성할 수 있다. 예를 들어, 최초 입력 노드로부터 거리가 n인 노드들의 집합은 n 레이어를 구성할 수 있다. 뉴럴 네트워크는 입력 레이어와 출력 레이어 외에 복수의 히든 레이어를 포함하는 딥 뉴럴 네트워크(Deep Neural Network, DNN)를 포함할 수 있다.
실시예에서, 분석 모델은 적어도 하나의 구조적 분석 모델, 기능적 분석 모델, 생화학적 분석 모델 등을 포함할 수 있다. 예를 들어, 구조적 분석 모델은 뇌 자기 공명 영상으로부터 특정 뇌 영역을 분할하고, 각 영역의 비율을 출력하거나, 뇌의 지방 영역을 분할하고, 지방 비율을 출력할 수 있다. 또한, 구조적 분석 모델은 뇌혈관 조형 단층 촬영 영상으로부터 혈관을 추출하고, 뇌의 세부 영역별 이상 혈관의 유무를 출력할 수 있다. 또한, 예를 들어, 기능적 분석 모델은 기능적 자기 공명 영상으로부터 뇌의 활성 및/또는 비활성 영역을 추출하고, 이들 간의 관계를 출력할 수 있다. 또한, 예를 들어, 생화학적 분석 모델은 양전자 방출 단층 촬영 영상으로부터 복수의 질병의 중증도에 대한 평가값을 출력할 수 있다.
S130 단계에서, 장치는 의료 영상의 모달리티를 기준으로 선정된 분석 모델에 대응하여 의료 영상을 각각 입력함으로써, 적어도 하나의 뇌질환을 판독하는 기초가 되는 복수의 인자와 관련된 출력값을 출력할 수 있다.
실시예에서, 의료 영상이 자기 공명 영상인 경우, 분석 모델의 출력값은 복수의 뇌 영역 각각의 비율 및 두경부 지방량 중 적어도 하나에 대응하는 값일 수 있다. 예를 들어, 분석 모델은 환자를 뇌를 해부학적 기준을 반영하여 복수의 뇌 영역으로 분할하고, 전체 뇌 전체 영역에서 분할된 뇌 영역의 비율을 출력값으로 출력할 수 있다. 또한, 예를 들어, 분석 모델은 뇌 MRI로부터 지방 영역을 분할하고, 전체 뇌 영역에서 지방 영역이 차지하는 비율을 출력값을 출력할 수 있다.
실시예에서, 의료 영상이 뇌혈관 조형 단층 촬영 영상인 경우, 분석 모델의 출력값은 복수의 뇌 영역 각각의 이상 혈관 유무에 대응하는 값을 출력할 수 있다. 예를 들어, 출력값은 이상 혈관의 위치, 부피, 모양, 뇌동맥류 유무, 동맥경화 유무 등에 대한 값을 포함할 수 있다.
실시예에서, 의료 영상이 기능적 자기 공명 영상인 경우, 분석 모델의 출력값은 환자가 휴식 상태에서 동시 활성 또는 비활성되는 복수의 뇌 영역 사이의 관계에 대응하는 값일 수 있다. 예를 들어, 분석 모델은 활성화된 뇌 영역들을 연결하는 네트워크를 인접행렬(adjacency matrix) 형태로 출력할 수 있다. 이 경우, 각 행렬의 값이 클수록 높은 연결성을 의미할 수 있다.
실시예에서, 의료 영상이 양전자 방출 단층 촬영(PET-CT) 영상인 경우, 분석 모델의 출력값은 종양, 치매, 파킨슨병 및 간질 중 적어도 하나의 중증 정도에 대응하는 값일 수 있다. 예를 들어, 분석 모델은 양전자 방출 단층 촬영의 모달리티에 따라 각각 상이하게 구현될 수 있으며, 상이한 모달리티의 양전자 방출 단층 촬영 영상으로부터 상기 뇌질환의 중증 정도에 대한 평가값을 출력할 수 있다.
실시예에서, 방법(100)은 분석 모델 각각을 상기 출력값을 출력시키기 위해 학습시키는 단계를 더 포함할 수 있다. 이때, 복수의 분석 모델 각각은 상이한 모달리티를 가지는 의료 영상 세트를 기초로 상기 출력값을 출력하도록 학습될 수 있다. 예를 들어, 구조적 분석 모델은 복수의 자기 공명 영상으로 구성된 의료 영상 세트 또는 복수의 뇌혈관 조형 단층 촬영 영상으로 구성된 의료 영상 세트를 학습 데이터로 하여 학습될 수 있으며, 기능적 분석 모델은 복수의 기능적 자기 공명 영상으로 구성되는 의료 영상 세트를 학습 데이터로 하여 학습될 수 있다. 또한, 예를 들어, 생화학적 분석 모델은 동일한 모달리티를 가지는 복수의 양전자 방출 단층 촬영 영상으로 구성되는 의료 영상 세트를 학습 데이터로 하여 학습될 수 있다.
실시예에서, 방법(100)은 분석 모델 중 대응하는 모달리티의 의료 영상이 존재하지 않는 결손 분석 모델에 대하여 동일 질병을 가진 다른 환자의 의료 영상을 검색하는 단계와, 검색된 다른 환자의 의료 영상을 결손 분석 모델의 입력 값으로 대체(augmentation)하는 단계를 더 포함할 수 있다. 이는, 일종의 데이터 생성(augmentation)을 의미하는 것으로서, 본 단계를 통해, 진단 모델의 예측 정확도를 보다 향상시킬 수 있게 된다.
S140 단계에서, 장치는 복수의 분석 모델의 출력값을 소정의 방식으로 변환하여 출력값에 각각 대응하는 복수의 특성 벡터(feature vector)를 생성할 수 있다.
실시예에서, S140 단계는 벡터 인코딩(vector encoding) 기법을 통해 수행될 수 있다.
실시예에서, S140 단계는 특성 스케일링(feature scaling)을 통해 복수의 출력값을 표준화 또는 정규화하는 단계를 포함할 수 있다. 즉, 각 출력값의 범위 또는 수치가 상이하거나, 특정 출력값이 너무 크다던지, 너무 작은 경우, 데이터 학습에 오류가 발생할 수 있으므로, 이하 상술하는 진단 모델의 학습에서 특성 벡터에 대한 표준화 또는 정규화가 수행되는데, S140 단계에서는, S130 단계에서 분석 모델이 출력한 출력값을 진단 모델에 대한 학습시 적용했던 것과 동일한 스케일로 변환할 수 있다.
예를 들어, 표준화는 출력값의 정규 분포를 평균이 0이고 분산이 1인 표준 정규 분포로 변환하는 방식을 지칭할 수 있으며, 정규화는 출력값을 모두 0과 1사이의 값으로 변환하는 방식을 지칭할 수 있다.
S150 단계에서, 장치는 복수의 특성 벡터를 진단 모델에 입력하여 뇌질환의 진행 정도를 예측할 수 있다. 이때, 진단 모델은 각각 상이한 뇌질환에 대응하여 1 이상으로 구성될 수 있다.
실시예에서, 진단 모델 각각은 상술한 복수의 분석 모델을 학습시키는 과정에서 분석 모델에서 출력되는 출력값을 특성 벡터로 변환한 다음, 이를 학습 데이터로 하여 뇌질환의 진행 정도를 예측하도록 학습된 것일 수 있다. 이를 위해, 진단 모델은 적어도 하나의 네트워크 함수를 포함할 수 있다.
예를 들어, 복수의 진단 모델은 각각 치매, 파킨슨병, 악성 뇌종양 및/또는 간질 등의 뇌질환에 대한 진행 정도를 예측할 수 있다.
실시예에서, 방법(100)은 진단하고자 하는 뇌질환을 선택하는 사용자 입력을 수신하는 단계 및 사용자 입력에 기초하여, 적용할 진단 모델을 선정하는 단계를 더 포함할 수 있다.
도 2a 내지 도 2d는 본 개시의 실시예에 따라 다중 모달리티 의료 영상에 대한 분석을 수행하는 분석 모델을 예시적으로 도시하는 도면이다.
도시되는 바와 같이, 분석 모델은 의료 영상의 모달리티에 대응하여 복수 개로 구성될 수 있으며, 예를 들어, 적어도 하나의 구조적 분석 모델, 기능적 분석 모델 및/또는 생화학적 분석 모델을 포함할 수 있다.
도 2a를 참조하면, 의료 영상이 뇌를 포함하는 환자의 두경부에 대한 자기 공명 영상인 경우, 장치는 제 1 구조적 분석 모델과 제 2 구조적 분석 모델을 적용 모델로 선정하고, 이에 자기 공명 영상을 입력할 수 있다.
제 1 구조적 분석 모델은 학습된 네트워크 함수를 통해 자기 공명 영상으로부터 복수의 뇌 영역과 상기 복수의 뇌 영역을 포함하는 전체 뇌 영역을 분할한 다음, 각 뇌 영역이 차지하는 비율에 대한 값을 출력할 수 있다.
또한, 제 2 구조적 분석 모델은 자기 공명 영상으로부터 지방 영역을 추출하고, 전체 뇌 영역 또는 전체 두경부에서 지방 영역이 차지하는 비율에 대한 값을 출력할 수 있다.
도 2b를 참조하면, 의료 영상이 뇌혈관 조형 단층 촬영 영상인 경우, 장치는 제 3 구조적 분석 모델을 적용 모델로 선정하고, 이에 제 2 구조적 분석 모델은 복수의 뇌 영역 또는 혈관 영역을 분할한 다음, 이상 혈관의 위치, 부피, 모양, 뇌동맥류 유무, 동맥경화 유무 등에 대한 평가값을 출력할 수 있다.
도 2c를 참조하면, 의료 영상이 기능적 자기 공명 영상인 경우, 장치는 기능적 분석 모델을 적용 모델로 선정하고, 이에 기능적 분석 모델은 환자가 휴식 상태에서 동시 활성 또는 비활성되는 뇌 영역을 추출하고, 추출된 뇌 영역 사이의 연결 관계를 나타내는 인접 행렬을 출력할 수 있다.
도 2d를 참조하면, 의료 영상이 양전자 방출 단층 촬영 영상인 경우, 장치는 생화학적 분석 모델을 적용 모델로 선정하고, 이에 생화학적 분석 모델은 상이한 모달리티의 양전자 방출 단층 촬영 영상으로부터 종양, 치매, 파킨슨병, 간질 등의 뇌질환의 중증 정도에 대한 평가값을 출력할 수 있다.
도 3은 본 개시의 실시예에 따라 분석 모델의 출력값에 대응하는 특성 벡터를 이용하여 뇌질환을 예측하는 진단 모델을 예시적으로 도시하는 도면이다.
도시되는 바와 같이, 진단 모델은 1 이상의 뇌질환에 대응하는 복수 개로 구성될 수 있다. 뇌질환을 선택하는 사용자 입력이 입력되면, 장치는 복수의 진단 모델 중에서 사용자 입력에 대응하는 진단 모델을 선정하고, 선정된 진단 모델에 복수의 분석 모델의 출력값을 변환하여 생성된 특성 벡터를 입력할 수 있다.
진단 모델에 포함된 네트워크 함수는 입력된 특성 벡터에 기초하여 사용자가 선택한 뇌질환의 진행 정도에 대한 예측 값을 출력하게 된다.
실시예에서, 사용자에 의해 선택된 뇌질환이 치매인 경우, 진단 모델은 특성 벡터에 기초하여 치매의 세부 종류(알츠하이머, 알코올성 치매, 혈관성 치매, 레비소체 치매, 전두측두엽 치매 등)를 판독하고, 이의 진행 정도를 예측하도록 구현될 수 있다.
도 4는 본 개시의 실시예에 따른 다중 모달리티 의료 영상 분석 장치의 구성을 간략히 도시한 블록도이다.
통신부(410)는 의료 영상 분석을 수행하기 위한 입력 데이터(의료 영상 등)를 수신할 수 있다. 통신부(410)는 유무선 통신부를 포함할 수 있다. 통신부(410)가 유선 통신부를 포함하는 경우, 통신부(410)는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN), 부가가치 통신망(Value Added Network; VAN), 이동 통신망(Mobile Radio Communication Network), 위성 통신망 및 이들의 상호 조합을 통하여 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 또한, 통신부(410)가 무선 통신부를 포함하는 경우, 통신부(410)는 셀룰러 통신, 무선랜(예를 들어, 와이-파이(Wi-Fi)) 등을 이용하여 무선으로 데이터 또는 신호를 송수신할 수 있다. 실시예에서, 통신부는 프로세서(440)의 제어에 의해 외부 장치 또는 외부 서버와 데이터 또는 신호를 송수신할 수 있다.
입력부(420)는 외부의 조작을 통해 다양한 사용자 명령을 수신할 수 있다. 이를 위해, 입력부(420)는 하나 이상의 입력 장치를 포함하거나 연결할 수 있다. 예를 들어, 입력부(420)는 키패드, 마우스 등 다양한 입력을 위한 인터페이스와 연결되어 사용자 명령을 수신할 수 있다. 이를 위해, 입력부(420)는 USB 포트 뿐만 아니라 선더볼트 등의 인터페이스를 포함할 수도 있다. 또한, 입력부(420)는 터치스크린, 버튼 등의 다양한 입력 장치를 포함하거나 이들과 결합하여 외부의 사용자 명령을 수신할 수 있다.
메모리(430)는 프로세서(440)의 동작을 위한 프로그램 및/또는 프로그램 명령을 저장할 수 있고, 입/출력되는 데이터들을 임시 또는 영구 저장할 수 있다. 메모리(430)는 플래시 메모리(flash memory) 타입, 하드디스크(hard disk) 타입, 멀티미디어 카드 마이크로(multimedia card micro) 타입, 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM), SRAM, 롬(ROM), EEPROM, PROM, 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
또한, 메모리(430)는 다양한 네트워크 함수 및 알고리즘을 저장할 수 있으며, 장치(700)를 구동하고 제어하기 위한 다양한 데이터, 프로그램(하나 이상이 인스트럭션들), 어플리케이션, 소프트웨어, 명령, 코드 등을 저장할 수 있다.
프로세서(440)는 장치(700)의 전반적인 동작을 제어할 수 있다. 프로세서(440)는 메모리(430)에 저장되는 하나 이상의 프로그램들을 실행할 수 있다. 프로세서(440)는 중앙 처리 장치(Central Processing Unit, CPU), 그래픽 처리 장치(Graphics Processing Unit, GPU) 또는 본 개시의 기술적 사상에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다.
실시예에서, 프로세서(440)는 동일 환자에 대한 상이한 모달리티(modality)의 복수의 의료 영상을 획득하고, 사전 학습된 복수의 분석 모델 중에서 의료 영상 각각의 모달리티에 대응하는 적어도 하나의 분석 모델을 선정하며, 의료 영상의 모달리티를 기준으로 선정된 분석 모델에 대응하여 의료 영상을 각각 입력함으로써, 적어도 하나의 뇌질환을 판독하는 기초가 되는 복수의 인자와 관련된 출력값을 출력하고, 출력값을 변환하여 출력값에 각각 대응하는 복수의 특성 벡터(feature vector)를 생성하며, 특성 벡터를 각각 상이한 뇌질환을 판독하도록 사전 학습된 적어도 하나의 진단 모델에 입력하여, 뇌질환의 진행 정도를 예측할 수 있다.
실시예에서, 프로세서(440)는 복수의 분석 모델 각각을 상이한 모달리티를 가지는 의료 영상 세트를 기초로 상기 인자에 관한 출력값을 출력하도록 학습시킬 수 있다.
실시예에서, 프로세서(440)는 특성 스케일링(feature scaling)을 통해 복수의 분석 모델의 출력값을 표준화 또는 정규화할 수 있다.
실시예에서, 프로세서(440)는 복수의 분석 모델 중 대응하는 모달리티를 가지는 상기 의료 영상이 존재하지 않는 결손 분석 모델이 있는 경우, 동일 질병을 가지는 다른 환자의 대응하는 의료 영상을 검색하고, 결손 분석 모델에 대하여 검색된 다른 환자의 의료 영상을 대체(imputation)하여 입력함으로써, 출력값을 출력할 수 있다.
본 개시의 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 개시를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
또한, 개시된 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다.
컴퓨터 프로그램 제품은 S/W 프로그램, S/W 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있다. 예를 들어, 컴퓨터 프로그램 제품은 전자 장치의 제조사 또는 전자 마켓(예, 구글 플레이 스토어, 앱 스토어)을 통해 전자적으로 배포되는 S/W 프로그램 형태의 상품(예, 다운로더블 앱)을 포함할 수 있다. 전자적 배포를 위하여, S/W 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 제조사의 서버, 전자 마켓의 서버, 또는 SW 프로그램을 임시적으로 저장하는 중계 서버의 저장매체가 될 수 있다.
컴퓨터 프로그램 제품은, 서버 및 클라이언트 장치로 구성되는 시스템에서, 서버의 저장매체 또는 클라이언트 장치의 저장매체를 포함할 수 있다. 또는, 서버 또는 클라이언트 장치와 통신 연결되는 제 3 장치(예, 스마트폰)가 존재하는 경우, 컴퓨터 프로그램 제품은 제 3 장치의 저장매체를 포함할 수 있다. 또는, 컴퓨터 프로그램 제품은 서버로부터 클라이언트 장치 또는 제 3 장치로 전송되거나, 제 3 장치로부터 클라이언트 장치로 전송되는 S/W 프로그램 자체를 포함할 수 있다.
이 경우, 서버, 클라이언트 장치 및 제 3 장치 중 하나가 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수 있다. 또는, 서버, 클라이언트 장치 및 제 3 장치 중 둘 이상이 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 분산하여 실시할 수 있다.
예를 들면, 서버(예로, 클라우드 서버 또는 인공 지능 서버 등)가 서버에 저장된 컴퓨터 프로그램 제품을 실행하여, 서버와 통신 연결된 클라이언트 장치가 개시된 실시예들에 따른 방법을 수행하도록 제어할 수 있다.
이상에서 실시예들에 대하여 상세하게 설명하였지만 본 개시의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 개시의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 개시의 권리범위에 속한다.

Claims (11)

  1. 뇌질환 진단을 위한 다중 모달리티 의료 영상 분석 방법에 있어서,
    동일 환자에 대한 상이한 모달리티(modality)의 복수의 의료 영상을 획득하는 단계;
    사전 학습된 복수의 분석 모델 중에서 상기 의료 영상 각각의 모달리티에 대응하는 적어도 일부를 선정하는 단계;
    상기 의료 영상의 모달리티를 기준으로 상기 선정된 분석 모델에 대응하여 상기 의료 영상을 각각 입력함으로써, 적어도 하나의 뇌질환을 판독하는 기초가 되는 복수의 인자와 관련된 출력값을 출력하는 단계;
    상기 출력값을 변환하여 상기 출력값에 각각 대응하는 복수의 특성 벡터(feature vector)를 생성하는 단계; 및
    상기 특성 벡터를 각각 상이한 뇌질환을 판독하도록 사전 학습된 적어도 하나의 진단 모델에 입력하여, 상기 뇌질환의 진행 정도를 예측하는 단계를 포함하는, 방법
  2. 제 1 항에 있어서,
    상기 복수의 분석 모델 각각을 상이한 모달리티를 가지는 의료 영상 세트를 기초로 상기 인자에 관한 출력값을 출력하도록 학습시키는 단계를 더 포함하는, 방법.
  3. 제 1 항에 있어서,
    상기 의료 영상은 상기 환자의 뇌에 대한 자기 공명 영상(MRI), 뇌혈관 조영 단층 촬영(CT) 영상, 기능적 자기 공명 영상(fMRI) 및 양전자 방출 단층 촬영(PET-CT) 영상 중 적어도 2 이상을 포함하는, 방법.
  4. 제 3 항에 있어서,
    상기 의료 영상이 자기 공명 영상인 경우, 상기 출력값은 복수의 뇌 영역 각각의 비율 및 두경부 지방량 중 적어도 하나에 대응하는 값인, 방법.
  5. 제 3 항에 있어서,
    상기 의료 영상이 뇌혈관 조형 단층 촬영 영상인 경우, 상기 출력값은 복수의 뇌 영역 각각의 이상 혈관 유무에 대응하는 값인, 방법.
  6. 제 3 항에 있어서,
    상기 의료 영상이 기능적 자기 공명 영상인 경우, 상기 출력값은 상기 환자가 휴식 상태에서 동시 활성 또는 비활성되는 복수의 뇌 영역 사이의 관계에 대응하는 값인, 방법.
  7. 제 3 항에 있어서,
    상기 의료 영상이 양전자 방출 단층 촬영(PET-CT) 영상인 경우, 상기 출력값은 종양, 치매, 파킨슨병 및 간질 중 적어도 하나의 중증 정도에 대응하는 값인, 방법.
  8. 제 1 항에 있어서,
    상기 복수의 특성 벡터를 생성하는 단계는,
    특성 스케일링(feature scaling)을 통해 상기 복수의 출력값을 표준화 또는 정규화하는 단계를 포함하는, 방법.
  9. 제 1 항에 있어서,
    상기 복수의 분석 모델 중 대응하는 모달리티를 가지는 상기 의료 영상이 존재하지 않는 결손 분석 모델이 있는 경우, 동일 질병을 가지는 다른 환자의 대응하는 의료 영상을 검색하는 단계를 더 포함하고,
    상기 복수의 인자와 관련된 출력값을 출력하는 단계는,
    상기 결손 분석 모델에 대하여 상기 검색된 다른 환자의 의료 영상을 대체(imputation)하여 입력함으로써, 상기 출력값을 출력하는 단계를 포함하는, 방법.
  10. 뇌질환 진단을 위한 다중 모달리티 의료 영상 분석 장치에 있어서,
    적어도 하나의 프로세서;
    상기 프로세서에 의해 실행 가능한 프로그램을 저장하는 메모리; 및
    상기 프로세서는, 상기 프로그램을 실행함으로써, 동일 환자에 대한 상이한 모달리티(modality)의 복수의 의료 영상을 획득하고, 사전 학습된 복수의 분석 모델 중에서 상기 의료 영상 각각의 모달리티에 대응하는 적어도 하나의 분석 모델을 선정하며, 상기 의료 영상의 모달리티를 기준으로 상기 선정된 분석 모델에 대응하여 상기 의료 영상을 각각 입력함으로써, 적어도 하나의 뇌질환을 판독하는 기초가 되는 복수의 인자와 관련된 출력값을 출력하고, 상기 출력값을 변환하여 상기 출력값에 각각 대응하는 복수의 특성 벡터(feature vector)를 생성하며, 상기 특성 벡터를 각각 상이한 뇌질환을 판독하도록 사전 학습된 적어도 하나의 진단 모델에 입력하여, 상기 뇌질환의 진행 정도를 예측하는, 장치.
  11. 제 1 항 내지 제 9 항 중 어느 한 항의 방법을 실행하기 위하여 기록 매체에 저장된 컴퓨터 프로그램.
PCT/KR2021/018190 2021-11-26 2021-12-03 뇌질환 진단을 위한 다중 모달리티 의료 영상 분석 방법 및 장치 WO2023095989A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/023,378 US11900599B2 (en) 2021-11-26 2021-12-03 Multi-modality medical image analysis method and apparatus for brain disease diagnosis

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210165788A KR102427709B1 (ko) 2021-11-26 2021-11-26 뇌질환 진단을 위한 다중 모달리티 의료 영상 분석 방법 및 장치
KR10-2021-0165788 2021-11-26

Publications (1)

Publication Number Publication Date
WO2023095989A1 true WO2023095989A1 (ko) 2023-06-01

Family

ID=82844233

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/018190 WO2023095989A1 (ko) 2021-11-26 2021-12-03 뇌질환 진단을 위한 다중 모달리티 의료 영상 분석 방법 및 장치

Country Status (3)

Country Link
US (1) US11900599B2 (ko)
KR (1) KR102427709B1 (ko)
WO (1) WO2023095989A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240050588A (ko) * 2022-10-12 2024-04-19 주식회사 피맥스 행동 패턴 및 의료 영상을 이용한 정신 건강 질환 평가 방법 및 장치
KR102548478B1 (ko) * 2022-10-25 2023-06-29 주식회사 아이메디신 약물 반응성 분류 및 예측을 위한 디지털 피노타이핑 방법, 장치 및 컴퓨터프로그램

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210056386A (ko) * 2018-09-05 2021-05-18 젠팅 타우알엑스 다이어그노스틱 센터 에스디엔 비에이치디 신경퇴행성 질환에 대한 네트워크 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101611489B1 (ko) 2013-09-13 2016-04-11 재단법인 아산사회복지재단 뇌 영상에 기반한 경색 영역의 발생 시점의 추정 방법
KR102344157B1 (ko) 2019-11-27 2021-12-28 연세대학교 산학협력단 개인 맞춤형 뇌졸중 진단을 위한 임상 인자 및 의료 영상 처리 시스템
US11263749B1 (en) * 2021-06-04 2022-03-01 In-Med Prognostics Inc. Predictive prognosis based on multimodal analysis

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210056386A (ko) * 2018-09-05 2021-05-18 젠팅 타우알엑스 다이어그노스틱 센터 에스디엔 비에이치디 신경퇴행성 질환에 대한 네트워크 방법

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CARNEVALE LORENZO, LEMBO GIUSEPPE: "Innovative MRI Techniques in Neuroimaging Approaches for Cerebrovascular Diseases and Vascular Cognitive Impairment", INTERNATIONAL JOURNAL OF MOLECULAR SCIENCES, vol. 20, no. 11, 1 January 2019 (2019-01-01), pages 1 - 15, XP093068370, DOI: 10.3390/ijms20112656 *
KROLL HANNES, ZAHARCHUK GREG, CHRISTEN THOMAS, HEIT JEREMY J., IV MICHAEL: "Resting-State BOLD MRI for Perfusion and Ischemia", TOPICS IN MAGNETICS RESONANCE IMAGING, vol. 26, no. 2, 1 April 2017 (2017-04-01), US , pages 1 - 24, XP093068373, ISSN: 0899-3459, DOI: 10.1097/RMR.0000000000000119 *
VENUGOPALAN JANANI, TONG LI, HASSANZADEH HAMID REZA, WANG MAY D.: "Multimodal deep learning models for early detection of Alzheimer’s disease stage", SCIENTIFIC REPORTS, vol. 11, no. 1, 1 January 2021 (2021-01-01), pages 1 - 13, XP093068369, DOI: 10.1038/s41598-020-74399-w *
ZHOU TAO, THUNG KIM‐HAN, ZHU XIAOFENG, SHEN DINGGANG: "Effective feature learning and fusion of multimodality data using stage‐wise deep neural network for dementia diagnosis", HUMAN BRAIN MAPPING, vol. 40, no. 3, 15 February 2019 (2019-02-15), pages 1001 - 1016, XP093068366, ISSN: 1065-9471, DOI: 10.1002/hbm.24428 *

Also Published As

Publication number Publication date
US20230334657A1 (en) 2023-10-19
KR102427709B1 (ko) 2022-08-01
US11900599B2 (en) 2024-02-13

Similar Documents

Publication Publication Date Title
Dekhil et al. A personalized autism diagnosis CAD system using a fusion of structural MRI and resting-state functional MRI data
CN109447183B (zh) 预测模型训练方法、装置、设备以及介质
WO2018074739A1 (ko) 뇌졸중 진단 및 예후 예측 방법 및 시스템
WO2023095989A1 (ko) 뇌질환 진단을 위한 다중 모달리티 의료 영상 분석 방법 및 장치
WO2017095014A1 (ko) Dnn 학습을 이용한 세포이상 여부 진단시스템 및 그 진단관리 방법
US20230342918A1 (en) Image-driven brain atlas construction method, apparatus, device and storage medium
Kumar et al. AlexNet approach for early stage Alzheimer’s disease detection from MRI brain images
Lian et al. Multi-task weakly-supervised attention network for dementia status estimation with structural MRI
US11043295B2 (en) Method and providing unit for providing a virtual tomographic stroke follow-up examination image
Liu et al. An enhanced multi-modal brain graph network for classifying neuropsychiatric disorders
WO2021120961A1 (zh) 大脑成瘾结构图谱评估方法及装置
WO2021137454A1 (ko) 인공지능 기반의 사용자 의료정보 분석 방법 및 시스템
WO2021034138A1 (ko) 치매 평가 방법 및 이를 이용한 장치
WO2021212715A1 (zh) 精神分裂症分类识别方法、运行控制装置及医疗设备
WO2022145841A1 (ko) 병변 판독 방법 및 이를 위한 장치
CN116705300A (zh) 基于体征数据分析的医疗决策辅助方法、系统及存储介质
Budd et al. Detecting hypo-plastic left heart syndrome in fetal ultrasound via disease-specific atlas maps
WO2020179950A1 (ko) 딥러닝 기반 뇌 질환 진행 예측 방법 및 장치
Rondinella et al. Boosting multiple sclerosis lesion segmentation through attention mechanism
Lamani et al. Multi-atlas graph convolutional networks and convolutional recurrent neural networks-based ensemble learning for classification of autism spectrum disorders
WO2022114600A1 (ko) 의료 영상 기반의 뇌백질 병변 탐지 방법
WO2017010612A1 (ko) 의료 영상 분석 기반의 병리 진단 예측 시스템 및 방법
KR20220120345A (ko) 시계열 데이터에 기반한 알츠하이머병 진행감지를 위한 멀티모드 멀티테스크 딥 러닝 모델
KR20230125546A (ko) 뇌질환 판독을 위한 의료 영상 분석 방법
WO2024029697A1 (ko) 뇌질환 위험도를 예측하는 방법 및 뇌질환 위험도 분석 모델의 학습 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21965773

Country of ref document: EP

Kind code of ref document: A1