WO2021149875A1 - 뇌동맥류 파열 예측 시스템 - Google Patents

뇌동맥류 파열 예측 시스템 Download PDF

Info

Publication number
WO2021149875A1
WO2021149875A1 PCT/KR2020/006229 KR2020006229W WO2021149875A1 WO 2021149875 A1 WO2021149875 A1 WO 2021149875A1 KR 2020006229 W KR2020006229 W KR 2020006229W WO 2021149875 A1 WO2021149875 A1 WO 2021149875A1
Authority
WO
WIPO (PCT)
Prior art keywords
rupture
cerebral
cerebral aneurysm
neural network
convolutional
Prior art date
Application number
PCT/KR2020/006229
Other languages
English (en)
French (fr)
Inventor
정재훈
Original Assignee
주식회사 아이도트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아이도트 filed Critical 주식회사 아이도트
Publication of WO2021149875A1 publication Critical patent/WO2021149875A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/02007—Evaluating blood vessel condition, e.g. elasticity, compliance
    • A61B5/02014—Determining aneurysm
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/481—Diagnostic techniques involving the use of contrast agents
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/504—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of blood vessels, e.g. by angiography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/507—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for determination of haemodynamic parameters, e.g. perfusion CT
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Definitions

  • the present invention relates to a system for diagnosing brain diseases, and more particularly, to a system for predicting the presence or absence of rupture of a cerebral aneurysm and the risk of rupture of an unruptured cerebral aneurysm using a three-dimensional cerebral angiography image and a deep neural network.
  • Brain diseases that is, cerebrovascular diseases include cerebral hemorrhage in which a cerebral blood vessel bursts, cerebral infarction in which a cerebral blood vessel is blocked by a blood clot, and cerebral aneurysm in which a cerebral blood vessel swells abnormally.
  • Stroke refers to a disease in which brain cells die due to a problem in the blood vessels of the brain and lack of oxygen supply. It is known that if small and minute cerebral blood vessels of less than 1 mm are blocked or cut off for 1 minute due to a stroke, about 2 million nerve cells in the brain are damaged because oxygen is not supplied.
  • a cerebral aneurysm refers to a lesion in which a part of a cerebral artery swells like an alveoli. If the severity of a cerebral aneurysm is severe, it can develop into a hemorrhagic stroke in which a cerebral blood vessel bursts. However, since cerebral aneurysms rarely have symptoms until they reach a critical level, they are difficult to detect until a blood vessel examination is performed.
  • Cerebral angiography is performed for accurate diagnosis of rupture of a cerebral aneurysm. Since the identification of lesions through the image data obtained from cerebral angiography is usually performed by visual observation by a specialist, a subjective diagnosis cannot but be made. Therefore, a new technical solution is needed to secure objectivity in the reading process.
  • the cerebral blood vessel is diagnosed as non-ruptured by a specialist's reading and the size of the aneurysm confirmed by the lesion is 7 mm or less, it is generally diagnosed as a follow-up examination rather than separate treatment and surgery. As this often occurs, a new technical solution is also needed to predict and manage the rupture risk for aneurysms with a size of 7 mm or less.
  • Patent Document 1 Republic of Korea Patent Publication No. 10-1974786
  • the present invention was devised in response to the above needs, and the main object of the present invention is to predict the rupture of a brain aneurysm of a certain size or less and the risk of rupture in an unruptured brain aneurysm using angiography and deep neural networks.
  • the main object of the present invention is to predict the rupture of a brain aneurysm of a certain size or less and the risk of rupture in an unruptured brain aneurysm using angiography and deep neural networks.
  • Another object of the present invention is a system for predicting rupture of a cerebral aneurysm that can improve the quality of learning and the performance of predicting the risk of rupture of a cerebral aneurysm by changing the layer structure of the deep neural network to obtain a noise mitigation effect on an input image, and its to provide a method,
  • a cerebral aneurysm rupture prediction system and method capable of improving the performance of predicting the rupture of a cerebral aneurysm and the risk of rupture by expanding the training data distribution of the deep neural network.
  • the cerebral aneurysm rupture prediction system is a system that can be executed or operated in a computer system
  • a learning data augmentation unit for augmenting learning data by applying a crop method in which the lesion region is enlarged in multiple steps based on the lesion region in a three-dimensional cerebrovascular angiography image image marked with information on the lesion region and rupture risk by a specialist;
  • It includes a deep neural network learning model for learning the augmented learning data, and predicts the risk of rupture of a cerebral aneurysm by automatically detecting lesions smaller than a specific size based on the deep neural network learning model in the input 3D cerebral angiography image image. and a cerebral aneurysm rupture risk prediction unit that outputs the
  • the deep neural network learning model of the cerebral aneurysm rupture prediction system described above is,
  • a group of convolutional layers and a group of deconvolutional layers that perform parallel processing of convolutional and deconvolutional operations in either convolutional layer of a pooling layer (sub-sampling layer) and repeated convolutional layers are included.
  • the feature maps that have passed through the group of convolutional and deconvolutional layers are combined into one and delivered to a fully-convolutional layer to protect the location information of the input image and remove size restrictions for more accurate image classification.
  • Another feature is that it includes an add layer.
  • the lesion of the specific size or less is a lesion of 7 mm or less located in the anterior circulation.
  • the shape of the external wall of the artery within the detected lesion area is irregular or multilobed, or if it contains deformation within the aneurysm, it is predicted as a high-risk unruptured aneurysm.
  • the cerebral aneurysm rupture prediction system is also a system that can be executed or operated in a computer system
  • a deep neural network learning model for learning a 3D cerebral angiography image image marked with lesion area and rupture risk information by a specialist
  • a cerebral aneurysm rupture risk prediction unit that automatically detects lesions of a certain size or less located in the general circulation based on the deep neural network learning model in the input 3D cerebral angiography image image to predict and output the rupture risk of the cerebral aneurysm; Including, the deep neural network learning model,
  • a group of convolutional layers and a group of deconvolutional layers that perform parallel processing of a convolution operation and a deconvolution operation, respectively, and a group of deconvolution layers, the group of convolutional layers It is characterized in that it includes a summing layer that combines the feature maps that have passed through the deconvolution layer and the deconvolution layer into one and delivers them to the fully connected layer.
  • Each of the group of convolutional and deconvolutional layers has a structure in which the same number of convolutional and deconvolutional layers are continuous, and the convolutional and deconvolutional layers forming the same layer perform convolutional and deconvolutional operations with the same kernel size. another feature.
  • the system for predicting rupture of a brain aneurysm does not crop to a fixed size, but crops it to various sizes in augmenting the training data for learning the deep neural network learning model.
  • By performing ping it is possible to obtain a learning effect for lesions of various sizes and ratios, which has the advantage of increasing noise adaptability.
  • the deep neural network learning model of the cerebral aneurysm rupture prediction system provides parallel processing of the deconvolution operation and the convolution operation at the position of one repeated convolutional layer, thereby reducing noise on the image to be learned or diagnosed. It provides the effect of improving the quality of learning and predicting the risk of rupture of cerebral aneurysms by reducing It has the advantage of being able to detect and diagnose multiple aneurysms regardless of the direction of imaging.
  • FIG. 1 is an exemplary configuration diagram of a computer system in which a system for predicting rupture of a cerebral aneurysm according to an embodiment of the present invention is executed;
  • FIG. 2 is a diagram for explaining in detail the augmentation of learning data according to an embodiment of the present invention.
  • FIG 3 is an exemplary diagram of a network structure of a deep neural network learning model according to an embodiment of the present invention.
  • FIGS. 4 and 5 are diagrams illustrating a cerebral aneurysm rupture prediction flow diagram to further explain the operation of the cerebral aneurysm rupture prediction system according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating an angiography image of a cerebral aneurysm with a high risk of rupture.
  • the cerebral aneurysm rupture prediction system 200 includes program data executable by the main processor of the computer system. is a collection of In some cases, the computer system may be a dedicated brain disease diagnosis device for predicting the presence or absence of rupture of a cerebral aneurysm and the risk of rupture of an unruptured cerebral aneurysm.
  • the system 200 for predicting rupture of a cerebral aneurysm provides a 3D cerebral angiography image from a 3D (3D) angiography imaging device through an interface unit (I/F unit, 100).
  • the image is input and the rupture or (and) risk of rupture of the cerebral aneurysm is predicted, and output is displayed through the user I/F unit 300 .
  • the cerebral aneurysm rupture prediction system 200 changes the size of a bounding box centered on the lesion area in the 3D cerebral angiography image image in which the lesion area and rupture risk information are marked by a specialist while varying each variable.
  • a learning data augmentation unit 210 that augments the learning data in a manner of cropping and flipping the bounding box;
  • It includes a deep neural network learning model 222 for learning the augmented learning data, and based on the deep neural network learning model 222 in the input 3D cerebral angiography image image, a lesion of a specific size, for example, 7 mm or less. and a cerebral aneurysm rupture risk prediction unit 220 that automatically detects and outputs the cerebral aneurysm rupture risk.
  • the deep neural network learning model 222 learned the 3D cerebrovascular angiography image image marked with the lesion area and rupture risk information by a specialist, and the deep neural network learning from the input 3D cerebral angiography image image
  • the cerebral aneurysm rupture prediction system 200 can be implemented only with the cerebral aneurysm rupture risk prediction unit 220 that automatically detects lesions of a specific size (7 mm) or less based on the model 222 and predicts and outputs the rupture risk of the cerebral aneurysm. There will be.
  • the deep neural network learning model 222 is not a network structure in which a convolution layer and a pooling layer are repeated between an input layer and a fully connected layer as in a general deep neural network learning model,
  • a group of convolutional layers and a group of deconvolution layers that perform parallel processing of a convolution operation and a deconvolution operation in any one of the pooling layer and the repeated convolutional layer are included, and the group of convolutional layers and It is characterized in that it includes an add layer that combines the feature maps that have passed through the deconvolution layer into one and transmits them to the fully connected layer.
  • the cerebral aneurysm rupture risk prediction unit 220 automatically detects a lesion of a specific size (7 mm) or less based on the deep neural network learning model 222 in the 3D cerebral angiography image image, and optimizes the automatically detected lesion. After cropping by determining the size of the bounding box, it is characterized in that the risk of rupture of the cerebral aneurysm of the cropped portion is predicted.
  • the user I/F unit 300 not described in FIG. 1 includes a data input or manipulation device and a display unit necessary for a user such as a specialist to control the system, and the storage unit 400 measures the rupture and rupture risk of the brain aneurysm It includes a DB in which control program data necessary for prediction, learning data marked with lesions, and 3D cerebrovascular angiography image to be diagnosed are stored.
  • the optional communication unit 500 transmits/receives a 3D cerebral angiography image to a diagnosis request device located at a remote location.
  • the deep neural network learning model 222 the cerebral aneurysm rupture risk prediction unit 220 , and a method of augmenting the learning data will be described in more detail.
  • FIG. 2 is a diagram for explaining in detail the augmentation of learning data according to an embodiment of the present invention.
  • a learning data augmentation method such as cropping and flipping is introduced as a method to secure the training data required to train the deep neural network.
  • the general method of augmenting learning data by cropping an image to a predetermined size is not useful in the medical imaging field, especially for detecting lesions of cerebral aneurysms with a size of 7 mm or less, in the present invention, the center of the lesion marked by a specialist Optimized cropping is used to accurately search the surrounding area of .
  • the learning data augmentation unit 210 is a lesion area (A) marked in the 3D cerebrovascular angiography image in which the lesion area and rupture risk information are marked by a specialist. ) ), while randomly varying the size of the bounding box in multi-steps, the learning data is augmented by cropping and flipping each of the variable bounding boxes (B).
  • the learning data augmentation unit 210 may further augment the learning data through left, right, up and down flipping in addition to cropping.
  • the learning data augmentation unit 210 may apply K-fold cross-validation to learning in order to increase the learning distribution for the entire learning dataset.
  • K-fold cross-validation is a method in which training data is equally divided into K groups and verified k times by designating (K-1) training folds and 1 test fold.
  • FIG. 3 illustrates the network structure of the deep neural network learning model 222 according to an embodiment of the present invention, and the deep neural network learning model 222 is fully connected to the input layer 240 as in a general deep neural network learning model.
  • FCN layers
  • convolution in any one of the convolutional layer and the pooling layer is repeated for noise mitigation.
  • It includes a group of convolutional layers 250 and a group of deconvolutional layers 248 that perform parallel processing of calculations and deconvolutions, respectively, and has passed through the group of convolutional layers 250 and deconvolutional layers 248, respectively. It is characterized in that it includes an add layer (254) that combines the feature maps (feature maps) into one and transfers to the fully connected layer (256).
  • the first (#1) convolutional layer 242 is input Convolved 3D cerebral angiography image with 64 11 x 11 x 3 size kernels.
  • L2 Norm is applied to the weight w of the filter.
  • the ReLU activation function is used, and 3 x 3 overlapping max pooling 244 is performed with a stride 2 value.
  • the 26 x 26 x 64 feature map from the first convolutional layer 242 is convolved with a 5x 5 x 6 size kernel.
  • the stride is 1, zero-padding is performed to obtain 26 x 26 x 192 characteristic maps (192 26 x 26 images).
  • the activation function also applies ReLU and performs 3 x 3 overlapping max pooling 247 with a stride 2 value as before. As a result, a 12 x 12 x 256 feature map is obtained.
  • the convolutional and deconvolutional operations can be processed in parallel, but the number of convolutional operations performed in the convolutional operation path (called a group of convolutional layers 248) and the number of convolutional operations performed in the deconvolutional operation path
  • the number of convolutional operations (referred to as a group of deconvolutional layers 250) is made equal.
  • the convolution is repeated n times (n is a natural number) using a 3 x 3 x 192 kernel based on the 12 x 12 x 256 feature map obtained in the previous stage, and the deconvolution is repeated n times with the same kernel size.
  • the noise mitigation effect can be obtained by performing the upsampling process on the result of the convolution performed in the previous two steps.
  • the kernel size, stride, and zero-padding at each stage are slightly different, but the final result may be of the same size.
  • the resulting result finally has a 5 x 5 x 256 feature map form, and the feature map that has passed the convolution operation and the feature map that has passed the deconvolution operation are combined in the Add Layer 254 .
  • the fully connected layer 256 performs a convolution operation on the 5 x 5 x 256 feature map using 4096 5 x 5 x 256 kernels.
  • a 1 x 1 x 4096 feature map (4096 1 x 1 size feature maps) is obtained, and a vector composed of 4096 components (neurons) is created and dropout is applied.
  • This operation is repeated twice. That is, by performing convolution of a 1 x 1 x 4096 characteristic map with two 1 x 1 kernels, an output of a shape capable of predicting (classifying) the risk of rupture and non-rupture to be finally classified is created.
  • the training data augmented by the deep neural network learning model 222 having a network structure as described above is learned, it is possible to obtain an optimal solution for the kernel values for each layer.
  • the cerebral aneurysm rupture prediction system for predicting rupture and/or rupture risk of a cerebral aneurysm based on the above-described learning data augmentation unit 210 and the deep neural network learning model 222 will be described.
  • FIG. 4 is a learning step for learning the deep neural network learning model 222 5 is related to the automatic diagnosis step of predicting rupture of a brain aneurysm of a specific size or less and the risk of rupture based on the deep neural network learning model 222 .
  • the cerebral aneurysm rupture prediction system 200 transmits a 3D cerebral angiography image to an external device or communication unit 500 through the I/F unit 100 for learning. Through the input (step S100) is received.
  • the three-dimensional cerebrovascular angiography image is an image image taken in 5-7 directions per patient.
  • the input 3D cerebral angiography image is displayed on the display unit, and the specialist marks a lesion area of a specific size or less and marks or inputs rupture risk information (step S110).
  • the plurality of images marked with the lesion area and the rupture risk information are transferred to the learning data augmentation unit 210 according to a specialist or user command, and the learning data augmentation (step S120) is processed.
  • the training data augmentation is augmented according to the aforementioned cropping method and clipping method and stored in the storage unit 400 or transmitted to the deep neural network learning model 222 .
  • the deep neural network learning model 222 having a network structure as shown in FIG. 3 is a specific size (7 mm) or less in a bounding box cropped to a multi-step size in the augmented learning data, that is, a three-dimensional cerebral angiography image image.
  • the learning of the model for predicting the rupture or rupture risk of a cerebral aneurysm lesion of a specific size or less is completed after learning the features having the lesion (step S130), and passing through the testing and verification steps.
  • the deep neural network learning model 222 is trained to predict the rupture and rupture risk of a brain aneurysm of a specific size (7 mm) or less in the 3D cerebral angiography image image, based on this learning model 222, Diagnosis of cerebral aneurysms can be performed.
  • the cerebral aneurysm rupture risk prediction unit 220 of the cerebral aneurysm rupture prediction system 200 receives three-dimensional cerebral angiography image images in 6 directions per patient (step S200), deep neural network learning Based on the model 222, a lesion of a specific size (7 mm) or less is automatically detected in the 3D cerebral angiography image image (step S210).
  • the cerebral aneurysm rupture risk prediction unit 220 determines the size of the bounding box optimized for the detected lesion (including the lesion area and distinguishes it from the surrounding anatomical structures) and crops it (step S220), and the cropped portion predicts the rupture and/or rupture risk of the cerebral aneurysm and displays it on the display unit (step S230).
  • the cerebral aneurysm rupture risk prediction unit 220 predicts and diagnoses the rupture of the cerebral aneurysm if it is determined that the bleeding is in more than 50% of the six 3D cerebral angiography image images (six directions), and otherwise predicts and diagnoses it as non-rupture do.
  • the cerebral aneurysm rupture risk prediction unit 220 is multilobed (arrow indicated) for the detected lesion as shown in FIG. 6(a), or the shape of the external wall is irregular (arrow indicated) as shown in FIG. 6(b). part) or, as shown in FIG. 6(c), when daughtersac (arrows) are included in the aneurysm, each of them is predicted and diagnosed as a high-risk group in the unruptured cerebral aneurysm.
  • the predicted diagnosis result is displayed on the display unit or stored together with the cerebrovascular angiography image in the storage unit 400 .
  • the brain aneurysm rupture prediction system 200 in augmenting the training data for learning the deep neural network learning model 222, it is not cropped to a fixed size, but various sizes. By performing raw cropping, it is possible to obtain a learning effect for lesions with various sizes and ratios, thereby increasing noise adaptability.
  • the deep neural network learning model 222 of the cerebral aneurysm rupture prediction system 200 can learn or diagnose by allowing the deconvolution operation and the convolution operation to be parallelized at the position of one repeated convolutional layer. It is possible to obtain the effect of improving the quality of learning and predicting the risk of rupture of a cerebral aneurysm by reducing the noise on the video image. It has the advantage of being able to predict and display it.
  • the present invention can be achieved through a combination of software and hardware or can be achieved only with hardware.
  • the objects of the technical solution of the present invention or parts contributing to the prior art may be implemented in the form of program instructions that can be executed through various computer components and recorded in a machine-readable recording medium.
  • the machine-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the machine-readable recording medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the art of computer software.
  • Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.
  • the hardware device may be configured to operate as one or more software modules to perform processing according to the present invention, and vice versa.
  • the hardware device may include a processor, such as a CPU or GPU, coupled with a memory such as ROM/RAM for storing program instructions and configured to execute instructions stored in the memory, as described further with reference to FIG. 1 , and an external device and may include a communication unit capable of sending and receiving a signal.
  • the hardware device may include a keyboard, a mouse, and other external input devices for receiving commands written by developers.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Physiology (AREA)
  • Vascular Medicine (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Cardiology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Neurosurgery (AREA)
  • Psychiatry (AREA)

Abstract

본 발명은 3차원 뇌혈관 조영술 영상과 심층 신경망을 이용하여 뇌동맥류의 파열 및 파열 위험도를 예측하는 시스템에 관한 것으로, 전문의에 의해 병변 영역 및 파열 위험도 정보가 마킹된 3차원 뇌혈관 조영술 영상 이미지에서 상기 병변 영역을 중심으로 하는 바운딩 박스의 크기를 가변시키면서 각 가변된 바운딩 박스를 크롭핑 및 플리핑하는 방식으로 학습 데이터를 증강시키는 학습 데이터 증강부와; 상기 증강된 학습 데이터를 학습하는 심층 신경망 학습모델을 포함하며, 입력되는 3차원 뇌혈관 조영술 영상 이미지에서 상기 심층 신경망 학습모델에 기초해 전순환계에 위치하는 특정 크기 이하의 병변을 자동 탐지해 뇌동맥류의 파열 위험도를 예측하여 출력하는 뇌동맥류 파열 위험도 예측부;를 포함함을 특징으로 한다.

Description

뇌동맥류 파열 예측 시스템
본 발명은 뇌질환 진단 시스템에 관한 것으로, 특히 3차원 뇌혈관 조영술 영상과 심층 신경망을 이용하여 뇌동맥류의 파열 유무와 미파열된 뇌동맥류의 파열 위험도를 예측하는 시스템에 관한 것이다.
뇌 질환 즉, 뇌혈관 질환으로는 뇌혈관이 터지는 뇌출혈, 뇌혈관이 혈전 등에 의해 막히는 뇌경색, 뇌혈관이 비정상적으로 부풀어 오르는 뇌동맥류 등이 있고, 뇌출혈과 뇌경색을 아울러서 뇌졸중이라고 말한다.
뇌졸중은 뇌혈관에 문제가 생겨 산소가 공급되지 않아 뇌세포가 죽어가는 질환을 말한다. 만약 뇌졸중으로 인해 1㎜ 내외의 작고 미세한 뇌혈관이 1분간 막혀있게 되거나 단절되면 산소가 공급되지 않아 뇌 부분의 약 200만 개의 신경세포가 손상된다고 알려져 있다.
한편, 뇌동맥류는 뇌동맥의 일부가 꽈리처럼 부풀어 오르는 병변을 말한다. 뇌동맥류의 중증도가 심하면 뇌혈관이 터지는 출혈성 뇌출혈(hemorrhagic stroke)로 발전할 수 있다. 그러나 뇌동맥류는 위험 수준에 이르기 전까지 증상이 거의 없기 때문에 혈관 검사를 하기 전에는 발견하기가 어렵다.
뇌동맥류 파열의 정확한 진단을 위해서 뇌혈관 조영술을 시행하는데, 뇌혈관 조영술로 얻어진 영상 데이터를 통한 병변의 확인은 보통 전문의 육안 관찰에 의해 이루어지기 때문에 주관적인 진단이 이루어질 수 밖에 없다. 따라서 판독과정에서 객관성을 확보하기 위한 새로운 기술적 해결방안이 필요하다.
더 나아가 전문의 판독에 의해 뇌혈관이 미파열로 진단되고 병변 확인된 동맥류 크기가 7mm 이하인 경우 별도의 치료 및 수술이 아닌 추적검사 소견으로 진단되는 경우가 일반적인데, 동맥류 크기가 7mm 이하에서도 파열되는 경우가 종종 발생하고 있기 때문에 크기가 7mm 이하인 동맥류에 대해서 파열 위험도를 예측하여 사전 관리할 수 있도록 지원하는 새로운 기술적 해결방안도 필요하다.
[선행기술문헌]
[특허문헌]
(특허문헌 1) 대한민국 등록특허공보 제10-1974786호
이에 본 발명은 상술한 필요성에 따라 창안된 발명으로서, 본 발명의 주요 목적은 혈관 조영술과 심층 신경망을 이용하여 특정 크기 이하의 뇌동맥류의 파열유무와 미파열 뇌동맥류에서의 파열 위험도를 예측하여 제공할 수 있는 뇌동맥류 파열 예측 시스템 및 그 방법을 제공함에 있으며,
더 나아가 본 발명의 또 다른 목적은 심층 신경망의 층(layer) 구조를 변경해 입력 영상에 대한 노이즈 완화 효과를 얻어 학습의 질과 뇌동맥류의 파열 위험도 예측 성능을 높일 수 있는 뇌동맥류 파열 예측 시스템 및 그 방법을 제공함에 있으며,
더 나아가 심층 신경망의 학습 데이터 분포를 확대시켜 뇌동맥류의 파열유무와 파열 위험도 예측 성능을 향상시킬 수 있는 뇌동맥류 파열 예측 시스템 및 그 방법을 제공함에 있다.
전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 뇌동맥류 파열 예측 시스템은 컴퓨터 시스템에서 실행 혹은 운영 가능한 시스템으로서,
전문의에 의해 병변 영역 및 파열 위험도 정보가 마킹된 3차원 뇌혈관 조영술 영상 이미지에서 상기 병변 영역을 중심으로 병변 영역이 다단계 확대되는 크롭방식을 적용해 학습 데이터를 증강시키는 학습 데이터 증강부와;
상기 증강된 학습 데이터를 학습하는 심층 신경망 학습모델을 포함하며, 입력되는 3차원 뇌혈관 조영술 영상 이미지에서 상기 심층 신경망 학습모델에 기초해 특정 크기 이하의 병변을 자동 탐지해 뇌동맥류의 파열 위험도를 예측하여 출력하는 뇌동맥류 파열 위험도 예측부;를 포함함을 특징으로 한다.
상술한 뇌동맥류 파열 예측 시스템의 심층 신경망 학습모델은,
노이즈 완화를 위해 풀링층(pooling layer; sub-sampling layer)과 반복되는 컨벌루션층 중 어느 하나의 컨벌루션층에서 컨벌루션 연산과 디컨버루션 연산을 병렬 처리하는 일군의 컨벌루션층과 일군의 디컨벌루션층을 포함하고, 상기 일군의 컨벌루션층과 디컨벌루션층을 각각 통과한 특성맵들을 하나로 합쳐 보다 정확한 이미지 분류를 위해 입력 이미지의 위치정보 보호 및 크기 제약을 없애기 위한 완전 연결층(fully-convolution layer)으로 전달하는 합산층(add layer)을 포함함을 또 다른 특징으로 한다.
더 나아가 상술한 구성의 뇌동맥류 파열 예측 시스템에서 상기 특정 크기 이하의 병변은 전순환계(anterior circulation)에 위치하는 7mm 이하의 병변임을 또 다른 특징으로 한다.
아울러 상기 뇌동맥류 파열 위험도 예측부는,
입력되는 여섯 방향의 3차원 뇌혈관 조영술 영상 이미지 중 50% 이상의 방향 이미지에서 출혈이라고 판단되는 경우 파열이라 예측하고,
미파열이 진단된 경우 탐지된 병변 영역 내의 동맥에 대해 외부 벽의 모양이 불규칙하거나 다엽성이거나 동맥류내의 변형을 포함하는 경우 고위험군 미파열 동맥류로 예측함을 특징으로 한다.
한편 본 발명의 또 다른 실시예에 따른 뇌동맥류 파열 예측 시스템 역시 컴퓨터 시스템에서 실행 혹은 운영 가능한 시스템으로서,
전문의에 의해 병변 영역 및 파열 위험도 정보가 마킹된 3차원 뇌혈관 조영술 영상 이미지를 학습하는 심층 신경망 학습모델과;
입력되는 3차원 뇌혈관 조영술 영상 이미지에서 상기 심층 신경망 학습모델에 기초해 전순환계에 위치하는 특정 크기 이하의 병변을 자동 탐지해 뇌동맥류의 파열 위험도를 예측하여 출력하는 뇌동맥류 파열 위험도 예측부;를 포함하되, 상기 심층 신경망 학습모델은,
풀링층과 반복되는 컨벌루션층 중 어느 하나의 컨벌루션층에서 노이즈 완화를 위해, 컨벌루션 연산과 디컨버루션 연산을 각각 병렬 처리하는 일군의 컨벌루션층과 일군의 디컨벌루션층을 포함하고, 상기 일군의 컨벌루션층과 디컨벌루션층을 각각 통과한 특성맵들을 하나로 합쳐 완전 연결층으로 전달하는 합산층을 포함함을 특징으로 하며,
상기 일군의 컨벌루션층과 디컨벌루션층 각각은 동수의 컨벌루션층과 디컨벌루션층이 연속되는 구조이며, 동일 층을 형성하는 컨벌루션층과 디컨벌루션층은 같은 커널 크기로 컨벌루션 연산과 디컨벌루션 연산을 수행함을 또 다른 특징으로 한다.
상술한 기술적 과제 해결 수단에 따르면, 본 발명의 실시예에 따른 뇌동맥류 파열 예측 시스템은 심층 신경망 학습모델을 학습시키기 위한 학습 데이터를 증강시킴에 있어서, 고정된 크기로 크롭핑하지 않고 다양한 크기로 크롭핑을 수행함으로써 다양한 크기와 비율을 가진 병변들에 대한 학습효과를 얻을 수 있어 노이즈 적응성을 높일 수 있는 장점이 있다.
또한 본 발명의 실시예에 따른 뇌동맥류 파열 예측 시스템의 심층 신경망 학습모델은 반복되는 하나의 컨벌루션층의 위치에서 컨벌루션 연산과 함께 디컨벌루션 연산이 병렬 처리되도록 하여 학습 혹은 진단할 영상 이미지에 대한 노이즈를 완화시켜 학습의 질과 뇌동맥류의 파열 위험도 예측 성능을 높일 수 있는 효과를 제공하며, 무엇보다 전순환계에 위치하는 7mm 이하의 뇌동맥류에 대한 파열은 물론 파열 위험도가 높은 뇌동맥류를 예측하여 표시할 수 있는 장점이 있고, 촬영방향에 상관 없이 다수의 동맥류들을 탐지하고 진단할 수 있는 장점도 있다.
도 1은 본 발명의 실시예에 따른 뇌동맥류 파열 예측 시스템이 실행되는 컴퓨터 시스템의 구성 예시도.
도 2는 본 발명의 실시예에 따른 학습 데이터 증강을 부연 설명하기 위한 도면.
도 3은 본 발명의 실시예에 따른 심층 신경망 학습 모델의 네트워크 구조 예시도.
도 4 및 도 5는 본 발명의 실시예에 따른 뇌동맥류 파열 예측 시스템의 동작을 부연 설명하기 위한 뇌동맥류 파열 예측 흐름 예시도.
도 6은 파열 위험도가 높은 뇌동맥류 혈관 조영술 영상 예시도.
후술하는 본 발명에 대한 상세한 설명은, 본 발명의 목적들, 기술적 해법들 및 장점들을 분명하게 하기 위하여 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 통상의 기술자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다.
그리고 본 발명의 상세한 설명 및 청구항들에 걸쳐 '학습'은 절차에 따라 기계 학습(machine learning)을 수행함을 일컫는 용어인바, 인간의 교육 활동과 같은 정신적 작용을 지칭하도록 의도된 것이 아님을 통상의 기술자는 이해할 수 있을 것이다. 또한 본 발명의 상세한 설명 및 청구항들에 걸쳐, '포함하다'라는 단어 및 그 변형은 다른 기술적 특징들, 부가물들, 구성요소들 또는 단계들을 제외하는 것으로 의도된 것이 아니다. 통상의 기술자에게 본 발명의 다른 목적들, 장점들 및 특성들이 일부는 본 설명서로부터, 그리고 일부는 본 발명의 실시로부터 드러날 것이다. 아래의 예시 및 도면은 실례로서 제공되며, 본 발명을 한정하는 것으로 의도된 것이 아니다. 더욱이 본 발명은 본 명세서에 표시된 실시예들의 모든 가능한 조합들을 망라한다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 사상 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 사상 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
본 명세서에서 달리 표시되거나 분명히 문맥에 모순되지 않는 한, 단수로 지칭된 항목은, 그 문맥에서 달리 요구되지 않는 한, 복수의 것을 아우른다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
이하, 통상의 기술자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 뇌동맥류 파열 예측 시스템이 실행 혹은 설치 운영되는 컴퓨터 시스템의 구성도를 예시한 것으로, 뇌동맥류 파열 예측 시스템(200)은 컴퓨터 시스템의 메인 프로세서에서 실행 가능한 프로그램 데이터들의 집합체이다. 경우에 따라 상기 컴퓨터 시스템은 뇌동맥류의 파열 유무 및 미파열 뇌동맥류의 파열 위험도를 예측하기 위한 전용의 뇌질환 진단장치일 수도 있다.
도 1을 참조하면, 본 발명의 실시예에 따른 뇌동맥류 파열 예측 시스템(200)은 인터페이스부(I/F부, 100)를 통해 3D(3차원) 혈관 조영술 촬영장치로부터 3차원 뇌혈관 조영술 영상 이미지를 입력받아 뇌동맥류의 파열 혹은(및) 파열 위험도를 예측하여 유저 I/F부(300)를 통해 출력 표시한다.
이를 위해 뇌동맥류 파열 예측 시스템(200)은 전문의에 의해 병변 영역 및 파열 위험도 정보가 마킹된 3차원 뇌혈관 조영술 영상 이미지에서 상기 병변 영역을 중심으로 하는 바운딩(bounding) 박스의 크기를 가변시키면서 각 가변된 바운딩 박스를 크롭핑(cropping) 및 플리핑(flipping)하는 방식으로 학습 데이터를 증강시키는 학습 데이터 증강부(210)와,
상기 증강된 학습 데이터를 학습하는 심층 신경망 학습모델(222)을 포함하며, 입력되는 3차원 뇌혈관 조영술 영상 이미지에서 상기 심층 신경망 학습모델(222)에 기초해 특정 크기, 예를 들면 7mm 이하의 병변을 자동 탐지해 뇌동맥류의 파열 위험도를 예측하여 출력하는 뇌동맥류 파열 위험도 예측부(220)를 포함한다.
구현 방식에 따라서는 전문의에 의해 병변 영역 및 파열 위험도 정보가 마킹된 3차원 뇌혈관 조영술 영상 이미지를 학습한 심층 신경망 학습모델(222)과, 입력되는 3차원 뇌혈관 조영술 영상 이미지에서 상기 심층 신경망 학습모델(222)에 기초해 특정 크기(7mm) 이하의 병변을 자동 탐지해 뇌동맥류의 파열 위험도를 예측하여 출력하는 뇌동맥류 파열 위험도 예측부(220)만으로 뇌동맥류 파열 예측 시스템(200)을 구현할 수도 있을 것이다.
참고적으로 상기 심층 신경망 학습모델(222)은 일반적인 심층 신경망 학습모델에서와 같이 입력층과 완전 연결층 사이에 컨벌루션층(convolution layer)층과 풀링층(pooling layer)이 반복되는 네트워크 구조가 아니라, 노이즈 완화를 위해 풀링층과 반복되는 컨벌루션층 중 어느 하나의 컨벌루션층에서 컨벌루션 연산과 디컨버루션 연산을 각각 병렬 처리하는 일군의 컨벌루션층과 일군의 디컨벌루션층을 포함하고, 상기 일군의 컨벌루션층과 디컨벌루션층을 각각 통과한 특성맵(feature map)들을 하나로 합쳐 완전 연결층으로 전달하는 합산층(add layer)을 포함함을 특징으로 한다.
더 나아가 상기 뇌동맥류 파열 위험도 예측부(220)는 3차원 뇌혈관 조영술 영상 이미지에서 심층 신경망 학습모델(222)에 기초해 특정 크기(7mm) 이하의 병변을 자동 탐지하고, 자동 탐지된 병변에 최적화된 바운딩 박스의 사이즈를 결정하여 크로핑한 후, 크롭된 부분의 뇌동맥류 파열 위험도를 예측함을 특징으로 한다.
도 1에서 미설명한 유저 I/F부(300)는 전문의와 같은 유저가 시스템을 제어하기 위해 필요한 데이터 입력 혹은 조작장치와 표시부를 포함하며, 저장부(400)는 뇌동맥류의 파열 및 파열 위험도를 예측하기 위해 필요한 제어 프로그램 데이터는 물론, 병변이 마킹된 학습 데이터, 진단하고자 하는 3차원 뇌혈관 조영술 영상 이미지가 저장되는 DB를 포함한다. 선택적으로 구비 가능한 통신부(500)는 원격지에 위치한 진단의뢰장치와 3차원 뇌혈관 조영술 영상 이미지를 상호 송수신한다.
이하 상술한 심층 신경망 학습모델(222), 뇌동맥류 파열 위험도 예측부(220)의 기술적 특징 및 학습 데이터 증강방법을 보다 구체적으로 설명하기로 한다.
도 2는 본 발명의 실시예에 따른 학습 데이터 증강을 부연 설명하기 위한 도면을 도시한 것이다.
우선 의료 영상분야에서는 심층 신경망을 이용해 병변을 자동 검출 혹은 탐지하기 위해 필요한 정답 데이터의 획득 비용이 많이 들어 다량의 학습 데이터셋을 구축하기가 쉽지 않다.
이러한 문제를 해결하기 위해 심층 신경망을 학습시키는데 필요한 학습 데이터를 확보하기 위한 방식으로 크롭핑 및 플리핑과 같은 학습 데이터 증강(augmentation) 방식이 도입되었다. 그러나 정해진 크기로 이미지를 크롭핑하여 학습 데이터를 증강시키는 일반적인 방식은 의료 영상분야, 특히 7mm 이하의 크기를 갖는 뇌동맥류의 병변을 탐지하는데 유용하지 않기 때문에, 본 발명에서는 전문의에 의해 마킹된 병변 중심의 주변 영역을 정확하게 탐색하기 위해서 최적화된 크롭핑을 이용한다.
즉, 본 발명의 실시예에 따른 학습 데이터 증강부(210)는 도 2에 도시한 바와 같이 전문의에 의해 병변 영역 및 파열 위험도 정보가 마킹된 3차원 뇌혈관 조영술 영상 이미지에서 마킹된 병변 영역(A)을 중심으로 하는 바운딩 박스의 크기를 다단계로 랜덤하게 가변시키면서 각각 가변된 바운딩 박스(B)를 크롭핑 및 플리핑하는 방식으로 학습 데이터를 증강시킨다.
이와 같이 고정된 크기로 크롭핑하지 않고 다양한 크기로 크롭핑을 수행하게 되면 다양한 크기와 비율을 가진 병변들을 수용할 수 있기 때문에 그 만큼 양질의 학습 데이터(소량의 노이즈에 대한 학습 효과 배가)를 확보할 수 있음은 물론, 결과적으로 심층 신경망의 성능을 향상(노이즈 적응성을 높임)시킬 수 있는 효과를 얻을 수 있다.
더 나아가 상기 학습 데이터 증강부(210)는 크롭핑 외에 좌,우,상,하 플리핑을 통해 학습 데이터를 더 증강시킬 수도 있다. 또한 학습 데이터 증강부(210)는 전체 학습 데이터셋에 대한 학습 분포도 증가를 위해 K-fold cross-validation을 학습에 적용시킬 수도 있다. K-fold cross-validation은 학습 데이터를 균등하게 K개의 그룹으로 나누고 (K-1) 개의 Training folds와 1개의 Test fold로 지정하여 k회 검증을 하는 방식이다.
이하 증강된 학습 데이터를 학습하는 심층 신경망 학습모델(222)의 네트워크 구조를 도 3을 참조하여 부연 설명하기로 한다.
도 3은 본 발명의 실시예에 따른 심층 신경망 학습 모델(222)의 네트워크 구조를 예시한 것으로, 상기 심층 신경망 학습모델(222)은 일반적인 심층 신경망 학습모델에서와 같이 입력층(240)과 완전 연결층(FCN)(256) 사이에 컨벌루션층(convolution layer)층과 풀링층(pooling layer)이 반복되는 네트워크 구조가 아니라, 노이즈 완화를 위해 풀링층과 반복되는 컨벌루션층 중 어느 하나의 컨벌루션층에서 컨벌루션 연산과 디컨버루션 연산을 각각 병렬 처리하는 일군의 컨벌루션층(250)과 일군의 디컨벌루션층(248)을 포함하고, 상기 일군의 컨벌루션층(250)과 디컨벌루션층(248)을 각각 통과한 특성맵(feature map)들을 하나로 합쳐 완전 연결층(256)으로 전달하는 합산층(add layer)(254)을 포함함을 특징으로 한다.
이를 도 3을 참조해 설명하면, 우선 입력층(240)으로 224 x 224 x 3의 크기를 가지는 3차원 뇌혈관 조영술 영상 이미지가 입력되었다고 가정하면 첫 번째(#1) 컨벌루션층(242)에서는 입력된 3차원 뇌혈관 조영술 영상 이미지를 64개의 11 x 11 x 3 사이즈 커널로 컨벌루션 한다. 다양한 시험결과를 통해 컨벌루션 스트라이드(stride) 값에 대한 최적값을 적용하였고 제로-패딩을 사용하지 않았다. 해당 필터의 가중치 w는 L2 Norm 이 적용된다. 활성화 함수를 적용함에 있어서는 ReLU활성화 함수를 사용하고, 스트라이드 2 값으로 3 x 3 오버래핑 맥스 풀링(overlapping max pooling)(244)을 수행한다.
두번째(#2) 컨벌루션층(246)에서는 첫번째 컨벌루션층(242)에서 나온 26 x 26 x 64 특성맵을 5x 5 x 6 사이즈 커널로 컨벌루션한다. 이때의 스트라이드는 1, 제로-패딩을 수행하여 26 x 26 x 192 개의 특성맵(26 x 26 이미지 192장)을 획득한다. 활성화 함수는 역시 ReLU를 적용하고 전과 동일하게 스트라이드 2 값으로 3 x 3 오버래핑 맥스 풀링(247)을 수행한다. 그 결과 12 x 12 x 256 특성맵을 획득한다.
세번째 컨벌루션층 위치에서는 컨벌루션 연산과 디컨버루션 연산이 병렬 처리될 수 있도록 하되, 컨벌루션 연산 경로에서 수행되는 컨벌루션 연산의 수(일군의 컨벌루션층(248)이라 명함)와 디컨벌루션 연산 경로에서 수행되는 디컨벌루션 연산의 수(일군의 디컨벌루션층(250)이라 명함)가 동일하게 한다.
즉, 앞단에서 획득된 12 x 12 x 256 특성맵을 기준으로 3 x 3 x 192 커널을 사용하여 컨벌루션을 n회(n은 자연수) 반복 하고 같은 커널 크기로 디컨벌루션을 n회 반복 수행한다. 이와 같이 디컨벌루션(248)을 함으로써 앞서 2단계에 걸쳐 수행된 컨벌루션 결과물에 대한 업샘플링 처리를 함으로써 이에 따른 노이즈 완화 효과를 얻을 수 있다.
한편 12 x 12 x 256 특성맵을 n회(바람직하게는 3회)에 걸쳐 컨벌루션 및 디컨벌루션을 수행함에 있어 각 단계별 커널 크기 및 스트라이드, 제로-패딩 여부를 조금씩 달리 하되 최종 결과물이 같은 크기가 나올수 있게 수행한다. 이렇게 나온 결과물은 최종적으로 5 x 5 x 256의 특성맵 형태를 갖게 되고 컨벌루션 연산을 통과한 특성맵과 디컨벌루션 연산을 통과한 특성맵을 애드층(Add Layer)(254)에서 합친다.
이후 완전 연결층(256)에서는 5 x 5 x 256 크기의 특성맵을 4096개의 5 x 5 x 256 커널을 사용하여 컨벌루션 연산을 수행한다. 이에 1 x 1 x 4096의 특성맵(1 x 1 사이즈 특성맵 4096장)을 얻게 되고, 4096개의 성분(뉴런)으로 구성된 벡터가 만들어지며 이를 Dropout 적용시킨다. 이와 같은 연산을 두번 반복 수행한다. 즉, 1 x 1 x 4096의 특성맵을 2개의 1 x 1 커널로 컨벌루션 수행함으로써, 최종적으로 분류하고자 하는 파열 및 미파열의 위험도를 예측(구분)할 수 있는 모양의 아웃풋이 만들어지며, 상술한 바와 같은 네트워크 구조를 가지는 심층 신경망 학습모델(222)에 증강된 학습 데이터를 학습시키게 되면 각 레이어별 커널 값들에 대한 최적의 해를 구할 수 있다.
이하 상술한 학습 데이터 증강부(210)와 심층 신경망 학습모델(222)에 기반하여 뇌동맥류의 파열 및(혹은) 파열 위험도를 예측하는 뇌동맥류 파열 예측 시스템의 동작을 설명하기로 한다.
하기 설명에 앞서 뇌동맥류의 파열 혹은 파열 위험도를 예측함에 있어서 정확한 예측 결과를 얻기 위해 진단 이미지의 크기를 변경하거나 형상의 왜곡을 최소화하는 전처리 작업을 사전에 수행하는 것은 이미 당업계에서 널리 알려진 사실이므로 이에 대한 상세 설명은 생략하기로 한다.
도 4 및 도 5는 본 발명의 실시예에 따른 뇌동맥류 파열 예측 시스템의 동작을 부연 설명하기 위한 뇌동맥류 파열 예측 흐름도를 예시한 것으로, 도 4는 심층 신경망 학습모델(222)을 학습시키는 학습단계와 관련된 것이며, 도 5는 심층 신경망 학습모델(222)에 기반하여 특정 크기 이하의 뇌동맥류 파열 및 파열 위험도를 예측하는 자동 진단단계와 관련된 것이다.
도 4를 참조하면, 우선 본 발명의 실시예에 따른 뇌동맥류 파열 예측 시스템(200)은 학습을 위해 3차원 뇌혈관 조영술 영상을 I/F부(100)를 통해 외부 장치 혹은 통신부(500)를 통해 입력(S100단계)받는다. 상기 3차원 뇌혈관 조영술 영상 이미지는 환자당 5-7개 방향에서 촬영된 영상 이미지이다.
입력된 3차원 뇌혈관 조영술 영상 이미지는 표시부에 표시되고, 전문의는 특정 크기 이하의 병변 영역을 마킹하고 파열 위험도 정보를 마킹 혹은 입력(S110단계)한다. 이와 같이 병변 영역과 파열 위험도 정보가 마킹된 다수의 이미지들은 전문의 혹은 유저 명령에 따라 학습 데이터 증강부(210)로 전달되어 학습 데이터 증강(S120단계) 처리된다. 학습 데이터 증강은 앞서 설명한 크롭핑 방식과 클리핑 방식에 따라 증강 처리되어 저장부(400)에 저장되거나 심층 신경망 학습모델(222)로전달된다.
이에 도 3에 도시한 바와 같은 네트워크 구조를 가지는 심층 신경망 학습모델(222)은 증강된 학습 데이터, 즉 3차원 뇌혈관 조영술 영상 이미지에서 다단계 사이즈로 크롭된 바운딩 박스내에서 특정 크기(7mm) 이하의 병변을 가지는 특징들을 학습(S130단계)하고, 테스트 및 검증 단계를 거쳐 특정 크기 이하의 뇌동맥류 병변에 대한 파열 혹은 파열 위험도를 예측하기 위한 모델의 학습을 종료한다.
이와 같이 3차원 뇌혈관 조영술 영상 이미지에서 특정 크기(7mm) 이하의 뇌동맥류에 대한 파열 및 파열 위험도를 예측하기 위한 심층 신경망 학습모델(222)의 학습이 이루어지면 이러한 학습모델(222)에 기반하여 뇌동맥류에 대한 진단을 수행할 수 있다.
도 5를 참조하면, 우선 뇌동맥류 파열 예측 시스템(200)의 뇌동맥류 파열 위험도 예측부(220)는 환자당 6개 방향의 3차원 뇌혈관 조영술 영상 이미지를 입력 받으면(S200단계), 심층 신경망 학습모델(222)에 기초하여 상기 3차원 뇌혈관 조영술 영상 이미지에서 특정 크기(7mm) 이하의 병변을 자동 탐지한다(S210단계)한다.
이어 뇌동맥류 파열 위험도 예측부(220)는 탐지된 병변에 최적화(병변 영역을 포함하며 주위 해부학적 구조물과 구분이 되도록)된 바운딩 박스의 사이즈를 결정하여 크롭핑(S220단계)하고, 크롭된 부분의 뇌동맥류의 파열 및(혹은) 파열 위험도를 예측하여 표시부에 표시(S230단계)한다.
구체적으로 뇌동맥류 파열 위험도 예측부(220)는 6개의 3차원 뇌혈관 조영술 영상 이미지(여섯 방향) 중 50% 이상의 이미지에서 출혈이라고 판단되면 뇌동맥류의 파열이라 예측 진단하고 그 이외에는 미파열로 예측 진단한다.
또한 뇌동맥류 파열 위험도 예측부(220)는 탐지된 병변에 대해 도 6의 (a)와 같이 다엽성(화살표 표시부분)이거나, 도 6의 (b)와 같이 외부 벽의 모양이 불규칙(화살표 표시부분)하거나, 도 6의 (c)와 같이 동맥류내의 변형(daughtersac)(화살표 표시부분)을 포함하는 경우 미파열 뇌동맥류에서 이들 각각을 고위험군으로 예측 진단한다. 예측 진단된 결과는 표시부에 표시되거나 저장부(400)에 뇌혈관 조영술 영상 이미지와 함께 저장된다.
이상에서 설명한 바와 같이 본 발명의 실시예에 따른 뇌동맥류 파열 예측 시스템(200)은 심층 신경망 학습모델(222)을 학습시키기 위한 학습 데이터를 증강시킴에 있어서, 고정된 크기로 크롭핑하지 않고 다양한 크기로 크롭핑을 수행함으로써 다양한 크기와 비율을 가진 병변들에 대한 학습효과를 얻을 수 있어 노이즈 적응성을 높일 수 있는 효과를 얻을 수 있다.
또한 본 발명의 실시예에 따른 뇌동맥류 파열 예측 시스템(200)의 심층 신경망 학습모델(222)은 반복되는 하나의 컨벌루션층의 위치에서 컨벌루션 연산과 함께 디컨벌루션 연산이 병렬 처리되도록 하여 학습 혹은 진단할 영상 이미지에 대한 노이즈를 완화시켜 학습의 질과 뇌동맥류의 파열 위험도 예측 성능을 높일 수 있는 효과를 얻을 수 있으며, 무엇보다 7mm 이하의 전순환계 뇌동맥류에 대한 파열은 물론 파열 위험도가 높은 뇌동맥류를 예측하여 표시할 수 있는 장점이 있다.
위 실시예의 설명에 기초하여 해당 기술분야의 통상의 기술자는, 본 발명이 소프트웨어 및 하드웨어의 결합을 통하여 달성되거나 하드웨어만으로 달성될 수 있다는 점을 명확하게 이해할 수 있다. 본 발명의 기술적 해법의 대상물 또는 선행 기술들에 기여하는 부분들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 기계 판독 가능한 기록 매체에 기록될 수 있다. 상기 기계 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 기계 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다. 상기 하드웨어 장치는 도 1에서 부연 설명한 바와 같이 프로그램 명령어를 저장하기 위한 ROM/RAM 등과 같은 메모리와 결합되고 상기 메모리에 저장된 명령어들을 실행하도록 구성되는 CPU나 GPU와 같은 프로세서를 포함할 수 있으며, 외부 장치와 신호를 주고 받을 수 있는 통신부를 포함할 수 있다. 덧붙여, 상기 하드웨어 장치는 개발자들에 의하여 작성된 명령어들을 전달받기 위한 키보드, 마우스, 기타 외부 입력장치를 포함할 수 있다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 사람이라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다. 따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (7)

  1. 전문의에 의해 병변 영역 및 파열 위험도 정보가 마킹된 3차원 뇌혈관 조영술 영상 이미지에서 상기 병변 영역을 중심으로 하는 바운딩 박스의 크기를 가변시키면서 각 가변된 바운딩 박스를 크롭핑 및 플리핑하는 방식으로 학습 데이터를 증강시키는 학습 데이터 증강부와;
    상기 증강된 학습 데이터를 학습하는 심층 신경망 학습모델을 포함하며, 입력되는 3차원 뇌혈관 조영술 영상 이미지에서 상기 심층 신경망 학습모델에 기초해 특정 크기 이하의 병변을 자동 탐지해 뇌동맥류의 파열 위험도를 예측하여 출력하는 뇌동맥류 파열 위험도 예측부;를 포함함을 특징으로 하는 뇌동맥류 파열 예측 시스템.
  2. 청구항 1에 있어서, 상기 심층 신경망 학습모델은,
    노이즈 완화를 위해 풀링층과 반복되는 컨벌루션층 중 어느 하나의 컨벌루션층에서 컨벌루션 연산과 디컨버루션 연산을 병렬 처리하는 일군의 컨벌루션층과 일군의 디컨벌루션층을 포함하고, 상기 일군의 컨벌루션층과 디컨벌루션층을 각각 통과한 특성맵들을 하나로 합쳐 완전 연결층으로 전달하는 합산층을 포함함을 특징으로 하는 뇌동맥류 파열 예측 시스템.
  3. 청구항 1 또는 청구항 2에 있어서, 상기 특정 크기 이하의 병변은 전순환계에 위치하는 7mm 이하의 병변임을 특징으로 하는 뇌동맥류 파열 예측 시스템.
  4. 청구항 1 또는 청구항 2에 있어서, 상기 뇌동맥류 파열 위험도 예측부는,
    입력되는 3차원 뇌혈관 조영술 영상 이미지 중 50% 이상의 이미지에서 출혈이라고 판단되는 경우 뇌동맥류의 파열이라 예측하고,
    미파열 뇌동맥류 중에서 탐지된 병변에 대해 외부 벽의 모양이 불규칙하거나 다엽성이거나 동맥류내의 변형을 포함하는 경우 고위험군 미파열 동맥류로 예측함을 특징으로 하는 뇌동맥류 파열 예측 시스템.
  5. 전문의에 의해 병변 영역 및 파열 위험도 정보가 마킹된 3차원 뇌혈관 조영술 영상 이미지를 학습하는 심층 신경망 학습모델과;
    입력되는 3차원 뇌혈관 조영술 영상 이미지에서 상기 심층 신경망 학습모델에 기초해 특정 크기 이하의 병변을 자동 탐지해 뇌동맥류의 파열 위험도를 예측하여 출력하는 뇌동맥류 파열 위험도 예측부;를 포함하되, 상기 심층 신경망 학습모델은,
    풀링층과 반복되는 컨벌루션층 중 어느 하나의 컨벌루션층에서 노이즈 완화를 위해, 컨벌루션 연산과 디컨버루션 연산을 각각 병렬 처리하는 일군의 컨벌루션층과 일군의 디컨벌루션층을 포함하고, 상기 일군의 컨벌루션층과 디컨벌루션층을 각각 통과한 특성맵들을 하나로 합쳐 완전 연결층으로 전달하는 합산층을 포함함을 특징으로 하는 뇌동맥류 파열 예측 시스템.
  6. 청구항 2 또는 청구항 5에 있어서, 상기 일군의 컨벌루션층과 디컨벌루션층 각각은 동수의 컨벌루션층과 디컨벌루션층이 연속되는 구조이며, 동일 층을 형성하는 컨벌루션층과 디컨벌루션층은 같은 커널 크기로 컨벌루션 연산과 디컨벌루션 연산을 수행함을 특징으로 하는 뇌동맥류 파열 예측 시스템.
  7. 청구항 1 또는 청구항 5에 있어서, 상기 뇌동맥류 파열 위험도 예측부는,
    상기 3차원 뇌혈관 조영술 영상 이미지에서 상기 심층 신경망 학습모델에 기초해 특정 크기 이하의 병변을 자동 탐지하고, 자동 탐지된 병변에 최적화된 바운딩 박스의 사이즈를 결정하여 크로핑한 후, 크롭된 부분의 뇌동맥류 파열 위험도를 예측함을 특징으로 하는 뇌동맥류 파열 예측 시스템.
PCT/KR2020/006229 2020-01-20 2020-05-12 뇌동맥류 파열 예측 시스템 WO2021149875A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200007623A KR102359860B1 (ko) 2020-01-20 2020-01-20 뇌동맥류 파열 예측 시스템
KR10-2020-0007623 2020-01-20

Publications (1)

Publication Number Publication Date
WO2021149875A1 true WO2021149875A1 (ko) 2021-07-29

Family

ID=76993047

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/006229 WO2021149875A1 (ko) 2020-01-20 2020-05-12 뇌동맥류 파열 예측 시스템

Country Status (2)

Country Link
KR (1) KR102359860B1 (ko)
WO (1) WO2021149875A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240018722A (ko) * 2022-08-02 2024-02-14 니어브레인(주) 뇌혈류 데이터를 연산하는 방법 및 뇌혈류 데이터를 연산하기 위한 신경망 모델의 학습 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018041434A (ja) * 2016-09-01 2018-03-15 カシオ計算機株式会社 診断支援装置、及び診断支援装置における画像処理方法、並びにプログラム
KR101974786B1 (ko) * 2018-08-17 2019-05-31 (주)제이엘케이인스펙션 뇌동맥류 병변의 특성을 이용한 중증도 및 예후 예측 방법 및 시스템
KR102015223B1 (ko) * 2018-08-17 2019-10-21 (주)제이엘케이인스펙션 3차원 자기공명영상과 다평면 혈관투영영상을 활용한 뇌질환 진단 방법 및 장치
KR102043672B1 (ko) * 2019-03-29 2019-11-12 주식회사 딥노이드 딥러닝 기반의 병변 판독 시스템 및 방법
KR20190143785A (ko) * 2018-06-07 2019-12-31 베이징 쿠앙쉬 테크놀로지 씨오., 엘티디. 영상 처리 방법 및 장치, 및 전자 디바이스

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018041434A (ja) * 2016-09-01 2018-03-15 カシオ計算機株式会社 診断支援装置、及び診断支援装置における画像処理方法、並びにプログラム
KR20190143785A (ko) * 2018-06-07 2019-12-31 베이징 쿠앙쉬 테크놀로지 씨오., 엘티디. 영상 처리 방법 및 장치, 및 전자 디바이스
KR101974786B1 (ko) * 2018-08-17 2019-05-31 (주)제이엘케이인스펙션 뇌동맥류 병변의 특성을 이용한 중증도 및 예후 예측 방법 및 시스템
KR102015223B1 (ko) * 2018-08-17 2019-10-21 (주)제이엘케이인스펙션 3차원 자기공명영상과 다평면 혈관투영영상을 활용한 뇌질환 진단 방법 및 장치
KR102043672B1 (ko) * 2019-03-29 2019-11-12 주식회사 딥노이드 딥러닝 기반의 병변 판독 시스템 및 방법

Also Published As

Publication number Publication date
KR20210093696A (ko) 2021-07-28
KR102359860B1 (ko) 2022-02-09

Similar Documents

Publication Publication Date Title
CN109635862B (zh) 早产儿视网膜病plus病变分类方法
US9510756B2 (en) Method and system for diagnosis of attention deficit hyperactivity disorder from magnetic resonance images
KR20190135908A (ko) 인공지능 기반 치매 진단 방법 및 장치
KR102015224B1 (ko) 딥러닝 기반의 뇌출혈 및 뇌종양 병변 진단 방법 및 장치
US11043295B2 (en) Method and providing unit for providing a virtual tomographic stroke follow-up examination image
WO2019231104A1 (ko) 심층 신경망을 이용하여 영상을 분류하는 방법 및 이를 이용한 장치
US11244455B2 (en) Apparatus, method, and program for training discriminator discriminating disease region, discriminator discriminating disease region, disease region discrimination apparatus, and disease region discrimination program
JP2022180466A (ja) 診断支援装置、学習装置、診断支援方法、学習方法及びプログラム
WO2021149875A1 (ko) 뇌동맥류 파열 예측 시스템
KR20190087681A (ko) 자궁경부암에 대한 피검체의 발병 여부를 판정하는 방법
CN111667459A (zh) 一种基于3d可变卷积和时序特征融合的医学征象检测方法、系统、终端及存储介质
CN111986202A (zh) 青光眼辅助诊断装置、方法及存储介质
WO2019102844A1 (ja) 分類装置、分類方法、プログラム、ならびに、情報記録媒体
Kajan et al. Detection of diabetic retinopathy using pretrained deep neural networks
WO2021014584A1 (ja) プログラム、情報処理方法及び情報処理装置
JP7346600B2 (ja) 子宮頸がん自動診断システム
Haider et al. Modified Anam-Net Based Lightweight Deep Learning Model for Retinal Vessel Segmentation.
Manan et al. A Residual Encoder-Decoder Network for Segmentation of Retinal Image-Based Exudates in Diabetic Retinopathy Screening
Biradher et al. Classification of wireless capsule endoscopy bleeding images using deep neural network
CN115760745A (zh) 一种三叉神经痛疾病预测模型的构建方法和装置
KR20200067052A (ko) 안저 사진을 이용한 뇌동맥류 예측 장치 및 뇌동맥류 예측 결과 제공 방법
WO2023018344A1 (en) Automatic detection and differentiation/classification of the esophagus, stomach, small bowel and colon lesions in device-assisted enteroscopy using a convolutional neuronal network
CA3166026A1 (en) Depression identification method based on facial video, depression identification device based on facial video, and storage medium
WO2018236195A1 (ko) 초음파 영상 처리 방법
WO2020263002A1 (ko) 혈관 세그멘테이션 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20915060

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20915060

Country of ref document: EP

Kind code of ref document: A1