WO2023140449A1 - 담낭 용종 판단 시스템 및 그 방법 - Google Patents

담낭 용종 판단 시스템 및 그 방법 Download PDF

Info

Publication number
WO2023140449A1
WO2023140449A1 PCT/KR2022/012130 KR2022012130W WO2023140449A1 WO 2023140449 A1 WO2023140449 A1 WO 2023140449A1 KR 2022012130 W KR2022012130 W KR 2022012130W WO 2023140449 A1 WO2023140449 A1 WO 2023140449A1
Authority
WO
WIPO (PCT)
Prior art keywords
polyp
gallbladder
classification model
gallbladder polyp
model
Prior art date
Application number
PCT/KR2022/012130
Other languages
English (en)
French (fr)
Inventor
이인석
최영훈
이승철
김태완
Original Assignee
가톨릭대학교 산학협력단
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220010235A external-priority patent/KR102713805B1/ko
Application filed by 가톨릭대학교 산학협력단, 포항공과대학교 산학협력단 filed Critical 가톨릭대학교 산학협력단
Publication of WO2023140449A1 publication Critical patent/WO2023140449A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5292—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves using additional data, e.g. patient information, image labeling, acquisition parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Definitions

  • the present invention provides a gallbladder polyp determination system and method for classifying gallbladder polyps.
  • Gallbladder polyps refer to those that proliferate in the lumen of the gallbladder and protrude like a lump. Gallbladder polyps can be classified into true polyps, including adenomas and adenocarcinomas, and pseudopolyps, such as cholesterol polyps. In the case of true gallbladder polyps, cholecystectomy is necessary because they are malignant or have the possibility of malignancy. However, if the gallbladder polyp is pseudopolyposis, cholecystectomy is not required.
  • Gallbladder polyps are known to be found in 5% of patients undergoing abdominal ultrasonography, and with the recent increase in abdominal ultrasonography performed as part of regular medical examinations, incidental findings are also increasing.
  • One of the well-known risk factors for true gallbladder polyps is the size of the polyps. Typically, 10 mm is used as the cut-off value for cholecystectomy. However, when the cut-off value for cholecystectomy is 10 mm, the sensitivity and specificity for determining whether or not there is a true polyp is about 70%, and research results have shown that 30% of patients undergo unnecessary cholecystectomy.
  • Deep learning a type of artificial intelligence technology, analyzes input data using a deep neural network, and probabilistically classifies an object or predicts a value within a specific range, and is gradually being used in the medical field. Deep learning introduced in the medical field can be used to effectively distinguish subtle differences in image patterns.
  • the present embodiments may provide a gallbladder polyp determination system and method for classifying a gallbladder polyp into a pseudo polyp or a true polyp based on an ultrasound image of the gallbladder polyp obtained through ultrasound examination using artificial intelligence.
  • a collection unit for collecting abdominal ultrasound images of gallbladder polyps labeled with true polyps or pseudo polyps; a data generator configured to generate input data to be input to a gallbladder polyp classification model, which is an ensemble model including n prediction models (n is an integer of 2 or more) based on an abdominal ultrasound image; a model learning unit for learning a gallbladder polyp classification model using the input data; and a classification unit configured to classify an abdominal ultrasound image of a new gallbladder polyp into a true polyp or a pseudo polyp by using a gallbladder polyp classification model.
  • a gallbladder polyp classification model which is an ensemble model including n prediction models (n is an integer of 2 or more) based on an abdominal ultrasound image
  • a model learning unit for learning a gallbladder polyp classification model using the input data
  • a classification unit configured to classify an abdominal ultrasound image of a new gallbladder polyp into a true polyp or a pseudo polyp by using
  • Another embodiment includes collecting abdominal ultrasound images of gallbladder polyps labeled with whether they are true polyps or pseudo polyps; generating input data to be input to a gallbladder polyp classification model, which is an ensemble model including n (n is an integer of 2 or more) prediction models based on an abdominal ultrasound image; training a gallbladder polyp classification model using the input data; and classifying an abdominal ultrasound image of a new gallbladder polyp into a true polyp or a pseudo polyp using a gallbladder polyp classification model.
  • a gallbladder polyp classification model which is an ensemble model including n (n is an integer of 2 or more) prediction models based on an abdominal ultrasound image
  • FIG. 1 is a block diagram showing the configuration of a gallbladder polyp determination system according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing the configuration of a data generating unit of FIG. 1 .
  • FIG. 3 is a diagram illustrating pre-processing of an abdominal ultrasound image by the pre-processing unit of FIG. 2 .
  • FIG. 4 is a diagram illustrating data enhancement by the data augmentation unit of FIG. 2 .
  • FIG. 5 is a diagram showing an example of a predictive model according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating that a gallbladder polyp classification model classifies a type of gallbladder polyp based on the output of the prediction model of FIG. 5 .
  • FIG. 7 is a diagram showing a cross-validation dataset according to an embodiment of the present invention.
  • FIG. 8 is a diagram showing a receiver operating characteristic curve according to an embodiment of the present invention.
  • FIG. 9 is a view showing an abdominal ultrasound image of gallbladder polyps according to an embodiment of the present invention.
  • FIG. 10 is a flowchart of a method for determining gallbladder polyps according to another embodiment of the present invention.
  • step of (doing) or “step of” as used throughout the specification of the present invention does not mean “step for”.
  • a "unit” includes a unit realized by hardware, a unit realized by software, and a unit realized using both. Further, one unit may be realized using two or more hardware, and two or more units may be realized by one hardware.
  • a terminal, device, or device may be performed instead by a server connected to the terminal, device, or device.
  • some of the operations or functions described as being performed by the server may also be performed by a terminal, apparatus, or device connected to the server.
  • mapping or matching with a terminal may be interpreted as mapping or matching a terminal's unique number or personal identification information, which is the terminal's identifying data.
  • FIG. 1 is a block diagram showing the configuration of a gallbladder polyp determination system according to an embodiment of the present invention.
  • the gallbladder polyp determination system 100 may include a collecting unit 110, a data generating unit 120, a model learning unit 130, and a classification unit 140.
  • the collection unit 110 may collect abdominal ultrasound images of gallbladder polyps labeled as true polyps or pseudopolyps.
  • Gallbladder polyps can be classified into true polyps and pseudopolyps.
  • Pseudopolyps are polyps unrelated to cancer, such as cholesterol polyps and inflammatory polyps, and true polyps include polyps that include adenomas and adenocarcinomas.
  • True polyps are malignant or potentially malignant, requiring cholecystectomy.
  • the sensitivity and specificity are about 70%, and there is a report that 30% of patients undergo unnecessary cholecystectomy.
  • Morphological characteristics of polyps on abdominal ultrasound images are helpful in distinguishing true polyps.
  • it is difficult to accurately evaluate the characteristics and the results may differ depending on the ultrasound image reader discrimination using image characteristics of gallbladder polyps is inefficient.
  • deep learning which is a field of artificial intelligence, can result in effectively distinguishing undetectable differences in various fields, particularly in the field of medical imaging.
  • abdominal ultrasound image is a true polyp or a pseudo polyp may be labeled.
  • Whether a true polyp or a false polyp labeled in an abdominal ultrasound image can be used to learn an artificial neural network.
  • An abdominal ultrasound image may be captured by an abdominal ultrasound examination device, and the captured abdominal ultrasound image may be collected by the collecting unit 110 into the gallbladder polyp determination system 100 .
  • the data generator 120 may generate input data to be input to a gallbladder polyp classification model, which is an ensemble model including n prediction models (n is an integer of 2 or more) based on the abdominal ultrasound image.
  • a gallbladder polyp classification model which is an ensemble model including n prediction models (n is an integer of 2 or more) based on the abdominal ultrasound image.
  • the gallbladder polyp classification model may be an ensemble model including a plurality of predictive models.
  • Ensemble learning is a learning method for learning an ensemble model, and refers to a technique for obtaining more accurate predictions by combining predictions obtained through a plurality of weaker models instead of using one strong model.
  • Ensemble learning can generally be divided into voting, which is a method in which different prediction models determine the final prediction result through voting, bagging, which is a method of using all algorithm-based prediction models of the same type, learning models through data sampling and aggregating the results, and boosting, in which learning and prediction proceeds while the previous prediction model gives weight to the next prediction model after several prediction models are sequentially learned.
  • the input data is data input to each prediction model included in the gallbladder polyp classification model, and may be used to train and verify the prediction model.
  • the data generating unit 120 may process the abdominal ultrasound image of the gallbladder polyp into a format suitable for input into the predictive model.
  • the model learning unit 130 may learn a gallbladder polyp classification model using the input data.
  • the model learning unit 130 may divide the input data into a training dataset and a verification dataset.
  • the training dataset is used to train the predictive model, and the model learner 130 may use the training dataset to modify weights and biases to increase the accuracy of the predictive model.
  • the model learning unit 130 may evaluate the performance of a trained predictive model or ensemble model using a verification dataset.
  • the model learning unit 130 may set a ratio between pseudopolyps and true polyps in the training dataset to be equal to a ratio between pseudopolyps and true polyps in the verification dataset.
  • the classification unit 140 may classify an abdominal ultrasound image of a new gallbladder polyp into a true polyp or a pseudo polyp by using a gallbladder polyp classification model.
  • the abdominal ultrasound image of the new gallbladder polyp may be processed into a format suitable for input into the gallbladder polyp classification model.
  • the classification unit 40 inputs the processed abdominal ultrasound image of the new gallbladder polyp into a plurality of prediction models included in the gallbladder polyp classification model, obtains a probability of being a true polyp for each predictive model, and collects them to output whether the gallbladder polyp is a true polyp or a false polyp.
  • the gallbladder polyp classification system 100 is used to effectively distinguish differences in abdominal ultrasound image patterns of gallbladder polyps, which are difficult to detect through a gallbladder polyp classification model through deep learning, and can distinguish the type of gallbladder polyp into a true polyp or pseudo polyp.
  • FIG. 2 is a block diagram showing the configuration of a data generating unit of FIG. 1 .
  • the data generator 120 of the gallbladder polyp determination system 100 may include a preprocessor 210 and a data enhancer 220 .
  • the preprocessing unit 210 included in the data generating unit 120 may generate input data by preprocessing the abdominal ultrasound image.
  • the data augmentation unit 220 may enhance the input data by performing at least one of rotation and vertical inversion on the preprocessed input data.
  • FIG. 3 is a diagram illustrating pre-processing of an abdominal ultrasound image by the pre-processing unit of FIG. 2 .
  • the preprocessing unit 210 may cut out the polyp from the abdominal ultrasound image. In addition, the preprocessing unit 210 may resize the image of the cut out polyp. Also, the pre-processing unit 210 may normalize the brightness and contrast of the resized image.
  • each of the first abdominal ultrasound image AUI1 and the second abdominal ultrasound image AUI2 is preprocessed by the preprocessor 210 .
  • (A) of FIG. 3 shows that the polyp portion of the first abdominal ultrasound image AUI1 and the second abdominal ultrasound image AUI2 is cut out by the preprocessing unit 210 .
  • the preprocessing unit 210 In the first abdominal ultrasound image and the second abdominal ultrasound image, whether a pseudopolyp or a true polyp may be labeled.
  • 3(B) shows that the preprocessing unit 210 resizes the abdominal ultrasound image of the cut polyp to the same size.
  • the preprocessor 210 may resize the abdominal ultrasound image of the polyp according to the input of the predictive model.
  • the preprocessor 210 may normalize the brightness and contrast of the resized abdominal ultrasound image.
  • Abdominal ultrasound images may be taken from a variety of abdominal ultrasound machines. At this time, the brightness and contrast of the abdominal ultrasound image may be variously distributed.
  • the preprocessor 210 performs brightness normalization to prevent the predictive model from being learned by brightness, and contrast normalization can be performed to better represent the characteristics of the abdominal ultrasound image.
  • the abdominal ultrasound image is converted into input data suitable for input into the predictive model.
  • FIG. 4 is a diagram illustrating data enhancement by the data augmentation unit of FIG. 2 .
  • the data augmentation unit 220 may generate 8 augmented input data by performing at least one of rotation (90 degrees/180 degrees/270 degrees) and up/down reversal of the preprocessed input data.
  • (E) is the input data showing the vertical inversion of (A).
  • (F), (G) and (H) indicate clockwise rotation of (E) by 90 degrees, 180 degrees and 270 degrees, respectively.
  • the data augmentation unit 220 may perform both rotation and up/down inversion, or perform data augmentation to less than 8 by performing only part of the rotation and up/down inversion on the input data.
  • the data enhancer 220 is to prevent the characteristic of the polyp for the augmented input data from being damaged during image processing. In addition, it is possible to increase the performance of the predictive model by securing a large number of input data.
  • FIG. 5 is a diagram showing an example of a predictive model according to an embodiment of the present invention.
  • each of the n prediction models included in the gallbladder polyp classification model may be a convolutional neural network based on one of ResNet, Inception, and DenseNet.
  • a convolutional neural network includes a convolution layer that extracts features through a convolution operation and a pooling layer that performs a pooling operation that reduces the size of the feature map by downsampling the feature map.
  • the convolution layer may perform a convolution operation while striding a kernel matrix to an input matrix, and may extract features through this to generate a feature map.
  • Weights in convolutional neural networks are elements of a kernel matrix, and weights can be changed in the process of learning a predictive model.
  • the pooling layer is a layer usually placed after the convolution layer, and serves to emphasize some features by performing nonlinear downsampling.
  • a representative value within a range can be extracted using a method such as max pooling, average pooling, or min pooling.
  • the pooling layer can control overfitting by reducing the spatial size and reducing the number of parameters and computational load of the network.
  • the convolutional neural network may include a fully connected layer.
  • a fully connected layer is connected to all neurons in the previous layer, and can perform final classification after one or more convolutional and pooling layers.
  • ResNet residual neural network
  • ResNet can use a skip connection or a shortcut that skips a specific layer.
  • ResNet is designed to solve the vanishing gradient problem that occurs during backpropagation.
  • the gallbladder polyp determination system 100 a deeper design is possible and high performance can be obtained by using a ResNet-based convolutional neural network in n prediction models.
  • Inception-based neural networks can perform convolution by applying kernels with different sizes at the same level, and at this time, pooling can also be performed simultaneously. Inception can concatenate the output of each kernel and pool and pass it to the next Inception model.
  • the gallbladder polyp determination system 100 may obtain a result of applying kernels of various sizes to n prediction models using an Inception-based neural network.
  • Inception may use V2, V3, V4 and Inception-ResNet V1, V2, etc., and is not limited to the above examples.
  • DenseNet is a neural network in which each layer is connected to all other layers. DenseNet can connect feature maps of all layers. In this case, all feature maps may have the same size. DenseNet can prevent loss of information by connecting the feature maps of the first layer to the feature maps of the last layer.
  • DenseNet can introduce the concept of Dense blocks to perform pooling operations. Dense blocks are composed of several layers, and pooling operations can be performed between Dense blocks.
  • the gallbladder polyp determination system 100 can alleviate the problem of loss of the initial gradient during backpropagation by using a DenseNet-based neural network in n prediction models, and since it learns by connecting feature maps of various layers, a normalization effect can be obtained. Also, since the feature map is combined with the feature map of the previous layer and transferred to the next layer, the number of parameters may be small.
  • Each predictive model of the gallbladder polyp determination system 100 may output a probability for an input.
  • n 3 and each artificial neural network is based on ResNet, Inception, and DenseNet.
  • a first output (Output1) that is a corresponding probability value may be output.
  • the second output Output2 is output
  • the third output Output3 is output.
  • the first to third outputs (Output1, Output2, and Output3) may mean a probability of being a true polyp predicted through each prediction model.
  • the model learning unit 130 when learning the predictive model, not only learns the predictive model from the beginning, but also transfer learning in a method of changing weights based on the previously learned artificial neural network.
  • the predictive model can be learned by applying transfer learning. At this time, fine-tuning for classifying gallbladder polyps may be performed. Transfer learning can effectively train an artificial neural network at high speed even when the training dataset is relatively small, and can provide higher accuracy than training without transfer learning.
  • FIG. 6 is a diagram illustrating that a gallbladder polyp classification model classifies a type of gallbladder polyp based on the output of the prediction model of FIG. 5 .
  • the gallbladder polyp classification model of the gallbladder polyp determination system 100 sums probabilities output from n predictive models, and classifies the polyp as a pseudopolyp or a true polyp based on whether the summed probability value exceeds a threshold.
  • the first to third outputs Output1, Output2, and Output3 may be probability values calculated from each prediction model.
  • the gallbladder polyp classification model is an ensemble model, and the type of polyp may be finally classified by synthesizing outputs of prediction models included in the gallbladder polyp classification model.
  • voting which is a method of predicting a final result by combining prediction models having different algorithms and voting for each result, may be applied to the gallbladder polyp classification model.
  • hard voting in which a majority rule is applied and soft voting in which a label value with the highest probability is classified as a final value by averaging results predicted by each prediction model may be applied.
  • the gallbladder polyp classification model may add the first to third outputs (Output1, Output2, and Output3) received from each of the prediction models and then compare them with a threshold.
  • the threshold may be set to have the best classification performance of the gallbladder polyp classification model.
  • the model learning unit 130 of the gallbladder polyp determination system 100 may set a threshold such that a Youden index is the largest.
  • weights of the artificial neural network may be adjusted through a training dataset, and performance of a predicted model or an ensemble model trained through a verification dataset may be evaluated.
  • performance evaluation indicators include Accuracy, which is the ratio of positive to negative out of all cases, Sensitivity, which is the ratio of positive to negative out of actual positive, Specificity, which is the ratio of negative out of actual negative, PPV (positive predictive value), which is the ratio of actual positive out of positive decisions, NPV (negative predictive value), which is the ratio of actual negative out of negative decisions, and area under curve (AUC), which is the area of the receiver operating characteristics curve (ROC curve).
  • the Youden index is called Youden's J statistic, which is defined as subtracting 1 from the sum of sensitivity and specificity, and can be expressed as [Equation 2].
  • the Yuden indicator is a single statistic that indicates the performance of the dichotomous discrimination test, and can be used as a method of summarizing the performance of the discrimination test.
  • the Yuden index can be used as a criterion for selecting an optimal cut-off point when the test provides numerical results rather than dichotomous results.
  • the gallbladder polyp classification model may determine whether the polyp is a pseudopolyp or a true polyp based on a threshold that allows the Juden index to be maximized by summing the probability values received from each prediction model.
  • FIG. 7 is a diagram showing a cross-validation dataset according to an embodiment of the present invention.
  • the model learning unit 130 of the gallbladder polyp determination system 100 divides input data into k groups (k is an integer of 2 or more) to train a gallbladder polyp classification model, and performs k-fold cross-validation.
  • the model learning unit 130 divides the input data generated by the data generation unit 120 into k groups, uses one of the grouped data sets as a verification data set, and determines the remaining k-1 groups as training data sets to perform training and verification processes.
  • the model learning unit 130 selects one of the remaining datasets other than the dataset previously selected as a validation dataset and uses it as a new validation dataset, and uses the other unselected datasets of k-1 groups as a training dataset to perform training and validation again.
  • the model learning unit 130 may perform k-fold cross validation. At this time, assuming that k is 5, the input data can be divided into groups of A, B, C, D, and E. The model learning unit 130 may determine one of the datasets divided into five groups as a verification dataset.
  • the model learning unit 130 determines the dataset of group E in the first fold (1-fold) as a validation dataset, and the datasets of the remaining four groups A, B, C, and D as training datasets. Thereafter, the model learning unit 130 may train an artificial neural network included in the gallbladder polyp classification model using the training datasets of groups A, B, C, and D, and evaluate the performance of the gallbladder polyp classification model using the validation dataset of group E.
  • the model learning unit 130 determines dataset D, which is one of the datasets of groups A, B, C, and D, excluding the dataset of group E, as a verification dataset, and the remaining four datasets of A, B, C, and E can be determined as training datasets. Thereafter, the model learning unit 130 may train the artificial neural network included in the gallbladder polyp classification model using the training datasets of groups A, B, C, and E, and evaluate the performance of the gallbladder polyp classification model using the verification dataset of group D.
  • the model learning unit 130 may repeat the above-described process for the datasets of groups A, B, and C that are not determined as verification datasets.
  • each result may be calculated differently for each repeated verification process.
  • the model learning unit 130 may take the average of the result values obtained through the verification process repeated five times and use it as the verification result value of the gallbladder polyp classification model.
  • the model learning unit 130 may provide an effect of performing training and verification a total of k times using limited input data through k-fold cross validation.
  • FIG. 8 is a diagram showing a receiver operating characteristic curve according to an embodiment of the present invention.
  • the model learning unit 130 may train a gallbladder polyp classification model by further including additional clinical information.
  • the model learning unit 130 may further include additional clinical information, which is another risk factor, as well as preprocessed input data of an abdominal ultrasound image of the gallbladder polyp to compare classification performance. Additional clinical information can be connected in parallel to the last fully connected layer of each artificial neural network and used together with the features of the ultrasound scan for final prediction.
  • the additional clinical information may include one or more of the age of the patient or the size of the polyp.
  • the receiver operating characteristic curve and the threshold value when the Yuden index is maximum when there is no additional clinical information A
  • the receiver operating characteristic curve and the threshold value when the Yuden index is maximum when the additional clinical information is the age of the patient
  • the receiver operating characteristic curve and the threshold value when the Yuden index is maximum when the additional clinical information is the size of the polyp
  • the receiver operating characteristic curve when the additional clinical information is both the age of the patient and the size of the polyp (D) and a threshold value when the Yuden exponent is maximum.
  • the AUC of the gallbladder polyp classification model is 0.896, and the threshold is 0.34.
  • the additional clinical information is the age of the patient (B)
  • the AUC of the gallbladder polyp classification model is 0.9024
  • the critical value is 0.38.
  • the additional clinical information is the size of the polyp (C)
  • the AUC of the gallbladder polyp classification model is 0.9046
  • the critical value is 0.36.
  • the additional clinical information is both the age of the patient and the size of the polyp (D)
  • the AUC of the gallbladder polyp classification model is 0.9082, and the critical value is 0.25.
  • the threshold set for the highest Yuden index was 0.287, and in the case of 131 patients with gallbladder polyps smaller than 10 mm in size, the threshold set for the highest Yuden index was 0.292.
  • FIG. 9 is a view showing an abdominal ultrasound image of gallbladder polyps according to an embodiment of the present invention.
  • the first row of FIG. 9 is an abdominal ultrasound image of a pseudopolyp, and the second row is an abdominal ultrasound image of a true polyp.
  • Columns 1 and 2 of FIG. 9 are abdominal ultrasound images that were successfully predicted when the size of the polyp was less than 10 mm, and columns 4 and 5 were abdominal ultrasound images that were successfully predicted when the size of the polyp was 10 mm or more.
  • gallbladder polyps are small in size and have hyperechoic spots, they are regarded as pseudopolyps in the process of judgment through abdominal ultrasound images.
  • the classification unit 140 of the gallbladder polyp determination system 100 can distinguish true polyps from among polyps that are small in size and have hyperechoic spots through the learned gallbladder polyp classification model.
  • the classification unit 140 can promote cholecystectomy by determining that the polyp is a true polyp through the gallbladder polyp classification model, even if the gallbladder is not determined as a true polyp only by an abdominal ultrasound image examination and passes without performing cholecystectomy.
  • the classification unit 140 can prevent unnecessary cholecystectomy by determining whether a gallbladder polyp with a gallbladder polyp of 10 mm or more, which is a cutoff value for general cholecystectomy, is a pseudopolyp through a gallbladder polyp classification model.
  • the gallbladder polyp determination system 100 may derive detailed results that could not be derived only from a simple abdominal ultrasound image examination.
  • FIG. 10 is a flowchart of a method for determining gallbladder polyps according to another embodiment of the present invention.
  • the gallbladder polyp determination method 1000 may include collecting an abdominal ultrasound image of a gallbladder polyp labeled with whether it is a true polyp or a pseudo polyp (S1010). At this time, step S1010 may be performed by the collection unit 110 of the system 100 for determining gallbladder polyps.
  • the gallbladder polyp determination method 1000 may include generating input data to be input to a gallbladder polyp classification model, which is an ensemble model including n prediction models (n is an integer of 2 or more) based on an abdominal ultrasound image (S1020).
  • step S1020 may be performed by the data generating unit 120 of the gallbladder polyp determination system 100 .
  • each of the n prediction models of the gallbladder polyp determination method 1000 may be a convolutional neural network based on one of ResNet, Inception, and DenseNet.
  • the step of generating data to be input to the gallbladder polyp classification model may include generating input data by performing preprocessing including cropping, resizing, and brightness and contrast normalization on the abdominal ultrasound image, and augmenting the input data by performing at least one of rotation and vertical inversion on the input data.
  • the gallbladder polyp determination method 1000 may include training a gallbladder polyp classification model using the input data (S1030).
  • step S1030 may be performed by the model learning unit 130 of the gallbladder polyp determination system 100 .
  • the gallbladder polyp determination method 1000 sums probabilities output from n predictive models, and classifies an abdominal ultrasound image of a new gallbladder polyp as a pseudo polyp or a true polyp based on whether the summed probability value exceeds a threshold value.
  • the threshold value may be set such that the Juden's index is the largest.
  • k-fold cross-validation may be performed by classifying the input data into k groups (k is an integer of 2 or more) to train the gallbladder polyp classification model.
  • the gallbladder polyp classification model in the step of training the gallbladder polyp classification model (S1030), the gallbladder polyp classification model may be trained by further including additional clinical information.
  • the additional clinical information may include one or more of the age of the patient or the size of the polyp.
  • the gallbladder polyp determination method 1000 may include a step of classifying an abdominal ultrasound image of a new gallbladder polyp into a true polyp or a pseudo polyp by using a gallbladder polyp classification model (S1040).
  • step S1040 may be performed by the classification unit 140 of the gallbladder polyp determination system 100 .
  • the gallbladder polyp determination system 100 described above may be implemented by a computing device including at least some of a processor, a memory, a user input device, and a presentation device.
  • Memory is a medium that stores computer-readable software, applications, program modules, routines, instructions, and/or data that are coded to perform particular tasks when executed by a processor.
  • a processor may read and execute computer-readable software, applications, program modules, routines, instructions, and/or data stored in memory.
  • the user input device may be a means for allowing a user to input a command to execute a specific task to the processor or input data required for execution of the specific task.
  • the user input device may include a physical or virtual keyboard or keypad, key buttons, mouse, joystick, trackball, touch-sensitive input means, or a microphone.
  • the presentation device may include a display, a printer, a speaker, or a vibrator.
  • Computing devices may include a variety of devices such as smart phones, tablets, laptops, desktops, servers, and clients.
  • a computing device may be a single stand-alone device or may include multiple computing devices operating in a distributed environment consisting of multiple computing devices cooperating with each other over a communications network.
  • gallbladder polyp determination method 1000 may be executed by a computing device including a processor and a memory storing computer readable software, applications, program modules, routines, instructions, and/or data structures coded to perform an image determination method using a deep learning model when executed by the processor.
  • present embodiments described above may be implemented through various means.
  • the present embodiments may be implemented by hardware, firmware, software, or a combination thereof.
  • the present embodiments may be implemented by one or more Application Specific Integrated Circuits (ASICs), Digital Signal Processors (DSPs), Digital Signal Processing Devices (DSPDs), Programmable Logic Devices (PLDs), Field Programmable Gate Arrays (FPGAs), processors, controllers, microcontrollers, or microprocessors.
  • ASICs Application Specific Integrated Circuits
  • DSPs Digital Signal Processors
  • DSPDs Digital Signal Processing Devices
  • PLDs Programmable Logic Devices
  • FPGAs Field Programmable Gate Arrays
  • processors controllers, microcontrollers, or microprocessors.
  • the gallbladder polyp determination method 1000 may be implemented using an artificial intelligence semiconductor device in which neurons and synapses of a deep neural network are implemented as semiconductor devices.
  • the semiconductor device may be currently used semiconductor devices such as SRAM, DRAM, NAND, etc., next-generation semiconductor devices, RRAM, STT MRAM, PRAM, etc., or a combination thereof.
  • the results (weights) of learning the deep learning model as software may be transferred to synaptic mimic devices arranged in an array, or the artificial intelligence semiconductor device may perform the learning.
  • the method 1000 for determining gallbladder polyps may be implemented in the form of a device, procedure, or function that performs the functions or operations described above.
  • the software codes may be stored in a memory unit and driven by a processor.
  • the memory unit may be located inside or outside the processor and exchange data with the processor by various means known in the art.
  • system may generally refer to a computer-related entity hardware, a combination of hardware and software, software, or running software.
  • a component can be both an application running on a controller or processor and a controller or processor.
  • One or more components may reside within a process and/or thread of execution, and components may reside on one device (eg, system, computing device, etc.) or may be distributed across two or more devices.
  • another embodiment provides a computer program stored in a computer recording medium that performs the gallbladder polyp determination method 1000 described above.
  • another embodiment provides a computer-readable recording medium on which a program for realizing the above-described gallbladder polyp determination method 1000 is recorded.
  • a program recorded on a recording medium may be read, installed, and executed in a computer to execute the above-described steps.
  • the above-described program may include a code coded in a computer language such as C, C++, JAVA, or machine language that can be read by a processor (CPU) of a computer through a device interface of the computer.
  • a computer language such as C, C++, JAVA, or machine language that can be read by a processor (CPU) of a computer through a device interface of the computer.
  • These codes may include functional codes related to functions defining the above-described functions, and may include control codes related to execution procedures necessary for a processor of a computer to execute the above-described functions according to a predetermined procedure.
  • codes may further include memory reference related codes for determining where additional information or media necessary for the computer processor to execute the above-mentioned functions should be referenced from which location (address address) of the computer's internal or external memory.
  • the code may further include communication-related codes for how the processor of the computer communicates with any other remote computer or server using the communication module of the computer, and what information or media should be transmitted and received during communication.
  • Computer-readable recording media on which the above-described programs are recorded include, for example, ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical media storage device, and the like, and may also include those implemented in the form of carrier waves (e.g., transmission through the Internet).
  • the computer-readable recording medium is distributed in computer systems connected through a network, so that computer-readable codes can be stored and executed in a distributed manner.
  • a functional program for implementing the present invention and codes and code segments related thereto may be easily inferred or changed by programmers in the technical field to which the present invention belongs, taking into account the system environment of a computer that reads a recording medium and executes a program.
  • the gallbladder polyp determination method 1000 may also be implemented in the form of a recording medium containing instructions executable by a computer, such as an application or program module executed by a computer.
  • Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. Also, computer readable media may include all computer storage media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.
  • the gallbladder polyp determination method 1000 may be executed by an application basically installed in the terminal (this may include a program included in a platform or operating system, etc., which is basically installed in the terminal), or may be executed by an application (i.e., a program) directly installed in the master terminal by a user through an application providing server such as an application store server, an application, or a web server related to a corresponding service.
  • an application i.e., a program
  • the method 1000 for determining gallbladder polyps described above is implemented as an application (i.e., a program) that is basically installed in a terminal or directly installed by a user, and may be recorded on a computer-readable recording medium such as a terminal.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Veterinary Medicine (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Vascular Medicine (AREA)
  • Physiology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 실시예들은 진성 용종 또는 가성 용종 여부가 라벨링된 담낭 용종의 복부 초음파 이미지를 수집하는 수집부; 복부 초음파 이미지에 기초하여 n개(n은 2 이상의 정수)의 예측 모델을 포함하는 앙상블 모델인 담낭 용종 분류 모델에 입력할 입력 데이터를 생성하는 데이터 생성부; 입력 데이터를 이용하여 담낭 용종 분류 모델을 학습시키는 모델 학습부; 및 담낭 용종 분류 모델을 이용하여 신규 담낭 용종의 복부 초음파 이미지를 진성 용종 또는 가성 용종으로 분류하는 분류부;를 포함하는 담낭 용종 판단 시스템을 제공할 수 있다.

Description

담낭 용종 판단 시스템 및 그 방법
본 발명은 담낭 용종을 구분하는 담낭 용종 판단 시스템 및 그 방법을 제공한다.
담낭 용종은 담낭의 내강에 증식하여 혹처럼 돌출하여 성장한 것을 이르는 것으로, 담낭 용종은 선종 내지 선암종을 포함하는 진성 용종과 콜레스테롤 용종 등의 가성 용종으로 구별될 수 있다. 담낭 용종이 진성 용종의 경우 악성이거나 악성 가능성이 있어 담낭 절제술(cholecystectomy)이 필요하다. 다만, 담낭 용종이 가성 용종일 경우, 이와 같은 담낭 절제술이 요구되지 않는다.
담낭 용종은 복부 초음파 검사를 받는 환자의 5%에서 발견되는 것으로 알려져 있으며, 최근 정기 검강 검진의 일환으로 시행되는 복부 초음파 검사가 증가함에 따라 우연히 발견되는 사례 또한 증가하고 있다.
진성 담낭 용종의 잘 알려진 위험 요소 중 하나는 용종의 크기이다. 일반적으로 10mm가 담낭 절제술의 컷오프(cut-off) 값으로 사용된다. 그러나, 담낭 절제술의 컷오프 값이 10mm일 때, 진성 용종 여부의 판단에 대한 민감도와 특이도는 약 70%이고, 환자의 30%는 불필요한 담낭 절제술을 받는다는 연구결과가 있다.
담낭 용종의 복부 초음파 이미지를 통해 확인할 수 있는 고에코 반점(hyperechoic spots) 및 고착 형태와 같은 형태적 특징은 진성 용종을 감별하는데 도움이 될 수 있다. 그러나, 복부 초음파 이미지를 통해 확인할 수 있는 영상적 특징은 정확한 평가가 어렵고, 초음파 검사 기기에 따라 결과가 다를 수 있다.
최근 정보의 디지털화 및 데이터 저장 기술의 발달에 따라, 다양한 분야에서 인공 지능 기술이 도입되어 활용되고 있다. 특히 인공 지능 기술의 한 종류인 딥 러닝(deep learning)은 심층 신경망을 활용하여 입력 데이터를 분석하며, 확률적으로 대상을 분류하거나 특정 범위 내의 값을 예측하는 기술로 의료 분야에서도 점차 활용되고 있다. 의료 분야에 도입된 딥 러닝은 감지하기 어려운 이미지 패턴의 차이를 효과적으로 구별하는데 사용될 수 있다.
이러한 배경에서, 본 실시예들은 인공 지능을 이용하여 초음파 검사를 통해 획득한 담낭 용종의 초음파 이미지를 기초로 가성 용종 또는 진성 용종으로 구분하는 담낭 용종 판단 시스템 및 그 방법을 제공할 수 있다.
전술한 목적을 달성하기 위하여, 일 실시 예는, 진성 용종 또는 가성 용종 여부가 라벨링된 담낭 용종의 복부 초음파 이미지를 수집하는 수집부; 복부 초음파 이미지에 기초하여 n개(n은 2 이상의 정수)의 예측 모델을 포함하는 앙상블 모델인 담낭 용종 분류 모델에 입력할 입력 데이터를 생성하는 데이터 생성부; 입력 데이터를 이용하여 담낭 용종 분류 모델을 학습시키는 모델 학습부; 및 담낭 용종 분류 모델을 이용하여 신규 담낭 용종의 복부 초음파 이미지를 진성 용종 또는 가성 용종으로 분류하는 분류부;를 포함하는 담낭 용종 판단 시스템을 제공한다.
다른 실시예는, 진성 용종 또는 가성 용종 여부가 라벨링된 담낭 용종의 복부 초음파 이미지를 수집하는 단계; 복부 초음파 이미지에 기초하여 n개(n은 2 이상의 정수)의 예측 모델을 포함하는 앙상블 모델인 담낭 용종 분류 모델에 입력할 입력 데이터를 생성하는 단계; 입력 데이터를 이용하여 담낭 용종 분류 모델을 학습시키는 단계; 및 담낭 용종 분류 모델을 이용하여 신규 담낭 용종의 복부 초음파 이미지를 진성 용종 또는 가성 용종으로 분류하는 단계;를 포함하는 담낭 용종 판단 방법을 제공한다.
이상에서 설명한 바와 같이 본 실시예에 따르면, 인공 지능을 이용하여 초음파 검사를 통해 획득한 담낭 용종의 초음파 이미지를 기초로 가성 용종 또는 진성 용종으로 구분하는 담낭 용종 판단 시스템 및 그 방법을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 담낭 용종 판단 시스템의 구성을 나타낸 블록도이다.
도 2는 도 1의 데이터 생성부의 구성을 나타낸 블록도이다.
도 3은 도 2의 전처리부에 의해 복부 초음파 이미지가 전처리되는 것을 나타낸 도면이다.
도 4는 도 2의 데이터 증강부에 의한 데이터 증강을 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른 예측 모델의 일 예를 나타낸 도면이다.
도 6은 도 5의 예측 모델의 출력을 기초로 담낭 용종 분류 모델이 담낭 용종의 종류를 구별하는 것을 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 교차 검증의 데이터셋을 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 수신자 조작 특성 곡선을 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른 담낭 용종의 복부 초음파 이미지를 나타낸 도면이다.
도 10은 본 발명의 다른 실시예에 따른 담낭 용종 판단 방법의 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 떄, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본 발명의 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~를 위한 단계"를 의미하지 않는다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1개의 유닛이 2개 이상의 하드웨어를 이용하여 실현되어도 되고, 2개 이상의 유닛이 1개의 하드웨어에 의해 실현되어도 된다.
본 명세서에 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다.
본 명세서에 있어서, 단말과 매핑(Mapping) 또는 매칭(Matching)으로 기술된 동작이나 기능 중 일부는, 단말의 식별 정보(Identifying Data)인 단말기의 고유번호나 개인의 식별정보를 매핑 또는 매칭한다는 의미로 해석될 수 있다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 담낭 용종 판단 시스템의 구성을 나타낸 블록도이다.
도 1을 참조하면, 담낭 용종 판단 시스템(100)은 수집부(110), 데이터 생성부(120), 모델 학습부(130) 및 분류부(140)를 포함할 수 있다.
수집부(110)는 진성 용종(true polyp) 또는 가성 용종(pseudopolyp)여부가 라벨링된 담낭 용종(gallbladder polyp)의 복부 초음파 이미지를 수집할 수 있다.
담낭 용종은 진성 용종과 가성 용종으로 구별될 수 있는데, 가성 용종은 콜레스테롤 용종, 염증성 용종 등 암과 무관한 용종이고, 진성 용종은 선종, 선암종을 포함하는 용종이다. 진성 용종은 악성이거나 악성 가능성이 있어, 담낭 절제술을 요구한다. 다만, 복부 초음파 검사 등 수술 전 검사로는 가성 용종과 진성 용종을 구별하기 어려운 점이 있다. 따라서, 일반적으로 용종의 크기가 10mm인 경우를 컷오프(cut-off) 값으로 정하여, 담낭 절제술(cholecystectomy)을 수행하는 경우가 있다. 다만, 10mm를 컷오프 값으로 정한 경우, 민감도와 특이도가 약 70%이고, 환자의 30%는 불필요한 담낭 절제술을 받는다는 보고가 있다.
고에코 반점 및 고착 형태와 같은 복부 초음파 이미지의 용종의 형태적 특징은 진성 용종을 감별하는데 도움이 된다. 다만, 특징에 대한 정확한 평가가 어렵고, 초음파 영상 리더기에 따라 결과가 다를 수 있으므로 담낭 용종의 영상 특징을 이용한 감별은 비효율적이다. 다만, 최근 인공 지능의 한 분야인 딥 러닝(deep learning)의 발전은 다양한 분야, 특히 의료 영상 분야에서 감지할 수 없는 차이를 효과적으로 구별하는 결과를 얻을 수 있다.
한편, 복부 초음파 이미지에 진성 용종 또는 가성 용종 여부가 라벨링 될 수 있다. 복부 초음파 이미지에 라벨링된 진성 용종 또는 가성 용종 여부는 인공 신경망을 학습하는데 사용될 수 있다.
복부 초음파 이미지는 복부 초음파 검사 기기에 의해 촬영되고, 촬영된 복부 초음파 이미지는 수집부(110)에 의해 담낭 용종 판단 시스템(100)으로 수집될 수 있다.
데이터 생성부(120)는 복부 초음파 이미지에 기초하여 n개(n은 2 이상의 정수)의 예측 모델을 포함하는 앙상블 모델인 담낭 용종 분류 모델에 입력할 입력 데이터를 생성할 수 있다.
담낭 용종 분류 모델은 복수의 예측 모델을 포함하는 앙상블 모델(ensemble model)일 수 있다.
앙상블 학습은 앙상블 모델을 학습시키는 학습법으로, 강력한 하나의 모델을 사용하는 대신 보다 약한 복수의 모델을 통해 얻은 예측을 조합함으로써 보다 정확한 예측을 얻는 기법을 말한다. 앙상블 학습은 일반적으로 서로 다른 예측 모델이 투표를 통해 최종 예측 결과를 결정하는 방식인 보팅(voting), 모두 같은 유형의 알고리즘 기반의 예측 모델을 사용하여, 데이터 샘플링을 통해 모델을 학습시키고 결과를 집계하는 방식인 배깅(bagging) 및 여러 개의 예측 모델이 순차적으로 학습된 후, 이전 예측 모델이 다음 예측 모델에 가중치를 부여하면서 학습과 예측을 진행하는 부스팅(boosting) 등의 유형으로 구분할 수 있다.
입력 데이터는 담낭 용종 분류 모델에 포함된 예측 모델 각각에 입력되는 데이터로, 예측 모델을 훈련 및 검증하는데 사용될 수 있다. 데이터 생성부(120) 담낭 용종의 복부 초음파 이미지를 예측 모델에 입력하기 적절한 형식으로 가공할 수 있다.
모델 학습부(130)는 입력 데이터를 이용하여 담낭 용종 분류 모델을 학습시킬 수 있다.
이때, 모델 학습부(130)는 입력 데이터를 훈련 데이터셋과 검증 데이터셋으로 구분할 수 있다. 훈련 데이터셋은 예측 모델을 훈련시키는데 사용되는 것으로, 모델 학습부(130)는 훈련 데이터셋을 이용하여 예측 모델의 정확도를 높이는 방향으로 가중치 및 바이어스를 수정할 수 있다. 또한, 모델 학습부(130)는 검증 데이터셋을 이용하여 훈련된 예측 모델 내지 앙상블 모델의 성능을 평가할 수 있다.
모델 학습부(130)는 훈련 데이터셋의 가성 용종과 진성 용종간의 비율과 검증 데이터셋의 가성 용종과 진성 용종 간의 비율이 동일하게 되도록 설정할 수 있다.
분류부(140)는 담낭 용종 분류 모델을 이용하여 신규 담낭 용종의 복부 초음파 이미지를 진성 용종 또는 가성 용종으로 분류할 수 있다.
이때, 신규 담낭 용종의 복부 초음파 이미지는 담낭 용종 분류 모델에 입력되기 적절한 형식으로 가공될 수 있다.
분류부(40)는 가공된 신규 담낭 용종의 복부 초음파 이미지를 담낭 용종 분류 모델에 포함된 복수의 예측 모델에 입력하여 각 예측 모델별로 진성 용종일 확률을 획득한 후 이를 취합하여 담낭 용종이 진성 용종 또는 가성 용종인지 여부를 출력할 수 있다.
이를 통해, 담낭 용종 분류 시스템(100)은 딥 러닝을 통한 담낭 용종 분류 모델을 통해 감지하기 어려운 담낭 용종의 복부 초음파 이미지 패턴의 차이를 효과적으로 구별하는데 사용하여, 담낭 용종의 종류를 진성 용종 또는 가성 용종으로 구별할 수 있다.
도 2는 도 1의 데이터 생성부의 구성을 나타낸 블록도이다.
도 2를 참조하면, 담낭 용종 판단 시스템(100)의 데이터 생성부(120)는 전처리부(210) 및 데이터 증강부(220)를 포함할 수 있다.
데이터 생성부(120)에 포함된 전처리부(210)는 복부 초음파 이미지를 전처리하여 입력 데이터를 생성할 수 있다.
데이터 증강부(220)는 전처리된 입력 데이터에 대하여 회전 및 상하반전 중 적어도 하나를 수행하여 입력 데이터를 증강시킬 수 있다.
이하 도3 및 도 4에서 전처리부(210) 및 영상 증강부(220)의 동작에 대해 자세히 설명한다.
도 3은 도 2의 전처리부에 의해 복부 초음파 이미지가 전처리되는 것을 나타낸 도면이다.
도 2 및 도 3을 참조하면, 전처리부(210)는 복부 초음파 이미지에서 용종 부분을 잘라낼 수 있다. 또한, 전처리부(210)는 잘라낸 용종 부분의 이미지를 리사이징(resizing)할 수 있다. 또한 전처리부(210)는 리사이징된 이미지의 밝기 및 대비를 정규화할 수 있다.
도 3에서, 제1 복부 초음파 이미지(AUI1) 및 제2 복부 초음파 이미지(AUI2)는 각각 전처리부(210)에 의해 전처리된다.
이때, 도 3의 (A)는 전처리부(210)가 의해 제1 복부 초음파 이미지(AUI1) 및 제2 복부 초음파 이미지(AUI2)의 용종 부분을 잘라내는 것을 도시한다. 제1 복부 초음파 이미지 및 제2 복부 초음파 이미지에는 가성 용종 또는 진성 용종 여부가 라벨링 되었을 수 있다.
도 3의 (B)는 전처리부(210)가 잘라내진 용종 부분의 복부 초음파 이미지를 동일한 크기로 리사이징하는 것을 나타낸다. 담낭 용종 분류 모델에 포함된 각각의 예측 모델에 입력되기 위해서는 데이터가 동일한 크기로 통일될 필요가 있다. 따라서, 전처리부(210)는 용종 부분의 복부 초음파 이미지를 예측 모델의 입력에 맞춰 리사이징 할 수 있다.
도 3의 (C)는 전처리부(210)가 리사이징된 복부 초음파 이미지의 밝기(brightness) 및 대비(contrast)를 정규화(normalize)할 수 있다. 복부 초음파 이미지는 다양한 복부 초음파 검사 기기로부터 촬영될 수 있다. 이때, 복부 초음파 이미지는 밝기 및 대비가 다양하게 분포할 수 있는데, 전처리부(210)는 밝기에 의해 예측 모델이 학습되는 것을 방지하기 위해 밝기 정규화를 수행하고, 복부 초음파 이미지의 특징을 잘 나타내기 위해 대비 정규화를 수행할 수 있다.
이를 통해, 전처리부(210)에 의해 잘라내기, 리사이징 및 밝기 및 대비 정규화를 통하여 복부 초음파 이미지는 예측 모델에 입력하기 적합한 데이터인 입력 데이터로 변환된다.
도 4는 도 2의 데이터 증강부에 의한 데이터 증강을 나타내는 도면이다.
도 2 및 도 4를 참조하면, 데이터 증강부(220)는 전처리된 입력 데이터에 대하여 회전(90도/180도/270도) 및 상하반전 중 적어도 하나를 수행하여 8개의 증강된 입력 데이터를 생성할 수 있다.
도 4의 (A)는 전처리된 입력 데이터 중 하나이다. 이때, (B), (C) 및 (D)는 (A)를 시계 방향으로 각각 90도, 180도 및 270도 회전한 것을 나타낸다.
한편, (E)는 (A)의 상하 반전을 나타낸 입력 데이터이다. 또한, (F), (G) 및 (H)는 (E)를 시계방향으로 각각 90도, 180도 및 270도 회전한 것을 나타낸다.
데이터 증강부(220)는 회전 및 상하 반전 전부를 수행할 수도 있고, 회전 및 상하반전 중 입력 데이터에 일부만 수행하여 8개 미만으로 데이터 증강을 수행할 있다.
데이터 증강부(220)는 증강된 입력 데이터에 대한 용종의 특징이 이미지 처리 과정에서 손상되는 것을 막기 위함이다. 또한 다수의 입력 데이터를 확보하여 예측 모델의 성능을 증가시킬 수 있다.
도 5는 본 발명의 일 실시예에 따른 예측 모델의 일 예를 나타낸 도면이다.
도 5를 참조하면, 담낭 용종 분류 모델에 포함된 n개의 예측 모델 각각은 ResNet, Inception 및 DenseNet 중 하나에 기초하는 컨볼루션 신경망(convolutional neural network)일 수 있다.
컨볼루션 신경망은 컨볼루션 연산을 통해 특징(feature)을 추출하는 컨볼루션 층(convolution layer)과 특징 맵을 다운샘플링(downsampling)하여 특징 맵의 크기를 줄이는 풀링 연산이 이루어지는 풀링 층(pooling layer)을 포함한다.
컨볼루션 층은 커널 행렬을 입력된 행렬에 스트라이드(stride)하면서 컨볼루션 연산을 수행할 수 있고, 이를 통해 특징을 추출하여 특징 맵(feature map)을 생성할 수 있다. 컨볼루션 신경망에서의 가중치는 커널 행렬의 원소이고, 예측 모델을 학습하는 과정에서 가중치는 변경될 수 있다.
풀링 층은 컨볼루션 층 다음에 주로 배치되는 층으로, 비선형 다운샘플링을 수행하여 일부 특징을 강조하는 역할을 한다. 풀링 층에서는 최대 풀링(max pooling), 평균 풀링(average pooling), 최소 풀링(min pooling) 등의 방식으로 범위 내에서 대표값을 추출할 수 있다. 풀링 층은 공간적 크기를 줄이고 매개변수의 수 및 네트워크의 계산량을 줄여 오버피팅(overfitting)을 제어할 수 있다.
또한, 컨볼루션 신경망은 완전 연결 층(fully connected layer)을 포함할 수 있다. 완전 연결 층은 이전 층의 모든 뉴런과 연결되어있고, 하나 이상의 컨볼루션 층 및 풀링 층 후, 최종 분류를 수행할 수 있다.
ResNet(residual neural network)은 대뇌 피질의 피라미드 세포의 구성을 기반으로 하는 인공 신경망(artificial neural network)이다. ResNet은 스킵 연결(skip connection) 또는 특정 층을 건너뛰는 숏컷(shortcut)을 이용할 수 있다.
ResNet은 역전파(backpropagation) 시 발생되는 기울기 소멸 문제(vanishing gradient problem)를 해결하기 위해 고안된 것으로, [수학식 1]에서, F(x)가 0이 되는 방향으로 학습하며, 이는 잔차(residual)를 학습한다고 볼 수 있다.
[수학식 1]
F(x)=H(x)-x
담낭 용종 판단 시스템(100)은 n개의 예측 모델에 있어서, ResNet 기반의 컨볼루션 신경망을 이용하여, 보다 깊은 설계가 가능하며 높은 성능을 얻을 수 있다.
Inception 기반의 신경망은 동일한 레벨에서 여러 크기를 가지는 커널을 적용하여 컨볼루션을 수행할 수 있고, 이때 풀링도 동시에 수행할 수 있다. Inception은 각 커널 및 풀링의 출력을 이어 붙여 다음 Inception 모델로 전달할 수 있다.
담낭 용종 판단 시스템(100)은 n개의 예측 모델에 있어서, Inception 기반의 신경망을 이용하여 다양한 크기의 커널을 적용한 결과를 얻을 수 있다. 이때, Inception은 V2, V3, V4 및 Inception-ResNet V1, V2 등을 사용할 수 있으며, 전술한 예시에 한정되지 않는다.
DenseNet는 각 층들이 다른 모든 층들과 연결되어 있는 구조의 신경망이다. DenseNet은 모든 층의 특징 맵을 연결할 수 있다. 이때, 특징 맵의 크기는 모두 동일하게 설정될 수 있다. DenseNet은 처음 층의 특징 맵을 마지막 층의 특징맵까지 연결하여 정보가 소실되는 것을 방지할 수 있다.
DenseNet은 풀링 연산을 수행하기 위해 Dense 블록 개념을 도입할 수 있다. Dense 블록은 여러 층으로 구성되어있고, Dense 블록 간에 풀링 연산을 수행할 수 있다.
담낭 용종 판단 시스템(100)은 n개의 예측 모델에 있어서, DenseNet 기반의 신경망을 이용하여 역전파 시 초기 기울기가 소실되는 문제를 완화할 수 있으며, 다양한 층의 특징 맵을 연결하여 학습하기 때문에 정규화 효과도 얻을 수 있다. 또한, 특징 맵은 이전 층의 특징맵과 결합하여 다음 층으로 전달되므로, 파라미터 수가 적을 수 있다.
담낭 용종 판단 시스템(100)의 예측 모델 각각은 입력에 대한 확률을 출력할 수 있다.
도 5에서와 같이, n은 3이고, 각 인공 신경망은 ResNet, Inception 및 DenseNet을 기반으로 한다고 가정한다. 이때, 복부 초음파 이미지로부터 전처리를 통해 생성된 입력 데이터(Input)가 ResNet에 입력되는 경우, 해당하는 확률 값인 제1 출력(Output1)을 출력할 수 있다. 마찬가지로 입력 데이터(Input)가 Inception에 입력되는 경우, 제2 출력(Output2)이 출력되고, 입력 데이터(Input)가 DenseNet에 입력되는 경우, 제3 출력(Output3)이 출력될 수 있다. 제1 내지 제3 출력(Output1, Output2, Output3)은 각각의 예측 모델을 통해 예측된 진성 용종일 확률을 의미할 수 있다.
한편, 모델 학습부(130)는 예측 모델을 학습시킬 때, 처음부터 예측 모델을 학습시키는 것뿐만 아니라, 기존에 학습된 인공 신경망을 기초로 가중치를 변경하는 방식의 전이 학습(transfer learning)을 적용하여 예측 모델을 학습시킬 수 있다. 이때, 담낭 용종을 분류하기 위한 미세 조정(fine-tuning)이 수행될 수 있다. 전이 학습은 훈련 데이터셋이 상대적으로 적은 경우라 하더라도 빠른 속도로, 효과적으로 인공 신경망을 학습시킬 수 있으며, 전이 학습 없이 훈련시키는 것보다 높은 정확도를 제공할 수 있다.
도 6은 도 5의 예측 모델의 출력을 기초로 담낭 용종 분류 모델이 담낭 용종의 종류를 구별하는 것을 나타낸 도면이다.
도 5 및 도 6을 참조하면, 담낭 용종 판단 시스템(100)의 담낭 용종 분류 모델은 n개의 예측 모델로부터 출력된 확률을 합산하고, 합산된 확률 값이 임계값(Threshold)을 초과하는지에 기초하여 가성 용종(Pseudopolyp) 또는 진성 용종(True polyp)으로 분류할 수 있다.
전술한 바와 같이, 제1 출력 내지 제3 출력(Output1, Output2, Output3)은 예측 모델 각각으로부터 계산된 확률값일 수 있다.
담낭 용종 분류 모델은 앙상블 모델로서, 담낭 용종 분류 모델에 포함된 예측 모델의 출력을 종합하여 최종적으로 용종의 종류를 분류할 수 있다.
일 예로, 담낭 용종 분류 모델은 서로 다른 알고리즘을 가진 예측 모델을 결합하여, 각각의 결과에 대해 투표로 최종 결과를 예측하는 방식인 보팅이 적용될 수 있다. 보팅의 경우, 다수결의 원칙이 적용되는 하드 보팅(hard voting)과 각 예측 모델이 확률을 예측한 결과를 평균내어 확률이 가장 높은 레이블 값을 최종 값으로 분류하는 소프트 보팅(soft voting)이 적용될 수 있다.
담낭 용종 분류 모델은 예측 모델 각각으로부터 전달받은 제1 출력 내지 제3 출력(Output1, Output2, Output3)을 합산한 후, 임계값(Threshold)과 비교할 수 있다. 임계값(Threshold)은 담낭 용종 분류 모델의 분류 성능이 가장 우수한 값을 가지도록 설정될 수 있다.
이때, 담낭 용종 판단 시스템(100)의 모델 학습부(130)는 임계값(Threshold)을 유덴 지수(youden index)가 가장 크도록 설정할 수 있다.
전술한 바와 같이, 담낭 용종 모델의 학습에 있어서 훈련 데이터셋을 통해 인공 신경망의 가중치를 조정할 수 있고, 검증 데이터셋을 통해 훈련된 예측 모델 내지 앙상블 모델의 성능을 평가할 수 있다. 이때, 성능 평가 지표로는 전체 케이스 중에서 양성과 음성을 맞춘 비율인 정확도(Accuracy), 실제 양성 중에서 양성을 맞춘 비율인 민감도(Sensitivity), 실제 음성 중에서 음성을 맞춘 비율인 특이도(Specificity), 양성 판정 중에서 실제 양성의 비율인 PPV(positive predictive value), 음성 판정 중에서 실제 음성의 비율인 NPV(negative predictive value), 수신자 조작 특성 곡선(ROC curve: receiver operating characteristics curve)의 면적인 AUC(area under curve) 등이 활용될 수 있다.
한편, 유덴 지표는 유덴의 J 통계량(Youden's J statistic)이라고 하며, 이는 민감도와 특이도의 합에서 1을 뺀 것으로 정의되며, [수학식 2]로 표현될 수 있다.
[수학식 2]
J=sensitivity+specificity-1
유덴 지표는 이분법 구분 테스트의 성능을 표시하는 단일 통계량으로, 구분 테스트의 성능을 요약하는 방법으로 이용될 수 있다. 유덴 지표는 검사가 이분법적 결과가 아닌 수치적 결과를 제공할 때 최적의 컷오프(cut-off)지점을 선택하는 기준으로 사용될 수 있다.
담낭 용종 분류 모델은 각 예측 모델로부터 전달받은 확률값을 합산하여, 유덴 지표가 최대가 되도록 하는 임계 값(Threshold)을 기준으로 가성 용종(Pseudopolyp) 또는 진성 용종(True polyp)인지 여부를 결정할 수 있다.
도 7은 본 발명의 일 실시예에 따른 교차 검증의 데이터셋을 나타낸 도면이다.
도 7을 참조하면, 담낭 용종 판단 시스템(100)의 모델 학습부(130)는 담낭 용종 분류 모델을 학습시키기 위해 입력 데이터를 k개(k는 2 이상의 정수)의 그룹으로 구분하여 k-폴드 교차 검증을 수행할 수 있다.
모델 학습부(130)는 데이터 생성부(120)에서 생성된 입력 데이터를 k개의 그룹으로 구분하고, 그룹화된 데이터셋 중에서 하나는 검증 데이터셋으로 이용하고, 나머지 k-1개의 그룹은 훈련 데이터셋으로 결정하여 훈련 및 검증 과정을 수행할 수 있다. 모델 학습부(130)는 종전에 검증 데이터셋으로 선택된 데이터셋을 제외한 나머지 데이터셋 중에서 하나를 선택하여 새로운 검증 데이터셋으로 이용하고, 선택되지 않은 다른 k-1개 그룹의 데이터셋을 훈련 데이터셋으로 이용하여 다시 훈련 및 검증 과정을 수행할 수 있다.
일 예로, 모델 학습부(130)는 k-폴드 교차 검증을 수행할 수 있다. 이때, k가 5 라고 가정하면, 입력 데이터를 A, B, C, D, E의 그룹으로 구분할 수 있다. 모델 학습부(130)는 5개의 그룹으로 구분된 데이터셋 중 하나를 검증 데이터셋으로 결정할 수 있다.
도 7에서, 모델 학습부(130)는 제1 폴드(1-fold)에서 E 그룹의 데이터셋을 검증 데이터셋으로 결정하고, 나머지 4개의 A, B, C, D 그룹의 데이터셋은 훈련 데이터셋으로 결정할 수 있다. 이후 모델 학습부(130)는 A, B, C, D 그룹의 훈련 데이터셋을 이용하여 담낭 용종 분류 모델에 포함된 인공 신경망을 훈련시키고 E 그룹의 검증 데이터셋을 이용하여 담낭 용종 분류 모델의 성능을 평가할 수 있다.
모델 학습부(130)는 E 그룹의 데이터셋을 제외한 A, B, C, D 그룹의 데이터셋 중 하나인 D 데이터셋을 검증 데이터셋으로 결정하고, 나머지 4개의 A, B, C, E 그룹의 데이터셋은 훈련 데이터셋으로 결정할 수 있다. 이후 모델 학습부(130)는 A, B, C, E 그룹의 훈련 데이터셋을 이용하여 담낭 용종 분류 모델에 포함된 인공 신경망을 훈련시키고 D그룹의 검증 데이터셋을 이용하여 담낭 용종 분류 모델의 성능을 평가할 수 있다.
모델 학습부(130)는 검증 데이터셋으로 결정되지 않은 A, B, C 그룹의 데이터셋에 대하여 전술한 과정을 반복할 수 있다.
이때, 반복되는 검증 과정마다 각각의 결과가 다르게 산출될 수 있다. 모델 학습부(130)는 5회 반복되는 검증 과정을 통해 나온 결과 값들의 평균을 내어 담낭 용종 분류 모델의 검증 결과 값으로 사용할 수 있다.
모델 학습부(130)는 k-폴드 교차 검증을 통해 제한된 입력 데이터를 이용하여 훈련과 검증을 총 k번 진행하는 효과를 제공할 수 있다.
도 8은 본 발명의 일 실시예에 따른 수신자 조작 특성 곡선을 나타낸 도면이다.
도 8을 참조하면, 모델 학습부(130)는 추가적 임상 정보를 더 포함시켜 담낭 용종 분류 모델을 학습시킬 수 있다.
모델 학습부(130)는 담낭 용종의 종류를 가성 용종 또는 진성 용종으로 분류하는데 있어서, 담낭 용종의 복부 초음파 이미지를 전처리한 입력 데이터뿐만 다른 위험 인자인 추가적 임상 정보를 더 포함시켜 분류 성능을 비교할 수 있다. 추가적 임상 정보는 각각의 인공 신경망의 마지막 완전 연결 층과 병렬적으로 연결될 수 있고, 최종 예측을 위해 초음파 검사의 특징과 함께 사용될 수 있다.
이때, 추가적 임상 정보는 환자의 나이 또는 용종의 크기 중 하나 이상을 포함할 수 있다.
도 8을 통해, 추가적 임상 정보가 없는 경우(A)의 수신자 조작 특성 곡선 및 유덴 지수가 최대일 때의 임계값, 추가적 임상 정보가 환자의 나이인 경우(B)의 수신자 조작 특성 곡선 및 유덴 지수가 최대일 때의 임계값, 추가적 임상 정보가 용종의 크기인 경우(C)의 수신자 조작 특성 곡선 및 유덴 지수가 최대일 때의 임계값 그리고 추가적 임상 정보가 환자의 나이와 용종의 크기 모두인 경우(D)의 수신자 조작 특성 곡선 및 유덴 지수가 최대일 때의 임계값을 확인할 수 있다.
추가적 임상 정보가 없는 경우(A), 담낭 용종 분류 모델의 AUC는 0.896이고, 임계값은 0.34이다. 추가적 임상 정보가 환자의 나이인 경우(B) 담낭 용종 분류 모델의 AUC는 0.9024이고, 임계값은 0.38이다. 추가적 임상 정보가 용종의 크기인 경우(C) 담낭 용종 분류 모델의 AUC는 0.9046이고, 임계값은 0.36이다. 한편, 추가적 임상 정보가 환자의 나이 및 용종의 크기 모두인 경우(D) 담낭 용종 분류 모델의 AUC는 0.9082이고, 임계값은 0.25이다.
실험을 통해 얻은 구체적인 담낭 용종 분류 모델의 성능은 [표 1]과 같다.
추가임상정보 인공신경망 정확도 민감도 특이도 PPV NPV AUC
없음 ResNet 80.39 84.28 79.59 48.37 96.00 0.8710
Inception 81.76 84.47 81.29 56.84 96.37 0.8625
DenseNet 83.84 81.78 84.23 54.89 95.67 0.8776
Ensemble 83.63 84.80 83.49 54.48 96.18 0.8960
환자의 나이 ResNet 80.35 84.47 79.57 49.14 96.07 0.8701
Inception 81.97 88.22 80.81 52.05 97.02 0.8761
DenseNet 77.91 92.89 74.56 45.75 98.20 0.8825
Ensemble 84.99 86.38 84.70 60.81 96.83 0.9024
용종의 크기 ResNet 79.01 90.59 76.45 46.78 97.61 0.8848
Inception 83.26 81.97 83.49 52.77 95.68 0.8779
DenseNet 78.40 89.93 75.97 47.58 97.45 0.8736
Ensemble 81.20 92.04 78.89 51.34 97.91 0.9046
환자의 나이 및 용종의 크기 ResNet 79.63 88.88 77.68 47.81 97.01 0.8814
Inception 81.63 82.63 81.34 52.99 95.94 0.8756
DenseNet 84.63 85.33 84.47 54.64 96.43 0.8991
Ensemble 87.61 84.28 88.35 62.42 96.31 0.9082
실험에서 ResNet은 ResNet152를 사용하였으며, Inception은 Inception V3, DenseNet은 DenseNet161을 사용하였다. [표 1]의 각 성능은 교차 검증을 통해 합산된 성능의 평균값이다. [표 1]에서 환자의 나이 및 용종의 크기 모두를 추가적 임상 정보로 할 때, 담낭 용종 분류 모델의 AUC는 0.9082임을 확인할 수 있다. 이때, 특이도는 88.35이고 PPV는 62.42로, 담낭 용종 분류 모델의 높은 특이성과 높은 PPV는 불필요한 담낭 절제술(cholecystectomy)을 피할 수 있고, 진성 용종에 대한 거짓 양성 판단을 줄일 수 있다. 한편, 추가적 임상 정보로 환자의 나이 및 용종의 크기 모두를 포함시켰을 때, 용종 크기별 앙상블 모델 성능은 [표 2]로 확인할 수 있다.
크기 정확도 민감도 특이도 PPV NPV AUC
- 87.61 84.28 88.35 62.42 96.31 0.9082
≥10mm 87.15 85.30 87.64 63.46 96.13 0.9131
<10mm 86.61 93.33 85.57 59.24 99.26 0.8942
담낭 용종의 크기가 10mm 이상의 370명의 환자의 경우 유덴 지수가 가장 높도록 설정된 임계값은 0.287이고, 담낭 용종의 10mm 미만의 131명의 환자의 경우 유덴 지수가 가장 높도록 설정된 임계값은 0.292임을 얻을 수 있었다.전술한 담낭 용종 분류 모델의 실험 결과는 훈련 및 검증 과정을 통해 얻은 것으로서, 발명을 설명하기 위한 예시에 불과하며 보호 범위를 한정하지 않는다.
도 9는 본 발명의 일 실시예에 따른 담낭 용종의 복부 초음파 이미지를 나타낸 도면이다.
도 9의 제1행은 가성 용종의 복부 초음파 이미지이고, 제2행은 진성 용종의 복부 초음파 이미지이다.
도 9의 제1열 및 제2열은 용종의 크기가 10mm 미만일 때, 예측에 성공한 복부 초음파 이미지이고, 제4열 및 제5열은 크기가 10mm 이상일 때, 예측에 성공한 복부 초음파 이미지이다.
일반적으로 담낭 용종의 크기가 작으면서 고에코 반점이 있는 경우 복부 초음파 이미지를 통한 판단 과정에서 가성 용종으로 간주되었지만, 담낭 용종 판단 시스템(100)의 분류부(140)는 학습된 담낭 용종 분류 모델을 통해서 크기가 작으면서 고에코 반점이 있는 용종 중 진성 용종을 구별할 수 있다.
분류부(140)는 담낭 용종 분류 모델을 통하여 단순히 복부 초음파 이미지 검사만으로는 진성 용종으로 판단되지 않아 담낭 절제술을 수행하지 않고 넘어가는 경우에도 진성 용종으로 판단하여 담낭 절제술을 도모할 수 있다.
또한, 분류부(140)는 담낭 용종 분류 모델을 통하여 일반적인 담낭 절제술의 컷오프 값인 10mm 이상인 담낭 용종에 대하여도, 가성 용종인지 여부를 판단하여, 불필요한 담낭 절제술을 방지할 수 있다.
이렇듯, 담낭 용종 판단 시스템(100)은 단순한 복부 초음파 이미지 검사만으로는 도출할 수 없었던 자세한 결과를 도출할 수 있다.
도 10은 본 발명의 다른 실시예에 따른 담낭 용종 판단 방법의 흐름도이다.
도 10을 참조하면, 담낭 용종 판단 방법(1000)은 진성 용종 또는 가성 용종 여부가 라벨링된 담낭 용종의 복부 초음파 이미지를 수집하는 단계(S1010)를 포함할 수 있다. 이때, S1010단계는 담낭 용종 판단 시스템(100)의 수집부(110)에 의해 수행될 수 있다.
또한, 담낭 용종 판단 방법(1000)은 복부 초음파 이미지에 기초하여 n개(n은 2 이상의 정수)의 예측 모델을 포함하는 앙상블 모델인 담낭 용종 분류 모델에 입력할 입력 데이터를 생성하는 단계(S1020)를 포함할 수 있다. 이때, S1020단계는 담낭 용종 판단 시스템(100)의 데이터 생성부(120)에 의해 수행될 수 있다.
한편, 담낭 용종 판단 방법(1000)의 n개의 예측 모델 각각은, ResNet, Inception 및 DenseNet 중 하나에 기초하는 컨볼루션 신경망(convolutional neural network)일 수 있다.
한편, 담낭 용종 분류 모델에 입력할 데이터를 생성하는 단계(S1020)는 복부 초음파 이미지에 대하여 담낭 용종 부분 잘라내기, 리사이징 및 밝기 및 대비 정규화를 포함하는 전처리를 수행하여 입력 데이터를 생성하는 단계 및 입력 데이터에 대하여 회전 및 상하반전 중 적어도 하나를 수행하여 입력 데이터를 증강시키는 단계를 포함할 수 있다.
또한, 담낭 용종 판단 방법(1000)은 입력 데이터를 이용하여 담낭 용종 분류 모델을 학습시키는 단계(S1030)를 포함할 수 있다. 이때, S1030단계는 담낭 용종 판단 시스템(100)의 모델 학습부(130)에 의해 수행될 수 있다.
한편, 담낭 용종 판단 방법(1000)은, n개의 예측 모델로부터 출력된 확률을 합산하고, 합산된 확률 값이 임계값을 초과하는지 여부에 기초하여 신규 담낭 용종의 복부 초음파 이미지를 가성 용종 또는 진성 용종으로 분류할 수 있다.
이때, 담낭 용종 분류 모델을 학습시키는 단계(S1030)에서, 임계값을 유덴 지수가 가장 크도록 설정할 수 있다.
한편, 담낭 용종 판단 방법(1000)은 담낭 용종 분류 모델을 학습시키는 단계(S1030)에서, 담낭 용종 분류 모델을 학습시키기 위해 입력 데이터를 k개(k는 2 이상의 정수)의 그룹으로 구분하여 k-폴드 교차 검증을 수행할 수 있다.
한편, 담낭 용종 판단 방법(1000)은 담낭 용종 분류 모델을 학습시키는 단계(S1030)에서, 추가적 임상 정보를 더 포함시켜 담낭 용종 분류 모델을 학습시킬 수 있다.
이때, 추가적 임상 정보는, 환자의 나이 또는 용종의 크기 중 하나 이상을 포함할 수 있다.
또한, 담낭 용종 판단 방법(1000)은 담낭 용종 분류 모델을 이용하여 신규 담낭 용종의 복부 초음파 이미지를 진성 용종 또는 가성 용종으로 분류하는 단계(S1040)를 포함할 수 있다. 이때, S1040단계는 담낭 용종 판단 시스템(100)의 분류부(140)에 의해 수행될 수 있다.
전술한 담낭 용종 판단 시스템(100)은, 프로세서, 메모리, 사용자 입력장치, 프레젠테이션 장치 중 적어도 일부를 포함하는 컴퓨팅 장치에 의해 구현될 수 있다. 메모리는, 프로세서에 의해 실행되면 특정 태스크를 수행할 있도록 코딩되어 있는 컴퓨터-판독가능 소프트웨어, 애플리케이션, 프로그램 모듈, 루틴, 인스트럭션(instructions), 및/또는 데이터 등을 저장하는 매체이다. 프로세서는 메모리에 저장되어 있는 컴퓨터-판독가능 소프트웨어, 애플리케이션, 프로그램 모듈, 루틴, 인스트럭션, 및/또는 데이터 등을 판독하여 실행할 수 있다. 사용자 입력장치는 사용자로 하여금 프로세서에게 특정 태스크를 실행하도록 하는 명령을 입력하거나 특정 태스크의 실행에 필요한 데이터를 입력하도록 하는 수단일 수 있다. 사용자 입력장치는 물리적인 또는 가상적인 키보드나 키패드, 키버튼, 마우스, 조이스틱, 트랙볼, 터치-민감형 입력수단, 또는 마이크로폰 등을 포함할 수 있다. 프레젠테이션 장치는 디스플레이, 프린터, 스피커, 또는 진동장치 등을 포함할 수 있다.
컴퓨팅 장치는 스마트폰, 태블릿, 랩탑, 데스크탑, 서버, 클라이언트 등의 다양한 장치를 포함할 수 있다. 컴퓨팅 장치는 하나의 단일한 스탠드-얼론 장치일 수도 있고, 통신망을 통해 서로 협력하는 다수의 컴퓨팅 장치들로 이루어진 분산형 환경에서 동작하는 다수의 컴퓨팅 장치를 포함할 수 있다.
또한, 전술한 담낭 용종 판단 방법(1000)은, 프로세서를 구비하고, 또한 프로세서에 의해 실행되면 딥 러닝 모델을 활용한 영상 판단 방법을 수행할 수 있도록 코딩된 컴퓨터 판독가능 소프트웨어, 애플리케이션, 프로그램 모듈, 루틴, 인스트럭션, 및/또는 데이터 구조 등을 저장한 메모리를 구비하는 컴퓨팅 장치에 의해 실행될 수 있다.
상술한 본 실시예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 실시예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.
하드웨어에 의한 구현의 경우, 본 실시예들은 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로 컨트롤러 또는 마이크로 프로세서 등에 의해 구현될 수 있다.
예를 들어, 실시예들에 따른 담낭 용종 판단 방법(1000)은 심층 신경망의 뉴런(neuron)과 시냅스(synapse)가 반도체 소자들로 구현된 인공지능 반도체 장치를 이용하여 구현될 수 있다. 이때 반도체 소자는 현재 사용하는 반도체 소자들, 예를 들어 SRAM이나 DRAM, NAND 등일 수도 있고, 차세대 반도체 소자들, RRAM이나 STT MRAM, PRAM 등일 수도 있고, 이들의 조합일 수도 있다.
실시예들에 따른 전술한 담낭 용종 판단 방법을 인공지능 반도체 장치를 이용하여 구현할 때, 딥 러닝 모델을 소프트웨어로 학습한 결과(가중치)를 어레이로 배치된 시냅스 모방소자에 전사하거나 인공지능 반도체 장치에서 학습을 진행할 수도 있다.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 실시예들에 따른 전술한 담낭 용종 판단 방법(1000)은 이상에서 설명된 기능 또는 동작들을 수행하는 장치, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 메모리 유닛은 상기 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 프로세서와 데이터를 주고 받을 수 있다.
또한, 위에서 설명한 "시스템", "프로세서", "컨트롤러", "컴포넌트", "모듈", "인터페이스", "모델", 또는 "유닛" 등의 용어는 일반적으로 컴퓨터 관련 엔티티 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어 또는 실행 중인 소프트웨어를 의미할 수 있다. 예를 들어, 전술한 구성요소는 프로세서에 의해서 구동되는 프로세스, 프로세서, 컨트롤러, 제어 프로세서, 개체, 실행 스레드, 프로그램 및/또는 컴퓨터일 수 있지만 이에 국한되지 않는다. 예를 들어, 컨트롤러 또는 프로세서에서 실행 중인 애플리케이션과 컨트롤러 또는 프로세서가 모두 구성 요소가 될 수 있다. 하나 이상의 구성 요소가 프로세스 및/또는 실행 스레드 내에 있을 수 있으며, 구성 요소들은 하나의 장치(예: 시스템, 컴퓨팅 디바이스 등)에 위치하거나 둘 이상의 장치에 분산되어 위치할 수 있다.
한편, 또 다른 실시예는 전술한 담낭 용종 판단 방법(1000)을 수행하는, 컴퓨터 기록매체에 저장되는 컴퓨터 프로그램을 제공한다. 또한 또 다른 실시예는 전술한 담낭 용종 판단 방법(1000)을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
기록매체에 기록된 프로그램은 컴퓨터에서 읽히어 설치되고 실행됨으로써 전술한 단계들을 실행할 수 있다.
이와 같이, 컴퓨터가 기록매체에 기록된 프로그램을 읽어 들여 프로그램으로 구현된 기능들을 실행시키기 위하여, 전술한 프로그램은 컴퓨터의 프로세서(CPU)가 컴퓨터의 장치 인터페이스(Interface)를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다.
이러한 코드는 전술한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Function Code)를 포함할 수 있고, 전술한 기능들을 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수도 있다.
또한, 이러한 코드는 전술한 기능들을 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조 되어야 하는지에 대한 메모리 참조 관련 코드를 더 포함할 수 있다.
또한, 컴퓨터의 프로세서가 전술한 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 컴퓨터의 프로세서가 컴퓨터의 통신 모듈을 이용하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야만 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수도 있다.
이상에서 전술한 바와 같은 프로그램을 기록한 컴퓨터로 읽힐 수 있는 기록매체는, 일 예로, ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 미디어 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함할 수 있다.
또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
그리고, 본 발명을 구현하기 위한 기능적인(Functional) 프로그램과 이와 관련된 코드 및 코드 세그먼트 등은, 기록매체를 읽어서 프로그램을 실행시키는 컴퓨터의 시스템 환경 등을 고려하여, 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론되거나 변경될 수도 있다.
담낭 용종 판단 방법(1000)은, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
담낭 용종 판단 방법(1000)은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있다)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 담낭 용종 판단 방법(1000)은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기에 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어 단일형으로 설명되어 있는 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
CROSS-REFERENCE TO RELATED APPLICATION
본 특허출원은 2021년 1월 24일 한국에 출원한 특허출원번호 제10-2022-0010235호에 대해 미국 특허법 119(a)조 (35 U.S.C §119(a))에 따라 우선권을 주장하며, 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다. 아울러, 본 특허출원은 미국 이외의 국가에 대해서도 위와 동일한 이유로 우선권을 주장하며 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다.

Claims (16)

  1. 진성 용종 또는 가성 용종 여부가 라벨링된 담낭 용종의 복부 초음파 이미지를 수집하는 수집부;
    상기 복부 초음파 이미지에 기초하여 n개(n은 2 이상의 정수)의 예측 모델을 포함하는 앙상블 모델인 담낭 용종 분류 모델에 입력할 입력 데이터를 생성하는 데이터 생성부;
    상기 입력 데이터를 이용하여 상기 담낭 용종 분류 모델을 학습시키는 모델 학습부; 및
    상기 담낭 용종 분류 모델을 이용하여 신규 담낭 용종의 복부 초음파 이미지를 진성 용종 또는 가성 용종으로 분류하는 분류부;를 포함하는 담낭 용종 판단 시스템.
  2. 제1항에 있어서,
    상기 데이터 생성부는,
    상기 복부 초음파 이미지에 대하여 담낭 용종 부분 잘라내기, 리사이징 및 밝기 및 대비 정규화를 포함하는 전처리를 수행하여 상기 입력 데이터를 생성하는 전처리부; 및
    상기 입력 데이터에 대하여 회전 및 상하반전 중 적어도 하나를 수행하여 상기 입력 데이터를 증강시키는 데이터 증강부;를 포함하는 담낭 용종 판단 시스템.
  3. 제1항에 있어서,
    상기 n개의 예측 모델 각각은,
    ResNet, Inception 및 DenseNet 중 하나에 기초하는 컨볼루션 신경망(convolutional neural network)인 담낭 용종 판단 시스템.
  4. 제1항에 있어서,
    상기 담낭 용종 분류 모델은,
    상기 n개의 예측 모델로부터 출력된 확률을 합산하고, 상기 합산된 확률 값이 임계값을 초과하는지 여부에 기초하여 상기 신규 담낭 용종의 복부 초음파 이미지를 가성 용종 또는 진성 용종으로 분류하는 담낭 용종 판단 시스템.
  5. 제4항에 있어서,
    상기 모델 학습부는,
    상기 임계값을 유덴 지수(youden index)가 가장 크도록 설정하는 담낭 용종 판단 시스템.
  6. 제1항에 있어서,
    상기 모델 학습부는,
    상기 담낭 용종 분류 모델을 학습시키기 위해 상기 입력 데이터를 k개(k는 2 이상의 정수)의 그룹으로 구분하여 k-폴드 교차 검증을 수행하는 담낭 용종 판단 시스템.
  7. 제1항에 있어서,
    상기 모델 학습부는,
    추가적 임상 정보를 더 포함시켜 상기 담낭 용종 분류 모델을 학습시키는 담낭 용종 판단 시스템.
  8. 제7항에 있어서,
    상기 추가적 임상 정보는,
    환자의 나이 또는 용종의 크기 중 하나 이상을 포함하는 담낭 용종 판단 시스템.
  9. 진성 용종 또는 가성 용종 여부가 라벨링된 담낭 용종의 복부 초음파 이미지를 수집하는 단계;
    상기 복부 초음파 이미지에 기초하여 n개(n은 2 이상의 정수)의 예측 모델을 포함하는 앙상블 모델인 담낭 용종 분류 모델에 입력할 입력 데이터를 생성하는 단계;
    상기 입력 데이터를 이용하여 상기 담낭 용종 분류 모델을 학습시키는 단계; 및
    상기 담낭 용종 분류 모델을 이용하여 신규 담낭 용종의 복부 초음파 이미지를 진성 용종 또는 가성 용종으로 분류하는 단계;를 포함하는 담낭 용종 판단 방법.
  10. 제9항에 있어서,
    상기 입력 데이터를 생성하는 단계는,
    상기 복부 초음파 이미지에 대하여 담낭 용종 부분 잘라내기, 리사이징 및 밝기 및 대비 정규화를 포함하는 전처리를 수행하여 상기 입력 데이터를 생성하는 단계; 및
    상기 입력 데이터에 대하여 회전 및 상하반전 중 적어도 하나를 수행하여 상기 입력 데이터를 증강시키는 단계;를 포함하는 담낭 용종 판단 방법.
  11. 제9항에 있어서,
    상기 n개의 예측 모델 각각은,
    ResNet, Inception 및 DenseNet 중 하나에 기초하는 컨볼루션 신경망(convolutional neural network)인 담낭 용종 판단 방법.
  12. 제9항에 있어서,
    상기 담낭 용종 분류 모델은,
    상기 n개의 예측모델로부터 출력된 확률을 합산하고, 상기 합산된 확률 값이 임계값을 초과하는지 여부에 기초하여 상기 신규 담낭 용종의 복부 초음파 이미지를 가성 용종 또는 진성 용종으로 분류하는 담낭 용종 판단 방법.
  13. 제12항에 있어서,
    상기 담낭 용종 분류 모델을 학습시키는 단계에서,
    상기 임계값을 유덴 지수(youden index)가 최댓값이 되도록 설정하는 담낭 용종 판단 방법.
  14. 제9항에 있어서,
    상기 담낭 용종 분류 모델을 학습시키는 단계에서,
    상기 담낭 용종 분류 모델을 학습시키기 위해 상기 입력 데이터를 k개(k는 2 이상의 정수)의 그룹으로 구분하여 k-폴드 교차 검증을 수행하는 담낭 용종 판단 방법.
  15. 제9항에 있어서,
    상기 담낭 용종 분류 모델을 학습시키는 단계에서,
    추가적 임상 정보를 더 포함시켜 상기 담낭 용종 분류 모델을 학습시키는 담낭 용종 판단 방법.
  16. 제15항에 있어서,
    상기 추가적 임상 정보는,
    환자의 나이 또는 용종의 크기 중 하나 이상을 포함하는 담낭 용종 판단 방법.
PCT/KR2022/012130 2022-01-24 2022-08-12 담낭 용종 판단 시스템 및 그 방법 WO2023140449A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220010235A KR102713805B1 (ko) 2022-01-24 담낭 용종 판단 시스템 및 그 방법
KR10-2022-0010235 2022-01-24

Publications (1)

Publication Number Publication Date
WO2023140449A1 true WO2023140449A1 (ko) 2023-07-27

Family

ID=87348852

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/012130 WO2023140449A1 (ko) 2022-01-24 2022-08-12 담낭 용종 판단 시스템 및 그 방법

Country Status (1)

Country Link
WO (1) WO2023140449A1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102344585B1 (ko) * 2019-11-22 2021-12-30 가천대학교 산학협력단 딥러닝 학습을 이용한 내시경 영상으로부터 용종 진단 방법, 장치 및 프로그램

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102344585B1 (ko) * 2019-11-22 2021-12-30 가천대학교 산학협력단 딥러닝 학습을 이용한 내시경 영상으로부터 용종 진단 방법, 장치 및 프로그램

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
DR KANG: "Postech Develops a Deep Learning Model with 90% Accuracy in Diagnosing Malignant Tumors", NEWSIS CO., LTD., 18 January 2022 (2022-01-18), XP009548022, Retrieved from the Internet <URL:https://newsis.com/view/?id=NISX20220118_0001728779&cID=10810&pID=10800> *
JANG SUNG ILL, KIM YOUNG JAE, KIM EUI JOO, KANG HUAPYONG, SHON SEUNG JIN, SEOL YU JIN, LEE DONG KI, KIM KWANG GI, CHO JAE HEE: "Diagnostic performance of endoscopic ultrasound‐artificial intelligence using deep learning analysis of gallbladder polypoid lesions", JOURNAL OF GASTROENTEROLOGY AND HEPATOLOGY, 6TH INTERNATIONAL SYMPOSIUM ON ALCOHOLIC LIVER AND PANCREATIC DISEASES AND CIRRHOSIS, 20‐21 OCTOBER 2011, FUKUOKA, JAPAN, HOBOKEN, USA, vol. 36, no. 12, 1 December 2021 (2021-12-01), Hoboken, USA, pages 3548 - 3555, XP093079800, ISSN: 0815-9319, DOI: 10.1111/jgh.15673 *
JEONG YOUNBEOM, KIM JUNG HOON, CHAE HEE-DONG, PARK SAE-JIN, BAE JAE SEOK, JOO IJIN, HAN JOON KOO: "Deep learning-based decision support system for the diagnosis of neoplastic gallbladder polyps on ultrasonography: Preliminary results", SCIENTIFIC REPORTS, NATURE PUBLISHING GROUP, US, vol. 10, no. 1, 1 December 2020 (2020-12-01), US , pages 7700 - 10, XP055888953, ISSN: 2045-2322, DOI: 10.1038/s41598-020-64205-y *
KIM TAEWAN, CHOI YOUNG HOON, CHOI JIN HO, LEE SANG HYUB, LEE SEUNGCHUL, LEE IN SEOK: "Gallbladder Polyp Classification in Ultrasound Images Using an Ensemble Convolutional Neural Network Model", JOURNAL OF CLINICAL MEDICINE, vol. 10, no. 16, pages 3585, XP093079803, DOI: 10.3390/jcm10163585 *
LIEW WIN SHENG; TANG TONG BOON; LIN CHENG-HUNG; LU CHENG-KAI: "Automatic colonic polyp detection using integration of modified deep residual convolutional neural network and ensemble learning approaches", COMPUTER METHODS AND PROGRAMS IN BIOMEDICINE., ELSEVIER, AMSTERDAM, NL, vol. 206, 14 April 2021 (2021-04-14), NL , XP086613999, ISSN: 0169-2607, DOI: 10.1016/j.cmpb.2021.106114 *

Also Published As

Publication number Publication date
KR20230114099A (ko) 2023-08-01

Similar Documents

Publication Publication Date Title
WO2017213398A1 (en) Learning model for salient facial region detection
WO2021049729A1 (ko) 인공지능 모델을 이용한 폐암 발병 가능성 예측 방법 및 분석 장치
WO2019074195A1 (ko) 딥러닝 기반 이미지 비교 장치, 방법 및 컴퓨터 판독가능매체에 저장된 컴퓨터 프로그램
WO2022005090A1 (ko) 진단 결과를 제공하기 위한 방법 및 장치
WO2022005091A1 (ko) 골 연령 판독 방법 및 장치
Chen et al. Two-stream collaborative network for multi-label chest X-ray Image classification with lung segmentation
WO2021006522A1 (ko) 딥 러닝 모델을 활용한 영상 진단 장치 및 그 방법
WO2019235828A1 (ko) 투 페이스 질병 진단 시스템 및 그 방법
WO2022149696A1 (ko) 딥러닝 모델을 사용한 분류 방법
WO2021246811A1 (ko) 중증도 판단용 뉴럴 네트워크 학습 방법 및 시스템
WO2022059969A1 (ko) 심전도 데이터 분류를 위한 심층 신경망 사전 학습 방법
WO2021101134A1 (en) Electronic apparatus and control method thereof
WO2021261808A1 (ko) 병변 판독 결과 표시 방법
WO2020004815A1 (ko) 데이터의 어노말리 감지 방법
WO2019045147A1 (ko) 딥러닝을 pc에 적용하기 위한 메모리 최적화 방법
WO2021010671A2 (ko) 뉴럴 네트워크 및 비국소적 블록을 이용하여 세그멘테이션을 수행하는 질병 진단 시스템 및 방법
Bazgir et al. Skin cancer classification using Inception Network
WO2022131479A1 (ko) 병변 판독 방법
WO2022119162A1 (ko) 의료 영상 기반의 질환 예측 방법
El-Shafai et al. Classification framework for COVID-19 diagnosis based on deep cnn models.
WO2022231200A1 (ko) 유방암 병변 영역을 판별하기 위한 인공 신경망을 학습하기 위한 학습 방법, 및 이를 수행하는 컴퓨팅 시스템
Chhabra et al. An efficient ResNet-50 based intelligent deep learning model to predict pneumonia from medical images
WO2023140449A1 (ko) 담낭 용종 판단 시스템 및 그 방법
WO2020091259A1 (ko) 비대칭 tanh 활성 함수를 이용한 예측 성능의 개선
WO2022186594A1 (ko) 의료 영상 기반의 병변 분석 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22922308

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE