WO2021177799A1 - 이미지 기반 코로나바이러스감염증 정량 분류 방법 및 시스템 - Google Patents

이미지 기반 코로나바이러스감염증 정량 분류 방법 및 시스템 Download PDF

Info

Publication number
WO2021177799A1
WO2021177799A1 PCT/KR2021/002788 KR2021002788W WO2021177799A1 WO 2021177799 A1 WO2021177799 A1 WO 2021177799A1 KR 2021002788 W KR2021002788 W KR 2021002788W WO 2021177799 A1 WO2021177799 A1 WO 2021177799A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
model
pneumonia
classification
chest
Prior art date
Application number
PCT/KR2021/002788
Other languages
English (en)
French (fr)
Inventor
김동민
김원태
강신욱
이명재
장진성
권태우
Original Assignee
(주)제이엘케이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020200091539A external-priority patent/KR102448680B1/ko
Application filed by (주)제이엘케이 filed Critical (주)제이엘케이
Publication of WO2021177799A1 publication Critical patent/WO2021177799A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/80—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for detecting, monitoring or modelling epidemics or pandemics, e.g. flu

Definitions

  • the present invention relates to a method for classifying pneumonia such as coronavirus infection, and more particularly, to a method and system for quantitatively classifying pneumonia based on an image.
  • Coronavirus Infectious Disease-19 (COVID-19, hereinafter also referred to as 'COVID-19') is rapidly spreading around the world, including in East Asia such as China, Korea and Japan, as of early 2020.
  • WHO World Health Organization
  • RT-PCR 'Real-Time reverse-transcriptase-Polymerase Chain Reaction
  • the present invention is to overcome the difficulties of diagnosing and classifying patients in the diagnosis of respiratory viral infections such as COVID-19, to early screening for severe respiratory infections and to conveniently monitor the course of treatment.
  • An object of the present invention is to provide a method and system that can effectively quantitatively classify severe respiratory infections such as COVID-19 based on images from chest imaging tests such as computed tomography (CT).
  • CT computed tomography
  • Another object of the present invention is to provide an image-based coronavirus infection quantitative classification method and system capable of rapidly diagnosing, classifying and monitoring many patients by applying artificial intelligence (AI) technology.
  • AI artificial intelligence
  • the pre-processing module based on artificial intelligence, adjusts the size of the chest image to a specified size, adjusts the brightness and contrast of the lung region in the size-fitted image, and divides both lungs into a lung segmentation model in the image with the image condition adjusted. Then, the region of interest including the segmented region is cut out from the original chest image to remove unwanted noise.
  • the ensemble classification module analyzes whether there are pneumonia-related findings in the chest image to be analyzed by applying an artificial intelligence model, and quantitatively presents the pneumonia classification probability value.
  • the artificial intelligence model is made by ensemble of two models trained under different conditions, and the quantitatively displayed probability value is presented as a value between 0 and 1, and the closer to 0, the lower the probability of pneumonia. The closer it is, the higher the probability of pneumonia.
  • An image-based coronavirus infection quantitative classification method for solving the above technical problem includes a pneumonia classification model, wherein the pneumonia classification model is performed by a device having a preprocessing module and an ensemble classification module
  • An image-based coronavirus infection classification method comprising the steps of: adjusting a chest image size to a specified size based on artificial intelligence; adjusting the brightness and contrast of the lung region in the sized image; Segmenting both lungs using a lung segmentation model in the image in which the image condition is adjusted; removing unwanted noise by cropping the region of interest including the divided region from the original chest image; analyzing whether there are pneumonia-related findings in the chest image to be analyzed by applying an artificial intelligence model; and quantitatively presenting a pneumonia classification probability value according to the result of the analyzing step.
  • the artificial intelligence model is made by ensemble of two models trained under different conditions, and the quantitatively displayed probability value is presented as a value between 0 and 1, and the closer to 0, the lower the probability of pneumonia, and the closer to 1. The higher the score, the higher the probability of pneumonia.
  • An image-based coronavirus infection quantitative classification method for solving the above technical problem includes the steps of pre-processing a CXR (Chest X-Ray) image or a chest image; Classifying whether there are pneumonia lesions due to coronavirus infection (COVID-19) in the chest image preprocessed with the artificial intelligence model; and obtaining a quantified value for the degree of pneumonia lesion in the lung region of the classified chest image, and visualizing the suspected lesion region as a heat map.
  • CXR Clear X-Ray
  • COVID-19 coronavirus infection
  • the pre-processing includes: checking whether the chest image is inverted in black and white by a preprocessor to which the chest image is input; segmenting the lung region included in the chest image using a lung region segmentation model; cutting out a lung region from the chest image using the segmentation information in the segmenting step; converting the size of the cropped lung region image; and normalizing or standardizing the transformed lung region image to adjust the range of input values for the artificial intelligence model.
  • the method for quantitative classification of coronavirus infection further comprises, after the confirming step, inverting the chest image again if the chest image is a black-and-white inverted image.
  • the classifying includes: determining whether a predicted value or probability of a chest image input from the preprocessor is greater than a reference value by an ensemble classifier connected to the preprocessor and equipped with the artificial intelligence model; localizing the chest image into a first localization model or a second localization model; determining whether an area localized by the first localization model or the second localization model exists within a preset lung area; and if the localized area is within the lung area, presuming it is abnormal or pneumonia.
  • the ensemble classifier is a combination of a first classification ensemble model learned under a preprocessing condition of relatively high sensitivity and a second classification ensemble model learned under a preprocessing condition of relatively high specificity according to the performance index. Classify the chest image or classify the chest image according to the performance index combining the first localized ensemble model learned under the pre-processing condition of relatively high sensitivity and the second localized ensemble model learned under the pre-processing condition of relatively high specificity or a combination thereof.
  • the AI model has an architecture of a DenseNet model.
  • the architecture is arranged to draw a heat map through the input values and weights in the ReLU layer of the last layer, using the Dense Block so that the input values affect the last layer of the AI model.
  • the heat map may be calculated using a CAM (Class Activation Map).
  • An image-based coronavirus infection quantitative classification system for solving the above technical problem is an image-based coronavirus infection quantitative classification system including a computing device, and an input CXR (Chest X-Ray) image or a preprocessor to preprocess the chest image; An artificial intelligence model for classifying whether there is a pneumonia lesion due to coronavirus infection (COVID-19) in the chest image processed in the preprocessor; and a post-processor that obtains a quantified value for the degree of a pneumonia lesion in the lung region of the chest image classified in the artificial intelligence model and visualizes the suspected lesion region as a heat map.
  • CXR Chest X-Ray
  • COVID-19 coronavirus infection
  • the preprocessor the image reversal processing unit to check whether the black and white inversion of the chest image, and inverting the black and white image again in case of inversion; a lung region segmentation unit that divides the lung region included in the chest image using a lung region segmentation model; an extractor configured to cut out a lung region from the chest image using the segmentation information in the segmenting step; a size converter for converting the size of the cropped lung region image; and a standardization unit that normalizes or normalizes the transformed lung region image and then normalizes it to adjust the range of input values for the artificial intelligence model.
  • the ensemble classifier equipped with the artificial intelligence model combines the first classification ensemble model learned under the pre-processing condition of relatively high sensitivity and the second classification ensemble model learned under the pre-processing condition of relatively high specificity.
  • images according to chest imaging tests such as chest X-ray (CXR) and computed tomography (CT) in order to screen for severe respiratory infections early and monitor the progress of treatment Based on this, it is possible to effectively quantitatively classify COVID-19.
  • CXR chest X-ray
  • CT computed tomography
  • AI image-based automated artificial intelligence
  • FIG. 1 is a schematic block diagram of an image-based coronavirus infection quantitative classification system (hereinafter referred to as 'COVID-19 classification system' or 'COVID-19 classification system') according to a first embodiment of the present invention.
  • Figure 2 is an overall flow chart of the image-based corona virus infection quantitative classification method (hereinafter referred to as 'corona 19 classification method' or 'COVID-19 classification method') performed by the Corona 19 classification system of FIG. 1 .
  • FIG. 3 is a flowchart for explaining the pre-processing of the Corona 19 classification method of FIG.
  • FIG. 4 is a diagram schematically illustrating the pre-processing process of FIG. 3 .
  • FIG. 5 is an exemplary diagram showing the architecture of the artificial intelligence model of the Corona 19 classification system of FIG. 1 .
  • FIG. 6 is a schematic block diagram of a COVID-19 classification system according to a second embodiment of the present invention.
  • FIG. 7 is a view showing the CXR image and artificial intelligence analysis results of the 4th day of infection for explaining the Corona 19 classification method by the Corona 19 classification system of FIG.
  • FIG. 8 is a view showing the CXR image and artificial intelligence analysis results of the 7th day of infection for explaining the Corona 19 classification method according to the present embodiment.
  • FIG. 9 is a view showing the CXR image and artificial intelligence analysis results of the 9th day of infection for explaining the Corona 19 classification method according to the present embodiment.
  • FIG. 10 is a view showing a chest CXR image and artificial intelligence analysis results on the 10th day of infection for explaining the Corona 19 classification method according to the present embodiment.
  • FIG. 11 is a trend graph for the artificial intelligence analysis results from the 4th to the 10th day of infection of the Corona 19 patient of FIGS. 7 to 10 .
  • ROC Receiver Operating Characteristic
  • AUC Area Under the Receiver Operating Characteristic
  • FIG. 13 is an exemplary view showing the distribution of probability change values according to the pneumonia patient status classified through the corona 19 classification method by the corona classification system of FIG.
  • any element, component, device, or system includes a component consisting of a program or software, even if not explicitly stated, that element, component, device, or system means that the program or software is executed.
  • terms such as ' ⁇ unit', ' ⁇ group', and 'module' described in this specification mean a unit that processes at least one function or operation, which may be implemented by hardware or software or a combination of hardware and software.
  • articles such as 'a', 'an' and 'the' in the context of describing the present invention are meant to include both the singular and the plural unless otherwise indicated herein or clearly contradicted by the context in the context of describing the present invention. can be used
  • FIG. 1 is a schematic block diagram of an image-based coronavirus infection quantitative classification system (hereinafter referred to as 'COVID-19 classification system' or 'COVID-19 classification system') according to a first embodiment of the present invention.
  • Figure 2 is an overall flow chart of the image-based coronavirus infectious disease quantitative classification method (hereinafter referred to as 'corona 19 classification method' or 'COVID-19 classification method') performed by the Corona 19 classification system of FIG. 1 .
  • 3 is a flowchart for explaining the pre-processing of the Corona 19 classification method of FIG.
  • FIG. 4 is a diagram schematically illustrating the pre-processing process of FIG. 3 .
  • Figure 5 is an exemplary view showing the architecture (Architecture) of the artificial intelligence model of the Corona 19 classification system of Figure 1.
  • the Corona 19 classification system 100 includes a preprocessor 10, an artificial intelligence model 20, and a postprocessor 30 as shown in FIG. 1, and the artificial intelligence model 20 is the first A first localization model (localization models 1 and 21a) and a second localization model (localization models 2 and 21b) are provided, and the chest image input by this configuration is analyzed to output a quantitative classification result.
  • the system 100 analyzes a chest image or a CXR (Chest X-Ray) image, which is a kind of it, based on artificial intelligence to obtain a quantified value or probability of the degree of pneumonia lesion due to Corona 19, and the quantified value or Based on the probability, the suspected lesion area is visualized as a heat map.
  • CXR Chest X-Ray
  • the Corona 19 classification system 100 pre-processes the input chest image as shown in FIG. 2 (S10), and inputs it into the artificial intelligence model to perform analysis by the artificial intelligence model. (S20).
  • the artificial intelligence model determines whether the predicted value (probability) of the preprocessed image exceeds 0.5 (S21). As a result of the judgment, if the predicted value is 0.5 or less, the artificial intelligence model determines that the lesion is normal without suspicion (Predict Normal, S22).
  • the artificial intelligence model determines that the lesion is suspected and performs localization (S23).
  • the suspected lesion region may be visualized through the post-processor's lesion suspicious region visualization model (S30). Visualization may be performed by creating a heat map (Create Heat Map, S30a).
  • the above-described preprocessor may preprocess the input chest image as shown in FIGS. 3 and 4 .
  • the image reversal processing unit 11 of the preprocessor checks whether the input chest image 8 is inverted in black and white (S11), and if it is an inverted image, inverts the input chest image 8 (S12) .
  • the lung region dividing unit 13 of the preprocessor divides the lung region in the chest image so that the AI model can intensively check the lung region (S13).
  • the lung region dividing unit 13 may include a lung region dividing model.
  • the extractor 15 of the preprocessor cuts out the lung region from the chest image based on the lung region segmentation information provided by the lung region divider 13 ( S15 ).
  • the chest image including the cut out lung region becomes an image 8a in which the neck or shoulder parts are removed when compared with the chest image input initially.
  • This image 8a may be included in the preprocessed chest image.
  • the extruder 15 may cut out only the lung region from the chest image in which the neck or shoulder portions are removed.
  • the cut-out image of the lung region may be a black-and-white image 15a in which the lung region is displayed in white and the surrounding region is displayed in black.
  • the size conversion unit 17 of the preprocessor may reduce or enlarge the size of the chest image extracted by the extraction unit 15 to fit the input size of the artificial intelligence (S17).
  • the standardization unit 19 of the preprocessor adjusts the range of input values of the chest image (preprocessed chest image) input to the artificial intelligence model by standardizing the chest image converted by the size conversion unit 17 (S19) .
  • Normalization can transform the chest image in the form of data obtained by subtracting the mean from each image data and dividing the standard deviation.
  • the normalization unit 19 may perform normalization instead of or in combination with normalization of the chest image. Normalization may be, for example, scaling a feature having a range of 10 to 1000 to have a value of 0 to 1.
  • the architecture of the aforementioned artificial intelligence model 20 may have a DenseNet form as shown in FIG. 5 .
  • DenseNet uses a dense block to solve the problem that the input value is lost as the depth of the model increases, and the input value is designed to affect the last layer of the model.
  • Such an input image may include a medical image having 224 horizontal, 224 vertical, and RGB channels.
  • the architecture of the artificial intelligence model of this embodiment is a convolutional (CONV) layer (CV), a maximum pooling layer (MP), a dense block (Dense Block, D) and a transition block (T) pair Arrange the repetition section, density block (D), batch normalization layer (BN), and reLU (rectified linear unit) layer (Re) in the order described, and the last layer, the rear end of the ReLU layer (Re) It may have a form in which a platen unit (FL) and a classification unit (CL) are sequentially connected to each other.
  • the architecture of the artificial intelligence model of this embodiment has a connection structure to generate a CAM (Class Activation Map) at the front end of the ReLU layer (Re), which is the last layer.
  • a CAM creator (Cr) a CAM preprocessor (Pr), and a CAM postprocessor (Po) are connected in the order described in the front end of the ReLU layer (Re), which is the last layer. (20p) may be provided.
  • the convolutional (CONV) layer (CV) is connected to a partial region of the input image, and may be designed to calculate a dot product of the connected region and its own weight.
  • the Rectified Linear Unit (ReLU) layer (Re) is an activation function applied to each element like max(0,x).
  • the ReLU layer (Re) may not change the size of the volume.
  • the Max POOLING layer MP may output a reduced volume by performing downsampling or subsampling on a dimension expressed by (horizontal, vertical).
  • a color convolution layer (CONV Layer) and an activation layer (ReLU Layer) of an input image of a predetermined size are stacked, and a filter of a predetermined size is applied as Stride 1 to the next lower depth level.
  • the operation of the convolution block connected to An operation of an inverse convolution block stacking a (eg, 3x3) color convolution layer and an activation layer may be repeatedly performed a plurality of times.
  • the image of the convolution block of each level of the convolution network including the operation of the convolution block of each level is attached (Copy and Contatenate) with the convolution result of the corresponding level of the inverse convolution network of the same level and the convolution in each block
  • Each of the solution operations may be performed (see 13 of FIG. 4 ).
  • a convolutional block in a convolutional network and a deconvolutional network may be implemented as a combination of CONV-ReLU-CONV layers.
  • the output of the architecture of the AI model may be obtained through a classifier (CL) connected to a convolutional network or a deconvolutional network, but is not limited thereto.
  • the classifier (CL) may be used to extract local features from a chest image using a Fully Connectivity Network (FCN) technique.
  • FCN Fully Connectivity Network
  • the deep learning architecture may be implemented to additionally use an Inception Module or a Multi Filter Pathway within the convolution block according to implementation.
  • Different filters in the inception module or multi-filter path may include a 1x1 filter.
  • FIG. 6 is a schematic block diagram of a COVID-19 classification system according to a second embodiment of the present invention.
  • the COVID-19 classification system 100a may be implemented by a computing device.
  • the computing device may include a processor, a memory, an interface, etc., may be connected to an output device such as a display device, and may be linked with a user terminal through a wired or wireless network.
  • the COVID-19 classification system 100a includes a preprocessor 10 , an artificial intelligence model 20 , and a postprocessor 30 .
  • the artificial intelligence model 20 includes a classification ensemble model 22 and a localization ensemble model 26 .
  • the artificial intelligence model 20 is a kind of pneumonia classifier and may be referred to as an ensemble classifier due to its unique function.
  • the classification ensemble model 22 consists of the first classification ensemble model (Models 1 and 24a) trained under the pre-processing condition of relatively high sensitivity and the second classification ensemble model (Model 2, 24b) trained under the pre-processing condition of relatively high specificity. ), the chest image may be classified according to the first performance index combined.
  • the localization ensemble model 26 consists of the first localized ensemble model (Models 1 and 28a) trained under the pre-processing condition of relatively high sensitivity and the second localized ensemble model (Model 2, 28b) trained under the pre-processing condition of relatively high specificity. ), the chest image may be classified according to the second performance index combined.
  • pre-processor 10 and the post-processor 30 may be substantially the same as the corresponding configuration of the above-described embodiment.
  • the artificial intelligence model in the preprocessor 10 may automatically find and segment the lung region in the CXR image in order to more accurately classify the pneumonia disease.
  • the partitioning process is divided into the following steps:
  • both lungs are segmented using a U-net-based lung segmentation model, and then the region of interest including the segmented region is cut out from the original CXR.
  • the final artificial intelligence model used in this embodiment may be configured by ensembles two models trained under different conditions.
  • the displayed probability value is presented as a value between 0 and 1. The closer to 0, the lower the probability of pneumonia, and the closer to 1, the higher the probability of pneumonia.
  • the criterion for judging the presence or absence of pneumonia was set at 0.5.
  • the prediction results of the pneumonia classification model using the test dataset are the ROC curve and area under the curve [G Huang, Z. Liu, L. Van Der Maaten, and KQ Weinberger, "Densely connected convolutional networks,” in Proceedings of the IEEE conference on computer vision and pattern recognition (2017)].
  • FIG. 7 is a view showing the CXR image and artificial intelligence analysis results of the 4th day of infection for explaining the Corona 19 classification method by the Corona 19 classification system of FIG. 8 is a view showing the CXR image and artificial intelligence analysis results of the 7th day of infection for explaining the Corona 19 classification method according to the present embodiment.
  • 9 is a view showing the CXR image and artificial intelligence analysis results of the 9th day of infection for explaining the Corona 19 classification method according to the present embodiment.
  • 10 is a view showing a chest CXR image and artificial intelligence analysis results on the 10th day of infection for explaining the Corona 19 classification method according to the present embodiment.
  • FIG. 11 is a graph showing the artificial intelligence analysis results from the 4th to the 10th day of infection of the Corona 19 patient of FIGS. 10 to 13 .
  • the artificial intelligence judged the pneumonia negative (pneumonia probability value ⁇ 0.5), and accordingly, the suspected lesion area was not displayed on the image.
  • AI artificial intelligence judged the pneumonia negative (pneumonia probability value ⁇ 0.5), and accordingly, the suspected lesion area was not displayed on the image.
  • no pneumonia was found on the chest CXR image on the 4th day of infection.
  • the artificial intelligence determines that the image is positive for pneumonia (pneumonia probability value >0.5), and accordingly, the suspected lesion area is marked on the image in the lower left lung.
  • AI artificial intelligence
  • the artificial intelligence determined that the pneumonia-suspicious lesion existed in the image with a high probability of a pneumonia probability value of 0.76, and accordingly, the high-probability suspected lesion area was displayed in both lower lungs.
  • Reference 1 mentions that pneumonia is present in the lower left part of the lung in the CXR on day 9 of infection, but the AI indicates that there is a region suspected of pneumonia in both lower parts of the lung. According to Reference 1, a change in respiratory status occurred from the evening of the 9th day of infection, which is consistent with the radiologic findings of pneumonia.
  • Reference 1 mentions that the help of the oxygen infusion device and treatment related to pneumonia started from the 10th day of infection. Although there was no exact mention of the start time of treatment and the time of chest CXR image acquisition, compared with the 9th day of infection, the AI-analyzed pneumonia probability value was derived as a rather low 0.61, and the suspicious area of the lesion was also slightly reduced. In Reference 1, it was reported that basilar streaky opacities, which are findings of atypical pneumonia, were found in both lungs in CXR on the 10th day of infection, and abnormal findings were found in auscultation of both lungs. .
  • the classification probability value increased linearly from day 4 to day 9, when the symptoms of pneumonia changed from good to severe, and it was confirmed that the probability value decreased on day 10 when oxygen supply and pneumonia treatment started.
  • the pneumonia findings were classified as positive, and the lesion with the possibility of early stage pneumonia was marked on the chest X-ray image.
  • Table 2 shows the analysis results different from the diagnosis of pneumonia on the CXR image presented in Reference 1 (Comparative Example).
  • Table 2 shows the AI analysis probability values for each image by applying the learned ensemble model (4, 7, 9, and 10 days after symptoms).
  • the reference value for judging negative and positive is set to 0.5.
  • the CXR images on the 4th day after infection were judged to have a low probability of suspected pneumonia, but images from the 7th day after infection were judged to have a high or high probability of pneumonia.
  • FIG. 12 is a view showing a Receiver Operating Characteristic (ROC) curve and AUC (or Area Under the Receiver Operating Characteristic) (AUC) by an artificial intelligence model of the Corona 19 classification system of FIG. 6 .
  • ROC Receiver Operating Characteristic
  • AUC Area Under the Receiver Operating Characteristic
  • the two models trained under different preprocessing conditions each had values of AUC 0.97 and 0.96, and the ensemble model combining these two models showed the highest performance with AUC 0.98.
  • Model 1 has high sensitivity
  • Model 2 Model 2 has high specificity, but each model shows low specificity (Model 1) and low sensitivity (Model 2).
  • both sensitivity and specificity have the highest performance of 0.90 or higher and AUC 0.98 or higher. It is a case of quantitatively classifying the results of two artificial intelligences by effectively merging them, and the optimal performance is improved.
  • the ensemble model is used as a method for improving the performance of the artificial intelligence model.
  • the ensemble model combines 10 artificial intelligence models to obtain an optimal value and uses AUROC, sensitivity, and specificity according to the threshold as performance indicators. Through this, the ensemble model combining Model 1 and Model 2 in Table 1 can be used as a Corona 19 discrimination model.
  • Model 1 is a model with a high rate of discriminating images as pneumonia
  • Model 2 is a model with a high rate of discriminating images as normal. Therefore, pneumonia caused by Corona 19 is discriminated through an ensemble model that combines the strengths of each model, and its performance is AUROC 0.9826, sensitivity 0.9623, and specificity 0.9009.
  • the visualization model also consists of an ensemble model, and each performance evaluation was performed using an AP according to IoU.
  • IoU and AP were obtained by combining the values of each model, and through this, an optimized ensemble model was constructed. This model has an AP of 0.4 when IoU is 0.5.
  • the heat map obtained through the visualization ensemble model is not inside the lung, it is determined as normal, and if it is inside the lung, it is finally determined as abnormal.
  • Table 4 shows the results of analyzing values according to the patient's condition through ANOVA analysis.
  • the artificial intelligence classification model characterized for pneumonia can be directly applied to the CXR image of a patient infected with COVID-19, and the analysis result can be presented quantitatively. That is, the CXR images of the Corona 19 patient of the same patient from the initial stage to the recovery stage are analyzed with an artificial intelligence (AI) classification model to obtain the probability value of the presence or absence of pneumonia, and the location area corresponding to pneumonia is displayed as a probability map on the CXR image can do.
  • AI artificial intelligence
  • the AI predicted value was shown to increase from the initial mild symptoms to pneumonia, and it can be seen that the suspected pneumonia area is displayed as a probability map. Through this case, it is possible to confirm the reliability of the screening and severity assessment of lung diseases caused by COVID-19 infection using artificial intelligence. That is, in the classification of numerous suspected patients, it is possible to provide an environment for classification of pneumonia by applying artificial intelligence technology for rapid and quantitative analysis and triage in the initial stage of pneumonia.
  • the World Health Organization (WHO) recently directed all contacts to be classified as patients with severe disease, including mild and severe pneumonia, ARDS, sepsis and septic shock.
  • WHO World Health Organization
  • Chest X-ray imaging is one of the most widely used devices worldwide for the rapid classification and monitoring of lung diseases.
  • the artificial intelligence-based chest X-ray image analysis technology can classify and find lesions completely automatically, so it can be used in the triage for screening or treatment target selection for COVID-19 in the fastest and most quantitative way.
  • the AI-based pneumonia classification model using CXR images effectively selects many suspected or infected patients and enables risk classification, so it can be used as a rapid and quantitative means for diagnosis and treatment monitoring of severe respiratory infections. If the patient's clinical information such as body temperature, respiratory status, blood pressure and underlying disease are added, it is expected to be used as a means of determining priorities for more accurate screening and treatment.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Biophysics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

이미지 기반으로 코로나바이러스감염증을 정량 분류하는 방법 및 시스템이 개시된다. 상기의 방법은, 흉부 이미지를 전처리하는 단계, 인공지능 모델로 전처리된 흉부 이미지에 코로나바이러스감염증(코로나19)으로 인한 폐렴 병변이 있는지를 분류하는 단계, 및 분류된 흉부 이미지의 폐 영역에서 폐렴 병변 정도에 대한 정량화된 값을 구하여 병변 의심 영역을 히트맵으로 가시화하는 단계를 포함하며, 전처리 모듈은 인공지능 기반으로, 지정된 크기로 흉부 영상 크기를 맞추고, 크기가 맞춰진 영상에서 폐영역의 밝기 및 대조도를 조절하고, 영상 조건이 조절된 영상에서 폐 분할 모델로 폐 양쪽을 분할한 후 분할 영역이 포함된 관심 영역을 원본 흉부 영상에서 잘라내기 하여 원하지 않은 노이즈를 제거하며, 분류 모듈은 인공지능 모델을 적용하여 분석 대상 흉부 이미지에 폐렴과 관련된 병변 소견이 있는지를 분석하고 폐렴 분류 확률값을 정량적으로 제시한다.

Description

이미지 기반 코로나바이러스감염증 정량 분류 방법 및 시스템
본 발명은 코로나바이러스감염증 등의 폐렴을 분류하는 방법에 관한 것으로, 보다 상세하게는 이미지 기반으로 폐렴을 정량 분류하는 방법 및 시스템에 관한 것이다.
코로나바이러스감염증-19(COVID-19, 이하 간략히 '코로나19'라고도 한다)는 2020년 초반 현재 중국, 한국 및 일본 등지의 동아시아 지역을 포함한 전 세계에 빠른 속도로 확산 중이다. 코로나19를 진단하기 위해 세계보건기구(WHO)는 '실시간 역전사 중합효소연쇄반응(Real-Time reverse-transcriptase-Polymerase Chain Reaction, RT-PCR)' 검사 방법을 사용하여 환자들을 초기 단계에서 진단하여 격리할 수 있도록 지침을 내린 상태이다.
하지만, 한정된 선별 능력에 비해 의심환자의 수는 기하 급수적으로 늘어나고 있으며, 실시간 RT-PCR의 가동시간으로 인한 진단시간 지연으로 중증도에 따른 환자 선별이 어렵고 효과적인 치료계획의 확립이 어려운 문제가 있다.
본 발명은 코로나19와 같은 호흡기바이러스감염증의 진단에서 환자 진단 및 분류의 어려움을 극복하여 중증 호흡기 감염을 조기에 선별하고 치료 경과를 간편하게 모니터링하기 위한 것으로서, 흉부(chest) X-ray(CXR)와 컴퓨터 단층 촬영(Computed Tomography, CT)과 같은 흉부 영상검사에 따른 이미지(Image) 기반으로 코로나19 등의 중증 호흡기 감염을 효과적으로 정량 분류할 수 있는 방법 및 시스템을 제공하는데 그 목적이 있다.
본 발명의 다른 목적은 추가로 인공지능(Artificial Intelligence, AI) 기술을 적용하여 많은 환자를 신속하게 진단 및 분류하고 모니터링할 수 있는 이미지 기반 코로나바이러스감염증 정량 분류 방법 및 시스템을 제공하는데 있다.
상기 기술적 과제를 해결하기 위한 본 발명의 일 측면에 따른 이미지 기반 코로나바이러스감염증 정량 분류 시스템은, 폐렴 분류 모델을 포함하고, 상기 폐렴 분류 모델은 전처리 모듈과 앙상블 분류 모듈을 구비한다. 상기 전처리 모듈은, 인공지능 기반으로, 지정된 크기로 흉부 영상 크기를 맞추고, 크기가 맞춰진 영상에서 폐영역의 밝기 및 대조도를 조절하고, 영상 조건이 조절된 영상에서 폐 분할 모델로 폐 양쪽을 분할한 후 분할 영역이 포함된 관심 영역을 원본 흉부 영상에서 잘라내기 하여 원하지 않은 노이즈를 제거한다. 그리고 상기 앙상블 분류 모듈은 인공지능 모델을 적용하여 분석 대상 흉부 영상에 폐렴과 관련된 소견이 있는 지를 분석하고, 폐렴 분류 확률값을 정량적으로 제시한다. 여기서, 상기 인공지능 모델은 서로 다른 조건에서 훈련된 2개의 모델을 앙상블하여 이루어지고, 상기 정량적으로 표시되는 확률값은 0 ~ 1 사이의 값으로 제시되며, 0에 가까울수록 폐렴 확률이 적고, 1에 가까울 수록 폐렴의 확률이 높다는 것을 의미한다.
상기 기술적 과제를 해결하기 위한 본 발명의 다른 측면에 따른 이미지 기반 코로나바이러스감염증 정량 분류 방법은, 폐렴 분류 모델을 포함하고, 상기 폐렴 분류 모델은 전처리 모듈과 앙상블 분류 모듈을 구비하는 장치에 의해 수행되는 이미지 기반 코로나바이러스감염증 분류 방법으로서, 인공지능 기반으로, 지정된 크기로 흉부 영상 크기를 맞추는 단계; 크기가 맞춰진 영상에서 폐영역의 밝기 및 대조도를 조절하는 단계; 영상 조건이 조절된 영상에서 폐 분할 모델로 폐 양쪽을 분할하는 단계; 분할 영역이 포함된 관심 영역을 원본 흉부 영상에서 잘라내기 하여 원하지 않은 노이즈를 제거하는 단계; 인공지능 모델을 적용하여 분석 대상 흉부 영상에 폐렴과 관련된 소견이 있는 지를 분석하는 단계; 상기 분석하는 단계의 결과에 따라 폐렴 분류 확률값을 정량적으로 제시하는 단계를 포함한다. 여기서 상기 인공지능 모델은 서로 다른 조건에서 훈련된 2개의 모델을 앙상블하여 이루어지고, 상기 정량적으로 표시되는 확률값은 0 ~ 1 사이의 값으로 제시되며, 0에 가까울수록 폐렴 확률이 적고, 1에 가까울 수록 폐렴의 확률이 높다는 것을 나타낸다.
상기 기술적 과제를 해결하기 위한 본 발명의 또 다른 측면에 따른 이미지 기반 코로나바이러스감염증 정량 분류 방법은, CXR(Chest X-Ray) 영상 또는 흉부 이미지를 전처리하는 단계; 인공지능 모델로 전처리된 흉부 이미지에 코로나바이러스감염증(코로나19)으로 인한 폐렴 병변이 있는지를 분류하는 단계; 및 분류된 흉부 이미지의 폐 영역에서 폐렴 병변 정도에 대한 정량화된 값을 구하여 병변 의심 영역을 히트맵으로 가시화하는 단계를 포함한다.
일실시예에서, 상기 전처리하는 단계는, 상기 흉부 이미지가 입력되는 전처리기에 의해, 상기 흉부 이미지의 흑백 반전 여부를 확인하는 단계; 상기 흉부 이미지에 포함된 폐 영역을 폐 영역 분할 모델을 이용하여 분할하는 단계; 상기 분할하는 단계에서의 분할 정보를 이용하여 상기 흉부 이미지에서 폐 영역을 잘라내기하는 단계; 상기 잘라내기된 폐 영역 이미지의 크기를 변환하는 단계; 및 상기 변환된 폐 영역 이미지를 정규화 또는 표준화하여 인공지능 모델에 대한 입력 값의 범위를 조정하는 단계를 포함한다.
일실시예에서, 코로나바이러스감염증 정량 분류 방법은, 상기 확인하는 단계 후에, 흉부 이미지가 흑백 반전된 이미지인 경우, 다시 반전시키는 단계를 더 포함한다.
일실시예에서, 분류하는 단계는, 상기 전처리기에 연결되고 상기 인공지능 모델을 탑재한 앙상블 분류기에 의해, 상기 전처리기로부터 입력되는 흉부 이미지의 예측값 또는 확률이 기준값보다 큰 경우인지를 판단하는 단계; 상기 흉부 이미지를 제1 지역화 모델 또는 제2 지역화 모델로 지역화하는 단계; 상기 제1 지역화 모델 또는 제2 지역화 모델로 지역화된 영역이 미리 설정된 폐 영역 내에 존재하는지를 판별하는 단계; 및 상기 지역화된 영역이 상기 폐 영역 내에 존재하는 경우, 비정상 또는 폐렴으로 추정하는 단계를 포함한다.
일실시예에서, 상기 앙상블 분류기는, 상대적으로 높은 민감도의 전처리 조건에서 학습한 제1 분류 앙상블 모델과 상대적으로 높은 특이도의 전처리 조건에서 학습한 제2 분류 앙상블 모델을 조합한 성능지표에 따라 상기 흉부 이미지를 분류하거나, 상대적으로 높은 민감도의 전처리 조건에서 학습한 제1 지역화 앙상블 모델과 상대적으로 높은 특이도의 전처리 조건에서 학습한 제2 지역화 앙상블 모델을 조합한 성능지표에 따라 상기 흉부 이미지를 분류하거나, 이들의 조합을 수행한다.
일실시예에서, 상기 인공지능 모델은 덴스넷(DenseNet) 모델의 아키텍처를 구비한다. 아키텍처는 입력 값이 인공지능 모델의 마지막 층까지 영향을 주도록 덴스 블록(Dense Block)을 사용하고, 상기 마지막 층의 렐루(ReLU) 층에서의 입력 값과 가중치를 통해 히트맵을 그리도록 배치된다. 히트맵은 CAM(Class Activation Map)을 이용하여 계산될 수 있다.
상기 기술적 과제를 해결하기 위한 본 발명의 또 다른 측면에 따른 이미지 기반 코로나바이러스감염증 정량 분류 시스템은, 컴퓨팅 장치를 포함하는 이미지 기반 코로나바이러스감염증 정량 분류 시스템으로서, 입력되는 CXR(Chest X-Ray) 영상 또는 흉부 이미지를 전처리하는 전처리기; 상기 전처리기에서 처리된 흉부 이미지에 코로나바이러스감염증(코로나19)으로 인한 폐렴 병변이 있는지를 분류하는 인공지능 모델; 및 상기 인공지능 모델에서 분류된 흉부 이미지의 폐 영역에서 폐렴 병변 정도에 대한 정량화된 값을 구하여 병변 의심 영역을 히트맵으로 가시화하는 후처리기를 포함한다.
일실시예에서, 상기 전처리기는, 상기 흉부 이미지의 흑백 반전 여부를 확인하고, 흑백 반전된 이미지인 경우 다시 반전시키는 이미지 반전 처리부; 상기 흉부 이미지에 포함된 폐 영역을 폐 영역 분할 모델을 이용하여 분할하는 폐 영역 분할부; 상기 분할하는 단계에서의 분할 정보를 이용하여 상기 흉부 이미지에서 폐 영역을 잘라내기하는 축출부; 상기 잘라된 폐 영역 이미지의 크기를 변환하는 사이즈 변환부; 및 상기 변환된 폐 영역 이미지를 표준화하거나 표준화한 후에 정규화하여 인공지능 모델에 대한 입력 값의 범위를 조정하는 표준화부를 포함한다.
일실시예에서, 상기 인공지능 모델을 탑재한 앙상블 분류기는, 상대적으로 높은 민감도의 전처리 조건에서 학습한 제1 분류 앙상블 모델과 상대적으로 높은 특이도의 전처리 조건에서 학습한 제2 분류 앙상블 모델을 조합한 제1 성능지표에 따라 상기 흉부 이미지를 분류하거나, 상대적으로 높은 민감도의 전처리 조건에서 학습한 제1 지역화 앙상블 모델과 상대적으로 높은 특이도의 전처리 조건에서 학습한 제2 지역화 앙상블 모델을 조합한 제2 성능지표에 따라 상기 흉부 이미지를 분류하거나, 이 둘 모두를 조합하여 수행할 수 있다.
본 발명에 의하면, 중증 호흡기 감염을 조기에 선별하고 치료 경과를 모니터링하기 위해 흉부(Chest) X-ray(CXR)와 컴퓨터 단층 촬영(Computed Tomography, CT)과 같은 흉부 영상검사에 따른 영상(Image) 기반으로 코로나19를 효과적으로 정량 분류할 수 있다.
또한, 본 발명에 의하면, 흉부 영상검사에 따른 이미지 기반으로 자동화된 인공지능(Artificial Intelligence, AI) 기술을 적용함으로써 많은 코로나19 환자를 빠르게 정량 분류하고 모니터링하는데 활용할 수 있다.
도 1은 본 발명의 제1 실시예에 따른 이미지 기반 코로나바이러스감염증 정량 분류 시스템(이하 간략히 '코로나19 분류 시스템' 또는 'COVID-19 분류 시스템'이라 한다)에 대한 개략적인 블록도이다.
도 2는 도 1의 코로나19 분류 시스템에 의해 수행되는 이미지 기반 코러나바이러스감염증 정량 분류 방법(이하 간략히 '코로나19 분류 방법' 또는 'COVID-19 분류 방법'이라 한다)에 대한 전체적인 흐름도이다.
도 3은 도 2의 코로나19 분류 방법의 전처리 과정을 설명하기 위한 흐름도이다.
도 4는 도 3의 전처리 과정을 도식화하여 나타낸 도면이다.
도 5는 도 1의 코로나19 분류 시스템의 인공지능 모델의 아키텍처(Architecture)를 나타낸 예시도이다.
도 6은 본 발명의 제2 실시예에 따른 코로나19 분류 시스템에 대한 개략적인 블록도이다.
도 7은 도 6의 코로나19 분류 시스템에 의한 코로나19 분류 방법을 설명하기 위한 감염 4일째의 CXR 영상과 인공지능 분석결과를 나타낸 도면이다.
도 8은 본 실시예에 따른 코로나19 분류 방법을 설명하기 위한 감염 7 일째의 CXR 영상과 인공지능 분석결과를 나타낸 도면이다.
도 9는 본 실시예에 따른 코로나19 분류 방법을 설명하기 위한 감염 9일째의 CXR 영상과 인공지능 분석결과를 나타낸 도면이다.
도 10은 본 실시예에 따른 코로나19 분류 방법을 설명하기 위한 감염10 일째의 흉부 CXR 영상과 인공지능 분석결과를 나타낸 도면이다.
도 11은 도 7 내지 도 10의 코로나19 환자의 감염4일부터 10일까지의 인공지능 분석결과에 대한 추이 그래프이다.
도 12는 도 6의 코로나19 분류 시스템의 인공지능 모델에 의한 ROC(Receiver Operating Characteristic) 곡선과 AUC (또는 AUROC: Area Under the Receiver Operating Characteristic)를 나타낸 도면이다.
도 13은 도 6의 코로나 분류 시스템에 의한 코로나19 분류 방법을 통해 분류되는 폐렴 환자 상태에 따른 확률 변화값의 분포를 나타낸 예시도이다.
이상의 본 발명의 목적들, 다른 목적들, 특징들 및 이점들은 첨부된 도면과 관련된 이하의 바람직한 실시예들을 통해서 쉽게 이해될 것이다. 그러나 본 발명은 여기서 설명되는 실시예들에 한정되지 않고 다른 형태로 구체화될 수 있다. 여기서 소개되는 실시예들은 개시된 내용이 철저하고 완전해질 수 있도록, 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다.
본 명세서에서 제1, 제2 등의 용어가 구성요소들을 기술하기 위해서 사용된 경우, 이들 구성요소들이 이 같은 용어들에 의해서 한정되어서는 안 된다. 이들 용어들은 단지 어느 구성요소를 다른 구성요소와 구별시키기 위해서 사용되었을 뿐이다. 여기에 설명되고 예시되는 실시예들은 그것의 상보적인 실시예들도 포함한다.
또한, 어떤 엘리먼트, 구성요소, 장치, 또는 시스템이 프로그램 또는 소프트웨어로 이루어진 구성요소를 포함한다고 언급되는 경우, 명시적인 언급이 없더라도, 그 엘리먼트, 구성요소, 장치, 또는 시스템은 그 프로그램 또는 소프트웨어가 실행 또는 동작하는데 필요한 하드웨어(예를 들면, 중앙처리장치(CPU), 메모리 등)나 다른 프로그램 또는 소프트웨어(예를 들면 운영체제나 하드웨어를 구동하는데 필요한 드라이버 등)를 포함하는 것으로 이해되어야 할 것이다.
또한 본 명세서에서 사용된 용어는 실시예들을 상세히 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '포함한다(comprises)' 및/또는 '포함하는(comprising)'은 언급된 구성요소는 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
또한, 본 명세서에 기재된 '~부', '~기', '모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, '일', '하나' 및 '그' 등의 관사는 본 발명을 기술하는 문맥에 있어서 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.
아래의 특정 실시 예들을 기술하는 데 있어서, 여러 가지의 특정적인 내용들은 발명을 더 구체적으로 설명하고 이해를 돕기 위해 작성되었다. 하지만 본 발명을 이해할 수 있을 정도로 이 분야의 지식을 갖고 있는 독자는 이러한 여러 가지의 특정적인 내용이 없어도 사용될 수 있다는 것을 인지할 수 있다.
이하, 본 발명에서 실시하고자 하는 구체적인 기술 내용에 대해 첨부도면을 참조하여 상세하게 설명하기로 한다.
도 1은 본 발명의 제1 실시예에 따른 이미지 기반 코로나바이러스감염증 정량 분류 시스템(이하 간략히 '코로나19 분류 시스템' 또는 'COVID-19 분류 시스템'이라 한다)에 대한 개략적인 블록도이다. 도 2는 도 1의 코로나19 분류 시스템에 의해 수행되는 이미지 기반 코로나바이러스감염증 정량 분류 방법(이하 간략히 '코로나19 분류 방법' 또는 'COVID-19 분류 방법'이라 한다)에 대한 전체적인 흐름도이다. 도 3은 도 2의 코로나19 분류 방법의 전처리 과정을 설명하기 위한 흐름도이다. 도 4는 도 3의 전처리 과정을 도식화하여 나타낸 도면이다. 그리고 도 5는 도 1의 코로나19 분류 시스템의 인공지능 모델의 아키텍처(Architecture)를 나타낸 예시도이다.
본 실시예에 따른 코로나19 분류 시스템(100)은 도 1에 도시한 바와 같이 전처리기(10), 인공지능 모델(20) 및 후처리기(30)을 포함하고, 인공지능 모델(20)은 제1 지역화 모델(지역화 모델1, 21a)과 제2 지역화 모델(지역화 모델2, 21b)을 구비하며, 이러한 구성에 의해 입력되는 흉부 이미지를 분석하여 정량 분류 결과를 출력한다.
즉, 본 시스템(100)은 흉부 이미지 또는 그 일종인 CXR(Chest X-Ray) 이미지를 인공지능 기반으로 분석하여 코로나19로 인한 폐렴 병변의 정도를 정량화된 값 혹은 확률로 구하고, 정량화된 값 또는 확률에 기초하여 병변 의심 영역을 히트맵으로 가시화한다.
좀더 구체적으로, 코로나19 분류 시스템(100)은 도 2에 도시한 바와 같이 입력되는 흉부 이미지를 전처리(pre-processing)하고(S10), 인공지능 모델로 입력하여 인공지능 모델에 의한 분석을 수행한다(S20).
인공지능 모델은 전처리된 이미지의 예측값(확률)이 0.5를 초과하는지를 판단한다(S21). 판단 결과, 예측값이 0.5 이하이면, 인공지능 모델은 병변 의심이 없는 정상으로 판단한다(Predict Normal, S22).
한편, 상기 판단 단계(S21)에서의 판단 결과, 예측값이 0.5를 초과하면, 인공지능 모델은 병변 의심으로 판단하고, 지역화(Localization)를 수행한다(S23).
다음, 지역화된 영역이 폐 영역 내에 존재하는지를 판단한다(S25). 판단 결과, 지역화된 영역이 폐 영역 내에 존재하지 않으면, 정상으로 판단한다(Predict Normal, S22). 그리고, 지역화된 영역이 폐 영역 내에 존재하면, 비정상으로 판단한다(Predict Abnormal, S27). 비정상은 폐렴인 것으로 추정된 경우이다.
다음으로, 후처리기의 병변 의심 영역 가시화 모델을 통해 병변 의심 영역을 가시화할 수 있다(S30). 가시화(Visualization)는 히트맵 작성(Create Heat Map, S30a)을 통해 수행될 수 있다.
한편, 전술한 전처리기는 도 3 및 도 4에 도시한 바와 같이 입력되는 흉부 이미지를 전처리할 수 있다.
먼저, 전처리기의 이미지 반전 처리부(11)는 입력되는 흉부 이미지(8)가 흑백 반전되어 있는지를 확인하고(S11), 반전된 이미지인 경우, 입력된 흉부 이미지(8)를 반전시키다(S12).
다음, 전처리기의 폐 영역 분할부(13)는 인공지능 모델이 폐 영역을 집중적으로 확인할 수 있도록 흉부 이미지에서 폐 영역을 분할한다(S13). 폐 영역 분할부(13)는 폐 영역 분할 모델을 포함할 수 있다.
다음, 전처리기의 축출부(15)는 폐 영역 분할부(13)에서 제공하는 폐 영역 분할 정보에 기초하여 흉부 이미지에서 폐 영역을 잘라내기한다(S15). 여기서, 잘라낸 폐 영역을 포함하는 흉부 이미지는 최초로 입력되는 흉부 이미지와 대비할 때 목 부분이나 어깨 부분이 제거된 형태의 이미지(8a)가 된다. 이 이미지(8a)는 전처리된 흉부 이미지에 포함될 수 있다.
또한, 축출부(15)는 목 부분이나 어깨 부분이 제거된 흉부 이미지에서 폐 영역만을 잘라낼 수 있다. 잘라낸 폐 영역에 대한 이미지는 폐 영역을 흰색으로 표시하고 주변 영역을 검정색으로 표시한 흑백 이미지(15a)일 수 있다.
다음, 전처리기의 사이즈 변환부(17)는 추출부(15)에서 추출된 흉부 이미지의 사이즈를 변환하여 인공지능의 입력 크기에 맞게 축소하거나 확대할 수 있다(S17).
다음, 전처리기의 표준화부(19)는 사이즈 변환부(17)에서 변환된 흉부 이미지를 표준화하여 인공지능 모델로 입력되는 흉부 이미지(전처리된 흉부 이미지)의 입력 값의 범위를 조정한다(S19). 표준화는 각 이미지 데이터에서 평균을 빼고 표준편차를 나눈 데이터 형태로 흉부 이미지를 변형할 수 있다.
또한, 표준화부(19)는 흉부 이미지의 표준화 대신에 혹은 표준화와 조합하여 정규화를 수행할 수 있다. 정규화는 예를 들어 10 내지 1000 범위를 가진 특징(Feature)을 0~1 값을 갖도록 스케일링하는 것일 수 있다.
또 한편으로, 전술한 인공지능 모델(20)의 아키텍처는 도 5에 도시한 바와 같이 덴스넷(DenseNet) 형태를 구비할 수 있다. 덴스넷은 모델의 깊이가 깊어질수록 입력 값이 소실되는 문제를 해결하기 위해 덴스 블록(Dense Block)을 사용하며, 입력 값이 모델의 마지막 층까지 영향을 주도록 설계된다.
입력(Input) 이미지의 크기[224x224x3]일 수 있다. 이러한 입력 이미지는 가로 224, 세로 224 그리고 RGB 채널을 가지는 의료 영상을 포함할 수 있다.
본 실시예의 인공지능 모델의 아키텍처는 콘볼루션(Convolutional, CONV) 레이어(CV), 최대 풀링(Max Pooling) 레이어(MP), 덴스 블럭(Dense Block, D)과 전이 블럭(Transition Block, T) 쌍의 반복 구간, 덴스 블럭(D), 배치 정규화(Batch Normalization) 레이어(BN), 및 렐루(ReLU: Rectified Linear Unit) 레이어(Re)를 기재된 순서대로 배열하고, 마지막 층인 ReLU 레이어(Re)의 후단에 플래튼(Flatten) 유닛(FL) 및 분류(Classification) 유닛(CL)를 순서대로 연결한 형태를 구비할 수 있다.
특히, 본 실시예의 인공지능 모델의 아키텍처는 마지막 층인 ReLU 레이어(Re)의 전단에 CAM(Class Activation Map)을 생성하도록 하는 연결 구조를 구비한다. 이를 위해, 마지막 층인 ReLU 레이어(Re)의 전단에 CAM 생성기(CAM creator, Cr)와, CAM 전처리기(preprocessor)(Pr) 및 CAM 후처리기(postprocessor)(Po)가 기재된 순서대로 연결된 CAM 생성부(20p)를 구비할 수 있다.
여기서, 콘볼루션(Convolutional, CONV) 레이어(CV)는 입력 이미지의 일부 영역과 연결되며, 이 연결된 영역과 자신의 가중치의 내적 연산(Dot Product)을 계산하도록 설계될 수 있다.
ReLU(Rectified Linear Unit) 레이어(Re)는 max(0,x)와 같이 각 요소에 적용되는 액티베이션 함수(Activation Function)이다. ReLU 레이어(Re)는 볼륨의 크기를 변화시키지 않을 수 있다.
Max POOLING 레이어(MP)는 (가로, 세로)로 표현되는 차원에 대해 다운샘플링(Downsampling) 또는 서브샘블링(Subsampling)을 수행하여 감소된 볼륨을 출력할 수 있다.
흉부 이미지의 국소적인 특징을 추출하기 위하여 소정 크기의 입력 이미지를 컬러 컨볼루션 레이어(CONV Layer)와 액티베이션 레이어(ReLU Layer)를 쌓고 소정 크기의 필터를 스트라이드(Stride) 1로 적용하여 다음 하위 깊이 레벨로 연결되는 컨볼루션 블록의 연산을 복수회 반복하여 수행하고, 그 다음에 소정 크기의 디컨볼루션 레이어(Deconvolution Layer)와 액티베이션 레이어(ReLU Layer)를 적용하여 다음 상위 깊이 레벨로 연결한 후 소정 크기(예컨대, 3x3)의 컬러 컨볼루션 레이어와 액티베이션 레이어를 쌓는 역컨볼루션 블록의 연산을 복수회 반복하여 수행할 수 있다. 여기서 각 레벨의 컨볼루션 블록의 연산을 포함한 컨볼루션 네트워크의 각 레벨의 컨볼루션 블록의 이미지에 동일 레벨의 역컨볼루션 네트워크의 대응 레벨의 컨볼루션 결과를 갖다 붙이고(Copy and Contatenate) 각 블록에서 컨볼루션 연산을 각각 수행하도록 이루어질 수 있다(도 4의 13 참조).
컨볼루션 네트워크와 디컨볼루션 네트워크 내 컨볼루션 블록은 CONV-ReLU-CONV 레이어들의 조합으로 구현될 수 있다. 그리고, 인공지능 모델의 아키텍처의 출력은 컨볼루션 네트워크나 디컨볼루션 네트워크에 연결되는 분류기(CL)를 통해 얻어질 수 있으나, 이에 한정되지는 않는다. 분류기(CL)는 FCN(Fully Connectivity Network) 기법을 이용하여 흉부 이미지에서 국소적인 특징을 추출하는데 이용될 수 있다.
또한, 딥러닝 아키텍처는 구현에 따라서 컨볼루션 블록 내에 인셉션 모듈(Inseption Module) 또는 멀티 필터 경로(Multi Filter Pathway)를 추가로 사용하도록 구현될 수 있다. 인셉션 모듈 또는 멀티 필터 경로 내 서로 다른 필터는 1x1 필터를 포함할 수 있다.
도 6은 본 발명의 제2 실시예에 따른 코로나19 분류 시스템에 대한 개략적인 블록도이다.
도 6을 참조하면, 본 실시예에 따른 코로나19 분류 시스템(100a)은 컴퓨팅 장치에 의해 구현될 수 있다. 컴퓨팅 장치는 프로세서, 메모리, 인터페이스 등을 구비할 수 있고, 디스플레이 장치 등의 출력 장치에 연결될 수 있으며, 유선이나 무선 네트워크를 통해 사용자 단말과 연동될 수 있다.
또한, 코로나19 분류 시스템(100a)은 전처리기(10), 인공지능 모델(20) 및 후처리기(30)를 포함한다.
먼저, 인공지능 모델(20)은 분류 앙상블 모델(22) 및 지역화 앙상블 모델(26)을 구비한다. 인공지능 모델(20)은 폐렴 분류기의 일종으로서 그 특유의 기능에 의해 앙상블 분류기로서 지칭될 수 있다.
분류 앙상블 모델(22)은 상대적으로 높은 민감도의 전처리 조건에서 학습한 제1 분류 앙상블 모델(모델1, 24a)과 상대적으로 높은 특이도의 전처리 조건에서 학습한 제2 분류 앙상블 모델(모델2, 24b)을 조합한 제1 성능지표에 따라 흉부 이미지를 분류할 수 있다.
지역화 앙상블 모델(26)은 상대적으로 높은 민감도의 전처리 조건에서 학습한 제1 지역화 앙상블 모델(모델1, 28a)과 상대적으로 높은 특이도의 전처리 조건에서 학습한 제2 지역화 앙상블 모델(모델2, 28b)을 조합한 제2 성능지표에 따라 흉부 이미지를 분류할 수 있다.
한편, 전처리기(10)와 후처리기(30)는 전술한 실시예의 대응 구성과 실질적으로 동일할 수 있다.
예를 들어, 전처리기(10)에서 인공지능 모델이 폐렴 질환을 더 정확히 분류하기 위해 CXR 영상에서 폐 영역을 자동으로 찾아내어 분할할 수 있다. 분할하는 과정은 다음 단계로 나뉜다:
(1) 소정의 지정 크기(예컨대, 256 × 256)로 흉부 영상 크기를 맞춘다.
(2) 크기가 맞춰진 영상에서 폐영역을 자세히 살펴볼 수 있도록 밝기 및 대조도를 자동으로 조절한다.
(3) 영상 조건이 조절된 영상에서 원하지 않은 노이즈를 제거하기 위해 U-net기반 폐 분할 모델로 폐 양쪽을 분할한 후 분할 영역이 포함된 관심 영역을 원본 CXR에서 잘라내기 한다.
다음으로, 폐렴에 민감하게 학습된 인공지능 모델을 적용하여 분석 대상 CXR 영상에 폐렴과 관련된 소견이 있는지를 분석하고, 폐렴 분류 확률값을 정량적으로 제시한다.
또 한편으로, 본 실시예에서 사용되는 최종 인공지능 모델은 서로 다른 조건에서 훈련된 2개의 모델을 앙상블하여 구성할 수 있다.
표시되는 확률값은 0 ~ 1사이의 값으로 제시되며, 0에 가까울수록 폐렴 확률이 적고, 1에 가까울 수록 폐렴의 확률이 높다는 것을 의미한다. 폐렴 소견 유무에 대한 판단 기준은 0.5에 설정하였다.
분류모델을 학습하기 위해서 대한결핵협회(Korean National Tuberculosis Association; KNTA)와 미국 국립 보건원(National Institutes of Health; NIH)의 79,672장의 CXR데이터를 사용하였다.
한편, 폐렴 분류 모델의 성능 검증을 위해서 424개의 CXR 영상(가천대 길병원, 인천, 대한민국)을 별도의 테스트 데이터셋으로 사용했으며, 테스트 데이터셋에서 폐렴의 확진은 흉부 CT 결과와 임상 정보를 기반으로 하였다. 인공지능 분류에 참조되는 영역은 Grad-CAM을 활용하여 직접 CXR영상 위에 병변 의심 영역으로 표시되게 하였다.
AI 기반 폐렴 예측 모델의 성능을 입증하기 위해 참고문헌1[Holshue, Michelle L., et al. "First case of 2019 novel coronavirus in the United States." New England Journal of Medicine (2020)]에 제시된 코로나19 확진 환자의 CXR 영상을 사용하여 분석을 적용하였다. 즉, 본 실시예에서 제시한 코로나19 환자의 질병 발생 후 4일부터 10일 사이에 촬영된 네 차례의 추적 CXR 영상들을 분석에 이용하였다.
테스트 데이터셋을 이용한 폐렴 분류 모델의 예측 결과는 ROC곡선과 AUC(area under the curve)[G Huang, Z. Liu, L. Van Der Maaten, and K. Q. Weinberger, "Densely connected convolutional networks," in Proceedings of the IEEE conference on computer vision and pattern recognition (2017) 참조]를 사용하여 제시할 수 있다.
도 7은 도 6의 코로나19 분류 시스템에 의한 코로나19 분류 방법을 설명하기 위한 감염 4일째의 CXR 영상과 인공지능 분석결과를 나타낸 도면이다. 도 8는 본 실시예에 따른 코로나19 분류 방법을 설명하기 위한 감염 7 일째의 CXR 영상과 인공지능 분석결과를 나타낸 도면이다. 도 9는 본 실시예에 따른 코로나19 분류 방법을 설명하기 위한 감염 9일째의 CXR 영상과 인공지능 분석결과를 나타낸 도면이다. 도 10는 본 실시예에 따른 코로나19 분류 방법을 설명하기 위한 감염10 일째의 흉부 CXR 영상과 인공지능 분석결과를 나타낸 도면이다. 그리고 도 11은 도 10 내지 도 13의 코로나19 환자의 감염4일부터 10일까지의 인공지능 분석결과에 대한 추이 그래프이다.
도 7를 참조하면, 인공지능(AI)은 폐렴 음성으로 판단(폐렴 확률 값<0.5)하였고, 이에 따라 병변 의심 영역이 영상 위에 표시가 되지 않았다. 참고문헌1에서도 감염 4일째의 흉부 CXR 영상에서는 폐렴을 찾지 못하였다.
도 8를 참조하면, 인공지능(AI)은 해당 영상을 폐렴 양성으로 판단하고(폐렴 확률 값 >0.5), 이에 따라 병변 의심 영역이 영상위에 좌측 하부 폐에 표시가 되어 있다. 참고문헌1에서는 감염 7 일째 CXR 영상에 폐렴이 존재하지 않는다고 판단하였다. 하지만 폐렴 병변에 민감한 인공지능 모델은 해당 영상을 대략 0.52값에 가까운 양성 환자로 판단하였다.
도 9를 참조하면, 인공지능(AI)은 해당 영상엔 폐렴 의심 병변이 폐렴 확률 값 0.76의 높은 확률로 존재한다고 판단하였고, 이에 따라 높은 확률의 의심 병변 영역을 양측 하부폐에 표시하였다. 참고문헌1에는 감염 9일째 CXR에서 폐렴이 폐 좌측 하부에 존재한다고 언급되어 있으나, 인공지능은 폐 양쪽 하부에 폐렴 의심 영역이 존재한다고 표시하고 있다. 참고문헌1에 따르면, 감염 9일째 저녁부터 호흡 상태의 변화가 발생하여 영상 의학적 폐렴소견과 일치한다고 밝혔다.
도 10를 참조하면, 참고문헌1에서는 산소 주입 장치의 도움과 폐렴 관련 치료가 감염 10일째부터 시작되었다고 언급하고 있다. 치료 시작시점과 흉부 CXR 영상획득 시점에 대한 정확한 언급은 없었지만, 감염 9일째와 비교 시, 인공지능이 분석한 폐렴 확률 값은 다소 낮은 0.61으로 도출되었으며, 병변 의심 영역도 약간 감소하였다. 참고문헌1에서는 감염 10일째 CXR에서 양측 폐에서 비정형 폐렴(Atypical pneumonia)의 소견인 하부폐 줄무늬 패턴(Basilar streaky opacities)이 나타났으며, 양쪽 폐의 청진(Auscultation)에서 이상 소견이 있음을 보고하였다.
위의 실험예의 경우, 참고문헌1(비교예)에 의하면, 아래의 표 1과 같이 감염 7일째의 CXR 영상에서 폐렴에 대해 이상 없음으로 판독하였다.
Figure PCTKR2021002788-appb-img-000001
한편, 도 11에 나타낸 바와 같이, 분류 확률값은 폐렴의 증상이 양호에서 심각으로 변하였던 4일부터 9일까지 선형적으로 증가하였고, 산소 공급과 폐렴 치료가 시작된 10일에 확률 값이 줄어듦을 확인할 수 있다. 또한, 증상 발생 후 7일째의 경우, 인공지능 분석에서는 폐렴 소견 양성으로 분류하고, 초기 단계 폐렴의 가능성이 있는 병변 부위를 흉부 X-ray 영상 위에 표시하였다.
전술한 실험예에 대하여 도 6의 코로나19 분류 시스템을 적용한 결과, 서로 다른 특성을 가진 두개의 인공지능 모델을 융합한 앙상블 모델은 0.98 이상의 AUC 성능을 보였다.
또한, 아래의 표 2에서 보여주는 것과 같이, 실제 코로나19 감염 환자에 적용을 하였을 때, 실제 증상과 치료 과정에 따른 임상 경과 추이를 성공적으로 재현하였다. 이러한 인공지능의 분석결과는 CXR 이미지를 기반으로 한 선별적 환자 분류(Triage)로 활용될 가능성을 제시하고 있다. 또한, 증상 발생 후 7일째, 인공지능은 초기 단계에서 폐렴을 검출하여 분류에 성공하였으며, 폐렴 병변 의심 영역을 X-ray 영상에서 성공적으로 표시하였다. 이는 인공지능 자동 분석을 통하여 효율적으로 초기단계에 폐렴을 검출하고 이를 효과적인 환자 선별 및 우선순위 분류의 수단으로 사용될 수 있는 가능성을 시사한다.
Figure PCTKR2021002788-appb-img-000002
즉, 표 2는 참고문헌1(비교예)에서 제시된 CXR영상에 대한 폐렴 진단과 다른 분석 결과를 나타낸다. 표 2에서는 학습된 앙상블 모델을 적용하여 각 영상별 인공지능 분석 확률값을 보여준다(증상 후 4, 7, 9, 10일). 음성과 양성을 판단하는 기준값은 0.5로 설정되어 있다.
인공지능 분석 결과를 보면, 감염 후 4일의 CXR 영상은 폐렴 의심 확률이 낮다고 판단하였으나, 감염 후 7일부터 영상들은 폐렴 의심 확률이 있거나 높다고 판단하였다.
도 12는 도 6의 코로나19 분류 시스템의 인공지능 모델에 의한 ROC(Receiver Operating Characteristic) 곡선과 AUC (또는 AUROC: Area Under the Receiver Operating Characteristic)를 나타낸 도면이다.
도 12에 도시한 바와 같이, AUC 값이1에 가까울 수록 인공지능 모델이 분류 성능이 우수함을 의미한다.
서로 다른 전처리 조건에서 학습한 2개의 모델은 각각 AUC 0.97, 0.96의 값을 가지고 있으며, 이 두 모델을 조합한 앙상블 모델(Ensemble Model)은 AUC 0.98로 가장 높은 성능을 보였다.
Figure PCTKR2021002788-appb-img-000003
표 3은 인공지능 각 모델의 성능을 수치로 나타낸다. 모델 1(Model 1)은 높은 민감도를 가지며 모델 2(Model 2)는 높은 특이도를 가지게 되나, 각각의 모델은 낮은 특이도(Model 1)와 낮은 민감도(Model 2)를 보이고 있다.
두 가지 모델을 융합한 앙상블 모델의 경우, 민감도 특이도 모두 0.90 이상 및 AUC 0.98 이상의 가장 높은 성능을 가진다. 두 개의 인공지능 결과를 효과적으로 융합하여 정량적으로 분류하는 경우로서 최적의 성능을 끌어 올린 것이 된다.
이와 같이 본 실시예에서는 인공지능 모델에서의 성능을 향상시키기 위한 방법으로 앙상블 모델을 사용한다. 앙상블 모델은 최적의 값을 얻기 위해 10개의 인공지능 모델을 조합하여 AUROC와 임계값에 따른 민감도, 특이도를 성능지표로 사용한다. 이를 통해 Table 1에서의 모델 1과 모델 2를 조합한 앙상블 모델을 코로나19 판별 모델로 활용할 수 있다.
모델 1(Model 1)은 이미지를 폐렴으로 판별하는 비율이 높은 모델이며, 모델 2(Model 2)는 정상으로 판별하는 비율이 높은 모델이다. 이에 각각의 모델들의 장점을 융합한 앙상블 모델을 통해 코로나19에 의한 폐렴을 판별하며, 이에 대한 성능은 AUROC 0.9826, 민감도 0.9623, 특이도 0.9009이다.
앙상블 모델에서의 결과 값이 0.5보다 클 경우 가시화 모델을 통해 병변 의심 영역을 가시화한다. 가시화 모델 또한 앙상블 모델로 구성되며, 각각의 성능 평가는 IoU에 따른 AP를 이용하였다. 가시화 모델의 경우 각 모델의 값을 조합하여 IoU 및 AP를 구하며, 이를 통해 최적화된 앙상블 모델을 구성하였다. 해당 모델은 IoU가 0.5일 때 AP 0.4의 값을 갖는다.
가시화 앙상블 모델을 통해 얻은 히트맵이 폐 내부 영역이 아닐 경우에는 정상으로 판별하며, 폐 내부라면 비정상으로 최종 판별한다.
최종 판별되는 결과 값이 환자의 상태를 반영하는지 확인하기 위해 아노바 분석(Anova Analysis)을 이용하여 통계학적으로 분석하였다. 이를 위해 환자의 경과를 나타내는 데이터를 이용한다. 100명의 환자로부터 일주일 후 재촬영한 CXR 이미지를 사용하였으며, 환자 상태에 따라 나누어 정리하였다. 환자의 상태는 3가지로 구분하였으며, 호전된 케이스와 악화된 케이스, 그리고 상태에 변화가 없는 케이스로 구분하였다. 각 케이스에 대한 값은 일주일 후의 결과 값에서 첫째 날의 결과 값을 뺀 값이며, 그에 대한 분포도는 도 10과 같다. 도 10은 도 6의 코로나 분류 시스템에 의한 코로나19 분류 방법을 통해 분류되는 폐렴 환자 상태에 따른 확률 변화값의 분포를 나타낸 예시도이다.
환자 상태에 따른 값을 아노바 분석을 통해 분석한 결과는 표 4와 같다.
Figure PCTKR2021002788-appb-img-000004
표 4에서는 p-value가 0.001보다 작은 0.0001의 값을 보이므로 본 발명에서의 인공지능 모델이 폐렴 환자의 상태를 분석하는데 높은 신뢰도를 갖고 있다고 판단할 수 있다.
전술한 구성에 의하면, 폐렴에 특성화한 인공지능 분류 모델을 코로나19 감염 환자의 CXR 영상에 직접 적용하여, 그 분석 결과를 정량적으로 제시할 수 있다. 즉, 초기부터 회복 단계에 이르는 동일환자의 코로나19 환자의 CXR 영상들을 인공지능(AI) 분류 모델로 분석하여 폐렴 소견 유무의 확률값을 구하고, 폐렴에 해당하는 위치 영역을 CXR 영상 위에 확률맵으로 표시할 수 있다.
AI 예측값(확률)은 초기 가벼운 증상에서 폐렴으로 발전하면서 증가하는 것으로 나타났고 폐렴 의심 부위가 확률맵으로 표시되는 것을 확인할 수 있다. 본 증례를 통해 인공지능을 활용한 코로나19 감염에 따른 폐질환의 선별 및 중증도 평가에 대한 신뢰성을 확인할 수 있다. 즉, 수많은 의심 환자의 분류에 있어 초기 폐렴 단계에서 빠르고 정량적인 분석 및 치료 순서 분류(Triage)를 위한 인공지능 기술의 적용 폐렴 분류 환경을 제공할 수 있다.
최근 세계보건기구(WHO)는 모든 접촉자에 대하여 경증 및 중증 폐렴, ARDS, 패혈증 및 패혈증 쇼크를 포함한 중증 질환 환자로 분류하도록 지침을 내렸다. 수많은 코로나19 의심자를 빠르게 통제하고, 이에 대한 사회적 손실을 최소화하기 위해선 신속한 초기 환자 분류(Triage)가 매우 중요하다. 흉부 X-ray 촬영은 폐질환을 빠르게 분류하고 모니터링하는데 있어서 전 세계적으로 가장 많이 사용되고 있는 장치 중 하나이다. 또한, 인공지능 기반 흉부 X-ray 영상 분석 기술은 완전 자동으로 병변을 분류하고 찾아낼 수 있어서, 가장 빠르고 정량적으로 코로나19를 위한 검사 또는 치료 대상 선정을 위한 분류체계(Triage)에 사용될 수 있다. CXR 영상을 이용한 인공지능 기반 폐렴 분류 모델은 많은 의심환자나 감염환자를 효과적으로 선별하고 위험도 분류를 가능케 하여, 중증 호흡기 감염의 진단 및 치료 모니터링을 위해 신속하고 정량적인 수단으로 사용될 수 있다. 체온, 호흡 상태, 혈압 및 기저 질환 등 환자의 임상 정보가 추가된다면 보다 정확한 선별검사 및 치료를 위한 우선 순위를 판단하는 수단으로 활용될 것으로 기대한다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (11)

  1. 이미지 기반 코로나바이러스감염증 정량 분류 방법으로서,
    CXR(Chest X-Ray) 영상 또는 흉부 이미지를 전처리하는 단계;
    인공지능 모델로 전처리된 흉부 이미지에 코로나바이러스감염증(코로나19)으로 인한 폐렴 병변이 있는지를 분류하는 단계; 및
    분류된 흉부 이미지의 폐 영역에서 폐렴 병변 정도에 대한 정량화된 값을 구하여 병변 의심 영역을 히트맵으로 가시화하는 단계;
    를 포함하는 이미지 기반 코로나바이러스감염증 정량 분류 방법.
  2. 청구항 1에 있어서,
    상기 전처리하는 단계는, 상기 흉부 이미지가 입력되는 전처리기에 의해,
    상기 흉부 이미지의 흑백 반전 여부를 확인하는 단계;
    상기 흉부 이미지에 포함된 폐 영역을 폐 영역 분할 모델을 이용하여 분할하는 단계;
    상기 분할하는 단계에서의 분할 정보를 이용하여 상기 흉부 이미지에서 폐 영역을 잘라내기하는 단계;
    상기 잘라내기된 폐 영역 이미지의 크기를 변환하는 단계; 및
    상기 변환된 폐 영역 이미지를 정규화 또는 표준화하여 인공지능 모델에 대한 입력 값의 범위를 조정하는 단계;를 포함하는 이미지 기반 코로나바이러스감염증 정량 분류 방법.
  3. 청구항 2에 있어서,
    상기 확인하는 단계 후에, 상기 흉부 이미지가 흑백 반전된 이미지인 경우, 다시 반전시키는 단계를 더 포함하는 이미지 기반 코로나바이러스감염증 정량 분류 방법.
  4. 청구항 2에 있어서,
    상기 분류하는 단계는, 상기 전처리기에 연결되고 상기 인공지능 모델을 탑재한 분류기에 의해,
    상기 전처리기로부터 입력되는 흉부 이미지의 예측값 또는 확률이 기준값보다 큰 경우인지를 판단하는 단계;
    상기 흉부 이미지를 제1 지역화 모델 또는 제2 지역화 모델로 지역화하는 단계;
    상기 제1 지역화 모델 또는 제2 지역화 모델로 지역화된 영역이 미리 설정된 폐 영역 내에 존재하는지를 판별하는 단계; 및
    상기 지역화된 영역이 상기 폐 영역 내에 존재하는 경우, 비정상 또는 폐렴으로 추정하는 단계;를 포함하는 이미지 기반 코로나바이러스감염증 정량 분류 방법.
  5. 청구항 4에 있어서,
    상기 분류기는,
    상대적으로 높은 민감도의 전처리 조건에서 학습한 제1 분류 앙상블 모델과 상대적으로 높은 특이도의 전처리 조건에서 학습한 제2 분류 앙상블 모델을 조합한 성능지표에 따라 상기 흉부 이미지를 분류하고,
    상대적으로 높은 민감도의 전처리 조건에서 학습한 제1 지역화 앙상블 모델과 상대적으로 높은 특이도의 전처리 조건에서 학습한 제2 지역화 앙상블 모델을 조합한 성능지표에 따라 상기 흉부 이미지를 분류하는,
    이미지 기반 코로나바이러스감염증 정량 분류 방법.
  6. 청구항 1 내지 5 중 어느 한 항에 있어서,
    상기 인공지능 모델은 덴스넷(DenseNet) 모델의 아키텍처를 구비하며,
    상기 아키텍처는 입력 값이 인공지능 모델의 마지막 층까지 영향을 주도록 덴스 블록(Dense Block)을 사용하고, 상기 마지막 층의 ReLU 층에서의 입력 값과 가중치를 통해 히트맵을 그리며, 상기 히트맵은 CAM(Class Activation Map)을 이용하여 계산되는, 이미지 기반 코로나바이러스감염증 정량 분류 방법.
  7. 컴퓨팅 장치를 포함하는 이미지 기반 코로나바이러스감염증 정량 분류 시스템으로서,
    입력되는 CXR(Chest X-Ray) 영상 또는 흉부 이미지를 전처리하는 전처리기;
    상기 전처리기에서 처리된 흉부 이미지에 코로나바이러스감염증(코로나19)으로 인한 폐렴 병변이 있는지를 분류하는 인공지능 모델; 및
    상기 인공지능 모델에서 분류된 흉부 이미지의 폐 영역에서 폐렴 병변 정도에 대한 정량화된 값을 구하여 병변 의심 영역을 히트맵으로 가시화하는 후처리기;
    를 포함하는 이미지 기반 코로나바이러스감염증 정량 분류 시스템.
  8. 청구항 7에 있어서,
    상기 전처리기는,
    상기 흉부 이미지의 흑백 반전 여부를 확인하고, 흑백 반전된 이미지인 경우 다시 반전시키는 이미지 반전 처리부;
    상기 흉부 이미지에 포함된 폐 영역을 폐 영역 분할 모델을 이용하여 분할하는 폐 영역 분할부;
    상기 분할하는 단계에서의 분할 정보를 이용하여 상기 흉부 이미지에서 폐 영역을 잘라내기하는 축출부;
    상기 잘라된 폐 영역 이미지의 크기를 변환하는 사이즈 변환부; 및
    상기 변환된 폐 영역 이미지를 표준화하거나 표준화한 후에 정규화하여 인공지능 모델에 대한 입력 값의 범위를 조정하는 표준화부;
    를 포함하는 이미지 기반 코로나바이러스감염증 정량 분류 시스템.
  9. 청구항 7에 있어서,
    상기 인공지능 모델은,
    상대적으로 높은 민감도의 전처리 조건에서 학습한 제1 분류 앙상블 모델과 상대적으로 높은 특이도의 전처리 조건에서 학습한 제2 분류 앙상블 모델을 조합한 제1 성능지표에 따라 상기 흉부 이미지를 분류하고,
    상대적으로 높은 민감도의 전처리 조건에서 학습한 제1 지역화 앙상블 모델과 상대적으로 높은 특이도의 전처리 조건에서 학습한 제2 지역화 앙상블 모델을 조합한 제2 성능지표에 따라 상기 흉부 이미지를 분류하는,
    이미지 기반 코로나바이러스감염증 정량 분류 시스템.
  10. 폐렴 분류 모델을 포함하고,
    상기 폐렴 분류 모델은 전처리 모듈과 앙상블 분류 모듈을 구비하며,
    상기 전처리 모듈은, 인공지능 기반으로, 지정된 크기로 흉부 영상 크기를 맞추고, 크기가 맞춰진 영상에서 폐영역의 밝기 및 대조도를 조절하고, 영상 조건이 조절된 영상에서 폐 분할 모델로 폐 양쪽을 분할한 후 분할 영역이 포함된 관심 영역을 원본 흉부 영상에서 잘라내기 하여 원하지 않은 노이즈를 제거하며,
    상기 앙상블 분류 모듈은 인공지능 모델을 적용하여 분석 대상 흉부 영상에 폐렴과 관련된 소견이 있는 지를 분석하고, 폐렴 분류 확률값을 정량적으로 제시하며, 상기 인공지능 모델은 서로 다른 조건에서 훈련된 2개의 모델을 앙상블하여 이루어지고, 상기 정량적으로 표시되는 확률값은 0 ~ 1 사이의 값으로 제시되며, 0에 가까울수록 폐렴 확률이 적고, 1에 가까울 수록 폐렴의 확률이 높다는 것을 의미하는, 이미지 기반 코로나바이러스감염증 정량 분류 장치.
  11. 폐렴 분류 모델을 포함하고, 상기 폐렴 분류 모델은 전처리 모듈과 앙상블 분류 모듈을 구비하는 장치에 의해 수행되는 이미지 기반 코로나바이러스감염증 분류 방법으로서,
    인공지능 기반으로, 지정된 크기로 흉부 영상 크기를 맞추는 단계;
    크기가 맞춰진 영상에서 폐영역의 밝기 및 대조도를 조절하는 단계;
    영상 조건이 조절된 영상에서 폐 분할 모델로 폐 양쪽을 분할하는 단계;
    분할 영역이 포함된 관심 영역을 원본 흉부 영상에서 잘라내기 하여 원하지 않은 노이즈를 제거하는 단계;
    인공지능 모델을 적용하여 분석 대상 흉부 영상에 폐렴과 관련된 소견이 있는 지를 분석하는 단계;
    상기 분석하는 단계의 결과에 따라 폐렴 분류 확률값을 정량적으로 제시하ㄴ는 단계를 포함하며,
    여기서 상기 인공지능 모델은 서로 다른 조건에서 훈련된 2개의 모델을 앙상블하여 이루어지고, 상기 정량적으로 표시되는 확률값은 0 ~ 1 사이의 값으로 제시되며, 0에 가까울수록 폐렴 확률이 적고, 1에 가까울 수록 폐렴의 확률이 높다는 것을 의미하는, 이미지 기반 코로나바이러스감염증 정량 분류 방법.
PCT/KR2021/002788 2020-03-05 2021-03-05 이미지 기반 코로나바이러스감염증 정량 분류 방법 및 시스템 WO2021177799A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2020-0027958 2020-03-05
KR20200027958 2020-03-05
KR10-2020-0091539 2020-07-23
KR1020200091539A KR102448680B1 (ko) 2020-03-05 2020-07-23 이미지 기반 코로나바이러스감염증 정량 분류 방법 및 시스템

Publications (1)

Publication Number Publication Date
WO2021177799A1 true WO2021177799A1 (ko) 2021-09-10

Family

ID=77613513

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/002788 WO2021177799A1 (ko) 2020-03-05 2021-03-05 이미지 기반 코로나바이러스감염증 정량 분류 방법 및 시스템

Country Status (1)

Country Link
WO (1) WO2021177799A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114820952A (zh) * 2022-06-28 2022-07-29 四川大学华西医院 肺部超声可视化三维重建方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4356327B2 (ja) * 2003-01-31 2009-11-04 コニカミノルタホールディングス株式会社 医用画像処理装置及び医用画像処理方法
WO2017150497A1 (ja) * 2016-03-02 2017-09-08 地方独立行政法人神奈川県立病院機構 肺野病変の診断支援装置、該装置の制御方法及びプログラム
KR20170140757A (ko) * 2016-06-10 2017-12-21 한국전자통신연구원 임상 의사결정 지원 앙상블 시스템 및 이를 이용한 임상 의사결정 지원 방법
KR101857624B1 (ko) * 2017-08-21 2018-05-14 동국대학교 산학협력단 임상 정보를 반영한 의료 진단 방법 및 이를 이용하는 장치
KR20190117187A (ko) * 2018-04-06 2019-10-16 주식회사 뷰노 의료 영상을 시각화하는 방법 및 이를 이용한 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4356327B2 (ja) * 2003-01-31 2009-11-04 コニカミノルタホールディングス株式会社 医用画像処理装置及び医用画像処理方法
WO2017150497A1 (ja) * 2016-03-02 2017-09-08 地方独立行政法人神奈川県立病院機構 肺野病変の診断支援装置、該装置の制御方法及びプログラム
KR20170140757A (ko) * 2016-06-10 2017-12-21 한국전자통신연구원 임상 의사결정 지원 앙상블 시스템 및 이를 이용한 임상 의사결정 지원 방법
KR101857624B1 (ko) * 2017-08-21 2018-05-14 동국대학교 산학협력단 임상 정보를 반영한 의료 진단 방법 및 이를 이용하는 장치
KR20190117187A (ko) * 2018-04-06 2019-10-16 주식회사 뷰노 의료 영상을 시각화하는 방법 및 이를 이용한 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114820952A (zh) * 2022-06-28 2022-07-29 四川大学华西医院 肺部超声可视化三维重建方法和系统
CN114820952B (zh) * 2022-06-28 2022-09-16 四川大学华西医院 肺部超声可视化三维重建方法和系统

Similar Documents

Publication Publication Date Title
WO2018074739A1 (ko) 뇌졸중 진단 및 예후 예측 방법 및 시스템
WO2019103440A1 (ko) 피검체의 의료 영상의 판독을 지원하는 방법 및 이를 이용한 장치
WO2019231104A1 (ko) 심층 신경망을 이용하여 영상을 분류하는 방법 및 이를 이용한 장치
WO2015072818A1 (ko) 뇌질환 진단 서비스 장치 및 뇌질환 진단 서비스 방법
WO2019172498A1 (ko) 종양의 악성도와 악성도 추론의 근거를 제공하는 컴퓨터 보조 진단 시스템 및 그 방법
JP6898955B2 (ja) 情報処理装置
Kavitha et al. COVID-19 disease diagnosis using smart deep learning techniques
WO2016159726A1 (ko) 의료 영상으로부터 병변의 위치를 자동으로 감지하는 장치 및 그 방법
WO2022014856A1 (ko) 흉부 의료 영상 판독 지원 장치 및 방법
WO2021177799A1 (ko) 이미지 기반 코로나바이러스감염증 정량 분류 방법 및 시스템
Li et al. Computer‐Aided Diagnosis of COVID‐19 CT Scans Based on Spatiotemporal Information Fusion
WO2020180135A1 (ko) 뇌 질환 예측 장치 및 방법, 뇌 질환을 예측하기 위한 학습 장치
CN111798437A (zh) 一种基于ct影像的新型冠状病毒肺炎ai快速诊断方法
Salau Detection of corona virus disease using a novel machine learning approach
WO2022103134A1 (ko) 질병 통합 진단 시스템 및 동작 방법
El-Shafai et al. Classification framework for COVID-19 diagnosis based on deep cnn models.
Ong et al. Comparative analysis of explainable artificial intelligence for COVID-19 diagnosis on CXR image
Álvarez-Rodríguez et al. Does imbalance in chest X-ray datasets produce biased deep learning approaches for COVID-19 screening?
WO2021201582A1 (ko) 피부 병변의 원인 분석 방법 및 장치
WO2021002669A1 (ko) 병변 통합 학습 모델을 구축하는 장치와 방법, 및 상기 병변 통합 학습 모델을 사용하여 병변을 진단하는 장치와 방법
Ghomi et al. Segmentation of COVID-19 pneumonia lesions: A deep learning approach
WO2017010612A1 (ko) 의료 영상 분석 기반의 병리 진단 예측 시스템 및 방법
WO2021112436A1 (ko) 장 정결도의 자동화 계산 장치 및 방법
KR102448680B1 (ko) 이미지 기반 코로나바이러스감염증 정량 분류 방법 및 시스템
WO2022245063A1 (ko) 인공 지능 기반의 유전체와 의료 정보 분석 및 의약 물질 개발 방법 및 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21764282

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 16/01/2023)

122 Ep: pct application non-entry in european phase

Ref document number: 21764282

Country of ref document: EP

Kind code of ref document: A1