WO2022119325A1 - 두부단순촬영 영상을 활용한 수면 무호흡증 진단 보조 시스템 및 이를 이용한 진단 보조 정보의 제공 방법 - Google Patents

두부단순촬영 영상을 활용한 수면 무호흡증 진단 보조 시스템 및 이를 이용한 진단 보조 정보의 제공 방법 Download PDF

Info

Publication number
WO2022119325A1
WO2022119325A1 PCT/KR2021/018045 KR2021018045W WO2022119325A1 WO 2022119325 A1 WO2022119325 A1 WO 2022119325A1 KR 2021018045 W KR2021018045 W KR 2021018045W WO 2022119325 A1 WO2022119325 A1 WO 2022119325A1
Authority
WO
WIPO (PCT)
Prior art keywords
sleep apnea
head
image
simplex
patient
Prior art date
Application number
PCT/KR2021/018045
Other languages
English (en)
French (fr)
Inventor
정한길
김택균
윤창호
Original Assignee
서울대학교병원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020210147291A external-priority patent/KR20220077070A/ko
Application filed by 서울대학교병원 filed Critical 서울대학교병원
Priority to US18/039,646 priority Critical patent/US20240005487A1/en
Publication of WO2022119325A1 publication Critical patent/WO2022119325A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A61B5/4818—Sleep apnoea
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Definitions

  • the present invention relates to a system for diagnosing sleep apnea using a CT scan of the head and a method for providing diagnostic assistance information using the same.
  • Obstructive sleep apnea is a very prevalent and pathological disease. Screening patients with OSA is important because it requires clear diagnostic and therapeutic measures. Polysomnography is generally used as a confirmatory test for obstructive sleep apnea, but polysomnography is not suitable as a screening test because it takes a lot of time, money, and effort. In addition, CT or MRI is the most accurate for evaluating anatomical abnormalities in the airways and head-facial regions, but it has the disadvantage of high radiation exposure and high cost. Therefore, there is a need for a test that selects patients with a high probability of sleep apnea.
  • the present invention is to solve the above problems, predicting the possibility of occurrence of sleep apnea from a CT image of a patient using an artificial neural network model, and based on this, a diagnostic assistance system configured to provide diagnostic assistance information to a clinician and It relates to a method of providing diagnostic auxiliary information.
  • an auxiliary system for diagnosing sleep apnea using a head simplification image comprising: a predictor for predicting the occurrence of sleep apnea of the target patient by analyzing the head simplification image; an information providing unit for generating and providing diagnostic auxiliary information based on the possibility of occurrence of sleep apnea of the target patient; and an artificial intelligence learning model configured to learn the prediction unit using learning data including a head simplex image for a plurality of patients and a sleep apnea diagnosis result of each patient.
  • the sleep apnea diagnosis result of the learning data may be a diagnosis result based on polysomnography.
  • the artificial intelligence learning model may be an artificial neural network model.
  • the artificial neural network model may include a plurality of layers, and each layer may be configured to extract a feature point from the head simplex image and correlate it with the sleep apnea diagnosis result.
  • the learning data may further include clinical information of the plurality of patients, and the prediction unit may predict the possibility of occurrence of sleep apnea in consideration of the clinical information of the target patient.
  • the clinical information may include at least one of the patient's age, sex, genetic disease, and the presence or absence of other diseases related to sleep apnea.
  • the diagnosis auxiliary information may include interpretation information indicating characteristics of the head simplex image that the predictor considers in predicting the occurrence of sleep apnea.
  • the feature of the head simplex image is focused around the upper airway including the tongue and pharynx in response to an anatomical abnormality of a patient with sleep apnea.
  • the display unit may further include a display unit for visualizing a region affecting the prediction performance of the prediction unit by displaying it on the head simplex image of the target patient input by the input unit.
  • the display unit may include a gradient-weighted CAM (Gradient-weighted CAM) model.
  • a gradient-weighted CAM Gradient-weighted CAM
  • the learning data performs at least one of adjusting, enlarged or reduced to a different angle, left and right, histogram equalizer, left-right symmetry, and noise for the head simplex images for a plurality of patients. It can contain data.
  • the artificial neural network model may be a CNN model.
  • the CNN model may be DenseNet201.
  • a method for providing sleep apnea diagnosis auxiliary information using a head simplification image comprising: receiving a head simplification image of a target patient; predicting the possibility of occurrence of sleep apnea of the target patient by analyzing the head simplex image through an artificial intelligence learning model; and generating and providing diagnostic auxiliary information based on the possibility of occurrence of sleep apnea of the target patient, wherein the artificial intelligence learning model provides a head simplex image for a plurality of patients and a sleep apnea diagnosis result of each patient. It can be learned using the learning data that includes it.
  • a computer program stored in a computer-readable recording medium for executing a method of providing sleep apnea diagnosis auxiliary information using a head simplex image may be provided.
  • the probability of occurrence of sleep apnea is predicted from the simple head imaging image that can be easily taken at a low cost, and By providing diagnostic auxiliary information to the clinician based on the sleep apnea diagnosis, time and cost required for the diagnosis of sleep apnea can be saved.
  • the present invention can dramatically increase the diagnostic utility of head simplex imaging by utilizing the results of polysomnography, which is a functional test, beyond the existing deep learning research using image readouts.
  • 1 is an image illustrating an anatomical abnormality associated with sleep apnea.
  • FIG. 2 is a simple head image taken by the input unit for diagnosing sleep apnea according to an embodiment of the present invention.
  • FIG. 3 is an image illustrating a process of diagnosing sleep apnea through the head simplex image of FIG. 2 using an artificial neural network model according to an embodiment of the present invention.
  • FIG. 4 is a schematic diagram of an auxiliary system for diagnosing sleep apnea using a head simplex image, according to an embodiment of the present invention.
  • FIG. 5 is a flowchart illustrating a process of preparing and dividing a training dataset for learning a predictor according to an embodiment of the present invention.
  • 6A and 6B are tables showing clinical information of patients used as learning data to learn a predictor according to an embodiment of the present invention.
  • FIG. 7 is a table showing clinical information of patients who have undergone polysomnography, which is used as learning data to learn a predictor, according to an embodiment of the present invention.
  • FIG. 8 is a table comparing types, types, and loss functions of label data of a plurality of training samples for learning a predictor according to an embodiment of the present invention.
  • 9 is an image in which learning data is augmented in various ways in order to learn a predictor according to an embodiment of the present invention.
  • DenseNet201 is one of CNN models that can be used as an artificial neural network model, according to an embodiment of the present invention.
  • 11A and 11B are graphs illustrating changes in each metric during a training process and final results for a training dataset and a validation dataset, according to an embodiment of the present invention.
  • 12 is an error matrix of a performance metric of an artificial neural network model according to an embodiment of the present invention.
  • 13A is a graph illustrating an ROC curve of an artificial neural network model according to an embodiment of the present invention.
  • 13B is a graph showing a precision recall curve of an artificial neural network model.
  • FIG. 14 is a graph comparing the ROC curves when the learning data is divided into a head simplex image of a patient who has undergone polysomnography and a head simplex image of a patient who has not undergone polysomnia.
  • 15 is an image for visualizing a corresponding part so that a sleep apnea suspected region is identified, according to an embodiment of the present invention.
  • FIG. 16 compares one of the visualized images of FIG. 14 using Grad-CAM with an anatomical image of a patient diagnosed with sleep apnea, according to an embodiment of the present invention.
  • 17A to 17D are graphs plotting correlation coefficients between predicted values of a predictor and existing body measurements related to sleep apnea, according to an embodiment of the present invention.
  • 18 is a graph showing a dose-response relationship by dividing the predicted values of patients who underwent polysomnography and those who did not, according to an embodiment of the present invention.
  • 1 is an image illustrating an anatomical abnormality associated with sleep apnea.
  • a patient with sleep apnea (right) is accompanied by an anatomical abnormality in which the space of the upper airway, a structure that starts from the nasal cavity and extends to the larynx, is narrowed.
  • anatomical abnormality in which the space of the upper airway, a structure that starts from the nasal cavity and extends to the larynx, is narrowed.
  • the space in the throat is reduced and the upper airway is narrowed, which can cause sleep apnea.
  • people with abnormally small jaws or short and thick necks are more likely to develop sleep apnea.
  • FIG. 2 is a simple head image taken by the input unit for diagnosing sleep apnea according to an embodiment of the present invention.
  • polysomnography is available to confirm the diagnosis, and there are certain treatment methods such as positive pressure therapy, lifestyle improvement, oral support, and surgery. Therefore, although efforts to actively find and diagnose patients are required, polysomnography is not suitable as a screening test because it takes a lot of time, cost, and effort.
  • a CT scan of the head may be used as a test for screening a patient with a high probability of sleep apnea.
  • CT or MRI has a disadvantage in that radiation exposure is large and cost is high.
  • Cephalography image is a two-dimensional X-ray image of the entire front or side of the patient's head acquired by one X-ray. Head simple photography has the potential to be more widely used in that it provides a lot of information while being able to shoot easily at a low cost.
  • FIG. 3 is an image illustrating a process of diagnosing sleep apnea through the head simplex image of FIG. 2 using an artificial neural network model according to an embodiment of the present invention.
  • sleep apnea may be diagnosed through a head simplex image using deep learning.
  • a convolutional neural network (CNN) model may be used as an artificial neural network model.
  • CNN has the advantage of automatically extracting features of various hierarchies from low-dimensional to high-dimensional images. By using this, various features that cannot be quantified by the human eye can be abstracted, and sleep apnea can be predicted with high accuracy from their complex relationships.
  • FIG. 4 is a schematic diagram of an auxiliary system for diagnosing sleep apnea using a head simplex image, according to an embodiment of the present invention.
  • the sleep apnea diagnosis auxiliary system (hereinafter, “sleep apnea diagnosis system”) 1 using a head simplex image includes an input unit 11, a prediction unit 13, and an information providing unit 15. , an artificial intelligence learning model 17 and a display unit 19 may be included.
  • the input unit 11 may receive a head simplex image of a target patient.
  • the head simplex image may be a lateral head simplex image.
  • the input unit 11 may capture a medical image of the head of the human body and receive a simple head imaging image from a medical imaging system that stores the captured images.
  • the prediction unit 13 may predict the occurrence of sleep apnea of the target patient by analyzing the head simplex image. With respect to the head simplex image received from the input unit 11 , the possibility of occurrence of sleep apnea of the target patient is predicted through the prediction unit 13 .
  • the information providing unit 15 may generate and provide diagnostic auxiliary information based on the possibility of the target patient's occurrence of sleep apnea.
  • the diagnosis auxiliary information may include interpretation information indicating characteristics of the head simplex image that the prediction unit 13 considers in predicting the occurrence of sleep apnea.
  • the feature may be focused around the upper airway including the tongue and pharynx in response to an anatomical abnormality of the sleep apnea patient.
  • the artificial intelligence learning model 17 is configured to learn the prediction unit using learning data including a head simplex image for a plurality of patients and a sleep apnea diagnosis result of each patient.
  • the sleep apnea diagnosis result of the learning data may be a diagnosis result based on polysomnography.
  • the artificial intelligence learning model may be an artificial neural network model.
  • the artificial neural network model consists of a plurality of layers, and each layer may be configured to extract a feature point from the head simplex image and correlate it with the sleep apnea diagnosis result.
  • the learning data may further include clinical information of the plurality of patients, and the prediction unit may predict the possibility of occurrence of sleep apnea in consideration of the clinical information of the target patient.
  • the clinical information may include at least one of the patient's age, sex, genetic disease, and the presence or absence of other diseases related to sleep apnea.
  • the other diseases may include hypertension (Hypertension), diabetes (Diabetes mellitus), hyperlipidemia (Dysli-pidemia), and the like. Additionally, other relevant variables may include Insomnia or Other sleep disorders.
  • the display unit 19 may visualize the region affecting the prediction performance of the prediction unit 13 by displaying it on the head simplex image of the target patient inputted by the input unit 11 .
  • the display unit 19 may include a gradient-weighted CAM (Gradient-weighted CAM) model.
  • FIG. 5 is a flowchart illustrating a process of preparing and dividing a training dataset for learning a predictor according to an embodiment of the present invention.
  • Head CT images of patients without polysomnography were labeled as having sleep apnea in patients diagnosed with sleep apnea (550), and patients diagnosed without sleep apnea (2,806), sleep apnea labeled as absent. Finally, cephalography images labeled with sleep apnea (2,556) and cephalography images labeled without sleep apnea (3,035) were randomly split into training, validation, and test datasets in a 5:2:3 ratio. .
  • 6A and 6B are tables showing clinical information of patients used as learning data to learn a predictor according to an embodiment of the present invention.
  • the patient group diagnosed with sleep apnea was on average about 3 years older than the non-diagnosed group, and there were more males, and blood vessels of hypertension, diabetes mellitus, and hyperlipidemia (Dysli-pidemia).
  • the disease risk factors were more than doubled.
  • insomnia and other sleep disorders were also higher.
  • patients who were not diagnosed with sleep apnea had rhinitis, chronic rhinitis, chronic sinusitis, disorders of nose and nasal sinuses and diseases of larynx, compared to patients diagnosed with sleep apnea. This was 2-3 times more.
  • FIG. 7 is a table showing clinical information of patients who have undergone polysomnography, which is used as learning data to learn a predictor, according to an embodiment of the present invention.
  • the patients who underwent polysomnography had a rather high BMI because they mainly examined patients suspected of having sleep apnea.
  • the severity of sleep apnea is classified by the Apnea-Hypopnea Index (AHI).
  • AHI Apnea-Hypopnea Index
  • FIG. 8 is a table comparing types, types, and loss functions of label data of a plurality of training samples for learning a predictor according to an embodiment of the present invention.
  • a plurality of training samples for learning the predictor may be used, and each of the plurality of training samples may include a head simplex image and label data.
  • the label data may include information for labeling the training sample by dividing the sleep apnea into a patient diagnosed with sleep apnea and a normal person. Specifically, according to the degree of sleep apnea, it can be labeled as moderate/severe sleep apnea and mild sleep apnea/normal.
  • the label data includes information on whether or not sleep apnea is present, binary cross entropy can be used as a loss function.
  • the label data may include information on AHI (Apenea/Hypopnea index), AI (Apenea index), Hypopnea index with desaturation, Hypopnea index without desaturation, and the like.
  • AHI Apenea/Hypopnea index
  • AI Apenea index
  • Hypopnea index with desaturation Hypopnea index without desaturation
  • the present invention may provide an OSA-probability index based on the predicted value of the predictor.
  • a calibration or post-processing calibration may be performed to provide the predictive index as above. Calibration is to make the prediction value of the prediction unit reflect the actual probability.
  • Post-processing calibration is to obtain a calibration probability from the predicted probability of a model.
  • 9 is an image in which learning data is augmented in various ways in order to learn a predictor according to an embodiment of the present invention.
  • the learning data is adjusted to different angles, enlarged or reduced (Zoom), left and right (Translocation), and a histogram equalizer with respect to a CT scan image of a plurality of patients.
  • enlarged or reduced Zoom
  • left and right Translocation
  • a histogram equalizer with respect to a CT scan image of a plurality of patients.
  • Left-right symmetry Flip
  • adding noise may include data on which at least one technique is performed.
  • DenseNet201 is one of CNN models that can be used as an artificial neural network model, according to an embodiment of the present invention.
  • the artificial neural network model may include a deep learning model, and the deep learning model may be in the form of stacking artificial neural networks in multi-layered layers.
  • a deep learning model automatically learns features of each image by learning a large amount of data from a deep neural network consisting of a multi-layered network, and through this, an objective function, that is, prediction accuracy It is a form of learning the network in a way that minimizes the error of
  • the artificial neural network model may use, for example, a Convolutional Neural Network (CNN), a Deep Hierachical Network (DHN), a Convolutional Deep Belief Network (CDBN), a Deconvolutional Deep Network (DDN), etc., but currently Alternatively, various artificial neural network models may be used in the future. In the present specification, it is exemplarily described as using a CNN-based artificial neural network model, but the present invention is not limited thereto, and various deep learning models can be used now or in the future.
  • the artificial neural network model 17 may be configured in a DenseNet structure, but is not limited thereto.
  • Existing DenseNet is a structure that classifies 1000 labels, in order to train it to classify into sleep apnea (1) and non-sleep apnea (0) by replacing it with a single output sigmoid layer.
  • various neural network structures may be utilized, and in any case, the neural network may be defined to receive a specific cephalometric image as an input and output a feature value corresponding to the probability of occurrence of sleep apnea.
  • the fully connected layer of the artificial neural network model has various parameters to be determined through learning, and predicts sleep apnea by converging to a single node of the target parameter to be predicted.
  • 11A and 11B are graphs illustrating changes in each metric during a training process and final results for a training dataset and a validation dataset, according to an embodiment of the present invention.
  • the red line in the graph indicates the loss and accuracy values in the training dataset
  • the blue line indicates the loss and accuracy values in the validation dataset.
  • the loss value of the validation dataset converges to the minimum at 100 epochs. As the learning progressed, the accuracy increased accordingly.
  • 12 is an error matrix of a performance metric of an artificial neural network model according to an embodiment of the present invention.
  • the performance of the artificial neural network model was evaluated using a test dataset of 30% of the training data. In fact, there were 662 cases where it was actually normal but was incorrectly judged as abnormal, 244 cases where it was actually normal but incorrectly judged as abnormal, 181 cases where it was actually sleep apnea but incorrectly judged it as normal, and 594 cases where it was actually sleep apnea but correctly judged sleep apnea. it was Therefore, the sensitivity was 0.77, the specificity was 0.73, the accuracy was 0.75, and the F1 score was 0.75.
  • 13A is a graph illustrating an ROC curve of an artificial neural network model according to an embodiment of the present invention.
  • 13B is a graph showing a precision recall curve of an artificial neural network model.
  • the AUCs for predicting the occurrence of non-sleep apnea and predicting the occurrence of sleep apnea were 0.82 and 0.82, respectively, by the artificial neural network model.
  • the class-mean AUC was 0.82.
  • the areas under the precision recall curve for predicting the occurrence of non-sleep apnea and predicting the occurrence of sleep apnea were 0.840 and 0.787, respectively.
  • the class-mean area under the precision recall curve was 0.816.
  • FIG. 14 is a graph comparing ROC curves when the learning data of FIG. 5 is divided into a head simplex image of a patient who has undergone polysomnography and a CT scan of a patient who has not undergone polysomnia.
  • the AUCs for predicting the occurrence of nonsleep apnea and the occurrence of sleep apnea in patients who underwent polysomnography were 0.80 and 0.79, respectively.
  • the class-mean AUCs were 0.83 and 0.80, respectively.
  • the AUCs for predicting the occurrence of non-sleep apnea and the occurrence of sleep apnea in patients who did not undergo polysomnography were 0.76 and 0.76, respectively.
  • the class-average AUC was 0.81 and 0.76, respectively, and even when the two groups were tested, similar performance was shown, so there was no significant difference.
  • 15 is an image for visualizing a corresponding part so that a sleep apnea suspected region is identified, according to an embodiment of the present invention.
  • the sleep apnea diagnosis system 1 further includes a display unit 19 that visualizes the region affecting the prediction performance of the prediction unit 13 by displaying it on the head simplex image of the target patient inputted by the input unit 11.
  • a display unit 19 may include
  • a CAM image may be output using a gradient-weighted CAM (Grad-CAM) model.
  • the activity level for each class is displayed as an image using an internal weight and a feature map, where the feature map ) means features created after convolution operation on the image.
  • the method for obtaining the gradual grade activity map is a feature map that has passed convolution and a score (logit value) to be classified into a specific class for each grade. ) is obtained by multiplying the gradient of the feature map through convolution.
  • the gradual grade activity map can be used in almost all CNN structures by overcoming the disadvantage that the existing structure called the grade activity map (CAM) cannot be used universally. . If the gradual grade activity map (Grad-CAM) selected in this way is overlapped by changing the size of the head CT image, it is possible to check which part of the head CT image was predicted as a specific class.
  • FIG. 16 compares one of the visualized images of FIG. 16 using Grad-CAM with an anatomical image of a patient diagnosed with sleep apnea, according to an embodiment of the present invention.
  • the model is heavily focused on the upper respiratory tract, particularly around the tongue and pharynx, in response to the anatomical abnormality of the sleep apnea patient of FIG. 1 described above.
  • the prediction unit 13 extracts features from the head simplex image and predicts whether or not sleep apnea occurs based on the extracted features, and the prediction unit 13 determines whether the extracted features are the upper respiratory tract, in particular the tongue, pharynx. If focused, predict sleep apnea.
  • 17A to 17D are graphs plotting correlation coefficients between predicted values of a predictor and existing body measurements related to sleep apnea, according to an embodiment of the present invention.
  • FIGS. 17A to 17D correlation coefficients between predicted values from the last node of the prediction unit and body measurements previously associated with sleep apnea were plotted.
  • Each of the body measurements in FIGS. 17A-17D is a body mass index (BMI), neck circumference, waist circumference, and waist-hip ratio.
  • BMI body mass index
  • neck circumference especially increased when the predicted value exceeded 0.75
  • neck circumference increased more gently.
  • the predictor did not measure BMI, neck circumference, waist circumference, and waist-hip ratio itself, it showed a significant association with known related factors.
  • 18 is a graph showing a dose-response relationship by dividing the predicted values of patients who underwent polysomnography and those who did not, according to an embodiment of the present invention.
  • the left side of the red line shows the predicted values of patients who did not undergo polysomnography by comparison, and the right side shows the results of patients who underwent polysomnography. It was learned to predict only the presence or absence of sleep apnea without classifying the severity, but the prediction value of the predictor showed a tendency to increase as the severity of sleep apnea increased. This can be interpreted that the more strongly this predictor predicts obstructive sleep apnea, the more likely the patient will suffer from severe sleep apnea.
  • a method for providing sleep apnea diagnosis auxiliary information using a head simplification image comprising: receiving a head simplification image of a target patient; predicting the possibility of occurrence of sleep apnea of the target patient by analyzing the head simplex image through an artificial intelligence learning model; and generating and providing diagnostic auxiliary information based on the possibility of occurrence of sleep apnea of the target patient, wherein the artificial intelligence learning model provides a head simplex image for a plurality of patients and a sleep apnea diagnosis result of each patient. It can be learned using the learning data that includes it. Additionally, the method may further include a display step of visualizing a region affecting the prediction performance of the artificial neural network model by displaying it on the head simplex image of the target patient received by the input unit.
  • the present invention predicts the possibility of sleep apnea from the head simplification image that provides a lot of information while easily shooting at a low price and providing diagnostic auxiliary information to the clinician based on this, it is possible to save time through a short reasoning time.
  • the present invention can dramatically increase the diagnostic utility of head simplex imaging by utilizing the results of polysomnography, which is a functional test, beyond the existing deep learning research using image readouts.
  • the operation by the method of providing sleep apnea diagnosis auxiliary information using the head simplex image according to the embodiments described above may be implemented at least partially as a computer program and recorded in a computer-readable recording medium.
  • a program product consisting of a computer-readable medium containing program code, which may be executed by a processor for performing any or all steps, operations, or processes described.
  • the method of providing sleep apnea diagnosis auxiliary information using a head simplex image may be performed by a computing device including a processor.
  • the computing device may be any device that may be incorporated into or may be a computing device such as a desktop computer, a laptop computer, a notebook computer, a smart phone, or the like.
  • a computer is a device having one or more alternative and special purpose processors, memory, storage, and networking components (either wireless or wired).
  • the computer may run, for example, an operating system compatible with Microsoft's Windows, Apple OS X or iOS, a Linux distribution, or an operating system such as Google's Android OS.
  • the computer-readable recording medium includes all types of recording identification devices in which computer-readable data is stored. Examples of the computer-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage identification device, and the like. In addition, the computer-readable recording medium may be distributed in a network-connected computer system, and the computer-readable code may be stored and executed in a distributed manner. In addition, functional programs, codes, and code segments for implementing the present embodiment may be easily understood by those skilled in the art to which the present embodiment belongs.
  • the sleep apnea diagnosis assistance system using the head simplification image of the embodiments of the present invention and the method of providing diagnostic assistance information using the same predicts the possibility of occurrence of sleep apnea from the head CT image of a patient using an artificial neural network model, Based on this, diagnostic auxiliary information may be provided to the clinician. Accordingly, it is possible to save time and money required for diagnosing sleep apnea.

Abstract

두부단순촬영 영상을 활용한 수면 무호흡증 진단 보조 시스템으로서, 대상 환자의 두부단순촬영 영상을 입력 받는 입력부; 상기 두부단순촬영 영상을 분석하여 상기 대상 환자의 수면 무호흡증 발생 가능성을 예측하는 예측부; 상기 대상 환자의 수면 무호흡증 발생 가능성에 기초하여 진단 보조 정보를 생성 및 제공하는 정보 제공부; 및 복수의 환자들에 대한 두부단순촬영 영상 및 각 환자들의 수면 무호흡증 진단 결과를 포함하는 학습 데이터를 이용하여 상기 예측부를 학습시키도록 구성되는 인공지능 학습모델을 포함한다.

Description

두부단순촬영 영상을 활용한 수면 무호흡증 진단 보조 시스템 및 이를 이용한 진단 보조 정보의 제공 방법
본 발명은 두부단순촬영 영상을 활용한 수면 무호흡증 진단 보조 시스템 및 이를 이용한 진단 보조 정보의 제공 방법에 관한 것이다.
폐쇄성 수면 무호흡증(OSA)은 매우 만연하고 병적인 질병이다. OSA 환자를 선별하는 것은 명확한 진단 및 치료 조치가 필요하기 때문에 중요하다. 폐쇄성수면 무호흡증은 확진검사로서 수면다원검사가 일반적으로 이용되는데, 수면다원검사는 시간, 비용, 노력이 많이 들기 때문에 선별 검사로는 적합하지 않다. 또한, 기도와 두부-안면 부위의 해부학적 이상을 평가하는데는 CT나 MRI가 가장 정확하지만, 방사선 노출량이 많고 비용이 비싼 단점이 있다. 따라서, 수면 무호흡증의 가능성이 높은 환자를 선별하는 검사가 요구된다.
본 발명은 상술한 문제점들을 해결하기 위한 것으로서, 인공신경망 모델을 이용하여 환자의 두부단순촬영 영상으로부터 수면 무호흡증 발생 가능성을 예측하고, 이에 기초하여 임상의에게 진단 보조 정보를 제공하도록 구성된 진단 보조 시스템 및 진단 보조 정보의 제공 방법에 관한 것이다.
본 발명의 일 실시예에 따른 두부단순촬영 영상을 활용한 수면 무호흡증 진단 보조 시스템은, 상기 두부단순촬영 영상을 분석하여 상기 대상 환자의 수면 무호흡증 발생 가능성을 예측하는 예측부; 상기 대상 환자의 수면 무호흡증 발생 가능성에 기초하여 진단 보조 정보를 생성 및 제공하는 정보 제공부; 및 복수의 환자들에 대한 두부단순촬영 영상 및 각 환자들의 수면 무호흡증 진단 결과를 포함하는 학습 데이터를 이용하여 상기 예측부를 학습시키도록 구성되는 인공지능 학습모델을 포함한다.
일 실시예에 따르면, 상기 학습 데이터의 수면 무호흡증 진단 결과는, 수면다원검사를 기초로 한 진단 결과일 수 있다.
일 실시예에 따르면, 상기 인공지능 학습모델은, 인공신경망 모델일 수 있다.
일 실시예에 따르면, 상기 인공신경망 모델은 복수의 레이어로 구성되며, 각 레이어는 상기 두부단순촬영 영상에서 특징점을 추출하여 상기 수면 무호흡증 진단 결과와 연관시키도록 구성될 수 있다.
일 실시예에 따르면, 상기 학습 데이터는 상기 복수의 환자들의 임상 정보를 더 포함하며, 상기 예측부는 상기 대상 환자의 임상 정보를 고려하여 수면 무호흡증 발생 가능성을 예측할 수 있다.
일 실시예에 따르면, 상기 임상 정보는 환자의 나이, 성별, 유전질환, 및 수면 무호흡증과 관련된 다른 질병의 유무 중 적어도 하나를 포함할 수 있다.
일 실시예에 따르면, 상기 진단 보조 정보는, 상기 예측부가 수면 무호흡증 발생 가능성을 예측하는데 있어서 고려한 상기 두부단순촬영 영상의 특징들을 나타내는 해석 정보를 포함할 수 있다.
일 실시예에 따르면, 상기 두부단순촬영 영상의 특징은 수면 무호흡증 환자의 해부학적 이상에 대응하여 혀 및 인두를 포함하는 상기도 주변으로 집중
일 실시예에 따르면, 상기 예측부의 예측 수행에 영향을 미치는 영역을 상기 입력부가 입력받은 대상 환자의 두부단순촬영 영상에 표시하여 시각화하는 디스플레이부를 더 포함할 수 있다.
일 실시예에 따르면, 상기 디스플레이부는 Grad-CAM(Gradient-weighted CAM) 모델을 포함할 수 있다.
일 실시예에 따르면, 상기 학습 데이터는 복수의 환자들에 대한 두부단순촬영 영상을: 다른 각도로 조정, 확대 또는 축소, 좌우 이동, 히스토그램 이퀄라이저, 좌우 대칭, 노이즈를 주는 것 중 적어도 하나 이상을 수행한 데이터를 포함할 수 있다.
일 실시예에 따르면, 상기 인공신경망 모델은 CNN 모델일 수 있다.
일 실시예에 따르면, 상기 CNN 모델은 DenseNet201일 수 있다.
본 발명의 일 실시예에 따른 두부단순촬영 영상을 활용한 수면 무호흡증 진단 보조 정보의 제공 방법은, 대상 환자의 두부단순촬영 영상을 입력 받는 단계; 인공지능 학습모델을 통해 상기 두부단순촬영 영상을 분석하여 상기 대상 환자의 수면 무호흡증 발생 가능성을 예측하는 단계; 및 상기 대상 환자의 수면 무호흡증 발생 가능성에 기초하여 진단 보조 정보를 생성 및 제공하는 단계를 포함하되, 상기 인공지능 학습모델은 복수의 환자들에 대한 두부단순촬영 영상 및 각 환자들의 수면 무호흡증 진단 결과를 포함하는 학습 데이터를 이용하여 학습될 수 있다.
일 실시예에 따르면, 두부단순촬영 영상을 활용한 수면 무호흡증 진단 보조 정보의 제공 방법을 실행하기 위한, 컴퓨터로 판독 가능한 기록매체에 저장된 컴퓨터 프로그램이 제공될 수 있다.
본 발명이 제안하는 두부단순촬영 영상을 활용한 수면 무호흡증 진단 보조 시스템 및 이를 이용한 진단 보조 정보의 제공 방법에 따르면, 저렴한 비용으로 쉽게 촬영할 수 있는 두부단순촬영영상으로부터 수면 무호흡증 발생 가능성을 예측하고, 이에 기초하여 임상의에게 진단 보조 정보를 제공함으로써, 수면 무호흡증 진단에 소요되는 시간과 비용을 절약할 수 있다.
본 발명은 기존의 영상 판독문을 활용한 딥러닝 연구를 넘어서, 기능적 검사인 수면다원검사의 결과를 활용함으로써, 두부단순촬영영상의 진단적 효용성을 비약적으로 높일 수 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명 또는 종래 기술의 실시예의 기술적 해결책을 보다 명확하게 설명하기 위해, 실시예에 대한 설명에서 필요한 도면이 아래에서 간단히 소개된다. 아래의 도면들은 본 명세서의 실시예를 설명하기 목적일 뿐 한정의 목적이 아니라는 것으로 이해되어야 한다. 또한, 설명의 명료성을 위해 아래의 도면들에서 과장, 생략 등 다양한 변형이 적용된 일부 요소들이 도시될 수 있다.
도 1은, 수면 무호흡증과 연관된 해부학적 이상을 도시하는 이미지이다.
도 2는, 본 발명의 일 실시예에 따른, 수면 무호흡증 진단을 위하여 입력부가 입력받는 두부단순촬영영상이다.
도 3은, 본 발명의 일 실시예에 따른, 인공신경망 모델을 이용하여 도 2의 두부단순촬영 영상을 통해 수면 무호흡증을 진단하는 과정을 도시하는 이미지이다.
도 4는, 본 발명의 일 실시예에 따른, 두부단순촬영 영상을 활용한 수면 무호흡증 진단 보조 시스템의 개략도이다.
도 5는, 본 발명의 일 실시예에 따른, 예측부를 학습시키기 위한 학습데이터세트의 준비 및 분할 과정을 도시하는 흐름도이다.
도 6a 및 도 6b는, 본 발명의 일 실시예에 따른, 예측부를 학습시키기 위하여 학습데이터로 이용되는 환자들의 임상 정보를 나타내는 표이다.
도 7은, 본 발명의 일 실시예에 따른, 예측부를 학습시키기 위하여 학습데이터로 이용되는 수면다원검사를 시행한 환자들의 임상 정보를 나타내는 표이다.
도 8은, 본 발명의 일 실시예에 따른, 예측부를 학습시키기 위한 복수의 훈련 샘플의 레이블 데이터의 종류, 유형 및 손실 함수를 비교하는 표이다.
도 9는, 본 발명의 일 실시예에 따른, 예측부를 학습시키기 위하여 학습데이터를 다양한 방법으로 증강한 이미지이다.
도 10은, 본 발명의 일 실시예에 따른, 인공신경망 모델로서 이용될 수 있는 CNN 모델 중 하나인 DenseNet201의 아키텍처를 도시하는 이미지이다.
도 11a 및 도 11b는, 본 발명의 일 실시예에 따른, 훈련 프로세스 동안 각 메트릭의 변화 및 훈련 데이터세트와 검증 데이터세트에 대한 최종 결과를 나타내는 그래프이다.
도 12는, 본 발명의 일 실시예에 따른, 인공신경망 모델의 성능 메트릭의 오차 행렬이다.
도 13a는, 본 발명의 일 실시예에 따른, 인공신경망 모델의 ROC 곡선을 나타내는 그래프이다.
도 13b는, 인공신경망 모델의 정밀도 재현율 곡선을 나타내는 그래프이다.
도 14는, 학습데이터를 수면다원검사를 시행한 환자의 두부단순촬영영상과 비시행한 환자의 두부단순촬영영상으로 나눈 경우 각각의 ROC 곡선을 비교한 그래프이다.
도 15는, 본 발명의 일 실시예에 따른, 수면 무호흡증 의심 영역이 파악되도록 해당 부분을 시각화하는 이미지이다.
도 16은, 본 발명의 일 실시예에 따른, Grad-CAM을 이용한 도 14의 시각화된 이미지 중 하나와 수면 무호흡증을 진단받은 환자의 해부학적 이미지를 비교한다.
도 17a 내지 도 17d는, 본 발명의 일 실시예에 따른, 예측부의 예측 값과 기존의 수면 무호흡증과 연관이 있는 신체 계측들의 상관계수를 플로팅한 그래프이다.
도 18은, 본 발명의 일 실시예에 따른, 수면다원검사를 시행한 환자와 비시행한 환자의 예측 값을 나누어서 용량반응관계(dose-response relationship)를 나타내는 그래프이다.
여기서 사용되는 전문 용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는한 복수 형태들도 포함한다. 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 항목 및/또는 성분을 구체화하며, 다른 특성, 영역, 정수, 단계, 동작, 항목 및/또는 성분의 존재나 부가를 제외시키는 것은 아니다.
다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.
이하에서, 도면을 참조하여 본 발명의 실시예들에 대하여 상세히 살펴본다.
도 1은, 수면 무호흡증과 연관된 해부학적 이상을 도시하는 이미지이다.
도 1을 참조하면, 정상인(좌)에 비하여 수면 무호흡증 환자(우)는 비강에서 시작되어 인후두까지 이어지는 구조인 상기도의 공간이 좁아지는 해부학적 이상이 동반된다. 비만으로 목에 지방이 축적되거나 혀, 편도 등의 조직이 비대해진 경우에도, 목 안의 공간이 줄어들고 상기도가 좁아져 수면 무호흡증이 유발될 수 있다. 또한, 턱이 비정상적으로 작거나 목이 짧고 굵은 사람에게 수면 무호흡증이 잘 발생하기도 한다.
도 2는, 본 발명의 일 실시예에 따른, 수면 무호흡증 진단을 위하여 입력부가 입력받는 두부단순촬영영상이다.
폐쇄성 수면 무호흡증은 확진을 위한 수면다원검사가 있고, 양압치료, 생활습관 개선, 구강 보조기, 수술이라는 확실한 치료 방법이 있다. 따라서, 환자들을 적극적으로 찾아내어 진단하기 위한 노력이 필요하지만, 수면다원검사는 검사 시간, 비용 및 노력이 많이 들기 때문에 선별 검사로는 적합하지 않다.
도 2를 참조하면, 수면 무호흡증의 가능성이 높은 환자를 선별하는 검사로서, 두부단순촬영 영상을 활용할 수 있다. 전술한 도 1에서의 해부학적 이상을 평가하는데는 CT촬영 또는 MRI촬영을 활용하는 것이 가장 정확하지만, CT나 MRI촬영은 방사선 노출량이 많고 비용이 비싼 단점이 있다. 두부단순촬영 영상은 한 번의 X선 촬영으로 획득되는 환자의 두부 정면이나 측면 전체 의 2차원 X선 영상이다. 두부단순촬영은 저렴한 비용으로 쉽게 촬영 가능하면서도 많은 정보를 준다는 점에서 보다 널리 활용될 가능성이 있다.
도 3은, 본 발명의 일 실시예에 따른, 인공신경망 모델을 이용하여 도2의 두부단순촬영 영상을 통해 수면 무호흡증을 진단하는 과정을 도시하는 이미지이다.
도 3을 참조하면, 딥러닝을 활용하여 두부단순촬영 영상을 통해 수면 무호흡증을 진단할 수 있다. 그 중 특히 인공신경망 모델로서, CNN(Convolutional neural network) 모델을 이용할 수 있다. CNN은 영상에서 다양한 계층(hierarchy)의 특징(feature)을 저차원에서부터 고차원으로 자동으로 추출해내는 장점이 있다. 이를 이용하면 인간의 눈으로 정량화하지 못하는 다양한 특징을 추상화할 수 있고, 이들의 복잡한 관계로부터 수면 무호흡증을 높은 정확도로 예측할 수 있다.
도 4는, 본 발명의 일 실시예에 따른, 두부단순촬영 영상을 활용한 수면 무호흡증 진단 보조 시스템의 개략도이다.
도 4를 참조하면, 두부단순촬영 영상을 활용한 수면 무호흡증 진단 보조 시스템(이하, "수면 무호흡증 진단 시스템")(1)은, 입력부(11), 예측부(13), 정보 제공부(15), 인공지능 학습모델(17) 및 디스플레이부(19)를 포함할 수 있다.
입력부(11)는 대상 환자의 두부단순촬영 영상을 입력 받을 수 있다. 일 실시예에서, 상기 두부단순촬영 영상은 측면 두부단순촬영 영상일 수 있다. 대상 환자의 두부단순촬영 영상을 입력받는 구성요소로서, 본 기술분야에서 사용될 수 있는 다양한 영상 촬영기기로 구현될 수 있다. 일 실시예에서, 입력부(11)는 인체의 두부에 대해 의료 영상을 촬영하고, 촬영된 영상들을 저장하는 의료 영상 시스템으로부터 두부단순촬영 영상을 수신할 수 있다.
예측부(13)는 상기 두부단순촬영 영상을 분석하여 상기 대상 환자의 수면 무호흡증 발생 가능성을 예측할 수 있다. 입력부(11)에서 입력받은 두부단순촬영 영상은 예측부(13)를 통해 상기 대상 환자의 수면 무모흡증 발생 가능성 여부가 예측된다.
정보 제공부(15)는 상기 대상 환자의 수면 무호흡증 발생 가능성에 기초하여 진단 보조 정보를 생성 및 제공할 수 있다. 상기 진단 보조 정보는, 상기 예측부(13)가 수면 무호흡증 발생 가능성을 예측하는데 있어서 고려한 상기 두부단순촬영 영상의 특징들을 나타내는 해석 정보를 포함할 수 있다. 일 실시예에서, 상기 특징은 수면 무호흡증 환자의 해부학적 이상에 대응하여 혀, 인두를 포함하는 상기도 주변으로 집중될 수 있다.
인공지능 학습모델(17)은 복수의 환자들에 대한 두부단순촬영 영상 및 각 환자들의 수면 무호흡증 진단 결과를 포함하는 학습 데이터를 이용하여 상기 예측부를 학습시키도록 구성된다. 상기 학습 데이터의 수면 무호흡증 진단 결과는, 수면다원검사를 기초로한 진단 결과일 수 있다. 상기 인공지능 학습모델은, 인공신경망 모델일 수 있다. 상기 인공신경망 모델은 복수의 레이어로 구성되며, 각 레이어는 상기 두부단순촬영 영상에서 특징점을 추출하여 상기 수면 무호흡증 진단 결과와 연관시키도록 구성될 수 있다. 상기 학습 데이터는 상기 복수의 환자들의 임상 정보를 더 포함하며, 상기 예측부는 상기 대상 환자의 임상 정보를 고려하여 수면 무호흡증 발생 가능성을 예측할 수 있다. 상기 임상 정보는 환자의 나이, 성별, 유전질환, 및 수면 무호흡증과 관련된 다른 질병의 유무 중 적어도 하나를 포함할 수 있다. 상기 다른 질병은 고혈압(Hypertension), 당뇨(Diabetes mellitus), 고지혈증(Dysli-pidemia) 등을 포함할 수 있다. 추가적으로, 다른 관련 있는 변수로서, 불면증(Insomnia)이나 다른 수면 장애(Other sleep disorders)를 포함할 수 있다.
디스플레이부(19)는 상기 예측부(13)의 예측 수행에 영향을 미치는 영역을 상기 입력부(11)가 입력받은 대상 환자의 두부단순촬영 영상에 표시하여 시각화할 수 있다. 상기 디스플레이부(19)는 Grad-CAM(Gradient-weighted CAM) 모델을 포함할 수 있다.
도 5는, 본 발명의 일 실시예에 따른, 예측부를 학습시키기 위한 학습데이터세트의 준비 및 분할 과정을 도시하는 흐름도이다.
도 5를 참조하면, 수면 무호흡증이 있거나 없는 환자의 15,600개의 측면 두부단순촬영 영상이 수집되었다. 그런 다음, 나이가 18세 초과인 환자로 한정(5,648)하고, 수면다원검사를 시행한 환자의 영상(2,235)과 시행하지 않은 환자의 영상(3,356)으로 분할하였다. 수면다원검사를 시행한 환자의 두부단순촬영 영상은 무호흡-저호흡 지수(Apnea-Hypopnea Index, AHI) >= 5인 경우(2,006), 수면 무호흡증이 있는 것으로 라벨링되었고, AHI < 5인 경우(229), 수면 무호흡증이 없는 것으로 라벨링되었다. 수면다원검사를 시행하지 않은 환자의 두부단순촬영 영상은 수면 무호흡증이 있다고 진단받은 환자의 경우(550), 수면 무호흡증이 있는 것으로 라벨링 되었고, 수면 무호흡증이 없다고 진단받은 환자의 경우(2,806), 수면 무호흡증이 없는 것으로 라벨링되었다. 최종적으로, 수면 무호흡증이 있다고 라벨링된 두부단순촬영 영상(2,556)과 수면 무호흡증이 없다고 라벨링된 두부단순촬영 영상(3,035)을 5:2:3 비율로 훈련, 검증 및 테스트 데이터세트로 무작위로 분할되었다.
도 6a 및 도 6b는, 본 발명의 일 실시예에 따른, 예측부를 학습시키기 위하여 학습데이터로 이용되는 환자들의 임상 정보를 나타내는 표이다.
도 6a를 참조하면, 수면 무호흡증 진단을 받은 환자군이 진단 받지 않은 환자군에 비하여 평균 3세 정도 많았고, 남성이 더 많았으며, 고혈압(Hypertension), 당뇨(Diabetes mellitus), 고지혈증(Dysli-pidemia)의 혈관질환 위험인자가 2배 이상 더 많았다. 다른 관련 있는 변수로서, 불면증(Insomnia)이나 다른 수면 장애(Other sleep disorders)도 더 높았다.
도 6b를 참조하면, 수면 무호흡증 진단 받지 않은 환자들은 수면 무호흡증 진단을 받은 환자들에 비해 비염, 부비동염, 후두 질환들(allergic rhinitis, chronic rhinitis, chronic sinusitis, disorders of nose and nasal sinuses and diseases of larynx)이 2-3배 이상 많았다.
도 7은, 본 발명의 일 실시예에 따른, 예측부를 학습시키기 위하여 학습데이터로 이용되는 수면다원검사를 시행한 환자들의 임상 정보를 나타내는 표이다.
도 7을 참조하면, 수면다원검사를 시행한 환자들은 수면 무호흡증이 의심되는 환자들을 주로 검사했기 때문에, BMI는 다소 높은 편이였다. 무호흡-저호흡 지수(Apnea-Hypopnea Index, AHI)로 수면 무호흡증의 심한 정도를 구분하게 되는데, 정상인은 AHI < 5인 경우로 약 10%, 경증인은 5 <= AHI < 15인 경우로 약 20%, 중등증인은 15 <= AHI < 30인 경우로 약 20%였다. 중증인은 AHI >= 30인 경우로서 약 46%로 가장 많았다.
도 8은, 본 발명의 일 실시예에 따른, 예측부를 학습시키기 위한 복수의 훈련 샘플의 레이블 데이터의 종류, 유형 및 손실 함수를 비교하는 표이다.
도 8을 참조하면, 예측부를 학습시키기 위한 복수의 훈련 샘플을 이용할 수 있고, 상기 복수의 훈련 샘플 각각은 두부단순촬영 영상 및 레이블 데이터를 포함할 수 있다. 레이블 데이터는 수면 무호흡증을 진단 받은 환자와 정상인으로 분할하여 훈련 샘플을 라벨링하기 위한 정보를 포함할 수 있다. 세부적으로, 수면 무호흡증 정도에 따라 중간/심각 수면 무호흡증과 가벼운 수면 무호흡증/정상으로 라벨링될 수 있다. 레이블 데이터가 수면 무호흡증 여부에 관한 정보를 포함하는 경우 이진 교차 엔트로피(binary cross entropy)를 손실함수로 이용할 수 있다. 추가적으로, 수면다원검사 정보가 있는 경우 레이블 데이터는 AHI(Apenea/Hypopnea index), AI(Apenea index), Hypopnea index with desaturation, Hypopnea index without desaturation 등에 관한 정보를 포함할 수 있다. 레이블 데이터가 수면다원검사 정보를 포함하는 경우 평균제곱오차(mean squared error)를 손실함수로 이용할 수 있다. 한편, 비제한적인 예시에서, 본 발명에서는 예측부의 예측 값을 기초로 수면 무호흡증 예측 지수(OSA-probability index)를 제공할 수 있다. 비제한적인 예시에서, 위와 같은 예측 지수를 제공하기 위하여 캘리브레이션 또는 포스트 프로세싱 캘리브레이션을 할 수 있다. 캘리브레이션은 예측부의 예측 값이 실제 확률을 반영하도록 만드는 것이다. 포스트 프로세싱 캘리브레이션은 모델의 예측 확률로부터 캘리브레이션 확률(Calibrated probability)을 구하는 것이다.
도 9는, 본 발명의 일 실시예에 따른, 예측부를 학습시키기 위하여 학습데이터를 다양한 방법으로 증강한 이미지이다.
도 9를 참조하면, 상기 학습 데이터는 복수의 환자들에 대한 두부단순촬영 영상에 대하여, 다른 각도로 조정(Angulation), 확대 또는 축소(Zoom), 좌우 이동(Translocation), 히스토그램 이퀄라이저(Histogram equalizer), 좌우 대칭(Flip), 노이즈를 주는 것(Add noise) 중 적어도 하나 이상의 기법이 수행된 데이터를 포함할 수 있다.
도 10은, 본 발명의 일 실시예에 따른, 인공신경망 모델로서 이용될 수 있는 CNN 모델 중 하나인 DenseNet201의 아키텍처를 도시하는 이미지이다.
도 10을 참조하면, 본 명세서에서 인공신경망 모델은 딥 러닝 모델(deep learning model)을 포함할 수 있는데, 딥 러닝 모델은 인공신경망을 다층 레이어로 쌓은 형태일 수 있다. 딥 러닝 모델(deep learning model)은 다층의 네트워크로 이루어진 심층 신경망(deep neural network)에서 다량의 데이터를 학습시킴으로써 각각의 영상의 특징(feature)을 자동으로 학습하고, 이를 통해 목적 함수, 즉 예측 정확도의 에러(error)를 최소화시키는 방법으로 네트워크를 학습시켜 나아가는 형태이다.
본 명세서에서 인공신경망 모델(deep learning model)은 예를 들어 CNN(Convolutional Neural Network), DHN(Deep Hierachical Network), CDBN(Convolutional Deep Belief Network), DDN(Deconvolutional Deep Network) 등을 이용할 수 있으나, 현재 또는 장래 다양한 인공신경망 모델을 이용할 수 있다. 본 명세서에서 CNN 기반 인공신경망 모델을 이용하는 것으로 예시적으로 설명하나 본 발명은 이에 제한되지 않고 현재 또는 장래 다양한 딥 러닝 모델을 이용할 수 있다. 인공신경망 모델(17)은 DenseNet 구조로 구성될 수도 있으나, 이에 제한되진 않는다. 기존 DenseNet은 1000개의 레이블을 분류하는 구조인데, 단일 출력 시그모이드 레이어로 교체함으로써 수면 무호흡증(1), 비-수면 무호흡증(0)으로 분류하도록 훈련시키기 위해서이다. 이 외에도 다양한 뉴럴 네트워크 구조가 활용될 수 있으며, 어떠한 경우든 상기 뉴럴 네트워크는 특정 두부단순촬영 영상을 입력으로 받고 수면 무호흡증 발현 확률에 상응하는 특징 값을 출력하도록 정의될 수 있다. 인공신경망 모델의 완전 연결 레이어(fully connected layer)는 학습을 통해서 결정이 되어야 할 다양한 파라미터를 가지고 있고, 예측하고자 하는 타겟 파라미터의 싱글 노드로 수렴시켜 수면 무호흡증 여부를 예측한다.
도 11a 및 도 11b는, 본 발명의 일 실시예에 따른, 훈련 프로세스 동안 각 메트릭의 변화 및 훈련 데이터세트와 검증 데이터세트에 대한 최종 결과를 나타내는 그래프이다.
도 11a 및 도 11b를 참조하면, 그래프의 빨간색 선은 훈련 데이터세트에서의 손실 값 및 정확도 값을 나타내고, 파란색 선은 검증 데이터 세트에서의 손실 값 및 정확도 값을 나타낸다. 상기 인공신경망 모델은 100 에포크(Epoch)에서 검증 데이터세트의 손실 값이 최소로 수렴하였다. 학습이 진행됨에 따라, 정확도가 그에 따라 증가되었다.
도 12는, 본 발명의 일 실시예에 따른, 인공신경망 모델의 성능 메트릭의 오차 행렬이다.
도 12를 참조하면, 학습 데이터 중 30%의 테스트 데이터세트를 이용하여 인공신경망 모델의 성능을 평가하였다. 실제로 정상인데 정상으로 판단한 경우가 662 건, 실제로 정상인데 비정상으로 틀리게 판단한 경우가 244건, 실제로 수면 무호흡증인데 정상으로 틀리게 판단한 경우가 181건, 실제로 수면무모흡증인데 수면 무호흡증으로 맞게 판단한 경우가 594건 이었다. 따라서, 민감도는 0.77, 특이도는 0.73, 정확도는 0.75, F1 score는 0.75로서, 다른 정보 없이 두부단순촬영영상만 사용한 것을 고려하면 높은 성능을 보였다.
도 13a는, 본 발명의 일 실시예에 따른, 인공신경망 모델의 ROC 곡선을 나타내는 그래프이다.
도 13b는, 인공신경망 모델의 정밀도 재현율 곡선을 나타내는 그래프이다.
도 13a 및 도 13b를 참조하면, 인공신경망 모델에 의해, 비 수면 무호흡증 발생 예측 및 수면 무호흡증 발생 예측을 위한 AUC는 각각 0.82 및 0.82였다. 클래스-평균 AUC는 0.82였다. 비 수면 무호흡증 발생 예측 및 수면 무호흡증 발생 예측을 하기 위한 정밀도 재현율 곡선 아래의 면적은 각각 0.840 및 0.787이였다. 정밀도 재현율 곡선 아래의 클래스-평균 면적은 0.816이였다.
도 14는, 도 5의 학습데이터를 수면다원검사를 시행한 환자의 두부단순촬영영상과 비시행한 환자의 두부단순촬영영상으로 나눈 경우 각각의 ROC 곡선을 비교한 그래프이다.
수면다원검사를 시행한 환자의 비 수면 무호흡증 발생 예측 및 수면 무호흡증 발생 예측을 위한 AUC는 각각 0.80 및 0.79였다. 클래스-평균 AUC는 각각 0.83 및 0.80이였다. 수면다원검사를 비시행한 환자의 비 수면 무호흡증 발생 예측 및 수면 무호흡증 발생 예측을 위한 AUC는 각각 0.76 및 0.76였다. 클래스-평균 AUC는 각각 0.81 및 0.76로 두 그룹을 나누어서 테스트 해보는 경우에도 비슷한 성능을 보여서 차이가 크지 않았다.
도 15는, 본 발명의 일 실시예에 따른, 수면 무호흡증 의심 영역이 파악되도록 해당 부분을 시각화하는 이미지이다.
수면 무호흡증 진단 시스템(1)은 상기 예측부(13)의 예측 수행에 영향을 미치는 영역을 상기 입력부(11)가 입력받은 대상 환자의 두부단순촬영 영상에 표시하여 시각화하는 디스플레이부(19)를 더 포함할 수 있다. 디스플레이 상에 해당 영역을 시각화할 경우, 점진적 등급 활성 맵(Gradient-weighted CAM, Grad-CAM) 모델을 이용하여 CAM 이미지를 출력할 수 있다.
본 발명의 일 실시예에서 상기 인공신경망 모델의 예측이 완료된 후에, 내부의 가중치(weight)와 특징 맵(feature map)을 이용해 각각의 클래스에 대한 활성도를 이미지로 표시해주며, 여기서 특징 맵(feature map)은 이미지에 합성곱 연산을 한 뒤 만들어진 특징(feature)들을 의미한다. 본 발명의 일 실시예에서 상기 점진적 등급 활성 맵(Grad-CAM)을 구하는 방법은 합성곱(convolution)을 통과한 특징 맵(feature map)과 각각의 등급에 대한 특정 클래스로 분류할 점수(logit값)의 그래디언트(gradient)에 합성곱(convolution)을 통과한 특징 맵(feature map)의 곱을 이용해 구한다. 본 발명의 일 실시예에서 상기 점진적 등급 활성 맵(Grad-CAM)은, 기존에 나와 있던 등급 활성 맵(CAM)이라는 구조가 범용적으로 사용될 수 없다는 단점을 극복하고 거의 모든 CNN구조에서 사용 가능하다. 이와 같은 방법으로 뽑은 점진적 등급 활성 맵(Grad-CAM)을 두부단순촬영 영상 사이즈로 바꿔서 겹치면, 두부단순촬영 영상에서 어떤 부분 때문에 특정 클래스로 예측되었는지 확인할 수 있다
도 16은, 본 발명의 일 실시예에 따른, Grad-CAM을 이용한 도 16의 시각화된 이미지 중 하나와 수면 무호흡증을 진단받은 환자의 해부학적 이미지를 비교한다.
도 16을 참조하면, 전술한 도1의 수면 무호흡증 환자의 해부학적 이상에 대응하여 상기도, 특히 혀, 인두 주변으로 모델이 많이 집중하고 있는 것을 알 수 있었다.
상기 예측부(13)는 두부단순촬영 영상로부터 특징을 추출하고, 추출된 특징에 기초하여 수면 무호흡증 발생 여부를 예측하도록 하고, 상기 예측부(13)는 추출되는 특징이 상기도, 특히 혀, 인두 주변으로 집중되는 경우, 수면 무호흡증으로 예측한다.
도 17a 내지 도 17d는, 본 발명의 일 실시예에 따른, 예측부의 예측 값과 기존의 수면 무호흡증과 연관이 있는 신체 계측들의 상관계수를 플로팅한 그래프이다.
도 17a 내지 도 17d 를 참조하면, 예측부의 마지막 노드에서 나오는 예측 값과 기존에 수면 무호흡증과 연관이 있는 신체 계측들의 상관계수(correlation)를 플로팅(plotting) 해보았다. 도17a 내지 도 17d의 신체 계측 각각은 BMI(body mass index), 목 둘레, 허리 둘레 및 허리-엉덩이 비율이다. BMI는 특히 예측 값이 0.75가 넘어가면 증가하는 양상을 보였고, 목둘레(neck circumference)는 보다 완만하게 증가하였다. 예측부가 BMI, 목 둘레, 허리 둘레 및 허리-엉덩이 비율 자체를 측정하는 것은 아니지만, 기존에 알려진 관련 인자와 유의미한 연관성을 보였다.
도 18은, 본 발명의 일 실시예에 따른, 수면다원검사를 시행한 환자와 비시행한 환자의 예측 값을 나누어서 용량반응관계(dose-response relationship)를 나타내는 그래프이다.
도 18을 참조하면, 빨간선 기준 좌측은 수면다원검사를 시행하지 않은 환자들의 예측 값을 비교해서 보여주었고, 우측은 수면다원검사를 시행한 환자들의 결과이다. 심한 정도를 분류하지 않고 수면 무호흡증의 유무만 예측하도록 학습하였으나, 예측부의 예측 값이 수면 무호흡증이 심할수록 증가하는 경향을 보였다. 이는 본 예측부가 강하게 폐쇄성 수면 무호흡증으로 예측할수록 해당 환자는 심한 수면 무호흡증을 앓을 가능성이 높다라고 해석할 수 있다.
본 발명의 다른 일 측면에 따른 두부단순촬영 영상을 활용한 수면 무호흡증 진단 보조 정보의 제공 방법은 대상 환자의 두부단순촬영 영상을 입력 받는 단계; 인공지능 학습모델을 통해 상기 두부단순촬영 영상을 분석하여 상기 대상 환자의 수면 무호흡증 발생 가능성을 예측하는 단계; 및 상기 대상 환자의 수면 무호흡증 발생 가능성에 기초하여 진단 보조 정보를 생성 및 제공하는 단계를 포함하되, 상기 인공지능 학습모델은 복수의 환자들에 대한 두부단순촬영 영상 및 각 환자들의 수면 무호흡증 진단 결과를 포함하는 학습 데이터를 이용하여 학습될 수 있다. 추가적으로, 상기 방법은 상기 인공신경망 모델의 예측 수행에 영향을 미치는 영역을 상기 입력부가 입력받은 대상 환자의 두부단순촬영 영상에 표시하여 시각화하는 디스플레이 단계를 더 포함할 수 있다.
이와 같은 두부단순촬영 영상을 활용한 수면 무호흡증 진단 보조 시스템 및 이를 이용한 진단 보조 정보의 제공 방법에 따르면, 본 발명은 저렴한 가격으로 쉽게 촬영하면서도 많은 정보를 주는 두부단순촬영영상으로부터 수면 무호흡증 발생 가능성을 예측하고, 이에 기초하여 임상의에게 진단 보조 정보를 제공하여, 짧은 추론 시간을 통해 시간을 절약할 수 있다.
본 발명은 기존의 영상 판독문을 활용한 딥러닝 연구를 넘어서, 기능적 검사인 수면다원검사의 결과를 활용함으로써, 두부단순촬영영상의 진단적 효용성을 비약적으로 높일 수 있다.
이상에서 설명한 실시예들에 따른 두부단순촬영 영상을 활용한 수면 무호흡증 진단 보조 정보의 제공 방법에 의한 동작은 적어도 부분적으로 컴퓨터 프로그램으로 구현되어, 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 예를 들어, 프로그램 코드를 포함하는 컴퓨터-판독가능 매체로 구성되는 프로그램 제품과 함께 구현되고, 이는 기술된 임의의 또는 모든 단계, 동작, 또는 과정을 수행하기 위한 프로세서에 의해 실행될 수 있다.
본 발명의 다른 일 측면에 따른 두부단순촬영 영상을 활용한 수면 무호흡증 진단 보조 정보의 제공 방법은 프로세서를 포함한 컴퓨팅 장치에 의해 수행될 수 있다. 상기 컴퓨팅 장치는 데스크탑 컴퓨터, 랩탑 컴퓨터, 노트북, 스마트 폰, 이와 유사한 것과 같은 컴퓨팅 장치일 수도 있고 통합될 수도 있는 임의의 장치일 수 있다. 컴퓨터는 하나 이상의 대체적이고 특별한 목적의 프로세서, 메모리, 저장공간, 및 네트워킹 구성요소(무선 또는 유선 중 어느 하나)를 가지는 장치다. 상기 컴퓨터는 예를 들어, 마이크로소프트의 윈도우와 호환되는 운영 체제, 애플 OS X 또는 iOS, 리눅스 배포판(Linux distribution), 또는 구글의 안드로이드 OS와 같은 운영 체제(operating system)를 실행할 수 있다.
상기 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 신원확인 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장신원확인 장치 등을 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.
이상에서 살펴본 본 발명은 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 발명의 기술적 보호범위 내에 있다고 보아야 한다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.
본 발명의 실시예들의 두부단순촬영 영상을 활용한 수면 무호흡증 진단 보조 시스템 및 이를 이용한 진단 보조 정보의 제공 방법은, 인공신경망 모델을 이용하여 환자의 두부단순촬영 영상으로부터 수면 무호흡증 발생 가능성을 예측하고, 이에 기초하여 임상의에게 진단 보조 정보를 제공할 수 있다. 이에 따라, 수면 무호흡증 진단에 소요되는 시간과 비용을 절약할 수 있다.

Claims (13)

  1. 두부단순촬영 영상을 활용한 수면 무호흡증 진단 보조 시스템으로서,
    대상 환자의 두부단순촬영 영상을 입력 받는 입력부;
    상기 두부단순촬영 영상을 분석하여 상기 대상 환자의 수면 무호흡증 발생 가능성을 예측하는 예측부;
    상기 대상 환자의 수면 무호흡증 발생 가능성에 기초하여 진단 보조 정보를 생성 및 제공하는 정보 제공부; 및
    복수의 환자들에 대한 두부단순촬영 영상 및 각 환자들의 수면 무호흡증 진단 결과를 포함하는 학습 데이터를 이용하여 상기 예측부를 학습시키도록 구성되는 인공지능 학습모델을 포함하는, 두부단순촬영 영상을 활용한 수면 무호흡증 진단 보조 시스템.
  2. 제1항에 있어서,
    상기 학습 데이터의 수면 무호흡증 진단 결과는, 수면다원검사를 기초로 한 진단 결과인 것을 특징으로 하는, 두부단순촬영 영상을 활용한 수면 무호흡증 진단 보조 시스템.
  3. 제1항에 있어서,
    상기 인공지능 학습모델은, 인공신경망 모델인 것을 특징으로 하는 두부단순촬영 영상을 활용한 수면 무호흡증 진단 보조 시스템.
  4. 제3항에 있어서,
    상기 인공신경망 모델은 복수의 레이어로 구성되며, 각 레이어는 상기 두부단순촬영 영상에서 특징점을 추출하여 상기 수면 무호흡증 진단 결과와 연관시키도록 구성되는 것을 특징으로 하는 두부단순촬영 영상을 활용한 수면 무호흡증 진단 보조 시스템.
  5. 제1항에 있어서,
    상기 학습 데이터는 상기 복수의 환자들의 임상 정보를 더 포함하며, 상기 예측부는 상기 대상 환자의 임상 정보를 고려하여 수면 무호흡증 발생 가능성을 예측하는 것을 특징으로 하는 두부단순촬영 영상을 활용한 수면 무호흡증 진단 보조 시스템.
  6. 제5항에 있어서,
    상기 임상 정보는 환자의 나이, 성별, 유전질환, 및 수면 무호흡증과 관련된 다른 질병의 유무 중 적어도 하나를 포함하는 것을 특징으로 하는 두부단순촬영 영상을 활용한 수면 무호흡증 진단 보조 시스템.
  7. 제1항에 있어서,
    상기 진단 보조 정보는, 상기 예측부가 수면 무호흡증 발생 가능성을 예측하는데 있어서 고려한 상기 두부단순촬영 영상의 특징들을 나타내는 해석 정보를 포함하는 것을 특징으로 하는 두부단순촬영 영상을 활용한 수면 무호흡증 진단 보조 시스템.
  8. 제7항에 있어서,
    상기 두부단순촬영 영상의 특징은 수면 무호흡증 환자의 해부학적 이상에 대응하여 혀 및 인두를 포함하는 상기도 주변으로 집중되는 것을 특징으로 하는 두부단순촬영 영상을 활용한 수면 무호흡증 진단 보조 시스템.
  9. 제3항에 있어서,
    상기 예측부의 예측 수행에 영향을 미치는 영역을 상기 입력부가 입력받은 대상 환자의 두부단순촬영 영상에 표시하여 시각화하는 디스플레이부를 더 포함하는 것을 특징으로 하는 두부단순촬영 영상을 활용한 수면 무호흡증 진단 보조 시스템.
  10. 제9항에 있어서,
    상기 디스플레이부는 Grad-CAM(Gradient-weighted CAM) 모델을 포함하는 것을 특징으로 하는 두부단순촬영 영상을 활용한 수면 무호흡증 진단 보조 시스템.
  11. 제1항에 있어서,
    상기 학습 데이터는 복수의 환자들에 대한 두부단순촬영 영상을:
    다른 각도로 조정, 확대 또는 축소, 좌우 이동, 히스토그램 이퀄라이저, 좌우 대칭, 노이즈를 주는 것 중 적어도 하나 이상을 수행한 데이터를 포함하는 것을 특징으로 하는 두부단순촬영 영상을 활용한 수면 무호흡증 진단 보조 시스템.
  12. 프로세서에 의하여 수행되는 두부단순촬영 영상을 활용한 수면 무호흡증 진단 보조 정보의 제공 방법으로서,
    대상 환자의 두부단순촬영 영상을 입력 받는 단계;
    인공지능 학습모델을 통해 상기 두부단순촬영 영상을 분석하여 상기 대상 환자의 수면 무호흡증 발생 가능성을 예측하는 단계; 및
    상기 대상 환자의 수면 무호흡증 발생 가능성에 기초하여 진단 보조 정보를 생성 및 제공하는 단계를 포함하되,
    상기 인공지능 학습모델은 복수의 환자들에 대한 두부단순촬영 영상 및 각 환자들의 수면 무호흡증 진단 결과를 포함하는 학습 데이터를 이용하여 학습되는 것을 특징으로 하는, 두부단순촬영 영상을 활용한 수면 무호흡증 진단 보조 정보의 제공 방법.
  13. 제12항에 따른 두부단순촬영 영상을 활용한 수면 무호흡증 진단 보조 정보의 제공 방법을 실행하기 위한, 컴퓨터로 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.
PCT/KR2021/018045 2020-12-01 2021-12-01 두부단순촬영 영상을 활용한 수면 무호흡증 진단 보조 시스템 및 이를 이용한 진단 보조 정보의 제공 방법 WO2022119325A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/039,646 US20240005487A1 (en) 2020-12-01 2021-12-01 Sleep apnea diagnostic auxiliary system using simple skull x-ray image and method for providing diagnostic auxiliary information using same

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20200166009 2020-12-01
KR10-2020-0166009 2020-12-01
KR10-2021-0147291 2021-10-29
KR1020210147291A KR20220077070A (ko) 2020-12-01 2021-10-29 두부단순촬영 영상을 활용한 수면 무호흡증 진단 보조 시스템 및 이를 이용한 진단 보조 정보의 제공 방법

Publications (1)

Publication Number Publication Date
WO2022119325A1 true WO2022119325A1 (ko) 2022-06-09

Family

ID=81853279

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/018045 WO2022119325A1 (ko) 2020-12-01 2021-12-01 두부단순촬영 영상을 활용한 수면 무호흡증 진단 보조 시스템 및 이를 이용한 진단 보조 정보의 제공 방법

Country Status (2)

Country Link
US (1) US20240005487A1 (ko)
WO (1) WO2022119325A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180040287A (ko) * 2016-10-12 2018-04-20 (주)헬스허브 기계학습을 통한 의료영상 판독 및 진단 통합 시스템
KR20180123810A (ko) * 2017-05-10 2018-11-20 주식회사 딥노이드 Ｘ-Ｒａｙ 의료 영상 판독을 위한 데이터 심화학습 처리 기술 및 그 방법
KR20190025792A (ko) * 2017-09-01 2019-03-12 가천대학교 산학협력단 수면무호흡증 진단 장치 및 그 동작 방법
KR20200063364A (ko) * 2018-11-23 2020-06-05 네이버 주식회사 시계열 의료 데이터를 통한 질병 예후 예측을 위한 딥 뉴럴 네트워크의 분류 결과 시각화 방법 및 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180040287A (ko) * 2016-10-12 2018-04-20 (주)헬스허브 기계학습을 통한 의료영상 판독 및 진단 통합 시스템
KR20180123810A (ko) * 2017-05-10 2018-11-20 주식회사 딥노이드 Ｘ-Ｒａｙ 의료 영상 판독을 위한 데이터 심화학습 처리 기술 및 그 방법
KR20190025792A (ko) * 2017-09-01 2019-03-12 가천대학교 산학협력단 수면무호흡증 진단 장치 및 그 동작 방법
KR20200063364A (ko) * 2018-11-23 2020-06-05 네이버 주식회사 시계열 의료 데이터를 통한 질병 예후 예측을 위한 딥 뉴럴 네트워크의 분류 결과 시각화 방법 및 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SEO-YOUNG KIM , YOUNG-KYOON SUH: "A Literature Survey of Machine Learning Based Obstructive Sleep Apnea Diagnosis Research", JOURNAL OF THE KOREA SOCIETY OF COMPUTER AND INFORMATION, vol. 25, no. 7, 1 July 2020 (2020-07-01), pages 113 - 123, XP055936830, ISSN: 1598-849X, DOI: 10.9708/jksci.2020.25.07.113 *

Also Published As

Publication number Publication date
US20240005487A1 (en) 2024-01-04

Similar Documents

Publication Publication Date Title
Tsuboi et al. Artificial intelligence using a convolutional neural network for automatic detection of small‐bowel angioectasia in capsule endoscopy images
Zhou et al. The ensemble deep learning model for novel COVID-19 on CT images
De Moura et al. Deep convolutional approaches for the analysis of covid-19 using chest x-ray images from portable devices
WO2019103440A1 (ko) 피검체의 의료 영상의 판독을 지원하는 방법 및 이를 이용한 장치
Karamanli et al. A prediction model based on artificial neural networks for the diagnosis of obstructive sleep apnea
WO2017051944A1 (ko) 의료 영상 판독 과정에서 사용자의 시선 정보를 이용한 판독 효율 증대 방법 및 그 장치
WO2019098415A1 (ko) 자궁경부암에 대한 피검체의 발병 여부를 판정하는 방법 및 이를 이용한 장치
Li et al. A multicenter clinical study of the automated fundus screening algorithm
WO2020179950A1 (ko) 딥러닝 기반 뇌 질환 진행 예측 방법 및 장치
WO2021201582A1 (ko) 피부 병변의 원인 분석 방법 및 장치
WO2022119325A1 (ko) 두부단순촬영 영상을 활용한 수면 무호흡증 진단 보조 시스템 및 이를 이용한 진단 보조 정보의 제공 방법
WO2024005542A1 (ko) 주름 검출을 통해 질환을 예측하는 방법 및 장치
Zafar et al. National trends in imaging rates for eye-related emergency department visits in the United States
WO2023022485A9 (ko) 비동기 심전도를 이용한 건강상태 예측 시스템
Eroğlu et al. Comparison of computed tomography-based artificial intelligence modeling and magnetic resonance imaging in diagnosis of cholesteatoma
Lin et al. Evaluate underdiagnosis and overdiagnosis bias of deep learning model on primary open-angle glaucoma diagnosis in under-served populations
Habib et al. MERCI: a machine learning approach to identifying hydroxychloroquine retinopathy using mfERG
Chen et al. EE-explorer: a multimodal artificial intelligence system for eye emergency triage and primary diagnosis
KR20220077070A (ko) 두부단순촬영 영상을 활용한 수면 무호흡증 진단 보조 시스템 및 이를 이용한 진단 보조 정보의 제공 방법
Lin et al. A deep learning model for screening computed tomography imaging for thyroid eye disease and compressive optic neuropathy
Ye et al. Automatic ARDS surveillance with chest X-ray recognition using convolutional neural networks
Chiang et al. Diagnostic performance of a telemedicine system for ophthalmology: advantages in accuracy and speed compared to standard care
US20230109857A1 (en) System and method for automatic diagnosis of middle ear diseases from an otoscopic image
WO2022065925A1 (ko) 흉부 단순 촬영 영상을 이용한 심장색전성 뇌경색의 진단 보조 방법 및 장치
WO2022103140A1 (ko) 의료 영상 판독 장치 및 의료 영상 판독 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21901013

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18039646

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21901013

Country of ref document: EP

Kind code of ref document: A1