WO2023239150A1 - 기능적 분석 장치 및 방법 - Google Patents

기능적 분석 장치 및 방법 Download PDF

Info

Publication number
WO2023239150A1
WO2023239150A1 PCT/KR2023/007754 KR2023007754W WO2023239150A1 WO 2023239150 A1 WO2023239150 A1 WO 2023239150A1 KR 2023007754 W KR2023007754 W KR 2023007754W WO 2023239150 A1 WO2023239150 A1 WO 2023239150A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
basic information
functional analysis
modality
data
Prior art date
Application number
PCT/KR2023/007754
Other languages
English (en)
French (fr)
Inventor
김중희
Original Assignee
서울대학교병원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020230050792A external-priority patent/KR20230168954A/ko
Application filed by 서울대학교병원 filed Critical 서울대학교병원
Publication of WO2023239150A1 publication Critical patent/WO2023239150A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/33—Heart-related electrical modalities, e.g. electrocardiography [ECG] specially adapted for cooperation with other devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346—Analysis of electrocardiograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references

Definitions

  • This specification relates to a functional analysis device, which assists the interpretation results of chest radiology images by providing related and integrated information between different modalities or the same modality, such as chest radiology images and electrocardiograms/pulmonary function tests. do.
  • Chest X-ray is the most commonly used image in medical history, and it is inexpensive and allows you to easily obtain information about the thoracic structure. Because changes that occur in the heart or lungs are often reflected in chest radiography images, various morphological information can be provided. However, because only morphological information can be obtained when taking a chest radiography image, there are limitations in the performance and interpretation of the chest radiology image analysis algorithm.
  • ECG electrocardiography
  • An electrocardiogram is a record of the action currents generated in the myocardium as the heart beats.
  • An electrocardiogram is a very simple test, the results can be checked right away, and it is also useful when continuously monitoring a patient.
  • pulmonary edema which is fluid in the lungs
  • pneumonia which is inflammation of the lungs
  • accuracy in disease determination can be improved by using not only chest radiography images but also electrocardiograms.
  • the accuracy in determining the disease can be further improved by analyzing the decline in right ventricular function using an electrocardiogram.
  • electrocardiograms can be used to provide further information necessary for causal relationships and treatment decisions.
  • the results of functional analysis using an electrocardiogram can be used as a training label for chest radiography artificial intelligence to predict functional evaluation results using only chest radiography.
  • Embodiments of the present application include an acquisition module that acquires information from one or more modalities; A functional analysis module that generates at least one of association information between different modalities or between different basic information within a single modality; and an analysis result providing module that provides a functional analysis result including at least one of one or more related information and integrated information associated with the basic information.
  • the one or more modalities include a chest radiology modality and an electrocardiogram modality, and the different modalities include a chest radiology modality; and one or more of the electrocardiogram modality and pulmonary function test modality;
  • the basic information may be information about morphological characteristics provided from chest radiation modality, and the related information may be functional abnormality information related to the basic information based on the morphological characteristics.
  • the integrated information is information improved from the basic information and the related information, and relates to the presence or absence of specific findings that could not be provided from the basic information and the related information, and a task of diagnosing or predicting a specific disease
  • the integrated information can be used as basic information and related information for new items.
  • the information about the functional abnormality may include one or more of the presence, probability, and severity of the abnormality related to the morphological characteristic.
  • the basic information is medical information about pulmonary edema, cardiac hypertrophy, coronary artery disease/calcification, and valve disease/calcification
  • the related information is the presence and probability of heart failure, predicted ejection fraction, and heart valve.
  • abnormalities myocardial infarction including ST segment elevation myocardial infarction (STEMI), probability of acute coronary syndrome and cardiomyopathy, blood Troponin, ProBNP, pH, Lactate, TCO2, Serum Creatinine, C-reactive protein (C -reactive protein) results, may be medical information about echocardiography summary.
  • the basic information is medical information about lung infectious diseases including pneumonia, pulmonary tuberculosis, and lung abscess, and pneumonia including cirrhosis, infiltration, ground glass, and atelectasis
  • the related information is shock, respiratory failure, risk of death, Presence and probability of heart failure, predicted ejection fraction results, blood Troponin T/I, ProBNP, pH, Lactate, TCO2, Serum Creatinine, WBC, ESR, Eosinophil, C-reactive protein results It may be medical information about.
  • the basic information is medical information about pulmonary embolism
  • the related information is about right ventricular failure, pulmonary hypertension, blood D-dimer, Troponin I, ProBNP results, echocardiography, and cardiac arrhythmia ultrasound. This may be medical information.
  • the basic information may be medical information about pericardial effusion
  • the related information may be medical information about pericardial effusion, cardiac tamponade, right ventricular failure risk, shock, respiratory failure and death risk, blood CRP, and IGRA test.
  • the basic information is medical information about ARDS, and the related information includes shock, respiratory failure, risk of death, right ventricular failure, pulmonary hypertension, SpO2, Troponin I, ProBNP, SpO2, and FIO2. It may be medical information about vital signs.
  • the basic information is medical information about emphysema, bronchitis, and interstitial lung disease, and the related information is left ventricular failure, right ventricular failure, pulmonary hypertension, CRP of blood, It may be medical information about at least one of Troponin I, ProBNP, FVC, FEV1, FEV1/FVC values and interpretation, summary of pulmonary function test results, and raw data and processed products of pulmonary function tests.
  • the acquisition module includes first basic information that is chest radiology data; Second basic information, which is electrocardiogram data; Obtain additional basic information from at least one of a blood test result, a pulmonary function test result, and a sample test result, and the related information includes functional abnormalities associated between the first basic information, the second basic information, and the additional basic information. It may include information about.
  • the chest radiation data is chest radiation image data
  • the electrocardiogram data is electrocardiogram image data or time series data
  • the blood test result data is one or more selected from text, numerical values, and images
  • the pulmonary function test result is one or more selected from time series data, image data, text data, and numerical data
  • the sample test result data may be one or more of text or numerical data.
  • the chest radiology image data is an original chest radiology digital image, a converted image of the original, captured image data or screen capture image data, and an image scanned after translating an expert's opinion on the chest radiology digital image into writing.
  • the time series data is time series data of a wave-shaped signal or an image showing it on a two-dimensional plane
  • the electrocardiogram image data is photographed image data, screen capture image data, or image data obtained from an electronic medical record system
  • the blood test The result data is user input data, data obtained from an electronic medical record system, or OCR (artificial intelligence document recognition) data of a test result
  • the pulmonary function test result data is FVL (Flow-Volume Loop) or DLCO (Diffusing capacity of It may be the original time series data of the lung for CO) curve, data visualized as a diagram on a two-dimensional plane, image data taken from this, or a reading of the lung function test results, or OCR processing data of the image taken.
  • FVL Flow-Volume Loop
  • the one or more integrated information combines evaluation values for the same item between different basic information, and the evaluation values may be calculated by at least one of a single probability value, a distribution value, and a distribution equation.
  • the analysis result providing module includes the one or more related information and integrated information, thereby providing improved risk values, probabilities, and distribution formulas thereof compared to those that do not include the one or more related information and integrated information. At least one of these can be provided.
  • the analysis result providing module outputs at least one of basic information, related information, and integrated information about the morphological lesion observed on the chest radiology image, and considers the anatomical location where the morphological lesion is located, basic information, At least one of related information and integrated information may be displayed, or a separate reading may be provided.
  • the first basic information relates to findings and diseases that can be suspected or diagnosed from chest radiology modality, such as consolidation, infiltration, ground glass opacity, and adult respiratory failure (ARDS), Pneumonia, Abscess, Aspiration Pneumonia, Atypical Pneumonia, Active Tuberculosis, Non-Tuberculous Mycobacteria, Chronic Obstructive Pulmonary Disease (COPD), Interstitial Lung Disease, Bronchiectasis, Sarcoidosis, Lung Nodule, Lung Mass, Lung Cancer, Lung Metastasis Metastasis, Aortic Dissection, Aortic Aneurysm, Pleural Effusion, Empyema, Pneumothorax, Pneumoperitoneum, Pneumopericardium, Pneumomediastinum , Subcutaneous Emphysema, Coronary Artery Calcification, Cardiomegaly, Pulmonary Edema, Pericardial Effusion, Pulmonary Embolism, Chamber
  • the second basic information is numerical information reflecting the risk of heart rhythm, various emergency diseases, and various cardiac dysfunction from the electrocardiogram modality, such as atrial fibrillation, LV dysfunction, and RV dysfunction.
  • Pulmonary Hypertension Pericardial Effusion, Acute Coronary Syndrome, Myocardial Infarction, Pulmonary Edema, Chamber: LA, LV, RA, RV, Enlargements, Valvular: Aortic, Mitral, Tricuspid, Pulmonic Valve Stenosis/Regurgitation, Hypertrophic Cardiomyopathy, It may include at least one of Left Ventricular Ejection Fraction (LVEF), Global Longitudinal Strain (GLS), Respiratory Failure, Shock, and Cardiac Arrest.
  • LVEF Left Ventricular Ejection Fraction
  • GLS Global Longitudinal Strain
  • Respiratory Failure Shock
  • Cardiac Arrest Cardiac Arrest.
  • exemplary embodiments of the present application include a first neural network that generates first basic information for one or more task items based on main input data, which is a numerical vector extracted from a first single modality; a second neural network that generates second basic information about one or more task items based on main input data, which is a numerical vector extracted from a second single modality; It may further include a functional analysis device, wherein the functional analysis module generates one or more related information and integrated information associated with the first basic information and the second basic information.
  • the first neural network includes a first encoder unit located at a data input end to output a numerical vector including feature information of a first single modality; And a first task unit that generates first basic information for one or more task items by using the numerical vector output from the first encoder unit as an input, wherein the second neural network is located on the data input side and generates a second single a second encoder unit that outputs a numeric vector containing feature information of the modality; and a second task unit that generates second basic information for one or more task items by using the numerical vector output from the second encoder unit as an input.
  • At least one of the first task unit and the second task unit includes additional information including at least one of the subject's age, gender, main symptom, blood test results, vital signs, and underlying disease. 2. It further includes an additional neural network input in addition to the numerical vector output from the encoder unit, wherein the additional neural network generates additional task information related to first basic information or additional task information related to second basic information, and the first basic information Additional task information related to the subject's age, gender, anatomical characteristics, pathological characteristics not included in the first basic information, shooting environment, shooting method, image pre-processing method, and related to the second basic information. Additional task information may include information about the subject's age, gender, height, weight, pulse rate, electrocardiogram section duration, and electric axis including P wave, QRS wave, and T wave.
  • At least one of the first task unit, the second task unit, and the additional neural network includes one or more common layers; And it may include one or more task-specific layers to which the output vector of the common layer is input.
  • the functional analysis module may generate the one or more related information from the first basic information and the second basic information by one or more selected from regression analysis, machine learning, or set criteria.
  • the machine learning is learned by further including an additional data set, and the additional data set may be first basic information and second basic information acquired by the same person within a predetermined time frame.
  • all or part of the training label is assigned to a first single modality by using the related information and integrated information generated by the functional analysis module as a training label, and the assigned first single modality is used as training data.
  • the first neural network can be trained.
  • exemplary embodiments of the present application include a first neural network that generates first basic information for one or more task items based on main input data, which is a numerical vector extracted from a first single modality; and a third neural network that generates association information for one or more task items based on the first basic information and the numerical vector extracted from the second single modality.
  • the second single modality includes a first single modality that is performed concurrently - a first single modality that is performed along with the first single modality that is performed within a set time frame on blood testers for whom the second single modality test was performed. It is possible to provide a functional analysis device characterized in that - exists.
  • additional information including at least one of the subject's age, gender, main symptom, blood test results, vital signs, and underlying disease may be further input to the third neural network.
  • a task item associated with a first single modality and a task item associated with a second single modality based on the numeric vector extracted from the first single modality and the numeric vector extracted from the second single modality. It includes a fourth neural network that generates association information for, and the first single modality and the second single modality are accompanying trial modalities - the first single modality and the second single modality within a certain time frame by the same subject. It is possible to provide a functional analysis device characterized by - carried out together.
  • the fourth neural network may further input at least one of the subject's age, gender, main symptom, blood test results, vital signs, and underlying disease.
  • the apparatus includes a first auxiliary task neural network that generates first basic information about a task item related to a first single modality based on a numerical vector extracted from the first single modality; and/or a second auxiliary task neural network that generates second basic information about a task item related to the second single modality based on the numerical vector extracted from the second single modality; It may further include.
  • the one or more modalities include a chest radiology modality and an electrocardiogram modality, and the different modalities include a chest radiology modality; and one or more of the electrocardiogram modality and pulmonary function test modality;
  • the basic information may be information about morphological characteristics provided from chest radiation modality, and the related information may be functional abnormality information related to the basic information based on the morphological characteristics.
  • the integrated information is information improved from the basic information and the related information, and relates to the presence or absence of specific findings that could not be provided from the basic information and the related information, and a task of diagnosing or predicting a specific disease
  • the integrated information can be used as basic information and related information for new items.
  • the information about the functional abnormality may include one or more of the presence, probability, and severity of the abnormality related to the morphological characteristic.
  • obtaining information from one or more modalities includes first basic information, which is chest radiology data; Second basic information, which is electrocardiogram data; Obtain additional basic information from at least one of a blood test result, a pulmonary function test result, and a sample test result, and the related information includes functional abnormalities associated between the first basic information, the second basic information, and the additional basic information. It may include information about.
  • the one or more integrated information combines evaluation values for the same item between different basic information, and the evaluation values may be calculated by at least one of a single probability value, a distribution value, and a distribution equation.
  • the step of providing the functional analysis result includes improved risk values, probabilities, and the like by including the one or more related information and integrated information compared to not including the one or more related information and integrated information. At least one of the distribution equations may be provided.
  • the step of providing the functional analysis result outputs at least one of basic information, association information, and integrated information about the morphological lesion observed on the chest radiography image, and considers the anatomical location where the morphological lesion is located. At least one of basic information, related information, and integrated information may be displayed, or a separate reading may be provided.
  • a computer-readable recording medium is readable by a computer and stores program instructions operable by the computer, wherein when the program instructions are executed by a processor of the computer, the computer-readable recording medium stores program instructions operable by the computer.
  • a computer-readable recording medium that allows a processor to perform a functional analysis method is provided.
  • diagnosis is made by providing related information and integrated information between different modalities or within one modality, such as chest radiography images and electrocardiograms/pulmonary function tests. Accuracy can be increased. It can help with diagnosis segmentation, treatment selection, and cause determination. In particular, by confirming disease findings in multiple modalities, medical staff can provide emergency treatment with greater confidence in the diagnosis, thereby improving patient safety.
  • pulmonary edema when pulmonary edema is diagnosed on a chest radiograph and a functional abnormality such as left heart failure is diagnosed on an electrocardiogram, it is possible to help determine the cause of pulmonary edema due to left heart failure. Additionally, if pulmonary edema is diagnosed on a chest radiograph and a myocardial infarction is diagnosed on an electrocardiogram, it can ultimately help determine the cause of pulmonary edema due to myocardial infarction.
  • diuretics may be prescribed to help select prompt treatment.
  • FIG. 1 is a schematic diagram showing the configuration of a functional analysis device according to one aspect of the present application.
  • FIG. 2A is a schematic diagram showing an artificial neural network structure that generates first basic information by taking the chest radiation modality of the functional analysis device as an input, in an embodiment of the present application
  • FIG. 2B is a schematic diagram showing the structure of an artificial neural network that generates first basic information by taking the electrocardiogram modality as an input. This is a schematic diagram showing the structure of an artificial neural network that generates information.
  • FIG. 3A is a schematic diagram showing the structure of the first neural network and the second neural network in FIGS. 2A and 2B
  • FIG. 3B is a schematic diagram showing the structure of the additional neural network in FIGS. 2A and 2B, in an embodiment of the present application.
  • FIG. 4 shows, in an embodiment of the present application, a first neural network that generates first basic information using chest radiation modality as input and a second neural network that generates second basic information using electrocardiogram modality as input are independently trained.
  • This is a schematic diagram showing the ordering process.
  • Figure 5 is a schematic diagram showing a process of generating integrated information by receiving the first basic information and the second basic information generated in Figure 4, in an embodiment of the present application.
  • FIG. 6 shows that, in one embodiment of the present application, the second neural network is first trained, the parameter weights in the neural network are fixed, and then the first neural network and the third neural network are trained using the first single modality input and the second neural network output.
  • This is a schematic diagram showing the process of generating integrated information for new integrated input.
  • Figure 7 shows, in an embodiment of the present application, a new integration by training the first neural network, the second neural network, and the fourth neural network using the first single modality and second single modality data sets performed by a plurality of identical subjects.
  • This is a schematic diagram showing the process of generating integrated information about input.
  • Figure 8a is an example in which, in an embodiment of the present application, the analysis result providing module outputs the functional analysis result including related information as a separate readout
  • Figure 8b is an example in which the analysis result providing module outputs the functional analysis result including related information as a separate readout in an embodiment of the present application. This is an example of how to output functional analysis results including related information on the morphological lesion of the input chest radiography image.
  • Figure 9 is an example in which, in an embodiment of the present application, the analysis result providing module provides chest radiology image analysis findings and related information through electrocardiogram analysis.
  • Figure 10 is a flow diagram of a functional analysis method, in one embodiment of the present application.
  • first, second, A, B, (a), and (b) may be used. Unless otherwise specified, these terms are only used to distinguish the component from other components, and the nature, sequence, order, or number of the components are not limited by the term.
  • 'learning' or 'learning' is a term that refers to performing machine learning through procedural computing.
  • the hardware may be a data processing device that includes a Central Processing Unit (CPU), Graphics Processing Unit (GPU), or other processor.
  • software may refer to a running process, object, executable, thread of execution, program, etc.
  • modality refers to, for example, time series data of waveform signals including electrocardiograms or images depicting them on a two-dimensional plane, chest radiography images, or images scanned after translating an expert's opinions on chest radiology images into writing, and blood tests. It can refer to text, numbers and images related to the results, time series or single measurement data related to flow rate, flow rate, pressure and volume measured during pulmonary function tests and charts that visualize them, numerical data or text related to test results.
  • basic information is information about morphological characteristics provided from chest radiation modality, and related information may be information about functional abnormalities related to the basic information based on the morphological characteristics.
  • the first basic information relates to all findings and diseases that can be suspected or diagnosed using chest radiography
  • the second basic information is a value reflecting the risk of heart rhythm, various emergency diseases, and various cardiac dysfunction using electrocardiogram. It could be information.
  • the integrated information is information improved from the basic information and the related information, and relates to the presence or absence of specific findings that could not be provided from the basic information and the related information, and the task of diagnosing or predicting a specific disease, Integrated information can be used as basic information and related information for new items.
  • neural network refers to a machine learning algorithm or network.
  • the first neural network generates a numeric vector or first basic information related to morphological features provided from the chest radiology modality
  • the second neural network generates a numeric vector or second basic information provided from the electrocardiogram modality, and in some cases, each The detailed structure of a neural network may vary.
  • the specific neural network structures located on the data input side of the first neural network and the second neural network can be separately distinguished and designated as a first encoder unit and a second encoder unit, respectively.
  • the specific neural network structures located at the output ends of the first neural network and the second neural network can be separately distinguished and designated as a first task unit and a second task unit, respectively.
  • Each encoder unit corresponds to a part of each neural network, but can be trained and managed separately from the task unit, and each encoder unit outputs a numerical vector providing feature information of the input data.
  • additional task information related to the first basic information may be generated.
  • the additional task is not included in the first basic information, but includes all biological and It corresponds to non-biological information, and additional task information related to the first basic information includes the subject's age, gender, anatomical characteristics, pathological characteristics (not included in the first basic information), shooting environment, shooting method, image preprocessing method, etc. may include.
  • the second or additional neural network may generate additional task information in addition to the main task.
  • additional task information related to the second basic information can be created.
  • the additional task is not included in the second basic information but corresponds to all information that can be measured with an electrocardiogram, and the second basic information
  • Additional task information related to basic information includes the subject's age, gender, height, weight, pulse rate, ECG section duration (PR-section, QRS complex, QT-section), electric axis (P wave, QRS wave, T wave), etc. may include.
  • FIG. 1 is a schematic diagram showing the configuration of a functional analysis device according to one aspect of the present application.
  • the functional analysis device 1 includes an acquisition module 10 that acquires information from one or more modalities, and a functional analysis device that generates association information and integrated information between different modalities or between different basic information within a single modality. It may include an analysis module 20 and an analysis result provision module 30 that provides a functional analysis result including one or more related information and integrated information related to the basic information.
  • the one or more modalities include a chest radiation modality and an electrocardiogram modality, and the different modalities include a chest radiation modality; and one or more of the electrocardiogram modality and pulmonary function test modality.
  • the acquisition module 10 may acquire information from at least one of chest radiation modality, electrocardiogram modality, and pulmonary function test modality.
  • the basic information is a risk value or probability used for the task of diagnosing or predicting a specific disease or informing the presence or absence of a specific radiological finding using morphological features provided from the chest radiology modality, or a distribution function that defines their distribution. It corresponds to a parameter and can be a numeric vector with one or more elements, especially when performing this task multiple times.
  • the tasks may correspond to at least one of binary classification, multinomial classification, and regression.
  • the related information is functional abnormality information related to abnormal findings discovered by the functional analysis module 20 using basic information based on the morphological characteristics, depending on the presence or absence of medical, statistical, causal, or practical correlation. This corresponds to another selected basic information.
  • the information regarding the functional abnormality may include one or more of the presence/absence, probability, or severity of the abnormality associated with basic information based on morphological characteristics.
  • the integrated information is new basic information created by integrated analysis of basic information in different modalities or within the same modality by the functional analysis module 20, and is used to improve existing basic information and related information or to create new items. It can be used as basic information and related information.
  • the integrated information may be calculated as at least one of the parameters of a distribution function that defines a risk value or probability or the distribution of the risk values or probabilities used for the task of informing the presence or absence of a specific finding or diagnosing or predicting a specific disease.
  • the analysis result providing module 30 includes the one or more related information and integrated information, so that the user can evaluate and understand specific abnormal findings in various ways, compared to the case that does not include the one or more related information and integrated information. It is possible to deliver more accurate information by providing users with improved risk figures or probabilities and their distribution estimates.
  • the analysis result providing module 30 outputs one or more of basic information about morphological lesions observed in radiological images, integrated information that can improve them, and related information related to them, These output positions can be displayed in consideration of the anatomical location of the morphological lesion (e.g., on or near the lesion) to improve the user's understanding of the lesion, or can be displayed separately as a reading text outside the radiological image to improve user readability. there is.
  • FIG. 2A is a schematic diagram showing the structure of an artificial neural network model that generates first basic information by taking the chest radiation modality of a functional analysis device as an input
  • FIG. 2B is a schematic diagram showing the structure of an artificial neural network model that generates first basic information by taking the electrocardiogram modality as an input, in an embodiment of the present application.
  • This is a schematic diagram showing the structure of an artificial neural network model that generates basic information.
  • the artificial neural network model for generating the first basic information may input chest radiology image data, and the chest radiology image data is the original chest radiology digital image and DICOM format image, and these are converted into different formats. It may be image data obtained by converting converted images, outputting them as images, shooting them with a camera, or capturing a screen.
  • the input chest radiology image data is output as a numerical vector through the first encoder unit of the first neural network including MLP, CNN, transformer, etc., and the numerical vector may be input to the first task unit of the first neural network or an additional neural network.
  • the first neural network inputs only information related to the chest radiology image data
  • the additional neural network inputs not only information related to the chest radiology image data, but also the subject's age, gender, chief symptom (CC), blood test result data, and pulmonary function test result data.
  • the normalized or embedded value of at least one of vital signs (VS) and underlying disease is input.
  • the blood test result data may be user input data, data obtained from an electronic medical record system, or OCR (artificial intelligence document recognition) data of a test result sheet.
  • the pulmonary function test result data is the original time series data of the FVL (Flow-Volume Loop) or DLCO (Diffusing capacity of the lung for CO) curve, data visualized in a diagram on a two-dimensional plane, and image data taken from this, or lung This may be a readout of the functional test result or OCR processing data of the image taken.
  • FVL Flow-Volume Loop
  • DLCO Denusing capacity of the lung for CO
  • the first neural network is used for training and inference learning. If additional information is used as input, both the first neural network and the additional neural network are used for training, and the additional neural network is used for inference.
  • the type, size, and structure of the artificial neural network, first neural network, and additional neural network may vary depending on the characteristics and amount of training data.
  • the artificial neural network may have a CNN or transformer structure, and the first neural network and additional neural networks may have an MLP structure.
  • the encoder part of the first neural network is shared with an additional neural network to extract features from the first modality input, and the task part of the first neural network is a neural network trained to use only chest radiology image features, unlike the additional neural network, and determines whether additional information is used. Accordingly, one of the first neural network and the additional neural network can be appropriately selected and used.
  • the first neural network or additional neural network is trained to perform various tasks to increase rich feature extraction ability and generalization ability.
  • the first neural network or the additional neural network may generate first basic information, which is the main task.
  • the first basic information refers to all findings and diseases that can be suspected or diagnosed using chest radiography, including consolidation, infiltration, ground glass opacity, adult respiratory failure syndrome (ARDS), and pneumonia ( Pneumonia, Abscess, Aspiration Pneumonia, Atypical Pneumonia, Active Tuberculosis, Non-Tuberculous Mycobacteria, Chronic Obstructive Pulmonary Disease (COPD), Epilepsy Interstitial Lung Disease, Bronchiectasis, Sarcoidosis, Lung Nodule, Lung Mass, Lung Cancer, Lung Metastasis, Aortic Dissection (Aortic Dissection), Aortic Aneurysm, Pleural Effusion, Empyema, Pneumothorax, Pneumoperitoneum, Pneumopericardium, Pneumomediastinum, Subcutaneous Emphysema Emphysema, Coronary Artery Calc
  • the first neural network or additional neural network may generate additional task information related to the first basic information in addition to the main task.
  • the additional task is not included in the first basic information, but corresponds to all biological and non-biological information that can be confirmed through chest radiography.
  • the additional task information related to the first basic information includes the subject's age, gender, and anatomy. It may include characteristics, pathological characteristics (not included in the first basic information), shooting environment, shooting method, image pre-processing method, etc.
  • the first basic information is based on morphological characteristics provided from the chest radiology modality, and defines the risk value or probability or their distribution used for the task of informing the presence or absence of specific radiological findings or diagnosing or predicting a specific disease. It corresponds to a parameter of a distribution function, and may be a numerical vector with one or more elements, especially when performing this task multiple times.
  • the tasks may correspond to at least one of binary classification, multinomial classification, and regression.
  • the sigmoid function can be used to express the probability of disease occurring for each task as a probability between 0 and 1.
  • the softmax function can be used to represent the probability distribution of the number of two or more cases.
  • a method of using the output value as is without probability conversion as described above can be adopted. Examples of such regression include Coronary Calcium score, Cardiothoracic (CT) ratio, etc.
  • the artificial neural network model for generating second basic information may input electrocardiogram data, and the electrocardiogram data may be, for example, at least one of waveform time series data and image data.
  • the ECG image data may be ECG image data, screen capture image data, or image data obtained from an electronic medical record system.
  • the ECG data may include at least one of an ECG signal that is a one-dimensional single-channel or multi-channel signal and an ECG image in which the ECG signal is depicted on a two-dimensional plane.
  • the signal is in the form of a two-dimensional array, for example, C C that includes an included image or a patch image for each lead channel cropped for each lead channel, and has a black and white image of one or more lead channels, or three channels of R (Red), G (Green), and B (Blue) It may be in the form of a three-dimensional array of ⁇ W ⁇ H (number of channels ⁇ number of horizontal pixels ⁇ number of vertical pixels).
  • electrocardiogram data all biodata that is other patient-derived information can be used, and various time-series data such as electroencephalogram (EEG), electromyogram (EMG), electrooculography (EOG), etc.
  • EEG electroencephalogram
  • EMG electromyogram
  • EOG electrooculography
  • Bio signals may be included.
  • it can have waves, images, sounds, and any other form of modality, and is not limited to a specific modality.
  • the input ECG data is output as a numerical vector through an artificial neural network (second encoder unit) including MLP, CNN, RNN, transformer, etc., and the numerical vector is input to the second neural network (task unit) or an additional neural network.
  • the second neural network inputs only information related to the electrocardiogram data
  • the additional neural network inputs not only information related to the electrocardiogram data, but also the subject's age, gender, main symptoms, blood test result data, pulmonary function test result data, vital signs, and underlying diseases.
  • the normalized or embedded value of at least one piece of additional information is input.
  • the blood test result data may be user-entered data, data obtained from an electronic medical record system, or OCR-processed data of a test result sheet.
  • the pulmonary function test result data may be the original time series data of the FVL or DLCO curve, data visualized as a diagram on a two-dimensional plane, image data taken from this, or a readout of the pulmonary function test result or OCR processing data of the image taken. there is.
  • the second neural network is used for training and inference learning. If additional information is used as input, both the second neural network and the additional neural network are used for training, and the additional neural network is used for inference.
  • the type, size, and structure of the artificial neural network, secondary neural network, and additional neural network may vary depending on the characteristics and amount of training data.
  • the artificial neural network may have a CNN, RNN, Transformer, etc. structure
  • the second neural network and the additional neural network may have an MLP structure.
  • the encoder part of the second neural network is shared with an additional neural network to extract features from the second modality input, and the task part of the second neural network is a neural network trained to use only chest radiology image features, unlike the additional neural network, and determines whether additional information is used. Accordingly, one of the two (second neural network and additional neural network) can be appropriately selected and used. Secondary neural networks, or additive neural networks, are trained to perform a variety of tasks to increase the ability to extract rich features and generalize.
  • the second neural network or additional neural network may generate second basic information, which is the main task.
  • the second basic information is numerical information that reflects the risk of heart rhythm, various emergency diseases, and various cardiac dysfunction, including atrial fibrillation, LV dysfunction, RV dysfunction, pulmonary hypertension, Pericardial Effusion, Acute Coronary Syndrome, Myocardial Infarction, Pulmonary Edema, Chamber: LA, LV, RA, RV, Enlargements, Valve ( Valvular: Aortic, Mitral, Tricuspid, Pulmonic Valve Stenosis/Regurgitation, Hypertrophic Cardiomyopathy, Left Ventricular Ejection Fraction (LVEF) ), Global Longitudinal Strain (GLS), Respiratory Failure, Shock, and Cardiac Arrest.
  • the second neural network or additional neural network may generate additional task information in addition to the main task.
  • the additional task is not included in the second basic information, but corresponds to all information that can be measured with an electrocardiogram.
  • the additional task information related to the second basic information includes the subject's age, gender, height, weight, pulse rate, and electrocardiogram. It can include interval duration (PR-interval, QRS complex, QT-interval), electric axis (P wave, QRS complex, T wave), etc.
  • the first basic information is based on morphological characteristics provided from the chest radiology modality, and defines the risk value or probability or their distribution used for the task of informing the presence or absence of specific radiological findings or diagnosing or predicting a specific disease. It corresponds to the parameter of the distribution function, and especially when performing this task multiple times, it may be a numeric vector with one or more elements of the same number.
  • the tasks may correspond to at least one of binary classification, multinomial classification, and regression.
  • the second basic information is based on waveform features that can be extracted from the electrocardiogram modality, and is a distribution that defines the risk value or probability or the distribution thereof used for the task of informing of specific electrocardiogram abnormalities or diagnosing or predicting a specific disease. It corresponds to a parameter of a function and can be a numeric vector with one or more elements, especially when performing this task multiple times.
  • the tasks may correspond to at least one of binary classification, multinomial classification, and regression.
  • the sigmoid function can be used to express the probability of disease occurring for each task as a probability between 0 and 1.
  • the softmax function can be used to represent the probability distribution of the number of two or more cases.
  • a method of using the output value as is without probability conversion as described above can be adopted. Examples of such regression include Left Ventricular Ejection Fraction.
  • FIG. 3A is a schematic diagram showing the structure of the first neural network and the second neural network in FIGS. 2A and 2B
  • FIG. 3B is a schematic diagram showing the structure of the additional neural network in FIGS. 2A and 2B, in an embodiment of the present application.
  • the task units of the first neural network and the second neural network receive input from each encoder unit and include one or more common layers; and one or more task-specific layers to which the output vector of the common layer is input.
  • the additional neural network not only provides information related to chest radiography data and electrocardiogram data, but also adds information related to at least one of the subject's age, gender, main symptom, blood test result data, pulmonary function test result data, vital signs, and underlying disease. Information is also input.
  • the additional information may be a normalized or embedded value.
  • Additional neural networks like the first neural network and the second neural network, also have one or more common layers; and one or more task-specific layers to which the output vector of the common layer is input.
  • each layer is a fully-connected layer, and before and after each layer, depending on the use and purpose, a dropout layer, a non-linear activation function, and a normalization layer ( A normalization layer may be included.
  • Figure 4 is a schematic diagram showing a first neural network that generates first basic information by taking chest radiation modality as input and a second neural network that generates second basic information by taking electrocardiogram modality as input, in an embodiment of the present application. .
  • the first neural network generates first basic information for one or more task items from chest radiology single modality input.
  • the second neural network generates second basic information for one or more task items from input starting from a single modality of the electrocardiogram.
  • the first neural network and the second neural network can be trained independently using a plurality of training samples, and the functional analysis module 30 provides the first basic information generated by the first neural network and the second neural network generated by the second neural network.
  • One or more integrated information can be created from basic information.
  • evaluation value corresponds to at least one of the parameters of the distribution function that defines the risk value or probability or the distribution of these, which is used for the task of informing the presence or absence of a specific finding or diagnosing or predicting a specific disease. can do.
  • the tasks may correspond to at least one of binary classification, multinomial classification, and regression.
  • two or more evaluation values to be integrated all correspond to risk values or probability estimates, they can be integrated by using an arithmetic average, or by obtaining a weighted average that applies appropriate weights.
  • the weight can be determined based on the performance of each evaluation value (e.g., Accuracy, AUC ROC, F1-score, PR-AUC, or similar accuracy measures).
  • the w_A is a weight for the basic information on chest radiation
  • p_A is an evaluation value corresponding to the basic information on chest radiation
  • the w_B is a weight for the basic ECG information
  • p_B is an evaluation value corresponding to the basic ECG information.
  • a method of integrating two or more distribution functions using the parametric method may be to obtain a weighted average function that applies appropriate weights.
  • the weight is determined based on the performance of each evaluation value (e.g., Accuracy, AUC, F1-score, PR-AUC, or similar accuracy measures).
  • an additional normalization process may be required to integrate the entire section of the new function created and divide the function.
  • w_A is the weight for chest radiation basic information
  • D_A is the probability distribution equation of the evaluation value corresponding to chest radiation basic information
  • the w_B is the weight for the basic ECG information
  • D_B is the probability distribution equation of the evaluation value corresponding to the ECG basic information.
  • the integral value corresponds to the integral value for the entire section of w_A * D_A + w_B * D_B.
  • the sampling method can be applied even when the integrated evaluation value is not a parameter of the distribution function equation, that is, even when the evaluation value is a risk value or probability (estimate).
  • Figure 5 is a schematic diagram showing a method of generating integrated information based on the first basic information and second basic information generated in Figure 4 using an artificial intelligence algorithm or expert standards, in an embodiment of the present application.
  • the functional analysis module 20 may generate the one or more integrated information using an artificial intelligence algorithm.
  • Artificial intelligence algorithms may include logistic regression, random forest, gradient boost, ElasticNet, support vector machine, ANN, decision tree, etc. there is. Standardization, normalization, and variable selection corresponding to general preprocessing of input data can be applied to the evaluation values corresponding to the basic information used in this process.
  • each evaluation value corresponding to basic information or a specific subset can undergo a transformation process by passing a non-linear function.
  • a step function can be used. If the probability value for a specific task is below a set standard, the probability can be ignored by converting it to 0. In one example, if the probability of disease occurrence in the task for the left heart failure item is 30%, the value may be ignored and treated as 0.
  • the artificial intelligence algorithms are learned by further including an additional data set, and the additional data set may be first basic information and second basic information acquired by the same person within a specified time frame.
  • the additional data set is a separate data set for training the artificial intelligence algorithm.
  • the functional analysis module 20 may generate integrated information using expert standards.
  • expert standards allow the selection and output of the more appropriate modality result when a specific finding comes from both modalities.
  • information about morphological lesions in chest radiography images is more important, so results can be selected and output based on information generated from chest radiology modality.
  • the second method is to define a new diagnosis by combining different types of basic information. This means that when a combination of different basic information between different modalities or within the same modality appears that meets the criteria predetermined by an expert, the presence or absence of a specific finding or diagnosis or a level of risk is assigned to that combination.
  • the risk score for acute pulmonary embolism may be set to any score in the high range.
  • the analysis result providing module 30 can provide one or more of a single risk value, probability, and distribution equation that are improved compared to those that do not include the one or more integrated information.
  • Pericardial Effusion is 50% on the chest radiograph and 70% on the ECG
  • the functional analysis module takes the average of these and replaces it with the final probability value of Pericardial Effusion of 60% and outputs it.
  • an improved single probability value can be output together.
  • the analysis result providing module 30 can help the user interpret the results by including one or more integrated information. For example, if left ventricular dysfunction (LV dysfunction) > 50% on the electrocardiogram and pulmonary edema (Pulmonary Edema) > 50% on the chest radiograph, the functional analysis module 20 combines the two information based on the above expert standards to determine psychogenic Pulmonary edema can be included in the differential diagnosis or the risk score for cardiogenic pulmonary edema can be set high, and the analysis result provision module 30 can output “pulmonary edema due to left heart failure is suspected.” In this way, when the functional analysis module 20 calculates the average of evaluation values, applies artificial intelligence algorithms, and uses expert standards, not only does it improve the reading results of existing artificial intelligence that generates information from a single modality, but it also improves the reading results of existing artificial intelligence that generates information from a single modality. It can provide new diagnostic information that was previously unknown.
  • Figure 6 shows that, in an embodiment of the present application, after first training the second neural network and fixing the weights, the first neural network and the first neural network are trained using the first modality data and the evaluation value output corresponding to the basic information of the second neural network.
  • a second neural network that generates second basic information for one or more task items from the electrocardiogram modality and one or more numerical vectors extracted through a first encoder from the second basic information and the chest radiology modality. It may include a third neural network that generates integrated information about task items.
  • the first neural network is trained using the chest radiology modality along with the accompanying trial electrocardiogram modality. And even at the time of inference, the first neural network makes inferences using the accompanying ECG modality. However, since only the electrocardiogram modality is used for training of the second neural network, it is not necessary to have chest radiography performed along with it to construct training data for training of the second neural network.
  • the first neural network and the second neural network can be trained independently using only the input data corresponding to their respective modalities. Therefore, in the process of constructing each training data, it is not necessary to have the modality data of chest radiography and electrocardiogram performed together, but the paired modality data of each person performed together is required when training the third neural network. If the first neural network and the third neural network are trained together, the first neural network is trained using chest radiography data with accompanying electrocardiogram modality data. At the time of inference, in all cases, inference is made using the accompanying ECG modality.
  • the first encoder and the second encoder which are the encoder parts of the first neural network and the second neural network, can be trained and managed separately.
  • the third neural network can expand its structure to receive additional information including at least one of the subject's age, gender, main symptom, blood test results, vital signs, and underlying disease.
  • This additional information is information measured close to the time when the chest radiography examination was performed, and the degree of proximity is determined by the purpose of using artificial intelligence, applied patient characteristics, and characteristics of each additional information. For example, if it is an acute disease or the patient's condition is poor, the time range must be close because the patient's condition changes quickly. Also, unlike other information, vital signs change quickly, so the time range must be close.
  • the additional information may be normalized and/or embedded values.
  • the third neural network directly generates integrated information through this process or generates basic information to be used in the previously described methodology for generating various integrated information.
  • the chest radiation modality and the ECG modality are a concurrent execution modality
  • the accompanying execution modality is one in which the chest radiation modality and the ECG modality are performed together within a certain time frame by the same subject.
  • the fourth neural network may further input at least one additional information of the subject's age, gender, main symptom, blood test results, vital signs, and underlying disease.
  • the additional information may be normalized and/or embedded values.
  • the fourth neural network can generate integrated information corresponding to the first basic information and the second basic information based on the numerical vectors output from the first neural network and the second neural network. Additionally, integrated information corresponding to new conditions and diseases that do not correspond to the first basic information and the second basic information can be generated.
  • the functional analysis device includes a first auxiliary task neural network that generates first basic information about a task item related to the chest radiation modality based on a numerical vector extracted from the chest radiation modality; And/or a second auxiliary task neural network that generates second basic information about the task item related to the ECG modality based on the numerical vector extracted from the ECG modality. No additional information is input to the first auxiliary task neural network and the second auxiliary task neural network. The reason for training the auxiliary task neural networks together is to train the first and second neural networks more effectively, and they are not used after training is completed.
  • FIG. 8A is an example in which the analysis result providing module 30 outputs a functional analysis result including related information under the input chest radiography image in an embodiment of the present application
  • FIG. 8B is an example in an embodiment of the present application.
  • This is an example of how the analysis result provision module outputs functional analysis results including related information on top of the morphological lesion observed in the input chest radiography image.
  • the analysis result providing module 30 bundles the functional analysis results including information on the presence and probability of morphological lesions as well as related information (and integrated information) and outputs them as a separate readout. This is an example.
  • the analysis result providing module 30 of the present application outputs information about morphological lesions on the chest radiography image and provides one or more related information (and integrated information) to the corresponding location where the morphological lesion is located. Displays functional analysis results, including: Furthermore, by including one or more related information (and integrated information), the analysis result providing module 30 can provide more information about improvements compared to those that do not include the one or more related information. .
  • Figure 9 is an example in which, in an embodiment of the present application, the analysis result providing module provides chest radiology image analysis findings and related information through electrocardiogram analysis.
  • the chest radiology AI findings as basic information are medical information on pulmonary edema, cardiomegaly, coronary artery disease/calcification, and valve disease/calcification, and the related information as accompanying display items is the presence, probability, and prediction of heart failure.
  • Basic information is medical information about lung infectious diseases including pneumonia, pulmonary tuberculosis, and lung abscess, and pneumonia including cirrhosis, infiltration, ground glass, and atelectasis, and related information is shock, respiratory failure, risk of death, presence and probability of heart failure, Predicted ejection fraction results, blood Troponin T/I, ProBNP, pH, Lactate, TCO2, Serum Creatinine, WBC, ESR, Eosinophil, and C-reactive protein results. It may be medical information about
  • Basic information is medical information about pulmonary embolism, and related information may be medical information about right ventricular failure, pulmonary hypertension, blood D-dimer, Troponin I, ProBNP results, echocardiography, and cardiac arrhythmia ultrasound. .
  • Basic information is medical information about pericardial effusion, and related information may be medical information about pericardial effusion, cardiac tamponade, right ventricular failure risk, shock, respiratory failure and death risk, blood CRP, and IGRA tests.
  • the basic information is medical information about ARDS, and the related information may be medical information about vital signs including shock, respiratory failure, risk of death, right ventricular failure, pulmonary hypertension, SpO2, Troponin I, ProBNP, SpO2, and FIO2.
  • Basic information is medical information about emphysema, bronchitis, and interstitial lung disease, and related information is left ventricular failure, right ventricular failure, pulmonary hypertension, blood CRP, Troponin I, ProBNP, and FVC. , FEV1, FEV1/FVC values and interpretation, summary of pulmonary function test results, and raw data and artifacts of pulmonary function tests.
  • the functional analysis method according to another aspect of the present application is performed by a computing device including a processor.
  • the computing device including the processor is, for example, performed by the functional analysis device 1 or some components (e.g., the acquisition module 10, the functional analysis module 20, the analysis result providing module 30), or , or may be performed by another computing device.
  • the functional analysis method is performed by the functional analysis device 1.
  • Figure 10 is a flowchart of a functional analysis method according to an embodiment of the present application.
  • the functional analysis method includes: acquiring information from one or more modalities (e.g., by acquisition module 10) (S10); A functional analysis step (S20) of generating at least one of association information between different modalities or between different basic information within a single modality (for example, by the functional analysis module 20); and providing (for example, by the analysis result providing module 30) a functional analysis result including at least one of one or more related information and integrated information associated with the basic information (S30); may include.
  • the one or more modalities include a chest radiation modality and an electrocardiogram modality, and the different modalities are one or more of a chest radiation modality, an electrocardiogram modality, and a pulmonary function test modality, and the basic information is based on morphological features provided from the chest radiation modality.
  • This information is related to the information, and the related information may be functional abnormality information related to the basic information based on the morphological characteristics.
  • the integrated information is information improved from the basic information and the related information, and relates to the presence or absence of specific findings that could not be provided from the basic information and the related information, and the task of diagnosing or predicting a specific disease, and the integrated information It can be used as basic information and related information for new items.
  • the information regarding the functional abnormality may include one or more of the presence/absence, probability, and severity of the abnormality related to the morphological characteristic.
  • the step (S10) of acquiring information from one or more modalities includes first basic information, which is chest radiation data; Second basic information, which is electrocardiogram data; Obtain additional basic information from at least one of a blood test result, a pulmonary function test result, and a sample test result, and the related information includes functional abnormalities associated between the first basic information, the second basic information, and the additional basic information. It may include information about.
  • the one or more integrated information combines evaluation values for the same item between different basic information, and the evaluation values can be calculated by at least one of a single probability value, a distribution value, and a distribution equation.
  • the step of providing the functional analysis result (S30) includes the one or more related information and integrated information, thereby providing improved risk values, probabilities, and their values compared to those that do not include the one or more related information and integrated information. At least one of the distribution equations can be provided.
  • the step of providing the functional analysis results (S30) outputs at least one of basic information, association information, and integrated information about the morphological lesion observed on the chest radiography image, and takes into account the anatomical location where the morphological lesion is located. At least one of information, related information, and integrated information may be displayed, or a separate reading may be provided.
  • the accuracy of diagnosis can be increased by providing correlation information between different modalities or modalities, such as chest radiography images and electrocardiograms/pulmonary function tests. It can help with diagnosis refinement, treatment selection, and cause determination, and can improve patient safety through extensive evaluation and quick emergency treatment by identifying dangerous findings found in multiple modalities.
  • Operations by the devices according to the embodiments described above may be implemented, at least in part, as a method or computer program that can be implemented by a computer, and may be recorded on a computer-readable recording medium.
  • a program product comprised of a computer-readable medium containing program code, which can be executed by a processor to perform any or all steps, operations, or processes described.
  • the computer may be a computing device, such as a desktop computer, laptop computer, notebook, smart phone, or the like, or any device that may be integrated.
  • a computer is a device that has one or more alternative, special-purpose processors, memory, storage, and networking components (either wireless or wired).
  • the computer may run an operating system such as, for example, Microsoft's Windows-compatible operating system, Apple's OS X or iOS, a Linux distribution, or Google's Android OS.
  • the computer-readable recording medium includes all types of recording devices that store data that can be read by a computer. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, and optical data storage devices. Additionally, computer-readable recording media may be distributed across computer systems connected to a network, and computer-readable codes may be stored and executed in a distributed manner. Additionally, functional programs, codes, and code segments for implementing this embodiment can be easily understood by those skilled in the art to which this embodiment belongs.
  • diagnosis is made by providing related information and integrated information between different modalities or within one modality, such as chest radiography images and electrocardiograms/pulmonary function tests. Accuracy can be increased. It can help with diagnosis segmentation, treatment selection, and cause determination. In particular, by confirming disease findings in multiple modalities, medical staff can provide emergency treatment with greater confidence in the diagnosis, thereby improving patient safety.
  • pulmonary edema when pulmonary edema is diagnosed on a chest radiograph and a functional abnormality such as left heart failure is diagnosed on an electrocardiogram, it is possible to help determine the cause of pulmonary edema due to left heart failure. Additionally, if pulmonary edema is diagnosed on a chest radiograph and a myocardial infarction is diagnosed on an electrocardiogram, it can ultimately help determine the cause of pulmonary edema due to myocardial infarction.
  • diuretics may be prescribed to help select prompt treatment.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Cardiology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

실시예들은 기능적 분석 장치로서, 하나 이상의 모달리티로부터 정보를 획득하는 획득 모듈; 서로 다른 모달리티 사이 또는 단일 모달리티 내의 서로 다른 기본정보 사이의 연관정보를 생성하는 기능적 분석 모듈; 및 상기 기본정보와 연관된 하나 이상의 연관정보 및 통합정보 중 적어도 하나를 포함하는 기능적 분석 결과를 제공하는 분석 결과 제공 모듈;을 포함한다. 서로 다른 모달리티(modality) 또는 모달리티(modality) 간에 연관정보 및 통합정보를 제공함으로써 진단에 대한 정확도를 증가시킬 수 있고, 진단 세분화 및 처치 선택, 원인 판단을 도울 수 있으며, 복수의 모달리티에서 발견되는 위험한 소견을 확인하여 광범위하게 평가하고 빠른 응급 처치를 통해 환자 안전 보장을 향상할 수 있다.

Description

기능적 분석 장치 및 방법
본 명세서는 기능적 분석 장치에 관한 것으로서, 흉부 방사선 이미지와 심전도/폐기능 검사 등과 같이 서로 다른 모달리티(modality) 또는 동일한 모달리티(modality) 간에 연관정보 및 통합정보를 제공함으로써 흉부 방사선 이미지의 해석 결과를 보조한다.
관련 출원에 대한 상호 참조
본 출원은 2022년 6월 7일자로 출원된 대한민국 특허출원 제10-2022-0069096호, 2023년 6월 16일자로 출원된 대한민국 특허출원 제10-2022-0073710호 및 2023년 4월 18일자로 출원된 대한민국 특허출원 제10-2023-0050792호 에 대한 우선권을 주장하며, 그 출원 내용 전체가 본 출원에 참조로서 통합된다.
흉부 방사선 이미지(chest X-ray)는 의학 역사상 가장 많이 찍힌 영상으로 저렴하면서도 흉곽 구조물에 대한 정보를 쉽게 얻을 수 있다. 심장 또는 폐에 생기는 변화들이 흉부 방사선 이미지에 많이 반영이 되기 때문에, 형태적인 여러가지 정보를 줄 수 있다. 그러나, 흉부 방사선 이미지 촬영 시 형태적인 정보만을 얻을 수 있기 때문에 흉부 방사선 이미지 분석 알고리즘의 성능 및 해석의 제약이 있다.
상기의 문제점을 해결하기 위하여 흉부 방사선 이미지의 해석 결과를 보조하기 위하여, 심전도 (Electrocardiography, ECG)를 이용할 수 있다.
심전도는 심장의 박동에 따라 심근에서 발생하는 활동 전류의 기록이다. 심전도는 매우 간편한 검사이고 결과를 바로 확인할 수 있으며, 지속적으로 환자를 감시할 때에도 유용하게 사용된다.
최근 심장의 기능적 평가가 심전도로 가능함이 보고되고 있다. 이러한 기능적 정보들은 흉부방사선 영상 분석결과와 함께 제공되어 더욱 정확한 평가를 가능하게 하고, 흉부방사선 기반 인공지능 개발 시 기능적 라벨로 활용될 수 있다.
일 예에서, 폐에 물이 차는 폐부종과 폐에 염증이 생긴 폐렴을 구분해야 하는 경우 흉부 방사선 이미지뿐만 아니라 심전도를 이용함으로써 질병 판정에 있어서 정확도를 향상시킬 수 있다.
일 예에서, 폐에 혈전이 생기는 폐색전증과 관련한 진단을 해야할 경우 심전도를 이용하여 우심실 기능 등이 저하된 것을 함께 분석한다면 질병 판정에 있어서 정확도를 더욱 향상시킬 수 있다. 그 외에도 심장눌림증이나 ARDS 질병 판정에 있어서도 흉부 방사선 이미지뿐만 아니라 심전도를 이용함으로써 질병에 대한 인과관계, 치료 결정에 필요한 정보를 더 제공할 수 있다.
일 예에서, 심전도를 이용한 기능적 분석 결과를 흉부방사선 인공지능의 훈련 레이블(Label)로 활용하여 흉부방사선만으로 기능적 평가 결과를 예측하게 만들 수 있다.
본 출원의 실시예들에서는, 하나 이상의 모달리티로부터 정보를 획득하는 획득 모듈; 서로 다른 모달리티 사이 또는 단일 모달리티 내의 서로 다른 기본정보 사이의 연관정보 중 적어도 하나를 생성하는 기능적 분석 모듈; 및 상기 기본정보와 연관된 하나 이상의 연관정보 및 통합정보 중 적어도 하나를 포함하는 기능적 분석 결과를 제공하는 분석 결과 제공 모듈;를 포함하는 것을 특징으로 하는 기능적 분석 장치를 제공한다.
일 예에서, 상기 하나 이상의 모달리티는 흉부 방사선 모달리티 및 심전도 모달리티를 포함하고, 상기 서로 다른 모달리티는 흉부 방사선 모달리티; 및 심전도 모달리티 및 폐기능 검사 모달리티 중 하나 이상; 이며, 상기 기본정보는 흉부 방사선 모달리티로부터 제공되는 형태적 특징에 관한 정보이고, 상기 연관정보는 상기 형태적 특징에 기반한 기본정보에 연관된 기능 이상 정보일 수 있다.
일 예에서, 상기 통합정보는 상기 기본정보 및 상기 연관정보로부터 개선된 정보로서, 상기 기본정보 및 상기 연관정보로부터 제공될 수 없었던 특정 소견의 유무, 특정 질환을 진단 또는 예측하는 태스크에 관한 것이고, 상기 통합정보는 새로운 항목의 기본정보 및 연관정보로서 활용될 수 있다.
일 예에서, 상기 기능 이상에 관한 정보는 상기 형태적 특징에 연관된 이상 유무, 확률, 심각도 중 하나 이상을 포함할 수 있다.
일 예에서, 상기 기본정보는 폐부종, 심비대, 관상동맥 질환/석회화(calcification), 판막 질환/석회화에 대한 의료 정보이고, 연관정보는 심부전 유무 및 확률, 예측된 박출률(Ejection Fraction), 심장 밸브 이상, ST분절 상승 심근경색(STEMI)을 포함하는 심근경색, 급성 관상동맥증후군 및 심근 병증 확률, 혈액의 트로포닌(Troponin), ProBNP, pH, Lactate, TCO2, Serum Creatinine, C-reactive protein(C-반응성 단백질) 결과, 심초음파 검사 요약에 대한 의료 정보일 수 있다.
일 예에서, 상기 기본정보는 폐렴, 폐결핵, 폐농양을 포함하는 폐 감염질환 및 경화, 침윤, 간유리, 무기폐를 포함하는 폐렴에 대한 의료 정보이고, 연관정보는 쇽, 호흡부전, 사망 위험도, 심부전 유무 및 확률, 예측된 박출률(Ejection Fraction) 결과, 혈액의 Troponin T/I, ProBNP, pH, Lactate, TCO2, Serum Creatinine, WBC, ESR, Eosinophil, C-reactive protein(C-반응성 단백질) 결과에 대한 의료 정보일 수 있다.
일 예에서, 상기 기본정보는 폐색전증에 대한 의료 정보이고, 연관정보는 우심실부전, 폐동맥고혈압, 혈액의 디다이머(D-dimer), Troponin I, ProBNP 결과 및 심초음파 검사, 심부정맥 초음파 검사에 대한 의료 정보일 수 있다.
일 예에서, 상기 기본정보는 심낭삼출에 대한 의료 정보이고, 연관정보는 심낭삼출, 심장탐폰, 우심실부전 위험도, 쇽, 호흡부전 및 사망 위험도, 혈액 CRP, IGRA 검사에 대한 의료 정보일 수 있다.
일 예에서, 상기 기본정보는 ARDS에 대한 의료 정보이고, 연관정보는 쇽, 호흡부전, 사망 위험도, 우심실부전, 폐동맥고혈압, SpO2, 트로포닌 I(Troponin I), ProBNP, SpO2 및 FIO2를 포함하는 생체징후에 대한 의료 정보일 수 있다.
일 예에서, 상기 기본정보는 폐기종(Emphysema), 기관지염(Bronchitis), 간질성 폐질환(Interstitial Lung Disease)에 대한 의료 의료 정보이고, 연관정보는 좌심실부전, 우심실부전, 폐동맥 고혈압, 혈액의 CRP, 트로포닌 I(Troponin I), ProBNP, FVC, FEV1, FEV1/FVC 수치 및 해석, 폐기능 검사 판독문 요약 및 폐기능 검사의 원자료 및 가공물 중 적어도 하나 이상에 대한 의료 정보일 수 있다.
일 예에서, 상기 획득 모듈은 흉부 방사선 데이터인 제1 기본정보; 심전도 데이터인 제 2 기본정보; 혈액 검사 결과, 폐기능 검사 결과 및 검체 검사 결과 중 적어도 하나 이상으로부터의 추가 기본정보;를 획득하고, 상기 연관정보는 상기 제1 기본정보, 제2 기본정보 및 상기 추가 기본정보 사이의 연관된 기능 이상에 관한 정보를 포함할 수 있다.
일 예에서, 상기 흉부 방사선 데이터는 흉부 방사선 이미지 데이터이고, 상기 심전도 데이터는 심전도 이미지 데이터 또는 시계열 데이터이고, 상기 혈액 검사 결과 데이터는 텍스트, 수치 및 이미지에서 선택되는 하나 이상이고, 상기 폐기능 검사 결과 데이터는 시계열 데이터, 이미지 데이터, 텍스트 데이터 및 수치 데이터에서 선택되는 하나 이상이고, 상기 검체 검사 결과 데이터는 텍스트 또는 수치 중 하나 이상의 데이터일 수 있다.
일 예에서, 상기 흉부 방사선 이미지 데이터는 흉부 방사선 디지털 이미지의 원본, 상기 원본의 변환 이미지, 촬영 이미지 데이터 또는 화면 캡처 이미지 데이터, 상기 흉부 방사선 디지털 이미지에 대한 전문가의 소견을 글로 옮긴 후 스캔한 이미지이고, 상기 시계열 데이터는 파동 형태 신호의 시계열 데이터 또는 이를 이차원 평면에 도시한 이미지이고, 상기 심전도 이미지 데이터는 촬영 이미지 데이터, 화면 캡쳐 이미지 데이터, 또는 전자의무기록시스템으로부터 획득된 이미지 데이터이고, 상기 혈액 검사 결과 데이터는 사용자 입력 데이터, 전자의무기록시스템으로부터 획득된 데이터, 또는 검사 결과지의 OCR(인공지능 문서 인식) 데이터이고, 상기 폐기능 검사 결과 데이터는 FVL(Flow-Volume Loop) 또는 DLCO(Diffusing capacity of the lung for CO) 커브 의 원본 시계열 데이터 또는 이를 2차원 평면에 도표로 시각화한 데이터 및 이를 촬영한 이미지 데이터 또는 폐기능 검사 결과 판독문, 이를 촬영한 이미지의 OCR 처리 데이터일 수 있다.
일 예에서, 상기 하나 이상의 통합정보는, 서로 다른 기본정보 사이에서 같은 항목에 대한 평가수치를 결합하는 것이고, 상기 평가수치는 단일 확률 값, 분포 수치 및 분포 식 중 적어도 하나로 산출될 수 있다.
일 예에서, 상기 분석 결과 제공 모듈은 상기 하나 이상의 연관정보 및 통합정보를 포함하는 것에 의하여, 상기 하나 이상의 연관정보 및 통합정보를 포함하지 않는 것과 대비하여 개선된 위험도 수치, 확률 및 이들의 분포식 중 적어도 하나 이상을 제공할 수 있다.
일 예에서, 상기 분석 결과 제공 모듈은 흉부 방사선 이미지 상에서 관찰되는 형태적 병변에 대한 기본정보, 연관정보 및 통합정보 중 적어도 하나를 출력하고, 형태적 병변이 있는 해당 해부학 위치를 고려하여 기본정보, 연관정보 및 통합정보 중 적어도 하나를 표시하거나, 별도의 판독문을 제공할 수 있다.
일 예에서, 상기 제1 기본정보는 흉부 방사선 모달리티로부터 의심되거나 진단될 수 있는 소견 및 질환에 관한 것으로서, 경화(Consolidation), 침윤(Infiltration), 간유리혼탁(Ground Glass Opacification), 성인호흡부전증(ARDS), 폐렴(Pneumonia), 농양(Abscess), 흡인성 폐렴(Aspiration Pneumonia), 비정형폐렴(Atypical Pneumonia), 활동성 결핵(Active Tuberculosis), 비결핵 항산균(Non-Tuberculous Mycobacteria), 만성폐쇄성폐질환(COPD), 간질성 폐질환(Interstitial Lung Disease), 기관지 확장증(Bronchiectasis), 사르코이드증(Sarcoidosis), 폐결절(Lung Nodule), 폐 종괴(Lung Mass), 폐암(Lung Cancer), 폐전이(Lung Metastasis), 대동맥 박리(Aortic Dissection), 대동맥류(Aortic Aneurysm), 흉수(Pleural Effusion), 농흉(Empyema), 기흉(Pneumothorax), 기복증(Pneumoperitoneum), 심막기종(Pneumopericardium), 기종격(Pneumomediastinum), 피하 기종(Subcutaneous Emphysema), 관상동맥석회화(Coronary Artery Calcification), 심장 비대(Cardiomegaly), 폐부종(Pulmonary Edema), 심낭삼출(Pericardial Effusion), 폐색전증(Pulmonary Embolism), 챔버(Chamber)(LA, LV, RA, RV) 비대증(Enlargements), 판막(Valvular):대동맥(Aortic), 이첨판(Mitral), 삼첨판(Tricuspid), 폐동맥(Pulmonic) 판막석회화(Valve Calcification)/협착(Stenosis)/역류(Regur-gitation), 비대심근증(Hypertrophic Cardiomyopathy) 중 적어도 하나 이상을 포함할 수 있다.
일 예에서, 상기 제2 기본정보는 심전도 모달리티로부터 심장리듬, 각종 응급질환, 각종 심기능 이상의 위험도를 반영하는 수치정보로서, 심방세동(Atrial Fibrillation), 좌심실부전(LV dysfunction), 우심실부전(RV dysfunction), 폐고혈압(Pulmonary Hypertension), 심낭삼출(Pericardial Effusion), 급성 관상동맥증후군(Acute Coronary Syndrome), 심근경색증(Myocardial Infarction), 폐부종(Pulmonary Edema), 챔버(Chamber):LA, LV, RA, RV, 비대증(Enlargements), 판막(Valvular): 대동맥(Aortic), 이첨판(Mitral), 삼첨판(Tricuspid), 폐동맥(Pulmonic) 판막협착증(Valve Stenosis)/역류(Regurgitation), 비후성 심근증(Hypertrophic Cardiomyopathy), 좌심실 박출계수(Left Ventricular Ejection Fraction, LVEF), 전반적 종축 변형률(Global Longitudinal Strain, GLS), 호흡부전(Respiratory Failure), 쇽(Shock), 심장마비(Cardiac Arrest) 중 적어도 하나 이상을 포함할 수 있다.
본 출원의 다른 예시적인 실시예들에서는, 제1 단일 모달리티로부터 추출된 수치 벡터인 주 입력 데이터에 기초하여 하나 이상의 태스크 항목에 대한 제1 기본정보를 생성하는 제1 신경망; 을 포함하고, 제2 단일 모달리티부터 추출된 수치 벡터인 주 입력 데이터에 기초하여 하나 이상의 태스크 항목에 대한 제2 기본정보를 생성하는 제2 신경망; 을 더 포함하고, 상기 기능적 분석 모듈은 제1 기본정보 및 제2 기본정보와 연관된 하나 이상의 연관정보 및 통합정보를 생성하는 것을 특징으로 하는 기능적 분석 장치를 제공할 수 있다.
일 예에서, 상기 제1 신경망은 데이터 입력단 측에 위치하여 제1 단일 모달리티의 특징 정보를 포함하는 수치 벡터를 출력하는 제1 인코더부; 및 제1 인코더부에서 출력된 수치 벡터를 입력으로 하여 하나 이상의 태스크 항목에 대한 제1 기본정보를 생성하는 제1 태스크부;를 포함하고, 상기 제2 신경망은 데이터 입력단 측에 위치하여 제2 단일 모달리티의 특징 정보를 포함하는 수치 벡터를 출력하는 제2 인코더부; 및 제2 인코더부에서 출력된 수치 벡터를 입력으로 하여 하나 이상의 태스크 항목에 대한 제2 기본정보를 생성하는 제2 태스크부;를 포함할 수 있다.
일 예에서, 상기 제1 태스크부 및 제2 태스크부 중 적어도 하나 이상에는 피험자의 나이, 성별, 주증상, 혈액검사 결과, 생체징후 및 기저질환 중 적어도 하나 이상인 부가 정보가 제1 인코더부 또는 제2인코더부가 출력한 수치벡터 외에더 입력되는 추가 신경망을 더 포함하고, 상기 추가 신경망은 제1 기본정보와 관련된 부가 태스크 정보 또는 제2 기본정보와 관련된 부가 태스크 정보를 생성하고, 상기 제1 기본정보와 관련된 부가 태스크 정보는 대상의 나이, 성별, 해부학적 특징, 제1기본정보에 포함되지 않은 병적 특징, 촬영 환경, 촬영 방식, 이미지 전처리 방법에 관한 정보를 포함하고, 상기 제2 기본정보와 관련된 부가 태스크 정보는 대상의 나이, 성별, 키, 몸무게, 맥박수, 심전도 구간 지속 시간 및 P파, QRS파, T파를 포함하는 전기축에 관한 정보를 포함할 수 있다.
일 예에서, 상기 제1 태스크부, 제2 태스크부 및 추가 신경망 중 적어도 하나는, 하나 이상의 공통 레이어; 및 상기 공통 레이어의 출력 벡터가 입력되는 하나 이상의 태스크 특이적 레이어를 포함할 수 있다.
일 예에서, 상기 기능적 분석 모듈은, 상기 제1 기본정보 및 제2 기본정보로부터 회귀 분석, 기계 학습, 또는 설정된 기준 중에서 선택되는 하나 이상에 의하여 상기 하나 이상의 연관정보를 생성할 수 있다.
일 예에서, 상기 기계 학습은 추가적인 데이터 셋을 더 포함하여 학습되고, 상기 추가적인 데이터 셋은 정해진 타임 프레임 내에 동일인에 의하여 획득된 제1 기본정보 및 제2 기본정보일 수 있다.
일 예에서, 상기 기능적 분석 모듈이 생성한 연관정보 및 통합정보를 훈련 레이블로 활용하여 제1 단일 모달리티에 상기 훈련 레이블을 전부 또는 일부에 할당하고, 할당된 제1 단일 모달리티를 훈련 데이터로 이용하여 제1 신경망을 훈련시킬 수 있다.
본 출원의 다른 예시적인 실시예들에서는, 제1 단일 모달리티로부터 추출된 수치 벡터인 주 입력 데이터에 기초하여 하나 이상의 태스크 항목에 대한 제1 기본정보를 생성하는 제1 신경망; 및 상기 제1 기본정보 및 제2 단일 모달리티로부터 추출된 수치 벡터에 기초하여 하나 이상의 태스크 항목에 대한 연관정보를 생성하는 제3 신경망; 을 포함하는 것이고, 상기 제2 단일 모달리티에는, 동반 시행 제1 단일 모달리티 - 해당 제2 단일 모달리티 검사가 수행된 혈액검사자를 대상으로 정해진 타임 프레임 내에 시행된 제1 단일 모달리티를 동반 시행 제1 단일 모달리티라고 함 -가 존재하는 것을 특징으로 하는 기능적 분석 장치를 제공할 수 있다.
일 예에서, 상기 제3 신경망에는 피험자의 나이, 성별, 주증상, 혈액검사 결과, 생체징후 및 기저질환 중 적어도 하나 이상인 부가 정보가 더 입력될 수 있다.
본 출원의 다른 예시적인 실시예들에서는, 제1 단일 모달리티로부터 추출된 수치 벡터 및 제2 단일 모달리티로부터 추출된 수치 벡터에 기초하여 제1 단일 모달리티와 관련된 태스크 항목 및 제2 단일 모달리티와 관련된 태스크 항목에 대한 연관정보를 생성하는 제4 신경망을 포함하는 것이고, 상기 제1 단일 모달리티 및 상기 제2 단일 모달리티는 동반 시행 모달리티인 것 - 동일 대상자에 의하여 일정한 타임 프레임 내에 제1 단일 모달리티와 제2 단일 모달리티가 함께 수행된 것 - 을 특징으로 하는 기능적 분석 장치를 제공할 수 있다.
일 예에서, 상기 제4 신경망은 피험자의 나이, 성별, 주증상, 혈액검사 결과, 생체징후 및 기저질환 중 적어도 하나 이상을 더 입력으로 할 수 있다.
일 예에서, 상기 장치는 제1 단일 모달리티로부터 추출된 수치 벡터에 기초하여 제1 단일 모달리티와 관련된 태스크 항목에 대한 제1 기본정보를 생성하는 제1 보조 태스크 신경망; 및/또는 제2 단일 모달리티로부터 추출된 수치 벡터에 기초하여 제2 단일 모달리티와 관련된 태스크 항목에 대한 제2 기본정보를 생성하는 제2 보조 태스크 신경망; 을 더 포함할 수 있다.
본 출원의 다른 예시적인 실시예들에서는, 프로세서에 의하여 수행되는 기능적 분석 방법으로서, 하나 이상의 모달리티로부터 정보를 획득하는 단계; 서로 다른 모달리티 사이 또는 단일 모달리티 내의 서로 다른 기본정보 사이의 연관정보 중 적어도 하나를 생성하는 기능적 분석 단계; 및 상기 기본정보와 연관된 하나 이상의 연관정보 및 통합정보 중 적어도 하나를 포함하는 기능적 분석 결과를 제공하는 단계;를 포함하는 것을 특징으로 하는 기능적 분석 방법을 제공할 수 있다.
일 예에서, 상기 하나 이상의 모달리티는 흉부 방사선 모달리티 및 심전도 모달리티를 포함하고, 상기 서로 다른 모달리티는 흉부 방사선 모달리티; 및 심전도 모달리티 및 폐기능 검사 모달리티 중 하나 이상; 이며, 상기 기본정보는 흉부 방사선 모달리티로부터 제공되는 형태적 특징에 관한 정보이고, 상기 연관정보는 상기 형태적 특징에 기반한 기본정보에 연관된 기능 이상 정보일 수 있다.
일 예에서, 상기 통합정보는 상기 기본정보 및 상기 연관정보로부터 개선된 정보로서, 상기 기본정보 및 상기 연관정보로부터 제공될 수 없었던 특정 소견의 유무, 특정 질환을 진단 또는 예측하는 태스크에 관한 것이고, 상기 통합정보는 새로운 항목의 기본정보 및 연관정보로서 활용될 수 있다.
일 예에서, 상기 기능 이상에 관한 정보는 상기 형태적 특징에 연관된 이상 유무, 확률, 심각도 중 하나 이상을 포함할 수 있다.
일 예에서, 하나 이상의 모달리티로부터 정보를 획득하는 단계는 흉부 방사선 데이터인 제1 기본정보; 심전도 데이터인 제 2 기본정보; 혈액 검사 결과, 폐기능 검사 결과 및 검체 검사 결과 중 적어도 하나 이상으로부터의 추가 기본정보;를 획득하고, 상기 연관정보는 상기 제1 기본정보, 제2 기본정보 및 상기 추가 기본정보 사이의 연관된 기능 이상에 관한 정보를 포함할 수 있다.
일 예에서, 상기 하나 이상의 통합정보는, 서로 다른 기본정보 사이에서 같은 항목에 대한 평가수치를 결합하는 것이고, 상기 평가수치는 단일 확률 값, 분포 수치 및 분포 식 중 적어도 하나로 산출될 수 있다.
일 예에서, 상기 기능적 분석 결과를 제공하는 단계는 상기 하나 이상의 연관정보 및 통합정보를 포함하는 것에 의하여, 상기 하나 이상의 연관정보 및 통합정보를 포함하지 않는 것과 대비하여 개선된 위험도 수치, 확률 및 이들의 분포식 중 적어도 하나 이상을 제공할 수 있다.
일 예에서, 상기 기능적 분석 결과를 제공하는 단계는 흉부 방사선 이미지 상에서 관찰되는 형태적 병변에 대한 기본정보, 연관정보 및 통합정보 중 적어도 하나를 출력하고, 형태적 병변이 있는 해당 해부학 위치를 고려하여 기본정보, 연관정보 및 통합정보 중 적어도 하나를 표시하거나, 별도의 판독문을 제공할 수 있다.
본 출원의 다른 예시적인 실시예들에서는, 컴퓨터에 의해 판독 가능하고, 상기 컴퓨터에 의해 동작 가능한 프로그램 명령어를 저장하는 컴퓨터 판독가능한 기록매체로서, 상기 프로그램 명령어가 상기 컴퓨터의 프로세서에 의해 실행되는 경우 상기 프로세서가 기능적 분석 방법을 수행하게 하는 컴퓨터 판독가능 기록매체를 제공한다.
일 측면에서, 본 출원의 실시예들에 따르면, 흉부 방사선 이미지와 심전도/폐기능 검사 등과 같이 서로 다른 모달리티(modality) 사이에서 또는 하나의 모달리티(modality) 내에서 연관정보 및 통합정보를 제공함으로써 진단에 대한 정확도를 증가시킬 수 있다. 진단 세분화 및 처치 선택, 원인 판단을 도울 수 있으며, 특히 복수의 모달리티에서 질병 소견을 확인함으로써 의료진이 진단에 대한 더 높은 확신을 갖고 응급 처치를 할 수 있어 환자 안전을 향상시킬 수 있다.
일 예에서, 흉부 방사선 이미지에서 폐부종이 진단되고, 심전도에서 좌심부전과 같은 기능 이상이 있는 것으로 진단되는 경우, 최종적으로 좌심부전에 의한 폐부종으로서 원인 판단을 도울 수 있다. 추가적으로, 흉부 방사선 이미지에서 폐부종이 진단되고, 심전도에서 심근경색이 있는 것으로 진단되는 경우, 최종적으로 심근경색에 의한 폐부종으로서 원인 판단을 도울 수 있다.
일 예에서, 흉부 방사선 이미지에서 폐부종이 진단되고, 심전도에서 심부전과 같은 기능 이상이 있는 것으로 진단되는 경우, 이뇨제를 처방하여 신속한 처치 선택에 도움을 줄 수 있다.
본 출원의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
본 출원의 예시적인 실시예들을 보다 명확하게 설명하기 위해, 실시예에 대한 설명에서 필요한 도면이 아래에서 간단히 소개된다. 아래의 도면들은 본 명세서의 실시예를 설명하기 목적일 뿐 한정의 목적이 아니라는 것으로 이해되어야 한다. 또한, 설명의 명료성을 위해 아래의 도면들에서 과장, 생략 등 다양한 변형이 적용된 일부 요소들이 도시될 수 있다.
도 1은, 본 출원의 일 측면에 따른, 기능적 분석 장치 구성을 나타내는 개략도이다.
도 2a는, 본 출원의 일 실시예에서, 기능적 분석 장치의 흉부 방사선 모달리티를 입력으로 하여 제1 기본정보를 생성하는 인공 신경망 구조를 나타내는 개략도이고, 도 2b는 심전도 모달리티를 입력으로 하여 제2 기본정보를 생성하는 인공 신경망 구조를 나타내는 개략도이다.
도 3a는, 본 출원의 일 실시예에서, 도 2a 및 도 2b의 제1 신경망 및 제2 신경망의 구조를 나타내는 개략도이고, 도 3b는 도 2a 및 도 2b의 추가 신경망의 구조를 나타내는 개략도이다.
도 4는, 본 출원의 일 실시예에서, 흉부 방사선 모달리티를 입력으로 하여 제1 기본정보를 생성하는 제1 신경망 및 심전도 모달리티를 입력으로 하여 제2 기본정보를 생성하는 제2 신경망을 독립적으로 훈련시키는 과정을 나타내는 개략도이다.
도 5는, 본 출원의 일 실시예에서, 도 4에서 생성된 제1 기본정보 및 제2 기본정보를 입력 받아 통합정보를 생성하는 과정을 나타내는 개략도이다.
도 6은, 본 출원의 일 실시예에서, 제2 신경망을 먼저 훈련시키고 신경망 내 파라미터 가중치를 고정시킨 후, 제1 단일 모달리티 입력과 제2 신경망 출력을 이용해 제1 신경망과 제3 신경망을 훈련시켜 새로운 통합입력에 대한 통합정보를 생성하는 과정을 나타내는 개략도이다.
도 7은, 본 출원의 일 실시예에서, 복수의 동일 대상자에 의하여 수행된 제1 단일 모달리티 및 제2 단일 모달리티 데이터 셋을 이용하여 제1 신경망, 제2 신경망, 제4 신경망을 훈련시켜 새로운 통합입력에 대한 통합정보를 생성하는 과정을 나타내는 개략도이다.
도 8a은 본 출원의 일 실시예에서, 분석 결과 제공 모듈이 연관정보를 포함하는 기능적 분석 결과를 별도의 판독문으로 출력하는 예이고, 도 8b는 본 출원의 일 실시예에서, 분석 결과 제공 모듈이 연관정보를 포함하는 기능적 분석 결과를 입력된 흉부 방사선 이미지의 형태적 병변 위에 출력하는 방식을 나타내는 예이다.
도 9는, 본 출원의 일 실시예에서, 분석 결과 제공 모듈이 흉부 방사선 이미지 분석 소견과 심전도 분석을 통한 연관정보를 함께 제공하는 예이다.
도 10은, 본 출원의 일 실시예에서, 기능적 분석 방법의 흐름도이다.
이하, 본 출원의 일부 실시예들을 예시적인 도면을 참조하여 상세하게 설명한다. 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가질 수 있다. 또한, 본 실시예들을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명 이 본 기술 사상의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다.
용어 정의
본 명세서 상에서 언급된 "포함한다", "갖는다", "이루어진다" 등이 사용되는 경우 "~만"이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성 요소를 단수로 표현한 경우에 특별한 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함할 수 있다.
또한, 본 출원의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 달리 명시하지 않는 한, 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질, 차례, 순서 또는 개수 등이 한정되지 않는다.
본 명세서에서 '학습' 혹은 '러닝'은 절차에 따른 컴퓨팅(computing)을 통하여 기계 학습(machine learning)을 수행함을 지칭하는 용어이다.
본 명세서에서 "부(unit)", "모듈(module)""장치", 또는 "시스템" 등의 용어는 하드웨어뿐만 아니라 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭할 수 있는 것으로 의도된다. 예를 들어, 하드웨어는 CPU(Central Processing Unit), GPU(Graphic Processing Unit) 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.
본 명세서에서 모달리티란 예컨대 심전도를 포함하는 파동 형태 (waveform) 신호의 시계열 데이터 또는 이를 이차원 평면에 도시한 이미지, 흉부 방사선 이미지 또는 흉부 방사선 이미지에 대한 전문가의 소견들을 글로 옮긴 후 스캔한 이미지, 혈액 검사 결과와 관련된 텍스트, 수치 및 이미지, 폐기능 검사 시 계측하는 유속, 유량, 압력, 부피와 관련된 시계열 혹은 단일 측정 데이터 및 이를 시각화 하는 도표, 수치 데이터 또는 검사 결과와 관련된 텍스트를 의미할 수 있다.
본 명세서에서 기본정보는 흉부 방사선 모달리티로부터 제공되는 형태적 특징에 관한 정보이고, 연관정보는 상기 형태적 특징에 기반한 기본정보에 연관된 기능 이상 정보일 수 있다. 다른 예에서, 제1 기본정보는 흉부방사선을 이용해 의심하거나 진단할 수 있는 모든 소견 및 질환에 관한 것이고, 제2 기본정보는 심전도를 이용해 심장리듬, 각종 응급질환, 각종 심기능 이상의 위험도를 반영하는 수치 정보일 수 있다.
일 예에서, 통합정보는 상기 기본정보 및 상기 연관정보로부터 개선된 정보로서, 상기 기본정보 및 상기 연관정보로부터 제공될 수 없었던 특정 소견의 유무, 특정 질환을 진단 또는 예측하는 태스크에 관한 것이고, 상기 통합정보는 새로운 항목의 기본정보 및 연관정보로서 활용될 수 있다.
본 명세서에서 신경망은 기계 학습 알고리즘 또는 네트워크를 지칭한다. 제1 신경망은 흉부 방사선 모달리티로부터 제공되는 형태적 특징과 관련된 수치 벡터 또는 제1 기본정보를 생성하고, 제2 신경망은 심전도 모달리티로부터 제공되는 수치 벡터 또는 제2 기본정보를 생성하고, 경우에 따라 각 신경망은 세부적인 구조가 달라질 수 있다. 상기 제1신경망과 제2신경망의 데이터 입력단 측에 위치한 특정 신경망 구조를 별도로 구분하여 각각 제1인코더부, 제2인코더부라고 명시할 수 있다. 상기 제1신경망과 제2신경망의 출력단 측에 위치한 특정 신경망 구조를 별도로 구분하여 각각 제1태스크부, 제2태스크부라고 명시할 수 있다. 각각의 인코더부는 각 신경망의 일 부분에 해당하지만, 태스크부와 분리하여 훈련 및 관리할 수 있으며, 각 인코더부는 입력 데이터의 특징 정보를 제공하는 수치 벡터를 출력한다.
일 예에서, 제1 기본정보를 생성하는 주 태스크 외에도 제1 기본정보와 관련된 부가 태스크 정보를 생성할 수 있는데, 부가 태스크는 제1기본정보에 포함되지 않지만 흉부방사선을 통해 확인할 수 있는 모든 생물학적 및 비생물학적 정보에 해당하며, 제1 기본정보와 관련된 부가 태스크 정보는 대상의 나이, 성별, 해부학적 특징, 병적 특징 (제1기본정보에 포함되지 않은), 촬영 환경, 촬영 방식, 이미지 전처리 방법 등을 포함할 수 있다.
다른 예에서, 제2 신경망 또는 추가 신경망은 주 태스크 외에도 부가 태스크 정보를 생성할 수 있다. 제2 기본정보를 생성하는 주 태스크 외에도 제2 기본정보와 관련된 부가 태스크 정보를 생성할 수 있는데, 부가 태스크는 제2 기본정보에 포함되지 않지만 심전도로 계측할 수 있는 모든 정보에 해당하며, 제2 기본정보와 관련된 부가 태스크 정보는 대상의 나이, 성별, 키, 몸무게, 맥박수, 심전도 구간 지속 시간 (PR-구간, QRS파, QT-구간), 전기축(P파, QRS파, T파)등을 포함할 수 있다.
예시적인 구현예들의 설명
도 1은, 본 출원의 일 측면에 따른, 기능적 분석 장치 구성을 나타내는 개략도이다.
도 1을 참조하면, 기능적 분석 장치(1)는 하나 이상의 모달리티로부터 정보를 획득하는 획득 모듈(10), 서로 다른 모달리티 사이 또는 단일 모달리티 내의 서로 다른 기본정보 사이의 연관정보 및 통합정보를 생성하는 기능적 분석 모듈(20) 및 상기 기본정보와 연관된 하나 이상의 연관정보 및 통합정보를 포함하는 기능적 분석 결과를 제공하는 분석 결과 제공 모듈(30)를 포함할 수 있다.
상기 하나 이상의 모달리티는 흉부 방사선 모달리티 및 심전도 모달리티를 포함하고, 상기 서로 다른 모달리티는 흉부 방사선 모달리티; 및 심전도 모달리티 및 폐기능 검사 모달리티 중 하나 이상이다. 획득 모듈(10)은 흉부 방사선 모달리티, 심전도 모달리티 및 폐기능 검사 모달리티 중 적어도 하나 이상으로부터 정보를 획득할 수 있다.
상기 기본정보는 흉부 방사선 모달리티로부터 제공되는 형태적 특징들을 이용해 특정 영상의학적 소견의 유무를 알려주거나 특정 질환을 진단하거나 예측하는 태스크를 위해 활용되는 위험도 수치나 확률 혹은 이들의 분포를 정의하는 분포함수의 파라미터에 해당하며, 특히 이러한 태스크를 복수로 수행할 경우, 하나 이상의 원소를 갖는 수치 벡터일 수 있다. 상기 태스크들은 이진 분류(Binary Classification), 다중 분류(Multinomial classification), 회귀 중 적어도 하나에 해당할 수 있다.
상기 연관정보는 상기 기능적 분석 모듈(20)에 의하여 상기 형태적 특징에 기반한 기본정보를 이용해 발견된 이상 소견들과 연관된 기능 이상 정보로서 의학적, 통계적, 인과적, 혹은 실무적인 측면의 연관성 유무에 따라 선택된 또 다른 기본정보에 해당한다. 상기 기능 이상에 관한 정보는 형태적 특징에 기반한 기본정보와 연관된 이상의 유무, 확률, 혹은 심각도 중 하나 이상을 포함할 수 있다.
상기 통합정보는, 상기 기능적 분석 모듈(20)에 의하여, 서로 다른 모달리티 또는 동일한 모달리티 내에서 기본정보들을 통합적으로 분석하여 만들어낸 새로운 기본정보로써, 기존 기본정보 및 연관정보를 개선하거나, 새로운 항목의 기본정보 및 연관정보로 활용될 수 있다. 상기 통합정보는 특정 소견의 유무를 알려주거나 특정 질환을 진단하거나 예측하는 태스크를 위해 활용되는 위험도 수치나 확률 혹은 이들의 분포를 정의하는 분포함수의 파라미터 중 적어도 하나로 산출될 수 있다.
상기 분석 결과 제공 모듈(30)은 상기 하나 이상의 연관정보 및 통합정보를 포함하는 것에 의하여, 상기 하나 이상의 연관정보 및 통합정보를 포함하지 않는 것과 대비하여, 사용자가 특정 이상소견을 다방면으로 평가하고 이해할 수 있게 해주며, 사용자에게 개선된 위험도 수치 혹은 확률과 이들의 분포 추정을 제공함으로써 좀더 정확한 정보를 전달할 수 있다.
일 실시예에서, 상기 분석 결과 제공 모듈(30)은 방사선 이미지 상에서 관찰되는 형태적 병변에 대한 기본정보와 이를 개선할 수 있는 통합정보, 그리고 이들과 연관된 연관정보들 중 하나 이상을 함께 출력하며, 이들의 출력 위치는 형태적 병변이 있는 해부학적 위치를 고려하여 표시하여 (예: 병변 위나 근처) 병변에 대한 사용자의 이해도를 높이거나, 방사선 이미지 밖에 판독문으로 별도로 표시하여 사용자의 가독성을 향상시킬 수 있다.
도 2a는, 본 출원의 일 실시예에서, 기능적 분석 장치의 흉부 방사선 모달리티를 입력으로 하여 제1 기본정보를 생성하는 인공 신경망 모델 구조를 나타내는 개략도이고, 도 2b는 심전도 모달리티를 입력으로 하여 제2 기본정보를 생성하는 인공 신경망 모델 구조를 나타내는 개략도이다.
도 2a를 참조하면, 제1 기본정보를 생성하기 위한 인공 신경망 모델은 흉부 방사선 이미지 데이터를 입력으로 할 수 있고, 상기 흉부 방사선 이미지 데이터는 흉부 방사선 디지털 이미지의 원본 및 DICOM 포맷 이미지, 이들을 다른 포맷으로 변환한 변환 이미지, 이들을 화상으로 출력하여 카메라로 촬영하거나 또는 화면 캡처하여 얻은 이미지 데이터일 수 있다.
입력된 흉부 방사선 이미지 데이터는 MLP, CNN, 트랜스포머 등을 포함하는 제1 신경망의 제1인코더부를 거쳐 수치 벡터로 출력되고, 상기 수치 벡터는 제1 신경망의 제1 태스크부 또는 추가 신경망에 입력될 수 있다. 제1 신경망은 흉부 방사선 이미지 데이터와 관련된 정보만을 입력으로 하고, 추가 신경망은 흉부 방사선 이미지 데이터와 관련된 정보뿐만 아니라 피험자의 나이, 성별, 주증상(CC), 혈액검사 결과 데이터, 폐기능 검사 결과 데이터, 생체징후(VS) 및 기저질환 중 적어도 하나 이상인 부가 정보를 정규화 또는 임베딩한 값을 입력으로 한다. 상기 혈액 검사 결과 데이터는 사용자 입력 데이터, 전자의무기록시스템으로부터 획득된 데이터, 또는 검사 결과지의 OCR (인공지능 문서인식) 데이터일 수 있다. 상기 폐기능 검사 결과 데이터는 FVL (Flow-Volume Loop) 또는 DLCO (Diffusing capacity of the lung for CO) 커브의 원본 시계열 데이터, 이를 2차원 평면에 도표로 시각화한 데이터 및 이것을 촬영한 이미지 데이터, 또는 폐기능 검사 결과 판독문 혹은 이것을 촬영한 이미지의 OCR 처리 데이터일 수 있다.
부가 정보를 입력으로 사용하지 않으면 제1 신경망만 사용해서 훈련 및 추론 학습을 한다. 부가 정보를 입력으로 사용하면 제1 신경망 및 추가 신경망 모두 훈련에 사용하고, 추가 신경망을 추론에 사용한다. 인공 신경망, 제1 신경망, 추가 신경망의 종류, 크기, 구조는 훈련데이터의 특성과 양에 가변적일 수 있다. 일 예에서, 인공 신경망은 CNN 또는 트랜스포머 등의 구조일 수 있고, 제1 신경망 및 추가 신경망은 MLP 구조일 수 있다.
제1 신경망의 인코더부는 제1 모달리티 입력으로부터의 특징 추출을 위해 추가 신경망과 공유되며, 제1신경망의 태스크부는 추가 신경망과 달리 흉부 방사선 이미지 특징만 사용하도록 훈련된 신경망으로서, 부가 정보의 사용 여부에 따라 제1신경망 및 추가 신경망 중 하나를 적절히 선택하여 사용할 수 있다. 제1 신경망 또는 추가 신경망은 다양한 태스크를 수행하도록 훈련하여 풍부한 특징 추출 능력과 일반화 능력을 높이도록 훈련된다.
제1 신경망 또는 추가 신경망은 주 태스크인 제1 기본정보를 생성할 수 있다. 제1 기본정보는 흉부방사선을 이용해 의심하거나 진단할 수 있는 모든 소견 및 질환을 말하며, 경화(Consolidation), 침윤(Infiltration), 간유리혼탁(Ground Glass Opacification), 성인호흡부전증(ARDS), 폐렴(Pneumonia), 농양(Abscess), 흡인성 폐렴(Aspiration Pneumonia), 비정형폐렴(Atypical Pneumonia), 활동성 결핵(Active Tuberculosis), 비결핵 항산균(Non-Tuberculous Mycobacteria), 만성폐쇄성폐질환(COPD), 간질성 폐질환(Interstitial Lung Disease), 기관지 확장증(Bronchiectasis), 사르코이드증(Sarcoidosis), 폐결절(Lung Nodule), 폐 종괴(Lung Mass), 폐암(Lung Cancer), 폐전이(Lung Metastasis), 대동맥 박리(Aortic Dissection), 대동맥류(Aortic Aneurysm), 흉수(Pleural Effusion), 농흉(Empyema), 기흉(Pneumothorax), 기복증(Pneumoperitoneum), 심막기종(Pneumopericardium), 기종격(Pneumomediastinum), 피하 기종(Subcutaneous Emphysema), 관상동맥석회화(Coronary Artery Calcification), 심장 비대(Cardiomegaly), 폐부종(Pulmonary Edema), 심낭삼출(Pericardial Effusion), 폐색전증(Pulmonary Embolism), 챔버(Chamber)(LA, LV, RA, RV) 비대증(Enlargements), 판막(Valvular):대동맥(Aortic), 이첨판(Mitral), 삼첨판(Tricuspid), 폐동맥(Pulmonic) 판막석회화(Valve Calcification)/협착(Stenosis)/역류(Regur-gitation), 비대심근증(Hypertrophic Cardiomyopathy) 중 적어도 하나 이상을 포함할 수 있다. 제1 신경망 또는 추가 신경망은 주 태스크 외에도 제1 기본정보와 관련된 부가 태스크 정보를 생성할 수 있다. 부가 태스크는 제1기본정보에 포함되지 않지만 흉부방사선을 통해 확인할 수 있는 모든 생물학적 및 비생물학적 정보에 해당하며, 일 예에서, 제1 기본정보와 관련된 부가 태스크 정보는 대상의 나이, 성별, 해부학적 특징, 병적 특징 (제1기본정보에 포함되지 않은), 촬영 환경, 촬영 방식, 이미지 전처리 방법 등을 포함할 수 있다.
상기 제1기본정보는 흉부 방사선 모달리티로부터 제공되는 형태적 특징에 기반하고, 특정 영상의학적 소견의 유무를 알려주거나 특정 질환을 진단하거나 예측하는 태스크를 위해 활용되는 위험도 수치나 확률 혹은 이들의 분포를 정의하는 분포함수의 파라미터에 해당하며, 특히 이러한 태스크를 복수로 수행할 경우, 하나 이상의 원소를 갖는 수치 벡터일 수 있다. 상기 태스크들은 이진 분류(Binary Classification), 다중 분류(Multinomial classification), 회귀 중 적어도 하나에 해당할 수 있다.
이진 분류를 이용할 경우, 시그모이드(sigmoid) 함수를 이용해 각 태스크 별로 질병이 발생할 가능성을 0 ~ 1 사이의 확률로 나타낼 수 있다. 다중 분류를 이용할 경우, 소프트맥스(softmax) 함수를 이용해 2개 이상의 경우의 수에 대한 확률분포로 나타낼 수 있다. 회귀 값은 상기와 같은 확률 변환 없이 출력 값을 그대로 활용하는 방식을 채택할 수 있다. 이러한 회귀의 예로 심장 관상동맥 점수(Coronary Calcium score), CT(cardiothoracic) 비율 등이 포함된다.
도 2b를 참조하면, 제2 기본정보를 생성하기 위한 인공 신경망 모델은 심전도 데이터를 입력으로 할 수 있고, 상기 심전도 데이터는 예컨대 파동 형태(waveform)의 시계열 데이터 및 이미지(image) 데이터 중 적어도 하나 이상을 포함할 수 있다. 상기 심전도 이미지 데이터는 심전도 촬영 이미지 데이터, 화면 캡쳐 이미지 데이터, 또는 전자의무기록시스템으로부터 획득된 이미지 데이터일 수 있다. 심전도 데이터는 1차원 단채널 또는 다채널 신호인 심전도 신호와 해당 심전도 신호가 2차원 평면상에 도시된 심전도 이미지 중 적어도 하나 이상을 포함할 수 있다. 일 예시에서, 여기서 상기 신호는 예컨대 C × T(각 입력 리드(채널)의 수 × 각 채널별 측정 값의 수)의 2차원 어레이(array) 형태이고, 상기 이미지는 모든 리드(lead) 채널이 포함된 이미지 혹은 리드 채널 별로 크로핑(cropping)된 리드 채널 별 패치 이미지를 포함하고, 1 이상의 리드 채널의 흑백 이미지, 또는 R(Red), G(Green), B(Blue) 3채널을 갖는 C × W × H(채널수 × 가로 픽셀 수 × 세로 픽셀 수)의 3차원 어레이(array) 형태일 수 있다.
한편, 상기 심전도 데이터에 국한되지 않고 그 외의 환자 유래 정보인 모든 바이오 데이터가 이용될 수 있고, 뇌전도(Electroencephalogram, EEG), 근전도(Electromyogram, EMG), 안전도(Electrooculography, EOG) 등과 같은 다양한 시계열적인 바이오 시그널이 포함될 수 있다. 그 외에 파동, 이미지, 소리, 기타 어떤 형태의 모달리티를 가질 수 있으며, 특정 모달리티에 국한되지 않는다.
입력된 심전도 데이터는 MLP, CNN, RNN, 트랜스포머 등을 포함하는 인공 신경망(제2인코더부)을 거쳐 수치 벡터로 출력되고, 상기 수치 벡터는 제2 신경망(의 태스크부) 또는 추가 신경망에 입력될 수 있다. 제2 신경망은 심전도 데이터와 관련된 정보만을 입력으로 하고, 추가 신경망은 심전도 데이터와 관련된 정보뿐만 아니라 피험자의 나이, 성별, 주증상, 혈액검사 결과 데이터, 폐기능 검사 결과 데이터, 생체징후 및 기저질환 중 적어도 하나 이상인 부가 정보를 정규화 또는 임베딩한 값을 입력으로 한다. 상기 혈액 검사 결과 데이터는 사용자 입력 데이터, 전자의무기록시스템으로부터 획득된 데이터, 또는 검사 결과지의 OCR 처리 데이터일 수 있다. 상기 폐기능 검사 결과 데이터는 FVL 또는 DLCO 커브의 원본 시계열 데이터, 이를 2차원 평면에 도표로 시각화한 데이터 및 이것을 촬영한 이미지 데이터, 또는 폐기능 검사 결과 판독문 혹은 이것을 촬영한 이미지의 OCR 처리 데이터일 수 있다.
부가 정보를 입력으로 사용하지 않으면 제2 신경망만 사용해서 훈련 및 추론 학습을 한다. 부가 정보를 입력으로 사용하면 제2 신경망 및 추가 신경망 모두 훈련에 사용하고, 추가 신경망을 추론에 사용한다. 인공 신경망, 제2 신경망, 추가 신경망의 종류, 크기, 구조는 훈련데이터의 특성과 양에 가변적일 수 있다. 일 예에서, 인공 신경망은 CNN, RNN, 트랜스포머 등의 구조일 수 있고, 제2 신경망 및 추가 신경망은 MLP 구조일 수 있다.
제2 신경망의 인코더부는 제2 모달리티 입력으로부터의 특성 추출을 위해 추가 신경망과 공유되며, 제2신경망의 태스크부는 추가 신경망과 달리 흉부 방사선 이미지 특징만 사용하도록 훈련된 신경망으로서, 부가 정보의 사용 여부에 따라 (제2신경망 및 추가 신경망) 둘 중 하나를 적절히 선택하여 사용할 수 있다. 제2 신경망 또는 추가 신경망은 다양한 태스크를 수행하도록 훈련하여 풍부한 특징 추출 능력과 일반화 능력을 높이도록 훈련된다.
제2 신경망 또는 추가 신경망은 주 태스크인 제2 기본정보를 생성할 수 있다. 제2 기본정보는 심장리듬, 각종 응급질환, 각종 심기능 이상의 위험도를 반영하는 수치 정보로 심방세동(Atrial Fibrillation), 좌심실부전(LV dysfunction), 우심실부전(RV dysfunction), 폐고혈압(Pulmonary Hypertension), 심낭삼출(Pericardial Effusion), 급성 관상동맥증후군(Acute Coronary Syndrome), 심근경색증(Myocardial Infarction), 폐부종(Pulmonary Edema), 챔버(Chamber):LA, LV, RA, RV, 비대증(Enlargements), 판막(Valvular): 대동맥(Aortic), 이첨판(Mitral), 삼첨판(Tricuspid), 폐동맥(Pulmonic) 판막협착증(Valve Stenosis)/역류(Regurgitation), 비후성 심근증(Hypertrophic Cardiomyopathy), 좌심실 박출계수(Left Ventricular Ejection Fraction, LVEF), 전반적 종축 변형률(Global Longitudinal Strain, GLS), 호흡부전(Respiratory Failure), 쇽(Shock), 심장마비(Cardiac Arrest) 중 적어도 하나 이상을 포함할 수 있다. 제2 신경망 또는 추가 신경망은 주 태스크 외에도 부가 태스크 정보를 생성할 수 있다. 부가 태스크는 제2 기본정보에 포함되지 않지만 심전도로 계측할 수 있는 모든 정보에 해당하며, 일 예에서, 제2 기본정보와 관련된 부가 태스크 정보는 대상의 나이, 성별, 키, 몸무게, 맥박수, 심전도 구간 지속 시간 (PR-구간, QRS파, QT-구간), 전기축(P파, QRS파, T파)등을 포함할 수 있다.
상기 제1기본정보는 흉부 방사선 모달리티로부터 제공되는 형태적 특징에 기반하고, 특정 영상의학적 소견의 유무를 알려주거나 특정 질환을 진단하거나 예측하는 태스크를 위해 활용되는 위험도 수치나 확률 혹은 이들의 분포를 정의하는 분포함수의 파라미터에 해당하며, 특히 이러한 태스크를 복수로 수행할 경우, 하나 이상의 원소를 같는 수치 벡터일 수 있다. 상기 태스크들은 이진 분류(Binary Classification), 다중 분류(Multinomial classification), 회귀 중 적어도 하나에 해당할 수 있다.
상기 제2 기본정보는 심전도 모달리티로부터 추출할 수 있는 파형 특징에 기반하고, 특정 심전도 이상 소견을 알려주거나 특정 질환을 진단하거나 예측하는 태스크를 위해 활용되는 위험도 수치나 확률 혹은 이들의 분포를 정의하는 분포함수의 파라미터에 해당하며, 특히 이러한 태스크를 복수로 수행할 경우, 하나 이상의 원소를 갖는 수치 벡터일 수 있다. 상기 태스크들은 이진 분류(Binary Classification), 다중 분류(Multinomial classification), 회귀 중 적어도 하나에 해당할 수 있다.
이진 분류를 이용할 경우, 시그모이드(sigmoid) 함수를 이용해 각 태스크 별로 질병이 발생할 가능성을 0 ~ 1 사이의 확률로 나타낼 수 있다. 다중 분류를 이용할 경우, 소프트맥스(softmax) 함수를 이용해 2개 이상의 경우의 수에 대한 확률분포로 나타낼 수 있다. 회귀 값은 상기와 같은 확률 변환 없이 출력 값을 그대로 활용하는 방식을 채택할 수 있다. 이러한 회귀의 예로 좌심실 구축률 (Left Ventricular Ejection Fraction)등이 포함된다.
도 3a는, 본 출원의 일 실시예에서, 도 2a 및 도 2b의 제1 신경망 및 제2 신경망의 구조를 나타내는 개략도이고, 도 3b는 도 2a 및 도 2b의 추가 신경망의 구조를 나타내는 개략도이다.
도 3a를 참조하면, 상기 제1 신경망 및 제2 신경망의 태스크부는, 각각의 인코더부에서 입력을 받으며, 하나 이상의 공통 레이어; 및 상기 공통 레이어의 출력 벡터가 입력되는 하나 이상의 태스크 특이적 레이어를 포함한다.
도 3b를 참조하면, 추가 신경망은 흉부 방사선 데이터 및 심전도 데이터와 관련된 정보뿐만 아니라 피험자의 나이, 성별, 주증상, 혈액검사 결과 데이터, 폐기능 검사 결과 데이터, 생체징후 및 기저질환 중 적어도 하나 이상인 부가 정보 또한 입력으로 한다. 상기 부가 정보는 정규화 또는 임베딩한 값일 수 있다. 추가 신경망 또한 제1 신경망 및 제2 신경망과 마찬가지로 하나 이상의 공통 레이어; 및 상기 공통 레이어의 출력 벡터가 입력되는 하나 이상의 태스크 특이적 레이어를 포함한다. 일 예에서, 각 레이어는 완전 연결 레이어(Fully-connected layer)이고, 각 레이어 전후 사이에는 용도 및 목적에 따라 드롭아웃 레이어(dropout layer), 비선형 활성 함수(non-linear activation function), 정규화 레이어(normalization layer)가 포함될 수 있다.
도 4는, 본 출원의 일 실시예에서, 흉부 방사선 모달리티를 입력으로 하여 제1 기본정보를 생성하는 제1 신경망 및 심전도 모달리티를 입력으로 하여 제2 기본정보를 생성하는 제2 신경망을 보여주는 개략도이다.
도 4를 참조하면, 제1 신경망은 흉부 방사선 단일 모달리티 입력으로부터 하나 이상의 태스크 항목에 대한 제1 기본정보를 생성한다. 제2 신경망은 심전도 단일 모달리티부터 입력으로부터 하나 이상의 태스크 항목에 대한 제2 기본정보를 생성한다. 제1 신경망 및 제2 신경망은 복수의 훈련 샘플을 이용하여 독립적으로 훈련될 수 있고, 기능적 분석 모듈(30)은 상기 제1 신경망이 생성한 제1 기본정보 및 상기 제2 신경망이 생성한 제2 기본정보로부터 하나 이상의 통합정보를 생성할 수 있다.
일 실시예에서, 서로 다른 모달리티 사이에서 같은 항목에 대한 평가수치를 통합할 때 [예: 도4의 경우, 제1 기본정보와 제2 기본정보 간의 같은 항목으로서 폐부종(Pulmonary Edema), 심낭삼출(Pericardial Effusion)가 있음], 상기 평가수치는 특정 소견의 유무를 알려주거나 특정 질환을 진단하거나 예측하는 태스크를 위해 활용되는 위험도 수치나 확률 혹은 이들의 분포를 정의하는 분포함수의 파라미터 중 적어도 하나에 해당할 수 있다. 그리고 상기 태스크들은 이진 분류(Binary Classification), 다중 분류(Multinomial classification), 회귀 중 적어도 하나에 해당할 수 있다.
통합되는 두 개 이상의 평가수치가 모두 위험도 수치나 확률 추정치에 해당할 경우, 산술평균으로 통합할 수 있고, 혹은 적절한 가중치를 적용하는 가중평균을 구해 통합할 수 있다. 여기서 가중치는 각 평가수치가 보이는 성능 (예: Accuracy나 AUC ROC, F1-score, PR-AUC혹은 이와 유사한 정확도 척도들)에 기반하여 결정할 수 있다.
[식 1]
최종 단일 확률 값 = w_A * p_A + w_B * p_B (w_A + w_B = 1, w_A≥0, w_B≥0)
상기 w_A는 흉부 방사선 기본정보에 대한 가중치이고, p_A는 흉부 방사선 기본정보에 해당하는 평가수치이다. 상기 w_B는 심전도 기본정보에 대한 가중치이고, p_B는 심전도 기본정보에 해당하는 평가수치이다.
통합되는 두 개 이상의 평가수치가 모두 미리 정한 분포함수 식의 파라미터에 해당할 경우, 통합되는 것은 이러한 분포함수들과 이들의 파라미터가 정의하는 확률분포에 해당하며, 2개 이상의 분포함수를 통합하기 위해서 분포함수들을 수식으로 통합하는 모수적 방법과, 각 확률분포에 무작위 샘플링을 적용해 얻어진 전체 샘플들로부터 통합 분포를 추정하는 샘플링 방법이 있다.
상기 모수적 방법을 이용해 두개 이상의 분포함수를 통합하는 방법은 적절한 가중치를 적용하는 가중평균 함수를 구하는 것일 수 있다. 여기서 가중치는 각 평가수치가 갖는 성능 (예: Accuracy나 AUC, F1-score, PR-AUC혹은 이와 유사한 정확도 척도들)에 기반하여 결정된다. 이러한 과정에서 생성된 새로운 함수의 전 구간에 대해서 적분하여 해당 함수를 나누어 주는 정규화 (Normalization) 과정이 추가로 필요할 수 있다.
[식 2]
최종 분포 식 = (w_A * D_A + w_B * D_B)/적분값 (w_A + w_B = 1, w_A≥0, w_B≥0)
상기 w_A는 흉부 방사선 기본정보에 대한 가중치이고, D_A는 흉부 방사선 기본정보에 해당하는 평가수치의 확률 분포 식이다. 상기 w_B는 심전도 기본정보에 대한 가중치이고, D_B는 심전도 기본정보에 해당하는 평가수치의 확률 분포 식이다. 적분값은 상기 w_A * D_A + w_B * D_B 의 전 구간에 대한 적분값에 해당한다.
상기 샘플링 방법은 통합되는 평가수치가 분포함수 식의 파라미터가 아닌 경우에도, 즉 평가수치가 위험도 수치나 확률 (추정치)인 경우에도, 적용이 가능하다. 이것은 추론(Inference) 연산과정에서 드롭아웃(Dropout), 드롭커넥트(dropconnect) 혹은 이와 유사한 방법을 적용하여 인공 신경망의 각 소자(Unit) 및 소자간 연결 (Connection)의 일부를 무작위로 제거하여 여러 평가수치를 얻는 방법, 추론(Inference) 연산과정에서 베이지안 레이어(Bayesian Layer)를 통한 샘플링을 통해 여러 평가수치를 얻는 방법, 추론(Inference) 연산과정에서 테스트 타임 증강(Test time augmentation)과 같이 입력 데이터에 무작위 데이터 증강(Random data augmentation) 알고리즘을 적용하여 여러 평가수치를 얻는 방법, 그리고 동일한 목적을 위해 훈련된 서로 다른 다수의 모델로부터 여러 평가수치를 얻는 방법들을 통해 구현된다.
도 5는, 본 출원의 일 실시예에서, 인공지능 알고리즘이나 전문가적 기준을 이용해 도 4에서 생성된 제1 기본정보 및 제2 기본정보를 기초로 통합정보를 생성하는 방법을 나타내는 개략도이다.
일 실시예에서, 상기 기능 분석 모듈(20)은 인공지능 알고리즘을 이용하여 상기 하나 이상의 통합정보를 생성할 수 있다. 인공지능 알고리즘은 로지스틱 회귀(Logistic regression), 랜덤 포레스트(Random forest), 그래디언트 부스트(Gradient boost), ElasticNet, 서포트 벡터 머신(Support vector machine), ANN, 디시젼 트리(Decision Tree) 등을 포함할 수 있다. 이 과정에서 사용되는 기본정보에 해당하는 평가수치들은 일반적인 입력데이터의 전처리에 해당하는 표준화, 정규화, 변수선택이 적용될 수 있다. 또한 기본정보에 해당하는 평가수치 각각 혹은 특정 부분집합은 비선형 함수를 통과시키는 변환 (Transformation) 과정을 거칠 수 있다. 일 예에서 스텝 함수(Step function)을 이용할 수 있는데, 특정 태스크에 대한 확률 값이 설정된 기준 이하인 경우, 이를 0으로 변환하여 해당 가능성을 무시할 수 있다. 일 예에서, 좌심부전 항목에 대한 태스크의 질병 발생 확률이 30%인 경우, 그 값을 무시하여 0으로 취급할 수 있다.
상기 인공지능 알고리즘들은 추가적인 데이터 셋을 더 포함하여 학습되고, 상기 추가적인 데이터 셋은 정해진 타임 프레임 내에 동일인에 의하여 획득된 제1 기본정보 및 제2 기본정보일 수 있다. 상기 추가적인 데이터 셋은 상기 인공지능 알고리즘 훈련을 위한 별도의 데이터 셋이다.
일 실시예에서, 상기 기능 분석 모듈(20)은 전문가적 기준을 이용해 통합정보를 생성할 수 있다. 첫번째 방법은 전문가적 기준은 특정 소견이 양 모달리티에서 나오는 경우 더 적절한 모달리티 결과를 선택하여 출력할 수 있도록 한다. 일 예에서, 폐부종의 경우 흉부방사선 영상의 형태적 병변에 관한 정보가 더 중요하므로, 흉부 방사선 모달리티로부터 생성된 정보를 기준으로 결과를 선택하여 출력할 수 있다. 두번째 방법은 서로 다른 종류의 기본정보를 조합하여 새로운 진단을 정의하는 것이다. 이것은 서로 다른 모달리티 사이 혹은 동일한 모달리티 내에서 서로 다른 기본정보가 전문가가 미리 정한 기준에 맞는 조합이 나타날 때 해당 조합에 특정 소견 혹은 진단의 유무 혹은 위험도를 배정하는 것이다. 일 예에서, 우심실 부전 위험도 점수가 높게 나왔는데 폐동맥 고혈압 위험도 점수가 낮게 나올 경우 감별진단에 급성 폐색전증을 포함하는 것으로 결론을 내거나, 급성폐색전증의 위험도 점수를 높은 범위의 어떤 점수로 설정할 수 있다. 이러한 조합을 적용할 때에는 사용 모달리티를 정하여 더 정확한 통합 정보 생성이 가능하다.
분석 결과 제공 모듈(30)은 상기 하나 이상의 통합정보를 포함하는 것에 의하여, 상기 하나 이상의 통합정보를 포함하지 않는 것과 대비하여 개선된 단일 위험도 수치, 확률 및 분포 식 중 하나 이상을 제공할 수 있다. 일 예에서, 흉부 방사선 이미지 상 심낭삼출(Pericardial Effusion) 50%, 심전도 상 Pericardial Effusion) 70%일 경우, 기능 분석 모듈이 이들의 평균을 취해 취합한 최종 확률 값인 Pericardial Effusion 60%으로 대체해서 출력할 수 있고, 혹은 개선된 단일 확률 값을 함께 출력할 수 있다.
분석 결과 제공 모듈(30)은 상기 하나 이상의 통합정보를 포함하는 것에 의하여, 사용자의 결과 해석을 도와줄 수 있다. 일 예로, 심전도 상 좌심실부전(LV dysfunction) > 50% 이고, 흉부 방사선 이미지 상 폐부종(Pulmonary Edema) > 50%일 경우 상기 전문가적 기준에 바탕하여 기능적 분석 모듈(20)이 두 정보를 조합하여 심인성 폐부종을 감별진단에 넣거나 심인성 폐부종 위험점수를 높게 책정하고, 분석 결과 제공 모듈(30)은 "좌심부전에 의한 폐부종이 의심됩니다"라고 출력할 수 있다. 이와 같이 기능 분석 모듈(20)에서 평가 수치의 평균 계산, 인공지능 알고리즘 적용 및 전문가적 기준을 이용할 경우, 단일 모달리티로부터 정보를 생성하는 기존 인공지능의 판독 결과를 개선할 뿐만 아니라, 단일 모달리티만으로는 알 수 없었던 새로운 진단 정보를 제공할 수 있다.
도 6은, 본 출원의 일 실시예에서, 제2 신경망을 먼저 훈련시키고 가중치를 고정시킨 후, 제1 모달리티 데이터와 제2 신경망으로터의 기본정보에 해당하는 평가수치 출력을 이용해 제1 신경망과 제3 신경망을 훈련시키고, 전체 신경망을 통해 두 모달리티 입력으로부터 통합정보를 생성하는 과정을 나타내는 개략도이다.
도 6을 참조하면, 심전도 모달리티로부터 하나 이상의 태스크 항목에 대한 제2 기본정보를 생성하는 제2 신경망 및 상기 제2 기본정보 및 흉부 방사선 모달리티로부터 제1 인코더를 통해 추출된 수치 벡터에 기초하여 하나 이상의 태스크 항목에 대한 통합정보를 생성하는 제3 신경망을 포함할 수 있다.
제1 신경망은 동반 시행 심전도 모달리티가 존재하는 흉부 방사선 모달리티를 이용하여 훈련된다. 그리고 추론(Inference) 시점에서도 제1신경망은 동반 시행 심전도 모달리티를 함께 활용하여 추론한다. 그러나 제 2신경망의 훈련(Train)에는 심전도 모달리티만 활용되기 때문에 제2 신경망의 훈련을 위한 훈련데이터 구축에는 동반 시행된 흉부방사선이 꼭 있어야 할 필요는 없다.
제1 신경망과 제2 신경망의 훈련(Train)은 각자의 모달리티에 해당하는 입력데이터만 사용해서 독립적으로 훈련이 가능하다. 그러므로 각자의 훈련데이터 구축과정에서는 동반 시행된 흉부방사선과 심전도 모달리티 데이터가 꼭 있어야 할 필요는 없고, 다만 제3 신경망을 훈련시킬 때 동반 시행된 짝지어진 각자의 모달리티 데이터가 필요하다. 만약 제1신경망과 제3 신경망을 함께 훈련시킬 경우에는 제1신경망을 훈련시킬 때에도 동반 시행 심전도 모달리티 데이터가 존재하는 흉부 방사선 데이터를 이용하여 훈련된다. 추론(Inference) 시점에서는 모든 경우에 있어서 동반 시행 심전도 모달리티를 함께 활용하여 추론한다.
이러한 과정에서 제1 신경망과 제2 신경망의 인코더부위인 제1 인코더와 제2 인코더는 별도로 훈련 및 관리될 수 있다.
상기 제3 신경망은 피험자의 나이, 성별, 주증상, 혈액검사 결과, 생체징후(Vital Sign) 및 기저질환 중 적어도 하나 이상인 부가 정보를 더 입력 받도록 구조를 확장할 수 있다. 이러한 부가 정보는 흉부방사선 검사가 시행된 시점과 가까운 시점에 측정된 정보이며, 가까운 정도는 인공지능의 사용목적, 적용되는 환자특성 및 부가정보 별 특성에 의해 결정된다. 일 예로 급성 질환이거나 환자 상태가 좋지 않을 경우 환자의 상태가 빠르게 변하기 때문에 시간 범위가 가까워야 한다. 또한 생체징후는 다른 정보와 달리 빠르게 변하기 때문에 시간 범위가 가까워야 한다. 상기 부가 정보는 정규화 및/또는 임베딩된 값일 수 있다.
추가적으로, 제3 신경망은 이러한 과정을 통해 통합정보를 직접 생성하거나, 이전에 기술한 다양한 통합정보 생성을 위한 방법론에서 활용될 기본 정보들을 생성하게 된다.
도 7은, 본 출원의 일 실시예에서, 다수의 동일 대상자에 의하여 수행된 제1 단일 모달리티 및 제2 단일 모달리티 데이터 셋을 이용하여 훈련된 제1 인코더 및 제2인코더로부터 추출된 수치벡터에 기초하여 제4 신경망을 통해 통합정보를 생성하는 과정을 나타내는 개략도이다.
도 7을 참조하면, 상기 흉부 방사선 모달리티 및 상기 심전도 모달리티는 동반 시행 모달리티이고, 상기 동반 시행 모달리티는 동일 대상자에 의하여 일정한 타임 프레임 내에 흉부 방사선 모달리티와 심전도 모달리티가 함께 수행된 것이다.
상기 제4 신경망은 피험자의 나이, 성별, 주증상, 혈액검사 결과, 생체징후 및 기저질환 중 적어도 하나 이상의 부가 정보를 더 입력으로 할 수 있다. 상기 부가 정보는 정규화 및/또는 임베딩된 값일 수 있다.
상기 제4 신경망은 제1 신경망 및 제2 신경망으로부터 출력된 수치벡터를 기초로 제1 기본정보 및 제2 기본정보에 해당하는 통합정보를 생성할 수 있다. 추가적으로, 제1 기본정보 및 제2 기본정보에 해당하지 않은 새로운 상태 및 질환 등에 해당하는 통합정보를 생성할 수 있다.
상기 기능적 분석 장치는 흉부 방사선 모달리티로부터 추출된 수치 벡터에 기초하여 흉부 방사선 모달리티와 관련된 태스크 항목에 대한 제1 기본정보를 생성하는 제1 보조 태스크 신경망; 및/또는 심전도 모달리티로부터 추출된 수치 벡터에 기초하여 심전도 모달리티와 관련된 태스크 항목에 대한 제2 기본정보를 생성하는 제2 보조 태스크 신경망;을 더 포함할 수 있다. 제1 보조 태스크 신경망 및 제2 보조 태스크 신경망에는 부가 정보가 입력되지 않는다. 보조 태스크 신경망들을 함께 훈련시키는 이유는 제1신경망과 제2신경망을 더 효과적으로 훈련시키기 위한 방법이며, 훈련이 완료된 후에는 사용되지 않는다.
도 8a은 본 출원의 일 실시예에서, 분석 결과 제공 모듈(30)이 연관정보를 포함하는 기능적 분석 결과를 입력된 흉부 방사선 이미지 아래에 출력하는 예이고, 도 8b는 본 출원의 일 실시예에서, 분석 결과 제공 모듈이 연관정보를 포함하는 기능적 분석 결과를 입력된 흉부 방사선 이미지에서 관찰된 형태적 병변 위에 출력하는 방식을 나타내는 예이다.
도 8a를 참조하면, 분석 결과 제공 모듈(30)이 형태적 병변의 유무와 확률에 대한 정보뿐만 아니라 이와 관련 있는 연관정보(및 통합정보)를 포함하는 기능적 분석 결과를 함께 묶어서 별도의 판독문으로 출력하는 예이다.
도 8b를 참조하면, 본 출원의 분석 결과 제공 모듈(30)은 흉부 방사선 이미지 상에 형태적 병변에 대한 정보를 출력하고, 형태적 병변이 있는 해당 위치에 하나 이상의 연관정보(및 통합정보)를 포함하는 기능적 분석 결과를 표시한다. 더 나아가, 분석 결과 제공 모듈(30)은 하나 이상의 연관정보(및 통합정보)를 포함하는 것에 의하여, 상기 하나 이상의 연관정보를 포함하지 않는 것과 대비하여 개선된 부분에 대한 정보를 더 제공할 수 있다.
도 9는, 본 출원의 일 실시예에서, 분석 결과 제공 모듈이 흉부 방사선 이미지 분석 소견과 심전도 분석을 통한 연관정보를 함께 제공하는 예이다.
도 9를 참조하면, 기본정보로서 흉부 방사선 AI 소견은 폐부종, 심비대, 관상동맥 질환/석회화(calcification), 판막 질환/석회화에 대한 의료 정보이고, 동반 표시 항목으로서 연관정보는 심부전 유무 및 확률, 예측된 박출률(Ejection Fraction), 심장 밸브 이상, ST분절 상승 심근경색(STEMI)을 포함하는 심근경색, 급성 관상동맥증후군 및 심근 병증 확률, 혈액의 Troponin, ProBNP, pH, Lactate, TCO2, Serum Creatinine, C-reactive protein 결과, 심초음파 검사 요약에 대한 의료 정보일 수 있다.
기본정보는 폐렴, 폐결핵, 폐농양을 포함하는 폐 감염질환 및 경화, 침윤, 간유리, 무기폐를 포함하는 폐렴에 대한 의료 정보이고, 연관정보는 쇽, 호흡부전, 사망 위험도, 심부전 유무 및 확률, 예측된 박출률(Ejection Fraction) 결과, 혈액의 Troponin T/I, ProBNP, pH, Lactate, TCO2, Serum Creatinine, WBC, ESR, 호산구 증가증(Eosinophil), C-reactive protein(C-반응성 단백질) 결과에 대한 의료 정보일 수 있다.
기본정보는 폐색전증에 대한 의료 정보이고, 연관정보는 우심실부전, 폐동맥고혈압, 혈액의 디다이머(D-dimer), Troponin I, ProBNP 결과 및 심초음파 검사, 심부정맥 초음파 검사에 대한 의료 정보일 수 있다.
기본정보는 심낭삼출에 대한 의료 정보이고, 연관정보는 심낭삼출, 심장탐폰, 우심실부전 위험도, 쇽, 호흡부전 및 사망 위험도, 혈액 CRP, IGRA 검사에 대한 의료 정보일 수 있다.
기본정보는 ARDS에 대한 의료 정보이고, 연관정보는 쇽, 호흡부전, 사망 위험도, 우심실부전, 폐동맥고혈압, SpO2, Troponin I, ProBNP, SpO2 및 FIO2를 포함하는 생체징후에 대한 의료 정보일 수 있다.
기본정보는 폐기종(Emphysema), 기관지염(Bronchitis), 간질성 폐질환(Interstitial Lung Disease)에 대한 의료 정보이고, 연관정보는 좌심실부전, 우심실부전, 폐동맥 고혈압, 혈액의 CRP, Troponin I, ProBNP, FVC, FEV1, FEV1/FVC 수치 및 해석, 폐기능 검사 판독문 요약 및 폐기능 검사의 원자료 및 가공물 중 적어도 하나 이상에 대한 의료 정보일 수 있다.
본 출원의 다른 일 측면에 따른 기능적 분석 방법은 프로세서를 포함한 컴퓨팅 장치에 의해 수행된다. 상기 프로세서를 포함한 컴퓨팅 장치는, 예를 들어 상기 기능적 분석 장치(1) 또는 일부 구성요소(예컨대, 획득 모듈(10), 기능적 분석 모듈(20), 분석 결과 제공 모듈 (30))에 의해 수행되거나, 또는 다른 컴퓨팅 장치에 의해 수행될 수도 있다. 이하, 설명의 명료성을 위해서, 상기 기능적 분석 방법이 상기 기능적 분석 장치(1)에 의해 수행되는 실시예들로 본 출원을 보다 상세하게 서술한다.
도 10은, 본 출원의 일 실시예에 따른, 기능적 분석 방법의 흐름도이다.
도 10을 참조하면, 기능적 분석 방법은: (예를 들어, 획득 모듈(10)에 의해) 하나 이상의 모달리티로부터 정보를 획득하는 단계(S10); (예를 들어, 기능적 분석 모듈(20)에 의해) 서로 다른 모달리티 사이 또는 단일 모달리티 내의 서로 다른 기본정보 사이의 연관정보 중 적어도 하나를 생성하는 기능적 분석 단계(S20); 및 (예를 들어, 분석 결과 제공 모듈(30)에 의해) 상기 기본정보와 연관된 하나 이상의 연관정보 및 통합정보 중 적어도 하나를 포함하는 기능적 분석 결과를 제공하는 단계(S30); 를 포함할 수 있다.
상기 하나 이상의 모달리티는 흉부 방사선 모달리티 및 심전도 모달리티를 포함하고, 상기 서로 다른 모달리티는 흉부 방사선 모달리티 및 심전도 모달리티 및 폐기능 검사 모달리티 중 하나 이상 이며, 상기 기본정보는 흉부 방사선 모달리티로부터 제공되는 형태적 특징에 관한 정보이고, 상기 연관정보는 상기 형태적 특징에 기반한 기본정보에 연관된 기능 이상 정보일 수 있다.
상기 통합정보는 상기 기본정보 및 상기 연관정보로부터 개선된 정보로서, 상기 기본정보 및 상기 연관정보로부터 제공될 수 없었던 특정 소견의 유무, 특정 질환을 진단 또는 예측하는 태스크에 관한 것이고, 상기 통합정보는 새로운 항목의 기본정보 및 연관정보로서 활용될 수 있다.
상기 기능 이상에 관한 정보는 상기 형태적 특징에 연관된 이상 유무, 확률, 심각도 중 하나 이상을 포함할 수 있다.
하나 이상의 모달리티로부터 정보를 획득하는 단계(S10)는 흉부 방사선 데이터인 제1 기본정보; 심전도 데이터인 제 2 기본정보; 혈액 검사 결과, 폐기능 검사 결과 및 검체 검사 결과 중 적어도 하나 이상으로부터의 추가 기본정보;를 획득하고, 상기 연관정보는 상기 제1 기본정보, 제2 기본정보 및 상기 추가 기본정보 사이의 연관된 기능 이상에 관한 정보를 포함할 수 있다.
상기 하나 이상의 통합정보는, 서로 다른 기본정보 사이에서 같은 항목에 대한 평가수치를 결합하는 것이고, 상기 평가수치는 단일 확률 값, 분포 수치 및 분포 식 중 적어도 하나로 산출될 수 있다.
상기 기능적 분석 결과를 제공하는 단계(S30)는 상기 하나 이상의 연관정보 및 통합정보를 포함하는 것에 의하여, 상기 하나 이상의 연관정보 및 통합정보를 포함하지 않는 것과 대비하여 개선된 위험도 수치, 확률 및 이들의 분포식 중 적어도 하나 이상을 제공할 수 있다.
상기 기능적 분석 결과를 제공하는 단계(S30)는 흉부 방사선 이미지 상에서 관찰되는 형태적 병변에 대한 기본정보, 연관정보 및 통합정보 중 적어도 하나를 출력하고, 형태적 병변이 있는 해당 해부학 위치를 고려하여 기본정보, 연관정보 및 통합정보 중 적어도 하나를 표시하거나, 별도의 판독문을 제공할 수 있다.
이와 같은 기능적 분석 장치 및 방법에 의하면, 흉부 방사선 이미지와 심전도/폐기능 검사 등과 같이 서로 다른 모달리티(modality) 또는 모달리티(modality) 간에 연관정보를 제공함으로써 진단에 대한 정확도를 증가시킬 수 있다. 진단 세분화 및 처치 선택, 원인 판단을 도울 수 있으며, 복수의 모달리티에서 발견되는 위험한 소견을 확인하여 광범위하게 평가하고 빠른 응급 처치를 통해 환자 안전 보장을 향상할 수 있다.
이상에서 설명한 실시예들에 따른 장치에 의한 동작은 적어도 부분적으로 컴퓨터로 구현될 수 있는 방법 또는 컴퓨터 프로그램으로 구현되어, 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 예를 들어, 프로그램 코드를 포함하는 컴퓨터-판독가능 매체로 구성되는 프로그램 제품과 함께 구현되고, 이는 기술된 임의의 또는 모든 단계, 동작, 또는 과정을 수행하기 위한 프로세서에 의해 실행될 수 있다.
상기 컴퓨터는 데스크탑 컴퓨터, 랩탑 컴퓨터, 노트북, 스마트 폰, 또는 이와 유사한 것과 같은 컴퓨팅 장치일 수도 있고 통합될 수도 있는 임의의 장치일 수 있다. 컴퓨터는 하나 이상의 대체적이고 특별한 목적의 프로세서, 메모리, 저장공간, 및 네트워킹 구성요소(무선 또는 유선 중 어느 하나)를 가지는 장치다. 상기 컴퓨터는 예를 들어, 마이크로소프트의 윈도우와 호환되는 운영 체제, 애플 OS X 또는 iOS, 리눅스 배포판(Linux distribution), 또는 구글의 안드로이드 OS와 같은 운영체제(operating system)를 실행할 수 있다.
상기 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장 장치 등을 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.
이상에서 살펴본 본 출원은 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 출원의 기술적 보호범위 내에 있다고 보아야 한다. 따라서, 본 출원의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.
일 측면에서, 본 출원의 실시예들에 따르면, 흉부 방사선 이미지와 심전도/폐기능 검사 등과 같이 서로 다른 모달리티(modality) 사이에서 또는 하나의 모달리티(modality) 내에서 연관정보 및 통합정보를 제공함으로써 진단에 대한 정확도를 증가시킬 수 있다. 진단 세분화 및 처치 선택, 원인 판단을 도울 수 있으며, 특히 복수의 모달리티에서 질병 소견을 확인함으로써 의료진이 진단에 대한 더 높은 확신을 갖고 응급 처치를 할 수 있어 환자 안전을 향상시킬 수 있다.
일 예에서, 흉부 방사선 이미지에서 폐부종이 진단되고, 심전도에서 좌심부전과 같은 기능 이상이 있는 것으로 진단되는 경우, 최종적으로 좌심부전에 의한 폐부종으로서 원인 판단을 도울 수 있다. 추가적으로, 흉부 방사선 이미지에서 폐부종이 진단되고, 심전도에서 심근경색이 있는 것으로 진단되는 경우, 최종적으로 심근경색에 의한 폐부종으로서 원인 판단을 도울 수 있다.
일 예에서, 흉부 방사선 이미지에서 폐부종이 진단되고, 심전도에서 심부전과 같은 기능 이상이 있는 것으로 진단되는 경우, 이뇨제를 처방하여 신속한 처치 선택에 도움을 줄 수 있다.

Claims (39)

  1. 하나 이상의 모달리티로부터 정보를 획득하는 획득 모듈;
    서로 다른 모달리티 사이 또는 단일 모달리티 내의 서로 다른 기본정보 사이의 연관정보 중 적어도 하나를 생성하는 기능적 분석 모듈; 및
    상기 기본정보와 연관된 하나 이상의 연관정보 및 통합정보 중 적어도 하나를 포함하는 기능적 분석 결과를 제공하는 분석 결과 제공 모듈;를 포함하는 것을 특징으로 하는 기능적 분석 장치.
  2. 제 1 항에 있어서,
    상기 하나 이상의 모달리티는 흉부 방사선 모달리티 및 심전도 모달리티를 포함하고,
    상기 서로 다른 모달리티는 흉부 방사선 모달리티; 및 심전도 모달리티 및 폐기능 검사 모달리티 중 하나 이상; 이며,
    상기 기본정보는 흉부 방사선 모달리티로부터 제공되는 형태적 특징에 관한 정보이고,
    상기 연관정보는 상기 형태적 특징에 기반한 기본정보에 연관된 기능 이상 정보인 것을 특징으로 하는 기능적 분석 장치.
  3. 제 1 항에 있어서,
    상기 통합정보는 상기 기본정보 및 상기 연관정보로부터 개선된 정보로서, 상기 기본정보 및 상기 연관정보로부터 제공될 수 없었던 특정 소견의 유무, 특정 질환을 진단 또는 예측하는 태스크에 관한 것이고,
    상기 통합정보는 새로운 항목의 기본정보 및 연관정보로서 활용되는 것을 특징으로 하는 기능적 분석 장치.
  4. 제 2 항에 있어서,
    상기 기능 이상에 관한 정보는 상기 형태적 특징에 연관된 이상 유무, 확률, 심각도 중 하나 이상을 포함하는 것을 특징으로 하는 기능적 분석 장치.
  5. 제 2 항에 있어서,
    기본정보는 폐부종, 심비대, 관상동맥 질환/석회화(calcification), 판막 질환/석회화에 대한 의료 정보이고,
    연관정보는 심부전 유무 및 확률, 예측된 박출률(Ejection Fraction), 심장 밸브 이상, ST분절 상승 심근경색(STEMI)을 포함하는 심근경색, 급성 관상동맥증후군 및 심근 병증 확률, 혈액의 트로포닌(Troponin), ProBNP, pH, Lactate, TCO2, Serum Creatinine, C-reactive protein(C-반응성 단백질) 결과, 심초음파 검사 요약에 대한 의료 정보인 것을 특징으로 하는 기능적 분석 장치.
  6. 제 2 항에 있어서,
    기본정보는 폐렴, 폐결핵, 폐농양을 포함하는 폐 감염질환 및 경화, 침윤, 간유리, 무기폐를 포함하는 폐렴에 대한 의료 정보이고,
    연관정보는 쇽, 호흡부전, 사망 위험도, 심부전 유무 및 확률, 예측된 박출률(Ejection Fraction) 결과, 혈액의 Troponin T/I, ProBNP, pH, Lactate, TCO2, Serum Creatinine, WBC, ESR, Eosinophil, C-reactive protein(C-반응성 단백질) 결과에 대한 의료 정보인 것을 특징으로 하는 기능적 분석 장치.
  7. 제 2 항에 있어서,
    기본정보는 폐색전증에 대한 의료 정보이고,
    연관정보는 우심실부전, 폐동맥고혈압, 혈액의 디다이머(D-dimer), Troponin I, ProBNP 결과 및 심초음파 검사, 심부정맥 초음파 검사에 대한 의료 정보인 것을 특징으로 하는 기능적 분석 장치.
  8. 제 2 항에 있어서,
    기본정보는 심낭삼출에 대한 의료 정보이고,
    연관정보는 심낭삼출, 심장탐폰, 우심실부전 위험도, 쇽, 호흡부전 및 사망 위험도, 혈액 CRP, IGRA 검사에 대한 의료 정보인 것을 특징으로 하는 기능적 분석 장치.
  9. 제 2 항에 있어서,
    기본정보는 ARDS에 대한 의료 정보이고,
    연관정보는 쇽, 호흡부전, 사망 위험도, 우심실부전, 폐동맥고혈압, SpO2, 트로포닌 I(Troponin I), ProBNP, SpO2 및 FIO2를 포함하는 생체징후에 대한 의료 정보인 것을 특징으로 하는 기능적 분석 장치.
  10. 제 2 항에 있어서,
    기본정보는 폐기종(Emphysema), 기관지염(Bronchitis), 간질성 폐질환(Interstitial Lung Disease)에 대한 의료 의료 정보이고,
    연관정보는 좌심실부전, 우심실부전, 폐동맥 고혈압, 혈액의 CRP, 트로포닌 I(Troponin I), ProBNP, FVC, FEV1, FEV1/FVC 수치 및 해석, 폐기능 검사 판독문 요약 및 폐기능 검사의 원자료 및 가공물 중 적어도 하나 이상에 대한 의료 정보인 것을 특징으로 하는 기능적 분석 장치.
  11. 제 2 항에 있어서,
    상기 획득 모듈은 흉부 방사선 데이터인 제1 기본정보; 심전도 데이터인 제 2 기본정보; 혈액 검사 결과, 폐기능 검사 결과 및 검체 검사 결과 중 적어도 하나 이상으로부터의 추가 기본정보;를 획득하고,
    상기 연관정보는 상기 제1 기본정보, 제2 기본정보 및 상기 추가 기본정보 사이의 연관된 기능 이상에 관한 정보를 포함하는 것을 특징으로 하는 기능적 분석 장치.
  12. 제 11 항에 있어서,
    상기 흉부 방사선 데이터는 흉부 방사선 이미지 데이터이고,
    상기 심전도 데이터는 심전도 이미지 데이터 또는 시계열 데이터이고,
    상기 혈액 검사 결과 데이터는 텍스트, 수치 및 이미지에서 선택되는 하나 이상이고, 상기 폐기능 검사 결과 데이터는 시계열 데이터, 이미지 데이터, 텍스트 데이터 및 수치 데이터에서 선택되는 하나 이상이고,
    상기 검체 검사 결과 데이터는 텍스트 또는 수치 중 하나 이상의 데이터인 것을 특징으로 하는 기능적 분석 장치.
  13. 제 12 항에 있어서,
    상기 흉부 방사선 이미지 데이터는 흉부 방사선 디지털 이미지의 원본, 상기 원본의 변환 이미지, 촬영 이미지 데이터 또는 화면 캡처 이미지 데이터, 상기 흉부 방사선 디지털 이미지에 대한 전문가의 소견을 글로 옮긴 후 스캔한 이미지이고,
    상기 시계열 데이터는 파동 형태 신호의 시계열 데이터 또는 이를 이차원 평면에 도시한 이미지이고, 상기 심전도 이미지 데이터는 촬영 이미지 데이터, 화면 캡쳐 이미지 데이터, 또는 전자의무기록시스템으로부터 획득된 이미지 데이터이고,
    상기 혈액 검사 결과 데이터는 사용자 입력 데이터, 전자의무기록시스템으로부터 획득된 데이터, 또는 검사 결과지의 OCR(인공지능 문서 인식) 데이터이고,
    상기 폐기능 검사 결과 데이터는 FVL(Flow-Volume Loop) 또는 DLCO(Diffusing capacity of the lung for CO) 커브 의 원본 시계열 데이터 또는 이를 2차원 평면에 도표로 시각화한 데이터 및 이를 촬영한 이미지 데이터 또는 폐기능 검사 결과 판독문, 이를 촬영한 이미지의 OCR 처리 데이터인 것을 특징으로 하는 기능적 분석 장치.
  14. 제 2 항에 있어서,
    상기 하나 이상의 통합정보는, 서로 다른 기본정보 사이에서 같은 항목에 대한 평가수치를 결합하는 것이고,
    상기 평가수치는 단일 확률 값, 분포 수치 및 분포 식 중 적어도 하나로 산출되는 것을 특징으로 하는 기능적 분석 장치.
  15. 제 14 항에 있어서,
    상기 분석 결과 제공 모듈은 상기 하나 이상의 연관정보 및 통합정보를 포함하는 것에 의하여, 상기 하나 이상의 연관정보 및 통합정보를 포함하지 않는 것과 대비하여 개선된 위험도 수치, 확률 및 이들의 분포식 중 적어도 하나 이상을 제공하는 것을 특징으로 하는 기능적 분석 장치.
  16. 제 2 항에 있어서,
    상기 분석 결과 제공 모듈은 흉부 방사선 이미지 상에서 관찰되는 형태적 병변에 대한 기본정보, 연관정보 및 통합정보 중 적어도 하나를 출력하고, 형태적 병변이 있는 해당 해부학 위치를 고려하여 기본정보, 연관정보 및 통합정보 중 적어도 하나를 표시하거나, 별도의 판독문을 제공하는 것을 특징으로 하는 기능적 분석 장치.
  17. 제 11 항에 있어서,
    상기 제1 기본정보는 흉부 방사선 모달리티로부터 의심되거나 진단될 수 있는 소견 및 질환에 관한 것으로서,
    경화(Consolidation), 침윤(Infiltration), 간유리혼탁(Ground Glass Opacification), 성인호흡부전증(ARDS), 폐렴(Pneumonia), 농양(Abscess), 흡인성 폐렴(Aspiration Pneumonia), 비정형폐렴(Atypical Pneumonia), 활동성 결핵(Active Tuberculosis), 비결핵 항산균(Non-Tuberculous Mycobacteria), 만성폐쇄성폐질환(COPD), 간질성 폐질환(Interstitial Lung Disease), 기관지 확장증(Bronchiectasis), 사르코이드증(Sarcoidosis), 폐결절(Lung Nodule), 폐 종괴(Lung Mass), 폐암(Lung Cancer), 폐전이(Lung Metastasis), 대동맥 박리(Aortic Dissection), 대동맥류(Aortic Aneurysm), 흉수(Pleural Effusion), 농흉(Empyema), 기흉(Pneumothorax), 기복증(Pneumoperitoneum), 심막기종(Pneumopericardium), 기종격(Pneumomediastinum), 피하 기종(Subcutaneous Emphysema), 관상동맥석회화(Coronary Artery Calcification), 심장 비대(Cardiomegaly), 폐부종(Pulmonary Edema), 심낭삼출(Pericardial Effusion), 폐색전증(Pulmonary Embolism), 챔버(Chamber)(LA, LV, RA, RV) 비대증(Enlargements), 판막(Valvular):대동맥(Aortic), 이첨판(Mitral), 삼첨판(Tricuspid), 폐동맥(Pulmonic) 판막석회화(Valve Calcification)/협착(Stenosis)/역류(Regur-gitation), 비대심근증(Hypertrophic Cardiomyopathy) 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 기능적 분석 장치.
  18. 제 11 항에 있어서,
    상기 제2 기본정보는 심전도 모달리티로부터 심장리듬, 각종 응급질환, 각종 심기능 이상의 위험도를 반영하는 수치정보로서,
    심방세동(Atrial Fibrillation), 좌심실부전(LV dysfunction), 우심실부전(RV dysfunction), 폐고혈압(Pulmonary Hypertension), 심낭삼출(Pericardial Effusion), 급성 관상동맥증후군(Acute Coronary Syndrome), 심근경색증(Myocardial Infarction), 폐부종(Pulmonary Edema), 챔버(Chamber):LA, LV, RA, RV, 비대증(Enlargements), 판막(Valvular): 대동맥(Aortic), 이첨판(Mitral), 삼첨판(Tricuspid), 폐동맥(Pulmonic) 판막협착증(Valve Stenosis)/역류(Regurgitation), 비후성 심근증(Hypertrophic Cardiomyopathy), 좌심실 박출계수(Left Ventricular Ejection Fraction, LVEF), 전반적 종축 변형률(Global Longitudinal Strain, GLS), 호흡부전(Respiratory Failure), 쇽(Shock), 심장마비(Cardiac Arrest) 중 적어도 하나 이상을 포함하는 것을 특징으로 하는, 기능적 분석 장치.
  19. 제1 단일 모달리티로부터 추출된 수치 벡터인 주 입력 데이터에 기초하여 하나 이상의 태스크 항목에 대한 제1 기본정보를 생성하는 제1 신경망; 을 포함하고,
    제2 단일 모달리티부터 추출된 수치 벡터인 주 입력 데이터에 기초하여 하나 이상의 태스크 항목에 대한 제2 기본정보를 생성하는 제2 신경망; 및
    상기 제1 기본정보 및 제2 기본정보와 연관된 하나 이상의 연관정보 및 통합정보를 생성하는 기능적 분석 모듈을 더 포함하는 것을 특징으로 하는 기능적 분석 장치.
  20. 제 19 항에 있어서,
    상기 제1 신경망은 데이터 입력단 측에 위치하여 제1 단일 모달리티의 특징 정보를 포함하는 수치 벡터를 출력하는 제1 인코더부; 및 제1 인코더부에서 출력된 수치 벡터를 입력으로 하여 하나 이상의 태스크 항목에 대한 제1 기본정보를 생성하는 제1 태스크부;를 포함하고,
    상기 제2 신경망은 데이터 입력단 측에 위치하여 제2 단일 모달리티의 특징 정보를 포함하는 수치 벡터를 출력하는 제2 인코더부; 및 제2 인코더부에서 출력된 수치 벡터를 입력으로 하여 하나 이상의 태스크 항목에 대한 제2 기본정보를 생성하는 제2 태스크부;를 포함하는 것을 특징으로 하는, 기능적 분석 장치.
  21. 제 20 항에 있어서,
    상기 제1 태스크부 및 제2 태스크부 중 적어도 하나 이상에는 피험자의 나이, 성별, 주증상, 혈액검사 결과, 생체징후 및 기저질환 중 적어도 하나 이상인 부가 정보가 제1 인코더부 또는 제2인코더부가 출력한 수치벡터 외에더 입력되는 추가 신경망을 더 포함하고,
    상기 추가 신경망은 제1 기본정보와 관련된 부가 태스크 정보 또는 제2 기본정보와 관련된 부가 태스크 정보를 생성하고,
    상기 제1 기본정보와 관련된 부가 태스크 정보는 대상의 나이, 성별, 해부학적 특징, 제1기본정보에 포함되지 않은 병적 특징, 촬영 환경, 촬영 방식, 이미지 전처리 방법에 관한 정보를 포함하고,
    상기 제2 기본정보와 관련된 부가 태스크 정보는 대상의 나이, 성별, 키, 몸무게, 맥박수, 심전도 구간 지속 시간 및 P파, QRS파, T파를 포함하는 전기축에 관한 정보를 포함하는 것을 특징으로 하는 기능적 분석 장치.
  22. 제 21 항에 있어서,
    상기 제1 태스크부, 제2 태스크부 및 추가 신경망 중 적어도 하나는, 하나 이상의 공통 레이어; 및 상기 공통 레이어의 출력 벡터가 입력되는 하나 이상의 태스크 특이적 레이어를 포함하는 것을 특징으로 하는 기능적 분석 장치.
  23. 제 19 항에 있어서,
    상기 기능적 분석 모듈은, 상기 제1 기본정보 및 제2 기본정보로부터 회귀 분석, 기계 학습, 또는 설정된 기준 중에서 선택되는 하나 이상에 의하여 상기 하나 이상의 연관정보를 생성하는 것을 특징으로 하는 기능적 분석 장치.
  24. 제 23 항에 있어서,
    상기 기계 학습은 추가적인 데이터 셋을 더 포함하여 학습되고,
    상기 추가적인 데이터 셋은 정해진 타임 프레임 내에 동일인에 의하여 획득된 제1 기본정보 및 제2 기본정보인 것을 특징으로 하는 기능적 분석 장치.
  25. 제 19 항에 있어서,
    상기 기능적 분석 모듈이 생성한 연관정보 및 통합정보를 훈련 레이블로 활용하여 제1 단일 모달리티에 상기 훈련 레이블을 전부 또는 일부에 할당하고, 할당된 제1 단일 모달리티를 훈련 데이터로 이용하여 제1 신경망을 훈련시키는 것을 특징으로 하는 기능적 분석 장치.
  26. 제1 단일 모달리티로부터 추출된 수치 벡터인 주 입력 데이터에 기초하여 하나 이상의 태스크 항목에 대한 제1 기본정보를 생성하는 제1 신경망; 및
    상기 제1 기본정보 및 제2 단일 모달리티로부터 추출된 수치 벡터에 기초하여 하나 이상의 태스크 항목에 대한 연관정보를 생성하는 제3 신경망; 을 포함하는 것이고,
    상기 제2 단일 모달리티에는, 동반 시행 제1 단일 모달리티 - 해당 제2 단일 모달리티 검사가 수행된 혈액검사자를 대상으로 정해진 타임 프레임 내에 시행된 제1 단일 모달리티를 동반 시행 제1 단일 모달리티라고 함 -가 존재하는 것을 특징으로 하는 기능적 분석 장치.
  27. 제 26 항에 있어서,
    상기 제3 신경망에는 피험자의 나이, 성별, 주증상, 혈액검사 결과, 생체징후 및 기저질환 중 적어도 하나 이상인 부가 정보가 더 입력되는 것을 특징으로 하는 기능적 분석 장치.
  28. 제1 단일 모달리티로부터 추출된 수치 벡터 및 제2 단일 모달리티로부터 추출된 수치 벡터에 기초하여 제1 단일 모달리티와 관련된 태스크 항목 및 제2 단일 모달리티와 관련된 태스크 항목에 대한 연관정보를 생성하는 제4 신경망을 포함하는 것이고,
    상기 제1 단일 모달리티 및 상기 제2 단일 모달리티는 동반 시행 모달리티인 것 - 동일 대상자에 의하여 일정한 타임 프레임 내에 제1 단일 모달리티와 제2 단일 모달리티가 함께 수행된 것 - 을 특징으로 하는 기능적 분석 장치.
  29. 제 28 항에 있어서,
    상기 제4 신경망은 피험자의 나이, 성별, 주증상, 혈액검사 결과, 생체징후 및 기저질환 중 적어도 하나 이상을 더 입력으로 하는 것을 특징으로 하는 기능적 분석 장치.
  30. 제 28 항에 있어서, 상기 장치는 제1 단일 모달리티로부터 추출된 수치 벡터에 기초하여 제1 단일 모달리티와 관련된 태스크 항목에 대한 제1 기본정보를 생성하는 제1 보조 태스크 신경망; 및/또는
    제2 단일 모달리티로부터 추출된 수치 벡터에 기초하여 제2 단일 모달리티와 관련된 태스크 항목에 대한 제2 기본정보를 생성하는 제2 보조 태스크 신경망; 을 더 포함하는 것을 특징으로 하는 기능적 분석 장치.
  31. 프로세서에 의하여 수행되는 기능적 분석 방법으로서,
    하나 이상의 모달리티로부터 정보를 획득하는 단계;
    서로 다른 모달리티 사이 또는 단일 모달리티 내의 서로 다른 기본정보 사이의 연관정보 중 적어도 하나를 생성하는 기능적 분석 단계; 및
    상기 기본정보와 연관된 하나 이상의 연관정보 및 통합정보 중 적어도 하나를 포함하는 기능적 분석 결과를 제공하는 단계;를 포함하는 것을 특징으로 하는 기능적 분석 방법.
  32. 제 31 항에 있어서,
    상기 하나 이상의 모달리티는 흉부 방사선 모달리티 및 심전도 모달리티를 포함하고,
    상기 서로 다른 모달리티는 흉부 방사선 모달리티; 및 심전도 모달리티 및 폐기능 검사 모달리티 중 하나 이상; 이며,
    상기 기본정보는 흉부 방사선 모달리티로부터 제공되는 형태적 특징에 관한 정보이고,
    상기 연관정보는 상기 형태적 특징에 기반한 기본정보에 연관된 기능 이상 정보인 것을 특징으로 하는 기능적 분석 방법.
  33. 제 31 항에 있어서,
    상기 통합정보는 상기 기본정보 및 상기 연관정보로부터 개선된 정보로서, 상기 기본정보 및 상기 연관정보로부터 제공될 수 없었던 특정 소견의 유무, 특정 질환을 진단 또는 예측하는 태스크에 관한 것이고,
    상기 통합정보는 새로운 항목의 기본정보 및 연관정보로서 활용되는 것을 특징으로 하는 기능적 분석 방법.
  34. 제 32 항에 있어서,
    상기 기능 이상에 관한 정보는 상기 형태적 특징에 연관된 이상 유무, 확률, 심각도 중 하나 이상을 포함하는 것을 특징으로 하는 기능적 분석 방법.
  35. 제 32 항에 있어서,
    하나 이상의 모달리티로부터 정보를 획득하는 단계는 흉부 방사선 데이터인 제1 기본정보; 심전도 데이터인 제 2 기본정보; 혈액 검사 결과, 폐기능 검사 결과 및 검체 검사 결과 중 적어도 하나 이상으로부터의 추가 기본정보;를 획득하고,
    상기 연관정보는 상기 제1 기본정보, 제2 기본정보 및 상기 추가 기본정보 사이의 연관된 기능 이상에 관한 정보를 포함하는 것을 특징으로 하는 기능적 분석 방법.
  36. 제 32 항에 있어서,
    상기 하나 이상의 통합정보는, 서로 다른 기본정보 사이에서 같은 항목에 대한 평가수치를 결합하는 것이고,
    상기 평가수치는 단일 확률 값, 분포 수치 및 분포 식 중 적어도 하나로 산출되는 것을 특징으로 하는 기능적 분석 방법.
  37. 제 36 항에 있어서,
    상기 기능적 분석 결과를 제공하는 단계는 상기 하나 이상의 연관정보 및 통합정보를 포함하는 것에 의하여, 상기 하나 이상의 연관정보 및 통합정보를 포함하지 않는 것과 대비하여 개선된 위험도 수치, 확률 및 이들의 분포식 중 적어도 하나 이상을 제공하는 것을 특징으로 하는 기능적 분석 방법.
  38. 제 32 항에 있어서,
    상기 기능적 분석 결과를 제공하는 단계는 흉부 방사선 이미지 상에서 관찰되는 형태적 병변에 대한 기본정보, 연관정보 및 통합정보 중 적어도 하나를 출력하고, 형태적 병변이 있는 해당 해부학 위치를 고려하여 기본정보, 연관정보 및 통합정보 중 적어도 하나를 표시하거나, 별도의 판독문을 제공하는 것을 특징으로 하는 기능적 분석 방법.
  39. 컴퓨터에 의해 판독 가능하고, 상기 컴퓨터에 의해 동작 가능한 프로그램 명령어를 저장하는 컴퓨터 판독가능한 기록매체로서, 상기 프로그램 명령어가 상기 컴퓨터의 프로세서에 의해 실행되는 경우 상기 프로세서가 제31항 내지 제38항 중 어느 하나의 항에 따른 기능적 분석 방법을 수행하게 하는 컴퓨터 판독가능 기록매체.
PCT/KR2023/007754 2022-06-07 2023-06-07 기능적 분석 장치 및 방법 WO2023239150A1 (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR10-2022-0069096 2022-06-07
KR20220069096 2022-06-07
KR10-2022-0073710 2022-06-16
KR20220073710 2022-06-16
KR10-2023-0050792 2023-04-18
KR1020230050792A KR20230168954A (ko) 2022-06-07 2023-04-18 기능적 분석 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2023239150A1 true WO2023239150A1 (ko) 2023-12-14

Family

ID=89118644

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/007754 WO2023239150A1 (ko) 2022-06-07 2023-06-07 기능적 분석 장치 및 방법

Country Status (1)

Country Link
WO (1) WO2023239150A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020099941A1 (en) * 2018-11-14 2020-05-22 Qure.Ai Technologies Private Limited Application of deep learning for medical imaging evaluation
KR20200063364A (ko) * 2018-11-23 2020-06-05 네이버 주식회사 시계열 의료 데이터를 통한 질병 예후 예측을 위한 딥 뉴럴 네트워크의 분류 결과 시각화 방법 및 시스템
KR20200068161A (ko) * 2018-12-04 2020-06-15 건양대학교산학협력단 기계학습 모델을 이용한 심장질환예측 시스템, 및 방법
KR20210102102A (ko) * 2020-02-10 2021-08-19 주식회사 바디프랜드 질환을 예측하는 방법 및 이를 수행하는 장치
WO2022097971A1 (ko) * 2020-11-04 2022-05-12 주식회사 온택트헬스 질병의 발생을 예측하기 위한 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020099941A1 (en) * 2018-11-14 2020-05-22 Qure.Ai Technologies Private Limited Application of deep learning for medical imaging evaluation
KR20200063364A (ko) * 2018-11-23 2020-06-05 네이버 주식회사 시계열 의료 데이터를 통한 질병 예후 예측을 위한 딥 뉴럴 네트워크의 분류 결과 시각화 방법 및 시스템
KR20200068161A (ko) * 2018-12-04 2020-06-15 건양대학교산학협력단 기계학습 모델을 이용한 심장질환예측 시스템, 및 방법
KR20210102102A (ko) * 2020-02-10 2021-08-19 주식회사 바디프랜드 질환을 예측하는 방법 및 이를 수행하는 장치
WO2022097971A1 (ko) * 2020-11-04 2022-05-12 주식회사 온택트헬스 질병의 발생을 예측하기 위한 방법 및 장치

Similar Documents

Publication Publication Date Title
Ahmed et al. An IoT-based deep learning framework for early assessment of COVID-19
WO2022146057A1 (ko) 전기적 바이오 시그널 데이터를 수치 벡터로 변환하는 방법 및 장치, 이를 이용하여 질병을 분석하는 방법 및 장치
WO2021049729A1 (ko) 인공지능 모델을 이용한 폐암 발병 가능성 예측 방법 및 분석 장치
US11107215B2 (en) Medical image diagnosis assistant apparatus and method for generating evaluation scores for plurality of medical image diagnosis algorithms
WO2021060899A1 (ko) 인공지능 모델을 사용 기관에 특화시키는 학습 방법, 이를 수행하는 장치
WO2021057423A1 (zh) 图像处理方法、图像处理装置以及存储介质
WO2023095989A1 (ko) 뇌질환 진단을 위한 다중 모달리티 의료 영상 분석 방법 및 장치
WO2021137454A1 (ko) 인공지능 기반의 사용자 의료정보 분석 방법 및 시스템
WO2021261808A1 (ko) 병변 판독 결과 표시 방법
US11742072B2 (en) Medical image diagnosis assistance apparatus and method using plurality of medical image diagnosis algorithms for endoscopic images
WO2022173232A2 (ko) 병변의 발생 위험성을 예측하는 방법 및 시스템
Guo et al. Automatic myocardial infarction detection in contrast echocardiography based on polar residual network
WO2022050713A1 (ko) 흉부 이미지 판독 방법
WO2023239151A1 (ko) 흉부 방사선 데이터를 수치 벡터로 변환하는 방법 및 장치, 이를 이용하여 질병을 분석하는 방법 및 장치
Türk et al. Application with deep learning models for COVID-19 diagnosis
WO2023146361A1 (ko) 인공지능 기반의 바이오 마커 선별 장치 및 방법
Ryu et al. CoAt-Mixer: Self-attention deep learning framework for left ventricular hypertrophy using electrocardiography
WO2023239150A1 (ko) 기능적 분석 장치 및 방법
WO2023080697A1 (ko) 심장 신호 분할 방법 및 이를 이용한 심장 신호 분할용 디바이스
JP2022059448A (ja) 診療支援システム
John et al. Deep convolutional neural networks for noise detection in ecgs
Miranda et al. Review on approaches to concept detection in medical images
Deepa et al. Radon descriptor-based machine learning using CT images to predict the fat tissue on left atrium in the heart
KR20230168954A (ko) 기능적 분석 장치 및 방법
WO2024147603A1 (ko) 심전도로 심근변형을 평가하는 인공지능 기반 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23820086

Country of ref document: EP

Kind code of ref document: A1