WO2023132523A1 - Method and device for assisting diagnosis of calcification on basis of artificial intelligence model - Google Patents

Method and device for assisting diagnosis of calcification on basis of artificial intelligence model Download PDF

Info

Publication number
WO2023132523A1
WO2023132523A1 PCT/KR2022/020801 KR2022020801W WO2023132523A1 WO 2023132523 A1 WO2023132523 A1 WO 2023132523A1 KR 2022020801 W KR2022020801 W KR 2022020801W WO 2023132523 A1 WO2023132523 A1 WO 2023132523A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
calcification
target organ
region
information
Prior art date
Application number
PCT/KR2022/020801
Other languages
French (fr)
Korean (ko)
Inventor
하성민
최안네스
맹신희
심학준
홍영택
정현석
이지나
Original Assignee
주식회사 온택트헬스
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220177169A external-priority patent/KR20230108213A/en
Application filed by 주식회사 온택트헬스, 연세대학교 산학협력단 filed Critical 주식회사 온택트헬스
Publication of WO2023132523A1 publication Critical patent/WO2023132523A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Definitions

  • the present invention relates to a method and apparatus for assisting diagnosis of calcification based on an artificial intelligence (AI) algorithm.
  • AI artificial intelligence
  • a disease refers to a condition that impairs normal functions by causing physical and mental disorders in humans. Accordingly, various social systems and technologies for diagnosing, treating, and even preventing diseases have developed along with human history. In the diagnosis and treatment of diseases, various tools and methods have been developed according to the remarkable development of technology, but it is still a reality that ultimately depends on the judgment of a doctor.
  • AI artificial intelligence
  • the present invention is to provide a method and apparatus for effectively diagnosing calcification in a subject.
  • An object of the present invention is to provide a method and apparatus for determining the degree of calculus detected in a subject.
  • An object of the present invention is to provide a method and apparatus for extracting data on a region of a target organ using at least one of suppression and segmentation in a medical image of a subject.
  • An object of the present invention is to provide a method and apparatus for analyzing data on a region of a target organ using a radiomix technique.
  • a method for assisting in diagnosis of calcification based on an artificial intelligence model includes acquiring medical image data of a subject, and applying the medical image data to a region of a target organ based on the medical image data. extracting data on the target organ, generating feature data of the target organ by analyzing data on the region of the target organ, and diagnosing calcification of the target organ based on the feature data of the target organ. It may include providing information to assist.
  • the medical image data may include at least one of X-ray, ultrasound, computerized tomography (CT), magnetic resonance imaging (MRI), and positron emission tomography (PET) image data of the subject. .
  • CT computerized tomography
  • MRI magnetic resonance imaging
  • PET positron emission tomography
  • the extracting of the data on the region of the target organ may include suppressing a region other than the target organ and segmenting the region of the target organ.
  • the generating of the characteristic data of the target organ by analyzing the data of the region of the target organ may include generating the data of the region of the target organ using a radiomics technique.
  • the method may include extracting at least one feature, and generating feature data of the target organ based on the at least one feature.
  • the information for assisting in the diagnosis of calcification includes information indicative of whether or not to detect limescale by detecting calcium in the target organ of the subject and the degree of calcification in the detected target organ of the subject. It may include at least one of information indicating the degree of calcification by determining.
  • the target organ may include at least one of an abdominal organ, a thoracic organ, a lumbar spine, a cervical spine, a brain, a liver, a lung, a kidney, an adrenal joint, and a blood vessel.
  • the information to assist in diagnosing the calcification may be generated based on some features selected by logistic regression from among a plurality of features included in the feature data.
  • the logistic regression analysis may include the least absolute shrinkage and selection operator (LASSO) regression analysis.
  • LASSO least absolute shrinkage and selection operator
  • the information to assist diagnosis of the calcification may be generated based on a radiomics score determined by linearly combining the selected features with weights.
  • the information to assist in diagnosing the calcification is generated by a random forest model based on the radiomix score and clinical information, and the clinical information includes: , gender, and body mass index (BMI).
  • BMI body mass index
  • a program stored in a medium according to an embodiment of the present invention may execute the above-described method when operated by a processor.
  • An apparatus for assisting diagnosis of calcification based on an artificial intelligence model includes a transceiver, a storage unit for storing the artificial intelligence model, and at least one connected to the transceiver and the storage unit. and a processor, wherein the at least one processor obtains medical image data of the subject, extracts data about a region of a target organ based on the medical image data, and extracts data about a region of a target organ.
  • the at least one processor obtains medical image data of the subject, extracts data about a region of a target organ based on the medical image data, and extracts data about a region of a target organ.
  • feature data of the target organ may be generated, and information for assisting diagnosis of calcification of the target organ may be provided based on the feature data of the target organ.
  • calcification of a target organ can be effectively diagnosed using a learned artificial intelligence model.
  • FIG. 1 shows a system according to one embodiment of the present invention.
  • FIG 2 shows the structure of a device according to an embodiment of the present invention.
  • FIG 3 shows an example of a perceptron constituting an artificial intelligence model applicable to the present invention.
  • FIG 4 shows an example of an artificial neural network constituting an artificial intelligence model applicable to the present invention.
  • FIG. 5 illustrates a concept of calcification diagnosis based on an artificial intelligence model according to an embodiment of the present disclosure.
  • FIG. 6 illustrates an example of a procedure for assisting diagnosis of calcification of a target organ according to an embodiment of the present invention.
  • FIG. 7 illustrates an example of a procedure for extracting data on a region of a target organ according to an embodiment of the present invention.
  • FIG. 8 illustrates an example of a procedure for generating feature data of a target organ by analyzing data for a region of the target organ according to an embodiment of the present invention.
  • FIG. 9 illustrates an example of a procedure for training an artificial intelligence model for calcification prediction according to an embodiment of the present invention.
  • FIG. 10 illustrates a concept of calcification diagnosis based on an artificial intelligence model according to another embodiment of the present disclosure.
  • FIG. 11 illustrates an example of a procedure for assisting diagnosis of calcification of a target organ according to another embodiment of the present disclosure.
  • FIG. 12 illustrates a validation result according to a 10-fold cross-validation method for a calcification diagnosis technique according to an embodiment of the present invention.
  • the present invention is to assist diagnosis of calcification of organs of the human body based on an artificial intelligence model. , It relates to a technology that assists in detecting calcification and determining the degree of calcification in a subject's target organ by analyzing data on the region of the target organ extracted through artificial intelligence.
  • FIG. 1 shows a system according to one embodiment of the present invention.
  • the system includes a service server 110 , a data server 120 , and at least one client device 130 .
  • the service server 110 provides a service based on an artificial intelligence model. That is, the service server 110 performs learning and prediction operations using an artificial intelligence model.
  • the service server 110 may communicate with the data server 120 or at least one client device 130 through a network. For example, the service server 110 may receive training data for training an artificial intelligence model from the data server 120 and perform training.
  • the service server 110 may receive data necessary for learning and prediction operations from at least one client device 130 .
  • the service server 110 may transmit information about a prediction result to at least one client device 130 .
  • the data server 120 provides learning data for training of the artificial intelligence model stored in the service server 110 .
  • the data server 120 may provide public data accessible to anyone or data requiring permission. If necessary, the learning data may be pre-processed by the data server 120 or the service server 120 .
  • the data server 120 may be omitted. In this case, the service server 110 may use an artificial intelligence model trained externally, or training data may be provided to the service server 110 offline.
  • At least one client device 130 transmits and receives data related to the artificial intelligence model operated by the service server 110 to and from the service server 110 .
  • At least one client device 130 is a device used by a user, transmits information input by the user to the service server 110, stores information received from the service server 110, or provides it to the user (e.g. : mark) can be done.
  • a prediction operation may be performed based on data transmitted from one client, and information related to a prediction result may be provided to another client.
  • the at least one client device 130 may be various types of computing devices such as a desktop computer, a laptop computer, a smart phone, a tablet, and a wearable device.
  • the system may further include a management device for managing the service server 110 .
  • the management device is a device used by a subject who manages a service, and monitors a state of the service server 110 or controls settings of the service server 110 .
  • the management device may access the service server 110 through a network or may be directly connected through a cable connection. Under the control of the management device, the service server 110 may set parameters for operation.
  • a service server 110 may be connected through a network and interact with each other.
  • the network may include at least one of a wired network and a wireless network, and may include any one or a combination of two or more of a cellular network, a local area network, and a wide area network.
  • the network is based on at least one of a local area network (LAN), a wireless LAN (WLAN), bluetooth, long term evolution (LTE), LTE-advanced (LTE-A), and 5th generation (5G) can be implemented.
  • LAN local area network
  • WLAN wireless LAN
  • WLAN wireless LAN
  • LTE long term evolution
  • LTE-A LTE-advanced
  • 5G 5th generation
  • FIG. 2 shows the structure of a device according to an embodiment of the present invention.
  • the structure illustrated in FIG. 2 may be understood as a structure of the service server 110 , the data server 120 , and at least one client device 130 of FIG. 1 .
  • the device includes a communication unit 210, a storage unit 220, and a control unit 230.
  • the communication unit 210 performs functions for accessing a network and communicating with other devices.
  • the communication unit 210 may support at least one of wired communication and wireless communication.
  • the communication unit 210 may include at least one of a radio frequency (RF) processing circuit and a digital data processing circuit.
  • RF radio frequency
  • the communication unit 210 may be understood as a component including a terminal for connecting a cable. Since the communication unit 210 is a component for transmitting and receiving data and signals, it may be referred to as a 'transceiver'.
  • the storage unit 220 stores data, programs, microcodes, command sets, applications, and the like necessary for the operation of the device.
  • the storage unit 220 may be implemented as a temporary or non-transitory storage medium.
  • the storage unit 220 may be fixed to the device or implemented in a detachable form.
  • the storage unit 220 may include a compact flash (CF) card, a secure digital (SD) card, a memory stick, a solid-state drive (SSD), and a microSD card. It may be implemented as at least one of a NAND flash memory such as an SD card and a magnetic computer storage device such as a hard disk drive (HDD).
  • CF compact flash
  • SD secure digital
  • HDD hard disk drive
  • the controller 230 controls the overall operation of the device.
  • the controller 230 may include at least one processor or at least one microprocessor.
  • the controller 230 may execute a program stored in the storage 220 and access a network through the communication unit 210 .
  • the controller 230 may perform algorithms according to various embodiments described later and control the device to operate according to embodiments described later.
  • an artificial intelligence algorithm-based service may be provided.
  • an artificial intelligence model made of an artificial neural network may be used to implement an artificial intelligence algorithm.
  • the concept of a perceptron, which is a unit of artificial neural networks, and artificial neural networks are as follows.
  • Perceptron is a model of a living organism's nerve cell, and has a structure that outputs one signal by taking multiple signals as input.
  • 3 shows an example of a perceptron constituting an artificial intelligence model applicable to the present invention.
  • the perceptron sets weights 302-1 to 302- n ( eg, w 1j , w 2j , After multiplying w 3j , ..., w nj ), the weighted input values are summed using a transfer function 304 .
  • a bias value eg, b k
  • the perceptron generates an output value (eg, o j ) by applying an activation function 306 to a net input value (eg, net j ) that is an output of the conversion function 304 .
  • the activation function 306 may operate based on a threshold value (eg, ⁇ j ).
  • the activation function may be defined in various ways. Although the present invention is not limited thereto, for example, as an activation function, a step function, sigmoid, Relu, Tanh, etc. may be used.
  • An artificial neural network can be designed by arranging perceptrons as shown in FIG. 3 and forming layers.
  • 4 shows an example of an artificial neural network constituting an artificial intelligence model applicable to the present invention.
  • each node represented by a circle can be understood as the perceptron of FIG. 3 .
  • the artificial neural network includes an input layer 402, a plurality of hidden layers 404a and 404b, and an output layer 406.
  • Calcification is the formation of plaque by the accumulation of calcium in the inner wall of blood vessels.
  • vascular disease can be detected by detecting calcification of human organs (eg, abdominal organs, thoracic organs, lumbar vertebrae, cervical vertebrae, brain, liver, lungs, kidneys, adrenal joints, blood vessels) and determining the degree of calcification.
  • human organs eg, abdominal organs, thoracic organs, lumbar vertebrae, cervical vertebrae, brain, liver, lungs, kidneys, adrenal joints, blood vessels
  • the present invention proposes a technique capable of detecting vascular disease by analyzing medical image data of a patient and detecting and analyzing calcification of target organs of the patient.
  • 5 illustrates a concept of calcification diagnosis based on an artificial intelligence model according to an embodiment of the present disclosure.
  • 5 illustrates a system 500 for diagnosing cardiac calcification of a subject by extracting heart region data through an artificial intelligence model based on medical image data and analyzing the extracted data using a radiomix technique.
  • the system 500 acquires medical image data of a subject and extracts heart region data from the medical image data.
  • System 500 analyzes the heart region data and diagnoses the subject's cardiac calcifications.
  • the system 500 may acquire medical image data of a subject.
  • the medical image may be an X-ray image 510 . Since the X-ray image 510 is a two-dimensional projection image, several organs may overlap. Therefore, it is necessary to extract only the heart region from the X-ray image 510 as data in order to prevent the detection of calculus based on an unnecessary region other than the heart and to use the medical image for quantitative evaluation.
  • the system 500 extracts heart region data using an artificial intelligence model that divides only the heart region for more accurate prediction of cardiovascular calcification.
  • the system 500 may perform suppression to improve segmentation accuracy of the heart region with respect to the medical image data. Suppression is to leave a specific region to be extracted from image data and to filter out regions other than the specific region. Filtering may include removing an area other than a specific area or blurring the area.
  • the suppression may include bone suppression 520 . This suppression suppresses the bone region in the medical image data.
  • the system 500 may perform bone suppression, that is, bone suppression, which suppresses a bone region, through the trained data.
  • the system 500 may acquire medical image data, compare the obtained medical image data with bone-suppressed data in the medical image image, and learn a comparison result.
  • the system 500 may generate soft tissue data in which bones are suppressed from the medical image data that is the subject of the suppression through the training data, and may also remove bone data.
  • the artificial intelligence model can learn the residual error between the predicted bone suppression image and the actual medical image image.
  • the system 500 may extract heart region data through an artificial intelligence segmentation model in order to analyze only the heart region from the suppressed data. Extracting the heart region data may include generating a heart region segmentation mask.
  • the artificial intelligence segmentation model may segment 530 the heart region to generate a segmentation mask of the heart region.
  • the system 500 may generate heart feature data by performing radiomics 540 analysis on the extracted heart region data.
  • the system 500 analyzes the shape 542, intensity 544, texture 546, and filters 548 from the heart region data of the subject through the radiomix 540 analysis technique. ), etc., heart feature data can be generated.
  • System 500 provides information to assist in diagnosing a subject's cardiac calcifications 560 based on cardiac feature data.
  • the auxiliary information may include at least one of information indicative of whether calcareous matter is detected or not and information indicative of the degree of detected calcal matter based on the cardiac feature data.
  • the information indicating the degree of calcification may indicate a group to which a coronary artery calcification score, which is a continuous value, belongs.
  • the group to which the coronary artery calcification score belongs is a group in which the coronary artery calcification score is classified according to a certain criterion.
  • a coronary artery calcification score group may be classified based on the results of a clinical study conducted on the correlation of the coronary artery calcification score with mortality or ischemic risk prevalence.
  • the system 500 compares the cardiac calcification prediction result with a coronary artery calcification score (CACS) 550 extracted from a computed tomography (CT) image to verify the accuracy of the cardiovascular calcification prediction through medical image data.
  • CACS coronary artery calcification score
  • CT computed tomography
  • the system 500 may perform re-learning for cardiac calcification prediction through artificial intelligence based on the verified data.
  • medical image data may be different even for the same symptom. Therefore, even if the same radiomix technique is applied to heart region data extracted from medical image data of subjects having the same degree of cardiac calcification, generated heart feature data may be different. Accordingly, the system 500 needs to appropriately select features of heart region data and assist diagnosis based on the selected features in order to assist in accurately diagnosing cardiac calcification. Accordingly, the system 500 may additionally build a cardiac calcification prediction model based on at least one of the extracted features.
  • the cardiac calcification prediction model is based on a value obtained by comparing a plurality of calcification results predicted based on at least one of the features included in the cardiac feature data and a coronary artery calcification score (CACS) can be built For example, if the calcification result predicted by considering only the intensity 544 and the texture 546 of the first heart region data is more consistent with CACS than the calcification results predicted by considering other features, then the first heart region data If the second heart region data similar to is extracted, system 500 may consider only intensity 544 and texture 546 to assist in diagnosing cardiac calcification. The system 500 may determine accurate information such as the location and amount of cardiac calcification through a cardiac calcification prediction model.
  • CACS coronary artery calcification score
  • the present invention in order to prevent cardiovascular calcification detection and classification artificial intelligence model from diagnosing cardiac calcification based on unnecessary regions other than the heart, medical images (e.g., : We propose an algorithm optimized for the detection and classification of cardiovascular calcifications in X-ray images).
  • the heart region data extraction model may be referred to as an artificial intelligence segmentation model for heart segmentation, an artificial intelligence segmentation model, or other terms having equivalent technical meaning.
  • 6 illustrates an example of a procedure for assisting diagnosis of calcification of a target organ according to an embodiment of the present invention. 6 illustrates an operating method of a device having computing capability (eg, the service server 110 of FIG. 1 ).
  • the device acquires medical image data.
  • the medical image may be related to at least one of X-rays, ultrasound, computerized tomography (CT), magnetic resonance imaging (MRI), and positron emission tomography (PET).
  • CT computerized tomography
  • MRI magnetic resonance imaging
  • PET positron emission tomography
  • medical image data may be used by the device to predict cardiac calcification.
  • the device may receive medical image data from a data server (eg, the data server 120 of FIG. 1 ) or a client device (eg, the client device 130 of FIG. 1 ).
  • the device extracts data on the region of the target organ based on the medical image data.
  • Data on the region of the target organ is data extracted by filtering medical image data.
  • the device may extract heart region data based on medical image data.
  • the heart region data is data about a heart region extracted by filtering medical image data.
  • the device may filter data other than the heart region based on the subject's medical image data acquired in step S601 and extract data about the remaining heart region.
  • the extracted cardiac region data can be used to assist in the diagnosis of cardiovascular calcification in a subject.
  • the device generates feature data of the target organ by analyzing the data on the region of the target organ extracted in step S603.
  • the feature data of the target organ may be heart feature data obtained by analyzing heart region data.
  • the device may analyze heart region data using a radio mix technique.
  • Radiomix is a technique for extracting features from medical images using a data-characterization algorithm.
  • the device may generate heart feature data by extracting various features of heart region data through a radiomix technique.
  • the feature may include the shape, intensity, and texture of heart region data.
  • the device may selectively use cardiac characteristic data to predict cardiovascular calcification in a subject.
  • the device provides information to assist diagnosis of calcification based on the characteristic data of the target organ.
  • the device may provide information to assist diagnosis of cardiac calcification based on cardiac feature data.
  • the device may provide information indicative of whether or not to detect calcium by detecting calcium in the cardiovascular system of the subject based on heart feature data.
  • the information indicating whether or not to detect may include a plurality of result values obtained by detecting calcareous matter using at least one of feature information included in the heart region data.
  • the device may provide information indicating the degree of calcification by determining the degree of calcification detected.
  • the information indicating the degree of calcification may include a plurality of result values obtained by determining the degree of calcification using at least one of feature information included in the heart region data.
  • the auxiliary information may include information about a result of comparing CACS with at least one of information indicating detection or not and information indicating the degree of calcification.
  • the apparatus performing the procedure of FIG. 6 acquires medical image data using at least one artificial intelligence model, extracts data on a region of a target organ, generates feature data of the target organ, and diagnoses calcification. Information can be provided to assist.
  • the device may analyze data on a region of a target organ using a radio mix technique using at least one artificial intelligence model, and classify features extracted by the analysis.
  • 7 illustrates an example of a procedure for extracting data on a region of a target organ according to an embodiment of the present invention. 7 illustrates an operating method of a device having computing capability (eg, the service server 110 of FIG. 1 ).
  • the device suppresses a region other than the target organ in the medical image data.
  • Suppression is to leave a specific region to be extracted from image data and to filter out regions other than the specific region.
  • Filtering may include removing an area other than a specific area or blurring the area.
  • the device may suppress an area other than the heart in medical image data.
  • the device may suppress image data of a bone portion from medical image data.
  • the device may suppress image data of organs other than the heart and muscles in medical image data.
  • the device segments the region of the target organ in the image data in which regions other than the target organ are suppressed.
  • the device may segment a heart region in image data in which a region other than the heart is suppressed.
  • the device may segment the heart region from suppressed image data using an artificial intelligence model or a machine learning model learned for segmentation.
  • the present invention proposes a radiomix technique as a method for efficiently diagnosing calcification of a target organ by analyzing heart region data extracted from a medical image for each feature.
  • Radiomics is a compound word of “Radiology” meaning radiology and the suffix “-omics” meaning physiology. This is a method of combining and analyzing biomarker data with genetic data based on image information, and it is a method of developing a non-invasive biomarker that can help diagnose and predict the prognosis of a disease.
  • Various characteristics are extracted from the image and fused with genetic information and clinical data of the patient to find useful biomarkers for the patient group based on this, which can be used for disease prevention, early diagnosis, prognosis prediction, and customized treatment.
  • FIG. 8 illustrates a heart region data analysis procedure using radiomix.
  • 8 illustrates an example of a procedure for generating feature data of a target organ by analyzing data on a region of the target organ according to an embodiment of the present invention. 8 illustrates an operating method of a device having computing capability (eg, the service server 110 of FIG. 1 ).
  • the device extracts at least one feature of data of a region of a target organ using a radio mixing technique.
  • the device may extract at least one feature of heart region data.
  • the device may extract radiomix features by using heart region data divided through an artificial intelligence segmentation model as an input value.
  • Feature extraction through radiomix is a process of quantifying various quantitative/statistical characteristics such as shape, signal intensity, and texture of lesions of heart area data using mathematical/statistical techniques.
  • the features extracted using the radio mix technique may include at least one of the features listed in Table 1 below.
  • radiomics features original shape2D Elongation original shape2D MajorAxisLength original shape2D Sphericity original firstorder InterquartileRange original first-order Median original glcm ClusterShade original glcm Correlation original glcm JointEnergy original glcm imc1 original glszm LargeAreaLowGrayLevelEmphasis original glszm SmallAreaLowGrayLevelEmphasis original glszm ZoneVariance original ngtdm Busyness wavelet-LH firstorder Kurtosis wavelet-LH firstorder Mean wavelet-LH firstorder RootMeanSquared wavelet-LH glcm Correlation wavelet-LH glcm Imc1 wavelet-LH glcm Idmn wavelet-LH glcm InverseVariance wavelet-LH glrlm GrayLevelNonUniformityNorm
  • At least one of the radiomix features listed in [Table 1] can be selectively used for calcification diagnosis according to various embodiments of the present invention.
  • the performance or characteristics of calcification diagnosis may vary depending on the selected radiomix features, and an appropriate subset may be selectively used depending on the intention or purpose of implementing the present invention, the target organ to be diagnosed, etc.
  • [Table 1] For a description of the radiomix features exemplified in ], see [Computational Radiomics System to Decode the Radiographic Phenotype. Cancer Res. 2017 Nov 1;77(21):e104-e107] and the contents found on January 7, 2022 in the links included in the above references. Therefore, even if the contents described in the links included in the references are changed later, the description of the Radio Mix features follows the contents found in the links included in the references as of January 7, 2022.
  • the device may build a machine learning-based inference model that identifies features of calcification in the heart region in order to detect cardiac calcification and classify the severity of cardiac calcification based on at least one of the features of the extracted image. Additionally, the device may select key features by ranking various features of the extracted image. The device can develop a machine-learning-based inference model that identifies the calcification characteristics of the heart region based on the selected key features.
  • the device generates feature data of the target organ based on at least one feature.
  • the device may generate heart feature data based on at least one feature.
  • the heart feature data may include information about features extracted from heart region data using a radiomix technique. Cardiac characteristic data is used by the device to provide information to assist in diagnosis of cardiac calcification.
  • the present invention proceeds with machine learning-based coronary artery calcification prediction by using the coronary artery calcification score extracted through coronary artery CT angiography as GT based on the core features extracted from the heart region data of the subject, and the artificial intelligence model can train
  • 9 illustrates an example of a procedure for training an artificial intelligence model for calcification prediction according to an embodiment of the present invention. 9 illustrates an operating method of a device having computing capability (eg, the service server 110 of FIG. 1 ).
  • the device acquires heart region analysis data and coronary artery calcification data for learning.
  • the heart region analysis data includes data obtained by analyzing heart region data extracted from medical images using a radiomix technique.
  • the heart region analysis data to be used as learning may include information about a heart region analysis result of at least one patient with calcification.
  • the heart region analysis data to be used as learning may further include information about a heart region analysis result of a non-calcified patient.
  • Information about the heart region analysis result may include information about the shape, intensity, and texture of the heart region analyzed through the radiomix technique.
  • Coronary artery calcification data includes data on coronary artery calcification scores analyzed in CT images.
  • Data on the coronary artery calcification score may include information on a total coronary artery score, a left main (LM) score, a left anterior descending (LAD) score, a left circumflex (LCX) score, and a right coronary artery (RCA) score.
  • LM left main
  • LAD left anterior descending
  • LCX left circumflex
  • RCA right coronary artery
  • step S903 the device preprocesses the heart analysis data and the coronary artery calcification data and adds labels to generate training data. That is, the device processes cardiac analysis data and coronary artery calcification data into a format usable by an artificial intelligence model, and adds a label.
  • the device performs training using the learning data. That is, the device updates at least one weight by inputting training data to the artificial intelligence model and performing backpropagation based on the prediction result and the label.
  • the device may perform machine learning-based cardiac calcification prediction by using a coronary artery calcification score extracted through coronary artery CT angiography as a GT based on core features extracted from heart region data of the subject. In this case, the device compares the preprocessed heart region analysis data and the coronary artery calcification data to determine the accuracy of the heart region analysis data, and may use the determined result as learning data.
  • 10 illustrates a concept of calcification diagnosis based on an artificial intelligence model according to another embodiment of the present disclosure.
  • 10 illustrates a system for diagnosing cardiac calcification of a subject by extracting heart region data through an artificial intelligence model based on medical image data and analyzing the extracted data using a radiomix technique.
  • the system acquires medical image data of a subject and extracts heart region data from the medical image data.
  • the system analyzes the cardiac region data and diagnoses the subject's cardiac calcifications.
  • the system may obtain medical image data of a subject. Since the image 1010 is a two-dimensional projection image, several organs may be overlapped. Therefore, it is necessary to extract only the heart region from the image 1010 as data in order to prevent calcification from being detected based on an unnecessary region other than the heart and to use the medical image for quantitative evaluation. Therefore, the system extracts heart region data using an artificial intelligence model that divides only the heart region for more accurate prediction of cardiovascular calcification. For example, the system may perform suppression to improve segmentation accuracy of the heart region on the medical image data.
  • Suppression is to leave a specific region to be extracted from image data and to filter out regions other than the specific region.
  • Filtering may include removing an area other than a specific area or blurring the area.
  • the suppression may include the present suppression 1020 . This suppression suppresses the bone region in the medical image data.
  • the system may perform bone suppression, that is, bone suppression, which suppresses a bone region, through trained data.
  • the system may obtain medical image data, compare the obtained medical image data with bone suppressed data in the medical image image, and learn a comparison result.
  • the system may generate soft tissue data in which bones are suppressed from the medical image data that is the object of the suppression through the learning data, and may also remove bone data.
  • the artificial intelligence model can learn the residual error between the predicted bone suppression image and the actual medical image image.
  • the system can extract heart region data through an artificial intelligence segmentation model in order to analyze only the heart region from the suppressed data. Extracting the heart region data may include generating the heart region segmentation mask 1040 .
  • the artificial intelligence segmentation model may segment 1030 the heart region to generate a segmentation mask 1040 of the heart region.
  • the system may perform feature extraction 1050 to generate heart feature data for the extracted heart region data.
  • the system may generate feature data by performing radiomics analysis.
  • the system can generate heart feature data by extracting features such as shape, intensity, texture, and filters from heart region data of a subject through a radiomix analysis technique.
  • the radio mix analysis technique is an example, and feature data may be generated by other analysis techniques according to various embodiments.
  • the system After feature data extraction, the system performs feature selection (1060). For example, the system may select at least some features using the least absolute shrinkage and selection operator (LASSO) regression technique, which is a type of logistic regression.
  • LASSO regression technique is a technique for creating an interpretable model by setting the regression coefficients of unnecessary variables to 0 among various regression techniques.
  • the LASSO regression technique imposes a constraint condition such that the sum of the absolute values of the weights is minimized in addition to the existing linear regression technique that minimizes the mean square error.
  • [Equation 1] below shows an example of the existing linear regression technique
  • [Equation 2] below shows an example of a result of applying constraint conditions.
  • n is the total number of datasets
  • y i is the correct answer value
  • w is a weight
  • b is a bias value
  • ⁇ is a hyperparameter controlling the effect of the penalty
  • m is the number of weights
  • w is the weight
  • n is the total number of datasets
  • y i is the correct answer value
  • the LASSO regression technique finds appropriate weights and biases like a general linear regression technique, while minimizing the sum of the absolute values of the weights (eg, making the weights close to or zero) to reduce the weights of features that are unnecessary for prediction. By setting to 0, it is possible to select features effectively. For example, 11 features among 455 features may be selected, and coefficients for each feature may be determined through the LASSO technique. A weight is assigned to each feature using coefficients, and a radiomics score 1070 for each image may be extracted by a linear combination of the weighted features.
  • the system uses the predictive model 1080 to determine a calcification score.
  • the system may determine a calcification score using clinical information and a radiomix score.
  • predictive model 1080 can be based on a random forest. That is, finally, random forest modeling is performed based on a dataset including age information, gender information, body mass index (BMI) information, and a radiomix score.
  • BMI body mass index
  • effectiveness evaluation may be further performed in addition to the procedure described with reference to FIG. 10 .
  • Validity evaluation is an operation of determining how valid the features selected from the whole are.
  • the validity evaluation is an operation of evaluating each of the selected features using prediction accuracy determined based on a statistical model.
  • the accuracy of prediction means the accuracy of calcification judgment. For example, if a prediction result with higher accuracy is shown compared to a prediction result of a model using only radiomix information and/or a prediction result of a model using only clinical information, the corresponding feature may be evaluated as valid.
  • validity evaluation may be performed after feature selection (1060).
  • a prediction result of a first model using only clinical information and a prediction result of a second model using clinical information and radiomix information corresponding to the selected feature are compared, and if the prediction accuracy of the second model is higher, the selected feature can be evaluated as valid.
  • 11 illustrates an example of a procedure for assisting diagnosis of calcification of a target organ according to another embodiment of the present disclosure. 11 illustrates an operating method of a device having computing capability (eg, the service server 110 of FIG. 1 ).
  • the device acquires medical image data.
  • the medical image may relate to at least one of X-rays, ultrasound, CT, MRI, and PET.
  • medical image data may be used by the device to predict cardiac calcification.
  • the device may receive medical image data from a data server (eg, the data server 120 of FIG. 1 ) or a client device (eg, the client device 130 of FIG. 1 ).
  • the device suppresses a region other than the target organ in the medical image data.
  • Suppression is to leave a specific region to be extracted from image data and to filter out regions other than the specific region.
  • Filtering may include at least one of removing an area other than a specific area and blurring the area.
  • the device may suppress a region other than the heart in the medical image data.
  • the device may suppress a part of image data corresponding to a bone portion excluding the heart from the medical image data.
  • the device may suppress a part of image data corresponding to an organ other than the heart and a muscle part in the medical image data.
  • the device segments the target organ region in the medical image data.
  • the device segments the region of the target organ in the image data in which regions other than the target organ are suppressed.
  • the device may segment the heart region in image data in which regions other than the heart are suppressed.
  • the device may segment the heart region from suppressed image data using an artificial intelligence model or a machine learning model learned for segmentation.
  • the device extracts features.
  • the device extracts specific information including a plurality of features from the segmented target organ region.
  • the device extracts at least one feature of data of a region of a target organ using a radio mix technique.
  • the device may extract at least one feature of heart region data.
  • the device may extract radiomix features by using heart region data divided through an artificial intelligence segmentation model as an input value.
  • Feature extraction through radiomix is a process of quantifying various quantitative/statistical characteristics such as shape, signal intensity, and texture of lesions of heart area data using mathematical/statistical techniques.
  • the features extracted using the radio mix technique may include at least one of the features listed in Table 1 below.
  • the device determines a radio mix score. Specifically, the device may select some of the features extracted in step S1107 and determine the Radiomix score by linearly combining the selected features with weights. In this case, weights for each feature may be determined based on the LASSO technique. According to an embodiment, feature selection and weight determination using the LASSO technique may be performed in advance. In this case, the device may check some features according to a predefined rule and perform linear combination of the checked features with weights. there is.
  • the device may determine auxiliary diagnosis information using a random forest model.
  • the device may use the subject's clinical information and Radiomix score.
  • diagnostic auxiliary information may include a calcification score determined based on clinical information and a radiomix score.
  • the device may obtain auxiliary diagnosis information for determining whether or not to detect cardiovascular calcium in the subject based on the heart feature data.
  • the diagnostic auxiliary information may include information about a result of comparing CACS with at least one of information indicating detection or not and information indicating the degree of calcification.
  • radiomics features original firstorder InterquartileRange original firstorder Skewness original gldm DependenceVariance original gldm LargeDependenceLowGrayLevelEmphasis original gldm SmallDependenceLowGrayLevelEmphasis wavelet-LH glcm Idn wavelet-LHglcm MaximumProbability wavelet-HL firstorder 10Percentile wavelet-HL glcm ClusterShade wavelet-HH gldm DependenceVariation wavelet-LL glcm Imc2
  • Radiomix score For the features selected as shown in [Table 2], weights determined according to the LASSO regression technique are assigned, and when linear combination is performed, a Radiomix score is determined. For example, an example of a Radio Mix score is as shown in [Equation 3] below.
  • the performance of the calcification diagnosis technique as shown in FIG. 10 is as follows. As a comparative technique to confirm performance, a diagnostic model using only clinical information was used. Performance comparison is shown in [Table 3] and FIG. 12 below.
  • FIG. 12 illustrates a validation result according to a 10-fold cross-validation method for a calcification diagnosis technique according to an embodiment of the present invention.
  • the CF-RS model which is the proposed technology, shows a higher area under the curve (AUC) than the CF model using only clinical information.
  • the system may provide information to assist in diagnosing a subject's calcification using an artificial intelligence model.
  • the system may provide information indicating whether or not to detect limescale of the target person and information indicating the degree of the detected limescale.
  • Artificial intelligence models to assist diagnosis of calcifications can be designed in various ways.
  • Exemplary methods of the present invention are presented as a series of operations for clarity of explanation, but this is not intended to limit the order in which steps are performed, and each step may be performed concurrently or in a different order, if desired.
  • other steps may be included in addition to the exemplified steps, other steps may be included except for some steps, or additional other steps may be included except for some steps.
  • various embodiments of the present invention may be implemented by hardware, firmware, software, or a combination thereof.
  • ASICs application specific integrated circuits
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable logic devices
  • FPGAs field programmable gate arrays
  • ASICs application specific integrated circuits
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable logic devices
  • FPGAs field programmable gate arrays
  • It may be implemented by a processor (general processor), controller, microcontroller, microprocessor, or the like.
  • the scope of the present invention is software or machine-executable instructions (eg, operating systems, applications, firmware, programs, etc.) that cause operations according to methods of various embodiments to be executed on a device or computer, and such software or It includes a non-transitory computer-readable medium in which instructions and the like are stored and executable on a device or computer.

Abstract

The objective of the present invention is to assist in the diagnosis of calcification on the basis of an artificial intelligence model, and a method for assisting in the diagnosis of calcification may comprise the steps of: obtaining medical image data of a subject; extracting data on a region of a target organ on the basis of the medical image data; generating feature data of the target organ by analyzing the data of the region of the target organ; and providing information for assisting in the diagnosis of calcification of the target organ on the basis of the feature data of the target organ.

Description

인공지능 모델에 기반하여 석회화에 대한 진단을 보조하기 위한 방법 및 장치Method and device for assisting diagnosis of calcification based on artificial intelligence model
본 발명은 인공지능(artificial intelligence, AI) 알고리즘에 기반하여 석회화에 대한 진단을 보조하기 위한 방법 및 장치에 대한 것이다.The present invention relates to a method and apparatus for assisting diagnosis of calcification based on an artificial intelligence (AI) algorithm.
질병은 인간의 심신에 장애를 일으켜서 정상적인 기능을 저해하는 상태를 의미하는 것으로, 질병에 따라 인간은 고통을 받고 심지어 생을 유지하지 못할 수 있다. 따라서, 질병을 진단하고, 치료하고 나아가 예방하기 위한 다양한 사회적 시스템 및 기술들이 인류의 역사와 함께 발전해왔다. 질병의 진단 및 치료에 있어서, 기술의 눈부신 발전에 따라 다양한 도구들 및 방식들이 개발되어 왔지만, 아직까지, 종국적으로는 의사의 판단에 의존하고 있는 현실이다.A disease refers to a condition that impairs normal functions by causing physical and mental disorders in humans. Accordingly, various social systems and technologies for diagnosing, treating, and even preventing diseases have developed along with human history. In the diagnosis and treatment of diseases, various tools and methods have been developed according to the remarkable development of technology, but it is still a reality that ultimately depends on the judgment of a doctor.
한편, 최근 인공지능(artificial intelligence, AI) 기술이 크게 발전하면서 다양한 분야에서 주목되고 있다. 특히, 방대한 양의 누적된 의료 데이터와, 이미지 위주의 진단 데이터 등의 환경으로 인해, 의료 분야에 인공지능 알고리즘을 접목하려는 다양한 시도와 연구가 진행 중이다. 구체적으로, 질병을 진단, 예측하는 등 종래의 임상적 판단에 머물러 있던 작업들을 인공지능 알고리즘을 이용하여 해결하려는 다양한 연구가 이루어지고 있다.On the other hand, as artificial intelligence (AI) technology has recently developed significantly, it is attracting attention in various fields. In particular, due to the environment of vast amounts of accumulated medical data and image-oriented diagnostic data, various attempts and studies are underway to incorporate artificial intelligence algorithms into the medical field. Specifically, various studies are being conducted to solve tasks that have remained in conventional clinical judgment, such as diagnosing and predicting diseases, using artificial intelligence algorithms.
본 발명은 대상자의 석회화를 효과적으로 진단하기 위한 방법 및 장치를 제공하기 위한 것이다.The present invention is to provide a method and apparatus for effectively diagnosing calcification in a subject.
본 발명은 대상자의 검출된 석회질의 정도를 판단하기 위한 방법 및 장치를 제공하기 위한 것이다.An object of the present invention is to provide a method and apparatus for determining the degree of calculus detected in a subject.
본 발명은 대상자의 의료 영상에서 서프레션(suppression) 및 세그멘테이션(segmentation) 중 적어도 하나를 이용하여 대상(target) 장기의 영역에 대한 데이터를 추출하기 위한 방법 및 장치를 제공하기 위한 것이다.An object of the present invention is to provide a method and apparatus for extracting data on a region of a target organ using at least one of suppression and segmentation in a medical image of a subject.
본 발명은 대상(target) 장기의 영역에 대한 데이터를 라디오믹스 기법을 이용하여 분석하기 위한 방법 및 장치를 제공하기 위한 것이다.An object of the present invention is to provide a method and apparatus for analyzing data on a region of a target organ using a radiomix technique.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The technical problems to be achieved in the present invention are not limited to the technical problems mentioned above, and other technical problems not mentioned will be clearly understood by those skilled in the art from the description below. You will be able to.
본 발명의 일 실시 예에 따른 인공지능 모델에 기반하여 석회화에 대한 진단을 보조하기 위한 방법은, 대상자의 의료 영상 데이터를 획득하는 단계, 상기 의료 영상 데이터를 기반으로 대상(target) 장기의 영역에 대한 데이터를 추출하는 단계, 상기 대상 장기의 영역에 대한 데이터를 분석함으로써 상기 대상 장기의 특징(feature) 데이터를 생성하는 단계, 및 상기 대상 장기의 특징 데이터에 기반하여 상기 대상 장기의 석회화에 대한 진단을 보조하기 위한 정보를 제공하는 단계를 포함할 수 있다.A method for assisting in diagnosis of calcification based on an artificial intelligence model according to an embodiment of the present invention includes acquiring medical image data of a subject, and applying the medical image data to a region of a target organ based on the medical image data. extracting data on the target organ, generating feature data of the target organ by analyzing data on the region of the target organ, and diagnosing calcification of the target organ based on the feature data of the target organ. It may include providing information to assist.
본 발명의 일 실시 예에 따르면, 상기 의료 영상 데이터는, 대상자의 엑스레이, 초음파, CT(computerized tomography), MRI(magnetic resonance imaging), PET(positron emission tomography) 영상 데이터 중 적어도 하나를 포함할 수 있다.According to an embodiment of the present invention, the medical image data may include at least one of X-ray, ultrasound, computerized tomography (CT), magnetic resonance imaging (MRI), and positron emission tomography (PET) image data of the subject. .
본 발명의 일 실시 예에 따르면, 상기 대상 장기의 영역에 대한 데이터를 추출하는 단계는, 대상 장기 외 영역을 서프레션(suppression)하는 단계, 및 대상 장기의 영역을 세그맨테이션(segmentation)하는 단계를 포함할 수 있다.According to an embodiment of the present invention, the extracting of the data on the region of the target organ may include suppressing a region other than the target organ and segmenting the region of the target organ. can include
본 발명의 일 실시 예에 따르면, 상기 대상 장기의 영역에 대한 데이터를 분석함으로써 상기 대상 장기의 특징 데이터를 생성하는 단계는, 라디오믹스(radiomics) 기법을 이용하여 상기 대상 장기의 영역에 대한 데이터의 적어도 하나의 특징(feature)을 추출하는 단계, 및 상기 적어도 하나의 특징을 기반으로 상기 대상 장기의 특징 데이터를 생성하는 단계를 포함할 수 있다.According to an embodiment of the present invention, the generating of the characteristic data of the target organ by analyzing the data of the region of the target organ may include generating the data of the region of the target organ using a radiomics technique. The method may include extracting at least one feature, and generating feature data of the target organ based on the at least one feature.
본 발명의 일 실시 예에 따르면, 상기 석회화에 대한 진단을 보조하기 위한 정보는, 대상자의 상기 대상 장기의 석회질을 검출함으로써 석회질 검출 여부를 지시하는 정보 및 대상자의 검출된 상기 대상 장기의 석회질 정도를 판단함으로써 석회화 정도를 지시하는 정보 중 적어도 하나를 포함할 수 있다.According to an embodiment of the present invention, the information for assisting in the diagnosis of calcification includes information indicative of whether or not to detect limescale by detecting calcium in the target organ of the subject and the degree of calcification in the detected target organ of the subject. It may include at least one of information indicating the degree of calcification by determining.
본 발명의 일 실시 예에 따르면, 상기 대상 장기는, 복부의 장기, 흉부의 장기, 요추, 경추, 뇌, 간, 폐, 신장, 부신관절, 혈관 중 적어도 하나를 포함할 수 있다.According to an embodiment of the present invention, the target organ may include at least one of an abdominal organ, a thoracic organ, a lumbar spine, a cervical spine, a brain, a liver, a lung, a kidney, an adrenal joint, and a blood vessel.
본 발명의 일 실시 예에 따르면, 상기 석회화에 대한 진단을 보조하기 위한 정보는, 상기 특징 데이터에 포함되는 복수의 특징들 중 로지스틱 회귀 분석(logistic regression)에 의해 선택된 일부 특징들에 기반하여 생성될 수 있다.According to an embodiment of the present invention, the information to assist in diagnosing the calcification may be generated based on some features selected by logistic regression from among a plurality of features included in the feature data. can
본 발명의 일 실시 예에 따르면, 상기 로지스틱 회귀 분석은, LASSO(the least absolute shrinkage and selection operator) 회귀 분석(regression)을 포함할 수 있다.According to an embodiment of the present invention, the logistic regression analysis may include the least absolute shrinkage and selection operator (LASSO) regression analysis.
본 발명의 일 실시 예에 따르면, 상기 석회화에 대한 진단을 보조하기 위한 정보는, 상기 선택된 일부 특징들을 가중치 선형 결합함으로써 결정되는 라디오믹스 스코어(radiomics score)에 기반하여 생성될 수 있다.According to an embodiment of the present invention, the information to assist diagnosis of the calcification may be generated based on a radiomics score determined by linearly combining the selected features with weights.
본 발명의 일 실시 예에 따르면, 상기 석회화에 대한 진단을 보조하기 위한 정보는, 상기 라디오믹스 스코어 및 임상 정보에 기반하여, 랜덤 포레스트(random forest) 모델에 의해 생성되고, 상기 임상 정보는, 나이, 성별, BMI(body mass index) 중 적어도 하나를 포함할 수 있다.According to an embodiment of the present invention, the information to assist in diagnosing the calcification is generated by a random forest model based on the radiomix score and clinical information, and the clinical information includes: , gender, and body mass index (BMI).
본 발명의 일 실시 예에 따른 매체에 저장된 프로그램은, 프로세서에 의해 동작되면 전술한 방법을 실행할 수 있다.A program stored in a medium according to an embodiment of the present invention may execute the above-described method when operated by a processor.
본 발명의 일 실시 예에 따른 인공지능 모델에 기반하여 석회화에 대한 진단을 보조하기 위한 장치는, 송수신부, 인공지능 모델을 저장하는 저장부, 및 상기 송수신부 및 상기 저장부와 연결된 적어도 하나의 프로세서를 포함하며, 상기 적어도 하나의 프로세서는, 대상자의 의료 영상 데이터를 획득하고, 상기 의료 영상 데이터를 기반으로 대상(target) 장기의 영역에 대한 데이터를 추출하고, 상기 대상 장기의 영역에 대한 데이터를 분석함으로써 상기 대상 장기의 특징(feature) 데이터를 생성하고, 상기 대상 장기의 특징 데이터에 기반하여 상기 대상 장기의 석회화에 대한 진단을 보조하기 위한 정보를 제공하도록 제어할 수 있다.An apparatus for assisting diagnosis of calcification based on an artificial intelligence model according to an embodiment of the present invention includes a transceiver, a storage unit for storing the artificial intelligence model, and at least one connected to the transceiver and the storage unit. and a processor, wherein the at least one processor obtains medical image data of the subject, extracts data about a region of a target organ based on the medical image data, and extracts data about a region of a target organ. By analyzing the target organ, feature data of the target organ may be generated, and information for assisting diagnosis of calcification of the target organ may be provided based on the feature data of the target organ.
본 발명에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 발명의 상세한 설명의 예시적인 양상일 뿐이며, 본 발명의 범위를 제한하는 것은 아니다.The features briefly summarized above with respect to the present invention are only exemplary aspects of the detailed description of the present invention that follows, and do not limit the scope of the present invention.
본 발명에 따르면, 학습된 인공지능 모델을 이용하여 대상 장기의 석회화가 효과적으로 진단될 수 있다.According to the present invention, calcification of a target organ can be effectively diagnosed using a learned artificial intelligence model.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The effects obtainable in the present invention are not limited to the effects mentioned above, and other effects not mentioned can be clearly understood by those skilled in the art from the description below. will be.
도 1은 본 발명의 일 실시 예에 따른 시스템을 도시한다.1 shows a system according to one embodiment of the present invention.
도 2는 본 발명의 일 실시 예에 따른 장치의 구조를 도시한다.2 shows the structure of a device according to an embodiment of the present invention.
도 3은 본 발명에 적용 가능한 인공지능 모델을 구성하는 퍼셉트론(perceptron)의 예를 도시한다.3 shows an example of a perceptron constituting an artificial intelligence model applicable to the present invention.
도 4는 본 발명에 적용 가능한 인공지능 모델을 구성하는 인공 신경망의 예를 도시한다.4 shows an example of an artificial neural network constituting an artificial intelligence model applicable to the present invention.
도 5는 본 개시의 일 실시 예에 따른 인공지능 모델에 기반한 석회화 진단의 개념을 도시한다. 5 illustrates a concept of calcification diagnosis based on an artificial intelligence model according to an embodiment of the present disclosure.
도 6은 본 발명의 일 실시 예에 따른 대상 장기의 석회화에 대한 진단을 보조하기 위한 절차의 예를 도시한다. 6 illustrates an example of a procedure for assisting diagnosis of calcification of a target organ according to an embodiment of the present invention.
도 7은 본 발명의 일 실시 예에 따른 대상 장기의 영역에 대한 데이터를 추출하는 절차의 예를 도시한다.7 illustrates an example of a procedure for extracting data on a region of a target organ according to an embodiment of the present invention.
도 8은 본 발명의 일 실시 예에 따른 대상 장기의 영역데 대한 데이터를 분석함으로써 대상 장기의 특징 데이터를 생성하는 절차의 예를 도시한다.8 illustrates an example of a procedure for generating feature data of a target organ by analyzing data for a region of the target organ according to an embodiment of the present invention.
도 9는 본 발명의 일 실시 예에 따른 석회화 예측을 위한 인공지능 모델을 훈련하는 절차의 예를 도시한다.9 illustrates an example of a procedure for training an artificial intelligence model for calcification prediction according to an embodiment of the present invention.
도 10은 본 개시의 다른 실시 예에 따른 인공지능 모델에 기반한 석회화 진단의 개념을 도시한다. 10 illustrates a concept of calcification diagnosis based on an artificial intelligence model according to another embodiment of the present disclosure.
도 11은 본 개시의 다른 실시 예에 따른 대상 장기의 석회화에 대한 진단을 보조하기 위한 절차의 예를 도시한다. 11 illustrates an example of a procedure for assisting diagnosis of calcification of a target organ according to another embodiment of the present disclosure.
도 12은 본 발명의 일 실시 예에 따른 석회화 진단 기법에 대한 10-폴드 교차 검증 방식에 따른 검증(validation) 결과를 도시한다.12 illustrates a validation result according to a 10-fold cross-validation method for a calcification diagnosis technique according to an embodiment of the present invention.
이하에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. Hereinafter, with reference to the accompanying drawings, embodiments of the present invention will be described in detail so that those skilled in the art can easily carry out the present invention. However, the present invention may be embodied in many different forms and is not limited to the embodiments described herein.
본 발명의 실시 예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 발명에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.In describing the embodiments of the present invention, if it is determined that a detailed description of a known configuration or function may obscure the gist of the present invention, a detailed description thereof will be omitted. And, in the drawings, parts not related to the description of the present invention are omitted, and similar reference numerals are attached to similar parts.
본 발명은 인공지능 모델에 기반하여 인체의 장기에 대한 석회화 진단을 보조하기 위한 것으로, 구체적으로 대상자의 의료 영상 데이터에 기반하여 인공지능을 이용하여 대상(target) 장기의 영역에 대한 데이터를 추출하고, 추출한 대상 장기의 영역에 대한 데이터를 인공지능을 통해 분석함으로써 대상자의 대상 장기의 석회질을 검출하고 석회화 정도를 판단하는 것을 보조하는 기술에 관한 것이다.The present invention is to assist diagnosis of calcification of organs of the human body based on an artificial intelligence model. , It relates to a technology that assists in detecting calcification and determining the degree of calcification in a subject's target organ by analyzing data on the region of the target organ extracted through artificial intelligence.
도 1은 본 발명의 일 실시 예에 따른 시스템을 도시한다.1 shows a system according to one embodiment of the present invention.
도 1을 참고하면, 시스템은 서비스 서버(110), 데이터 서버(120), 적어도 하나의 클라이언트 장치(130)를 포함한다. Referring to FIG. 1 , the system includes a service server 110 , a data server 120 , and at least one client device 130 .
서비스 서버(110)는 인공지능 모델 기반의 서비스를 제공한다. 즉, 서비스 서버(110)는 인공지능 모델을 이용하여 학습 및 예측 동작을 수행한다. 서비스 서버(110)는 네트워크를 통해 데이터 서버(120) 또는 적어도 하나의 클라이언트 장치(130)와 통신을 수행할 수 있다. 예를 들어, 서비스 서버(110)는 데이터 서버(120)로부터 인공지능 모델을 훈련하기 위한 학습 데이터를 수신하고, 훈련을 수행할 수 있다. 서비스 서버(110)는 적어도 하나의 클라이언트 장치(130)로부터 학습 및 예측(prediction) 동작에 필요한 데이터를 수신할 수 있다. 또한, 서비스 서버(110)는 적어도 하나의 클라이언트 장치(130)에게 예측 결과에 대한 정보를 송신할 수 있다. The service server 110 provides a service based on an artificial intelligence model. That is, the service server 110 performs learning and prediction operations using an artificial intelligence model. The service server 110 may communicate with the data server 120 or at least one client device 130 through a network. For example, the service server 110 may receive training data for training an artificial intelligence model from the data server 120 and perform training. The service server 110 may receive data necessary for learning and prediction operations from at least one client device 130 . In addition, the service server 110 may transmit information about a prediction result to at least one client device 130 .
데이터 서버(120)는 서비스 서버(110)에 저장된 인공지능 모델의 훈련을 위한 학습 데이터를 제공한다. 다양한 실시 예들에 따라, 데이터 서버(120)는 누구나 접근 가능한 공공 데이터를 제공하거나 또는 허가를 필요로 하는 데이터를 제공할 수 있다. 필요에 따라, 학습 데이터는 데이터 서버(120)에 의해 또는 서비스 서버(120)에 의해 전처리할 수 있다. 다른 실시 예에 따라, 데이터 서버(120)는 생략될 수 있다. 이 경우, 서비스 서버(110)는 외부에서 훈련된 인공지능 모델을 사용하거나 또는 서비스 서버(110)에 오프라인으로 학습 데이터가 제공될 수 있다.The data server 120 provides learning data for training of the artificial intelligence model stored in the service server 110 . According to various embodiments, the data server 120 may provide public data accessible to anyone or data requiring permission. If necessary, the learning data may be pre-processed by the data server 120 or the service server 120 . According to another embodiment, the data server 120 may be omitted. In this case, the service server 110 may use an artificial intelligence model trained externally, or training data may be provided to the service server 110 offline.
적어도 하나의 클라이언트 장치(130)는 서비스 서버(110)에 의해 운용되는 인공지능 모델에 관련된 데이터를 서비스 서버(110)와 송신 및 수신한다. 적어도 하나의 클라이언트 장치(130)는 사용자에 의해 사용되는 장비이며, 사용자에 의해 입력되는 정보를 서비스 서버(110)에게 송신하고, 서비스 서버(110)로부터 수신되는 정보를 저장하거나 사용자에게 제공(예: 표시)할 수 있다. 경우에 따라, 어느 하나의 클라이언트로부터 송신된 데이터에 기반하여 예측 동작이 수행되고, 예측의 결과에 관련된 정보가 다른 클라이언트에게 제공될 수 있다. 적어도 하나의 클라이언트 장치(130)는 데스크탑 컴퓨터, 랩탑 컴퓨터, 스마트폰, 타블렛, 웨어러블 기기 등 다양한 형태의 컴퓨팅 장치일 수 있다.At least one client device 130 transmits and receives data related to the artificial intelligence model operated by the service server 110 to and from the service server 110 . At least one client device 130 is a device used by a user, transmits information input by the user to the service server 110, stores information received from the service server 110, or provides it to the user (e.g. : mark) can be done. In some cases, a prediction operation may be performed based on data transmitted from one client, and information related to a prediction result may be provided to another client. The at least one client device 130 may be various types of computing devices such as a desktop computer, a laptop computer, a smart phone, a tablet, and a wearable device.
도 1에 도시되지 아니하였으나, 시스템은 서비스 서버(110)를 관리하기 위한 관리 장치를 더 포함할 수 있다. 관리 장치는 서비스를 관리하는 주체에 의해 사용되는 장치로서, 서비스 서버(110)의 상태를 모니터링하거나, 서비스 서버(110)의 설정을 제어한다. 관리 장치는 네트워크를 통해 서비스 서버(110)에 접속하거나 또는 케이블 연결을 통해 직접 연결될 수 있다. 관리 장치의 제어에 따라, 서비스 서버(110)는 동작을 위한 파라미터를 설정할 수 있다.Although not shown in FIG. 1 , the system may further include a management device for managing the service server 110 . The management device is a device used by a subject who manages a service, and monitors a state of the service server 110 or controls settings of the service server 110 . The management device may access the service server 110 through a network or may be directly connected through a cable connection. Under the control of the management device, the service server 110 may set parameters for operation.
도 1을 참고하여 설명한 바와 같이, 서비스 서버(110), 데이터 서버(120), 적어도 하나의 클라이언트 장치(130), 관리 장치 등이 네트워크를 통해 연결되고, 상호작용할 수 있다. 여기서, 네트워크는 유선 네트워크 및 무선 네트워크 중 적어도 하나를 포함할 수 있고, 셀룰러 네트워크, 근거리 네트워크, 광역 네트워크 중 어느 하나 또는 둘 이상의 조합으로 이루어질 수 있다. 예를 들어, 네트워크는 LAN(local area network), WLAN(wireless LAN), 블루투스(bluetooth), LTE(long term evolution), LTE-A(LTE-advanced), 5G(5th generation) 중 적어도 하나에 기반하여 구현될 수 있다.As described with reference to FIG. 1 , a service server 110 , a data server 120 , at least one client device 130 , a management device, and the like may be connected through a network and interact with each other. Here, the network may include at least one of a wired network and a wireless network, and may include any one or a combination of two or more of a cellular network, a local area network, and a wide area network. For example, the network is based on at least one of a local area network (LAN), a wireless LAN (WLAN), bluetooth, long term evolution (LTE), LTE-advanced (LTE-A), and 5th generation (5G) can be implemented.
도 2는 본 발명의 일 실시 예에 따른 장치의 구조를 도시한다. 도 2에 예시된 구조는 도 1의 서비스 서버(110), 데이터 서버(120), 적어도 하나의 클라이언트 장치(130)의 구조로 이해될 수 있다.2 shows the structure of a device according to an embodiment of the present invention. The structure illustrated in FIG. 2 may be understood as a structure of the service server 110 , the data server 120 , and at least one client device 130 of FIG. 1 .
도 2를 참고하면, 장치는, 통신부(210), 저장부(220), 제어부(230)를 포함한다.Referring to FIG. 2 , the device includes a communication unit 210, a storage unit 220, and a control unit 230.
통신부(210)는 네트워크에 접속하고, 다른 장치와 통신을 수행하기 위한 기능을 수행한다. 통신부(210)는 유선 통신 및 무선 통신 중 적어도 하나를 지원할 수 있다. 통신을 위해, 통신부(210)는 RF(radio frequency) 처리 회로, 디지털 데이터 처리 회로 중 적어도 하나를 포함할 수 있다. 경우에 따라, 통신부(210)는 케이블을 연결하기 위한 단자를 포함하는 구성요소로 이해될 수 있다. 통신부(210)는 데이터, 신호를 송신 및 수신하기 위한 구성요소이므로, '송수신부(transceiver)'라 지칭될 수 있다.The communication unit 210 performs functions for accessing a network and communicating with other devices. The communication unit 210 may support at least one of wired communication and wireless communication. For communication, the communication unit 210 may include at least one of a radio frequency (RF) processing circuit and a digital data processing circuit. In some cases, the communication unit 210 may be understood as a component including a terminal for connecting a cable. Since the communication unit 210 is a component for transmitting and receiving data and signals, it may be referred to as a 'transceiver'.
저장부(220)는 장치의 동작을 위해 필요한 데이터, 프로그램, 마이크로 코드, 명령어 집합, 어플리케이션 등을 저장한다. 저장부(220)는 일시적 또는 비일시적 저장 매체로 구현될 수 있다. 또한, 저장부(220)는 장치에 고정되어 있거나, 또는 분리 가능한 형태로 구현될 수 있다. 예를 들어, 저장부(220)는 콤팩트 플래시(compact flash, CF) 카드, SD(secure digital) 카드, 메모리 스틱(memory stick), 솔리드 스테이트 드라이브(solid-state drive; SSD) 및 마이크로(micro) SD 카드 등과 같은 낸드 플래시 메모리(NAND flash memory), 하드 디스크 드라이브(hard disk drive; HDD) 등과 같은 마그네틱 컴퓨터 기억 장치 중 적어도 하나로 구현될 수 있다.The storage unit 220 stores data, programs, microcodes, command sets, applications, and the like necessary for the operation of the device. The storage unit 220 may be implemented as a temporary or non-transitory storage medium. Also, the storage unit 220 may be fixed to the device or implemented in a detachable form. For example, the storage unit 220 may include a compact flash (CF) card, a secure digital (SD) card, a memory stick, a solid-state drive (SSD), and a microSD card. It may be implemented as at least one of a NAND flash memory such as an SD card and a magnetic computer storage device such as a hard disk drive (HDD).
제어부(230)는 장치의 전반적인 동작을 제어한다. 이를 위해, 제어부(230)는 적어도 하나의 프로세서, 적어도 하나의 마이크로 프로세서 등을 포함할 수 있다. 제어부(230)는 저장부(220)에 저장된 프로그램을 실행하고, 통신부(210)를 통해 네트워크에 접속할 수 있다. 특히, 제어부(230)는 후술하는 다양한 실시 예들에 따른 알고리즘들을 수행하고, 후술하는 실시 예들에 따라 장치가 동작하도록 제어할 수 있다.The controller 230 controls the overall operation of the device. To this end, the controller 230 may include at least one processor or at least one microprocessor. The controller 230 may execute a program stored in the storage 220 and access a network through the communication unit 210 . In particular, the controller 230 may perform algorithms according to various embodiments described later and control the device to operate according to embodiments described later.
도 1 및 도 2를 참고하여 설명한 구조에 기반하여, 본 발명의 다양한 실시 예들에 따른 인공지능 알고리즘 기반의 서비스가 제공될 수 있다. 여기서, 인공지능 알고리즘을 구현하기 위해 인공 신경망으로 이루어진 인공지능 모델이 사용될 수 있다. 인공 신경망의 구성 단위인 퍼셉트론(perceptron) 및 인공 신경망의 개념은 다음과 같다.Based on the structure described with reference to FIGS. 1 and 2 , an artificial intelligence algorithm-based service according to various embodiments of the present invention may be provided. Here, an artificial intelligence model made of an artificial neural network may be used to implement an artificial intelligence algorithm. The concept of a perceptron, which is a unit of artificial neural networks, and artificial neural networks are as follows.
퍼셉트론은 생물의 신경 세포를 모델링한 것으로서, 다수의 신호들을 입력으로 삼아 하나의 신호를 출력하는 구조를 가진다. 도 3은 본 발명에 적용 가능한 인공지능 모델을 구성하는 퍼셉트론의 예를 도시한다. 도 3을 참고하면, 퍼셉트론은 입력 값들(예: x1, x2, x3, …, xn) 각각에 대하여 가중치들(302-1 내지 302-n)(예: w1j, w2j, w3j, …, wnj)을 곱한 후, 가중치 곱해진(weighted) 입력 값들을 변환 함수(transfer function)(304)을 이용하여 합산한다. 합산 과정에서, 바이어스(bias) 값(예: bk)이 더해질 수 있다. 퍼셉트론은 변환 함수(304)의 출력인 네트(net) 입력 값(예: netj)에 대하여 활성 함수(activation function)(306)을 적용함으로써, 출력 값(예: oj)를 생성한다. 경우에 따라, 활성 함수(306)은 임계치(예: θj)에 기반하여 동작할 수 있다. 활성 함수는 다양하게 정의될 수 있다. 본 발명이 이에 제한되는 것은 아니나, 예를 들어, 활성 함수로서, 스텝 함수(step function), 시그모이드(sigmoid), Relu, Tanh 등이 사용될 수 있다.Perceptron is a model of a living organism's nerve cell, and has a structure that outputs one signal by taking multiple signals as input. 3 shows an example of a perceptron constituting an artificial intelligence model applicable to the present invention. Referring to FIG. 3 , the perceptron sets weights 302-1 to 302- n ( eg, w 1j , w 2j , After multiplying w 3j , ..., w nj ), the weighted input values are summed using a transfer function 304 . During the summation process, a bias value (eg, b k ) may be added. The perceptron generates an output value (eg, o j ) by applying an activation function 306 to a net input value (eg, net j ) that is an output of the conversion function 304 . In some cases, the activation function 306 may operate based on a threshold value (eg, θ j ). The activation function may be defined in various ways. Although the present invention is not limited thereto, for example, as an activation function, a step function, sigmoid, Relu, Tanh, etc. may be used.
도 3와 같은 퍼셉트론들이 나열되고, 레이어를 이룸으로써 인공 신경망이 설계될 수 있다. 도 4는 본 발명에 적용 가능한 인공지능 모델을 구성하는 인공 신경망의 예를 도시한다. 도 4에서, 원으로 표현된 각 노드는 도 3의 퍼셉트론으로 이해될 수 있다. 도 4를 참고하면, 인공 신경망은 입력 레이어(input layer)(402), 복수의 은닉 레이어(hidden layer)들(404a, 404b), 출력 레이어(output layer)(406)를 포함한다. An artificial neural network can be designed by arranging perceptrons as shown in FIG. 3 and forming layers. 4 shows an example of an artificial neural network constituting an artificial intelligence model applicable to the present invention. In FIG. 4 , each node represented by a circle can be understood as the perceptron of FIG. 3 . Referring to FIG. 4 , the artificial neural network includes an input layer 402, a plurality of hidden layers 404a and 404b, and an output layer 406.
예측을 수행하는 경우, 입력 레이어(402)의 각 노드로 입력 데이터가 제공되면, 입력 데이터는 입력 레이어(402), 은닉 레이어들(404a, 404b)을 이루는 퍼셉트론들에 의한 가중치 적용, 변환 함수 연산 및 활성 함수 연산 등을 거쳐 출력 레이어(406)까지 순전파(forward propagation)된다. 반대로, 훈련을 수행하는 경우, 출력 레이어(406)로부터 입력 레이어(402)를 향한 역전파(backward propagation)를 통해 오차가 계산되고, 계산된 오차에 따라 각 퍼셉트론에 정의된 가중치 값들이 갱신될 수 있다.When performing prediction, when input data is provided to each node of the input layer 402, the input data is weighted by the perceptrons constituting the input layer 402 and the hidden layers 404a and 404b, and transform function calculation And forward propagation to the output layer 406 through activation function calculation and the like. Conversely, when training is performed, an error is calculated through backward propagation from the output layer 406 toward the input layer 402, and weight values defined in each perceptron may be updated according to the calculated error. there is.
석회화는 혈관 내벽에 칼슘이 축적됨으로써 플라크(plaque)가 형성되는 것이다. 혈관의 석회화가 진행되면 혈관이 협착되어 여러 질환을 야기할 수 있다. 따라서 대상자의 인체 장기(예: 복부 장기, 흉부 장기, 요추, 경추, 뇌, 간, 폐, 신장, 부신관절, 혈관)의 석회화를 검출하고 석회화 정도를 판단함으로써 혈관질환을 검출할 수 있다. 따라서 본 발명은, 환자의 의료 영상 데이터를 분석하여 환자의 대상 장기들의 석회화를 검출 및 분석함으로써 혈관질환을 검출할 수 있는 기술을 제안한다. Calcification is the formation of plaque by the accumulation of calcium in the inner wall of blood vessels. When calcification of blood vessels progresses, blood vessels become narrowed, which can cause various diseases. Therefore, vascular disease can be detected by detecting calcification of human organs (eg, abdominal organs, thoracic organs, lumbar vertebrae, cervical vertebrae, brain, liver, lungs, kidneys, adrenal joints, blood vessels) and determining the degree of calcification. Accordingly, the present invention proposes a technique capable of detecting vascular disease by analyzing medical image data of a patient and detecting and analyzing calcification of target organs of the patient.
이하 심장을 예로 들어, 환자의 대상 장기들의 석회화 검출 및 분류를 통해 혈관질환을 검출하는 기술에 대해 설명한다. 그러나, 후술되는 실시 예들은 심장은 물론, 심혈관, 관상동맥 등 다른 어떠한 신체 장기에서 발생하는 석회화에도 적용될 수 있음은 자명하다.Hereinafter, taking the heart as an example, a technique for detecting vascular disease through detection and classification of calcifications of target organs of a patient will be described. However, it is obvious that the embodiments described below can be applied to calcification occurring in any other body organ, such as the heart, cardiovascular system, and coronary arteries.
도 5는 본 개시의 일 실시 예에 따른 인공지능 모델에 기반한 석회화 진단의 개념을 도시한다. 도 5는 의료 영상 데이터를 기반으로 인공지능 모델을 통해 심장 영역 데이터를 추출하고, 추출한 데이터를 라디오믹스 기법으로 분석함으로써 대상자의 심장 석회화를 진단하는 시스템(500)을 예시한다.5 illustrates a concept of calcification diagnosis based on an artificial intelligence model according to an embodiment of the present disclosure. 5 illustrates a system 500 for diagnosing cardiac calcification of a subject by extracting heart region data through an artificial intelligence model based on medical image data and analyzing the extracted data using a radiomix technique.
도 5를 참고하면, 시스템(500)은 대상자의 의료 영상 데이터를 획득하고, 의료 영상 데이터에서 심장 영역 데이터를 추출한다. 그 후 시스템(500)은 심장 영역 데이터를 분석하고, 대상자의 심장 석회화를 진단한다. 일 예로, 시스템(500)은 대상자의 의료 영상 데이터를 획득할 수 있다. 이때, 의료 영상은 X-선 영상(510)일 수 있다. X-선 영상(510)은 2차원의 투영 영상이기 때문에, 여러 장기가 겹쳐 보일 수 있다. 따라서, 심장 외의 불필요한 영역을 기반으로 석회질을 검출하는 것을 방지하고, 의료 영상을 정량적 평가에 활용하기 위해서, X-선 영상(510)으로부터 심장 영역만을 데이터로 추출하는 것이 필요하다. 따라서, 시스템(500)은 보다 정확한 심장혈관 석회화 예측을 위하여, 심장 영역만을 분할하는 인공지능 모델을 이용하여 심장 영역 데이터를 추출한다. 일 예로, 시스템은(500) 의료 영상 데이터에 대해 심장영역의 분할 정확도를 향상시키는 서프레션(suppression)을 진행할 수 있다. 서프레션은 영상 데이터 중에서 추출하고자 하는 특정 영역을 남기고, 특정 영역을 제외한 영역을 필터링하는 것이다. 필터링은 특정 영역 외의 영역을 제거하는 것, 블러링하는 것을 포함할 수 있다. 서프레션은 본 서프레션(bone suppression)(520)을 포함할 수 있다. 본 서프레션은 의료 영상 데이터에서 뼈 영역을 서프레션하는 것이다. 일 예로, 시스템(500)은 훈련된 데이터를 통해 뼈를 억제, 즉 뼈 영역을 서프레션하는 본 서프레션을 수행할 수 있다. 시스템(500)은 의료 영상 데이터를 획득하여, 획득한 의료 영상 데이터와 의료 영상 이미지에서 뼈가 억제된 데이터를 비교하여 비교 결과를 학습할 수 있다. 이때, 시스템(500)은 학습 데이터를 통해 본 서프레션의 대상이 되는 의료 영상 데이터에서 뼈가 억제된 연조직 데이터를 생성할 수 있고, 뼈에 대한 데이터를 제거할 수도 있다. 또한 인공지능 모델은 예측한 뼈 억제 이미지와 실제 의료 영상 이미지 사이의 잔류 오차를 학습할 수 있다. 또한 시스템(500)은 서프레션이 진행된 데이터에서 심장 영역만을 분석하기 위해 인공지능 분할모델을 통해 심장 영역 데이터를 추출할 수 있다. 심장 영역 데이터를 추출하는 것은 심장 영역 분할 마스크를 생성하는 것을 포함할 수 있다. 일 예로, 인공지능 분할모델은 심장 영역의 분할 마스크를 생성하기 위해 심장 영역을 세그맨테이션(530)할 수 있다. 이후 시스템(500)은 추출된 심장 영역 데이터에 대해 라디오믹스(Radiomics)(540) 분석을 수행함으로써 심장 특징(feature) 데이터를 생성할 수 있다. 시스템(500)은 라디오믹스(540) 분석 기법을 통해 대상자의 심장 영역 데이터에서 모양(shape)(542), 강도(intensity)(544), 텍스쳐(texture)(546), 필터(filters)(548) 등의 특징(feature)을 추출함으로써 심장 특징 데이터를 생성할 수 있다. 시스템(500)은 심장 특징 데이터에 기반하여 대상자의 심장 석회화(560)에 대한 진단을 보조하기 위한 정보를 제공한다. 보조 정보는 심장 특징 데이터를 토대로 대상자의 석회질 검출 여부를 지시하는 정보 및 검출한 석회질의 정도를 지시하는 정보 중 적어도 하나를 포함할 수 있다. 일 예로, 석회질의 정도를 지시하는 정보는 연속형 값인 관상동맥 석회화 점수가 속하는 그룹을 지시할 수 있다. 관상동맥 석회화 점수가 속하는 그룹은 관상동맥 석회화 점수가 일정 기준으로 분류된 집단이다. 일 예로, 사망률 혹은 허혈성 위험 유병률 등과 관상동맥 석회화 점수가 갖는 상관관계에 대해 진행된 임상연구 결과를 토대로 관상동맥 석회화 점수의 그룹이 분류될 수 있다. Referring to FIG. 5 , the system 500 acquires medical image data of a subject and extracts heart region data from the medical image data. System 500 then analyzes the heart region data and diagnoses the subject's cardiac calcifications. For example, the system 500 may acquire medical image data of a subject. In this case, the medical image may be an X-ray image 510 . Since the X-ray image 510 is a two-dimensional projection image, several organs may overlap. Therefore, it is necessary to extract only the heart region from the X-ray image 510 as data in order to prevent the detection of calculus based on an unnecessary region other than the heart and to use the medical image for quantitative evaluation. Accordingly, the system 500 extracts heart region data using an artificial intelligence model that divides only the heart region for more accurate prediction of cardiovascular calcification. For example, the system 500 may perform suppression to improve segmentation accuracy of the heart region with respect to the medical image data. Suppression is to leave a specific region to be extracted from image data and to filter out regions other than the specific region. Filtering may include removing an area other than a specific area or blurring the area. The suppression may include bone suppression 520 . This suppression suppresses the bone region in the medical image data. For example, the system 500 may perform bone suppression, that is, bone suppression, which suppresses a bone region, through the trained data. The system 500 may acquire medical image data, compare the obtained medical image data with bone-suppressed data in the medical image image, and learn a comparison result. In this case, the system 500 may generate soft tissue data in which bones are suppressed from the medical image data that is the subject of the suppression through the training data, and may also remove bone data. In addition, the artificial intelligence model can learn the residual error between the predicted bone suppression image and the actual medical image image. In addition, the system 500 may extract heart region data through an artificial intelligence segmentation model in order to analyze only the heart region from the suppressed data. Extracting the heart region data may include generating a heart region segmentation mask. For example, the artificial intelligence segmentation model may segment 530 the heart region to generate a segmentation mask of the heart region. Thereafter, the system 500 may generate heart feature data by performing radiomics 540 analysis on the extracted heart region data. The system 500 analyzes the shape 542, intensity 544, texture 546, and filters 548 from the heart region data of the subject through the radiomix 540 analysis technique. ), etc., heart feature data can be generated. System 500 provides information to assist in diagnosing a subject's cardiac calcifications 560 based on cardiac feature data. The auxiliary information may include at least one of information indicative of whether calcareous matter is detected or not and information indicative of the degree of detected calcal matter based on the cardiac feature data. For example, the information indicating the degree of calcification may indicate a group to which a coronary artery calcification score, which is a continuous value, belongs. The group to which the coronary artery calcification score belongs is a group in which the coronary artery calcification score is classified according to a certain criterion. For example, a coronary artery calcification score group may be classified based on the results of a clinical study conducted on the correlation of the coronary artery calcification score with mortality or ischemic risk prevalence.
시스템(500)은 심장 석회화 예측 결과를 CT(computed tomography) 영상에서 추출한 관상동맥 석회화 점수(coronary artery calcification score, CACS)(550)와 비교하여 의료 영상 데이터를 통한 심장혈관 석회화 예측의 정확도를 검증할 수 있다. 또한 시스템(500)은 검증된 데이터에 기반하여 인공지능을 통해 심장 석회화 예측에 대한 재학습을 수행할 수 있다. The system 500 compares the cardiac calcification prediction result with a coronary artery calcification score (CACS) 550 extracted from a computed tomography (CT) image to verify the accuracy of the cardiovascular calcification prediction through medical image data. can In addition, the system 500 may perform re-learning for cardiac calcification prediction through artificial intelligence based on the verified data.
대상자의 심장 상태, 의료 영상의 상태, 의료 영상 촬영 환경에 따라 같은 증상일지라도 의료 영상 데이터는 상이할 수 있다. 따라서 동일한 심장 석회화 정도를 가지는 대상자들의 의료 영상 데이터에서 추출한 심장 영역 데이터에 라디오믹스 기법을 동일하게 적용할지라도 생성되는 심장 특징 데이터는 상이할 수 있다. 따라서 시스템(500)은 심장 석회화에 대한 정확한 진단을 보조하기 위해서, 심장 영역 데이터의 특징을 적절히 선택하여, 선택한 특징을 기반으로 진단을 보조하는 것이 필요하다. 이에 따라, 추가적으로 시스템(500)은 추출된 특징 중 적어도 하나를 기반으로 한 심장 석회화 예측 모델을 구축할 수 있다. 일 예로, 심장 석회화 예측 모델은, 심장 특징 데이터에 포함된 특징들 중 적어도 하나를 토대로 예측한 복수의 석회화 결과들과 관상동맥 석회화 점수(coronary artery calcification score, CACS))를 비교한 값에 기반하여 구축될 수 있다. 일 예로, 제1 심장 영역 데이터의 강도(544) 및 텍스쳐(546)만을 고려하여 예측한 석회화 결과가 다른 특징들을 고려하여 예측한 석회화 결과들보다 CACS와 가장 일치한다면, 이후에 제1 심장 영역 데이터와 유사한 제2 심장 영역 데이터가 추출된다면, 시스템(500)은 강도(544) 및 텍스쳐(546)만을 고려하여 심장 석회화 진단을 보조할 수 있다. 시스템(500)은 심장 석회화 예측 모델을 통해 심장 석회화의 위치, 양 등의 정확한 정보를 파악할 수 있다.Depending on the subject's heart condition, medical image condition, and medical imaging environment, medical image data may be different even for the same symptom. Therefore, even if the same radiomix technique is applied to heart region data extracted from medical image data of subjects having the same degree of cardiac calcification, generated heart feature data may be different. Accordingly, the system 500 needs to appropriately select features of heart region data and assist diagnosis based on the selected features in order to assist in accurately diagnosing cardiac calcification. Accordingly, the system 500 may additionally build a cardiac calcification prediction model based on at least one of the extracted features. For example, the cardiac calcification prediction model is based on a value obtained by comparing a plurality of calcification results predicted based on at least one of the features included in the cardiac feature data and a coronary artery calcification score (CACS) can be built For example, if the calcification result predicted by considering only the intensity 544 and the texture 546 of the first heart region data is more consistent with CACS than the calcification results predicted by considering other features, then the first heart region data If the second heart region data similar to is extracted, system 500 may consider only intensity 544 and texture 546 to assist in diagnosing cardiac calcification. The system 500 may determine accurate information such as the location and amount of cardiac calcification through a cardiac calcification prediction model.
본 발명은, 심장혈관 석회화 검출 및 분류 인공지능 모델이 심장 외의 불필요한 영역을 기반으로 심장 석회화를 진단하는 것을 방지하기 위해 DCNN(deep convolutional neural network) 기반 심장 영역 데이터 추출 모델을 통한, 의료 영상(예: X-선 영상)에서 심장혈관 석회화 검출 및 분류에 최적화된 알고리즘을 제안한다. 그리고, 심장 영역 데이터 추출 모델은, 심장 분할을 위한 인공지능 분할 모델, 인공지능 분할 모델 또는 이와 동등한 기술적 의미를 가지는 다른 용어로 지칭될 수 있다.The present invention, in order to prevent cardiovascular calcification detection and classification artificial intelligence model from diagnosing cardiac calcification based on unnecessary regions other than the heart, medical images (e.g., : We propose an algorithm optimized for the detection and classification of cardiovascular calcifications in X-ray images). Also, the heart region data extraction model may be referred to as an artificial intelligence segmentation model for heart segmentation, an artificial intelligence segmentation model, or other terms having equivalent technical meaning.
도 6은 본 발명의 일 실시 예에 따른 대상 장기의 석회화에 대한 진단을 보조하기 위한 절차의 예를 도시한다. 도 6은 연산 능력을 가진 장치(예: 도 1의 서비스 서버(110))의 동작 방법을 예시한다. 6 illustrates an example of a procedure for assisting diagnosis of calcification of a target organ according to an embodiment of the present invention. 6 illustrates an operating method of a device having computing capability (eg, the service server 110 of FIG. 1 ).
도 6을 참고하면, S601 단계에서, 장치는 의료 영상 데이터를 획득한다. 의료 영상은 엑스레이, 초음파, CT(computerized tomography), MRI(magnetic resonance imaging), PET(positron emission tomography) 중 적어도 하나에 관련될 수 있다. 일 예로, 의료 영상 데이터는 장치에 의해 심장 석회화를 예측하기 위해 사용될 수 있다. 장치는 의료 영상 데이터를 데이터 서버(예: 도 1의 데이터 서버(120)) 또는 클라이언트 장치(예: 도 1의 클라이언트 장치(130))로부터 수신할 수 있다. Referring to FIG. 6 , in step S601, the device acquires medical image data. The medical image may be related to at least one of X-rays, ultrasound, computerized tomography (CT), magnetic resonance imaging (MRI), and positron emission tomography (PET). As an example, medical image data may be used by the device to predict cardiac calcification. The device may receive medical image data from a data server (eg, the data server 120 of FIG. 1 ) or a client device (eg, the client device 130 of FIG. 1 ).
S603 단계에서, 장치는 의료 영상 데이터를 기반으로 대상 장기의 영역에 대한 데이터를 추출한다. 대상 장기의 영역에 대한 데이터는 의료 영상 데이터를 필터링하여 추출된 데이터이다. 일 예로, 장치는 의료 영상 데이터를 기반으로 심장 영역 데이터를 추출할 수 있다. 심장 영역 데이터는 의료 영상 데이터를 필터링하여 추출된 심장 영역에 대한 데이터이다. 일 예로, 장치는 S601 단계에서 획득한 대상자의 의료 영상 데이터를 토대로 심장 영역 외의 데이터를 필터링하고 남은 심장 영역에 관한 데이터를 추출할 수 있다. 추출된 심장 영역 데이터는 대상자의 심장혈관 석회화의 진단을 보조하는데 사용될 수 있다.In step S603, the device extracts data on the region of the target organ based on the medical image data. Data on the region of the target organ is data extracted by filtering medical image data. For example, the device may extract heart region data based on medical image data. The heart region data is data about a heart region extracted by filtering medical image data. For example, the device may filter data other than the heart region based on the subject's medical image data acquired in step S601 and extract data about the remaining heart region. The extracted cardiac region data can be used to assist in the diagnosis of cardiovascular calcification in a subject.
S605 단계에서, 장치는 S603 단계에서 추출된 대상 장기의 영역에 대한 데이터를 분석함으로써 대상 장기의 특징 데이터를 생성한다. 일 예로, 대상 장기의 특징 데이터는 심장 영역 데이터를 분석함으로써 얻은 심장 특징 데이터일 수 있다. 일 예로, 장치는 심장 영역 데이터를 라디오믹스 기법을 이용하여 분석할 수 있다. 라디오믹스는 데이터-특징화(data-characterization) 알고리즘을 이용하여 의료 영상으로부터 특징들을 추출하는 기법이다. 장치는 라디오믹스 기법을 통해 심장 영역 데이터의 여러 특징들을 추출함으로써 심장 특징 데이터를 생성할 수 있다. 특징은 심장 영역 데이터의 모양, 강도, 텍스쳐를 포함할 수 있다. 장치는 심장 특징 데이터들을 대상자의 심장혈관 석회화를 예측하기 위하여 선별적으로 사용할 수 있다.In step S605, the device generates feature data of the target organ by analyzing the data on the region of the target organ extracted in step S603. For example, the feature data of the target organ may be heart feature data obtained by analyzing heart region data. For example, the device may analyze heart region data using a radio mix technique. Radiomix is a technique for extracting features from medical images using a data-characterization algorithm. The device may generate heart feature data by extracting various features of heart region data through a radiomix technique. The feature may include the shape, intensity, and texture of heart region data. The device may selectively use cardiac characteristic data to predict cardiovascular calcification in a subject.
S607 단계에서, 장치는 대상 장기의 특징 데이터에 기반하여 석회화에 대한 진단을 보조하기 위한 정보를 제공한다. 일 예로, 장치는 심장 특징 데이터에 기반하여 심장 석회화에 대한 진단을 보조하기 위한 정보를 제공할 수 있다. 일 예로, 장치는 심장 특징 데이터에 기반하여 대상자의 심장혈관 석회질을 검출함으로써 석회질 검출 여부를 지시하는 정보를 제공할 수 있다. 검출 여부를 지시하는 정보는 심장 영역 데이터에 포함된 특징 정보들 중 적어도 하나를 이용하여 석회질을 검출한 복수의 결과 값을 포함할 수 있다. 또한 장치는 검출한 석회질의 정도를 판단함으로써 석회화 정도를 지시하는 정보를 제공할 수 있다. 석회화 정도를 지시하는 정보는 심장 영역 데이터에 포함된 특징 정보들 중 적어도 하나를 이용하여 석회질의 정도를 판단한 복수의 결과 값을 포함할 수 있다. 보조 정보는 검출 여부를 지시하는 정보 및 석회화의 정도를 지시하는 정보 중 적어도 하나와 CACS를 비교한 결과에 대한 정보를 포함할 수 있다. In step S607, the device provides information to assist diagnosis of calcification based on the characteristic data of the target organ. For example, the device may provide information to assist diagnosis of cardiac calcification based on cardiac feature data. For example, the device may provide information indicative of whether or not to detect calcium by detecting calcium in the cardiovascular system of the subject based on heart feature data. The information indicating whether or not to detect may include a plurality of result values obtained by detecting calcareous matter using at least one of feature information included in the heart region data. In addition, the device may provide information indicating the degree of calcification by determining the degree of calcification detected. The information indicating the degree of calcification may include a plurality of result values obtained by determining the degree of calcification using at least one of feature information included in the heart region data. The auxiliary information may include information about a result of comparing CACS with at least one of information indicating detection or not and information indicating the degree of calcification.
도 6의 절차를 수행하는 장치는 적어도 하나의 인공지능 모델을 이용하여 의료 영상 데이터를 획득하고, 대상 장기의 영역에 대한 데이터를 추출하고, 대상 장기의 특징 데이터를 생성하고, 석회화에 대한 진단을 보조하기 위한 정보를 제공할 수 있다. 또한 장치는 적어도 하나의 인공지능 모델을 이용하여 라디오믹스 기법을 이용하여 대상 장기의 영역에 대한 데이터를 분석하고, 분석함으로써 추출한 특징들을 분류할 수 있다.The apparatus performing the procedure of FIG. 6 acquires medical image data using at least one artificial intelligence model, extracts data on a region of a target organ, generates feature data of the target organ, and diagnoses calcification. Information can be provided to assist. In addition, the device may analyze data on a region of a target organ using a radio mix technique using at least one artificial intelligence model, and classify features extracted by the analysis.
도 7은 본 발명의 일 실시 예에 따른 대상 장기의 영역에 대한 데이터를 추출하는 절차의 예를 도시한다. 도 7은 연산 능력을 가진 장치(예: 도 1의 서비스 서버(110))의 동작 방법을 예시한다.7 illustrates an example of a procedure for extracting data on a region of a target organ according to an embodiment of the present invention. 7 illustrates an operating method of a device having computing capability (eg, the service server 110 of FIG. 1 ).
도 7을 참고하면, S701 단계에서, 장치는 의료 영상 데이터에서 대상 장기 외 영역을 서프레션(suppression)한다. 서프레션은 영상 데이터 중에서 추출하고자 하는 특정 영역을 남기고, 특정 영역을 제외한 영역을 필터링하는 것이다. 필터링은 특정 영역 외의 영역을 제거하는 것, 블러링하는 것을 포함할 수 있다. 일 예로, 장치는 의료 영상 데이터에서 심장 외 영역을 서프레션할 수 있다. 일 예로, 장치는 의료 영상 데이터에서 뼈 부분의 영상 데이터를 서프레션할 수 있다. 또한 장치는 의료 영상 데이터에서 심장 외의 장기, 근육 부분의 영상 데이터를 서프레션할 수 있다.Referring to FIG. 7 , in step S701, the device suppresses a region other than the target organ in the medical image data. Suppression is to leave a specific region to be extracted from image data and to filter out regions other than the specific region. Filtering may include removing an area other than a specific area or blurring the area. For example, the device may suppress an area other than the heart in medical image data. For example, the device may suppress image data of a bone portion from medical image data. In addition, the device may suppress image data of organs other than the heart and muscles in medical image data.
S703 단계에서, 장치는 대상 장기 외 영역이 서프레션된 영상 데이터에서 대상 장기의 영역을 세그맨테이션(segmentation)한다. 일 예로, 장치는 심장 외 영역이 서프레션된 영상 데이터에서 심장 영역을 세그맨테이션할 수 있다. 일 실시 예에 따라, 장치는 세그맨테이션을 위해 학습된 인공지능 모델 또는 기계학습 모델을 이용하여 서프레션된 영상 데이터로부터 심장 영역을 세그맨테이션할 수 있다. In step S703, the device segments the region of the target organ in the image data in which regions other than the target organ are suppressed. For example, the device may segment a heart region in image data in which a region other than the heart is suppressed. According to an embodiment, the device may segment the heart region from suppressed image data using an artificial intelligence model or a machine learning model learned for segmentation.
본 발명은, 의료 영상에서 추출한 심장 영역 데이터를 특징별로 분석하여, 대상 장기의 석회화를 효율적으로 진단하기 위한 방법으로 라디오믹스 기법을 제안한다. 라디오믹스(radiomics)는 영상의학을 의미하는“Radiology”와 체학(體學)을 의미하는 접미사인 “-omics”의 합성어이다. 이는 영상정보를 기반으로 바이오 마커 데이터를 유전자 데이터와 결합하여 분석하는 방법으로, 이를 통하여 진단, 질환의 예후 예측에 도움을 줄 수 있는 비침습적인 바이오 마커를 개발하는 방법이다. 영상으로부터 다양한 특성을 추출하여 이를 유전자 정보 및 환자의 임상 데이터와 융합하여 이를 토대로 환자군에 유용한 바이오 마커를 찾게 되며, 이를 토대로 질병의 예방, 조기 진단, 예후 예측 및 맞춤형 치료에 사용할 수 있다. 이하, 도 8은 라디오믹스를 이용한 심장 영역 데이터 분석 절차에 관해 도시한다.The present invention proposes a radiomix technique as a method for efficiently diagnosing calcification of a target organ by analyzing heart region data extracted from a medical image for each feature. Radiomics is a compound word of “Radiology” meaning radiology and the suffix “-omics” meaning physiology. This is a method of combining and analyzing biomarker data with genetic data based on image information, and it is a method of developing a non-invasive biomarker that can help diagnose and predict the prognosis of a disease. Various characteristics are extracted from the image and fused with genetic information and clinical data of the patient to find useful biomarkers for the patient group based on this, which can be used for disease prevention, early diagnosis, prognosis prediction, and customized treatment. Hereinafter, FIG. 8 illustrates a heart region data analysis procedure using radiomix.
도 8은 본 발명의 일 실시 예에 따른 대상 장기의 영역에 대한 데이터를 분석함으로써 대상 장기의 특징 데이터를 생성하는 절차의 예를 도시한다. 도 8은 연산 능력을 가진 장치(예: 도 1의 서비스 서버(110))의 동작 방법을 예시한다.8 illustrates an example of a procedure for generating feature data of a target organ by analyzing data on a region of the target organ according to an embodiment of the present invention. 8 illustrates an operating method of a device having computing capability (eg, the service server 110 of FIG. 1 ).
도 8을 참고하면, S801 단계에서, 장치는 라디오믹스 기법을 이용하여 대상 장기의 영역에 대한 데이터의 적어도 하나의 특징을 추출한다. 일 예로, 장치는 심장 영역 데이터의 적어도 하나의 특징을 추출할 수 있다. 일 예로, 장치는 인공지능 분할 모델을 통해 분할된 심장 영역 데이터를 입력 값으로 하여 라디오믹스 특징을 추출할 수 있다. 라디오믹스를 통한 특징 추출은 수학적/통계적 기법을 이용하여 심장 영역 데이터의 병변의 형태, 신호 강도, 텍스처 등 다양한 정량적/통계적 특성을 수치화 하는 과정이다. 예를 들어, 라디오믹스 기법을 이용하여 추출한 특징은 하기 [표 1]에 나열된 특징들 중 적어도 하나를 포함할 수 있다.Referring to FIG. 8 , in step S801, the device extracts at least one feature of data of a region of a target organ using a radio mixing technique. For example, the device may extract at least one feature of heart region data. For example, the device may extract radiomix features by using heart region data divided through an artificial intelligence segmentation model as an input value. Feature extraction through radiomix is a process of quantifying various quantitative/statistical characteristics such as shape, signal intensity, and texture of lesions of heart area data using mathematical/statistical techniques. For example, the features extracted using the radio mix technique may include at least one of the features listed in Table 1 below.
라디오믹스 특징(radiomics features)radiomics features
(Intercept)(Intercept)
original shape2D Elongationoriginal shape2D Elongation
original shape2D MajorAxisLengthoriginal shape2D MajorAxisLength
original shape2D Sphericityoriginal shape2D Sphericity
original firstorder InterquartileRangeoriginal firstorder InterquartileRange
original firstorder Medianoriginal first-order Median
original glcm ClusterShadeoriginal glcm ClusterShade
original glcm Correlationoriginal glcm Correlation
original glcm JointEnergyoriginal glcm JointEnergy
original glcm Imc1original glcm imc1
original glszm LargeAreaLowGrayLevelEmphasisoriginal glszm LargeAreaLowGrayLevelEmphasis
original glszm SmallAreaLowGrayLevelEmphasisoriginal glszm SmallAreaLowGrayLevelEmphasis
original glszm ZoneVarianceoriginal glszm ZoneVariance
original ngtdm Busynessoriginal ngtdm Busyness
wavelet-LH firstorder Kurtosiswavelet-LH firstorder Kurtosis
wavelet-LH firstorder Meanwavelet-LH firstorder Mean
wavelet-LH firstorder RootMeanSquaredwavelet-LH firstorder RootMeanSquared
wavelet-LH glcm Correlationwavelet-LH glcm Correlation
wavelet-LH glcm Imc1wavelet-LH glcm Imc1
wavelet-LH glcm Idmnwavelet-LH glcm Idmn
wavelet-LH glcm InverseVariancewavelet-LH glcm InverseVariance
wavelet-LH glrlm GrayLevelNonUniformityNormalizedwavelet-LH glrlm GrayLevelNonUniformityNormalized
wavelet-LH glrlm RunEntropywavelet-LH glrlm RunEntropy
wavelet-LH glszm GrayLevelNonUniformityNormalizedwavelet-LH glszm GrayLevelNonUniformityNormalized
wavelet-LH glszm LargeAreaHighGrayLevelEmphasiswavelet-LH glszm LargeAreaHighGrayLevelEmphasis
wavelet-LH glszm LargeAreaLowGrayLevelEmphasiswavelet-LH glszm LargeAreaLowGrayLevelEmphasis
wavelet-LH glszm ZoneEntropywavelet-LH glszm ZoneEntropy
wavelet-LH gldm LargeDependenceLowGrayLevelEmphasiswavelet-LH gldm LargeDependenceLowGrayLevelEmphasis
wavelet-LH ngtdm Coarsenesswavelet-LH ngtdm Coarseness
wavelet-LH ngtdm Contrastwavelet-LH ngtdm Contrast
wavelet-HL firstorder InterquartileRangewavelet-HL firstorder InterquartileRange
wavelet-HL firstorder Maximumwavelet-HL firstorder Maximum
wavelet-HL firstorder Medianwavelet-HL firstorder Median
wavelet-HL firstorder Skewnesswavelet-HL firstorder Skewness
wavelet-HL glcm ClusterShadewavelet-HL glcm ClusterShade
wavelet-HL glcm Correlationwavelet-HL glcm Correlation
wavelet-HL glcm Imc1wavelet-HL glcm Imc1
wavelet-HL glcm Idnwavelet-HL glcm Idn
wavelet-HL glrlm GrayLevelNonUniformitywavelet-HL glrlm GrayLevelNonUniformity
wavelet-HL glszm GrayLevelNonUniformitywavelet-HL glszm GrayLevelNonUniformity
wavelet-HL glszm LargeAreaLowGrayLevelEmphasiswavelet-HL glszm LargeAreaLowGrayLevelEmphasis
wavelet-HL glszm SizeZoneNonUniformityNormalizedwavelet-HL glszm SizeZoneNonUniformityNormalized
wavelet-HL glszm SmallAreaHighGrayLevelEmphasiswavelet-HL glszm SmallAreaHighGrayLevelEmphasis
wavelet-HL gldm DependenceVariancewavelet-HL gldm DependenceVariance
wavelet-HL gldm LargeDependenceLowGrayLevelEmphasiswavelet-HL gldm LargeDependenceLowGrayLevelEmphasis
wavelet-HL ngtdm Coarsenesswavelet-HL ngtdm Coarseness
wavelet-HL ngtdm Strengthwavelet-HL ngtdm Strength
wavelet-HH firstorder 10Percentilewavelet-HH firstorder 10Percentile
wavelet-HH firstorder InterquartileRangewavelet-HH firstorder InterquartileRange
wavelet-HH firstorder Meanwavelet-HH firstorder Mean
wavelet-HH firstorder Medianwavelet-HH firstorder Median
wavelet-HH firstorder Skewnesswavelet-HH firstorder Skewness
wavelet-HH glcm ClusterProminencewavelet-HH glcm ClusterProminence
wavelet-HH glcm DifferenceVariancewavelet-HH glcm DifferenceVariance
wavelet-HH glcm Idmnwavelet-HH glcm Idmn
wavelet-HH glrlm ShortRunEmphasiswavelet-HH glrlm ShortRunEmphasis
wavelet-HH glszm GrayLevelNonUniformityNormalizedwavelet-HH glszm GrayLevelNonUniformityNormalized
wavelet-HH glszm SmallAreaLowGrayLevelEmphasiswavelet-HH glszm SmallAreaLowGrayLevelEmphasis
wavelet-HH glszm ZoneEntropywavelet-HH glszm ZoneEntropy
wavelet-HH gldm DependenceVariancewavelet-HH gldm DependenceVariance
wavelet-LL firstorder Kurtosiswavelet-LL firstorder Kurtosis
wavelet-LL firstorder Maximumwavelet-LL firstorder Maximum
wavelet-LL glcm Contrastwavelet-LL glcm Contrast
wavelet-LL glcm DifferenceAveragewavelet-LL glcm DifferenceAverage
wavelet-LL glcm Imc2wavelet-LL glcm Imc2
wavelet-LL glcm Idnwavelet-LL glcm Idn
wavelet-LL glcm InverseVariancewavelet-LL glcm InverseVariance
wavelet-LL glcm MaximumProbabilitywavelet-LL glcm MaximumProbability
wavelet-LL glszm SmallAreaLowGrayLevelEmphasiswavelet-LL glszm SmallAreaLowGrayLevelEmphasis
wavelet-LL glszm ZoneVariancewavelet-LL glszm ZoneVariance
wavelet-LL gldm DependenceNonUniformityNormalizedwavelet-LL gldm DependenceNonUniformityNormalized
wavelet-LL gldm LargeDependenceLowGrayLevelEmphasiswavelet-LL gldm LargeDependenceLowGrayLevelEmphasis
wavelet-LL ngtdm Busynesswavelet-LL ngtdm Busyness
wavelet-LL ngtdm Strengthwavelet-LL ngtdm Strength
[표 1]에 나열된 라디오믹스 피쳐들 중 적어도 하나가 선택적으로 본 발명의 다양한 실시 예들에 따른 석회화 진단을 위해 사용될 수 있다. 선택되는 라디오믹스 피처들이 무엇이냐에 따라 석회화 진단의 성능 또는 특성이 달라질 수 있으며, 본 발명을 실시하는 의도나 목적, 진단하고자 하는 대상 장기 등에 따라 적절한 서브셋이 선택적으로 사용될 수 있을 것이다.[표 1]에 예시된 라디오믹스 피쳐들에 대한 설명은 참고 문헌 [Computational Radiomics System to Decode the Radiographic Phenotype. Cancer Res. 2017 Nov 1;77(21):e104-e107]에 기재된 내용 및 상기 참고 문헌에 포함된 링크에서 2022년 1월 7일 자에 확인되는 내용에서 살펴볼 수 있다. 따라서, 이후 참고 문헌에 포함된 링크에 기재된 내용들이 변경되더라도 라디오믹스 피쳐들에 대한 설명은 2022년 1월 7일 자를 기준으로 상기 참고 문헌에 포함된 링크에서 확인할 수 있는 내용을 따른다.At least one of the radiomix features listed in [Table 1] can be selectively used for calcification diagnosis according to various embodiments of the present invention. The performance or characteristics of calcification diagnosis may vary depending on the selected radiomix features, and an appropriate subset may be selectively used depending on the intention or purpose of implementing the present invention, the target organ to be diagnosed, etc. [Table 1] For a description of the radiomix features exemplified in ], see [Computational Radiomics System to Decode the Radiographic Phenotype. Cancer Res. 2017 Nov 1;77(21):e104-e107] and the contents found on January 7, 2022 in the links included in the above references. Therefore, even if the contents described in the links included in the references are changed later, the description of the Radio Mix features follows the contents found in the links included in the references as of January 7, 2022.
장치는 추출된 영상의 특징 중 적어도 하나를 기반으로 심장 석회질 검출 및 심장 석회질의 중증도를 분류하기 위해 심장 영역의 석회화 특징을 파악하는 기계학습기반 추론 모델을 구축할 수 있다. 추가적으로, 장치는 추출된 영상의 여러 특징을 순위화 하여 핵심 특징을 선별할 수 있다. 장치는 선별된 핵심 특징을 기반으로 심장 영역의 석회화 특징을 파악하는 기계학습기반 추론 모델을 개발할 수 있다. The device may build a machine learning-based inference model that identifies features of calcification in the heart region in order to detect cardiac calcification and classify the severity of cardiac calcification based on at least one of the features of the extracted image. Additionally, the device may select key features by ranking various features of the extracted image. The device can develop a machine-learning-based inference model that identifies the calcification characteristics of the heart region based on the selected key features.
S803 단계에서, 장치는 적어도 하나의 특징을 기반으로 대상 장기의 특징 데이터를 생성한다. 일 예로, 장치는 적어도 하나의 특징을 기반으로 심장 특징 데이터를 생성할 수 있다. 심장 특징 데이터는 심장 영역 데이터를 라디오믹스 기법을 이용하여 추출한 특징들에 대한 정보를 포함할 수 있다. 심장 특징 데이터는 장치가 심장 석회화에 대한 진단을 보조하기 위한 정보를 제공하기 위하여 사용된다. In step S803, the device generates feature data of the target organ based on at least one feature. For example, the device may generate heart feature data based on at least one feature. The heart feature data may include information about features extracted from heart region data using a radiomix technique. Cardiac characteristic data is used by the device to provide information to assist in diagnosis of cardiac calcification.
석회화를 정확히 진단하기 위해서는 인공지능을 활용하여 환자의 의료 영상 데이터에서 분석을 통해 추출한 특징과 비교할 수 있는 GT(ground truth)를 이용한 지도 학습(supervised learning)이 필요하다. 따라서, 본 발명은, 대상자의 심장 영역 데이터에서 추출한 핵심 특징을 기반으로 관상동맥 CT 조영술을 통해 추출한 관상동맥 석회화 점수를 GT으로 활용하여 기계학습 기반의 관상동맥 석회화 예측을 진행하고, 인공지능 모델을 훈련할 수 있다.In order to accurately diagnose calcifications, supervised learning using GT (ground truth), which can be compared with features extracted through analysis from patient's medical image data using artificial intelligence, is required. Therefore, the present invention proceeds with machine learning-based coronary artery calcification prediction by using the coronary artery calcification score extracted through coronary artery CT angiography as GT based on the core features extracted from the heart region data of the subject, and the artificial intelligence model can train
도 9는 본 발명의 일 실시 예에 따른 석회화 예측을 위한 인공지능 모델을 훈련하는 절차의 예를 도시한다. 도 9는 연산 능력을 가진 장치(예: 도 1의 서비스 서버(110))의 동작 방법을 예시한다.9 illustrates an example of a procedure for training an artificial intelligence model for calcification prediction according to an embodiment of the present invention. 9 illustrates an operating method of a device having computing capability (eg, the service server 110 of FIG. 1 ).
도 9를 참고하면, S901 단계에서, 장치는 학습을 위한 심장 영역 분석 데이터 및 관상동맥 석회화 데이터를 획득한다. 심장 영역 분석 데이터는 의료 영상에서 추출한 심장 영역 데이터를 라디오믹스 기법으로 분석한 데이터를 포함한다. 여기서, 학습으로 사용되기 위한 심장 영역 분석 데이터는 석회질을 가진 적어도 하나의 환자의 심장 영역 분석 결과에 대한 정보를 포함할 수 있다. 또한, 학습으로 사용되기 위한 심장 영역 분석 데이터는 석회질을 가지지 아니한 비-환자의 심장 영역 분석 결과에 대한 정보를 더 포함할 수 있다. 심장 영역 분석 결과에 대한 정보는 라디오믹스 기법을 통해 분석한 심장 영역의 모양, 강도, 텍스쳐에 대한 정보를 포함할 수 있다. 관상동맥 석회화 데이터는 CT 영상에서 분석한 관상동맥 석회화 점수에 대한 데이터를 포함한다. 관상동맥 석회화 점수에 대한 데이터는 관상동맥 전체 점수, LM(left main) 점수, LAD(left anterior descending) 점수, LCX(left circumflex) 점수, RCA(right coronary artery) 점수에 대한 정보를 포함할 수 있다. Referring to FIG. 9 , in step S901, the device acquires heart region analysis data and coronary artery calcification data for learning. The heart region analysis data includes data obtained by analyzing heart region data extracted from medical images using a radiomix technique. Here, the heart region analysis data to be used as learning may include information about a heart region analysis result of at least one patient with calcification. In addition, the heart region analysis data to be used as learning may further include information about a heart region analysis result of a non-calcified patient. Information about the heart region analysis result may include information about the shape, intensity, and texture of the heart region analyzed through the radiomix technique. Coronary artery calcification data includes data on coronary artery calcification scores analyzed in CT images. Data on the coronary artery calcification score may include information on a total coronary artery score, a left main (LM) score, a left anterior descending (LAD) score, a left circumflex (LCX) score, and a right coronary artery (RCA) score. .
S903 단계에서, 장치는 심장 분석 데이터 및 관상동맥 석회화 데이터를 선처리하고, 레이블을 부가함으로써 학습 데이터를 생성한다. 즉, 장치는 심장 분석 데이터 및 관상동맥 석회화 데이터를 인공지능 모델에서 사용 가능한 형식으로 가공하고, 레이블을 부가한다.In step S903, the device preprocesses the heart analysis data and the coronary artery calcification data and adds labels to generate training data. That is, the device processes cardiac analysis data and coronary artery calcification data into a format usable by an artificial intelligence model, and adds a label.
S905 단계에서, 장치는 학습 데이터를 이용하여 훈련을 수행한다. 즉, 장치는 학습 데이터를 인공지능 모델에 입력하고, 예측 결과 및 레이블에 기반하여 역전파를 수행함으로써, 적어도 하나의 가중치를 갱신한다. 일 예로, 장치는 대상자의 심장 영역 데이터에서 추출한 핵심 특징을 기반으로 관상동맥 CT 조영술을 통해 추출한 관상동맥 석회화 점수를 GT로 활용하여 기계학습 기반의 심장 석회화 예측을 수행할 수 있다. 이때, 장치는 선처리된 심장 영역 분석 데이터 및 관상동맥 석회화 데이터를 비교하여 심장 영역 분석 데이터의 정확도를 판단하고, 판단한 결과를 학습 데이터로 활용할 수 있다. In step S905, the device performs training using the learning data. That is, the device updates at least one weight by inputting training data to the artificial intelligence model and performing backpropagation based on the prediction result and the label. For example, the device may perform machine learning-based cardiac calcification prediction by using a coronary artery calcification score extracted through coronary artery CT angiography as a GT based on core features extracted from heart region data of the subject. In this case, the device compares the preprocessed heart region analysis data and the coronary artery calcification data to determine the accuracy of the heart region analysis data, and may use the determined result as learning data.
도 10은 본 개시의 다른 실시 예에 따른 인공지능 모델에 기반한 석회화 진단의 개념을 도시한다. 도 10는 의료 영상 데이터를 기반으로 인공지능 모델을 통해 심장 영역 데이터를 추출하고, 추출한 데이터를 라디오믹스 기법으로 분석함으로써 대상자의 심장 석회화를 진단하는 시스템을 예시한다.10 illustrates a concept of calcification diagnosis based on an artificial intelligence model according to another embodiment of the present disclosure. 10 illustrates a system for diagnosing cardiac calcification of a subject by extracting heart region data through an artificial intelligence model based on medical image data and analyzing the extracted data using a radiomix technique.
도 10를 참고하면, 시스템은 대상자의 의료 영상 데이터를 획득하고, 의료 영상 데이터에서 심장 영역 데이터를 추출한다. 그 후 시스템은 심장 영역 데이터를 분석하고, 대상자의 심장 석회화를 진단한다. 일 예로, 시스템은 대상자의 의료 영상 데이터를 획득할 수 있다. 영상(1010)은 2차원의 투영 영상이기 때문에, 여러 장기가 겹쳐 보일 수 있다. 따라서, 심장 외의 불필요한 영역을 기반으로 석회질을 검출하는 것을 방지하고, 의료 영상을 정량적 평가에 활용하기 위해서, 영상(1010)으로부터 심장 영역만을 데이터로 추출하는 것이 필요하다. 따라서, 시스템은 보다 정확한 심장혈관 석회화 예측을 위하여, 심장 영역만을 분할하는 인공지능 모델을 이용하여 심장 영역 데이터를 추출한다. 일 예로, 시스템은 의료 영상 데이터에 대해 심장영역의 분할 정확도를 향상시키는 서프레션을 진행할 수 있다. 서프레션은 영상 데이터 중에서 추출하고자 하는 특정 영역을 남기고, 특정 영역을 제외한 영역을 필터링하는 것이다. 필터링은 특정 영역 외의 영역을 제거하는 것, 블러링하는 것을 포함할 수 있다. 서프레션은 본 서프레션(1020)을 포함할 수 있다. 본 서프레션은 의료 영상 데이터에서 뼈 영역을 서프레션하는 것이다. 일 예로, 시스템은 훈련된 데이터를 통해 뼈를 억제, 즉 뼈 영역을 서프레션하는 본 서프레션을 수행할 수 있다. Referring to FIG. 10 , the system acquires medical image data of a subject and extracts heart region data from the medical image data. The system then analyzes the cardiac region data and diagnoses the subject's cardiac calcifications. For example, the system may obtain medical image data of a subject. Since the image 1010 is a two-dimensional projection image, several organs may be overlapped. Therefore, it is necessary to extract only the heart region from the image 1010 as data in order to prevent calcification from being detected based on an unnecessary region other than the heart and to use the medical image for quantitative evaluation. Therefore, the system extracts heart region data using an artificial intelligence model that divides only the heart region for more accurate prediction of cardiovascular calcification. For example, the system may perform suppression to improve segmentation accuracy of the heart region on the medical image data. Suppression is to leave a specific region to be extracted from image data and to filter out regions other than the specific region. Filtering may include removing an area other than a specific area or blurring the area. The suppression may include the present suppression 1020 . This suppression suppresses the bone region in the medical image data. For example, the system may perform bone suppression, that is, bone suppression, which suppresses a bone region, through trained data.
시스템은 의료 영상 데이터를 획득하여, 획득한 의료 영상 데이터와 의료 영상 이미지에서 뼈가 억제된 데이터를 비교하여 비교 결과를 학습할 수 있다. 이때, 시스템은 학습 데이터를 통해 본 서프레션의 대상이 되는 의료 영상 데이터에서 뼈가 억제된 연조직 데이터를 생성할 수 있고, 뼈에 대한 데이터를 제거할 수도 있다. 또한 인공지능 모델은 예측한 뼈 억제 이미지와 실제 의료 영상 이미지 사이의 잔류 오차를 학습할 수 있다. 또한 시스템은 서프레션이 진행된 데이터에서 심장 영역만을 분석하기 위해 인공지능 분할모델을 통해 심장 영역 데이터를 추출할 수 있다. 심장 영역 데이터를 추출하는 것은 심장 영역 분할 마스크(1040)를 생성하는 것을 포함할 수 있다. 일 예로, 인공지능 분할모델은 심장 영역의 분할 마스크(1040)를 생성하기 위해 심장 영역을 세그맨테이션(1030)할 수 있다.The system may obtain medical image data, compare the obtained medical image data with bone suppressed data in the medical image image, and learn a comparison result. In this case, the system may generate soft tissue data in which bones are suppressed from the medical image data that is the object of the suppression through the learning data, and may also remove bone data. In addition, the artificial intelligence model can learn the residual error between the predicted bone suppression image and the actual medical image image. In addition, the system can extract heart region data through an artificial intelligence segmentation model in order to analyze only the heart region from the suppressed data. Extracting the heart region data may include generating the heart region segmentation mask 1040 . For example, the artificial intelligence segmentation model may segment 1030 the heart region to generate a segmentation mask 1040 of the heart region.
이후, 시스템은 추출된 심장 영역 데이터에 대해 심장 특징(feature) 데이터를 생성하는 특징 추출(1050)을 수행할 수 있다. 예를 들어, 시스템은 라디오믹스(Radiomics) 분석을 수행함으로써 특징 데이터를 생성할 수 있다. 시스템은 라디오믹스 분석 기법을 통해 대상자의 심장 영역 데이터에서 모양(shape), 강도(intensity), 텍스쳐(texture), 필터(filters) 등의 특징(feature)을 추출함으로써 심장 특징 데이터를 생성할 수 있다. 단, 라디오믹스 분석 기법은 일 예이며, 다양한 실시 예들에 따라 다른 분석 기법에 의해 특징 데이터가 생성될 수 있다.Then, the system may perform feature extraction 1050 to generate heart feature data for the extracted heart region data. For example, the system may generate feature data by performing radiomics analysis. The system can generate heart feature data by extracting features such as shape, intensity, texture, and filters from heart region data of a subject through a radiomix analysis technique. . However, the radio mix analysis technique is an example, and feature data may be generated by other analysis techniques according to various embodiments.
특징 데이터 추출 이후, 시스템은 특징 선택(feature selection)(1060)을 수행한다. 예를 들어, 시스템은 로지스틱 회귀 분석(logistic regression)의 일종인 LASSO(the least absolute shrinkage and selection operator) 회귀(regression) 기법을 이용하여 적어도 일부의 특징을 선택할 수 있다. 여기서, LASSO 회귀 기법은 다양한 회귀 기법들 중 불필요한 변수의 회귀 계수를 0으로 설정함으로써 해석 가능한 모형을 만드는 기법이다. 구체적으로, LASSO 회귀 기법은 평균 제곱 오차(mean square error)를 최소화하는 기존의 선형회귀 기법에 추가적으로 가중치의 절대값의 합이 최소가 되도록 하는 제약 조건을 부여한 것이다. 기존의 선형회귀 기법의 일 예는 이하 [수학식 1], 제약 조건을 부여한 결과의 일 예는 이하 [수학식 2]와 같다.After feature data extraction, the system performs feature selection (1060). For example, the system may select at least some features using the least absolute shrinkage and selection operator (LASSO) regression technique, which is a type of logistic regression. Here, the LASSO regression technique is a technique for creating an interpretable model by setting the regression coefficients of unnecessary variables to 0 among various regression techniques. Specifically, the LASSO regression technique imposes a constraint condition such that the sum of the absolute values of the weights is minimized in addition to the existing linear regression technique that minimizes the mean square error. [Equation 1] below shows an example of the existing linear regression technique, and [Equation 2] below shows an example of a result of applying constraint conditions.
Figure PCTKR2022020801-appb-img-000001
Figure PCTKR2022020801-appb-img-000001
[수학식 1]에서, n은 전체 데이터 세트의 개수(total number of dataset), yi는 정답 값,
Figure PCTKR2022020801-appb-img-000002
는 예측 값, w는 가중치, b는 바이어스(bias) 값을 의미한다.In [Equation 1], n is the total number of datasets, y i is the correct answer value,
Figure PCTKR2022020801-appb-img-000002
is a predicted value, w is a weight, and b is a bias value.
Figure PCTKR2022020801-appb-img-000003
Figure PCTKR2022020801-appb-img-000003
[수학식 2]에서, α는 패널티의 효과를 조절하는 하이퍼 파라미터, m은 가중치 개수, w는 가중치, n은 전체 데이터 세트의 개수(total number of dataset), yi는 정답 값,
Figure PCTKR2022020801-appb-img-000004
는 예측 값을 의미한다.In [Equation 2], α is a hyperparameter controlling the effect of the penalty, m is the number of weights, w is the weight, n is the total number of datasets, y i is the correct answer value,
Figure PCTKR2022020801-appb-img-000004
means the predicted value.
LASSO 회귀 기법은 일반적인 선형 회귀 기법처럼 적절한 가중치와 편향을 찾아내면서도, 가중치의 절대값의 합을 최소화하는(예: 가중치를 0에 가깝게 만들거나 0으로 만드는) 방법을 통해 예측에 불필요한 특징의 가중치를 0으로 만듦으로써, 특징을 효과적으로 선택할 수 있게 한다. 예를 들어, 455개의 특징들 중 11개의 특징들이 선택되고, LASSO 기법을 통해 각 특징을 위한 계수들이 결정될 수 있다. 계수들을 이용하여 각 특징에 가중치가 부여되고, 가중치 부여된 특징의 선형 결합(linear combination)에 의해 각 영상에 대한 라디오믹스 스코어(radiomics score)(1070)가 추출될 수 있다.The LASSO regression technique finds appropriate weights and biases like a general linear regression technique, while minimizing the sum of the absolute values of the weights (eg, making the weights close to or zero) to reduce the weights of features that are unnecessary for prediction. By setting to 0, it is possible to select features effectively. For example, 11 features among 455 features may be selected, and coefficients for each feature may be determined through the LASSO technique. A weight is assigned to each feature using coefficients, and a radiomics score 1070 for each image may be extracted by a linear combination of the weighted features.
이후, 시스템은 예측 모델(1080)을 이용하여 석회화 점수를 결정한다. 일 실시 예에 따라, 시스템은 임상 정보 및 라디오믹스 스코어를 이용하여 석회화 점수를 결정할 수 있다. 예를 들어, 예측 모델(1080)은 랜덤 포레스트(random forest)에 기반할 수 있다. 즉, 최종적으로, 나이 정보, 성별 정보, BMI(body mass index) 정보, 라디오믹스 스코어를 포함하는 데이터세트에 기반하여 랜덤 포레스트 모델링이 진행된다.The system then uses the predictive model 1080 to determine a calcification score. According to an embodiment, the system may determine a calcification score using clinical information and a radiomix score. For example, predictive model 1080 can be based on a random forest. That is, finally, random forest modeling is performed based on a dataset including age information, gender information, body mass index (BMI) information, and a radiomix score.
다른 실시 예에 따라, 도 10을 참고하여 설명한 절차에 더하여, 유효성 평가가 더 수행될 수 있다. 유효성 평가는 전체에서 선택된 특징들이 얼마나 유효한지를 판단하는 동작이다. 구체적으로, 유효성 평가는 통계 모델에 기반하여 판단되는 예측의 정확도를 이용하여 선택된 특징들 각각을 평가하는 동작이다. 여기서, 예측의 정확도는 석회화 판단에 대한 정확도를 의미한다. 예를 들어, 라디오믹스 정보만을 이용하는 모델의 예측 결과 및/또는 임상 정보만을 이용하는 모델의 예측 결과 대비 더 높은 정확도의 예측 결과를 보이면, 해당 특징은 유효한 것으로 평가될 수 있다. 일 실시 예에 따라, 유효성 평가는 특징 선택(1060) 이후에 수행될 수 있다. 다른 예로, 임상 정보만을 이용하는 제1 모델의 예측 결과 및 임상 정보 및 선택된 특징에 대응하는 라디오믹스 정보를 이용하는 제2 모델의 예측 결과를 비교하고, 제2 모델의 예측 정확도가 더 높으면, 선택된 특징은 유효한 것으로 평가될 수 있다.According to another embodiment, effectiveness evaluation may be further performed in addition to the procedure described with reference to FIG. 10 . Validity evaluation is an operation of determining how valid the features selected from the whole are. Specifically, the validity evaluation is an operation of evaluating each of the selected features using prediction accuracy determined based on a statistical model. Here, the accuracy of prediction means the accuracy of calcification judgment. For example, if a prediction result with higher accuracy is shown compared to a prediction result of a model using only radiomix information and/or a prediction result of a model using only clinical information, the corresponding feature may be evaluated as valid. According to one embodiment, validity evaluation may be performed after feature selection (1060). As another example, a prediction result of a first model using only clinical information and a prediction result of a second model using clinical information and radiomix information corresponding to the selected feature are compared, and if the prediction accuracy of the second model is higher, the selected feature can be evaluated as valid.
도 11은 본 개시의 다른 실시 예에 따른 대상 장기의 석회화에 대한 진단을 보조하기 위한 절차의 예를 도시한다. 도 11은 연산 능력을 가진 장치(예: 도 1의 서비스 서버(110))의 동작 방법을 예시한다. 11 illustrates an example of a procedure for assisting diagnosis of calcification of a target organ according to another embodiment of the present disclosure. 11 illustrates an operating method of a device having computing capability (eg, the service server 110 of FIG. 1 ).
도 11을 참고하면, S1101 단계에서, 장치는 의료 영상 데이터를 획득한다. 의료 영상은 엑스레이, 초음파, CT, MRI, PET 중 적어도 하나에 관련될 수 있다. 일 예로, 의료 영상 데이터는 장치에 의해 심장 석회화를 예측하기 위해 사용될 수 있다. 장치는 의료 영상 데이터를 데이터 서버(예: 도 1의 데이터 서버(120)) 또는 클라이언트 장치(예: 도 1의 클라이언트 장치(130))로부터 수신할 수 있다. Referring to FIG. 11 , in step S1101, the device acquires medical image data. The medical image may relate to at least one of X-rays, ultrasound, CT, MRI, and PET. As an example, medical image data may be used by the device to predict cardiac calcification. The device may receive medical image data from a data server (eg, the data server 120 of FIG. 1 ) or a client device (eg, the client device 130 of FIG. 1 ).
S1103 단계에서, 장치는 의료 영상 데이터에서 대상 장기 외 영역을 서프레션한다. 서프레션은 영상 데이터 중에서 추출하고자 하는 특정 영역을 남기고, 특정 영역을 제외한 영역을 필터링하는 것이다. 필터링은 특정 영역 외의 영역을 제거하는 것, 블러링하는 것 중 적어도 하나를 포함할 수 있다. 예를 들어, 대상 장기가 심장인 경우, 장치는 의료 영상 데이터에서 심장 외 영역을 서프레션할 수 있다. 이 경우, 장치는 의료 영상 데이터에서 심장을 제외한 뼈 부분에 해당하는 영상 데이터의 일부를 서프레션할 수 있다. 또한, 장치는 의료 영상 데이터에서 심장 외의 장기, 근육 부분에 해당하는 영상 데이터의 일부를 서프레션할 수 있다.In step S1103, the device suppresses a region other than the target organ in the medical image data. Suppression is to leave a specific region to be extracted from image data and to filter out regions other than the specific region. Filtering may include at least one of removing an area other than a specific area and blurring the area. For example, when the target organ is the heart, the device may suppress a region other than the heart in the medical image data. In this case, the device may suppress a part of image data corresponding to a bone portion excluding the heart from the medical image data. In addition, the device may suppress a part of image data corresponding to an organ other than the heart and a muscle part in the medical image data.
S1105 단계에서, 장치는 의료 영상 데이터에서 대상 장기 영역을 세그맨테이션한다. 다시 말해, 장치는 대상 장기 외 영역이 서프레션된 영상 데이터에서 대상 장기의 영역을 세그맨테이션한다. 예를 들어, 대상 장기가 심장인 경우, 장치는 심장 외 영역이 서프레션된 영상 데이터에서 심장 영역을 세그맨테이션할 수 있다. 일 실시 예에 따라, 장치는 세그맨테이션을 위해 학습된 인공지능 모델 또는 기계학습 모델을 이용하여 서프레션된 영상 데이터로부터 심장 영역을 세그맨테이션할 수 있다. In step S1105, the device segments the target organ region in the medical image data. In other words, the device segments the region of the target organ in the image data in which regions other than the target organ are suppressed. For example, when the target organ is the heart, the device may segment the heart region in image data in which regions other than the heart are suppressed. According to an embodiment, the device may segment the heart region from suppressed image data using an artificial intelligence model or a machine learning model learned for segmentation.
S1107 단계에서, 장치는 특징을 추출한다. 다시 말해, 장치는 세그먼테이션된 대상 장기 영역에서 복수의 특징들을 포함하는 특정 정보를 추출한다. 일 실시 예에 따라, 장치는 라디오믹스 기법을 이용하여 대상 장기의 영역에 대한 데이터의 적어도 하나의 특징을 추출한다. 일 예로, 장치는 심장 영역 데이터의 적어도 하나의 특징을 추출할 수 있다. 일 예로, 장치는 인공지능 분할 모델을 통해 분할된 심장 영역 데이터를 입력 값으로 하여 라디오믹스 특징을 추출할 수 있다. 라디오믹스를 통한 특징 추출은 수학적/통계적 기법을 이용하여 심장 영역 데이터의 병변의 형태, 신호 강도, 텍스처 등 다양한 정량적/통계적 특성을 수치화 하는 과정이다. 예를 들어, 라디오믹스 기법을 이용하여 추출한 특징은 하기 [표 1]에 나열된 특징들 중 적어도 하나를 포함할 수 있다.In step S1107, the device extracts features. In other words, the device extracts specific information including a plurality of features from the segmented target organ region. According to an embodiment, the device extracts at least one feature of data of a region of a target organ using a radio mix technique. For example, the device may extract at least one feature of heart region data. For example, the device may extract radiomix features by using heart region data divided through an artificial intelligence segmentation model as an input value. Feature extraction through radiomix is a process of quantifying various quantitative/statistical characteristics such as shape, signal intensity, and texture of lesions of heart area data using mathematical/statistical techniques. For example, the features extracted using the radio mix technique may include at least one of the features listed in Table 1 below.
S1109 단계에서, 장치는 라디오믹스 스코어를 결정한다. 구체적으로, 장치는 S1107 단계에서 추출된 특징들 중 일부를 선택하고, 선택된 일부 특징들을 가중치 선형 결합함으로써 라디오믹스 스코어를 결정할 수 있다. 이때, 각 특징을 위한 가중치들은 LASSO 기법에 기반하여 결정될 수 있다. 일 실시 예에 따라, LASSO 기법에 의한 특징 선택 및 가중치 결정은 사전에 미리 수행될 수 있으며, 이 경우, 장치는 미리 정의된 규칙에 따라 일부 특징들을 확인하고, 확인된 특징들을 가중치 선형 결합할 수 있다.In step S1109, the device determines a radio mix score. Specifically, the device may select some of the features extracted in step S1107 and determine the Radiomix score by linearly combining the selected features with weights. In this case, weights for each feature may be determined based on the LASSO technique. According to an embodiment, feature selection and weight determination using the LASSO technique may be performed in advance. In this case, the device may check some features according to a predefined rule and perform linear combination of the checked features with weights. there is.
S1111 단계에서, 장치는 랜덤 포레스트 모델을 이용하여 진단 보조 정보를 결정할 수 있다. 이를 위해, 장치는 대상자의 임상 정보 및 라디오믹스 스코어를 이용할 수 있다. 예를 들어, 진단 보조 정보는 임상 정보 및 라디오믹스 스코어에 기반하여 결정되는 석회화 점수를 포함할 수 있다. 이를 통해, 장치는 심장 특징 데이터에 기반하여 대상자의 심장혈관 석회질의 검출 여부를 판단하기 위한 진단 보조 정보를 획득할 수 있다. 구체적으로, 진단 보조 정보는 검출 여부를 지시하는 정보 및 석회화의 정도를 지시하는 정보 중 적어도 하나와 CACS를 비교한 결과에 대한 정보를 포함할 수 있다.In step S1111, the device may determine auxiliary diagnosis information using a random forest model. To this end, the device may use the subject's clinical information and Radiomix score. For example, diagnostic auxiliary information may include a calcification score determined based on clinical information and a radiomix score. Through this, the device may obtain auxiliary diagnosis information for determining whether or not to detect cardiovascular calcium in the subject based on the heart feature data. Specifically, the diagnostic auxiliary information may include information about a result of comparing CACS with at least one of information indicating detection or not and information indicating the degree of calcification.
도 10 및 도 11을 참고하여 설명한 실시 예에서, 특징 선택(1060)에 의해 선택되는 특징들의 일 예는 이하 [표 2]와 같다.In the embodiment described with reference to FIGS. 10 and 11 , an example of features selected by feature selection 1060 is shown in [Table 2] below.
라디오믹스 특징(radiomics features)radiomics features
original firstorder InterquartileRangeoriginal firstorder InterquartileRange
original firstorder Skewnessoriginal firstorder Skewness
original gldm DependenceVarianceoriginal gldm DependenceVariance
original gldm LargeDependenceLowGrayLevelEmphasisoriginal gldm LargeDependenceLowGrayLevelEmphasis
original gldm SmallDependenceLowGrayLevelEmphasisoriginal gldm SmallDependenceLowGrayLevelEmphasis
wavelet-LH glcm Idnwavelet-LH glcm Idn
wavelet-LHglcm MaximumProbabilitywavelet-LHglcm MaximumProbability
wavelet-HL firstorder 10Percentilewavelet-HL firstorder 10Percentile
wavelet-HL glcm ClusterShadewavelet-HL glcm ClusterShade
wavelet-HH gldm DependenceVariationwavelet-HH gldm DependenceVariation
wavelet-LL glcm Imc2wavelet-LL glcm Imc2
[표 2]와 같이 선택된 특징들에 대하여, LASSO 회귀 기법에 따라 결정된 가중치가 부여되고, 선형 결합되면, 라디오믹스 스코어가 결정된다. 예를 들어, 라디오믹스 스코어의 일 예는 이하 [수학식 3]과 같다.For the features selected as shown in [Table 2], weights determined according to the LASSO regression technique are assigned, and when linear combination is performed, a Radiomix score is determined. For example, an example of a Radio Mix score is as shown in [Equation 3] below.
Figure PCTKR2022020801-appb-img-000005
Figure PCTKR2022020801-appb-img-000005
도 10과 같은 석회화 진단 기법의 성능은 다음과 같다. 성능을 확인하기 위한 비교 기술로서, 임상 정보만을 이용하는 진단 모델이 이용되었다. 성능 비교는 이하 [표 3] 및 도 12와 같다.The performance of the calcification diagnosis technique as shown in FIG. 10 is as follows. As a comparative technique to confirm performance, a diagnostic model using only clinical information was used. Performance comparison is shown in [Table 3] and FIG. 12 below.
임상 정보만 이용하는 모델
(CF 모델)Model using only clinical information
(CF model) 		제안 기술
(CF-RS 모델)Suggestion technology
(CF-RS model)
AUC
(area under the curve)AUC
(area under the curve) 		0.701 (0.63-0.73)0.701 (0.63-0.73) 0.831 (0.79-0.87)0.831 (0.79-0.87)
SensitivitySensitivity 0.7610.761 0.8060.806
SpecificitySpecificity 0.6160.616 0.7730.773
NPV
(negative predictive value)NPVs
(negative predictive value) 		0.8010.801 0.8600.860
PPV
(positive predictive value)PPV
(positive predictive value) 		0.5790.579 0.7160.716
도 12는 본 발명의 일 실시 예에 따른 석회화 진단 기법에 대한 10-폴드 교차 검증 방식에 따른 검증(validation) 결과를 도시한다. 도 12를 참고하면, 제안 기술인 CF-RS 모델이 임상 정보만을 이용하는 CF 모델에 비하여 더 높은 AUC(area under the curve)를 보임이 확인된다.12 illustrates a validation result according to a 10-fold cross-validation method for a calcification diagnosis technique according to an embodiment of the present invention. Referring to FIG. 12, it is confirmed that the CF-RS model, which is the proposed technology, shows a higher area under the curve (AUC) than the CF model using only clinical information.
전술한 다양한 실시 예들에 따라, 시스템은 인공지능 모델을 이용하여 대상자의 석회화에 대한 진단을 보조하기 위한 정보를 제공할 수 있다. 이때 일 실시 예에 따라, 시스템은 대상자의 석회질의 검출 여부를 지시하는 정보 및 검출한 석회질의 정도를 지시하는 정보를 제공할 수 있다. 석회화에 대한 진단을 보조하기 위한 인공지능 모델은 다양하게 설계될 수 있다.According to the various embodiments described above, the system may provide information to assist in diagnosing a subject's calcification using an artificial intelligence model. In this case, according to an embodiment, the system may provide information indicating whether or not to detect limescale of the target person and information indicating the degree of the detected limescale. Artificial intelligence models to assist diagnosis of calcifications can be designed in various ways.
본 발명의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본 발명에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.Exemplary methods of the present invention are presented as a series of operations for clarity of explanation, but this is not intended to limit the order in which steps are performed, and each step may be performed concurrently or in a different order, if desired. In order to implement the method according to the present invention, other steps may be included in addition to the exemplified steps, other steps may be included except for some steps, or additional other steps may be included except for some steps.
본 발명의 다양한 실시 예는 모든 가능한 조합을 나열한 것이 아니고 본 발명의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시 예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.Various embodiments of the present invention are not intended to list all possible combinations, but are intended to explain representative aspects of the present invention, and matters described in various embodiments may be applied independently or in combination of two or more.
또한, 본 발명의 다양한 실시 예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다. In addition, various embodiments of the present invention may be implemented by hardware, firmware, software, or a combination thereof. For hardware implementation, one or more application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays (FPGAs), It may be implemented by a processor (general processor), controller, microcontroller, microprocessor, or the like.
본 발명의 범위는 다양한 실시 예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다. The scope of the present invention is software or machine-executable instructions (eg, operating systems, applications, firmware, programs, etc.) that cause operations according to methods of various embodiments to be executed on a device or computer, and such software or It includes a non-transitory computer-readable medium in which instructions and the like are stored and executable on a device or computer.

Claims (12)

  1. 인공지능 모델에 기반하여 석회화에 대한 진단을 보조하기 위한 방법에 있어서,In a method for assisting diagnosis of calcification based on an artificial intelligence model,
    대상자의 의료 영상 데이터를 획득하는 단계;obtaining medical image data of a subject;
    상기 의료 영상 데이터를 기반으로 대상(target) 장기의 영역에 대한 데이터를 추출하는 단계;extracting data about a region of a target organ based on the medical image data;
    상기 대상 장기의 영역에 대한 데이터를 분석함으로써 상기 대상 장기의 특징(feature) 데이터를 생성하는 단계; 및generating feature data of the target organ by analyzing data of a region of the target organ; and
    상기 대상 장기의 특징 데이터에 기반하여 상기 대상 장기의 석회화에 대한 진단을 보조하기 위한 정보를 제공하는 단계를 포함하는 방법.A method comprising providing information for assisting diagnosis of calcification of the target organ based on the characteristic data of the target organ.
  2. 청구항 1에 있어서,The method of claim 1,
    상기 의료 영상 데이터는, 대상자의 엑스레이, 초음파, CT(computerized tomography), MRI(magnetic resonance imaging), PET(positron emission tomography) 영상 데이터 중 적어도 하나를 포함하는 방법.The medical image data includes at least one of X-ray, ultrasound, computerized tomography (CT), magnetic resonance imaging (MRI), and positron emission tomography (PET) image data of the subject.
  3. 청구항 1에 있어서,The method of claim 1,
    상기 대상 장기의 영역에 대한 데이터를 추출하는 단계는,The step of extracting data on the region of the target organ,
    상기 대상 장기 외의 영역을 서프레션(suppression)하는 단계; 및suppressing a region other than the target organ; and
    상기 대상 장기의 영역을 세그맨테이션(segmentation)하는 단계를 포함하는 방법.The method comprising segmenting a region of the target organ.
  4. 청구항 1에 있어서,The method of claim 1,
    상기 대상 장기의 영역에 대한 데이터를 분석함으로써 상기 대상 장기의 특징 데이터를 생성하는 단계는,The step of generating characteristic data of the target organ by analyzing data on the region of the target organ,
    라디오믹스(radiomics) 기법을 이용하여 상기 대상 장기의 영역에 대한 데이터의 적어도 하나의 특징(feature)을 추출하는 단계; 및extracting at least one feature of data of a region of the target organ using a radiomics technique; and
    상기 적어도 하나의 특징을 기반으로 상기 대상 장기의 특징 데이터를 생성하는 단계를 포함하는 방법.and generating feature data of the target organ based on the at least one feature.
  5. 청구항 1에 있어서,The method of claim 1,
    상기 석회화에 대한 진단을 보조하기 위한 정보는, Information to assist in the diagnosis of the calcification,
    상기 대상자의 상기 대상 장기의 석회질을 검출함으로써 석회질 검출 여부를 지시하는 정보 및 상기 대상자의 검출된 상기 대상 장기의 석회질 정도를 판단함으로써 석회화 정도를 지시하는 정보 중 적어도 하나를 포함하는 방법.The method comprising at least one of information indicating whether to detect calcification by detecting calcification in the target organ of the subject and information indicating the degree of calcification by determining the degree of calcification in the detected target organ of the subject.
  6. 청구항 1에 있어서,The method of claim 1,
    상기 대상 장기는, 복부의 장기, 흉부의 장기, 요추, 경추, 뇌, 간, 폐, 신장, 부신관절, 혈관 중 적어도 하나를 포함하는 방법.The target organ includes at least one of an abdominal organ, a thoracic organ, a lumbar spine, a cervical spine, a brain, a liver, a lung, a kidney, an adrenal joint, and a blood vessel.
  7. 청구항 1에 있어서,The method of claim 1,
    상기 석회화에 대한 진단을 보조하기 위한 정보는, 상기 특징 데이터에 포함되는 복수의 특징들 중 로지스틱 회귀 분석(logistic regression)에 의해 선택된 일부 특징들에 기반하여 생성되는 방법.The method of claim 1 , wherein the information for assisting diagnosis of the calcification is generated based on some features selected by logistic regression from among a plurality of features included in the feature data.
  8. 청구항 7에 있어서,The method of claim 7,
    상기 로지스틱 회귀 분석은, LASSO(the least absolute shrinkage and selection operator) 회귀 분석(regression)을 포함하는 방법.Wherein the logistic regression analysis includes the least absolute shrinkage and selection operator (LASSO) regression analysis.
  9. 청구항 7에 있어서,The method of claim 7,
    상기 석회화에 대한 진단을 보조하기 위한 정보는, 상기 선택된 일부 특징들을 가중치 선형 결합함으로써 결정되는 라디오믹스 스코어(radiomics score)에 기반하여 생성되는 방법.The information for assisting the diagnosis of the calcification is generated based on a radiomics score determined by weighted linear combination of some of the selected features.
  10. 청구항 9에 있어서,The method of claim 9,
    상기 석회화에 대한 진단을 보조하기 위한 정보는, 상기 라디오믹스 스코어 및 임상 정보에 기반하여, 랜덤 포레스트(random forest) 모델에 의해 생성되고,Information to assist the diagnosis of the calcification is generated by a random forest model based on the radiomix score and clinical information,
    상기 임상 정보는, 나이, 성별, BMI(body mass index) 중 적어도 하나를 포함하는 방법.The clinical information includes at least one of age, gender, and body mass index (BMI).
  11. 프로세서에 의해 동작되면 제1항 내지 제8항 중의 어느 한 항에 따른 방법을 실행하기 위해 매체에 저장된 프로그램.A program stored in a medium to execute the method according to any one of claims 1 to 8 when operated by a processor.
  12. 인공지능에 모델에 기반하여 석회화에 대한 진단을 보조하기 위한 장치에 있어서,In a device for assisting diagnosis of calcification based on an artificial intelligence model,
    송수신부;transceiver;
    인공지능 모델을 저장하는 저장부; 및A storage unit for storing an artificial intelligence model; and
    상기 송수신부 및 상기 저장부와 연결된 적어도 하나의 프로세서를 포함하며,It includes at least one processor connected to the transceiver and the storage unit,
    상기 적어도 하나의 프로세서는, The at least one processor,
    대상자의 의료 영상 데이터를 획득하고,Obtaining medical image data of the subject,
    상기 의료 영상 데이터를 기반으로 대상(target) 장기의 영역에 대한 데이터를 추출하고,Extracting data on a region of a target organ based on the medical image data;
    상기 대상 장기의 영역에 대한 데이터를 분석함으로써 상기 대상 장기의 특징(feature) 데이터를 생성하고,generating feature data of the target organ by analyzing data on a region of the target organ;
    상기 대상 장기의 특징 데이터에 기반하여 상기 대상 장기의 석회화에 대한 진단을 보조하기 위한 정보를 제공하도록 제어하는 장치.An apparatus for controlling to provide information for assisting diagnosis of calcification of the target organ based on the characteristic data of the target organ.
PCT/KR2022/020801 2022-01-10 2022-12-20 Method and device for assisting diagnosis of calcification on basis of artificial intelligence model WO2023132523A1 (en)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2022-0003361 2022-01-10
KR20220003361 2022-01-10
KR10-2022-0177169 2022-12-16
KR1020220177169A KR20230108213A (en) 2022-01-10 2022-12-16 Method and apparatus for assisting for diagnosing calcification based on artificial intelligence model

Publications (1)

Publication Number Publication Date
WO2023132523A1 true WO2023132523A1 (en) 2023-07-13

Family

ID=87073979

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/020801 WO2023132523A1 (en) 2022-01-10 2022-12-20 Method and device for assisting diagnosis of calcification on basis of artificial intelligence model

Country Status (1)

Country Link
WO (1) WO2023132523A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190106403A (en) * 2018-03-09 2019-09-18 연세대학교 산학협력단 Method for predicting diseases and device for predicting diseases using the same
KR20200056105A (en) * 2018-11-14 2020-05-22 울산대학교 산학협력단 Method and apparatus for calculating coronary artery calcium scoring
WO2020154649A1 (en) * 2019-01-25 2020-07-30 Cleerly, Inc. Systems and method of characterizing high risk plaques
KR20210069059A (en) * 2018-09-18 2021-06-10 옥스포드 유니버시티 이노베이션 리미티드 Radiomic signature of the perivascular region
KR20210073282A (en) * 2019-12-10 2021-06-18 한국전자통신연구원 Image processing device and system for analyzing calcification including the same

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190106403A (en) * 2018-03-09 2019-09-18 연세대학교 산학협력단 Method for predicting diseases and device for predicting diseases using the same
KR20210069059A (en) * 2018-09-18 2021-06-10 옥스포드 유니버시티 이노베이션 리미티드 Radiomic signature of the perivascular region
KR20200056105A (en) * 2018-11-14 2020-05-22 울산대학교 산학협력단 Method and apparatus for calculating coronary artery calcium scoring
WO2020154649A1 (en) * 2019-01-25 2020-07-30 Cleerly, Inc. Systems and method of characterizing high risk plaques
KR20210073282A (en) * 2019-12-10 2021-06-18 한국전자통신연구원 Image processing device and system for analyzing calcification including the same

Similar Documents

Publication Publication Date Title
Labhane et al. Detection of pediatric pneumonia from chest X-ray images using CNN and transfer learning
US11443201B2 (en) Artificial intelligence-based self-learning in medical imaging
Kamil A deep learning framework to detect Covid-19 disease via chest X-ray and CT scan images.
WO2020050635A1 (en) Method and system for automatically segmenting blood vessels in medical image by using machine learning and image processing algorithm
US10949970B2 (en) Methods and apparatus for the application of machine learning to radiographic images of animals
Li et al. PNet: An efficient network for pneumonia detection
Kassem et al. Explainable transfer learning-based deep learning model for pelvis fracture detection
WO2020179950A1 (en) Deep learning-based method and device for prediction of progression of brain disease
Aboughazala Automated detection of COVID-19 coronavirus cases using deep neural networks with X-ray images
WO2023132523A1 (en) Method and device for assisting diagnosis of calcification on basis of artificial intelligence model
WO2023055103A1 (en) Method and apparatus for assisting in diagnosis of heart or cardiovascular abnormality on basis of 3d model simulation
CN114023436A (en) Artificial intelligence-based pulmonary tuberculosis classification diagnosis model training method
KR20230108213A (en) Method and apparatus for assisting for diagnosing calcification based on artificial intelligence model
Fowler et al. Clinical trial active learning
Ramasamy et al. Application of deep learning strategies to assess COVID-19 patients
Vetrithangam et al. prediction of pneumonia disease from x-ray images using a modified resnet152v2 deep learning model
Kumar et al. Abnormality Detection in Smartphone-Captured Chest Radiograph Using Multi-pretrained Models
WO2023033392A1 (en) Machine learning method and apparatus
Subhash et al. Automatic Detection of Covid-19 Infection using Chest X-Ray Images through Transfer Learning
WO2023121003A1 (en) Method for classifying image data by using artificial neural network, and apparatus therefor
Suyuti et al. Pneumonia Classification of Thorax Images using Convolutional Neural Networks
WO2023195741A1 (en) Method and device for acquiring information from medical image expressing time-varying information
Rohini et al. ConvNet based detection and segmentation of brain tumor from MR images
WO2022182180A1 (en) Method and apparatus for detecting medical indices in medical image
KR102622932B1 (en) Appartus and method for automated analysis of lower extremity x-ray using deep learning

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22919060

Country of ref document: EP

Kind code of ref document: A1