WO2019059448A1 - 혈전 종류 판별 방법, 장치 및 프로그램 - Google Patents

혈전 종류 판별 방법, 장치 및 프로그램 Download PDF

Info

Publication number
WO2019059448A1
WO2019059448A1 PCT/KR2017/011772 KR2017011772W WO2019059448A1 WO 2019059448 A1 WO2019059448 A1 WO 2019059448A1 KR 2017011772 W KR2017011772 W KR 2017011772W WO 2019059448 A1 WO2019059448 A1 WO 2019059448A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
thrombus
type
learning
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2017/011772
Other languages
English (en)
French (fr)
Inventor
방오영
김윤철
정종원
서우근
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Life Public Welfare Foundation
Original Assignee
Samsung Life Public Welfare Foundation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Life Public Welfare Foundation filed Critical Samsung Life Public Welfare Foundation
Publication of WO2019059448A1 publication Critical patent/WO2019059448A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging

Definitions

  • the present invention relates to a method, an apparatus, and a program for determining the type of a clot using magnetic resonance image (MRI) data.
  • MRI magnetic resonance image
  • Cerebral infarction is a disease in which blood vessels in the brain block and some cells in the brain die. Cerebral infarction occurs in the heart due to thrombosis and atrial fibrillation caused by arteriosclerosis of the cerebral blood vessels, and the cerebral blood vessels are occluded by the cardioembolic clots that migrate to the brain. The blood supply to the brain tissue is blocked and the blood supply to the brain tissue is blocked by the blocked blood vessels, resulting in neurological symptoms such as consciousness disorder or paralysis.
  • the blood vessels are resumed early and the cerebral blood flow is restored before the cerebral tissue is completely inflated. How quickly the occluded vessels are pierced is the most important factor affecting the prognosis of cerebral infarction.
  • the time to first treatment (Golden Time) is known to be about 4.5-8 hours to minimize the aftereffects of cerebral infarction. The faster the time of revascularization after symptom onset, the greater the probability of recovering neurological symptoms. Diagnosis and treatment are required.
  • a CT scan or magnetic resonance imaging (MRI) is performed to determine the cause and cause of the cerebral infarction and determine the treatment plan.
  • MRI magnetic resonance imaging
  • chemical thrombolysis using a thrombolytic agent for dissolving a thrombus or mechanical thrombolysis for disrupting thrombus is performed.
  • these problems are illustrative and do not limit the scope of the present invention.
  • a thrombus type discriminating method includes: a thrombus region selecting step of selecting, from magnetic resonance imaging (MRI) data of a specific subject, a thrombus region estimated to have a clot of the specific subject; An input data acquiring step of generating input data to be input to the discrimination model for estimating the type of thrombus from the selected thrombus area; An input step of inputting the input data into a discrimination model for estimating the type of the thrombus; And an output step of discriminating and outputting the type of the thrombus on the basis of the output value of the discrimination model, wherein the discrimination model comprises correlation data of learning input data obtained from magnetic resonance imaging data of a plurality of data providers, Output function.
  • MRI magnetic resonance imaging
  • a thrombus type discriminating apparatus receives magnetic resonance image data of a specific subject and, when an area in which the clot of the specific subject is located is selected from the magnetic resonance image data, A control unit for generating input data to be input to a discrimination model for estimating the type of the thrombus and inputting the input data to the discrimination model; And an output unit for outputting the type of the thrombus output from the discrimination model, wherein the discrimination model includes an input / output function for expressing a correlation between learning input data and thrombus classification data obtained from magnetic resonance imaging data of a plurality of data providers to be.
  • One embodiment of the present invention discloses a computer program stored in a medium for executing the above-described clot type determination method.
  • the method, device, and program for determining the type of thrombus using machine learning it is possible to determine the type of thrombus in an objectively quantitative manner.
  • the thrombus type is determined by a qualitative method, And inter- and inter-observer variability are high.
  • non-invasive methods can quickly identify the type of thrombus in minutes, which can help determine the treatment plan of the subject quickly. This can improve the therapeutic effect by rapidly treating the cerebral vascular occlusion symptoms that may irreversibly damage the brain such as cerebral infarction.
  • the scope of the present invention is not limited by these effects.
  • FIG. 1 is a view schematically showing the configuration of a thrombus type discriminating apparatus according to an embodiment of the present invention.
  • FIG. 2 is a flowchart illustrating a method of determining a thrombus type according to an embodiment of the present invention.
  • FIG. 3 is a flowchart showing a method of discriminating a thrombus type further including a step of training a discrimination model.
  • FIG. 4 is a diagram showing a method of generating learning data.
  • FIG. 5 is a diagram showing an embodiment for obtaining learning input data.
  • FIG. 6 is a diagram showing another embodiment for obtaining learning input data.
  • FIGS. 7 and 8 are diagrams showing respective steps of the thrombus region selection step.
  • 9 to 11 are diagrams illustrating an embodiment of the input data acquisition step, respectively.
  • FIG. 12 is a diagram illustrating an input step and an output step.
  • FIG. 13 is a diagram showing magnetic resonance imaging data and signal intensity profiles of a subject having a thrombus caused by atrial fibrillation and a thrombus not caused by atrial fibrillation, respectively.
  • FIG. 14 is a graph showing a result of a blood clot type discrimination using a clot type discriminating apparatus 1000 according to an embodiment of the present invention.
  • FIG. 15 is a receiver operating characteristic (ROC) graph of a discrimination model according to an embodiment of the present invention.
  • FIG. 16 is a diagram illustrating a signal intensity profile in a section of a magnetic resonance image and a thrombus region before and after a thrombus of a specific subject is removed.
  • 17 is a block diagram of a control unit according to an embodiment.
  • FIG. 18 is a block diagram of a data learning unit according to an embodiment.
  • 19 is a block diagram of a data recognition unit according to an embodiment.
  • Some embodiments of the present disclosure may be represented by functional block configurations and various processing steps. Some or all of these functional blocks may be implemented with various numbers of hardware and / or software configurations that perform particular functions.
  • the functional blocks of the present disclosure may be implemented by one or more microprocessors, or by circuit configurations for a given function.
  • the functional blocks of the present disclosure may be implemented in various programming or scripting languages.
  • the functional blocks may be implemented with algorithms running on one or more processors.
  • the present disclosure may employ conventional techniques for electronic configuration, signal processing, and / or data processing, and the like. Terms such as “ mechanism ", " element “, “ means “, and “ configuration " and the like are widely used and are not limited to mechanical and physical configurations.
  • connection lines or connection members between the components shown in the figures are merely illustrative of functional connections and / or physical or circuit connections. In practical devices, connections between components can be represented by various functional connections, physical connections, or circuit connections that can be replaced or added.
  • magnetic resonance image used herein means a diagnostic technique for generating an image or a photograph of a body structure using a magnetic field, and an image obtained through the diagnosis technique.
  • FIG. 1 is a view schematically showing a configuration of a thrombus type discriminating apparatus 1000 according to an embodiment of the present invention.
  • the thrombus type discriminating apparatus 1000 shown in FIG. 1 shows only the components related to the present embodiment in order to prevent the characteristic of the present embodiment from being blurred. Therefore, it will be understood by those skilled in the art that other general-purpose components other than the components shown in FIG. 1 may be further included.
  • the thrombus type discriminating apparatus 1000 may correspond to at least one processor or may include at least one or more processors. Accordingly, the thrombus type discriminating apparatus 1000 can be driven in the form contained in another hardware apparatus such as a microprocessor or a general-purpose computer system.
  • the thrombus type discriminating apparatus 1000 is a device that processes magnetic resonance image data of a subject and processes it to discriminate the type of clot generated in the subject's body, for example, the brain.
  • a thrombus type discriminating apparatus 1000 includes a control unit 1100 and an output unit 1200.
  • the control unit 1100 may include any kind of device capable of processing data, such as a processor.
  • the term " processor " may refer to a data processing apparatus embedded in hardware, for example, having a circuit physically structured to perform a function represented by a code or an instruction contained in the program.
  • a microprocessor a central processing unit (CPU), a processor core, a multiprocessor, an application-specific integrated circuit (ASIC) ), FPGA (Field Programmable Gate Array), and the like, but the scope of the present invention is not limited thereto.
  • the control unit 1100 receives medical data of a subject, for example, magnetic resonance imaging (MRI) data.
  • the subject may be a patient suffering from cerebral infarction due to clot, but the subject is not limited thereto.
  • MRI image data may include T1-weighted image data, T2-weighted image data, fluid attenuated inversion recovery (FLAIR) image data, diffusion weighted imaging (DWI) Data, and susceptibility weighted imaging (SWI) data, but the type of magnetic resonance imaging data is not limited thereto.
  • the thrombus type discriminating apparatus 1000 can receive magnetic resonance imaging data from an external magnetic resonance imaging apparatus or a previously stored medical database (DB), but the present invention is not limited thereto.
  • the magnetic resonance image data acquired by the control unit 1100 may include gradient echo (GRE) image data.
  • GRE images are a type of T2 * -weighted image, which can be taken in a short time because the 180-degree pulse is not used and the repetition time can be shortened. Since the blood flow is a high signal, diagnosis of the blood vessel, MR angiography ). When a cardioembolic clot due to atherosclerosis is seen through a GRE image, thrombosis is clearly observed due to the signal characteristic that the surrounding area is black due to susceptibility. Therefore, GRE image data can be useful for learning the signal characteristics of thrombus. In addition to GRE image data, various types of data that can identify blooming artifacts caused by susceptibility differences can be used. For example, susceptibility weighted imaging (SWI) data can also be used to learn the signal characteristics of the thrombus.
  • SI susceptibility weighted imaging
  • control unit 1100 may process the acquired magnetic resonance image data, obtain input data for estimating the type of thrombus, and input the input data to the discrimination model.
  • the 'discriminant model' may refer to an input / output function expressing the correlation between the input data for learning and the thrombus type obtained from the magnetic resonance image data of a plurality of data providers.
  • the discrimination model may be generated by a machine learning technique.
  • the thrombus type discriminating apparatus 1000 can use various techniques for training and / or learning such a discrimination model.
  • the thrombus type discriminating apparatus 1000 may include a logic regression, a decision tree, a nearest-neighbor classifier, a kernel discriminant analysis, a neural network, a support vector machine, a random vector forest, Boosted tree, and / or the like.
  • the present invention is not limited thereto.
  • the discrimination model may be a matrix data set that maps training input data to thrombus classification data that can be expressed in a vector form.
  • the "training” or “learning” of the discrimination model means that an error back-propagation technique is used so that the output value when inputting learning input data approaches the labeled thrombus classification data Or the like, to adjust the value of the discriminant model parameter set.
  • the discrimination model may be a model for determining whether a thrombus of a specific subject includes a red clot.
  • the thrombus is divided into red thrombosis and white thrombosis. Among them, red thrombosis appears red with a lot of red blood cells attached to fibrin. Red blood cells contain a lot of deoxyhemoglobin, In contrast, Blooming artifacts appear more strongly in GRE images. Therefore, the signal characteristics of red and white blood clots are different from each other.
  • the type of the thrombus can be determined by learning the signal characteristic of the red thrombus, and the cause of the thrombus can be estimated.
  • the discrimination model may be a model for determining whether a thrombus of a specific subject is thrombotic due to atrial fibrillation (Afib).
  • Atrial fibrillation is a kind of arrhythmia, which means that the cardiac output decreases because the atrial contraction does not occur.
  • the blood does not circulate smoothly but stagnates and blood clots are produced.
  • the thrombus then migrates and blocks the middle cerebral artery of the brain, resulting in cerebral infarction.
  • thrombus caused by atrial fibrillation mainly includes red blood clots having a high proportion of red blood cells
  • thrombosis caused by atherosclerosis mainly includes platelet-rich white clots.
  • the signal characteristic of the thrombus caused by atrial fibrillation is learned based on the fact that the signal characteristics of the red thrombus and the white thrombus are different from each other as described above.
  • the output unit 1200 displays and outputs the information processed by the blood clot type discriminating apparatus 1000.
  • the output unit 1200 may include a display unit for displaying a blood clot type determination result and a user interface for receiving magnetic resonance image data. The user can determine the treatment method of the subject by referring to the blood clot discrimination result displayed on the output unit 1200.
  • the thrombus type discriminating method includes a thrombus region selection step S210, an input data acquisition step S220, an input step S230, and an output step S240.
  • a step (S210) of selecting a thrombus region estimated to have a thrombus in the magnetic resonance imaging data of the subject is performed.
  • the step S210 may include selecting a slice in which a thrombus is visible from a plurality of magnetic resonance imaging slices and selecting a region estimated to be thrombus from the slice, which will be described below with reference to FIGS. 7 and 8 .
  • step S220 obtaining input data to be input to the discrimination model from the thrombus area.
  • step S220 a process of extracting, generating, or pre-processing input data to be input to the discriminant model among the magnetic resonance image data may be performed.
  • the input data may be a signal intensity profile, which will be described below with reference to Figs. 9 to 11.
  • magnetic resonance imaging data is processed to obtain input data, and then a value derived from an input to a discrimination model that is preliminarily learned / .
  • the discrimination model may be learned / generated in an external device, but may be learned / generated in the control unit 1100 of the thrombus type discriminating apparatus 1000 according to an embodiment of the present invention.
  • the discrimination model is trained in the control unit 1100, the discrimination model must be trained prior to discrimination of the blood type of the specific subject.
  • the thrombus type discriminating method may further include a step S310 of training a discrimination model before the thrombus region selecting step S210.
  • the discrimination model training step (S310) may include learning data from the magnetic resonance imaging data and the thrombus classification data of a plurality of data providers, and machine learning the discrimination model using the training data.
  • thrombus type data matching with each learning input data and indicating the actual thrombus type of the data provider is also needed.
  • a method for acquiring learning data for learning / creating a discrimination model will be described below with reference to Figs. 4 to 6. Fig.
  • the learning data may include 'learning input data' input to the discrimination model and 'thrombus classification data' corresponding thereto.
  • the training input data to train the discrimination model may be a graph of the signal intensity profile of the subject's thrombus area.
  • the signal intensity profile may indicate intensity of the magnetic resonance signal according to the pixel position or intensity of the brightness signal in the image.
  • Learning input data can be generated automatically or semi-automatically, which will be described later with reference to Figs. 7 to 10.
  • the learning input data including the signal intensity profile obtained from the magnetic resonance imaging data of each data provider and the thrombus classification data are matched with each other.
  • the control unit 1100 may map the signal intensity profile graph in the thrombus region of the data provider P1 to 1 .
  • the control unit 1100 may map the signal intensity profile graph in the thrombus region of the data provider P2 to zero. In other words, the control unit 1100 can generate 'training data' by matching the thrombus classification data obtained from the medical data and the clinical data of the data provider with the input data for learning.
  • the controller 1100 can learn the characteristics of the signal intensity profile graph from the learning data through the various algorithms described above. For example, in the discriminant model training step (S310), the controller 1100 may learn the characteristics of the signal intensity profile graph labeled as atrial fibrillation.
  • FIG. 5 is a diagram showing an embodiment for obtaining learning input data.
  • the learning input data is stored at a predetermined angle with a line segment L 12 connecting the first point (P 1 ) and the second point (P 2 ) in the thrombus region of the magnetic resonance imaging data of a plurality of data providers May comprise a signal strength profile (IP) obtained from a plurality of sections (S 1 , S 2 , S n ).
  • IP signal strength profile
  • the first point P 1 and the second point P 2 may be designated by the user or automatically selected by the control unit 1100. For example, the controller 1100 may select two points that are the farthest from the selected thrombus area CA as the first point P 1 and the second point P 2 .
  • the first point P 1 and the second point P 2 selected by the controller 1100 may be changed to another point by the user. At this time, it may be preferable to select the first point P 1 and the second point P 2 so that the line segment L 12 between each point is parallel to the direction of the blood vessel or the direction in which the blood clot is elongated.
  • the plurality of sectional lines S 1 , S 2 , and S n have a certain angle ⁇ with the line segment L 12 connecting the first point P 1 and the second point P 2 .
  • the angle? May be a predetermined value or may be set by a user's input.
  • the angle [theta] may be, for example, 90 degrees. That is, the sectional lines S 1 , S 2 , ..., and S n may be perpendicular to the direction of the blood vessel or the direction in which the blood clot is elongated.
  • the thrombus caused by arteriosclerosis is formed by solidification of one wall of the blood vessel and the thrombus caused by atrial fibrillation is formed by the vortex formation in the atrium due to irregular heartbeat, The characteristics are different. Therefore, when the cross-sectional lines S 1 , S 2 , ..., S n are perpendicular to the direction of the blood vessel or the elongated direction of the thrombus to obtain a signal intensity profile and mechanically learn it, .
  • a plurality of learning input data or signal strength profiles (IP) are obtained from one data provider, all of them match with the same thrombus classification data.
  • the thrombus classification data corresponding to n learning input data can be all 1s. That is, if a plurality of signal intensity profiles (IP) are obtained from one data provider, a plurality of signal intensity profiles (IP) labeled with the same value can be obtained, and the input data for learning can be easily generated.
  • IP signal intensity profiles
  • IP signal intensity profiles
  • FIG. 6 is a diagram showing another embodiment for obtaining learning input data.
  • the learning input data may further include a signal strength profile (IP) and an inverse signal strength profile (IP ') which is inversion.
  • IP signal strength profile
  • IP ' inverse signal strength profile
  • a total of 2n graphs including n signal strength profiles (IP) and n inverted signal strength profiles (IP ') obtained from one data provider are shown similarly to FIG. Since the mechanism by which the thrombus is generated does not depend on the left and right positions of the blood vessel, the 'inverted signal strength profile (IP') ', which is a graph inversion of each signal strength profile (IP) And the like. Therefore, the inverse signal intensity profile (IP ') can also be used as learning input data. In this case, when the number of signal strength profile (IP) graphs is n, the number of learning input data that can be obtained in one thrombus region is 2n.
  • the total signal strength profile can be doubled, and as many input data for learning as possible can be generated from one data provider.
  • a total of 1624 learning input data are generated from magnetic resonance imaging data obtained from 52 data providers through the above-described method.
  • the thrombus classification data is binary classified as 0 or 1, but the present invention is not limited thereto.
  • the discrimination model may be learned to discriminate three or more thrombus types, and in this case, the thrombus classification data may be a vector in which the number of rows or columns is three or more.
  • the learning input data generated by the above-described method can be divided into training data (test data) and test data (test data). For example, after the discrimination model is learned using the training data, the accuracy of the discrimination model can be verified through the test data.
  • FIGS. 7 and 8 illustrate respective steps of the thrombus region selection step S210.
  • the magnetic resonance image data may include a plurality of slices.
  • each slide is a magnetic resonance image appearing on the transverse plane of the subject, but the present invention is not limited thereto.
  • An image of each slide may be displayed on the output unit 1200.
  • a step of selecting a slide estimated to have 'clots' among a plurality of slides may be performed. Such selection may be made by the user, but may be automatically performed through image processing by the control unit 1100.
  • a step of selecting a thrombus region CA in which a thrombus is located may be performed on the selected slice.
  • the thrombus shows a signal characteristic that appears black due to the difference in susceptibility. Therefore, a region that is darker than the periphery may be selected as the thrombus region CA.
  • the step of selecting the thrombus region CA may be manually performed by the user, but may be performed semi-auto or auto through image processing techniques. For example, when the user selects some of the regions estimated to be thrombus, the controller 1100 semi-automatically selects the pixels whose brightness or signal intensity is lower than or equal to a certain threshold value around the selected pixels through the image processing technique .
  • the control unit 1100 determines whether the difference in signal intensity between the specific pixel region and the symmetric pixel region is equal to or less than the symmetry axis of the magnetic resonance image passing through the sagittal plane It is possible to automatically select a thrombus area CA by estimating a pixel area having a specific value or more as an area where a 'thrombus' has occurred. At this time, if there are a plurality of 'thrombus areas CA' estimated by the control part 1100, the user can finally select some of them.
  • the above-described steps can be similarly applied not only to acquiring input data from magnetic resonance imaging data of a specific subject, but also to acquiring learning input data from magnetic resonance imaging data of a plurality of data providers.
  • 9 to 11 are diagrams showing an embodiment of the input data acquiring step (S220).
  • the control unit 1100 acquires input data to be input to the discrimination model from the selected thrombus area CA.
  • the input data to be input to the discrimination model may be the signal intensity profile of the thrombus area CA.
  • the signal intensity profile may indicate intensity of the magnetic resonance signal according to the pixel position or intensity of the brightness signal in the image.
  • a graph of a signal intensity profile at a section line S of the thrombus region is input to the discrimination model to estimate the type of thrombus.
  • the controller 1100 may input a signal intensity profile obtained through an arbitrary section line S passing through the thrombus region selected in the thrombus region selection step S210 to the discrimination model.
  • the process of obtaining the signal intensity profile can be performed by auto.
  • the process of obtaining the signal strength profile may be semi-auto.
  • a first point P 1 and a second point P 2 are designated in the thrombus region CA.
  • the first point P 1 and the second point P 2 may be designated by the user or automatically by the control unit 1100.
  • the control unit 1100 may select two points that are the farthest from the selected thrombus area CA as the first point P 1 and the second point P 2 , respectively.
  • the first point P 1 and the second point P 2 selected by the controller 1100 may be changed to another point by the user. At this time, it may be preferable to select the first point P 1 and the second point P 2 so that the line segment following each point is parallel to the direction of the blood vessel or the direction in which the thrombus is elongated.
  • a line segment L 12 connecting the first point P 1 and the second point P 2 and a section line S having a certain angle ⁇ can be obtained.
  • the section line S may pass an arbitrary position (for example, center point) of the line segment L 12 connecting the first point P 1 and the second point P 2 .
  • the section line S has a constant angle? With a line connecting the first point P 1 and the second point P 2 .
  • the angle? May be a predetermined value or may be set by a user's input.
  • the angle [theta] may be, for example, 90 degrees. That is, the section line S may be perpendicular to the direction of the blood vessel or the direction in which the blood clot is elongated.
  • the signal intensity of the thrombus with respect to the cross section of the blood vessel that is, the characteristic of the signal intensity of the thrombus along the distance from the center of the blood vessel, can be grasped.
  • the input data may comprise a plurality of signal strength profiles.
  • a plurality of sections S 1 , S 2 , ..., S (S 1 , S 2 , ..., S) having a predetermined angle ⁇ with a line segment L 12 connecting a first point P 1 and a second point P 2 , 5 ) can be obtained.
  • five signal intensity profiles are obtained from five cross sections having the same interval, but the present invention is not limited thereto.
  • each signal intensity profile can be input to the discrimination model.
  • the discrimination model can output an output value for each input.
  • the controller 1100 can determine the type of blood clot based on the average of the output values, and can transmit the determined result to the output unit 1200.
  • FIG. 12 is a diagram illustrating an input step and an output step. After the input data acquisition step (S220), an input step (S230) for inputting the input data into the learned discrimination model and an output step (S240) for discriminating and outputting the type of thrombus based on the final output value of the discrimination model .
  • the final output value may mean the average value described in FIG. 11, but the present invention is not limited thereto.
  • the discrimination model may be a binary classification model that is learned to determine whether a thrombus of a subject is a specific type of thrombus (for example, a thrombus due to atrial fibrillation).
  • the discrimination model can receive a signal intensity profile and output a scalar value.
  • the control unit 1100 determines whether the thrombus of the subject is a specific type of thrombus A (non-A) .
  • the specific value T may be set to a value that maximizes the prediction accuracy of the discrimination model in the step of learning the discrimination model.
  • the user can determine the treatment plan of the subject based on the output thrombus type discrimination result.
  • a program for determining the type of thrombus using MATLAB (Mathworks, MA, USA) has been developed.
  • a random forest model was used for machine learning.
  • a total of 1624 training input data were extracted from 52 data providers of cerebral infarction patients and external validation of the discrimination model was performed through data obtained from 15 data providers.
  • FIG. 13 is a diagram showing magnetic resonance imaging data and signal intensity profiles of a subject having a thrombus caused by atrial fibrillation and a thrombus not caused by atrial fibrillation, respectively.
  • the subject of FIG. 13 (a) had thrombosis due to atrial fibrillation, and the subject of (b) had thrombosis due to other causes.
  • five signal intensity profiles obtained from five cross-sectional lines passing through the thrombus region are input to the discriminant model to discriminate the type of thrombus of the subject.
  • the discrimination model can 'learn' whether the signal intensity profile has two peaks in the thrombus area, and this characteristic can be used as a criterion for determining whether thrombus is caused by atrial fibrillation.
  • the discriminant model can 'learn' other features of the signal intensity profile of atrial fibrillation as well as the above.
  • FIG. 14 is a graph showing a result of a blood clot type discrimination using a clot type discriminating apparatus 1000 according to an embodiment of the present invention.
  • the signal intensity profile graphs of five sections perpendicular to the line segment passing through the first point and the second point in the thrombus area designated by the user are input to the discrimination model, and the five output values are averaged, ≪ / RTI > At this time, if the final value is greater than a specific value (T: 0.27), it is set to be 'thrombus due to atrial fibrillation.' Referring to FIG. 14, the average value of the subjects confirmed to be thrombosis due to atrial fibrillation was large, and the average value of the subjects confirmed to be not atrial fibrillation was small.
  • FIG. 15 is a receiver operating characteristic (ROC) graph of a discrimination model according to an embodiment of the present invention.
  • the first point and the second point designated by the user are selected twice differently.
  • the AUC was 0.93
  • the AUC was 0.97. Both AUC values were higher in the two assays, confirming the superiority of the method and apparatus for determining thrombus type.
  • FIG. 16 is a diagram illustrating a signal intensity profile in a section of a magnetic resonance image and a thrombus region before and after a thrombus of a specific subject is removed.
  • IAT intraarterial thrombolysis
  • the signal of the middle region of the signal intensity profile (pixels 5 to 13) Showed a pattern in which two peaks appeared.
  • the signal intensity profile of the thrombus after performing the IAT can be confirmed to have a reduced signal as a whole without such a pattern. In other words, it can be seen that the thrombus is well removed by the IAT.
  • the thrombus type discrimination method of the present invention can also be used to predict the treatment outcome and prognosis after treatment.
  • control unit 1100 will be described in detail.
  • 17 is a block diagram of the controller 1100 according to an embodiment.
  • the controller 1100 may include a data learning unit 1110 and a data recognizer 1120.
  • the data learning unit 1110 can learn a criterion for discriminating the blood clot type. In one embodiment, the data learning unit 1110 can learn a predetermined criterion by using the input data for learning input to the data learning unit 1110. The data learning unit 1110 can learn how the shape of the signal intensity profile differs for each type of thrombus.
  • the data recognition unit 1120 can determine the type of blood clot based on the data.
  • the data recognition unit 1120 can determine the type of thrombus from the predetermined data using the learned data recognition model.
  • the data recognizing unit 1120 can determine the type of thrombus based on predetermined data by acquiring predetermined data according to a predetermined reference by learning and using the obtained data as an input value and using a data recognition model have. Further, the resultant value output by the data recognition model with the obtained data as an input value can be used to update the data recognition model.
  • At least one of the data learning unit 1110 and the data recognizing unit 1120 may be manufactured in the form of at least one hardware chip and mounted on the electronic device.
  • at least one of the data learning unit 1110 and the data recognition unit 1120 may be manufactured in the form of a dedicated hardware chip for artificial intelligence (AI), or may be a conventional general-purpose processor Or application processor) or a graphics-only processor (e.g., a GPU), and may be mounted on various electronic devices as described above.
  • AI artificial intelligence
  • GPU graphics-only processor
  • the data learning unit 1110 and the data recognizing unit 1120 may be mounted on one electronic device or on separate electronic devices, respectively.
  • one of the data learning unit 1110 and the data recognizing unit 1120 may be included in the electronic device, and the other may be included in the server.
  • the data learning unit 1110 and the data recognizing unit 1120 may provide the model information constructed by the data learning unit 1110 to the data recognizing unit 1120 via the wired or wireless network, 1120 may be provided to the data learning unit 1110 as additional learning data.
  • At least one of the data learning unit 1110 and the data recognizing unit 1120 may be implemented as a software module.
  • the software module may be a computer-readable, And may be stored in non-transitory computer readable media.
  • the at least one software module may be provided by an operating system (OS) or by a predetermined application.
  • OS operating system
  • OS Operating System
  • some of the at least one software module may be provided by an Operating System (OS)
  • OS Operating System
  • FIG. 18 is a block diagram of a data learning unit 1110 according to an embodiment.
  • a data learning unit 1110 includes a data obtaining unit 1111, a preprocessing unit 1112, a learning data selecting unit 1113, a model learning unit 1114, 1115).
  • the data acquisition unit 1111 can receive magnetic resonance image data from an external magnetic resonance imaging apparatus or a previously stored medical database (DB).
  • DB previously stored medical database
  • the preprocessing unit 1112 can preprocess the acquired data so that the acquired data can be used for learning / training to determine the type of thrombus.
  • the preprocessing unit 1112 can process the acquired data into a predetermined format so that the model learning unit 1114, which will be described later, can use data acquired for learning to determine the type of blood clots.
  • the preprocessing unit 1112 may extract / generate learning input data and input data from the input magnetic resonance image, and normalize the signal intensity profile graph.
  • the learning data selection unit 1113 can select data necessary for learning from the preprocessed data.
  • the selected data may be provided to the model learning unit 1114.
  • the learning data selection unit 1113 can select data necessary for learning from among the preprocessed data according to a predetermined criterion.
  • the learning data selection unit 1113 can also select data according to a predetermined reference by learning by the model learning unit 1114, which will be described later.
  • the model learning unit 1114 is a component that can correspond to the above-described " discrimination model ", and can learn a criterion on how to determine the type of blood clot based on the learning data. In addition, the model learning unit 1114 may learn a criterion about which learning data should be used to determine the type of blood clots.
  • the model learning unit 1114 can learn the data recognition model used for discriminating the type of blood clots by using learning data.
  • the data recognition model may be a pre-built model.
  • the data recognition model can be constructed considering the application field of the recognition model, the purpose of learning, or the computer performance of the device.
  • the data recognition model may be, for example, a model based on a neural network.
  • models such as DNN (Deep Neural Network), CNN (Convolutional Neural Network), RNN (Recurrent Neural Network) and BRDNN (Bidirectional Recurrent Deep Neural Network) may be used as a data recognition model, no.
  • the model learning unit 1114 can determine a data recognition model in which the input learning data and the basic learning data are highly relevant, have.
  • the basic learning data may be pre-classified according to the type of data, and the data recognition model may be pre-built for each data type.
  • the basic learning data may be pre-classified by various criteria such as an area where the learning data is generated, a time at which the learning data is generated, a size of the learning data, a genre of the learning data, a creator of the learning data, .
  • model learning unit 1114 can learn a data recognition model using, for example, a learning algorithm including an error back-propagation method or a gradient descent method.
  • the model learning unit 1114 can learn the data recognition model through supervised learning using the learning data as an input value, for example.
  • the model learning unit 1114 learns, for example, the type of data necessary for discriminating the type of thrombus without any further guidance, thereby learning unsupervised learning that finds a criterion for discriminating the type of thrombus ),
  • the data recognition model can be learned.
  • the model learning unit 1114 can learn the data recognition model through reinforcement learning using, for example, feedback as to whether the result of the blood type determination based on learning is correct.
  • the model learning unit 1114 can store the learned data recognition model.
  • the model learning unit 1114 can store the learned data recognition model in the memory of the electronic device including the data recognition unit 1120.
  • the model learning unit 1114 may store the learned data recognition model in a memory of the electronic device including the data recognition unit 1120 to be described later.
  • the model learning unit 1114 may store the learned data recognition model in the memory of the server connected to the electronic device and the wired or wireless network.
  • the memory in which the learned data recognition model is stored may also store, for example, instructions or data associated with at least one other component of the electronic device.
  • the memory may also store software and / or programs.
  • the model evaluation unit 1115 inputs the evaluation data to the data recognition model, and can cause the model learning unit 1114 to learn again when the recognition result output from the evaluation data does not satisfy the predetermined criterion.
  • the evaluation data may be predetermined data for evaluating the data recognition model.
  • the model evaluation unit 1115 does not satisfy the predetermined criterion It can be evaluated as not successful. For example, when a predetermined criterion is defined as a ratio of 2%, and the learned data recognition model outputs an incorrect recognition result for evaluation data exceeding 20 out of a total of 1000 evaluation data, It is possible to evaluate that the data recognition model is not suitable.
  • the model evaluation unit 1115 evaluates whether each of the learned data recognition models satisfies a predetermined criterion, and if the model satisfying the predetermined criterion is a final data recognition model You can decide. In this case, when there are a plurality of models satisfying a predetermined criterion, the model evaluating unit 1115 can determine any one or a predetermined number of models previously set in descending order of the evaluation score as a final data recognition model.
  • At least one of the data acquisition unit 1111, the preprocessing unit 1112, the learning data selection unit 1113, the model learning unit 1114, and the model evaluation unit 1115 in the data learning unit 1110 includes at least one And can be mounted on an electronic device.
  • at least one of the data acquisition unit 1111, the preprocessor 1112, the learning data selection unit 1113, the model learning unit 1114, and the model evaluation unit 1115 may be an artificial intelligence (AI) Or may be implemented as part of a conventional general-purpose processor (e.g., a CPU or an application processor) or a graphics-only processor (e.g., a GPU) and mounted on the various electronic devices described above.
  • AI artificial intelligence
  • a conventional general-purpose processor e.g., a CPU or an application processor
  • a graphics-only processor e.g., a GPU
  • the data acquisition unit 1111, the preprocessor 1112, the learning data selection unit 1113, the model learning unit 1114, and the model evaluation unit 1115 may be mounted on one electronic device, Electronic devices, respectively.
  • some of the data acquisition unit 1111, the preprocessor 1112, the learning data selection unit 1113, the model learning unit 1114, and the model evaluation unit 1115 are included in the electronic device, May be included in the server.
  • At least one of the data acquisition unit 1111, the preprocessing unit 1112, the learning data selection unit 1113, the model learning unit 1114, and the model evaluation unit 1115 may be implemented as a software module.
  • At least one of the data acquisition unit 1111, the preprocessor 1112, the learning data selection unit 1113, the model learning unit 1114, and the model evaluation unit 1115 is a software module Program modules), the software modules may be stored in a computer-readable, readable non-transitory computer readable media.
  • the at least one software module may be provided by an operating system (OS) or by a predetermined application.
  • OS Operating System
  • some of the software module may be provided by an Operating System (OS)
  • some of the software modules may be provided by a predetermined application.
  • FIG. 19 is a block diagram of a data recognition unit 1120 according to an embodiment.
  • a data recognition unit 1120 includes a data acquisition unit 1121, a preprocessing unit 1122, a recognition data selection unit 1123, a recognition result providing unit 1124, 1125 < / RTI >
  • the data acquisition unit 1121 may acquire data necessary for determining the type of blood clot, and the preprocessing unit 1122 may preprocess acquired data so that the acquired data can be used.
  • the preprocessing unit 1122 can process the acquired data into a predetermined format so that the recognition result providing unit 1124, which will be described later, can use the acquired data for predicting the type of blood clot.
  • the recognition data selection unit 1123 can select data necessary for determining the type of blood clot from among the preprocessed data.
  • the selected data may be provided to the recognition result providing unit 1124.
  • the recognition data selection unit 1123 can select some or all of the preprocessed data according to a predetermined criterion for determining the type of blood clot.
  • the recognition data selection unit 1123 can also select data according to a predetermined criterion by learning by the model learning unit 1114, which will be described later.
  • the recognition result providing unit 1124 can apply the selected data to the data recognition model to predict the type of thrombus.
  • the recognition result providing unit 1124 can provide the recognition result according to the data recognition purpose.
  • the recognition result providing unit 1124 can apply the selected data to the data recognition model by using the data selected by the recognition data selecting unit 1123 as an input value.
  • the recognition result can be determined by the data recognition model.
  • the model updating unit 1125 can update the data recognition model based on the evaluation of the recognition result provided by the recognition result providing unit 1124.
  • the model updating unit 1125 may provide the model learning unit 1114 with the recognition result provided by the recognition result providing unit 1124 so that the model learning unit 1114 can update the data recognition model have.
  • At least one of the data acquiring unit 1121, the preprocessing unit 1122, the recognition data selection unit 1123, the recognition result providing unit 1124, and the model updating unit 1125 in the data recognizing unit 1120 It can be manufactured in the form of one hardware chip and mounted on the electronic device.
  • at least one of the data acquisition unit 1121, the preprocessor 1122, the recognition data selection unit 1123, the recognition result providing unit 1124, and the model updating unit 1125 may be an artificial intelligence Or may be mounted on a variety of electronic devices as described above and manufactured as part of a conventional general purpose processor (e.g., a CPU or an application processor) or a graphics dedicated processor (e.g., a GPU).
  • a conventional general purpose processor e.g., a CPU or an application processor
  • a graphics dedicated processor e.g., a GPU
  • some of the data acquisition unit 1121, the preprocessing unit 1122, the recognition data selection unit 1123, the recognition result providing unit 1124, and the model updating unit 1125 are included in the electronic device, May be included in the server.
  • At least one of the data acquisition unit 1121, the preprocessing unit 1122, the recognition data selection unit 1123, the recognition result providing unit 1124, and the model updating unit 1125 may be implemented as a software module.
  • At least one of the data acquisition unit 1121, the preprocessing unit 1122, the recognition data selection unit 1123, the recognition result providing unit 1124 and the model updating unit 1125 includes a software module (or an instruction) ,
  • the software module may be stored in a computer-readable, non-transitory computer readable medium.
  • the at least one software module may be provided by an operating system (OS) or by a predetermined application.
  • OS Operating System
  • some of the software module may be provided by an Operating System (OS), and some of the software modules may be provided by a predetermined application.
  • the thrombus type discriminating method can be implemented in a general-purpose digital computer that can be created as a program that can be executed in a computer and operates the program using a computer-readable recording medium.
  • the computer-readable recording medium includes a storage medium such as a magnetic storage medium (e.g., ROM, floppy disk, hard disk, etc.), optical reading medium (e.g., CD ROM,
  • the method, device, and program for determining the type of thrombus using machine learning it is possible to determine the type of thrombus in an objectively quantitative manner.
  • the thrombus type is determined by a qualitative method, And inter- and inter-observer variability are high.
  • non-invasive methods can quickly identify the type of thrombus in minutes, which can help determine the treatment plan of the subject quickly.
  • cerebral vascular occlusion symptoms which may irreversibly damage the brain, such as cerebral infarction, can be treated promptly and the probability of reopening can be increased to increase the therapeutic effect.
  • selective screening can be carried out to reduce the burden of medical expenses.
  • the present invention relates to a blood clot type discriminating method, an apparatus and a program, and can be used in a diagnostic and therapeutic apparatus industry.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 일 실시예에 따른 혈전 종류 판별 방법은 특정 대상자의 자기공명영상(MRI) 데이터에서, 상기 특정 대상자의 혈전(clot)이 위치하는 것으로 추정되는 혈전 영역을 선택하는 혈전 영역 선택 단계; 상기 선택된 혈전 영역으로부터, 상기 혈전의 종류를 추정하기 위한 판별 모델에 입력할 입력 데이터를 생성하는 입력 데이터 획득 단계; 상기 입력 데이터를, 상기 혈전의 종류를 추정하기 위한 판별 모델에 입력하는 입력 단계; 및 상기 판별 모델의 출력값을 기초로, 상기 혈전의 종류를 판별하여 출력하는 출력 단계;를 포함하며, 상기 판별 모델은 복수 명의 데이터 제공자의 자기공명영상 데이터로부터 얻은 학습용 입력 데이터와 혈전 종류의 상관관계를 표현하는 입출력함수이다.

Description

혈전 종류 판별 방법, 장치 및 프로그램
본 발명은 자기공명영상(MRI, magnetic resonance image) 데이터를 이용하여 혈전(clot)의 종류를 판별하는 방법, 장치 및 프로그램에 관한 것이다.
뇌경색은 뇌의 혈관이 막혀 뇌의 일부 세포가 죽는 질병이다. 뇌경색은 뇌혈관의 동맥경화에 의한 혈전 및 심방세동(atrial fibrillation)에 의해 심장에서 발생하였다가 뇌로 이동한 색전(cardioembolic clot)에 의해 뇌혈관이 막혀 발생한다. 뇌혈관이 막히면서 뇌 조직으로 가는 혈액의 공급이 차단되어 막힌 혈관에 의해 혈액을 공급받던 뇌 조직이 경색되어 의식장애나 신체 마비 등의 신경학적 증상이 나타난다.
뇌경색이 발병한 경우, 혈관을 조기에 재개통하여 뇌 조직이 완전히 경색에 빠지기 전에 뇌 혈류를 회복시키는 방식의 치료가 수행된다. 이때 막힌 혈관을 얼마나 빨리 뚫어주느냐가 뇌경색 예후에 가장 큰 영향을 미치는 요소이다. 뇌경색에 의한 후유증을 최소화하기 위한 발병 후 최초 치료까지의 시간(골든 타임)은 약 4.5-8시간 정도로 알려져 있으며 증상 발생 후 혈관 재개통의 시간이 빠를수록 신경학적 증상 회복의 확률이 증가하여, 빠른 진단과 치료가 요구된다.
응급실에 환자가 오면, 컴퓨터단층촬영(CT) 또는 자기공명영상(MRI) 촬영을 통해 뇌경색 여부 및 원인을 판단한 후 치료 방침을 결정하게 된다. 이때 혈전을 녹이는 혈전용해제를 이용한 화학적 혈전제거술(chemical thrombolysis) 또는 시술을 통해 직접 혈전을 파쇄하는 기계적 혈전제거술(mechanical thrombolysis)이 수행된다.
이때 혈전의 발생 원인에 따라 치료법이 결정되는데, 예컨대 심방세동으로 인한 혈전은 동맥경화에 의해 혈관이 폐쇄된 경우보다 기계적 혈전제거술을 통해 제거하기가 쉬움이 알려져 있다. 따라서 혈전의 종류를 객관적으로 판별할 수 있는 경우, 기계적 혈전제거술 치료 방침을 결정하는 데 큰 도움이 된다.
최근에는 기계적 혈전제거술을 통해 얻은 혈전의 조직 검사(histology)를 통해 혈전의 성분과 뇌경색의 종류(subtype)와의 상관관계를 조사하는 연구가 활발히 수행되고 있다.
뇌졸중 환자가 급성 뇌경색으로 입원하면, 원인 분석 작업(etiopathological work up)을 시행하는 것이 일반적이다. 그러나 표준화된 검사항목이 정해지지 않아, 임상의나 기관에 따라 다양한 검사가 시행되고 있어 상당한 비용이 소요된다. 한편, 뇌경색 환자의 혈전의 특성을 확인하기 위한 검사를 시행하기 위해서는 수일간의 시간이 소요되기 때문에 급성기 재개통시 혈전에 대한 정보를 얻는 것은 한계가 있다. 즉 혈전의 조직 검사(histology)를 통해 혈전의 성분을 파악하는 데는 상당한 시간이 소요되기 때문에, 응급 상황에서 치료 방침을 정하기 위한 도구로 활용하기에는 어려움이 있다. 따라서 실제로는 컴퓨터단층촬영(CT) 또는 자기공명영상(MRI) 촬영 결과를 본 전문의의 임상적 판단을 통해 진단/예후 예측이 이루어져 왔다. 그러나 이와 같은 혈전 종류 판별 방식은 정성적이고 객관적이지 않으며, 관찰자 내 차이 및 관찰자 간 차이(intra- & inter-observer variability)가 높은 문제가 있다.
본 발명은 상기와 같은 문제점을 포함하여 여러 문제점을 해결하기 위한 것으로써, 자기공명영상 데이터를 이용해 객관적으로 정량적인 방식으로 혈전의 종류를 판별하는 방법, 장치 및 프로그램을 제공하는 것을 목적으로 한다. 그러나, 이러한 과제는 예시적인 것으로, 이에 의해 본 발명의 범위가 한정되는 것은 아니다.
본 발명의 일 실시예에 따른 혈전 종류 판별 방법은 특정 대상자의 자기공명영상(MRI) 데이터에서, 상기 특정 대상자의 혈전(clot)이 위치하는 것으로 추정되는 혈전 영역을 선택하는 혈전 영역 선택 단계; 상기 선택된 혈전 영역으로부터, 상기 혈전의 종류를 추정하기 위한 판별 모델에 입력할 입력 데이터를 생성하는 입력 데이터 획득 단계; 상기 입력 데이터를, 상기 혈전의 종류를 추정하기 위한 판별 모델에 입력하는 입력 단계; 및 상기 판별 모델의 출력값을 기초로, 상기 혈전의 종류를 판별하여 출력하는 출력 단계;를 포함하며, 상기 판별 모델은 복수 명의 데이터 제공자의 자기공명영상 데이터로부터 얻은 학습용 입력 데이터와 혈전 종류의 상관관계를 표현하는 입출력함수이다.
본 발명의 일 실시예에 따른 혈전 종류 판별 장치는, 특정 대상자의 자기공명영상 데이터를 수신하고, 상기 자기공명영상 데이터 중 상기 특정 대상자의 혈전(clot)이 위치한 영역이 선택되면, 상기 선택된 영역으로부터 상기 혈전의 종류를 추정하기 위한 판별 모델에 입력할 입력 데이터를 생성한 후, 상기 입력 데이터를 상기 판별 모델에 입력하는 제어부; 상기 판별 모델이 출력한 상기 혈전의 종류를 출력하는 출력부;를 포함하며, 상기 판별 모델은 복수 명의 데이터 제공자의 자기공명영상 데이터로부터 얻은 학습용 입력 데이터와 혈전 분류 데이터의 상관관계를 표현하는 입출력함수이다.
본 발명의 일 실시예는 상술한 혈전 종류 판별 방법을 실행하기 위하여 매체에 저장된 컴퓨터 프로그램을 개시한다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
본 발명의 일 실시예에 따른 기계 학습을 이용한 혈전 종류 판별 방법, 장치, 프로그램에 의하면, 객관적으로 정량적인 방식으로 혈전의 종류를 판별할 수 있어 정성적인 방법으로 혈전 종류를 판별할 때 관찰자 내 차이 및 관찰자 간 차이(intra- & inter-observer variability)가 높은 문제를 해결할 수 있다. 또한, 비침습적인 방식으로 혈전의 종류를 수 분 내로 빠르게 파악할 수 있어, 대상자의 치료 방안을 신속하게 결정하는데 도움을 줄 수 있다. 이를 통해 뇌경색 등 비가역적으로 뇌에 손상을 줄 수 있는 뇌혈관 폐색 증상을 신속하게 치료할 수 있어 치료 효과를 높일 수 있다. 물론 이러한 효과에 의해 본 발명의 범위가 한정되는 것은 아니다.
도 1은 본 발명의 일 실시예에 따른 혈전 종류 판별 장치의 구성을 개략적으로 도시한 그림이다.
도 2는 본 발명의 일 실시예에 따른 혈전 종류 판별 방법을 나타낸 흐름도이다.
도 3은 판별 모델을 트레이닝하는 단계를 더 포함하는 혈전 종류 판별 방법을 나타낸 흐름도이다.
도 4는 학습용 데이터를 생성하는 방법을 나타낸 그림이다.
도 5는 학습용 입력 데이터를 얻는 일 실시예를 나타낸 그림이다.
도 6은 학습용 입력 데이터를 얻는 또 다른 실시예를 나타낸 그림이다.
도 7 및 도 8은 혈전 영역 선택 단계의 각 순서를 나타낸 그림이다.
도 9 내지 도 11은 각각 입력 데이터 획득 단계의 일 실시예를 나타낸 그림이다.
도 12는 입력 단계 및 출력 단계를 나타낸 그림이다.
도 13은 심방세동에 의한 혈전 및 심방세동에 의하지 않은 혈전을 각각 가지는 대상자의 자기공명영상 데이터 및 신호 세기 프로파일을 나타낸 그림이다.
도 14는 본 발명의 일 실시예에 따른 혈전 종류 판별 장치(1000)를 이용한 혈전 종류 판별 결과를 나타낸 그림이다.
도 15는 본 발명의 일 실시예에 따른 판별 모델의 수신자 조작 특성(ROC, Receiver Operating Characteristic) 그래프이다.
도 16은 특정 대상자의 혈전이 제거되기 전후의 자기공명영상 및 혈전 영역의 단면에서의 신호 세기 프로파일을 예시한 그림이다.
도 17은 일 실시예에 따른 제어부의 블록도이다.
도 18은 일 실시예에 따른 데이터 학습부의 블록도이다.
도 19는 일 실시예에 따른 데이터 인식부의 블록도이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다.
본 개시의 일부 실시예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들의 일부 또는 전부는, 특정 기능들을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 마이크로프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다. 또한, 예를 들어, 본 개시의 기능 블록들은 다양한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. "메커니즘", "요소", "수단" 및 "구성" 등과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
또한, 도면에 도시된 구성 요소들 간의 연결 선 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것일 뿐이다. 실제 장치에서는 대체 가능하거나 추가된 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들에 의해 구성 요소들 간의 연결이 나타내어질 수 있다.
또한, 본 명세서에서 사용되는 "제1" 또는 "제2" 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용할 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다.
어떤 실시예가 달리 구현 가능한 경우에 특정한 단계는 설명되는 순서와 다르게 수행될 수도 있다. 예를 들어, 연속하여 설명되는 두 단계는 실질적으로 동시에 수행될 수도 있고, 설명되는 순서와 반대의 순서로 수행될 수도 있다.
본 명세서에서 용어 "자기공명영상(MRI, magnetic resonance image)"은 자기장을 사용하여 체내 구조물의 영상 또는 사진을 생성하는 진단 기술 및 이를 통해 얻은 영상을 의미한다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 같거나 대응하는 구성 요소는 같은 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 일 실시예에 따른 혈전 종류 판별 장치(1000)의 구성을 개략적으로 도시한 그림이다.
도 1에 도시된 혈전 종류 판별 장치(1000)는 본 실시예의 특징이 흐려지는 것을 방지하기 위하여 본 실시예와 관련된 구성요소들만을 도시한 것이다. 따라서, 도 1에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 실시예와 관련된 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
일 실시예에 따른 혈전 종류 판별 장치(1000)는 적어도 하나 이상의 프로세서(processor)에 해당하거나, 적어도 하나 이상의 프로세서를 포함할 수 있다. 이에 따라, 혈전 종류 판별 장치(1000)는 마이크로프로세서나 범용 컴퓨터 시스템과 같은 다른 하드웨어 장치에 포함된 형태로 구동될 수 있다.
일 실시예에 따른 혈전 종류 판별 장치(1000)는, 대상자의 자기공명영상 데이터를 입력하면 이를 가공하여 대상자의 신체, 예컨대 뇌에 발생한 혈전(clot)의 종류를 판별하여 출력하는 장치이다. 도 1을 참조하면, 혈전 종류 판별 장치(1000)는 제어부(1100)와 출력부(1200)를 포함한다.
제어부(1100)는 프로세서(processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이처럼 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(Microprocessor), 중앙처리장치(Central Processing Unit: CPU), 프로세서 코어(Processor Core), 멀티프로세서(Multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
우선, 제어부(1100)는 대상자의 의료 데이터, 예컨대 자기공명영상(MRI, magnetic resonance imaging) 데이터를 수신한다. 대상자는 혈전(clot)에 의해 뇌경색이 발생한 환자일 수 있으나, 대상자가 이에 제한되는 것은 아니다. 자기공명영상 데이터는 T1 강조(T1-weighted) 영상 데이터, T2 강조(T2-weighted) 영상 데이터, 액체감쇠역전회복(FLAIR, fluid attenuated inversion recovery) 영상 데이터, 확산 강조 영상(DWI; diffusion weighted imaging) 데이터, 자화율 강조 영상(SWI: susceptibility weighted imaging) 데이터를 포함할 수 있으나 자기공명영상 데이터의 종류가 이에 제한되는 것은 아니다. 혈전 종류 판별 장치(1000)는 외부의 자기공명영상 장치 또는 기 저장되어 있던 의료 데이터베이스(DB)에서 자기공명영상 데이터를 수신할 수 있으나 본 발명이 이에 제한되는 것은 아니다.
일 실시예에 따르면, 제어부(1100)에 의해 획득되는 자기공명영상 데이터는 경사 에코(gradient echo, GRE) 영상 데이터를 포함할 수 있다. GRE 영상은 T2* 강조 영상의 일종으로, 180도 펄스를 사용하지 않아 반복시간을 단축할 수 있어 단시간에 촬영이 가능한 특징이 있고, 혈류가 고신호가 되므로 혈관의 진단이나 MR 혈관조영술(MR angiography)에 널리 응용된다. 동맥경화증에 의한 혈전 및 심장에서 유래된 색전(cardioembolic clot)을 GRE 영상을 통해 보게 되면, 자화율(susceptibility)의 영향으로 주위가 검게 나타나는 신호 특성이 있어 혈전이 뚜렷하게 관찰된다. 따라서 GRE 영상 데이터는 혈전의 신호 특성을 학습시킬 때 유용하게 활용될 수 있다. 한편 GRE 영상 데이터 외에도, 자화율(susceptibility) 차이에 의해 발생하는 블루밍 아티팩트(blooming artifact)를 확인할 수 있는 다양한 종류의 데이터가 이용될 수 있다. 예컨대, 자화율 강조 영상(SWI: susceptibility weighted imaging) 데이터 역시 혈전의 신호 특성을 학습시킬 때 활용될 수 있다.
이후 제어부(1100)는 획득한 자기공명영상 데이터를 가공하여, 혈전의 종류를 추정하기 위한 입력 데이터를 획득한 후, 입력 데이터를 판별 모델에 입력할 수 있다. 이때 '판별 모델'은 복수 명의 데이터 제공자의 자기공명영상 데이터로부터 얻은 학습용 입력 데이터와 혈전 종류의 상관관계를 표현하는 입출력함수를 의미할 수 있다.
일 실시예에 따른 판별 모델은 기계 학습(Machine Learning) 기법으로 생성된 것일 수 있다. 혈전 종류 판별 장치(1000)는 이와 같은 판별 모델을 트레이닝 및/또는 학습시키기 위해 다양한 기법들을 사용할 수 있다. 가령 혈전 종류 판별 장치(1000)는 복수 명의 데이터 제공자의 자기공명영상 데이터로부터 얻은 학습용 입력 데이터를 분류하기 위해 Logistic regression, Decision tree, Nearest-neighbor classifier, Kernel discriminant analysis, Neural network, Support vector machine, Random forest, Boosted tree 등의 알고리즘 및/또는 방식(기법)을 사용할 수 있다. 다만 이는 예시적인 것으로 본 발명이 이에 제한되는 것은 아니다.
일 실시예에 따른 판별 모델은 학습용 입력 데이터를 벡터 형태로 표현될 수 있는 혈전 분류 데이터로 매핑(mapping)하는 행렬 데이터 세트일 수 있다. 이때 판별 모델을 '트레이닝' 또는 '학습'시킨다는 것은, 학습용 입력 데이터를 판별 모델에 입력하였을 때의 출력값이 라벨링(labeling) 된 실제의 혈전 분류 데이터에 가까워지도록 오류 역전파(error back-propagation) 기법 등을 통해 판별 모델 파라미터 세트의 값을 조절하는 것을 의미할 수 있다.
일 실시예에 따르면, 판별 모델은 특정 대상자의 혈전이 적색 혈전(red clot) 을 포함하는지를 판단하는 모델일 수 있다. 혈전은 적색 혈전, 백색 혈전(white clot) 등으로 나뉘는데, 이 중 적색 혈전은 피브린(fibrin)에 주로 적혈구가 많이 부착되어 붉게 보이는데, 적혈구는 디옥시헤모글로빈(deoxyhemoglobin)을 많이 포함하고 있어서 다른 혈전과 달리 GRE 영상에서 블루밍 아티팩트가 더 강하게 나타난다. 따라서, 적색 혈전과 백색 혈전의 신호 특성은 서로 다르게 나타난다. 본 발명의 일 실시예에서는 적색 혈전의 신호 특성을 학습시켜 혈전의 종류를 판별하여, 혈전의 발생 원인을 추정할 수 있다.
일 실시예에 따르면, 판별 모델은 특정 대상자의 혈전이 심방세동(Afib, atrial fibrillation)으로 인한 혈전인지를 판단하는 모델일 수 있다. 심방세동은 부정맥의 일종으로 심방의 수축이 일어나지 않아 심박출량이 감소하는 증상을 의미하며, 심방세동이 발생하면 혈액이 원활하게 순환하지 않고 정체되어 혈전이 만들어진다. 이후 혈전이 이동하여 뇌의 중대뇌동맥(middle cerebral artery)을 막게 되면 뇌경색이 생긴다. 이때 심방세동에 의해 발생한 혈전은 적혈구(red blood cell)의 비율이 높은 적색 혈전을 주로 포함하며, 동맥경화에 의한 혈전은 혈소판이 풍부한 백색 혈전(white clot)을 주로 포함한다. 즉 대상자의 혈전이 적색 혈전으로 판별된 경우, 대상자의 혈전이 심방세동으로 인해 발생하였을 확률이 높다고 추정할 수 있다. 본 발명의 일 실시예에서는 상술한 것처럼 적색 혈전과 백색 혈전의 신호 특성이 서로 다르게 나타나는 것을 근거로, 심방세동에 의한 혈전의 신호 특성을 학습시켜 혈전의 종류를 판별한다.
출력부(1200)는 혈전 종류 판별 장치(1000)에서 처리되는 정보를 표시 출력한다. 출력부(1200)는 혈전 종류 판별 결과 및 자기공명영상 데이터를 입력받기 위한 사용자 인터페이스 등을 디스플레이하는 디스플레이부를 포함할 수 있다. 사용자는 출력부(1200)에 나타난 혈전 판별 결과를 참고하여 대상자의 치료법을 결정할 수 있다.
도 2는 본 발명의 일 실시예에 따른 혈전 종류 판별 방법을 나타낸 흐름도이다. 일 실시예에 따른 혈전 종류 판별 방법은 혈전 영역 선택 단계(S210), 입력 데이터 획득 단계(S220), 입력 단계(S230) 및 출력 단계(S240)를 포함한다.
도 2를 참조하면, 우선 대상자의 자기공명영상 데이터에서, 혈전이 위치하는 것으로 추정되는 혈전 영역을 선택하는 단계(S210)가 수행된다. 상기 단계(S210)는 여러 개의 자기공명영상 슬라이스(slice)에서 혈전이 보이는 슬라이스를 골라내고, 슬라이스에서 혈전으로 추정되는 영역을 선택하는 단계를 포함할 수 있는데 이에 대해서는 아래에서 도 7 및 도 8을 참조하여 설명한다.
이후 제어부(1100)에 의해 혈전 영역으로부터 판별 모델에 입력할 입력 데이터를 획득하는 단계(S220)가 수행된다. 상기 단계(S220)에서는 자기공명영상 데이터 중 판별 모델에 입력할 입력 데이터를 추출, 생성 또는 전처리(pre-processing)하는 과정이 수행될 수 있다. 이때 입력 데이터는 신호 세기 프로파일(intensity profile)일 수 있는데, 이에 대해서는 아래에서 도 9 내지 도 11을 참조하여 설명한다.
이후, 판별 모델에 입력 데이터를 입력하는 단계(S230) 및 판별 모델의 출력값을 기초로 혈전의 종류를 판별하여 출력하는 출력 단계(S240)가 수행된다. 이에 대해서는 아래에서 도 11 및 도 12를 참조하여 설명한다.
즉 본 발명의 일 실시예에 의한 혈전 종류 판별 방법에서는, 자기공명영상 데이터를 가공하여 입력 데이터를 획득한 후, 이를 혈전 종류를 판별하도록 미리 학습/생성된 판별 모델에 입력하여 나온 값을 출력한다.
이때 판별 모델은 외부의 장치에서 학습/생성된 것일 수 있으나, 본 발명의 일 실시예에 따른 혈전 종류 판별 장치(1000)의 제어부(1100)에서 학습/생성된 것일 수도 있다. 판별 모델이 제어부(1100)에서 트레이닝 되는 경우에는, 특정 대상자의 혈전 종류를 판별하기 이전에 판별 모델을 트레이닝하는 단계를 수행하여야 한다.
도 3은 판별 모델을 트레이닝하는 단계를 더 포함하는 혈전 종류 판별 방법을 나타낸 흐름도이다. 일 실시예에 따른 혈전 종류 판별 방법은, 혈전 영역 선택 단계(S210) 이전에 판별 모델을 트레이닝하는 단계(S310)를 더 포함할 수 있다. 이때 판별 모델 트레이닝 단계(S310)는 복수 명의 데이터 제공자의 자기공명영상 데이터 및 혈전 분류 데이터로부터 학습용 데이터를 획득하는 단계 및 상기 학습용 데이터를 이용하여 판별 모델을 기계 학습시키는 단계를 포함할 수 있다.
이때 판별 모델을 기계 학습시키기 위해서는 학습용 입력 데이터가 필요하다.
특히, 지도 학습(supervised learning) 방식을 통해 판별 모델을 기계 학습시키기 위해서는 각각의 학습용 입력 데이터에 매칭(matching)되고, 데이터 제공자의 실제 혈전 종류를 알려주는 혈전 종류 데이터도 필요하다. 이하 도 4 내지 도 6을 참조하여 판별 모델을 학습/생성하기 위한 학습용 데이터를 획득하는 방법을 설명한다.
도 4는 학습용 데이터를 생성하는 방법을 나타낸 그림이다. 학습용 데이터는 판별 모델에 입력되는 '학습용 입력 데이터' 및 이에 대응하는 '혈전 분류 데이터'를 포함할 수 있다.
도 4를 참조하면, 복수 명의 데이터 제공자의 자기공명영상 데이터에 선택된 혈전 영역으로부터 혈전의 종류를 추정하기 위한 판별 모델을 학습시킬 학습용 입력 데이터를 생성하는 단계가 나타나 있다. 판별 모델을 트레이닝시킬 학습용 입력 데이터는 대상자의 혈전 영역의 신호 세기 프로파일 그래프일 수 있다. 이때 신호 세기 프로파일은, 픽셀 위치에 따른 자기 공명 신호의 세기 또는 이미지에서의 밝기 신호의 세기를 나타낼 수 있다. 학습용 입력 데이터는 자동 또는 반자동으로 생성될 수 있는데, 이에 대해서는 도 7 내지 도 10을 참조하여 후술한다.
이때, 각 데이터 제공자의 자기공명영상 데이터로부터 얻은 신호 세기 프로파일을 포함하는 학습용 입력 데이터와 혈전 분류 데이터는 서로 매칭된다. 예컨대, 조직 검사(histology) 결과 등으로 데이터 제공자 P1의 혈전이 심방세동 혈전인 것을 이미 알고 있는 경우, 제어부(1100)는 데이터 제공자 P1의 혈전 영역에서의 신호 세기 프로파일 그래프를 1에 대응시킬 수 있다. 반대로, 조직 검사 결과 데이터 제공자 P2의 혈전이 심방세동 혈전이 아님을 이미 알고 있는 경우, 제어부(1100)는 데이터 제공자 P2의 혈전 영역에서의 신호 세기 프로파일 그래프를 0에 대응시킬 수 있다. 즉 제어부(1100)는 데이터 제공자의 의료 데이터, 임상 데이터로부터 얻은 혈전 분류 데이터를 학습용 입력 데이터와 매칭시켜 '학습용 데이터'를 생성할 수 있다.
이때 제어부(1100)는 상술한 다양한 알고리즘을 통해, 학습용 데이터로부터 신호 세기 프로파일 그래프의 특성을 학습할 수 있다. 예컨대 판별 모델 트레이닝 단계(S310)에서, 제어부(1100)는 심방 세동 혈전인 것으로 라벨링된 신호 세기 프로파일 그래프의 특징을 학습할 수 있다.
도 5는 학습용 입력 데이터를 얻는 일 실시예를 나타낸 그림이다.
일 실시예에 따르면, 학습용 입력 데이터는, 복수 명의 데이터 제공자의 자기공명영상 데이터의 혈전 영역 내의 제1점(P1)과 제2점(P2)을 잇는 선분(L12)과 일정 각도를 가지는 복수 개의 단면(S1, S2, , Sn)으로부터 얻은 신호 세기 프로파일(IP)을 포함할 수 있다.
도 5를 참조하면, 데이터 제공자의 자기공명영상 데이터에 나타난 혈전 영역(CA) 내의 제1점(P1), 제2점(P2), 제1점(P1)과 제2점(P2)을 잇는 선분(L12), 상기 선분(L12)과 일정 각도를 가지는 복수 개의 단면 선(S1, S2, , Sn)이 표시되어 있다. 제1점(P1)과 제2점(P2)은 사용자에 의해 지정될 수도 있으며, 제어부(1100)에 의해 자동으로 선택될 수도 있다. 예컨대, 제어부(1100)는 선택된 혈전 영역(CA) 중 거리가 가장 먼 두 점을 제1점(P1)과 제2점(P2)으로 선택할 수 있다. 일 실시예에 따르면 제어부(1100)에 의해 선택된 제1점(P1)과 제2점(P2)은 사용자에 의해 다른 지점으로 바뀔 수도 있다. 이때 각 점을 이은 선분(L12)이 혈관의 방향 또는 혈전이 길게 늘어진 방향과 평행하도록 제1점(P1)과 제2점(P2)을 선택하는 것이 바람직할 수 있다.
복수 개의 단면 선(S1, S2, , Sn)은 제1점(P1)과 제2점(P2)을 잇는 선분(L12)과 일정한 각도(θ)를 가진다. 상기 각도(θ)는 기 설정된 값일 수도 있으며, 사용자의 입력에 의해 설정될 수도 있다. 상기 각도(θ)는 예컨대 90도일 수 있다. 즉 단면 선(S1, S2, … , Sn)은 혈관의 방향 또는 혈전이 길게 늘어진 방향에 수직할 수 있다. 단면 선(S1, S2, … , Sn)이 혈관의 방향과 수직인 경우, 혈관의 횡단면에 대한 혈전의 신호 세기, 즉 혈관의 중심에서 벗어난 거리에 따른 혈전의 신호 세기의 특성을 파악할 수 있다.
동맥경화에 의한 혈전은 혈관의 한쪽 벽이 굳어 형성되는 것이고 심방세동에 의한 혈전은 불규칙한 심장박동에 따른 심방에서의 와류 형성에 따라 형성되는 것이므로, 혈관의 중심에서 벗어난 거리에 따라 혈전의 신호 세기의 특성이 달라진다. 따라서, 단면 선(S1, S2, … , Sn)이 혈관의 방향 또는 혈전이 길게 늘어진 방향에 수직이게 하여 신호 세기 프로파일을 얻어 이를 기계 학습시키는 경우 혈전의 특성을 학습시키기 쉬워질 수 있다.
이때 복수 개의 학습용 입력 데이터 또는 신호 세기 프로파일(IP)은 모두 한 명의 데이터 제공자에게서 얻은 것이므로, 모두 같은 혈전 분류 데이터와 매칭된다. 예컨대 심방세동 혈전을 가지는 데이터 제공자에게서 얻은 학습용 입력 데이터가 n개인 경우, n개의 학습용 입력 데이터에 대응하는 혈전 분류 데이터는 모두 1이 될 수 있다. 즉 한 명의 데이터 제공자로부터 복수 개의 신호 세기 프로파일(IP)을 얻으면, 같은 값으로 라벨링 된 복수 개의 신호 세기 프로파일(IP)을 얻을 수 있어, 학습용 입력 데이터를 쉽게 생성할 수 있는 장점이 있다. 특히 각 단면이 1픽셀(pixel) 단위로 떨어져 있게 하는 경우, 한 명의 데이터 제공자로부터 최대한 많은 학습용 입력 데이터를 생성할 수 있다.
도 6은 학습용 입력 데이터를 얻는 또 다른 실시예를 나타낸 그림이다.
일 실시예에 따르면, 학습용 입력 데이터는 신호 세기 프로파일(IP)과 좌우 반전(inversion)인 반전 신호 세기 프로파일(IP')을 더 포함할 수 있다.
도 6을 참조하면, 도 5와 비슷하게 한 명의 데이터 제공자로부터 얻은 n개의 신호 세기 프로파일(IP) 및 n개의 반전 신호 세기 프로파일(IP')을 합한 총 2n개의 그래프가 나타나 있다. 혈전이 생성되는 메커니즘은 혈관의 좌우 위치에 의존하지 않으므로, 각 신호 세기 프로파일(IP) 그래프를 좌우로 반전(inversion)시킨 그래프인 '반전 신호 세기 프로파일(IP')' 역시 신호 세기 프로파일(IP)과 같은 '특징'을 가지게 된다. 따라서 반전 신호 세기 프로파일(IP') 역시 학습용 입력 데이터로 활용할 수 있다. 이 경우, 신호 세기 프로파일(IP) 그래프의 개수가 n개라고 할 때, 하나의 혈전 영역에서 얻을 수 있는 학습용 입력 데이터의 개수는 2n개가 된다. 즉 총 신호 세기 프로파일을 2배로 얻을 수 있어, 한 명의 데이터 제공자로부터 최대한 많은 학습용 입력 데이터를 생성할 수 있다. 본 발명의 일 실시예에서는 상술한 방법을 통해 52명의 데이터 제공자로부터 얻은 자기공명영상 데이터에서 총 1624개의 학습용 입력 데이터를 생성하였다.
도 4 내지 도 6에서는 혈전 분류 데이터가 0 또는 1로 바이너리 분류(binary classification)된 것을 예시하였으나 본 발명이 이에 한정되는 것은 아니다. 예컨대 판별 모델은 3개 이상의 혈전 종류를 판별하도록 학습될 수 있고, 이 경우 혈전 분류 데이터는 행 또는 열의 개수가 3 이상인 벡터일 수 있다.
한편, 상술한 방법에 의해 생성된 학습용 입력 데이터는 트레이닝용 데이터(training data) 및 테스트용 데이터(test data)로 나뉠 수 있다. 예컨대 트레이닝용 데이터를 이용해 판별 모델을 학습시킨 후에는 테스트용 데이터를 통해 판별 모델의 정확도를 검증할 수 있다.
위에서는 도 3 내지 도 6을 참조하여 판별 모델을 트레이닝하는 방법 및 판별 모델을 학습하기 위한 학습용 데이터를 생성하는 방법을 설명하였다. 이하에서는 도 7 내지 도 12를 참조하여 트레이닝 된 판별 모델을 이용해 특정 대상자의 혈전 종류를 판별하는 방법을 설명한다.
도 7 및 도 8은 혈전 영역 선택 단계(S210)의 각 순서를 나타낸 그림이다.
도 7을 참조하면, 자기공명영상 데이터의 여러 슬라이스(slice)가 도시되어 있다. 즉 자기공명영상 데이터는 복수 개의 슬라이스(slice)를 포함할 수 있다. 도 7에서는 각 슬라이드가 대상자의 횡단면(transverse plane)에 나타난 자기공명영상인 것을 예시하였으나 본 발명이 이에 제한되는 것은 아니다. 각 슬라이드의 영상은 출력부(1200)에 표시될 수 있다. 이때 선택 단계(S210)에서는 복수 개의 슬라이드 중 '혈전(clot)'이 있는 것으로 추정되는 슬라이드를 선택하는 단계가 수행될 수 있다. 이러한 선택은 사용자에 의해 이루어질 수도 있으나, 제어부(1100)에 의한 영상 처리를 통해 자동으로 이루어질 수도 있다.
이후 도 8을 참조하면, 선택된 슬라이스에서 혈전이 위치한 혈전 영역(CA)을 선택하는 단계가 수행될 수 있다. 예컨대 자기공명영상 중 경사 에코 영상에서는, 혈전이 자화율(susceptibility)의 차이로 인해 검게 나타나는 신호 특성을 보인다. 따라서, 주위보다 검게 나타난 영역이 혈전 영역(CA)으로 선택될 수 있다.
혈전 영역(CA)을 선택하는 단계는 사용자에 의해 직접(manually) 이루어질 수도 있지만, 영상 처리 기법을 통해 반자동(semi-auto) 또는 자동(auto)으로 이루어질 수도 있다. 예컨대 사용자가 혈전으로 추정되는 영역 중 일부 픽셀을 선택하면, 제어부(1100)는 선택된 픽셀 주위에서 밝기 또는 신호 세기가 특정 값(threshold) 이하 또는 이상인 픽셀을 영상 처리 기법을 통해 혈전 영역을 반자동으로 선택할 수 있다. 또는, 만약 혈전이 시상면(sagittal plane)을 기준으로 신체의 한쪽에만 형성된 경우, 제어부(1100)는 시상면을 지나는 자기공명영상의 대칭축을 기준으로 특정 픽셀 영역과 대칭 픽셀 영역의 신호 세기 차이가 특정 값 이상인 픽셀 영역을 '혈전'이 발생한 영역으로 추정하여 혈전 영역(CA)을 자동으로 선택할 수도 있다. 이때 제어부(1100)에 의해 추정된 '혈전 영역(CA)'이 복수 개인 경우, 사용자는 이 중 일부를 최종 선택할 수 있다.
상술한 단계는 특정 대상자의 자기공명영상 데이터에서 입력 데이터를 획득하는 경우뿐만 아니라 복수 명의 데이터 제공자의 자기공명영상 데이터에서 학습용 입력 데이터를 획득하는 경우에도 비슷하게 적용될 수 있다.
도 9 내지 도 11은 각각 입력 데이터 획득 단계(S220)의 일 실시예를 나타낸 그림이다.
입력 데이터 획득 단계(S220)에서, 제어부(1100)는 선택된 혈전 영역(CA)으로부터 판별 모델에 입력할 입력 데이터를 획득한다. 예컨대, 판별 모델에 입력할 입력 데이터는 혈전 영역(CA)의 신호 세기 프로파일일 수 있다. 이때 신호 세기 프로파일은, 픽셀 위치에 따른 자기 공명 신호의 세기 또는 이미지에서의 밝기 신호의 세기를 나타낼 수 있다.
본 발명의 일 실시예에서는, 혈전 영역을 자른 단면 선(S)에서의 신호 세기 프로파일 그래프를 판별 모델에 입력해 혈전의 종류를 추정한다. 즉 도 9를 참조하면, 제어부(1100)는 혈전 영역 선택 단계(S210)에서 선택된 혈전 영역을 지나는 임의의 단면 선(S)을 통해 얻은 신호 세기 프로파일을 판별 모델에 입력할 수 있다. 이 경우 신호 세기 프로파일을 얻는 과정은 자동(auto)으로 이루어질 수 있다.
이와 달리, 신호 세기 프로파일을 얻는 과정은 반자동(semi-auto)으로 이루어질 수도 있다. 일 실시예에 따르면, 입력 데이터는 혈전 영역(CA) 내의 제1점(P1)과 제2점(P2)을 잇는 선분(L12)과 일정 각도(θ)를 가지는 단면 선(S)으로부터 얻은 신호 세기 프로파일을 포함할 수 있다.
도 10을 참조하면, 혈전 영역(CA) 내에서 제1점(P1)과 제2점(P2)이 지정된다. 제1점(P1) 및 제2점(P2)은 사용자에 의해 지정될 수도 있으며, 제어부(1100)에 의해 자동으로 지정될 수도 있다. 예컨대 제어부(1100)는 선택된 혈전 영역(CA) 중 거리가 가장 먼 두 점을 각각 제1점(P1)과 제2점(P2)으로 선택할 수 있다. 일 실시예에 따르면 제어부(1100)에 의해 선택된 제1점(P1)과 제2점(P2)은 사용자에 의해 다른 지점으로 바뀔 수도 있다. 이때 각 점을 이은 선분이 혈관의 방향 또는 혈전이 길게 늘어진 방향과 평행하도록 제1점(P1)과 제2점(P2)을 선택하는 것이 바람직할 수 있다.
이후, 제1점(P1)과 제2점(P2)을 잇는 선분(L12)과 일정 각도(θ)를 가지는 단면 선(S)이 획득될 수 있다. 이때 단면 선(S)은 제1점(P1)과 제2점(P2)을 잇는 선분(L12)의 임의의 위치(예컨대, 중점)를 지날 수 있다. 단면 선(S)은 제1점(P1)과 제2점(P2)을 잇는 선과 일정한 각도(θ)를 가진다. 상기 각도(θ)는 기 설정된 값일 수도 있으며, 사용자의 입력에 의해 설정될 수도 있다. 상기 각도(θ)는 예컨대 90도일 수 있다. 즉 단면 선(S)은 혈관의 방향 또는 혈전이 길게 늘어진 방향에 수직일 수 있다. 단면 선(S)이 혈관의 방향과 수직인 경우, 혈관의 횡단면에 대한 혈전의 신호 세기, 즉 혈관의 중심에서 벗어난 거리에 따른 혈전의 신호 세기의 특성을 파악할 수 있다.
일 실시예에 따르면, 입력 데이터는 복수 개의 신호 세기 프로파일을 포함할 수 있다. 도 11을 참조하면, 지정된 제1점(P1)과 제2점(P2)을 잇는 선분(L12)과 일정 각도(θ)를 가지는 복수 개의 단면(S1, S2, … , S5)으로부터 복수 개의 신호 세기 프로파일이 획득될 수 있다. 도 11에서는 같은 간격을 가지는 5개의 단면으로부터 5개의 신호 세기 프로파일이 획득된 것을 예시하였으나 본 발명이 이에 제한되는 것은 아니다.
한 명의 대상자에게서 복수 개의 신호 세기 프로파일을 획득한 경우, 각각의 신호 세기 프로파일은 판별 모델에 입력될 수 있다. 판별 모델은 각각의 입력에 대한 출력값을 출력할 수 있다. 이후, 제어부(1100)는 각 출력값을 평균한 값을 기초로 하여 혈전의 종류를 판별할 수 있고, 판별한 결과를 출력부(1200)에 전달할 수 있다. 이처럼 한 대상자에 대해 복수 개의 신호 세기 프로파일을 이용하는 경우, 입력 데이터 중 이상치(outlier)에 의해 혈전 종류가 잘못 판별되는 것을 방지할 수 있어, 판별 정확도가 향상될 수 있다.
도 12는 입력 단계 및 출력 단계를 나타낸 그림이다. 입력 데이터 획득 단계(S220) 이후에는, 입력 데이터를 미리 학습된 판별 모델에 입력하는 입력 단계(S230) 및 판별 모델의 최종 출력값을 기초로, 혈전의 종류를 판별해 출력하는 출력 단계(S240)가 수행된다. 이때 최종 출력값은 도 11에서 서술한 평균값을 의미할 수 있으나 본 발명이 이에 제한되는 것은 아니다.
도 12를 참조하면, 판별 모델은 대상자의 혈전이 특정 종류의 혈전인지 아닌지(예컨대, 심방세동에 의한 혈전인지)를 판단하도록 학습된 바이너리 분류(binary classification) 모델일 수 있다. 이 경우, 판별 모델은 신호 세기 프로파일을 입력으로 받아, 스칼라(scalar)값을 출력할 수 있다. 이때 출력된 스칼라값이 특정 값(T, threshold) 이상인 경우에, 제어부(1100)는 대상자의 혈전이 특정 종류의 혈전(A)인지 아닌지(non-A)를 판단하여 출력부(1200)에 전달할 수 있다. 이때 상기 특정 값(T)은 판별 모델을 학습시키는 단계에서 판별 모델의 예측 정확도를 가장 높게 하는 값으로 설정될 수 있다.
출력부(1200)에 의해 혈전의 종류를 출력하는 출력 단계(S240)가 완료되면, 사용자는 출력된 혈전 종류 판별 결과를 바탕으로 대상자의 치료 방안을 결정할 수 있다.
< MATLAB을 이용한 실시예 >
이하에서는 실시예를 통하여 본 발명의 구성 및 효과를 더욱 상세히 설명한다. 후술하는 실시예는 본 발명을 예시하기 위한 것일 뿐, 본 발명의 범위가 실시예에 의해 한정되는 것은 아니다.
본 발명의 일 실시예에서는 MATLAB (Mathworks 社, MA, 미국)을 이용하여 혈전 종류를 판별하는 프로그램을 개발하였다. 이때 기계 학습에는 Random forest 모델이 활용되었다. Random forest 모델의 파라미터는 각각 tree의 개수 = 11, tree의 깊이 = 15, k-fold cross-validation의 k=10으로 설정되었다.
본 발명의 일 실시예에서는 뇌경색 환자인 52명의 데이터 제공자에게서 총 1624개의 학습용 입력 데이터를 추출하였고, 15명의 데이터 제공자로부터 얻은 데이터를 통해 판별 모델의 외적 검증(external validation)을 실시하였다.
도 13은 심방세동에 의한 혈전 및 심방세동에 의하지 않은 혈전을 각각 가지는 대상자의 자기공명영상 데이터 및 신호 세기 프로파일을 나타낸 그림이다. 도 13의 (a)의 대상자는 심방세동에 의한 혈전을 가졌으며, (b)의 대상자는 다른 원인에 의한 혈전을 가지고 있었다. 본 발명의 일 실시예에서는 대상자의 혈전 종류를 판별하기 위해, 혈전 영역을 지나는 5개의 단면 선으로부터 얻은 5개의 신호 세기 프로파일을 판별 모델에 각각 입력하였다.
이때, 신호 세기 프로파일 그래프에서 혈전 영역에 대응하는 가운데 영역(픽셀 10~20 부근 영역)에서 심방세동 혈전(a)의 경우 신호 세기가 크고 작은 구간이 대체로 두 번 반복됨을 확인할 수 있다. 반면, 다른 원인에 의한 혈전(b)의 경우 되지만 가운데 영역에서 피크(peak)가 대체로 하나만 발견된다. 따라서 예컨대 판별 모델은 신호 세기 프로파일이 혈전 영역에서 크게 2개의 피크(peak)를 가지는지를 '학습'할 수 있고, 이와 같은 특징을 혈전이 심방세동에 의한 것인지를 판단하는 기준으로 활용할 수 있다. 한편, 판별 모델은 상술한 것 외에도 심방세동 혈전의 신호 세기 프로파일의 다른 특징을 '학습'할 수 있다.
도 14는 본 발명의 일 실시예에 따른 혈전 종류 판별 장치(1000)를 이용한 혈전 종류 판별 결과를 나타낸 그림이다. 본 발명의 일 실험예에서는 사용자가 지정한 혈전 영역 내의 제1점 및 제2점을 지나는 선분과 수직인 5개의 단면의 신호 세기 프로파일 그래프를 각각 판별 모델에 입력하고, 5개의 출력값을 평균하여 최종값을 얻었다. 이때 최종값이 특정 값(T: 0.27)보다 큰 경우에는 '심방세동으로 인한 혈전'인 것으로 설정하였다. 도 14를 참조하면, 실제로 심방세동에 의한 혈전인 것으로 확인된 대상자들의 평균값은 크게 나타나고, 심방세동 혈전이 아닌 것으로 확인된 대상자들의 평균값은 작게 나타남을 확인할 수 있다.
도 15는 본 발명의 일 실시예에 따른 판별 모델의 수신자 조작 특성(ROC, Receiver Operating Characteristic) 그래프이다. 본 발명의 일 실시예에서는, 외적 검증용 데이터(n=15)를 통해 ROC 그래프의 AUC(area under the curve) 값을 구해 판별 모델의 성능을 확인하였다. 이때 사용자에 의해 지정되는 제1점과 제2점은 두 번 다르게 선택되었다. 첫 번째 검증(a)에서는 ROC 그래프의 아래 면적인 AUC가 0.93이었고, 두 번째 검증(b)에서는 AUC가 0.97이었다. 두 번의 검증에서 AUC 값이 모두 높게 나타나, 혈전 종류 판별 방법 및 장치의 성능이 우수함을 확인하였다.
도 16은 특정 대상자의 혈전이 제거되기 전후의 자기공명영상 및 혈전 영역의 단면에서의 신호 세기 프로파일을 예시한 그림이다. (a)를 참조하면, 심방세동에 의한 혈전으로 인해 뇌경색이 발생하였던 특정 대상자에게 동맥 내 혈전용해술(IAT, intraarterial thrombolysis)을 수행하기 전, 신호 세기 프로파일의 가운데 영역(픽셀 5~13)의 신호는 2개의 피크(peak)가 나타나는 패턴을 보였다. (b)를 참조하면, IAT를 수행한 후의 혈전의 신호 세기 프로파일의 가운데 영역은 이러한 패턴이 없이 전체적으로 신호가 감소하였음을 확인할 수 있다. 즉 상기 환자의 경우 IAT에 의해 혈전이 잘 제거되었음을 알 수 있다. 이처럼 본 발명의 혈전 종류 판별 방법은 치료 결과 및 치료 후의 예후를 예측하는 데도 활용할 수 있다.
이하에서는 제어부(1100)의 일 실시예를 구체적으로 서술한다.
도 17은 일 실시예에 따른 제어부(1100)의 블록도이다.
도 17을 참조하면, 일 실시예에 따른 제어부(1100)는 데이터 학습부(1110) 및 데이터 인식부(1120)를 포함할 수 있다.
데이터 학습부(1110)는 혈전 종류를 판별하는 기준을 학습할 수 있다. 일 실시예에서 데이터 학습부(1110)는 데이터 학습부(1110)에 입력된 학습용 입력 데이터를 이용하여 소정의 기준을 학습할 수 있다. 데이터 학습부(1110)는 특히 신호 세기 프로파일의 형태가 혈전의 종류마다 어떻게 다른지를 학습할 수 있다.
데이터 인식부(1120)는 데이터에 기초하여 혈전의 종류를 판별할 수 있다. 데이터 인식부(1120)는 학습된 데이터 인식 모델을 이용하여, 소정의 데이터로부터 혈전의 종류를 판별할 수 있다. 데이터 인식부(1120)는 학습에 의한 기 설정된 기준에 따라 소정의 데이터를 획득하고, 획득된 데이터를 입력 값으로 하여 데이터 인식 모델을 이용함으로써, 소정의 데이터에 기초하여 혈전의 종류를 판별할 수 있다. 또한, 획득된 데이터를 입력 값으로 하여 데이터 인식 모델에 의해 출력된 결과 값은 데이터 인식 모델을 갱신하는데 이용될 수 있다.
데이터 학습부(1110) 및 데이터 인식부(1120) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다. 예를 들어, 데이터 학습부(1110) 및 데이터 인식부(1120) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 전자 장치에 탑재될 수도 있다.
이 경우, 데이터 학습부(1110) 및 데이터 인식부(1120)는 하나의 전자 장치에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 학습부(1110) 및 데이터 인식부(1120) 중 하나는 전자 장치에 포함되고, 나머지 하나는 서버에 포함될 수 있다. 또한, 데이터 학습부(1110) 및 데이터 인식부(1120)는 유선 또는 무선으로 통하여, 데이터 학습부(1110)가 구축한 모델 정보를 데이터 인식부(1120)로 제공할 수도 있고, 데이터 인식부(1120)로 입력된 데이터가 추가 학습 데이터로서 데이터 학습부(1110)로 제공될 수도 있다.
한편, 데이터 학습부(1110) 및 데이터 인식부(1120) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 학습부(1110) 및 데이터 인식부(1120) 중 적어도 하나가 소프트웨어 모듈(또는, 명령(instruction)을 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.
도 18은 일 실시예에 따른 데이터 학습부(1110)의 블록도이다.
도 18을 참조하면, 일부 실시예에 따른 데이터 학습부(1110)는 데이터 획득부(1111), 전처리부(1112), 학습 데이터 선택부(1113), 모델 학습부(1114) 및 모델 평가부(1115)를 포함할 수 있다.
데이터 획득부(1111)는 외부의 자기공명영상 장치 또는 기 저장되어 있던 의료 데이터베이스(DB)에서 자기공명영상 데이터를 수신할 수 있다.
전처리부(1112)는 혈전 종류를 판별하기 위한 학습/트레이닝에 획득된 데이터가 이용될 수 있도록, 획득된 데이터를 전처리할 수 있다. 전처리부(1112)는 후술할 모델 학습부(1114)가 혈전 종류를 판별하기 위한 학습을 위하여 획득된 데이터를 이용할 수 있도록, 획득된 데이터를 기 설정된 포맷으로 가공할 수 있다. 예를 들어, 전처리부(1112)는 입력된 자기공명영상으로부터 학습용 입력 데이터 및 입력 데이터를 추출/생성하고, 신호 세기 프로파일 그래프를 정규화(normalization)하는 작업을 수행할 수 있다.
학습 데이터 선택부(1113)는 전처리된 데이터 중에서 학습에 필요한 데이터를 선택할 수 있다. 선택된 데이터는 모델 학습부(1114)에 제공될 수 있다. 학습 데이터 선택부(1113)는 기설정된 기준에 따라, 전처리된 데이터 중에서 학습에 필요한 데이터를 선택할 수 있다. 또한, 학습 데이터 선택부(1113)는 후술할 모델 학습부(1114)에 의한 학습에 의해 기설정된 기준에 따라 데이터를 선택할 수도 있다.
모델 학습부(1114)는 상술한 '판별 모델'에 대응할 수 있는 구성요소로, 학습 데이터에 기초하여 혈전 종류를 어떻게 판별할지에 관한 기준을 학습할 수 있다. 또한, 모델 학습부(1114)는 혈전 종류를 판별하기 위하여 어떤 학습 데이터를 이용해야 하는지에 대한 기준을 학습할 수도 있다.
또한, 모델 학습부(1114)는 혈전 종류를 판별하는데 이용되는 데이터 인식 모델을 학습 데이터를 이용하여 학습시킬 수 있다. 이 경우, 데이터 인식 모델은 미리 구축된 모델일 수 있다.
데이터 인식 모델은, 인식 모델의 적용 분야, 학습의 목적 또는 장치의 컴퓨터 성능 등을 고려하여 구축될 수 있다. 데이터 인식 모델은, 예를 들어, 신경망(Neural Network)을 기반으로 하는 모델일 수 있다. 예컨대, DNN(Deep Neural Network), CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network)과 같은 모델이 데이터 인식 모델로서 사용될 수 있으나, 본 발명이 이에 한정되는 것은 아니다.
다양한 실시예에 따르면, 모델 학습부(1114)는 미리 구축된 데이터 인식 모델이 복수 개가 존재하는 경우, 입력된 학습 데이터와 기본 학습 데이터의 관련성이 큰 데이터 인식 모델을 학습할 데이터 인식 모델로 결정할 수 있다. 이 경우, 기본 학습 데이터는 데이터의 타입 별로 기 분류되어 있을 수 있으며, 데이터 인식 모델은 데이터의 타입 별로 미리 구축되어 있을 수 있다. 예를 들어, 기본 학습 데이터는 학습 데이터가 생성된 지역, 학습 데이터가 생성된 시간, 학습 데이터의 크기, 학습 데이터의 장르, 학습 데이터의 생성자, 학습 데이터 내의 오브젝트의 종류 등과 같은 다양한 기준으로 기 분류되어 있을 수 있다.
또한, 모델 학습부(1114)는, 예를 들어, 오류 역전파법(error back-propagation) 또는 경사 하강법(gradient descent)을 포함하는 학습 알고리즘 등을 이용하여 데이터 인식 모델을 학습시킬 수 있다.
또한, 모델 학습부(1114)는, 예를 들어, 학습 데이터를 입력 값으로 하는 지도 학습(supervised learning)을 통하여, 데이터 인식 모델을 학습시킬 수 있다. 또한, 모델 학습부(1114)는, 예를 들어, 별다른 지도없이 혈전의 종류를 판별하기 위해 필요한 데이터의 종류를 스스로 학습함으로써, 혈전의 종류를 판별하기 위한 기준을 발견하는 비지도 학습(unsupervised learning)을 통하여, 데이터 인식 모델을 학습시킬 수 있다. 또한, 모델 학습부(1114)는, 예를 들어, 학습에 따른 혈전 종류 판별 결과가 올바른지에 대한 피드백을 이용하는 강화 학습(reinforcement learning)을 통하여, 데이터 인식 모델을 학습시킬 수 있다.
또한, 데이터 인식 모델이 학습되면, 모델 학습부(1114)는 학습된 데이터 인식 모델을 저장할 수 있다. 이 경우, 모델 학습부(1114)는 학습된 데이터 인식 모델을 데이터 인식부(1120)를 포함하는 전자 장치의 메모리에 저장할 수 있다. 또는, 모델 학습부(1114)는 학습된 데이터 인식 모델을 후술할 데이터 인식부(1120)를 포함하는 전자 장치의 메모리에 저장할 수 있다. 또는, 모델 학습부(1114)는 학습된 데이터 인식 모델을 전자 장치와 유선 또는 무선 네트워크로 연결되는 서버의 메모리에 저장할 수도 있다.
이 경우, 학습된 데이터 인식 모델이 저장되는 메모리는, 예를 들면, 전자 장치의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 함께 저장할 수도 있다. 또한, 메모리는 소프트웨어 및/또는 프로그램을 저장할 수도 있다.
모델 평가부(1115)는 데이터 인식 모델에 평가 데이터를 입력하고, 평가 데이터로부터 출력되는 인식 결과가 소정 기준을 만족하지 못하는 경우, 모델 학습부(1114)로 하여금 다시 학습하도록 할 수 있다. 이 경우, 평가 데이터는 데이터 인식 모델을 평가하기 위한 기설정된 데이터일 수 있다.
예를 들어, 모델 평가부(1115)는 평가 데이터에 대한 학습된 데이터 인식 모델의 인식 결과 중에서, 인식 결과가 정확하지 않은 평가 데이터의 개수 또는 비율이 미리 설정된 임계치를 초과하는 경우 소정 기준을 만족하지 못한 것으로 평가할 수 있다. 예컨대, 소정 기준이 비율 2%로 정의되는 경우, 학습된 데이터 인식 모델이 총 1000개의 평가 데이터 중의 20개를 초과하는 평가 데이터에 대하여 잘못된 인식 결과를 출력하는 경우, 모델 평가부(1115)는 학습된 데이터 인식 모델이 적합하지 않은 것으로 평가할 수 있다.
한편, 학습된 데이터 인식 모델이 복수 개가 존재하는 경우, 모델 평가부(1115)는 각각의 학습된 데이터 인식 모델에 대하여 소정 기준을 만족하는지를 평가하고, 소정 기준을 만족하는 모델을 최종 데이터 인식 모델로서 결정할 수 있다. 이 경우, 소정 기준을 만족하는 모델이 복수 개인 경우, 모델 평가부(1115)는 평가 점수가 높은 순으로 미리 설정된 어느 하나 또는 소정 개수의 모델을 최종 데이터 인식 모델로서 결정할 수 있다.
한편, 데이터 학습부(1110) 내의 데이터 획득부(1111), 전처리부(1112), 학습 데이터 선택부(1113), 모델 학습부(1114) 및 모델 평가부(1115) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다. 예를 들어, 데이터 획득부(1111), 전처리부(1112), 학습 데이터 선택부(1113), 모델 학습부(1114) 및 모델 평가부(1115) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 전자 장치에 탑재될 수도 있다.
또한, 데이터 획득부(1111), 전처리부(1112), 학습 데이터 선택부(1113), 모델 학습부(1114) 및 모델 평가부(1115)는 하나의 전자 장치에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 획득부(1111), 전처리부(1112), 학습 데이터 선택부(1113), 모델 학습부(1114) 및 모델 평가부(1115) 중 일부는 전자 장치에 포함되고, 나머지 일부는 서버에 포함될 수 있다.
또한, 데이터 획득부(1111), 전처리부(1112), 학습 데이터 선택부(1113), 모델 학습부(1114) 및 모델 평가부(1115) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 획득부(1111), 전처리부(1112), 학습 데이터 선택부(1113), 모델 학습부(1114) 및 모델 평가부(1115) 중 적어도 하나가 소프트웨어 모듈(또는, 명령(instruction)을 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.
도 19는 일 실시예에 따른 데이터 인식부(1120)의 블록도이다.
도 19를 참조하면, 일부 실시예에 따른 데이터 인식부(1120)는 데이터 획득부(1121), 전처리부(1122), 인식 데이터 선택부(1123), 인식 결과 제공부(1124) 및 모델 갱신부(1125)를 포함할 수 있다.
데이터 획득부(1121)는 혈전 종류를 판별하기 위해 필요한 데이터를 획득할 수 있으며, 전처리부(1122)는 획득된 데이터가 이용될 수 있도록 획득된 데이터를 전처리할 수 있다. 전처리부(1122)는 후술할 인식 결과 제공부(1124)가 혈전 종류를 예측하기 위하여 획득된 데이터를 이용할 수 있도록, 획득된 데이터를 기설정된 포맷으로 가공할 수 있다.
인식 데이터 선택부(1123)는 전처리된 데이터 중에서 혈전 종류를 판별하는데 필요한 데이터를 선택할 수 있다. 선택된 데이터는 인식 결과 제공부(1124)에 제공될 수 있다. 인식 데이터 선택부(1123)는 혈전 종류를 판별하기 위한 기설정된 기준에 따라, 전처리된 데이터 중에서 일부 또는 전부를 선택할 수 있다. 또한, 인식 데이터 선택부(1123)는 후술할 모델 학습부(1114)에 의한 학습에 의해 기 설정된 기준에 따라 데이터를 선택할 수도 있다.
인식 결과 제공부(1124)는 선택된 데이터를 데이터 인식 모델에 적용하여 혈전 종류를 예측할 수 있다. 인식 결과 제공부(1124)는 데이터의 인식 목적에 따른 인식 결과를 제공할 수 있다. 인식 결과 제공부(1124)는 인식 데이터 선택부(1123)에 의해 선택된 데이터를 입력 값으로 이용함으로써, 선택된 데이터를 데이터 인식 모델에 적용할 수 있다. 또한, 인식 결과는 데이터 인식 모델에 의해 결정될 수 있다.
모델 갱신부(1125)는 인식 결과 제공부(1124)에 의해 제공되는 인식 결과에 대한 평가에 기초하여, 데이터 인식 모델이 갱신되도록 할 수 있다. 예를 들어, 모델 갱신부(1125)는 인식 결과 제공부(1124)에 의해 제공되는 인식 결과를 모델 학습부(1114)에게 제공함으로써, 모델 학습부(1114)가 데이터 인식 모델을 갱신하도록 할 수 있다.
한편, 데이터 인식부(1120) 내의 데이터 획득부(1121), 전처리부(1122), 인식 데이터 선택부(1123), 인식 결과 제공부(1124) 및 모델 갱신부(1125) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다. 예를 들어, 데이터 획득부(1121), 전처리부(1122), 인식 데이터 선택부(1123), 인식 결과 제공부(1124) 및 모델 갱신부(1125) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 전자 장치에 탑재될 수도 있다.
또한, 데이터 획득부(1121), 전처리부(1122), 인식 데이터 선택부(1123), 인식 결과 제공부(1124) 및 모델 갱신부(1125)는 하나의 전자 장치에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 획득부(1121), 전처리부(1122), 인식 데이터 선택부(1123), 인식 결과 제공부(1124) 및 모델 갱신부(1125) 중 일부는 전자 장치에 포함되고, 나머지 일부는 서버에 포함될 수 있다.
또한, 데이터 획득부(1121), 전처리부(1122), 인식 데이터 선택부(1123), 인식 결과 제공부(1124) 및 모델 갱신부(1125) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 획득부(1121), 전처리부(1122), 인식 데이터 선택부(1123), 인식 결과 제공부(1124) 및 모델 갱신부(1125) 중 적어도 하나가 소프트웨어 모듈(또는, 명령(instruction)을 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.
한편, 본 발명의 일 실시예에 따른 혈전 종류 판별 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성할 수 있고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.
본 발명의 일 실시예에 따른 기계 학습을 이용한 혈전 종류 판별 방법, 장치, 프로그램에 의하면, 객관적으로 정량적인 방식으로 혈전의 종류를 판별할 수 있어 정성적인 방법으로 혈전 종류를 판별할 때 관찰자 내 차이 및 관찰자 간 차이(intra- & inter-observer variability)가 높은 문제를 해결할 수 있다. 또한, 비침습적인 방식으로 혈전의 종류를 수 분 내로 빠르게 파악할 수 있어, 대상자의 치료 방안을 신속하게 결정하는 데 도움을 줄 수 있다. 이를 통해 뇌경색 등 비가역적으로 뇌에 손상을 줄 수 있는 뇌혈관 폐색 증상을 신속하게 치료하여 재개통의 확률을 증가시킬수 있어 치료 효과를 높일 수 있다. 이뿐만 아니라, 선별적인 검사가 시행되도록 하여 의료비 부담을 경감할 수 있게 된다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
본 발명은 혈전 종류 판별 방법, 장치 및 프로그램에 관한 것으로, 진단 및 치료 장치 산업에 이용될 수 있다.

Claims (13)

  1. 특정 대상자의 자기공명영상(MRI) 데이터에서, 상기 특정 대상자의 혈전(clot)이 위치하는 것으로 추정되는 혈전 영역을 선택하는 혈전 영역 선택 단계;
    상기 선택된 혈전 영역으로부터, 상기 혈전의 종류를 추정하기 위한 판별 모델에 입력할 입력 데이터를 생성하는 입력 데이터 획득 단계;
    상기 입력 데이터를, 상기 혈전의 종류를 추정하기 위한 판별 모델에 입력하는 입력 단계; 및
    상기 판별 모델의 출력값을 기초로, 상기 혈전의 종류를 판별하여 출력하는 출력 단계;를 포함하며,
    상기 판별 모델은,
    복수 명의 데이터 제공자의 자기공명영상 데이터로부터 얻은 학습용 입력 데이터와 혈전 종류의 상관관계를 표현하는 입출력함수인, 혈전 종류 판별 방법.
  2. 제1항에 있어서,
    상기 자기공명영상 데이터는, 경사 에코(GRE, gradient echo) 영상 데이터를 포함하는, 혈전 종류 판별 방법.
  3. 제1항에 있어서,
    상기 자기공명영상 데이터는, 자화율 강조 영상(SWI: susceptibility weighted imaging) 데이터를 포함하는, 혈전 종류 판별 방법.
  4. 제1항에 있어서,
    상기 판별 모델은,
    상기 특정 대상자의 상기 혈전이 적색 혈전(red clot)을 포함하는지를 판단하는, 혈전 종류 판별 방법.
  5. 제1항에 있어서,
    상기 판별 모델은,
    상기 특정 대상자의 상기 혈전이 심방세동(Afib, atrial fibrillation)으로 인한 혈전인지를 판단하는, 혈전 종류 판별 방법.
  6. 제1항에 있어서,
    상기 혈전 영역 선택 단계 전에,
    상기 판별 모델을 트레이닝하는 단계를 더 포함하는, 혈전 종류 판별 방법.
  7. 제1항에 있어서,
    상기 학습용 입력 데이터는,
    상기 복수 명의 데이터 제공자의 자기공명영상 데이터의 혈전 영역 내의 제1점과 제2점을 잇는 선분과 일정 각도를 가지는 복수 개의 단면으로부터 얻은 신호 세기 프로파일(intensity profile)을 포함하는, 혈전 종류 판별 방법.
  8. 제7항에 있어서,
    상기 학습용 입력 데이터는,
    상기 신호 세기 프로파일과 좌우 반전(inversion)인 반전 신호 세기 프로파일을 더 포함하는, 혈전 종류 판별 방법.
  9. 제1항에 있어서,
    상기 입력 데이터는,
    상기 혈전 영역 내의 제1점과 제2점을 잇는 선분과 일정 각도를 가지는 단면으로부터 얻은 신호 세기 프로파일을 포함하는, 혈전 종류 판별 방법.
  10. 제9항에 있어서,
    상기 입력 데이터는, 복수 개의 신호 세기 프로파일을 포함하는, 혈전 종류 판별 방법.
  11. 제10항에 있어서,
    상기 혈전의 종류를 판별하여 출력하는 출력 단계는,
    상기 복수 개의 신호 세기 프로파일 각각을 입력으로 하였을 때 상기 판별 모델의 각각의 출력값을 평균한 값을 기초로 상기 혈전의 종류를 판별하여 출력하는 단계인, 혈전 종류 판별 방법.
  12. 특정 대상자의 자기공명영상 데이터를 수신하고, 상기 자기공명영상 데이터 중 상기 특정 대상자의 혈전(clot)이 위치한 영역이 선택되면, 상기 선택된 영역으로부터 상기 혈전의 종류를 추정하기 위한 판별 모델에 입력할 입력 데이터를 생성한 후, 상기 입력 데이터를 상기 판별 모델에 입력하는 제어부;
    상기 판별 모델이 출력한 상기 혈전의 종류를 출력하는 출력부;를 포함하며,
    상기 판별 모델은,
    복수 명의 데이터 제공자의 자기공명영상 데이터로부터 얻은 학습용 입력 데이터와 혈전 분류 데이터의 상관관계를 표현하는 입출력함수인, 혈전 종류 판별 장치.
  13. 컴퓨터를 이용하여 제1항 내지 제11항 중 어느 한 항의 방법을 실행하기 위하여 매체에 저장된 컴퓨터 프로그램.
PCT/KR2017/011772 2017-09-22 2017-10-24 혈전 종류 판별 방법, 장치 및 프로그램 Ceased WO2019059448A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0122880 2017-09-22
KR1020170122880A KR101991037B1 (ko) 2017-09-22 2017-09-22 혈전 종류 판별 방법, 장치 및 프로그램

Publications (1)

Publication Number Publication Date
WO2019059448A1 true WO2019059448A1 (ko) 2019-03-28

Family

ID=65809819

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/011772 Ceased WO2019059448A1 (ko) 2017-09-22 2017-10-24 혈전 종류 판별 방법, 장치 및 프로그램

Country Status (2)

Country Link
KR (1) KR101991037B1 (ko)
WO (1) WO2019059448A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7220401B2 (en) * 1999-09-24 2007-05-22 Barnes-Jewish Hospital Blood clot-targeted nanoparticles
JP2009011828A (ja) * 2007-07-02 2009-01-22 General Electric Co <Ge> 血管系の中の障害を検出するための方法及びシステム
KR20120056312A (ko) * 2010-11-01 2012-06-04 전남대학교산학협력단 폐 색전증 검출 시스템 및 그 방법
JP2015208385A (ja) * 2014-04-24 2015-11-24 株式会社日立製作所 医用画像情報システム、医用画像情報処理方法及びプログラム
JP2016503310A (ja) * 2012-10-05 2016-02-04 エリザベス ビギン， 撮像データセットにおけるパラメータを示すためのシステムおよび使用方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7220401B2 (en) * 1999-09-24 2007-05-22 Barnes-Jewish Hospital Blood clot-targeted nanoparticles
JP2009011828A (ja) * 2007-07-02 2009-01-22 General Electric Co <Ge> 血管系の中の障害を検出するための方法及びシステム
KR20120056312A (ko) * 2010-11-01 2012-06-04 전남대학교산학협력단 폐 색전증 검출 시스템 및 그 방법
JP2016503310A (ja) * 2012-10-05 2016-02-04 エリザベス ビギン， 撮像データセットにおけるパラメータを示すためのシステムおよび使用方法
JP2015208385A (ja) * 2014-04-24 2015-11-24 株式会社日立製作所 医用画像情報システム、医用画像情報処理方法及びプログラム

Also Published As

Publication number Publication date
KR20190034022A (ko) 2019-04-01
KR101991037B1 (ko) 2019-06-19

Similar Documents

Publication Publication Date Title
Saba et al. Automatic detection of papilledema through fundus retinal images using deep learning
WO2021025461A1 (ko) 초음파 영상 기반의 기계 학습을 통한 관상동맥 병변 진단 시스템 및 이의 진단 방법
WO2023095989A1 (ko) 뇌질환 진단을 위한 다중 모달리티 의료 영상 분석 방법 및 장치
KR102288078B1 (ko) 인공지능 기반으로 뉴로멜라닌 관련 자기공명영상을 분석하여 파킨슨 병과 관련된 맞춤형 정보를 제공하는 장치
CN112967284B (zh) 血管图像分段分析方法、装置、设备及存储介质
WO2020138925A1 (ko) 인공지능 기반 혈류 구간 분류 방법 및 시스템
WO2021025459A1 (ko) 광 간섭 단층 영상 기반의 고위험 병변 진단 시스템 및 이의 진단 방법
KR102095731B1 (ko) 딥러닝 기반의 보조 진단 시스템의 mra 영상 학습 방법 및 혈관 병변 보조 진단 방법
Yadav et al. A deep learning based diabetic retinopathy detection from retinal images
KR102103281B1 (ko) 뇌혈관 질환의 진단을 위한 ａｉ 기반의 보조 진단 시스템
WO2020179950A1 (ko) 딥러닝 기반 뇌 질환 진행 예측 방법 및 장치
WO2022019655A1 (ko) 관상동맥 진단영상 학습장치와 방법, 및 상기 학습장치와 방법을 통해 구축된 학습모델을 사용하는 유의한 관상동맥 협착 진단 장치 및 방법
KR20200025852A (ko) 기능적 연결성을 사용한 피험자 내 및 피험자 간 변동성 기반 예측 모델 생성 방법 및 그 장치
KR20190068254A (ko) 병변 발생 시점 추정 방법, 장치 및 프로그램
Jebaseeli et al. Extraction of retinal blood vessels on fundus images by kirsch's template and Fuzzy C-Means
Zhang et al. Deep learning based gait analysis for contactless dementia detection system from video camera
Ahmed et al. Myositis detection from muscle ultrasound images using a proposed yolo-cse model
Stoean et al. An assessment of the usefulness of image pre-processing for the classification of first trimester fetal heart ultrasound using convolutional neural networks
KR102257295B1 (ko) 초음파 영상 기반의 기계 학습을 통한 취약성 죽상반 진단 시스템 및 이의 진단 방법
Prentasic et al. Weighted ensemble based automatic detection of exudates in fundus photographs
CN119673433B (zh) 面向抑郁-焦虑合并症的病症映射脑区定位方法和设备
WO2019059448A1 (ko) 혈전 종류 판별 방법, 장치 및 프로그램
Mehmood et al. LVS-Net: A Lightweight Vessels Segmentation Network for Retinal Image Analysis
WO2020096321A1 (ko) 혈관 나이 진단 장치, 혈관 나이 진단 방법 및 상기 방법을 실행하기 위한 컴퓨터 프로그램
Reddy Enumula et al. Alzheimer's disease prediction and classification using CT images through machine learning.

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17925940

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17925940

Country of ref document: EP

Kind code of ref document: A1