WO2021230534A1 - 안와 및 안와주변 병변 예측 장치 및 그 예측 방법 - Google Patents

안와 및 안와주변 병변 예측 장치 및 그 예측 방법 Download PDF

Info

Publication number
WO2021230534A1
WO2021230534A1 PCT/KR2021/005285 KR2021005285W WO2021230534A1 WO 2021230534 A1 WO2021230534 A1 WO 2021230534A1 KR 2021005285 W KR2021005285 W KR 2021005285W WO 2021230534 A1 WO2021230534 A1 WO 2021230534A1
Authority
WO
WIPO (PCT)
Prior art keywords
orbital
medical image
deep learning
learning model
lesion
Prior art date
Application number
PCT/KR2021/005285
Other languages
English (en)
French (fr)
Inventor
정연웅
이용오
양석우
나태윤
백지선
조원경
김성은
장동진
Original Assignee
가톨릭대학교 산학협력단
한국과학기술연구원 유럽연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가톨릭대학교 산학협력단, 한국과학기술연구원 유럽연구소 filed Critical 가톨릭대학교 산학협력단
Publication of WO2021230534A1 publication Critical patent/WO2021230534A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computerised tomographs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computerised tomographs
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/12—Devices for detecting or locating foreign bodies
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/50—Clinical applications
    • A61B6/501—Clinical applications involving diagnosis of head, e.g. neuroimaging, craniography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/50—Clinical applications
    • A61B6/505—Clinical applications involving diagnosis of bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Definitions

  • the present invention provides an apparatus for predicting orbital and peripheral lesions and a method for predicting the same.
  • the orbit refers to the periphery surrounding the eyeball, and various structures exist in the orbit.
  • the incidence of lesions in the patient's orbit is not high, if it does occur, it can be very fatal to the patient.
  • malignant tumors among lesions occurring in a patient's orbit have a very high mortality rate (e.g. 26.4% for orbital lymphoma, 38.5% for lacrimal gland cancer).
  • the tumor may compress the optic nerve and cause blindness (irreversible damage, blindness rate of 90%) or the tumor may invade the extraocular muscle and cause diplopia.
  • Embodiments provide an orbital and peripheral lesion prediction apparatus and a prediction method capable of rapidly and accurately predicting the location and type of a lesion occurring in the orbit of a patient.
  • embodiments provide an orbital and peripheral lesion prediction apparatus and a prediction method capable of predicting the location and type of a lesion occurring in a location where a biopsy is impossible.
  • the technical task to be achieved by the present embodiment is not limited to the above-described technical task, and other technical tasks may exist.
  • the present specification receives a target medical image of a patient's skull, inputs the target medical image to a first deep learning model, generates a classification result for the patient's orbital structure, and inputs the classification result to a second deep learning model to generate an estimation result on whether a lesion has occurred in the orbital structure, and input the classification result into the third deep learning model according to the estimation result to generate a prediction result for the location and type of lesion occurring in the orbital structure, and estimate A first deep learning model for outputting results and prediction results, based on at least one of a sample medical image, biopsy information corresponding to the sample medical image, and a synthetic medical image generated based on the sample medical image and biopsy information; Disclosed are an orbital and periorbital lesion prediction apparatus and prediction method for learning a second deep learning model and a third deep learning model.
  • An embodiment includes an input unit for receiving a target medical image of a patient's skull; a structure classification unit that inputs a target medical image to the first deep learning model and generates a classification result for the orbital structure of the patient; an estimator that inputs the classification result into the second deep learning model and generates an estimation result as to whether a lesion has occurred in the orbital structure; a lesion prediction unit that inputs a classification result to the third deep learning model according to the estimation result and generates a prediction result for the location and type of the lesion occurring in the orbital structure; an output unit for outputting an estimation result and a prediction result; and a first deep learning model, a second deep learning model, and a second deep learning model based on at least one of a sample medical image, biopsy information corresponding to the sample medical image, and a synthetic medical image generated based on the sample medical image and the biopsy information.
  • 3 provides an orbital and peripheral lesion prediction device including a model learning unit for learning a deep learning model.
  • Another embodiment may include an input step of receiving a target medical image obtained by photographing a patient's skull; a structure classification step of generating a classification result for an orbital structure of a patient by inputting a target medical image into a first deep learning model; an estimation step of generating an estimation result as to whether a lesion has occurred in the orbital structure by inputting the classification result into the second deep learning model; a lesion prediction step of generating a prediction result for a location and type of a lesion occurring in an orbital structure by inputting a classification result into a third deep learning model according to the estimation result; and an output step of outputting an estimation result and a prediction result, wherein the first deep learning model, the second deep learning model, and the third deep learning model are a sample medical image, biopsy information corresponding to the sample medical image, and a sample medical image. and an orbital and peripheral lesion prediction method that is learned based on at least one of a synthetic medical image generated based on biopsy information.
  • the location and type of lesions occurring around the orbit of a patient can be quickly and accurately predicted.
  • the location and type of a lesion occurring in a location where a biopsy is impossible may be predicted.
  • FIG. 1 is a block diagram showing an example of an orbital and peripheral lesion prediction apparatus.
  • FIG. 2 is a diagram illustrating an example of a target medical image.
  • FIG. 3 is a diagram illustrating an example of a classification result for an orbital structure in a target medical image.
  • FIG. 4 is a block diagram illustrating another example of an orbital and peripheral lesion prediction apparatus.
  • FIG. 5 is a diagram illustrating an example of generating pre-processing data.
  • FIG. 6 is a block diagram illustrating another example of an orbital and peripheral lesion prediction apparatus.
  • FIG. 7 is a flowchart illustrating an example of an operation of determining whether to generate a synthetic medical image.
  • FIG. 8 is a diagram illustrating an example of generating a synthetic medical image.
  • FIG. 9 is a flowchart illustrating an example of a method for predicting orbital and periorbital lesions.
  • a "part" includes a unit realized by hardware, a unit realized by software, and a unit realized using both.
  • one unit may be implemented using two or more hardware, and two or more units may be implemented by one hardware.
  • mapping or matching with the terminal means mapping or matching the terminal's unique number or personal identification information, which is the identification data of the terminal. can be interpreted as
  • FIG. 1 is a block diagram showing an example of an orbital and peripheral lesion prediction apparatus.
  • the orbital and orbital lesion prediction apparatus 100 includes an input unit 110 , a structure classification unit 120 , an estimator 130 , a lesion prediction unit 140 , an output unit 150 , and model learning. It may include a unit 160 .
  • the input unit 110 may receive a target medical image obtained by photographing a patient's skull.
  • the target medical image may be an image taken from the front (face direction), side (ear direction), or upper part (parietal direction) of the patient's skull using an imaging device such as an X-ray device, ultrasound device, CT, or MRI. have.
  • the target medical image may be, for example, a CT image or an MRI image.
  • CT images or MRI images may indicate orbital structures and various types of lesions occurring in orbital structures.
  • CT or MRI can recognize that an abnormal element occupies the orbital space in the orbital structure, and can detect lesions (eg tumors) occurring in the orbital structure based on the degree of reflection/absorption of X-rays and the intensity of the resonance signal. because it can be perceived.
  • lesions eg tumors
  • FIG. 2 A specific example of the target medical image will be described in detail below with reference to FIG. 2 .
  • the structure classifier 120 may input the target medical image received from the input unit 110 into the first deep learning model MDL_1 to generate a classification result for a structure located in the patient's orbit, that is, the orbital structure.
  • each structure includes orbital walls, fissures, canals, periorbita, optic nerve, extraocular muscle, and orbital fat.
  • orbital fat orbital fat
  • nerve vasculature, annulus of Zinn, intraorbital tissue, crystalline lens, corneal apex, orbit apex), lacrimal gland or vitreous orbital lesions, and periorbital lesions of the nasal and paranasal sinuses.
  • the structure classification unit 120 may generate a classification result for a specific orbital structure for which a lesion is to be searched among orbital structures.
  • the first deep learning model MDL_1 may be an object detection & segmentation model that receives a target medical image and performs detection and segmentation on an orbital structure.
  • the classification result of the orbital structure may indicate information about a region corresponding to the orbital structure in the target medical image.
  • the classification result for a structure located in the orbit may include information such as which part corresponds to the optic nerve in the target medical image and which part corresponds to the extraocular muscle in a method of masking a specific region in the target medical image. can be directed through
  • the estimation unit 130 may input the classification result generated by the structure classification unit 120 into the second deep learning model (MDL_2) to generate an estimation result as to whether a lesion has occurred in a structure located in the orbit of the patient. have.
  • MDL_2 second deep learning model
  • the lesion occurring in the structure located in the orbit may be a fracture, an inflammatory disease, or a tumor (malignant/benign).
  • the second deep learning model MDL_2 may be an object detection model that detects a lesion based on the size/shape of a structure located in the orbit.
  • the estimation result generated by the estimator 130 may indicate a result of estimating whether the orbital structure is normal, that is, a lesion has not occurred or is abnormal, that is, a lesion has occurred.
  • the estimator 130 may indicate the result of estimating whether a specific lesion (eg malignant tumor) has occurred in a specific structure (eg extraocular muscle) located in the orbit as a probability value (eg 80%/90%). have.
  • the lesion prediction unit 140 inputs the classification result of the orbit structure generated by the structure classification unit 120 to the third deep learning model MDL_3 according to the estimation result generated by the estimation unit 130, and the orbit structure It is possible to generate prediction results for the location and type of lesions that have occurred in
  • the prediction result for the type of lesion may be a result of predicting the presence or absence of thyroid eye disease, whether it is a fracture/inflammation/tumor, whether the tumor is malignant or benign, and the type of tumor in the case of a malignant tumor.
  • the third deep learning model MDL_3 may be a model that receives an image of an orbital structure, divides a portion corresponding to a lesion, and classifies a type of lesion.
  • the lesion prediction unit 140 predicts the location and type of the lesion occurring in the orbital structure. I never do that.
  • the lesion prediction unit 140 predicts the location and type of the lesion occurring in the structure located in the orbit using the third deep learning model (MDL_3). do.
  • the prediction result may be a probability value (e.g. 80%/90%) of a specific type (type) of a tumor (malignant) in a specific structure (e.g. extraocular muscle) located in the orbit.
  • a probability value e.g. 80%/90% of a specific type (type) of a tumor (malignant) in a specific structure (e.g. extraocular muscle) located in the orbit.
  • the output unit 150 may output one or more of the estimation result generated by the estimator 130 and the prediction result generated by the lesion prediction unit 140 .
  • the output unit 150 may visualize and provide the estimated result and the predicted result to the medical staff and the patient as text, images, or the like so that they can easily understand them.
  • the output unit 150 may output information indicating that the orbital structure is normal as a result of the estimation (ie, no lesion has occurred).
  • the output unit 150 may output information indicating that the orbital structure is abnormal and the location and type of the lesion generated in the structure.
  • the output unit 150 may output the estimation result and the prediction result to a display device (eg, a smartphone, tablet, monitor, TV, LED) capable of displaying information.
  • the model learning unit 160 is Based on at least one of an image, biopsy information corresponding to the sample medical image, and a synthetic medical image generated based on the sample medical image and the biopsy information, the first deep learning model (MDL_1), the second deep learning Learning may be performed on the model (MDL_2) and the third deep learning model (MDL_3).
  • the sample medical image and biopsy information may be stored in the storage device 10 located outside the orbital and orbital lesion prediction apparatus 100 .
  • the storage device 10 may be located outside the orbital and orbital lesion prediction apparatus 100, for example, and may be a PC, a server, a medical information system, etc. in which a database is built.
  • the storage device 10 additionally stores the aforementioned first deep learning model (MDL_1), second deep learning model (MDL_2), and third deep learning model (MDL_3) as well as the aforementioned sample medical image and biopsy information. You can also save it.
  • the orbital and peripheral lesion prediction apparatus 100 may load the first deep learning model (MDL_1), the second deep learning model (MDL_2), and the third deep learning model (MDL_3) stored in the storage device 10 . and the first deep learning model (MDL_1), the second deep learning model (MDL_2), and the third deep learning model (MDL_3), which have been trained and updated, may be written back to the storage device 10 .
  • the sample medical image may be a CT image or an MRI image of various patients' skulls from the front, side, and upper parts.
  • the biopsy information corresponding to the sample medical image may indicate a result of performing a biopsy on the orbital structure in which the corresponding sample medical image is captured (ie, an examination for checking cells constituting the structure through a microscope).
  • the biopsy information may indicate whether a tumor has occurred in the orbital structure (e.g. extraocular muscle), whether the tumor is malignant or benign, and information on the type of tumor.
  • the synthetic medical image is generated based on the sample medical image, and may be generated under a specific condition.
  • conditions and methods for generating a synthetic medical image will be described in detail with reference to FIGS. 7 to 8 .
  • FIG. 2 is a diagram illustrating an example of a target medical image.
  • the target medical image may be a CT image or an MRI image.
  • FIG. 2A is a CT image of the skull of a patient with Graves' disease, an endocrine orbitopathy.
  • FIG. 2B is a CT image of the skull of a patient with retrobulbar cavernous hemangioma in the left eye.
  • FIG. 2c is an MRI image of the skull of a patient with an optic sheath meningioma in the orbital apex of the right eye.
  • Fig. 2d is a CT image of the skull of a patient with non-Hodgkin lymphoma (NHL) at the apex of the orbit of the left eye.
  • NDL non-Hodgkin lymphoma
  • FIG. 3 is a diagram illustrating an example of a classification result for an orbital structure in a target medical image.
  • the structure classification unit 120 includes a corneal apex, a crystalline lens, a vitreous, an extraocular muscle, and an optic nerve located in the orbit from the target medical images a and b. It is possible to classify orbital structures such as optic nerve) and orbit apex, and to mask each orbital structure.
  • FIG. 4 is a block diagram illustrating another example of an orbital and peripheral lesion prediction apparatus.
  • the orbital and orbital lesion prediction apparatus 100 includes the input unit 110 , the structure classification unit 120 , the estimator 130 , the lesion prediction unit 140 , and the output unit ( 150) and the model learning unit 160 may further include a pre-processing unit 170 .
  • the preprocessor 170 is configured to learn the first deep learning model (MDL_1), the second deep learning model (MDL_2), and the third deep learning model (MDL_3) described above in FIG. 1 based on the sample medical image and the biopsy information. It is possible to generate preprocessing data used for
  • FIG. 5 is a diagram illustrating an example of generating pre-processing data.
  • the preprocessor 170 may add masking information on a structure located in the orbit to the sample medical image.
  • the masking information may be added by an automated tool or may be manually added by a medical staff.
  • the preprocessor 170 may encode the tissue examination information based on the set mapping table.
  • the preprocessor 170 may generate preprocessing data including masking data obtained by adding the above-described masking information to a sample medical image or encoded data obtained by encoding biopsy information.
  • the pre-processing unit 170 may additionally perform an operation of deleting the patient's personal information in the process of generating the above-described pre-processing data.
  • the process of deleting a patient's personal information may be performed by an automated tool or may be performed manually by a medical staff.
  • FIG. 6 is a block diagram illustrating another example of an orbital and peripheral lesion prediction apparatus.
  • the orbital and peripheral lesion prediction apparatus 100 includes the input unit 110 , the structure classification unit 120 , the estimator 130 , the lesion prediction unit 140 described above in FIGS. 1 and 4 , In addition to the output unit 150 , the model learning unit 160 , and the preprocessing unit 170 , the synthetic medical image generation unit 180 may be additionally included.
  • the synthetic medical image generator 180 generates a first deep learning model (MDL_1), a second deep learning model (MDL_2), and a third deep learning model (MDL_3) based on the preprocessing data generated by the preprocessor 170 . It is possible to create a synthetic medical image for learning.
  • MDL_1 first deep learning model
  • MDL_2 second deep learning model
  • MDL_3 third deep learning model
  • the reason why the synthetic medical image generating unit 180 generates the synthetic medical image is the number of normal sample medical images, that is, the number of sample medical images in which no lesion has occurred in the captured orbital structure, and the number of abnormal samples in the process of learning the deep learning model. This is to prevent a problem in which the accuracy of the deep learning model is lowered due to an imbalance in the number of medical images, that is, sample medical images in which lesions occur in the captured orbital structures.
  • the synthetic medical image generating unit 180 generates an abnormal synthetic medical image, that is, a synthetic medical image including an image of a structure having a lesion. It is possible to increase the prediction accuracy for the case where the deep learning model is abnormal.
  • synthetic medical image information does not include patient personal information, there is no need to take measures to protect personal information under the Personal Information Protection Act.
  • FIG. 7 is a flowchart illustrating an example of an operation of determining whether to generate a synthetic medical image.
  • the synthetic medical image generator 180 may calculate the number of normal sample medical images, that is, the number A of sample medical images in which the orbital structure in which the lesion does not occur is captured ( S710 ).
  • the synthetic medical image generator 180 may calculate the number of abnormal sample medical images, that is, the number B of sample medical images in which the orbital structure in which the lesion does not occur is captured ( S720 ). Meanwhile, in FIG. 7 , the case where step S720 is executed after step S710 has been described as an example, but step S720 may be executed before or simultaneously with step S710.
  • the synthetic medical image generator 180 determines whether a ratio of the number of abnormal sample medical images to the number of normal sample medical images, that is, (B/A) is equal to or less than a set threshold ratio THR ( S730 ).
  • the value of the threshold ratio (THR) may be determined, for example, based on the accuracies of the learned first deep learning model (MDL_1), the second deep learning model (MDL_2), and the third deep learning model (MDL_3).
  • the value of the threshold ratio THR may be 1/50 or 1/20.
  • the synthetic medical image generator 180 may generate a synthetic medical image based on the sample medical image (S740).
  • the synthetic medical image generator 180 may not generate a synthetic medical image ( S750 ).
  • FIG. 8 is a diagram illustrating an example of generating a synthetic medical image.
  • the synthetic medical image generator 180 may generate training data by cropping a region in which a lesion occurs from an abnormal sample medical image included in the preprocessing data. Whether the sample medical image included in the preprocessing data is abnormal may be confirmed through biopsy information corresponding to the sample medical image.
  • the cropped region may be selected by the above-described first deep learning model MDL_1.
  • the synthetic medical image generator 180 may generate synthetic data corresponding to the cropped region by inputting the cropped training data to the fourth deep learning model.
  • the fourth deep learning model may be, for example, a Generative Adversarial Network (GAN) model.
  • GAN Generative Adversarial Network
  • the synthetic medical image generator 180 may generate a synthetic medical image by inserting the above-described synthetic data into a normal sample medical image.
  • a normal sample medical image into which the synthetic data is inserted may be randomly selected.
  • FIG. 9 is a flowchart illustrating an example of a method for predicting orbital and periorbital lesions.
  • the orbital and per-orbital lesion prediction method 900 may include an input step S910 , a structure classification step S920 , an estimation step S930 , a lesion prediction step S940 , and an output step S950 .
  • a target medical image obtained by photographing a patient's skull may be input.
  • the target medical image may be a CT image or an MRI image.
  • the structure classification step S920 may generate a classification result for the orbital structure by inputting the target medical image received in the input step S910 into the first deep learning model.
  • the orbital structure is an optic nerve, an extraocular muscle, a crystalline lens, a corneal apex, an orbit apex, a lacrimal gland, or a vitreous.
  • the classification result generated in the structure classification step (S920) may be input to the second deep learning model to generate an estimation result as to whether a lesion has occurred in the orbital structure.
  • the lesion may be a fracture, an inflammatory disease, or a tumor.
  • the classification result generated in the structure classification step (S920) is input to the third deep learning model to determine the location and type of the lesion generated in the orbital structure. prediction results can be generated.
  • the output step S950 may output the above-described estimation result and prediction result.
  • the first deep learning model, the second deep learning model, and the third deep learning model described above are synthetic medical images generated based on a sample medical image, biopsy information corresponding to the sample medical image, and sample medical image and biopsy information. It may be learned based on one or more of the images.
  • the preprocessing data for learning the above-described first deep learning model, second deep learning model, and third deep learning model may be generated by preprocessing the above-described sample medical image and biopsy information.
  • the preprocessing data may include masking data obtained by adding masking information on a structure located in the orbit to the sample medical image.
  • the preprocessing data may include encoded data encoded based on a mapping table in which tissue examination information is set.
  • the aforementioned synthetic medical image may be generated based on the aforementioned pre-processing data.
  • the synthetic medical image is generated by inputting preprocessing data into the fourth deep learning model when the number of sample medical images with lesions compared to the number of sample medical images with no lesions among the aforementioned sample medical images is less than or equal to a set threshold ratio.
  • the above-described orbital and perorbital lesion predicting method 900 may be executed by the orbital and perorbital lesion predicting apparatus 100 described with reference to FIGS. 1, 4 or 6 .
  • the orbital and peripheral lesion prediction apparatus 100 and the orbital and peripheral lesion prediction method 900 described in the embodiments of the present invention apply artificial intelligence, particularly deep learning, to enable rapid decision-making of medical staff.
  • artificial intelligence particularly deep learning
  • can support By applying artificial intelligence to medical images acquired from various imaging devices, it will be possible to provide high-accuracy analysis results to medical staff, helping them to quickly and accurately predict the location and type of lesions around the patient's orbit. It is expected.
  • the location and type of the lesion occurring at a location where a biopsy is impossible can be predicted.
  • a deep learning model such as the above-described first deep learning model (MDL_1), second deep learning model (MDL_2), third deep learning model (MDL_3), and fourth deep learning model (MDL_4) is an artificial neural network may be a model in which the . That is, the deep learning model automatically learns features of the input value by learning a large amount of data from a deep neural network consisting of a multi-layered network, and through this, the error in the objective function, that is, the prediction accuracy, is eliminated. It is a type of model that trains the network to minimize it.
  • the deep learning model may be a Convolutional Neural Network (CNN), Deep Hierachical Network (DHN), Convolutional Deep Belief Network (CDBN), Deconvolutional Deep Network (DDN), Recurrent Neural Network (RNN), Generative Adversarial Network (GAN), etc.
  • CNN Convolutional Neural Network
  • DDN Deep Deep Belief Network
  • DDN Deconvolutional Deep Network
  • RNN Recurrent Neural Network
  • GAN Generative Adversarial Network
  • the present invention is not limited thereto, and various deep learning models that can be used now or in the future can be used.
  • Deep learning models can be implemented through deep learning frameworks.
  • the deep learning framework provides functions commonly used when developing a deep learning model in the form of a library and plays a role in supporting the good use of system software or hardware platforms.
  • the deep learning model may be implemented using any deep learning framework that is currently public or will be released in the future.
  • the orbital and peripheral orbital lesion prediction apparatus 100 may be implemented by a computing device including at least some of a processor, a memory, a user input device, and a presentation device.
  • a memory is a medium that stores computer-readable software, applications, program modules, routines, instructions, and/or data, etc. coded to perform specific tasks when executed by a processor.
  • the processor can read and execute computer-readable software, applications, program modules, routines, instructions, and/or data stored in the memory, and the like.
  • the user input device may be a means for allowing the user to input a command to the processor to execute a specific task or to input data required for the execution of the specific task.
  • the user input device may include a physical or virtual keyboard or keypad, key button, mouse, joystick, trackball, touch-sensitive input means, or a microphone.
  • the presentation device may include a display, a printer, a speaker, or a vibrator.
  • Computing devices may include various devices such as smartphones, tablets, laptops, desktops, servers, clients, and the like.
  • the computing device may be a single stand-alone device, or may include a plurality of computing devices operating in a distributed environment comprising a plurality of computing devices cooperating with each other through a communication network.
  • the above-described orbital and peripheral lesion prediction method includes a processor, and when executed by the processor, computer-readable software, applications, program modules, routines coded to perform an imaging method using a deep learning model , instructions, and/or data structures may be executed by a computing device having a memory.
  • the above-described embodiments may be implemented through various means.
  • the present embodiments may be implemented by hardware, firmware, software, or a combination thereof.
  • the image diagnosis method using the deep learning model includes one or more ASICs (Application Specific Integrated Circuits), DSPs (Digital Signal Processors), DSPDs (Digital Signal Processing Devices), It may be implemented by Programmable Logic Devices (PLDs), Field Programmable Gate Arrays (FPGAs), processors, controllers, microcontrollers or microprocessors, and the like.
  • ASICs Application Specific Integrated Circuits
  • DSPs Digital Signal Processors
  • DSPDs Digital Signal Processing Devices
  • PLDs Programmable Logic Devices
  • FPGAs Field Programmable Gate Arrays
  • processors controllers, microcontrollers or microprocessors, and the like.
  • the orbital and peripheral orbital lesion prediction method according to the embodiments may be implemented using an artificial intelligence semiconductor device in which neurons and synapses of a deep neural network are implemented with semiconductor elements.
  • the semiconductor device may be a currently used semiconductor device, for example, SRAM, DRAM, NAND, or the like, or a next-generation semiconductor device, RRAM, STT MRAM, PRAM, or the like, or a combination thereof.
  • the result (weight) of learning the deep learning model with software is transferred to a synaptic mimic device arranged in an array, or an artificial intelligence semiconductor device You can also study at
  • the orbital and periorbital lesion prediction method may be implemented in the form of an apparatus, procedure, or function that performs the functions or operations described above.
  • the software code may be stored in the memory unit and driven by the processor.
  • the memory unit may be located inside or outside the processor, and may transmit and receive data to and from the processor by various known means.
  • terms such as “system”, “processor”, “controller”, “component”, “module”, “interface”, “model”, or “unit” generally refer to computer-related entities hardware, hardware and software. may mean a combination of, software, or running software.
  • the aforementioned component may be, but is not limited to, a process run by a processor, a processor, a controller, a controlling processor, an object, a thread of execution, a program, and/or a computer.
  • an application running on a controller or processor and a controller or processor can be a component.
  • One or more components may reside within a process and/or thread of execution, and the components may be located on one device (eg, a system, computing device, etc.) or distributed across two or more devices.
  • another embodiment provides a computer program stored in a computer recording medium for performing the method of predicting orbital and peripheral lesions described above.
  • another embodiment provides a computer-readable recording medium in which a program for realizing the above-described orbital and peripheral lesion prediction method is recorded.
  • the program recorded on the recording medium can be read by a computer, installed, and executed to execute the above-described steps.
  • the above-described program is C, C++ that the computer's processor (CPU) can read through the computer's device interface (Interface).
  • JAVA, python, R may include code coded in a computer language such as machine language.
  • Such code may include a function code related to a function defining the above-mentioned functions, etc., and may include an execution procedure related control code necessary for the processor of the computer to execute the above-mentioned functions according to a predetermined procedure.
  • this code may further include additional information necessary for the processor of the computer to execute the above-described functions or code related to memory reference for which location (address address) in the internal or external memory of the computer should be referenced. .
  • the code is transmitted by the computer's processor to any remote location using the computer's communication module. It may further include a communication-related code for how to communicate with other computers or servers, and what information or media to transmit and receive during communication.
  • the computer-readable recording medium in which the program as described above is recorded is, for example, ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical media storage device, etc., and also carrier wave (eg, , transmission over the Internet) may be implemented in the form of.
  • the computer-readable recording medium is distributed in a computer system connected to a network, so that the computer-readable code can be stored and executed in a distributed manner.
  • the orbital and peripheral orbital lesion prediction method described with reference to FIG. 10 may also be implemented in the form of a recording medium including instructions executable by a computer, such as an application or program module executed by a computer.
  • Computer-readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. Also, computer-readable media may include all computer storage media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.
  • the orbital and surrounding orbital lesion prediction method described above may be executed by an application basically installed in the terminal (which may include a program included in a platform or operating system basically installed in the terminal), and the user may use an application store server, It may be executed by an application (ie, a program) installed directly on the master terminal through an application providing server such as an application or a web server related to the corresponding service.
  • an application ie, program
  • the above-described orbital and orbital lesion prediction method is implemented as an application (ie, program) installed by default in the terminal or directly installed by the user, and may be recorded on a computer-readable recording medium such as a terminal. .

Abstract

본 명세서는 환자의 두개골을 촬영한 타깃 의료 영상을 입력받아, 타깃 의료 영상을 제1 딥 러닝 모델에 입력하여 환자의 안와 구조물에 대한 분류 결과를 생성하고, 분류 결과를 제2 딥 러닝 모델에 입력하여 안와 구조물에 병변이 발생했는지 여부에 대한 추정 결과를 생성하고, 추정 결과에 따라 분류 결과를 제3 딥 러닝 모델에 입력하여 안와 구조물에 발생한 병변의 위치 및 종류에 대한 예측 결과를 생성하고, 추정 결과 및 예측 결과를 출력하고, 샘플 의료 영상, 샘플 의료 영상에 대응하는 조직 검사 정보 및 샘플 의료 영상 및 조직 검사 정보를 기초로 생성된 합성 의료 영상 중 하나 이상을 기초로 하여 제1 딥 러닝 모델, 제2 딥 러닝 모델 및 제3 딥 러닝 모델을 학습하는 안와 및 안와주변 병변 예측 장치 및 예측 방법을 개시한다.

Description

안와 및 안와주변 병변 예측 장치 및 그 예측 방법
본 발명은 안와 및 안와주변 병변 예측 장치 및 그 예측 방법을 제공한다.
안와는 안구를 둘러싼 주변부를 지칭하며 안와에는 다양한 구조물이 존재한다. 환자의 안와에 발생하는 병변은 발생률이 높지는 않지만, 만약 발생할 경우에는 환자에게 매우 치명적일 수 있다. 예를 들어, 환자의 안와에 발생한 병변 중 악성 (malignant) 종양은 사망률이 매우 높다(e.g. 안와림프종의 경우 26.4%, 눈물샘암의 경우 38.5%). 또한 양성(benign) 종양인 경우에도 종양이 시신경을 압박하여 환자가 실명하거나(비가역적 손상 실명률 90%) 또는 종양이 외안근을 침범하여 복시 등을 유발할 가능성이 높다.
환자의 안와에 발생한 병변은 확진이 빠르게 된다면 병변에 따른 적절한 치료(양성 종양의 경우 경과 관찰, 수술, 약물 치료/악성 종양의 경우 항암제, 수술, 방사선 치료)가 가능하나, 치료 기간이 6개월에서 1년 이상 지연되는 경우가 자주 발생한다. 안와에 발생한 병변, 특히 염증성 안와 및 안와주변 병변(가성 종양)의 경우 조직 검사가 필수적인데, 안와의 앞쪽에 발생할 경우에는 접근성이 좋아 조직 검사가 가능하나, 구후부(retrobulbar space) 혹은 안와 첨부(orbital apex)에 발생할 경우에는 조직 검사 접근성이 떨어지고 또한 안와는 좁은 공간에 안구를 포함한 주요 구조물들이 밀집해 있어 조직 검사 자체가 위험하기 때문이다. 이런 이유로 조직 검사가 불가능한 위치에 발생한 안와의 병변에 대해서는 감별 진단(유사한 특징의 질병을 비교 검토하여 병명을 판정하는 진단법)을 실시하지만 초기 확진이 어려워 치료 기간이 길어질 가능성이 높다.
실시예들은, 환자의 안와에 발생한 병변의 위치 및 종류를 빠르고 정확하게 예측할 수 있는 안와 및 안와주변 병변 예측 장치 및 그 예측 방법을 제공한다.
또한, 실시예들은, 조직 검사가 불가능한 위치에 발생한 병변의 위치 및 종류를 예측할 수 있는 안와 및 안와주변 병변 예측 장치 및 그 예측 방법을 제공한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
본 명세서는 환자의 두개골을 촬영한 타깃 의료 영상을 입력받아, 타깃 의료 영상을 제1 딥 러닝 모델에 입력하여 환자의 안와 구조물에 대한 분류 결과를 생성하고, 분류 결과를 제2 딥 러닝 모델에 입력하여 안와 구조물에 병변이 발생했는지 여부에 대한 추정 결과를 생성하고, 추정 결과에 따라 분류 결과를 제3 딥 러닝 모델에 입력하여 안와 구조물에 발생한 병변의 위치 및 종류에 대한 예측 결과를 생성하고, 추정 결과 및 예측 결과를 출력하고, 샘플 의료 영상, 샘플 의료 영상에 대응하는 조직 검사 정보 및 샘플 의료 영상 및 조직 검사 정보를 기초로 생성된 합성 의료 영상 중 하나 이상을 기초로 하여 제1 딥 러닝 모델, 제2 딥 러닝 모델 및 제3 딥 러닝 모델을 학습하는 안와 및 안와주변 병변 예측 장치 및 예측 방법을 개시한다.
일 실시예는 환자의 두개골을 촬영한 타깃 의료 영상을 입력받는 입력부; 타깃 의료 영상을 제1 딥 러닝 모델에 입력하여 환자의 안와 구조물에 대한 분류 결과를 생성하는 구조물 분류부; 분류 결과를 제2 딥 러닝 모델에 입력하여 안와 구조물에 병변이 발생했는지 여부에 대한 추정 결과를 생성하는 추정부; 추정 결과에 따라, 분류 결과를 제3 딥 러닝 모델에 입력하여 안와 구조물에 발생한 병변의 위치 및 종류에 대한 예측 결과를 생성하는 병변 예측부; 추정 결과 및 예측 결과를 출력하는 출력부; 및 샘플 의료 영상, 샘플 의료 영상에 대응하는 조직 검사 정보 및 샘플 의료 영상 및 조직 검사 정보를 기초로 생성된 합성 의료 영상 중 하나 이상을 기초로 하여 제1 딥 러닝 모델, 제2 딥 러닝 모델 및 제3 딥 러닝 모델을 학습하는 모델 학습부를 포함하는 안와 및 안와주변 병변 예측 장치를 제공한다.
다른 실시예는, 환자의 두개골을 촬영한 타깃 의료 영상을 입력받는 입력 단계; 타깃 의료 영상을 제1 딥 러닝 모델에 입력하여 환자의 안와 구조물에 대한 분류 결과를 생성하는 구조물 분류 단계; 분류 결과를 제2 딥 러닝 모델에 입력하여 안와 구조물에 병변이 발생했는지 여부에 대한 추정 결과를 생성하는 추정 단계; 추정 결과에 따라, 분류 결과를 제3 딥 러닝 모델에 입력하여 안와 구조물에 발생한 병변의 위치 및 종류에 대한 예측 결과를 생성하는 병변 예측 단계; 및 추정 결과 및 예측 결과를 출력하는 출력 단계를 포함하고, 제1 딥 러닝 모델, 제2 딥 러닝 모델 및 제3 딥 러닝 모델은 샘플 의료 영상, 샘플 의료 영상에 대응하는 조직 검사 정보 및 샘플 의료 영상 및 조직 검사 정보를 기초로 생성된 합성 의료 영상 중 하나 이상을 기초로 하여 학습되는 안와 및 안와주변 병변 예측 방법을 제공한다.
실시예들에 따른 안와 및 안와주변 병변 예측 장치 및 예측 방법에 의하면, 환자의 안와 주변에 발생한 병변의 위치 및 종류를 빠르고 정확하게 예측할 수 있다.
또한, 실시예들에 따른 안와 및 안와주변 병변 예측 장치 및 예측 방법에 의하면, 조직 검사가 불가능한 위치에 발생한 병변의 위치 및 종류를 예측할 수 있다.
도 1은 안와 및 안와주변 병변 예측 장치의 일 예를 나타낸 블럭도이다.
도 2는 타깃 의료 영상의 일 예를 나타낸 도면이다.
도 3은 타깃 의료 영상에서 안와 구조물에 대한 분류 결과의 일 예를 나타낸 도면이다.
도 4는 안와 및 안와주변 병변 예측 장치의 다른 예를 나타낸 블럭도이다.
도 5는 전처리 데이터를 생성하는 일 예를 나타낸 도면이다.
도 6은 안와 및 안와주변 병변 예측 장치의 다른 예를 나타낸 블럭도이다.
도 7은 합성 의료 영상 생성 여부를 결정하는 동작의 일 예를 나타낸 흐름도이다.
도 8은 합성 의료 영상을 생성하는 일 예를 나타낸 도면이다.
도 9는 안와 및 안와주변 병변 예측 방법의 일 예를 나타낸 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는"직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본 발명의 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1개의 유닛이 2개 이상의 하드웨어를 이용하여 실현되어도 되고, 2개 이상의 유닛이 1개의 하드웨어에 의해 실현되어도 된다.
본 명세서에 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다.
본 명세서에서 있어서, 단말과 매핑(Mapping) 또는 매칭(Matching)으로 기술된 동작이나 기능 중 일부는, 단말의 식별 정보(Identifying Data)인 단말기의 고유번호나 개인의 식별정보를 매핑 또는 매칭한다는 의미로 해석될 수 있다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 안와 및 안와주변 병변 예측 장치의 일 예를 나타낸 블럭도이다.
도 1을 참조하면, 안와 및 안와주변 병변 예측 장치(100)는 입력부(110), 구조물 분류부(120), 추정부(130), 병변 예측부(140), 출력부(150) 및 모델 학습부(160)를 포함할 수 있다.
입력부(110)는 환자의 두개골을 촬영한 타깃 의료 영상을 입력받을 수 있다. 타깃 의료 영상은 X-ray 장치, 초음파 장치, CT, MRI 등의 영상 진단 기기를 이용하여 환자의 두개골을 전면(얼굴 방향), 측면(귀 방향) 또는 상부(정수리 방향)에서 촬영한 영상일 수 있다.
이때, 타깃 의료 영상은 일 예로 CT 영상 또는 MRI 영상일 수 있다. CT 영상 또는 MRI 영상은 안와 구조물 및 안와 구조물에 발생한 다양한 종류의 병변을 나타낼 수 있다. CT 또는 MRI는 안와의 구조물에 비정상적인 요소가 안와 공간을 차지하고 있는 것을 인지할 수 있으며, X선이 반사/흡수되는 정도, 공명 신호 강도 등을 기초로 하여 안와의 구조물에 발생한 병변(e.g. 종양)을 인지할 수 있기 때문이다. 타깃 의료 영상의 구체적인 예는 이하 도 2에서 자세히 설명한다.
구조물 분류부(120)는 입력부(110)에서 입력받은 타깃 의료 영상을 제1 딥 러닝 모델(MDL_1)에 입력하여 환자의 안와에 위치하는 구조물, 즉 안와 구조물에 대한 분류 결과를 생성할 수 있다.
이때, 안와 구조물은 하나 이상일 수 있으며, 각 구조물은 안와벽(orbital walls), 안와벽의 구멍(fissures, canals), 안와골막(periorbita), 시신경(optic nerve), 외안근(extraocular muscle), 안와지방(orbital fat), 신경(nerve), 혈관(vasculature), 찐씨공통힘줄고리(annulus of Zinn), 안구내 조직(intraorbital tissue), 수정체(crystalline lens), 각막 정점(corneal apex), 안와 정점(orbit apex), 눈물샘(lacrimal gland) 또는 유리체(vitreous)인 안와병변과 비강 및 부비동(nasal and paranasal sinus)의 안와주변 병변일 수 있다. 구조물 분류부(120)는 안와 구조물 중에서 병변을 탐색하고자 하는 특정한 안와 구조물에 대한 분류 결과를 생성할 수 있다.
이때, 제1 딥 러닝 모델(MDL_1)은 타깃 의료 영상을 입력받아 안와 구조물에 대한 검출(detection) 및 분할(segmentation)을 수행하는 객체 검출 & 분할(Object Detection & Segmentation) 모델일 수 있다.
안와 구조물에 대한 분류 결과는 타깃 의료 영상에서 안와 구조물에 대응하는 영역이 어디인지에 대한 정보를 지시할 수 있다. 예를 들어 안와에 위치하는 구조물에 대한 분류 결과는 타깃 의료 영상에서 어느 부분이 시신경에 해당하고, 어느 부분이 외안근에 해당하는 구조물인지 등의 정보를 타깃 의료 영상 중 특정 영역을 마스킹하는 방식 등을 통해 지시할 수 있다.
추정부(130)는 구조물 분류부(120)에서 생성된 분류 결과를 제2 딥 러닝 모델(MDL_2)에 입력하여 환자의 안와에 위치하는 구조물에 병변이 발생했는지 여부에 대한 추정 결과를 생성할 수 있다.
이때, 안와에 위치하는 구조물에 발생한 병변은 골절, 염증성 질환 또는 종양(악성/양성)등일 수 있다.
제2 딥 러닝 모델(MDL_2)은 안와에 위치하는 구조물의 크기/모양을 기반으로 병변을 탐지하는 객체 검출(Object Detection) 모델일 수 있다.
추정부(130)에서 생성하는 추정 결과는 안와 구조물이 정상, 즉 병변이 미발생하였는지 또는 비정상, 즉 병변이 발생하였는지 여부에 대해 추정한 결과를 지시할 수 있다. 예를 들어 추정부(130)는 안와에 위치하는 특정 구조물(e.g. 외안근)에 특정한 병변(e.g. 악성 종양)이 발생하였는지 여부에 대해 추정한 결과를 확률값(e.g. 80%/90%)으로 지시할 수 있다.
병변 예측부(140)는 추정부(130)에서 생성한 추정 결과에 따라, 구조물 분류부(120)에서 생성한 안와 구조물에 대한 분류 결과를 제3 딥 러닝 모델(MDL_3)에 입력하여, 안와 구조물에 발생한 병변의 위치 및 종류에 대한 예측 결과를 생성할 수 있다. 일 예로 병변의 종류에 대한 예측 결과는 갑상선 안질환의 유무, 골절/염증/종양인지 여부, 종양의 경우 악성인지 양성인지 여부, 악성 종양일 경우 종양의 타입을 예측한 결과일 수 있다.
제3 딥 러닝 모델(MDL_3)은 안와 구조물이 촬영된 영상을 입력받아 병변에 해당하는 부분을 분할하고 병변의 종류를 분류하는 모델일 수 있다.
일 예로, 만약 추정 결과가 안와 구조물에 병변이 미발생하였다는 것을 지시하는 경우에는 병변의 위치 및 종류를 예측할 필요가 없으므로, 병변 예측부(140)는 안와 구조물에 발생한 병변의 위치 및 종류를 예측하지 않는다.
반면, 추정 결과가 안와 구조물에 병변이 발생하였다는 것을 지시하는 경우에는 병변 예측부(140)는 안와에 위치하는 구조물에 발생한 병변의 위치 및 종류를 제3 딥 러닝 모델(MDL_3)을 이용하여 예측한다.
예를 들어, 예측 결과는 안와에 위치하는 특정 구조물(e.g. 외안근)에 특정한 종류(타입)의 종양(악성)이 있을 확률값(e.g. 80%/90%)일 수 있다.
출력부(150)는 추정부(130)에서 생성한 추정 결과 및 병변 예측부(140)에서 생성한 예측 결과 중 하나 이상을 출력할 수 있다. 출력부(150)는 의료진과 환자에게 추정 결과 및 예측 결과를 이해하기 쉽도록 텍스트, 이미지 등으로 시각화하여 제공할 수 있다.
예를 들어 출력부(150)는 추정 결과 안와 구조물이 정상(즉, 병변이 미발생)일 경우 정상임을 나타내는 정보를 출력할 수 있다. 다른 예로 출력부(150)는 추정 결과 안와 구조물이 비정상(즉, 병변이 발생)일 경우 비정상임을 나타내는 정보 및 구조물에 발생한 병변의 위치 및 종류를 출력할 수 있다.
한편, 출력부(150)는 정보를 표시할 수 있는 디스플레이 장치(e.g. 스마트폰, 태블릿, 모니터, TV, LED)로 추정 결과 및 예측 결과를 출력할 수 있다.모델 학습부(160)는 샘플 의료 영상, 샘플 의료 영상에 대응하는 조직 검사 정보 및 샘플 의료 영상과 조직 검사 정보를 기초로 생성된 합성 의료 영상 중 하나 이상을 기초로 하여, 전술한 제1 딥 러닝 모델(MDL_1), 제2 딥 러닝 모델(MDL_2) 및 제3 딥 러닝 모델(MDL_3)에 대한 학습을 수행할 수 있다.
이때, 샘플 의료 영상, 조직 검사 정보는 안와 및 안와주변 병변 예측 장치(100)의 외부에 위치하는 저장 장치(10)에 저장될 수 있다. 저장 장치(10)는 일 예로 안와 및 안와주변 병변 예측 장치(100)의 외부에 위치할 수 있으며, 데이터베이스를 구축한 PC, 서버, 의료 정보 시스템 등일 수 있다.
한편, 저장 장치(10)는 전술한 샘플 의료 영상, 조직 검사 정보뿐 아니라 전술한 제1 딥 러닝 모델(MDL_1), 제2 딥 러닝 모델(MDL_2), 제3 딥 러닝 모델(MDL_3)을 추가로 저장할 수도 있다. 이 경우 안와 및 안와주변 병변 예측 장치(100)는 저장 장치(10)에 저장된 제1 딥 러닝 모델(MDL_1), 제2 딥 러닝 모델(MDL_2), 제3 딥 러닝 모델(MDL_3)을 로드할 수 있고, 학습이 수행되어 업데이트된 제1 딥 러닝 모델(MDL_1), 제2 딥 러닝 모델(MDL_2), 제3 딥 러닝 모델(MDL_3)을 다시 저장 장치(10)에 라이트(write)할 수 있다.
샘플 의료 영상은 타깃 의료 영상과 마찬가지로 다양한 환자의 두개골을 전면, 측면, 상부에서 기 촬영한 CT 영상 또는 MRI 영상일 수 있다.
샘플 의료 영상에 대응하는 조직 검사 정보는 대응하는 샘플 의료 영상이 촬영된 안와 구조물에 대한 조직 검사(즉, 구조물을 구성하는 세포를 현미경을 통해 확인하는 검사)를 수행한 결과를 지시할 수 있다. 일 예로 조직 검사 정보는 안와 구조물(e.g. 외안근)에 종양이 발생하였는지 여부, 종양이 악성인지 양성인지 여부, 종양의 타입에 대한 정보를 지시할 수 있다.
샘플 의료 영상과 이에 대응하는 조직 검사 정보는 연관성이 존재하고, 안와에 위치한 구조물에 발생한 병변, 특히 종양은 위치에 관계없이 조직 소견에 따른 형태학적 유사성이 존재한다. 합성 의료 영상은 샘플 의료 영상을 기초로 생성되며, 특정한 조건일 때 생성될 수 있다. 이하 도 7 내지 도 8에서 합성 의료 영상을 생성하는 조건 및 그 방법에 대해 구체적으로 설명한다.
도 2는 타깃 의료 영상의 일 예를 나타낸 도면이다.
도 1에서 전술한 바와 같이, 타깃 의료 영상은 CT 영상 또는 MRI 영상일 수 있다.
도 2의 a는 내분비 안와 병증(endocrine orbitopathy)인 그레이브스 병이 있는 환자의 두개골을 촬영한 CT 영상이다. 그리고 도 2의 b는 좌안에 구후 해면 혈관종(retrobulbar cavernous hemangioma)이 있는 환자의 두개골을 촬영한 CT 영상이다. 그리고 도 2의 c는 우안의 안와 정점(orbital apex)에 시신경초 수막종(optic sheath meningioma)이 있는 환자의 두개골을 촬영한 MRI 영상이다. 그리고 도 2의 d는 좌안의 안와 정점에 비호지킨 림프종(non-Hodgkin lymphoma, NHL)이 있는 환자의 두개골을 촬영한 CT 영상이다.
도 3은 타깃 의료 영상에서 안와 구조물에 대한 분류 결과의 일 예를 나타낸 도면이다.
도 3을 참조하면, 구조물 분류부(120)는 타깃 의료 영상 a, b로부터 안와에 위치하는 각막 정점(corneal apex), 수정체(crystalline lens), 유리체(vitreous), 외안근(extraocular muscle), 시신경(optic nerve), 안와 정점(orbit apex) 등의 안와 구조물을 분류하고, 각 안와 구조물을 마스킹할 수 있다.
도 4는 안와 및 안와주변 병변 예측 장치의 다른 예를 나타낸 블럭도이다.
도 4를 참조하면, 안와 및 안와주변 병변 예측 장치(100)는 도 1에서 전술한 입력부(110), 구조물 분류부(120), 추정부(130), 병변 예측부(140), 출력부(150) 및 모델 학습부(160) 이외에 전처리부(170)를 추가로 포함할 수 있다.
전처리부(170)는 샘플 의료 영상 및 조직 검사 정보를 기초로 도 1에서 전술한 제1 딥 러닝 모델(MDL_1), 제2 딥 러닝 모델(MDL_2) 및 제3 딥 러닝 모델(MDL_3)을 학습하기 위하여 사용되는 전처리 데이터를 생성할 수 있다.
도 5는 전처리 데이터를 생성하는 일 예를 나타낸 도면이다.
도 5를 참조하면, 전처리부(170)는 샘플 의료 영상에 안와에 위치하는 구조물에 대한 마스킹 정보를 추가할 수 있다. 이때, 마스킹 정보는 자동화된 도구에 의해 추가되거나 또는 의료진이 직접 수작업으로 추가할 수 있다.
그리고 전처리부(170)는 조직 검사 정보를 설정된 매핑 테이블을 기초로 인코딩할 수 있다.
전처리부(170)는 샘플 의료 영상에 전술한 마스킹 정보를 추가한 마스킹 데이터 또는 조직 검사 정보를 인코딩한 인코딩 데이터를 포함하는 전처리 데이터를 생성할 수 있다.
한편, 전처리부(170)는 전술한 전처리 데이터를 생성하는 과정에서 환자의 개인 정보를 삭제하는 작업을 추가로 수행할 수 있다. 환자의 개인 정보를 삭제하는 과정은 자동화된 도구에 의해 수행될 수 있고, 의료진이 직접 수작업으로 수행할 수도 있다.
도 6은 안와 및 안와주변 병변 예측 장치의 다른 예를 나타낸 블럭도이다.
도 6을 참조하면, 안와 및 안와주변 병변 예측 장치(100)는 도 1 및 도 4에서 전술한 입력부(110), 구조물 분류부(120), 추정부(130), 병변 예측부(140), 출력부(150) 및 모델 학습부(160), 전처리부(170) 이외에 합성 의료 영상 생성부(180)를 추가로 포함할 수 있다.
합성 의료 영상 생성부(180)는 전처리부(170)에서 생성된 전처리 데이터를 기초로 하여 제1 딥 러닝 모델(MDL_1), 제2 딥 러닝 모델(MDL_2), 제3 딥 러닝 모델(MDL_3)을 학습하기 위한 합성 의료 영상을 생성할 수 있다.
이처럼 합성 의료 영상 생성부(180)에서 합성 의료 영상을 생성하는 이유는 딥 러닝 모델을 학습하는 과정에서 정상인 샘플 의료 영상, 즉 촬영된 안와 구조물에 병변이 미발생한 샘플 의료 영상의 개수와 비정상인 샘플 의료 영상, 즉 촬영된 안와 구조물에 병변이 발생한 샘플 의료 영상의 개수의 불균형으로 인해 딥 러닝 모델의 정확도가 낮아지는 문제를 방지하기 위함이다.
특히, 전술한 샘플 의료 영상 중에서는 비정상인 샘플 의료 영상의 수가 정상인 샘플 의료 영상의 수보다 현저히 적을 가능성이 높기 때문에, 샘플 의료 영상을 기초로 학습된 딥 러닝 모델은 비정상인 경우에 대한 예측 정확도가 낮을 가능성이 높다. 따라서, 합성 의료 영상 생성부(180)는 비정상인 샘플 의료 영상의 수가 정상인 샘플 의료 영상의 수보다 현저히 적을 경우 비정상인 합성 의료 영상, 즉 병변이 있는 구조물의 이미지를 포함하는 합성 의료 영상을 생성하여 딥 러닝 모델이 비정상인 경우에 대한 예측 정확도를 높일 수 있다. 또한, 합성 의료 영상 정보는 환자의 개인 정보를 포함하지 않기 때문에 개인정보보호법 상 개인정보 보호를 위한 조치를 취할 필요가 없다는 장점이 있다.
도 7은 합성 의료 영상 생성 여부를 결정하는 동작의 일 예를 나타낸 흐름도이다.
도 7을 참조하면, 합성 의료 영상 생성부(180)는 정상인 샘플 의료 영상의 개수, 즉 병변이 미발생한 안와 구조물이 촬영된 샘플 의료 영상의 개수 A를 계산할 수 있다(S710).
그리고 합성 의료 영상 생성부(180)는 비정상인 샘플 의료 영상의 개수, 즉 병변이 미발생한 안와 구조물이 촬영된 샘플 의료 영상의 개수 B를 계산할 수 있다(S720). 한편, 도 7에서는 S720 단계가 S710 단계보다 이후에 실행되는 경우를 예로 들어 설명하였으나, S720 단계는 S710 단계보다 이전에 실행될 수도 있고 동시에 실행될 수도 있다.
합성 의료 영상 생성부(180)는 정상인 샘플 의료 영상의 개수 대비 비정상인 샘플 의료 영상의 개수의 비율, 즉 (B/A)가 설정된 임계 비율(THR) 이하인지 판단한다(S730). 이때, 임계 비율(THR)의 값은 일 예로 학습된 제1 딥 러닝 모델(MDL_1), 제2 딥 러닝 모델(MDL_2) 및 제3 딥 러닝 모델(MDL_3)의 정확도를 기초로 하여 결정될 수 있다. 일 예로 임계 비율(THR)의 값은 1/50, 1/20일 수 있다.
만약 (B/A)가 설정된 임계 비율(THR) 이하이면(S730-Y), 이는 정상인 샘플 의료 영상 대비 비정상인 샘플 의료 영상의 개수가 현저히 적다는 것을 의미한다. 따라서, 합성 의료 영상 생성부(180)는 샘플 의료 영상을 기초로 합성 의료 영상을 생성할 수 있다(S740).
반면, (B/A)가 설정된 임계 비율(THR)을 초과하면(S730-N), 이는 정상인 샘플 의료 영상 대비 비정상인 샘플 의료 영상의 개수가 충분하다는 것을 의미한다. 따라서, 합성 의료 영상 생성부(180)는 합성 의료 영상을 미생성할 수 있다(S750).
도 8은 합성 의료 영상을 생성하는 일 예를 나타낸 도면이다.
합성 의료 영상 생성부(180)는 전처리 데이터에 포함된 비정상인 샘플 의료 영상으로부터 병변이 발생한 영역을 크롭핑(cropping)하여 학습 데이터를 생성할 수 있다. 전처리 데이터에 포함된 샘플 의료 영상이 비정상인지 여부는 샘플 의료 영상에 대응하는 조직 검사 정보를 통해 확인할 수 있다.
이때, 크롭핑되는 영역은 전술한 제1 딥 러닝 모델(MDL_1)에 의해 선택될 수 있다.
합성 의료 영상 생성부(180)는 크롭핑된 학습 데이터를 제4 딥 러닝 모델에 입력하여 크롭핑된 영역에 대응되는 합성 데이터를 생성할 수 있다. 이때, 제4 딥 러닝 모델은 일 예로 GAN(Generative Adversarial Network) 모델일 수 있다.
합성 의료 영상 생성부(180)는 전술한 합성 데이터를 정상인 샘플 의료 영상에 삽입하여 합성 의료 영상을 생성할 수 있다. 이때, 합성 데이터가 삽입되는 정상인 샘플 의료 영상은 랜덤하게 선택될 수 있다.
도 9는 안와 및 안와주변 병변 예측 방법의 일 예를 나타낸 흐름도이다.
안와 및 안와주변 병변 예측 방법(900)은 입력 단계(S910), 구조물 분류 단계(S920), 추정 단계(S930), 병변 예측 단계(S940) 및 출력 단계(S950)를 포함할 수 있다.
입력 단계(S910)는 환자의 두개골을 촬영한 타깃 의료 영상을 입력받을 수 있다. 이때, 타깃 의료 영상은 CT 영상 또는 MRI 영상일 수 있다.
구조물 분류 단계(S920)는 입력 단계(S910)에서 입력받은 타깃 의료 영상을 제1 딥 러닝 모델에 입력하여 안와 구조물에 대한 분류 결과를 생성할 수 있다. 이때, 일 예로 안와 구조물은 시신경(optic nerve), 외안근(extraocular muscle), 수정체(crystalline lens), 각막 정점(corneal apex), 안와 정점(orbit apex), 눈물샘(lacrimal gland) 또는 유리체(vitreous)일 수 있다.
추정 단계(S930)는 구조물 분류 단계(S920)에서 생성된 분류 결과를 제2 딥 러닝 모델에 입력하여 안와 구조물에 병변이 발생했는지 여부에 대한 추정 결과를 생성할 수 있다. 이때, 병변은 골절, 염증성 질환 또는 종양일 수 있다.
병변 예측 단계(S940)는 추정 단계(S930)에서 생성된 추정 결과에 따라, 구조물 분류 단계(S920)에서 생성된 분류 결과를 제3 딥 러닝 모델에 입력하여 안와 구조물에 발생한 병변의 위치 및 종류에 대한 예측 결과를 생성할 수 있다.
그리고 출력 단계(S950)는 전술한 추정 결과 및 예측 결과를 출력할 수 있다.
한편, 전술한 제1 딥 러닝 모델, 제2 딥 러닝 모델 및 제3 딥 러닝 모델은 샘플 의료 영상, 샘플 의료 영상에 대응하는 조직 검사 정보 및 샘플 의료 영상 및 조직 검사 정보를 기초로 생성된 합성 의료 영상 중 하나 이상을 기초로 학습될 수 있다.
전술한 제1 딥 러닝 모델, 제2 딥 러닝 모델, 제3 딥 러닝 모델을 학습하기 위한 전처리 데이터는 전술한 샘플 의료 영상 및 조직 검사 정보를 전처리하여 생성될 수 있다. 일 예로 전처리 데이터는 샘플 의료 영상에 안와에 위치한 구조물에 대한 마스킹 정보를 추가한 마스킹 데이터를 포함할 수 있다. 다른 예로 전처리 데이터는 조직 검사 정보가 설정된 매핑 테이블을 기초로 인코딩된 인코딩 데이터를 포함할 수 있다.
전술한 합성 의료 영상은 전술한 전처리 데이터를 기초로 생성될 수 있다. 일 예로 합성 의료 영상은 전술한 샘플 의료 영상 중 병변이 미발생한 샘플 의료 영상의 개수 대비 병변이 발생한 샘플 의료 영상의 개수가 설정된 임계 비율 이하일 때, 전처리 데이터를 제4 딥 러닝 모델에 입력하여 생성될 수 있다.
한편 전술한 안와 및 안와주변 병변 예측 방법(900)은 도 1, 도 4 또는 도 6을 통해 설명한 안와 및 안와주변 병변 예측 장치(100)에 의해 실행될 수 있다.
본 발명의 실시예들에서 설명하는 안와 및 안와주변 병변 예측 장치(100) 및 안와 및 안와주변 병변 예측 방법(900)은 인공 지능, 특히 딥 러닝(deep learning)을 적용하여 의료진의 빠른 의사 결정을 지원할 수 있다. 다양한 영상 진단 기기들로부터 획득한 의료 영상에 인공 지능을 적용함으로써, 의료진에게 정확도가 높은 분석 결과를 제공하여 환자의 안와 주변에 발생한 병변의 위치 및 종류를 빠르고 정확하게 예측하는 데 도움을 줄 수 있을 것으로 예상되고 있다. 또한, 타깃 의료 영상만으로 안와에 발생한 병변의 위치 및 종료를 예측함으로써, 조직 검사가 불가능한 위치에 발생한 병변의 위치 및 종류를 예측할 수 있다.
전술한 제1 딥 러닝 모델(MDL_1), 제2 딥 러닝 모델(MDL_2), 제3 딥 러닝 모델(MDL_3), 제4 딥 러닝 모델(MDL_4)과 같은 딥 러닝 모델(deep learning model)은 인공 신경망을 다층 레이어로 쌓은 형태의 모델일 수 있다. 즉, 딥 러닝 모델은 다층의 네트워크로 이루어진 심층 신경망(deep neural network)에서 다량의 데이터를 학습시킴으로서 입력값에 대한 특성(feature)을 자동으로 학습하고, 이를 통해 목적 함수, 즉 예측 정확도의 에러를 최소화하도록 네트워크를 학습시켜 나아가는 형태의 모델이다.
딥 러닝 모델은 CNN(Convolutional Neural Network), DHN(Deep Hierachical Network), CDBN(Convolutional Deep Belief Network), DDN(Deconvolutional Deep Network), RNN(Recurrent Neural Network), GAN(Generative Adversarial Network) 등일 수 있으며, 본 발명은 이에 제한되지 않고 현재 또는 장래에 사용될 수 있는 다양한 딥 러닝 모델을 이용할 수 있다.
딥 러닝 모델은 딥 러닝 프레임워크를 통해 구현될 수 있다. 딥 러닝 프레임워크는 딥 러닝 모델을 개발할 때 공통적으로 사용되는 기능들을 라이브러리 형태로 제공하고, 시스템 소프트웨어나 하드웨어 플랫폼을 잘 사용할 수 있도록 지원하는 역할을 한다. 본 실시예에서 딥 러닝 모델은 현재 공개되었거나 장래 공개될 어떠한 딥 러닝 프레임워크를 이용하여 구현될 수 있다.
전술한 안와 및 안와주변 병변 예측 장치(100)는, 프로세서, 메모리, 사용자 입력장치, 프레젠테이션 장치 중 적어도 일부를 포함하는 컴퓨팅 장치에 의해 구현될 수 있다. 메모리는, 프로세서에 의해 실행되면 특정 태스크를 수행할 있도록 코딩되어 있는 컴퓨터-판독가능 소프트웨어, 애플리케이션, 프로그램 모듈, 루틴, 인스트럭션(instructions), 및/또는 데이터 등을 저장하는 매체이다. 프로세서는 메모리에 저장되어 있는 컴퓨터-판독가능 소프트웨어, 애플리케이션, 프로그램 모듈, 루틴, 인스트럭션, 및/또는 데이터 등을 판독하여 실행할 수 있다. 사용자 입력장치는 사용자로 하여금 프로세서에게 특정 태스크를 실행하도록 하는 명령을 입력하거나 특정 태스크의 실행에 필요한 데이터를 입력하도록 하는 수단일 수 있다. 사용자 입력장치는 물리적인 또는 가상적인 키보드나 키패드, 키버튼, 마우스, 조이스틱, 트랙볼, 터치-민감형 입력수단, 또는 마이크로폰 등을 포함할 수 있다. 프레젠테이션 장치는 디스플레이, 프린터, 스피커, 또는 진동장치 등을 포함할 수 있다.
컴퓨팅 장치는 스마트폰, 태블릿, 랩탑, 데스크탑, 서버, 클라이언트 등의 다양한 장치를 포함할 수 있다. 컴퓨팅 장치는 하나의 단일한 스탠드-얼론 장치일 수도 있고, 통신망을 통해 서로 협력하는 다수의 컴퓨팅 장치들로 이루어진 분산형 환경에서 동작하는 다수의 컴퓨팅 장치를 포함할 수 있다.
또한 전술한 안와 및 안와주변 병변 예측 방법은, 프로세서를 구비하고, 또한 프로세서에 의해 실행되면 딥 러닝 모델을 활용한 영상 진단 방법을 수행할 수 있도록 코딩된 컴퓨터 판독가능 소프트웨어, 애플리케이션, 프로그램 모듈, 루틴, 인스트럭션, 및/또는 데이터 구조 등을 저장한 메모리를 구비하는 컴퓨팅 장치에 의해 실행될 수 있다.
상술한 본 실시예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 실시예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.
하드웨어에 의한 구현의 경우, 본 실시예들에 따른 딥 러닝 모델을 활용한 영상 진단 방법은 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로 컨트롤러 또는 마이크로 프로세서 등에 의해 구현될 수 있다.
예를 들어 실시예들에 따른 안와 및 안와주변 병변 예측 방법은 심층 신경망의 뉴런(neuron)과 시냅스(synapse)가 반도체 소자들로 구현된 인공지능 반도체 장치를 이용하여 구현될 수 있다. 이때 반도체 소자는 현재 사용하는 반도체 소자들, 예를 들어 SRAM이나 DRAM, NAND 등일 수도 있고, 차세대 반도체 소자들, RRAM이나 STT MRAM, PRAM 등일 수도 있고, 이들의 조합일 수도 있다.
실시예들에 따른 안와 및 안와주변 병변 예측 방법을 인공지능 반도체 장치를 이용하여 구현할 때, 딥 러닝 모델을 소프트웨어로 학습한 결과(가중치)를 어레이로 배치된 시냅스 모방소자에 전사하거나 인공지능 반도체 장치에서 학습을 진행할 수도 있다.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 실시예들에 따른 안와 및 안와주변 병변 예측 방법은 이상에서 설명된 기능 또는 동작들을 수행하는 장치, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 메모리 유닛은 상기 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 프로세서와 데이터를 주고 받을 수 있다.
또한, 위에서 설명한 "시스템", "프로세서", "컨트롤러", "컴포넌트", "모듈", "인터페이스", "모델", 또는 "유닛" 등의 용어는 일반적으로 컴퓨터 관련 엔티티 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어 또는 실행 중인 소프트웨어를 의미할 수 있다. 예를 들어, 전술한 구성요소는 프로세서에 의해서 구동되는 프로세스, 프로세서, 컨트롤러, 제어 프로세서, 개체, 실행 스레드, 프로그램 및/또는 컴퓨터일 수 있지만 이에 국한되지 않는다. 예를 들어, 컨트롤러 또는 프로세서에서 실행 중인 애플리케이션과 컨트롤러 또는 프로세서가 모두 구성 요소가 될 수 있다. 하나 이상의 구성 요소가 프로세스 및/또는 실행 스레드 내에 있을 수 있으며, 구성 요소들은 하나의 장치(예: 시스템, 컴퓨팅 디바이스 등)에 위치하거나 둘 이상의 장치에 분산되어 위치할 수 있다.
한편, 또 다른 실시예는 전술한 안와 및 안와주변 병변 예측 방법을 수행하는, 컴퓨터 기록매체에 저장되는 컴퓨터 프로그램을 제공한다. 또한 또 다른 실시예는 전술한 안와 및 안와주변 병변 예측 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
기록매체에 기록된 프로그램은 컴퓨터에서 읽히어 설치되고 실행됨으로써 전술한 단계들을 실행할 수 있다.
이와 같이, 컴퓨터가 기록매체에 기록된 프로그램을 읽어 들여 프로그램으로 구현된 기능들을 실행시키기 위하여, 전술한 프로그램은 컴퓨터의 프로세서(CPU)가 컴퓨터의 장치 인터페이스(Interface)를 통해 읽힐 수 있는 C, C++, JAVA, python, R, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다.
이러한 코드는 전술한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Function Code)를 포함할 수 있고, 전술한 기능들을 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수도 있다.
또한, 이러한 코드는 전술한 기능들을 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조 되어야 하는지에 대한 메모리 참조 관련 코드를 더 포함할 수 있다.
또한, 컴퓨터의 프로세서가 전술한 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 컴퓨터의 프로세서가 컴퓨터의 통신 모듈을 이용하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야만 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수도 있다.
이상에서 전술한 바와 같은 프로그램을 기록한 컴퓨터로 읽힐 수 있는 기록매체는, 일 예로, ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 미디어 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함할 수 있다.
또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
그리고, 본 발명을 구현하기 위한 기능적인(Functional) 프로그램과 이와 관련된 코드 및 코드 세그먼트 등은, 기록매체를 읽어서 프로그램을 실행시키는 컴퓨터의 시스템 환경 등을 고려하여, 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론되거나 변경될 수도 있다.
도 10를 통해 설명된 안와 및 안와주변 병변 예측 방법은, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 안와 및 안와주변 병변 예측 방법은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있다)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 안와 및 안와주변 병변 예측 방법은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기에 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
CROSS-REFERENCE TO RELATED APPLICATION
본 특허출원은 2020년 05월 13일 한국에 출원한 특허출원번호 제 10-2020-0057078호에 대해 미국 특허법 119(a)조 (35 U.S.C § 119(a))에 따라 우선권을 주장하며, 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다. 아울러, 본 특허출원은 미국 이외에 국가에 대해서도 위와 동일한 이유로 우선권을 주장하면 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다.

Claims (21)

  1. 환자의 두개골을 촬영한 타깃 의료 영상을 입력받는 입력부;
    상기 타깃 의료 영상을 제1 딥 러닝 모델에 입력하여 상기 환자의 안와 구조물에 대한 분류 결과를 생성하는 구조물 분류부;
    상기 분류 결과를 제2 딥 러닝 모델에 입력하여 상기 안와 구조물에 병변이 발생했는지 여부에 대한 추정 결과를 생성하는 추정부;
    상기 추정 결과에 따라, 상기 분류 결과를 제3 딥 러닝 모델에 입력하여 상기 안와 구조물에 발생한 병변의 위치 및 종류에 대한 예측 결과를 생성하는 병변 예측부;
    상기 추정 결과 및 예측 결과를 출력하는 출력부; 및
    샘플 의료 영상, 상기 샘플 의료 영상에 대응하는 조직 검사 정보 및 상기 샘플 의료 영상 및 조직 검사 정보를 기초로 생성된 합성 의료 영상 중 하나 이상을 기초로 하여 상기 제1 딥 러닝 모델, 제2 딥 러닝 모델 및 제3 딥 러닝 모델을 학습하는 모델 학습부를 포함하는 안와 및 안와주변 병변 예측 장치.
  2. 제1항에 있어서,
    상기 타깃 의료 영상은 CT 영상 또는 MRI 영상인 안와 및 안와주변 병변 예측 장치.
  3. 제1항에 있어서,
    상기 안와 구조물은 안와벽(orbital walls), 안와벽의 구멍(fissures, canals), 안와골막(periorbita), 시신경(optic nerve), 외안근(extraocular muscle), 안와지방(orbital fat), 신경(nerve), 혈관(vasculature), 찐씨공통힘줄고리(annulus of Zinn), 안구내 조직(intraorbital tissue), 수정체(crystalline lens), 각막 정점(corneal apex), 안와 정점(orbit apex), 눈물샘(lacrimal gland), 유리체(vitreous) 또는 비강 및 부비동(nasal and paranasal sinus)인 안와 및 안와주변 병변 예측 장치.
  4. 제1항에 있어서,
    상기 안와 구조물에 발생한 병변은 골절, 염증 또는 종양인 안와 및 안와주변 병변 예측 장치.
  5. 제1항에 있어서,
    상기 샘플 의료 영상 및 상기 조직 검사 정보를 기초로 상기 제1 딥 러닝 모델, 제2 딥 러닝 모델 및 제3 딥 러닝 모델을 학습하기 위한 전처리 데이터를 생성하는 전처리부를 추가로 포함하는 안와 및 안와주변 병변 예측 장치.
  6. 제5항에 있어서,
    상기 전처리부는,
    상기 샘플 의료 영상에 안와 주변의 구조물에 대한 마스킹 정보를 추가한 마스킹 데이터를 상기 전처리 데이터에 추가하는 안와 및 안와주변 병변 예측 장치.
  7. 제5항에 있어서,
    상기 전처리부는,
    상기 조직 검사 정보를 설정된 매핑 테이블을 기초로 인코딩한 인코딩 데이터를 상기 전처리 데이터에 추가하는 안와 및 안와주변 병변 예측 장치.
  8. 제5항에 있어서,
    상기 전처리 데이터를 기초로 상기 합성 의료 영상을 생성하는 합성 의료 영상 생성부를 추가로 포함하는 안와 및 안와주변 병변 예측 장치.
  9. 제8항에 있어서,
    상기 합성 의료 영상 생성부는,
    상기 샘플 의료 영상 중 병변이 미발생한 안와 구조물이 촬영된 샘플 의료 영상의 개수 대비 병변이 발생한 안와 구조물이 촬영된 샘플 의료 영상의 개수의 비율이 설정된 임계 비율 이하일 때, 상기 합성 의료 영상을 생성하는 안와 및 안와주변 병변 예측 장치.
  10. 제9항에 있어서,
    상기 합성 의료 영상 생성부는,
    상기 전처리 데이터를 제4 딥 러닝 모델에 입력하여 상기 합성 의료 영상을 생성하는 안와 및 안와주변 병변 예측 장치.
  11. 환자의 두개골을 촬영한 타깃 의료 영상을 입력받는 입력 단계;
    상기 타깃 의료 영상을 제1 딥 러닝 모델에 입력하여 상기 환자의 안와 구조물에 대한 분류 결과를 생성하는 구조물 분류 단계;
    상기 분류 결과를 제2 딥 러닝 모델에 입력하여 상기 안와 구조물에 병변이 발생했는지 여부에 대한 추정 결과를 생성하는 추정 단계;
    상기 추정 결과에 따라, 상기 분류 결과를 제3 딥 러닝 모델에 입력하여 상기 안와 구조물에 발생한 병변의 위치 및 종류에 대한 예측 결과를 생성하는 병변 예측 단계; 및
    상기 추정 결과 및 예측 결과를 출력하는 출력 단계를 포함하고,
    상기 제1 딥 러닝 모델, 제2 딥 러닝 모델 및 제3 딥 러닝 모델은 샘플 의료 영상, 상기 샘플 의료 영상에 대응하는 조직 검사 정보 및 상기 샘플 의료 영상 및 조직 검사 정보를 기초로 생성된 합성 의료 영상 중 하나 이상을 기초로 하여 학습되는 안와 및 안와주변 병변 예측 방법.
  12. 제11항에 있어서,
    상기 타깃 의료 영상은 CT 영상 또는 MRI 영상인 안와 및 안와주변 병변 예측 방법.
  13. 제11항에 있어서,
    상기 안와 구조물은 안와벽(orbital walls), 안와벽의 구멍(fissures, canals), 안와골막(periorbita), 시신경(optic nerve), 외안근(extraocular muscle), 안와지방(orbital fat), 신경(nerve), 혈관(vasculature), 찐씨공통힘줄고리(annulus of Zinn), 안구내 조직(intraorbital tissue), 수정체(crystalline lens), 각막 정점(corneal apex), 안와 정점(orbit apex), 눈물샘(lacrimal gland), 유리체(vitreous) 또는 비강 및 부비동(nasal and paranasal sinus)인 안와 및 안와주변 병변 예측 방법.
  14. 제11항에 있어서,
    상기 안와 구조물에 발생한 병변은 골절, 염증 또는 종양인 안와 및 안와주변 병변 예측 방법.
  15. 제11항에 있어서,
    상기 제1 딥 러닝 모델, 제2 딥 러닝 모델 및 제3 딥 러닝 모델을 학습하기 위한 전처리 데이터는 상기 샘플 의료 영상 및 상기 조직 검사 정보를 기초로 생성되는 안와 및 안와주변 병변 예측 방법.
  16. 제15항에 있어서,
    상기 전처리 데이터는,
    상기 샘플 의료 영상에 안와 주변의 구조물에 대한 마스킹 정보가 추가된 마스킹 데이터를 포함하는 안와 및 안와주변 병변 예측 방법.
  17. 제15항에 있어서,
    상기 전처리 데이터는,
    상기 조직 검사 정보를 설정된 매핑 테이블을 기초로 인코딩하여 생성된 인코딩 데이터를 포함하는 안와 및 안와주변 병변 예측 방법.
  18. 제15항에 있어서,
    상기 합성 의료 영상은 상기 전처리 데이터를 기초로 생성되는 안와 및 안와주변 병변 예측 방법.
  19. 제18항에 있어서,
    상기 샘플 의료 영상 중 병변이 미발생한 안와 구조물이 촬영된 샘플 의료 영상의 개수 대비 병변이 발생한 안와 구조물이 촬영된 샘플 의료 영상의 개수의 비율이 설정된 임계 비율 이하일 때, 상기 합성 의료 영상이 생성되는 안와 및 안와주변 병변 예측 방법.
  20. 제19항에 있어서,
    상기 합성 의료 영상은,
    상기 전처리 데이터를 제4 딥 러닝 모델에 입력하여 생성되는 안와 및 안와주변 병변 예측 방법.
  21. 제11항 내지 제20항 중 어느 한 항의 안와 및 안와주변 병변 예측 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
PCT/KR2021/005285 2020-05-13 2021-04-27 안와 및 안와주변 병변 예측 장치 및 그 예측 방법 WO2021230534A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0057078 2020-05-13
KR1020200057078A KR102412047B1 (ko) 2020-05-13 2020-05-13 안와 및 안와주변 병변 예측 장치 및 그 예측 방법

Publications (1)

Publication Number Publication Date
WO2021230534A1 true WO2021230534A1 (ko) 2021-11-18

Family

ID=78525186

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/005285 WO2021230534A1 (ko) 2020-05-13 2021-04-27 안와 및 안와주변 병변 예측 장치 및 그 예측 방법

Country Status (2)

Country Link
KR (1) KR102412047B1 (ko)
WO (1) WO2021230534A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114334167A (zh) * 2021-12-31 2022-04-12 医渡云（北京）技术有限公司 医学数据挖掘方法及装置、存储介质、电子设备
CN114617533A (zh) * 2022-05-13 2022-06-14 成都尚医信息科技有限公司 一种基于三维重建的营养状况确定系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102615323B1 (ko) * 2023-05-10 2023-12-19 서울대학교산학협력단 상악동 및 병변 자동 분할 시스템, 이의 동작 방법 및 자동 분할 모델 학습 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180045551A (ko) * 2016-10-26 2018-05-04 고려대학교 산학협력단 구강 병변의 진단 시스템 및 방법
KR20180061888A (ko) * 2016-11-30 2018-06-08 한국과학기술연구원 안와벽 재건술을 위한 수술 계획 생성 방법, 이를 수행하는 수술 계획 생성 서버, 및 이를 저장하는 기록매체
KR20190103937A (ko) * 2018-02-28 2019-09-05 이화여자대학교 산학협력단 뉴럴 네트워크를 이용하여 캡슐 내시경 영상으로부터 병변 판독 방법 및 장치
JP2019153086A (ja) * 2018-03-02 2019-09-12 富士フイルム株式会社 学習用データ作成支援装置、学習用データ作成支援方法、および学習用データ作成支援プログラム
KR20190132832A (ko) * 2018-05-21 2019-11-29 고려대학교 산학협력단 딥러닝을 기반으로 하는 아밀로이드 양성 또는 음성을 예측하기 위한 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180045551A (ko) * 2016-10-26 2018-05-04 고려대학교 산학협력단 구강 병변의 진단 시스템 및 방법
KR20180061888A (ko) * 2016-11-30 2018-06-08 한국과학기술연구원 안와벽 재건술을 위한 수술 계획 생성 방법, 이를 수행하는 수술 계획 생성 서버, 및 이를 저장하는 기록매체
KR20190103937A (ko) * 2018-02-28 2019-09-05 이화여자대학교 산학협력단 뉴럴 네트워크를 이용하여 캡슐 내시경 영상으로부터 병변 판독 방법 및 장치
JP2019153086A (ja) * 2018-03-02 2019-09-12 富士フイルム株式会社 学習用データ作成支援装置、学習用データ作成支援方法、および学習用データ作成支援プログラム
KR20190132832A (ko) * 2018-05-21 2019-11-29 고려대학교 산학협력단 딥러닝을 기반으로 하는 아밀로이드 양성 또는 음성을 예측하기 위한 방법 및 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114334167A (zh) * 2021-12-31 2022-04-12 医渡云（北京）技术有限公司 医学数据挖掘方法及装置、存储介质、电子设备
CN114617533A (zh) * 2022-05-13 2022-06-14 成都尚医信息科技有限公司 一种基于三维重建的营养状况确定系统
CN114617533B (zh) * 2022-05-13 2022-08-16 成都尚医信息科技有限公司 一种基于三维重建的营养状况确定系统

Also Published As

Publication number Publication date
KR20210140836A (ko) 2021-11-23
KR102412047B1 (ko) 2022-06-23

Similar Documents

Publication Publication Date Title
WO2021230534A1 (ko) 안와 및 안와주변 병변 예측 장치 및 그 예측 방법
Sethi et al. Deep learning based diagnosis recommendation for COVID-19 using chest X-rays images
WO2019132168A1 (ko) 수술영상데이터 학습시스템
WO2020242239A1 (ko) 앙상블 학습 알고리즘을 이용한 인공지능 기반 진단 보조 시스템
WO2017051945A1 (ko) 질환 모델 기반의 의료 정보 서비스 제공 방법 및 장치
WO2019143177A1 (ko) 일련의 슬라이스 영상을 재구성하는 방법 및 이를 이용한 장치
WO2019231104A1 (ko) 심층 신경망을 이용하여 영상을 분류하는 방법 및 이를 이용한 장치
WO2019231102A1 (ko) 피검체의 안저 영상을 분류하는 방법 및 이를 이용한 장치
WO2022131642A1 (ko) 의료 영상 기반 질환 중증도 결정 장치 및 방법
WO2021182889A2 (ko) 영상 기반의 안질환 진단 장치 및 방법
WO2020122606A1 (ko) 인공신경망을 이용한 장기의 부피 측정 방법 및 그 장치
WO2020231007A2 (ko) 의료기계 학습 시스템
WO2021137454A1 (ko) 인공지능 기반의 사용자 의료정보 분석 방법 및 시스템
WO2019143179A1 (ko) 동일 피사체에 대하여 시간 간격을 두고 촬영된 영상 간에 동일 관심구역을 자동으로 검출하는 방법 및 이를 이용한 장치
WO2021002669A1 (ko) 병변 통합 학습 모델을 구축하는 장치와 방법, 및 상기 병변 통합 학습 모델을 사용하여 병변을 진단하는 장치와 방법
WO2023234622A1 (ko) 영상 공간 정규화와 이를 이용한 정량화 시스템 및 그 방법
JP2022068043A (ja) 医用画像処理装置及び医用画像処理システム
WO2023027248A1 (ko) 데이터 생성 방법 및 이를 이용한 학습방법 및 장치
WO2022231200A1 (ko) 유방암 병변 영역을 판별하기 위한 인공 신경망을 학습하기 위한 학습 방법, 및 이를 수행하는 컴퓨팅 시스템
WO2021145607A1 (ko) 치과 의무 기록 장치 및 그 치과 의무 기록 방법
WO2020246676A1 (ko) 자궁경부암 자동 진단 시스템
WO2022158694A1 (ko) 병리 조직 영상의 처리 방법 및 그 장치
WO2024072067A1 (ko) 멀티모달 딥 러닝 모델을 이용한 녹내장 환자의 미래 시야 예측 방법
WO2023121004A1 (ko) Icv 세그먼테이션 정보를 출력하는 방법 및 이를 위한 장치
WO2024090677A1 (ko) 대뇌외 뇌척수액 영역의 부피에 기반한 치매 관련 지표 산출 방법 및 분석장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21803896

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21803896

Country of ref document: EP

Kind code of ref document: A1