WO2023128284A1 - 자궁 경부암의 진단에 대한 정보 제공 방법 및 이를 이용한 자궁 경부암의 진단에 대한 정보 제공용 디바이스 - Google Patents

자궁 경부암의 진단에 대한 정보 제공 방법 및 이를 이용한 자궁 경부암의 진단에 대한 정보 제공용 디바이스 Download PDF

Info

Publication number
WO2023128284A1
WO2023128284A1 PCT/KR2022/018478 KR2022018478W WO2023128284A1 WO 2023128284 A1 WO2023128284 A1 WO 2023128284A1 KR 2022018478 W KR2022018478 W KR 2022018478W WO 2023128284 A1 WO2023128284 A1 WO 2023128284A1
Authority
WO
WIPO (PCT)
Prior art keywords
cervical
cervical cancer
positive
negative
model
Prior art date
Application number
PCT/KR2022/018478
Other languages
English (en)
French (fr)
Inventor
김광기
김영재
박예랑
Original Assignee
가천대학교 산학협력단
의료법인 길의료재단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가천대학교 산학협력단, 의료법인 길의료재단 filed Critical 가천대학교 산학협력단
Publication of WO2023128284A1 publication Critical patent/WO2023128284A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/43—Detecting, measuring or recording for evaluating the reproductive systems
    • A61B5/4306—Detecting, measuring or recording for evaluating the reproductive systems for evaluating the female reproductive systems, e.g. gynaecological evaluations
    • A61B5/4318—Evaluation of the lower reproductive system
    • A61B5/4331—Evaluation of the lower reproductive system of the cervix
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/303—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the vagina, i.e. vaginoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4842—Monitoring progression or stage of a disease
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Definitions

  • the present invention relates to a method for providing information on diagnosis of cervical cancer and a device using the same.
  • Cervical cancer may refer to female genital cancer that occurs in the cervix, which is the entrance to the uterus.
  • a conventional cervical cancer diagnosis system is configured to diagnose cervical cancer by analyzing an image of the cervix obtained from the outside of the vagina of a female subject through a predetermined imaging device, analyzing the image, and diagnosing cervical cancer using the result.
  • a device for determining whether a subject has cervical cancer is generated by acquiring a photographic image of the cervix and generating analysis information on whether or not a subject has cervical cancer by using a machine learning model learned from the obtained cervical image.
  • the main factor for evaluating the performance of these judgment devices is that learning must be conducted by accurately classifying and arranging images to be used for learning. At this time, if the data classification is not performed accurately and clearly, the accuracy of analysis on whether or not cervical cancer has occurred may decrease.
  • cervical cancer colposcopy images appear in various forms, unlike general medical images, depending on the shooting environment and the photographer. Therefore, in devices that determine whether or not cervical cancer has occurred, it is necessary to classify images to be used for learning according to clearer and stricter standards and proceed with learning.
  • the inventors of the present invention tried to develop a system capable of enhancing reliability and assisting diagnostic performance in diagnosing or classifying cervical cancer stages based on an artificial network.
  • stage classification accuracy could be improved by adopting a method of determining the cervical region and classifying stages of cervical cancer in stages.
  • the inventors of the present invention could recognize that machine learning can be applied to morphological characteristics of the cervix in order to classify not only the presence of cervical cancer but also the stage with high accuracy.
  • the inventors of the present invention have developed a new cervical diagnosis system based on an artificial network.
  • the inventors of the present invention can recognize that the introduction of a new cervical cancer diagnosis system can supplement the limitations and problems of the conventional cervical cancer diagnosis system, and that objective analysis of cervical images is possible regardless of the skill level of medical personnel. there was.
  • classification performance may be degraded when learning to distinguish various stages at once with one classification for a single model.
  • the inventors of the present invention divided the cervical region in the cervical image, classified cervical cancer into two classes, and a plurality of models learned to classify the stage into two classes for the classified results. was applied to a new cervical diagnosis system to provide highly reliable diagnostic information.
  • the inventors of the present invention could expect to increase the accuracy of diagnosis of cervical cancer by providing detailed features in the diagnosis of cervical cancer.
  • the inventors of the present invention by providing a new cervical cancer diagnosis system, prevent medical staff from misinterpreting the progression of cervical cancer due to inaccurate images, and improve the workflow of medical staff in actual clinical practice. could be expected
  • the problem to be solved by the present invention is to determine whether or not there is cervical cancer in the cervical region by using a plurality of disease classification models based on an artificial neural network with respect to the received cervical image, and classify the stage based on the result. It is to provide a method for providing information on diagnosis of cervical cancer configured to classify and a device using the same.
  • the present information providing method is a method of providing information on diagnosis of cervical cancer implemented by a processor, comprising the steps of receiving a cervical image including a cervical region of an individual; Determining whether cervical cancer is negative or positive using a first disease classification model based on an artificial neural network trained to classify negative or positive cervical cancer using a cervical image as an input , and determining a stage of cervical cancer based on a second disease classification model based on an artificial neural network trained to classify a stage of cervical cancer by taking the cervical image classified as negative or positive as an input. .
  • the first classification model is a model learned to classify negative-atypical or benign based on cervical images
  • the second disease classification model is for cervical images classified as negative-atypical.
  • the stage was classified as negative or atypical, or the stage was classified as positive 1, positive 2, or positive 3 for cervical images classified as positive. It may be a model learned to classify at least one.
  • the second disease classification model is a negative-atypical classification model trained to classify a stage as negative or cervical atypical for cervical images classified as negative-atypical, and a negative-atypical classification model classified as positive.
  • a benign classification model trained to classify at least one stage for cervical images may be included.
  • the step of determining whether cervical cancer is negative or positive may include determining a first cervical region with respect to a cervical image using a first disease classification model, and with respect to the first cervical region The step of determining cervical cancer negative or positive may be further included.
  • the step of determining the stage of cervical cancer may include determining a second cervical region within a cervical image classified as negative or positive using a second disease classification model, and for the second cervical region The method may further include determining a stage for cervical cancer.
  • the first disease classification model is a model learned to probabilistically classify cervical cancer negative or positive using cervical images as input
  • the second disease classification model is classified as negative or positive It may be a model learned to probabilistically classify the stage of cervical cancer using the cervical image as an input.
  • the information providing method determines whether the classification probability by the first disease classification model or the second disease classification model is predetermined after the step of determining whether the cervical cancer is negative or positive, or after the step of determining the stage of cervical cancer. If it is below the level, the method may further include performing re-classification using an evaluation model learned to classify features of the cervix by using the cervical image as an input.
  • the reclassification step may include, when the probability of negative cervical cancer or the probability of cervical cancer positive determined by the first disease classification model is below a predetermined level, within the cervical image using the evaluation model. Classifying the characteristics of the cervix, and re-determining whether the cervical cancer is negative or positive based on the characteristics of the cervix in the cervical image.
  • the reclassification step may include, when the probability for each stage of cervical cancer determined by the second disease classification model is equal to or less than a predetermined level, the cervix in the cervical image using the evaluation model.
  • the method may further include classifying characteristics of the cervix and re-determining a stage for cervical cancer based on the characteristics of the cervix in the cervical image.
  • the evaluation model takes a cervical image as an input and identifies the characteristics of the cervix as aceto-white, atypical vessels, discoloration, erosion/ulceration /ulceration), irregular surface, mosaic, and punctuation.
  • the present information providing method is a method of providing information on cervical cancer diagnosis implemented by a processor, comprising the steps of receiving a cervical image including a cervical region of an object, classifying characteristics of the cervix by using the cervical image as an input classifying a first feature of the cervix in the cervical image using an evaluation model learned to perform a cervical cancer diagnosis; determining negative or positive cervical cancer based on the first feature of the cervix; using the evaluation model; or classifying a second feature of the cervix in the cervical image classified as benign, and determining a stage of cervical cancer based on the second feature of the cervix.
  • the present information providing method is a method of providing information on cervical cancer diagnosis implemented by a processor, comprising the steps of receiving a cervical image including a cervical region of an object, classifying characteristics of the cervix by using the cervical image as an input Cervical cancer negative or positive, using an evaluation model learned to do so, and a first disease classification model based on an artificial neural network trained to classify cervical cancer negative or positive with cervical images as inputs Cervical cancer using a second disease classification model based on an artificial neural network network learned to classify the stage of cervical cancer by using the cervical image classified as negative or positive as an input, and the evaluation model It includes the step of determining the stage for.
  • the first disease classification model is a model learned to probabilistically classify cervical cancer negative or positive using cervical images as input
  • the second disease classification model is a cervical cancer classified as negative or positive. It may be a model trained to probabilistically classify a stage of cervical cancer using a cervical image as an input
  • the evaluation model is a model learned to probabilistically classify features of the cervix using cervical images as input
  • the method includes, after the step of determining negative or positive cervical cancer, the evaluation model and the first disease
  • a step of adopting a classification result of a model having a high probability among the evaluation model and the first disease classification model may be included.
  • the method determines the classification result of a model having a high probability among the evaluation model and the second disease classification model. Adoption may be included.
  • the device includes a communication unit configured to receive a cervix image including a cervix of an object, and a processor connected to communicate with the communication unit.
  • the processor uses a first disease classification model based on an artificial neural network that has been trained to classify cervical cancer negative or positive by taking the cervical image as an input, cervical cancer negative or positive ), and based on a second disease classification model based on an artificial neural network trained to classify the stage of cervical cancer using the cervical images classified as negative or positive as inputs, the stage for cervical cancer is determined. do.
  • the processor determines a first cervical region with respect to the cervical image by using the first disease classification model, determines whether cervical cancer is negative or positive for the first cervical region, and determines whether cervical cancer is negative or positive for the first cervical region, and It may be further configured to determine a second cervical region within the cervical image classified as negative or positive using the disease classification model, and to determine a stage for cervical cancer with respect to the second cervical region.
  • the processor when the classification probability by the first disease classification model or the second disease classification model is below a predetermined level, learned to classify the characteristics of the cervix by taking the cervical image as an input It may be further configured to perform reclassification using the evaluation model.
  • the processor may use the evaluation model to determine characteristics of the cervix in the cervical image. It may be further configured to classify cervical cancer, and to reconsider cervical cancer negative or positive based on characteristics of the cervix in the cervical image.
  • the processor classifies the characteristics of the cervix in the cervical image using the evaluation model when the probability of each stage of cervical cancer determined by the second disease classification model is equal to or less than a predetermined level, and , can be further configured to re-stage cervical cancer based on features of the cervix within the cervical image.
  • the present invention can provide accurate information on cervical cancer by providing a new cervical cancer diagnosis system configured to gradually classify the stage of cervical cancer together with whether or not there is cervical cancer with respect to cervical images based on a deep learning model.
  • the present invention provides a cervical cancer diagnosis system based on a deep learning model, it is possible to objectively analyze cervical images regardless of the skill level of medical personnel.
  • the present invention does not classify the stage of cervical cancer by a single procedure, but uses disease classification models configured to classify the stage of cervical cancer through step-by-step procedures. Detailed features such as may be provided.
  • the present invention can increase the accuracy of diagnosis of cervical cancer.
  • the present invention provides a cervical cancer diagnosis system based on a deep learning model, thereby preventing medical staff from misinterpreting the progression of cervical cancer due to inaccurate images, and improving the workflow of medical staff in actual clinical practice. .
  • FIG. 1A illustrates a cervical cancer diagnosis system based on a device for providing information on diagnosis of cervical cancer according to an embodiment of the present invention.
  • FIG. 1B illustratively illustrates the configuration of a device for providing information on diagnosis of cervical cancer according to an embodiment of the present invention.
  • FIG. 1C illustrates a configuration of a medical staff device that receives and outputs information on cervical cancer from a device for providing information on diagnosis of cervical cancer according to an embodiment of the present invention.
  • 2a to 2e exemplarily illustrate procedures of a method for providing information on diagnosis of cervical cancer according to an embodiment of the present invention.
  • 3A and 3B illustratively illustrate procedures of a method for providing information on diagnosis of cervical cancer according to another embodiment of the present invention.
  • 4A and 4B illustratively illustrate procedures of a method for providing information on diagnosis of cervical cancer according to another embodiment of the present invention.
  • FIG. 5 exemplarily illustrates the structure of a disease classification model used in various embodiments of the present invention.
  • FIG. 6 exemplarily illustrates the structure of an evaluation model used in various embodiments of the present invention.
  • FIG. 7a to 7f illustrate evaluation results of a disease classification model used in various embodiments of the present invention.
  • 8a to 8d show evaluation results of a disease classification model used in various embodiments of the present invention.
  • expressions such as “A or B,” “at least one of A and/and B,” or “one or more of A or/and B” may include all possible combinations of the items listed together.
  • first,” “second,” “first,” or “second,” used in this document may modify various elements, regardless of order and/or importance, and refer to one element as It is used only to distinguish it from other components and does not limit the corresponding components.
  • a first user device and a second user device may represent different user devices regardless of order or importance.
  • a first element may be named a second element, and similarly, the second element may also be renamed to the first element.
  • a component e.g., a first component
  • another component e.g., a second component
  • the certain component may be directly connected to the other component or connected through another component (eg, a third component).
  • an element e.g, a first element
  • another element e.g., a second element
  • the element and the above It may be understood that other components (eg, third components) do not exist between the other components.
  • the expression “configured to” means “suitable for,” “having the capacity to,” depending on the circumstances. ,” “designed to,” “adapted to,” “made to,” or “capable of.”
  • the term “configured (or set) to” may not necessarily mean only “specifically designed to” hardware.
  • the expression “a device configured to” may mean that the device “is capable of” in conjunction with other devices or components.
  • the phrase “a processor configured (or configured) to perform A, B, and C” may include a dedicated processor (eg, an embedded processor) to perform those operations, or by executing one or more software programs stored on a memory device.
  • a general-purpose processor eg, CPU or application processor
  • the term "subject" may refer to any subject for which cervical cancer is to be predicted.
  • the individual may be a cervical cancer suspected individual.
  • the subject disclosed in this specification may be any mammal except for humans, but is not limited thereto.
  • the term “cervical image” may refer to an enlarged cervical image obtained from an imaging diagnosis device such as a colposcopy device for cervical cancer.
  • the cervical image may be a medical image including the cervical region.
  • the cervical image may be a cervical image obtained from an endoscopic diagnosis device, but is not limited thereto.
  • the cervix image may be a video composed of a plurality of cuts.
  • the cervical region and further the stage may be determined for each frame of the video.
  • the present invention can provide a streaming service by predicting a lesion simultaneously with receiving a cervical image from an imaging diagnosis device, and can also provide cervical cancer diagnosis information in real time.
  • first disease classification model may be a model configured to output whether or not cervical cancer has occurred by taking a cervical image as an input.
  • the first disease classification model may be a model learned to classify cervical cancer positive or negative (normal) with respect to a region of interest (ROI) corresponding to the cervical cancer region in the cervical image.
  • ROI region of interest
  • the first disease classification model may be a model learned to classify two classes of negative-atypical or positive based on cervical images. However, it is not limited thereto, and the first disease classification model may be further trained to classify three classes of negative, atypical, or benign.
  • the first disease classification model may be a model learned to probabilistically classify negative or positive cervical cancer using a cervical image as an input.
  • cervical cancer benign can be classified into stages of positive 1, positive 2, and positive 3.
  • second disease classification model refers to, when cervical cancer positive or cervical cancer negative (or negative-atypical) is determined, cervical images are used as inputs to classify and output cervical cancer stages It may be a model configured to
  • the second disease classification model may be a model learned to stochastically classify a stage of cervical cancer by using a cervical image classified as negative or positive as an input.
  • the second disease classification model is a negative-atypical classification model trained to classify a stage as negative or cervical atypical by taking as input a cervical image classified as negative-atypical, and a cervical image classified as positive It may consist of a benign classification model trained to classify the stage as at least one of benign stage 1, stage 2, and stage 3 by taking as an input.
  • the benign classification model may be trained to classify two classes of benign first stage or benign stage 2-3.
  • classification models may include two output nodes to classify two classes, but are not limited thereto.
  • the second classification model may be a model learned to classify five classes of five stages of cervical cancer negative, atypical, first stage positive cervical cancer, second stage positive cervical cancer, and third stage positive cervical cancer. .
  • disease classification models may be RetinaNet using ResNet-50 as a backbone, but are not limited thereto.
  • disease classification models include VGG net, DenseNet, FCN (Fully Convolutional Network) having an encoder-decoder structure, SegNet, DeconvNet, DeepLAB V3+, DNN (deep neural network) such as U-net, SqueezeNet, Alexnet, It may be based on at least one algorithm selected from ResNet18, MobileNet-v2, GoogLeNet, Resnet-v2, Resnet50, Resnet101, and Inception-v3.
  • the disease classification models may be ensemble models based on at least two algorithm models among the aforementioned algorithms.
  • first disease classification model and the second disease classification model are described as independent and separate models within the present specification, but should not be construed as being limited thereto.
  • the disease classification model is a single model learned to detect only the cervical region excluding the vaginal wall region in a cervical image (particularly, an enlarged cervical image) and classify the stage of the region, and the stage is determined. As it is, whether it is negative-atypical or positive may be determined at the same time.
  • evaluation model may be a model learned to classify and output cervical features by using cervical images as input.
  • the evaluation model determines the ROI in the cervical image, and the characteristics of the cervix for the corresponding ROI are aceto-white, atypical vessels, discoloration, It may be a model learned to classify at least one morphological feature of the cervix from among erosion/ulceration, irregular surface, mosaic, and punctuation.
  • the evaluation model can classify the morphological characteristics of the cervix and perform detailed discrimination on the cervical image, thereby reducing misclassification by the first disease classification model or the second disease classification model.
  • the evaluation model may classify features of the cervix with respect to an ambiguously classified image whose predicted value is equal to or less than a predetermined level by the first disease classification model or the second disease classification model. As a result, whether the cervical cancer has occurred or not and the stage can be classified with high accuracy.
  • a "predetermined level” is a probability or predicted value classified into a specific class, and may be 50 to 70%, preferably 55 to 65%, but is not limited thereto.
  • the evaluation model determines an ROI in a cervical image, classifies whether or not cervical cancer is negative or positive for the ROI, or classifies a stage for the cervical image classified as negative or positive. More can be learned to do.
  • the evaluation model determines whether or not there is cervical cancer with a higher predictive value for an ambiguous cervical image among images classified by the first disease classification model and/or the second disease classification model. Classification may be performed, or stages may be classified for cervical images classified as negative or positive.
  • evaluation models may be U-net, but is not limited thereto.
  • evaluation models include VGG net, R, DenseNet, and FCN (Fully Convolutional Network) with encoder-decoder structure, SegNet, DeconvNet, DeepLAB V3+, SqueezeNet, Alexnet, ResNet18, MobileNet-v2, GoogLeNet, Resnet-v2 , Resnet50, Resnet101, and Inception-v3 may be based on at least one selected algorithm.
  • the disease classification models may be ensemble models based on at least two algorithm models among the aforementioned algorithms.
  • FIGS. 1A to 1C a cervical cancer diagnosis system based on a device for providing information on diagnosis of cervical cancer according to an embodiment of the present invention will be described with reference to FIGS. 1A to 1C .
  • FIG. 1A illustrates a cervical cancer diagnosis system based on a device for providing information on diagnosis of cervical cancer according to an embodiment of the present invention.
  • FIG. 1B illustratively illustrates the configuration of a device for providing information on diagnosis of cervical cancer according to an embodiment of the present invention.
  • FIG. 1C illustrates a configuration of a medical staff device that receives and outputs information on cervical cancer from a device for providing information on diagnosis of cervical cancer according to an embodiment of the present invention.
  • a cervical cancer diagnosis system 1000 may be a system configured to provide information related to cervical cancer based on a cervical image of an object.
  • the cervical cancer diagnosis system 1000 includes the device 100 for providing information on the diagnosis of cervical cancer configured to determine whether or not cervical cancer has occurred in an individual, and furthermore, the stage based on the cervical image, diagnosing cervical cancer. It may be composed of a medical staff device 200 receiving information about and an imaging diagnosis device 300 providing a cervical image.
  • the device 100 for providing information on diagnosis of cervical cancer is a general-purpose device that performs various calculations to diagnose the onset or stage of cervical cancer based on the cervical image of the user provided from the image diagnosis device 300.
  • the medical staff device 200 may be a device for accessing a web server providing a web page related to cervical cancer diagnosis or a mobile web server providing a mobile web site, but is limited thereto. It doesn't work.
  • the device 100 for providing information on diagnosis of cervical cancer may receive a cervical image from the image diagnosis device 300 and provide information related to whether or not cervical cancer has occurred from the received cervical image.
  • the imaging diagnosis device 300 may use a plurality of disease classification models and may perform stepwise evaluation based on each model.
  • the device 100 for providing information on diagnosis of cervical cancer may provide data related to the onset of cervical cancer for an individual to the medical device 200 .
  • data provided from the device 100 for providing information on diagnosis of cervical cancer may be provided as a web page through a web browser installed in the medical device 200, or may be provided in the form of an application or program. In various embodiments, this data may be provided in a form incorporated into the platform in a client-server environment.
  • the medical staff device 200 is an electronic device that requests provision of information on the onset of cervical cancer for an individual and provides a user interface for displaying information data, such as a smart phone, a tablet PC (Personal Computer), a laptop computer, and the like. / or PC, etc. may include at least one.
  • the medical staff device 200 may receive information about the onset of cervical cancer and further stages of the individual from the device 100 for providing information on diagnosis of cervical cancer, and display the received result through the display unit.
  • the information is ROI, stage (e.g., negative, atypical, positive stage 1, stage 2, and stage 3) predicted in the process of classifying stages by disease classification models, and further characteristics of the cervix (acetowhite color). These include aceto-white, atypical vessels, discoloration, erosion/ulceration, irregular surface, mosaic and punctuation), etc. can
  • a device 100 for providing information on diagnosis of cervical cancer includes a storage unit 110 , a communication unit 120 and a processor 130 .
  • the storage unit 110 may store various data generated while diagnosing whether an individual has cervical cancer.
  • the storage unit 110 stores an image including an ROI that has a high contribution to classification or is determined to be the cervical region in the classification process of the first disease classification model, the second disease classification model, and/or the evaluation model; It may be configured to store images in which stages have been classified and/or features of the cervix have been classified.
  • the storage unit 110 is a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (eg SD or XD memory, etc.), RAM, SRAM, ROM, EEPROM, PROM, magnetic memory , a magnetic disk, and an optical disk may include at least one type of storage medium.
  • the communication unit 120 connects the device 100 for providing information on diagnosis of cervical cancer to enable communication with an external device.
  • the communication unit 120 may transmit/receive various data by being connected to the medical staff device 200 and furthermore the image diagnosis device 300 using wired/wireless communication.
  • the communication unit 120 may receive an image of the cervix of an object from the image diagnosis device 300 .
  • the communication unit 120 may receive a cervical magnifying examination (moving) image of an object from the image diagnosis device 300 .
  • the communication unit 120 may transmit information to the medical device 200 .
  • the processor 130 is operatively connected to the storage unit 110 and the communication unit 120, and can execute various commands for analyzing a cervical image of an object.
  • the processor 130 may be configured to classify whether or not cervical cancer has occurred and the stage based on the cervical image received through the communication unit 120 .
  • the processor 130 includes a first disease classification model configured to determine whether cervical cancer has occurred based on the cervical image, and/or a second disease classification model configured to classify the stage of cervical cancer for the cervical image, and/or evaluation models configured to classify features of cervical cancer.
  • the device 100 for providing information on diagnosis of cervical cancer is not limited to hardware design.
  • the processor 130 of the device 100 for providing information on diagnosis of cervical cancer may be implemented as software. Accordingly, information on cervical cancer may be displayed through the display unit of the imaging diagnosis device 300 to which the software is connected.
  • the medical device 200 includes a communication unit 210, a display unit 220, a storage unit 230, and a processor 240.
  • the communication unit 210 may be configured to allow the medical device 200 to communicate with an external device.
  • the communication unit 210 may be connected to the device 100 for providing information on diagnosis of cervical cancer using wired/wireless communication to transmit various data related to diagnosis of cervical cancer.
  • the communication unit 210 determines information related to the diagnosis of cervical cancer of an individual from the device 100 for providing information about the diagnosis of cervical cancer, for example, whether or not the individual has cervical cancer (negative-atypical or positive) Or, you can receive the stage of cervical cancer.
  • the communication unit 210 may receive visual information such as a region of interest determined in a stage prediction process. For example, the information may be displayed and provided for a cervical image, but is not limited thereto.
  • the display unit 220 may display various interface screens for displaying information related to the diagnosis of cervical cancer of an individual. For example, the display unit 220 may probabilistically display and provide whether the subject is normal (negative or atypical) or positive for cervical cancer, and when the stage is determined, it may be displayed and provided along with a cervical image. .
  • the display unit 220 may include a touch screen, and for example, a touch using an electronic pen or a part of the user's body, a gesture, a proximity, a drag, or a swipe A swipe or hovering input may be received.
  • the storage unit 230 may store various data used to provide a user interface for displaying result data.
  • the storage unit 230 may be a flash memory type, a hard disk type, a multimedia card micro type, or a card type memory (for example, SD or XD memory, etc.), RAM (Random Access Memory, RAM), SRAM (Static Random Access Memory), ROM (Read-Only Memory, ROM), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory) , a magnetic memory, a magnetic disk, and an optical disk may include at least one type of storage medium.
  • the processor 240 is operatively connected to the communication unit 210, the display unit 220, and the storage unit 230, and can perform various commands to provide a user interface for displaying result data.
  • FIGS. 2A to 2E exemplarily illustrate procedures of a method for providing information on diagnosis of cervical cancer according to an embodiment of the present invention.
  • a procedure for diagnosing cervical cancer is as follows. First, a cervical image of an object is received (S210). Next, whether or not the individual has cervical cancer is determined based on the cervical image by the first disease classification model (S220). Then, the stage of cervical cancer is determined by the second disease classification model (S230).
  • a cervical image such as a cervical magnifying examination image may be received.
  • the cervical image may include the cervical region and the suspected lesion region.
  • the imaging diagnosis device in the step of receiving the cervical image ( S210 ), is driven to acquire a cervical image captured in real time.
  • a first disease classification model configured to output whether a positive or negative cervical cancer has occurred by taking the cervical image as an input may be used.
  • the first disease classification model determines the cervical region using the cervical image as an input, and based on this, determines the negative-atypical or positive It could be a model trained to classify two classes.
  • the first cervical region is determined for the cervical image by the first disease classification model, and the first cervical region is determined. Cervical cancer negative or positive can be determined.
  • the first disease classification model is trained to probabilistically classify negative or positive cervical cancer using a cervical image as an input.
  • the second disease classification model classifies the stage as negative or cervical atypical for the cervical image classified as negative-atypical, or positive. It may be a model configured to classify the stage as at least one of positive 1, positive 2, and positive 3 for the cervical images classified as .
  • the second disease classification model is a negative-atypical classification model trained to classify a stage as negative or cervical atypical for cervical images classified as negative-atypical, and a negative-atypical classification model classified as positive. It may consist of a benign classification model that has been trained to classify the stage of the cervical cervical image into benign stage 1 or benign stage 2-3. That is, the second disease classification model may have two output nodes to classify input images into two classes, but is not limited thereto.
  • a second cervical region is determined in the cervical image classified as negative or positive by the second disease classification model, and 2 Cervical cancer can be staging for the cervical region.
  • the second disease classification model probabilistically classifies the stage of cervical cancer by using the cervical image classified as negative or positive as an input. It can be a model that has been trained to classify.
  • the cervical image 412 received through the step of receiving the cervical image (S210) is classified as a first disease in the step of determining whether or not cervical cancer has occurred (S220). are entered into the model 420.
  • the first disease classification model 420 may be a model learned to determine the cervical regions 4222 and 4242 by using the cervical image for learning as an input and to classify them as negative-atypical or positive.
  • the first disease classification model classifies negative (FIG. 2C(a)) and atypical (FIG. 2C(b)) images as 'negative-atypical', and a positive step 1 ( It may be configured to classify images of FIG. 2c (c)), positive stage 2 (FIG. 2c (d)) and positive stage 3 (FIG. 2c (e)) as 'positive'.
  • a result of image classification as negative-atypical or positive is output by the first disease classification model 420 .
  • the image 422 classified as negative-atypical or the image 424 classified as benign is input to the second disease classification model 430 in the step of determining the stage of cervical cancer (S230). More specifically, the image 422 classified as negative-atypical (or the cervix image 412) is input to the negative-atypical classification model 430a, and for the cervical region (not shown), a negative 432a or The classification result of the atypical type 432b is output.
  • the image 424 classified as benign is input to the benign classification model 430b, and a classification result of the first positive stage 434a or the positive 2-3 stage 434b for the cervical region (not shown) is output. .
  • the information providing method it is possible to determine the stage of cervical cancer stepwise based on the first disease classification model and the second disease classification model.
  • the classification probability by the first disease classification model or the second disease classification model is determined in advance. If it is below the determined level, reclassification by the evaluation model may be further performed.
  • the evaluation model takes the cervical image as an input and identifies the characteristics of the cervix as aceto-white, atypical vessels, discoloration, erosion/ulceration, and irregular surface ( It may be a model learned to classify at least one morphological feature of the cervix selected from irregular surface, mosaic, and punctuation.
  • the cervix in the step of performing reclassification, if the probability of negative cervical cancer or the probability of cervical cancer positive determined by the first disease classification model is equal to or less than a predetermined level, the cervix is classified within the cervical image by the evaluation model. The characteristics of the cervix are classified, and cervical cancer negative or positive can be re-determined based on the characteristics of the cervix.
  • staging of cervical cancer can be re-determined based on the characteristics of the cervix within the cervical image.
  • the evaluation model A cervical image 412 may be input to 520 .
  • the evaluation model 520 may be a model learned to classify characteristics of cervical cancer with respect to the suspicious region in the cervical image 412 and determine one characteristic. More specifically, with reference to FIG. 2E , the evaluation model 520 uses acetowhite epithelium (FIG. 2E (a)), atypical blood (FIG. 2E (B)), and discoloration (FIG. 2E) with respect to the cervical image for learning. (c)), erosion/ulcer (Fig.
  • the cervical image 412 may be reclassified as negative-atypical or positive according to the classified characteristics. That is, the evaluation model 520 can perform highly accurate determination of the ambiguous cervical image 412, and thus the misclassification rate can be reduced.
  • evaluation model 520 may be a model further trained to determine the probability of being negative or the probability of being positive for cervical image 412 and classifying it as negative-atypical or positive based thereon.
  • the evaluation model 520 classifies the characteristics of cervical cancer in the image 422 classified as negative-atypical or the image 424 classified as benign, and determines one characteristic.
  • the image 422 classified as audio-atypical can be classified as audio or atypical with a higher probability according to the classified feature.
  • the image 424 classified as benign may be classified with a higher probability as a positive level 1 or a positive level 2-3 according to the classified feature. That is, discrimination with high accuracy can be performed by the evaluation model 520, and the misclassification rate by the first disease classification model 410 and the second disease classification model 420 can be reduced.
  • the present invention prevents medical staff from misinterpreting the diagnosis of cervical cancer due to inaccurate measurement, and improves the workflow of medical staff in actual clinical practice. can improve Furthermore, since the medical staff can quickly select an appropriate treatment method according to the evaluation result, the cervical cancer diagnosis system of the present invention has an effect of contributing to early treatment and good treatment prognosis.
  • FIGS. 3A and 3B illustratively illustrate procedures of a method for providing information on diagnosis of cervical cancer according to another embodiment of the present invention.
  • a procedure for diagnosing cervical cancer is as follows. First, a cervical image of an object is received (S310). Then, the first feature of the cervix is classified by the evaluation model (S320), and whether or not cervical cancer occurs is determined (S330). Then, the second feature of the cervix is classified by the evaluation model (S340), and the stage of cervical cancer is determined (S350).
  • the onset of cervical cancer and further the stage may be determined by an evaluation model.
  • the received cervical image 412 is input to the evaluation model 520 in the step S320 of classifying the first feature. It can be.
  • the suspicious area in the cervical image 412 by the evaluation model 520 is at least one morphological characteristic of the cervix selected from acetowhite epithelium, atypical blood, discoloration, erosion/ulceration, irregular surface, mosaic, and titrated plaque.
  • the first feature is classified.
  • the step of determining whether cervical cancer has occurred ( S330 ) the cervical image 412 may be classified as negative-atypical or positive according to the classified characteristics.
  • the evaluation model 520 may be a model further trained to determine the probability of being negative or positive with respect to the cervical image 412 and classify negative-atypical or benign based on this. That is, the step of classifying the first characteristic (S320) may be omitted, and the step of determining whether or not to have cervical cancer based on the evaluation model (S330) may be performed.
  • the image 422 classified as negative-atypical or the image 424 classified as positive is input to the corresponding evaluation model 520 and classified as negative-atypical.
  • the second feature is classified according to the morphological characteristics of the cervix of the suspected region in the classified image 422 or the positive classified image 424 .
  • the stage classification may be performed based on the second characteristic.
  • the video 422 classified as audio-atypical can be classified as audio or atypical according to the second characteristic.
  • the image 424 classified as benign may be classified as a first positive level or a positive level 2-3 according to the classified second feature.
  • FIGS. 4A and 4B illustratively illustrate procedures of a method for providing information on diagnosis of cervical cancer according to another embodiment of the present invention.
  • a procedure for diagnosing cervical cancer is as follows. First, a cervical image of an object is received (S410). Then, whether or not cervical cancer occurs is determined by the evaluation model and the first disease classification model (S420). Then, the stage of cervical cancer is determined by the evaluation model and the second disease classification model (S430).
  • whether or not cervical cancer has occurred and furthermore the stage may be determined by an evaluation model and/or a disease classification model.
  • the evaluation model may be a model learned to determine the probability of negative-atypical or positive probability of the cervical cervical image and classify negative-atypical or positive based on the determined probability. Further, the evaluation model may be trained to classify negative or atypical cervical images, or may be further trained to classify positive 1st stage or positive 2-3 stages with respect to cervical images.
  • the cervical image 412 received by the step of receiving the cervical image (S410) is evaluated by the evaluation model 520 and can be simultaneously input into the first disease classification model 420 .
  • the cervical image 412 may be probabilistically classified as 'negative-atypical' or 'positive' by the evaluation model 520 and the first disease classification model 420 . More specifically, a negative-atypical probability (90%) and a positive probability (10%) are determined for the cervical region in the cervical cervix image 412 by the evaluation model 520, and the first disease classification model 420 ), negative-atypical (98%) and positive (2%) can be determined for the cervical region. That is, the cervical image 412 may be determined to be 'negative-atypical' by the two models.
  • the image 424 classified as negative-atypical can be simultaneously input into the evaluation model 520 and the second disease classification model 420.
  • the image 424 classified as negative-atypical by the evaluation model 520 and the twelfth disease classification model 430 may be probabilistically classified as 'negative' or 'atypical'. More specifically, in the image 424 classified as negative-atypical by the evaluation model 520, a negative probability (97%) and an atypical probability (3%) are determined for the cervical region within the body, and a second disease classification is performed. With the model 430, negative (49%) and atypical (51%) can be determined for the cervical region. That is, cervical images may be classified into different classes by the two models.
  • the image 424 classified as negative-atypical according to the negative probability (97%) of the evaluation model 520, which has the highest classification probability, is Finally, it can be determined as 'negative'.
  • a classification result may be selectively adopted according to a prediction value of an evaluation model and/or a disease classification model.
  • FIG. 5 exemplarily illustrates the structure of a disease classification model used in various embodiments of the present invention.
  • the first disease classification model and the second disease classification model used in various embodiments of the present invention may be based on ResNet50. More specifically, the first disease classification model and the second disease classification model may have a Retina net structure using ResNet50 as a backbone.
  • ResNet50 is input to the backbone, and multi-scale convolutional features are extracted from a feature pyramid map. Then, by moving to a subnet composed of a class subnet for class classification and a box subnet for determining an anchor box, whether or not there is cervical cancer in the cervical region within the cervical image ( For example, positive or atypical-negative), and the stage of cervical cancer (atypical or negative, positive stage 1 or positive 2-3 stage) is determined.
  • the hyperparameters for learning the disease classification model may be set to a batch size of 1, an epoch of 50, a learning rate of 0.0001, and an image size of 256*256.
  • the value is not limited thereto.
  • disease classification models include VGG net, R, DenseNet, FCN (Fully Convolutional Network) with encoder-decoder structure, DNN (deep neural network) such as SegNet, DeconvNet, DeepLAB V3+, U-net, SqueezeNet, Alexnet, It may be based on at least one algorithm selected from ResNet18, MobileNet-v2, GoogLeNet, Resnet-v2, Resnet101, and Inception-v3. Also, the disease classification models may be ensemble models based on at least two algorithm models among the above algorithms.
  • FIG. 6 exemplarily illustrates the structure of an evaluation model used in various embodiments of the present invention.
  • an evaluation model used in various embodiments of the present invention may have a U-net structure.
  • the left area is composed of a convolutional layer and a max pooling layer that uses a local maximum value as a feature.
  • the cervical image can be expressed as a global feature.
  • the features obtained in the lowest region are upsampled as they go up to the top.
  • the region for the morphological characteristics of at least one of the cervical epithelium, atypical blood, discoloration, erosion/ulcer, irregular surface, mosaic, and titratable plaque can be divided and determined. there is.
  • features of the left region may be copied and pasted to locations of the same level in the right region through concatenation from left to right.
  • the hyperparameters for learning the evaluation model may be set to a batch size of 1, an epoch of 500, a learning rate of 0.0001, and an image size of 256*256. Furthermore, Tversky loss and Dice coefficient can be applied for learning. However, the value of the learning parameter is not limited thereto.
  • evaluation models include VGG net, R, DenseNet, FCN (Fully Convolutional Network) with encoder-decoder structure, SegNet, DeconvNet, DeepLAB V3+, SqueezeNet, Alexnet, ResNet18, MobileNet-v2, GoogLeNet, Resnet-v2, Resnet50. , Resnet101, and Inception-v3.
  • the disease classification models may be ensemble models based on at least two algorithm models among the aforementioned algorithms.
  • Evaluation 1 Evaluation of the first disease classification model and the second disease classification model used in various embodiments of the present invention
  • FIGS. 7A to 7F illustrate evaluation results of a disease classification model used in various embodiments of the present invention.
  • the average accuracy of negative classification of the disease classification model in 5 tests is 0.8254, and the average accuracy of positive classification is 0.7330.
  • the disease classification model classified normal subjects as 'normal' and classified cervical cancer patients as 'positive' with high accuracy.
  • the average accuracy of negative classification of the disease classification model is 0.7795 and the average accuracy of atypical classification is 0.8747 in 5 tests.
  • the disease classification model appears to classify negative and atypical with high accuracy.
  • the average accuracy of the positive stage classification of the disease classification model is 0.8859, and the average classification accuracy of the positive stages 2-3 is 0.8696.
  • the disease classification model appears to classify the stage of a benign cervical cancer individual into benign stage 1 or benign stage 2-3 with accuracy.
  • the second disease classification model segments the cervical region with high accuracy with respect to the cervical image of a normal subject, and for this, ' appear to correctly classify as 'normal (or negative)'. Furthermore, it appears that the cervical region is segmented with high accuracy for the cervical image of an atypical object and accurately classified as 'atypical'.
  • the first disease classification model divides the cervical region with high accuracy with respect to the cervical image of a normal subject, and for this, ' appear to correctly classify as 'normal (or negative)'. Furthermore, it appears that the cervical region is segmented with high accuracy for the cervical image of a cervical cancer-positive individual, and the cervical region is accurately classified as 'positive'.
  • the second disease classification model divides the cervical region with high accuracy for the cervical image of a cervical cancer-positive individual and , it appears to accurately classify it as 'positive stage 1 (P1)'. Furthermore, it appears that the cervical region is segmented with high accuracy for the cervical image of a cervical cancer-positive individual, and the cervical region is accurately classified as 'positive 2-3 stage (P2P3)'.
  • the disease classification models of the first disease classification model and the second disease classification model can classify not only the onset of cervical cancer but also the stage of cervical cancer with high accuracy. Accordingly, the present invention may be applicable to a cervical cancer diagnosis system.
  • Evaluation 2 Evaluation of evaluation models used in various embodiments of the present invention
  • FIGS. 8A to 8D show evaluation results of an evaluation model used in various embodiments of the present invention.
  • results of acetowhite epithelial region segmentation of an evaluation model for a training cervical image are shown. More specifically, the evaluation model appears to have segmented the feature region at a similar level to the acetowhite epithelial region masked in the learning image by the medical staff (see FIGS. 8A(B) and 8B(B)). In particular, referring to the result of (a) of FIG. 8B , it appears that the evaluation model further predicted a feature region not found by the medical staff.
  • results of atypical blood region segmentation of the evaluation model for the training cervical image are shown. More specifically, the evaluation model is shown by dividing the feature region at a similar level to the atypical blood region masked in the training image by the medical staff (see FIG. 8c(b) and FIG. 8d(b)). In particular, referring to the result of (a) of FIG. 8D, it appears that the evaluation model does not divide a specific region with respect to the normal tissue.
  • the method of providing information based on the evaluation model may be applicable to a cervical cancer diagnosis system.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Gynecology & Obstetrics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Reproductive Health (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은, 프로세서에 의해 구현되는 자궁 경부암의 진단에 대한 정보 제공 방법으로서, 개체의 자궁 경부 부위를 포함하는 자궁 경부 영상을 수신하는 단계, 자궁 경부 영상을 입력으로 하여 자궁 경부암 음성 또는 양성을 분류하도록 학습된 인공 신경망 네트워크 (artificial neural network) 기반 제1 질환 분류 모델을 이용하여, 자궁 경부암 음성 (negative) 또는 양성 (positive) 을 결정하는 단계, 및 음성 또는 양성으로 분류된 자궁 경부 영상을 입력으로 하여 자궁 경부암의 병기를 분류하도록 학습된 인공 신경망 네트워크 기반의 제2 질환 분류 모델에 기초하여, 자궁 경부암에 대한 병기를 결정하는 단계를 포함하는, 자궁 경부암의 진단에 대한 정보 제공 방법 및 이를 이용한 자궁 경부암의 진단에 대한 정보 제공용 디바이스를 제공한다.

Description

자궁 경부암의 진단에 대한 정보 제공 방법 및 이를 이용한 자궁 경부암의 진단에 대한 정보 제공용 디바이스
본 발명은, 자궁 경부암의 진단에 대한 정보 제공 방법 및 이를 이용한 디바이스에 관한 것이다.
자궁 경부암이란 자궁의 입구인 자궁 경부에 발생하는 여성 생식기 암을 의미할 수 있다.
한편, 종래의 자궁 경부암 진단 시스템은 여성 피검체의 질 외부에서 소정의 촬영 장치를 통하여 자궁 경부에 대한 영상이 획득되면, 이를 분석하여 그 결과를 이용하여 자궁 경부암을 진단하도록 구성된다.
이때, 자궁 경부 확대경을 이용한 종래의 진단 시스템은, 의료진이 교육과 경험에 비추어 해당 자궁 경부의 영상에 대하여 자궁 경부암의 발병 여부를 육안으로 확인하면서 판독이 수행된다.
특히, 자궁 경부 확대경을 이용한 종래의 진단 시스템에 기초한 자궁 경부암의 병기 분류는, 미세한 병변의 확인이 어려워 병기가 잘못 분류되는 경우가 생길 수 있고, 의료진 사이의 의견차가 발생할 수 있다. 나아가, 육안 판독이 필수임에 따라 분석 시간이 오래 걸린다는 한계가 있을 수 있다.
의료 서비스의 향상 등을 위하여 진단의 정확성이 더욱 요구되고 있음에 따라, 자궁 경부암을 높은 정확도로 진단하고 분류할 수 있는 새로운 진단 방법의 개발이 요구된다.
발명의 배경이 되는 기술은 본 발명에 대한 이해를 보다 용이하게 하기 위해 작성되었다. 발명의 배경이 되는 기술에 기재된 사항들이 선행기술로 존재한다고 인정하는 것으로 이해되어서는 안 된다.
전술한 한계를 극복하기 위한 방안으로, 자궁 경부에 대한 촬영 영상을 획득하고, 획득된 자궁 경부 영상을 학습한 기계 학습모델을 이용하여 피검체의 자궁 경부암 발병 여부에 관한 분석 정보를 생성하여 판정 장치들이 소개된 바 있다.
이러한 판정 장치들의 성능을 평가하기 위한 주요 요소는 학습에 사용될 영상을 정확하게 분류 정리하여 학습을 진행해야 한다는 점이다. 이때 데이터 분류가 정확하고도 명확하게 이루어지지 않는다면 자궁 경부암 발병 여부에 관한 분석 정확도가 떨어질 수 있다. 보통 자궁 경부암 질경검사 (colposcopy) 영상은 촬영 환경 및 촬영자에 따라서 일반 의료 영상과는 다르게 다양한 형태로 나타난다. 따라서 자궁 경부암의 발병 여부를 판정하는 장치들에서는 학습에 사용될 영상을 보다 명확하고도 엄격한 기준에 따라 분류하여 학습 진행할 필요가 있다.
또한 엄격한 기준에 따라 학습 데이터를 분류하여 기계학습을 수행하였더라도, 인공지능을 이용하여 비정형 및 양성 1단계, 2단계, 및 3단계의 자궁 경부암의 병기를 분류하는 것은 여전히 낮은 신뢰성에 따른 문제에 직면할 수 있다.
한편, 본 발명의 발명자들은, 인공 네트워크를 기반으로 자궁 경부암을 진단하거나 이의 병기를 분류하는 것에 있어서 신뢰성을 높이고 진단 성능을 보조할 수 있는 시스템을 개발하고자 하였다.
그 결과, 자궁 경부 영역을 결정하고, 자궁 경부암의 병기를 단계적으로 분류하는 방식을 채택함에 따라, 병기 분류 정확도가 향상될 수 있음을 인지할 수 있었다.
나아가, 본 발명의 발명자들은 자궁 경부암의 여부뿐만 아니라 병기를 높은 정확도로 분류하기 위해, 자궁 경부의 형태학적 특징을 기계학습에 적용할 수 있음을 인지할 수 있었다.
결과적으로, 본 발명의 발명자들은, 인공 네트워크 기반의 새로운 자궁 경부 진단 시스템을 개발하기에 이르렀다.
이에, 본 발명의 발명자들은 새로운 자궁 경부 진단 시스템의 도입으로 종래의 자궁 경부암 진단 시스템이 갖는 한계 및 문제점들의 보완이 가능하며 의료인의 숙련도에 관계 없이 자궁 경부 영상에 대한 객관적인 분석이 가능함을 인지할 수 있었다.
특히 본 발명의 발명자들은, 단일 모델에 대하여 한 번의 분류로 다양한 병기를 한번에 구별하도록 학습할 경우, 분류 성능이 떨어질 수 있음에 주목하였다.
그 결과, 본 발명의 발명자들은 자궁 경부 영상 내에서 자궁 경부 영역을 분할하고 이에 대하여 자궁 경부암 여부를 두 개의 클래스로 분류하고, 분류된 결과에 대하여 병기를 두 개의 클래스로 분류하도록 학습된 복수의 모델을 새로운 자궁 경부 진단 시스템에 적용함으로써, 신뢰도 높은 진단 정보를 제공하고자 하였다.
이에, 본 발명의 발명자들은 자궁 경부암 진단에 있어 세부적인 특징을 제공함에 따라, 자궁 경부암의 진단 정확도를 높이는 것을 기대할 수 있었다.
나아가 본 발명의 발명자들은, 새로운 자궁 경부암 진단 시스템을 제공함으로써, 부정확한 영상으로 인한 의료진의 자궁 경부암의 진행에 대한 잘못된 해석을 방지하고, 실제 임상 실무에 있어서 의료진의 워크 플로우를 향상시킬 수 있음을 기대할 수 있었다.
이에, 본 발명이 해결하고자 하는 과제는, 수신된 자궁 경부 영상에 대하여, 인공 신경망 네트워크에 기초한 복수의 질환 분류 모델을 이용하여 자궁 경부 영역에 대하여 자궁 경부암 여부를 결정하고 그 결과에 기초하여 병기를 분류하도록 구성된, 자궁 경부암의 진단에 대한 정보 제공 방법 및 이를 이용한 디바이스를 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 자궁 경부암의 진단에 대한 정보 제공 방법이 제공된다. 본 정보 제공 방법은, 프로세서에 의해 구현되는 자궁 경부암의 진단에 대한 정보 제공 방법으로서, 개체의 자궁 경부 부위를 포함하는 자궁 경부 영상을 수신하는 단계; 자궁 경부 영상을 입력으로 하여 자궁 경부암 음성 또는 양성을 분류하도록 학습된 인공 신경망 네트워크 (artificial neural network) 기반 제1 질환 분류 모델을 이용하여, 자궁 경부암 음성 (negative) 또는 양성 (positive) 을 결정하는 단계, 및 음성 또는 양성으로 분류된 자궁 경부 영상을 입력으로 하여 자궁 경부암의 병기를 분류하도록 학습된 인공 신경망 네트워크 기반의 제2 질환 분류 모델에 기초하여, 자궁 경부암에 대한 병기를 결정하는 단계를 포함한다.
본 발명의 특징에 따르면, 제1 분류 모델은, 자궁 경부 영상에 기초하여 음성-비정형 또는 양성을 분류하도록 학습된 모델이고, 제2 질환 분류 모델은, 음성-비정형으로 분류된 자궁 경부 영상에 대하여, 병기를 음성 또는 자궁 경부 비정형 (atypical) 으로 분류하고, 또는 양성으로 분류된 자궁 경부 영상에 대하여 병기를 양성 1단계 (positive 1), 양성 2단계 (positive) 및 양성 3단계 (positive 3) 중 적어도 하나로 분류하도록 학습된 모델일 수 있다.
본 발명의 다른 특징에 따르면, 제2 질환 분류 모델은, 음성-비정형으로 분류된 자궁 경부 영상에 대하여, 병기를 음성 또는 자궁 경부 비정형으로 분류하도록 학습된 음성-비정형 분류 모델, 및 양성으로 분류된 자궁 경부 영상에 대하여 병기를 적어도 하나로 분류하도록 학습된 양성 분류 모델을 포함할 수 있다.
본 발명의 또 다른 특징에 따르면 자궁 경부암 음성 또는 양성을 결정하는 단계는, 제1 질환 분류 모델을 이용하여 자궁 경부 영상에 대하여 제1 자궁 경부 영역을 결정하는 단계, 및 제1 자궁 경부 영역에 대하여 자궁 경부암 음성 또는 양성을 결정하는 단계를 더 포함할 수 있다. 또한, 자궁 경부암에 대한 병기를 결정하는 단계는, 제2 질환 분류 모델을 이용하여 음성 또는 양성으로 분류된 자궁 경부 영상 내에서 제2 자궁 경부 영역을 결정하는 단계, 및 제2 자궁 경부 영역에 대하여 자궁 경부암에 대한 병기를 결정하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면 제1 질환 분류 모델은, 자궁 경부 영상을 입력으로 하여 자궁 경부암 음성 또는 양성을 확률적으로 분류하도록 학습된 모델이고, 제2 질환 분류 모델은, 음성 또는 양성으로 분류된 자궁 경부 영상을 입력으로 하여 자궁 경부암의 병기를 확률적으로 분류하도록 학습된 모델일 수 있다. 이때, 상기 정보 제공 방법은 자궁 경부암 음성 또는 양성을 결정하는 단계 이후에, 또는 자궁 경부암에 대한 병기를 결정하는 단계 이후에, 제1 질환 분류 모델 또는 제2 질환 분류 모델에 의한 분류 확률이 미리 결정된 수준 이하인 경우, 자궁 경부 영상을 입력으로 하여 자궁 경부의 특징을 분류하도록 학습된 평가 모델을 이용하여 재분류를 수행하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면 재분류를 수행하는 단계는, 제1 질환 분류 모델에 의해 결정된 자궁 경부암 음성 확률 또는 자궁 경부암 양성 확률이 미리 결정된 수준 이하인 경우, 평가 모델을 이용하여 자궁 경부 영상 내에서 자궁 경부의 특징을 분류하는 단계, 및 자궁 경부 영상 내에서 자궁 경부의 특징에 기초하여 자궁 경부암 음성 또는 양성을 재결정하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면 재분류를 수행하는 단계는, 제2 질환 분류 모델에 의해 결정된 자궁 경부암의 각 병기에 대한 확률이 미리 결정된 수준 이하인 경우, 평가 모델을 이용하여 자궁 경부 영상 내에서 자궁 경부의 특징을 분류하는 단계, 및 자궁 경부 영상 내에서 자궁 경부의 특징에 기초하여 자궁 경부암에 대한 병기를 재결정하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면 평가 모델은, 자궁 경부 영상을 입력으로 하여 자궁 경부의 특징을 아세토백색상피 (aceto-white), 비정형혈 (atypical vessels), 변색 (discoloration), 미란/궤양 (erosion/ulceration), 불규칙 표면 (irregular surface), 모자이크 (mosaic) 및 적정반 (punctuation) 중 적어도 하나로 분류하도록 학습된 모델일 수 있다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 다른 실시예에 따른 자궁 경부암의 진단에 대한 정보 제공 방법이 제공된다. 본 정보 제공 방법은, 프로세서에 의해 구현되는 자궁 경부암 진단에 대한 정보 제공 방법으로, 개체의 자궁 경부 부위를 포함하는 자궁 경부 영상을 수신하는 단계, 자궁 경부 영상을 입력으로 하여 자궁 경부의 특징을 분류하도록 학습된 평가 모델을 이용하여 자궁 경부 영상 내에서 자궁 경부의 제1 특징을 분류하는 단계, 자궁 경부의 제1 특징에 기초하여 자궁 경부암 음성 또는 양성을 결정하는 단계, 평가 모델을 이용하여, 음성 또는 양성으로 분류된 자궁 경부 영상 내에서 자궁 경부의 제2 특징을 분류하는 단계, 자궁 경부의 제2 특징에 기초하여 자궁 경부암에 대한 병기를 결정하는 단계를 포함한다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 또 다른 실시예에 따른 자궁 경부암의 진단에 대한 정보 제공 방법이 제공된다. 본 정보 제공 방법은, 프로세서에 의해 구현되는 자궁 경부암 진단에 대한 정보 제공 방법으로, 개체의 자궁 경부 부위를 포함하는 자궁 경부 영상을 수신하는 단계, 자궁 경부 영상을 입력으로 하여 자궁 경부의 특징을 분류하도록 학습된 평가 모델, 및 자궁 경부 영상을 입력으로 하여 자궁 경부암 음성 또는 양성을 분류하도록 학습된 인공 신경망 네트워크 (artificial neural network) 기반 제1 질환 분류 모델을 이용하여, 자궁 경부암 음성 (negative) 또는 양성 (positive) 을 결정하는 단계, 및 음성 또는 양성으로 분류된 자궁 경부 영상을 입력으로 하여 자궁 경부암의 병기를 분류하도록 학습된 인공 신경망 네트워크 기반의 제2 질환 분류 모델, 및 평가 모델을 이용하여 자궁 경부암에 대한 병기를 결정하는 단계를 포함한다.
본 발명의 특징에 따르면 제1 질환 분류 모델은, 자궁 경부 영상을 입력으로 하여 자궁 경부암 음성 또는 양성을 확률적으로 분류하도록 학습된 모델이고, 제2 질환 분류 모델은, 음성 또는 양성으로 분류된 자궁 경부 영상을 입력으로 하여 자궁 경부암의 병기를 확률적으로 분류하도록 학습된 모델일 수 있다. 나아가, 평가 모델은, 자궁 경부 영상을 입력으로 하여 자궁 경부의 특징을 확률적으로 분류하도록 학습된 모델이고, 상기 방법은, 자궁 경부암 음성 또는 양성을 결정하는 단계 이후에, 평가 모델 및 제1 질환 분류 모델의 분류 결과가 상이할 경우, 평가 모델 또는 제1 질환 분류 모델 중 확률이 높은 모델의 분류 결과를 채택하는 단계를 포함할 수 있다. 나아가, 상기 방법은 자궁 경부암에 대한 병기를 결정하는 단계 이후에, 평가 모델 및 제2 질환 분류 모델의 분류 결과가 상이할 경우, 평가 모델 및 제2 질환 분류 모델 중 확률이 높은 모델의 분류 결과를 채택하는 단계를 포함할 수 있다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 자궁 경부암의 진단에 대한 정보 제공용 디바이스가 제공된다. 상기 디바이스는, 개체의 자궁 경부 부위를 포함하는 자궁 경부 영상을 수신하도록 구성된 통신부, 및 통신부와 통신하도록 연결된 프로세서를 포함한다. 이때, 프로세서는, 자궁 경부 영상을 입력으로 하여 자궁 경부암 음성 또는 양성을 분류하도록 학습된 인공 신경망 네트워크 (artificial neural network) 기반 제1 질환 분류 모델을 이용하여, 자궁 경부암 음성 (negative) 또는 양성 (positive) 을 결정하고, 음성 또는 양성으로 분류된 자궁 경부 영상을 입력으로 하여 자궁 경부암의 병기를 분류하도록 학습된 인공 신경망 네트워크 기반의 제2 질환 분류 모델에 기초하여, 자궁 경부암에 대한 병기를 결정하도록 구성된다.
본 발명의 특징에 따르면, 프로세서는, 제1 질환 분류 모델을 이용하여 자궁 경부 영상에 대하여 제1 자궁 경부 영역을 결정하고, 제1 자궁 경부 영역에 대하여 자궁 경부암 음성 또는 양성을 결정하고, 제2 질환 분류 모델을 이용하여 음성 또는 양성으로 분류된 자궁 경부 영상 내에서 제2 자궁 경부 영역을 결정하고, 제2 자궁 경부 영역에 대하여 자궁 경부암에 대한 병기를 결정하도록 더 구성될 수 있다.
본 발명의 다른 특징에 따르면, 상기 프로세서는, 제1 질환 분류 모델 또는 제2 질환 분류 모델에 의한 분류 확률이 미리 결정된 수준 이하인 경우, 자궁 경부 영상을 입력으로 하여 자궁 경부의 특징을 분류하도록 학습된 평가 모델을 이용하여 재분류를 수행하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 프로세서는, 제1 질환 분류 모델에 의해 결정된 자궁 경부암 음성 확률 또는 자궁 경부암 양성 확률이 미리 결정된 수준 이하인 경우, 평가 모델을 이용하여 자궁 경부 영상 내에서 자궁 경부의 특징을 분류하고, 자궁 경부 영상 내에서 자궁 경부의 특징에 기초하여 자궁 경부암 음성 또는 양성을 재결정하도록 더 구성될 수 있다.
본 발명의 특징에 따르면, 프로세서는, 제2 질환 분류 모델에 의해 결정된 자궁 경부암의 각 병기에 대한 확률이 미리 결정된 수준 이하인 경우, 평가 모델을 이용하여 자궁 경부 영상 내에서 자궁 경부의 특징을 분류하고, 자궁 경부 영상 내에서 자궁 경부의 특징에 기초하여 자궁 경부암에 대한 병기를 재결정하도록 더 구성될 수 있다.
기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명은, 딥 러닝 모델에 기초하여 자궁 경부 영상에 대하여 자궁 경부암 여부와 함께 자궁 경부암의 병기를 점진적으로 분류하도록 구성된 새로운 자궁 경부암 진단 시스템을 제공함으로써 정확한 자궁 경부암에 대한 정보를 제공할 수 있다.
이에, 본 발명은 딥 러닝 모델에 기초한 자궁 경부암 진단 시스템을 제공함에 따라, 의료인의 숙련도에 관계 없이 자궁 경부 영상에 대한 객관적인 분석이 가능할 수 있다.
특히, 본 발명은 단일의 절차에 의해 자궁 경부암의 병기를 분류하는 것이 아닌, 단계적인 절차에 걸쳐 자궁 경부암의 병기를 분류하도록 구성된 질환 분류 모델들을 이용함에 따라, 자궁 경부암 진단에 있어 자궁 경부암의 병기와 같은 세부적인 특징이 제공될 수 있다.
이에, 본 발명은 자궁 경부암의 진단 정확도를 높일 수 있다.
더욱이 본 발명은 딥 러닝 모델에 기초한 자궁 경부암 진단 시스템을 제공함으로써, 부정확한 영상으로 인한 의료진의 자궁 경부암의 진행에 대한 잘못된 해석을 방지하고, 실제 임상 실무에 있어서 의료진의 워크 플로우를 향상시킬 수 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1a는 본 발명의 일 실시예에 따른 자궁 경부암의 진단에 대한 정보 제공용 디바이스에 기초한 자궁 경부암 진단 시스템을 예시적으로 도시한 것이다.
도 1b는 본 발명의 일 실시예에 따른 자궁 경부암의 진단에 대한 정보 제공용 디바이스의 구성을 예시적으로 도시한 것이다.
도 1c는 본 발명의 일 실시예에 따른 자궁 경부암의 진단에 대한 정보 제공용 디바이스로부터 자궁 경부암에 대한 정보를 수신 받아 출력하는 의료진 디바이스의 구성을 예시적으로 도시한 것이다.
도 2a 내지 2e는 본 발명의 일 실시예에 따른 자궁 경부암의 진단에 대한 정보 제공 방법의 절차를 예시적으로 도시한 것이다.
도 3a 및 3b는 본 발명의 다른 실시예에 따른 자궁 경부암의 진단에 대한 정보 제공 방법의 절차를 예시적으로 도시한 것이다.
도 4a 및 4b는 본 발명의 또 다른 실시예에 따른 자궁 경부암의 진단에 대한 정보 제공 방법의 절차를 예시적으로 도시한 것이다.
도 5는 본 발명의 다양한 실시예에 이용되는 질환 분류 모델의 구조를 예시적으로 도시한 것이다.
도 6은 본 발명의 다양한 실시예에 이용되는 평가 모델의 구조를 예시적으로 도시한 것이다.
도 7a 내지 7f는 본 발명의 다양한 실시예에 이용되는 질환 분류 모델의 평가 결과를 도시한 것이다.
도 8a 내지 8d는 본 발명의 다양한 실시예에 이용되는 질환 분류 모델의 평가 결과를 도시한 것이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조부호가 사용될 수 있다.
본 문서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는(3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 문서에서 사용된 "제1," "제2," "첫째," 또는 "둘째," 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~ 를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 디바이스"라는 표현은, 그 디바이스가 다른 디바이스 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된)프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 디바이스에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시 예들을 배제하도록 해석될 수 없다.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.
본 명세서의 해석의 명확함을 위해, 이하에서는 본 명세서에서 사용되는 용어들을 정의하기로 한다.
본 명세서에서 사용되는 용어, "개체"는 자궁 경부암을 예측하고자 하는 모든 대상을 의미할 수 있다. 예를 들어, 개체는, 자궁 경부암 의심 개체일 수도 있다. 이때, 본 명세서 내에 개시된 개체는, 인간을 제외한 모든 포유 동물일 수 있으나, 이에 제한되는 것은 아니다.
본 명세서에서 사용되는 용어, "자궁 경부 영상"은, 자궁 경부암 질경검사 (colposcopy) 디바이스와 같은 영상 진단 디바이스로부터 획득된 자궁 경부 확대 영상을 의미할 수 있다. 이때, 자궁 경부 영상은 자궁 경부 영역을 포함하는 의료 영상일 수 있다. 바람직하게, 자궁 경부 영상은 내시경 진단 디바이스로부터 획득된, 자궁 경부 영상 일 수 있으나, 이에 제한되는 것은 아니다.
한편, 자궁 경부 영상은, 복수 개의 컷으로 구성된 동영상일 수 있다. 이때, 동영상은 본 발명의 일 실시예에 따른 자궁 경부암의 진단에 대한 정보 제공 방법에 따라 동영상의 프레임 각각에 대하여 자궁 경부 영역, 나아가 병기가 결정될 수도 있다. 그 결과, 본 발명은 영상 진단 디바이스로부터의 자궁 경부 영상의 수신과 동시에 병변의 예측을 수행하여 스트리밍 서비스를 제공할 수 있고, 실시간으로 자궁 경부암의 진단 정보를 제공할 수도 있다.
본 명세서에서 사용되는 용어, "제1 질환 분류 모델"은 자궁 경부 영상을 입력으로 하여, 자궁 경부암의 발병 여부를 출력하도록 구성된 모델일 수 있다.
보다 구체적으로 제1 질환 분류 모델은, 자궁 경부 영상 내의 자궁 경부암 영역에 대응하는 ROI (region of interest) 에 대하여 자궁 경부암 양성 또는 음성 (정상) 을 분류하도록 학습된 모델일 수 있다.
본 발명의 특징에 따르면, 제1 질환 분류 모델은 자궁 경부 영상에 기초하여 음성-비정형 또는 양성의 두 개의 클래스를 분류하도록 학습된 모델일 수 있다. 그러나, 이에 제한되는 것은 아니며 제1 질환 분류 모델은 음성, 비정형 또는 양성의 세 개의 클래스를 분류하도록 더욱 학습될 수도 있다.
본 발명의 다른 특징에 따르면, 제1 질환 분류 모델은 경부 영상을 입력으로 하여 자궁 경부암 음성 또는 양성을 확률적으로 분류하도록 학습된 모델일 수 있다.
본 발명의 특징에 따르면, 자궁 경부암 양성은 양성 1단계 (positive 1), 양성 2단계 (positive) 및 양성 3단계 (positive 3) 의 병기로 분류될 수 있다.
본 명세서에서 사용되는 용어, "제2 질환 분류 모델"은, 자궁 경부암 양성 또는 자궁 경부암 음성 (또는, 음성-비정형) 이 결정된 경우, 자궁 경부 영상을 입력으로 하여, 자궁 경부암의 병기를 분류 및 출력하도록 구성된 모델일 수 있다.
본 발명의 특징에 따르면, 제2 질환 분류 모델은 음성 또는 양성으로 분류된 자궁 경부 영상을 입력으로 하여 자궁 경부암의 병기를 확률적으로 분류하도록 학습된 모델일 수 있다.
보다 구체적으로 제2 질환 분류 모델은, 음성-비정형으로 분류된 자궁 경부 영상을 입력으로 하여, 병기를 음성 또는 자궁 경부 비정형으로 분류하도록 학습된 음성-비정형 분류 모델, 및 양성으로 분류된 자궁 경부 영상을 입력으로 하여 병기를 양성 1단계, 2단계 및 3단계 중 적어도 하나로 분류하도록 학습된 양성 분류 모델로 이루어질 수 있다.
이때, 양성 분류 모델은, 양성 1단계 또는 양성 2-3단계의 두 개의 클래스를 분류하도록 학습될 수도 있다.
즉, 본 발명의 다양한 실시예에 따른 분류 모델들은 두 개의 클래스를 분류하도록, 두 개의 출력 노드를 포함할 수 있으나, 이에 제한되는 것은 아니다. 예를 들어, 제2 분류 모델은, 자궁 경부암 음성, 비정형, 자궁 경부암 양성 1단계, 자궁 경부암 양성 2단계 및 자궁 경부암 양성 3단계의 다섯 개의 병기의 다섯 개의 클래스를 분류하도록 학습된 모델일 수도 있다.
한편, 질환 분류 모델들은, ResNet-50을 백본 (backbone) 으로 하는 RetinaNet일수 있으나, 이에 제한되는 것은 아니다. 예를 들어, 질환 분류 모델들은 VGG net, DenseNet 및, encoder-decoder structure를 갖는 FCN (Fully Convolutional Network), SegNet, DeconvNet, DeepLAB V3+, U-net와 같은 DNN (deep neural network), SqueezeNet, Alexnet, ResNet18, MobileNet-v2, GoogLeNet, Resnet-v2, Resnet50, Resnet101, Inception-v3 중 선택된 적어도 하나의 알고리즘에 기초할 수 있다. 나아가, 상기 질환 분류 모델들은 전술한 알고리즘 중 적어도 두 개의 알고리즘 모델에 기초한 앙상블 모델일 수 도 있다.
이때, 제1 질환 분류 모델 및 제2 질환 분류 모델은 본 명세서 내에서 독립된 별개의 모델로서 기술되었으나 이에 제한되어 해석되어서는 아니 된다.
예를 들어, 질환 분류 모델은 자궁 경부 영상 (특히, 자궁 경부 확대 영상) 내에서 질 벽 영역을 제외한 자궁 경부 영역만을 검출하고, 해당 영역의 병기를 분류하도록 학습된 단일의 모델로서, 병기가 결정되면서 음성-비정형 또는 양성 여부가 동시에 결정될 수도 있다.
본 명세서에서 사용되는 용어, "평가 모델"은 자궁 경부 영상을 입력으로 하여 자궁 경부의 특징을 분류하여 출력하도록 학습된 모델일 수 있다.
본 발명의 특징에 따르면, 평가 모델은 자궁 경부 영상 내에서 ROI를 결정하고, 해당 ROI에 대한 자궁 경부의 특징을 아세토백색상피 (aceto-white), 비정형혈 (atypical vessels), 변색 (discoloration), 미란/궤양 (erosion/ulceration), 불규칙 표면 (irregular surface), 모자이크 (mosaic) 및 적정반 (punctuation) 중 적어도 하나의 자궁 경부의 형태학적 특징을 분류하도록 학습된 모델일 수 있다.
즉, 평가 모델은 자궁 경부의 형태학적 특징을 분류하여 자궁 경부 영상에 대한 세밀한 판별을 수행할 수 있어 전술한 제1 질환 분류 모델 또는 제2 질환 분류 모델에 의한 오분류를 줄일 수 있다.
예를 들어, 평가 모델은 제1 질환 분류 모델 또는 제2 질환 분류 모델에 의해 예측 값이 미리 결정된 수준 이하인 모호하게 분류된 영상에 대하여 자궁 경부의 특징을 분류할 수 있다. 그 결과, 자궁 경부 영상에 대하여 자궁암 발병 여부, 나아가 병기가 높은 정확도로 분류될 수 있다.
본 명세서에서 사용되는, "미리 결정된 수준"은 특정 클래스로 분류된 확률 또는 예측 값으로서, 50 내지 70 %, 바람직하게 55 내지 65 %일 수 있으나, 이에 제한되는 것은 아니다.
본 발명의 특징에 따르면, 평가 모델은, 자궁 경부 영상 내에서 ROI를 결정하고, 해당 ROI에 대하여 음성 또는 양성의 자궁 경부암 여부를 분류하거나, 음성 또는 양성으로 분류된 자궁 경부 영상에 대하여 병기를 분류하도록 더욱 학습될 수 있다.
즉, 본 발명의 다양한 실시예에서, 평가 모델은 전술한 제1 질환 분류 모델 및/또는 제2 질환 분류 모델에 의해 분류된 영상 중 모호한 자궁 경부 영상에 대하여, 보다 높은 예측 값으로 자궁 경부암 여부를 분류하거나, 음성 또는 양성으로 분류된 자궁 경부 영상에 대하여 병기를 분류할 수도 있다.
나아가, 다양한 실시예에서, 평가 모델 단독으로 자궁 경부 영상에 대한 자궁 경부암 여부, 나아가 병기의 분류가 가능할 수 있다.
한편, 본 발명의 다양한 실시예에 따른, 평가 모델은, U-net일 수 있으나, 이에 제한되는 것은 아니다. 예를 들어, 평가 모델은 VGG net, R, DenseNet 및, encoder-decoder structure를 갖는 FCN (Fully Convolutional Network), SegNet, DeconvNet, DeepLAB V3+, SqueezeNet, Alexnet, ResNet18, MobileNet-v2, GoogLeNet, Resnet-v2, Resnet50, Resnet101, Inception-v3 중 선택된 적어도 하나의 알고리즘에 기초할 수 있다. 나아가, 상기 질환 분류 모델들은 전술한 알고리즘 중 적어도 두 개의 알고리즘 모델에 기초한 앙상블 모델일 수도 있다.
이하에서는 도 1a 내지 1c를 참조하여, 본 발명의 일 실시예에 따른 자궁 경부암의 진단에 대한 정보 제공용 디바이스에 기초한 자궁 경부암 진단 시스템을 설명한다.
도 1a는 본 발명의 일 실시예에 따른 자궁 경부암의 진단에 대한 정보 제공용 디바이스에 기초한 자궁 경부암 진단 시스템을 예시적으로 도시한 것이다. 도 1b는 본 발명의 일 실시예에 따른 자궁 경부암의 진단에 대한 정보 제공용 디바이스의 구성을 예시적으로 도시한 것이다. 도 1c는 본 발명의 일 실시예에 따른 자궁 경부암의 진단에 대한 정보 제공용 디바이스로부터 자궁 경부암에 대한 정보를 수신 받아 출력하는 의료진 디바이스의 구성을 예시적으로 도시한 것이다.
먼저, 도 1a을 참조하면, 자궁 경부암 진단 시스템 (1000) 은, 개체에 대한 자궁 경부 영상을 기초로 자궁 경부암과 관련된 정보를 제공하도록 구성된 시스템일 수 있다. 이때, 자궁 경부암 진단 시스템 (1000) 은, 자궁 경부 영상에 기초하여, 개체에 대한 자궁 경부암의 발병 여부, 나아가 병기를 결정하도록 구성된 자궁 경부암의 진단에 대한 정보 제공용 디바이스 (100), 자궁 경부암 진단에 대한 정보를 수신하는 의료진 디바이스 (200) 및 자궁 경부 영상을 제공하는 영상 진단 디바이스 (300) 로 구성될 수 있다.
먼저, 자궁 경부암의 진단에 대한 정보 제공용 디바이스 (100) 는 영상 진단 디바이스 (300) 로부터 제공된 사용자의 자궁 경부 영상을 기초로 자궁 경부암의 발병 여부, 나아가 병기를 진단하기 위해 다양한 연산을 수행하는 범용 컴퓨터, 랩탑, 및/또는 데이터 서버 등을 포함할 수 있다. 이때, 의료진 디바이스 (200) 는 자궁 경부암 진단과 연관된 웹 페이지를 제공하는 웹 서버 (web server) 또는 모바일 웹 사이트를 제공하는 모바일 웹 서버 (mobile web server) 에 액세스하기 위한 디바이스일 수 있으나, 이에 한정되지 않는다.
보다 구체적으로, 자궁 경부암의 진단에 대한 정보 제공용 디바이스 (100) 는 영상 진단 디바이스 (300) 로부터 자궁 경부 영상을 수신하고, 수신된 자궁 경부 영상으로부터 자궁 경부암의 발병 여부와 연관된 정보를 제공할 수 있다. 이때, 영상 진단 디바이스 (300) 는, 복수의 질환 분류 모델을 이용할 수 있고, 각각의 모델에 기초하여 단계적인 (stepwise) 평가를 진행할 수 있다.
자궁 경부암의 진단에 대한 정보 제공용 디바이스 (100) 는 개체에 대한 자궁 경부암의 발병과 연관된 데이터를 의료진 디바이스 (200) 로 제공할 수 있다.
이와 같이 자궁 경부암의 진단에 대한 정보 제공용 디바이스 (100) 로부터 제공되는 데이터는 의료진 디바이스 (200) 에 설치된 웹 브라우저를 통해 웹 페이지로 제공되거나, 어플리케이션, 또는 프로그램 형태로 제공될 수 있다. 다양한 실시예에서 이러한 데이터는 클라이언트-서버 환경에서 플랫폼에 포함되는 형태로 제공될 수 있다.
다음으로, 의료진 디바이스 (200) 는 개체에 대한 자궁 경부암의 발병에 대한 정보 제공을 요청하고 정보 데이터를 나타내기 위한 사용자 인터페이스를 제공하는 전자 디바이스로서, 스마트폰, 태블릿 PC (Personal Computer), 노트북 및/또는 PC 등 중 적어도 하나를 포함할 수 있다.
의료진 디바이스 (200) 는 자궁 경부암의 진단에 대한 정보 제공용 디바이스 (100) 로부터 개체에 대한 자궁 경부암의 발병, 나아가 병기에 관한 정보를 수신하고, 수신된 결과를 표시부를 통해 표시할 수 있다. 여기서, 정보는, 질환 분류 모델들에 의해 병기를 분류하는 과정에서 예측된 ROI, 병기 (예를 들어, 음성, 비정형, 양성 1단계, 2단계 및 3단계), 나아가 자궁 경부의 특징 (아세토백색상피 (aceto-white), 비정형혈 (atypical vessels), 변색 (discoloration), 미란/궤양 (erosion/ulceration), 불규칙 표면 (irregular surface), 모자이크 (mosaic) 및 적정반 (punctuation) ) 등을 포함할 수 있다.
다음으로, 도 1b를 참조하여, 본 발명의 자궁 경부암의 진단에 대한 정보 제공용 디바이스 (100) 의 구성 요소에 대하여 구체적으로 설명한다.
도 1b를 참조하면, 자궁 경부암의 진단에 대한 정보 제공용 디바이스 (100) 는 저장부 (110), 통신부 (120) 및 프로세서 (130) 를 포함한다.
먼저, 저장부 (110) 는 개체에 대한 자궁 경부암의 발병 여부를 진단하는 중에 생성된 다양한 데이터를 저장할 수 있다. 예를 들어, 저장부 (110) 는 제1 질환 분류 모델, 제2 질환 분류 모델 및/또는 평가 모델의 분류 과정에서 분류에 기여도가 높거나 자궁 경부 영역으로 결정된 ROI를 포함하는 영상을 저장하고, 병기가 분류된 영상 및/또는 자궁 경부의 특징이 분류된 영상을 저장하도록 구성될 수 있다. 다양한 실시예에서 저장부 (110) 는 플래시 메모리 타입, 하드디스크 타입, 멀티미디어 카드 마이크로 타입, 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, SRAM, 롬, EEPROM, PROM, 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
통신부 (120) 는 자궁 경부암의 진단에 대한 정보 제공용 디바이스 (100) 가 외부 디바이스와 통신이 가능하도록 연결한다. 통신부 (120) 는 유/무선 통신을 이용하여 의료진 디바이스 (200), 나아가 영상 진단 디바이스 (300) 와 연결되어 다양한 데이터를 송수신할 수 있다. 구체적으로, 통신부 (120) 는 영상 진단 디바이스 (300) 로부터 개체의 자궁 경부 영상을 수신할 수 있다. 예를 들어, 통신부 (120) 는 영상 진단 디바이스 (300) 로부터, 개체 대한 자궁 경부 확대경 검사 (동)영상을 수신할 수 있다. 나아가, 통신부 (120) 는 의료진 디바이스 (200) 로 정보를 전달할 수 있다.
프로세서 (130) 는 저장부 (110) 및 통신부 (120) 와 동작 가능하게 연결되며, 개체에 대한 자궁 경부 영상을 분석하기 위한 다양한 명령들을 수행할 수 있다.
구체적으로, 프로세서 (130) 는 통신부 (120) 를 통해 수신된 자궁 경부 영상에 기초하여 자궁 경부암의 발병 여부 나아가 병기를 분류하도록 구성될 수 있다.
이때, 프로세서 (130) 는 자궁 경부 영상에 기초하여 자궁 경부암의 발병 여부를 결정하도록 구성된 제1 질환 분류 모델, 및/또는 자궁 경부 영상에 대한 자궁 경부암의 병기를 분류하도록 구성된 제2 질환 분류 모델, 및/또는 자궁 경부암의 특징을 분류하도록 구성된 평가 모델에 기초할 수 있다.
한편, 자궁 경부암의 진단에 대한 정보 제공용 디바이스 (100) 는 하드웨어적으로 설계된 것이 제한되는 것은 아니다. 예를 들어, 자궁 경부암의 진단에 대한 정보 제공용 디바이스 (100) 의 프로세서 (130) 는 소프트웨어로 구현될 수 있다. 이에, 자궁 경부암에 대한 정보는 상기 소프트웨어가 연결된 영상 진단 디바이스 (300) 의 표시부를 통해 표시될 수도 있다.
한편, 도 1c를 함께 참조하면, 의료진 디바이스 (200) 는 통신부 (210), 표시부 (220), 저장부 (230) 및 프로세서 (240) 를 포함한다.
통신부 (210) 는 의료진 디바이스 (200) 가 외부 디바이스와 통신이 가능하도록 구성될 수 있다. 통신부 (210) 는 유/무선 통신을 이용하여 자궁 경부암의 진단에 대한 정보 제공용 디바이스 (100) 와 연결되어 자궁 경부암의 진단과 연관된 다양한 데이터를 송신할 수 있다. 구체적으로, 통신부 (210) 는 자궁 경부암의 진단에 대한 정보 제공용 디바이스 (100) 로부터 개체의 자궁 경부암의 진단과 연관된 정보, 예를 들어 개체의 자궁 경부암 발병 여부 (음성-비정형 또는 양성) 를 결정하거나, 자궁 경부암의 병기를 수신할 수 있다. 한편, 통신부 (210) 는 병기의 예측 과정에서 결정되는 관심 영역 등의 시각적 정보를 수신할 수도 있다. 예를 들어 상기 정보들은 자궁 경부 영상에 대하여 표시되어 제공될 수 있으나, 이에 제한되는 것은 아니다.
표시부 (220) 는 개체의 자궁 경부암의 진단과 연관된 정보를 나타내기 위한 다양한 인터페이스 화면을 표시할 수 있다. 예를 들어, 표시부 (220) 는 개체가 정상 (음성 또는 비정형) 인지, 자궁 경부암 양성인지를 확률적으로 표시하여 제공할 수 있고, 병기가 결정된 경우 이를 자궁 경부 영상과 함께 표시하여 제공할 수도 있다.
다양한 실시예에서 표시부 (220) 는 터치스크린을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치 (touch), 제스처 (gesture), 근접, 드래그 (drag), 스와이프 (swipe) 또는 호버링 (hovering) 입력 등을 수신할 수 있다.
저장부 (230) 는 결과 데이터를 나타내기 위한 사용자 인터페이스를 제공하기 위해 사용되는 다양한 데이터를 저장할 수 있다. 다양한 실시예에서 저장부 (230) 는 플래시 메모리 타입 (flash memory type), 하드디스크 타입 (hard disk type), 멀티미디어 카드 마이크로 타입 (multimedia card micro type), 카드 타입의 메모리 (예를 들어 SD 또는 XD 메모리 등), 램 (Random Access Memory, RAM), SRAM (Static Random Access Memory), 롬 (Read-Only Memory, ROM), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
프로세서 (240) 는 통신부 (210), 표시부 (220) 및 저장부 (230) 와 동작 가능하게 연결되며, 결과 데이터를 나타내기 위한 사용자 인터페이스를 제공하기 위한 다양한 명령들을 수행할 수 있다.
이하에서는, 도 2a 내지 2e를 참조하여, 본 발명의 일 실시예에 따른 자궁 경부암의 진단에 대한 정보 제공 방법을 구체적으로 설명한다. 도 2a 내지 2e는 본 발명의 일 실시예에 따른 자궁 경부암의 진단에 대한 정보 제공 방법의 절차를 예시적으로 도시한 것이다.
먼저, 도 2a를 참조하면, 본 발명의 일 실시예에 따른 자궁 경부암 진단의 절차는 다음과 같다. 먼저, 개체에 대한 자궁 경부 영상이 수신된다 (S210). 그 다음, 제1 질환 분류 모델에 의해 자궁 경부 영상에 기초하여 개체의 자궁 경부암 발병 여부가 결정된다 (S220). 그 다음, 제2 질환 분류 모델에 의해 자궁 경부암에 대한 병기가 결정된다 (S230).
보다 구체적으로, 자궁 경부 영상이 수신되는 단계 (S210) 에서 자궁 경부 확대경 검사 영상과 같은 자궁 경부 영상이 수신될 수 있다. 이때, 자궁 경부 영상은 자궁 경부 영역, 나아가 병변 의심 영역을 포함할 수 있다.
본 발명의 일 실시예에 따르면, 자궁 경부 영상이 수신되는 단계 (S210) 에서, 영상 진단 디바이스가 구동되어 실시간으로 촬영된 자궁 경부 영상이 획득될 수 있다.
다음으로, 자궁 경부암의 발병 여부가 결정되는 단계 (S220) 에서, 자궁 경부 영상을 입력으로 하여 양성 또는 음성의 자궁 경부암의 발병 여부 출력하도록 구성된 제1 질환 분류 모델이 이용될 수 있다.
본 발명의 특징에 따르면, 자궁 경부암의 발병 여부가 결정되는 단계 (S220) 에서, 제1 질환 분류 모델은 자궁 경부 영상을 입력으로 하여 자궁 경부 영역을 결정하고, 이를 기초하여 음성-비정형 또는 양성의 두 개의 클래스를 분류하도록 학습된 모델일 수 있다.
본 발명의 다른 특징에 따르면, 자궁 경부암의 발병 여부가 결정되는 단계 (S220) 에서, 제1 질환 분류 모델에 의해 자궁 경부 영상에 대하여 제1 자궁 경부 영역이 결정되고, 제1 자궁 경부 영역에 대하여 자궁 경부암 음성 또는 양성이 결정될 수 있다.
본 발명의 또 다른 특징에 따르면, 자궁 경부암의 발병 여부가 결정되는 단계 (S220) 에서, 제1 질환 분류 모델은, 자궁 경부 영상을 입력으로 하여 자궁 경부암 음성 또는 양성을 확률적으로 분류하도록 학습된 모델일 수 있다.
그 다음, 자궁 경부암에 대한 병기가 결정되는 단계 (S230) 가 수행된다.
본 발명의 특징에 따르면, 자궁 경부암에 대한 병기가 결정되는 단계 (S230) 에서, 제2 질환 분류 모델은 음성-비정형으로 분류된 자궁 경부 영상에 대하여 병기를 음성 또는 자궁 경부 비정형으로 분류거나, 양성으로 분류된 자궁 경부 영상에 대하여 병기를 양성 1단계 (positive 1), 양성 2단계 (positive) 및 양성 3단계 (positive 3) 중 적어도 하나로 분류하도록 구성된 모델일 수 있다.
본 발명의 다른 특징에 따르면, 제2 질환 분류 모델은, 음성-비정형으로 분류된 자궁 경부 영상에 대하여, 병기를 음성 또는 자궁 경부 비정형으로 분류하도록 학습된 음성-비정형 분류 모델, 및 양성으로 분류된 자궁 경부 영상에 대하여 병기를 양성 1단계 또는 양성 2-3 단계로 분류하도록 학습된 양성 분류 모델로 이루어질 수 있다. 즉, 제2 질환 분류 모델은 입력된 영상을 2 개의 클래스로 분류하도록 2 개의 출력 노드를 가질 수 있으나, 이에 제한되는 것은 아니다.
본 발명의 다른 특징에 따르면, 자궁 경부암에 대한 병기가 결정되는 단계 (S230) 에서, 제2 질환 분류 모델에 의해 음성 또는 양성으로 분류된 자궁 경부 영상 내에서 제2 자궁 경부 영역이 결정되고, 제2 자궁 경부 영역에 대하여 자궁 경부암에 대한 병기가 결정될 수 있다.
본 발명의 또 다른 특징에 따르면, 자궁 경부암에 대한 병기가 결정되는 단계 (S230) 에서, 제2 질환 분류 모델은 음성 또는 양성으로 분류된 자궁 경부 영상을 입력으로 하여 자궁 경부암의 병기를 확률적으로 분류하도록 학습된 모델일 수 있다.
예를 들어, 도 2b를 함께 참조하면, 자궁 경부 영상이 수신되는 단계 (S210) 를 통해 수신된 자궁 경부 영상 (412) 이, 자궁 경부암의 발병 여부가 결정되는 단계 (S220) 에서 제1 질환 분류 모델 (420) 에 입력된다. 제1 질환 분류 모델 (420) 은, 학습용 자궁 경부 영상을 입력으로 하여 자궁 경부 영역 (4222 및 4242) 을 결정하고, 이에 대하여 음성-비정형 또는 양성을 분류하도록 학습된 모델일 수 있다. 이때, 도 2c를 함께 참조하면, 제1 질환 분류 모델은 음성 (도 2c의 (a)) 과 비정형 (도 2c의 (b)) 영상에 대하여 '음성-비정형'으로 분류하고, 양성 1단계 (도 2c의 (c)), 양성 2단계 (도 2c의 (d)) 및 양성 3단계 (도 2c의 (e)) 의 영상에 대하여 '양성'으로 분류하도록 구성될 수 있다.
다시 도 2b를 참조하면, 제1 질환 분류 모델 (420) 에 의해 음성-비정형 또는 양성으로 영상 분류 결과가 출력된다. 그 다음, 음성-비정형으로 분류된 영상 (422) 또는 양성으로 분류된 영상 (424) 는 자궁 경부암에 대한 병기가 결정되는 단계 (S230) 에서, 제2 질환 분류 모델 (430) 에 입력된다. 보다 구체적으로, 음성-비정형으로 분류된 영상 (422) (또는 자궁 경부 영상 (412)) 은 음성-비정형 분류 모델 (430a) 에 입력되고, 자궁 경부 영역 (미도시) 에 대하여 음성 (432a) 또는 비정형 (432b) 의 분류 결과가 출력된다. 나아가, 양성으로 분류된 영상 (424) 은 양성 분류 모델 (430b) 에 입력되고 자궁 경부 영역 (미도시) 에 대하여 양성 1단계 (434a) 또는 양성 2-3 단계 (434b) 의 분류 결과가 출력된다.
즉, 본 발명의 일 실시예에 따른 정보 제공 방법에 따라, 제1 질환 분류 모델 및 제2 질환 분류 모델에 기초하여 단계적인 (stepwise) 자궁 경부암의 병기의 결정이 가능할 수 있다.
한편, 자궁 경부암의 발병 여부가 결정되는 단계 (S220) 이후에, 또는 자궁 경부암에 대한 병기가 결정되는 단계 (S230) 이후에, 제1 질환 분류 모델 또는 제2 질환 분류 모델에 의한 분류 확률이 미리 결정된 수준 이하인 경우, 평가 모델에 의한 재분류가 더욱 수행될 수 있다.
이때, 평가 모델은 자궁 경부 영상을 입력으로 하여 자궁 경부의 특징을 아세토백색상피 (aceto-white), 비정형혈 (atypical vessels), 변색 (discoloration), 미란/궤양 (erosion/ulceration), 불규칙 표면 (irregular surface), 모자이크 (mosaic) 및 적정반 (punctuation) 중 적어도 하나의 자궁 경부의 형태학적 특징을 분류하도록 학습된 모델일 수 있다.
본 발명의 특징에 따르면, 재분류가 수행되는 단계에서, 제1 질환 분류 모델에 의해 결정된 자궁 경부암 음성 확률 또는 자궁 경부암 양성 확률이 미리 결정된 수준 이하인 경우, 평가 모델에 의해 자궁 경부 영상 내에서 자궁 경부의 특징이 분류되고, 자궁 경부의 특징에 기초하여 자궁 경부암 음성 또는 양성이 재결정될 수 있다.
본 발명의 다른 특징에 따르면, 재분류가 수행되는 단계에서, 제2 질환 분류 모델에 의해 결정된 자궁 경부암의 각 병기에 대한 확률이 미리 결정된 수준 이하인 경우, 평가 모델에 의해 자궁 경부의 특징이 분류되고, 자궁 경부 영상 내에서 자궁 경부의 특징에 기초하여 자궁 경부암에 대한 병기가 재결정될 수 있다.
예를 들어, 도 2d를 함께 참조하면, 제1 질환 분류 모델 (420) 에 의해 자궁 경부 영상 (412) 에 대하여 결정된 음성-비정형일 확률 또는 양성일 확률, 즉 예측 값이 60 % 미만일 경우, 평가 모델 (520) 에 자궁 경부 영상 (412) 이 입력될 수 있다. 이때, 평가 모델 (520) 은 자궁 경부 영상 (412) 내의 의심 영역에 대하여 자궁 경부암의 특징을 분류하고, 하나의 특징을 결정하도록 학습된 모델일 수 있다. 보다 구체적으로, 도 2e를 함께 참조하면, 평가 모델 (520) 은 학습용 자궁 경부 영상에 대하여 아세토백색상피 (도 2e의 (a)), 비정형혈 (도 2e의 (b)), 변색 (도 2e의 (c)), 미란/궤양 (도 2e의 (d)), 불규칙 표면 (도 2e의 (e)), 모자이크 (도 2e의 (f)) 및 적정반 (도 2e의 (g)) 중 적어도 하나의 자궁 경부의 형태학적 특징을 분류하도록 학습될 수 있다.
다시 도 2d를 참조하면, 자궁 경부 영상 (412) 은 분류된 특징에 따라 음성-비정형 또는 양성으로 재분류될 수 있다. 즉, 평가 모델 (520) 에 의해 모호한 자궁 경부 영상 (412) 에 대한 정확도 높은 판별이 수행될 수 있어, 오분류율이 낮아질 수 있다. 선택적으로, 평가 모델 (520) 은 자궁 경부 영상 (412) 에 대하여 음성-비정형일 확률 또는 양성일 확률을 결정하고 이를 기초로 음성-비정형 또는 양성을 분류하도록 더욱 학습된 모델일 수도 있다.
그 다음, 음성-비정형으로 분류된 영상 (422) 또는 양성으로 분류된 영상 (424) 이 병기 결정을 위해 제2 분류 모델 (430) 에 입력되었을 때, 예측 값이 60 % 미만일 경우 평가 모델 (520) 에 입력되어 병기에 대한 재분류가 수행될 수 있다. 이때, 평가 모델 (520) 은 음성-비정형으로 분류된 영상 (422) 또는 양성으로 분류된 영상 (424) 내의 의심 영역에 대하여 자궁 경부암의 특징을 분류하고, 하나의 특징을 결정한다. 그 결과, 음성-비정형으로 분류된 영상 (422) 은 분류된 특징에 따라 음성 또는 비정형으로 보다 높은 확률로 분류될 수 있다. 나아가, 양성으로 분류된 영상 (424) 은 분류된 특징에 따라 양성 1단계 또는 양성 2-3단계로 보다 높은 확률로 분류될 수 있다. 즉, 평가 모델 (520) 에 의해 정확도 높은 판별이 수행될 수 있어, 제1 질환 분류 모델 (410) 및 제2 질환 분류 모델 (420) 에 의한 오분류율이 낮아질 수 있다.
이상의 일 실시예에 따른 자궁 경부암의 진단에 대한 정보 제공 방법에 따라, 본 발명은 부정확한 측정으로 인한 의료진의 자궁 경부암의 진단에 대한 잘못된 해석을 방지하고, 실제 임상 실무에 있어서 의료진의 워크 플로우를 향상시킬 수 있다. 나아가, 의료진은 평가 결과에 따른 적절한 치료 방법을 빠르게 선택할 수 있어, 본 발명의 자궁 경부암 진단 시스템은 조기 치료 및 좋은 치료 예후에 기여할 수 있는 효과가 있다.
이하에서는, 도 3a 및 3b를 참조하여, 본 발명의 다른 실시예에 따른 자궁 경부암의 진단에 대한 정보 제공 방법을 구체적으로 설명한다. 도 3a 및 3b는 본 발명의 다른 실시예에 따른 자궁 경부암의 진단에 대한 정보 제공 방법의 절차를 예시적으로 도시한 것이다.
먼저, 도 3a를 참조하면, 본 발명의 다른 실시예에 따른 자궁 경부암 진단의 절차는 다음과 같다. 먼저, 개체에 대한 자궁 경부 영상이 수신된다 (S310). 그 다음, 평가 모델에 의해 자궁 경부의 제1 특징이 분류되고 (S320), 자궁 경부암 발병 여부가 결정된다 (S330). 그 다음, 평가 모델에 의해 자궁 경부의 제2 특징이 분류되고 (S340), 자궁 경부암에 대한 병기가 결정된다 (S350).
즉, 본 발명의 다른 실시예에 따른 자궁 경부암의 진단에 대한 정보 제공 방법에서 평가 모델에 의해 자궁 경부암에 대한 발병 여부, 나아가 병기가 결정될 수도 있다.
예를 들어, 도 3b를 참조하면, 자궁 경부 영상이 수신되는 단계 (S310) 에 의해 수신된 자궁 경부 영상 (412) 이, 제1 특징이 분류되는 단계 (S320) 에서 평가 모델 (520) 에 입력될 수 있다. 그 결과, 평가 모델 (520) 에 의해 자궁 경부 영상 (412) 내의 의심 영역은 아세토백색상피, 비정형혈, 변색, 미란/궤양, 불규칙 표면, 모자이크 및 적정반 중 적어도 하나의 자궁 경부의 형태학적 특성에 따라 제1 특징이 분류된다. 그 다음, 자궁 경부암 발병 여부가 결정되는 단계 (S330) 에서, 자궁 경부 영상 (412) 은 분류된 특징에 따라 음성-비정형 또는 양성으로 분류될 수 있다. 이때, 선택적으로, 평가 모델 (520) 은 자궁 경부 영상 (412) 에 대하여 음성-비정형일 확률 또는 양성일 확률을 결정하고 이를 기초로 음성-비정형 또는 양성을 분류하도록 더욱 학습된 모델일 수도 있다. 즉, 제1 특징이 분류되는 단계 (S320) 가 생략되고, 평가 모델 기반의 자궁 경부암 발병 여부가 결정되는 단계 (S330) 가 수행될 수도 있다.
그 다음, 제2 특징이 분류되는 단계 (S340) 에서, 음성-비정형으로 분류된 영상 (422) 또는 양성으로 분류된 영상 (424) 이 대응하는 평가 모델 (520) 에 입력되고, 음성-비정형으로 분류된 영상 (422) 또는 양성으로 분류된 영상 (424) 내의 의심 영역의 자궁 경부의 형태학적 특성에 따라 제2 특징이 분류된다. 그 다음, 자궁 경부암에 대한 병기가 결정되는 단계 (S350) 에서, 제2 특징에 기초하여 병기에 대한 분류가 수행될 수 있다. 그 결과, 음성-비정형으로 분류된 영상 (422) 은 제2 특징에 따라 음성 또는 비정형으로 분류될 수 있다. 나아가, 양성으로 분류된 영상 (424) 은 분류된 제2 특징에 따라 양성 1단계 또는 양성 2-3단계로 분류될 수 있다.
즉, 본 발명의 다른 실시예에 따른 정보 제공 방법에서, 평가 모델 (520) 만으로 자궁 경부의 진단에 대한 정보 제공이 가능할 수 있다.
이하에서는, 도 4a 및 4b를 참조하여, 본 발명의 또 다른 실시예에 따른 자궁 경부암의 진단에 대한 정보 제공 방법을 구체적으로 설명한다. 도 4a 및 4b는 본 발명의 또 다른 실시예에 따른 자궁 경부암의 진단에 대한 정보 제공 방법의 절차를 예시적으로 도시한 것이다.
먼저, 도 4a를 참조하면, 본 발명의 또 다른 실시예에 따른 자궁 경부암 진단의 절차는 다음과 같다. 먼저, 개체에 대한 자궁 경부 영상이 수신된다 (S410). 그 다음, 평가 모델 및 제1 질환 분류 모델에 의해 자궁 경부암 발병 여부가 결정된다 (S420). 그 다음, 평가 모델 및 제2 질환 분류 모델에 의해 자궁 경부암에 대한 병기가 결정된다 (S430).
즉, 본 발명의 또 다른 실시예에 따른 자궁 경부암의 진단에 대한 정보 제공 방법에서 평가 모델 및/또는 질환 분류 모델에 의해 자궁 경부암에 대한 발병 여부, 나아가 병기가 결정될 수도 있다.
이때, 평가 모델은 자궁 경부 영상에 대하여 음성-비정형일 확률 또는 양성일 확률을 결정하고 이를 기초로 음성-비정형 또는 양성을 분류하도록 학습된 모델일 수 있다. 나아가, 평가 모델은 자궁 경부 영상에 대하여 음성 또는 비정형을 분류하도록 학습되거나, 자궁 경부 영상에 대하여 양성 1단계 또는 양성 2-3 단계를 분류하도록 더욱 학습된 모델일 수 있다.
예를 들어, 도 4b를 참조하면, 자궁 경부 영상이 수신되는 단계 (S410) 에 의해 수신된 자궁 경부 영상 (412) 이, 자궁 경부암 발병 여부가 결정되는 단계 (S420) 에서 평가 모델 (520) 및 제1 질환 분류 모델 (420) 에 동시에 입력될 수 있다. 그 결과, 평가 모델 (520) 및 제1 질환 분류 모델 (420) 에 의해 자궁 경부 영상 (412) 은 '음성-비정형' 또는 '양성'으로 확률적으로 분류될 수 있다. 보다 구체적으로, 평가 모델 (520) 에 의해, 자궁 경부 영상 (412) 내의 자궁 경부 영역에 대하여 음성-비정형 확률 (90 %), 양성 확률 (10 %) 이 결정되고, 제1 질환 분류 모델 (420) 에 의해, 자궁 경부 영역에 대하여 음성-비정형 (98 %) 및 양성 (2 %) 가 결정될 수 있다. 즉, 두 개의 모델에 의해 자궁 경부 영상 (412) 은 '음성-비정형'으로 결정될 수 있다.
그 다음, 자궁 경부암에 대한 병기가 결정되는 단계 (S430) 에서 음성-비정형으로 분류된 영상 (424) 은 평가 모델 (520) 및 제2 질환 분류 모델 (420) 에 동시에 입력될 수 있다. 그 결과, 평가 모델 (520) 및 제12질환 분류 모델 (430) 에 의해 음성-비정형으로 분류된 영상 (424) 은 '음성' 또는 '비정형'으로 확률적으로 분류될 수 있다. 보다 구체적으로, 평가 모델 (520) 에 의해, 음성-비정형으로 분류된 영상 (424) 은 내의 자궁 경부 영역에 대하여 음성 확률 (97 %), 비정형 확률 (3 %) 이 결정되고, 제2 질환 분류 모델 (430) 에 의해, 자궁 경부 영역에 대하여 음성 (49 %) 및 비정형 (51 %) 가 결정될 수 있다. 즉, 두 개의 모델에 의해 자궁 경부 영상이 서로 다른 클래스로 분류될 수 있다.
이때, 선택적으로, 자궁 경부암에 대한 병기가 결정되는 단계 (S430) 에서 분류 확률이 가장 높은, 평가 모델 (520) 의 음성 확률 (97 %) 에 따라, 음성-비정형으로 분류된 영상 (424) 은 최종적으로 '음성'으로 결정될 수 있다.
즉, 본 발명의 또 다른 실시예에 따른 자궁 경부암의 진단에 대한 정보 제공 방법에서 평가 모델 및/또는 질환 분류 모델의 예측 값에 따라, 분류 결과는 선택적으로 채택될 수 있다.
이하에서는, 도 5를 참조하여 본 발명의 다양한 실시예에 적용되는 질환 분류 모델의 구조에 대하여 설명한다. 도 5는 본 발명의 다양한 실시예에 이용되는 질환 분류 모델의 구조를 예시적으로 도시한 것이다.
이때, 본 발명의 다양한 실시예에 이용되는 제1 질환 분류 모델 및 제2 질환 분류 모델은 ResNet50에 기초할 수 있다. 보다 구체적으로, 제1 질환 분류 모델 및 제2 질환 분류 모델은 ResNet50을 백본으로하는 Retina net 구조를 가질 수 있다.
보다 구체적으로, 자궁 경부 영상이 입력되면, ResNet50을 백본에 입력되고, 특징 피라미드 맵 (feature pyramid net) 에서 다중-스케일의 컨볼루션 특징이 추출된다. 그 다음, 클래스 분류를 위한 클래스 서브넷 (class subnet) 및 앵커 박스 (anchor box) 를 결정하기 위한 박스 서브넷 (box subnet) 으로 구성된 서브넷으로 이동하여 자궁 경부 영상 내에서 자궁 경부 영역에 대한 자궁 경부암 여부 (예를 들어, 양성 또는 비정형-음성), 자궁 경부암 병기 (비정형 또는 음성, 양성 1단계 또는 양성2-3단계) 가 결정된다.
한편, 질환 분류 모델의 학습을 위한 하이퍼 파라미터는 배치 크기 (batch size) 가 1, 에폭 (epochs) 이 50, 학습률이 0.0001로 설정되고, 영상의 크기가 256*256으로 설정될 수 있으나, 파라미터의 값은 이에 제한되는 것이 아니다.
나아가, 질환 분류 모델들은 VGG net, R, DenseNet 및, encoder-decoder structure를 갖는 FCN (Fully Convolutional Network), SegNet, DeconvNet, DeepLAB V3+, U-net와 같은 DNN (deep neural network), SqueezeNet, Alexnet, ResNet18, MobileNet-v2, GoogLeNet, Resnet-v2, Resnet101, Inception-v3 중 선택된 적어도 하나의 알고리즘에 기초할 수 있다. 또한, 상기 질환 분류 모델들은 전술한 알고리즘 중 적어도 두 개의 알고리즘 모델에 기초한 앙상블 모델일 수 도 있다.
이하에서는, 도 6을 참조하여 본 발명의 다양한 실시예에 적용되는 평가 모델의 구조에 대하여 설명한다. 도 6은 본 발명의 다양한 실시예에 이용되는 평가 모델의 구조를 예시적으로 도시한 것이다.
도 6를 참조하면, 본 발명의 본 발명의 다양한 실시예에서 이용되는 평가 모델은, U-net 구조를 가질 수 있다. 도 6의 U 자 형태의 평가 모델에서 왼쪽 영역은 컨볼루션 (convolutional) 층과 지역적 최대값을 뽑아 특징으로 사용하는 맥스 풀링 (max pooling) 층으로 구성된다. 최하단 영역에서 자궁 경부 영상은 전역적 특징으로 표현될 수 있다. 나아가, 평가 모델의 오른쪽 영역에서는, 최하단 영역에서 얻어졌던 특징들이 상단으로 올라가면서 업 샘플링 (upsampling) 된다. 결과적으로, 평가 모델에 의해 자궁 경부 영역에서, 아세토백색상피, 비정형혈, 변색, 미란/궤양, 불규칙 표면, 모자이크 및 적정반 중 적어도 하나의 자궁 경부의 형태학적 특성에 대한 영역이 분할되어 결정될 수 있다.
한편, U 형태의 평가 모델에서 왼쪽에서 오른쪽으로 연결된 선 (concatenate) 을 통해, 왼쪽 영역의 특징이 오른쪽 영역의 동일 레벨의 위치에 복사하여 붙여질 수 있다. 이를 통해, 자궁 경부암의 특징 분류 동안, 입력된 영상이 작아짐에 따라 유발되는 손실된 특징들이 보정될 수 있고, 복사된 특징들은 최하단 영역으로부터 전달되는 특징과 함께 이용될 수 있다.
한편, 평가 모델의 학습을 위한 하이퍼 파라미터는 배치 크기가 1로 설정되며, 에폭이 500, 학습률이 0.0001로 설정되고, 영상의 크기가 256*256으로 설정될 수 있다. 나아가, Tversky 손실 (Tversky loss) 및 다이스 계수 (Dice coefficient) 가 학습에 적용될 수 있다. 그러나, 학습 파라미터의 값은 이에 제한되는 것이 아니다.
나아가, 평가 모델은 VGG net, R, DenseNet 및, encoder-decoder structure를 갖는 FCN (Fully Convolutional Network), SegNet, DeconvNet, DeepLAB V3+, SqueezeNet, Alexnet, ResNet18, MobileNet-v2, GoogLeNet, Resnet-v2, Resnet50, Resnet101, Inception-v3 중 선택된 적어도 하나의 알고리즘에 기초할 수 있다. 나아가, 상기 질환 분류 모델들은 전술한 알고리즘 중 적어도 두 개의 알고리즘 모델에 기초한 앙상블 모델일 수도 있다.
평가 1: 본 발명의 다양한 실시예에 이용되는 제1 질환 분류 모델 및 제2 질환 분류 모델의 평가
이하에서는, 도 7a 내지 7f를 참조하여, 본 발명의 다양한 실시예에 따른 질환 분류 모델의 평가 결과를 설명한다. 도 7a 내지 7f는 본 발명의 다양한 실시예에 이용되는 질환 분류 모델의 평가 결과를 도시한 것이다.
이때, 질환 분류 모델로서 자궁 경부 확대경 검사 영상 10000 장을 학습데이터로 이용하여 5 배 교차 검정 (5 fold cross validation) 을 수행한 Retina Net이 이용되었으나, 이의 평가 결과는 해당 모델에 한정되어 해석되어서는 아니 된다.
먼저, 도 7a의 (a) 및 (b)를 참조하면, 5 번의 검정 (CV-0, CV-1, CV-2, CV-3 및 CV-4) 에서, 질환 분류 모델에 의해 자궁 경부 영상에 대하여 음성 (normal) 또는 양성 (positive) 의 분류 결과가 도시된다.
특히, 도 7a의 (b)를 참조하면, 5 번의 검정에서 질환 분류 모델의 음성 분류의 정확도는 평균 0.8254로 나타나고, 양성 분류의 정확도는 평균 0.7330으로 나타난다.
즉, 질환 분류 모델은 높은 정확도로 정상 개체에 대하여 '정상'으로 분류하고, 자궁 경부암 발병 개체에 대하여 '양성'으로 분류하는 것이 확인되었다.
다음으로, 도 7b의 (a) 및 (b)를 참조하면, 5 번의 검정 (CV-0, CV-1, CV-2, CV-3 및 CV-4) 에서, 질환 분류 모델에 의해 자궁 경부 영상에 대하여 음성 (normal) 또는 비정형 (atypical) 의 분류 결과가 도시된다.
특히, 도 7b의 (b)를 참조하면, 5 번의 검정에서 질환 분류 모델의 음성 분류의 정확도는 평균 0.7795로 나타나고, 비정형 분류의 정확도는 평균 0.8747으로 나타난다.
즉, 질환 분류 모델은, 음성과 비정형을 높은 정확도로 분류하는 것으로 나타난다.
다음으로, 도 7c의 (a) 및 (b)를 참조하면, 5 번의 검정 (CV-0, CV-1, CV-2, CV-3 및 CV-4) 에서, 질환 분류 모델에 의해 자궁 경부 영상에 대하여 양성 1단계 (P1) 또는 양성 2-3단계 (P2P3) 의 분류 결과가 도시된다.
특히, 도 7c의 (b)를 참조하면, 5 번의 검정에서 질환 분류 모델의 양성 단계 분류의 정확도는 평균 0.8859로 나타나고, 양성 2-3단계의 분류 정확도는 평균 0.8696으로 나타난다.
즉, 질환 분류 모델은, 양성의 자궁 경부암 개체에 대하여 이의 병기를 양성 1단계 또는 양성 2-3단계로, 정확도로 분류하는 것으로 나타난다.
도 7d의 (a), (b), (c) 및 (d)를 함께 참조하면, 제2 질환 분류 모델은 정상 개체의 자궁 경부 영상에 대하여 자궁 경부 영역을 높은 정확도로 분할하고, 이에 대하여 '정상 (또는, 음성)'으로 정확하게 분류하는 것으로 나타난다. 나아가, 비정형인 개체의 자궁 경부 영상에 대하여 자궁 경부 영역을 높은 정확도로 분할하고, 이에 대하여 '비정형'으로 정확하게 분류하는 것으로 나타난다.
도 7e의 (a), (b), (c) 및 (d)를 함께 참조하면, 제1 질환 분류 모델은 정상 개체의 자궁 경부 영상에 대하여 자궁 경부 영역을 높은 정확도로 분할하고, 이에 대하여 '정상 (또는, 음성)'으로 정확하게 분류하는 것으로 나타난다. 나아가, 자궁 경부암 양성인 개체의 자궁 경부 영상에 대하여 자궁 경부 영역을 높은 정확도로 분할하고, 이에 대하여 '양성'으로 정확하게 분류하는 것으로 나타난다.
더욱이, 도 7f의 (a), (b), (c) 및 (d)를 함께 참조하면, 제2 질환 분류 모델은 자궁 경부암 양성 개체의 자궁 경부 영상에 대하여 자궁 경부 영역을 높은 정확도로 분할하고, 이에 대하여 '양성 1단계 (P1)'으로 정확하게 분류하는 것으로 나타난다. 나아가, 자궁 경부암 양성인 개체의 자궁 경부 영상에 대하여 자궁 경부 영역을 높은 정확도로 분할하고, 이에 대하여 '양성 2-3단계 (P2P3)'으로 정확하게 분류하는 것으로 나타난다.
즉, 본 발명의 다양한 실시예에 따른 제1 질환 분류 모델 및 제2 질환 분류 모델의 질환 분류 모델은, 자궁 경부암 발병 여부뿐만 아니라 자궁 경부암의 병기를 높은 정확도로 분류할 수 있다. 이에, 본 발명은 자궁 경부암 진단 시스템에 적용 가능할 수 있다.
평가 2: 본 발명의 다양한 실시예에 이용되는 평가 모델의 평가
이하에서는, 도 8a 내지 8d를 참조하여, 본 발명의 다양한 실시예에 따른 평가 모델의 평가 결과를 설명한다. 도 8a 내지 8d는 본 발명의 다양한 실시예에 이용되는 평가 모델의 평가 결과를 도시한 것이다.
이때, 평가 모델로서, 아세토백색상피 (aceto-white) 및 비정형혈 (atypical vessels) 영역이 마스킹된 자궁 경부 확대경 검사 영상 1360 장을 학습데이터로 이용한 U Net이 이용되었으나, 이의 평가 결과는 해당 모델에 한정되어 해석되어서는 아니 된다.
먼저, 도 8a 및 8b의 (a)를 참조하면, 학습용 자궁 경부 영상에 대한 평가 모델의 아세토백색상피 영역 분할 결과가 도시된다. 보다 구체적으로, 평가 모델은 의료진에 의해 학습용 영상 내에서 마스킹된 아세토백색상피 영역 (도 8a의 (b) 및 도 8b의 (b) 참조) 과 유사한 수준으로 특징 영역을 분할한 것으로 나타난다. 특히, 도 8b의 (a)의 결과를 참조하면, 평가 모델이 의료진에 의해 발견되지 않은 특징 영역을 더욱 예측한 것으로 나타난다.
더욱이, 도 8c 및 8d의 (a)를 참조하면, 학습용 자궁 경부 영상에 대한 평가 모델의 비정형혈 영역 분할 결과가 도시된다. 보다 구체적으로, 평가 모델은 의료진에 의해 학습용 영상 내에서 마스킹된 비정형혈 영역 (도 8c의 (b) 및 도 8d의 (b) 참조) 과 유사한 수준으로 특징 영역을 분할한 것으로 나타난다. 특히, 도 8d의 (a)의 결과를 참조하면, 평가 모델이 정상 조직에 대하여 특정 영역을 분할하지 않은 것으로 나타난다.
이러한 결과는, 평가 모델이 치료로 인한 정상 조직에서의 혈의 발생과, 조직 이상에 따른 비정형혈 또한 구분할 수 있다는 점을 시사할 수도 있다.
이상의 평가 결과에 따라 평가 모델 기반의 정보 제공 방법은, 자궁 경부암 진단 시스템에 적용 가능할 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시 예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
[이 발명을 지원한 국가연구개발사업]
[과제고유번호] 1425151963
[과제번호] S2797147
[부처명]중소벤처기업부
[과제관리(전문)기관명]중소기업기술정보진흥원
[연구사업명]창업성장기술개발(R＆D)
[연구과제명]자궁경부 컬러영상 데이터베이스 활용, 병변을 분류하는 딥러닝 기반의 인공지능 모델 개발과 집단지성 협력시스템 구축, 사업화
[기여율] 1/ 2
[과제수행기관명] (주)베데스다소프트
[연구기간] 2021.01.01 ~ 2021.11.24
[이 발명을 지원한 국가연구개발사업]
[과제고유번호] 1711102921
[과제번호] 2017- 0- 01630- 004
[부처명]과학기술정보통신부
[과제관리(전문)기관명]정보통신기획평가원
[연구사업명]정보통신방송혁신인재양성(R＆D)
[연구과제명]의료 빅데이터를 활용한 뇌질환 예측·예방 기술개발 및 전문인력 양성
[기여율] 1/ 2
[과제수행기관명]가천대학교 산학협력단
[연구기간] 2020.01.01 ~ 2020.12.31

Claims (19)

  1. 프로세서에 의해 구현되는 자궁 경부암 진단에 대한 정보 제공 방법으로,
    개체의 자궁 경부 부위를 포함하는 자궁 경부 영상을 수신하는 단계;
    자궁 경부 영상을 입력으로 하여 자궁 경부암 음성 또는 양성을 분류하도록 학습된 인공 신경망 네트워크 (artificial neural network) 기반 제1 질환 분류 모델을 이용하여, 자궁 경부암 음성 (negative) 또는 양성 (positive) 을 결정하는 단계, 및
    음성 또는 양성으로 분류된 자궁 경부 영상을 입력으로 하여 자궁 경부암의 병기를 분류하도록 학습된 인공 신경망 네트워크 기반의 제2 질환 분류 모델에 기초하여, 상기 자궁 경부암에 대한 병기를 결정하는 단계를 포함하는, 자궁 경부암의 진단에 대한 정보 제공 방법.
  2. 제1항에 있어서,
    상기 제1 질환 분류 모델은,
    상기 자궁 경부 영상에 기초하여 음성-비정형 또는 양성을 분류하도록 학습된 모델이고,
    상기 제2 질환 분류 모델은,
    음성-비정형으로 분류된 자궁 경부 영상에 대하여, 병기를 음성 또는 자궁 경부 비정형 (atypical) 으로 분류하고, 또는 양성으로 분류된 자궁 경부 영상에 대하여 병기를 양성 1단계 (positive 1), 양성 2단계 (positive) 및 양성 3단계 (positive 3) 중 적어도 하나로 분류하도록 학습된 모델인, 자궁 경부암의 진단에 대한 정보 제공 방법.
  3. 제2항에 있어서,
    상기 제2 질환 분류 모델은,
    음성-비정형으로 분류된 자궁 경부 영상에 대하여, 병기를 음성 또는 자궁 경부 비정형으로 분류하도록 학습된 음성-비정형 분류 모델, 및
    양성으로 분류된 자궁 경부 영상에 대하여 병기를 상기 적어도 하나로 분류하도록 학습된 양성 분류 모델을 포함하는, 자궁 경부암의 진단에 대한 정보 제공 방법.
  4. 제1항에 있어서,
    상기 자궁 경부암 음성 또는 양성을 결정하는 단계는,
    상기 제1 질환 분류 모델을 이용하여 상기 자궁 경부 영상에 대하여 제1 자궁 경부 영역을 결정하는 단계, 및
    상기 제1 자궁 경부 영역에 대하여 상기 자궁 경부암 음성 또는 양성을 결정하는 단계를 더 포함하고,
    상기 자궁 경부암에 대한 병기를 결정하는 단계는,
    상기 제2 질환 분류 모델을 이용하여 상기 음성 또는 양성으로 분류된 자궁 경부 영상 내에서 제2 자궁 경부 영역을 결정하는 단계, 및
    상기 제2 자궁 경부 영역에 대하여 상기 자궁 경부암에 대한 병기를 결정하는 단계를 더 포함하는, 자궁 경부암의 진단에 대한 정보 제공 방법.
  5. 제1항에 있어서,
    상기 제1 질환 분류 모델은,
    자궁 경부 영상을 입력으로 하여 자궁 경부암 음성 또는 양성을 확률적으로 분류하도록 학습된 모델이고,
    상기 제2 질환 분류 모델은,
    음성 또는 양성으로 분류된 자궁 경부 영상을 입력으로 하여 자궁 경부암의 병기를 확률적으로 분류하도록 학습된 모델이고,
    상기 자궁 경부암 음성 또는 양성을 결정하는 단계 이후에, 또는
    상기 자궁 경부암에 대한 병기를 결정하는 단계 이후에,
    상기 제1 질환 분류 모델 또는 상기 제2 질환 분류 모델에 의한 분류 확률이 미리 결정된 수준 이하인 경우,
    자궁 경부 영상을 입력으로 하여 자궁 경부의 특징을 분류하도록 학습된 평가 모델을 이용하여 재분류를 수행하는 단계를 더 포함하는, 자궁 경부암의 진단에 대한 정보 제공 방법.
  6. 제5항에 있어서,
    상기 재분류를 수행하는 단계는,
    상기 제1 질환 분류 모델에 의해 결정된 자궁 경부암 음성 확률 또는 자궁 경부암 양성 확률이 미리 결정된 수준 이하인 경우,
    상기 평가 모델을 이용하여 상기 자궁 경부 영상 내에서 상기 자궁 경부의 특징을 분류하는 단계, 및
    상기 자궁 경부 영상 내에서 상기 자궁 경부의 특징에 기초하여 상기 자궁 경부암 음성 또는 양성을 재결정하는 단계를 포함하는, 자궁 경부암의 진단에 대한 정보 제공 방법.
  7. 제5항에 있어서,
    상기 재분류를 수행하는 단계는,
    상기 제2 질환 분류 모델에 의해 결정된 자궁 경부암의 각 병기에 대한 확률이 미리 결정된 수준 이하인 경우,
    상기 평가 모델을 이용하여 상기 자궁 경부 영상 내에서 상기 자궁 경부의 특징을 분류하는 단계, 및
    상기 자궁 경부 영상 내에서 상기 자궁 경부의 특징에 기초하여 상기 자궁 경부암에 대한 병기를 재결정하는 단계를 더 포함하는, 자궁 경부암의 진단에 대한 정보 제공 방법.
  8. 제5항에 있어서,
    상기 평가 모델은,
    자궁 경부 영상을 입력으로 하여 자궁 경부의 특징을 아세토백색상피 (aceto-white), 비정형혈 (atypical vessels), 변색 (discoloration), 미란/궤양 (erosion/ulceration), 불규칙 표면 (irregular surface), 모자이크 (mosaic) 및 적정반 (punctuation) 중 적어도 하나로 분류하도록 학습된 모델인, 자궁 경부암의 진단에 대한 정보 제공 방법.
  9. 프로세서에 의해 구현되는 자궁 경부암 진단에 대한 정보 제공 방법으로,
    개체의 자궁 경부 부위를 포함하는 자궁 경부 영상을 수신하는 단계;
    자궁 경부 영상을 입력으로 하여 자궁 경부의 특징을 분류하도록 학습된 평가 모델을 이용하여
    상기 자궁 경부 영상 내에서 상기 자궁 경부의 제1 특징을 분류하는 단계;
    상기 자궁 경부의 제1 특징에 기초하여 상기 자궁 경부암 음성 또는 양성을 결정하는 단계;
    상기 평가 모델을 이용하여, 음성 또는 양성으로 분류된 자궁 경부 영상 내에서 상기 자궁 경부의 제2 특징을 분류하는 단계;
    상기 자궁 경부의 제2 특징에 기초하여 상기 자궁 경부암에 대한 병기를 결정하는 단계를 포함하는, 자궁 경부암의 진단에 대한 정보 제공 방법.
  10. 프로세서에 의해 구현되는 자궁 경부암 진단에 대한 정보 제공 방법으로,
    개체의 자궁 경부 부위를 포함하는 자궁 경부 영상을 수신하는 단계;
    자궁 경부 영상을 입력으로 하여 자궁 경부의 특징을 분류하도록 학습된 평가 모델, 및 자궁 경부 영상을 입력으로 하여 자궁 경부암 음성 또는 양성을 분류하도록 학습된 인공 신경망 네트워크 (artificial neural network) 기반 제1 질환 분류 모델을 이용하여, 자궁 경부암 음성 (negative) 또는 양성 (positive) 을 결정하는 단계, 및
    음성 또는 양성으로 분류된 자궁 경부 영상을 입력으로 하여 자궁 경부암의 병기를 분류하도록 학습된 인공 신경망 네트워크 기반의 제2 질환 분류 모델, 및 상기 평가 모델을 이용하여 상기 자궁 경부암에 대한 병기를 결정하는 단계를 포함하는, 자궁 경부암의 진단에 대한 정보 제공 방법.
  11. 제10항에 있어서,
    상기 제1 질환 분류 모델은,
    자궁 경부 영상을 입력으로 하여 자궁 경부암 음성 또는 양성을 확률적으로 분류하도록 학습된 모델이고,
    상기 제2 질환 분류 모델은,
    음성 또는 양성으로 분류된 자궁 경부 영상을 입력으로 하여 자궁 경부암의 병기를 확률적으로 분류하도록 학습된 모델이고,
    상기 평가 모델은,
    자궁 경부 영상을 입력으로 하여 자궁 경부의 특징을 확률적으로 분류하도록 학습된 모델이고,
    상기 자궁 경부암 음성 또는 양성을 결정하는 단계 이후에,
    상기 평가 모델 및 상기 제1 질환 분류 모델의 분류 결과가 상이할 경우,
    상기 평가 모델 또는 상기 제1 질환 분류 모델 중 확률이 높은 모델의 분류 결과를 채택하는 단계를 포함하고,
    상기 자궁 경부암에 대한 병기를 결정하는 단계 이후에,
    상기 평가 모델 및 상기 제2 질환 분류 모델의 분류 결과가 상이할 경우,
    상기 평가 모델 및 상기 제2 질환 분류 모델 중 확률이 높은 모델의 분류 결과를 채택하는 단계를 포함하는, 자궁 경부암의 진단에 대한 정보 제공 방법.
  12. 개체의 자궁 경부 부위를 포함하는 자궁 경부 영상을 수신하도록 구성된 통신부, 및
    상기 통신부와 통신하도록 연결된 프로세서를 포함하고,
    상기 프로세서는,
    자궁 경부 영상을 입력으로 하여 자궁 경부암 음성 또는 양성을 분류하도록 학습된 인공 신경망 네트워크 (artificial neural network) 기반 제1 질환 분류 모델을 이용하여, 자궁 경부암 음성 (negative) 또는 양성 (positive) 을 결정하고,
    음성 또는 양성으로 분류된 자궁 경부 영상을 입력으로 하여 자궁 경부암의 병기를 분류하도록 학습된 인공 신경망 네트워크 기반의 제2 질환 분류 모델에 기초하여, 상기 자궁 경부암에 대한 병기를 결정하도록 구성된, 자궁 경부암의 진단에 대한 정보 제공용 디바이스.
  13. 제12항에 있어서,
    상기 제1 질환 분류 모델은,
    상기 자궁 경부 영상에 기초하여 음성-비정형 또는 양성을 분류하도록 학습된 모델이고,
    상기 제2 질환 분류 모델은,
    음성-비정형으로 분류된 자궁 경부 영상에 대하여, 병기를 음성 또는 자궁 경부 비정형 (atypical) 으로 분류하고, 또는 양성으로 분류된 자궁 경부 영상에 대하여 병기를 양성 1단계 (positive 1), 양성 2단계 (positive) 및 양성 3단계 (positive 3) 중 적어도 하나로 분류하도록 학습된 모델인, 자궁 경부암의 진단에 대한 정보 제공용 디바이스.
  14. 제13항에 있어서,
    상기 제2 질환 분류 모델은,
    음성-비정형으로 분류된 자궁 경부 영상에 대하여, 병기를 음성 또는 자궁 경부 비정형으로 분류하도록 학습된 음성-비정형 분류 모델, 및
    양성으로 분류된 자궁 경부 영상에 대하여 병기를 상기 적어도 하나로 분류하도록 학습된 양성 분류 모델을 포함하는, 자궁 경부암의 진단에 대한 정보 제공용 디바이스.
  15. 제12항에 있어서,
    상기 프로세서는,
    상기 제1 질환 분류 모델을 이용하여 상기 자궁 경부 영상에 대하여 제1 자궁 경부 영역을 결정하고,
    상기 제1 자궁 경부 영역에 대하여 상기 자궁 경부암 음성 또는 양성을 결정하고,
    상기 제2 질환 분류 모델을 이용하여 상기 음성 또는 양성으로 분류된 자궁 경부 영상 내에서 제2 자궁 경부 영역을 결정하고,
    상기 제2 자궁 경부 영역에 대하여 상기 자궁 경부암에 대한 병기를 결정하도록 더 구성된, 자궁 경부암의 진단에 대한 정보 제공용 디바이스.
  16. 제12항에 있어서,
    상기 제1 질환 분류 모델은,
    자궁 경부 영상을 입력으로 하여 자궁 경부암 음성 또는 양성을 확률적으로 분류하도록 학습된 모델이고,
    상기 제2 질환 분류 모델은,
    음성 또는 양성으로 분류된 자궁 경부 영상을 입력으로 하여 자궁 경부암의 병기를 확률적으로 분류하도록 학습된 모델이고,
    상기 프로세서는,
    상기 제1 질환 분류 모델 또는 상기 제2 질환 분류 모델에 의한 분류 확률이 미리 결정된 수준 이하인 경우, 자궁 경부 영상을 입력으로 하여 자궁 경부의 특징을 분류하도록 학습된 평가 모델을 이용하여 재분류를 수행하도록 더 구성된, 자궁 경부암의 진단에 대한 정보 제공용 디바이스.
  17. 제16항에 있어서,
    상기 프로세서는,
    상기 제1 질환 분류 모델에 의해 결정된 자궁 경부암 음성 확률 또는 자궁 경부암 양성 확률이 미리 결정된 수준 이하인 경우,
    상기 평가 모델을 이용하여 상기 자궁 경부 영상 내에서 상기 자궁 경부의 특징을 분류하고,
    상기 자궁 경부 영상 내에서 상기 자궁 경부의 특징에 기초하여 상기 자궁 경부암 음성 또는 양성을 재결정하도록 더 구성된, 자궁 경부암의 진단에 대한 정보 제공용 디바이스.
  18. 제16항에 있어서,
    상기 프로세서는,
    상기 제2 질환 분류 모델에 의해 결정된 자궁 경부암의 각 병기에 대한 확률이 미리 결정된 수준 이하인 경우,
    상기 평가 모델을 이용하여 상기 자궁 경부 영상 내에서 상기 자궁 경부의 특징을 분류하고,
    상기 자궁 경부 영상 내에서 상기 자궁 경부의 특징에 기초하여 상기 자궁 경부암에 대한 병기를 재결정하도록 더 구성된, 자궁 경부암의 진단에 대한 정보 제공용 디바이스.
  19. 제16항에 있어서,
    상기 평가 모델은,
    자궁 경부 영상을 입력으로 하여 자궁 경부의 특징을 아세토백색상피 (aceto-white), 비정형혈 (atypical vessels), 변색 (discoloration), 미란/궤양 (erosion/ulceration), 불규칙 표면 (irregular surface), 모자이크 (mosaic) 및 적정반 (punctuation) 중 적어도 하나로 분류하도록 학습된 모델인, 자궁 경부암의 진단에 대한 정보 제공용 디바이스.
PCT/KR2022/018478 2021-12-28 2022-11-22 자궁 경부암의 진단에 대한 정보 제공 방법 및 이를 이용한 자궁 경부암의 진단에 대한 정보 제공용 디바이스 WO2023128284A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0189494 2021-12-28
KR1020210189494A KR20230099995A (ko) 2021-12-28 2021-12-28 자궁 경부암의 진단에 대한 정보 제공 방법 및 이를 이용한 자궁 경부암의 진단에 대한 정보 제공용 디바이스

Publications (1)

Publication Number Publication Date
WO2023128284A1 true WO2023128284A1 (ko) 2023-07-06

Family

ID=86999487

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/018478 WO2023128284A1 (ko) 2021-12-28 2022-11-22 자궁 경부암의 진단에 대한 정보 제공 방법 및 이를 이용한 자궁 경부암의 진단에 대한 정보 제공용 디바이스

Country Status (2)

Country Link
KR (1) KR20230099995A (ko)
WO (1) WO2023128284A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117695534A (zh) * 2023-12-14 2024-03-15 陕西省人民医院(陕西省临床医学研究院) 一种宫颈癌放疗精准定位与剂量控制系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190087681A (ko) * 2017-11-16 2019-07-25 주식회사 버즈폴 자궁경부암에 대한 피검체의 발병 여부를 판정하는 방법
KR20200080626A (ko) * 2018-12-27 2020-07-07 연세대학교 산학협력단 병변 진단에 대한 정보 제공 방법 및 이를 이용한 병변 진단에 대한 정보 제공용 디바이스
KR20210030730A (ko) * 2019-09-10 2021-03-18 계명대학교 산학협력단 의료 영상을 해석하는 인공지능 모델을 이용한 폐암 발병 가능성 예측 방법 및 의료 영상 분석 장치
KR102316557B1 (ko) * 2019-06-04 2021-10-25 주식회사 아이도트 자궁경부암 자동 진단 시스템
KR20210138932A (ko) * 2020-05-13 2021-11-22 연세대학교 산학협력단 귀의 병변에 대한 정보 제공 방법 및 이를 이용한 귀의 병변에 대한 정보 제공용 디바이스
KR20210145928A (ko) * 2020-05-26 2021-12-03 (주)성민네트웍스 Ai 기반 원추각막 진단 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190087681A (ko) * 2017-11-16 2019-07-25 주식회사 버즈폴 자궁경부암에 대한 피검체의 발병 여부를 판정하는 방법
KR20200080626A (ko) * 2018-12-27 2020-07-07 연세대학교 산학협력단 병변 진단에 대한 정보 제공 방법 및 이를 이용한 병변 진단에 대한 정보 제공용 디바이스
KR102316557B1 (ko) * 2019-06-04 2021-10-25 주식회사 아이도트 자궁경부암 자동 진단 시스템
KR20210030730A (ko) * 2019-09-10 2021-03-18 계명대학교 산학협력단 의료 영상을 해석하는 인공지능 모델을 이용한 폐암 발병 가능성 예측 방법 및 의료 영상 분석 장치
KR20210138932A (ko) * 2020-05-13 2021-11-22 연세대학교 산학협력단 귀의 병변에 대한 정보 제공 방법 및 이를 이용한 귀의 병변에 대한 정보 제공용 디바이스
KR20210145928A (ko) * 2020-05-26 2021-12-03 (주)성민네트웍스 Ai 기반 원추각막 진단 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117695534A (zh) * 2023-12-14 2024-03-15 陕西省人民医院(陕西省临床医学研究院) 一种宫颈癌放疗精准定位与剂量控制系统
CN117695534B (zh) * 2023-12-14 2024-05-28 陕西省人民医院(陕西省临床医学研究院) 一种宫颈癌放疗精准定位与剂量控制系统

Also Published As

Publication number Publication date
KR20230099995A (ko) 2023-07-05

Similar Documents

Publication Publication Date Title
WO2021060899A1 (ko) 인공지능 모델을 사용 기관에 특화시키는 학습 방법, 이를 수행하는 장치
WO2021054518A1 (ko) 인공지능 기반 기술의 의료영상분석을 이용한 자궁경부암 진단방법, 장치 및 소프트웨어 프로그램
WO2016171341A1 (ko) 클라우드 기반 병리 분석 시스템 및 방법
WO2023128284A1 (ko) 자궁 경부암의 진단에 대한 정보 제공 방법 및 이를 이용한 자궁 경부암의 진단에 대한 정보 제공용 디바이스
WO2020045848A1 (ko) 세그멘테이션을 수행하는 뉴럴 네트워크를 이용한 질병 진단 시스템 및 방법
WO2012134106A2 (ko) 의료 영상 정보 저장과 표시 방법 및 그 장치
WO2019083227A1 (en) MEDICAL IMAGE PROCESSING METHOD, AND MEDICAL IMAGE PROCESSING APPARATUS IMPLEMENTING THE METHOD
WO2019235828A1 (ko) 투 페이스 질병 진단 시스템 및 그 방법
WO2018008881A1 (ko) 단말장치 및 서비스서버, 그 장치에 의해 수행되는 진단분석 서비스를 제공하기 위한 방법 및 프로그램과, 그 프로그램이 기록된 컴퓨터 판독 가능 기록매체
WO2021261808A1 (ko) 병변 판독 결과 표시 방법
WO2021153858A1 (ko) 비정형 피부질환 영상데이터를 활용한 판독보조장치
WO2020076133A1 (ko) 암 영역 검출의 유효성 평가 장치
WO2021010671A2 (ko) 뉴럴 네트워크 및 비국소적 블록을 이용하여 세그멘테이션을 수행하는 질병 진단 시스템 및 방법
WO2023234730A1 (ko) 패치 레벨 중증도 판단 방법, 슬라이드 레벨 중증도 판단 방법 및 이를 수행하는 컴퓨팅 시스템
WO2022124705A1 (ko) 의료 영상 기반 홀로그램 제공 장치 및 방법
WO2020032560A2 (ko) 진단 결과 생성 시스템 및 방법
WO2022010168A1 (ko) 파킨슨병 환자에서 치매 발병 위험도 예측 방법 및 이를 이용한 치매 발병위험도 예측용 디바이스
WO2022158628A1 (ko) 머신러닝 모델에 기반한 디스플레이 패널의 결함 판정 시스템
WO2016085236A1 (ko) 갑상선암 자동 판별 방법 및 시스템
WO2023167448A1 (ko) 병리 슬라이드 이미지를 분석하는 방법 및 장치
WO2022080848A1 (ko) 영상 분석을 위한 사용자 인터페이스
WO2022149720A1 (ko) 기계학습모델을 이용하여 우울증예비진단정보를 제공하는 방법, 시스템 및 컴퓨터-판독가능 매체
WO2022250190A1 (ko) 딥러닝 모델을 이용한 영상검사 대상체의 결함 판정시스템
WO2022019616A1 (ko) 담낭 용종의 진단에 대한 정보 제공 방법 및 이를 이용한 담낭 용종의 진단에 대한 정보 제공용 디바이스
WO2024154982A1 (ko) 병리 슬라이드 이미지를 분석하는 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22916436

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE