WO2020246676A1 - 자궁경부암 자동 진단 시스템 - Google Patents

자궁경부암 자동 진단 시스템 Download PDF

Info

Publication number
WO2020246676A1
WO2020246676A1 PCT/KR2019/017679 KR2019017679W WO2020246676A1 WO 2020246676 A1 WO2020246676 A1 WO 2020246676A1 KR 2019017679 W KR2019017679 W KR 2019017679W WO 2020246676 A1 WO2020246676 A1 WO 2020246676A1
Authority
WO
WIPO (PCT)
Prior art keywords
classification
cervical cancer
information
cervix
diagnosis
Prior art date
Application number
PCT/KR2019/017679
Other languages
English (en)
French (fr)
Inventor
정재훈
Original Assignee
주식회사 아이도트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020190109333A external-priority patent/KR102316557B1/ko
Application filed by 주식회사 아이도트 filed Critical 주식회사 아이도트
Priority to US17/616,336 priority Critical patent/US20220328186A1/en
Priority to BR112021024432A priority patent/BR112021024432A2/pt
Priority to JP2021572002A priority patent/JP7346600B2/ja
Priority to CN201980036662.5A priority patent/CN112334990A/zh
Publication of WO2020246676A1 publication Critical patent/WO2020246676A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1032—Determining colour for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/43—Detecting, measuring or recording for evaluating the reproductive systems
    • A61B5/4306—Detecting, measuring or recording for evaluating the reproductive systems for evaluating the female reproductive systems, e.g. gynaecological evaluations
    • A61B5/4318—Evaluation of the lower reproductive system
    • A61B5/4331—Evaluation of the lower reproductive system of the cervix
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]

Definitions

  • the present invention relates to an automatic diagnosis system for cervical cancer, and in particular, automatic diagnosis of cervical cancer for automatically diagnosing cervical cancer based on the machine learning by classifying cervical data required for automatic diagnosis of cervical cancer according to an accurate criterion. It's about the system.
  • Cervical cancer ranks first among Korean women's most feared cancers, because it can affect pregnancy and childbirth due to hysterectomy, and there is a fear of loss as a woman.
  • cervical cancer is one of the seven major cancers recommended for screening in Korea, and as it was included in the national cancer screening project in 1999, the rate of early diagnosis is increasing.
  • cervical epithelial cancer precancerous stage
  • cervix'phase 0'cancer is also on the rise, and women with sexual experience are advised to undergo an annual examination.
  • FIG. 1 is a conceptual diagram schematically showing a method of a cervical cytology and an enlarged cervical examination, which were conventionally performed to diagnose cervical cancer.
  • a predetermined amount from outside the vagina of a female subject When a photographed image of the cervix is acquired through an imaging device (for example, a cervix magnifying glass shown in FIG. 1), it is possible to reduce the false diagnosis rate for cervical cancer by analyzing the image and using the result.
  • an imaging device for example, a cervix magnifying glass shown in FIG. 1
  • cervical cancer that acquires a photographed image of the cervix and generates and provides analysis information on whether the subject has cervical cancer based on a machine learning model for cervical cancer from the acquired cervical image.
  • Devices for determining whether an outbreak has occurred are also being introduced.
  • the main factor for evaluating the performance of these judgment devices is that the images to be used for learning must be accurately classified and organized to proceed with learning. If such data classification is not done accurately and clearly, the accuracy of analysis on cervical cancer incidence will inevitably decrease.
  • cervical cancer colposcopy images appear in various forms different from general medical images depending on the shooting environment and the photographer. Therefore, in devices for determining whether cervical cancer has occurred, it is necessary to classify the images to be used for learning according to more clear and strict criteria to proceed with learning.
  • Patent Document 0001 Korean Registered Patent Publication No. 10-0850347
  • Patent Document 0002 Korean Patent Application Publication No. 10-2016-0047720
  • the present invention is an invention invented in accordance with the above-described necessity, and the main object of the present invention is to classify cervical data for learning necessary for automatic diagnosis of cervical cancer according to an accurate criterion, machine learning, and cervical cancer based on the machine learning. It is to provide an automatic diagnosis system for cervical cancer that automatically diagnoses
  • Another object of the present invention is to induce an accurate diagnosis of the cervix by preventing excessive learning about only certain types of cervical images or not learning about certain types of images. It is to provide an automatic diagnosis system for cervical cancer.
  • another object of the present invention is to provide convenience of reading by providing various information automatically analyzed based on a machine learning model to a reader (expert), and input information evaluated by reading intention can be used for real-time relearning. It is to provide an automatic diagnosis system for cervical cancer that allows the performance of the machine learning model to be continuously improved by configuring the user interface screen so that it can be used.
  • a learning data generator for classifying unclassified photographed image data for the cervix transmitted from an external device or a storage unit in the learning mode according to a combination of multi-level classification criteria and generating learning data for each classification criteria;
  • a machine learning model for cervical cancer that learns characteristics of the learning data generated by the classification criteria is included, and the machine learning model determines whether the onset of cervical cancer is detected in the preprocessed cervical image in the diagnosis mode.
  • a screen display control unit for displaying and outputting a user interface screen for displaying the diagnosis information and inputting evaluation information by reading intention
  • a relearning data generation unit for requesting relearning of the machine learning model by extracting information necessary for relearning from among the evaluation information input through the user interface screen;
  • a diagnosis and evaluation information storage unit for storing diagnosis information on whether the cervical cancer has occurred and evaluation information input through the user interface screen.
  • the learning data generation unit further generates additional learning data by applying mirroring or cropping to the learning data for each classification criteria in order to adjust the numerical balance of the learning data for each classification criteria.
  • the first-stage classification standard based on color the second-stage classification standard based on the size of the cervix in the captured image data, and a three-step classification standard based on the combination of colors and shapes in the cervix image data.
  • Another feature is that classification is performed using a combination of at least two classification criteria among the four classification criteria, which use exposure and focus as classification criteria.
  • the learning data generation unit In some cases, the learning data generation unit, the learning data generation unit, and
  • the unclassified photographed image data for the cervix is first classified, and the size of the cervix in the first classified unclassified photographed image data is used as the classification criteria.
  • the unclassified photographed image data for the cervix is classified in a third order according to a three-stage classification criterion based on a combination of colors and shapes in the second classified unclassified photographed image data.
  • the first-stage classification criterion includes color values for identifying each of an acetic acid reaction image, a Lugol solution reaction image, a green filter image, and a general image as a classification reference value,
  • the three-stage classification criterion includes a combination of color values and shapes for identifying any one or more of blood, mucus, loops, colposcopy, treatment traces, and surgical instruments in the cervical image data as the classification criterion value. It is characterized.
  • the cervical cancer diagnosis unit includes classification information regarding negative, atypical, benign, and malignant cervical cancer for the cervical image of the subject based on the machine learning model, accuracy information of the classification information, and negative information. It is characterized by generating diagnostic information including positive determination information and morphological finding information,
  • the screen display control unit includes a display area of all or part of the cervix photographed image of the subject, a history information display area of another image previously captured for the same subject, an exposure area of the subject information, an input area of negative and positive determination information, and a shape.
  • the user interface screen displays a screen divided into an academic finding information input area, a technical defect information input area for the quality of a captured image, the diagnostic information output area derived based on the machine learning model, and a reading finding input area. It is characterized by being.
  • the automatic cervical cancer diagnosis system classifies unclassified photographed image data for the cervix according to a combination of multi-level classification criteria to train an artificial intelligence network such as a machine learning model. Then, more accurate lesion diagnosis can be made because image data having more diverse characteristics can be learned than simply learning by using the classified data using classification criteria having only one characteristic (color, shape, brightness, etc.). There is an advantage to be able to.
  • the present invention further generates additional learning data to adjust the numerical balance of the learning data for each classification criterion and uses it for learning, so that excessive learning is performed only on certain types of cervical (cancer) image data.
  • additional learning data to adjust the numerical balance of the learning data for each classification criterion and uses it for learning, so that excessive learning is performed only on certain types of cervical (cancer) image data.
  • cancer cervical
  • the present invention by preventing the phenomenon that learning does not proceed with respect to a specific type (or type) of an image, it provides the effect of accurately diagnosing the presence or absence of a lesion on the cervix.
  • the present invention automatically diagnoses whether or not there is a lesion for cervical cancer based on a machine learning model, and displays the result to the outside through a user interface screen, and induces the reader to input evaluation information on the user interface screen.
  • FIG. 1 is a conceptual diagram schematically showing a method of a cervical cell examination and an enlarged cervical examination, which were conventionally performed to diagnose cervical cancer.
  • FIG. 2 is an exemplary configuration diagram of an automatic diagnosis system for cervical cancer according to an embodiment of the present invention.
  • FIG. 3 is a view for explaining a method of classifying cervical learning data according to an embodiment of the present invention.
  • FIG. 4 is a view for explaining in more detail a multi-level classification criterion for generating cervical learning data according to an embodiment of the present invention.
  • FIG. 5 is a view for explaining an automatic diagnosis process for cervical cancer according to an embodiment of the present invention.
  • 6A to 6E are exemplary views of a user interface (UI) screen provided in an automatic diagnosis process for cervical cancer according to an embodiment of the present invention.
  • UI user interface
  • FIG. 7 is an exemplary view of malignant atypical vessels.
  • CNN convolutional neural network
  • a convolutional neural network (CNN) model which is one of the machine learning models used in the present invention, can be briefly described in the form of stacking artificial neural networks in multiple layers.
  • CNN convolutional neural network
  • it is expressed as a deep neural network (deep neural network) in the sense of a deep-structured network, and automatically learns the features of each image by learning a large amount of data in a structure consisting of a multi-layered network.
  • the network is trained in a way to minimize the error of the objective function.
  • this can be expressed as a connection between neurons in the human brain, and accordingly, it has established itself as a representative of artificial intelligence.
  • CNN is a model suitable for classification of two-dimensional images such as images, and reduces the size of the convolution layer and feature map that creates a feature map using a plurality of filters for each region of the image.
  • the automatic diagnosis system 200 for cervical cancer according to an embodiment of the present invention is a single computer that is connected to the imaging device 100, the storage medium 300, the communication unit 400, and the display unit 500 as shown. It may be a system or a server computer system, and may be implemented as a collection of executable code data (in the form of an application program) installed in the memory of the computer system and executable.
  • the cervical cancer automatic diagnosis system 200 may directly or indirectly communicate with a computing device (not shown) located at a remote location through the communication unit 400.
  • a computing device not shown
  • the reading intention may directly input (using a keyboard or mouse) evaluation information to be described later through the user interface screen displayed on the display unit 500.
  • the imaging apparatus 100 acquires a cervix image of the subject in the diagnosis mode and transmits it to the automatic cervical cancer diagnosis system 200 to be described later, and the storage medium 300 is the cervix to be learned by a machine learning model to be described later. It stores unclassified photographed image data for.
  • the configuration of the automatic cervical cancer diagnosis system 200 will be further described with reference to FIG. 2, the automatic cervical cancer diagnosis system 200 according to an embodiment of the present invention
  • a learning data generation unit 210 that classifies unclassified photographed image data for the cervix transmitted from an external device or a storage unit (storage medium, 300) according to a combination of multi-level classification criteria and generates learning data according to new classification criteria.
  • Cervical cancer diagnosis unit 260 for generating diagnostic information
  • a screen display control unit 250 for displaying and outputting a user interface screen for displaying the diagnosis information and inputting evaluation information by reading intention;
  • a relearning data generation unit 230 for requesting relearning of the machine learning model by extracting information necessary for relearning from among the evaluation information input through the user interface screen,
  • a diagnosis and evaluation information storage unit 240 for storing diagnosis information on whether the cervical cancer has occurred and evaluation information input through the user interface screen.
  • the multi-level classification criteria, diagnostic information and evaluation information for the subject may be stored in the storage medium 300.
  • the learning data generation unit 210 further learns by applying a vertical or horizontal mirroring or cropping technique to the learning data for each classification criteria in order to adjust the numerical balance of the learning data for each classification criteria generated in the learning mode.
  • the learning data generation unit 210 uses a first-stage classification criterion based on color as a classification criterion and a cervix size in the captured image data as a classification criterion. Classification using a combination of at least two of the second-stage classification criteria, the three-stage classification criteria based on the combination of color and shape in the cervical image data, and the four-stage classification criteria based on exposure and focus It is characterized by being.
  • the learning data generation unit 210 In a specific implementation method, the learning data generation unit 210,
  • unclassified photographed image data for the cervix is first classified according to the first-stage classification criteria based on color, and the size of the cervix in the first classified unclassified photographed image data is used as the classification criteria.
  • the unclassified photographed image data for the cervix may be classified in a third order according to a three-step classification criterion based on a second classification, and a combination of colors and shapes in the second classified unclassified photographed image data as a classification standard.
  • the learning data generation unit 210 may classify the unclassified photographed image data for the cervix classified in the third order according to the four-step classification criteria based on exposure and focus as classification criteria.
  • the four-stage classification criterion is applied prior to the first-stage classification criterion and may be used as learning data for filtering photographed image data that cannot be diagnosed (the lesion is not identified). For example, if the exposure is under/overexposed, the histogram is extremely skewed to one side, so it can be classified using this, and if the focus is out of focus, the edge (edge) cannot be detected or the color contrast is ambiguous. It can be classified (quaternary classification) using characteristics.
  • the learning data generation unit 210 first classifies the unclassified photographed image data for the cervix according to a first-stage classification criterion based on color, and the first-stage classification criteria are acetic acid reaction images and lugol.
  • a color value for identifying at least one of a solution reaction image, a green filter image, and a general image is included as a classification reference value.
  • the learning data generation unit 210 may include the size of the cervix in the first classified unclassified photographed image data, for example, the size of the cervix in the image 150%, 100%, 80%, 50%, a magnifying glass and other parts. Secondary classification is based on the size.
  • the learning data generation unit 210 unclassifies the cervix according to a three-stage classification criterion based on a combination of color and shape in the cervix image data from the unclassified photographed image data for the cervix classified as a secondary classification.
  • the photographed image data is classified in a third order, but the three-stage classification criteria is a combination of color values and shapes to identify at least one of blood, mucus, loops, colposcopy, treatment traces, and surgical instruments within the cervical image data. Foreign substances affecting the cervix are classified by including as the classification standard value.
  • blood mainly appears in the form of red flowing down from the center of the cervix
  • mucus mainly appears in the form of pale yellow flowing down from the center of the cervix
  • the loop is mainly located in the center of the cervix and is generally a boomerang.
  • the shape of the wire is clearly visible.
  • Colposcopy and other surgical instruments appear in a different color (silver, blue,%) than the pink cervix, so using the combination of color and shape of each foreign body affects the cervix as illustrated above. Foreign substances can be classified.
  • each classification may be performed using CNN, a deep learning technique.
  • CNN a deep learning technique.
  • the features to be extracted are clear, high-accuracy classification is possible with the composition of a small layer, and in the 3rd classification, since there are many features to be extracted, it is a deep layer. It can be configured to increase accuracy.
  • FIG. 3 is a diagram illustrating a method of classifying cervical learning data according to an embodiment of the present invention
  • FIG. 4 is a detailed description of a multi-level classification criterion for generating cervical learning data according to an embodiment of the present invention. It shows a drawing for explanation.
  • the storage medium 300 includes unclassified photographed image data for the cervix transmitted from the imaging device 100 or an external device. It is assumed that they are stored (step S100) or are stored.
  • the learning data generation unit 210 classifies each unclassified photographed image data for the cervix based on a neural network algorithm such as CNN, but the combination of a plurality of multi-level classification criteria It is classified according to and first stored (S200 step).
  • the learning data generation unit 210 first classifies the unclassified photographed image data for the cervix first according to a first-stage classification criterion based on color as a classification criterion.
  • the learning data generation unit 210 includes color values for identifying each of an acetic acid reaction image, a Lugol solution reaction image, a green filter image, and a general image as classification reference values, thereby classifying the above four images. I can.
  • the acetic acid reaction image can be distinguished from the pink cervix and vagina because white spots appear on the cervix. Since the Lugol solution reaction image has a brown or dark orange color, and the green filter image has a strong green color throughout the image, the color values representing the characteristics of each of these images are used as the classification reference value to obtain unclassified image data for the cervix. Can be classified.
  • the learning data generation unit 210 performs secondary classification according to a second-level classification criterion based on the size of the cervix in the first classified photographed image data.
  • the cervix is a circle the size of a 500 won coin and is usually located in the center of the image. Therefore, based on the size of the cervix in the image (150%, 100%, 80%, etc.), only the cervix is enlarged, the entire cervix is shown, the cervix is only 80% of the image, and the cervix is 50% of the image. It can be classified as a second-order image, such as an image showing only degree, and an image containing cervix + magnifying glass + external part.
  • the learning data generation unit 210 thirdly classifies foreign substances affecting the cervix according to a three-stage classification criterion based on a combination of colors and shapes in the secondly classified cervix image data.
  • the photographed image data according to classification criteria classified according to the combination of the multi-level classification criteria may be temporarily stored in the storage medium 300 or in the memory of the system 200.
  • the learning data generation unit 210 When the classification of the unclassified photographed image data is completed, the learning data generation unit 210 generates the photographed image data for the cervix classified by the classification criteria as learning data for each classification criteria and stores it in the storage medium 300 (step S300). do. In this learning data generation process, the learning data generation unit 210 may further generate additional learning data to adjust the numerical balance of the learning data for each classification criterion, and the additional learning data is generated based on the learning data for each classification criterion. It is desirable to do.
  • training data was created by applying a combination of the first and second classification criteria, and the first and second level classification criteria, the first and third level classification criteria combination, and the second stage.
  • a combination of three-stage classification criteria can be applied to generate training data, and as shown in FIG. 4, unclassified photographed image data for the cervix are classified by simply applying the first to third-stage classification criteria, It could also be used as training data.
  • the machine learning model 262 for the cervix learns the characteristics of the training data generated for each classification. Verification is executed (step S400). If unclassified photographed image data for the cervix is additionally secured, the above-described learning mode is performed again.
  • the automatic diagnosis system 200 for cervical cancer since the automatic diagnosis system 200 for cervical cancer according to an embodiment of the present invention generates training data by classifying unclassified image data for the cervix according to a combination of multiple classification criteria, the number of classifications of the training data As the number of classifications of the training data increases and the number of classifications of the training data increases, the image data having various characteristics is learned, so that the presence or absence of a lesion can be more accurately diagnosed.
  • the present invention further generates additional learning data for adjusting the numerical balance of learning data for each classification criterion to be used for learning, so that excessive learning is performed only on certain types of cervical (cancer) image data.
  • additional learning data for adjusting the numerical balance of learning data for each classification criterion to be used for learning, so that excessive learning is performed only on certain types of cervical (cancer) image data.
  • FIGS. 6A to 6E are a user interface (UI) provided in the automatic diagnosis process for cervical cancer according to an embodiment of the present invention; user interface) screen.
  • UI user interface
  • the automatic cervical cancer diagnosis system 200 acquires a photographed image of the cervix of a subject (step S410).
  • the photographed image of the cervix of the subject may be obtained from the imaging apparatus 100 or may be obtained from the outside through the communication unit 400 or a storage medium.
  • the captured image 514 of the cervix obtained as described above is displayed on the user interface screen as shown in FIG. 6A by the screen display controller 250.
  • a user interface screen may be configured so that information on a subject, which is a patient, together with the captured image 514 may be displayed through the subject information input area 510 as illustrated in FIG. 6A.
  • the image pre-processing unit 220 performs pre-processing on the image of the cervix.
  • the pre-processing may include at least one of RGB-HSV conversion for robustness against illumination and noise of the captured image, image quality improvement through histogram smoothing, etc., blurring, and noise processing.
  • the machine learning model 262 of the cervical cancer diagnosis unit 260 shows the onset of cervical cancer with respect to the pre-processed cervix image. Diagnosis information regarding whether or not is generated (step S420).
  • the machine learning model 262 includes a plurality of pre-input training information, that is, (i) learning data by classification criteria according to a combination of multi-level classification criteria, and (ii) lesions of cervical cancer exist in the plurality of training data images. Diagnosis information regarding the onset of cervical cancer is generated by using information including data indicating whether or not the lesion exists, and (iii) data indicating whether the lesion is present in any part of the image.
  • the machine learning model 262 may be a convolutional neural network (CNN) model, and may be a model combining a CNN and a support vector machine (SVM).
  • CNN convolutional neural network
  • SVM support vector machine
  • the diagnostic information may include classification information on whether the cervical cancer is negative, atypical, positive, or malignant.
  • the classification information may include probability information indicating how accurate the classification is.
  • the diagnostic information may include negative or positive determination information, which is information about whether the risk is high or low (low cancer risk vs. high cancer risk) if it is negative or if it is positive, and Acetowhite Epithelium, Mosaic, Morphological findings information such as erosion or ulceration, irregular surface contour, punctation, atypical vessels, discolaration, etc. may be further included.
  • negative or positive determination information is information about whether the risk is high or low (low cancer risk vs. high cancer risk) if it is negative or if it is positive
  • Acetowhite Epithelium, Mosaic, Morphological findings information such as erosion or ulceration, irregular surface contour, punctation, atypical vessels, discolaration, etc.
  • the diagnostic information may be listed and provided to correspond to a plurality of captured images 514 by the screen display controller 250 as shown in FIG. 6B.
  • the user interface screen shown in FIG. 6B indicates whether the onset of cervical cancer is suspected according to the subject information 520, the input time point information 522, the classification information and probability information calculated by the machine learning model 262. Information (marked'suspicious'; 524) is displayed. Furthermore, on the user interface screen shown in FIG. 6B,'Evaluation' buttons 526 corresponding to a specific captured image are shown so that subsequent steps following step S420 can be continuously performed.
  • the reader may read whether the onset of cervical cancer, which is automatically diagnosed based on the machine learning model, and input evaluation information. That is, when there is an operation of the'Evaluation' button 526, the screen display controller 250 supports multiple screens to read whether cervical cancer has occurred.
  • the reader can use the tool window to display various necessary displays while determining whether there is a medically unusual area. Yes (eg, rectangle, arrow, text input, etc.).
  • the screen display control unit 250 may display diagnostic information corresponding to a reading command input through the user interface screen, and support inputting evaluation information by reading intention (step S430).
  • the evaluation information refers to whether the provided diagnostic information is accurate, that is, information on whether the outbreak included in the diagnosis information is correct or incorrect, and whether the classification information included in the diagnosis information is correct or incorrect, and if so, what classification is correct. May include information about.
  • the evaluation information may include information on quality of the captured image, for example, information on technical defects of the captured image.
  • a technical flaw is that it is difficult to accurately determine the photographed image due to excessive mucus or blood in the photographed image, or it is difficult to determine whether cervical cancer has occurred due to the angle of the photographed image or the location of the photographed part.
  • 6D shows a user interface screen displayed by the screen display controller 250, in which all or part of the captured image 540 is displayed, and history information of other images previously captured for the same subject ( An area where 541) is displayed, a subject information exposure area 542 as illustrated in FIG.
  • a negative-positive determination information input area 543 into which negative-positive determination information can be input a negative-positive determination information input area 543 into which negative-positive determination information can be input
  • morphological findings information by reading intention Derived by the morphological finding information input area 544 into which is input the technical defect information input area 545 into which information about the technical defect of the photographed image 540 can be input
  • An artificial intelligence diagnostic information output area 546 representing the diagnosed information and a user opinion input area 547 through which the reader can input the findings based on the captured image are displayed on the user interface screen, whereby automatic diagnosis information It becomes easier for the reader to evaluate whether the onset of cervical cancer corresponding to.
  • the diagnosis and evaluation information storage unit 240 stores diagnostic information regarding the onset of cervical cancer and evaluation information of the read intention input through the user interface screen in the storage medium 300 (step S440), or the display unit 500 at the request of an administrator or read Print it out to
  • the relearning data generation unit 230 includes information necessary for relearning among the evaluation information input through the user interface screen, for example, negative and positive determination information, and technical defect information. It is possible to request relearning of the machine learning model 262 by extracting, etc.
  • the above-described evaluation information may be processed and provided in the form of a medical result report.
  • a user interface provided for this is well shown in FIG. 6E, and the medical result report 550 includes whether or not cervical cancer has occurred, classification Information may be included.
  • the medical result report may be provided through another device located far from the place where the captured image was initially acquired (ie, the place where the captured image was taken) or the place where the captured image was read.
  • the photographed image and diagnostic information are transmitted through the communication unit 400 without any modification. It can be sent to so that the evaluation information can be entered.
  • the medical staff can take the cervical image acquired through the cervical magnifying glass.
  • the previous method which directly checks the condition of the cervix based on education and experience, it has the advantage of being able to diagnose the onset of cervical cancer more quickly and accurately.
  • the present invention has the advantage of performing more accurate reading because the evaluation information can be used again as data for relearning the machine learning model.
  • the first-stage classification standard based on color the second-stage classification standard based on the size of the cervix in the captured image data, and a combination of colors and shapes in the cervix image data are used as the classification criteria.
  • the three-stage classification criteria and the four-stage classification criteria based on exposure and focus are exemplified, but the learning data generation unit 210 classifies the malignant atypical vessels pattern as shown in FIG. It is also possible to generate training data by classifying unclassified photographed image data for the cervix according to the five-stage classification criteria alone or a combination of the five-stage classification criteria and the other classification criteria described above by further adding the five-stage classification criteria.
  • the cervical cancer diagnosis unit 260 may generate a diagnosis for the onset of cervical cancer indicating the malignant atypical blood vessel pattern based on the learned machine learning model. I will be able to.
  • the present invention can be achieved through a combination of software and hardware, or can be achieved only with hardware.
  • the objects of the technical solution of the present invention or parts contributing to the prior art may be implemented in the form of program instructions that can be executed through various computer components and recorded in a machine-readable recording medium.
  • the machine-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the machine-readable recording medium may be specially designed and configured for the present invention, or may be known and usable to those skilled in the computer software field.
  • machine-readable recording media examples include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and magnetic-optical media such as floptical disks. media), and a hardware device specially configured to store and execute program instructions such as ROM, RAM, flash memory, and the like.
  • program instructions include not only machine language codes such as those produced by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.
  • the hardware device may be configured to operate as one or more software modules to perform processing according to the present invention, and vice versa.
  • the hardware device may include a processor such as a CPU or GPU coupled with a memory such as ROM/RAM for storing program instructions and configured to execute instructions stored in the memory, and can exchange signals with an external device. It may include a communication unit. In addition, the hardware device may include a keyboard, a mouse, and other external input devices for receiving commands written by developers.
  • a processor such as a CPU or GPU coupled with a memory such as ROM/RAM for storing program instructions and configured to execute instructions stored in the memory, and can exchange signals with an external device. It may include a communication unit.
  • the hardware device may include a keyboard, a mouse, and other external input devices for receiving commands written by developers.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Psychiatry (AREA)
  • Fuzzy Systems (AREA)
  • Gynecology & Obstetrics (AREA)
  • Reproductive Health (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 자궁경부암을 자동 진단하기 위해 필요한 자궁경부 데이터를 정확한 기준에 따라 분류하여 기계학습하고 그 기계학습에 기초하여 자궁경부암을 자동 진단하는 자궁경부암 자동 진단 시스템에 관한 것으로, 학습모드에서 외부장치 혹은 저장부로부터 전달된 자궁경부에 대한 미분류 촬영 영상 데이터를 다단계 분류기준 조합에 따라 분류하여 새로운 분류기준별 학습데이터로 생성하는 학습 데이터 생성부와; 자궁경부 촬영 영상을 전처리하는 촬영 영상 전처리부와; 학습모드에서 상기 분류기준별로 생성된 학습데이터의 특징을 학습하는 자궁경부암에 대한 기계학습모델을 포함하며, 상기 기계학습모델은 진단모드에서 상기 전처리된 자궁경부 촬영 영상에 대해 자궁경부암의 발병 여부에 관한 진단 정보를 생성하는 자궁경부암 진단부와; 상기 진단 정보를 표시하고 판독의에 의한 평가정보를 입력할 수 있는 유저 인터페이스 화면을 표시 출력하는 화면 표시 제어부와; 상기 유저 인터페이스 화면을 통해 입력된 평가 정보 중 재학습시 필요한 정보를 추출해 상기 기계학습모델의 재학습을 요청하는 재학습 데이터 생성부와; 상기 자궁경부암의 발병 여부에 관한 진단 정보와 상기 유저 인터페이스 화면을 통해 입력된 평가 정보를 저장하는 진단 및 평가정보 저장부;를 포함함을 특징으로 한다.

Description

자궁경부암 자동 진단 시스템
본 발명은 자궁경부암 자동 진단 시스템에 관한 것으로, 특히 자궁경부암을 자동 진단하기 위해 필요한 자궁경부 데이터를 정확한 기준에 따라 분류하여 기계학습하고 그 기계학습에 기초하여 자궁경부암을 자동 진단하는 자궁경부암 자동 진단 시스템에 관한 것이다.
자궁경부암은 대한민국 여성들이 가장 두려워하는 암 순위 중 1위를 차지하고 있는바, 이는 자궁 적출로 인해 임신, 출산에 대한 영향을 받을 수 있고, 여성으로서의 상실감을 겪을 우려가 있기 때문이다.
2013년 통계에 따르면 대한민국 국내의 자궁경부암 환자 수는 26,207명으로 여성암 중에서 4위를 차지하고 있다(보건복지부 자료). 또한, 자궁경부암은 국내에서 검진을 권고하는 7대 암에 속하며, 1999년 국가 암 검진 사업에 포함되면서 조기 진단의 비율이 증가하고 있는 추세이다. 최근에는 자궁경부 '0기' 암이라 불리는 자궁경부 상피내암(전암 단계)도 증가 추세에 있는바, 성경험이 있는 여성에게 매년 검진을 받도록 권고하고 있는 실정이다.
그 검진에 관한 시장의 현황을 살펴보면, 우선 젊은 여성의 자궁경부 상피내암의 비율이 증가하고 있어 2016년부터 검진 대상이 30세에서 20세로 하향 조정되었다. 특히, 다른 암과 달리 자궁경부 세포 검사 검진에 관한 검진 비용의 300%에 대하여 건강보험 혜택이 적용된다. 그런데, 검진의 위음성률(즉, 오진율)이 최대 55%에 달하고 있어 그 보완책으로 자궁경부 확대 촬영 검사를 병행할 것이 권고되고 있는바, 2013년 기준으로 세계 자궁경부암 검진 시장은 약 6.86조 원 규모로서, 이 중 자궁경부 확대촬영 검사는 30%를 차지하여 약 2조 원의 규모에 달한다.
도 1은 종래에 자궁경부암을 진단하기 위하여 시행되던 자궁경부 세포 검사 및 자궁경부 확대 촬영 검진의 방식을 개략적으로 도시한 개념도 인바, 도 1의 하단을 참조하면, 여성 피검체의 질 외부에서 소정의 촬영 장치(예컨대 도 1에 도시된 자궁경부 확대경)를 통하여 자궁경부에 대한 촬영 영상이 획득되면, 이를 분석하여 그 결과를 이용함으로써 자궁경부암에 대한 검진의 오진율을 낮출 수 있게 된다.
그런데, 종래의 자궁경부 확대경을 활용할 때, 의료진은 교육과 경험에 비추어 해당 자궁경부의 영상에 대하여 자궁경부암의 발병 여부를 확인하는데, 이와 같은 방식은 반복적이고 애매한 경우가 많아서 숙련된 의사에게도 시간이 오래 걸리고 정확도도 함께 떨어질 수 있다.
이러한 단점을 극복하기 위해 자궁경부에 대한 촬영 영상을 획득하고, 획득된 자궁경부 영상으로부터 자궁경부암에 대한 기계학습모델에 기초하여 피검체의 자궁경부암 발병 여부에 관한 분석 정보를 생성하여 제공하는 자궁경부암 발병 여부 판정장치들도 소개되고 있다.
이러한 판정장치들의 성능을 평가하기 위한 주요 요소는 학습에 사용될 영상을 정확하게 분류 정리하여 학습을 진행해야 한다는 점이다. 이러한 데이터 분류 정리가 정확하고도 명확하게 이루어지지 않는다면 자궁경부암 발병 여부에 관한 분석 정확도가 떨어질 수밖에 없다. 보통 자궁경부암 질경검사(colposcopy) 영상은 촬영 환경 및 촬영자에 따라서 일반 의료 영상과는 다르게 다양한 형태로 나타난다. 따라서 자궁경부암의 발병 여부를 판정하는 장치들에서는 학습에 사용될 영상을 보다 명확하고도 엄격한 기준에 따라 분류하여 학습 진행할 필요가 있다.
또한 명확하고도 엄격한 기준에 따라 학습 데이터를 분류하여 기계학습을 수행하였더라도 그 진단(분석) 결과에 오진이 발생할 수 있으므로, 이러한 경우 전문의에 의한 평가가 이루어질 수 있도록 하여 기계학습에 기초해 자궁경부암을 자동 진단하는 분석 장치들의 신뢰성을 높이거나 진단 성능을 보조할 수 있는 시스템의 도입이 절실히 요구되는 바이다.
[선행기술문헌]
[특허문헌]
(특허문헌 0001) 대한민국 등록특허공보 제10-0850347호
(특허문헌 0002) 대한민국 공개특허공보 제10-2016-0047720호
이에 본 발명은 상술한 필요성에 따라 창안된 발명으로서, 본 발명의 주요 목적은 자궁경부암을 자동 진단하기 위해 필요한 학습용 자궁경부 데이터를 정확한 기준에 따라 분류하여 기계학습하고 그 기계학습에 기초하여 자궁경부암을 자동 진단하는 자궁경부암 자동 진단 시스템을 제공함에 있으며,
더 나아가 본 발명의 또 다른 목적은 특정 형태의 자궁경부 영상에 대해서만 과도한 학습이 진행되거나 반대로 특정 종류의 영상에 대해서 학습이 이루어지지 않는 현상이 발생하지 않도록 하여 자궁경부의 정확한 진단이 이루어질 수 있도록 유도하는 자궁경부암 자동 진단 시스템을 제공함에 있다.
또한 본 발명의 다른 목적은 기계학습모델에 기초하여 자동 분석된 여러 정보들을 판독의(전문가)에게 제공하여 판독의 편의성을 제공함은 물론, 판독의에 의해 평가된 입력정보가 실시간 재학습에 이용될 수 있도록 유저 인터페이스 화면을 구성해 기계학습모델의 성능이 지속적으로 개선될 수 있도록 하는 자궁경부암 자동 진단 시스템을 제공함에 있다.
전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 자궁경부암 자동 진단 시스템은,
학습모드에서 외부장치 혹은 저장부로부터 전달된 자궁경부에 대한 미분류 촬영 영상 데이터를 다단계 분류기준 조합에 따라 분류하여 새로운 분류기준별 학습데이터로 생성하는 학습 데이터 생성부와;
자궁경부 촬영 영상을 전처리하는 촬영 영상 전처리부와;
학습모드에서 상기 분류기준별로 생성된 학습데이터의 특징을 학습하는 자궁경부암에 대한 기계학습모델을 포함하며, 상기 기계학습모델은 진단모드에서 상기 전처리된 자궁경부 촬영 영상에 대해 자궁경부암의 발병 여부에 관한 진단 정보를 생성하는 자궁경부암 진단부와;
상기 진단 정보를 표시하고 판독의에 의한 평가정보를 입력할 수 있는 유저 인터페이스 화면을 표시 출력하는 화면 표시 제어부와;
상기 유저 인터페이스 화면을 통해 입력된 평가 정보 중 재학습시 필요한 정보를 추출해 상기 기계학습모델의 재학습을 요청하는 재학습 데이터 생성부와;
상기 자궁경부암의 발병 여부에 관한 진단 정보와 상기 유저 인터페이스 화면을 통해 입력된 평가 정보를 저장하는 진단 및 평가정보 저장부;를 포함함을 특징으로 한다.
상술한 시스템 구성에 있어서, 상기 학습 데이터 생성부는 분류기준별 학습데이터의 수적 밸런스를 조정하기 위해 상기 분류기준별 학습데이터에 대해 미러링 혹은 크롭핑 적용하여 추가 학습데이터를 더 생성함을 또 다른 특징으로 하며,
더 나아가 상기 학습 데이터 생성부는,
컬러를 분류기준으로 하는 1단계 분류기준과, 촬영 영상 데이터 내의 자궁경부 크기를 분류기준으로 하는 2단계 분류기준과, 자궁경부 영상 데이터 내의 컬러와 형태의 조합을 분류기준으로 하는 3단계 분류기준과, 노출과 초점을 분류기준으로 하는 4단계 분류기준 중 적어도 두 개 이상의 분류기준 조합을 이용해 분류함을 또 다른 특징으로 한다.
경우에 따라서는, 상기 학습 데이터 생성부는,
컬러를 분류기준으로 하는 1단계 분류기준에 따라 상기 자궁경부에 대한 미분류 촬영 영상 데이터를 1차 분류하고, 상기 1차 분류된 미분류 촬영 영상 데이터 내의 자궁경부 크기를 분류기준으로 하는 2단계 분류기준에 따라 2차 분류하고, 상기 2차 분류된 미분류 촬영 영상 데이터 내의 컬러와 형태의 조합을 분류기준으로 하는 3단계 분류기준에 따라 자궁경부에 대한 미분류 촬영 영상 데이터를 3차 분류함을 특징으로 한다.
한편, 상술한 자궁경부암 자동 진단 시스템에 있어서, 상기 1단계 분류기준은 아세트산 반응 영상, 루골용액반응 영상, 그린필터 영상, 일반 영상을 각각 식별하기 위한 컬러값을 분류기준 값으로 포함하며,
상기 3단계 분류기준은 자궁경부 영상 데이터 내에서 혈액, 점액, 루프, 질확대경, 치료흔적, 수술도구 중 어느 하나 이상을 식별하기 위한 컬러값과 형태의 조합을 분류기준 값으로 포함함을 또 다 특징으로 한다.
더 나아가 상기 자궁경부암 진단부는 상기 기계학습모델에 기초하여 피검체의 자궁경부 촬영 영상에 대해 자궁경부암에 대한 음성, 비정형, 양성 및 악성 여부에 관한 분류 정보와, 그 분류 정보의 정확성 정보와, 음양성 판정정보와 형태학적 소견 정보를 포함하는 진단 정보를 생성함을 특징으로 하며,
상기 화면 표시 제어부는 피검체의 자궁경부 촬영 영상의 전부 또는 일부 표시 영역, 동일 피검체에 대하여 이전에 촬영된 타 영상의 이력 정보 표시영역, 피검체 정보 노출 영역, 음양성 판정 정보 입력 영역, 형태학적 소견 정보 입력 영역, 촬영 영상의 품질에 관한 기술적 결함 정보 입력 영역, 상기 기계학습모델에 기초하여 도출된 상기 진단 정보 출력 영역, 판독의 소견 입력 영역으로 분할되는 화면을 상기 유저 인터페이스 화면으로 표시 출력함을 특징으로 한다.
상술한 기술적 과제 해결 수단에 따르면, 본 발명의 실시예에 따른 자궁경부암 자동 진단 시스템은 다단계의 분류기준 조합에 따라 자궁경부에 대한 미분류 촬영 영상 데이터를 분류하여 기계학습모델과 같은 인공지능망을 학습시키게 되면, 단순히 하나(컬러, 모양, 밝기 등)의 특성만을 가지는 분류기준을 이용해 분류된 데이터를 활용해 학습시키는 것보다 더 다양한 특성을 가지는 영상 데이터에 대해 학습이 이루어질 수 있어 보다 정확한 병변 진단이 이루어질 수 있는 장점이 있다.
또한 본 발명은 분류기준별 학습 데이터의 수적(數的) 밸런스를 조정하기 위한 추가 학습 데이터를 더 생성하여 학습에 이용토록 함으로써, 특정 형태의 자궁경부(암) 영상 데이터에서 대해서만 과도한 학습이 진행되거나, 반대로 특정 형태(혹은 종류)의 영상에 대해서 학습이 진행되지 않는 현상이 발생하지 않도록 함으로써, 자궁경부에 대한 병변 유무를 정확히 진단해 낼 수 있는 효과를 제공한다.
더 나아가 본 발명은 기계학습모델에 기초하여 자궁경부암에 대한 병변 여부를 자동 진단하고 그 결과를 유저 인터페이스 화면을 통해 외부에 표시하되, 상기 유저 인터페이스 화면에 판독의가 평가 정보를 입력하도록 유도하고 그 평가 정보 중 일부를 추출하여 기계학습모델의 재학습에 활용함으로써, 기계학습모델의 성능을 지속적으로 업그레이드시킬 수 있는 이점이 있다.
도 1은 종래에 자궁경부암을 진단하기 위하여 시행되던 자궁경부 세포 검사 및 자궁경부 확대 촬영 검진의 방식을 개략적으로 도시한 개념도.
도 2는 본 발명의 실시예에 따른 자궁경부암 자동 진단 시스템의 구성 예시도.
도 3은 본 발명의 실시예에 따른 자궁경부 학습 데이터 분류방법을 설명하기 위한 도면.
도 4는 본 발명의 실시예에 따른 자궁경부 학습 데이터 생성을 위한 다단계 분류기준을 보다 상세히 설명하기 위한 도면.
도 5는 본 발명의 실시예에 따른 자궁경부암 자동 진단 과정을 설명하기 위한 도면.
도 6a 내지 6e는 본 발명의 실시예에 따른 자궁경부암 자동 진단 과정에서 제공되는 유저 인터페이스(UI; user interface) 화면 예시도.
도 7은 악성의 비정형 혈관(Atypical Vessels) 예시도.
후술하는 본 발명에 대한 상세한 설명은, 본 발명의 목적들, 기술적 해법들 및 장점들을 분명하게 하기 위하여 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 통상의 기술자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다.
그리고 본 발명의 상세한 설명 및 청구항들에 걸쳐 '학습'은 절차에 따라 기계 학습(machine learning)을 수행함을 일컫는 용어인바, 인간의 교육 활동과 같은 정신적 작용을 지칭하도록 의도된 것이 아님을 통상의 기술자는 이해할 수 있을 것이다. 또한 본 발명의 상세한 설명 및 청구항들에 걸쳐, '포함하다'라는 단어 및 그 변형은 다른 기술적 특징들, 부가물들, 구성요소들 또는 단계들을 제외하는 것으로 의도된 것이 아니다. 통상의 기술자에게 본 발명의 다른 목적들, 장점들 및 특성들이 일부는 본 설명서로부터, 그리고 일부는 본 발명의 실시로부터 드러날 것이다. 아래의 예시 및 도면은 실례로서 제공되며, 본 발명을 한정하는 것으로 의도된 것이 아니다. 더욱이 본 발명은 본 명세서에 표시된 실시예들의 모든 가능한 조합들을 망라한다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 사상 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 사상 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
본 명세서에서 달리 표시되거나 분명히 문맥에 모순되지 않는 한, 단수로 지칭된 항목은, 그 문맥에서 달리 요구되지 않는 한, 복수의 것을 아우른다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
이하, 통상의 기술자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
참고적으로 본 발명에 이용되는 기계 학습 모델(machine learning model) 중 하나인 CNN(convolutional neural network; 합성 신경망) 모델은 인공 신경망을 다층으로 쌓은 형태로 간략하게 설명할 수 있다. 즉, 이는 깊은 구조의 네트워크라는 의미로 깊은 신경망(deep neural network; 딥 뉴럴 네트워크)이라고 표현되며, 통상 다층의 네트워크로 이루어진 구조에서 다량의 데이터를 학습시킴으로써 각각의 이미지의 특징을 자동으로 학습하고, 이를 통하여 목적 함수의 에러(error)를 최소화시키는 방법으로 네트워크를 학습시켜 나아가는 형태이다. 이는, 일견 인간 두뇌의 신경세포 간의 연결로도 표현이 되는바, 이에 따라 인공지능의 대표격으로 자리잡고 있다. 특히, CNN은 이미지와 같은 2차원 이미지의 분류에 적합한 모델로서, 이미지의 각 영역을 복수의 필터를 이용하여 특징 지도(feature map)를 만들어내는 합성층(convolution layer)과 특징 지도의 크기를 줄여 위치나 회전의 변화에 불변하는 특징을 추출할 수 있도록 하는 풀링층(pooling layer; sub-sampling layer)을 반복함으로써 점, 선, 면 등의 저 수준의 특징에서부터 복잡하고 의미 있는 고 수준의 특징까지 다양한 수준의 특징을 추출할 수 있게 되며, 최종적으로 완전 연결층(fully-connected layer)를 통하여 추출된 특징을 기존 모델의 입력값으로서 이용하면 더 높은 정확도의 분류 모델을 구축할 수 있는 장점이 있다.
도 2는 본 발명의 실시예에 따른 자궁경부암 자동 진단 시스템의 구성도를 예시한 것이다. 본 발명의 실시예에 따른 자궁경부암 자동 진단 시스템(200)은 도시된 바와 같이 영상촬영장치(100), 저장매체(300), 통신부(400), 표시부(500)와 연결되어 동작 가능한 하나의 컴퓨터 시스템 혹은 서버 컴퓨터 시스템일 수 있으며, 컴퓨터 시스템의 메모리에 설치되어 실행 가능한 실행 가능한 코드 데이터들의 집합체(응용 프로그램의 형태)로 구현될 수도 있다.
도 2를 참조하면, 본 발명의 실시예에 따른 자궁경부암 자동 진단 시스템(200)은 통신부(400)를 통하여 원격지에 위치한 판독의의 컴퓨팅 장치(미도시)와 직간접적으로 통신할 수 있다. 물론 판독의는 표시부(500)에 표시된 유저 인터페이스 화면을 통해 후술할 평가 정보를 직접 입력(키보드, 마우스 이용)할 수도 있다.
영상촬영장치(100)는 진단모드에서 피검체의 자궁경부 촬영 영상을 획득하여 후술할 자궁경부암 자동 진단 시스템(200)으로 전달하며, 저장 매체(300)는 후술할 기계 학습 모델이 학습할 자궁경부에 대한 미분류 촬영 영상 데이터를 저장한다.
이하 자궁경부암 자동 진단 시스템(200)의 구성을 도 2를 참조하여 부연 설명하면, 본 발명의 실시예에 따른 자궁경부암 자동 진단 시스템(200)은,
학습모드에서 외부장치 혹은 저장부(저장매체,300)로부터 전달된 자궁경부에 대한 미분류 촬영 영상 데이터를 다단계 분류기준 조합에 따라 분류하여 새로운 분류기준별 학습데이터로 생성하는 학습 데이터 생성부(210)와,
자궁경부 촬영 영상을 전처리(화질 개선, 블러링, 노이즈 처리)하는 촬영 영상 전처리부(220)와,
학습모드에서 상기 분류기준별로 생성된 학습데이터의 특징을 학습하는 자궁경부암에 대한 기계학습모델을 포함하며, 상기 기계학습모델은 진단모드에서 상기 전처리된 자궁경부 촬영 영상에 대해 자궁경부암의 발병 여부에 관한 진단 정보를 생성하는 자궁경부암 진단부(260)와,
상기 진단 정보를 표시하고 판독의에 의한 평가정보를 입력할 수 있는 유저 인터페이스 화면을 표시 출력하는 화면 표시 제어부(250)와,
상기 유저 인터페이스 화면을 통해 입력된 평가 정보 중 재학습시 필요한 정보를 추출해 상기 기계학습모델의 재학습을 요청하는 재학습 데이터 생성부(230)와,
상기 자궁경부암의 발병 여부에 관한 진단 정보와 상기 유저 인터페이스 화면을 통해 입력된 평가 정보를 저장하는 진단 및 평가정보 저장부(240)를 포함한다.
참고적으로 상기 다단계 분류기준, 피검체에 대한 진단 정보와 평가 정보는 저장매체(300)에 저장될 수 있다.
학습 데이터 생성부(210)는 학습모드에서 생성된 분류기준별 학습데이터의 수적(數的) 밸런스를 조정하기 위해 상기 분류기준별 학습데이터에 대해 상하 혹은 좌우 미러링 혹은 크롭핑 기술을 적용하여 추가 학습데이터를 더 생성함으로써, 특정 형태의 자궁경부(암) 영상 데이터에서 대해서만 과도한 학습이 진행되거나, 반대로 특정 형태(혹은 종류)의 영상에 대해서 정상적인 학습이 진행되지 않는 현상이 발생하지 않도록 한다.
한편, 학습 데이터 생성부(210)는 학습모드에서 자궁경부에 대한 미분류 촬영 영상 데이터를 분류함에 있어, 컬러를 분류기준으로 하는 1단계 분류기준과, 촬영 영상 데이터 내의 자궁경부 크기를 분류기준으로 하는 2단계 분류기준과, 자궁경부 영상 데이터 내의 컬러와 형태의 조합을 분류기준으로 하는 3단계 분류기준과, 노출과 초점을 분류기준으로 하는 4단계 분류기준 중 적어도 두 개 이상의 분류기준 조합을 이용해 분류함을 특징으로 한다.
구체적인 구현 방법에 있어서 학습 데이터 생성부(210)는,
컬러를 분류기준으로 하는 1단계 분류기준에 따라 자궁경부에 대한 미분류 촬영 영상 데이터를 1차 분류하고, 상기 1차 분류된 미분류 촬영 영상 데이터 내의 자궁경부 크기를 분류기준으로 하는 2단계 분류기준에 따라 2차 분류하고, 상기 2차 분류된 미분류 촬영 영상 데이터 내의 컬러와 형태의 조합을 분류기준으로 하는 3단계 분류기준에 따라 상기 자궁경부에 대한 미분류 촬영 영상 데이터를 3차 분류할 수 있다.
또한 학습 데이터 생성부(210)는 상기 3차 분류된 자궁경부에 대한 미분류 촬영 영상 데이터를 노출과 초점을 분류기준으로 하는 4단계 분류기준에 따라 4차 분류할 수도 있다. 이러한 4단계 분류기준은 1단계 분류기준에 앞서 최우선적으로 적용되어 진단 불가(병변이 식별되지 않는)한 촬영 영상 데이터를 필터링하기 위한 학습 데이터로 활용될 수 있다. 예를 들어 노출이 부족/과다할 경우 히스토그램이 한 쪽에 극단적으로 치우치기 때문에 이를 이용해 분류할 수 있고, 초점이 맞지 않는 경우 에지(edge:경계선) 검출이 되지 않거나 색의 대비가 모호하게 나타나므로 이러한 특성을 이용해 분류(4차 분류)할 수 있다.
부가적으로 상기 학습 데이터 생성부(210)는 컬러를 분류기준으로 하는 1단계 분류기준에 따라 상기 자궁경부에 대한 미분류 촬영 영상 데이터를 1차 분류하되, 상기 1단계 분류기준은 아세트산 반응 영상, 루골용액반응 영상, 그린필터 영상, 일반 영상 중 어느 하나 이상을 각각 식별하기 위한 컬러값을 분류기준 값으로 포함한다.
또한 학습 데이터 생성부(210)는 상기 1차 분류된 미분류 촬영 영상 데이터 내의 자궁경부 크기, 예를 들면 영상 내의 자궁경부 크기 150%, 100%, 80%, 50%, 확대경 및 이외 부분 포함과 같은 크기를 분류기준으로 2차 분류한다.
더 나아가 학습 데이터 생성부(210)는 2차 분류된 자궁경부에 대한 미분류 촬영 영상 데이터에서 자궁경부 영상 데이터 내의 컬러와 형태의 조합을 분류기준으로 하는 3단계 분류기준에 따라 상기 자궁경부에 대한 미분류 촬영 영상 데이터를 3차 분류하되, 상기 3단계 분류기준은 자궁경부 영상 데이터 내에서 적어도 혈액, 점액, 루프, 질확대경, 치료흔적, 수술도구 중 어느 하나 이상을 식별하기 위한 컬러값과 형태의 조합을 분류기준 값으로 포함하여 자궁경부에 영향을 주는 이물질들을 분류한다.
예를 들어 혈액은 주로 자궁경부 중앙에서 아래로 흐르는 붉은색의 형태로 나타나며, 점액은 주로 자궁경부 중앙에서 아래로 흐르는 엷은 노란색의 형태로 나타나며, 루프는 자궁경부의 중앙에 주로 위치하며 일반적으로 부메랑 형태의 철사가 명확히 나타난다. 질 확대경 및 기타 수술도구는 핑크색의 자궁경부와는 다른 색상(은색, 푸른색,..)으로 나타나기에 각 이물질들의 컬러와 형태의 조합 특성을 이용하면 상기 예시한 바와 같이 자궁경부에 영향을 주는 이물질들을 분류할 수 있다.
예시한 1차 내지 4차 분류과정에서는 딥러닝 기법인 CNN을 사용하여 각각의 분류를 진행할 수 있다. 1차와 2차 및 4차 분류에서는 추출할 피처(feature)가 명확하기 때문에 적은 레이어(layer)의 구성으로도 높은 정확도의 분류가 가능하며, 3차 분류에서는 추출할 피처가 많기 때문에 깊은 레이어로 구성하여 정확도를 높일 수 있다.
이하 도 3과 도 4를 참조하여 본 발명의 실시예에 따른 자궁경부암 자동 진단 시스템(200)의 학습 데이터 분류방법을 보다 구체적으로 설명하기로 한다.
우선 도 3은 본 발명의 실시예에 따른 자궁경부 학습 데이터 분류방법을 설명하기 위한 도면을 도시한 것이며, 도 4는 본 발명의 실시예에 따른 자궁경부 학습 데이터 생성을 위한 다단계 분류기준을 보다 상세히 설명하기 위한 도면을 도시한 것이다.
도 3을 참조하면, 우선 자궁경부에 대한 미분류 촬영 영상 데이터들에 대한 학습을 진행하기에 앞서 저장매체(300)에는 영상촬영장치(100) 혹은 외부 장치로부터 전달된 자궁경부에 대한 미분류 촬영 영상 데이터들이 저장(S100단계)되거나 저장되어 있는 것으로 가정한다.
이러한 가정하에 관리자로부터 학습모드의 실행명령이 있으면, 학습 데이터 생성부(210)는 자궁경부에 대한 미분류 촬영 영상 데이터 각각에 대해 CNN과 같은 신경망 알고리즘에 기반하여 분류하되, 복수의 다단계 분류기준 조합에 따라 분류하여 우선 저장(S200단계)한다.
예를 들어 학습 데이터 생성부(210)는 컬러를 분류기준으로 하는 1단계 분류기준에 따라 상기 자궁경부에 대한 미분류 촬영 영상 데이터를 우선적으로 1차 분류한다.
1차 분류를 위해 학습 데이터 생성부(210)는 아세트산 반응 영상, 루골용액반응 영상, 그린필터 영상, 일반 영상 각각 식별하기 위한 컬러값을 분류기준 값으로 포함함으로서, 위 4가지의 영상을 분류할 수 있다.
구체적으로, 아세트산 반응 영상은 흰색의 얼룩이 자궁경부에 나타나기 때문에 핑크색의 자궁경부 및 질과 구분이 가능하다. 루골용액 반응 영상은 갈색 또는 진한 주황색 컬러가 나타나며, 그린필터 영상은 영상 전반에 걸쳐 그린이 강하게 나타나기 때문에 이러한 각 영상의 특징을 나타내는 컬러값을 분류기준 값으로 활용해 자궁경부에 대한 미분류 촬영 영상 데이터를 분류할 수 있다.
1차 분류가 완료되면 학습 데이터 생성부(210)는 상기 1차 분류된 촬영 영상 데이터 내의 자궁경부 크기를 분류기준으로 하는 2단계 분류기준에 따라 2차 분류한다.
자궁경부는 500원 주화 크기의 원형으로 보통 영상 내에서 중앙 부분에 위치한다. 따라서 영상 내의 자궁경부 크기(150%, 100%, 80% 등)를 기준으로 자궁경부만 확대한 영상, 자궁경부 전체가 나온 영상, 자궁경부가 영상의 80% 정도만 나온 영상, 자궁경부가 영상의 50% 정도만 나온 영상, 자궁경부+확대경+이외부분 포함된 영상과 같이 2차 분류할 수 있다.
이후 학습 데이터 생성부(210)는 상기 2차 분류된 자궁경부 영상 데이터 내의 컬러와 형태의 조합을 분류기준으로 하는 3단계 분류기준에 따라 자궁경부에 영향을 주는 이물질들을 3차 분류한다.
앞서 언급한 바와 같이 혈액은 주로 자궁경부 중앙에서 아래로 흐르는 붉은색의 형태로 나타나며, 점액은 주로 자궁경부 중앙에서 아래로 흐르는 엷은 노란색의 형태로 나타나며, 루프는 자궁경부의 중앙에 주로 위치하며 일반적으로 부메랑 형태의 철사가 명확히 나타난다. 질 확대경 및 기타 수술도구는 핑크색의 자궁경부와는 다른 색상(은색, 푸른색,..)으로 나타나기에 각 이물질들의 컬러와 형태의 조합 특성을 이용하면 상기 예시한 바와 같이 자궁경부에 영향을 주는 이물질들을 분류할 수 있다.
이상에서 설명한 바와 같이 다단계 분류기준 조합에 따라 분류된 분류기준별 촬영 영상 데이터는 저장매체(300) 혹은 시스템(200) 내부의 메모리에 일시 저장될 수 있다.
미분류 촬영 영상 데이터의 분류가 완료되면 학습 데이터 생성부(210)는 상기 분류기준별로 분류된 자궁경부에 대한 촬영 영상 데이터를 분류기준별 학습 데이터로 생성하여 저장매체(300)에 저장(S300단계)한다. 이러한 학습 데이터 생성과정에서 학습 데이터 생성부(210)는 분류기준별 학습 데이터의 수적 밸런스를 조정하기 위해 추가 학습 데이터를 더 생성할 수 있는데, 추가 학습 데이터는 각 분류기준별 학습 데이터에 기반하여 생성하는 것이 바람직하다.
추가 학습 데이터를 생성하기 위한 방법으로는 미러링을 이용하여 좌우가 바뀌는 수직 미러링과 상하가 바뀌는 수평 미러링을 사용할 수 있으며, 크롭핑을 이용하여 원본보다 작은 크기로 상/하/좌/우 기준으로 크롭핑을 실행하여 추가 학습 데이터를 생성할 수 있다. 또한 미러링과 크롭핑을 같이 사용하면 최대 16배의 추가 학습 데이터의 생성이 가능하다.
참고적으로 상기 예에서는 1단계 분류기준, 2단계 분류기준, 3단계 분류기준 조합을 적용하여 학습 데이터를 생성하였으나, 1단계 및 2단계 분류기준 조합, 1단계 및 3단계 분류기준 조합, 2단계 및 3단계 분류 기준 조합을 적용하여 학습 데이터를 생성할 수 있으며, 단순히 도 4에 도시한 바와 같이 1단계 내지 3단계 분류기준을 각각 적용하여 자궁경부에 대한 미분류 촬영 영상 데이터를 분류하여 분류기준별 학습 데이터로 사용할 수도 있을 것이다.
이상과 같이 다단계 분류기준 조합에 따라 자궁경부에 대한 미분류 촬영 영상 데이터가 분류되어 학습 데이터가 생성되면, 자궁경부에 대한 기계 학습 모델(262)은 분류기분별로 생성된 학습 데이터의 특징에 대해 학습과 검증을 실행(S400단계)한다. 만약, 자궁경부에 대한 미분류 촬영 영상 데이터가 추가적으로 확보되면 상술한 학습모드를 재차 수행한다.
이상에서 살펴본 바와 같이 본 발명의 실시예에 따른 자궁경부암 자동 진단 시스템(200)은 다단계의 분류기준 조합에 따라 자궁경부에 대한 미분류 촬영 영상 데이터를 분류하여 학습 데이터를 생성하기 때문에 학습 데이터의 분류 수가 많아지고, 학습 데이터의 분류 수가 많아지면 많아질수록 다양한 특성을 가지는 영상 데이터에 대해 학습이 이루어져 결국 병변 유무를 보다 정확하게 진단할 수 있는 효과를 얻을 수 있다.
또한 본 발명은 분류기준별 학습 데이터의 수적(數的) 밸런스를 조정하기 위한 추가 학습 데이터를 더 생성하여 학습에 이용토록 함으로써, 특정 형태의 자궁경부(암) 영상 데이터에 대해서만 과도한 학습이 진행되거나, 반대로 특정 형태(혹은 종류)의 영상에 대해서 학습이 진행되지 않는 현상이 발생하지 않도록 함으로써, 자궁경부에 대한 병변 유무를 정확히 진단해 낼 수 있는 효과를 제공한다.
이하 상술한 다단계의 분류기준 조합에 따라 자궁경부에 대한 미분류 촬영 영상 데이터를 분류하여 생성된 학습 데이터를 이용해 기계학습모델(262)을 학습시킨 자궁경부암 자동 진단 시스템(200)의 자궁경부암 자동 진단 과정을 설명하기로 한다.
도 5는 본 발명의 실시예에 따른 자궁경부암 자동 진단 과정을 설명하기 위한 도면을 도시한 것이며, 도 6a 내지 6e는 본 발명의 실시예에 따른 자궁경부암 자동 진단 과정에서 제공되는 유저 인터페이스(UI; user interface) 화면을 예시한 것이다.
도 5를 참조하면, 우선 진단모드에서 자궁경부암 자동 진단 시스템(200)은 피검체의 자궁경부에 대한 촬영 영상을 획득(S410단계)한다. 피검체의 자궁경부에 대한 촬영 영상은 영상촬영장치(100)로부터 획득될 수도 있고, 통신부(400) 혹은 저장매체를 통해 외부로부터 획득될 수도 있다. 이와 같이 획득된 자궁경부에 대한 촬영 영상(514)은 화면 표시 제어부(250)에 의해 도 6a에 도시한 바와 같이 유저 인터페이스 화면에 표시된다. 상기 촬영 영상(514)과 함께 환자인 피검체 정보가 도 6a에 도시한 바와 같이 피검체 정보 입력 영역(510)을 통하여 표시될 수 있도록 유저 인터페이스 화면을 구성할 수 있다.
획득된 피검체의 자궁경부에 대한 촬영 영상을 유저 인터페이스 화면에 표시하기에 앞서 보다 정확한 진단 정보를 생성하기 위하여 촬영영상 전처리부(220)는 상기 자궁경부 촬영 영상에 대하여 전처리를 수행하는 것이 바람직하다. 여기에서 전처리는, 상기 촬영 영상의 조도 및 노이즈에 강건하도록 하기 위한 RGB-HSV 변환, 히스토그램 평활화 등을 통한 영상 화질 개선, 블러링(blurring) 및 노이즈 처리 중 적어도 하나를 포함할 수 있다.
다시 도 5를 참조하면, 피검체의 자궁경부에 대한 촬영 영상을 획득하여 전처리 완료되면 자궁경부암 진단부(260)의 기계학습모델(262)은 상기 전처리된 자궁경부 촬영 영상에 대해 자궁경부암의 발병 여부에 관한 진단 정보를 생성(S420단계)한다.
상기 기계학습모델(262)은 미리 입력된 다수의 훈련용 정보, 즉, (i)다단계 분류기준 조합에 따른 분류기준별 학습 데이터, (ii) 그 다수의 학습 데이터 영상에 자궁경부암의 병변이 존재하는지 여부의 데이터, 및 만약 병변이 존재한다면 (iii) 해당 영상의 어떤 부분에 그 병변이 존재하는지를 표시한 데이터를 포함하는 정보를 이용하여 자궁경부암의 발병 여부에 관한 진단 정보를 생성한다. 참고적으로 상기 기계학습모델(262)은 CNN(convolutional neural network; 합성 신경망) 모델일 수 있으며 CNN과 SVM(support vector machine)을 결합한 모델일 수 있다.
기계학습모델(262)의 정확도와 신뢰도를 높이기 위하여 다량의 훈련용 학습 데이터가 필요하며, 훈련용 학습 데이터가 많으면 많을수록 기계학습모델의 정확도 및 신뢰도는 향상될 수 있다.
한편, 상기 진단 정보는 자궁경부암에 대한 음성(negative), 비정형(atypical), 양성(positive) 및 악성 여부에 관한 분류 정보를 포함할 수 있다. 또한 상기 분류 정보는 그 분류가 얼마나 정확한지를 나타내는 확률 정보를 포함할 수 있다.
더 구체적으로, 상기 진단 정보는 음성인지 여부, 양성이라면 그 위험성이 높은지 낮은지 여부(low cancer risk vs. high cancer risk)에 관한 정보인 음양성 판정 정보를 포함할 수 있으며, Acetowhite Epithelium, Mosaic, Erosion or ulceration, Irregular surface contour, Punctation, Atypical Vessels, Discolaration 등의 형태학적 소견 정보를 더 포함할 수도 있다.
상기 진단 정보는 화면 표시 제어부(250)에 의해 도 6b에 도시한 바와 같이 다수의 촬영 영상(514)에 대응되도록 목록화되어 제공될 수 있다. 도 6b에 도시한 유저 인터페이스 화면에는 피검체 정보(520), 입력 시점 정보(522), 기계학습모델(262)에 의해 산출된 분류 정보 및 확률 정보에 따라 자궁경부암의 발병이 의심되는지 여부를 나타내는 정보('suspicious'로 표시됨; 524)가 표시된다. 더 나아가 도 6b에 도시된 유저 인터페이스 화면에는 S420단계에 이어지는 후속 단계들을 계속 수행할 수 있도록 특정 촬영 영상에 대응되는 'Evaluation' 버튼(526)들이 도시되어 있다.
상기 'Evaluation' 버튼(526)을 통해 판독의는 기계학습모델에 기초하여 자동 진단된 자궁경부암의 발병 여부를 판독하고 평가 정보를 입력할 수 있다. 즉, 'Evaluation' 버튼(526)의 조작이 있으면, 화면 표시 제어부(250)는 자궁경부암의 발병 여부를 판독할 수 있도록 여러 화면을 지원한다.
예를 들어 도 6c에 도시한 바와 같이, 촬영 영상의 전부 또는 일부를 유저 인터페이스 화면상에 제공함으로써, 판독의는 의학적으로 특이한 영역이 있는지 여부를 판단하면서 도구창을 이용해 필요한 여러 가지 표시를 할 수 있다(예컨대, 사각형, 화살표, 텍스트 입력 등).
또한 화면 표시 제어부(250)는 유저 인터페이스 화면을 통해 입력되는 판독의 명령에 대응하는 진단 정보를 표시해 줄 수 있으며 판독의에 의한 평가정보를 입력할 수 있도록 지원(S430단계)한다.
평가 정보라고 함은, 제공되는 진단 정보가 정확한 것인지, 즉 진단 정보에 포함된 발병 여부가 옳은지 그른지에 관한 정보, 및 상기 진단 정보에 포함된 분류 정보가 옳은지 그른지, 그르다면, 어떠한 분류가 옳은 것인지에 관한 정보를 포함할 수 있다.
또한 상기 평가 정보는, 촬영 영상에 관한 품질에 관한 정보, 예컨대 촬영 영상의 기술적 결함에 관한 정보를 포함할 수도 있다. 예컨대, 그러한 기술적 결함은, 촬영 영상에 점액(mucus)이나 혈액이 과다하여 그 촬영 영상에 대한 정확한 판정이 어렵다거나 촬영 영상의 각도나 촬영된 부위의 위치 때문에 자궁경부암의 발병 여부를 확인하기 어려운 것일 수도 있고, 아세트산 반응이 있어야 하는데도 그 아세트산 반응이 불충분하다거나(insufficient acetic acid reaction) 초점 불분명(out of focus), 과노출, 과소노출에 해당하는 영상의 문제일 수도 있다.
도 6d에는 화면 표시 제어부(250)에 의해 표시되는 유저 인터페이스 화면을 도시한 것으로, 촬영 영상의 전부 또는 일부(540)가 표시되는 영역, 동일 피검체에 대하여 이전에 촬영된 타 영상의 이력 정보(541)가 표시되는 영역, 도 6a에 예시한 바와 같이 피검체 정보 노출 영역(542), 음양성 판정 정보가 입력될 수 있는 음양성 판정 정보 입력 영역(543), 판독의에 의해 형태학적 소견 정보가 입력될 수 있는 형태학적 소견 정보 입력 영역(544), 촬영 영상(540)의 기술적 결함에 관한 정보가 입력될 수 있는 기술적 결함 정보 입력 영역(545), 상기 기계학습모델(262)에 의하여 도출된 진단 정보를 나타내는 인공지능 진단 정보 출력 영역(546) 및 판독의가 상기 촬영 영상에 기초한 소견을 입력할 수 있는 사용자 소견 입력 영역(547)이 유저 인터페이스 화면상에 표시되는바, 이로써 자동 진단 정보에 대응되는 자궁경부암의 발병 여부를 판독의가 평가하는 것이 용이해진다.
한편 판독의는 도 6에 도시된 유저 인터페이스 화면을 통해 피검체 자궁경부에 대한 촬영 영상과 기계학습모델(262)에 기초하여 분석된 진단 정보에 대한 평가 정보를 입력하면, 진단 및 평가정보 저장부(240)는 자궁경부암의 발병 여부에 관한 진단 정보와 상기 유저 인터페이스 화면을 통해 입력된 판독의의 평가 정보를 저장매체(300)에 저장(S440단계)하거나 관리자 혹은 판독의 요청시 표시부(500)에 출력하여 준다.
한편, 상기 유저 인터페이스 화면을 통해 평가 정보가 입력되면, 재학습 데이터 생성부(230)는 유저 인터페이스 화면을 통해 입력된 평가 정보 중 재학습시 필요한 정보, 예를 들면 음양성 판정 정보, 기술적 결함 정보 등을 추출해 기계학습모델(262)의 재학습을 요청할 수 있다.
또한 상술한 평가 정보는 의료 결과 레포트의 형식으로 가공되어 제공될 수도 있는바, 예컨대, 이를 위하여 제공되는 유저 인터페이스는 도 6e에 잘 나타나 있으며, 의료 결과 레포트(550)는 자궁경부암의 발병 여부, 분류 정보 등을 포함할 수 있다. 이러한 의료 결과 레포트는 촬영 영상을 최초 획득한 장소(즉, 촬영지), 촬영 영상의 판독이 수행된 장소로부터 멀리 떨어진 곳에 위치한 타 장치를 통하여 제공될 수도 있다.
이상의 실시예에서는 자궁경부암 자동 진단 시스템(200)에 판독의가 위치하여 평가 정보를 입력하는 경우를 가정하여 설명하였으나, 별다른 변형 없이 촬영 영상, 진단 정보들을 통신부(400)를 통해 원격지에 위치한 판독의로 전송하여 평가 정보가 입력되도록 할 수 있다.
이상에서 설명한 본 발명의 실시예에 따르면, 미리 학습된 기계학습모델(262)에 기초하여 자궁경부암에 대한 발병 여부를 자동 진단할 수 있기 때문에, 의료진이 자궁경부 확대경을 통하여 획득된 자궁경부 촬영 영상을 직접 보고 교육과 경험에 기초하여 일일이 자궁경부의 상태를 확인하는 종전 방식에 비해 보다 빠르고 정확하게 자궁경부암의 발병 여부를 자동 진단할 수 있는 장점이 있다.
또한 본 발명은 평가 정보를 다시 상기 기계학습모델에 대한 재학습의 자료로 활용할 수 있어 더 정확한 판독을 수행할 수 있는 장점이 있다.
한편 상술한 실시예에서는 컬러를 분류기준으로 하는 1단계 분류기준과, 촬영 영상 데이터 내의 자궁경부 크기를 분류기준으로 하는 2단계 분류기준과, 자궁경부 영상 데이터 내의 컬러와 형태의 조합을 분류기준으로 하는 3단계 분류기준과, 노출과 초점을 분류기준으로 하는 4단계 분류기준을 예시하였으나, 학습 데이터 생성부(210)는 도 7에 도시한 바와 같은 악성의 비정형 혈관(Atypical Vessels) 패턴을 분류기준으로 하는 5단계 분류기준을 더 추가하여 5단계 분류기준 단독 혹은 5단계 분류기준과 앞서 예시한 타 분류기준의 조합에 따라 자궁경부에 대한 미분류 촬영 영상 데이터를 분류하여 학습 데이터를 생성할 수도 있다.
도 7에 도시한 악성의 비정형 혈관 패턴에 대한 학습이 이루어지면 자궁경부암 진단부(260)는 학습된 기계학습모델에 기초하여 악성의 비정형 혈관 패턴을 나타내는 자궁경부암의 발병 여부에 대한 진단을 생성할 수 있을 것이다.
위 실시예의 설명에 기초하여 해당 기술분야의 통상의 기술자는, 본 발명이 소프트웨어 및 하드웨어의 결합을 통하여 달성되거나 하드웨어만으로 달성될 수 있다는 점을 명확하게 이해할 수 있다. 본 발명의 기술적 해법의 대상물 또는 선행 기술들에 기여하는 부분들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 기계 판독 가능한 기록 매체에 기록될 수 있다. 상기 기계 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 기계 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다.
기계 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다. 상기 하드웨어 장치는, 프로그램 명령어를 저장하기 위한 ROM/RAM 등과 같은 메모리와 결합되고 상기 메모리에 저장된 명령어들을 실행하도록 구성되는 CPU나 GPU와 같은 프로세서를 포함할 수 있으며, 외부 장치와 신호를 주고 받을 수 있는 통신부를 포함할 수 있다. 덧붙여, 상기 하드웨어 장치는 개발자들에 의하여 작성된 명령어들을 전달받기 위한 키보드, 마우스, 기타 외부 입력장치를 포함할 수 있다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 사람이라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다. 따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (9)

  1. 학습모드에서 외부장치 혹은 저장부로부터 전달된 자궁경부에 대한 미분류 촬영 영상 데이터를 다단계 분류기준 중 하나 혹은 이들의 조합에 따라 분류하여 새로운 분류기준별 학습데이터로 생성하는 학습 데이터 생성부와;
    자궁경부 촬영 영상을 전처리하는 촬영 영상 전처리부와;
    학습모드에서 상기 분류기준별로 생성된 학습데이터의 특징을 학습하는 자궁경부암에 대한 기계학습모델을 포함하며, 상기 기계학습모델은 진단모드에서 상기 전처리된 자궁경부 촬영 영상에 대해 자궁경부암의 발병 여부에 관한 진단 정보를 생성하는 자궁경부암 진단부와;
    상기 진단 정보를 표시하고 판독의에 의한 평가정보를 입력할 수 있는 유저 인터페이스 화면을 표시 출력하는 화면 표시 제어부와;
    상기 유저 인터페이스 화면을 통해 입력된 평가 정보 중 재학습시 필요한 정보를 추출해 상기 기계학습모델의 재학습을 요청하는 재학습 데이터 생성부와;
    상기 자궁경부암의 발병 여부에 관한 진단 정보와 상기 유저 인터페이스 화면을 통해 입력된 평가 정보를 저장하는 진단 및 평가정보 저장부;를 포함함을 특징으로 하는 자궁경부암 자동 진단 시스템.
  2. 청구항 1에 있어서, 상기 학습 데이터 생성부는 분류기준별 학습데이터의 수적 밸런스를 조정하기 위해 상기 분류기준별 학습데이터에 대해 미러링 혹은 크롭핑 적용하여 추가 학습데이터를 더 생성함을 특징으로 하는 자궁경부암 자동 진단 시스템.
  3. 청구항 1에 있어서, 상기 학습 데이터 생성부는,
    컬러를 분류기준으로 하는 1단계 분류기준과, 촬영 영상 데이터 내의 자궁경부 크기를 분류기준으로 하는 2단계 분류기준과, 자궁경부 영상 데이터 내의 컬러와 형태의 조합을 분류기준으로 하는 3단계 분류기준과, 노출과 초점을 분류기준으로 하는 4단계 분류기준 중 적어도 두 개 이상의 분류기준 조합을 이용해 미분류 촬영 영상 데이터를 분류함을 특징으로 하는 자궁경부암 자동 진단 시스템.
  4. 청구항 1에 있어서, 상기 학습 데이터 생성부는,
    컬러를 분류기준으로 하는 1단계 분류기준에 따라 상기 자궁경부에 대한 미분류 촬영 영상 데이터를 1차 분류하고, 상기 1차 분류된 미분류 촬영 영상 데이터 내의 자궁경부 크기를 분류기준으로 하는 2단계 분류기준에 따라 2차 분류하고, 상기 2차 분류된 미분류 촬영 영상 데이터 내의 컬러와 형태의 조합을 분류기준으로 하는 3단계 분류기준에 따라 자궁경부에 대한 미분류 촬영 영상 데이터를 3차 분류함을 특징으로 하는 자궁경부암 자동 진단 시스템.
  5. 청구항 3 또는 청구항 4에 있어서, 상기 1단계 분류기준은 아세트산 반응 영상, 루골용액반응 영상, 그린필터 영상, 일반 영상을 각각 식별하기 위한 컬러값을 분류기준 값으로 포함하며,
    상기 3단계 분류기준은 자궁경부 영상 데이터 내에서 혈액, 점액, 루프, 질확대경, 치료흔적, 수술도구 중 어느 하나 이상을 식별하기 위한 컬러값과 형태의 조합을 분류기준 값으로 포함함을 특징으로 하는 자궁경부암 자동 진단 시스템.
  6. 청구항 1에 있어서, 상기 자궁경부암 진단부는,
    상기 기계학습모델에 기초하여 피검체의 자궁경부 촬영 영상에 대해 자궁경부암에 대한 음성, 비정형, 양성 및 악성 여부에 관한 분류 정보와, 그 분류 정보의 정확성 정보와, 음양성 판정정보와 형태학적 소견 정보를 포함하는 진단 정보를 생성함을 특징으로 하는 자궁경부암 자동 진단 시스템.
  7. 청구항 1에 있어서, 상기 화면 표시 제어부는,
    피검체의 자궁경부 촬영 영상의 전부 또는 일부 표시 영역, 동일 피검체에 대하여 이전에 촬영된 타 영상의 이력 정보 표시영역, 피검체 정보 노출 영역, 음양성 판정 정보 입력 영역, 형태학적 소견 정보 입력 영역, 촬영 영상의 품질에 관한 기술적 결함 정보 입력 영역, 상기 기계학습모델에 기초하여 도출된 상기 진단 정보 출력 영역, 판독의 소견 입력 영역으로 분할되는 화면을 상기 유저 인터페이스 화면으로 표시 출력함을 특징으로 하는 자궁경부암 자동 진단 시스템.
  8. 청구항 1에 있어서, 상기 다단계 분류기준은 악성의 비정형 혈관 패턴을 하나의 분류기준으로 포함함을 특징으로 하는 자궁경부암 자동 진단 시스템.
  9. 청구항 1에 있어서, 상기 학습 데이터 생성부는,
    컬러를 분류기준으로 하는 1단계 분류기준과, 촬영 영상 데이터 내의 자궁경부 크기를 분류기준으로 하는 2단계 분류기준과, 자궁경부 영상 데이터 내의 컬러와 형태의 조합을 분류기준으로 하는 3단계 분류기준과, 노출과 초점을 분류기준으로 하는 4단계 분류기준과, 악성의 비정형 혈관 패턴을 분류기준으로 하는 5단계 분류기준 각각 혹은 상기 1 내지 5단계 분류기준 중 적어도 두 개 이상의 분류기준 조합을 이용해 미분류 촬영 영상 데이터를 분류함을 특징으로 하는 자궁경부암 자동 진단 시스템.
PCT/KR2019/017679 2019-06-04 2019-12-13 자궁경부암 자동 진단 시스템 WO2020246676A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US17/616,336 US20220328186A1 (en) 2019-06-04 2019-12-13 Automatic cervical cancer diagnosis system
BR112021024432A BR112021024432A2 (pt) 2019-06-04 2019-12-13 Sistema automático de diagnóstico de câncer cervical
JP2021572002A JP7346600B2 (ja) 2019-06-04 2019-12-13 子宮頸がん自動診断システム
CN201980036662.5A CN112334990A (zh) 2019-06-04 2019-12-13 自动宫颈癌诊断系统

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2019-0066163 2019-06-04
KR20190066163 2019-06-04
KR1020190109333A KR102316557B1 (ko) 2019-06-04 2019-09-04 자궁경부암 자동 진단 시스템
KR10-2019-0109333 2019-09-04

Publications (1)

Publication Number Publication Date
WO2020246676A1 true WO2020246676A1 (ko) 2020-12-10

Family

ID=73652674

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/017679 WO2020246676A1 (ko) 2019-06-04 2019-12-13 자궁경부암 자동 진단 시스템

Country Status (4)

Country Link
US (1) US20220328186A1 (ko)
JP (1) JP7346600B2 (ko)
BR (1) BR112021024432A2 (ko)
WO (1) WO2020246676A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI748344B (zh) * 2020-02-14 2021-12-01 聚積科技股份有限公司 發光二極體調屏標準判定模型建立方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130012297A (ko) * 2011-07-25 2013-02-04 삼성전자주식회사 병변 검출 장치, 병변 검출 방법 및 병변 진단 장치
JP2013526930A (ja) * 2010-05-03 2013-06-27 エスティーアイ・メディカル・システムズ・エルエルシー 子宮頸部新生物検出および診断のための画像分析
KR20140104946A (ko) * 2011-10-05 2014-08-29 시레카 테라노스틱스, 엘엘씨 스펙트럼 이미징에 의해 생물학적 표본을 분석하는 방법 및 시스템
KR20150015976A (ko) * 2013-08-02 2015-02-11 주식회사 이도 자궁경부암 검사의 최종 판단을 위한 검사 결과 큐레이션 시스템
KR20180135898A (ko) * 2016-03-17 2018-12-21 아비질론 코포레이션 기계 학습에 의해 객체 분류기를 훈련시키는 시스템 및 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100850347B1 (ko) 2007-10-30 2008-08-05 문정숙 통합의료진단 시스템 및 방법
JP2010204966A (ja) 2009-03-03 2010-09-16 Nippon Telegr & Teleph Corp <Ntt> サンプリング装置、サンプリング方法、サンプリングプログラム、クラス判別装置およびクラス判別システム。
KR101682604B1 (ko) * 2014-10-23 2016-12-05 전북대학교산학협력단 자궁 경부암 자동 진단 시스템
WO2018221689A1 (ja) 2017-06-01 2018-12-06 株式会社ニデック 医療情報処理システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013526930A (ja) * 2010-05-03 2013-06-27 エスティーアイ・メディカル・システムズ・エルエルシー 子宮頸部新生物検出および診断のための画像分析
KR20130012297A (ko) * 2011-07-25 2013-02-04 삼성전자주식회사 병변 검출 장치, 병변 검출 방법 및 병변 진단 장치
KR20140104946A (ko) * 2011-10-05 2014-08-29 시레카 테라노스틱스, 엘엘씨 스펙트럼 이미징에 의해 생물학적 표본을 분석하는 방법 및 시스템
KR20150015976A (ko) * 2013-08-02 2015-02-11 주식회사 이도 자궁경부암 검사의 최종 판단을 위한 검사 결과 큐레이션 시스템
KR20180135898A (ko) * 2016-03-17 2018-12-21 아비질론 코포레이션 기계 학습에 의해 객체 분류기를 훈련시키는 시스템 및 방법

Also Published As

Publication number Publication date
JP2022535431A (ja) 2022-08-08
US20220328186A1 (en) 2022-10-13
BR112021024432A2 (pt) 2022-02-01
JP7346600B2 (ja) 2023-09-19

Similar Documents

Publication Publication Date Title
WO2019103440A1 (ko) 피검체의 의료 영상의 판독을 지원하는 방법 및 이를 이용한 장치
WO2019208848A1 (ko) 3차원 안구 움직임 측정 방법 및 전자동 딥러닝 기반 어지럼 진단 시스템
KR102316557B1 (ko) 자궁경부암 자동 진단 시스템
WO2019098415A1 (ko) 자궁경부암에 대한 피검체의 발병 여부를 판정하는 방법 및 이를 이용한 장치
KR20190087272A (ko) 안저영상을 이용한 녹내장 진단 방법 및 이를 위한 장치
KR102155381B1 (ko) 인공지능 기반 기술의 의료영상분석을 이용한 자궁경부암 판단방법, 장치 및 소프트웨어 프로그램
CN109460717B (zh) 消化道共聚焦激光显微内镜病变图像识别方法及装置
US11244450B2 (en) Systems and methods utilizing artificial intelligence for placental assessment and examination
WO2019231104A1 (ko) 심층 신경망을 이용하여 영상을 분류하는 방법 및 이를 이용한 장치
CN110974179A (zh) 一种基于深度学习的电子染色内镜下胃早癌的辅助诊断系统
WO2019189972A1 (ko) 치매를 진단을 하기 위해 홍채 영상을 인공지능으로 분석하는 방법
WO2020180135A1 (ko) 뇌 질환 예측 장치 및 방법, 뇌 질환을 예측하기 위한 학습 장치
KR102041402B1 (ko) 자궁경부 학습 데이터 생성 시스템과 자궁경부 학습 데이터 분류방법
WO2020246676A1 (ko) 자궁경부암 자동 진단 시스템
WO2019189971A1 (ko) 당뇨병 및 전조 증상을 진단하기 위해 홍채 영상 및 망막 영상을 인공지능으로 분석하는 방법
WO2021002669A1 (ko) 병변 통합 학습 모델을 구축하는 장치와 방법, 및 상기 병변 통합 학습 모델을 사용하여 병변을 진단하는 장치와 방법
CN1462884A (zh) 一种高精度、低假阴性率的肺癌细胞图像识别方法
KR102036052B1 (ko) 인공지능 기반으로 비규격화 피부 이미지의 의료 영상 적합성을 판별 및 변환하는 장치
Kasher Otitis media analysis-an automated feature extraction and image classification system
WO2022158843A1 (ko) 조직 검체 이미지 정제 방법, 및 이를 수행하는 컴퓨팅 시스템
WO2017010612A1 (ko) 의료 영상 분석 기반의 병리 진단 예측 시스템 및 방법
WO2022119347A1 (ko) 초음파 영상 기반의 딥 러닝을 통한 관상동맥 경화반 조직 분석 방법, 장치 및 기록매체
WO2023095989A1 (ko) 뇌질환 진단을 위한 다중 모달리티 의료 영상 분석 방법 및 장치
KR20200018360A (ko) 자궁경부 학습 데이터 생성 시스템과 자궁경부 학습 데이터 분류방법
WO2021241830A1 (ko) 신장 기능 이상을 검출하는 심층 신경망 기반 망막 영상 분석 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19932095

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021572002

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112021024432

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112021024432

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20211202

122 Ep: pct application non-entry in european phase

Ref document number: 19932095

Country of ref document: EP

Kind code of ref document: A1