WO2023172008A1 - 인공지능을 이용한 질확대경 검사 시스템 및 방법 - Google Patents

인공지능을 이용한 질확대경 검사 시스템 및 방법 Download PDF

Info

Publication number
WO2023172008A1
WO2023172008A1 PCT/KR2023/003052 KR2023003052W WO2023172008A1 WO 2023172008 A1 WO2023172008 A1 WO 2023172008A1 KR 2023003052 W KR2023003052 W KR 2023003052W WO 2023172008 A1 WO2023172008 A1 WO 2023172008A1
Authority
WO
WIPO (PCT)
Prior art keywords
cervix
information
patient
artificial intelligence
colposcopy
Prior art date
Application number
PCT/KR2023/003052
Other languages
English (en)
French (fr)
Inventor
민경진
정우환
이수아
Original Assignee
한양대학교 에리카산학협력단
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 에리카산학협력단, 고려대학교 산학협력단 filed Critical 한양대학교 에리카산학협력단
Publication of WO2023172008A1 publication Critical patent/WO2023172008A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/0002—Operational features of endoscopes provided with data storages
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00186—Optical arrangements with imaging filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/303—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the vagina, i.e. vaginoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image

Definitions

  • the present invention relates to a colposcopy system and method using artificial intelligence, and more specifically, to a colposcopy system and method using artificial intelligence using a patient's cervix image and additional information as input data.
  • Colposcopy is a representative test method that diagnoses abnormalities by magnifying the cervix with a microscope, observing it, and collecting tissue.
  • accuracy of diagnostic results through observation may vary depending on the skill and ability of the specialist, computer-assisted diagnostic technology is needed to increase accuracy and safety.
  • the present invention provides a colposcopy system and method using artificial intelligence that can increase the accuracy and safety of diagnosis.
  • the present invention provides a colposcopy system and method using artificial intelligence that can diagnose the patient's condition by dividing it into two types: cervical cancer or high-grade lesion and low-grade lesion or normal according to the colposcopy results. do.
  • the colposcopy system using artificial intelligence includes a data storage unit that stores a plurality of cervical images taken of the patient's cervix during colposcopy and additional information about the patient; And calculate an input data set using the individual images of the cervix images and the additional information as one input data as many as the number of the cervix images, and use the input data set as input information to a pre-trained artificial intelligence learning model. It includes a data processing unit that calculates the probability that the patient's cervix is judged to be cervical cancer or a high-grade lesion as a final result, and the additional information includes the patient's age information, deformity zone information, and HPV carrier information. .
  • the age information includes a first age input code, a second age input code, and a third age input code according to each age group
  • the transformation zone information is a place where a change in the shape of cells occurs near the junction between the inside and outside of the cervix. Based on , it includes a first transformation zone input code, a second transformation zone input code, and a third transformation zone input code
  • the HPV carrier information may include an HPV positive code and an HPV negative code depending on whether or not the HPV carrier is present. there is.
  • the data processing unit may individually calculate the probability that the patient's cervix is judged to be cervical cancer or a high-grade lesion for each input data set, and calculate the largest value among the calculated probabilities as the final result value. there is.
  • the cervix image may include a solution reaction image obtained by capturing the reaction between a solution of acetic acid, iodine, or saline solution and the patient's cervix; And it may include a filter image taken of the reaction between the solution and the patient's cervix through a filter of a preset color.
  • the artificial intelligence learning model uses resnet 50, and the processing unit replaces the cervix image with the first vector space using Equation 1, and the addition using Equations 2 to 4. Substituting the information into a second vector space, and using Equation 5 and Equation 6, from the first vector space and the second vector space, the patient's cervix is diagnosed as cervical cancer or high-grade lesion. The probability of being judged can be calculated.
  • xi Concat(xi1, xi2, xi3)
  • img is the cervical image
  • s is the first space vector
  • xi1 is the age information
  • xi2 is the deformity zone information
  • xi3 is the HPV carrier information
  • Concat is a Concatenate function that connects the input information
  • ReLU is a Rectified Linear Unit function
  • W1, b1, W2, b2, W3, and b3 are variables whose values change depending on repeated learning of the resnet 50
  • Pi is the patient's cervix is the cervical cancer or Indicates the probability of being judged as a high-grade lesion.
  • a colposcopy method using artificial intelligence includes the steps of storing a plurality of cervical images taken of the patient's cervix during colposcopy and additional information about the patient; And calculate an input data set using the individual images of the cervix images and the additional information as one input data as many as the number of the cervix images, and use the input data set as input information to a pre-trained artificial intelligence learning model.
  • the step of calculating the probability that the patient's cervix is judged to be cervical cancer or a high-grade lesion as the final result value includes individually calculating the probability that the patient's cervix is judged to be cervical cancer or a high-grade lesion for each input data set. Calculate, and the largest value among the calculated probabilities can be calculated as the final result.
  • the cervix image may include a solution reaction image obtained by capturing the reaction between a solution of acetic acid, iodine, or saline solution and the patient's cervix; And it may include a filter image taken of the reaction between the solution and the patient's cervix through a filter of a preset color.
  • the patient's cervix image and additional information are learned using an artificial intelligence learning model, and the probability that the patient's cervix is judged to be cervical cancer or a high-grade lesion is calculated using the cervix image and the additional information as input data.
  • the specialist can determine whether there is an abnormality in the lesion and perform a detailed examination if there is an abnormality, thereby saving the specialist's time and increasing the efficiency of the examination.
  • Figure 1 is a diagram showing a colposcopy system using artificial intelligence according to an embodiment of the present invention.
  • Figure 2 is a diagram showing a data processing unit.
  • Figure 3 is a diagram showing result values output from the data processing unit according to input data.
  • Figure 4 is a diagram showing a solution reaction image and a filter captured image.
  • Figure 5 is a diagram for explaining three types of deformation zone information classified according to an embodiment of the present invention.
  • Figure 6 is a flowchart showing a colposcopy method using artificial intelligence according to an embodiment of the present invention.
  • the colposcopy system using artificial intelligence includes a data storage unit that stores a plurality of cervical images taken of the patient's cervix during colposcopy and additional information about the patient; And calculate an input data set using the individual images of the cervix images and the additional information as one input data as many as the number of the cervix images, and use the input data set as input information to a pre-trained artificial intelligence learning model. It includes a data processing unit that calculates the probability that the patient's cervix is judged to be cervical cancer or a high-grade lesion as a final result, and the additional information includes the patient's age information, deformity zone information, and HPV carrier information. .
  • first, second, and third are used to describe various components, but these components should not be limited by these terms. These terms are merely used to distinguish one component from another. Accordingly, what is referred to as a first component in one embodiment may be referred to as a second component in another embodiment. Each embodiment described and illustrated herein also includes its complementary embodiment. Additionally, in this specification, 'and/or' is used to mean including at least one of the components listed before and after.
  • connection is used to mean both indirectly connecting and directly connecting a plurality of components.
  • Figure 1 is a diagram showing a colposcopy system using artificial intelligence according to an embodiment of the present invention
  • Figure 2 is a diagram showing a data processing unit
  • Figure 3 is a diagram showing results output from the data processing unit according to input data. am.
  • the colposcopy system 10 using artificial intelligence refers to colposcopy used for cervical cancer screening in an obstetrics and gynecology department using an artificial intelligence learning model.
  • the colposcopy system 10 includes a data storage unit 100 and a data processing unit 200.
  • the data storage unit 100 stores a plurality of cervical images 20 obtained by photographing the patient's cervix during colposcopy and additional information 30 about the patient.
  • the plurality of cervical images include solution reaction images and filter captured images.
  • the solution reaction image is an image taken directly of the reaction between the patient's cervix and any one of acetic acid, iodine, and saline solutions
  • the filter image is a filter of a preset color. This is an image taken of the patient's cervix.
  • the filter image includes an image taken of the patient's cervix before the solution reaction and an image taken of the patient's cervix after the solution reaction. According to an embodiment, a green filter may be used.
  • Figure 4 is a diagram showing a solution reaction image and a filter captured image.
  • the first image is a physiological saline reaction image
  • the second image is an acetic acid reaction image
  • the third image is an image of the acetic acid reaction taken with a green filter
  • the fourth image is an iodine reaction image.
  • Additional information 30 is data used together with the cervical image 20 to improve the judgment accuracy of colposcopy, and includes the patient's age information (Age), transformation zone information (TZ Type), and HPV carrier information. (HPV Status).
  • Age information is necessary for judging colposcopy because the characteristics of cervical images may appear differently depending on the patient's age, and is displayed by dividing the patient's age into three groups.
  • the age information is divided into a 25-to-35-year-old group, a 35-to-45-year-old group, and a 45-year-old or older group according to the patient's age group.
  • the group between 25 and under 35 years old is entered with the first age input code
  • the group between 35 and under 45 years old is entered with the second age input code
  • the group over 45 years old is entered with the third age input code.
  • the first to third age input codes are stored as 0, 1, and 2, respectively.
  • Transformation zone information may change the shape of the cervix depending on the type of transformation zone, and is used as additional information to reflect this.
  • the transformation zone refers to the area where changes in cell shape occur near the junction between the inside and outside of the cervix.
  • the deformation zone information is divided into three types depending on the extent of the area observable by colposcopy.
  • Figure 5 is a diagram for explaining three types of deformation zone information classified according to an embodiment of the present invention.
  • the first type is a type that allows observation of the entire cervix area through colposcopy
  • the second type allows observation of a partial area of the cervix through colposcopy
  • type and the third type (TYPE 3) refers to a type in which observation of the cervix through colposcopy is not appropriate.
  • the first to third types are input as first to third transformation zone input codes, respectively.
  • the first to third transformation zone input codes are stored as 0, 1, and 2, respectively.
  • HPV carrier information is classified depending on whether the patient is a carrier of HPV (Human papillomavirus). If negative, it is stored as 0, and if positive, it is stored as 1.
  • the data processing unit 200 calculates input data sets 41, 42, and 43, and uses the calculated input data sets 41, 42, and 43 as input information to create a pre-trained artificial intelligence learning model (Pre-trained model). 210) is used to calculate the probability that the patient's cervix is judged to be cervical cancer or a high-grade lesion.
  • Pre-trained model a pre-trained artificial intelligence learning model
  • the input data sets (41, 42, 43) are calculated as the number of cervical images (20) for each patient, and each input data set (41, 42, 43) contains one cervical image (21, 22, 23). and additional information 30 are included.
  • the pre-trained artificial intelligence learning model 210 determines the probability (P 1 , P 2 , ... Calculate, and the highest value among the calculated probabilities is calculated as the final result. According to the embodiment, the artificial intelligence learning model 210 uses the resnet 50 model.
  • the artificial intelligence learning model 210 replaces the cervical images 21, 22, and 23 into the first vector space using Equation 1 in the image encoder 211. Cervical images (21, 22, 23) are individually converted into 64-dimensional feature vectors (64 fc) by the Resnet 50 model. Then, the auxiliary encoder (212) replaces the additional information 30 with the second vector space using Equations 2 to 4. The auxiliary encoder 212 converts the three pieces of additional information into a 128-dimensional feature vector (128 fc) and again converts it into a 64-dimensional feature vector (64 fc) through the ReLU function. The cervix image 20 and the three pieces of additional information 30 are each converted into a 64-dimensional feature vector (64 fc).
  • the first vector space and the second vector space are combined using the Concatenate function (213), and then the probability (Pi) that the patient's cervix is judged to be cervical cancer or a high-grade lesion is calculated using the prediction model (214).
  • the 64-dimensional feature vector (64 fc) converted from the cervical image (20) and the 64-dimensional feature vector (64 fc) converted from the side information (30) are combined in the prediction model (214) to create a 128-dimensional feature vector. (128 fc) is generated and converted back to a one-dimensional feature vector (fc 1) through the ReLU function.
  • the one-dimensional feature vector (fc 1) becomes the probability (Pi) of being judged as cervical cancer or high-grade lesion derived from the cervical image (20) and three additional information (30).
  • the prediction model 214 calculates the probability that the patient's cervix is judged to be cervical cancer or a high-grade lesion using Equation 5 and Equation 6.
  • x i Concat(x i1 , x i2 , x i3 )
  • img is the cervical image (21, 22, 23) included in the individual input data set (41, 42, 43), s is the first space vector, x i1 is age information, x i2 is transformation zone information, x i3 is HPV carrier information, Concat(213) is a Concatenate function that connects input information, ReLU is a Rectified Linear Unit function, W 1, b 1, W 2, b 2, W 3, and b 3 is a variable whose value changes depending on repeated learning of resnet 50, and P i means the probability that the patient's cervix is judged to be cervical cancer or a high-grade lesion.
  • the artificial intelligence learning model 210 calculates the probability (P1) using the physiological salt image 21 and the additional information 30 as input data, and calculates the probability using the acetic acid image 22 and the additional information 30 as input data. (P2) is calculated, and the probability (P N ) is calculated using the iodine image (23) and the additional information (30) as input data.
  • the artificial intelligence learning model 210 individually calculates probabilities for all cervical images, and calculates the largest value among the calculated probabilities as the final result.
  • Figure 6 is a flowchart showing a colposcopy method using artificial intelligence according to an embodiment of the present invention.
  • the colposcopy method using artificial intelligence includes a step of storing data (S100) and a step of processing the data (S200).
  • a plurality of cervical images 20 taken of the patient's cervix during colposcopy and additional information 30 of the patient are stored.
  • the multiple cervix images 20 are cervical images obtained by taking multiple pictures of the patient's cervix, and include a solution reaction image and a filter image.
  • Additional information 30 includes the patient's age information, deformity zone information, and HPV carrier information.
  • an input data set (41, 42, 43) containing individual images (21, 22, 23) of cervical images and the additional information (30) as one input data is input to the cervix.
  • the probability (P i ) is calculated.
  • the probability (P i ) is calculated individually for each input data set 41, 42, and 43, and the largest value among the calculated probabilities is calculated as the final result. The higher the final result, the higher the likelihood that it is cervical cancer or a high-grade lesion, and the lower the final result, the higher the likelihood that it is a low-grade lesion or normal lesion.
  • the colposcopy method uses the resnet 50 model to collect educational cervical image data (20) and additional information (30) from 198 patients at the International Agency for Research on Cancer. and studied it in advance.
  • the cervical image data used for pre-learning included images of several solutions for each patient, so a total of 870 pieces of data were used for learning.
  • the resolution of the cervix image was 600
  • the data used in the diagnostic accuracy experiment was information on 50 patients, and a total of 220 cervical image data were used.
  • the diagnostic accuracy experiment according to the first comparison example is Sato M, Horie K, Hara A, Miyamoto Y, Kurihara K, Tomio K, Yokota H. Application of deep learning to the classification of images from colposcopy. Oncol Lett. In the method proposed in 2018, an image classification model using CNN (convolutional neural networks) was used.
  • CNN convolutional neural networks
  • the diagnostic accuracy experiment according to the second comparative example is Cho, BJ., Choi, Y.J., Lee, MJ.et al.Classification of cervical neoplasms on colposcopic photography using deep learning.Sci Rep.
  • This is a method proposed in 2020, and is a model that fine-tunes the pre-trained inception-resnet-v2 with given image data.
  • Table 1 below is a table comparing the diagnostic accuracy of the first comparison example, the second comparison example, and colposcopy according to an embodiment of the present invention.
  • test method according to the first comparative example predicts all data as positive for cervical cancer or high-grade lesions with Precision 44% and Recall 100%.
  • test method according to the second comparison example has Precision 50%, Recall 4.54%, and Accuracy 56%, and it can be seen that most input information is predicted as negative for cervical cancer or high-grade lesions.
  • the inspection method according to the embodiment of the present invention shows higher performance than the inspection method according to the comparative examples, with Recall 86.36%, Accuracy 82%, and F1-Score 80.85%. Through this, we can see that using the resnet 50 model and hypothetical information helps improve diagnostic test accuracy.
  • Table 2 is a table comparing the diagnostic test accuracy when tested with the resnet 50 model.
  • the third comparison example shows the results of diagnosis using only cervix images as input data without prior training of the resnet 50 model
  • the fourth comparison example shows the results of diagnosis using the resnet 50 model pre-trained with cervix images as input data.
  • the results of diagnosis are shown, and the embodiment of the present invention shows the results of diagnosis by using the cervical image and additional information as input data to a resnet 50 model pre-trained using the cervical image and additional information.
  • Table 3 is a table showing diagnostic test accuracy according to additional information.
  • the fifth comparison example shows the results of diagnosis using the cervical image and HPV carrier information as input data to the resnet 50 model pre-trained with the cervical image and HPV carrier information
  • the sixth comparative example shows the results of diagnosis using the cervical image and HPV carrier information as input data.
  • the diagnosis results are shown using the cervical image and deformity zone information as input data to the resnet 50 model pre-trained
  • the seventh comparison example shows the cervical image and age using the resnet 50 model pre-trained with the cervical image and age information.
  • the diagnosis results are shown using the information as input data, and an embodiment of the present invention uses the cervical image, HPV carrier information, transformation zone information, and age information to pre-train the resnet 50 model with the cervical image, HPV carrier information, and transformation. Displays the results of diagnosis using age information and age information as input data.
  • the colposcopy system using artificial intelligence according to the present invention can be used to diagnose cervical cancer lesions and cervical cancer.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Databases & Information Systems (AREA)
  • Gynecology & Obstetrics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Reproductive Health (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

인공지능을 이용한 질확대경 검사 시스템이 개시된다. 인공지능을 이용한 질확대경 검사 시스템은 질확대경검사에서 환자의 자궁 경부를 촬영한 복수의 자궁 경부 이미지와 상기 환자의 부가 정보를 저장하는 데이터 저장부; 및 상기 자궁 경부 이미지들의 개별 이미지와 상기 부가 정보를 하나의 입력 데이터로 하는 입력 데이터 세트를 상기 자궁 경부 이미지의 개수만큼 산출하고, 사전 훈련된 인공지능 학습모델에 상기 입력 데이터 세트를 입력정보로 하여 상기 환자의 자궁경부가 자궁경부암 또는 고등급병변으로 판단될 확률을 최종 결과값으로 산출하는 데이터 처리부를 포함하되, 상기 부가 정보는 상기 환자의 나이 정보, 변형대 정보, 그리고 HPV 보균 정보를 포함한다.

Description

인공지능을 이용한 질확대경 검사 시스템 및 방법
본 발명은 인공지능을 이용한 질확대경 검사 시스템 및 방법에 관한 것으로, 보다 자세하게는 환자의 자궁경부 이미지와 부가 정보를 입력데이터로 한 인공지능을 이용하는 질확대경 검사 시스템 및 방법에 관한 것이다.
질확대경 검사(colposcopy)는 자궁 경부를 현미경으로 확대하여 관찰하고 조직을 채취함으로써 이상 유무를 진단하는 대표적인 검사 방법이다. 그러나 관찰을 통한 진단 결과의 정확도는 전문의의 기술과 능력에 따라 달라질 수 있기 때문에 정확성과 안전성을 높이기 위한 컴퓨터 보조 진단 기술이 필요하다.
최근 CNN을 이용한 colposcopy 관련 연구들이 활발히 진행되어 자궁 경부 이미지 인식 및 분류에 대한 연구들이 많은 발전을 이루었다. 이러한 연구들에서는 사전 학습된 모델을 활용해 자궁경부전암병변과 자궁경부암 여부를 진단하였다. 하지만 기존 연구들의 경우 질확대경검사의 중요한 특성을 충분히 반영하지 못하고 단순히 이미지 분류 모델을 그대로 적용해본 수준에 그쳐 여러 한계를 가지고 있다.
본 발명은 진단의 정확성과 안전성을 높일 수 있는 인공지능을 이용한 질확대경 검사 시스템 및 방법을 제공한다.
또한 본 발명은 질확대경 검사 결과에 따라 환자의 상태를 크게 두 가지 자궁경부암 또는 고등급병변과 저등급병변 또는 정상 중 어느 하나로 구분하여 진단할 수 있는 인공지능을 이용한 질확대경 검사 시스템 및 방법을 제공한다.
본 발명에 따른 인공지능을 이용한 질확대경 검사 시스템은 질확대경검사에서 환자의 자궁 경부를 촬영한 복수의 자궁 경부 이미지와 상기 환자의 부가 정보를 저장하는 데이터 저장부; 및 상기 자궁 경부 이미지들의 개별 이미지와 상기 부가 정보를 하나의 입력 데이터로 하는 입력 데이터 세트를 상기 자궁 경부 이미지의 개수만큼 산출하고, 사전 훈련된 인공지능 학습모델에 상기 입력 데이터 세트를 입력정보로 하여 상기 환자의 자궁 경부가 자궁경부암 또는 고등급병변으로 판단될 확률을 최종 결과값으로 산출하는 데이터 처리부를 포함하되, 상기 부가 정보는 상기 환자의 나이 정보, 변형대 정보, 그리고 HPV 보균 정보를 포함한다.
또한, 상기 나이 정보는 나이대별로 따라 제1나이 입력 코드, 제2나이 입력 코드, 제3나이 입력 코드를 포함하고, 상기 변형대 정보는 상기 자궁 경부 내외부의 접합부 근처에서 세포의 형태 변화가 나타나는 곳을 기준으로, 제1변형대 입력 코드, 제2변형대 입력 코드, 그리고 제3변형대 입력 코드를 포함하고, 상기 HPV 보균 정보는 HPV 보균 여부에 따라 HPV 양성 코드와 HPV 음성 코드를 포함할 수 있다.
또한, 상기 데이터 처리부는 상기 입력 데이터 세트마다 상기 환자의 자궁 경부가 상기 자궁경부암 또는 고등급병변으로 판단될 확률을 개별적으로 산출하고, 산출된 확률 중 가장 큰 값을 상기 최종 결과값으로 산출할 수 있다.
또한, 상기 자궁 경부 이미지는 아세트산, 아이오딘, 그리고 생리식염수 중 어느 하나의 용액과 상기 환자의 자궁 경부와의 반응을 촬영한 용액 반응 이미지; 및 상기 용액과 상기 환자의 자궁 경부와의 반응을 기 설정된 색상의 필터를 통해 촬영한 필터 촬영 이미지를 포함할 수 있다.
또한, 상기 인공지능 학습모델은 resnet 50이 사용되고, 상기 처리부는, 수식 1을 이용하여 상기 자궁 경부 이미지를 제1벡터 공간(first vector space)로 치환하고, 수식 2 내지 수식 4를 이용하여 상기 부가 정보를 제2벡터 공간(second vector space)로 치환하고, 식 5 및 수식 6을 이용하여, 상기 제1벡터 공간과 상기 제2벡터 공간으로부터 상기 환자의 자궁 경부가 상기 자궁경부암 또는 고등급병변으로 판단될 확률을 산출할 수 있다.
[수식 1]
s = resnet 50(img)
[수식 2]
xi = Concat(xi1, xi2, xi3)
[수식 3]
z1 = ReLU(W1xi + b1)
[수식 4]
z2 = W2z1 + b2
[수식 5]
z3 = ReLU(Concat(z2, s))
[수식 6]
Pi = W3z3 + b3
여기서, img는 상기 자궁 경부 이미지, s는 상기 제1공간 벡터, xi1는 상기 나이 정보, xi2는 상기 변형대 정보, xi3는 상기 HPV 보균 정보이고, Concat는 입력 정보들을 연결하는 Concatenate 함수이고, ReLU는 정류 선형 유닛(Rectified Linear Unit) 함수이고, W1, b1, W2, b2, W3, 그리고 b3는 상기 resnet 50의 반복 학습에 따라 값이 달라지는 변수, Pi는 상기 환자의 자궁 경부가 상기 자궁경부암 또는 고등급병변으로 판단될 확률을 나타냄.
본 발명의 실시 예에 따른 인공지능을 이용한 질확대경 검사 방법은 질확대경 검사에서 환자의 자궁 경부를 촬영한 복수의 자궁 경부 이미지와 상기 환자의 부가 정보를 저장하는 단계; 및 상기 자궁 경부 이미지들의 개별 이미지와 상기 부가 정보를 하나의 입력 데이터로 하는 입력 데이터 세트를 상기 자궁 경부 이미지의 개수만큼 산출하고, 사전 훈련된 인공지능 학습모델에 상기 입력 데이터 세트를 입력정보로 하여 상기 환자의 자궁 경부가 자궁경부암 또는 고등급병변으로 판단될 확률을 최종 결과값으로 산출하는 단계를 포함하되, 상기 부가 정보는 상기 환자의 나이 정보, 변형대 정보, 그리고 HPV 보균 정보를 포함할 수 있다.
또한, 상기 환자의 자궁경부가 자궁경부암 또는 고등급병변으로 판단될 확률을 최종 결과값으로 산출하는 단계는, 상기 입력 데이터 세트마다 상기 환자의 자궁경부가 자궁경부암 또는 고등급병변으로 판단될 확률을 개별적으로 산출하고, 산출된 확률 중 가장 큰 값을 상기 최종 결과값으로 산출할 수 있다.
또한, 상기 자궁 경부 이미지는 아세트산, 아이오딘, 그리고 생리식염수 중 어느 하나의 용액과 상기 환자의 자궁 경부와의 반응을 촬영한 용액 반응 이미지; 및 상기 용액과 상기 환자의 자궁 경부와의 반응을 기 설정된 색상의 필터를 통해 촬영한 필터 촬영 이미지를 포함할 수 있다.
본 발명에 의하면, 환자의 자궁 경부 이미지와 부가 정보를 인공지능 학습모델로 학습하고, 상기 자궁 경부 이미지와 상기 부가 정보를 입력 데이터로 하여 환자의 자궁경부가 자궁경부암 또는 고등급병변으로 판단될 확률을 산출함으로써, 높은 정확도의 진단 결과를 얻을 수 있다. 이로 인해 전문의가 병변 이상 유무를 파악하고, 이상이 있을 경우 정밀 검사를 실시하므로, 전문의의 시간을 절약할 수 있고 검사의 효율성이 증대될 수 있다.
도 1은 본 발명의 실시 예에 따른 인공지능을 이용한 질확대경 검사 시스템을 나타내는 도면이다.
도 2는 데이터 처리부를 나타내는 도면이다.
도 3은 입력 데이터에 따라 데이터 처리부에서 출력되는 결과값을 나타내는 도면이다.
도 4는 용액 반응 이미지와 필터 촬영 이미지를 나타내는 도면이다.
도 5는 본 발명의 실시 예에 따라 구분되는 변형대 정보의 3가지 타입을 설명하기 위한 도면이다.
도 6은 본 발명의 실시 예에 따른 인공지능을 이용한 질확대경 검사 방법을 나타내는 순서도이다.
본 발명에 따른 인공지능을 이용한 질확대경 검사 시스템은 질확대경검사에서 환자의 자궁 경부를 촬영한 복수의 자궁 경부 이미지와 상기 환자의 부가 정보를 저장하는 데이터 저장부; 및 상기 자궁 경부 이미지들의 개별 이미지와 상기 부가 정보를 하나의 입력 데이터로 하는 입력 데이터 세트를 상기 자궁 경부 이미지의 개수만큼 산출하고, 사전 훈련된 인공지능 학습모델에 상기 입력 데이터 세트를 입력정보로 하여 상기 환자의 자궁 경부가 자궁경부암 또는 고등급병변으로 판단될 확률을 최종 결과값으로 산출하는 데이터 처리부를 포함하되, 상기 부가 정보는 상기 환자의 나이 정보, 변형대 정보, 그리고 HPV 보균 정보를 포함한다.
이하, 첨부된 도면들을 참조하여 본 발명의 바람직한 실시 예를 상세히 설명할 것이다. 그러나 본 발명의 기술적 사상은 여기서 설명되는 실시 예에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시 예는 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다.
본 명세서에서, 어떤 구성요소가 다른 구성요소 상에 있다고 언급되는 경우에 그것은 다른 구성요소 상에 직접 형성될 수 있거나 또는 그들 사이에 제 3의 구성요소가 개재될 수도 있다는 것을 의미한다. 또한, 도면들에 있어서, 막 및 영역들의 두께는 기술적 내용의 효과적인 설명을 위해 과장된 것이다.
또한, 본 명세서의 다양한 실시 예 들에서 제1, 제2, 제3 등의 용어가 다양한 구성요소들을 기술하기 위해서 사용되었지만, 이들 구성요소들이 이 같은 용어들에 의해서 한정되어서는 안 된다. 이들 용어들은 단지 어느 구성요소를 다른 구성요소와 구별시키기 위해서 사용되었을 뿐이다. 따라서, 어느 한 실시 예에 제 1 구성요소로 언급된 것이 다른 실시 예에서는 제 2 구성요소로 언급될 수도 있다. 여기에 설명되고 예시되는 각 실시 예는 그것의 상보적인 실시 예도 포함한다. 또한, 본 명세서에서 '및/또는'은 전후에 나열한 구성요소들 중 적어도 하나를 포함하는 의미로 사용되었다.
명세서에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 또한, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 구성요소 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 구성요소 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하는 것으로 이해되어서는 안 된다. 또한, 본 명세서에서 "연결"은 복수의 구성 요소를 간접적으로 연결하는 것, 및 직접적으로 연결하는 것을 모두 포함하는 의미로 사용된다.
또한, 하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 것이다.
도 1은 본 발명의 실시 예에 따른 인공지능을 이용한 질확대경 검사 시스템을 나타내는 도면이고, 도 2는 데이터 처리부를 나타내는 도면이고, 도 3은 입력 데이터에 따라 데이터 처리부에서 출력되는 결과값을 나타내는 도면이다.
도 1 내지 도 3을 참조하면, 인공지능을 이용한 질확대경 검사 시스템(10)은 인공지능 학습모델을 이용하여 산부인과에서 자궁경부암 검진에 사용되는 질확대경검사(Colposcopy)를 말한다. 질확대경 검사 시스템(10)은 데이터 저장부(100)와 데이터 처리부(200)를 포함한다.
데이터 저장부(100)는 질확대경검사에서 환자의 자궁 경부를 촬영한 복수의 자궁 경부 이미지(20)와 환자의 부가 정보(30)를 저장한다.
복수의 자궁경부 이미지(20)는 환자마다 여러 장의 자궁 경부 이미지가 촬영된다. 복수의 자궁경부 이미지는 용액 반응 이미지와 필터 촬영 이미지를 포함한다. 용액 반응 이미지는 아세트산(acetic), 아이오딘(iodine), 그리고 생리식염수(saline) 중 어느 하나의 용액과 환자의 자궁 경부와의 반응을 직접 촬영한 이미지이고, 필터 촬영 이미지는 기 설정된 색상의 필터를 통해 환자의 자궁 경부를 촬영한 이미지이다. 필터 촬영 이미지는 용액 반응 전 환자의 자궁 경부를 촬영한 이미지와, 용액 반응 후 환자의 자궁 경부를 촬영한 이미지를 포함한다. 실시 예에 의하면, 필터는 녹색(Green) 계열의 필터가 사용될 수 있다.
도 4는 용액 반응 이미지와 필터 촬영 이미지를 나타내는 도면이다.
도 4를 참조하면, 첫 번째 이미지는 생리식염수 반응 이미지이고, 두 번째 이미지는 아세트산 반응 이미지이고, 세 번째 이미지는 아세트산 반응을 녹색 필터로 촬영한 이미지이고, 네 번째 이미지는 아이오딘 반응 이미지이다. 용액의 종류에 따라 자궁 경부의 색상이 상이하게 나타나고, 같은 용액에 대해 필터의 사용 여부에 따라 자궁 경부의 색상이 상이하게 나타나는 것을 확인할 수 있다.
부가 정보(30)는 질확대경검사의 판단 정확도를 향상시키기 위해, 자궁경부 이미지(20)와 함께 활용되는 데이터로, 환자의 나이 정보(Age), 변형대 정보(TZ Type), 그리고 HPV 보균 정보(HPV Status)를 포함한다.
나이 정보는 환자의 나이에 따라 자궁 경부 이미지의 특징이 다르게 나타날 수 있기 때문에 질확대경검사의 판단에 필요한 정보로, 환자의 나이를 크게 3가지 그룹으로 구분하여 표시된다. 실시 예에 의하면, 나이 정보는 환자의 연령대에 따라 25세~35세 미만 그룹, 35세~45세 미만 그룹, 그리고 45세 이상 그룹으로 구분된다. 25세~35세 미만 그룹은 제1나이 입력 코드로 입력되고, 35세~45세 미만 그룹은 제2나이 입력 코드로 입력되고, 45세 이상 그룹은 제3나이 입력 코드로 입력된다. 제1 내지 제3나이 입력 코드는 각각 0, 1, 2로 저장된다.
변형대 정보는 변형대(transformation zone)의 유형에 따라 자궁경부의 형태가 달라질 수 있으며, 이를 반영하기 위해 부가 정보로 활용된다. 변형대는 자궁경부 내외부의 접합부 근처에서 세포의 형태 변화가 나타나는 곳을 의미한다. 실시 예에 의하면, 변형대 정보는 질확대경검사로 관찰가능한 영역의 정도에 따라 3가지 타입으로 구분된다.
도 5는 본 발명의 실시 예에 따라 구분되는 변형대 정보의 3가지 타입을 설명하기 위한 도면이다.
도 5를 참조하면, 제1타입(TYPE 1)은 질확대경검사로 자궁 경부 전체 영역의 관찰이 가능한 타입이고, 제2타입(TYPE 2)은 질확대경검사로 자궁 경부의 일부 영역의 관찰이 가능한 타입이고, 제3타입(TYPE 3)은 질확대경검사로 자궁 경부의 관찰이 적절하지 않은 타입을 의미한다.
제1 내지 제3타입은 각각 제1 내지 제3변형대 입력 코드로 입력된다. 실시 예에 의하면, 제1 내지 제3변형대 입력 코드는 각각 0, 1, 2로 저장된다.
HPV 보균 정보는 환자가 HPV(Human papillomavirus)의 보균자인지 여부에 따라 구분되며, 음성일 경우 0으로 저장되고, 양성일 경우 1로 저장된다.
데이터 처리부(200)는 입력 데이터 세트(41, 42, 43)를 산출하고, 산출된 입력 데이터 세트(41, 42, 43)를 입력정보로 하여 사전 훈련된 인공지능 학습모델(Pre-trained model, 210)을 이용하여 환자의 자궁경부가 자궁경부암 또는 고등급병변으로 판단될 확률을 산출한다.
입력 데이터 세트(41, 42, 43)는 환자 별로 자궁 경부 이미지(20)의 개수만큼 산출되며, 각각의 입력 데이터 세트(41, 42, 43)에는 하나의 자궁 경부 이미지(21, 22, 23)와 부가 정보(30)가 포함된다.
사전 훈련된 인공지능 학습모델(210)은 입력 데이터 세트(41, 42, 43)마다 환자의 자궁경부가 자궁경부암 또는 고등급병변으로 판단될 확률(P1, P2, ··· PN)을 산출하고, 산출된 확률 중 가장 높은 값을 최종 결과값으로 산출한다. 실시 예에 의하면, 인공지능 학습모델(210)은 resnet 50 모델을 사용한다.
상기 인공지능 학습모델(210)은 이미지 인코더(image encoder, 211)에서 수식 1을 이용하여 자궁 경부 이미지(21, 22, 23)를 제1벡터 공간(first vector space)로 치환한다. 자궁 경부 이미지(21, 22, 23)는 개별적으로 resnet 50 모델에의해 64차원의 피처 벡터(64 fc)로 변환된다. 그리고 보조 인코더(Auxiliary encoder, 212)에서 수식 2 내지 수식 4를 이용하여 부가 정보(30)를 제2벡터 공간(second vector space)로 치환한다. 보조 인코더(212)는 3개의 부가 정보를 128차원의 피처 벡터로(128 fc)로 변환하고, ReLU 함수를 통해 다시 64차원의 피처 벡터(64 fc)로 변환한다. 자궁 경부 이미지(20)와 3개의 부가 정보(30)는 각각 64차원의 피처 벡터(64 fc)로 변환된다.
그리고 제1벡터 공간과 제2벡터 공간을 Concatenate 함수(213)를 이용하여 결합한 후 예측 모델(Prediction Model, 214)을 이용하여 환자의 자궁경부가 자궁경부암 또는 고등급병변으로 판단될 확률(Pi)을 산출한다. 자궁 경부 이미지(20)에서 변환된 64차원의 피처 벡터(64 fc)와 부가 정보(30)에서 변환된 64차원의 피처 벡터(64 fc)가 예측 모델(214)에서 결합하여 128차원의 피처 벡터(128 fc)가 생성되고, ReLU 함수를 통해 다시 1차원의 피처 벡터(fc 1)로 변환한다. 1차원의 피처 벡터(fc 1)는 자궁 경부 이미지(20)와 3개의 부가 정보(30)를 통해 도출된 자궁경부암 또는 고등급병변으로 판단될 확률(Pi)이 된다.
실시 예에 의하면, 예측 모델(214)에서는 수식 5 및 수식 6을 이용하여 환자의 자궁경부가 자궁경부암 또는 고등급병변으로 판단될 확률을 산출한다.
[수식 1]
s = resnet 50(img)
[수식 2]
xi = Concat(xi1, xi2, xi3)
[수식 3]
z1 = ReLU(W1xi + b1)
[수식 4]
z2 = W2z1 + b2
[수식 5]
z3 = ReLU(Concat(z2, s))
[수식 6]
Pi = W3z3 + b3
여기서, img는 개별 입력 데이터 세트(41, 42, 43)에 포함된 자궁 경부 이미지(21, 22, 23), s는 상기 제1공간 벡터, xi1는 나이 정보, xi2는 변형대 정보, xi3는 HPV 보균 정보이고, Concat(213)는 입력 정보들을 연결하는 Concatenate 함수이고, ReLU는 정류 선형 유닛(Rectified Linear Unit) 함수이고, W1, b1, W2, b2, W3, 그리고 b3는 상기 resnet 50의 반복 학습에 따라 값이 달라지는 변수, Pi는 상기 환자의 자궁경부경부가 자궁경부암 또는 고등급병변으로 판단될 확률을 의미한다.
인공지능 학습모델(210)은 생리식염 이미지(21)와 부가정보(30)을 입력 데이터로 하여 확률(P1)을 산출하고, 아세트산 이미지(22)와 부가정보(30)을 입력 데이터로 하여 확률(P2)를 산출하고, 아이오딘 이미지(23)와 부가정보(30)을 입력 데이터로 하여 확률(PN)을 산출하다. 인공지능 학습모델(210)은 모든 자궁경부 이미지에 대해 개별적으로 확률을 산출하며, 산출된 확률 중 가장 큰 값을 최종 결과값으로 산출한다.
도 6은 본 발명의 실시 예에 따른 인공지능을 이용한 질확대경 검사 방법을 나타내는 순서도이다.
도 6을 참조하면, 인공지능을 이용한 질확대경 검사 방법은 데이터를 저장하는 단계(S100)와 데이터를 처리하는 단계(S200)를 포함한다.
데이터를 저장하는 단계(S100)는 질확대경 검사에서 환자의 자궁 경부를 촬영한 복수의 자궁 경부 이미지(20)와 환자의 부가 정보(30)를 저장한다.
복수의 자궁경부 이미지(20)는 환자의 자궁 경부를 여러 장을 촬영한 자궁 경부 이미지로, 용액 반응 이미지와 필터 촬영 이미지를 포함한다.
부가 정보(30)는 환자의 나이 정보, 변형대 정보, 그리고 HPV 보균 정보를 포함한다.
데이터를 처리하는 단계(S200)는 자궁 경부 이미지들의 개별 이미지(21, 22,23)와 상기 부가 정보(30)를 하나의 입력 데이터로 하는 입력 데이터 세트(41, 42, 43)를 상기 자궁 경부 이미지의 개수만큼 산출하고, 사전 훈련된 인공지능 학습모델(210)에 입력 데이터 세트(41, 42, 43)를 입력정보로 하여 환자의 자궁경부가 자궁경부암 또는 고등급병변으로 판단될 확률(Pi)을 산출한다. 상기 확률(Pi)은 입력 데이터 세트(41, 42, 43)마다 개별적으로 산출되고, 산출된 확률들 중 그 크기가 가장 큰 값이 최종 결과값으로 산출된다. 최종 결과값이 높을수록 자궁경부암 또는 고등급병변일 가능성이 높고, 낮을수록 저등급병변 또는 정상일 가능성이 높다고 판단한다.
이하, 본 발명의 실시 예에 따른 질확대경 검사 방법의 진단 정확도와 비교 예에 따른 검사 방법의 진단 정확도를 비교하여 설명한다.
본 발명에 실시 예에 따른 질확대경 검사 방법은 국제 암 연구기관(International Agency for Research on Cancer)에 있는 198명 환자의 교육용 자궁경부 이미지 데이터(20)와 부가 정보(30)를 resnet 50 모델을 이용하여 사전 학습하였다. 사전 학습에 사용된 자궁경부 이미지 데이터는 환자마다 여러 용액에 대한 이미지가 존재하여, 총 870개의 데이터가 학습에 사용되었다. 자궁 경부 이미지의 해상도는 600X800이며, 각 용액별로 이미지의 개수는 아세트산 317장, 아세트산 필터 적용 86장, 생리식염수 221장, 생리식염수 필터 적용 91장, 그리고 아이오딘 155장이 사용되었다.
이 중 진단 정확도 실험에 사용된 데이터는 50명의 환자에 대한 정보로, 총 220개의 자궁경부 이미지 데이터가 사용되었다.
제1비교 예에 따른 진단 정확도 실험은 Sato M, Horie K, Hara A, Miyamoto Y, Kurihara K, Tomio K, Yokota H. Application of deep learning to the classification of images from colposcopy. Oncol Lett. 2018에서 제안한 방법으로, CNN(convolutional neural networks)을 활용한 이미지 분류 모델이 사용되었다.
제2비교 예에 따른 진단 정확도 실험은 Cho, BJ., Choi, Y.J., Lee, MJ.et al.Classification of cervical neoplasms on colposcopic photography using deep learning.Sci Rep. 2020에서 제안한 방법으로, 사전 훈련된 inception-resnet-v2를 주어진 이미지 데이터로 fine-tuning한모델이다.
아래 표 1은 제1비교 예, 제2비교 예, 그리고 본 발명의 실시 예에 따른 질확대경 검사의 진단 정확도를 비교하여 나타낸 표이다.
표 1을 참조하면, 제1비교 예에 따른 검사 방법은 Precision 44%, Recall 100%로 모든 데이터를 자궁경부암 또는 고등급병변 양성으로 예측하는 것을 볼 수 있다.
제2비교 예에 따른 검사 방법은 Precision 50%, Recall 4.54%, Accuracy 56%로 대부분의 입력 정보를 자궁경부암 또는 고등급병변 음성으로 예측하는 것을 알 수 있다.
본 발명의 실시 예에 따른 검사 방법은 Recall 86.36%, Accuracy 82%, F1-Score 80.85%로 비교예들에 따른 검사 방법에 비해 높은 성능을 보여준다. 이를 통해 resnet 50 모델과 가정보를 이용하는 것이 진단 검사 정확도 향상에 도움이 되는 것을 알 있다.
본 발명의 실시 예와 비교 예들의 검사 성능 비교
구분 Precision
(%)		 Recall
(%)		 Accuracy
(%)		 F1-Score
(%)
제1비교 예 44 100 44 61.11
제2비교 예 50 4.54 56 8.32
실시 예 76 86.36 82 80.85
여기서, Precision은 3개의 검사 모델에서 자궁경부암 또는 고등급병변 양성이라 분류한 데이터 중 실제 값이 자궁경부암 또는 고등급병변 양성인 비율을 나타내고, Recall은 실제 자궁경부암 또는 고등급병변 양성인 데이터 중에서 3개의 검사 모델이 자궁경부암 또는 고등급병변 양성이라 분류한 데이터의 비율을 나타내고, F1 Score는 Precision과 Recall의 조화 평균으로 아래 수식 7에 의해 산출된다.[수식 7]
Figure PCTKR2023003052-appb-img-000001
표 2는 resnet 50 모델로 검사 시 진단 검사 정확도를 비교하여 나타낸 표이다.
제3비교 예는 resnet 50 모델의 사전 학습 없이 자궁 경부 이미지만을 입력 데이터로 하여 진단한 결과를 나타내고, 제4비교 예는 자궁 경부 이미지로 사전 학습된 resnet 50 모델에 자궁 경부 이미지를 입력 데이터로 하여 진단한 결과를 나타내고, 본 발명의 실시 예는 자궁 경부 이미지와 부가 정보로 사전 학습된 resnet 50 모델에 자궁 경부 이미지와 부가 정보를 입력 데이터로 하여 진단한 결과를 나타낸다.
표 2을 참조하면, 자궁 경부 이미지와 부가 정보를 입력데이터로 하여 진단할 경우, 자궁 경부 이미지만을 입력데이터로 하여 진단하는 경우보다 Accuracy와 F1 Score에서 높은 성능이 나타남을 확인할 수 있다.
본 발명의 실시 예와 비교 예들의 검사 성능 비교
구분 Precision
(%)		 Recall
(%)		 Accuracy
(%)		 F1-Score
(%)
제3비교 예 0 0 56 0
제4비교 예 92.31 57.14 75 70.59
실시 예 85.71 85.71 85 85.71
표 3는 부가 정보에 따른 진단 검사 정확도를 나타내는 표이다.
제5비교 예는 자궁 경부 이미지와 HPV 보균 정보로 사전 학습된 resnet 50 모델에 자궁 경부 이미지와 HPV 보균 정보를 입력 데이터로 하여 진단한 결과를 나타내고, 제6비교 예는 자궁 경부 이미지와 변형대 정보로 사전 학습된 resnet 50 모델에 자궁 경부 이미지와 변형대 정보를 입력 데이터로 하여 진단한 결과를 나타내고, 제7비교 예는 자궁 경부 이미지와 나이 정보로 사전 학습된 resnet 50 모델에 자궁 경부 이미지와 나이 정보를 입력 데이터로 하여 진단한 결과를 나타내고, 본 발명의 실시 예는 자궁 경부 이미지와 HPV 보균 정보, 변형대 정보, 그리고 나이 정보로 사전 학습된 resnet 50 모델에 자궁 경부 이미지와 HPV 보균 정보, 변형대 정보, 그리고 나이 정보를 입력 데이터로 하여 진단한 결과를 나타낸다.
본 발명의 실시 예와 비교 예들의 검사 성능 비교
구분 Precision
(%)		 Recall
(%)		 Accuracy
(%)		 F1-Score
(%)
제5비교 예 88.9 69.6 82 78
제6비교 예 80 52.2 72 63.2
제7비교 예 60 39.1 60 47.4
실시 예 85.71 85.71 85 85.71
표 3을 참조하면, 부가 정보 3가지를 모두 사용하는 경우, 개별 부가 정보를 사용하는 경우보다 Accuracy와 F1 Score에서 높은 성능이 나타남을 확인할 수 있다.이와 같이, 자궁 경부 이미지와 HPV 보균 정보, 변형대 정보, 그리고 나이 정보를 모두 입력 데이터로 사용할 경우 질확대경검사의 진단 정확도 및 안정성이 향상됨을 알 수 있다.
이상, 본 발명을 바람직한 실시 예를 사용하여 상세히 설명하였으나, 본 발명의 범위는 특정 실시 예에 한정되는 것은 아니며, 첨부된 특허청구범위에 의하여 해석되어야 할 것이다. 또한, 이 기술분야에서 통상의 지식을 습득한 자라면, 본 발명의 범위에서 벗어나지 않으면서도 많은 수정과 변형이 가능함을 이해하여야 할 것이다.
본 발명에 따른 인공지능을 이용한 질확대경 검사 시스템은 자궁경부전암병변과 자궁경부암 진단에 사용될 수 있다.

Claims (11)

  1. 질확대경검사에서 환자의 자궁 경부를 촬영한 복수의 자궁 경부 이미지와 상기 환자의 부가 정보를 저장하는 데이터 저장부; 및
    상기 자궁 경부 이미지들의 개별 이미지와 상기 부가 정보를 하나의 입력 데이터로 하는 입력 데이터 세트를 상기 자궁 경부 이미지의 개수만큼 산출하고, 사전 훈련된 인공지능 학습모델에 상기 입력 데이터 세트를 입력정보로 하여 상기 환자의 자궁경부가 자궁경부암 또는 고등급병변으로 판단될 확률을 최종 결과값으로 산출하는 데이터 처리부를 포함하되,
    상기 부가 정보는 상기 환자의 나이 정보, 변형대 정보, 그리고 HPV 보균 정보를 포함하는 인공지능을 이용한 질확대경 검사 시스템.
  2. 제 1 항에 있어서,
    상기 나이 정보는 나이대별로 따라 제1나이 입력 코드, 제2나이 입력 코드, 제3나이 입력 코드를 포함하고,
    상기 변형대 정보는 상기 자궁 경부 내외부의 접합부 근처에서 세포의 형태 변화가 나타나는 곳을 기준으로, 제1변형대 입력 코드, 제2변형대 입력 코드, 그리고 제3변형대 입력 코드를 포함하고,
    상기 HPV 보균 정보는 HPV 보균 여부에 따라 HPV 양성 코드와 HPV 음성 코드를 포함하는 인공지능을 이용한 질확대경 검사 시스템.
  3. 제 1 항에 있어서,
    상기 데이터 처리부는
    상기 입력 데이터 세트마다 상기 환자의 자궁경부가 자궁경부암 또는 고등급병변으로 판단될 확률을 개별적으로 산출하고, 산출된 확률 중 가장 큰 값을 상기 최종 결과값으로 산출하는 인공지능을 이용한 질확대경 검사 시스템.
  4. 제 1 항에 있어서,
    상기 자궁 경부 이미지는
    아세트산, 아이오딘, 그리고 생리식염수 중 어느 하나의 용액과 상기 환자의 자궁 경부와의 반응을 촬영한 용액 반응 이미지; 및
    상기 용액과 상기 환자의 자궁 경부와의 반응을 기 설정된 색상의 필터를 통해 촬영한 필터 촬영 이미지를 포함하는 인공지능을 이용한 질확대경 검사 시스템.
  5. 제 1 항에 있어서,
    상기 인공지능 학습모델은 resnet 50이 사용되고,
    상기 처리부는,
    수식 1을 이용하여 상기 자궁 경부 이미지를 제1벡터 공간(first vector space)로 치환하고,
    수식 2 내지 수식 4를 이용하여 상기 부가 정보를 제2벡터 공간(second vector space)로 치환하고,
    수식 5 및 수식 6을 이용하여, 상기 제1벡터 공간과 상기 제2벡터 공간으로부터 상기 환자의 자궁경부가 자궁경부암 또는 고등급병변으로 판단될 확률을 산출하는 인공지능을 이용한 질확대경 검사 시스템.
    [수식 1]
    s = resnet 50(img)
    [수식 2]
    xi = Concat(xi1, xi2, xi3)
    [수식 3]
    z1 = ReLU(W1xi + b1)
    [수식 4]
    z2 = W2z1 + b2
    [수식 5]
    z3 = ReLU(Concat(z2, s))
    [수식 6]
    Pi = W3z3 + b3
    여기서, img는 상기 자궁 경부 이미지, s는 상기 제1공간 벡터, xi1는 상기 나이 정보, xi2는 상기 변형대 정보, xi3는 상기 HPV 보균 정보이고, Concat는 입력 정보들을 연결하는 Concatenate 함수이고, ReLU는 정류 선형 유닛(Rectified Linear Unit) 함수이고, W1, b1, W2, b2, W3, 그리고 b3는 상기 resnet 50의 반복 학습에 따라 값이 달라지는 변수, Pi는 상기 환자의 자궁경부가 자궁경부암 또는 고등급병변으로 판단될 확률을 나타냄.
  6. 질확대경 검사에서 환자의 자궁 경부를 촬영한 복수의 자궁 경부 이미지와 상기 환자의 부가 정보를 저장하는 단계; 및
    상기 자궁 경부 이미지들의 개별 이미지와 상기 부가 정보를 하나의 입력 데이터로 하는 입력 데이터 세트를 상기 자궁 경부 이미지의 개수만큼 산출하고, 사전 훈련된 인공지능 학습모델에 상기 입력 데이터 세트를 입력정보로 하여 상기 환자의 자궁경부가 자궁경부암 또는 고등급병변으로 판단될 확률을 최종 결과값으로 산출하는 단계를 포함하되,
    상기 부가 정보는 상기 환자의 나이 정보, 변형대 정보, 그리고 HPV 보균 정보를 포함하는 인공지능을 이용한 질확대경 검사 방법.
  7. 제 6 항에 있어서,
    상기 환자의 자궁경부가 자궁경부암 또는 고등급병변으로 판단될 확률을 최종 결과값으로 산출하는 단계는,
    상기 입력 데이터 세트마다 상기 환자의 자궁경부가 자궁경부암 또는 고등급병변으로 판단될 확률을 개별적으로 산출하고, 산출된 상기 확률이 가장 큰 값을 상기 최종 결과값으로 산출하는 인공지능을 이용한 질확대경 검사 방법.
  8. 제 6 항에 있어서,
    상기 자궁 경부 이미지는
    아세트산, 아이오딘, 그리고 생리식염수 중 어느 하나의 용액과 상기 환자의 자궁 경부와의 반응을 촬영한 용액 반응 이미지; 및
    상기 용액과 상기 환자의 자궁 경부와의 반응을 기 설정된 색상의 필터를 통해 촬영한 필터 촬영 이미지를 포함하는 인공지능을 이용한 질확대경 검사 방법.
  9. 자궁 경부 이미지들의 개별 이미지와 부가 정보를 하나의 입력 데이터로 하는 입력 데이터 세트를 사전 훈련된 인공지능 학습모델에 입력정보로 하여 자궁경부암 또는 고등급병변으로 판단될 확률을 최종 결과값으로 산출하되,
    상기 부가 정보는 환자의 나이 정보, 변형대 정보, 그리고 HPV 보균 정보를 포함하는 인공지능을 이용한 질확대경 검사 방법.
  10. 제 9 항에 있어서,
    상기 인공지능 학습 모델은,
    상기 자궁 경부 이미지들을 피처 벡터로 변환하는 이미지 인코더;
    상기 부가 정보를 상기 자궁 경부 이미지들과 동일한 차원의 피처 벡터로 변환하는 보조 인코더; 및
    상기 자궁 경부 이미지들의 피처 벡터와 상기 부가 정보의 피처 벡터를 결합하여 상기 확률을 산출하는 예측 모델을 포함하는 인공지능을 이용한 질확대경 검사 방법.
  11. 제 9 항에 있어서,
    상기 입력 데이터 세트마다 상기 확률을 개별적으로 산출하고, 산출된 상기 확률이 가장 큰 값을 상기 최종 결과값으로 산출하는 인공지능을 이용한 질확대경 검사 방법.
PCT/KR2023/003052 2022-03-07 2023-03-06 인공지능을 이용한 질확대경 검사 시스템 및 방법 WO2023172008A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220028899A KR20230131687A (ko) 2022-03-07 2022-03-07 인공지능을 이용한 질확대경 검사 시스템 및 방법
KR10-2022-0028899 2022-03-07

Publications (1)

Publication Number Publication Date
WO2023172008A1 true WO2023172008A1 (ko) 2023-09-14

Family

ID=87935394

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/003052 WO2023172008A1 (ko) 2022-03-07 2023-03-06 인공지능을 이용한 질확대경 검사 시스템 및 방법

Country Status (2)

Country Link
KR (1) KR20230131687A (ko)
WO (1) WO2023172008A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102041402B1 (ko) * 2018-08-09 2019-11-07 주식회사 버즈폴 자궁경부 학습 데이터 생성 시스템과 자궁경부 학습 데이터 분류방법
KR20200010661A (ko) * 2018-07-02 2020-01-31 한림대학교 산학협력단 딥러닝 알고리즘을 이용한 자궁 병변 진단 장치 및 방법
KR20200126303A (ko) * 2019-04-29 2020-11-06 계명대학교 산학협력단 자궁경부암 세포 영상 자동 분석을 위한 인공지능 컴퓨터 보조 진단 시스템 및 그 제어 방법
KR20200139606A (ko) * 2019-06-04 2020-12-14 주식회사 아이도트 자궁경부암 자동 진단 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200010661A (ko) * 2018-07-02 2020-01-31 한림대학교 산학협력단 딥러닝 알고리즘을 이용한 자궁 병변 진단 장치 및 방법
KR102041402B1 (ko) * 2018-08-09 2019-11-07 주식회사 버즈폴 자궁경부 학습 데이터 생성 시스템과 자궁경부 학습 데이터 분류방법
KR20200126303A (ko) * 2019-04-29 2020-11-06 계명대학교 산학협력단 자궁경부암 세포 영상 자동 분석을 위한 인공지능 컴퓨터 보조 진단 시스템 및 그 제어 방법
KR20200139606A (ko) * 2019-06-04 2020-12-14 주식회사 아이도트 자궁경부암 자동 진단 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LEE SU-AH, KYUNG-JIN MIN, WOOHWAN JUNG: "A deep learning model for colposcopy with auxiliary information", KSC 2021, KOREAN INSTITUTE OF INFORMATION SCIENTISTS AND ENGINEERS, 20 December 2021 (2021-12-20), pages 542 - 544, XP093090894 *

Also Published As

Publication number Publication date
KR20230131687A (ko) 2023-09-14

Similar Documents

Publication Publication Date Title
WO2020071677A1 (ko) 위 내시경 이미지의 딥러닝을 이용하여 위 병변을 진단하는 장치 및 방법
WO2018106005A1 (ko) 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 그 방법
WO2017051945A1 (ko) 질환 모델 기반의 의료 정보 서비스 제공 방법 및 장치
WO2022145519A1 (ko) 딥러닝을 이용한 심전도 시각화 방법 및 장치
WO2020071678A2 (ko) 실시간으로 획득되는 위 내시경 이미지를 기반으로 위 병변을 진단하는 내시경 장치 및 방법
WO2021025458A1 (ko) 멀티미디어 정보를 이용한 휴대용 체외진단키트 해석장치
WO2020111754A2 (ko) 세미 슈퍼바이즈드 학습을 이용한 진단 시스템 제공방법 및 이를 이용하는 진단 시스템
WO2022014942A1 (ko) 딥러닝 기반 심전도를 이용한 심장 질환 진단 장치 및 그 방법
WO2020101457A2 (ko) 지도학습기반의 합의 진단방법 및 그 시스템
WO2019160284A1 (ko) 세균 메타게놈 분석을 통한 뇌졸중 진단방법
WO2020180135A1 (ko) 뇌 질환 예측 장치 및 방법, 뇌 질환을 예측하기 위한 학습 장치
WO2023172008A1 (ko) 인공지능을 이용한 질확대경 검사 시스템 및 방법
CN110277166B (zh) 一种宫腹腔镜辅助诊断系统及方法
WO2023120775A1 (ko) 심전도 판독을 수정하기 위한 방법 및 장치
CN111445994A (zh) 一种病毒性肺炎辅助诊断装置及方法
WO2021025218A1 (ko) 연관 표현형의 유전적 위험도를 결합한 질병의 위험도 예측 장치 및 방법
WO2014157796A1 (ko) 진단 보조용 내시경 시스템 및 그 제어 방법
WO2024053925A1 (ko) 아밀로이드 혈관병증 의심 환자에 대한 아밀로이드 펫 양성 예측 방법 및 장치
WO2022015000A1 (ko) 다중 이미지를 이용한 암 진행/재발 예측 시스템 및 암 진행/재발 예측 방법
WO2023182702A1 (ko) 디지털 병리이미지의 인공지능 진단 데이터 처리 장치 및 그 방법
WO2020184782A1 (ko) 공통 유전자 추출에 의한 다중 암 분류 방법
WO2023136695A1 (ko) 환자의 가상 폐 모델을 생성하는 장치 및 방법
WO2023075303A1 (ko) 인공지능 기반의 내시경 진단 보조 시스템 및 이의 제어방법
WO2017010612A1 (ko) 의료 영상 분석 기반의 병리 진단 예측 시스템 및 방법
WO2021177799A1 (ko) 이미지 기반 코로나바이러스감염증 정량 분류 방법 및 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23767109

Country of ref document: EP

Kind code of ref document: A1