KR102041402B1 - Cervical learning data generation system - Google Patents

Cervical learning data generation system Download PDF

Info

Publication number
KR102041402B1
KR102041402B1 KR1020180093182A KR20180093182A KR102041402B1 KR 102041402 B1 KR102041402 B1 KR 102041402B1 KR 1020180093182 A KR1020180093182 A KR 1020180093182A KR 20180093182 A KR20180093182 A KR 20180093182A KR 102041402 B1 KR102041402 B1 KR 102041402B1
Authority
KR
South Korea
Prior art keywords
cervix
classification
image data
unclassified
learning
Prior art date
Application number
KR1020180093182A
Other languages
Korean (ko)
Inventor
정재훈
Original Assignee
주식회사 버즈폴
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 버즈폴 filed Critical 주식회사 버즈폴
Priority to KR1020180093182A priority Critical patent/KR102041402B1/en
Priority to CN201910137502.1A priority patent/CN110858396A/en
Application granted granted Critical
Publication of KR102041402B1 publication Critical patent/KR102041402B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

The present invention relates to a cervical learning system. Particularly, provided are a system for generating cervical learning data for cervical deep learning and a method for classifying cervical learning data in the system. The method comprises: an unclassified image reception step of receiving unclassified photographing image data of the cervix from an external device; an image data classification step of classifying the unclassified photographing image data of the cervix based on a neural network algorithm, and classifying the image in accordance with a plurality of multi-level classification criteria; and a learning data generation and progressing learning step of generating and storing learning image data of the cervix classified by the classification criteria as learning data for each classification criterion, or progressing learning.

Description

자궁경부 학습 데이터 생성 시스템과 자궁경부 학습 데이터 분류방법{CERVICAL LEARNING DATA GENERATION SYSTEM}Cervical learning data generation system and cervical learning data classification method {CERVICAL LEARNING DATA GENERATION SYSTEM}

본 발명은 자궁경부 학습 시스템에 관한 것으로, 특히 자궁경부 딥러닝 학습을 위한 자궁경부 학습 데이터 생성 시스템과 그 시스템에서의 자궁경부 학습 데이터 분류방법에 관한 것이다.The present invention relates to a cervical learning system, and more particularly, to a cervical learning data generation system for cervical deep learning learning and a method of classifying cervical learning data in the system.

자궁경부암은 대한민국 여성들이 가장 두려워하는 암 순위 중 1위를 차지하고 있는바, 이는 자궁 적출로 인해 임신, 출산에 대한 영향을 받을 수 있고, 여성으로서의 상실감을 겪을 우려가 있기 때문이다.Cervical cancer ranks first in cancer among Korean women's most feared cancer because it may affect pregnancy and childbirth and may experience loss as a woman.

2013년 통계에 따르면 대한민국 국내의 자궁경부암 환자 수는 26,207명으로 여성암 중에서 4위를 차지하고 있다(보건복지부 자료). 또한, 자궁경부암은 국내에서 검진을 권고하는 7대 암에 속하며, 1999년 국가 암 검진 사업에 포함되면서 조기 진단의 비율이 증가하고 있는 추세이다. 최근에는 자궁경부 '0기' 암이라 불리는 자궁경부 상피내암(전암 단계)도 증가 추세에 있는바, 성경험이 있는 여성에게 매년 검진을 받도록 권고하고 있는 실정이다.According to the 2013 statistics, the number of cervical cancer patients in Korea is 26,207, ranking fourth among female cancers (Ministry of Health and Welfare data). In addition, cervical cancer is one of the seven cancers recommended for screening in Korea, and as it is included in the national cancer screening project in 1999, the rate of early diagnosis is increasing. Recently, cervical epithelial carcinoma (precancerous stage), also called cervical 'phase 0' cancer, is also on the rise, and it is recommended that women with biblical experiences receive annual checkups.

그 검진에 관한 시장의 현황을 살펴보면, 우선 젊은 여성의 자궁경부 상피내암의 비율이 증가하고 있어 2016년부터 검진 대상이 30세에서 20세로 하향 조정되었다. 특히, 다른 암과 달리 자궁경부 세포 검사 검진에 관한 검진 비용의 300%에 대하여 건강보험 혜택이 적용된다. 그런데, 검진의 위음성률(즉, 오진율)이 최대 55%에 달하고 있어 그 보완책으로 자궁경부 확대 촬영 검사를 병행할 것이 권고되고 있는바, 2013년 기준으로 세계 자궁경부암 검진 시장은 약 6.86조 원 규모로서, 이 중 자궁경부 확대촬영 검사는 30%를 차지하여 약 2조 원의 규모에 달한다.In terms of the market status of the screening, first, the proportion of cervical epithelial cancer in young women is increasing, and from 2016, the screening target was lowered from 30 to 20 years. In particular, unlike other cancers, health insurance coverage covers 300% of the cost of screening for cervical cell screening. However, the false negative rate (ie, the false positive rate) of the examination reaches up to 55%, and it is recommended that the cervical enlargement examination be performed in parallel as a countermeasure. Of these, cervical magnification examinations account for 30% of the total size of 2 trillion won.

도 1은 종래에 자궁경부암을 진단하기 위하여 시행되던 자궁경부 세포 검사 및 자궁경부 확대 촬영 검진의 방식을 개략적으로 도시한 개념도 인바, 도 1의 하단을 참조하면, 여성 피검체의 질 외부에서 소정의 촬영 장치(예컨대 도 1에 도시된 자궁경부 확대경)를 통하여 자궁경부에 대한 촬영 영상이 획득되면, 이를 분석하여 그 결과를 이용함으로써 자궁경부암에 대한 검진의 오진율을 낮출 수 있게 된다.1 is a conceptual diagram schematically illustrating a method of a cervical cell test and a cervical magnification screening test, which have been conventionally performed to diagnose cervical cancer. Referring to the lower part of FIG. When a photographed image of the cervix is obtained through an imaging device (for example, the cervical magnifier shown in FIG. 1), the false positive rate of the examination for cervical cancer may be lowered by analyzing the result and using the result.

그런데, 종래의 자궁경부 확대경을 활용할 때, 의료진은 교육과 경험에 비추어 해당 자궁경부의 영상에 대하여 자궁경부암의 발병 여부를 확인하는데, 이와 같은 방식은 반복적이고 애매한 경우가 많아서 숙련된 의사에게도 시간이 오래 걸리고 정확도도 함께 떨어질 수 있다.However, when using a conventional cervical magnifier, medical staff checks whether cervical cancer develops on an image of the cervix in view of education and experience. Such a method is often repeated and ambiguous, so that even a skilled doctor has time. It takes longer and can be less accurate.

이러한 단점을 극복하기 위해 자궁경부에 대한 촬영 영상을 획득하고, 획득된 자궁경부 영상으로부터 자궁경부암에 대한 기계학습모델에 기초하여 피검체의 자궁경부암 발병 여부에 관한 분석 정보를 생성해여 제공하는 자궁경부암 발병 여부 판정장치들도 소개되고 있다.To overcome this drawback, cervical cancer is obtained by acquiring imaging images of the cervix, and generating and providing analytical information on whether a subject develops cervical cancer based on a machine learning model of cervical cancer from the obtained cervical images. Disease determination devices are also being introduced.

이러한 판정장치들의 성능을 평가하기 위한 주요 요소는 학습에 사용될 영상을 정확하게 분류 정리하여 학습을 진행해야 한다는 점이다. 이러한 데이터 분류 정리가 정확하고도 명확하게 이루어지지 않는다면 자궁경부암 발병 여부에 관한 분석 정확도가 떨어질 수밖에 없다. 보통 자궁경부암 질경검사(colposcopy) 영상은 촬영 환경 및 촬영자에 따라서 일반 의료 영상과는 다르게 다양한 형태로 나타난다. 따라서 자궁경부암의 발병 여부를 판정하는 장치들에서는 학습에 사용될 영상을 보다 명확하고도 엄격한 기준에 따라 분류하여 학습 진행할 필요가 있다.The main factor for evaluating the performance of these determination devices is to classify the images to be used for learning accurately and to proceed with the learning. If the data classification theorem is not accurate and clear, the analysis accuracy of cervical cancer is inevitably deteriorated. Usually, cervical cancer colposcopy images appear in various forms, unlike general medical images, depending on the photographing environment and the photographer. Therefore, in apparatuses for determining the onset of cervical cancer, it is necessary to classify images to be used for learning according to more clear and strict criteria and to proceed with learning.

대한민국 등록특허공보 제10-0850347호Republic of Korea Patent Publication No. 10-0850347 대한민국 공개특허공보 제10-2016-0047720호Republic of Korea Patent Publication No. 10-2016-0047720

이에 본 발명은 상술한 필요성에 따라 창안된 발명으로서, 본 발명의 주요 목적은 자궁경부암의 정확한 병변 유무를 진단하기 위해 필요한 자궁경부 데이터를 정확한 기준에 따라 분류하기 위한 자궁경부 딥러닝 학습을 위한 자궁경부 학습 데이터 분류방법을 제공함에 있으며,Accordingly, the present invention is invented according to the necessity described above, and a main object of the present invention is a uterus for cervical deep learning to classify cervical data necessary for diagnosing the presence or absence of cervical cancer according to accurate criteria. It provides a method for classifying cervical learning data.

더 나아가 본 발명의 또 다른 목적은 특정 형태의 자궁경부 영상에 대해서만 과도한 학습이 진행되거나 반대로 특정 종류의 영상에 대해서 학습이 이루어지지 않는 현상이 발생하지 않도록 하여 자궁경부의 정확한 진단이 이루어질 수 있도록 유도하는 자궁경부 학습 데이터 생성 시스템 및 자궁경부 학습 데이터 분류방법을 제공함에 있다.Furthermore, another object of the present invention is to induce an accurate diagnosis of the cervix by preventing excessive learning from being performed only on a specific type of cervical image or vice versa. The present invention provides a cervical learning data generation system and a method for classifying cervical learning data.

전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 자궁경부 학습 데이터 분류방법은 외부장치와 데이터 송수신 가능한 컴퓨터 시스템에서 실행 가능한 방법으로서,Cervical learning data classification method according to an embodiment of the present invention for achieving the above object is an executable method in a computer system capable of transmitting and receiving data with an external device,

외부장치로부터 자궁경부에 대한 미분류 촬영 영상 데이터를 수신받는 미분류 영상 수신단계와;An unclassified image receiving step of receiving unclassified photographing image data of the cervix from an external device;

상기 자궁경부에 대한 미분류 촬영 영상 데이터를 신경망 알고리즘에 기반하여 분류하되, 복수의 다단계 분류기준에 따라 분류하는 영상 데이터 분류단계와;An image data classification step of classifying the unclassified photographic image data of the cervix based on a neural network algorithm and classifying the image according to a plurality of multi-level classification criteria;

상기 분류기준별로 분류된 자궁경부에 대한 촬영 영상 데이터를 분류기준별 학습 데이터로 생성하여 저장하거나 학습 진행하는 학습 데이터 생성 및 학습 진행단계;를 포함함을 특징으로 한다.And generating and storing learning image data of the cervix classified by the classification criteria as learning data for each classification criterion or progressing the learning data.

더 나아가 상술한 자궁경부 학습 데이터 분류방법의 상기 학습 데이터 생성 및 학습 진행단계에서는 상기 분류기준별 학습 데이터의 수적 밸런스를 조정하기 위한 추가 학습 데이터를 더 생성하는 단계;를 더 포함함을 또 다른 특징으로 한다.Further, in the learning data generation and learning progress step of the cervical learning data classification method described above, further generating additional learning data for adjusting the numerical balance of the learning data for each classification criterion; It is done.

또한 상술한 자궁경부 학습 데이터 분류방법에 있어서, 상기 복수의 다단계 분류기준은 컬러를 분류기준으로 하는 1단계 분류기준과, 촬영 영상 데이터 내의 자궁경부 크기를 분류기준으로 하는 2단계 분류기준과, 자궁경부 영상 데이터 내의 컬러와 형태의 조합을 분류기준으로 하는 3단계 분류기준 중 적어도 두 개 이상의 분류기준을 포함함을 특징으로 하며,In the above-described cervical learning data classification method, the plurality of multilevel classification criteria may include a first level classification standard using color as a classification standard, a second level classification standard using a cervical size in the image data, and a uterus. And at least two classification criteria among three levels of classification criteria based on a combination of colors and shapes in the cervical image data.

상기 영상 데이터 분류단계에서는 컬러를 분류기준으로 하는 1단계 분류기준에 따라 상기 자궁경부에 대한 미분류 촬영 영상 데이터를 1차 분류하고, 상기 1차 분류된 촬영 영상 데이터 내의 자궁경부 크기를 분류기준으로 하는 2단계 분류기준에 따라 2차 분류하고, 상기 2차 분류된 자궁경부 영상 데이터 내의 컬러와 형태의 조합을 분류기준으로 하는 3단계 분류기준에 따라 상기 자궁경부에 대한 미분류 촬영 영상 데이터를 3차 분류함을 특징으로 한다.In the image data classification step, the unclassified photographed image data of the cervix is first classified according to a first-level classification standard using color as a classification standard, and the cervical size in the first classified image data is classified as a classification standard. Second-class classification according to the second-level classification standard, and the third classification classification of the unclassified photographic image data for the cervix according to the third-level classification standard based on the combination of color and shape in the second-classified cervical image data. It is characterized by.

경우에 따라서는 상기 3차 분류된 자궁경부에 대한 미분류 촬영 영상 데이터를 노출과 초점을 분류기준으로 하는 4단계 분류기준에 따라 4차 분류함을 또 다른 특징으로 할 수도 있다.In some cases, the non-classified photographic image data of the third classified cervix may be further classified according to the fourth classification based on the exposure and the focus as the classification criteria.

한편 본 발명의 또 다른 실시예에 따른 자궁경부 학습 데이터 생성 시스템은,Meanwhile, the cervical learning data generation system according to another embodiment of the present invention,

데이터 송수신 가능한 외부장치로부터 자궁경부에 대한 미분류 촬영 영상 데이터를 수신받아 저장하는 영상 수신부와;An image receiver configured to receive and store unclassified photographed image data of the cervix from an external device capable of transmitting and receiving data;

상기 자궁경부에 대한 미분류 촬영 영상 데이터를 신경망 알고리즘에 기반하여 분류하되, 복수의 다단계 분류기준에 따라 분류하는 영상 데이터 분류부와;An image data classifying unit classifying the unclassified photographic image data of the cervix based on a neural network algorithm and classifying the cervical region according to a plurality of multi-level classification criteria;

상기 분류기준별로 분류된 자궁경부에 대한 촬영 영상 데이터를 분류기준별 학습 데이터로 생성하여 학습 진행하는 인공지능 학습 시스템으로 전달하거나 저장하는 학습 데이터 생성부와;A learning data generation unit configured to generate or transmit photographed image data of the cervix classified by the classification criteria as learning data for each classification criterion, and to transmit or store the image data to an artificial intelligence learning system for learning progress;

상기 다단계 분류기준, 자궁경부에 대한 미분류 촬영 영상 데이터, 생성된 학습 데이터를 저장하는 데이터 저장부;를 포함함을 특징으로 한다.And a data storage unit for storing the multi-level classification criteria, unclassified photographic image data of the cervix, and generated learning data.

상기 학습 데이터 생성부는 생성된 상기 분류기준별 학습 데이터의 수적 밸런스를 조정하기 위한 추가 학습 데이터를 더 생성함을 또 다른 특징으로 한다.The learning data generation unit may further generate additional learning data for adjusting the numerical balance of the generated learning data for each classification criterion.

상기 영상 데이터 분류부는,The image data classification unit,

컬러를 분류기준으로 하는 1단계 분류기준과, 촬영 영상 데이터 내의 자궁경부 크기를 분류기준으로 하는 2단계 분류기준과, 자궁경부 영상 데이터 내의 컬러와 형태의 조합을 분류기준으로 하는 3단계 분류기준 중 적어도 두 개 이상의 분류기준을 이용해 상기 자궁경부에 대한 미분류 촬영 영상 데이터를 분류함을 특징으로 할 수 있으며,Among the three-stage classification criteria that use color as the classification criteria, the two-stage classification criteria that use the cervical size in the image data, and the three-stage classification criteria that use the combination of colors and shapes in the cervical image data It may be characterized by classifying the unclassified photographing image data for the cervix using at least two classification criteria,

상기 영상 데이터 분류부는,The image data classification unit,

노출과 초점을 분류기준으로 하는 4단계 분류기준을 더 포함시켜 상기 자궁경부에 대한 미분류 촬영 영상 데이터를 분류함을 또 다른 특징으로 할 수도 있고,In another aspect, the method may further include a four-stage classification standard based on exposure and focus, and classify unclassified image data of the cervix.

상기 영상 데이터 분류부는,The image data classification unit,

컬러를 분류기준으로 하는 1단계 분류기준에 따라 상기 자궁경부에 대한 미분류 촬영 영상 데이터를 1차 분류하고, 상기 1차 분류된 촬영 영상 데이터 내의 자궁경부 크기를 분류기준으로 하는 2단계 분류기준에 따라 2차 분류하고, 상기 2차 분류된 자궁경부 영상 데이터 내의 컬러와 형태의 조합을 분류기준으로 하는 3단계 분류기준에 따라 상기 자궁경부에 대한 미분류 촬영 영상 데이터를 3차 분류함을 또 다른 특징으로 할 수도 있으며,According to a first-class classification standard using color as the classification standard, unclassified photographed image data of the cervix are classified first, and according to a second-level classification standard based on the size of the cervix in the first classified image data. And further classify the unclassified photographic image data of the cervix according to a three-stage classification criterion based on a second classification and a combination of colors and shapes in the second classified cervical image data. You can,

상기 영상 데이터 분류부는The image data classification unit

컬러를 분류기준으로 하는 1단계 분류기준에 따라 상기 자궁경부에 대한 미분류 촬영 영상 데이터를 1차 분류하되, 상기 1단계 분류기준은 아세트산 반응 영상, 루골용액반응 영상, 그린필터 영상, 일반 영상 중 어느 하나 이상을 각각 식별하기 위한 컬러값을 분류기준 값으로 포함할 수도 있다.According to a first-class classification standard using color as the classification criteria, unclassified photographic image data of the cervix are classified first, and the first-level classification criteria are any one of an acetic acid reaction image, a lugol solution reaction image, a green filter image and a general image. Color values for identifying one or more may also be included as classification criteria values.

더 나아가 상기 영상 데이터 분류부는,Furthermore, the image data classification unit,

상기 자궁경부에 대한 미분류 촬영 영상 데이터에서 자궁경부 영상 데이터 내의 컬러와 형태의 조합을 분류기준으로 하는 3단계 분류기준에 따라 상기 자궁경부에 대한 미분류 촬영 영상 데이터를 3차 분류하되, 상기 3단계 분류기준은 자궁경부 영상 데이터 내에서 적어도 혈액, 점액, 루프, 질확대경, 치료흔적, 수술도구 중 어느 하나 이상을 식별하기 위한 컬러값과 형태의 조합을 분류기준 값으로 포함함을 또 다른 특징으로 한다.According to a three-stage classification criterion based on a combination of colors and shapes in the cervical image data in the unclassified image data for the cervix, the unclassified image data for the cervix is classified in three steps, and the three-stage classification is performed. The criterion is another feature that includes a combination of color values and shapes for identifying at least one of blood, mucus, loops, colposcopy, treatment traces, and surgical instruments in the cervical imaging data. .

상술한 기술적 과제 해결 수단에 따르면, 본 발명의 실시예에 따른 자궁경부 학습 데이터 생성 시스템은 다단계의 분류기준에 따라 자궁경부에 대한 미분류 촬영 영상 데이터를 분류하여 학습 데이터를 생성하기 때문에, 기존 시스템들에 비해 보다 자궁경부에 대한 병변 유무를 정확하게 진단할 수 있는 효과가 있다.According to the technical problem solving means described above, the cervical learning data generation system according to an embodiment of the present invention because it generates the learning data by classifying unclassified photographed image data for the cervix according to the multi-level classification criteria, Compared to the cervix, there is an effect that can accurately diagnose the presence of lesions.

또한 본 발명은 분류기준별 학습 데이터의 수적(數的) 밸런스를 조정하기 위한 추가 학습 데이터를 더 생성하여 학습에 이용토록 함으로써, 특정 형태의 자궁경부(암) 영상 데이터에서 대해서만 과도한 학습이 진행되거나, 반대로 특정 형태(혹은 종류)의 영상에 대해서 학습이 진행되지 않는 현상이 발생하지 않도록 함으로써, 자궁경부에 대한 병변 유무를 정확히 진단해 낼 수 있는 효과를 제공한다.In addition, the present invention further generates additional learning data for adjusting the numerical balance of the learning data according to classification criteria to be used for learning, so that excessive learning is performed only on specific types of cervical (cancer) image data. On the contrary, it is possible to accurately diagnose the presence or absence of lesions on the cervix by preventing a phenomenon in which learning does not proceed with respect to a certain type (or type) of image.

도 1은 종래에 자궁경부암을 진단하기 위하여 시행되던 자궁경부 세포 검사 및 자궁경부 확대 촬영 검진의 방식을 개략적으로 도시한 개념도.
도 2는 본 발명의 실시예에 따른 자궁경부 학습 데이터 생성 시스템의 구성 예시도.
도 3은 본 발명의 실시예에 따른 자궁경부 학습 데이터 분류방법을 설명하기 위한 도면.
도 4는 본 발명의 실시예에 따른 자궁경부 학습 데이터 생성을 위한 다단계 분류기준을 보다 상세히 설명하기 위한 도면.1 is a conceptual diagram schematically showing a method of cervical cytology and cervical magnification screening that has been conventionally performed to diagnose cervical cancer.
Figure 2 is an exemplary configuration of a cervical learning data generation system according to an embodiment of the present invention.
3 is a view for explaining a cervical learning data classification method according to an embodiment of the present invention.
Figure 4 is a view for explaining in more detail the multi-level classification criteria for generating cervical learning data according to an embodiment of the present invention.

이하 본 발명의 바람직한 실시예를 첨부 도면을 참조하여 상세히 설명하기로 한다. 본 발명을 설명함에 있어 관련된 공지 기능 혹은 구성이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략하기로 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In describing the present invention, when it is determined that related known functions or configurations may unnecessarily obscure the subject matter of the present invention, a detailed description thereof will be omitted.

우선 도 2는 본 발명의 실시예에 따른 자궁경부 학습 데이터 생성 시스템(200)의 구성도를 예시한 것으로, 도시된 자궁경부 학습 데이터 생성 시스템(200)은 컴퓨터 시스템의 제어부에서 실행 가능한 코드 데이터들의 집합체로 구현될 수 있으며, 이들 코드 데이터들의 집합체는 도 2에 도시한 바와 같이 영상 수신부(210), 영상 데이터 분류부(220), 학습 데이터 생성부(230)로 분류 가능하다. 하기 설명에서는 자궁경부 학습 데이터 생성 시스템(200)과 AI 학습 시스템(300)을 분리하여 도시하였으나, 시스템 구현 방식에 따라 이들은 하나의 시스템내에 통합되어 구현될 수도 있다.First, Figure 2 illustrates a configuration of the cervical learning data generation system 200 according to an embodiment of the present invention, the illustrated cervical learning data generation system 200 is a code of executable data in the control unit of the computer system The code data may be classified into an image receiver 210, an image data classifier 220, and a learning data generator 230 as illustrated in FIG. 2. In the following description, the cervical learning data generation system 200 and the AI learning system 300 are separately shown, but according to the system implementation method, they may be integrated into one system and implemented.

참고적으로 상기 컴퓨터 시스템은 외부장치와 데이터 송수신이 가능한 통신부와 저장부, 저장부에 저장된 제어 코드 데이터들의 집합체에 따라 시스템의 전반적인 동작을 제어하는 제어부를 포함하는 시스템이며, 상기 저장부에는 특정 목적을 수행하기 위한 응용 프로그램의 소프트웨어 구성을 더 포함할 수 있다. 상기 저장부는 후술하는 데이터 저장부(240)인 것으로 해석하는 것이 바람직하다.For reference, the computer system is a system including a communication unit capable of transmitting and receiving data to and from an external device, and a control unit for controlling the overall operation of the system according to a collection of control code data stored in the storage unit. It may further comprise a software configuration of the application for performing the. The storage unit is preferably interpreted as a data storage unit 240 to be described later.

이하 자궁경부 학습 데이터 생성 시스템(200)의 구성을 도 2를 참조하여 부연 설명하면, 우선 본 발명의 실시예에 따른 자궁경부 학습 데이터 생성 시스템(200)은,Hereinafter, the configuration of the cervical learning data generation system 200 will be described in detail with reference to FIG. 2. First, the cervical learning data generation system 200 according to an embodiment of the present invention may be described as follows.

데이터 송수신 가능한 외부장치, 예를 들면 자궁경부에 대한 촬영 영상을 획득할 수 있는 장치(100:영상 촬영 장치) 혹은 자궁경부에 대한 촬영 영상 데이터가 저장된 저장장치 등으로부터 자궁경부에 대한 미분류 촬영 영상 데이터를 수신받아 데이터 저장부(240)에 저장하는 영상 수신부(210)와,Unclassified photographed image data of the cervix from an external device capable of transmitting and receiving data, for example, a device capable of acquiring a photographed image of the cervix (100: an image photographing device), or a storage device storing photographed image data of the cervix And receiving the image receiving unit 210 for storing in the data storage unit 240,

자궁경부에 대한 미분류 촬영 영상 데이터를 신경망 알고리즘(예를 들면 합성 신경망(CNN) 혹은 CNN과 SVM(support vector machine)을 결합한 모델)에 기반하여 분류하되, 복수의 다단계 분류기준에 따라 분류하는 영상 데이터 분류부(220)와,Unclassified image data of the cervix is classified based on neural network algorithm (for example, a model combining synthetic neural network (CNN) or CNN and support vector machine (SVM)), and image data classified according to a plurality of multi-level classification criteria. The classification unit 220,

상기 분류기준별로 분류된 자궁경부에 대한 촬영 영상 데이터를 분류기준별 학습 데이터로 생성하여 학습 진행하는 인공지능(AI) 학습 시스템(300)으로 전달하거나 데이터 저장부(240)에 저장하는 학습 데이터 생성부(230)와,Generates the training data stored in the data storage unit 240 or the artificial intelligence (AI) learning system 300 to generate the recorded image data for the cervix classified by the classification criteria as learning data for each classification process or to proceed to learning Section 230,

상기 다단계 분류기준, 자궁경부에 대한 미분류 촬영 영상 데이터, 생성된 학습 데이터를 저장하는 데이터 저장부(240)를 포함함을 특징으로 한다.And a data storage unit 240 for storing the multi-level classification criteria, unclassified photographic image data of the cervix, and generated learning data.

추가적으로 상기 학습 데이터 생성부(230)는 생성된 상기 분류기준별 학습 데이터의 수적(數的) 밸런스를 조정하기 위한 추가 학습 데이터를 더 생성함으로써, 특정 형태의 자궁경부(암) 영상 데이터에서 대해서만 과도한 학습이 진행되거나, 반대로 특정 형태(혹은 종류)의 영상에 대해서 정상적인 학습이 진행되지 않는 현상이 발생하지 않도록 한다.In addition, the learning data generator 230 may further generate additional learning data for adjusting the numerical balance of the generated learning data for each classification criterion, so that only the cervical (cancer) image data of a certain type is excessive. Learning does not proceed or, conversely, a phenomenon in which normal learning does not proceed with respect to a certain type (or type) of an image does not occur.

한편, 영상 데이터 분류부(220)는 자궁경부에 대한 미분류 촬영 영상 데이터를 분류함에 있어, 컬러를 분류기준으로 하는 1단계 분류기준과, 촬영 영상 데이터 내의 자궁경부 크기를 분류기준으로 하는 2단계 분류기준과, 자궁경부 영상 데이터 내의 컬러와 형태의 조합을 분류기준으로 하는 3단계 분류기준, 노출과 초점을 분류기준으로 하는 4단계 분류기준 중 적어도 두 개 이상의 분류기준을 이용해 분류함을 특징으로 한다.On the other hand, the image data classifier 220 classifies the unclassified photographed image data of the cervix, the first-class classification standard using color as the classification standard, and the second-level classification using the cervical size in the captured image data as classification criteria. Classification is performed using at least two or more of three levels of classification based on a combination of color and shape in the cervical image data, and four levels of classification based on exposure and focus. .

구체적인 구현 방법에 있어서 영상 데이터 분류부(220)는,In a specific implementation method, the image data classification unit 220 may

컬러를 분류기준으로 하는 1단계 분류기준에 따라 자궁경부에 대한 미분류 촬영 영상 데이터를 1차 분류하고, 상기 1차 분류된 촬영 영상 데이터 내의 자궁경부 크기를 분류기준으로 하는 2단계 분류기준에 따라 2차 분류하고, 상기 2차 분류된 자궁경부 영상 데이터 내의 컬러와 형태의 조합을 분류기준으로 하는 3단계 분류기준에 따라 상기 자궁경부에 대한 미분류 촬영 영상 데이터를 3차 분류할 수 있다.Firstly classify unclassified photographic image data of the cervix according to the first-level classification criteria using color as the classification criteria, and according to the second-level classification criteria based on the cervical size in the first classified image data. The non-classified photographic image data of the cervix may be classified in the third order according to a three-stage classification criterion based on a combination of colors and shapes in the secondary classified cervical image data.

또한 영상 데이터 분류부(220)는 상기 3차 분류된 자궁경부에 대한 미분류 촬영 영상 데이터를 노출과 초점을 분류기준으로 하는 4단계 분류기준에 따라 4차 분류할 수도 있다.In addition, the image data classifying unit 220 may classify the non-classified photographic image data of the cervix classified in the third order according to a four-stage classification criterion based on exposure and focus.

부가적으로 상기 영상 데이터 분류부(220)는 컬러를 분류기준으로 하는 1단계 분류기준에 따라 상기 자궁경부에 대한 미분류 촬영 영상 데이터를 1차 분류하되, 상기 1단계 분류기준은 아세트산 반응 영상, 루골용액반응 영상, 그린필터 영상, 일반 영상 중 어느 하나 이상을 각각 식별하기 위한 컬러값을 분류기준 값으로 포함한다.In addition, the image data classifying unit 220 first classifies unclassified photographic image data of the cervix according to a first-level classification standard using color as a classification standard, and the first-level classification criteria are acetic acid reaction image and lugol. A color value for identifying each one or more of a solution reaction image, a green filter image, and a general image is included as a classification reference value.

또한 영상 데이터 분류부(220)는 1차 분류된 촬영 영상 데이터 내의 자궁경부 크기, 예를 들면 영상 내의 자궁경부 크기 150%, 100%, 80%, 50%, 확대경 및 이외 부분 포함과 같은 크기 분류기준으로 2차 분류한다.In addition, the image data classifier 220 may classify the cervix in the primary classified image data, for example, the size of the cervix in the image, such as 150%, 100%, 80%, 50%, magnifier, and other parts. Secondary classification as a standard.

더 나아가 영상 데이터 분류부(220)는 2차 분류된 자궁경부에 대한 미분류 촬영 영상 데이터에서 자궁경부 영상 데이터 내의 컬러와 형태의 조합을 분류기준으로 하는 3단계 분류기준에 따라 상기 자궁경부에 대한 미분류 촬영 영상 데이터를 3차 분류하되, 상기 3단계 분류기준은 자궁경부 영상 데이터 내에서 적어도 혈액, 점액, 루프, 질확대경, 치료흔적, 수술도구 중 어느 하나 이상을 식별하기 위한 컬러값과 형태의 조합을 분류기준 값으로 포함하여 자궁경부에 영향을 주는 이물질들을 분류한다.Furthermore, the image data classifier 220 may classify the cervix in accordance with a three-stage classification criterion based on a combination of colors and shapes in the cervical image data in the non-classified image data of the second classified cervix. The three-stage classification criteria are to classify the photographed image data, wherein the three-level classification standard is a combination of color values and shapes for identifying at least one of blood, mucus, loops, colposcopy, treatment traces, and surgical instruments in the cervical image data. Classify the foreign matter affecting the cervix by including as a classification criteria value.

예를 들어 혈액은 주로 자궁경부 중앙에서 아래로 흐르는 붉은색의 형태로 나타나며, 점액은 주로 자궁경부 중앙에서 아래로 흐르는 엷은 노란색의 형태로 나타나며, 루프는 자궁경부의 중앙에 주로 위치하며 일반적으로 부메랑 형태의 철사가 명확히 나타난다. 질 확대경 및 기타 수술도구는 핑크색의 자궁경부와는 다른 색상(은색, 푸른색,..)으로 나타나기에 각 이물질들의 컬러와 형태의 조합 특성을 이용하면 상기 예시한 바와 같이 자궁경부에 영향을 주는 이물질들을 분류할 수 있다.For example, blood appears mainly in the form of red, flowing down from the center of the cervix, mucus in the form of pale yellow, flowing down from the center of the cervix, and loops located mainly in the center of the cervix, usually boomerangs. The wire in the form is clearly visible. Vaginal magnifiers and other surgical instruments appear in a different color from the pink cervix (silver, blue, ..), so that the combination of the color and shape of each foreign body affects the cervix as illustrated above. Foreign substances can be classified.

한편, 영상 데이터 분류부(220)는 상술한 세 가지의 분류기준에 따라 분류되지 않는, 즉 병변이 식별되지 않는 영상을 노출과 초점 분류기준에 따라 별도 분류할 수 있다. 예를 들어 노출이 부족/과다할 경우 히스토그램이 한 쪽에 극단적으로 치우치기 때문에 이를 이용해 분류할 수 있고, 초점이 맞지 않는 경우 에지(edge:경계선) 검출이 되지 않거나 색의 대비가 모호하게 나타나므로 이러한 특성을 이용해 분류(4차 분류)할 수 있다.On the other hand, the image data classifier 220 may separately classify an image that is not classified according to the aforementioned three classification criteria, that is, the lesion is not identified, according to the exposure and focus classification criteria. For example, underexposure / overexposure can be categorized using the histogram because it is extremely skewed to one side, and if it is out of focus, the edges will not be detected or the contrast of color will be blurry. You can use the property to classify (quaternary).

예시한 1차 내지 4차 분류과정에서는 딥러닝 기법인 CNN을 사용하여 각각의 분류를 진행할 수 있다. 1차와 2차 및 4차 분류에서는 추출할 피처(feature)가 명확하기 때문에 적은 레이어(layer)의 구성으로도 높은 정확도의 분류가 가능하며, 3차 분류에서는 추출할 피처가 많기 때문에 깊은 레이어로 구성하여 정확도를 높일 수 있다.In the illustrated first to fourth order classification processes, each classification may be performed using CNN, which is a deep learning technique. In the 1st, 2nd, and 4th classifications, the features to be extracted are clear, so a high accuracy classification is possible with a few layers.In the 3rd classification, since there are many features to extract, the deep layers are extracted. Can be configured to increase accuracy.

이하 도 2 내지 도 4를 참조하여 본 발명의 실시예에 따른 자궁경부 학습 데이터 생성 시스템(200)의 학습 데이터 분류방법을 보다 구체적으로 설명하기로 한다.Hereinafter, a method of classifying learning data of the cervical learning data generation system 200 according to an embodiment of the present invention will be described in more detail with reference to FIGS. 2 to 4.

우선 도 3은 본 발명의 실시예에 따른 자궁경부 학습 데이터 분류방법을 설명하기 위한 도면을 도시한 것이며, 도 4는 본 발명의 실시예에 따른 자궁경부 학습 데이터 생성을 위한 다단계 분류기준을 보다 상세히 설명하기 위한 도면을 도시한 것이다.First, FIG. 3 is a diagram illustrating a method of classifying cervical learning data according to an embodiment of the present invention, and FIG. 4 is a detailed diagram of multi-level classification criteria for generating cervical learning data according to an embodiment of the present invention. The figure for illustration is shown.

도 3을 참조하면, 우선 영상 수신부(210)는 영상 촬영장치(100)와 같은 외부장치로부터 자궁경부에 대한 미분류 촬영 영상 데이터를 수신받아 데이터 저장부(240)에 저장(S100단계)한다.Referring to FIG. 3, first, the image receiving unit 210 receives unclassified photographed image data of the cervix from an external device such as the image capturing apparatus 100 and stores it in the data storage unit 240 (operation S100).

영상 데이터 분류부(220)는 자궁경부에 대한 하나 혹은 복수의 미분류 촬영 영상 데이터에 대해 CNN과 같은 신경망 알고리즘에 기반하여 분류하되, 복수의 다단계 분류기준에 따라 분류하여 저장(S200)한다.The image data classifying unit 220 classifies one or a plurality of unclassified photographed image data of the cervix based on a neural network algorithm such as CNN, and classifies and stores them according to a plurality of multi-level classification criteria (S200).

예를 들어 영상 데이터 분류부(220)는 컬러를 분류기준으로 하는 1단계 분류기준에 따라 상기 자궁경부에 대한 미분류 촬영 영상 데이터를 우선적으로 1차 분류한다.For example, the image data classifying unit 220 first classifies unclassified photographed image data of the cervix in accordance with a first-class classification standard using color as a classification standard.

1차 분류를 위해 영상 데이터 분류부(220)는 아세트산 반응 영상, 루골용액반응 영상, 그린필터 영상, 일반 영상 각각 식별하기 위한 컬러값을 분류기준 값으로 포함함으로서, 위 4가지의 영상을 분류할 수 있다.For the primary classification, the image data classifying unit 220 includes color values for identifying acetic acid reaction images, lugol solution reaction images, green filter images, and general images as classification reference values, thereby classifying the above four images. Can be.

구체적으로, 아세트산 반응 영상은 흰색의 얼룩이 자궁경부에 나타나기 때문에 핑크색의 자궁경부 및 질과 구분이 가능하다. 루골용액 반응 영상은 갈색 또는 진한 주황색 컬러가 나타나며, 그린필터 영상은 영상 전반에 걸쳐 그린이 강하게 나타나기 때문에 이러한 각 영상의 특징을 나타내는 컬러값을 분류기준 값으로 활용해 자궁경부에 대한 미분류 촬영 영상 데이터를 분류할 수 있다.Specifically, the acetic acid reaction image can be distinguished from the pink cervix and the vagina because white stains appear on the cervix. Lugol's solution reaction image has brown or dark orange color, and green filter image has strong green color throughout the image. Can be classified.

1차 분류가 완료되면 영상 데이터 분류부(220)는 상기 1차 분류된 촬영 영상 데이터 내의 자궁경부 크기를 분류기준으로 하는 2단계 분류기준에 따라 2차 분류한다.When the primary classification is completed, the image data classifying unit 220 performs secondary classification according to the second stage classification criteria using the cervical size in the primary classified photographed image data as the classification criteria.

자궁경부는 500원 주화 크기의 원형으로 보통 영상 내에서 중앙 부분에 위치한다. 따라서 영상 내의 자궁경부 크기(150%, 100%, 80% 등)를 기준으로 자궁경부만 확대한 영상, 자궁경부 전체가 나온 영상, 자궁경부가 영상의 80% 정도만 나온 영상, 자궁경부가 영상의 50% 정도만 나온 영상, 자궁경부+확대경+이외부분 포함된 영상과 같이 2차 분류할 수 있다.The cervix is a circular 500-won coin, usually located in the center of the image. Therefore, only the cervix is enlarged based on the size of the cervix (150%, 100%, 80%, etc.) in the image, the whole cervix is shown, the cervix is only about 80% of the image, and the cervix is 50% of the image. Secondary classifications can be made, such as images with only a degree, images with parts other than the cervix + magnifier +.

이후 영상 데이터 분류부(220)는 상기 2차 분류된 자궁경부 영상 데이터 내의 컬러와 형태의 조합을 분류기준으로 하는 3단계 분류기준에 따라 자궁경부에 영향을 주는 이물질들을 3차 분류한다.Thereafter, the image data classifying unit 220 classifies the foreign matters affecting the cervix in the third order according to the three-stage classification criteria using a combination of colors and shapes in the secondary classified cervical image data.

앞서 언급한 바와 같이 혈액은 주로 자궁경부 중앙에서 아래로 흐르는 붉은색의 형태로 나타나며, 점액은 주로 자궁경부 중앙에서 아래로 흐르는 엷은 노란색의 형태로 나타나며, 루프는 자궁경부의 중앙에 주로 위치하며 일반적으로 부메랑 형태의 철사가 명확히 나타난다. 질 확대경 및 기타 수술도구는 핑크색의 자궁경부와는 다른 색상(은색, 푸른색,..)으로 나타나기에 각 이물질들의 컬러와 형태의 조합 특성을 이용하면 상기 예시한 바와 같이 자궁경부에 영향을 주는 이물질들을 분류할 수 있다.As mentioned earlier, the blood is mainly in the form of red, flowing down from the center of the cervix, and the mucus is mainly in the form of pale yellow, flowing down from the center of the cervix, and the loop is located mainly in the center of the cervix. As a boomerang-shaped wire is clearly shown. Vaginal magnifiers and other surgical instruments appear in a different color from the pink cervix (silver, blue, ..), so that the combination of the color and shape of each foreign body affects the cervix as illustrated above. Foreign substances can be classified.

경우에 따라서 영상 데이터 분류부(220)는 3차 분류된 영상들에 대해 노출과 초점을 기준으로 4차 분류할 수도 있다.In some cases, the image data classifying unit 220 may classify the 3rd classified images based on the exposure and the focus.

이상에서 설명한 바와 같이 다단계 분류기준에 따라 분류된 분류기준별 촬영 영상 데이터는 데이터 저장부(240)에 저장된다.As described above, the captured image data according to the classification criteria classified according to the multi-level classification criteria are stored in the data storage unit 240.

영상 데이터의 분류가 완료되면 학습 데이터 생성부(230)는 상기 분류기준별로 분류된 자궁경부에 대한 촬영 영상 데이터를 분류기준별 학습 데이터로 생성하여 저장(S300단계)한다. 학습 데이터 생성과정에서 학습 데이터 생성부(230)는 상기 분류기준별 학습 데이터의 수적 밸런스를 조정하기 위해 추가 학습 데이터를 더 생성하는데, 상기 추가 학습 데이터는 각 분류기준별 학습 데이터에 기반하여 생성하는 것이 바람직하다.When classification of the image data is completed, the learning data generation unit 230 generates and stores photographed image data of the cervix classified by the classification criteria as learning data for each classification criterion (step S300). In the learning data generation process, the learning data generation unit 230 generates additional learning data to adjust the numerical balance of the learning data for each classification criterion, wherein the additional learning data is generated based on the learning data for each classification criterion. It is preferable.

추가 학습 데이터를 생성하기 위한 방법으로는 미러링을 이용하여 좌우가 바뀌는 수직 미러링과 상하가 바뀌는 수평 미러링을 사용할 수 있으며, 크롭핑을 이용하여 원본보다 작은 크기로 상/하/좌/우 기준으로 크롭핑을 실행하여 추가 학습 데이터를 생성할 수 있다. 또한 미러링과 크롭핑을 같이 사용하면 최대 16배의 추가 학습 데이터의 생성이 가능하다.As a method for generating additional learning data, vertical mirroring that changes left and right by mirroring and horizontal mirroring that is changed up and down can be used, and cropping is used to crop up / down / left / right based on the size smaller than the original. You can ping to generate additional training data. In addition, mirroring and cropping can be used to generate up to 16 times additional training data.

이상과 같이 다단계 분류기준에 따라 자궁경부에 대한 미분류 촬영 영상 데이터가 분류되어 학습 데이터가 생성되면, AI 학습 시스템(300)은 생성된 학습 데이터에 대해 학습과 검증을 실행(S400단계)한다. 자궁경부 학습 데이터 생성 시스템(200) 내에 AI 학습 시스템(300)이 구현되어 있는 경우라면 상기 생성된 학습 데이터에 대해 학습과 검증을 실행하고, 이러한 학습에 따라 자궁경부에 대한 병변 유무까지도 진단 혹은 판정할 수 있을 것이다.As described above, when the unclassified photographed image data of the cervix is classified according to the multi-level classification criteria and the learning data is generated, the AI learning system 300 executes the learning and verification on the generated learning data (step S400). If the AI learning system 300 is implemented in the cervical learning data generation system 200, learning and verification are performed on the generated learning data, and diagnosis or determination of the presence or absence of lesions on the cervix according to such learning is performed. You can do it.

한편, 자궁경부에 대한 미분류 촬영 영상 데이터가 추가적으로 확보되면 상술한 바에 따라 재차 학습 데이터를 생성하고, 이러한 학습 데이터는 성능 향상을 위한 재학습에 이용될 것이다.On the other hand, if the unclassified photographing image data for the cervix is additionally secured, the learning data is generated again as described above, and the learning data will be used for re-learning to improve performance.

이상에서 살펴본 바와 같이 본 발명의 실시예에 따른 자궁경부 학습 데이터 생성 시스템(200)은 다단계의 분류기준에 따라 자궁경부에 대한 미분류 촬영 영상 데이터를 분류하여 학습 데이터를 생성하기 때문에, 다양한 분류기준에 따라 만들어진 학습 데이터를 학습하여 구축된 AI 진단장치(판단장치, AI엔진 등)는 기존 시스템들에 비해 보다 정확하게 자궁경부에 대한 병변 유무를 진단할 수 있게 되는 것이다.As described above, the cervical learning data generation system 200 according to the exemplary embodiment of the present invention generates learning data by classifying unclassified photographed image data of the cervix according to the multi-level classification criteria. AI diagnostic devices (determination devices, AI engines, etc.) constructed by learning the training data created according to this method can more accurately diagnose lesions on the cervix than conventional systems.

또한 본 발명은 분류기준별 학습 데이터의 수적(數的) 밸런스를 조정하기 위한 추가 학습 데이터를 더 생성하여 학습에 이용토록 함으로써, 특정 형태의 자궁경부(암) 영상 데이터에서 대해서만 과도한 학습이 진행되거나, 반대로 특정 형태(혹은 종류)의 영상에 대해서 학습이 진행되지 않는 현상이 발생하지 않도록 함으로써, 자궁경부에 대한 병변 유무를 정확히 진단해 낼 수 있는 효과를 제공한다.In addition, the present invention further generates additional learning data for adjusting the numerical balance of the learning data according to classification criteria to be used for learning, so that excessive learning is performed only on specific types of cervical (cancer) image data. On the contrary, it is possible to accurately diagnose the presence or absence of lesions on the cervix by preventing a phenomenon in which learning does not proceed with respect to a certain type (or type) of image.

이상 본 발명은 도면에 도시된 실시예들을 참고로 설명하였으나 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진자라면 이로부터 다양한 변형 및 균등한 타실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위에 의해서만 정해져야 할 것이다.Although the present invention has been described with reference to the embodiments illustrated in the drawings, this is merely exemplary, and it will be understood by those skilled in the art that various modifications and equivalent other embodiments are possible. Therefore, the true technical protection scope of the present invention should be defined only by the appended claims.

Claims (17)

컴퓨터 시스템에서 실행 가능한 자궁경부 학습 데이터 분류방법에 있어서,
상기 컴퓨터 시스템의 제어부가 외부장치로부터 자궁경부에 대한 미분류 촬영 영상 데이터를 수신받는 미분류 영상 수신단계와;
상기 제어부가 상기 자궁경부에 대한 미분류 촬영 영상 데이터를 신경망 알고리즘에 기반하여 복수의 다단계 분류기준에 따라 분류하되, 상기 복수의 다단계 분류기준은:
아세트산 반응 영상, 루골용액반응 영상, 그린필터 영상, 일반 영상을 각각 식별하기 위한 컬러값을 분류기준으로 하는 1단계 분류기준에 따라 상기 자궁경부에 대한 미분류 촬영 영상 데이터를 1차 분류하고;
상기 1차 분류된 자궁경부에 대한 미분류 촬영 영상 데이터 내의 자궁경부 크기를 분류기준으로 하는 2단계 분류기준에 따라 2차 분류하고;
상기 2차 분류된 자궁경부에 대한 미분류 촬영 영상 데이터 내의 컬러와 형태의 조합을 분류기준으로 하기 위하여, 자궁경부에 대한 미분류 촬영 영상 데이터 내에서 혈액, 점액, 루프, 질확대경, 치료흔적, 수술도구를 각각 식별하기 위한 컬러값과 형태의 조합을 분류기준 값으로 포함하는 3단계 분류기준에 따라 3차 분류하는 영상 데이터 분류단계와;
상기 3차 분류된 자궁경부에 대한 미분류 촬영 영상 데이터를 노출과 초점을 분류기준으로 하는 4단계 분류기준에 따라 4차 분류하는 영상 데이터 분류단계와;
상기 제어부가 상기 1 내지 4단계 분류기준별로 각각 분류한 자궁경부에 대한 미분류 촬영 영상 데이터를 상기 분류기준별 학습 데이터로 생성하여 저장하거나 학습을 진행하되, 상기 분류기준별 학습 데이터의 수적 밸런스를 조정하기 위해서, 생성되는 각 분류기준별 학습 데이터에 기반하여 미러링 혹은 크롭핑을 사용해 추가 학습 데이터를 더 생성하는 학습 데이터 생성 및 학습 진행단계;를 포함함을 특징으로 하는 자궁경부 학습 데이터 분류방법.In the cervical learning data classification method executable in a computer system,
An unclassified image receiving step of receiving, by the control unit of the computer system, unclassified photographed image data of the cervix from an external device;
The controller classifies the unclassified photographic image data of the cervix according to a plurality of multi-level classification criteria based on a neural network algorithm, wherein the plurality of multi-level classification criteria are:
Firstly classifying unclassified photographic image data of the cervix according to a first-stage classification criterion using color values for identifying an acetic acid reaction image, a lugol solution reaction image, a green filter image, and a general image;
Classifying the cervix in the unclassified image data of the first classified cervix in accordance with a two-stage classification criterion;
Blood, mucus, loops, colposcopy, treatment traces, surgical instruments in the unclassified image data of the cervix, in order to use a combination of colors and shapes in the unclassified image data of the second classified cervix. An image data classification step of performing a third classification based on a three-step classification criterion comprising a combination of color values and shapes for identifying each of the classification values;
An image data classification step of classifying the unclassified photographic image data of the third classified cervix according to a four-step classification criterion using exposure and focus as a classification criterion;
The control unit generates and stores unclassified photographic image data of the cervix classified by the classification criteria of the first to fourth stages as learning data for each of the classification criteria, or conducts the learning, and adjusts the numerical balance of the learning data for each of the classification criteria. In order to generate, based on the learning data for each classification criteria generated by using the mirroring or cropping, learning data generation and learning progress step for generating further learning data; cervical learning data classification method comprising a. 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 데이터 송수신 가능한 외부장치로부터 자궁경부에 대한 미분류 촬영 영상 데이터를 수신받아 저장하는 영상 수신부와;
상기 자궁경부에 대한 미분류 촬영 영상 데이터를 신경망 알고리즘에 기반하여 복수의 다단계 분류기준에 따라 분류하되, 상기 복수의 다단계 분류기준은:
아세트산 반응 영상, 루골용액반응 영상, 그린필터 영상, 일반 영상을 각각 식별하기 위한 컬러값을 분류기준으로 하는 1단계 분류기준에 따라 상기 자궁경부에 대한 미분류 촬영 영상 데이터를 1차 분류하고;
상기 1차 분류된 자궁경부에 대한 미분류 촬영 영상 데이터 내의 자궁경부 크기를 분류기준으로 하는 2단계 분류기준에 따라 2차 분류하고;
상기 2차 분류된 자궁경부에 대한 미분류 촬영 영상 데이터 내의 컬러와 형태의 조합을 분류기준으로 하기 위하여, 자궁경부에 대한 미분류 촬영 영상 데이터 내에서 혈액, 점액, 루프, 질확대경, 치료흔적, 수술도구를 각각 식별하기 위한 컬러값과 형태의 조합을 분류기준 값으로 포함하는 3단계 분류기준에 따라 3차 분류하고;
상기 3차 분류된 자궁경부에 대한 미분류 촬영 영상 데이터를 노출과 초점을 분류기준으로 하는 4단계 분류기준에 따라 4차 분류하는 영상 데이터 분류부와;
상기 상기 1 내지 4단계 분류기준별로 분류한 자궁경부에 대한 미분류 촬영 영상 데이터를 상기 분류기준별 학습 데이터로 생성하여 인공지능 학습 시스템으로 전달하거나 저장하되, 상기 분류기준별 학습 데이터의 수적 밸런스를 조정하기 위해서, 생성되는 각 분류기준별 학습 데이터에 기반하여 미러링 혹은 크롭핑을 사용해 추가 학습 데이터를 더 생성하는 학습 데이터 생성부와;
상기 1 내지 4단계 분류기준, 자궁경부에 대한 미분류 촬영 영상 데이터, 생성된 상기 분류기준별 학습 데이터를 저장하는 데이터 저장부;를 포함함을 특징으로 하는 자궁경부 학습 데이터 생성 시스템.An image receiver configured to receive and store unclassified photographed image data of the cervix from an external device capable of transmitting and receiving data;
The unclassified photographic image data of the cervix are classified according to a plurality of multi-level classification criteria based on a neural network algorithm, wherein the plurality of multi-level classification criteria are:
Firstly classifying unclassified photographic image data of the cervix according to a first-stage classification criterion using color values for identifying an acetic acid reaction image, a lugol solution reaction image, a green filter image, and a general image;
Classifying the cervix in the unclassified image data of the first classified cervix in accordance with a two-stage classification criterion;
Blood, mucus, loops, colposcopy, treatment traces, surgical instruments in the unclassified image data of the cervix, in order to use a combination of colors and shapes in the unclassified image data of the second classified cervix. Classifying according to a three-stage classification criterion that includes a combination of color values and shapes for identifying each of the classification criteria values;
An image data classifying unit configured to classify the unclassified photographic image data of the cervical cervix classified in the fourth order according to a four-stage classification standard using exposure and focus as classification criteria;
The unclassified photographic image data of the cervix classified by the classification criteria 1 to 4 are generated as learning data for each classification criterion and transmitted or stored to the AI learning system, and the numerical balance of the learning data for each classification criterion is adjusted. In order to achieve this, the training data generation unit further generates additional training data using mirroring or cropping based on the training data for each classification criterion generated;
And the data storage unit for storing the classification criteria, unclassified photographic image data of the cervix, and generated learning data for each classification criterion. 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete
KR1020180093182A 2018-08-09 2018-08-09 Cervical learning data generation system KR102041402B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180093182A KR102041402B1 (en) 2018-08-09 2018-08-09 Cervical learning data generation system
CN201910137502.1A CN110858396A (en) 2018-08-09 2019-02-25 System for generating cervical learning data and method for classifying cervical learning data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180093182A KR102041402B1 (en) 2018-08-09 2018-08-09 Cervical learning data generation system

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020190130714A Division KR20200018360A (en) 2019-10-21 2019-10-21 Cervical learning data generation system

Publications (1)

Publication Number Publication Date
KR102041402B1 true KR102041402B1 (en) 2019-11-07

Family

ID=68578817

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180093182A KR102041402B1 (en) 2018-08-09 2018-08-09 Cervical learning data generation system

Country Status (2)

Country Link
KR (1) KR102041402B1 (en)
CN (1) CN110858396A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200139606A (en) * 2019-06-04 2020-12-14 주식회사 아이도트 Cervical cancer diagnosis system
WO2023172008A1 (en) * 2022-03-07 2023-09-14 한양대학교 에리카산학협력단 Colposcopy system and method using artificial intelligence
US12087445B2 (en) 2019-06-04 2024-09-10 Aidot Inc. Automatic cervical cancer diagnosis system

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112884707B (en) * 2021-01-15 2023-05-05 复旦大学附属妇产科医院 Cervical cancer pre-lesion detection system, device and medium based on colposcope

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100850347B1 (en) 2007-10-30 2008-08-05 문정숙 Sysmtem and method for integration medical diagnosis
KR20130012297A (en) * 2011-07-25 2013-02-04 삼성전자주식회사 Apparatus for detecting lesion, method for detecting lesion and lesion diagnosis apparatus
KR20140104946A (en) * 2011-10-05 2014-08-29 시레카 테라노스틱스, 엘엘씨 Method and system for analyzing biological specimens by spectral imaging
KR20160047720A (en) 2014-10-23 2016-05-03 전북대학교산학협력단 Automated cervical cancer diagnosis system and method thereof

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4965725B1 (en) * 1988-04-08 1996-05-07 Neuromedical Systems Inc Neural network based automated cytological specimen classification system and method
CN105719291A (en) * 2016-01-20 2016-06-29 江苏省沙钢钢铁研究院有限公司 Surface defect image classification system with selectable varieties
CN107689073A (en) * 2016-08-05 2018-02-13 阿里巴巴集团控股有限公司 The generation method of image set, device and image recognition model training method, system
CN107563123A (en) * 2017-09-27 2018-01-09 百度在线网络技术（北京）有限公司 Method and apparatus for marking medical image
CN108009589A (en) * 2017-12-12 2018-05-08 腾讯科技（深圳）有限公司 Sample data processing method, device and computer-readable recording medium

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100850347B1 (en) 2007-10-30 2008-08-05 문정숙 Sysmtem and method for integration medical diagnosis
KR20130012297A (en) * 2011-07-25 2013-02-04 삼성전자주식회사 Apparatus for detecting lesion, method for detecting lesion and lesion diagnosis apparatus
KR20140104946A (en) * 2011-10-05 2014-08-29 시레카 테라노스틱스, 엘엘씨 Method and system for analyzing biological specimens by spectral imaging
KR20160047720A (en) 2014-10-23 2016-05-03 전북대학교산학협력단 Automated cervical cancer diagnosis system and method thereof

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200139606A (en) * 2019-06-04 2020-12-14 주식회사 아이도트 Cervical cancer diagnosis system
KR102316557B1 (en) 2019-06-04 2021-10-25 주식회사 아이도트 Cervical cancer diagnosis system
US12087445B2 (en) 2019-06-04 2024-09-10 Aidot Inc. Automatic cervical cancer diagnosis system
WO2023172008A1 (en) * 2022-03-07 2023-09-14 한양대학교 에리카산학협력단 Colposcopy system and method using artificial intelligence

Also Published As

Publication number Publication date
CN110858396A (en) 2020-03-03

Similar Documents

Publication Publication Date Title
KR102041402B1 (en) Cervical learning data generation system
CN110197493B (en) Fundus image blood vessel segmentation method
US20230218172A1 (en) Systems, methods, and media for selectively presenting images captured by confocal laser endomicroscopy
US20180247107A1 (en) Method and system for classification of endoscopic images using deep decision networks
US20220284584A1 (en) Computerised tomography image processing
KR20200005409A (en) Fundus image management device and method for determining suitability of fundus image
KR102316557B1 (en) Cervical cancer diagnosis system
Guo et al. Deep learning for assessing image focus for automated cervical cancer screening
Loo et al. Open-source automatic segmentation of ocular structures and biomarkers of microbial keratitis on slit-lamp photography images using deep learning
JP2019526304A (en) Classification of hormone receptor status in malignant neoplastic tissue by chest thermography image
CN114693961A (en) Fundus photo classification method, fundus image processing method and system
WO2017020045A1 (en) System and methods for malarial retinopathy screening
US11721023B1 (en) Distinguishing a disease state from a non-disease state in an image
CN117095815A (en) System for predicting prostate cancer patient with homologous recombination defect based on magnetic resonance image and pathological panoramic scanning slice
JP7346600B2 (en) Cervical cancer automatic diagnosis system
KR20200018360A (en) Cervical learning data generation system
CN115984231A (en) Method for distinguishing cancer patient specimen properties based on optical image and application
Sharma et al. Utilizing the inception-ResNetV2 pre-trained model for binary classification of leukemia cells: An advanced approach to hematological diagnostics
US11922622B2 (en) Convolutional neural network based breast image analysis method using four-channel inputs and system therefor
US20200219249A1 (en) Device for the qualitative evaluation of human organs
WO2024075274A1 (en) Cell classification device, cell classification method, and program
Huang et al. Capillary detection for clinical images of basal cell carcinoma
Boudouh et al. Breast Micro-Calcification Classification: Xception and DenseNet201 Feature Fusion in Mammography
Gómez-Zuleta et al. Automatic detection of colorectal polyps using artificial intelligence techniques
Kukar et al. Multi-resolution image parametrization in stepwise diagnostics of coronary artery disease

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant