KR20200010661A - 딥러닝 알고리즘을 이용한 자궁 병변 진단 장치 및 방법 - Google Patents
딥러닝 알고리즘을 이용한 자궁 병변 진단 장치 및 방법 Download PDFInfo
- Publication number
- KR20200010661A KR20200010661A KR1020180076467A KR20180076467A KR20200010661A KR 20200010661 A KR20200010661 A KR 20200010661A KR 1020180076467 A KR1020180076467 A KR 1020180076467A KR 20180076467 A KR20180076467 A KR 20180076467A KR 20200010661 A KR20200010661 A KR 20200010661A
- Authority
- KR
- South Korea
- Prior art keywords
- images
- uterine
- data
- lesion
- image
- Prior art date
Links
- 230000003902 lesion Effects 0.000 title claims abstract description 192
- 238000000034 method Methods 0.000 title claims abstract description 91
- 238000003745 diagnosis Methods 0.000 claims abstract description 87
- 238000013528 artificial neural network Methods 0.000 claims abstract description 61
- 238000012549 training Methods 0.000 claims abstract description 47
- 238000007781 pre-processing Methods 0.000 claims abstract description 35
- 238000012545 processing Methods 0.000 claims abstract description 9
- 230000008569 process Effects 0.000 claims description 46
- 238000012795 verification Methods 0.000 claims description 17
- 238000002573 colposcopy Methods 0.000 claims description 13
- 239000002131 composite material Substances 0.000 claims description 11
- 150000001875 compounds Chemical class 0.000 claims description 9
- 239000002184 metal Substances 0.000 claims description 7
- 230000002093 peripheral effect Effects 0.000 claims description 7
- 230000003321 amplification Effects 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 5
- 238000005520 cutting process Methods 0.000 claims description 5
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 claims description 3
- 238000002405 diagnostic procedure Methods 0.000 claims 3
- 238000013135 deep learning Methods 0.000 abstract description 10
- 238000013527 convolutional neural network Methods 0.000 abstract 1
- 206010028980 Neoplasm Diseases 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 239000000047 product Substances 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 210000003679 cervix uteri Anatomy 0.000 description 5
- 238000002156 mixing Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 201000011510 cancer Diseases 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000010200 validation analysis Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 208000035269 cancer or benign tumor Diseases 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000009826 neoplastic cell growth Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 210000001215 vagina Anatomy 0.000 description 2
- 208000016599 Uterine disease Diseases 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 238000011976 chest X-ray Methods 0.000 description 1
- 239000013066 combination product Substances 0.000 description 1
- 229940127555 combination product Drugs 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 210000004291 uterus Anatomy 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/303—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the vagina, i.e. vaginoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/43—Detecting, measuring or recording for evaluating the reproductive systems
- A61B5/4306—Detecting, measuring or recording for evaluating the reproductive systems for evaluating the female reproductive systems, e.g. gynaecological evaluations
- A61B5/4318—Evaluation of the lower reproductive system
-
- G06N3/0427—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- Public Health (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Data Mining & Analysis (AREA)
- Optics & Photonics (AREA)
- Evolutionary Computation (AREA)
- Reproductive Health (AREA)
- Gynecology & Obstetrics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
본 발명은 딥러닝 알고리즘을 이용한 자궁 병변 진단 장치 및 방법에 관한 것이다. 본 발명의 일 실시예는, 환자들의 자궁 병변 이미지들을 획득하는 이미지 획득부, 상기 자궁 병변 이미지들과 상기 자궁 병변 이미지들에 대응되는 상기 환자들의 임상 정보를 토대로 학습용 데이터 세트를 생성하는 데이터 생성부, 상기 학습용 데이터 세트에 포함된 이미지들을 가공하여 가공된 이미지들을 획득하는 데이터 전처리부, 상기 데이터 전처리부를 통해 가공된 이미지들의 데이터가 포함된 학습용 데이터 세트를 합성곱신경망과 심층신경망을 이용하여 학습하는 데이터 학습부, 그리고, 상기 데이터 학습부의 학습 결과 데이터를 토대로 진단 대상 이미지를 판독하여 진단 결과를 도출하는 진단부를 포함하는 자궁 병변 진단 장치를 제공한다
Description
본 발명은 딥러닝 알고리즘을 이용한 자궁 병변 진단 장치 및 방법에 관한 것으로, 더욱 상세하게는 딥러닝 알고리즘을 이용하여 환자의 자궁 병변 이미지를 학습하고 학습된 결과 데이터를 토대로 진단 대상 이미지를 판독하여 병변을 알아내는 딥러닝 알고리즘을 이용한 자궁 병변 진단 장치 및 방법에 관한 것이다.
종래에는, 인체 내부 장기의 병변을 알아내기 위해 의사는 직접 인체 내부 촬영이 가능한 도구를 이용하여 인체 내부를 촬영하여 일차적인 진단을 하고, 이후 조직검사 등을 수행하여 확진을 내렸다. 예컨대, 여성 자궁에 발생한 신생물에 대한 진단을 하기 위해 의사는 질확대경 검사를 통해 그 신생물의 모습을 보고 형태와 크기 등을 감안하여 일차 진단을 내리고, 이후, 신생물을 조직검사하여 확진을 내렸다.
위와 같은 방법은 의사마다 경험이 달라 진단을 다르게 내려질 수 있는 문제점을 갖고 있어, 객관적인 진단 장치를 이용하여 자동적으로 병변을 진단할 수 있는 장치의 개발이 요구되어 왔다. 이러한 요구에 따라, 검사 빈도가 훨씬 높은 흉부 X 선 검사나 내시경 검사 등에서는 컴퓨터를 이용하여 검사 사진을 판독하는 시도가 많이 이루어졌던 반면, 질확대경 검사의 경우, 검사 횟수가 많지 않고, 자궁 질환의 빈도도 낮아 컴퓨터를 이용하여 질확대경 검사 사진을 판독하려는 노력이 별로 이루어지지 않았고, 실현가능성도 높지 않다고 판단하였다.
자궁의 병변과 관련된 종래에 이루어진 연구로는, 질확대경 사진을 한 번은 일반적으로 찍고, 한 번은 염색을 하고 찍어, 두 사진의 차이를 비교해 시계열 이산화(time-series discretization) 방법으로 질에 발생한 병변을 진단한 사례가 있으나(Acosta-Mesa, 2014, Journal of Biomedical Informatics 49 (2014) 73-83 ), 정확도가 높지 않았다. 이외에 어떤 기법을 이용하더라도 질확대경 사진만을 보고 컴퓨터를 이용하여 자동으로 자궁 질환을 진단하는 장치가 실제 진료에 적용 가능한 수준에 도달한 바가 없다.
본 발명은 상기한 문제점을 해결하기 위해 안출된 것으로, 본 발명이 이루고자 하는 주된 기술적 딥러닝 알고리즘을 이용하여 환자의 자궁 병변 이미지를 학습하고 학습된 결과 데이터를 토대로 진단 대상 이미지를 판독하여 병변을 알아내는 딥러닝 알고리즘을 이용한 자궁 병변 진단 장치 및 방법을 제공하는 것이다.
본 발명이 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 해결하기 위해 본 발명의 일 실시예는, 환자들의 자궁 병변 이미지들을 획득하는 이미지 획득부, 상기 자궁 병변 이미지들과 상기 자궁 병변 이미지들에 대응되는 상기 환자들의 임상 정보를 토대로 학습용 데이터 세트를 생성하는 데이터 생성부, 상기 학습용 데이터 세트에 포함된 이미지들을 가공하여 가공된 이미지들을 획득하는 데이터 전처리부, 상기 데이터 전처리부를 통해 가공된 이미지들의 데이터가 포함된 학습용 데이터 세트를 합성곱신경망과 심층신경망을 이용하여 학습하는 데이터 학습부, 그리고, 상기 데이터 학습부의 학습 결과 데이터를 토대로 진단 대상 이미지를 판독하여 진단 결과를 도출하는 진단부를 포함하는 자궁 병변 진단 장치를 제공한다.
본 실시예에 있어서, 상기 이미지 획득부는 질확대경 및 상기 질확대경에 부착된 카메라를 이용하여 상기 환자의 자궁 병변 이미지를 획득할 수 있다.
본 실시예에 있어서, 상기 데이터 생성부는 상기 자궁 병변 이미지들과 상기 자궁 병변 이미지들에 대응되는 상기 환자들의 임상 정보를 토대로 검증용 데이터 세트를 생성한 후, 상기 검증용 데이터 세트에 포함된 자궁 병변 이미지들 외의 자궁 병변 이미지들과 이것들에 대응되는 환자들의 임상 정보를 토대로 학습용 데이터 세트를 생성할 수 있다.
본 실시예에 있어서, 상기 데이터 전처리부는, 상기 학습용 데이터 세트에 포함된 이미지들을 대상으로 이미지 내에 설정된 병변 영역 외의 주변 영역을 제거하고, 상기 병변 영역의 중심부를 설정하며, 중심부가 설정된 이미지를 대상으로, 상, 하, 좌 또는 우로 회전 또는 반전하여 회전 이미지들과 반전 이미지들을 획득하고, 소정의 노이즈를 적용하여 노이즈가 적용된 노이즈 이미지들을 획득할 수 있다.
본 실시예에 있어서, 상기 데이터 학습부는, 상기 데이터 전처리부를 통해 가공된 이미지들의 특징을 추출하여 특징 정보를 생성하고, 합성곱신경망을 이용하여 상기 데이터 전처리부를 통해 가공된 이미지들의 데이터를 학습하여 이미지들의 패턴 정보를 포함하는 합성곱신경망 결과 데이터를 생성하며, 심층신경망을 이용하여 상기 합성곱신경망 결과 데이터와 상기 특징 정보 및 상기 환자들의 임상 정보를 학습하여 학습 결과 데이터를 생성할 수 있다.
또한, 상기 기술적 과제들을 해결하기 위해 본 발명의 다른 실시예는, 위 실시예에 따른 자궁 병변 진단 장치를 이용한 자궁 병변 진단 방법으로서, 상기 자궁 병변 진단 장치가 환자들의 자궁 병변 이미지들을 획득하는 이미지 획득 단계, 상기 자궁 병변 진단 장치가 상기 자궁 병변 이미지들과 상기 자궁 병변 이미지들에 대응되는 상기 환자들의 임상 정보를 토대로 학습용 데이터 세트를 생성하는 데이터 생성 단계, 상기 자궁 병변 진단 장치가 상기 학습용 데이터 세트에 포함된 이미지들을 가공하여 가공된 이미지들을 획득하는 데이터 전처리 단계, 상기 자궁 병변 진단 장치가 상기 데이터 전처리 단계를 통해 가공된 이미지들의 데이터가 포함된 학습용 데이터 세트를 합성곱신경망과 심층신경망을 이용하여 학습하는 데이터 학습 단계, 그리고, 상기 자궁 병변 진단 장치가 상기 데이터 학습 단계의 학습 결과 데이터를 토대로 진단 대상 이미지를 판독하여 진단 결과를 도출하는 진단 단계를 포함하는 자궁 병변 진단 방법을 제공한다.
본 실시예에 있어서, 상기 이미지 획득 단계는 상기 자궁 병변 진단 장치가 질확대경 및 상기 질확대경에 부착된 카메라를 이용하여 상기 환자의 자궁 병변 이미지를 획득하는 단계일 수 있다.
본 실시예에 있어서, 상기 데이터 생성 단계는, 상기 자궁 병변 진단 장치가 상기 자궁 병변 이미지들과 상기 자궁 병변 이미지들에 대응되는 상기 환자들의 임상 정보를 토대로 검증용 데이터 세트를 생성하는 과정과, 상기 자궁 병변 진단 장치가 상기 검증용 데이터 세트에 포함된 자궁 병변 이미지들 외의 자궁 병변 이미지들과 이것들에 대응되는 환자들의 임상 정보를 토대로 학습용 데이터 세트를 생성하는 과정을 포함할 수 있다.
본 실시예에 있어서, 상기 데이터 전처리 단계는, 상기 자궁 병변 진단 장치가 상기 학습용 데이터 세트에 포함된 이미지들을 대상으로 이미지 내에 설정된 병변 영역 외의 주변 영역을 제거하고, 상기 병변 영역의 중심부를 설정하는 과정과, 상기 자궁 병변 진단 장치가 중심부가 설정된 이미지를 대상으로, 상, 하, 좌 또는 우로 회전 또는 반전하여 회전 이미지들과 반전 이미지들을 획득하고, 소정의 노이즈를 적용하여 노이즈가 적용된 노이즈 이미지들을 획득하는 과정을 포함할 수 있다.
본 실시예에 있어서, 상기 데이터 학습 단계는, 상기 자궁 병변 진단 장치가 상기 데이터 전처리 단계를 통해 가공된 이미지들의 특징을 추출하여 특징 정보를 생성하는 과정, 상기 자궁 병변 진단 장치가 합성곱신경망을 이용하여 상기 데이터 전처리 단계를 통해 가공된 이미지들의 데이터를 학습하여 이미지들의 패턴 정보를 포함하는 합성곱신경망 결과 데이터를 생성하는 과정, 그리고, 상기 자궁 병변 진단 장치가 심층신경망을 이용하여 상기 합성곱신경망 결과 데이터와 상기 특징 정보 및 상기 환자들의 임상 정보를 학습하여 학습 결과 데이터를 생성하는 과정을 포함할 수 있다.
본 발명에 따르면, 획득된 자궁 병변 이미지들을 대상으로 주변부 잘라내기, 중심부 찾기, 회전, 뒤집기, 다르기, 소음섞기 등의 다양한 전처리 과정을 수행하여 학습에 필요한 이미지 데이터 세트를 증폭시킬 수 있고, 학습 결과 데이터를 토대로 진단 대상 이미지를 자동으로 판독하여 병변 부위의 질환, 신생물 존재 여부를 신속하고 정확하게 진단할 수 있다.
또한, 본 발명에 따른 자궁 병변 진단 장치 및 방법을 임상결정의 보조도구로 사용하면, 자동으로 진단 대상 이미지를 판독 할 수 있어, 의사가 판독할 때 발생할 수 있는 인적 실수와 진단 오류의 가능성을 줄일 수 있고, 객관적이고 일관적인 판독 결과를 도출할 수 있으며, 자궁 병변 진단을 위한 시간과 비용을 절감할 수 있다. 또한, 시간과 비용이 절감됨에 따라, 본 발명을 이용하여 무의촌, 미개발 국가 등 의료기반시설이 부족 지역에서도 자궁 진료가 가능하다.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1은 본 발명의 일 실시예에 따른 자궁 병변 진단 장치의 구성을 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 데이터 전처리를 더욱 상세하게 설명하기 위해 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 자궁 병변 진단 방법의 절차를 도시한 흐름도이다.
도 4내지 도 7은 도 3에 도시된 자궁 병변 진단 방법의 세부 절차들을 설명하기 위해 도시한 도면들이다.
도 2는 본 발명의 일 실시예에 따른 데이터 전처리를 더욱 상세하게 설명하기 위해 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 자궁 병변 진단 방법의 절차를 도시한 흐름도이다.
도 4내지 도 7은 도 3에 도시된 자궁 병변 진단 방법의 세부 절차들을 설명하기 위해 도시한 도면들이다.
이하에서는 첨부한 도면을 참조하여 본 발명을 상세히 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시예로 한정되는 것은 아니다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경물, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 도면에 나타난 각 구성요소의 크기, 형태, 형상은 다양하게 변형될 수 있고, 명세서 전체에 대하여 동일/유사한 부분에 대해서는 동일/유사한 도면 부호를 붙였다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략하였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결(접속, 접촉 또는 결합)"되어 있다고 할 때, 이는 "직접적으로 연결(접속, 접촉 또는 결합)"되어 있는 경우뿐만 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결(접속, 접촉 또는 결합)"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함(구비 또는 마련)"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 “포함(구비 또는 마련)”할 수 있다는 것을 의미한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함하며, 분산되어 실시되는 구성요소들은 특별한 제한이 있지 않는 한 결합된 형태로 실시될 수도 있다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 본 명세서에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1구성요소는 제2구성요소로 명명될 수 있고, 유사하게 제2구성요소도 제1구성 요소로 명명될 수 있다.
도 1은 본 발명의 일 실시예에 따른 자궁 병변 진단 장치(이하, “자궁 병변 진단 장치(100)”라 함)의 구성을 도시한 블록도이다.
도 1에 도시된 바와 같이, 자궁 병변 진단 장치(100)는 이미지 획득부(110), 데이터 생성부(120), 데이터 전처리부(130), 데이터 학습부(140) 및 진단부(150)를 포함한다.
이미지 획득부(110)는 환자들의 자궁 병변 이미지들을 획득한다. 예로서, 이미지 획득부(110)는 질확대경 및 상기 질확대경에 부착된 카메라를 이용하여 환자의 자궁 병변 이미지들을 획득할 수 있으나, 이에 제한되는 것은 아니다.
데이터 생성부(120)는 상기 자궁 병변 이미지들과 상기 자궁 병변 이미지들에 대응되는 상기 환자들의 임상 정보를 토대로 학습용 데이터 세트를 생성한다.
본 발명의 일 구현예로서, 데이터 생성부(120)는 이미지 획득부(110)에서 수집된 디지털 이미지와 그 이미지 해당 환자의 나이, 성별 등 임상정보를 옮겨와 딥러닝 알고리즘 적용을 위한 학습용 데이터 세트와 검증용 데이터 세트를 생성할 수 있다. 학습용 데이터 세트는 알고리즘 적용부에서 신경망 구조를 훈련시키는 데에 활용되며, 검증용 데이터 세트는 신경망 구조의 학습의 진행 정도를 학습 중 검증하는 용도로 활용한다. 신경망 구조의 학습 특성상 학습용 데이터 세트에 대해 과적합 상태가 될 수 있기 때문에, 검증용 데이터 세트를 활용하여 과적합 상태가 되는 것을 방지할 수 있다.
예컨대, 이미지 획득부(110)에서 수집된 데이터 세트 중에서 추후 시스템의 성능 검증용 데이터 세트를 일정부분 분리 및 저장한다. 검증용 데이터 세트는 학습용 데이터 세트와는 전혀 겹치지 않는 독립적 데이터 세트이며, 시스템의 학습에 사용되지 않았으므로, 검증 작업 시에 시스템이 처음 접하게 되는 데이터이고, 따라서 완전히 새로운 이미지를 접했을 때의 시스템의 성능 평가에 적합한 데이터 세트가 된다. 검증용 데이터 세트를 떼고 남은 데이터 세트를 학습용 데이터 세트로 사용한다.
촬영된 이미지 외의 임상정보는 데이터 학습부(140)에서 합성곱신경망 구조의 결과물과 함께 완전 연결 심층 신경망에 입력되는 데이터이며, 이미지 외의 정보를 통해 더 정확도를 향상시키는 효과를 기대할 수 있다.
이와 같이, 데이터 생성부(120)는 상기 자궁 병변 이미지들과 상기 자궁 병변 이미지들에 대응되는 상기 환자들의 임상 정보를 토대로 검증용 데이터 세트를 생성한 후, 상기 검증용 데이터 세트에 포함된 자궁 병변 이미지들 외의 자궁 병변 이미지들과 이것들에 대응되는 환자들의 임상 정보를 토대로 학습용 데이터 세트를 생성할 수 있다.
데이터 전처리부(130)는 상기 학습용 데이터 세트에 포함된 이미지들을 가공하여 가공된 이미지들을 획득한다.
본 발명은 이미지 획득부(110)를 통해 획득한 사진들을 주변부 잘라내기, 중심부 찾기, 회전/뒤집기, 다르기, 소음섞기를 적용한 전처리 과정을 거쳐, 데이터 세트를 증폭시킨 뒤, 합성곱신경망을 적용하여 자동으로 판독하여 자궁 경부 신생물을 진단하도록 구현된다.
따라서, 데이터 전처리부(130)는 상기 학습용 데이터 세트에 포함된 이미지들을 대상으로 이미지 내에 설정된 병변 영역 외의 주변 영역을 제거하고, 상기 병변 영역의 중심부를 설정할 수 있다. 이에 더하여, 데이터 전처리부(130)는 중심부가 설정된 이미지를 대상으로, 상, 하, 좌 또는 우로 회전 또는 반전하여 회전 이미지들과 반전 이미지들을 획득하고, 소정의 노이즈를 적용하여 노이즈가 적용된 노이즈 이미지들을 획득할 수 있다.
데이터 학습부(140)는 데이터 전처리부(130)를 통해 가공된 이미지들의 데이터가 포함된 학습용 데이터 세트를 합성곱신경망과 심층신경망을 이용하여 학습한다.
또한, 데이터 학습부(140)는 데이터 전처리부(130)를 통해 가공된 이미지들의 특징을 추출하여 특징 정보를 생성하고, 합성곱신경망을 이용하여 상기 데이터 전처리부를 통해 가공된 이미지들의 데이터를 학습하여 이미지들의 패턴 정보를 포함하는 합성곱신경망 결과 데이터를 생성할 수 있으며, 심층신경망을 이용하여 상기 합성곱신경망 결과 데이터와 상기 특징 정보 및 상기 환자들의 임상 정보를 학습하여 학습 결과 데이터를 생성할 수 있다.
진단부(150)는 데이터 학습부(140)의 학습 결과 데이터를 토대로 진단 대상 이미지를 판독하여 진단 결과를 도출한다. 예로서, 진단부(150)는 새로운 환자를 대상으로 촬영한 자궁 경부의 사진을 입력 받고, 입력 받은 진단 대상 이미지와 상기 학습 결과 데이터를 매칭하여 진단 대상 이미지에 포함된 신생물, 병변 등을 파악할 수 있다.
진단부(150)는 새로 입력되는 이미지를 대상으로 앞서 설명한 주변부 잘라내기 등 데이터 전처리부(130)에서 수행되는 전처리 과정의 일부를 수행할 수 있다. 이후 전처리된 이미지가 진단부(150)에 입력되며, 진단부(150)는 학습 결과 데이터를 토대로 새로 입력된 이미지의 진단 결과를 도출한다.
도 2는 본 발명의 일 실시예에 따른 데이터 전처리를 더욱 상세하게 설명하기 위해 도시한 도면으로서, 아래에서는 이를 참조하여 데이터 전처리부(130) 및 데이터 학습부(140)를 더욱 상세하게 설명하도록 한다.
도 1을 참조하여 설명한 바와 같이, 데이터 전처리부(130)는 주변부 잘라내기, 중심부찾기, 이미지 쉬프팅(shifting), 이미지 리사이징(resizing), 이미지 회전, 이미지 뒤집기, 노이즈 추가 등의 기법들을 이용하여 학습에 필요한 환자의 자궁 병변 이미지들을 증가시켜 학습용 데이터 세트를 증폭시키는 기능을 수행한다.
본 발명의 일 구현예에 따른 전처리 과정의 첫 단계는 전체 사진에서 병변을 중심으로 하여 가장자리의 불필요한 부분을 잘라내는 과정(s210)이다. 자궁 경부를 진단하는 경우를 예로 들면, 질확대경 사진 촬영은 보통 병변을 중심 근처에 놓고 촬영하지만, 가장자리에는 자궁경부가 아닌 질 내벽, 질경의 금속본체 일부 등이 함께 찍히는 경우가 자주 있는데, 이러한 가장자리의 병변과 무관한 모습들은 합성곱신경망에 의한 학습을 방해하게 된다. 이미지를 보고 병변을 분류하는 것이 목적인 시스템에서 이미지의 불필요한 부분을 딥러닝 알고리즘의 입력 값으로 활용하지 않는 것이 보다 더 효율적이고 정확한 결과를 보장하므로 본 발명은 병변과 관련성이 낮은, 이미지의 주변부를 잘라내도록 구현될 수 있다.
다음 과정은 중심부 찾기 과정(s220)이다. 본 발명은 질확대경 사진의 경우, 전처리 과정을 거치면서 모델 훈련에 기여할 수 있는 이미지의 일부가 변질되거나 누락되는 경우가 생길 수 있기 때문에 중심부를 찾는 알고리즘을 적용될 수 있다.
위와 같은 예에서, 질확대경 사진에서는 흔히 질 확장 도구가 함께 이미지에 포함되게 되는데, 이 질내 삽입 보조 장치는 원형의 금속 틀이다. 따라서, 이미지에 포함된 원형 금속 틀의 중심을 이용하여 병변의 중심부를 찾을 수 있다. 이 때, 이미지에서 윤곽선을 추출하여 윤곽선을 기반으로 이미지의 유효 부위를 판별한 뒤, 해당 유효부위의 중심부(Centroid)를 찾는 방법을 사용할 수 있다. 또한, 알고리즘이 중심부를 잡아내지 못할 경우에는 전체 이미지의 정중앙을 중심부로 설정할 수도 있다.
중심부 찾기 작업(s220) 후에는 이미지 쉬프팅및 리사이징 과정을 거친다. 이미지 쉬프팅은 자궁 병변 이미지들을 상, 하, 좌, 우 방향으로 회전, 반전 또는 평행 이동한다. 이미지 리사이징은 자궁 병변 이미지들을 확대 또는 축소할 수 있다.
다음 데이터의 수를 늘리기 위한 증폭 과정이 수행된다. 합성곱신경망을 포함하는 딥러닝 알고리즘을 이용하는 경우, 데이터의 양이 많을수록 좋은 성능을 달성하는 데 유리하지만, 위 예와 같이 질확대경 사진 이미지는 그 검사 건수가 다른 검사에 비해 상당히 적은 편으로, 이미지 획득부(110)에서 검출된 이미지 데이터 수집량은 합성곱신경망을 활용하기엔 부족할 수 있다. 따라서, 데이터 증폭(augmentation)과정을 통해 학습용 데이터 세트를 늘릴 필요가 있다. 데이터 증폭은 이미지의 회전, 뒤집기, 자르기, 소음 섞기 등의 방법을 이용한다.
예컨대, 중심부를 기준으로 이미지를 상하좌우로 뒤집거나 회전을 시킨 이미지를 생성하여 데이터 세트를 증폭(s230)시킨다. 이는 자궁 경부와 같이 원 모양이어서 병변의 모양이 실제로 방향만 달라질 수 있는 경우 효과적인 작업이 된다. 또한, 데이터 생성부(120)는 환자의 자궁 병변 이미지들을 45도씩 좌우로 회전시키거나 상하 방향 뒤집기 그리고 좌우 방향 뒤집기를 통해 회전 및 반전 이미지들(22)을 획득할 수 있다. .
또한 이 과정에서, 자궁 병변 이미지들에 일정 수준의 노이즈를 적용하는데(s240), 이렇게 노이즈를 적용하는 것은, 같은 병변이라도 촬영시의 여러 상황에 의해 사진에 소음이 섞여 다르게 촬영될 수 있으므로 유효한 작업이다. 이미지의 소음을 섞어주는 효과가 알고리즘 적용 시 다른 이미지를 적용하는 것과 같은 효과를 가지므로, 데이터를 증폭하는 효과가 발생한다. 데이터 생성부(120)는 자궁 병변 이미지들을 흑백이미지화 한다던지, 명암, 채도 등을 달리 설정하는 방법 등을 통해 노이즈 이미지들(23)을 획득할 수 있다.
이상의 과정들은 상술한 데이터 전처리부(130)에 의해 수행될 수 있다. 즉, 데이터 전처리부(130)는, a) 상기 학습용 데이터 세트에 포함된 이미지들을 대상으로 사진 전체에서 병변 영역을 설정하고 상기 병변 영역을 중심으로 하여 상기 병변 영역 이외의 영역을 잘라내는 과정과, b) 상기 a) 과정에 따라 생성된 이미지에서 상기 병변 영역의 중심부를 설정하되 상기 중심부는 상기 자궁 병변 이미지들을 획득하기 위한 원형 금속 틀 형태의 기구의 중심 또는 상기 a) 과정에 따라 생성된 이미지의 중심으로 설정되는 과정과, c) 상기 b) 과정에 따라 생성된 이미지를 확대 또는 축소하는 이미지 리사이징 과정과, d) 상기 c) 과정에 따라 생성된 이미지를 대상으로, 상, 하, 좌 또는 우로 회전 또는 반전하여 회전 이미지들과 반전 이미지들을 획득하는 데이터 증폭 과정, 및, e) 상기 c) 과정에 따라 생성된 이미지를 대상으로 흑백이미지화, 명암 변경, 및 채도 변경을 포함하는 노이즈 적용 방법 중 적어도 어느 하나 이상의 노이즈 적용 방법을 이용하여 노이즈가 적용된 이미지들을 획득하는 노이즈 적용 과정을 수행할 수 있다.
데이터 전처리부(130)에 의해 위 과정들을 거쳐 전처리된 이미지들은 데이터 학습부(140)로 전송되어 합성곱신경망으로 입력된다. 이 때, 합성곱신경망과는 별도로, 데이터 학습부(140)에 의해 이미지 프로세싱을 기반으로 한 특징 추출 작업이 수행될 수 있다. 이 특징 추출에는 이미지 프로세싱을 기반으로 주파수 분석을 통한 텍스쳐 분석 등이 이용된다. 필터 뱅크를 이용하면 주파수 별 특징맵에 해당하는 결과를 추출할 수 있게 되는데, 이는 각각 다른 텍스쳐의 결과로 볼 수 있다. 해당 텍스쳐 결과 별로 평균 및 표준편차 값을 신경망 구조에 사용될 특징으로 추가할 수 있다. 필터 뱅크를 이용하지 않은 주파수 분석을 하는 경우, 이산 푸리예 변환(discrete fourier transform)을 통해 얻은 고주파수 및 저주파수 대역 별 평균 및 표준편차 값을 신경망 구조에 추가 특징으로 사용하는 것도 가능하다. 또한, 전처리 전 과정의 로우(raw) 학습 데이터의 부분 이미지를 샘플링(랜덤 또는 단순 격자 패턴)하여 얻을 수 있는 이미지 내 상관(correlation)값, 차이(dissimilarity)값 및 해당 값들의 평균 및 표준편차 값 역시 특징으로 이용될 수 있다. 이러한 과정을 통해 추출된 특징들은 합성곱신경망으로는 들어가지 않고, (완전연결)심층 신경망에 바로 투입되어 학습에 사용될 수 있다.
자궁 경부를 진단하는 경우의 예에서, 데이터 학습부(140)의 합성곱신경망의 효과는 질확대경 사진을 분석하는 여러 개의 특징 패턴(패턴 정보)들을 추출하는 것이다. 해당 특징 패턴들을 완전연결 심층 신경망에서 최종 분류를 하는 데 사용되게 된다. 본 발명에 적용되는 합성곱신경망은 다수 층의 구조로 이루어진다. 각각의 층과 층을 이루는 구성요소들은 합성곱 층, 활성화 함수, 맥스풀링층, 활성화 함수, 드랍아웃층 등의 조합으로 이루어질 수 있다.
합성곱 층은 커널이라 불리는 필터 역할을 하여 전체 이미지(또는 생성된 새로운 특징 패턴)를 부분적으로 처리한 것들이 이미지와 같은 크기의 새로운 특징 패턴을 얻어낸다. 해당 특징 패턴에서 활성화 함수를 통해 특징 패턴의 값들을 처리하기 편하게 보정하고, 맥스풀링을 통해 일부 샘플링 하고 크기를 리사이즈하여 줄이는 효과를 가져온다. 일련의 작업을 하게 되면, 특징 패턴의 크기는 줄어들게 되지만, 많은 수의 커널의 활용을 통해 많은 수의 특징 패턴 추출이 가능하다. 드랍아웃의 경우는 합성곱신경망의 가중치들을 훈련시킬 때 효율적인 훈련을 위해 일부 가중치들을 의도적으로 고려하지 않는 방법이며, 훈련된 모델을 통해 실제 테스트를 하는 경우에는 적용하지 않는다. 이렇게 합성곱신경망에서 추출된 특징 패턴들은 다음 단계인 완전연결 심층 신경망으로 전달되어 분류 작업을 하는 데에 활용된다. 모델 훈련을 위한 훈련용 데이터의 양에 맞추어 합성곱신경망 층의 개수를 조절하는 것이 모델 안정성 측면에서 좋다.
본 발명에 적용되는 심층 신경망은 합성곱신경망에서 추출된 특징 패턴정보를 활용하여 최종 분류작업을 하게 된다. 하지만, 합성곱신경망에서 얻어진 특징 뿐만 아니라, 합성곱신경망 단계로 넘어가기 전에 이미지 프로세싱 등을 통해 추출된 이미지 특징 들과 환자의 나이나 성별 등 임상정보들도 함께 입력로 활용된다. 예컨대, 암이 고령에 많다는 점이 학습용 데이터 세트의 임상정보를 통해 학습되게 되면, 이미지의 특징과 함께 42세, 혹은 79세 등의 나이가 입력되었을 때, 암 또는 양성 구분이 어려운 애매모호한 병변의 구분에서 고령의 환자는 암일 확률이 높아지는 쪽으로 진단되도록 진단부(150)가 구현될 수 있다.
데이터 학습부(140)의 학습과정은 트레이닝 데이터를 딥러닝 알고리즘 구조에 적용시켜 얻어지는 결과와 실제 결과와의 오차를 비교하여 해당 오차에 해당하는 만큼 신경망 구조의 가중치를 점차적으로 변화시켜주는 역전파(backpropagation) 알고리즘을 통해 결과가 피드백되는 구조를 가질 수 있다. 데이터 학습부(140)는 학습용 데이터 세트와 검증용 데이터 세트를 이용하여 신경망을 학습시켜 가중치 매개 변수를 구하여 최종 진단 모델을 도출할 수 있다.
도 3은 본 발명의 일 실시예에 따른 자궁 병변 진단 방법의 절차를 도시한 흐름도이고, 도 4내지 도 7은 도 3에 도시된 자궁 병변 진단 방법의 세부 절차들을 설명하기 위해 도시한 도면들이다.
본 실시예에 따른 자궁 병변 진단 방법은 앞서 도 1 및 도 2를 참조하여 설명한 자궁 병변 진단 장치(100)를 이용한 자궁 병변 진단 방법이다. 따라서, 이하에서는 상술한 설명과 중복되는 내용은 생략하도록 한다.
도 3을 참조하면, 본 실시예에 따른 자궁 병변 진단 방법은 상기 자궁 병변 진단 장치가 환자들의 자궁 병변 이미지들을 획득하는 이미지 획득 단계(s310), 상기 자궁 병변 진단 장치가 상기 자궁 병변 이미지들과 상기 자궁 병변 이미지들에 대응되는 상기 환자들의 임상 정보를 토대로 학습용 데이터 세트를 생성하는 데이터 생성 단계(s320), 상기 자궁 병변 진단 장치가 상기 학습용 데이터 세트에 포함된 이미지들을 가공하여 가공된 이미지들을 획득하는 데이터 전처리 단계(s330), 상기 자궁 병변 진단 장치가 상기 데이터 전처리 단계를 통해 가공된 이미지들의 데이터가 포함된 학습용 데이터 세트를 합성곱신경망과 심층신경망을 이용하여 학습하는 데이터 학습 단계(s340) 및 상기 자궁 병변 진단 장치가 상기 데이터 학습 단계의 학습 결과 데이터를 토대로 진단 대상 이미지를 판독하여 진단 결과를 도출하는 진단 단계(s350)를 포함한다.
여기서, 이미지 획득 단계(s310)는 상기 자궁 병변 진단 장치가 질확대경 및 상기 질확대경에 부착된 카메라를 이용하여 상기 환자의 자궁 병변 이미지를 획득하는 단계일 수 있다.
도 4를 참조하면, 데이터 생성 단계(s320)는 상기 자궁 병변 진단 장치가 상기 자궁 병변 이미지들과 상기 자궁 병변 이미지들에 대응되는 상기 환자들의 임상 정보를 토대로 검증용 데이터 세트를 생성하는 과정(s321)과, 상기 자궁 병변 진단 장치가 상기 검증용 데이터 세트에 포함된 자궁 병변 이미지들 외의 자궁 병변 이미지들과 이것들에 대응되는 환자들의 임상 정보를 토대로 학습용 데이터 세트를 생성하는 과정(s323)을 포함할 수 있다.
도 5를 참조하면, 데이터 전처리 단계(s330)는, 상기 자궁 병변 진단 장치가 상기 학습용 데이터 세트에 포함된 이미지들을 대상으로 이미지 내에 설정된 병변 영역 외의 주변 영역을 제거하고, 상기 병변 영역의 중심부를 설정하는 과정(s331)과, 상기 자궁 병변 진단 장치가 중심부가 설정된 이미지를 대상으로, 상, 하, 좌 또는 우로 회전 또는 반전하여 회전 이미지들과 반전 이미지들을 획득하고, 소정의 노이즈를 적용하여 노이즈가 적용된 노이즈 이미지들을 획득하는 과정(s333)을 포함할 수 있다.
도 6을 참조하면, 데이터 학습 단계(s340)는, 상기 자궁 병변 진단 장치가 데이터 전처리 단계(s330)를 통해 가공된 이미지들의 특징을 추출하여 특징 정보를 생성하는 과정(s341)과, 상기 자궁 병변 진단 장치가 합성곱신경망을 이용하여 데이터 전처리 단계(s330)를 통해 가공된 이미지들의 데이터를 학습하여 이미지들의 패턴 정보를 포함하는 합성곱신경망 결과 데이터를 생성하는 과정(s343), 그리고, 상기 자궁 병변 진단 장치가 심층신경망을 이용하여 상기 합성곱신경망 결과 데이터와 상기 특징 정보 및 상기 환자들의 임상 정보를 학습하여 학습 결과 데이터를 생성하는 과정(s345)을 포함할 수 있다.
도 7을 참조하면, 데이터 전처리 단계(s330)는, i) 상기 학습용 데이터 세트에 포함된 이미지들을 대상으로 사진 전체에서 병변 영역을 설정하고, 상기 병변 영역을 중심으로 하여 상기 병변 영역 이외의 영역을 잘라내는 과정(s701)과, ii) 상기 i) 과정(s701)에 따라 생성된 이미지에서 상기 병변 영역의 중심부를 설정하되 상기 중심부는 상기 자궁 병변 이미지들을 획득하기 위한 원형 금속 틀 형태의 기구의 중심 또는 상기 a) 과정에 따라 생성된 이미지의 중심으로 설정되는 과정(s702)과, iii) 상기 ii) 과정(s702)에 따라 생성된 이미지를 확대 또는 축소하는 이미지 리사이징 과정(s703)과, iv) 상기 iii) 과정(s703)에 따라 생성된 이미지를 대상으로, 상, 하, 좌 또는 우로 회전 또는 반전하여 회전 이미지들과 반전 이미지들을 획득하는 데이터 증폭 과정(s704), 및, v) 상기 iii) 과정(s703)에 따라 생성된 이미지를 대상으로 흑백이미지화, 명암 변경, 및 채도 변경을 포함하는 노이즈 적용 방법 중 적어도 어느 하나 이상의 노이즈 적용 방법을 이용하여 노이즈가 적용된 이미지들을 획득하는 노이즈 적용 과정(s705)을 포함할 수 있다.
이상, 지금까지 설명한 본 발명의 다양한 실시예에 따르면, 획득된 자궁 병변 이미지들을 대상으로 주변부 잘라내기, 중심부 찾기, 회전, 뒤집기, 다르기, 소음섞기 등의 다양한 전처리 과정을 수행하여 학습에 필요한 이미지 데이터 세트를 증폭시킬 수 있고, 학습 결과 데이터를 토대로 진단 대상 이미지를 자동으로 판독하여 병변(예컨대, 자궁 병변) 부위의 질환, 신생물 존재 여부를 신속하고 정확하게 진단할 수 있다.
또한, 상술한 자궁 병변 진단 장치 및 방법을 임상결정의 보조도구로 사용하면, 자동으로 진단 대상 이미지를 판독 할 수 있어, 의사가 판독할 때 발생할 수 있는 인적 실수와 진단 오류의 가능성을 줄일 수 있고, 객관적이고 일관적인 판독 결과를 도출할 수 있으며, 자궁 병변 진단을 위한 시간과 비용을 절감할 수 있다. 또한, 시간과 비용이 절감됨에 따라, 본 발명을 이용하여 무의촌, 미개발 국가 등 의료기반시설이 부족 지역에서도 자궁 진료가 가능하다.
상술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
Claims (12)
- 환자들의 자궁 병변 이미지들을 획득하는 이미지 획득부;
상기 자궁 병변 이미지들과 상기 자궁 병변 이미지들에 대응되는 상기 환자들의 임상 정보를 토대로 학습용 데이터 세트를 생성하는 데이터 생성부;
상기 학습용 데이터 세트에 포함된 이미지들을 가공하여 가공된 이미지들을 획득하는 데이터 전처리부;
상기 데이터 전처리부를 통해 가공된 이미지들의 데이터가 포함된 학습용 데이터 세트를 합성곱신경망과 심층신경망을 이용하여 학습하는 데이터 학습부; 및
상기 데이터 학습부의 학습 결과 데이터를 토대로 진단 대상 이미지를 판독하여 진단 결과를 도출하는 진단부를 포함하는 것을 특징으로 하는 자궁 병변 진단 장치.
- 제1항에 있어서,
상기 이미지 획득부는 질확대경 및 상기 질확대경에 부착된 카메라를 이용하여 상기 환자의 자궁 병변 이미지를 획득하는 것을 특징으로 하는 자궁 병변 진단 장치.
- 제1항에 있어서,
상기 데이터 생성부는 상기 자궁 병변 이미지들과 상기 자궁 병변 이미지들에 대응되는 상기 환자들의 임상 정보를 토대로 검증용 데이터 세트를 생성한 후, 상기 검증용 데이터 세트에 포함된 자궁 병변 이미지들 외의 자궁 병변 이미지들과 이것들에 대응되는 환자들의 임상 정보를 토대로 학습용 데이터 세트를 생성하는 것을 특징으로 하는 자궁 병변 진단 장치.
- 제1항에 있어서,
상기 데이터 전처리부는,
상기 학습용 데이터 세트에 포함된 이미지들을 대상으로 이미지 내에 설정된 병변 영역 외의 주변 영역을 제거하고, 상기 병변 영역의 중심부를 설정하며,
중심부가 설정된 이미지를 대상으로, 상, 하, 좌 또는 우로 회전 또는 반전하여 회전 이미지들과 반전 이미지들을 획득하고, 소정의 노이즈를 적용하여 노이즈가 적용된 노이즈 이미지들을 획득하는 것을 특징으로 하는 자궁 병변 진단 장치.
- 제1항에 있어서,
상기 데이터 학습부는,
상기 데이터 전처리부를 통해 가공된 이미지들의 특징을 추출하여 특징 정보를 생성하고, 합성곱신경망을 이용하여 상기 데이터 전처리부를 통해 가공된 이미지들의 데이터를 학습하여 이미지들의 패턴 정보를 포함하는 합성곱신경망 결과 데이터를 생성하며, 심층신경망을 이용하여 상기 합성곱신경망 결과 데이터와 상기 특징 정보 및 상기 환자들의 임상 정보를 학습하여 학습 결과 데이터를 생성하는 것을 특징으로 하는 자궁 병변 진단 장치.
- 제1항에 있어서,
상기 데이터 전처리부는,
a) 상기 학습용 데이터 세트에 포함된 이미지들을 대상으로 사진 전체에서 병변 영역을 설정하고, 상기 병변 영역을 중심으로 하여 상기 병변 영역 이외의 영역을 잘라내는 과정과,
b) 상기 a) 과정에 따라 생성된 이미지에서 상기 병변 영역의 중심부를 설정하되 상기 중심부는 상기 자궁 병변 이미지들을 획득하기 위한 원형 금속 틀 형태의 기구의 중심 또는 상기 a) 과정에 따라 생성된 이미지의 중심으로 설정되는 과정과,
c) 상기 b) 과정에 따라 생성된 이미지를 확대 또는 축소하는 이미지 리사이징 과정과,
d) 상기 c) 과정에 따라 생성된 이미지를 대상으로, 상, 하, 좌 또는 우로 회전 또는 반전하여 회전 이미지들과 반전 이미지들을 획득하는 데이터 증폭 과정, 및,
e) 상기 c) 과정에 따라 생성된 이미지를 대상으로 흑백이미지화, 명암 변경, 및 채도 변경을 포함하는 노이즈 적용 방법 중 적어도 어느 하나 이상의 노이즈 적용 방법을 이용하여 노이즈가 적용된 이미지들을 획득하는 노이즈 적용 과정을 수행하는 것을 특징으로 하는 자궁 병변 진단 장치.
- 제1항 내지 제6항 중 어느 한 항에 따른 자궁 병변 진단 장치를 이용한 자궁 병변 진단 방법에 있어서,
상기 자궁 병변 진단 장치가 환자들의 자궁 병변 이미지들을 획득하는 이미지 획득 단계;
상기 자궁 병변 진단 장치가 상기 자궁 병변 이미지들과 상기 자궁 병변 이미지들에 대응되는 상기 환자들의 임상 정보를 토대로 학습용 데이터 세트를 생성하는 데이터 생성 단계;
상기 자궁 병변 진단 장치가 상기 학습용 데이터 세트에 포함된 이미지들을 가공하여 가공된 이미지들을 획득하는 데이터 전처리 단계;
상기 자궁 병변 진단 장치가 상기 데이터 전처리 단계를 통해 가공된 이미지들의 데이터가 포함된 학습용 데이터 세트를 합성곱신경망과 심층신경망을 이용하여 학습하는 데이터 학습 단계; 및
상기 자궁 병변 진단 장치가 상기 데이터 학습 단계의 학습 결과 데이터를 토대로 진단 대상 이미지를 판독하여 진단 결과를 도출하는 진단 단계를 포함하는 것을 특징으로 하는 자궁 병변 진단 방법.
- 제7항에 있어서,
상기 이미지 획득 단계는 상기 자궁 병변 진단 장치가 질확대경 및 상기 질확대경에 부착된 카메라를 이용하여 상기 환자의 자궁 병변 이미지를 획득하는 단계인 것을 특징으로 하는 자궁 병변 진단 방법.
- 제7항에 있어서,
상기 데이터 생성 단계는,
상기 자궁 병변 진단 장치가 상기 자궁 병변 이미지들과 상기 자궁 병변 이미지들에 대응되는 상기 환자들의 임상 정보를 토대로 검증용 데이터 세트를 생성하는 과정과,
상기 자궁 병변 진단 장치가 상기 검증용 데이터 세트에 포함된 자궁 병변 이미지들 외의 자궁 병변 이미지들과 이것들에 대응되는 환자들의 임상 정보를 토대로 학습용 데이터 세트를 생성하는 과정을 포함하는 것을 특징으로 하는 자궁 병변 진단 방법.
- 제7항에 있어서,
상기 데이터 전처리 단계는,
상기 자궁 병변 진단 장치가 상기 학습용 데이터 세트에 포함된 이미지들을 대상으로 이미지 내에 설정된 병변 영역 외의 주변 영역을 제거하고, 상기 병변 영역의 중심부를 설정하는 과정과,
상기 자궁 병변 진단 장치가 중심부가 설정된 이미지를 대상으로, 상, 하, 좌 또는 우로 회전 또는 반전하여 회전 이미지들과 반전 이미지들을 획득하고, 소정의 노이즈를 적용하여 노이즈가 적용된 노이즈 이미지들을 획득하는 과정을 포함하는 것을 특징으로 하는 자궁 병변 진단 방법.
- 제7항에 있어서,
상기 데이터 학습 단계는,
상기 자궁 병변 진단 장치가 상기 데이터 전처리 단계를 통해 가공된 이미지들의 특징을 추출하여 특징 정보를 생성하는 과정,
상기 자궁 병변 진단 장치가 합성곱신경망을 이용하여 상기 데이터 전처리 단계를 통해 가공된 이미지들의 데이터를 학습하여 이미지들의 패턴 정보를 포함하는 합성곱신경망 결과 데이터를 생성하는 과정, 그리고,
상기 자궁 병변 진단 장치가 심층신경망을 이용하여 상기 합성곱신경망 결과 데이터와 상기 특징 정보 및 상기 환자들의 임상 정보를 학습하여 학습 결과 데이터를 생성하는 과정을 포함하는 것을 특징으로 하는 자궁 병변 진단 방법.
- 제7항에 있어서,
상기 데이터 전처리 단계는,
i) 상기 학습용 데이터 세트에 포함된 이미지들을 대상으로 사진 전체에서 병변 영역을 설정하고, 상기 병변 영역을 중심으로 하여 상기 병변 영역 이외의 영역을 잘라내는 과정과,
ii) 상기 i) 과정에 따라 생성된 이미지에서 상기 병변 영역의 중심부를 설정하되 상기 중심부는 상기 자궁 병변 이미지들을 획득하기 위한 원형 금속 틀 형태의 기구의 중심 또는 상기 a) 과정에 따라 생성된 이미지의 중심으로 설정되는 과정과,
iii) 상기 ii) 과정에 따라 생성된 이미지를 확대 또는 축소하는 이미지 리사이징 과정과,
iv) 상기 iii) 과정에 따라 생성된 이미지를 대상으로, 상, 하, 좌 또는 우로 회전 또는 반전하여 회전 이미지들과 반전 이미지들을 획득하는 데이터 증폭 과정, 및,
v) 상기 iii) 과정에 따라 생성된 이미지를 대상으로 흑백이미지화, 명암 변경, 및 채도 변경을 포함하는 노이즈 적용 방법 중 적어도 어느 하나 이상의 노이즈 적용 방법을 이용하여 노이즈가 적용된 이미지들을 획득하는 노이즈 적용 과정을 포함하는 것을 특징으로 하는 자궁 병변 진단 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180076467A KR102191412B1 (ko) | 2018-07-02 | 2018-07-02 | 딥러닝 알고리즘을 이용한 자궁 병변 진단 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180076467A KR102191412B1 (ko) | 2018-07-02 | 2018-07-02 | 딥러닝 알고리즘을 이용한 자궁 병변 진단 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200010661A true KR20200010661A (ko) | 2020-01-31 |
| KR102191412B1 KR102191412B1 (ko) | 2020-12-15 |
Family
ID=69369274
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180076467A KR102191412B1 (ko) | 2018-07-02 | 2018-07-02 | 딥러닝 알고리즘을 이용한 자궁 병변 진단 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102191412B1 (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114898007A (zh) * | 2022-05-26 | 2022-08-12 | 昆明理工大学 | 一种基于深度学习的传统香包纹样生成方法、系统 |
| WO2023121167A1 (ko) * | 2021-12-23 | 2023-06-29 | 주식회사 씨젠 | 검출 장치의 성능을 예측하기 위한 방법 |
| WO2023172008A1 (ko) * | 2022-03-07 | 2023-09-14 | 한양대학교 에리카산학협력단 | 인공지능을 이용한 질확대경 검사 시스템 및 방법 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180082443A1 (en) * | 2016-09-21 | 2018-03-22 | Realize, Inc. | Anomaly detection in volumetric images |
| KR101857624B1 (ko) * | 2017-08-21 | 2018-05-14 | 동국대학교 산학협력단 | 임상 정보를 반영한 의료 진단 방법 및 이를 이용하는 장치 |
-
2018
- 2018-07-02 KR KR1020180076467A patent/KR102191412B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180082443A1 (en) * | 2016-09-21 | 2018-03-22 | Realize, Inc. | Anomaly detection in volumetric images |
| KR101857624B1 (ko) * | 2017-08-21 | 2018-05-14 | 동국대학교 산학협력단 | 임상 정보를 반영한 의료 진단 방법 및 이를 이용하는 장치 |
Non-Patent Citations (3)
| Title |
|---|
| Prasad Pai. "Data Augmentation Techniques in CNN using Tensorflow". 2017.10.25. 공개 1부.* * |
| Toshiaki Hirasawa 외 10인. "Application of AI using a CNN network for detecting gastric cancer in endoscopic images". The International GCA and The Japanese GCA 2018. 2018.01.15. 공개 1부.* * |
| Vasudha 외 3명. "Cervix Cancer Classification using Colposcopy Images by Deep Learning Method". International Journal of Engineering Technology Science and Research. Volume 5, Issue 3, pp426-432, 2018.03. 공개 1부.* * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023121167A1 (ko) * | 2021-12-23 | 2023-06-29 | 주식회사 씨젠 | 검출 장치의 성능을 예측하기 위한 방법 |
| WO2023172008A1 (ko) * | 2022-03-07 | 2023-09-14 | 한양대학교 에리카산학협력단 | 인공지능을 이용한 질확대경 검사 시스템 및 방법 |
| CN114898007A (zh) * | 2022-05-26 | 2022-08-12 | 昆明理工大学 | 一种基于深度学习的传统香包纹样生成方法、系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102191412B1 (ko) | 2020-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108898595B (zh) | 一种胸部图像中病灶区域的定位模型的构建方法及应用 | |
| CN107480677B (zh) | 一种识别三维ct图像中感兴趣区域的方法及装置 | |
| CN110600122B (zh) | 一种消化道影像的处理方法、装置、以及医疗系统 | |
| Reddy et al. | A novel computer-aided diagnosis framework using deep learning for classification of fatty liver disease in ultrasound imaging | |
| US20190311478A1 (en) | System and Method for Automatic Detection, Localization, and Semantic Segmentation of Anatomical Objects | |
| WO2021021329A1 (en) | System and method for interpretation of multiple medical images using deep learning | |
| CN112116004B (zh) | 病灶分类方法及装置、病灶分类模型的训练方法 | |
| KR102191412B1 (ko) | 딥러닝 알고리즘을 이용한 자궁 병변 진단 장치 및 방법 | |
| CN111986177A (zh) | 一种基于注意力卷积神经网络的胸部肋骨骨折检测方法 | |
| CN111553892A (zh) | 基于深度学习的肺结节分割计算方法、装置及系统 | |
| Bourbakis | Detecting abnormal patterns in WCE images | |
| CN112884759B (zh) | 一种乳腺癌腋窝淋巴结转移状态的检测方法及相关装置 | |
| CN115620912A (zh) | 一种基于深度学习的软组织肿瘤良恶性预测模型构建方法 | |
| CN114998644A (zh) | 肿瘤诊断系统及其构建方法、终端设备及存储介质 | |
| JP2007029514A (ja) | 画像解析装置、画像解析方法およびそのプログラム | |
| CN117218127A (zh) | 超声内镜辅助监测系统及方法 | |
| CN112767403A (zh) | 医学影像分割模型训练方法、医学影像分割方法及装置 | |
| CN112002407A (zh) | 一种基于超声视频的乳腺癌诊断装置及其方法 | |
| Cao et al. | Deep learning based lesion detection for mammograms | |
| CN113139627B (zh) | 纵隔肿物识别方法、系统及装置 | |
| WO2022251633A8 (en) | A radiomic-based machine learning algorithm to reliably differentiate benign renal masses from renal cell carcinoma | |
| JP2024507290A (ja) | 弱教師あり深層学習人工知能を利用した乳房超音波診断の方法及びシステム｛Ｍｅｔｈｏｄ ａｎｄ ｓｙｓｔｅｍ ｆｏｒ ｂｒｅａｓｔ ｕｌｔｒａｓｏｎｉｃ ｉｍａｇｅ ｄｉａｇｎｏｓｉｓ ｕｓｉｎｇ ｗｅａｋｌｙ－ｓｕｐｅｒｖｉｓｅｄ ｄｅｅｐ ｌｅａｒｎｉｎｇ ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ｝ | |
| KR102136107B1 (ko) | 뼈 감쇄된 x-선 영상의 정합 장치 및 방법 | |
| JP2019013461A (ja) | プローブ型共焦点レーザー顕微内視鏡画像診断支援装置 | |
| Al-Fahdawi et al. | An automatic corneal subbasal nerve registration system using FFT and phase correlation techniques for an accurate DPN diagnosis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |