KR102191412B1 - 딥러닝 알고리즘을 이용한 자궁 병변 진단 장치 및 방법 - Google Patents

딥러닝 알고리즘을 이용한 자궁 병변 진단 장치 및 방법 Download PDF

Info

Publication number
KR102191412B1
KR102191412B1 KR1020180076467A KR20180076467A KR102191412B1 KR 102191412 B1 KR102191412 B1 KR 102191412B1 KR 1020180076467 A KR1020180076467 A KR 1020180076467A KR 20180076467 A KR20180076467 A KR 20180076467A KR 102191412 B1 KR102191412 B1 KR 102191412B1
Authority
KR
South Korea
Prior art keywords
data
images
uterine
lesion
learning
Prior art date
Application number
KR1020180076467A
Other languages
English (en)
Other versions
KR20200010661A (ko
Inventor
조범주
임진영
박성택
손가현
박성호
이재준
Original Assignee
한림대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한림대학교 산학협력단 filed Critical 한림대학교 산학협력단
Priority to KR1020180076467A priority Critical patent/KR102191412B1/ko
Publication of KR20200010661A publication Critical patent/KR20200010661A/ko
Application granted granted Critical
Publication of KR102191412B1 publication Critical patent/KR102191412B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/303—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the vagina, i.e. vaginoscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G06N3/0427—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/60—Rotation of a whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection

Abstract

본 발명은 딥러닝 알고리즘을 이용한 자궁 병변 진단 장치 및 방법에 관한 것이다. 본 발명의 일 실시예는, 환자들의 자궁 병변 이미지들을 획득하는 이미지 획득부, 상기 자궁 병변 이미지들과 상기 자궁 병변 이미지들에 대응되는 상기 환자들의 임상 정보를 토대로 학습용 데이터 세트를 생성하는 데이터 생성부, 상기 학습용 데이터 세트에 포함된 이미지들을 가공하여 가공된 이미지들을 획득하는 데이터 전처리부, 상기 데이터 전처리부를 통해 가공된 이미지들의 데이터가 포함된 학습용 데이터 세트를 합성곱신경망과 심층신경망을 이용하여 학습하는 데이터 학습부, 그리고, 상기 데이터 학습부의 학습 결과 데이터를 토대로 진단 대상 이미지를 판독하여 진단 결과를 도출하는 진단부를 포함하는 자궁 병변 진단 장치를 제공한다

Description

딥러닝 알고리즘을 이용한 자궁 병변 진단 장치 및 방법{APPARATUS AND METHOD FOR DIAGNOSING UTERINE LESION USING DEEP LEAKING ALGORITHM}
본 발명은 딥러닝 알고리즘을 이용한 자궁 병변 진단 장치 및 방법에 관한 것으로, 더욱 상세하게는 딥러닝 알고리즘을 이용하여 환자의 자궁 병변 이미지를 학습하고 학습된 결과 데이터를 토대로 진단 대상 이미지를 판독하여 병변을 알아내는 딥러닝 알고리즘을 이용한 자궁 병변 진단 장치 및 방법에 관한 것이다.
종래에는, 인체 내부 장기의 병변을 알아내기 위해 의사는 직접 인체 내부 촬영이 가능한 도구를 이용하여 인체 내부를 촬영하여 일차적인 진단을 하고, 이후 조직검사 등을 수행하여 확진을 내렸다. 예컨대, 여성 자궁에 발생한 신생물에 대한 진단을 하기 위해 의사는 질확대경 검사를 통해 그 신생물의 모습을 보고 형태와 크기 등을 감안하여 일차 진단을 내리고, 이후, 신생물을 조직검사하여 확진을 내렸다.
위와 같은 방법은 의사마다 경험이 달라 진단을 다르게 내려질 수 있는 문제점을 갖고 있어, 객관적인 진단 장치를 이용하여 자동적으로 병변을 진단할 수 있는 장치의 개발이 요구되어 왔다. 이러한 요구에 따라, 검사 빈도가 훨씬 높은 흉부 X 선 검사나 내시경 검사 등에서는 컴퓨터를 이용하여 검사 사진을 판독하는 시도가 많이 이루어졌던 반면, 질확대경 검사의 경우, 검사 횟수가 많지 않고, 자궁 질환의 빈도도 낮아 컴퓨터를 이용하여 질확대경 검사 사진을 판독하려는 노력이 별로 이루어지지 않았고, 실현가능성도 높지 않다고 판단하였다.
자궁의 병변과 관련된 종래에 이루어진 연구로는, 질확대경 사진을 한 번은 일반적으로 찍고, 한 번은 염색을 하고 찍어, 두 사진의 차이를 비교해 시계열 이산화(time-series discretization) 방법으로 질에 발생한 병변을 진단한 사례가 있으나(Acosta-Mesa, 2014, Journal of Biomedical Informatics 49 (2014) 73-83 ), 정확도가 높지 않았다. 이외에 어떤 기법을 이용하더라도 질확대경 사진만을 보고 컴퓨터를 이용하여 자동으로 자궁 질환을 진단하는 장치가 실제 진료에 적용 가능한 수준에 도달한 바가 없다.
본 발명은 상기한 문제점을 해결하기 위해 안출된 것으로, 본 발명이 이루고자 하는 주된 기술적 딥러닝 알고리즘을 이용하여 환자의 자궁 병변 이미지를 학습하고 학습된 결과 데이터를 토대로 진단 대상 이미지를 판독하여 병변을 알아내는 딥러닝 알고리즘을 이용한 자궁 병변 진단 장치 및 방법을 제공하는 것이다.
본 발명이 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 해결하기 위해 본 발명의 일 실시예는, 환자들의 자궁 병변 이미지들을 획득하는 이미지 획득부, 상기 자궁 병변 이미지들과 상기 자궁 병변 이미지들에 대응되는 상기 환자들의 임상 정보를 토대로 학습용 데이터 세트를 생성하는 데이터 생성부, 상기 학습용 데이터 세트에 포함된 이미지들을 가공하여 가공된 이미지들을 획득하는 데이터 전처리부, 상기 데이터 전처리부를 통해 가공된 이미지들의 데이터가 포함된 학습용 데이터 세트를 합성곱신경망과 심층신경망을 이용하여 학습하는 데이터 학습부, 그리고, 상기 데이터 학습부의 학습 결과 데이터를 토대로 진단 대상 이미지를 판독하여 진단 결과를 도출하는 진단부를 포함하는 자궁 병변 진단 장치를 제공한다.
본 실시예에 있어서, 상기 이미지 획득부는 질확대경 및 상기 질확대경에 부착된 카메라를 이용하여 상기 환자의 자궁 병변 이미지를 획득할 수 있다.
본 실시예에 있어서, 상기 데이터 생성부는 상기 자궁 병변 이미지들과 상기 자궁 병변 이미지들에 대응되는 상기 환자들의 임상 정보를 토대로 검증용 데이터 세트를 생성한 후, 상기 검증용 데이터 세트에 포함된 자궁 병변 이미지들 외의 자궁 병변 이미지들과 이것들에 대응되는 환자들의 임상 정보를 토대로 학습용 데이터 세트를 생성할 수 있다.
본 실시예에 있어서, 상기 데이터 전처리부는, 상기 학습용 데이터 세트에 포함된 이미지들을 대상으로 이미지 내에 설정된 병변 영역 외의 주변 영역을 제거하고, 상기 병변 영역의 중심부를 설정하며, 중심부가 설정된 이미지를 대상으로, 상, 하, 좌 또는 우로 회전 또는 반전하여 회전 이미지들과 반전 이미지들을 획득하고, 소정의 노이즈를 적용하여 노이즈가 적용된 노이즈 이미지들을 획득할 수 있다.
본 실시예에 있어서, 상기 데이터 학습부는, 상기 데이터 전처리부를 통해 가공된 이미지들의 특징을 추출하여 특징 정보를 생성하고, 합성곱신경망을 이용하여 상기 데이터 전처리부를 통해 가공된 이미지들의 데이터를 학습하여 이미지들의 패턴 정보를 포함하는 합성곱신경망 결과 데이터를 생성하며, 심층신경망을 이용하여 상기 합성곱신경망 결과 데이터와 상기 특징 정보 및 상기 환자들의 임상 정보를 학습하여 학습 결과 데이터를 생성할 수 있다.
또한, 상기 기술적 과제들을 해결하기 위해 본 발명의 다른 실시예는, 위 실시예에 따른 자궁 병변 진단 장치를 이용한 자궁 병변 진단 방법으로서, 상기 자궁 병변 진단 장치가 환자들의 자궁 병변 이미지들을 획득하는 이미지 획득 단계, 상기 자궁 병변 진단 장치가 상기 자궁 병변 이미지들과 상기 자궁 병변 이미지들에 대응되는 상기 환자들의 임상 정보를 토대로 학습용 데이터 세트를 생성하는 데이터 생성 단계, 상기 자궁 병변 진단 장치가 상기 학습용 데이터 세트에 포함된 이미지들을 가공하여 가공된 이미지들을 획득하는 데이터 전처리 단계, 상기 자궁 병변 진단 장치가 상기 데이터 전처리 단계를 통해 가공된 이미지들의 데이터가 포함된 학습용 데이터 세트를 합성곱신경망과 심층신경망을 이용하여 학습하는 데이터 학습 단계, 그리고, 상기 자궁 병변 진단 장치가 상기 데이터 학습 단계의 학습 결과 데이터를 토대로 진단 대상 이미지를 판독하여 진단 결과를 도출하는 진단 단계를 포함하는 자궁 병변 진단 방법을 제공한다.
본 실시예에 있어서, 상기 이미지 획득 단계는 상기 자궁 병변 진단 장치가 질확대경 및 상기 질확대경에 부착된 카메라를 이용하여 상기 환자의 자궁 병변 이미지를 획득하는 단계일 수 있다.
본 실시예에 있어서, 상기 데이터 생성 단계는, 상기 자궁 병변 진단 장치가 상기 자궁 병변 이미지들과 상기 자궁 병변 이미지들에 대응되는 상기 환자들의 임상 정보를 토대로 검증용 데이터 세트를 생성하는 과정과, 상기 자궁 병변 진단 장치가 상기 검증용 데이터 세트에 포함된 자궁 병변 이미지들 외의 자궁 병변 이미지들과 이것들에 대응되는 환자들의 임상 정보를 토대로 학습용 데이터 세트를 생성하는 과정을 포함할 수 있다.
본 실시예에 있어서, 상기 데이터 전처리 단계는, 상기 자궁 병변 진단 장치가 상기 학습용 데이터 세트에 포함된 이미지들을 대상으로 이미지 내에 설정된 병변 영역 외의 주변 영역을 제거하고, 상기 병변 영역의 중심부를 설정하는 과정과, 상기 자궁 병변 진단 장치가 중심부가 설정된 이미지를 대상으로, 상, 하, 좌 또는 우로 회전 또는 반전하여 회전 이미지들과 반전 이미지들을 획득하고, 소정의 노이즈를 적용하여 노이즈가 적용된 노이즈 이미지들을 획득하는 과정을 포함할 수 있다.
본 실시예에 있어서, 상기 데이터 학습 단계는, 상기 자궁 병변 진단 장치가 상기 데이터 전처리 단계를 통해 가공된 이미지들의 특징을 추출하여 특징 정보를 생성하는 과정, 상기 자궁 병변 진단 장치가 합성곱신경망을 이용하여 상기 데이터 전처리 단계를 통해 가공된 이미지들의 데이터를 학습하여 이미지들의 패턴 정보를 포함하는 합성곱신경망 결과 데이터를 생성하는 과정, 그리고, 상기 자궁 병변 진단 장치가 심층신경망을 이용하여 상기 합성곱신경망 결과 데이터와 상기 특징 정보 및 상기 환자들의 임상 정보를 학습하여 학습 결과 데이터를 생성하는 과정을 포함할 수 있다.
본 발명에 따르면, 획득된 자궁 병변 이미지들을 대상으로 주변부 잘라내기, 중심부 찾기, 회전, 뒤집기, 다르기, 소음섞기 등의 다양한 전처리 과정을 수행하여 학습에 필요한 이미지 데이터 세트를 증폭시킬 수 있고, 학습 결과 데이터를 토대로 진단 대상 이미지를 자동으로 판독하여 병변 부위의 질환, 신생물 존재 여부를 신속하고 정확하게 진단할 수 있다.
또한, 본 발명에 따른 자궁 병변 진단 장치 및 방법을 임상결정의 보조도구로 사용하면, 자동으로 진단 대상 이미지를 판독 할 수 있어, 의사가 판독할 때 발생할 수 있는 인적 실수와 진단 오류의 가능성을 줄일 수 있고, 객관적이고 일관적인 판독 결과를 도출할 수 있으며, 자궁 병변 진단을 위한 시간과 비용을 절감할 수 있다. 또한, 시간과 비용이 절감됨에 따라, 본 발명을 이용하여 무의촌, 미개발 국가 등 의료기반시설이 부족 지역에서도 자궁 진료가 가능하다.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1은 본 발명의 일 실시예에 따른 자궁 병변 진단 장치의 구성을 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 데이터 전처리를 더욱 상세하게 설명하기 위해 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 자궁 병변 진단 방법의 절차를 도시한 흐름도이다.
도 4내지 도 7은 도 3에 도시된 자궁 병변 진단 방법의 세부 절차들을 설명하기 위해 도시한 도면들이다.
이하에서는 첨부한 도면을 참조하여 본 발명을 상세히 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시예로 한정되는 것은 아니다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경물, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 도면에 나타난 각 구성요소의 크기, 형태, 형상은 다양하게 변형될 수 있고, 명세서 전체에 대하여 동일/유사한 부분에 대해서는 동일/유사한 도면 부호를 붙였다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략하였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결(접속, 접촉 또는 결합)"되어 있다고 할 때, 이는 "직접적으로 연결(접속, 접촉 또는 결합)"되어 있는 경우뿐만 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결(접속, 접촉 또는 결합)"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함(구비 또는 마련)"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 “포함(구비 또는 마련)”할 수 있다는 것을 의미한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함하며, 분산되어 실시되는 구성요소들은 특별한 제한이 있지 않는 한 결합된 형태로 실시될 수도 있다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 본 명세서에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1구성요소는 제2구성요소로 명명될 수 있고, 유사하게 제2구성요소도 제1구성 요소로 명명될 수 있다.
도 1은 본 발명의 일 실시예에 따른 자궁 병변 진단 장치(이하, “자궁 병변 진단 장치(100)”라 함)의 구성을 도시한 블록도이다.
도 1에 도시된 바와 같이, 자궁 병변 진단 장치(100)는 이미지 획득부(110), 데이터 생성부(120), 데이터 전처리부(130), 데이터 학습부(140) 및 진단부(150)를 포함한다.
이미지 획득부(110)는 환자들의 자궁 병변 이미지들을 획득한다. 예로서, 이미지 획득부(110)는 질확대경 및 상기 질확대경에 부착된 카메라를 이용하여 환자의 자궁 병변 이미지들을 획득할 수 있으나, 이에 제한되는 것은 아니다.
데이터 생성부(120)는 상기 자궁 병변 이미지들과 상기 자궁 병변 이미지들에 대응되는 상기 환자들의 임상 정보를 토대로 학습용 데이터 세트를 생성한다.
본 발명의 일 구현예로서, 데이터 생성부(120)는 이미지 획득부(110)에서 수집된 디지털 이미지와 그 이미지 해당 환자의 나이, 성별 등 임상정보를 옮겨와 딥러닝 알고리즘 적용을 위한 학습용 데이터 세트와 검증용 데이터 세트를 생성할 수 있다. 학습용 데이터 세트는 알고리즘 적용부에서 신경망 구조를 훈련시키는 데에 활용되며, 검증용 데이터 세트는 신경망 구조의 학습의 진행 정도를 학습 중 검증하는 용도로 활용한다. 신경망 구조의 학습 특성상 학습용 데이터 세트에 대해 과적합 상태가 될 수 있기 때문에, 검증용 데이터 세트를 활용하여 과적합 상태가 되는 것을 방지할 수 있다.
예컨대, 이미지 획득부(110)에서 수집된 데이터 세트 중에서 추후 시스템의 성능 검증용 데이터 세트를 일정부분 분리 및 저장한다. 검증용 데이터 세트는 학습용 데이터 세트와는 전혀 겹치지 않는 독립적 데이터 세트이며, 시스템의 학습에 사용되지 않았으므로, 검증 작업 시에 시스템이 처음 접하게 되는 데이터이고, 따라서 완전히 새로운 이미지를 접했을 때의 시스템의 성능 평가에 적합한 데이터 세트가 된다. 검증용 데이터 세트를 떼고 남은 데이터 세트를 학습용 데이터 세트로 사용한다.
촬영된 이미지 외의 임상정보는 데이터 학습부(140)에서 합성곱신경망 구조의 결과물과 함께 완전 연결 심층 신경망에 입력되는 데이터이며, 이미지 외의 정보를 통해 더 정확도를 향상시키는 효과를 기대할 수 있다.
이와 같이, 데이터 생성부(120)는 상기 자궁 병변 이미지들과 상기 자궁 병변 이미지들에 대응되는 상기 환자들의 임상 정보를 토대로 검증용 데이터 세트를 생성한 후, 상기 검증용 데이터 세트에 포함된 자궁 병변 이미지들 외의 자궁 병변 이미지들과 이것들에 대응되는 환자들의 임상 정보를 토대로 학습용 데이터 세트를 생성할 수 있다.
데이터 전처리부(130)는 상기 학습용 데이터 세트에 포함된 이미지들을 가공하여 가공된 이미지들을 획득한다.
본 발명은 이미지 획득부(110)를 통해 획득한 사진들을 주변부 잘라내기, 중심부 찾기, 회전/뒤집기, 다르기, 소음섞기를 적용한 전처리 과정을 거쳐, 데이터 세트를 증폭시킨 뒤, 합성곱신경망을 적용하여 자동으로 판독하여 자궁 경부 신생물을 진단하도록 구현된다.
따라서, 데이터 전처리부(130)는 상기 학습용 데이터 세트에 포함된 이미지들을 대상으로 이미지 내에 설정된 병변 영역 외의 주변 영역을 제거하고, 상기 병변 영역의 중심부를 설정할 수 있다. 이에 더하여, 데이터 전처리부(130)는 중심부가 설정된 이미지를 대상으로, 상, 하, 좌 또는 우로 회전 또는 반전하여 회전 이미지들과 반전 이미지들을 획득하고, 소정의 노이즈를 적용하여 노이즈가 적용된 노이즈 이미지들을 획득할 수 있다.
데이터 학습부(140)는 데이터 전처리부(130)를 통해 가공된 이미지들의 데이터가 포함된 학습용 데이터 세트를 합성곱신경망과 심층신경망을 이용하여 학습한다.
또한, 데이터 학습부(140)는 데이터 전처리부(130)를 통해 가공된 이미지들의 특징을 추출하여 특징 정보를 생성하고, 합성곱신경망을 이용하여 상기 데이터 전처리부를 통해 가공된 이미지들의 데이터를 학습하여 이미지들의 패턴 정보를 포함하는 합성곱신경망 결과 데이터를 생성할 수 있으며, 심층신경망을 이용하여 상기 합성곱신경망 결과 데이터와 상기 특징 정보 및 상기 환자들의 임상 정보를 학습하여 학습 결과 데이터를 생성할 수 있다.
진단부(150)는 데이터 학습부(140)의 학습 결과 데이터를 토대로 진단 대상 이미지를 판독하여 진단 결과를 도출한다. 예로서, 진단부(150)는 새로운 환자를 대상으로 촬영한 자궁 경부의 사진을 입력 받고, 입력 받은 진단 대상 이미지와 상기 학습 결과 데이터를 매칭하여 진단 대상 이미지에 포함된 신생물, 병변 등을 파악할 수 있다.
진단부(150)는 새로 입력되는 이미지를 대상으로 앞서 설명한 주변부 잘라내기 등 데이터 전처리부(130)에서 수행되는 전처리 과정의 일부를 수행할 수 있다. 이후 전처리된 이미지가 진단부(150)에 입력되며, 진단부(150)는 학습 결과 데이터를 토대로 새로 입력된 이미지의 진단 결과를 도출한다.
도 2는 본 발명의 일 실시예에 따른 데이터 전처리를 더욱 상세하게 설명하기 위해 도시한 도면으로서, 아래에서는 이를 참조하여 데이터 전처리부(130) 및 데이터 학습부(140)를 더욱 상세하게 설명하도록 한다.
도 1을 참조하여 설명한 바와 같이, 데이터 전처리부(130)는 주변부 잘라내기, 중심부찾기, 이미지 쉬프팅(shifting), 이미지 리사이징(resizing), 이미지 회전, 이미지 뒤집기, 노이즈 추가 등의 기법들을 이용하여 학습에 필요한 환자의 자궁 병변 이미지들을 증가시켜 학습용 데이터 세트를 증폭시키는 기능을 수행한다.
본 발명의 일 구현예에 따른 전처리 과정의 첫 단계는 전체 사진에서 병변을 중심으로 하여 가장자리의 불필요한 부분을 잘라내는 과정(s210)이다. 자궁 경부를 진단하는 경우를 예로 들면, 질확대경 사진 촬영은 보통 병변을 중심 근처에 놓고 촬영하지만, 가장자리에는 자궁경부가 아닌 질 내벽, 질경의 금속본체 일부 등이 함께 찍히는 경우가 자주 있는데, 이러한 가장자리의 병변과 무관한 모습들은 합성곱신경망에 의한 학습을 방해하게 된다. 이미지를 보고 병변을 분류하는 것이 목적인 시스템에서 이미지의 불필요한 부분을 딥러닝 알고리즘의 입력 값으로 활용하지 않는 것이 보다 더 효율적이고 정확한 결과를 보장하므로 본 발명은 병변과 관련성이 낮은, 이미지의 주변부를 잘라내도록 구현될 수 있다.
다음 과정은 중심부 찾기 과정(s220)이다. 본 발명은 질확대경 사진의 경우, 전처리 과정을 거치면서 모델 훈련에 기여할 수 있는 이미지의 일부가 변질되거나 누락되는 경우가 생길 수 있기 때문에 중심부를 찾는 알고리즘을 적용될 수 있다.
위와 같은 예에서, 질확대경 사진에서는 흔히 질 확장 도구가 함께 이미지에 포함되게 되는데, 이 질내 삽입 보조 장치는 원형의 금속 틀이다. 따라서, 이미지에 포함된 원형 금속 틀의 중심을 이용하여 병변의 중심부를 찾을 수 있다. 이 때, 이미지에서 윤곽선을 추출하여 윤곽선을 기반으로 이미지의 유효 부위를 판별한 뒤, 해당 유효부위의 중심부(Centroid)를 찾는 방법을 사용할 수 있다. 또한, 알고리즘이 중심부를 잡아내지 못할 경우에는 전체 이미지의 정중앙을 중심부로 설정할 수도 있다.
중심부 찾기 작업(s220) 후에는 이미지 쉬프팅및 리사이징 과정을 거친다. 이미지 쉬프팅은 자궁 병변 이미지들을 상, 하, 좌, 우 방향으로 회전, 반전 또는 평행 이동한다. 이미지 리사이징은 자궁 병변 이미지들을 확대 또는 축소할 수 있다.
다음 데이터의 수를 늘리기 위한 증폭 과정이 수행된다. 합성곱신경망을 포함하는 딥러닝 알고리즘을 이용하는 경우, 데이터의 양이 많을수록 좋은 성능을 달성하는 데 유리하지만, 위 예와 같이 질확대경 사진 이미지는 그 검사 건수가 다른 검사에 비해 상당히 적은 편으로, 이미지 획득부(110)에서 검출된 이미지 데이터 수집량은 합성곱신경망을 활용하기엔 부족할 수 있다. 따라서, 데이터 증폭(augmentation)과정을 통해 학습용 데이터 세트를 늘릴 필요가 있다. 데이터 증폭은 이미지의 회전, 뒤집기, 자르기, 소음 섞기 등의 방법을 이용한다.
예컨대, 중심부를 기준으로 이미지를 상하좌우로 뒤집거나 회전을 시킨 이미지를 생성하여 데이터 세트를 증폭(s230)시킨다. 이는 자궁 경부와 같이 원 모양이어서 병변의 모양이 실제로 방향만 달라질 수 있는 경우 효과적인 작업이 된다. 또한, 데이터 생성부(120)는 환자의 자궁 병변 이미지들을 45도씩 좌우로 회전시키거나 상하 방향 뒤집기 그리고 좌우 방향 뒤집기를 통해 회전 및 반전 이미지들(22)을 획득할 수 있다. .
또한 이 과정에서, 자궁 병변 이미지들에 일정 수준의 노이즈를 적용하는데(s240), 이렇게 노이즈를 적용하는 것은, 같은 병변이라도 촬영시의 여러 상황에 의해 사진에 소음이 섞여 다르게 촬영될 수 있으므로 유효한 작업이다. 이미지의 소음을 섞어주는 효과가 알고리즘 적용 시 다른 이미지를 적용하는 것과 같은 효과를 가지므로, 데이터를 증폭하는 효과가 발생한다. 데이터 생성부(120)는 자궁 병변 이미지들을 흑백이미지화 한다던지, 명암, 채도 등을 달리 설정하는 방법 등을 통해 노이즈 이미지들(23)을 획득할 수 있다.
이상의 과정들은 상술한 데이터 전처리부(130)에 의해 수행될 수 있다. 즉, 데이터 전처리부(130)는, a) 상기 학습용 데이터 세트에 포함된 이미지들을 대상으로 사진 전체에서 병변 영역을 설정하고 상기 병변 영역을 중심으로 하여 상기 병변 영역 이외의 영역을 잘라내는 과정과, b) 상기 a) 과정에 따라 생성된 이미지에서 상기 병변 영역의 중심부를 설정하되 상기 중심부는 상기 자궁 병변 이미지들을 획득하기 위한 원형 금속 틀 형태의 기구의 중심 또는 상기 a) 과정에 따라 생성된 이미지의 중심으로 설정되는 과정과, c) 상기 b) 과정에 따라 생성된 이미지를 확대 또는 축소하는 이미지 리사이징 과정과, d) 상기 c) 과정에 따라 생성된 이미지를 대상으로, 상, 하, 좌 또는 우로 회전 또는 반전하여 회전 이미지들과 반전 이미지들을 획득하는 데이터 증폭 과정, 및, e) 상기 c) 과정에 따라 생성된 이미지를 대상으로 흑백이미지화, 명암 변경, 및 채도 변경을 포함하는 노이즈 적용 방법 중 적어도 어느 하나 이상의 노이즈 적용 방법을 이용하여 노이즈가 적용된 이미지들을 획득하는 노이즈 적용 과정을 수행할 수 있다.
데이터 전처리부(130)에 의해 위 과정들을 거쳐 전처리된 이미지들은 데이터 학습부(140)로 전송되어 합성곱신경망으로 입력된다. 이 때, 합성곱신경망과는 별도로, 데이터 학습부(140)에 의해 이미지 프로세싱을 기반으로 한 특징 추출 작업이 수행될 수 있다. 이 특징 추출에는 이미지 프로세싱을 기반으로 주파수 분석을 통한 텍스쳐 분석 등이 이용된다. 필터 뱅크를 이용하면 주파수 별 특징맵에 해당하는 결과를 추출할 수 있게 되는데, 이는 각각 다른 텍스쳐의 결과로 볼 수 있다. 해당 텍스쳐 결과 별로 평균 및 표준편차 값을 신경망 구조에 사용될 특징으로 추가할 수 있다. 필터 뱅크를 이용하지 않은 주파수 분석을 하는 경우, 이산 푸리예 변환(discrete fourier transform)을 통해 얻은 고주파수 및 저주파수 대역 별 평균 및 표준편차 값을 신경망 구조에 추가 특징으로 사용하는 것도 가능하다. 또한, 전처리 전 과정의 로우(raw) 학습 데이터의 부분 이미지를 샘플링(랜덤 또는 단순 격자 패턴)하여 얻을 수 있는 이미지 내 상관(correlation)값, 차이(dissimilarity)값 및 해당 값들의 평균 및 표준편차 값 역시 특징으로 이용될 수 있다. 이러한 과정을 통해 추출된 특징들은 합성곱신경망으로는 들어가지 않고, (완전연결)심층 신경망에 바로 투입되어 학습에 사용될 수 있다.
자궁 경부를 진단하는 경우의 예에서, 데이터 학습부(140)의 합성곱신경망의 효과는 질확대경 사진을 분석하는 여러 개의 특징 패턴(패턴 정보)들을 추출하는 것이다. 해당 특징 패턴들을 완전연결 심층 신경망에서 최종 분류를 하는 데 사용되게 된다. 본 발명에 적용되는 합성곱신경망은 다수 층의 구조로 이루어진다. 각각의 층과 층을 이루는 구성요소들은 합성곱 층, 활성화 함수, 맥스풀링층, 활성화 함수, 드랍아웃층 등의 조합으로 이루어질 수 있다.
합성곱 층은 커널이라 불리는 필터 역할을 하여 전체 이미지(또는 생성된 새로운 특징 패턴)를 부분적으로 처리한 것들이 이미지와 같은 크기의 새로운 특징 패턴을 얻어낸다. 해당 특징 패턴에서 활성화 함수를 통해 특징 패턴의 값들을 처리하기 편하게 보정하고, 맥스풀링을 통해 일부 샘플링 하고 크기를 리사이즈하여 줄이는 효과를 가져온다. 일련의 작업을 하게 되면, 특징 패턴의 크기는 줄어들게 되지만, 많은 수의 커널의 활용을 통해 많은 수의 특징 패턴 추출이 가능하다. 드랍아웃의 경우는 합성곱신경망의 가중치들을 훈련시킬 때 효율적인 훈련을 위해 일부 가중치들을 의도적으로 고려하지 않는 방법이며, 훈련된 모델을 통해 실제 테스트를 하는 경우에는 적용하지 않는다. 이렇게 합성곱신경망에서 추출된 특징 패턴들은 다음 단계인 완전연결 심층 신경망으로 전달되어 분류 작업을 하는 데에 활용된다. 모델 훈련을 위한 훈련용 데이터의 양에 맞추어 합성곱신경망 층의 개수를 조절하는 것이 모델 안정성 측면에서 좋다.
본 발명에 적용되는 심층 신경망은 합성곱신경망에서 추출된 특징 패턴정보를 활용하여 최종 분류작업을 하게 된다. 하지만, 합성곱신경망에서 얻어진 특징 뿐만 아니라, 합성곱신경망 단계로 넘어가기 전에 이미지 프로세싱 등을 통해 추출된 이미지 특징 들과 환자의 나이나 성별 등 임상정보들도 함께 입력로 활용된다. 예컨대, 암이 고령에 많다는 점이 학습용 데이터 세트의 임상정보를 통해 학습되게 되면, 이미지의 특징과 함께 42세, 혹은 79세 등의 나이가 입력되었을 때, 암 또는 양성 구분이 어려운 애매모호한 병변의 구분에서 고령의 환자는 암일 확률이 높아지는 쪽으로 진단되도록 진단부(150)가 구현될 수 있다.
데이터 학습부(140)의 학습과정은 트레이닝 데이터를 딥러닝 알고리즘 구조에 적용시켜 얻어지는 결과와 실제 결과와의 오차를 비교하여 해당 오차에 해당하는 만큼 신경망 구조의 가중치를 점차적으로 변화시켜주는 역전파(backpropagation) 알고리즘을 통해 결과가 피드백되는 구조를 가질 수 있다. 데이터 학습부(140)는 학습용 데이터 세트와 검증용 데이터 세트를 이용하여 신경망을 학습시켜 가중치 매개 변수를 구하여 최종 진단 모델을 도출할 수 있다.
도 3은 본 발명의 일 실시예에 따른 자궁 병변 진단 방법의 절차를 도시한 흐름도이고, 도 4내지 도 7은 도 3에 도시된 자궁 병변 진단 방법의 세부 절차들을 설명하기 위해 도시한 도면들이다.
본 실시예에 따른 자궁 병변 진단 방법은 앞서 도 1 및 도 2를 참조하여 설명한 자궁 병변 진단 장치(100)를 이용한 자궁 병변 진단 방법이다. 따라서, 이하에서는 상술한 설명과 중복되는 내용은 생략하도록 한다.
도 3을 참조하면, 본 실시예에 따른 자궁 병변 진단 방법은 상기 자궁 병변 진단 장치가 환자들의 자궁 병변 이미지들을 획득하는 이미지 획득 단계(s310), 상기 자궁 병변 진단 장치가 상기 자궁 병변 이미지들과 상기 자궁 병변 이미지들에 대응되는 상기 환자들의 임상 정보를 토대로 학습용 데이터 세트를 생성하는 데이터 생성 단계(s320), 상기 자궁 병변 진단 장치가 상기 학습용 데이터 세트에 포함된 이미지들을 가공하여 가공된 이미지들을 획득하는 데이터 전처리 단계(s330), 상기 자궁 병변 진단 장치가 상기 데이터 전처리 단계를 통해 가공된 이미지들의 데이터가 포함된 학습용 데이터 세트를 합성곱신경망과 심층신경망을 이용하여 학습하는 데이터 학습 단계(s340) 및 상기 자궁 병변 진단 장치가 상기 데이터 학습 단계의 학습 결과 데이터를 토대로 진단 대상 이미지를 판독하여 진단 결과를 도출하는 진단 단계(s350)를 포함한다.
여기서, 이미지 획득 단계(s310)는 상기 자궁 병변 진단 장치가 질확대경 및 상기 질확대경에 부착된 카메라를 이용하여 상기 환자의 자궁 병변 이미지를 획득하는 단계일 수 있다.
도 4를 참조하면, 데이터 생성 단계(s320)는 상기 자궁 병변 진단 장치가 상기 자궁 병변 이미지들과 상기 자궁 병변 이미지들에 대응되는 상기 환자들의 임상 정보를 토대로 검증용 데이터 세트를 생성하는 과정(s321)과, 상기 자궁 병변 진단 장치가 상기 검증용 데이터 세트에 포함된 자궁 병변 이미지들 외의 자궁 병변 이미지들과 이것들에 대응되는 환자들의 임상 정보를 토대로 학습용 데이터 세트를 생성하는 과정(s323)을 포함할 수 있다.
도 5를 참조하면, 데이터 전처리 단계(s330)는, 상기 자궁 병변 진단 장치가 상기 학습용 데이터 세트에 포함된 이미지들을 대상으로 이미지 내에 설정된 병변 영역 외의 주변 영역을 제거하고, 상기 병변 영역의 중심부를 설정하는 과정(s331)과, 상기 자궁 병변 진단 장치가 중심부가 설정된 이미지를 대상으로, 상, 하, 좌 또는 우로 회전 또는 반전하여 회전 이미지들과 반전 이미지들을 획득하고, 소정의 노이즈를 적용하여 노이즈가 적용된 노이즈 이미지들을 획득하는 과정(s333)을 포함할 수 있다.
도 6을 참조하면, 데이터 학습 단계(s340)는, 상기 자궁 병변 진단 장치가 데이터 전처리 단계(s330)를 통해 가공된 이미지들의 특징을 추출하여 특징 정보를 생성하는 과정(s341)과, 상기 자궁 병변 진단 장치가 합성곱신경망을 이용하여 데이터 전처리 단계(s330)를 통해 가공된 이미지들의 데이터를 학습하여 이미지들의 패턴 정보를 포함하는 합성곱신경망 결과 데이터를 생성하는 과정(s343), 그리고, 상기 자궁 병변 진단 장치가 심층신경망을 이용하여 상기 합성곱신경망 결과 데이터와 상기 특징 정보 및 상기 환자들의 임상 정보를 학습하여 학습 결과 데이터를 생성하는 과정(s345)을 포함할 수 있다.
도 7을 참조하면, 데이터 전처리 단계(s330)는, i) 상기 학습용 데이터 세트에 포함된 이미지들을 대상으로 사진 전체에서 병변 영역을 설정하고, 상기 병변 영역을 중심으로 하여 상기 병변 영역 이외의 영역을 잘라내는 과정(s701)과, ii) 상기 i) 과정(s701)에 따라 생성된 이미지에서 상기 병변 영역의 중심부를 설정하되 상기 중심부는 상기 자궁 병변 이미지들을 획득하기 위한 원형 금속 틀 형태의 기구의 중심 또는 상기 a) 과정에 따라 생성된 이미지의 중심으로 설정되는 과정(s702)과, iii) 상기 ii) 과정(s702)에 따라 생성된 이미지를 확대 또는 축소하는 이미지 리사이징 과정(s703)과, iv) 상기 iii) 과정(s703)에 따라 생성된 이미지를 대상으로, 상, 하, 좌 또는 우로 회전 또는 반전하여 회전 이미지들과 반전 이미지들을 획득하는 데이터 증폭 과정(s704), 및, v) 상기 iii) 과정(s703)에 따라 생성된 이미지를 대상으로 흑백이미지화, 명암 변경, 및 채도 변경을 포함하는 노이즈 적용 방법 중 적어도 어느 하나 이상의 노이즈 적용 방법을 이용하여 노이즈가 적용된 이미지들을 획득하는 노이즈 적용 과정(s705)을 포함할 수 있다.
이상, 지금까지 설명한 본 발명의 다양한 실시예에 따르면, 획득된 자궁 병변 이미지들을 대상으로 주변부 잘라내기, 중심부 찾기, 회전, 뒤집기, 다르기, 소음섞기 등의 다양한 전처리 과정을 수행하여 학습에 필요한 이미지 데이터 세트를 증폭시킬 수 있고, 학습 결과 데이터를 토대로 진단 대상 이미지를 자동으로 판독하여 병변(예컨대, 자궁 병변) 부위의 질환, 신생물 존재 여부를 신속하고 정확하게 진단할 수 있다.
또한, 상술한 자궁 병변 진단 장치 및 방법을 임상결정의 보조도구로 사용하면, 자동으로 진단 대상 이미지를 판독 할 수 있어, 의사가 판독할 때 발생할 수 있는 인적 실수와 진단 오류의 가능성을 줄일 수 있고, 객관적이고 일관적인 판독 결과를 도출할 수 있으며, 자궁 병변 진단을 위한 시간과 비용을 절감할 수 있다. 또한, 시간과 비용이 절감됨에 따라, 본 발명을 이용하여 무의촌, 미개발 국가 등 의료기반시설이 부족 지역에서도 자궁 진료가 가능하다.
상술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (12)

  1. 질확대경 및 상기 질확대경에 부착된 카메라를 이용하여 환자들의 자궁 병변 이미지들을 획득하는 이미지 획득부;
    상기 자궁 병변 이미지들과 상기 자궁 병변 이미지들에 대응되는 상기 환자들의 임상 정보를 토대로 학습용 데이터 세트를 생성하는 데이터 생성부;
    상기 학습용 데이터 세트에 포함된 이미지들을 대상으로, 사진 전체에서 상기 자궁 병변 이미지들을 획득하기 위한 원형 금속 틀 형태의 기구의 중심을 병변 영역의 중심부로 설정하고, 병변 영역을 설정하고, 상기 병변 영역을 중심으로 하여 상기 병변 영역 이외의 영역을 잘라내어 가공된 이미지들을 획득하는 데이터 전처리부;
    상기 데이터 전처리부를 통해 가공된 이미지들의 데이터가 포함된 학습용 데이터 세트를 합성곱신경망과 심층신경망을 이용하여 학습하는 데이터 학습부; 및
    상기 데이터 학습부의 학습 결과 데이터를 토대로 진단 대상 이미지를 판독하여 진단 결과를 도출하는 진단부를 포함하는 것을 특징으로 하는 자궁 병변 진단 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 데이터 생성부는 상기 자궁 병변 이미지들과 상기 자궁 병변 이미지들에 대응되는 상기 환자들의 임상 정보를 토대로 검증용 데이터 세트를 생성한 후, 상기 검증용 데이터 세트에 포함된 자궁 병변 이미지들 외의 자궁 병변 이미지들과 이것들에 대응되는 환자들의 임상 정보를 토대로 학습용 데이터 세트를 생성하는 것을 특징으로 하는 자궁 병변 진단 장치.
  4. 제1항에 있어서,
    상기 데이터 전처리부는,
    중심부가 설정된 이미지를 대상으로, 상, 하, 좌 또는 우로 회전 또는 반전하여 회전 이미지들과 반전 이미지들을 획득하고, 소정의 노이즈를 적용하여 노이즈가 적용된 노이즈 이미지들을 획득하는 것을 특징으로 하는 자궁 병변 진단 장치.
  5. 제1항에 있어서,
    상기 데이터 학습부는,
    상기 데이터 전처리부를 통해 가공된 이미지들의 특징을 추출하여 특징 정보를 생성하고, 합성곱신경망을 이용하여 상기 데이터 전처리부를 통해 가공된 이미지들의 데이터를 학습하여 이미지들의 패턴 정보를 포함하는 합성곱신경망 결과 데이터를 생성하며, 심층신경망을 이용하여 상기 합성곱신경망 결과 데이터와 상기 특징 정보 및 상기 환자들의 임상 정보를 학습하여 학습 결과 데이터를 생성하는 것을 특징으로 하는 자궁 병변 진단 장치.
  6. 삭제
  7. 제1항, 제3항 내지 제5항 중 어느 한 항에 따른 자궁 병변 진단 장치를 이용한 자궁 병변 판단 방법에 있어서,
    질확대경 및 상기 질확대경에 부착된 카메라를 이용하여 상기 자궁 병변 진단 장치가 환자들의 자궁 병변 이미지들을 획득하는 이미지 획득 단계;
    상기 자궁 병변 진단 장치가 상기 자궁 병변 이미지들과 상기 자궁 병변 이미지들에 대응되는 상기 환자들의 임상 정보를 토대로 학습용 데이터 세트를 생성하는 데이터 생성 단계;
    상기 학습용 데이터 세트에 포함된 이미지들을 대상으로, 사진 전체에서 상기 자궁 병변 이미지들을 획득하기 위한 원형 금속 틀 형태의 기구의 중심을 병변 영역의 중심부로 설정하고, 병변 영역을 설정하고, 상기 병변 영역을 중심으로 하여 상기 병변 영역 이외의 영역을 잘라내어 가공된 이미지들을 획득하는 데이터 전처리 단계;
    상기 자궁 병변 진단 장치가 상기 데이터 전처리 단계를 통해 가공된 이미지들의 데이터가 포함된 학습용 데이터 세트를 합성곱신경망과 심층신경망을 이용하여 학습하는 데이터 학습 단계; 및
    상기 자궁 병변 진단 장치가 상기 데이터 학습 단계의 학습 결과 데이터를 토대로 진단 대상 이미지를 판독하여 판단 결과를 도출하는 판단 단계를 포함하는 것을 특징으로 하는 자궁 병변 판단 방법.
  8. 삭제
  9. 제7항에 있어서,
    상기 데이터 생성 단계는,
    상기 자궁 병변 진단 장치가 상기 자궁 병변 이미지들과 상기 자궁 병변 이미지들에 대응되는 상기 환자들의 임상 정보를 토대로 검증용 데이터 세트를 생성하는 과정과,
    상기 자궁 병변 진단 장치가 상기 검증용 데이터 세트에 포함된 자궁 병변 이미지들 외의 자궁 병변 이미지들과 이것들에 대응되는 환자들의 임상 정보를 토대로 학습용 데이터 세트를 생성하는 과정을 포함하는 것을 특징으로 하는 자궁 병변 판단 방법.
  10. 제7항에 있어서,
    상기 데이터 전처리 단계는,
    상기 자궁 병변 진단 장치가 중심부가 설정된 이미지를 대상으로, 상, 하, 좌 또는 우로 회전 또는 반전하여 회전 이미지들과 반전 이미지들을 획득하고, 소정의 노이즈를 적용하여 노이즈가 적용된 노이즈 이미지들을 획득하는 과정을 포함하는 것을 특징으로 하는 자궁 병변 판단 방법.
  11. 제7항에 있어서,
    상기 데이터 학습 단계는,
    상기 자궁 병변 진단 장치가 상기 데이터 전처리 단계를 통해 가공된 이미지들의 특징을 추출하여 특징 정보를 생성하는 과정,
    상기 자궁 병변 진단 장치가 합성곱신경망을 이용하여 상기 데이터 전처리 단계를 통해 가공된 이미지들의 데이터를 학습하여 이미지들의 패턴 정보를 포함하는 합성곱신경망 결과 데이터를 생성하는 과정, 그리고,
    상기 자궁 병변 진단 장치가 심층신경망을 이용하여 상기 합성곱신경망 결과 데이터와 상기 특징 정보 및 상기 환자들의 임상 정보를 학습하여 학습 결과 데이터를 생성하는 과정을 포함하는 것을 특징으로 하는 자궁 병변 판단 방법.
  12. 삭제
KR1020180076467A 2018-07-02 2018-07-02 딥러닝 알고리즘을 이용한 자궁 병변 진단 장치 및 방법 KR102191412B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180076467A KR102191412B1 (ko) 2018-07-02 2018-07-02 딥러닝 알고리즘을 이용한 자궁 병변 진단 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180076467A KR102191412B1 (ko) 2018-07-02 2018-07-02 딥러닝 알고리즘을 이용한 자궁 병변 진단 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20200010661A KR20200010661A (ko) 2020-01-31
KR102191412B1 true KR102191412B1 (ko) 2020-12-15

Family

ID=69369274

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180076467A KR102191412B1 (ko) 2018-07-02 2018-07-02 딥러닝 알고리즘을 이용한 자궁 병변 진단 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102191412B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023121167A1 (ko) * 2021-12-23 2023-06-29 주식회사 씨젠 검출 장치의 성능을 예측하기 위한 방법
KR20230131687A (ko) * 2022-03-07 2023-09-14 한양대학교 에리카산학협력단 인공지능을 이용한 질확대경 검사 시스템 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180082443A1 (en) 2016-09-21 2018-03-22 Realize, Inc. Anomaly detection in volumetric images
KR101857624B1 (ko) * 2017-08-21 2018-05-14 동국대학교 산학협력단 임상 정보를 반영한 의료 진단 방법 및 이를 이용하는 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180082443A1 (en) 2016-09-21 2018-03-22 Realize, Inc. Anomaly detection in volumetric images
KR101857624B1 (ko) * 2017-08-21 2018-05-14 동국대학교 산학협력단 임상 정보를 반영한 의료 진단 방법 및 이를 이용하는 장치

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Prasad Pai. "Data Augmentation Techniques in CNN using Tensorflow". 2017.10.25. 공개 1부.*
Toshiaki Hirasawa 외 10인. "Application of AI using a CNN network for detecting gastric cancer in endoscopic images". The International GCA and The Japanese GCA 2018. 2018.01.15. 공개 1부.*
Vasudha 외 3명. "Cervix Cancer Classification using Colposcopy Images by Deep Learning Method". International Journal of Engineering Technology Science and Research. Volume 5, Issue 3, pp426-432, 2018.03. 공개 1부.*

Also Published As

Publication number Publication date
KR20200010661A (ko) 2020-01-31

Similar Documents

Publication Publication Date Title
AU2017292642B2 (en) System and method for automatic detection, localization, and semantic segmentation of anatomical objects
CN108898595B (zh) 一种胸部图像中病灶区域的定位模型的构建方法及应用
CN110600122B (zh) 一种消化道影像的处理方法、装置、以及医疗系统
US10249042B2 (en) Method and apparatus for providing medical information service on basis of disease model
Reddy et al. A novel computer-aided diagnosis framework using deep learning for classification of fatty liver disease in ultrasound imaging
JP7167515B2 (ja) 特定装置、プログラム、特定方法、情報処理装置及び特定器
KR102338018B1 (ko) 초음파 이미지상의 특징점들을 이용한 초음파 지방간 자동 진단 장치 및 이를 이용한 원격 의료 진단 방법
CN112116004B (zh) 病灶分类方法及装置、病灶分类模型的训练方法
EP3148399B1 (en) Reconstruction of images from an in vivo multi-camera capsule with confidence matching
WO2021021329A1 (en) System and method for interpretation of multiple medical images using deep learning
CN113424222A (zh) 用于使用条件生成对抗网络提供中风病灶分割的系统和方法
JP6734475B2 (ja) 画像処理装置及びプログラム
KR102191412B1 (ko) 딥러닝 알고리즘을 이용한 자궁 병변 진단 장치 및 방법
KR20190087681A (ko) 자궁경부암에 대한 피검체의 발병 여부를 판정하는 방법
CN114332132A (zh) 图像分割方法、装置和计算机设备
CN111524109A (zh) 头部医学影像的评分方法和装置、电子设备及存储介质
JP2007029514A (ja) 画像解析装置、画像解析方法およびそのプログラム
CN112767403A (zh) 医学影像分割模型训练方法、医学影像分割方法及装置
CN117218127A (zh) 超声内镜辅助监测系统及方法
KR102136107B1 (ko) 뼈 감쇄된 x-선 영상의 정합 장치 및 방법
Al-Fahdawi et al. An automatic corneal subbasal nerve registration system using FFT and phase correlation techniques for an accurate DPN diagnosis
KR20140148134A (ko) 3차원 초음파 촬영장치 및 그 운영방법
CN113838557A (zh) 一种医学影像三维重建模拟方法及系统
Paul et al. Computer-Aided Diagnosis Using Hybrid Technique for Fastened and Accurate Analysis of Tuberculosis Detection with Adaboost and Learning Vector Quantization
KR102389628B1 (ko) 의료영상의 병변 특징에 따른 영상처리 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant