KR102100699B1 - 병변 통합 학습 모델을 구축하는 장치와 방법, 및 상기 병변 통합 학습 모델을 사용하여 병변을 진단하는 장치와 방법 - Google Patents

병변 통합 학습 모델을 구축하는 장치와 방법, 및 상기 병변 통합 학습 모델을 사용하여 병변을 진단하는 장치와 방법 Download PDF

Info

Publication number
KR102100699B1
KR102100699B1 KR1020190079000A KR20190079000A KR102100699B1 KR 102100699 B1 KR102100699 B1 KR 102100699B1 KR 1020190079000 A KR1020190079000 A KR 1020190079000A KR 20190079000 A KR20190079000 A KR 20190079000A KR 102100699 B1 KR102100699 B1 KR 102100699B1
Authority
KR
South Korea
Prior art keywords
lesion
image
learning model
disease
severity
Prior art date
Application number
KR1020190079000A
Other languages
English (en)
Inventor
김원태
강신욱
이명재
김동민
남동연
Original Assignee
(주)제이엘케이인스펙션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)제이엘케이인스펙션 filed Critical (주)제이엘케이인스펙션
Priority to KR1020190079000A priority Critical patent/KR102100699B1/ko
Application granted granted Critical
Publication of KR102100699B1 publication Critical patent/KR102100699B1/ko
Priority to PCT/KR2020/008583 priority patent/WO2021002669A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

본 발명에 따르면, 병변 통합 학습 장치가 제공될 수 있다. 상기 병변 통합 학습 장치는 의료영상을 입력받고 영상기반 병변예측결과를 출력하는 적어도 하나의 영상기반 학습모델을 학습하는 영상기반 학습부와, 임상 데이터를 입력받고 임상 데이터 기반 병변예측결과를 출력하는 임상 데이터 기반의 학습모델을 학습하는 적어도 하나의 임상 데이터 기반 학습부와, 상기 영상기반 병변예측결과 및 상기 임상 데이터 기반 병변예측결과를 입력받고, 최종 병변예측결과를 출력하는 통합 학습모델을 앙상블 학습(Ensemble learning)하는 통합 학습부를 포함할 수 있다.

Description

병변 통합 학습 모델을 구축하는 장치와 방법, 및 상기 병변 통합 학습 모델을 사용하여 병변을 진단하는 장치와 방법{APPARATUS AND METHOD FOR CONSTRUCTING UNIFIED LESION LEARNING MODEL AND APPARATUS AND METHOD FOR DIAGNOSING LESION USING THE UNIFIED LESION LEARNING MODEL}
본 개시는 딥러닝 모델 학습 기술에 관한 것이며, 보다 구체적으로는 의료영상을 기반으로 병변에 대한 학습을 수행하는 방법과 장치, 및 의료영상을 기반으로 구축된 학습모델을 사용하여 병변을 진단하는 방법과 장치에 대한 것이다.
딥러닝(deep learning)은 매우 방대한 양의 데이터를 학습하여, 새로운 데이터가 입력될 경우 학습 결과를 바탕으로 확률적으로 가장 높은 답을 선택하는 것이다. 이러한, 딥러닝은 영상에 따라 적응적으로 동작할 수 있으며, 데이터에 기초하여 모델을 학습하는 과정에서 특성인자를 자동으로 찾아내기 때문에 최근 인공 지능 분야에서 이를 활용하려는 시도가 늘어나고 있는 추세이다.
병변(lesion, 病變)은 신체에서 발생되는 증상, 징후, 또는 생체의 변화를 통해 표출되므로, 일반적으로 의사는 환자의 신체에 발현되는 증상이나 징후, 또는 생체적 변화를 확인하여 병변을 결정한다.
특정 병변은 신체의 특정 영역에서의 징후가 나타날 수 있지만, 일부 특정 병변은 신체의 여러 영역에서 복합적으로 나타나고, 생체의 변화도 복합적으로 나타날 수 있다. 따라서, 단순히 환자의 특정 영역에서 나타나는 증상이나 징후만을 고려하여 질병이나 병변을 검출하기 어렵다. 예컨대, 류마티스 질환의 일종인 전신흥반루프스와 같은 질병은 신체 전체에서 동시 다발적인 증상을 나타낼 수 있다.
본 개시의 기술적 과제는 다양한 질환에 대한 의료영상을 종합적으로 고려하여 병변 중증도를 학습하는 병변 통합 학습 방법 및 장치를 제공하는 것이다.
본 개시의 다른 기술적 과제는 다양한 질환에 대한 의료영상을 종합적으로 반영하되, GAN(General Adversial Networks)을 이용한 지속 학습(Continual Learning)을 기반으로 통합된 학습 모델을 구축하는 병변 통합 학습 방법 및 장치를 제공하는 것이다.
본 개시의 또 다른 기술적 과제는 다양한 질환에 의해 신체에서 다양하게 발현되는 증상이나, 징후를 종합적으로 반영하여 학습함으로써, 질병의 진행 상황, 질병 사이의 관련성, 전이 상태 등을 복합적으로 학습하는 방법 및 장치를 제공하는 것이다.
본 개시의 또 다른 기술적 과제는 다양한 질환에 의해 신체에서 다양하게 발현되는 증상이나, 징후를 종합적으로 반영하여, 질병의 진행 상황, 질병 사이의 관련성, 전이 상태 등을 복합적으로 예측할 수 있는 진단 방법 및 장치를 제공하는 것이다.
본 개시에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 개시의 일 양상에 따르면, 병변 통합 학습 장치가 제공될 수 있다. 상기 장치는, 서로 다른 질환의 진단을 위해 촬영된 복수의 진단영상을 입력받고, 상기 복수의 진단영상을 정규화(Normalization)하는 이미지 정규화부와, 상기 정규화된 복수의 이미지의 입력에 대응하여, 병변이 존재하는 병변영역을 학습하는 병변영역 학습부와, 상기 병변영역을 기준으로하여 균일화된 병변영역 이미지를 추출하는 병변 이미지 추출부와, 상기 균일화된 병변영역 이미지의 입력에 대응하는 상기 질환의 종류 및 상기 질환의 중증도를 학습하는 중증도 통합 학습부를 포함할 수 있다.
본 개시의 다른 양상에 따르면, 병변 통합 학습 방법이 제공될 수 있다. 상기 방법은, 서로 다른 질환의 진단을 위해 촬영된 복수의 진단영상을 입력받고, 상기 복수의 진단영상을 정규화(Normalization)하는 과정과, 상기 정규화된 복수의 이미지의 입력에 대응하여, 병변이 존재하는 병변영역을 학습하는 과정과, 상기 병변영역을 기준으로하여 균일화된 병변영역 이미지를 추출하는 과정과, 상기 균일화된 병변영역 이미지의 입력에 대응하여 상기 질환의 종류 및 상기 질환의 중증도를 학습하는 과정을 포함할 수 있다.
본 개시의 또 다른 양상에 따르면, 병변 진단 장치가 제공될 수 있다. 상기 장치는 질환의 진단을 위해 촬영된 진단영상을 입력받고, 상기 진단영상을 정규화(Normalization)하는 이미지 정규화부와, 병변영역 통합학습모델을 사용하여, 상기 정규화된 진단영상 이미지에 대응되는 병변영역을 검출하는 병변영역 검출부와, 상기 병변영역을 기준으로하여 균일화된 병변영역 이미지를 추출하는 병변 이미지 추출부와, 상기 균일화된 병변영역 이미지의 입력에 대응되는 상기 질환의 종류 및 상기 질환의 중증도를 검출하도록 학습된 중증도 통합학습모델을 사용하여, 상기 질환의 종류 및 상기 질환의 중증도를 검출하는 중증도 통합 검출부를 포함할 수 있다.
본 개시의 또 다른 양상에 따르면, 병변 진단 방법이 제공될 수 있다. 상기 방법은 질환의 진단을 위해 촬영된 진단영상을 입력받고, 상기 진단영상을 정규화(Normalization)하는 과정과, 병변영역 통합학습모델을 사용하여, 상기 정규화된 진단영상에 대응되는 병변영역을 검출하는 과정과, 상기 병변영역을 기준으로하여 균일화된 병변영역 이미지를 추출하는 과정과, 상기 균일화된 병변영역 이미지의 입력에 대응되는 상기 질환의 종류 및 상기 질환의 중증도를 검출하도록 학습된 중증도 통합학습모델을 사용하여, 상기 질환의 종류 및 상기 질환의 중증도를 검출하는 과정을 포함할 수 있다.
본 개시에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 개시의 상세한 설명의 예시적인 양상일 뿐이며, 본 개시의 범위를 제한하는 것은 아니다.
본 개시에 따르면, 다양한 질환에 대한 의료영상을 종합적으로 고려하여 병변 중증도를 학습하는 병변 통합 학습 방법 및 장치가 제공될 수 있다.
또한, 본 개시에 따르면, 다양한 질환에 대한 의료영상을 종합적으로 반영하되, GAN(General Adversial Networks)을 이용한 지속 학습(Continual Learning)을 기반으로 통합된 학습 모델을 구축하는 병변 통합 학습 방법 및 장치가 제공될 수 있다.
또한, 본 개시에 따르면, 다양한 질환에 의해 신체에서 다양하게 발현되는 증상이나, 징후를 종합적으로 반영하여 학습함으로써, 질병의 진행 상황, 질병 사이의 관련성, 전이 상태 등을 복합적으로 학습하는 방법 및 장치가 제공될 수 있다.
또한, 본 개시에 따르면, 다양한 질환에 의해 신체에서 다양하게 발현되는 증상이나, 징후를 종합적으로 반영하여, 질병의 진행 상황, 질병 사이의 관련성, 전이 상태 등을 복합적으로 예측할 수 있는 진단 방법 및 장치가 제공될 수 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 개시의 일 실시예에 따른 병변 통합 학습 장치의 구성을 나타내는 블록도이다.
도 2는 본 개시의 일 실시예에 따른 병변 통합 학습 장치에서 사용되는 학습 데이터 셋을 예시하는 도면이다.
도 3은 본 개시의 일 실시예에 따른 병변 통합 학습 장치에 구비된 병변영역 통합학습모델의 학습 동작을 나타내는 도면이다.
도 4는 본 개시의 일 실시예에 따른 병변 통합 학습 장치에 구비된 중증도 통합학습모델의 학습 동작을 나타내는 도면이다.
도 5는 본 개시의 일 실시예에 따른 병변 통합 학습 장치에 의해 구축된 GAN 기반의 병변영역 통합학습모델을 예시하는 도면이다.
도 6은 본 개시의 일 실시예에 따른 병변 통합 학습 장치에 의해 구축된 GAN 기반의 병변영역 통합학습모델의 다른 예를 도시하는 도면이다.
도 7은 본 개시의 일 실시예에 따른 병변 통합 학습 장치에 의해 구축된 중증도 통합학습모델을 예시하는 도면이다.
도 8은 본 개시의 일 실시예에 따른 병변 통합 학습 장치에 의해 구축된 중증도 통합학습모델의 다른 예를 도시하는 도면이다.
도 9는 본 개시의 일 실시예에 따른 병변 통합 진단 장치의 구성을 나타내는 블록도이다.
도 10은 본 개시의 일 실시예에 따른 병변 통합 학습 방법의 순서를 도시하는 흐름도이다.
도 11은 본 개시의 일 실시예에 따른 병변 통합 진단 방법의 순서를 도시하는 흐름도이다.
도 12는 본 개시의 일 실시예에 따른 병변 통합 학습 방법 및 장치와, 병변 진단 방법 및 장치를 실행하는 컴퓨팅 시스템을 예시하는 블록도이다.
이하에서는 첨부한 도면을 참고로 하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.
본 개시의 실시예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 개시에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 개시에 있어서, 어떤 구성요소가 다른 구성요소와 "연결", "결합" 또는 "접속"되어 있다고 할 때, 이는 직접적인 연결관계뿐만 아니라, 그 중간에 또 다른 구성요소가 존재하는 간접적인 연결관계도 포함할 수 있다. 또한 어떤 구성요소가 다른 구성요소를 "포함한다" 또는 "가진다"고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 배제하는 것이 아니라 또 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 개시에 있어서, 제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 특별히 언급되지 않는 한 구성요소들 간의 순서 또는 중요도 등을 한정하지 않는다. 따라서, 본 개시의 범위 내에서 일 실시예에서의 제1 구성요소는 다른 실시예에서 제2 구성요소라고 칭할 수도 있고, 마찬가지로 일 실시예에서의 제2 구성요소를 다른 실시예에서 제1 구성요소라고 칭할 수도 있다.
본 개시에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시예도 본 개시의 범위에 포함된다.
본 개시에 있어서, 다양한 실시예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시예도 본 개시의 범위에 포함된다. 또한, 다양한 실시예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시예도 본 개시의 범위에 포함된다.
이하, 첨부한 도면을 참조하여 본 개시의 실시예들에 대해서 설명한다.
도 1은 본 개시의 일 실시예에 따른 병변 통합 학습 장치의 구성을 나타내는 블록도이다.
도 1을 참조하면, 병변 통합 학습 장치(10)는 서로 다른 질환의 진단을 위해 촬영된 복수의 진단영상을 입력받고, 이에 대응되는 질환의 종류와 질환의 중증도를 학습하도록 구성될 수 있으며, 이미지 정규화부(11), 병변영역 학습부(13), 이미지 추출부(15), 및 질환 중증도 학습부(17)를 포함할 수 있다.
우선, 서로 다른 질환의 진단을 위해 촬영된 복수의 진단영상은 질환의 특성에 따라 서로 다른 포맷으로 촬영되거나, 서로 다른 속성을 구비할 수 있다. 학습의 성능을 높이기 위하여, 진단영상은 유사한 종류의 영상으로 이루어지는 것이 바람직하다. 예컨대, 진단영상은 MRI(magnetic resonance imaging), CT(computerized tomography) 영상, X-ray 영상 등을 포함할 수 있다.
나아가, 진단영상이 전술한 바와 같이 동일한 종류의 영상으로 이루어지더라도, 질환의 종류에 따라 진단영상에 병변의 상태가 다르게 나타날 수 있다. 따라서, 이미지 정규화부(11)는 서로 다른 질환의 진단을 위해 촬영된 복수의 진단영상에 대한 정규화를 수행할 수 있다. 예컨대, 이미지 정규화부(11)는 진단영상에 포함된 각 화소의 RGB값을 미리 정해진 값(예, 255)으로 나눈 값으로 변환할 수 있다.
더 나아가, 진단영상은 그 종류에 따라 이미지의 크기가 다르게 구성될 수 있다. 병변 통합 학습 장치(10)는 진단영상의 크기를 동일한 크기로 리사이징하는 이미지 리사이징부(12)를 더 포함할 수 있다.
병변영역 학습부(13)는 다양한 질환에 대응되는 진단영상을 입력받고, 이에 대응되는 병변영역을 검출하는 학습모델, 즉, 병변영역 통합학습모델을 구비할 수 있으며, 병변영역 통합학습모델에 대한 학습을 수행할 수 있다. 나아가, 병변영역 학습부(13)는 GAN(General Adversial Networks)을 사용하는 지속학습(continual learning) 기반으로 병변영역 통합학습모델의 학습을 수행하는 것이 바람직하다.
병변 또는 질환의 특성에 따라, 병변영역의 크기는 다양하게 구성될 수 있으므로, 병변영역의 크기를 균일하게 구성하기 위하여, 이미지 추출부(15)는 병변영역을 확대 또는 축소하고, 확대 또는 축소된 병변영역의 이미지를 미리 정해진 크기로 재구성할 수 있다.
질환 중증도 학습부(17)는 균일화된 크기의 병변영역 이미지의 입력에 대응하여 질환의 종류 및 질환의 중증도를 학습하는 학습모델, 즉, 중증도 통합학습모델을 구축할 수 있다. 여기서, 질환 중증도 학습부(17)는 GAN(General Adversial Networks)을 사용하는 지속학습(continual learning) 기반으로 중증도 통합학습모델의 학습을 수행하는 것이 바람직하다.
나아가, 병변 통합 학습 장치(10)는 전술한 병변영역 통합학습모델이나 중증도 통합학습모델의 학습을 수행하기 위한 학습 데이터 셋(200, 도 2참조)을 준비할 수 있다. 학습 데이터 셋(200)은 서로 다른 질환을 가진 환자의 진단영역을 촬영한 진단영상(201, 202, 203)과, 진단영상(201, 202, 203)에서 병변이 나타나는 영역을 추출한 병변영역의 이미지(211, 212, 213)와, 병변영역에 대응되는 질환의 종류(221a, 222a, 223a) 및 질환의 중증도(221b, 222b, 223b)를 지시하는 데이터(221, 222, 223)를 포함할 수 있다.
이하, 병변영역 학습부(13)나 질환 중증도 학습부(17)가 학습 데이터 셋(200)을 사용하여 전술한 병변영역 통합학습모델이나 중증도 통합학습모델을 학습하는 세부 동작을 설명한다.
도 3은 본 개시의 일 실시예에 따른 병변 통합 학습 장치에 구비된 병변영역 통합학습모델의 학습 동작을 나타내는 도면이다.
전술한 바와 같이, 병변영역 학습부(13)는 병변영역 통합학습모델(300)에 대한 학습을 수행할 수 있는데, 이때 입력으로서 진단영상(201, 202, 203)이 사용될 수 있다. 특히, 병변영역 통합학습모델(300)에 입력되는 진단영상(201, 202, 203)은 전술한 이미지 정규화부(11)를 통해 정규화된 이미지일 수 있다.
또한, 병변영역 학습부(13)는 병변영역 통합학습모델(300)의 목적 변수를 병변영역의 이미지(211, 212, 213)로 설정하여 제공할 수 있다.
이에 따라, 병변영역 통합학습모델(300)은 진단영상(201, 202, 203)에 대응되는 병변영역의 이미지(211, 212, 213)를 검출하도록 학습될 수 있으며, 나아가, 병변영역 통합학습모델(300)은 합성곱 신경망(Convolutional Neural Network, CNN) 기법 또는 풀링(pooling) 기법 등에 기초하여 학습될 수 있다.
예컨대, 병변영역 통합학습모델(300)은 일반적인 합성곱 신경망(Convolutional Neural Network, CNN) 기법 또는 풀링(pooling) 기법을 이용하여 진단영상(201, 202, 203)의 특징을 추출할 수 있다. 상기 풀링 기법은 맥스(max) 풀링 기법 및 평균(average) 풀링 기법 중 적어도 하나를 포함할 수 있다. 그러나, 본 개시에서 언급되는 풀링 기법은 맥스 풀링 기법 또는 평균 풀링 기법에 한정되지 않으며, 소정 크기의 영상 영역의 대표값을 획득하는 임의의 기법을 포함한다. 예컨대, 풀링 기법에 사용되는 대표값은 최대값 및 평균값 외에, 분산값, 표준 편차값, 중간값(mean value), 최빈값(most frequent value), 최소값, 가중 평균값 등 중 적어도 하나일 수 있다.
도 4는 본 개시의 일 실시예에 따른 병변 통합 학습 장치에 구비된 중증도 통합학습모델의 학습 동작을 나타내는 도면이다.
전술한 바와 같이, 질환 중증도 학습부(17)는 중증도 통합학습모델(400)에 대한 학습을 수행할 수 있는데, 이때 입력으로서 병변영역의 이미지(211, 212, 213)가 사용될 수 있다. 특히, 중증도 통합학습모델(400)에 입력되는 병변영역의 이미지(211, 212, 213)는 전술한 이미지 추출부(15)를 통해 추출 또는 리사이징된 이미지일 수 있다.
또한, 질환 중증도 학습부(17)는 중증도 통합학습모델(400)의 목적 변수를 중증도 데이터(221, 222, 223)로 설정하여 제공할 수 있다.
이에 따라, 중증도 통합학습모델(400)은 병변영역의 이미지(211, 212, 213)에 대응되는 질환의 종류(221a, 222a, 223a) 또는 질환의 중증도(221b, 222b, 223b)를 검출하도록 학습될 수 있으며, 나아가, 중증도 통합학습모델(400)은 합성곱 신경망(Convolutional Neural Network, CNN) 기법 또는 풀링(pooling) 기법 등에 기초하여 학습될 수 있다.
예컨대, 중증도 통합학습모델(400)은 일반적인 합성곱 신경망(Convolutional Neural Network, CNN) 기법 또는 풀링(pooling) 기법을 이용하여 병변영역 이미지(211, 212, 213)의 특징을 추출할 수 있다.
본 개시의 병변영역 통합학습모델(300) 또는 중증도 통합학습모델(400)에서, 합성곱 신경망은 입력 데이터(영상)로부터 테두리, 선 색 등과 같은 "특징들(features)"을 추출하기 위해 이용될 수 있으며, 복수의 계층들(layers)을 포함할 수 있다. 각각의 계층은 입력 데이터를 수신하고, 해당 계층의 입력 데이터를 처리하여 출력 데이터를 생성할 수 있다. 합성곱 신경망은 입력된 영상 또는 입력된 특징맵(feature map)을 필터 커널들(filter kernels)과 컨볼루션하여 생성한 특징맵을 출력 데이터로서 출력할 수 있다. 합성곱 신경망의 초기 계층들은 입력으로부터 에지들 또는 그레디언트들과 같은 낮은 레벨의 특징들을 추출하도록 동작될 수 있다. 신경망의 다음 계층들은 전립선 영역이나, 뇌 영역 등의 신체 영역과 같이 점진적으로 더 복잡한 특징들을 추출할 수 있다.
합성곱 신경망은 컨볼루션 연산이 수행되는 합성곱 계층 외에도 풀링 연산이 수행되는 풀링 계층도 포함할 수 있다. 풀링 기법은 풀링 계층에서 데이터의 공간적 크기를 축소하는데 사용되는 기법이다. 구체적으로, 풀링 기법에는 해당 영역에서 최대값을 선택하는 맥스 풀링(max pooling) 기법과 해당 영역의 평균값을 선택하는 평균 풀링(average pooling) 기법이 있으며, 이미지 인식 분야에서는 일반적으로 맥스 풀링 기법이 사용된다. 풀링 기법에서는 일반적으로 풀링의 윈도우 크기와 간격(스트라이드, stride)을 같은 값으로 설정한다. 여기서, 스트라이드란 입력 데이터에 필터를 적용할 때 이동할 간격을 조절하는 것, 즉 필터가 이동할 간격을 의미하며, 스트라이드 또한 출력 데이터의 크기를 조절하기 위해 사용될 수 있다.
한편, 도 5는 본 개시의 일 실시예에 따른 병변 통합 학습 장치에 의해 구축된 GAN을 사용하는 지속학습 기반의 병변영역 통합학습모델을 예시하는 도면이다.
병변영역 학습부(13)는 GAN을 사용한 지속학습을 기반으로 하는 병변영역 통합학습모델(500)을 구축할 수 있다.
GAN 기반 통합학습모델(500)은 복수의 통합학습모델을 포함할 수 있으며, 각각의 통합학습모델은 서로 다른 진단영상을 입력으로 사용하여 복수의 학습모델을 구축할 수 있다. 또한, 다른 통합학습모델을 통해 검출된 결과를 추가적인 입력으로 지속적으로 사용하여 복수의 학습모델을 순차적으로 구축할 수 있다.
예를 들어, GAN 기반 통합학습모델(500)은 제1통합학습모델(510), 제2통합학습모델(520), 및 제3통합학습모델(530)을 포함할 수 있다.
병변영역 학습부(13)는 제1진단영상(예, 전립선 암 환자의 전립선 영역의 MRI)을 입력으로하고, 제1병변영역 이미지(예, 전립선 암 영역의 이미지)를 목적변수로 설정하여 제1통합학습모델(510)의 학습을 수행할 수 있다. 제1통합학습모델(510)은 GAN 기반의 학습을 수행하므로, 제1병변영역 이미지에 대응되는 실제(real) 데이터와 가짜(fake) 데이터를 생성할 수 있다.
그리고, 병변영역 학습부(13)는 제2진단영상(예, 뇌종양 환자의 뇌 영역의 MRI)을 제2통합학습모델(520)의 입력으로 하고, 제2병변영역 이미지(예, 뇌종양 영역의 이미지)를 목적변수로 설정하여 학습을 수행할 수 있는데, 이때, 추가적으로 제1통합학습모델(510)의 출력값, 즉, 제1병변영역 이미지에 대응되는 실제(real) 데이터와 가짜(fake) 데이터를 제2통합학습모델(520)의 입력으로 함께 설정할 수 있다. 이에 따라, 제2통합학습모델(520)은 제1진단영상과 제2진단영상 모두를 반영한 학습모델을 구축할 수 있으며, 제1진단영상과 제2진단영상을 모두 고려한 데이터, 즉, 실제(real) 데이터와 가짜(fake) 데이터를 출력할 수 있다.
또한, 병변영역 학습부(13)는 제3진단영상(예, 알츠하이머 환자의 뇌 영역의 MRI)을 제3통합학습모델(530)의 입력으로 하고, 제3병변영역 이미지(예, 알츠하이머 발현 영역의 이미지)를 목적변수로 설정하여 제3통합학습모델(530)을 구축할 수 있다. 그리고, 병변영역 학습부(13)는 제2통합학습모델(520)의 출력값, 즉, 실제(real) 데이터와 가짜(fake) 데이터를 제3통합학습모델(530)의 입력으로 함께 설정할 수 있다. 이에 따라, 제3통합학습모델(530)은 제1 내지 제3진단영상 모두를 반영한 학습모델을 구축할 수 있으며, 제1 내지 제3진단영상을 모두 고려하여 병변영역을 검출한 데이터를 출력할 수 있다.
도 6은 본 개시의 일 실시예에 따른 병변 통합 학습 장치에 의해 구축된 GAN 기반의 병변영역 통합학습모델의 다른 예를 도시하는 도면이다.
도 6을 참조하면, GAN 기반의 병변영역 통합학습모델의 다른 예는, 전술한 도 5의 GAN 기반 통합학습모델을 복수개 구비할 수 있으며, 복수개의 통합학습모델(610, 620, 630)의 출력값을 앙상블 학습하는 앙상블 학습모델(650)을 구비할 수 있다. 특히, 통합학습모델(610, 620, 630) 각각은 전술한 도 5의 GAN 기반 통합학습모델(500)에 대응될 수 있는데, GAN을 구성하는 순서는 서로 다르게 설정될 수 있다.
예를 들어, 제1GAN 기반 통합학습모델(610)은 제1통합학습모델(611), 제2통합학습모델(612), 및 제3통합학습모델(613)을 포함할 수 있다. 이때, 제1통합학습모델(611)의 입력은 제1진단영상(예, 전립선 암 환자의 전립선 영역의 MRI)으로 설정되고, 목적변수는 제1병변영역 이미지(예, 전립선 암 영역의 이미지)로 설정될 수 있다. 제1통합학습모델(612)은 GAN 기반의 학습을 수행하므로, 제1병변영역 이미지에 대응되는 실제(real) 데이터와 가짜(fake) 데이터를 생성할 수 있다. 그리고, 제2통합학습모델(612)의 입력은, 제2진단영상(예, 뇌종양 환자의 뇌 영역의 MRI)과 제1통합학습모델(611)의 출력값(제1병변영역 이미지에 대응되는 실제(real) 데이터와 가짜(fake) 데이터)으로 설정될 수 있으며, 목적변수는 제2병변영역 이미지(예, 뇌종양 영역의 이미지)로 설정될 수 있다. 이에 따라, 제2통합학습모델(612)은 제1진단영상과 제2진단영상 모두를 반영한 학습모델을 구축할 수 있으며, 제1진단영상과 제2진단영상을 모두 고려한 데이터, 즉, 실제(real) 데이터와 가짜(fake) 데이터를 출력할 수 있다. 또한, 제3통합학습모델(613)의 입력은, 제3진단영상(예, 알츠하이머 환자의 뇌 영역의 MRI), 및 제2통합학습모델(612)의 출력값(실제(real) 데이터와 가짜(fake) 데이터)으로 설정될 수 있으며, 목적변수는 제3병변영역 이미지(예, 알츠하이머 발현 영역의 이미지)로 설정될 수 있다. 결국, 제3통합학습모델(613)은 제1 내지 제3진단영상 모두를 반영한 학습모델을 구축할 수 있으며, 제1 내지 제3진단영상을 모두 고려하여 병변영역을 검출한 데이터를 출력하도록 구성될 수 있다.
한편, 제2GAN 기반 통합학습모델(620) 역시 제1통합학습모델(621), 제2통합학습모델(622), 및 제3통합학습모델(623)을 포함할 수 있는데, 전술한 제1GAN 기반 통합학습모델(610)과 달리 입력되는 데이터 및 목적변수의 순서가 다르게 설정될 수 있다. 구체적으로, 제1통합학습모델(621)의 입력은 제2진단영상(예, 뇌종양 환자의 뇌 영역의 MRI)으로 설정되고, 목적변수는 제2병변영역 이미지(예, 뇌종양 영역의 이미지)으로 설정될 수 있다. 제1통합학습모델(621)은 GAN 기반의 학습을 수행하므로, 제2병변영역 이미지에 대응되는 실제(real) 데이터와 가짜(fake) 데이터를 생성할 수 있다. 그리고, 제2통합학습모델(622)의 입력은, 제1진단영상(예, 전립선 암 환자의 전립선 영역의 MRI)과 제1통합학습모델(621)의 출력값(즉, 제2병변영역 이미지에 대응되는 실제(real) 데이터와 가짜(fake) 데이터)으로 설정될 수 있으며, 목적변수는 제1병변영역 이미지(예, 전립선 암 영역의 이미지)로 설정될 수 있다. 마찬가지로, 제3통합학습모델(623)의 입력은, 제3진단영상(예, 알츠하이머 환자의 뇌 영역의 MRI), 및 제2통합학습모델(622)의 출력값(실제(real) 데이터와 가짜(fake) 데이터)으로 설정될 수 있으며, 목적변수는 제3병변영역 이미지(예, 알츠하이머 발현 영역의 이미지)로 설정될 수 있다.
그리고, 제3GAN 기반 통합학습모델(630) 역시 제1통합학습모델(631), 제2통합학습모델(632), 및 제3통합학습모델(633)을 포함할 수 있는데, 전술한 제1GAN 기반 통합학습모델(610) 및 제2GAN 기반 통합학습모델(620)의 입력 데이터 및 목적변수와 그 순서가 다르게 설정될 수 있다. 즉, 제1통합학습모델(631)의 입력은 제3진단영상(예, 알츠하이머 환자의 뇌 영역의 MRI)으로 설정되고, 목적변수는 제3병변영역 이미지(예, 알츠하이머 발현 영역의 이미지)으로 설정될 수 있다. 따라서, 제1통합학습모델(621)은 제3병변영역 이미지에 대응되는 실제(real) 데이터와 가짜(fake) 데이터를 생성할 수 있다 그리고, 제2통합학습모델(632)의 입력은, 제2진단영상(예, 뇌종양 환자의 뇌 영역의 MRI)과 제1통합학습모델(631)의 출력값(제3병변영역 이미지에 대응되는 실제(real) 데이터와 가짜(fake) 데이터)으로 설정될 수 있으며, 목적변수는 제2병변영역 이미지(예, 뇌종양 영역의 이미지)로 설정될 수 있다. 제3통합학습모델(633)의 입력은, 제1진단영상(예, 전립선 암 환자의 전립선 영역의 MRI), 및 제2통합학습모델(632)의 출력값(실제(real) 데이터와 가짜(fake) 데이터)으로 설정될 수 있으며, 목적변수는 제1병변영역 이미지(예, 전립선 암 영역의 이미지)로 설정될 수 있다.
이와 같이, 복수개의 통합학습모델(610, 620, 630)은 각각 입력되는 데이터와 목적변수의 순서가 서로 다르게 설정되도록 구성된다. 따라서, 동일한 데이터 셋을 사용하여 학습모델을 구축하더라도, 복수개의 통합학습모델(610, 620, 630)은 서로 다른 네트워크를 구성하도록 구축될 수 있다. 이를 고려하여, 앙상블 학습모델(650)은 복수개의 통합학습모델(610, 620, 630)의 출력을 앙상블 학습하도록 구성되며, 결과적으로 출력되는 예측치를 향상시킬 수 있다.
나아가, 도 5 및 도 6을 통해 예시한 병변영역 통합학습모델을 구성한 취지를 중증도 통합학습모델에 적용할 수 있다. 예컨대, 입력으로서 사용되는 제1 내지 제3진단영상을 제1 내지 제3병변영역 이미지로 대체하고, 목적변수로서 사용되는 제1 내지 제3병변영역 이미지를 제1 내지 제3질환 데이터(질환의 종류 또는 질환의 중증도)로 대체하여 중증도 통합학습모델을 구축할 수 있다. 구체적으로, 중증도 통합학습모델은 도 7 및 도 8에 예시되는 바와 같이 구축될 수 있다.
도 9는 본 개시의 일 실시예에 따른 병변 통합 진단 장치의 구성을 나타내는 블록도이다.
도 9를 참조하면, 병변 통합 진단 장치(90)는 서로 다른 질환의 진단을 위해 촬영된 복수의 진단영상을 입력받고, 이에 대응되는 질환의 종류와 질환의 중증도를 검출하도록 구성될 수 있으며, 이미지 정규화부(91), 병변영역 검출부(93), 이미지 추출부(95), 및 질환 중증도 검출부(97)를 포함할 수 있다.
우선, 질환의 진단을 위해 촬영된 진단영상은 질환의 특성에 따라 서로 다른 포맷으로 촬영되거나, 서로 다른 속성을 구비할 수 있다. 예컨대, 진단영상은 MRI(magnetic resonance imaging), CT(computerized tomography) 영상, X-ray 영상 등을 포함할 수 있다.
나아가, 진단영상이 전술한 바와 같이 동일한 종류의 영상으로 이루어지더라도, 질환의 종류에 따라 진단영상에서 병변의 상태가 다르게 나타날 수 있다. 따라서, 이미지 정규화부(91)는 진단영상에 대한 정규화를 수행할 수 있다. 예컨대, 이미지 정규화부(91)는 진단영상에 포함된 각 화소의 RGB값을 미리 정해진 값(예, 255)으로 나눈 값으로 변환할 수 있다.
더 나아가, 진단영상은 그 종류에 따라 이미지의 크기가 다르게 구성될 수 있다. 병변 통합 진단 장치(90)는 진단영상의 크기를 동일한 크기로 리사이징하는 이미지 리사이징부(92)를 더 포함할 수 있다.
병변영역 검출부(93)는 병변영역 통합학습모델(930)을 구비할 수 있으며, 병변영역 통합학습모델(930)은 다양한 질환에 대응되는 진단영상을 입력받고, 이에 대응되는 병변영역을 검출하도록 구축된 학습모델일 수 있다. 나아가, 병변영역 통합학습모델(930)은 GAN(General Adversial Networks) 기반으로 구축된 학습모델일 수 있다.
병변 또는 질환의 특성에 따라, 병변영역의 크기는 다양하게 구성될 수 있으므로, 병변영역의 크기를 균일하게 구성하기 위하여, 이미지 추출부(95)는 병변영역을 확대 또는 축소하고, 확대 또는 축소된 병변영역의 이미지를 미리 정해진 크기로 재구성할 수 있다.
질환 중증도 검출부(97)는 중증도 통합학습모델(970)을 포함할 수 있는데, 중증도 통합학습모델(970)은 균일화된 크기의 병변영역 이미지의 입력에 대응하여 질환의 종류 및 질환의 중증도를 검출하도록 학습된 모델일 수 있다. 나아가, 중증도 통합학습모델(970)은 GAN(General Adversial Networks) 기반으로 학습된 모델을 포함할 수 있다.
예컨대, 병변영역 통합학습모델(930) 및 중증도 통합학습모델(970)은 도 1 내지 도 9을 통해 전술한 병변 통합 학습 장치를 통해 구축된 학습모델일 수 있다.
도 10은 본 개시의 일 실시예에 따른 병변 통합 학습 방법의 순서를 도시하는 흐름도이다.
본 개시의 일 실시예에 따른 병변 통합 학습 방법은 전술한 병변 통합 학습 장치에 의해 수행될 수 있다.
우선, 병변 통합 학습 장치는 서로 다른 질환의 진단을 위해 촬영된 복수의 진단영상을 입력받고, 이에 대응되는 질환의 종류와 질환의 중증도를 학습하도록 구성될 수 있는데, 서로 다른 질환의 진단을 위해 촬영된 복수의 진단영상은 질환의 특성에 따라 서로 다른 포맷으로 촬영되거나, 서로 다른 속성을 구비할 수 있다. 학습의 성능을 높이기 위하여, 진단영상은 유사한 종류의 영상으로 이루어지는 것이 바람직하다. 예컨대, 진단영상은 MRI(magnetic resonance imaging), CT(computerized tomography) 영상, X-ray 영상 등을 포함할 수 있다.
나아가, 진단영상이 전술한 바와 같이 동일한 종류의 영상으로 이루어지더라도, 질환의 종류에 따라 진단영상에 병변의 상태가 다르게 나타날 수 있다. 따라서, S1010 단계에서, 병변 통합 학습 장치는 서로 다른 질환의 진단을 위해 촬영된 복수의 진단영상에 대한 정규화를 수행할 수 있다. 예컨대, 병변 통합 학습 장치는 진단영상에 포함된 각 화소의 RGB값을 미리 정해진 값(예, 255)으로 나눈 값으로 변환할 수 있다.
더 나아가, 진단영상은 그 종류에 따라 이미지의 크기가 다르게 구성될 수 있다. 이에 따라, 병변 통합 학습 장치는 진단영상의 크기를 동일한 크기로 리사이징 처리할 수 있다(S1020).
S1030 단계에서, 병변 통합 학습 장치는 다양한 질환에 대응되는 진단영상을 입력받고, 이에 대응되는 병변영역을 검출하는 학습모델, 즉, 병변영역 통합학습모델을 구비할 수 있으며, 병변영역 통합학습모델에 대한 학습을 수행할 수 있다. 이때, 병변 통합 학습 장치는 GAN(General Adversial Networks)을 사용한 지속학습 기반으로 병변영역 통합학습모델의 학습을 수행하는 것이 바람직하다.
구체적으로, 병변 통합 학습 장치는 병변영역 통합학습모델(300, 도 3참조)에 대한 학습을 수행할 수 있는데, 이때 입력으로서 진단영상(201, 202, 203)이 사용될 수 있다. 특히, 병변영역 통합학습모델(300)에 입력되는 진단영상(201, 202, 203)은 전술한 S1010 및 S1020 통해 정규화 및 리사이징 처리된 이미지일 수 있다.
또한, 병변 통합 학습 장치는 병변영역 통합학습모델(300)의 목적 변수를 병변영역의 이미지(211, 212, 213)로 설정하여 제공할 수 있다. 이에 따라, 병변영역 통합학습모델(300)은 진단영상(201, 202, 203)에 대응되는 병변영역의 이미지(211, 212, 213)를 검출하도록 학습될 수 있으며, 나아가, 병변영역 통합학습모델(300)은 합성곱 신경망(Convolutional Neural Network, CNN) 기법 또는 풀링(pooling) 기법 등에 기초하여 학습될 수 있다.
예컨대, 병변영역 통합학습모델(300)은 일반적인 합성곱 신경망(Convolutional Neural Network, CNN) 기법 또는 풀링(pooling) 기법을 이용하여 진단영상(201, 202, 203)의 특징을 추출할 수 있다. 상기 풀링 기법은 맥스(max) 풀링 기법 및 평균(average) 풀링 기법 중 적어도 하나를 포함할 수 있다. 그러나, 본 개시에서 언급되는 풀링 기법은 맥스 풀링 기법 또는 평균 풀링 기법에 한정되지 않으며, 소정 크기의 영상 영역의 대표값을 획득하는 임의의 기법을 포함한다. 예컨대, 풀링 기법에 사용되는 대표값은 최대값 및 평균값 외에, 분산값, 표준 편차값, 중간값(mean value), 최빈값(most frequent value), 최소값, 가중 평균값 등 중 적어도 하나일 수 있다.
한편, 병변 또는 질환의 특성에 따라, 병변영역의 크기는 다양하게 구성될 수 있으므로, 병변영역의 크기를 균일하게 구성하기 위하여, 병변 통합 학습 장치는 병변영역을 확대 또는 축소하고, 확대 또는 축소된 병변영역의 이미지를 미리 정해진 크기로 재구성할 수 있다(S1040).
S1050 단계에서, 병변 통합 학습 장치는 균일화된 크기의 병변영역 이미지의 입력에 대응하여 질환의 종류 및 질환의 중증도를 학습하는 학습모델, 즉, 중증도 통합학습모델을 구축할 수 있다. 이때, 병변 통합 학습 장치는 GAN을 사용한 지속학습 기반으로 중증도 통합학습모델의 학습을 수행하는 것이 바람직하다.
예컨대, 병변 통합 학습 장치는 중증도 통합학습모델(400, 도 4 참조)에 대한 학습을 수행할 수 있는데, 이때 입력으로서 병변영역의 이미지(211, 212, 213)가 사용될 수 있다. 특히, 중증도 통합학습모델(400)에 입력되는 병변영역의 이미지(211, 212, 213)는 전술한 S1040 단계를 통해 미리 정해진 크기로 재구성된 이미지일 수 있다.
또한, 병변 통합 학습 장치는 중증도 통합학습모델(400)의 목적 변수를 중증도 데이터(221, 222, 223)로 설정하여 제공할 수 있다. 이에 따라, 중증도 통합학습모델(400)은 병변영역의 이미지(211, 212, 213)에 대응되는 질환의 종류(221a, 222a, 223a) 또는 질환의 중증도(221b, 222b, 223b)를 검출하도록 학습될 수 있으며, 나아가, 중증도 통합학습모델(400)은 합성곱 신경망(Convolutional Neural Network, CNN) 기법 또는 풀링(pooling) 기법 등에 기초하여 학습될 수 있다. 예컨대, 중증도 통합학습모델(400)은 일반적인 합성곱 신경망(Convolutional Neural Network, CNN) 기법 또는 풀링(pooling) 기법을 이용하여 병변영역 이미지(211, 212, 213)의 특징을 추출할 수 있다.
나아가, 병변영역 통합 학습모델(300) 또는 중증도 통합학습모델(400)에 사용되는 합성곱 신경망은 입력 데이터(영상)로부터 테두리, 선 색 등과 같은 "특징들(features)"을 추출하기 위해 이용될 수 있으며, 복수의 계층들(layers)을 포함할 수 있다. 각각의 계층은 입력 데이터를 수신하고, 해당 계층의 입력 데이터를 처리하여 출력 데이터를 생성할 수 있다. 합성곱 신경망은 입력된 영상 또는 입력된 특징맵(feature map)을 필터 커널들(filter kernels)과 컨볼루션하여 생성한 특징맵을 출력 데이터로서 출력할 수 있다. 합성곱 신경망의 초기 계층들은 입력으로부터 에지들 또는 그레디언트들과 같은 낮은 레벨의 특징들을 추출하도록 동작될 수 있다. 신경망의 다음 계층들은 전립선 영역이나, 뇌 영역 등의 신체 영역과 같이 점진적으로 더 복잡한 특징들을 추출할 수 있다.
합성곱 신경망은 컨볼루션 연산이 수행되는 합성곱 계층 외에도 풀링 연산이 수행되는 풀링 계층도 포함할 수 있다. 풀링 기법은 풀링 계층에서 데이터의 공간적 크기를 축소하는데 사용되는 기법이다. 구체적으로, 풀링 기법에는 해당 영역에서 최대값을 선택하는 맥스 풀링(max pooling) 기법과 해당 영역의 평균값을 선택하는 평균 풀링(average pooling) 기법이 있으며, 이미지 인식 분야에서는 일반적으로 맥스 풀링 기법이 사용된다. 풀링 기법에서는 일반적으로 풀링의 윈도우 크기와 간격(스트라이드, stride)을 같은 값으로 설정한다. 여기서, 스트라이드란 입력 데이터에 필터를 적용할 때 이동할 간격을 조절하는 것, 즉 필터가 이동할 간격을 의미하며, 스트라이드 또한 출력 데이터의 크기를 조절하기 위해 사용될 수 있다.
도 11은 본 개시의 일 실시예에 따른 병변 통합 진단 방법의 순서를 도시하는 흐름도이다.
도 11를 참조하면, 본 개시의 일 실시예에 따른 병변 통합 진단 방법은 전술한 병변 통합 진단 장치에 의해 수행될 수 있다.
우선, 질환의 진단을 위해 촬영된 진단영상은 질환의 특성에 따라 서로 다른 포맷으로 촬영되거나, 서로 다른 속성을 구비할 수 있다. 예컨대, 진단영상은 MRI(magnetic resonance imaging), CT(computerized tomography) 영상, X-ray 영상 등을 포함할 수 있다.
나아가, 진단영상이 전술한 바와 같이 동일한 종류의 영상으로 이루어지더라도, 질환의 종류에 따라 진단영상에 병변의 상태가 다르게 나타날 수 있다. 따라서, S1110 단계에서, 병변 통합 진단 장치는 서로 다른 질환의 진단을 위해 촬영된 복수의 진단영상에 대한 정규화를 수행할 수 있다. 예컨대, 병변 통합 진단 장치는 진단영상에 포함된 각 화소의 RGB값을 미리 정해진 값(예, 255)으로 나눈 값으로 변환할 수 있다.
더 나아가, 진단영상은 그 종류에 따라 이미지의 크기가 다르게 구성될 수 있다. 이를 고려하여, S1120 단계에서, 병변 통합 진단 장치는 진단영상의 크기를 동일한 크기로 리사이징 처리할 수 있다.
S1130 단계에서, 병변 통합 진단 장치는 다양한 질환에 대응되는 진단영상을 입력받고, 이에 대응되는 병변영역을 검출할 수 있는데, 이러한 동작은 병변영역 통합학습모델을 통해 수행될 수 있다. 이때, 병변영역 통합학습모델은 다양한 질환에 대응되는 진단영상을 입력받고, 이에 대응되는 병변영역을 검출하도록 구축된 학습모델일 수 있다. 나아가, 병변영역 통합학습모델은 GAN(General Adversial Networks)을 사용한 지속학습 기반으로 구축된 학습모델일 수 있다.
병변 또는 질환의 특성에 따라, 병변영역의 크기는 다양하게 구성될 수 있으므로, 병변영역의 크기를 균일하게 구성하기 위하여, S1140 단계에서, 병변 통합 진단 장치는 병변영역을 확대 또는 축소하고, 확대 또는 축소된 병변영역의 이미지를 미리 정해진 크기로 재구성할 수 있다.
이후, S1150 단계에서, 병변 통합 진단 장치는 병변영역 이미지의 입력에 대응하여 질환의 종류 및 질환의 중증도를 검출할 수 있으며, 특히, 균일화된 크기의 병변영역 이미지의 입력에 대응하여 질환의 종류 및 질환의 중증도를 검출하도록 학습된 모델을 사용하여 질환의 종류 및 질환의 중증도를 검출할 수 있다. 바람직하게, 중증도 통합학습모델은 균일화된 크기의 병변영역 이미지의 입력에 대응하여 질환의 종류 및 질환의 중증도를 검출하도록 학습된 모델일 수 있다. 나아가, 중증도 통합학습모델은 GAN을 사용한 지속학습 기반으로 학습된 모델을 포함할 수 있다.
예컨대, 병변영역 통합학습모델 및 중증도 통합학습모델은 도 1 내지 도 9을 통해 전술한 병변 통합 학습 장치 또는 도 10을 통해 전술한 병변 통합 학습 방법에 의해 구축된 학습모델일 수 있다.
도 12는 본 개시의 일 실시예에 따른 병변 통합 학습 방법 및 장치와, 병변 진단 방법 및 장치를 실행하는 컴퓨팅 시스템을 예시하는 블록도이다.
도 12를 참조하면, 컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.
프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.
따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
본 개시의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본 개시에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.
본 개시의 다양한 실시예는 모든 가능한 조합을 나열한 것이 아니고 본 개시의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.
또한, 본 개시의 다양한 실시예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
본 개시의 범위는 다양한 실시예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다.

Claims (17)

  1. 병변 검출을 위한 학습모델을 학습하는 장치에 있어서,
    서로 다른 질환의 진단을 위해 촬영된 복수의 진단영상을 입력받고, 상기 복수의 진단영상을 정규화(Normalization)하되, 상기 복수의 진단영상은 제1진단영역을 촬영한 제1진단영상과, 상기 제1진단영역과 다른 제2진단영역을 촬영한 제2진단영상을 포함하는 이미지 정규화부와,
    상기 정규화된 복수의 진단영상의 입력에 대응하여, 병변이 존재하는 병변영역을 학습하되, 상기 병변영역은 상기 제1진단영역에 대응되는 제1병변영역과, 상기 제2진단영역에 대응되는 제2병변영역을 포함하는 병변영역 학습부와,
    상기 병변영역을 기준으로하여 균일화된 병변영역 이미지를 추출하되, 상기 병변영역 이미지는 상기 제1병변영역에 대응되는 제1병변영역 이미지와, 상기 제2병변영역에 대응되는 제2병변영역 이미지를 포함하는 병변 이미지 추출부와,
    상기 균일화된 병변영역 이미지의 입력에 대응하는 상기 질환의 종류 및 상기 질환의 중증도를 학습하는 중증도 통합 학습부를 포함하고,
    상기 중증도 통합 학습부는,
    상기 제1병변영역 이미지에 대한 제1질환의 중증도를 학습하는 제1통합학습모델과,
    상기 제2병변영역 이미지 및 상기 제1통합학습모델의 출력 데이터를 입력받고, 이에 대응되는 제2질환의 중증도를 학습하는 제2통합학습모델을 포함하고,
    상기 제1질환과 상기 제2질환은 서로 다른 질환의 종류인 것을 특징으로 하는 병변 통합 학습 장치.
  2. 제1항에 있어서,
    상기 중증도 통합 학습부는,
    GAN(General Adversial Networks)을 사용한 지속학습 기반의 중증도 통합학습모델을 학습하는 것을 특징으로 하는 병변 통합 학습 장치.
  3. 삭제
  4. 제1항에 있어서,
    상기 중증도 통합 학습부는,
    제3병변영역 이미지, 및 상기 제2통합학습모델의 출력 데이터를 입력받고, 이에 대응되는 제3질환의 중증도를 학습하는 제3통합학습모델을 포함하는 것을 특징으로 하는 병변 통합 학습 장치.
  5. 제1항에 있어서,
    상기 중증도 통합 학습부는,
    상기 제1병변영역 이미지에 대한 상기 제1질환의 중증도를 학습하는 제1통합학습모델과,
    상기 제1통합학습모델에 직렬연결되며, 상기 제2병변영역 이미지 및 상기 제1통합학습모델의 출력 데이터를 입력받고, 이에 대응되는 상기 제2질환의 중증도를 학습하는 제2통합학습모델과,
    상기 제2병변영역 이미지에 대한 상기 제2질환의 중증도를 학습하는 제3통합학습모델과,
    상기 제3통합학습모델에 직렬 연결되며, 상기 제3통합학습모델의 출력 데이터를 입력받고, 이에 대응되는 상기 제1질환의 중증도를 학습하는 제4통합학습모델과,
    상기 제2 및 제4통합학습모델을 통해 각각 출력되는 상기 제1 및 제2 질환 중증도에 대한 앙상블 학습(Ensemble learning)을 수행하는 앙상블 학습부를 포함하는 것을 특징으로 하는 병변 통합 학습 장치.
  6. 제1항에 있어서,
    상기 중증도 통합 학습부는,
    서로 다른 복수의 통합학습모델을 구축하는 복수 통합학습모델 구성부와,
    상기 복수의 통합학습모델의 성능을 확인하고, 상대적으로 우수한 성능을 나타내는 통합학습모델을 선택하는 학습모델 선택부를 포함하는 것을 특징으로 하는 병변 통합 학습 장치.
  7. 제1항에 있어서,
    정규화된 상기 복수의 진단영상의 크기를 미리 정해진 크기로 재구성하는 이미지 리사이징부를 더 포함하는 것을 특징으로 하는 병변 통합 학습 장치.
  8. 제1항에 있어서,
    상기 병변 이미지 추출부는,
    상기 병변영역을 확대 또는 축소하고, 상기 확대 또는 축소된 병변영역의 이미지를 미리 정해진 크기로 재구성하는 이미지 리사이징부를 더 포함하는 것을 특징으로 하는 병변 통합 학습 장치.
  9. 적어도 하나의 프로세서, 사용자 인터페이스 입력 장치, 사용자 인터페이스 출력 장치를 포함하는 전자장치가 병변 검출을 위한 학습모델을 학습하는 방법에 있어서,
    상기 적어도 하나의 프로세서가, 서로 다른 질환의 진단을 위해 촬영된 복수의 진단영상을 입력받고, 상기 복수의 진단영상을 정규화(Normalization)하되, 상기 복수의 진단영상은 제1진단영역을 촬영한 제1진단영상과, 상기 제1진단영역과 다른 제2진단영역을 촬영한 제2진단영상을 포함하는 과정과
    상기 적어도 하나의 프로세서가, 상기 정규화된 복수의 진단영상의 입력에 대응하여, 병변이 존재하는 병변영역을 학습하되, 상기 병변영역은 상기 제1진단영역에 대응되는 제1병변영역과, 상기 제2진단영역에 대응되는 제2병변영역을 포함하는 과정과,
    상기 적어도 하나의 프로세서가, 상기 병변영역을 기준으로하여 균일화된 병변영역 이미지를 추출하되, 상기 병변영역 이미지는 상기 제1병변영역에 대응되는 제1병변영역 이미지와, 상기 제2병변영역에 대응되는 제2병변영역 이미지를 포함하는 과정과,
    상기 적어도 하나의 프로세서가, 상기 균일화된 병변영역 이미지의 입력에 대응하여 상기 질환의 종류 및 상기 질환의 중증도를 학습하는 과정을 포함하고,
    상기 질환의 종류 및 상기 질환의 중증도를 학습하는 과정은,
    상기 제1병변영역 이미지에 대한 제1질환의 중증도를 학습하는 제1통합학습모델을 구축하는 과정과,
    상기 제2병변영역 이미지 및 상기 제1통합학습모델의 출력 데이터를 입력받고, 이에 대응되는 제2질환의 중증도를 학습하는 제2통합학습모델을 구축하는 과정을 포함하고,
    상기 제1질환과 상기 제2질환은 서로 다른 질환의 종류인 것을 특징으로 하는 병변 통합 학습 방법.
  10. 병변 검출을 위한 학습모델을 검출하는 장치에 있어서,
    질환의 진단을 위해 촬영된 복수의 진단영상을 입력받고, 상기 복수의 진단영상을 정규화(Normalization)하되, 상기 복수의 진단영상은 제1진단영역을 촬영한 제1진단영상과, 상기 제1진단영역과 다른 제2진단영역을 촬영한 제2진단영상을 포함하는 이미지 정규화부와,
    병변영역 통합학습모델을 사용하여, 상기 정규화된 복수의 진단영상에 대응되는 병변영역을 검출하되, 상기 병변영역은 상기 제1진단영역에 대응되는 제1병변영역과, 상기 제2진단영역에 대응되는 제2병변영역을 포함하는 병변영역 검출부와,
    상기 병변영역을 기준으로하여 균일화된 병변영역 이미지를 추출하되, 상기 병변영역 이미지는 상기 제1병변영역에 대응되는 제1병변영역 이미지와, 상기 제2병변영역에 대응되는 제2병변영역 이미지를 포함하는 병변 이미지 추출부와,
    상기 균일화된 병변영역 이미지의 입력에 대응되는 상기 질환의 종류 및 상기 질환의 중증도를 검출하도록 학습된 중증도 통합학습모델을 사용하여, 상기 질환의 종류 및 상기 질환의 중증도를 검출하는 중증도 통합 검출부를 포함하고,
    상기 중증도 통합학습모델은,
    상기 제1병변영역 이미지의 입력에 대한 제1질환의 중증도를 출력하는 제1통합학습모델과,
    상기 제2병변영역 이미지 및 상기 제1통합학습모델의 출력 데이터의 입력에 대한, 제2질환의 중증도를 출력하는 제2통합학습모델을 포함하고,
    상기 제1질환과 상기 제2질환은 서로 다른 질환의 종류인 것을 특징으로 하는 병변 통합 진단 장치.
  11. 제10항에 있어서,
    상기 중증도 통합학습모델은,
    GAN(General Adversial Networks)을 사용한 지속학습 기반으로 학습된 모델인 것을 특징으로 하는 병변 통합 진단 장치.
  12. 삭제
  13. 제10항에 있어서,
    상기 중증도 통합 검출부는,
    제3병변영역 이미지, 및 상기 제2통합학습모델의 출력 데이터를 입력받고, 이에 대응되는 제3질환의 중증도를 학습하여 구축된 제3통합학습모델을 포함하는 것을 특징으로 하는 병변 통합 진단 장치.
  14. 제10항에 있어서,
    상기 중증도 통합 검출부는,
    상기 제1병변영역 이미지에 대한 상기 제1질환의 중증도를 학습하여 구축된 제1통합학습모델과,
    상기 제1통합학습모델에 직렬연결되며, 상기 제2병변영역 이미지 및 상기 제1통합학습모델의 출력 데이터를 입력받고, 이에 대응되는 상기 제2질환의 중증도를 학습하여 구축된 제2통합학습모델과,
    상기 제2병변영역 이미지에 대한 상기 제2질환의 중증도를 학습하여 구축된 제3통합학습모델과,
    상기 제3통합학습모델에 직렬 연결되며, 상기 제1병변영역 이미지 및 상기 제3통합학습모델의 출력 데이터를 입력받고, 이에 대응되는 상기 제1질환의 중증도를 학습하여 구축된 제4통합학습모델과,
    상기 제2 및 제4통합학습모델을 통해 각각 출력되는 상기 제1 및 제2 질환 중증도에 대한 앙상블 학습(Ensemble learning)을 수행하여 구축된 앙상블기반 검출부를 포함하는 것을 특징으로 하는 병변 통합 진단 장치.
  15. 제10항에 있어서,
    정규화된 상기 복수의 진단영상의 크기를 미리 정해진 크기로 재구성하는 이미지 리사이징부를 더 포함하는 것을 특징으로 하는 병변 통합 진단 장치.
  16. 제10항에 있어서,
    상기 병변 이미지 추출부는,
    상기 병변영역을 확대 또는 축소하고, 상기 확대 또는 축소된 병변영역의 이미지를 미리 정해진 크기로 재구성하는 이미지 리사이징부를 더 포함하는 것을 특징으로 하는 병변 통합 진단 장치.
  17. 적어도 하나의 프로세서, 사용자 인터페이스 입력 장치, 사용자 인터페이스 출력 장치를 포함하는 전자장치가 학습모델을 사용하여 병변을 진단하는 방법에 있어서,
    상기 적어도 하나의 프로세서가, 질환의 진단을 위해 촬영된 복수의 진단영상을 입력받고, 상기 복수의 진단영상을 정규화(Normalization)하되, 상기 복수의 진단영상은 제1진단영역을 촬영한 제1진단영상과, 상기 제1진단영역과 다른 제2진단영역을 촬영한 제2진단영상을 포함하는 과정과,
    상기 적어도 하나의 프로세서가, 병변영역 통합학습모델을 사용하여, 상기 정규화된 복수의 진단영상에 대응되는 병변영역을 검출하되, 상기 병변영역은 상기 제1진단영역에 대응되는 제1병변영역과, 상기 제2진단영역에 대응되는 제2병변영역을 포함하는 과정과,
    상기 적어도 하나의 프로세서가, 상기 병변영역을 기준으로하여 균일화된 병변영역 이미지를 추출하되, 상기 병변영역 이미지는 상기 제1병변영역에 대응되는 제1병변영역 이미지와, 상기 제2병변영역에 대응되는 제2병변영역 이미지를 포함하는 과정과,
    상기 적어도 하나의 프로세서가, 상기 균일화된 병변영역 이미지의 입력에 대응되는 상기 질환의 종류 및 상기 질환의 중증도를 검출하도록 학습된 중증도 통합학습모델을 사용하여, 상기 질환의 종류 및 상기 질환의 중증도를 검출하는 과정을 포함하고,
    상기 통합학습모델은,
    상기 제1병변영역 이미지의 입력에 대한 제1질환의 중증도를 출력하는 제1통합학습모델과,
    상기 제2병변영역 이미지 및 상기 제1통합학습모델의 출력 데이터의 입력에 대한, 제2질환의 중증도를 출력하는 제2통합학습모델을 포함하고,
    상기 제1질환과 상기 제2질환은 서로 다른 질환의 종류인 것을 특징으로 하는 병변 통합 진단 방법.
KR1020190079000A 2019-07-01 2019-07-01 병변 통합 학습 모델을 구축하는 장치와 방법, 및 상기 병변 통합 학습 모델을 사용하여 병변을 진단하는 장치와 방법 KR102100699B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190079000A KR102100699B1 (ko) 2019-07-01 2019-07-01 병변 통합 학습 모델을 구축하는 장치와 방법, 및 상기 병변 통합 학습 모델을 사용하여 병변을 진단하는 장치와 방법
PCT/KR2020/008583 WO2021002669A1 (ko) 2019-07-01 2020-07-01 병변 통합 학습 모델을 구축하는 장치와 방법, 및 상기 병변 통합 학습 모델을 사용하여 병변을 진단하는 장치와 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190079000A KR102100699B1 (ko) 2019-07-01 2019-07-01 병변 통합 학습 모델을 구축하는 장치와 방법, 및 상기 병변 통합 학습 모델을 사용하여 병변을 진단하는 장치와 방법

Publications (1)

Publication Number Publication Date
KR102100699B1 true KR102100699B1 (ko) 2020-04-16

Family

ID=70454610

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190079000A KR102100699B1 (ko) 2019-07-01 2019-07-01 병변 통합 학습 모델을 구축하는 장치와 방법, 및 상기 병변 통합 학습 모델을 사용하여 병변을 진단하는 장치와 방법

Country Status (2)

Country Link
KR (1) KR102100699B1 (ko)
WO (1) WO2021002669A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112017771A (zh) * 2020-08-31 2020-12-01 吾征智能技术(北京)有限公司 一种基于精液常规检查数据的疾病预测模型的构建方法及系统
US11568538B2 (en) 2021-04-16 2023-01-31 Heuron Co., Ltd. Medical image-based tumor detection and diagnostic device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170140757A (ko) * 2016-06-10 2017-12-21 한국전자통신연구원 임상 의사결정 지원 앙상블 시스템 및 이를 이용한 임상 의사결정 지원 방법
KR20180040287A (ko) * 2016-10-12 2018-04-20 (주)헬스허브 기계학습을 통한 의료영상 판독 및 진단 통합 시스템

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5320335B2 (ja) * 2010-03-31 2013-10-23 富士フイルム株式会社 診断支援システム、診断支援装置、診断支援方法および診断支援プログラム
KR101974786B1 (ko) * 2018-08-17 2019-05-31 (주)제이엘케이인스펙션 뇌동맥류 병변의 특성을 이용한 중증도 및 예후 예측 방법 및 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170140757A (ko) * 2016-06-10 2017-12-21 한국전자통신연구원 임상 의사결정 지원 앙상블 시스템 및 이를 이용한 임상 의사결정 지원 방법
KR20180040287A (ko) * 2016-10-12 2018-04-20 (주)헬스허브 기계학습을 통한 의료영상 판독 및 진단 통합 시스템

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112017771A (zh) * 2020-08-31 2020-12-01 吾征智能技术(北京)有限公司 一种基于精液常规检查数据的疾病预测模型的构建方法及系统
CN112017771B (zh) * 2020-08-31 2024-02-27 吾征智能技术(北京)有限公司 一种基于精液常规检查数据的疾病预测模型的构建方法及系统
US11568538B2 (en) 2021-04-16 2023-01-31 Heuron Co., Ltd. Medical image-based tumor detection and diagnostic device

Also Published As

Publication number Publication date
WO2021002669A1 (ko) 2021-01-07

Similar Documents

Publication Publication Date Title
JP7058373B2 (ja) 医療画像に対する病変の検出及び位置決め方法、装置、デバイス、及び記憶媒体
CN110348541B (zh) 眼底血管图像分类方法、装置、设备及存储介质
Sevastopolsky Optic disc and cup segmentation methods for glaucoma detection with modification of U-Net convolutional neural network
US20240081618A1 (en) Endoscopic image processing
KR102058884B1 (ko) 치매를 진단을 하기 위해 홍채 영상을 인공지능으로 분석하는 방법
KR101857624B1 (ko) 임상 정보를 반영한 의료 진단 방법 및 이를 이용하는 장치
KR102100698B1 (ko) 앙상블 학습 알고리즘을 이용한 인공지능 기반 진단 보조 시스템
EP3921776B1 (en) Method and system for classification and visualisation of 3d images
US9430829B2 (en) Automatic detection of mitosis using handcrafted and convolutional neural network features
JP2020518915A (ja) 自動眼底画像分析用のシステムおよび方法
KR102021515B1 (ko) 뇌혈관 질환 학습 장치, 뇌혈관 질환 검출 장치, 뇌혈관 질환 학습 방법 및 뇌혈관 질환 검출 방법
CN112041912A (zh) 用于诊断肠胃肿瘤的系统和方法
KR20190115713A (ko) 다기능 신경망을 활용한 혈관탐지 및 망막부종진단 장치 및 그 방법
US20210248745A1 (en) System and method for diagnosing disease using neural network performing segmentation
US11854193B2 (en) Validity evaluation device for cancer region detection
KR102100699B1 (ko) 병변 통합 학습 모델을 구축하는 장치와 방법, 및 상기 병변 통합 학습 모델을 사용하여 병변을 진단하는 장치와 방법
US11922624B2 (en) Brain lesion information provision device and method
CN112634231A (zh) 一种图像分类方法、装置、终端设备和存储介质
WO2023014789A1 (en) System and method for pathology image analysis using a trained neural network and active learning framework
Haider et al. Modified Anam-Net Based Lightweight Deep Learning Model for Retinal Vessel Segmentation.
US11521323B2 (en) Systems and methods for generating bullseye plots
CN115115569A (zh) 图像相关的检测方法及检测装置
CN110766651B (zh) 超声设备
CN113379770B (zh) 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置
CN114092427A (zh) 一种基于多序列mri图像的克罗病与肠结核分类方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant