KR102132375B1 - 딥 러닝 모델을 활용한 영상 진단 장치 및 그 방법 - Google Patents

딥 러닝 모델을 활용한 영상 진단 장치 및 그 방법 Download PDF

Info

Publication number
KR102132375B1
KR102132375B1 KR1020190081416A KR20190081416A KR102132375B1 KR 102132375 B1 KR102132375 B1 KR 102132375B1 KR 1020190081416 A KR1020190081416 A KR 1020190081416A KR 20190081416 A KR20190081416 A KR 20190081416A KR 102132375 B1 KR102132375 B1 KR 102132375B1
Authority
KR
South Korea
Prior art keywords
deep learning
learning model
image
classification
medical image
Prior art date
Application number
KR1020190081416A
Other languages
English (en)
Inventor
이문용
박영진
천종기
고영신
Original Assignee
한국과학기술원
(재)씨젠의료재단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원, (재)씨젠의료재단 filed Critical 한국과학기술원
Priority to KR1020190081416A priority Critical patent/KR102132375B1/ko
Priority to JP2021578265A priority patent/JP7304594B2/ja
Priority to BR112022000075A priority patent/BR112022000075A2/pt
Priority to PCT/KR2020/008502 priority patent/WO2021006522A1/ko
Priority to CN202080049224.5A priority patent/CN114127858A/zh
Priority to US17/624,621 priority patent/US20220270756A1/en
Priority to EP20837390.2A priority patent/EP3996103A4/en
Application granted granted Critical
Publication of KR102132375B1 publication Critical patent/KR102132375B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Abstract

본 명세서는 입력된 의료 영상에서 추출된 픽쳐에 대해 정상인데 비정상으로 판단할 확률 분포와 비정상인데 정상으로 판단할 확률 분포에 대해 서로 다른 가중치를 부여한 가중손실함수를 사용한, 학습된 딥 러닝 모델을 이용하여 입력된 의료 영상에 포함된 조직에 대해 질병의 정상 및 비정상 중 하나로 분류하는 딥 러닝 모델을 활용한 영상 진단 장치 및 그 방법을 개시한다.

Description

딥 러닝 모델을 활용한 영상 진단 장치 및 그 방법{DEEP LEARNING MODEL BASED IMAGE DIAGNOSIS APPARATUS AND METHOD THEREOF}
본 명세서는 영상에 포함된 조직에 대해 질병을 진단하는 딥 러닝 모델을 활용한 영상 진단 장치 및 방법을 제공한다.
일반적으로, 영상 진단 장치는, 의사의 진단을 돕기 위하여 의료 영상에서 컴퓨터를 이용하여 자동으로 질병의 유무를 판별하는 기술이다.
일반적인 영상 진단 장치는, 딥 러닝 모델을 적용하여 질병의 유무에 대한 정확도를 높이는 데 치중하고 있으나, 질병의 유무에 대한 정확도를 높이더라도 실질적으로 의사의 진단에 도움을 주지 못하고 있다.
본 실시예들은 영상 진단의 특이도를 높이거나 영상 진단의 민감도를 높 이는 딥 러닝 모델을 활용한 영상 진단 장치 및 그 방법을 제공할 수 있다.
또한, 본 실시예들은 질병에 대한 치료시기를 미루거나 놓치므로 환자에게 치명적인 문제를 야기하는 영상 진단 에러를 최소화하는 딥 러닝 모델을 활용한 영상 진단 장치 및 그 방법을 제공할 수 있다.
일 측면에서, 본 실시예들은 입력된 의료 영상에서 추출된 픽쳐에 대해 정상인데 비정상으로 판단할 확률 분포와 비정상인데 정상으로 판단할 확률 분포에 대해 서로 다른 가중치를 부여한 가중손실함수를 사용한, 학습된 딥 러닝 모델을 이용하여 입력된 의료 영상에 포함된 조직에 대해 질병의 정상 및 비정상 중 하나로 분류하는 딥 러닝 모델을 활용한 영상 진단 장치 및 그 방법을 제공할 수 있다.
다른 측면에서, 본 실시예들은 인체의 조직을 포함하는 의료 영상을 입력받는 영상 입력부, 입력된 의료 영상에서 추출된 픽쳐에 대해 정상인데 비정상으로 판단할 확률 분포와 비정상인데 정상으로 판단할 확률 분포에 대해 서로 다른 가중치를 부여한 가중손실함수를 사용한, 학습된 딥 러닝 모델을 이용하여 입력된 의료 영상에 포함된 조직에 대해 질병의 정상 및 비정상 중 하나로 분류하는 분류부 및 분류부에서 분류한 결과를 출력하는 결과 출력부를 포함하는 딥 러닝 모델을 활용한 영상 진단 장치를 제공할 수 있다.
또 다른 측면에서, 본 실시예들은 인체의 조직을 포함하는 의료 영상을 입력받는 영상 입력 단계, 입력된 의료 영상에서 추출된 픽쳐에 대해 정상인데 비정상으로 판단할 확률 분포와 비정상인데 정상으로 판단할 확률 분포에 대해 서로 다른 가중치를 부여한 가중손실함수를 사용한, 학습된 딥 러닝 모델을 이용하여 입력된 의료 영상에 포함된 조직에 대해 질병의 정상 및 비정상 중 하나로 분류하는 분류 단계 및 분류 단계에서 분류한 결과를 출력하는 결과 출력 단계를 포함하는 딥 러닝 모델을 활용한 영상 진단 방법을 제공할 수 있다.
본 실시예들에 따른 딥 러닝 모델을 활용한 영상 진단 장치 및 그 방법은 영상 진단의 특이도를 높이거나 영상 진단의 민감도를 높일 수 있다.
또한 본 실시예들에 따른 딥 러닝 모델을 활용한 영상 진단 장치 및 그 방법은 질병에 대한 치료시기를 미루거나 놓치므로 환자에게 치명적인 문제를 야기하는 영상 진단 에러를 최소화할 수 있다.
도 1은 본 발명의 일 실시예에 따른 딥 러닝 모델을 활용한 영상 진단 장치의 개념도이다.
도 2는 도 1의 분류부의 개념도이다.
도 3은 도 1의 분류부에서 이용하는 딥 러닝 모델의 구성도이다.
도 4a 및 도 4b는 도 1의 분류부에서 사용하는 딥 러닝 모델이 드롭 아웃 기술을 적용한 경우와 적용하지 않은 경우에 모든 노드들의 연결 상태들을 도시하고 있다.
도 5는 본 발명의 다른 실시예에 따른 딥 러닝 모델을 활용한 영상 진단 장치의 개념도이다.
도 6은 본 발명의 또다른 실시예에 따른 딥 러닝 모델을 활용한 영상 진단 방법의 흐름도이다.
도 7 및 도 8은 실험예 3에 따른 민감도(sensitivity), 특이도(specificity), 정확도(accuracy)을 상대적으로 도시한 도면들이다.
도 9는 본 발명의 또 다른 실시예에 따른 영상 분류 장치의 개념도이다.
이하, 본 개시의 일부 실시예들을 예시적인 도면을 참조하여 상세하게 설명한다. 각 도면의 구성 요소들에 참조부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가질 수 있다. 또한, 본 실시예들을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 기술 사상의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다. 본 명세서 상에서 언급된 "포함한다", "갖는다", "이루어진다" 등이 사용되는 경우 "~만"이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성 요소를 단수로 표현한 경우에 특별한 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함할 수 있다.
또한, 본 개시의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질, 차례, 순서 또는 개수 등이 한정되지 않는다.
구성 요소들의 위치 관계에 대한 설명에 있어서, 둘 이상의 구성 요소가 "연결", "결합" 또는 "접속" 등이 된다고 기재된 경우, 둘 이상의 구성 요소가 직접적으로 "연결", "결합" 또는 "접속" 될 수 있지만, 둘 이상의 구성 요소와 다른 구성 요소가 더 "개재"되어 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다. 여기서, 다른 구성 요소는 서로 "연결", "결합" 또는 "접속" 되는 둘 이상의 구성 요소 중 하나 이상에 포함될 수도 있다.
구성 요소들이나, 동작 방법이나 제작 방법 등과 관련한 시간적 흐름 관계에 대한 설명에 있어서, 예를 들어, "~후에", "~에 이어서", "~다음에", "~전에" 등으로 시간적 선후 관계 또는 흐름적 선후 관계가 설명되는 경우, "바로" 또는 "직접"이 사용되지 않는 이상 연속적이지 않은 경우도 포함할 수 있다.
한편, 구성 요소에 대한 수치 또는 그 대응 정보(예: 레벨 등)가 언급된 경우, 별도의 명시적 기재가 없더라도, 수치 또는 그 대응 정보는 각종 요인(예: 공정상의 요인, 내부 또는 외부 충격, 노이즈 등)에 의해 발생할 수 있는 오차 범위를 포함하는 것으로 해석될 수 있다.
본 발명의 상세한 설명 및 청구항들에 걸쳐 '학습' 혹은 '러닝'은 절차에 따른 컴퓨팅(computing)을 통하여 기계 학습(machine learning)을 수행함을 일컫는 용어인바, 인간의 교육 활동과 같은 정신적 작용을 지칭하도록 의도된 것이 아님을 통상의 기술자는 이해할 수 있을 것이다.
이하 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 딥 러닝 모델을 활용한 영상 진단 장치의 개념도이다. 도 2는 도 1의 분류부의 개념도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 딥 러닝 모델을 활용한 영상 진단 장치(10)는 영상을 입력받는 영상 입력부(12)와, 서로 다른 가중치를 부여한 가중손실함수를 사용한, 학습된 딥 러닝 모델로 영상을 분류하는 분류부(14), 분류부(14)에서 분류한 결과를 출력하는 결과 출력부(16)을 포함한다.
영상 입력부(12)는 생물의 조직, 예를 들어 인체의 조직을 포함하는 의료 영상을 입력받을 수 있다. 예를 들어, 영상 입력부(12)는 인체의 조직에 대해 의료 영상을 촬영하고, 촬영된 영상들을 저장하는 의료 영상 시스템으로부터 의료 영상을 수신할 수 있다.
의료 영상은 인체의 조직, 예를 들어 간, 위, 심장, 소장, 대장 등일 수 있다. 또한 질병은 암, 염증, 골절 등일 수 있다. 본 명세서에서는, 의료 영상은 인체의 대장에서 촬영한 영상이며, 질병은 대장암인 것을 예시적으로 설명하나, 본 발명은 이에 제한되지 않는다.
본 명세서에서 딥 러닝 모델(deep learning model)은 인공 신경망을 다층 레이어로 쌓은 형태일 수 있다. 즉, 딥 러닝 모델(deep learning model)은 다층의 네트워크로 이루어진 심층 신경망(deep neural network)에서 다량의 데이터를 학습시킴으로써 각각의 영상의 픽쳐를 자동으로 학습하고, 이를 통해 목적 함수, 즉 예측 정확도의 에러(error)를 최소화시키는 방법으로 네트워크를 학습시켜 나아가는 형태이다.
본 명세서에서 딥 러닝 모델(deep learning model)은 예를 들어 CNN(Convolutional Neural Network), DHN(Deep Hierachical Network), CDBN(Convolutional Deep Belief Network), DDN(Deconvolutional Deep Network) 등을 이용할 수 있으나, 현재 또는 장래 다양한 딥 러닝 모델을 이용할 수 있다. 본 명세에서 CNN 기반 딥 러닝 모델을 이용하는 것으로 예시적으로 설명하나 본 발명은 이에 제한되지 않고 현재 또는 장래 다양한 딥 러닝 모델을 이용할 수 있다.
프레임워크는 딥 러닝 모델을 개발할 때 공통적으로 사용되는 기능들을 미리 만들어 라이브러리 형태로 제공하고, 운영체제 수준 아래의 시스템 소프트웨어나 하드웨어 플랫폼을 잘 사용할 수 있도록 해 주는 역할을 한다. 본 실시예에서 딥 러닝 프레임워크는 현재 공개되었거나 장래 공개될 어떠한 프레임워크를 이용하여 딥 러닝 모델을 개발할 수 있다.
일반적으로 의학에서, 특히 진단 검사 의학 또는 예방 의학에서 영상 진단의 척도로 정확도(accuracy)와 민감도(sensivity), 특이도(speficity) 등의 개념이 중요하다.
즉, 표 1과 같이, 검사결과 양성인데, 실제로 질병이 있는 경우를 진양성(true positive), 실제로 질병이 없는 경우를 위양성(false positive)이라고 한다. 검사결과 음성인데, 실제로 질병이 있는 경우를 위음성(false negative), 실제로 질병이 없는 경우를 진음성(true negative)이라고 한다. 위양성과 위음성은 각각 진단 결과 예러로 전자를 타입 I 에러(type I error), 후자를 타입 II 에러(type II error)라고 한다.
질병이 있음(환자) 질병이 없음(정상인)
검사결과 양성 진양성(true positive) 위양성(false positive)
검사결과 음성 위음성(false negative) 진음성(true negative)
이때 정확도와 특이도, 민감도를 수학식으로 표현하면 수학식 1 내지 3과 같다.
[수학식 1]
Figure 112019069230420-pat00001
[수학식 2]
Figure 112019069230420-pat00002
[수학식 3]
Figure 112019069230420-pat00003
일반적으로 딥 러닝 모델은 영상 진단을 위해 해당 조직에 병이 있는지 없는지 분류하는데 활용될 수 있다. 일반적인 딥 러닝 모델은 영상 진단을 위해 해당 조직에 병이 있는지 없는지 분류할 때 영상 진단의 정확도만 높이는 데 집중하고 있다.
영상 진단의 정확도를 높이는 것은 전술한 타입 I 에러와 타입 II 에러를 동시에 최소화하는 것이다. 타입 I 에러를 최소화하는 것은 특이도를 높이는 것이고 타입 II 에러를 최소화하는 것은 민감도를 높이는 것이다.
일반적인 딥 러닝 모델은 전술한 바와 같이 영상 진단의 정확도만 높이는 데 집중하므로 영상 진단의 민감도를 높이는 데 집중하거나 영상 진단의 특이도를 높이는 데 집중할 수 없었다.
분류부(14)는 영상 진단의 민감도를 높이는 데 집중하거나 영상 진단의 특이도를 높이는 데 집중하는 가중손실함수 기반의 딥 러닝 모델을 이용하여 영상 진단을 수행한다.
특히, 영상 진단 검사에서 환자 치료를 위해서는 위양성인 타입 I 에러보다 위음성인 타입 II 에러를 최소화하는 것이 휠씬 더 중요할 수 있다. 왜냐하면, 영상 진단 검사에서 질병이 없는 것으로 영상 진단 결과가 나왔으나 실제로 질병이 있는 환자는 그 질병에 대한 치료시기를 미루거나 놓치므로 환자에게 치명적인 문제를 야기할 수 있다.
예를 들어, 분류부(14)는 영상 진단의 민감도를 높이는 데 집중하는 가중손실함수 기반의 딥 러닝 모델을 이용하여 영상 진단을 수행할 수 있다.
도 2를 참조하면, 분류부(14)는 서로 다른 가중치를 부여한 가중손실함수(weight loss function)를 사용한, 학습된 딥 러닝 모델(deep learning model)을 이용하여 입력된 의료 영상에 포함된 조직에 대해 질병의 정상(normal) 및 비정상(abnormal) 중 하나로 분류한다.
일반적으로 딥 러닝 모델의 목표는 인공 신경망 형태의 모델을 통해 입력에 대한 어떤 확률적인 예측을 하는 것이며 이 예측이 실제값(ground-truth) 확률과 최대한 유사하게 모델 파라미터를 조정하는 것이다. 예를 들어, 실제값 확률은 y=(1.0, 0.0)인데 딥 러닝 모델의 예측이 Y=(0.4, 0.6)이었다면 모델 파라미터는 Y가 좀더 y에 '가까운' 값을 갖을 수 있도록 조정되어야 한다. 여기서 '가까운”을 판단하는 척도, 다르게 말하자면 다른 지를 판단하는 방법이 필요하게 된다. 딥 러닝 분야에서 이를 위해 손실함수를 정의하고 있다. 예를 들어, 딥 러닝 분야에서 수학식 4와 같이 다양한 손실함수가 사용될 수 있다.
[수학식 4]
손실함수(loss function) =
L(abnormal | normal) + L(normal | abnormal)
수학식 4에서 L(abnormal | normal)은 정상인데 비정상으로 판단할 확률 분포이다. L(normal | abnormal)는 비정상인데 정상으로 판단할 확률 분포이다.
전술한 바와 같이, 분류부(14)는 영상 진단의 특이도를 높이는 데 집중하거나 영상 진단의 정확도를 높이는 데 집중하는 가중손실함수 기반의 딥 러닝 모델을 이용하여 영상 진단을 수행한다.
즉 분류부(14)에 사용하는 손실함수는 정상인데 비정상으로 판단할 확률 분포(L(abnormal | normal))와 는 비정상인데 정상으로 판단할 확률 분포L(normal | abnormal)에 서로 다른 가중치들(을 부여한 가중손실함수(weighted loss function) 일 수 있다.
다시 말해, 분류부(14)에 사용하는 가중손실함수(weight loss function)는, 수학식 5와 같이, 입력된 의료 영상에서 추출된 픽쳐에 대해 정상인데 비정상으로 판단할 확률 분포와 비정상인데 정상으로 판단할 확률 분포에 대해 서로 다른 가중치들(W1, W2, W1≠W2)를 부여한 가중손실함수일 수 있다.
[수학식 5]
가중손실함수(weighted loss function) =
W1 *L(abnormal | normal) + W2*L(normal | abnormal)
수학식 5에서 W1은 정상인데 비정상으로 판단할 확률 분포에 부여한 제1가중치이다. W2는 비정상인데 정상으로 판단할 확률 분포에 부여한 제2가중치이다. W1, W2는 0보다 큰 실수이다.
특히, 일반적으로 딥 러닝 분야의 분류 문제에서는 다음 수학식 6과 같은 크로스 엔트로피(cross entropy)를 일반적으로 사용한다.
[수학식 6]
Figure 112019069230420-pat00004
수학식 6에서 y i ={0(normal), 1(abnormal)}이고,
Figure 112019069230420-pat00005
는 각 모델이 추정한 추정치로 0 내지 1의 실수이다.
수학식 6에 크로스 엔트로피(cross entropy)를 수학식 5에 가중손실함수에 적용하면 수학식 7과 같이 정리할 수 있다.
[수학식 7]
가중손실함수(weighted loss function) =
Figure 112019069230420-pat00006
수학식 7에서, y i ={0(normal), 1(abnormal)}이고,
Figure 112019069230420-pat00007
는 각 모델이 추정한 추정치로 0 내지 1의 실수이다.
전술한 바와 같이, 진단 검사에서 환자 치료를 위해서는 위양성인 타입 I 에러보다 위음성인 타입 II 에러를 최소화하는 것이 휠씬 더 중요할 수 있다.
영상 진단의 정확도를 높이는 데 집중하기 위해, 가중손실함수(weight loss function)는 비정상인데 정상으로 판단할 확률 분포에 부여한 제2가중치 W2가, 정상인데 비정상으로 판단할 확률 분포에 부여한 제1가중치 W1(W1<W2)보다 클 수 있다.
계산을 쉽게 하기 위해, 제1가중치 W1과 제2가중치 W2는 자연수일 수 있다. 예를 들어 제1가중치 W1은 1이고, 제2가중치 W2가 1보다 큰 자연수일 수 있다.
도 3은 도 1의 분류부에서 이용하는 딥 러닝 모델의 구성도이다.
도 3을 참조하면, 분류부(14)에서 이용하는 딥 러닝 모델은 입력된 의료 영상에서 컨벌루션(convolution)과 서브샘플링(subsampling)을 수행하여 의료 영상에 대한 픽쳐(feature)를 추출하는 픽쳐 추출 영역(feature extraction part, 142)과, 추출된 픽쳐에 대해 가중손실함수를 사용하여 입력된 의료 영상에 대한 분류를 수행하는 분류 영역(classification part, 144)을 포함한다.
컨벌루션(convolution)은 컨볼루션 레이어(convolution lalyer)에서 의료영상의 각 영역을 복수의 필터를 이용하여 픽쳐 맵(feature map)를 만들어낸다. 서브샘플링(subsampling) 또는 폴링(pooling)은 서브샘플링 레이어(subsampling layer)에서 픽쳐 맵(feature map)의 크기를 줄여 위치나 회전의 변화에 불변하는 의료 영상에 대한 픽쳐(feature)를 추출한다.
픽쳐 추출 영역(142)은 컨벌루션(convolution) 및/ 또는 서브샘플링(subsampling)을 반복함으로써 의료영상에서 점, 선, 면 등의 저수준의 픽쳐에서부터 복잡하고 의미 있는 고수준의 픽쳐까지 다양한 수준의 픽쳐를 추출할 수 있다.
분류 영역(144)은 픽쳐 추출 영역(142)에서 최종적으로 추출된 픽쳐를 수학식 7의 가중손실함수에 대한 입력값으로서 이용한다.
딥 러닝 모델, 예를 들어 CNN 기반 딥 러닝 모델은 픽쳐 추출 영역(142)과 분류 영역(classification part, 144)에서 각 개별 레이어에 존재하는 파라미터를 최적으로 학습시키는 것을 목표로 한다. 딥 러닝 모델에서는 데이터의 순서가 초기 파라미터의 값을 결정하게 된다.
딥 러닝 모델은 랜덤 샘플링(데이터 순서 랜덤)과 규제화 기술(regulation technique)을 적용할 수 있다. 랜덤 샘플링은 학습 데이터 셋에서 학습되는 학습 데이터들의 순서가 다르다는 것을 의미한다.
규제화 기술은 노이즈까지 포함된 학습 데이터에 과도하게 학습된 딥 러닝 모델이 테스트나 진단에서 정확성이 오히려 떨어지는 오버피팅을 줄이는 기술이다. 규제화 기술은 예를 들어 드롭 아웃 기술이나 드롭 커넥티드 기술 등일 수 있다.
드롭 아웃 기술은 특정 노드에 대해 확률적으로 파라미터의 값을 0으로 지정하고 학습시키는 방법이다. 드롭 커넥티드 기술은 노드들 간의 커넥티드를 드롭하고 학습시키는 방법이다. 이하에서 규제화 기술로 이하에서, 드롭 아웃 기술을 예시적으로 설명하나, 현재 또는 장래에 오버피팅을 줄이는 어떠한 기술 또는 알고리즘일 수 있다.
도 4a 및 도 4b는 도 1의 분류부에서 사용하는 딥 러닝 모델이 드롭 아웃 기술을 적용한 경우와 적용하지 않은 경우에 모든 노드들의 연결 상태들을 도시하고 있다. 도 4b에서
Figure 112019069230420-pat00008
은 각 레이어에서 제거된 노드를 의미한다.
도 4b를 참조하면, 분류부(14)에서 사용하는 딥 러닝 모델은, 학습 데이터로 학습할 때, 각 레이어에 있는 노드를 특정 확률 p로 제거하여 학습시키고, 학습이 완료되고 실제 영상을 분류할 때에는 원래대로 모든 노드를 고려하고 노드마다 가지고 있는 가중치를 확률 p에 곱한 드롭 아웃 기술을 적용할 수 있다.
드롭 아웃 기술은, 딥 러닝 모델이 학습할때, 랜덤하게 각 레이어에 있는 노드를 제거하여 학습을 방해함으로써, 학습이 학습 데이터에 치우치는 오버피팅(over-fit)을 막아줄 수 있다.
도 5는 본 발명의 다른 실시예에 따른 딥 러닝 모델을 활용한 영상 진단 장치의 개념도이다.
도 5를 참조하면, 본 발명의 다른 실시예에 따른 딥 러닝 모델을 활용한 영상 진단 장치(110)는 영상을 입력받는 영상 입력부(미도시)와, 서로 다른 가중치를 부여한 가중손실함수를 사용한, 학습된 둘 이상의 딥 러닝 모델들로 각각 영상을 분류하는 분류부(114), 분류부(114)에서 둘 이상의 딥 러닝 모델들(DEEP LEARNING Model 1 내지 N, N은 2보다 큰 자연수)에서 분류한 결과들을 조합하여 최종 결과를 출력하는 결과 출력부(116)을 포함한다.
영상 입력부(미도시)는 도 1 및 도 2를 참조하여 설명한 영상 입력부(12)와 동일할 수 있다.
분류부(114)는 학습된 둘 이상의 딥 러닝 모델들로 각각 영상을 분류하여 둘 이상의 딥 러닝 모델들에서 분류한 결과를 출력한다. 분류부(114)는 도 3을 참조하여 설명한 피쳐 추출 영역(142)와 분류 영역(144)를 포함하는 분류부(14)를 둘 이상 포함하거나, 피쳐 추출 영역(142)와 분류 영역(144)를 포함하는 딥 러닝 모델들을 둘 이상 포함하는 것으로 이해할 수 있다.
딥 러닝 모델들의 전부 또는 일부는, 도 4a 및 도 4b를 참조하여 전술한 드롭 아웃 기술을 적용할 수 있다.
둘 이상의 딥 러닝 모델들은 서로 다른 딥 러닝 모델들일 수 있다. 따라서, 서로 다른 딥 러닝 모델들은 동일한 가중실수함수를 이용하여 영상을 분류하더라도 서로 다른 민감도 또는 특이도를 나타낼 수 있다.
일예로, 딥 러닝 모델들의 적어도 일부는 동일한 하나의 딥 러닝 모델을 사용하되, 하나의 딥 러닝 모델에 대해 학습에 사용된 학습 데이터들의 개수나 순서를 조절하여 학습한 딥 러닝 모델일 수 있다.
다른 예로, 딥 러닝 모델들의 적어도 일부는 동일한 하나의 딥 러닝 모델을 사용하되, 서로 다른 드롭 아웃 기술을 적용한 딥 러닝 모델일 수 있다.
본 실시예는 랜덤 샘플링(데이터 순서 랜덤)과 드롭 아웃 기술을 적용하여 딥 러닝 모델들을 생성할 수 있다.
다른 예로, 딥 러닝 모델의 적어도 일부는 레이어의 뎁스 또는 레이어들의 개수가 다른 딥 러닝 모델일 수 있다. 예를 들어, 하나의 딥 러닝 모델은 레이어의 뎁스 또는 레이어들의 개수가 35개이고, 다른 하나의 딥 러닝 모델은 레이어의 뎁스 또는 레이어들의 개수가 35개일 수 있다.
전술한 바와 같이, 둘 이상의 딥 러닝 모델들은 구조적으로 동일한 하나의 딥 러닝 모델을 사용하여 서로 다른 두개 이상의 딥 러닝 모델들을 생성한 경우나 구조적으로 다른 딥 러닝 모델들을 생성한 경우, 이들의 조합을 포함할 수 있다.
결과 출력부(116)는, 둘 이상의 딥 러닝 모델들의 분류 결과들을 앙상블시켜 의료 영상에 포함된 조직에 대해 질병의 정상 및 비정상 중 하나로 분류하여 최종 결과를 출력한다.
전술한 바와 같이 딥 러닝 모델들은 서로 다르기 때문에 서로 다른 민감도 또는 특이도를 나타낼 수 있다. 따라서 딥 러닝 모델들의 분류 결과들을 앙상블시키므로 민감도를 더욱 높이거나 특이도를 더욱 높일 수 있다.
결과 출력부(116)는, 둘 이상의 딥 러닝 모델들의 분류 결과들을 다수결 기반의 앙상블, 만장일치 기반의 앙상블, 불확실성 기반의 앙상블 중 하나 또는 둘 이상을 기초로 앙상블시켜 의료 영상에 포함된 조직에 대해 질병의 정상 및 비정상 중 하나로 분류하여 최종적으로 분류 결과를 출력할 수 있다.
딥 러닝 모델들은 매우 유연한 비선형 알고리즘들(highly flexible nonlinear algorithms)을 사용한다. 따라서, 딥 러닝 모델들의 결과값들은 큰 편차를 나타낼 수 있다. 딥 러닝 모델들의 분류 결과들을 다수결 기반의 앙상블, 만장일치 기반의 앙상블, 불확실성 기반의 앙상블 중 하나 또는 둘 이상을 기초로 앙상블시킨 딥 러닝 모델들의 결과값, 즉 분류 결과들의 편차를 줄여줄 수 있다.
다시 말해 각 딥 러닝 모들들은 학습방식, 예를 들어 샘플링 순서, 드롭 아웃의 랜덤성에 따라 내부 파라미터가 다르게 학습된다. 같은 데이터, 같은 딥 러닝 모델들을 사용하여 각각 학습하더라고 딥 러닝 모델 별로 다른 결과를 나타낼 수 있다. 따라서, 하나의 딥러닝 모델을 사용하는 것은 판단 착오의 위험이 따를 수 있습니다. 그러므로 본 실시예는 다양한 딥러닝 모델들을 생성하고 앙상블 기법을 통해 판단 착오의 위험을 최소화할 수 있다.
결과 출력부(116)는 둘 이상의 딥 러닝 모델들의 분류 결과들을 앙상블시키는 앙상블 모델(Ensemble Model)로 다수결 기반의 앙상블, 만장일치 기반의 앙상블, 불확실성 기반의 앙상블을 적용할 수 있다.
앙상블 모델에서 다수결 기반 앙상블은 둘 이상의 딥 러닝 모델들의 분류 결과들 중 다수결로 최종 분류 결과를 결정하는 것이다. 예를 들어, 딥 러닝 모델들의 개수가 5개인 경우, 3개의 딥 러닝 모델들의 분류 결과들은 정상(normal)이고 두개의 딥 러닝 모델들의 분류 결과는 비정상(abnormal)인 경우 결과 출력부(116)는 다수의 분류 결과인 정상으로 최종 분류 결과를 출력할 수 있다.
딥 러닝 모델들의 분류 결과들을 앙상블시키는 데 사용되는 딥 러닝 모델들의 개수는 둘 이상으로 제한되지 않으나, 다수결로 최종 분류 결과를 결정하기 위해 홀수일 수 있다.
앙상블 모델에서 만장일치 기반 앙상블은 만장일치인 분류 결과를 최종적인 분류 결과로 출력하는 것이다.
예를 들어, 전술한 예에서 5개의 딥 러닝 모델들의 분류 결과들이 모두 정상(normal)인 경우 출력부(116)는 다수의 분류 결과인 정상으로 최종 분류 결과를 출력할 수 있다. 다른 예를 들어, 전술한 예에서 5개의 딥 러닝 모델들의 분류 결과들이 모두 비정상(abnormal)인 경우 출력부(116)는 다수의 분류 결과인 비정상으로 최종 분류 결과를 출력할 수 있다.
전술한 바와 같이, 3개의 딥 러닝 모델들의 분류 결과들은 정상(normal)이고 두개의 딥 러닝 모델들의 분류 결과는 비정상(abnormal)일 수 있다. 앙상블 모델로 만장일치 기반 앙상블을 적용한 결과 출력부(116)는 가중손실함수의 가중치의 상대적인 크기를 반영하여 최종적으로 분류 결과를 결정할 수 있다.
예를 들어 가중손실함수에서 제2가중치 W2가 제1가중치 W1보다 큰 경우, 비정상인데, 정상이라고 하는 것이 더 위험할 수 있다. 하나의 딥 러닝 모델이라도 비정상이라고 판단하면 결과 출력부(116)는 비정상으로 최종적으로 분류 결과를 결정할 수 있다.
반대로 가중손실함수에서 제1가중치 W1가 제2가중치 W2보다 큰 경우, 정상인데, 비정상이라고 하는 것이 더 위험할 수 있다. 하나의 모델이라도 정상이라고 판단하면 결과 출력부(116)는 정상으로 최종적으로 분류 결과를 결정할 수 있다.
앙상블 모델로 불확실성 기반의 앙상블은 둘 이상의 딥 러닝 모델들의 분류 결과들의 통계값을 통해 최종적인 분류 결과를 결정하는 것이다.
딥 러닝 분야에서 불확실성이라 함은, 딥 러닝 모델이 완벽하지 않거나 데이터가 완전하지 않을 때, 딥 러닝 모델 학습에서 생길 수 있는 다양한 문제를 고려하여 결과를 확률적으로 제시해야 하는 것을 의미한다.
전술한 바와 같이, 딥 러닝 모델을 생성하는 초기에 드롭 아웃 기술로 임의적으로 노드를 제거하여 테스트를 여러번 실시하고, 이를 통해 나오는 결과들의 통계적인 값을 통해 확률적으로 불확실성을 추정할 수 있다.
하지만, 이러한 방법은 한번 테스트를 하는 경우, 예를 들어 100번 이상의 테스트를 통해 결과의 통계적인 값으로 확률을 추정하므로 에너지 소모가 크다는 단점이 있다. 즉, 이러한 과정을 딥 러닝 모델의 학습 과정에도 적용되어, 학습 시간이 굉장히 오래 걸릴 수 있다.
따라서, 하나의 딥 러닝 모델에서 드롭 아웃 기술을 적용해서 다양한 결과 값을 산출하는 것이 아닌, 처음부터 랜덤 샘플링과 드롭 아웃 기술을 여러 딥 러닝 모델들을 생성하고 이들의 통계값(앙상블로 합계된 분류 결과)으로 불확실성 또는 불확실성 값을 얻을 수 있다.
본 실시예는 랜덤 샘플링과 드롯아웃을 통해 둘 이상의 딥 러닝 모델들을 생성하고 둘 이상의 딥 러닝 모델들로부터 이 결과값들, 즉 분류 결과들을 앙상블하여 불확실성 값을 나타낼 수 있다.
불확실성 기반의 앙상블은 평균 신뢰도(confidence average) 또는 표준편차 (standard deviation) 중 하나를 이용하여 둘 이상의 딥 러닝 모델들의 분류 결과들을 앙상블시킬 수 있다.
평균 신뢰도 Θ값은 불확실성 값이 아닌, 단순 앙상블 값이며, 표준편차 σ값은 불확실성을 나타내는 지표중의 하나이다.
평균 신뢰도 Θ값 또는 표준편차 σ값을 낮출수록 최종적인 분류 결과의 민감도를 높이거나 또는 특이도를 낮출 수 있다. 이와 관련하여 실험예 4 및 5에서 수학식 7의 가중손실함수에서 W1:W2=1:50을 적용한 경우 평균 신뢰도 Θ값 또는 표준편차 σ값을 낮출수록 최종적인 분류 결과의 민감도를 높일 수 있음을 실험적으로 증명한다.
이상 도 1 내지 도 5를 참조하여 본 발명의 실시예들에 따른 딥 러닝 모델을 활용한 영상 진단 장치(10, 110)을 설명하였다. 이하에서 도 6을 참조하여 본 발명의 또 다른 실시예에 따른 딥 러닝 모델을 활용한 영상 진단 방법을 설명한다.
도 6은 본 발명의 또다른 실시예에 따른 딥 러닝 모델을 활용한 영상 진단 방법의 흐름도이다.
도 6을 참조하면, 또다른 실시예에 따른 딥 러닝 모델을 활용한 영상 진단 방법(200)은 인체의 조직을 포함하는 의료 영상을 입력받는 영상 입력 단계(S210), 입력된 의료 영상에서 추출된 픽쳐에 대해 정상인데 비정상으로 판단할 확률 분포와 비정상인데 정상으로 판단할 확률 분포에 대해 서로 다른 가중치를 부여한 가중손실함수를 사용한, 학습된 딥 러닝 모델을 이용하여 입력된 의료 영상에 포함된 조직에 대해 질병의 정상 및 비정상 중 하나로 분류하는 분류 단계(S220) 및 분류 단계(S220)에서 분류한 결과를 출력하는 결과 출력 단계를 포함한다.
도 3을 참조하여 설명한 바와 같이, 딥 러닝 모델은 입력된 의료 영상에서 컨벌루션과 서브샘플링을 수행하여 의료 영상에 대한 픽쳐를 추출하는 픽쳐 추출 영역과, 추출된 픽쳐에 대해 가중손실함수를 사용하여 입력된 의료 영상에 대한 분류를 수행하는 분류 영역을 포함할 수 있다.
수학식 4 내지 7을 참조하여 설명한 바와 같이, 가중손실함수에서 비정상인데 정상으로 판단할 확률 분포에 부여한 제2가중치가, 정상인데 비정상으로 판단할 확률 분포에 부여한 제1가중치보다 클 수 있다.
도 5를 참조하여 설명한 바와 동일하게, 딥 러닝 모델의 개수는 둘 이상일 수 있다. 결과 출력 단계(S230)에서, 둘 이상의 딥 러닝 모델들의 분류 결과들을 앙상블시켜 의료 영상에 포함된 조직에 대해 질병의 정상 및 비정상 중 하나로 분류한 분류 결과를 출력할 수 있다.
도 5를 참조하여 딥 러닝 모델을 활용한 영상 진단 장치(110)에서 전술한 바와 같이, 딥 러닝 모델들의 전부 또는 일부는, 학습 데이터로 학습할 때, 각 레이어에 있는 노드를 특정 확률 p로 제거하여 학습시키고, 학습이 완료되고 테스트를 할 때에는 원래대로 모든 노드를 고려하고 노드마다 가지고 있는 가중치를 이 확률 p을 곱한 드롭 아웃 기술을 적용할 수 있다.
딥 러닝 모델들의 적어도 일부는 동일한 하나의 딥 러닝 모델을 사용하되, 하나의 딥 러닝 모델에 대해 학습에 사용된 학습 데이터들의 개수나 순서를 조절하여 학습할 수 있다.
딥 러닝 모델의 적어도 일부는 레이어의 뎁스 또는 레이어들의 개수가 다른 딥 러닝 모델과 다를 수 있다.
결과 출력 단계(S230)에서, 둘 이상의 딥 러닝 모델들의 분류 결과들을 다수결 기반의 앙상블, 만장일치 기반의 앙상블, 불확실성 기반의 앙상블 중 하나 또는 둘 이상을 기초로 앙상블시켜 의료 영상에 포함된 조직에 대해 질병의 정상 및 비정상 중 하나로 분류하여 최종적으로 분류 결과를 출력할 수 있다.
불확실성 기반의 앙상블은 평균 신뢰도 또는 표준편차 중 하나를 이용하여 둘 이상의 딥 러닝 모델들의 분류 결과들을 앙상블시킬 수 있다.
의료 영상은 인체의 조직, 예를 들어 간, 위, 심장, 소장, 대장 등일 수 있다. 또한 질병은 암, 염증, 골절 등일 수 있다. 예를 들어 의료 영상은 인체의 대장에서 촬영한 영상이며, 질병은 대장암일 수 있다.
전술한 바와 같이, 일반적인 딥 러닝 모델은 영상 진단을 위해 해당 조직에 병이 있는지 없는지 분류할 때 영상 진단의 정확도만 높이는 데 집중하고 있다. 반면에, 전술한 본 발명의 실시예들에 따른 딥 러닝 모델을 활용한 영상 진단 장치 및 그 방법은 서로 다른 가중치를 부여한 가중손실함수 기반의 딥 러닝 모델을 이용하므로 영상 진단의 특이도를 높이거나 영상 진단의 민감도를 높일 수 있다.
전술한 본 발명의 실시예들에 따른 딥 러닝 모델을 활용한 영상 진단 장치 및 그 방법은 서로 다른 가중치를 부여한 가중손실함수 기반의 딥 러닝 모델을 이용하므로 질병에 대한 치료시기를 미루거나 놓치므로 환자에게 치명적인 문제를 야기하는 위음성인 타입 II 에러를 최소화할 수 있는 효과가 있다.
전술한 본 발명의 실시예들에 따른 딥 러닝 모델을 활용한 영상 진단 장치 및 그 방법은 둘 이상의 딥 러닝 모델들의 분류 결과를 앙상블하므로 영상 진단의 특이도를 더욱 높이거나 영상 진단의 민감도를 더욱 높일 수 있다.
이하, 본 발명의 실시예들에 따른 딥 러닝 모델을 활용한 영상 진단 장치 및 그 방법을 적용한 실험예들을 통해 질병에 대한 치료시기를 미루거나 놓치므로 환자에게 치명적인 문제를 야기하는 위음성인 타입 II 에러를 최소화하도록 영상 진단의 민감도를 더욱 높일 수 있음을 증명한다.
실험예 1
개별 딥 러닝 모델은 resisual networks를 활용하여, densenet 35를 사용하였다. 드롭 아웃 기술은 분류 레이어(classification Layer) 또는 분류 영역(도 3에서 144)에 p=0.5 확률을 적용하였다.
Output Size DenseNet35
Convolution 128x128 7 × 7 conv, stride 2
Pooling 64x64 3 × 3 max pool, stride 2
Dense Block (1) 64x64 [ 1 x 1 conv, 3 x 3 conv ] x 2
Transition Layer (1) 64x64 1 × 1 conv
32x32 2 × 2 average pool, stride 2
Dense Block (2) 32x32 [ 1 x 1 conv, 3 x 3 conv ] x 3
Transition Layer (2) 32x32 1 × 1 conv
16x16 2 × 2 average pool, stride 2
Dense Block (3) 16x16 [ 1 x 1 conv, 3 x 3 conv ] x 5
Transition Layer (3) 16x16 1 × 1 conv
8x8 2 × 2 average pool, stride 2
Dense Block (4) 8x8 [ 1 x 1 conv, 3 x 3 conv ] x 3
Transition Layer (4) 8x8 1 × 1 conv
4x4 2 × 2 average pool, stride 2
Dense Block (5) 4x4 [ 1 x 1 conv, 3 x 3 conv ] x 2
classification Layer 4x4 4 × 4 global average pool
1x1 2D fully-connected
실험예 1에서 사용한 Densenet(Densely Connected Convolutional Networks)은 2016년에 Gao Huang 등이 논문(https :// arxiv . org /abs/1608. 06993)을 통해 발표한 CNN 모델들 중 하나이다. Densenet은 입력값을 계속해서 출력값의 채널 방향으로 합쳐주는 덴스 커넥티비티(Dense connectivity)를 제안했다. 표 2에서 트랜지션 레이어(Transition Layer)는 컨볼루션 레이어(convolution lalyer)와 서브샘플링 레이어(subsampling layer)를 통칭한 것이다. 트랜지션 레이어(Transition Layer)를 통과하면 픽쳐맵의 크기가 줄어든다.
Densenet에서 덴스 커넥티비티(Dense connectivity)를 적용하기 위해서는 픽쳐맵의 크기가 동일할 수 있다. 같은 픽쳐맵 크기를 공유하는 연산을 모아서 덴스 블록(dense block)을 구성하고 이 안에서 덴스 커넥티비티(Dense connectivity)를 적용한다.
만약 덴스 블록(dense block)을 모두 통과한 픽쳐맵의 개수가 m개라면 트랜지션 레이어를 거치면 θm개(0<θ≤1)가 된다. 여기서 θ값은 지정해주는 하이퍼파라미터(hyper parameter)이다. 만약 1이라면 픽쳐맵의 갯수는 변하지 않고 그대로 계속 쌓여나간다.
수학식 7의 가중손실함수에서 표 3에 나타낸 바와 같이, 제1가중치 W1의 값을 고정한 상태에서 제2가중치 W2의 값을 조정하면서 개별 딥 러닝 모델을 생성하였다(프레임워크의 1단계 테스트).
Weight W1 W2
1 1 1
2 1 2
3 1 3
4 1 4
5 1 5
6 1 10
7 1 15
8 1 20
9 1 25
10 1 30
11 1 35
12 1 40
13 1 45
14 1 50
15 1 55
16 1 60
17 1 65
18 1 70
19 1 75
20 1 80
21 1 85
22 1 90
23 1 95
24 1 100
먼저, 제1가중치 W2의 값을 표 3에 2 내지 100으로 조정하고 표 4에서 학습 데이터들을 활용하여 다른 딥 러닝 모델들을 생성하였다(프레임워크의 2단계 테스트).
NORMAL ABNORMAL
Train 3536 3575
Validation 401 401
Test 340 340
생성한 다른 딥 러닝 모델들을 테스트한 결과는 다음 표 5와 같았다.
Figure 112019069230420-pat00009
표 5에서 민감도(sensitivity), 특이도(specificity), 정확도(accuracy)을 상대적으로 그래프화하면 도 7 및 도 8과 같다.
도 7을 참조하면, 제1가중치 W1의 값을 고정한 상태에서 제2가중치 W2의 값을 조정한 다른 딥 러닝 모델들에 대한 테스트한 분류 결과, 수학식 7의 가중손실함수에서 제2가중치 W2의 값이 커질수록 민감도(sensitivity)가 특이도(specificity) 및 정확도(accuracy)에 비해 상대적으로 더욱 개선된 것을 알 수 있다.
도 8을 참조하면, 제1가중치 W1의 값을 고정한 상태에서 제2가중치 W2의 값을 조정한 다른 딥 러닝 모델들에 대한 테스트한 분류 결과, 수학식 7의 가중손실함수에서 제2가중치 W2의 값이 커질수록 민감도(sensitivity)도 작을 경우에 비해 상대적으로 개선된 것을 알 수 있다.
실험예 2
개별 딥 러닝 모델은 resisual networks를 활용하여, densenet 35(표 2 참조)를 사용하였다. 드롭 아웃 기술은 분류 레이어 또는 분류 영역(도 3에서 144)에 p=0.5 확률을 적용하였다.
수학식 7의 가중손실함수에서 표 3에 나타낸 바와 같이, 제2가중치 W2의 값을 고정한 상태에서 제1가중치 W1의 값을 조정하면서 개별 딥 러닝 모델을 생성하였다(프레임워크의 1단계 테스트).
먼저, 제1가중치 W2의 값을 50으로 고정하고 표 4에 학습 데이터들을 활용하여 랜덤 샘플링 및 드롭 아웃 기술을 적용하여 5개의 다른 딥 러닝 모델들을 생성하였다(프레임워크의 2단계 테스트).
생성한 5개의 다른 딥 러닝 모델들을 테스트한 결과는 다음 표 6과 같았다. 표 6에서 DenseNet35는 가중손실함수에서 W1:W2=1:1, 즉 일반적인 손실함수를 적용한 경우에 5개의 다른 딥 러닝 모델들을 테스트한 결과이고, DenseNet35 weight는 수학식 7의 가중손실함수에서 W1:W2=1:50을 적용한 경우에 5개의 다른 딥 러닝 모델들을 테스트한 결과이다.
Figure 112019069230420-pat00010
표 6에서 5개의 다른 딥 러닝 모델들에 대한 테스트한 분류 결과, 수학식 7의 가중손실함수에서 W1:W2=1:50을 적용한 경우에 민감도(sensitivity)가 특이도(specificity) 및 정확도(accuracy)에 비해 개선된 것을 알 수 있다.
실험예 3
개별 딥 러닝 모델은 resisual networks를 활용하여, densenet 65를 사용하였다. 드롭 아웃 기술은 분류 레이어(classification Layer) 또는 분류 영역(도 3에서 144)에 p=0.5 확률을 적용하였다. densenet 65는 레이어의 뎁스, 즉 레이어들의 개수가 65개인 것으로 제외하고 기본적으로 실험예 1에서 densenet 35와 동일하다.
수학식 7의 가중손실함수에서 표 3에 나타낸 바와 같이, 제2가중치 W2의 값을 고정한 상태에서 제1가중치 W1의 값을 조정하면서 개별 딥 러닝 모델을 생성하였다(프레임워크의 1단계 테스트).
먼저, 제1가중치 W2의 값을 50으로 고정하고 표 4에서 학습 데이터들을 활용하여 랜덤 샘플링 및 드롭 아웃 기술을 적용하여 5개의 다른 딥 러닝 모델들을 생성하였다(프레임워크의 2단계 테스트).
생성한 5개의 다른 딥 러닝 모델들을 테스트한 결과는 다음 표 7과 같았다. 표 7에서 DenseNet65는 가중손실함수에서 W1:W2=1:1, 즉 일반적인 손실함수를 적용한 경우에 5개의 다른 딥 러닝 모델들을 테스트한 결과이고, DenseNet65 weight는 가중손실함수에서 W1:W2=1:50을 적용한 경우에 5개의 다른 딥 러닝 모델들을 테스트한 결과이다.
Figure 112019069230420-pat00011
표 7에서 5개의 다른 딥 러닝 모델들에 대한 테스트한 분류 결과, 가중손실함수에서 W1:W2=1:50을 적용한 경우에 민감도(sensitivity)가 특이도(specificity) 및 정확도(accuracy)에 비해 개선된 것을 알 수 있다.
실험예 4
실험예 1 및 2에서 각각 생성한 5개의 딥 러닝 모델들의 분류 결과들을 앙상블시켜 의료 영상에 포함된 조직에 대해 질병의 정상 및 비정상 중 하나로 분류하였다.
5개의 딥 러닝 모델들의 분류 결과들을 다수결 기반의 앙상블, 만장일치 기반의 앙상블, 불확실성 기반의 앙상블 중 하나 또는 둘 이상을 기초로 앙상블시켜 의료 영상에 포함된 조직에 대해 질병의 정상 및 비정상 중 하나로 분류하였다.
실험예 4에서는 불확실성 기반의 앙상블을 위해 평균 신뢰도를 이용하여 5개 딥 러닝 모델들의 분류 결과들을 앙상블시켰다(표 8 참조).. 표 8은 실험예 1 및 2에 5개 딥 러닝 모델들의 분류 결과들과 함께 이들을 앙상블한 분류 결과들을 포함하고 있다.
Figure 112019069230420-pat00012
실제 딥 러닝 모델을 활용한 영상 진단 장치에 실시할 경우, 평균 신뢰도 Θ값을 최초로 민감도 100%에 도달하는 값을 찾아 지정할 수 있다. 예를 들어, 표 8에서 평균 신뢰도 Θ=0.3 for DenseNet 35_weight, 평균 신뢰도 Θ=0.4 for DenseNet65_weight인 경우 최초로 민감도 100%에 도달하였으므로, 실제 딥 러닝 모델을 활용한 영상 진단 장치에서는 이 평균 신뢰도 값들을 이용하여 5개 딥 러닝 모델들의 분류 결과들을 앙상블시킬 수 있다.
실험예 5
실험예 1 및 2에서 각각 생성한 5개의 딥 러닝 모델들의 분류 결과들을 앙상블시켜 의료 영상에 포함된 조직에 대해 질병의 정상 및 비정상 중 하나로 분류하였다.
5개의 딥 러닝 모델들의 분류 결과들을 다수결 기반의 앙상블, 만장일치 기반의 앙상블, 불확실성 기반의 앙상블 중 하나 또는 둘 이상을 기초로 앙상블시켜 의료 영상에 포함된 조직에 대해 질병의 정상 및 비정상 중 하나로 분류하였다.
실험예 5에서는 불확실성 기반의 앙상블을 위해 표준편차를 이용하여 5개 딥 러닝 모델들의 분류 결과들을 앙상블시켰다(표 9 참조). 표 9는 실험예 1 및 2에 5개 딥 러닝 모델들의 분류 결과들과 함께 이들을 앙상블한 분류 결과들을 포함하고 있다.
Figure 112019069230420-pat00013
실제 딥 러닝 모델을 활용한 영상 진단 장치에 실시할 경우, 표준편차 σ값을 최초로 민감도 100%에 도달하는 값을 찾아 지정할 수 있다. 예를 들어, 표 9에서 표준편차 σ=0.3 for DenseNet 35_weight, 표준편차 σ=0.4 for DenseNet65_weight인 경우 최초로 민감도 100%에 도달하였으므로, 실제 딥 러닝 모델을 활용한 영상 진단 장치에서는 이 평균 신뢰도 값들을 이용하여 5개 딥 러닝 모델들의 분류 결과들을 앙상블시킬 수 있다.
실험예 4 및 5를 통해, 5개의 딥 러닝 모델들의 분류 결과들을 다수결 기반의 앙상블, 만장일치 기반의 앙상블, 불확실성 기반의 앙상블 중 하나 또는 둘 이상을 기초로 앙상블시켜 의료 영상에 포함된 조직에 대해 질병의 정상 및 비정상 중 하나로 분류한 결과, 민감도(sensitivity)가 더욱 향상된 것을 알 수 있다.
또한 실험예 4 및 5를 통해, 평균 신뢰도 Θ값 또는 표준편차 σ값을 낮출수록 최종적인 분류 결과의 민감도를 높인 것을 알 수 있다. 구체적으로 실험예 4 및 5에서 수학식 7의 가중손실함수에서 W1:W2=1:50을 적용한 경우 평균 신뢰도 Θ값 또는 표준편차 σ값을 낮출수록 최종적인 분류 결과의 민감도를 높일 수 있음을 알 수 있다.
한편, 분류 결과의 민감도를 높이는 데 집중하는 경우, 특이도는 상대적으로 낮아지고 결과적으로 정확도로 낮아질 수 있다. 그러나 실험예 4 및 5를 통해, 최종적인 분류 결과의 민감도를 높일 수 있을 뿐만 아니라 특이도와 정확도가 낮아지는 것을 최소화할 수 있음을 알 수 있다.
이상 도면을 참조하여 본 발명의 실시예들에 따른 딥 러닝 모델을 활용한 영상 진단 장치와 그 진단 방법을 설명하였으나, 본 발명은 이에 제한되지 않는다.
예를 들어 본 발명은 또다른 실시예로 도 9에 도시한 영상 분류 장치(310)를 포함할 수 있다. 이 영상 분류 장치(310)는 기본적으로 도 1 내지 도 5를 참조하여 설명한 딥 러닝 모델을 활용한 영상 진단 장치(10, 110)와 동일하되, 입력 영상이 의료 영상 대신 일반적인 영상이고, 그 분류 결과가 질병의 유무 대신에 일반적인 영상의 분류일 수 있다. 예를 들어 입력 영상은 도 9에 도시한 바와 같이 필기체 숫자이고, 분류 결과는 영상에 포함된 숫자로, 영상 분류 장치(310)는 숫자 분류 장치일 수 있다.
영상 분류 장치(310)는 딥 러닝 모델을 활용한 영상 진단 장치(10, 110)와 동일하게 영상 입력부(312)와 분류부(314), 결과 출력부(316)을 포함할 수 있다. 이들의 구성은 딥 러닝 모델을 활용한 영상 진단 장치(10, 110)의 영상 입력부(12)와 분류부(14, 114), 결과 출력부(16, 116)와 실질적으로 동일할 수 있다.
상술한 딥 러닝 모델을 활용한 영상 진단 장치(10, 110) 및 영상 분류 장치(310)는, 프로세서, 메모리, 사용자 입력장치, 프레젠테이션 장치 중 적어도 일부를 포함하는 컴퓨팅 장치에 의해 구현될 수 있다. 메모리는, 프로세서에 의해 실행되면 특정 태스크를 수행할 있도록 코딩되어 있는 컴퓨터-판독가능 소프트웨어, 애플리케이션, 프로그램 모듈, 루틴, 인스트럭션(instructions), 및/또는 데이터 등을 저장하는 매체이다. 프로세서는 메모리에 저장되어 있는 컴퓨터-판독가능 소프트웨어, 애플리케이션, 프로그램 모듈, 루틴, 인스트럭션, 및/또는 데이터 등을 판독하여 실행할 수 있다. 사용자 입력장치는 사용자로 하여금 프로세서에게 특정 태스크를 실행하도록 하는 명령을 입력하거나 특정 태스크의 실행에 필요한 데이터를 입력하도록 하는 수단일 수 있다. 사용자 입력장치는 물리적인 또는 가상적인 키보드나 키패드, 키버튼, 마우스, 조이스틱, 트랙볼, 터치-민감형 입력수단, 또는 마이크로폰 등을 포함할 수 있다. 프레젠테이션 장치는 디스플레이, 프린터, 스피커, 또는 진동장치 등을 포함할 수 있다.
컴퓨팅 장치는 스마트폰, 태블릿, 랩탑, 데스크탑, 서버, 클라이언트 등의 다양한 장치를 포함할 수 있다. 컴퓨팅 장치는 하나의 단일한 스탠드-얼론 장치일 수도 있고, 통신망을 통해 서로 협력하는 다수의 컴퓨팅 장치들로 이루어진 분산형 환경에서 동작하는 다수의 컴퓨팅 장치를 포함할 수 있다.
또한 상술한 영산 진단 방법은, 프로세서를 구비하고, 또한 프로세서에 의해 실행되면 딥 러닝 모델을 활용한 영상 진단 방법을 수행할 있도록 코딩된 컴퓨터 판독가능 소프트웨어, 애플리케이션, 프로그램 모듈, 루틴, 인스트럭션, 및/또는 데이터 구조 등을 저장한 메모리를 구비하는 컴퓨팅 장치에 의해 실행될 수 있다.
상술한 본 실시예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 실시예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.
하드웨어에 의한 구현의 경우, 본 실시예들에 따른 딥 러닝 모델을 활용한 영상 진단 방법은 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로 컨트롤러 또는 마이크로 프로세서 등에 의해 구현될 수 있다.
예를 들어 실시예들에 따른 딥 러닝 모델을 활용한 영상 진단 방법은 심층 신경망의 뉴런(neuron)과 시넵스(synapse)가 반도체 소자들로 구현된 인공지능 반도체 장치를 이용하여 구현될 수 있다. 이때 반도체 소자는 현재 사용하는 반도체 소자들, 예를 들어 SRAM이나 DRAM, NAND 등일 수도 있고, 차세대 반도체 소자들, RRAM이나 STT MRAM, PRAM 등일 수도 있고, 이들의 조합일 수도 있다.
실시예들에 따른 딥 러닝 모델을 활용한 영상 진단 방법을 인공지능 반도체 장치를 이용하여 구현할 때, 딥 러닝 모델을 소프트웨어로 학습한 결과(가중치)를 어레이로 배치된 시냅스 모방소자에 전사하거나 　인공지능 반도체 장치에서 학습을 진행할 수도 있다. 　
펌웨어나 소프트웨어에 의한 구현의 경우, 본 실시예들에 따른 딥 러닝 모델을 활용한 영상 진단 방법은 이상에서 설명된 기능 또는 동작들을 수행하는 장치, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 상기 메모리 유닛은 상기 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 상기 프로세서와 데이터를 주고 받을 수 있다.
또한, 위에서 설명한 "시스템", "프로세서", "컨트롤러", "컴포넌트", "모듈", "인터페이스", "모델", 또는 "유닛" 등의 용어는 일반적으로 컴퓨터 관련 엔티티 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어 또는 실행 중인 소프트웨어를 의미할 수 있다. 예를 들어, 전술한 구성요소는 프로세서에 의해서 구동되는 프로세스, 프로세서, 컨트롤러, 제어 프로세서, 개체, 실행 스레드, 프로그램 및/또는 컴퓨터일 수 있지만 이에 국한되지 않는다. 예를 들어, 컨트롤러 또는 프로세서에서 실행 중인 애플리케이션과 컨트롤러 또는 프로세서가 모두 구성 요소가 될 수 있다. 하나 이상의 구성 요소가 프로세스 및/또는 실행 스레드 내에 있을 수 있으며, 구성 요소들은 하나의 장치(예: 시스템, 컴퓨팅 디바이스 등)에 위치하거나 둘 이상의 장치에 분산되어 위치할 수 있다.
이상의 설명은 본 개시의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 기술 사상의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 또한, 본 실시예들은 본 개시의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이므로 이러한 실시예에 의하여 본 기술 사상의 범위가 한정되는 것은 아니다. 본 개시의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 개시의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (20)

  1. 인체의 조직을 포함하는 의료 영상을 입력받는 영상 입력부;
    입력된 상기 의료 영상에서 추출된 픽쳐에 대해 정상인데 비정상으로 판단할 확률 분포와 비정상인데 정상으로 판단할 확률 분포에 대해 서로 다른 가중치를 부여한 가중손실함수를 사용한, 학습된 딥 러닝 모델을 이용하여 입력된 상기 의료 영상에 포함된 조직에 대해 질병의 정상 및 비정상 중 하나로 분류하는 분류부; 및
    상기 분류부에서 분류한 결과를 출력하는 결과 출력부를 포함하고,
    상기 가중손실함수에서 비정상인데 정상으로 판단할 확률 분포에 부여한 제2가중치가, 정상인데 비정상으로 판단할 확률 분포에 부여한 제1가중치보다 큰 딥 러닝 모델을 활용한 영상 진단 장치.
  2. 제1항에 있어서,
    상기 딥 러닝 모델은 입력된 상기 의료 영상에서 컨벌루션과 서브샘플링을 수행하여 상기 의료 영상에 대한 픽쳐를 추출하는 픽쳐 추출 영역과, 추출된 픽쳐에 대해 상기 가중손실함수를 사용하여 입력된 상기 의료 영상에 대한 분류를 수행하는 분류 영역을 포함하는 딥 러닝 모델을 활용한 영상 진단 장치.
  3. 삭제
  4. 제1항에 있어서,
    상기 딥 러닝 모델의 개수는 둘 이상이며,
    상기 결과 출력부는, 상기 둘 이상의 딥 러닝 모델들의 분류 결과들을 앙상블시켜 상기 의료 영상에 포함된 조직에 대해 질병의 정상 및 비정상 중 하나로 분류하는 딥 러닝 모델을 활용한 영상 진단 장치.
  5. 제4항에 있어서,
    상기 딥 러닝 모델들의 전부 또는 일부는, 학습 데이터로 학습할 때, 각 레이어에 있는 노드를 특정 확률로 제거하여 학습시키고, 학습이 완료되고 테스트를 할 때에는 원래대로 모든 노드를 고려하고 노드마다 가지고 있는 가중치를 상기 확률을 곱한 드롭 아웃 기술을 적용한 딥 러닝 모델을 활용한 영상 진단 장치.
  6. 제4항에 있어서,
    상기 딥 러닝 모델들의 적어도 일부는 동일한 하나의 딥 러닝 모델을 사용하되, 상기 하나의 딥 러닝 모델에 대해 학습에 사용된 학습 데이터들의 개수나 순서를 조절하여 학습한 딥 러닝 모델을 활용한 영상 진단 장치.
  7. 제4항에 있어서,
    상기 딥 러닝 모델의 적어도 일부는 레이어의 뎁스 또는 레이어들의 개수가 다른 딥 러닝 모델과 다른 딥 러닝 모델을 활용한 영상 진단 장치.
  8. 제4항에 있어서,
    상기 결과 출력부는, 상기 둘 이상의 딥 러닝 모델들의 분류 결과들을 다수결 기반의 앙상블, 만장일치 기반의 앙상블, 불확실성 기반의 앙상블 중 하나 또는 둘 이상을 기초로 앙상블시켜 상기 의료 영상에 포함된 조직에 대해 질병의 정상 및 비정상 중 하나로 분류하는 딥 러닝 모델을 활용한 영상 진단 장치.
  9. 제8항에 있어서,
    상기 불확실성 기반의 앙상블은 평균 신뢰도 또는 표준편차 중 하나를 이용하여 상기 둘 이상의 딥 러닝 모델들의 분류 결과들을 앙상블시키는 딥 러닝 모델을 활용한 영상 진단 장치.
  10. 제9항에 있어서,
    상기 의료 영상은 상기 인체의 대장에서 촬영한 영상이며, 상기 질병은 대장암인 딥 러닝 모델을 활용한 영상 진단 장치.
  11. 영상 진단 장치에서 딥 러닝 모델을 활용한 영상 진단 방법으로,
    인체의 조직을 포함하는 의료 영상을 입력받는 영상 입력 단계;
    입력된 상기 의료 영상에서 추출된 픽쳐에 대해 정상인데 비정상으로 판단할 확률 분포와 비정상인데 정상으로 판단할 확률 분포에 대해 서로 다른 가중치를 부여한 가중손실함수를 사용한, 학습된 딥 러닝 모델을 이용하여 입력된 상기 의료 영상에 포함된 조직에 대해 질병의 정상 및 비정상 중 하나로 분류하는 분류 단계; 및
    상기 분류 단계에서 분류한 결과를 출력하는 결과 출력 단계를 포함하고,
    상기 가중손실함수에서 비정상인데 정상으로 판단할 확률 분포에 부여한 제2가중치가, 정상인데 비정상으로 판단할 확률 분포에 부여한 제1가중치보다 큰 딥 러닝 모델을 활용한 영상 진단 방법.
  12. 제11항에 있어서,
    상기 딥 러닝 모델은 입력된 상기 의료 영상에서 컨벌루션과 서브샘플링을 수행하여 상기 의료 영상에 대한 픽쳐를 추출하는 픽쳐 추출 영역과, 추출된 픽쳐에 대해 상기 가중손실함수를 사용하여 입력된 상기 의료 영상에 대한 분류를 수행하는 분류 영역을 포함하는 딥 러닝 모델을 활용한 영상 진단 방법.
  13. 삭제
  14. 제11항에 있어서,
    상기 딥 러닝 모델의 개수는 둘 이상이며,
    상기 결과 출력 단계에서, 상기 둘 이상의 딥 러닝 모델들의 분류 결과들을 앙상블시켜 상기 의료 영상에 포함된 조직에 대해 질병의 정상 및 비정상 중 하나로 분류하는 딥 러닝 모델을 활용한 영상 진단 방법.
  15. 제14항에 있어서,
    상기 딥 러닝 모델들의 전부 또는 일부는, 학습 데이터로 학습할 때, 각 레이어에 있는 노드를 특정 확률로 제거하여 학습시키고, 학습이 완료되고 테스트를 할 때에는 원래대로 모든 노드를 고려하고 노드마다 가지고 있는 가중치를 상기 확률을 곱한 드롭 아웃 기술을 적용한 딥 러닝 모델을 활용한 영상 진단 방법.
  16. 제14항에 있어서,
    상기 딥 러닝 모델들의 적어도 일부는 동일한 하나의 딥 러닝 모델을 사용하되, 상기 하나의 딥 러닝 모델에 대해 학습에 사용된 학습 데이터들의 개수나 순서를 조절하여 학습한 딥 러닝 모델을 활용한 영상 진단 방법.
  17. 제14항에 있어서,
    상기 딥 러닝 모델의 적어도 일부는 레이어의 뎁스 또는 레이어들의 개수가 다른 딥 러닝 모델과 다른 딥 러닝 모델을 활용한 영상 진단 방법.
  18. 제14항에 있어서,
    상기 결과 출력 단계에서, 상기 둘 이상의 딥 러닝 모델들의 분류 결과들을 다수결 기반의 앙상블, 만장일치 기반의 앙상블, 불확실성 기반의 앙상블 중 하나 또는 둘 이상을 기초로 앙상블시켜 상기 의료 영상에 포함된 조직에 대해 질병의 정상 및 비정상 중 하나로 분류하는 딥 러닝 모델을 활용한 영상 진단 방법.
  19. 제18항에 있어서,
    상기 불확실성 기반의 앙상블은 평균 신뢰도 또는 표준편차 중 하나를 이용하여 상기 둘 이상의 딥 러닝 모델들의 분류 결과들을 앙상블시키는 딥 러닝 모델을 활용한 영상 진단 방법.
  20. 제19항에 있어서,
    상기 의료 영상은 상기 인체의 대장에서 촬영한 영상이며, 상기 질병은 대장암인 딥 러닝 모델을 활용한 영상 진단 방법.
KR1020190081416A 2019-07-05 2019-07-05 딥 러닝 모델을 활용한 영상 진단 장치 및 그 방법 KR102132375B1 (ko)

Priority Applications (7)

Application Number Priority Date Filing Date Title
KR1020190081416A KR102132375B1 (ko) 2019-07-05 2019-07-05 딥 러닝 모델을 활용한 영상 진단 장치 및 그 방법
JP2021578265A JP7304594B2 (ja) 2019-07-05 2020-06-30 ディープラーニングモデルを用いた画像診断装置及びその方法
BR112022000075A BR112022000075A2 (pt) 2019-07-05 2020-06-30 Aparelho de diagnóstico da imagem que utiliza o modelo de deep learning e método para ele
PCT/KR2020/008502 WO2021006522A1 (ko) 2019-07-05 2020-06-30 딥 러닝 모델을 활용한 영상 진단 장치 및 그 방법
CN202080049224.5A CN114127858A (zh) 2019-07-05 2020-06-30 利用深度学习模型的影像诊断装置及其方法
US17/624,621 US20220270756A1 (en) 2019-07-05 2020-06-30 Image diagnosis apparatus using deep learning model and method therefor
EP20837390.2A EP3996103A4 (en) 2019-07-05 2020-06-30 IMAGE DIAGNOSTIC APPARATUS USING A DEEP LEARNING MODEL AND METHOD

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190081416A KR102132375B1 (ko) 2019-07-05 2019-07-05 딥 러닝 모델을 활용한 영상 진단 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR102132375B1 true KR102132375B1 (ko) 2020-07-09

Family

ID=71602414

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190081416A KR102132375B1 (ko) 2019-07-05 2019-07-05 딥 러닝 모델을 활용한 영상 진단 장치 및 그 방법

Country Status (7)

Country Link
US (1) US20220270756A1 (ko)
EP (1) EP3996103A4 (ko)
JP (1) JP7304594B2 (ko)
KR (1) KR102132375B1 (ko)
CN (1) CN114127858A (ko)
BR (1) BR112022000075A2 (ko)
WO (1) WO2021006522A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022044315A1 (ja) * 2020-08-31 2022-03-03 日本電気株式会社 学習装置、学習方法および学習プログラム
KR102437348B1 (ko) * 2021-12-20 2022-08-29 (주)씨어스테크놀로지 웨어러블 심전도 신호 분석 방법
WO2023043133A1 (ko) * 2021-09-17 2023-03-23 주식회사 온택트헬스 체내 장기 또는 근육의 이상 유무를 판단하는 방법 및 장치

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023074829A1 (ja) * 2021-10-29 2023-05-04 国立大学法人大阪大学 認知機能評価システム、及び学習方法
CN117058467B (zh) * 2023-10-10 2023-12-22 湖北大学 一种胃肠道病变类型识别方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180025093A (ko) * 2016-08-30 2018-03-08 주식회사 루닛 약한 지도 학습 기반의 기계 학습 방법 및 그 장치
JP2018045516A (ja) * 2016-09-15 2018-03-22 三菱重工業株式会社 分類装置、分類方法およびプログラム
US20190130279A1 (en) * 2017-10-27 2019-05-02 Robert Bosch Gmbh Method for detecting an anomalous image among a first dataset of images using an adversarial autoencoder

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8712142B2 (en) * 2011-03-14 2014-04-29 The University Of Warwick Method and apparatus for analysis of histopathology images and its application to cancer diagnosis and grading
US10360675B2 (en) * 2015-06-12 2019-07-23 International Business Machines Corporation Methods and systems for automatically analyzing clinical images using rules and image analytics
KR101880678B1 (ko) * 2016-10-12 2018-07-20 (주)헬스허브 기계학습을 통한 의료영상 판독 및 진단 통합 시스템
KR101879207B1 (ko) * 2016-11-22 2018-07-17 주식회사 루닛 약한 지도 학습 방식의 객체 인식 방법 및 장치
CN112513999A (zh) 2017-10-13 2021-03-16 人工智能技术公司 眼科疾病和病症的基于深度学习的诊断和转诊

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180025093A (ko) * 2016-08-30 2018-03-08 주식회사 루닛 약한 지도 학습 기반의 기계 학습 방법 및 그 장치
JP2018045516A (ja) * 2016-09-15 2018-03-22 三菱重工業株式会社 分類装置、分類方法およびプログラム
US20190130279A1 (en) * 2017-10-27 2019-05-02 Robert Bosch Gmbh Method for detecting an anomalous image among a first dataset of images using an adversarial autoencoder

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022044315A1 (ja) * 2020-08-31 2022-03-03 日本電気株式会社 学習装置、学習方法および学習プログラム
JP7456512B2 (ja) 2020-08-31 2024-03-27 日本電気株式会社 学習装置、学習方法および学習プログラム
WO2023043133A1 (ko) * 2021-09-17 2023-03-23 주식회사 온택트헬스 체내 장기 또는 근육의 이상 유무를 판단하는 방법 및 장치
KR102437348B1 (ko) * 2021-12-20 2022-08-29 (주)씨어스테크놀로지 웨어러블 심전도 신호 분석 방법

Also Published As

Publication number Publication date
US20220270756A1 (en) 2022-08-25
JP2022549051A (ja) 2022-11-24
CN114127858A (zh) 2022-03-01
EP3996103A4 (en) 2023-08-02
WO2021006522A1 (ko) 2021-01-14
JP7304594B2 (ja) 2023-07-07
BR112022000075A2 (pt) 2022-03-22
EP3996103A1 (en) 2022-05-11

Similar Documents

Publication Publication Date Title
KR102132375B1 (ko) 딥 러닝 모델을 활용한 영상 진단 장치 및 그 방법
Pires et al. A data-driven approach to referable diabetic retinopathy detection
Adriman et al. Performance evaluation of binary classification of diabetic retinopathy through deep learning techniques using texture feature
Elmuogy et al. An efficient technique for CT scan images classification of COVID-19
KR102250954B1 (ko) 뇌 mri 영상의 뇌 영역별 분할을 통한 치매 예측 장치 및 방법
Hernández et al. An ensemble algorithm based on deep learning for tuberculosis classification
KR20210066697A (ko) 비디오 프레임의 공간 정보와 동적 정보를 다층 bi-lstm을 통해 분석하여 인간 우울증 수준을 예측하는 장치 및 방법
Jaiswal et al. Deep learning-based smart IoT health system for blindness detection using retina images
JP6707131B2 (ja) 画像処理装置、学習装置、画像処理方法、識別基準の作成方法、学習方法およびプログラム
Naralasetti et al. Deep Learning Models for Pneumonia Identification and Classification Based on X-Ray Images.
WO2022031807A1 (en) Real time medical image processing using deep learning accelerator with integrated random access memory
Gravelines Deep learning via stacked sparse autoencoders for automated voxel-wise brain parcellation based on functional connectivity
Anisuzzaman et al. Wound severity classification using deep neural network
Biswas et al. DFU_MultiNet: A deep neural network approach for detecting diabetic foot ulcers through multi-scale feature fusion using the DFU dataset
Sherbakov Computational principles for an autonomous active vision system
Sengar et al. An efficient artificial intelligence-based approach for diagnosis of media haze disease
Hossain et al. Recognition of tuberculosis on medical X-ray images utilizing MobileNet transfer learning
Patra et al. Multimodal continual learning with sonographer eye-tracking in fetal ultrasound
Carnimeo et al. On classifying diabetic patients’ with proliferative retinopathies via a radial basis probabilistic neural network
KR102490967B1 (ko) 흉부 단순 촬영 영상을 이용한 심장색전성 뇌경색의 진단 보조 방법 및 장치
Nagarhalli Analysis of Recurrent Neural Network and Convolution Neural Network Techniques in Blood Cell Classification
Mehar et al. Covid-19 Prediction Through Chest X-Ray Image Datasets Using Deep Learning
Maithili et al. Neural networks towards medical diagnosis
Alhatemi et al. A weighted ensemble approach with multiple pre-trained deep learning models for classification of stroke
Subashini et al. Detection of Covid-19 using Mask R-CNN

Legal Events

Date Code Title Description
GRNT Written decision to grant