KR20190105461A - 종양의 악성도와 악성도 추론의 근거를 제공하는 컴퓨터 보조 진단 시스템 및 그 방법 - Google Patents

종양의 악성도와 악성도 추론의 근거를 제공하는 컴퓨터 보조 진단 시스템 및 그 방법 Download PDF

Info

Publication number
KR20190105461A
KR20190105461A KR1020180026034A KR20180026034A KR20190105461A KR 20190105461 A KR20190105461 A KR 20190105461A KR 1020180026034 A KR1020180026034 A KR 1020180026034A KR 20180026034 A KR20180026034 A KR 20180026034A KR 20190105461 A KR20190105461 A KR 20190105461A
Authority
KR
South Korea
Prior art keywords
malignancy
tumor
image
shape
association
Prior art date
Application number
KR1020180026034A
Other languages
English (en)
Inventor
이광희
박대영
Original Assignee
주식회사 인공지능연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 인공지능연구원 filed Critical 주식회사 인공지능연구원
Priority to KR1020180026034A priority Critical patent/KR20190105461A/ko
Priority to PCT/KR2018/012991 priority patent/WO2019172498A1/ko
Publication of KR20190105461A publication Critical patent/KR20190105461A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

종양의 악성도와 그 추론 근거를 제시하는 컴퓨터 보조 진단 시스템은 악성도 예측부와, 연관성 예측부와, 문장 생성부를 포함한다. 악성도 예측부는 종양 이미지로부터 종양의 악성도를 예측하도록 딥러닝 기반으로 학습된 악성도 예측 모델을 통해 종양의 악성도를 출력한다. 연관성 예측부는 종양 이미지로부터 종양의 형상의 특성을 수치화한 형상 속성 벡터를 추출하고 이 형상 속성 벡터의 항목별 속성 수치를 변경하며 종양 이미지를 형상 변환하고, 이 변환된 종양 이미지에 대하여 예측된 종양의 악성도와 원본 종양 이미지에 대하여 예측된 종양의 악성도를 비교하여 변경된 형상 속성이 악성도에 미치는 영향을 분석하여 연관성을 예측하고 연관도를 수치화하여 출력한다. 문장 생성부는 악성도 예측부의 출력과 연관성 예측부의 출력을 기반으로 종양 이미지에 대한 종양 악성도와 추론 근거 문장으로 설명문을 작성한다.

Description

종양의 악성도와 악성도 추론의 근거를 제공하는 컴퓨터 보조 진단 시스템 및 그 방법{COMPUTER ASSISTED DIAGNOSIS SYSTEM AND METHOD FOR PROVIDING EVIDENCE OF MALIGNANCY AND MALIGNANCY INFERENCE OF TUMOR}
종양 이미지로부터 종양의 악성도를 예측하는 시스템으로, 종양의 악성도와 연관성이 높은 종양 형상을 바탕으로 악성도 추론 근거도 함께 제공하는 컴퓨터 보조 진단 시스템에 대한 발명이 개시된다.
컴퓨터 보조 진단(Computer-Aided Diagnosis, CAD) 시스템이란 초음파 영상 또는 X-선 영상과 같은 의료영상을 컴퓨터를 이용하여 분석하고 그 분석 결과에 따라 의료영상에 이상 부위를 표시하는 등의 방법으로 의사의 진단에 도움을 주는 시스템을 말한다. 이러한 CAD의 개념은 1960년대에 폐암 환자의 일년 후 생존 가능성을 예측하는 시스템에서 제안되었으나 당시에는 영상을 스캔하여 디지털화하는 기술과 컴퓨팅 기술이 없어 예측 변수들을 사람이 직접 추출하였다. 이후 1970년대 이후 의료영상을 스캔하여 디지털화된 영상을 컴퓨터를 이용하여 처리하는 시스템이 개발되기 시작했다.
이후 CAD 시스템은 컴퓨터를 이용한 진단 자동화보다 진단을 보조하는 개념으로 자리잡으며 발전을 거듭하다 패턴 인식 등의 인공 지능 기술을 이용하여 혈관 영상, 흉부 X선 촬영 영상, 유방 촬영 영상 분석 분야에서 활용되었다.
최근 들어 딥러닝을 기반으로 하는 인공지능 기술의 눈부신 발전으로 문제에 따라 중요한 특징들을 직접 추출하던 방식에서 데이터로부터 문제 해결에 최적화된 특징들을 시스템이 학습하는 방식으로 변화하며 정확도 등에 크게 발전하였다. 특히, 영상에서 특징을 추출하여 문제를 해결하는 데 특화된 컨볼루션 신경망(Convolution Neural Networks, CNN)이 이 분야에 많이 활용되고 있다.
다만, 인공지능 기술의 발전으로 진단 보조의 정확도가 높아졌음에도 왜 그런 진단을 예측하였는지에 대한 질문에 대한 답을 CAD 시스템이 제시하지 못하여 예측의 신뢰도를 향상시키지 못하는 문제가 있다.
제안된 발명은 종양의 이미지로부터 종양의 악성도를 예측하는 컴퓨터 보조 진단 시스템이 종양의 악성도 만을 출력하여 악성도 예측의 근거를 알 수 없어 현장에서 예측의 결과를 신뢰하지 못하는 문제를 해결하는 것을 목적으로 한다.
일 양상에 따르면, 컴퓨터 보조 진단 시스템은 악성도 예측부와, 연관성 예측부와, 문장 생성부를 포함하여 종양의 악성도와 추론 근거 문장으로 구성되는 설명문을 출력한다.
악성도 예측부는 종양 이미지로부터 종양의 악성도를 예측하도록 딥러닝 기반으로 학습된 악성도 예측 모델을 통해 종양의 악성도를 출력한다.
연관성 예측부는 종양 이미지로부터 종양의 형상의 특성을 수치화한 형상 속성 벡터를 추출하고 이 형상 속성 벡터의 항목별 속성 수치를 변경하며 종양 이미지를 형상 변환하고, 이 변환된 종양 이미지에 대하여 예측된 종양의 악성도와 원본 종양 이미지에 대하여 예측된 종양의 악성도를 비교하여 변경된 형상 속성이 악성도에 미치는 영향을 분석하여 연관성을 예측하고 연관도를 수치화하여 출력한다.
문장 생성부는 악성도 예측부의 출력과 연관성 예측부의 출력을 기반으로 종양 이미지에 대한 종양 악성도와 추론 근거 문장으로 설명문을 작성한다.
또 다른 양상에 따르면, 컴퓨터 보조 진단 시스템의 연관성 예측부는 형상 속성 추정부와, 형상 속성 변경부와, 변환 이미지 생성부와, 연관성 판단부를 포함하여 연관도와 악성도에 영향을 준 형상 속성을 출력한다.
형상 속성 추정부는 종양 이미지로부터 형상 스코어 추정 모델을 통해 각 형상 항목별 속성 수치로 구성되는 형상 속성 벡터를 생성한다.
형상 속성 변경부는 변형된 종양 이미지 생성에 사용될 형상 속성 벡터의 속성 수치를 변경한다.
변환 이미지 생성부는 변경된 형상 속성 벡터를 원본의 종양 이미지에 반영하여 변환된 종양 이미지를 생성한다.
연관성 판단부는 악성도 예측부로부터 획득한 변환된 종양 이미지에 대한 종양의 악성도와 원본의 종양 이미지에 대한 종양의 악성도를 비교하여 종양의 악성도와 변경된 속성의 연관성을 예측하여 연관도를 출력한다.
또 다른 양상에 따르면, 컴퓨터 보조 진단 시스템의 연관성 예측부는 생성적 적대 신경망(Generative Adversarial Network, GAN)과, 연관성 판단부를 포함하여 연관도와 악성도에 영향을 준 형상 속성을 출력한다.
GAN은 원본의 종양 이미지로부터 추출된 형상 속성 벡터에서 변형된 형상 속성 벡터와 원본의 종양 이미지로부터 생성된 노이즈 벡터를 이용하여 변형된 형상 속성이 반영된 종양 이미지를 생성한다.
연관성 판단부는 생성적 적대 신경망이 생성한 종양 이미지에 대하여 악성도 예측부가 예측한 종양의 악성도와 원본의 종양 이미지에 대하여 악성도 예측부가 예측한 종양의 악성도를 비교하여 종양의 악성도와 변경된 속성의 연관성을 예측하여 연관도를 출력한다.
일 양상에 따르면, 컴퓨터 보조 진단 시스템의 추론 근거 제시 방법은 원본의 종양 이미지에 대하여 종양의 악성도를 예측하는 단계와, 종양 속성을 변경하여 변형된 종양 이미지를 생성하는 단계와, 변형된 종양 이미지에 대하여 종양의 악성도를 예측하는 단계와, 원본 이미지에 대한 종양의 악성도와 변형된 종양 이미지에 대한 종양의 악성도의 차분값을 통해 속성과 종양의 악성도와의 연관성을 예측하는 단계와, 연관도의 순서대로 추론 근거 문장을 구성하며 원본의 종양 이미지에 대한 악성도와 추론 근거 문장으로 설명문을 작성하는 단계를 포함하여 보조 진단의 근거 설명문을 제공한다.
제안된 발명은 종양의 이미지로부터 종양의 악성도를 예측하는 컴퓨터 보조 진단 시스템이 종양의 악성도 외에 그러한 악성도를 예측한 근거를 문장으로 작성하여 제공하여 사용자가 악성도 예측의 근거를 알 수 있어 예측의 신뢰도를 높이는 효과가 있다.
도 1은 일 양상에 따른 컴퓨터 진단 보조 시스템의 블록도이다.
도 2는 또 다른 양상에 따른 컴퓨터 진단 보조 시스템의 블록도이다.
도 3은 또 다른 양상에 따른 컴퓨터 진단 보조 시스템의 연관성 예측부의 블록도이다.
도 4는 또 다른 양상에 따른 컴퓨터 진단 보조 시스템의 형상 속성 추정부의 블록도이다.
도 5는 생성적 적대 신경망을 사용하는 컴퓨터 진단 보조 시스템의 연관성 예측부의 블록도이다.
도 6은 일 실시 예에 따른 컴퓨터 진단 보조 시스템의 종양의 악성도 예측 및 추론 근거를 제시하는 방법에 대한 절차도이다.
도 7은 또 다른 실시 예에 따른 컴퓨터 진단 보조 시스템의 종양의 악성도 예측 및 추론 근거를 제시하는 방법에 대한 절차도이다.
전술한, 그리고 추가적인 양상들은 첨부된 도면을 참조하여 설명하는 실시 예들을 통해 구체화된다. 각 실시 예들의 구성 요소들은 다른 언급이나 상호간에 모순이 없는 한 실시 예 내에서 다양한 조합이 가능한 것으로 이해된다. 블록도의 각 블록은 어느 경우에 있어서 물리적인 부품을 표현할 수 있으나 또 다른 경우에 있어서 하나의 물리적인 부품의 기능의 일부 혹은 복수의 물리적인 부품에 걸친 기능의 논리적인 표현일 수 있다. 때로는 블록 혹은 그 일부의 실체는 프로그램 명령어들의 집합(set)일 수 있다. 이러한 블록들은 전부 혹은 일부가 하드웨어, 소프트웨어 혹은 이들의 결합에 의해 구현될 수 있다.
도 1은 일 양상에 따른 컴퓨터 진단 보조 시스템의 블록도이다. 발명의 일 양상에 따르면, 컴퓨터 진단 보조 시스템은 제1 악성도 예측부(100)와, 제2 악성도 예측부(110)와, 연관성 예측부(200)와, 문장 생성부(300)를 포함한다.
제1 악성도 예측부(100) 및 제2 악성도 예측부(110)는 입력되는 종양 이미지, 특히 폐 결절(Lung Nodule)이 촬영된 폐 CT 등의 영상으로부터 딥러닝 또는 머신러닝 기반으로 학습된 악성도 예측 모델을 통해 종양의 악성도를 출력한다.
악성도 예측 모델은 지도학습(Supervised Learning) 방식의 딥러닝 또는 머신러닝으로 학습된 인공지능 모델로 잘 알려진 LIDC(Lung Image Database Consortium) 데이터 세트 또는 LUNA 16(Lung Nodule Analysis 2016) 데이터 세트를 사용하여 사전에 학습될 수 있다. 다만, 이에 한정되는 것은 아니며 발명의 양상에 따라서는 잘 알려진 IBM의 왓슨(Watson)이 사용될 수 있다.
제1 악성도 예측부(100) 및 제2 악성도 예측부(110)는 영상에서 특징을 추출하는 데 특화된 컨볼루션 신경망(Convolutional Neural Networks, CNN)을 사용한다. 다만, 이에 한정되는 것은 아니다.
연관성 예측부(200)는 원본의 종양 이미지로부터 종양의 형상과 관련된 속성들의 수치로 구성되는 형상 속성 벡터를 추출한다. 연관성 예측부(200)는 추출된 형상 속성 벡터의 형상 항목별로 형상 속성 수치를 변경하며 원본의 종양 이미지를 형상 변환한다. 연관성 예측부(200)는 형상 변환된 종양 이미지에 대하여 제2 악성도 예측부(110)를 통해 예측된 종양의 악성도를 획득한다. 연관성 예측부(200)는 제2 악성도 예측부(110)로부터 획득한 변환된 종양 이미지에 대한 종양의 악성도와 원본의 종양 이미지에 대한 제1 악성도 예측부(100)로부터 입력된 종양의 악성도를 비교하여 그 차분을 이용하여 종양의 악성도와 변경된 속성의 연관성을 예측한다. 연관성 예측부(200)는 변경된 속성과 종양의 악성도 사이의 연관도와 악성도에 영향을 준 형상 속성을 출력한다.
연관성 예측부(200)는 LIME(Local Interpretable Model-agnostic Explanation) 알고리즘을 기반으로 동작한다. 딥러닝 또는 머신러닝으로 학습된 모델을 적용하여 어떤 문제에 대한 해답을 정확하게 얻더라도 머신러닝 모델이 기본적으로 블랙박스라는 점에서 해당 모델의 동작 방식을 이해하지 못하는 경우가 대부분이다. 이는 머신러닝 모델이 예측한 결과를 신뢰하기 어렵게 만드는 문제가 있다. LIME은 머신러닝 모델이 예측한 결과에 대해 모델이 왜 그러한 결과를 도출하였는지에 대하여 추론 근거를 제시할 수 있는 방법론 중의 하나이다. LIME은 이미지 분류 분야의 경우를 예로 들면, 입력된 이미지를 부분 조각으로 나누고 머신러닝 모델이 이미지를 분류하는 데 가장 중요했던 요소들을 찾아 보여주는 방식으로 머신러닝 모델이 왜 그런 판단을 했는지 추론 근거를 제시한다. LIME의 핵심 아이디어는 입력값을 조금 변경했을 때 모델의 예측값이 크게 바뀌면, 해당 변수는 중요한 변수라는 가정이다.
따라서, 연관성 예측부(200)는 종양의 형상 속성별로 그 수치를 변경하며 그 변경이 종양 악성도 예측값 변화에 미치는 영향을 바탕으로 종양 악성도와 형상 속성의 연관성을 예측한다.
형상 속성은 <표 1>에 표시된 바와 같이 Calcification, Internal structure, Lobulation, Margin, Sphericity, Spiculation, Subtlety와 Texture로 구성되며, 형상 속성 벡터는 이들 속성의 수치화된 평가 값인 속성 수치의 집합이다.
결절 특징
(Nodule characteristic)		 정의
(Definition)		 평가 기준
(Ratings)
Calcification Calcification appearance in the nodule 1. Popcorn
2. Laminated
3. Solid
4. Non-central
5. Central
6. Absent
Internal structure Expected internal composition of the nodule 1. Soft tissue
2. Fluid
3. Fat
4. Air
Lobulation Whether lobular shape is apparent from margin or not 1. Marked
2.
3.
4.
5. None
Margin How well defined the margins are 1. Poorly defined
2.
3.
4.
5. Sharp
Sphericity Dimensional shape in terms of roundness 1. Linear
2.
3. Ovoid
4.
5. Round
Spiculation Degree of exhibition of spicules 1. Marked
2.
3.
4.
5. None
Subtlety Contrast between nodule and surrounding 1. Extremely subtle
2. Moderately subtle
3. Fairly subtle
4. Moderately obvious
5. Obvious
Texture Internal density of nodule 1. Non-solid
2.
3. Part Solid
4.
5. Solid
<표 1>은 폐 종양의 악성 또는 양성을 판단하는 결절 특징(Nodule characteristic) 항목, 결절 특징(Nodule characteristic) 항목별 정의 (Description) 및 평가(Rating) 기준에 대해 기재되어 있다.
결절 특징(Nodule characteristic) 항목은 결절의 석회화 진행 정도에 따라 외형을 평가하기 위한 석회화(Calcification) 항목, 결절의 예상되는 내부 구성 물질이 유동적(Fluid)인지 또는 지방(Fat) 인지 등을 평가하는 내부 구조(Internal structure) 항목, 분엽 모양이 모서리로부터 선명한지의 여부를 평가하는 분엽화(Lobulation) 항목, 결절의 악성일 가능성의 정도를 평가하는 악성도(Malignancy) 항목, 결절의 모서리의 경계가 명확하지를 평가하는 모서리(Margin) 항목, 결절의 모양의 둥근 정도를 평가하는 구형도(Sphericity) 항목, 결절에서 골편의 드러나는 정도를 평가하는 골편화(Spiculation) 항목, 결절과 주변을 대비 평가하는 민감도(Subtlety) 항목 및 결절의 내부 밀도를 평가하는 질감(Texture) 항목 중 적어도 하나 이상을 포함할 수 있다.
문장 생성부(300)는 연관성 예측부(200)의 출력인 연관도 값들을 종합하여 추론 근거 문장을 생성하고, 제1 악성도 예측부(100)의 출력과 연관성 예측부(200)의 출력을 기반으로 종양 이미지에 대한 종양 악성도와 추론 근거 문장으로 설명문을 작성한다.
문장 생성부(300)는 입력되는 데이터인 종양의 악성도와 속성 식별자와 속성 값과 이들의 종양 악성도와의 연관도를 바탕으로 규칙 기반(Rule based) 모델을 통해 문장을 완성할 수 있다. 다만, 이에 한정되는 것은 아니며 자연어 처리에 특화된 순환 신경망(Recurrent Neural Networks) 모델을 사용하여 문장을 구성할 수도 있으며, 컨볼루션 신경망(CNN) 모델을 사용하여 문장을 구성할 수 있다. 또한, 입력되는 데이터로 문장을 구성할 수 있으면 다른 신경망 모델을 사용할 수도 있다.
일 실시 예에 따르면, 문장 생성부(300)에서 출력되는 설명문은 "CT 영상 분석 결과 의심되는 종양이 발견되었습니다. 해당 종양은 경계가 불규칙하고, 크기가 30 mm 정도이며 석회화가 거의 되지 않았기 때문에 40% 정도로 악성으로 판단됩니다."와 같은 형태로 작성될 수 있다. 이 설명문은 하나의 예시에 불과하므로 문장 생성부(300)가 출력하는 설명문은 이러한 형식에 한정되지 않는다.
도 3은 또 다른 양상에 따른 컴퓨터 진단 보조 시스템의 연관성 예측부(200)의 블록도이다. 발명의 또 다른 양상에 따르면, 컴퓨터 진단 보조 시스템은 제1 악성도 예측부(100)와, 제2 악성도 예측부(110)와, 연관성 예측부(200)와, 문장 생성부(300)를 포함하고, 연관성 예측부(200)는 형상 속성 추정부(210)와, 형상 속성 변경부(220)와, 변환 이미지 생성부(230)와, 연관성 판단부(240)를 포함하여 연관도와 악성도에 영향을 준 형상 속성을 출력한다.
이 양상의 형상 속성 추정부(210)는 종양 이미지로부터 형상 스코어 추정 모델을 통해 각 형상 항목별 속성 수치로 구성되는 형상 속성 벡터를 생성한다. 형상 스코어 추정 모델은 지도학습 방식의 딥러닝 또는 머신러닝으로 학습된 인공지능 모델로 잘 알려진 LIDC(Lung Image Database Consortium) 데이터 세트 또는 LUNA 16(Lung Nodule Analysis 2016) 데이터 세트를 사용하여 사전에 학습될 수 있다. 다만, 이에 한정되는 것은 아니며 발명의 양상에 따라서는 잘 알려진 IBM의 왓슨(Watson)이 사용될 수 있다.
형상 속성 추정부(210)는 영상에서 특징을 추출하는 데 특화된 컨볼루션 신경망(Convolutional Neural Networks, CNN)을 사용한다. 다만, 이에 한정되는 것은 아니다.
이 양상의 형상 속성 변경부(220)는 형상 속성 추정부(210)가 종양 이미지로부터 출력한 형상 속성 벡터의 속성 수치를 속성별로 변경한다. 형상 속성 벡터를 변경하는 목적은 원본의 종양 이미지로부터 특정 속성 수치를 변경하여 그 특정 속성 수치만 변경된 종양 이미지를 생성하는 데 있다.
이 양상의 변환 이미지 생성부(230)는 형상 속성의 수치가 변경된 형상 속성 벡터를 원본의 종양 이미지에 반영하여 변환된 종양 이미지를 생성한다. 즉, 기존의 종양 이미지에서 특정 형상 속성의 수치를 낮추어 해당 속성의 영향이 거의 없는 종양의 이미지를 생성한다. 또는 다른 양상에서는 특정 형상 속성의 수치를 높인 상태에서 종양의 이미지를 생성할 수 있다.
이미지 생성부는 비지도 학습(Unsupervised learning) 방법으로 학습된 종양 이미지 생성 모델을 통해 원본의 종양 이미지와 변경된 형상 속성 벡터를 이용하여 특정 형상 속성이 변경된 종양 이미지를 생성한다.
이 양상의 연관성 판단부(240)는 제2 악성도 예측부(110)로부터 획득한 변환된 종양 이미지에 대한 종양의 악성도와 원본의 종양 이미지에 대한 종양의 악성도를 비교하여 종양의 악성도와 변경된 속성의 연관성을 예측하여 연관도를 출력한다. 즉, 형상 변환된 종양 이미지에 대하여 제2 악성도 예측부(110)를 통해 예측된 종양의 악성도를 획득한다. 연관성 판단부(240)는 제2 악성도 예측부(110)로부터 획득한 변환된 종양 이미지에 대한 종양의 악성도와 원본의 종양 이미지에 대한 제1 악성도 예측부(100)로부터 입력된 종양의 악성도를 비교하여 그 차분을 이용하여 종양의 악성도와 변경된 속성의 연관성을 예측한다. 연관성 판단부(240)는 변경된 종양의 악성도로 변경된 형상 속성이 종양의 악성도에 영향을 미쳤는지 판단한다.
연관성 판단부(240)는 앞서 설명한 LIME 알고리즘을 기반으로 동작한다. 따라서, 연관성 판단부(240)는 종양의 형상 속성별로 그 수치를 변경하며 그 변경이 종양 악성도 예측값 변화에 미치는 영향을 바탕으로 종양 악성도와 형상 속성의 연관성을 판단한다.
도 4는 또 다른 양상에 따른 컴퓨터 진단 보조 시스템의 형상 속성 추정부(210)의 블록도이다. 발명의 또 다른 양상에 따르면, 컴퓨터 진단 보조 시스템은 제1 악성도 예측부(100)와, 제2 악성도 예측부(110)와, 연관성 예측부(200)와, 문장 생성부(300)를 포함하고, 연관성 예측부(200)는 형상 속성 추정부(210)와, 형상 속성 변경부(220)와, 변환 이미지 생성부(230)를 포함하여 연관도와 악성도에 영향을 준 형상 속성을 출력하며, 이 양상의 형상 속성 추정부(210)가 8개의 형상 스코어 추정 모델을 포함한다.
이 양상의 형상 속성 추정부(210)는 도 4에 도시된 바와 같이 종양 이미지에 대하여 형상 속성별로 각각 학습된 8개의 형상 스코어 추정 모델을 포함한다. 즉, 표1에 표시된 형상 속성들 즉, Subtlety, Internal Structure, Calcification, Sphericity, Margin, Lobulation, Spiculation와 Texture 각각에 대하여 대응 되는 형상 스코어 추정 모델을 포함한다. 이들 형상 스코어 추정 모델들은 동일한 구조의 지도학습 방식의 딥러닝 또는 머신러닝 모델이나 동일한 종양 이미지에 대하여 각각의 형상 속성별로 레이블링을 다르게 하여 학습되었다. 즉, Subtlety 형상 스코어 추정 모델은 잘 알려진 LIDC 데이터 세트 또는 LUNA 16 데이터 세트에서 subtlety에 대한 수치만 레이블링하여 학습한다. 마찬가지로 sublety를 학습시킨 데이터 세트에서 다른 형상 속성들에 대해서도 그 형상 속성 수치만 레이블링하여 동일하게 각각 학습한다.
형상 스코어 추정 모델은 영상에서 특징을 추출하는 데 특화된 컨볼루션 신경망(Convolutional Neural Networks, CNN)을 사용한다. 다만, 이에 한정되는 것은 아니다.
각각의 형상 스코어 추정 모델이 출력한 수치들을 모아서 형상 속성 벡터를 생성한다.
도 5는 생성적 적대 신경망을 사용하는 컴퓨터 진단 보조 시스템의 연관성 예측부의 블록도이다. 발명의 또 다른 양상에 따르면, 컴퓨터 진단 보조 시스템은 제1 악성도 예측부(100)와, 제2 악성도 예측부(110)와, 연관성 예측부(200)와, 문장 생성부(300)를 포함하고, 연관성 예측부(200)는 생성적 적대 신경망(250)과, 연관성 판단부(240)를 포함하여 연관도와 악성도에 영향을 준 형상 속성을 출력한다.
이 양상의 생성적 적대 신경망(Generative Adversarial Network, 250)은 원본의 종양 이미지로부터 추출된 형상 속성 벡터에서 변형된 형상 속성 벡터와 원본의 종양 이미지로부터 생성된 노이즈 벡터를 이용하여 변형된 형상 속성이 반영된 종양 이미지를 생성한다.
생성적 적대 신경망(GAN)은 지도 학습(Supervised Learning)과 강화 학습(Reinforcement Learning)과 비지도 학습(Unsupervised Learning)으로 분류되는 머신러닝 중 비지도 학습에 속한다. GAN의 구조는 분류를 담당하는 판별자 D(Discriminator)와 노이즈로부터 데이터를 생성하는 생성자 G(Generator)의 두 개의 모델로 구성되어 있다. 생성자 G와 판별자 D가 대립하며 서로의 성능을 개선시키며 학습하는 모델이다. 즉, 판별자 D는 실제 데이터만을 참으로 판별하기 위해 노력하고 생성자 G는 생성한 판별자 D가 실제 데이터와 구분하지 못하도록 가짜 데이터를 생성하도록 노력하여 최종적으로 두 모델의 성능이 같이 향상되어 최종적으로 판별자 D가 실제 데이터와 생성자 G가 생성한 가짜 데이터를 구분하지 못하게 된다.
따라서 이 양상의 생성적 적대 신경망(250)은 원본의 종양 이미지로부터 생성된 노이즈 벡터와 특정 속성이 변형된 형상 속성 벡터를 사용하여 원본의 종양 이미지로부터 변경된 형상 속성이 반영된 새로운 종양 이미지를 생성하고 이 변형된 종양 이미지에 대하여 종양의 악성도를 예측하여 원본의 종양 이미지에 대한 종양의 악성도와의 변화량을 분석하여 형상 속성과 종양의 악성도의 연관성을 판단한다.
생성적 적대 신경망(250)은 EBGAN(Energy-based GAN), DCGAN(Deep Convolutional GAN), CGAN(Conditional GAN), IcGAN(Invertible conditional GAN), StarGAN 등의 GAN을 활용하여 구성될 수 있다.
도 5에 도시된 생성적 적대 신경망(250)은 IcGAN을 활용하여 구성된 하나의 예시이다.
노이즈-인코더(251)는 GAN의 생성자 G에 해당하는 종양 이미지 생성부(253)가 종양 이미지를 생성할 때 입력 값으로 사용하는 노이즈 벡터를 생성한다.
형상 속성-인코더(252)는 영상에서 특징을 추출하는 데 특화된 컨볼루션 신경망(Convolutional Neural Networks, CNN)을 사용하여 종양 이미지로부터 형상 속성 각각의 속성 수치를 추출할 수 있다. 다만, 이에 한정되는 것은 아니다. 형상 속성-인코더(252)는 동일한 모델들이 각 속성별로 따로 학습되어 있다.
형상 속성 변경부(220)는 형상 속성-인코더(252)가 추출한 형상 속성 벡터 중 특정 형상 속성의 속성 수치를 변경한 변경된 형상 속성 벡터를 생성한다. 형상 속성이 종양의 악성도에 미치는 영향을 분석하기 위한 것이므로 하나의 형상 속성별로 변경하여 변경된 형상 속성 벡터를 생성한다. 발명의 양상에 따라서는 모든 형상 속성별로 속성 수치가 변경된 변경된 형상 속성 벡터를 생성할 수 있으며, 또 다른 양상에서는 속성 수치가 각 속성별 표준 분포를 벗어나거나 값이 큰 경우에만 속성 수치를 변경하여 변경된 형상 속성 벡터를 생성할 수도 있다.
종양 이미지 생성부(253)는 노이즈 벡터와 변경된 형상 속성 벡터를 이용하여 원본의 종양 이미지에서 특정 속성이 변경된 새로운 종양 이미지를 생성한다. 즉, 기존의 종양 이미지에서 특정 형상 속성의 수치를 낮추어 해당 속성의 영향이 거의 없는 종양의 이미지를 생성한다. 또는 다른 양상에서는 특정 형상 속성의 수치를 높인 상태에서 종양의 이미지를 생성할 수 있다.
이 양상의 연관성 판단부(240)는 종양 이미지 생성부(253)가 생성한 변환된 종양 이미지에 대한 종양의 악성도를 제2 악성도 예측부(110)로부터 획득하고, 변환된 종양 이미지에 대한 종양의 악성도와 원본의 종양 이미지에 대한 종양의 악성도를 비교하여 종양의 악성도와 변경된 속성의 연관성을 예측하여 연관도를 출력한다. 즉, 형상 변환된 종양 이미지에 대하여 제2 악성도 예측부(110)를 통해 예측된 종양의 악성도를 획득한다. 연관성 판단부(240)는 제2 악성도 예측부(110)로부터 획득한 변환된 종양 이미지에 대한 종양의 악성도와 원본의 종양 이미지에 대한 제1 악성도 예측부(100)로부터 입력된 종양의 악성도를 비교하여 그 차분을 이용하여 종양의 악성도와 변경된 속성의 연관성을 예측한다. 연관성 판단부(240)는 변경된 종양의 악성도로 변경된 형상 속성이 종양의 악성도에 영향을 미쳤는지 판단한다.
연관성 판단부(240)는 앞서 설명한 LIME 알고리즘을 기반으로 동작한다. 따라서, 연관성 판단부(240)는 종양의 형상 속성별로 그 수치를 변경하며 그 변경이 종양 악성도 예측값 변화에 미치는 영향을 바탕으로 종양 악성도와 형상 속성의 연관성을 판단한다.
발명의 또 다른 양상에 따르면, 컴퓨터 진단 보조 시스템은 제1 악성도 예측부(100)와, 제2 악성도 예측부(110)와, 연관성 예측부(200)와, 문장 생성부(300)를 포함한다.
문장 생성부(300)는 연관성 예측부(200)가 출력한 연관도의 순서대로 추론 근거 문장을 구성하며 원본의 종양 이미지에 대한 악성도와 추론 근거 문장으로 설명문을 작성할 수 있다. 입력되는 데이터인 종양의 악성도와 속성 식별자와 속성 수치와 이들의 종양 악성도와의 연관도를 바탕으로 규칙 기반(Rule based) 모델을 통해 문장을 완성할 수 있다. 다만, 이에 한정되는 것은 아니며 자연어 처리에 특화된 순환 신경망(Recurrent Neural Networks) 모델을 사용하여 문장을 구성할 수도 있으며, 컨볼루션 신경망(CNN) 모델을 사용하여 문장을 구성할 수 있다. 또한, 입력되는 데이터로 문장을 구성할 수 있으면 다른 신경망 모델을 사용할 수도 있다.
도 2는 또 다른 양상에 따른 컴퓨터 진단 보조 시스템의 블록도이다. 발명의 양상에 따라서는 제1 악성도 예측부(100)와 제2 악성도 예측부(110)가 동일한 하나의 구성일 수 있다.
발명의 또 다른 양상에 따르면, 컴퓨터 진단 보조 시스템은 제1 악성도 예측부(100)와, 연관성 예측부(200)와, 문장 생성부(300)를 포함할 수 있다.
발명의 또 다른 양상에 따르면, 컴퓨터 진단 보조 시스템은 제1 악성도 예측부(100)와, 연관성 예측부(200)와, 문장 생성부(300)를 포함하고, 연관성 예측부(200)는 형상 속성 추정부(210)와, 형상 속성 변경부(220)와, 변환 이미지 생성부(230)와, 연관성 판단부(240)를 포함하여 연관도와 악성도에 영향을 준 형상 속성을 출력할 수 있다.
발명의 또 다른 양상에 따르면, 컴퓨터 진단 보조 시스템은 제1 악성도 예측부(100)와, 연관성 예측부(200)와, 문장 생성부(300)를 포함하고, 연관성 예측부(200)는 형상 속성 추정부(210)와, 형상 속성 변경부(220)와, 변환 이미지 생성부(230)를 포함하여 연관도와 악성도에 영향을 준 형상 속성을 출력하며, 이 양상의 형상 속성 추정부(210)가 8개의 형상 스코어 추정 모델을 포함할 수 있다.
발명의 또 다른 양상에 따르면, 컴퓨터 진단 보조 시스템은 제1 악성도 예측부(100)와, 연관성 예측부(200)와, 문장 생성부(300)를 포함하고, 연관성 예측부(200)는 생성적 적대 신경망(250)과, 연관성 판단부(240)를 포함하여 연관도와 악성도에 영향을 준 형상 속성을 출력할 수 있다.
도 6은 일 실시 예에 따른 컴퓨터 진단 보조 시스템의 종양의 악성도 예측 및 추론 근거를 제시하는 방법에 대한 절차도이다. 발명의 일 실시 예에 따르면 컴퓨터 진단 보조 시스템을 종양의 악성도 예측에 대한 추론 근거를 제시하기 위하여 원본의 종양 이미지에 대하여 악성도를 예측하는 단계와, 변형된 종양 이미지를 생성하는 단계와, 변형된 종양 이미지에 대한 종양의 악성도를 예측하는 단계와, 형상 속성과 종양의 악성도의 연관성을 예측하는 단계와, 종양의 악성도와 추론 근거 문장으로 설명문을 작성하는 단계를 포함한다.
종양의 악성도를 예측하는 컴퓨터 진단 보조 시스템은 입력된 원본의 종양 이미지에 대하여 종양의 악성도를 예측하도록 학습된 악성도 예측 모델을 통해 종양의 악성도를 예측한다(S1000). 이때 예측된 종양의 악성도는 컴퓨터 진단 보조 시스템의 연관성 판단부(240)와 문장 생성부(300)로 전달된다.
이후 컴퓨터 보조 진단 시스템은 원본의 종양 이미지로부터 종양의 형상과 관련한 형상 속성 벡터를 추출하고(S1020), 이 추출된 형상 속성 벡터의 특정 속성의 속성 수치를 변경한다. 원본의 종양 이미지와 변경된 형상 속성 벡터를 이용하여 변형된 종양 이미지를 생성한다. 즉, 원본의 종양 이미지에서 추출된 종양 속성 벡터의 속성값을 변경하여 변형된 종양 이미지를 생성한다(S1040).
이후 컴퓨터 보조 진단 시스템은 변형된 변형된 종양 이미지에 대하여 악성도 예측 모델을 통해 종양의 악성도를 예측한다(S1060). 발명의 양상에 따라서는 악성도 예측 모델은 동일하게 학습된 별개의 모델이거나, 동일한 하나의 모델일 수 있다.
이후 컴퓨터 보조 진단 시스템은 원본 이미지에 대한 종양의 악성도와 변형된 종양 이미지에 대한 종양의 악성도를 비교하여 악성도의 변경 정도인 악성도 차분값을 구하고, 그 차분값을 통해 속성과 종양의 악성도와의 연관성을 예측한다(S1080). 해당 속성을 변경하여 다시 종양의 악성도를 예측하였는데 종양의 악성도가 달라지지 않았다면 해당 속성은 종양의 악성도와 연관성이 낮다고 판단할 수 있다. 이와 반대로 종양의 악성도가 큰 폭으로 달라지면 해당 속성은 종양의 악성도와 연관성이 높다고 판단할 수 있다. 예를 들어, 다른 속성은 변경하지 않고 Sphericity 속성의 수치만 조금 변경하였는데 종양의 악성도 예측값이 70%에서 10%로 변경되었다면 Sphericity가 종양의 악성도에 큰 연관성이 있는 것으로 판단할 수 있다.
컴퓨터 보조 진단 시스템은 속성 항목 벡터의 속성을 변경하며 반복하여 변형된 종양 이미지를 생성하고 이에 대하여도 종양의 악성도를 구하고 이를 원본의 종양 악성도와 차분하여 연관성을 예측할 수 있다.
이후 컴퓨터 보조 진단 시스템은 연관도의 순서대로 추론 근거 문장을 구성하며 원본의 종양 이미지에 대한 악성도와 추론 근거 문장으로 설명문을 작성하여 종양의 악성도의 예측값과 왜 그런 예측을 하였는지에 대하여 추론 근거를 제시한다(S1100).
도 7은 또 다른 실시 예에 따른 컴퓨터 진단 보조 시스템의 종양의 악성도 예측 및 추론 근거를 제시하는 방법에 대한 절차도이다. 발명의 또 다른 실시 예에 따르면 컴퓨터 진단 보조 시스템을 종양의 악성도 예측에 대한 추론 근거를 제시하기 위하여 원본의 종양 이미지에 대하여 악성도를 예측하는 단계와, 종양 이미지로부터 노이즈 벡터를 생성하는 단계와, 변형된 종양 이미지를 생성하는 단계와, 변형된 종양 이미지에 대한 종양의 악성도를 예측하는 단계와, 형상 속성과 종양의 악성도의 연관성을 예측하는 단계와, 종양의 악성도와 추론 근거 문장으로 설명문을 작성하는 단계를 포함한다.
종양의 악성도를 예측하는 컴퓨터 진단 보조 시스템은 입력된 원본의 종양 이미지에 대하여 종양의 악성도를 예측하도록 학습된 악성도 예측 모델을 통해 종양의 악성도를 예측한다(S2000). 이때 예측된 종양의 악성도는 컴퓨터 진단 보조 시스템의 연관성 판단부(240)와 문장 생성부(300)로 전달된다.
이후 컴퓨터 보조 진단 시스템은 원본 이미지로부터 종양 이미지 생성에 사용될 노이즈 벡터를 생성한다(S2010).
이후 컴퓨터 보조 진단 시스템은 원본의 종양 이미지로부터 종양의 형상과 관련한 형상 속성 벡터를 추출하고, 이 추출된 형상 속성 벡터의 특정 속성의 속성 수치를 변경한다. 노이즈 벡터와 변경된 형상 속성 벡터를 이용하여 변형된 종양 이미지를 생성한다. 즉, 원본의 종양 이미지에서 노이즈 벡터와 추출된 종양 속성 벡터의 속성값을 변경하여 변형된 종양 이미지를 생성한다(S2020).
이후 컴퓨터 보조 진단 시스템은 변형된 변형된 종양 이미지에 대하여 악성도 예측 모델을 통해 종양의 악성도를 예측한다(S2030). 발명의 양상에 따라서는 악성도 예측 모델은 동일하게 학습된 별개의 모델이거나, 동일한 하나의 모델일 수 있다.
이후 컴퓨터 보조 진단 시스템은 원본 이미지에 대한 종양의 악성도와 변형된 종양 이미지에 대한 종양의 악성도를 비교하여 악성도의 변경 정도인 악성도 차분값을 구하고, 그 차분값을 통해 속성과 종양의 악성도와의 연관성을 예측한다(S2040). 해당 속성을 변경하여 다시 종양의 악성도를 예측하였는데 종양의 악성도가 달라지지 않았다면 해당 속성은 종양의 악성도와 연관성이 낮다고 판단할 수 있다. 이와 반대로 종양의 악성도가 큰 폭으로 달라지면 해당 속성은 종양의 악성도와 연관성이 높다고 판단할 수 있다. 예를 들어, 다른 속성은 변경하지 않고 Sphericity 속성의 수치만 조금 변경하였는데 종양의 악성도 예측값이 70%에서 10%로 변경되었다면 Sphericity가 종양의 악성도에 큰 연관성이 있는 것으로 판단할 수 있다.
컴퓨터 보조 진단 시스템은 속성 항목 벡터의 속성을 변경하며 반복하여 변형된 종양 이미지를 생성하고 이에 대하여도 종양의 악성도를 구하고 이를 원본의 종양 악성도와 차분하여 연관성을 예측할 수 있다.
이후 컴퓨터 보조 진단 시스템은 연관도의 순서대로 추론 근거 문장을 구성하며 원본의 종양 이미지에 대한 악성도와 추론 근거 문장으로 설명문을 작성하여 종양의 악성도의 예측값과 왜 그런 예측을 하였는지에 대하여 추론 근거를 제시한다(S2050).
이상에서 본 발명을 첨부된 도면을 참조하는 실시 예들을 통해 설명하였지만 이에 한정되는 것은 아니며, 이들로부터 당업자라면 자명하게 도출할 수 있는 다양한 변형 예들을 포괄하도록 해석되어야 한다. 특허청구범위는 이러한 변형 예들을 포괄하도록 의도되었다.
100 : 제1 악성도 예측부
110 : 제2 악성도 예측부
200 : 연관성 예측부
210 : 형상 속성 추정부 220 : 형상 속성 변경부
230 : 변환 이미지 생성부 240 : 연관성 판단부
250 : 생성적 적대 신경망
251 : 노이즈-인코더 252 : 형상 속성-인코더
253 : 종양 이미지 생성부
300 : 문장 생성부

Claims (8)

  1. 종양 이미지로부터 악성도 예측 모델을 통해 종양의 악성도를 출력하는 제1 악성도 예측부 및 제2 악성도 예측부;
    원본의 종양 이미지로부터 추출된 형상 속성 벡터의 항목별로 속성 수치를 변경하며 종양 이미지를 형상 변환하고, 형상 변환된 종양 이미지에 대하여 제2 악성도 예측부를 통해 획득한 종양의 악성도와 상기 제1 악성도 예측부로부터 입력된 종양의 악성도를 비교하여 종양의 악성도와 변경된 속성의 연관성을 예측하고, 연관도와 악성도에 영향을 준 형상 속성을 출력하는 연관성 예측부; 및
    제1 악성도 예측부의 출력과 연관성 예측부의 출력을 기반으로 종양 이미지에 대한 종양 악성도와 추론 근거 문장으로 설명문을 작성하는 문장 생성부;
    를 포함하는 컴퓨터 보조 진단(Computer-Aided Diagnosis) 시스템.
  2. 제 1 항에 있어서, 연관성 예측부는 :
    종양 이미지로부터 형상 스코어 추정 모델을 통해 각 형상 항목별 속성 수치로 구성되는 형상 속성 벡터를 생성하는 형상 속성 추정부;
    형상 속성 추정부가 출력한 형상 속성 벡터의 속성 수치를 변경하는 형상 속성 변경부;
    변경된 형상 속성 벡터를 원본의 종양 이미지에 반영하여 변환된 종양 이미지를 생성하는 변환 이미지 생성부; 및
    제2 악성도 예측부로부터 획득한 변환된 종양 이미지에 대한 종양의 악성도와 원본의 종양 이미지에 대한 종양의 악성도를 비교하여 종양의 악성도와 변경된 속성의 연관성을 예측하여 연관도를 출력하는 연관성 판단부;
    를 포함하여 연관도와 악성도에 영향을 준 형상 속성을 출력하는 컴퓨터 보조 진단 시스템.
  3. 제 2 항에 있어서, 형상 속성 추정부는 :
    종양 이미지에 대하여 형상 속성별로 각각 학습된 8개의 형상 스코어 추정 모델을 포함하는 컴퓨터 보조 진단 시스템.
  4. 제 1 항에 있어서, 연관성 예측부는 :
    원본의 종양 이미지로부터 추출된 형상 속성 벡터에서 변형된 형상 속성 벡터와 원본의 종양 이미지로부터 생성된 노이즈 벡터를 이용하여 변형된 형상 속성이 반영된 종양 이미지를 생성하는 생성적 적대 신경망(Generative Adversarial Network); 및
    생성적 적대 신경망이 생성한 종양 이미지에 대하여 제2 악성도 예측부가 예측한 종양의 악성도와 원본의 종양 이미지에 대하여 제1 악성도 예측부가 예측한 종양의 악성도를 비교하여 종양의 악성도와 변경된 속성의 연관성을 예측하여 연관도를 출력하는 연관성 판단부;
    를 포함하여 연관도와 악성도에 영향을 준 형상 속성을 출력하는 컴퓨터 보조 진단 시스템.
  5. 제 1 항에 있어서,
    문장 생성부는 연관성 예측부가 출력한 연관도의 순서대로 추론 근거 문장을 구성하며 원본의 종양 이미지에 대한 악성도와 추론 근거 문장으로 설명문을 작성하는 컴퓨터 보조 진단 시스템.
  6. 제 1 항 내지 제 5 중 어느 하나의 항에 있어서,
    제1 악성도 예측부와 제2 악성도 예측부는 동일한 악성도 예측부인 컴퓨터 보조 진단 시스템.
  7. 입력된 원본의 종양 이미지에 대하여 악성도 예측 모델을 통해 종양의 악성도를 예측하는 단계;
    원본의 종양 이미지에서 추출된 종양 속성 벡터의 속성값을 변경하여 변형된 종양 이미지를 생성하는 단계;
    변형된 종양 이미지에 대하여 악성도 예측 모델을 통해 종양의 악성도를 예측하는 단계;
    원본 이미지에 대한 종양의 악성도와 변형된 종양 이미지에 대한 종양의 악성도의 차분값을 통해 속성과 종양의 악성도와의 연관성을 예측하는 단계;
    연관도의 순서대로 추론 근거 문장을 구성하며 원본의 종양 이미지에 대한 악성도와 추론 근거 문장으로 설명문을 작성하는 단계;
    를 포함하는 컴퓨터 보조 진단 시스템의 추론 근거 제시 방법.
  8. 제 7 항에 있어서,
    상기 종양 이미지를 생성하는 단계는 원본 이미지로부터 종양 이미지 생성에 사용될 노이즈 벡터를 생성하는 단계를 포함하고,
    종양 이미지는 노이즈 벡터와 변형된 종양 속성 벡터를 이용하여 생성되는 컴퓨터 보조 진단 시스템의 추론 근거 제시 방법.
KR1020180026034A 2018-03-05 2018-03-05 종양의 악성도와 악성도 추론의 근거를 제공하는 컴퓨터 보조 진단 시스템 및 그 방법 KR20190105461A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180026034A KR20190105461A (ko) 2018-03-05 2018-03-05 종양의 악성도와 악성도 추론의 근거를 제공하는 컴퓨터 보조 진단 시스템 및 그 방법
PCT/KR2018/012991 WO2019172498A1 (ko) 2018-03-05 2018-10-30 종양의 악성도와 악성도 추론의 근거를 제공하는 컴퓨터 보조 진단 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180026034A KR20190105461A (ko) 2018-03-05 2018-03-05 종양의 악성도와 악성도 추론의 근거를 제공하는 컴퓨터 보조 진단 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR20190105461A true KR20190105461A (ko) 2019-09-17

Family

ID=67846267

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180026034A KR20190105461A (ko) 2018-03-05 2018-03-05 종양의 악성도와 악성도 추론의 근거를 제공하는 컴퓨터 보조 진단 시스템 및 그 방법

Country Status (2)

Country Link
KR (1) KR20190105461A (ko)
WO (1) WO2019172498A1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102253402B1 (ko) * 2019-11-28 2021-05-17 광운대학교 산학협력단 Ai방식을 이용한 적대적 이미지 생성장치 및 그 방법
CN114267443A (zh) * 2021-11-08 2022-04-01 东莞市人民医院 基于深度学习的胰腺肿瘤纤维化程度预测方法及相关装置
KR20220055379A (ko) * 2020-10-26 2022-05-03 주식회사 인피닉스 인공지능을 이용한 방광 종양의 악성도 검출 장치 및 방법
WO2022131479A1 (ko) 2020-12-14 2022-06-23 주식회사 뷰노 병변 판독 방법
KR20220109535A (ko) 2021-01-28 2022-08-05 권오연 안저 검사 방법 및 장치
CN115661152A (zh) * 2022-12-27 2023-01-31 四川大学华西医院 基于模型预测的目标发展情况分析方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200279182A1 (en) * 2019-03-02 2020-09-03 Flowcast, Inc. Method and system for automatically producing plain-text explanation of machine learning models
CN114267445A (zh) * 2021-12-23 2022-04-01 山东众阳健康科技集团有限公司 一种诊断一致性检验方法、系统、设备及介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7783094B2 (en) * 2005-06-02 2010-08-24 The Medipattern Corporation System and method of computer-aided detection
KR102049336B1 (ko) * 2012-11-30 2019-11-27 삼성전자주식회사 컴퓨터 보조 진단 장치 및 방법
JP2016531709A (ja) * 2013-09-20 2016-10-13 トランスムラル・バイオテック・ソシエダ・リミターダ 疾患を診断するための画像解析技術
KR20150073628A (ko) * 2013-12-23 2015-07-01 삼성전자주식회사 컴퓨터 보조 진단용 진단모델 적응 시스템 및 방법
US10339650B2 (en) * 2016-01-07 2019-07-02 Koios Medical, Inc. Method and means of CAD system personalization to reduce intraoperator and interoperator variation

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102253402B1 (ko) * 2019-11-28 2021-05-17 광운대학교 산학협력단 Ai방식을 이용한 적대적 이미지 생성장치 및 그 방법
KR20220055379A (ko) * 2020-10-26 2022-05-03 주식회사 인피닉스 인공지능을 이용한 방광 종양의 악성도 검출 장치 및 방법
WO2022131479A1 (ko) 2020-12-14 2022-06-23 주식회사 뷰노 병변 판독 방법
KR20220109535A (ko) 2021-01-28 2022-08-05 권오연 안저 검사 방법 및 장치
CN114267443A (zh) * 2021-11-08 2022-04-01 东莞市人民医院 基于深度学习的胰腺肿瘤纤维化程度预测方法及相关装置
CN115661152A (zh) * 2022-12-27 2023-01-31 四川大学华西医院 基于模型预测的目标发展情况分析方法
CN115661152B (zh) * 2022-12-27 2023-04-07 四川大学华西医院 基于模型预测的目标发展情况分析方法

Also Published As

Publication number Publication date
WO2019172498A1 (ko) 2019-09-12

Similar Documents

Publication Publication Date Title
KR20190105461A (ko) 종양의 악성도와 악성도 추론의 근거를 제공하는 컴퓨터 보조 진단 시스템 및 그 방법
Tellez et al. Neural image compression for gigapixel histopathology image analysis
Yu et al. Deep learning assisted predict of lung cancer on computed tomography images using the adaptive hierarchical heuristic mathematical model
NL2019410B1 (en) Computer-aided diagnostics using deep neural networks
Oliver et al. A statistical approach for breast density segmentation
Abdullah et al. Lung cancer prediction and classification based on correlation selection method using machine learning techniques
Faghani et al. Mitigating bias in radiology machine learning: 3. Performance metrics
JP2020516428A (ja) マンモグラフィにおける密度の評価
KR20190105460A (ko) 의료 진단 리포트 생성 장치 및 방법
Jaszcz et al. Lung x-ray image segmentation using heuristic red fox optimization algorithm
Sweetlin et al. Computer aided diagnosis of drug sensitive pulmonary tuberculosis with cavities, consolidations and nodular manifestations on lung CT images
CN112820399A (zh) 自动诊断甲状腺结节良恶性的方法及装置
Schabdach et al. A likelihood-free approach for characterizing heterogeneous diseases in large-scale studies
WO2023204944A1 (en) Training of text and image models
Mall et al. Explainable Deep Learning approach for Shoulder Abnormality Detection in X-Rays Dataset.
CN116884623A (zh) 基于激光扫描成像的医疗康复预测系统
Chen et al. Breast cancer classification with electronic medical records using hierarchical attention bidirectional networks
Wang et al. SAC-Net: Enhancing Spatiotemporal Aggregation in Cervical Histological Image Classification via Label-Efficient Weakly Supervised Learning
Jeya Sundari et al. Factorization‐based active contour segmentation and pelican optimization‐based modified bidirectional long short‐term memory for ovarian tumor detection
Ankireddy Assistive diagnostic tool for brain tumor detection using computer vision
CN115760797A (zh) 一种基于混合注意力网络对胰腺图像进行分类的方法
Sahatova et al. An overview and comparison of XAI methods for object detection in computer tomography
Venkatesh et al. An Overview Of Interpretability Techniques For Explainable Artificial Intelligence (XAI) In Deep Learning-Based Medical Image Analysis
Peter et al. Medical image analysis using unsupervised and supervised classification techniques
Basavarajappa et al. Lung Nodule Segmentation Using Cat Swarm Optimization Based Recurrent Neural Network.

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application