KR20200117344A - 병변 해석을 위한 상호작용이 가능한 cad 방법 및 그 시스템 - Google Patents
병변 해석을 위한 상호작용이 가능한 cad 방법 및 그 시스템 Download PDFInfo
- Publication number
- KR20200117344A KR20200117344A KR1020190039324A KR20190039324A KR20200117344A KR 20200117344 A KR20200117344 A KR 20200117344A KR 1020190039324 A KR1020190039324 A KR 1020190039324A KR 20190039324 A KR20190039324 A KR 20190039324A KR 20200117344 A KR20200117344 A KR 20200117344A
- Authority
- KR
- South Korea
- Prior art keywords
- information
- lesion
- diagnosis
- target image
- analysis
- Prior art date
Links
- 230000003902 lesion Effects 0.000 title claims abstract description 335
- 238000003745 diagnosis Methods 0.000 title claims abstract description 287
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000004195 computer-aided diagnosis Methods 0.000 title claims description 114
- 230000002452 interceptive effect Effects 0.000 title claims description 55
- 238000004458 analytical method Methods 0.000 claims abstract description 100
- 230000003993 interaction Effects 0.000 claims abstract description 77
- 230000000007 visual effect Effects 0.000 claims abstract description 71
- 230000003211 malignant effect Effects 0.000 claims abstract description 33
- 238000010191 image analysis Methods 0.000 claims abstract description 22
- 238000009795 derivation Methods 0.000 claims description 25
- 238000013135 deep learning Methods 0.000 claims description 14
- 238000005259 measurement Methods 0.000 claims description 14
- 230000004044 response Effects 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 9
- 230000002787 reinforcement Effects 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 description 17
- 238000012545 processing Methods 0.000 description 11
- 238000012549 training Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 238000013473 artificial intelligence Methods 0.000 description 8
- 210000000481 breast Anatomy 0.000 description 7
- 238000000605 extraction Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 208000004434 Calcinosis Diseases 0.000 description 3
- 235000000332 black box Nutrition 0.000 description 3
- 244000085682 black box Species 0.000 description 3
- 201000011510 cancer Diseases 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 239000013077 target material Substances 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000036210 malignancy Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000002308 calcification Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000002593 electrical impedance tomography Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
- A61B2090/3904—Markers, e.g. radio-opaque or breast lesions markers specially adapted for marking specified tissue
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Radiology & Medical Imaging (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
본 발명은 병변 해석을 위해 의사와 의견교환 수준의 상호작용이 가능한 CAD 시스템 및 그 방법에 관한 것으로, 측정 대상에 대한 대상 이미지를 수신하는 단계, 상기 대상 이미지에 대한 영상 분석을 통해 특징 정보를 추출하여 병변 여부에 대한 악성 또는 양성의 진단 정보(Diagnosis Results)를 진단하는 단계, 상기 특징 정보 및 진단 결과에 따른 상기 진단 정보를 이용하여 병변 진단에 대한 근거를 설명하는 시각적 설명정보(Visual Explanation) 및 병변진단요인 설명정보(Medical Description Explanation)의 설명 정보를 도출하는 단계, 상기 대상 이미지, 상기 진단 정보 및 상기 설명 정보를 기반으로 한 의사의 질의된 선택으로 상호작용(Interaction)된 인터랙션 정보를 생성하는 단계 및 상기 CAD 시스템 내 UI/UX 출력부에 의해, 미리 결정된 UI/UX를 선택하여 상기 대상 이미지, 상기 진단 정보, 상기 설명 정보 및 상기 인터랙션 정보를 구성하여 출력하는 단계를 포함한다.
Description
본 발명은 병변 해석을 위한 상호작용이 가능한 CAD 방법 및 그 시스템에 관한 것으로, 보다 상세하게는 병변 해석을 위해 의사와 의견교환 수준의 상호작용이 가능한 CAD 시스템 및 그 방법에 관한 것이다.
최근 딥 러닝(Deep Learning) 기술의 발전으로 AI(Artificial Intelligence, 인공 지능) 기술이 데이터 분석, 자료 시각화, 영상 인식 등 다양한 분야에 적용되어 매우 뛰어난 결과를 보이고 있다. 하지만 현재 대부분의 사용자들은 해석하기 어려운 기능과 불명확한 동작 메커니즘으로 인해 AI 기술을 활용하지 못하고 있다.
AI 기술의 기능들과 동작원리를 이해하지 못한다면, 단순히 결과에만 의존한 시행착오적인 기술개발 밖에 할 수 없으며, 개발된 AI 기술의 활용 범위도 매우 제한적이게 된다. 특히, 의료 영상 분석과 같은 분야에서는 진단 및 판단 결과가 환자 등에게 매우 중요한 사안이고, 큰 영향을 미칠 수 있으므로 신중한 판단이 필요하다.
그러나, 지금처럼 AI 기술이 왜, 어떻게 그런 결정을 내렸는지에 대해 명확한 이해 없이는 의료분야에서 현재 AI 기술을 활용하는 것은 매우 제한적일 수 밖에 없다. 예를 들어, 의사의 판단에 도움을 주기 위한 기존 CAD 기술의 경우, 의사의 컨디션이나 숙련도에 따라 CAD를 이용한 의사의 판독 결과가 다르게 나오는 한계가 존재한다.
따라서, 의료영상을 분석하고, 단순히 진단 결과를 출력해주는 수준의 기술을 넘어 의사들에게 AI 모델이 왜, 어떻게 그런 진단을 내렸는지 설명 가능한 정보를 제공할 수 있는 CAD(Explainable CAD) 기술이 요구된다.
본 발명의 목적은 병변 여부에 대한 악성 또는 양성의 진단 정보 및 설명 정보를 기반으로, 의사의 질의된 텀(term)의 선택에 의해 변경되는 인터랙션 정보를 제공하고자 한다.
또한, 본 발명의 목적은 측정 대상에 대한 유방 이미지(Mammographic Image), 진단 결과(Diagnosis Results), 설명(Explanation) 및 상호작용(Interaction)의 미리 결정된 UI/UX 레이아웃에 따라 대상 이미지, 진단 정보, 설명 정보 및 인터랙션 정보를 구성하여 출력하고자 한다.
본 발명의 실시예에 따른 병변 해석을 위한 상호작용이 가능한 CAD(Computer-Aided Diagnosis) 시스템의 동작 방법에 있어서, 측정 대상에 대한 대상 이미지를 수신하는 단계, 상기 대상 이미지에 대한 영상 분석을 통해 특징 정보를 추출하여 병변 여부에 대한 악성 또는 양성의 진단 정보(Diagnosis Results)를 진단하는 단계, 상기 특징 정보 및 진단 결과에 따른 상기 진단 정보를 이용하여 병변 진단에 대한 근거를 설명하는 시각적 설명정보(Visual Explanation) 및 병변진단요인 설명정보(Medical Description Explanation)의 설명 정보를 도출하는 단계, 상기 대상 이미지, 상기 진단 정보 및 상기 설명 정보를 기반으로 한 의사의 질의된 선택으로 상호작용(Interaction)된 인터랙션 정보를 생성하는 단계 및 상기 CAD 시스템 내 UI/UX 출력부에 의해, 미리 결정된 UI/UX를 선택하여 상기 대상 이미지, 상기 진단 정보, 상기 설명 정보 및 상기 인터랙션 정보를 구성하여 출력하는 단계를 포함한다.
상기 생성하는 단계는 상기 대상 이미지, 상기 진단 정보 및 상기 설명 정보를 기반으로 한 의사의 질의된 텀(term)의 선택에 대응하여 상호작용된 상기 인터랙션 정보를 생성할 수 있다.
상기 생성하는 단계는 의사의 질의된 병변의 크기(size), 모양(shape) 및 경계면(margin) 중 적어도 어느 하나 이상에 대한 텀의 선택에 대응하여 상호작용되는 상기 인터랙션 정보를 생성할 수 있다.
상기 출력하는 단계는 미리 결정된 UI/UX의 레이아웃을 기반으로, 상기 대상 이미지, 상기 진단 정보와 상기 진단 정보에 대응되는 이미지, 상기 설명 정보와 상기 설명 정보에 대응되는 이미지 및 상기 인터랙션 정보를 순차적으로 제공할 수 있다.
상기 출력하는 단계는 미리 결정된 UI/UX의 레이아웃을 기반으로, 유방 이미지(Mammographic Image), 진단 결과(Diagnosis Results), 설명(Explanation) 및 상호작용(Interaction)의 각 섹션에 대응되도록 상기 대상 이미지, 상기 진단 정보, 상기 설명 정보 및 상기 인터랙션 정보를 구성하여 출력할 수 있다.
상기 진단하는 단계는 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 상기 대상 이미지에 대한 영상 분석을 통해 상기 특징 정보를 추출하며, 상기 추출된 특징 정보에 따른 악성 또는 양성(Malignant/benign)의 상기 진단 정보를 진단할 수 있다.
상기 진단하는 단계는 상기 대상 이미지뿐 아니라, 상기 진단 정보에 대한 근거를 설명하는 생성 모델(generative model)로부터 도출되는 상기 설명 정보를 융합하여 병변을 분류하고, 분류 결과에 따라 병변 여부에 대한 악성 또는 양성의 상기 진단 정보를 진단할 수 있다.
상기 도출하는 단계는 상기 시각적 설명정보를 생성하는 단계를 포함하며, 상기 시각적 설명정보를 생성하는 단계는 상기 특징 정보 및 상기 진단 정보를 기반으로, 딥 러닝(Deep Learning)을 이용하여 시각적 집중영역(Saliency Region), 활성도 맵(Activation Map) 및 병변의 뚜렷한 패턴(Conspicuous Pattern)을 포함하는 상기 시각적 설명정보를 생성할 수 있다.
상기 시각적 설명정보를 생성하는 단계는 적대적 학습(Adversarial Learning) 및 강화학습(Reinforcement Learning)의 딥 러닝(Deep Learning)을 이용하여 상기 특징 정보 및 상기 병변진단요인 설명정보를 디코딩(decoding)하여 상기 병변의 뚜렷한 패턴(Conspicuous Pattern)을 생성할 수 있다.
상기 도출하는 단계는 상기 병변진단요인 설명정보를 생성하는 단계를 포함하며, 상기 병변진단요인 설명정보를 생성하는 단계는 상기 특징 정보 및 상기 진단 정보를 기반으로, 멀티 태스크 딥 네트워크(Multi-task Deep Network) 학습을 통해 병변의 크기(size), 모양(shape) 및 경계면(margin)을 확률적으로 추정하여 상기 병변진단요인 설명정보를 생성할 수 있다.
본 발명의 실시예에 따른 병변 해석을 위한 상호작용이 가능한 CAD(Computer-Aided Diagnosis) 시스템에 있어서, 측정 대상에 대한 대상 이미지를 수신하는 수신부, 상기 대상 이미지에 대한 영상 분석을 통해 특징 정보를 추출하여 병변 여부에 대한 악성 또는 양성의 진단 정보(Diagnosis Results)를 진단하는 병변 진단부, 상기 특징 정보 및 진단 결과에 따른 상기 진단 정보를 이용하여 병변 진단에 대한 근거를 설명하는 시각적 설명정보(Visual Explanation) 및 병변진단요인 설명정보(Medical Description Explanation)의 설명 정보를 도출하는 설명 도출부, 상기 대상 이미지, 상기 진단 정보 및 상기 설명 정보를 기반으로 한 의사의 질의된 선택으로 상호작용(Interaction)된 인터랙션 정보를 생성하는 생성부 및 미리 결정된 UI/UX를 선택하여 상기 대상 이미지, 상기 진단 정보, 상기 설명 정보 및 상기 인터랙션 정보를 구성하여 출력하는 UI/UX 출력부를 포함한다.
상기 설명 도출부는 시각적 설명정보를 생성하는 시각적 설명정보 생성부 및 병변진단요인 설명정보를 생성하는 병변진단요인 설명정보 생성부를 포함할 수 있다.
본 발명의 실시예에 따르면, 미리 결정된 UI/UX 레이아웃에 따라 병변 여부에 대한 악성 또는 양성의 진단 정보 및 설명 정보를 구성하고, 의사의 질의된 텀(term)의 선택에 의해 변경되는 상호작용된 인터랙션 정보를 제공하여 기존 CAD의 블랙박스(blackbox) 동작, 설명가능성 부족, 상호작용 부족의 한계를 극복할 수 있다.
또한, 본 발명의 실시예에 따르면, 병변 여부에 대한 진단 결과와, 병변 진단에 대한 근거를 설명하는 병변진단요인 설명정보 및 시각적 설명정보를 제공함으로써, 병변 진단의 과정 및 근거를 명확하게 이해하도록 하며, 진단 결과에 대한 신뢰도를 향상시킬 수 있다.
또한, 본 발명의 실시예에 따르면, UI/UX 기반의 상호작용된 CAD(Explainable CAD) 기술에 대한 신뢰도가 크게 향상되어 더 많은 의사들이 활용할 수 있을 것으로 기대된다.
도 1은 본 발명의 실시예에 따른 병변 해석을 위한 상호작용이 가능한 CAD 방법의 동작 흐름도를 도시한 것이다.
도 2는 본 발명의 실시예에 따른 병변 해석을 위한 상호작용이 가능한 CAD 시스템의 UI/UX 예를 도시한 것이다.
도 3a 내지 도 3g는 본 발명의 실시예에 따른 병변 해석을 위한 상호작용이 가능한 CAD 시스템에 의해 정보를 순차적으로 구성하여 출력하는 UI/UX 예를 도시한 것이다.
도 4는 본 발명의 실시예에 따른 병변 해석을 위한 상호작용이 가능한 CAD 시스템의 세부 구성을 블록도로 도시한 것이다.
도 5는 본 발명의 실시예에 따른 병변 해석을 위한 상호작용이 가능한 CAD 시스템의 개념도를 도시한 것이다.
도 6은 본 발명의 다른 실시예에 따른 병변 해석을 위한 상호작용이 가능한 CAD 시스템의 개념도를 도시한 것이다.
도 7은 본 발명의 실시예에 따른 융합 모델을 포함하는 병변 해석을 위한 상호작용이 가능한 CAD 시스템의 세부 구성을 나타내는 구조를 도시한 것이다.
도 8a 및 도 8b는 본 발명의 실시예에 따른 생성 모델의 세부 구성을 나타내는 블록도를 도시한 것이다.
도 9는 본 발명의 실시예에 따른 병변 해석을 위한 상호작용이 가능한 CAD 시스템의 학습 방법을 설명하기 위해 도시한 것이다.
도 2는 본 발명의 실시예에 따른 병변 해석을 위한 상호작용이 가능한 CAD 시스템의 UI/UX 예를 도시한 것이다.
도 3a 내지 도 3g는 본 발명의 실시예에 따른 병변 해석을 위한 상호작용이 가능한 CAD 시스템에 의해 정보를 순차적으로 구성하여 출력하는 UI/UX 예를 도시한 것이다.
도 4는 본 발명의 실시예에 따른 병변 해석을 위한 상호작용이 가능한 CAD 시스템의 세부 구성을 블록도로 도시한 것이다.
도 5는 본 발명의 실시예에 따른 병변 해석을 위한 상호작용이 가능한 CAD 시스템의 개념도를 도시한 것이다.
도 6은 본 발명의 다른 실시예에 따른 병변 해석을 위한 상호작용이 가능한 CAD 시스템의 개념도를 도시한 것이다.
도 7은 본 발명의 실시예에 따른 융합 모델을 포함하는 병변 해석을 위한 상호작용이 가능한 CAD 시스템의 세부 구성을 나타내는 구조를 도시한 것이다.
도 8a 및 도 8b는 본 발명의 실시예에 따른 생성 모델의 세부 구성을 나타내는 블록도를 도시한 것이다.
도 9는 본 발명의 실시예에 따른 병변 해석을 위한 상호작용이 가능한 CAD 시스템의 학습 방법을 설명하기 위해 도시한 것이다.
이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
또한, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 시청자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 발명은 병변 해석을 위한 상호작용이 가능한 CAD(Computer-Aided Diagnosis) 시스템 및 그 방법에 관한 기술로, 미리 결정된 UI/UX 레이아웃의 유방 이미지(Mammographic Image), 진단 결과(Diagnosis Results), 설명(Explanation) 및 상호작용(Interaction) 각 섹션에 따라 대상 이미지, 진단 정보, 설명 정보 및 인터랙션 정보를 구성하여 출력하는 것을 그 요지로 한다.
기존의 마모 CAD(mammo CAD)에서는 진단 결과에 대해 악성 또는 양성(Malignant/benign)의 진단 결과를 제공했던데 반해, 제안하는 본 발명은 상호작용이 가능한 CAD 시스템 및 그 방법에서, 악성 또는 양성의 진단 정보와 더불어 진단에 주요한 영역을 나타내는 BIRAD lexicon에 관련된 비주얼 정보, 인터랙션 정보 및 진단에 대해 의사들이 사용하는 문장에 기반한 설명 정보를 제공한다. 나아가, 본 발명은 병변의 정보를 제공하나, 의사는 이에 대한 질의를 할 수 있다. 이로 인하여, 본 발명은 의사의 질의된 텀(term)으로 병변을 변경하는 기반 기술을 포함한다. 본 발명은 기반 기술을 토대로 상호작용이 가능한 CAD 시스템을 구성할 수 있으며, 기존 CAD 기술의 블랙박스(blackbox) 동작, 설명가능성 부족, 상호작용 부족의 한계를 극복한다.
이하에서는 의료 영상에 기초하여 병변 여부를 진단하고, 진단 정보 및 특징 정보를 이용하여 병변 진단에 대한 근거를 설명하는 설명 정보와 의사의 질의된 텀에 의한 BIRAD lexicon에 관련된 비주얼 정보 및 인터랙션 정보를 UI/UX로 구성하여 제공하는 CAD 시스템 및 그 방법에 대해 도 1 내지 도 9를 참조하여 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 병변 해석을 위한 상호작용이 가능한 CAD 방법의 동작 흐름도를 도시한 것이다.
도 1의 방법은 도 4에 도시된 본 발명의 실시예에 따른 병변 해석을 위한 상호작용이 가능한 CAD(Computer-Aided Diagnosis) 시스템(400)에 의해 수행된다.
도 1을 참조하면, 단계 110에서, 측정 대상에 대한 대상 이미지를 수신한다.
단계 110은 측정 대상 즉, 사람의 신체 일부에 대한 의료 영상인 대상 이미지를 수신할 수 있다. 예를 들면, 단계 110은 유방에 대한 유방 X선 이미지(Mammographic Image)를 수신할 수 있으나, 전술한 신체 일부에 한정하지 않으며, 측정 대상의 실체 일부에 대한 X선 이미지일 수 있다.
단계 120에서, 대상 이미지에 대한 영상 분석을 통해 특징 정보를 추출하여 병변 여부에 대한 악성 또는 양성의 진단 정보(Diagnosis Results)를 진단한다.
예를 들면, 단계 120은 의료 영상인 대상 이미지에 대한 영상 분석을 수행하여 특징 정보를 추출(인코딩, Encoding)하고, 추출된 특징 정보와 시각적 설명정보 및 병변진단요인 설명정보를 포함하는 설명 정보를 융합하여 병변을 분류하며, 분류 결과에 따라 병변 여부를 진단할 수 있다. 이 때, 단계 120은 병변 분석 및 진단 모델로 구성되며, 상기 모델에 의해 대상 이미지에 대한 분석, 추출 및 진단의 과정이 수행될 수 있다.
보다 구체적으로, 단계 120은 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 대상 이미지에 대한 영상 분석을 수행하고, 영상 분석에 따른 대상 이미지 내 특징 정보를 추출하며, 추출된 특징 정보로부터 악성 또는 양성(Malignant/benign)의 병변 여부를 진단할 수 있다. 실시예에 따라서, 단계 120은 대상 이미지뿐만 아니라, 병변 진단에 대한 근거를 설명하는 생성 모델(generative model)로부터 도출되는 설명 정보를 융합하여 병변을 분류하고, 분류 결과에 따라 병변 여부를 진단할 수 있다. 상기 생성 모델은 단계 130에서 병변 진단에 대한 근거를 설명하는 설명 정보를 생성하기 위해 사용하는 모델이다.
실시예에 따라서, 특징 정보는 검출 대상 물질에 따라 결정될 수 있으며, 특징 정보의 추출은 다양한 특징 추출 알고리즘 중 적어도 하나를 적용하여 수행할 수 있다. 예를 들어, SGLD(Spatial Gray Level Dependence) matrices method, Run Difference method, Law’s texture feature method, Autocorrelation based texture features method, Co-ccurence matrices texture features method, Moravec’s corner detector, Harris corner detector, Harris Laplace detector, Harris Affine detector, Hessian Affine detector, Edge-based region detector, Intensity-based region detector, Difference of Gaussian operator, Laplacian of Gaussian operator, Scale invariant Feature Transform(SIFT) detector 등의 특징 추출 알고리즘 중 적어도 하나를 적용하여 획득할 수 있다.
다만, 본 발명의 실시예에 따른 병변 해석을 위한 상호작용이 가능한 CAD 방법은 검출 대상 물질에 따라 적절한 특징 추출 알고리즘을 선택할 수 있는 바, 일 예로, 검출 대상 물질이 유방에 존재하는 미세 석회화인 경우에는 SGLD matrices method나 Law’s texture feature method와 같은 특징 추출 알고리즘이 적용될 수 있다. 다만, 상기 검출 대상 물질은 이에 한정되지 않으며, 알고리즘들은 단계 120에서 적용 가능한 알고리즘의 예시들에 불과하므로, 실시예가 이에 한정되는 것은 아니다.
단계 120은 딥 뉴럴 네트워크(Deep Neural Network)를 기반으로, 대상 이미지로부터 추출된 특징 정보를 융합(fusion)하여 특징 벡터를 생성하고, 생성된 특징 벡터를 이용하여 관심 볼륨이 병변에 해당하는지 여부를 판단할 수 있다. 실시예에 따라서, 단계 120은 분류기를 사용하여 병변을 판단할 수 있으며, 예를 들어 설명하면, 융합된 특징 정보가 미세 석회화나 결절과 같은 병변을 나타내는지 여부를 SVM(Support Vector Machine) 분류기를 사용하여 판단할 수 있다. 이 때, 단계 120은 특징 정보를 융합하는 방식에는 한정하지 않으며, 일 예로 x축, y축 및 z축 이미지로부터 각각 추출된 특징 정보를 연쇄적으로(concatenate) 융합하는 것도 가능하다.
단계 130에서, 특징 정보 및 진단 결과에 따른 진단 정보를 이용하여 병변 진단에 대한 근거를 설명하는 시각적 설명정보(Visual Explanation) 및 병변진단요인 설명정보(Medical Description Explanation)의 설명 정보를 도출한다. 이 때, 단계 130은 병변 진단에 대한 근거를 설명하는 생성 모델(generative model)로 구성되며, 상기 모델에 의해 설명 정보 도출의 과정이 수행될 수 있다.
보다 구체적으로, 단계 130은 시각적 설명정보를 생성하는 단계 및 병변진단요인 설명정보를 생성하는 단계를 포함할 수 있다.
상기 시각적 설명정보를 생성하는 단계는 단계 120에서, 대상 이미지 중 어느 정보를 추출 및 활용하여 진단 결과를 도출하였는지를 시각적으로 제공하기 위한 시각적 설명정보를 생성할 수 있다.
예를 들면, 상기 시각적 설명정보를 생성하는 단계는 단계 120으로부터 추출된 특징 정보 및 진단 정보를 기반으로, 딥 러닝(Deep Learning)을 이용하여 시각적 집중영역(Saliency Region), 활성도 맵(Activation Map) 및 병변의 뚜렷한 패턴(Conspicuous Pattern)을 포함하는 시각적 설명정보를 생성할 수 있다. 이 때, 상기 시각적 설명정보를 생성하는 단계는 적대적 학습(Adversarial Learning) 및 강화학습(Reinforcement Learning)의 딥 러닝(Deep Learning)을 이용하여 특징 정보 및 병변진단요인 설명정보를 디코딩(decoding)함으로써, 병변의 뚜렷한 패턴(Conspicuous Pattern)을 생성할 수 있다.
상기 시각적 설명정보는 이미지, 영상, 그래프 및 콘텐츠 중 적어도 어느 하나의 형태인 시각적 집중영역(Saliency Region), 활성도 맵(Activation Map) 및 병변의 뚜렷한 패턴(Conspicuous Pattern)을 포함하며, 상기 병변진단요인 설명정보는 진단 이유에 대한 설명을 포함하며 의료 용어에 기반한 코멘트 및 문장의 형태로 제공할 수 있다.
상기 병변진단요인 설명정보를 생성하는 단계는 의사들이 병변 진단 시 고려하는 다양한 병변 진단 요인과, 병변 진단 증례보고서에서 표현되는 다양한 병변 진단 요인들을 포함하는 병변진단요인 설명정보를 생성할 수 있다.
예를 들면, 상기 병변진단요인 설명정보를 생성하는 단계는 단계 120으로부터 추출된 특징 정보 및 진단 정보를 기반으로, 멀티 태스크 딥 네트워크(Multi-task Deep Network) 학습을 통해 병변의 크기(size), 모양(shape) 및 경계면(margin)을 포함하는 병변 진단 요인들을 확률적으로 추정하여 병변진단요인 설명정보를 생성할 수 있다.
단계 140에서, 대상 이미지, 진단 정보 및 설명 정보를 기반으로 한 의사의 질의된 선택으로 상호작용(Interaction)된 인터랙션 정보를 생성한다.
단계 140은 대상 이미지, 진단 정보 및 설명 정보를 기반으로 한 의사의 질의된 텀(term)의 선택에 대응하여 상호작용된 영상 정보인 인터랙션 정보를 생성할 수 있다. 예를 들면, 의사는 측정 대상에 대한 병변의 크기(size), 모양(shape) 및 경계면(margin) 중 적어도 어느 하나 이상에서 특정 형태의 텀을 선택할 수 있으며, 단계 140은 의사의 질의된 선택에 대응하여 상호작용되는 인터랙션 정보를 생성할 수 있다. 상기 인터랙션 정보는 의사의 질의된 텀에 의해 시각적으로 제공되는 특정 영역의 이미지(Image)를 나타낸다.
단계 150에서, CAD 시스템(400) 내 UI/UX 출력부(450)에 의해, 미리 결정된 UI/UX를 선택하여 대상 이미지, 진단 정보, 설명 정보 및 인터랙션 정보를 구성하여 출력한다.
단계 150은 미리 결정된 UI/UX의 레이아웃을 기반으로, 대상 이미지, 진단 정보와 진단 정보에 대응되는 이미지, 설명 정보와 설명 정보에 대응되는 이미지 및 인터랙션 정보를 순차적으로 제공할 수 있다. 예를 들면, 단계 150은 미리 결정된 UI/UX의 레이아웃을 기반으로, 유방 이미지(Mammographic Image), 진단 결과(Diagnosis Results), 설명(Explanation) 및 상호작용(Interaction)의 각 섹션에 대응되도록 대상 이미지, 진단 정보, 설명 정보 및 인터랙션 정보를 구성하여 출력할 수 있다.
도 2는 본 발명의 실시예에 따른 병변 해석을 위한 상호작용이 가능한 CAD 시스템의 UI/UX 예를 도시한 것이다.
도 2를 참조하면, 본 발명의 실시예에 따른 병변 해석을 위한 상호작용이 가능한 CAD 시스템은 미리 결정된 UI/UX(User Interface/User Experience)의 레이아웃을 기반으로, 유방 이미지(Mammographic Image), 진단 결과(Diagnosis Results), 설명(Explanation) 및 상호작용(Interaction)의 각 섹션에 대응되도록 대상 이미지, 진단 정보, 설명 정보 및 인터랙션 정보를 구성하여 출력할 수 있다.
도 3a 내지 도 3g는 본 발명의 실시예에 따른 병변 해석을 위한 상호작용이 가능한 CAD 시스템에 의해 정보를 순차적으로 구성하여 출력하는 UI/UX 예를 도시한 것이다.
도 3a 및 도 3b를 참조하면, 미리 결정된 UI/UX(User Interface/User Experience)의 레이아웃을 기반으로, ‘Mammographic Image’의 섹션에서 ‘Load Image’를 선택하는 경우, 본 발명의 실시예에 따른 병변 해석을 위한 상호작용이 가능한 CAD 시스템은 진단하고자 하는 측정 대상에 관련된 대상 이미지를 출력할 수 있다.
이에 따라, 도 3c에 도시된 바와 같이, 본 발명의 실시예에 따른 병변 해석을 위한 상호작용이 가능한 CAD 시스템은 미리 결정된 UI/UX의 레이아웃에 기반하여 진단하고자 하는 측정 대상에 관련된 대상 이미지를 좌측의 ‘Mammographic Image’의 섹션에 디스플레이할 수 있다.
본 발명의 실시예에 따른 병변 해석을 위한 상호작용이 가능한 CAD 시스템은 대상 이미지에 대한 영상 분석을 통해 특징 정보를 추출하고, 병변 여부에 대한 악성 또는 양성의 진단 정보를 진단한다. 도 3d를 참조하면, ‘Mammographic Image’의 섹션 하단에 위치하는 ‘Diagnosis’를 선택하는 경우, 본 발명의 실시예에 따른 병변 해석을 위한 상호작용이 가능한 CAD 시스템은 대상 이미지를 진단한 진단 정보를 ‘Diagnosis Results’의 섹션에 출력할 수 있다.
도 3d에 도시된 예를 들면, 본 발명의 실시예에 따른 병변 해석을 위한 상호작용이 가능한 CAD 시스템은 대상 이미지 중에서 진단하고자 하는 특정 영역에 대한 이미지와 함께 병변의 진단 결과인 진단 정보와 의사 진단 표준에 기반한 병변의 경계면(margin) 및 모양(shape)을 같이 진단 및 출력할 수 있다. 이 때 도 3d에서, 진단 결과(diagnosis)는 양성(benign)을 나타내고, 경계면(margin)은 국한성(circumscribed)을 나타내며, 모양(shape)은 둥근형(round)을 나타내는 것을 알 수 있다.
즉, 도 3d에 도시된 바와 같이, 본 발명의 실시예에 따른 병변 해석을 위한 상호작용이 가능한 CAD 시스템은 미리 결정된 UI/UX의 레이아웃에 기반하여 ‘Diagnosis Results’의 섹션에서 병변 여부에 대한 악성 또는 양성의 진단 결과, 크기(size), 모양(shape), 경계면(margin)의 병변 형태 및 이에 해당되는 이미지를 출력할 수 있다.
도 3e를 참조하면, 본 발명의 실시예에 따른 병변 해석을 위한 상호작용이 가능한 CAD 시스템은 병변 진단에 대한 근거를 설명하는 시각적 설명정보(Visual Explanation) 및 병변진단요인 설명정보(Medical Description Explanation)의 설명 정보를 출력한다.
예를 들면, 본 발명의 실시예에 따른 병변 해석을 위한 상호작용이 가능한 CAD 시스템은 미리 결정된 UI/UX의 레이아웃에 기반하여 시각적 설명정보 및 병변진단요인 설명정보를 중앙 하단의 ‘Explanation’의 섹션에 디스플레이할 수 있다. 이 때, 시각적 설명정보(Visual Explanation)는 이미지, 영상, 그래프 및 콘텐츠 중 적어도 어느 하나의 형태인 시각적 집중영역(Saliency Region), 활성도 맵(Activation Map) 및 병변의 뚜렷한 패턴(Conspicuous Pattern)을 포함하며, 병변진단요인 설명정보(Medical Description Explanation)는 진단 이유에 대한 설명을 포함하며 의료 용어에 기반한 코멘트 및 문장을 포함한다.
보다 구체적으로, 본 발명의 실시예에 따른 병변 해석을 위한 상호작용이 가능한 CAD 시스템은 병변의 모양(shape)을 판단할 때에 근거로 삼은 병변 부분을 시각적 설명정보(Visual Explanation)의 좌측 이미지로 출력하며, 병변의 경계면(margin)을 판단할 때에 근거로 삼은 병변 부분을 시각적 설명정보(Visual Explanation)의 우측 이미지로 출력한다. 이에, 본 발명의 실시예에 따른 병변 해석을 위한 상호작용이 가능한 CAD 시스템은 시각적 설명정보를 통해 BIRAD(Breast Imaging-Reporting and Data System) lexicon에 관련된 비주얼 정보를 디스플레이함으로써, 기존 블랙박스 딥러닝 CAD의 블랙박스(blackbox) 동작, 설명가능성 부족, 상호작용 부족의 한계를 극복하여 의사로 하여금 CAD 진단의 이해를 도울 수 있다. 나아가, 의사의 CAD 진단에 대한 이해가 향상되며, 이로 인해 진단 효율이 향상될 수 있다.
또한, 본 발명의 실시예에 따른 병변 해석을 위한 상호작용이 가능한 CAD 시스템은 진단 이유에 대한 코멘트 및 문장의 병변진단요인 설명정보(Medical Description Explanation)를 출력한다. 본 발명의 실시예에 따른 병변 해석을 위한 상호작용이 가능한 CAD 시스템은 병변진단요인 설명정보를 통해 CAD의 진단 결과에 대해 문장으로 설명하여 의견을 전달함으로써, 의사의 CAD 진단 이해를 향상시킬 수 있다.
도 3f를 참조하면, 본 발명의 실시예에 따른 병변 해석을 위한 상호작용이 가능한 CAD 시스템은 미리 결정된 UI/UX의 레이아웃에 기반하여 의사와 의견교환을 할 수 있는 기능을 ‘Interaction’의 섹션에 디스플레이할 수 있다. 보다 구체적으로, 의사가 궁금해 하는 병변의 변화를 CAD 시스템에게 전달하면, 예를 들어 의사가 궁금한 경계면(margin), 모양(shape)의 카테고리(category)를 선택하고, 시각적으로 변화된 결과(visually changed result)를 클릭하면, 본 발명의 실시예에 따른 병변 해석을 위한 상호작용이 가능한 CAD 시스템은 이에 대한 CAD의 의견을 도 3g에 도시된 바와 같이 디스플레이할 수 있다.
도 3g를 참조하면, 본 발명의 실시예에 따른 병변 해석을 위한 상호작용이 가능한 CAD 시스템은 현재 보는 병변으로부터 의사의 질의된 텀(term)으로 변경된 모습을 보이는 영상을 생성하는 과정이 포함된, 상호작용이 가능한 디자인 UI/UX를 출력한다. 즉, 본 발명의 실시예에 따른 병변 해석을 위한 상호작용이 가능한 CAD 시스템은 의사가 궁금해하는 병변의 변화 결과(visually changed result)에 대해 제공하며, 병변이 변화하는 과정(visual change progress)에 대해서도 단계적으로 제공할 수 있다.
이로 인해, 기존 CAD 기술이 일방적으로 진단 결과를 제공하는 데에 반해, 본 발명의 실시예에 따른 병변 해석을 위한 상호작용이 가능한 CAD 시스템은 사용자(의사)와 상호 의견교환이 가능한 것을 특징으로 한다.
도 4는 본 발명의 실시예에 따른 병변 해석을 위한 상호작용이 가능한 CAD 시스템의 세부 구성을 블록도로 도시한 것이다.
도 4를 참조하면, 본 발명의 실시예에 따른 병변 해석을 위한 상호작용이 가능한 CAD 시스템은 병변 해석을 위해 의사와 의견교환 수준의 상호작용이 가능하다.
이를 위해, 본 발명의 실시예에 따른 병변 해석을 위한 상호작용이 가능한 CAD 시스템(400)은 수신부(410), 병변 진단부(420), 설명 도출부(430), 생성부(440) 및 UI/UX 출력부(450)를 포함한다.
수신부(410)는 측정 대상에 대한 대상 이미지를 수신한다.
수신부(410)는 측정 대상 즉, 사람의 신체 일부에 대한 의료 영상인 대상 이미지를 수신할 수 있다. 예를 들면, 수신부(410)는 유방에 대한 유방 X선 이미지(Mammographic Image)를 수신할 수 있으나, 전술한 신체 일부에 한정하지 않으며, 측정 대상의 실체 일부에 대한 X선 이미지일 수 있다.
병변 진단부(420)는 대상 이미지에 대한 영상 분석을 통해 특징 정보를 추출하여 병변 여부에 대한 악성 또는 양성의 진단 정보(Diagnosis Results)를 진단한다.
예를 들면, 병변 진단부(420)는 의료 영상인 대상 이미지에 대한 영상 분석을 수행하여 특징 정보를 추출(인코딩, Encoding)하고, 추출된 특징 정보와 시각적 설명정보 및 병변진단요인 설명정보를 포함하는 설명 정보를 융합하여 병변을 분류하며, 분류 결과에 따라 병변 여부를 진단할 수 있다. 이 때, 병변 진단부(420)는 병변 분석 및 진단 모델로 구성되며, 상기 모델에 의해 대상 이미지에 대한 분석, 추출 및 진단의 과정이 수행될 수 있다.
보다 구체적으로, 병변 진단부(420)는 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 대상 이미지에 대한 영상 분석을 수행하고, 영상 분석에 따른 대상 이미지 내 특징 정보를 추출하며, 추출된 특징 정보에 따른 악성 또는 양성(Malignant/benign)의 진단 정보를 진단할 수 있다. 실시예에 따라서, 병변 진단부(420)는 대상 이미지뿐 아니라, 진단 정보에 대한 근거를 설명하는 생성 모델(generative model)로부터 도출되는 설명 정보를 융합하여 병변을 분류하고, 분류 결과에 따라 병변 여부에 대한 악성 또는 양성의 진단 정보를 진단할 수 있다. 상기 생성 모델은 설명 도출부(430)에서 병변 진단에 대한 근거를 설명하는 설명 정보를 생성하기 위해 사용하는 모델이다.
실시예에 따라서, 특징 정보는 검출 대상 물질에 따라 결정될 수 있으며, 특징 정보의 추출은 다양한 특징 추출 알고리즘 중 적어도 하나를 적용하여 수행할 수 있다. 예를 들어, SGLD(Spatial Gray Level Dependence) matrices method, Run Difference method, Law’s texture feature method, Autocorrelation based texture features method, Co-ccurence matrices texture features method, Moravec’s corner detector, Harris corner detector, Harris Laplace detector, Harris Affine detector, Hessian Affine detector, Edge-based region detector, Intensity-based region detector, Difference of Gaussian operator, Laplacian of Gaussian operator, Scale invariant Feature Transform(SIFT) detector 등의 특징 추출 알고리즘 중 적어도 하나를 적용하여 획득될 수 있다.
병변 진단부(420)는 딥 뉴럴 네트워크(Deep Neural Network)를 기반으로, 대상 이미지로부터 추출된 특징 정보를 융합(fusion)하여 특징 벡터를 생성하고, 생성된 특징 벡터를 이용하여 관심 볼륨이 병변에 해당하는지 여부를 판단할 수 있다. 실시예에 따라서, 병변 진단부(420)는 분류기를 사용하여 병변을 판단할 수 있으며, 예를 들어 설명하면, 융합된 특징 정보가 미세 석회화나 결절과 같은 병변을 나타내는지 여부를 SVM(Support Vector Machine) 분류기를 사용하여 판단할 수 있다. 이 때, 병변 진단부(420)는 특징 정보를 융합하는 방식에는 한정하지 않으며, 일 예로 x축, y축 및 z축 이미지로부터 각각 추출된 특징 정보를 연쇄적으로(concatenate) 융합하는 것도 가능하다.
설명 도출부(430)는 특징 정보 및 진단 결과에 따른 진단 정보를 이용하여 병변 진단에 대한 근거를 설명하는 시각적 설명정보(Visual Explanation) 및 병변진단요인 설명정보(Medical Description Explanation)의 설명 정보를 도출한다. 이 때, 설명 도출부(430)는 병변 진단에 대한 근거를 설명하는 생성 모델(generative model)로 구성되며, 상기 모델에 의해 설명 정보 도출의 과정이 수행될 수 있다.
보다 구체적으로, 설명 도출부(430)는 시각적 설명정보를 생성하는 시각적 설명정보 생성부(431) 및 병변진단요인 설명정보를 생성하는 병변진단요인 설명정보 생성부(432)를 포함할 수 있다.
시각적 설명정보 생성부(431)는 병변 진단부(420)에서, 대상 이미지 중 어느 정보를 추출 및 활용하여 진단 결과를 도출하였는지를 시각적으로 제공하기 위한 시각적 설명정보를 생성할 수 있다.
예를 들면, 시각적 설명정보 생성부(431)는 병변 진단부(420)로부터 추출된 특징 정보 및 진단 정보를 기반으로, 딥 러닝(Deep Learning)을 이용하여 시각적 집중영역(Saliency Region), 활성도 맵(Activation Map) 및 병변의 뚜렷한 패턴(Conspicuous Pattern)을 포함하는 시각적 설명정보를 생성할 수 있다. 이 때, 시각적 설명정보 생성부(431)는 적대적 학습(Adversarial Learning) 및 강화학습(Reinforcement Learning)의 딥 러닝(Deep Learning)을 이용하여 특징 정보 및 병변진단요인 설명정보를 디코딩(decoding)하여 병변의 뚜렷한 패턴(Conspicuous Pattern)을 생성할 수 있다.
상기 시각적 설명정보는 이미지, 영상, 그래프 및 콘텐츠 중 적어도 어느 하나의 형태인 시각적 집중영역(Saliency Region), 활성도 맵(Activation Map) 및 병변의 뚜렷한 패턴(Conspicuous Pattern)을 포함하며, 상기 병변진단요인 설명정보는 진단 이유에 대한 설명을 포함하며 의료 용어에 기반한 코멘트 및 문장의 형태로 제공할 수 있다.
병변진단요인 설명정보 생성부(432)는 의사들이 병변 진단 시 고려하는 다양한 병변 진단 요인과, 병변 진단 증례보고서에서 표현되는 다양한 병변 진단 요인들을 포함하는 병변진단요인 설명정보를 생성할 수 있다.
예를 들어, 병변진단요인 설명정보 생성부(432)는 병변 진단부(420)로부터 추출된 특징 정보 및 진단 정보를 기반으로, 멀티 태스크 딥 네트워크(Multi-task Deep Network) 학습을 통해 병변의 크기(size), 모양(shape) 및 경계면(margin)을 확률적으로 추정하여 병변진단요인 설명정보를 생성할 수 있다.
생성부(440)는 대상 이미지, 진단 정보 및 설명 정보를 기반으로 한 의사의 질의된 선택으로 상호작용(Interaction)된 인터랙션 정보를 생성한다.
생성부(440)는 대상 이미지, 진단 정보 및 설명 정보를 기반으로 한 의사의 질의된 텀(term)의 선택에 대응하여 상호작용된 영상 정보인 인터랙션 정보를 생성할 수 있다. 예를 들면, 의사는 측정 대상에 대한 병변의 크기(size), 모양(shape) 및 경계면(margin) 중 적어도 어느 하나 이상에서 특정 형태의 텀을 선택할 수 있으며, 생성부(440)는 의사의 질의된 선택에 대응하여 상호작용되는 인터랙션 정보를 생성할 수 있다. 상기 인터랙션 정보는 의사의 질의된 텀에 의해 시각적으로 제공되는 특정 영역의 이미지(Image)를 나타낸다.
UI/UX 출력부(450)는 미리 결정된 UI/UX를 선택하여 대상 이미지, 진단 정보, 설명 정보 및 인터랙션 정보를 구성하여 출력한다.
UI/UX 출력부(450)는 미리 결정된 UI/UX의 레이아웃을 기반으로, 대상 이미지, 진단 정보와 진단 정보에 대응되는 이미지, 설명 정보와 설명 정보에 대응되는 이미지 및 인터랙션 정보를 순차적으로 제공할 수 있다. 예를 들면, UI/UX 출력부(450)는 미리 결정된 UI/UX의 레이아웃을 기반으로, 유방 이미지(Mammographic Image), 진단 결과(Diagnosis Results), 설명(Explanation) 및 상호작용(Interaction)의 각 섹션에 대응되도록 대상 이미지, 진단 정보, 설명 정보 및 인터랙션 정보를 구성하여 출력할 수 있다.
도 5는 본 발명의 실시예에 따른 병변 해석을 위한 상호작용이 가능한 CAD 시스템의 개념도를 도시한 것이다.
본 발명의 실시예에 따른 병변 해석을 위한 상호작용이 가능한 CAD 시스템(400)은 병변 진단부(420) 및 설명 도출부(430)를 포함한다. 이 때, 병변 진단부(420)는 병변 분석 및 진단 모델을 이용하여 병변 여부를 진단하며, 설명 도출부(430)는 병변 진단에 대한 근거를 설명하는 설명 정보의 도출을 위한 생성 모델(generative model)을 이용한다.
나아가, 병변 분석 및 진단 모델과, 생성 모델은 합동 학습(joint learning)을 통해 진단 정보 및 설명 정보의 정확도를 향상시킬 수 있다.
도 5를 참조하면, 의료 영상인 대상 이미지(10)는 MRI(Magnetic Resonance Imaging), CT(Computed Tomography), X-ray, PET(Positron Emission Tomography) 및 EIT(Electrical Impedance Tomography) 중 적어도 어느 하나의 인체 내부를 영상화하는 기술에 의해 획득된 이미지 또는 영상일 수 있으며, 측정 대상은 인체의 일부 이므로 한정되지 않는다.
본 발명의 실시예에 따른 병변 해석을 위한 상호작용이 가능한 CAD 시스템(400)에서, 병변 진단부(420)는 병변 분석 및 진단 모델에 기반하여, 대상 이미지(10)에 대한 영상 분석을 통해 특징 정보를 추출하여 병변 여부를 진단(20)하고, 신뢰도를 추정한다. 이 때, 병변 진단부(420)는 설명 도출부(430)로부터 수신되는 시각적 설명정보 및 병변진단요인 설명정보를 포함하는 설명 정보(또는 근거 정보)를 이용하여 병변 여부를 진단할 수 있다.
또한, 진단 결과(20)는 대상 이미지(10)과 같이 영상화된 이미지 또는 영상일 수 있으며, 수치 값 및 병명 등이 포함될 수도 있다.
본 발명의 실시예에 따른 병변 해석을 위한 상호작용이 가능한 CAD 시스템(400)에서, 설명 도출부(430)는 병변 진단부(420)로부터 수신된 특징 정보 및 진단 결과에 따른 진단 정보를 이용하여 병변 진단에 대한 근거를 설명하는 설명 정보를 도출한다. 이 때, 설명 도출부(430)는 시각적 집중영역(Saliency Region), 활성도 맵(Activation Map) 및 병변의 뚜렷한 패턴(Conspicuous Pattern)을 포함하는 시각적 설명정보와, 병변 진단 근거 설명 도출을 위한 생성 모델(generative model)로부터 확률적으로 추정된 병변의 크기(size), 모양(shape) 및 경계면(margin)을 포함하는 병변진단요인 설명정보를 도출할 수 있다.
도 5를 참조하면, 상기 시각적 설명정보는 컬러 또는 흑백의 이미지, 영상, 그래프 및 콘텐츠 중 적어도 어느 하나의 형태로 생성되며, 상기 병변진단요인 설명정보는 그래프 및 수치 값 등의 형태로 생성될 수 있으나, 전술한 설명정보의 형태, 색상, 크기, 개수는 이에 한정되지 않는다.
도 6은 본 발명의 다른 실시예에 따른 병변 해석을 위한 상호작용이 가능한 CAD 시스템의 개념도를 도시한 것이다.
도 6을 참조하면, 본 발명의 다른 실시예에 따른 병변 해석을 위한 상호작용이 가능한 CAD 시스템(400)은 직렬 형태의 생성 네트워크(510) 및 진단 네트워크(520)를 포함하며, (a)트레이닝 스테이지(Training Stage) 및 (b)테스트 스테이지(Test Stage) 각각에서의 생성 네트워크(Synthetic lesion generative network, 510) 및 진단 네트워크(Interpretable diagnosis network, 520)의 동작 예를 나타낸다.
이 때, 생성 네트워크(510)는 도 4 및 도 5에서의 설명 도출부(또는 생성 모델)일 수 있으며, 진단 네트워크(520)는 도 4 및 도 5에서의 병변 진단부(또는 병변 분석 및 진단 모델)일 수 있다.
예를 들면, 생성 네트워크(510)는 의료영상으로부터 악성 해석 조건 예를 들면, 의료영상 내 병변(Mass)의 마진(margin) 및 모양(shape)과, 랜덤 노이즈 벡터(random noise vector)로부터 병변을 합성할 수 있다. 이후, 진단 네트워크(520)는 병변에 따른 악성 종양(malignant mass) 및 양성 종괴(benign mass)를 분류할 수 있다.
보다 상세하게는, (a)트레이닝 스테이지(Training Stage)에서의 생성 네트워크(510)는 인코더(Encoder) 및 디코더(Decoder)를 포함하며, 상기 인코더를 이용하여 의료영상 내 병변(Mass)을 포함하는 관심 영역으로부터 악성 특징을 추출할 수 있고, 상기 디코더를 이용하여 악성 피질 및 악성 해석 조건(Malignancy Interpreting Conditions)을 이용하여 합성 병변(Synthetic Mass)을 생성할 수 있다. 또한, 생성 네트워크(510)는 노이즈 벡터(Noise vector)를 포함할 수 있으며, 상기 노이즈 벡터는 악성, 병변의 마진(margin) 및 모양(shape) 외에 다른 변화를 모델링할 수 있다.
보다 상세하게는, (b)테스트 스테이지(Test Stage)에서의 해석 가능한 진단 네트워크(520)는 CNN(Multi-task convolutional neural network)에 의해 설계된 것으로, 멀티 태스크 딥 네트워크(Multi-task Deep Network) 학습을 통해 병변의 크기(size), 모양(shape) 및 경계면(margin)을 확률적으로 추정할 수 있다.
나아가, 본 발명의 다른 실시예에 따른 병변 해석을 위한 상호작용이 가능한 CAD 시스템(400)은 4개의 구성(D, D=[Dd, Dm, Ds, Dr])을 포함할 수 있다.
여기서, Dd는 악성 또는 양성 분류의 병변 진단(mass diagnosis)을 나타내며, Dm는 병변 마진(mass margin)을 나타내고, Ds는 병변 모양(mass shape)을 나타내며, Dr는 실제(real) 또는 합성(synthetic)의 병변 분류(mass classification)를 나타낸다. 이 때, Dd∈R2 이고, Dm∈RNm 이며, Ds∈RNs 이고, Dr∈R1 이다. 상기 Nm 및 상기 Ns는 병변 마진의 수 및 병변 모양의 수를 나타낸다.
본 발명의 다른 실시예에 따른 병변 해석을 위한 상호작용이 가능한 CAD 시스템(400) 내 진단 네트워크(520)는 하기 [수식 1]의 목적 함수(objective function) VD(D, G)로부터 학습된다.
[수식 1]
여기서, x는 병변 이미지(mass image)를 의미하고, G(x, m, s, z)는 (a)트레이닝 스테이지(Training Stage)에서 생성된 합성 병변(synthetic lesion)을 의미한다. 또한, y={yd, ym, ys}는 트레이닝 데이터(training data)에서 병변 x(mass x)의 라벨(rabel)을 의미하고, yd는 병변 진단을 위한 악성 및 양성의 라벨을 의미하며, ym 및 ys는 각각 마진(margin) 및 모양(shape)의 라벨을 의미한다. 또한, pd(X, Y), pm(m) 및 ps(s)는 트레이닝 샘플의 분포(distribution of training samples)를 의미하고, z는 분포가 pz(z)인 악성(malignancy), 모양(shape) 및 마진(margin) 외에 분산에 대한 모델링을 위한 노이즈 벡터(noise vector)를 의미한다.
본 발명의 다른 실시예에 따른 병변 해석을 위한 상호작용이 가능한 CAD 시스템(400) 내 생성 네트워크(510)는 하기 [수식 2]의 목적 함수(objective function) VG(D, G)로부터 학습된다.
[수식 2]
여기서, x는 병변 이미지(mass image)를 의미하고, G(x, m, s, z)는 (a)트레이닝 스테이지(Training Stage)에서 생성된 합성 병변(synthetic lesion)을 의미한다. 또한, y={yd, ym, ys}는 트레이닝 데이터(training data)에서 병변 x(mass x)의 라벨(rabel)을 의미하고, yd는 병변 진단을 위한 악성 및 양성의 라벨을 의미하며, ym 및 ys는 각각 마진(margin) 및 모양(shape)의 라벨을 의미한다. 또한, pd(X, Y), pm(m) 및 ps(s)는 트레이닝 샘플의 분포(distribution of training samples)를 의미하고, z는 분포가 pz(z)인 악성(malignancy), 모양(shape) 및 마진(margin) 외에 분산에 대한 모델링을 위한 노이즈 벡터(noise vector)를 의미한다.
이에 따라서, 본 발명의 다른 실시예에 따른 병변 해석을 위한 상호작용이 가능한 CAD 시스템(400)은 [수식 1] 및 [수식 2]에 의해 학습되며, 상기 D는 실제 병변(real mass) 및 합성 병변(synthetic mass)과 악성 종양을 구분하고, 병변의 마진(margin) 및 모양(shape)을 예측함에 따라, 상기 G는 이에 상응하는 마진 및 모양을 가진 동일성 보존 병변(identity-preserving lesion)을 합성하여 상기 D와 비교한다.
즉, 본 발명의 다른 실시예에 따른 병변 해석을 위한 상호작용이 가능한 CAD 시스템(400)는 생성 네트워크(510) 및 진단 네트워크(520) 사이의 대체 트레이닝(alternative training 또는 합동 학습(joint learning))을 통해 아웃풋(output)되는 진단 정보 및 설명 정보의 정확도를 향상시킬 수 있다.
도 7은 본 발명의 실시예에 따른 융합 모델을 포함하는 병변 해석을 위한 상호작용이 가능한 CAD 시스템의 세부 구성을 나타내는 구조를 도시한 것이다.
도 7을 참조하면, 본 발명의 실시예에 따른 병변 해석을 위한 상호작용이 가능한 CAD 시스템(400)은 병변 진단부(420) 및 설명 도출부(430)를 포함한다.
다만, 병변 진단부(420)는 병변 분석 및 진단 모델을 포함하며, 설명 도출부(430)는 생성 모델(generative model)을 포함한다. 이하의 도 7에서는 병변 진단부(420) 및 설명 도출부(430)에서 수행되는 병변 분석 및 진단 모델(420) 및 생성 모델(430)에 대해 상세히 설명하고자 한다.
이 때, 병변 분석 및 진단 모델(420)과 생성 모델(430)은 합동 학습(joint learning)을 통해 진단 정보 및 설명 정보의 정확도를 향상시키는 것을 특징으로 한다.
병변 분석 및 진단 모델(420)은 영상 특징 인코딩(421) 및 병변 분류(422)를 포함할 수 있다. 이 때, 영상 특징 인코딩(421)은 의료 영상의 특징 정보를 추출하며, 병변 분류(422)는 생성 모델(430)로부터 도출되는 시각적 설명정보 및 병변진단요인 설명정보를 포함하는 설명 정보를 융합(fusion)하여 병변을 분류할 수 있다.
이후, 병변 분석 및 진단 모델(420)은 병변 분류(422)로부터 도출된 분류 결과에 따라 병변 여부를 진단(423)할 수 있다.
생성 모델(430)은 시각적 설명정보 생성부(431) 및 병변진단요인 설명정보 생성부(432)를 포함할 수 있으며, 시각적 설명정보 생성부(431)는 시각적 설명정보 생성을 위한 디코더(Decoder)이고, 병변진단요인 설명정보 생성부(432)는 병변 진단 요인 추출을 위한 멀티 태스크 딥 네트워크(Multi-task Deep Network)일 수 있다.
시각적 설명정보 생성부(431)는 영상 특징 인코딩(421)에 의해 추출된 특징 정보와, 병변 진단/신뢰도(423)에서 도출된 진단 정보를 기반으로, 딥 러닝(Deep Learning)을 이용하여 시각적 집중영역(Saliency Region), 활성도 맵(Activation Map) 및 병변의 뚜렷한 패턴(Conspicuous Pattern)을 포함하는 시각적 설명정보(433)를 생성할 수 있다.
여기서, 시각적 설명정보 생성부(431)는 적대적 학습(Adversarial Learning) 및 강화학습(Reinforcement Learning)의 딥 러닝(Deep Learning)을 이용하여 추출된 특징 정보 및 병변진단요인 설명정보를 디코딩(decoding)하여 병변의 뚜렷한 패턴(Conspicuous Pattern)을 생성할 수 있다.
병변진단요인 설명정보 생성부(432)는 영상 특징 인코딩(421)에 의해 추출된 특징 정보와, 병변 진단/신뢰도(423)에서 도출된 진단 정보를 기반으로, 멀티 태스크 딥 네트워크(Multi-task Deep Network) 학습을 통해 병변의 크기(size), 모양(shape) 및 경계면(margin)을 확률적으로 추정하여 병변진단요인 설명정보(433)를 생성할 수 있다.
이에 따라서, 본 발명의 실시예에 따른 병변 해석을 위한 상호작용이 가능한 CAD 시스템(400)은 영상 분석 정보, 병변 진단 정보, 병변의 시각적 설명정보 및 병변진단요인 설명정보를 융합하여 병변 진단 성능과 병변 진단에 대한 근거를 설명하는 설명 정보의 추정 성능을 개선한 Explainable CAD 통합 시스템을 제안한다.
도 8a 및 도 8b는 본 발명의 실시예에 따른 생성 모델의 세부 구성을 나타내는 블록도를 도시한 것이다.
보다 상세하게는, 도 8a는 본 발명의 실시예에 따른 시각적 설명정보를 생성하는 생성 모델(generative model)의 예를 도시한 것이며, 도 8b는 본 발명의 실시예에 따른 병변진단요인 설명정보를 생성하는 생성 모델의 예를 도시한 것이다.
도 8a를 참조하면, 본 발명의 실시예에 따른 병변 해석을 위한 상호작용이 가능한 CAD 시스템(400)에서, 생성 모델의 설명 도출부(430)는 병변 분석 및 진단 모델의 병변 진단부(420)로부터 대상 이미지(Medical image, 10)의 특징 정보를 수신하고, 설명 도출부(430) 내 시각적 설명정보 생성부(431)는 특징 정보 및 병변진단요인 설명정보를 디코딩(Decoding)하여 병변의 뚜렷한 패턴(Generated Conspicuous Pattern)을 생성한다.
이후, 본 발명의 실시예에 따른 병변 해석을 위한 상호작용이 가능한 CAD 시스템(400)은 적대적 학습(Adversarial Learning) 및 강화학습(Reinforcement Learning) 등의 학습방법(610)을 기반으로 병변이 뚜렷한 목표 영상(Target image), 및 디코더(Decoder)를 이용하여 판별기(Discriminator, 611)가 영상의 차이를 구별 또는 판별하지 못할 때까지 병변의 패턴이 뚜렷한 영상을 생성할 수 있다.
이에 따라서, 본 발명의 실시예에 따른 병변 해석을 위한 상호작용이 가능한 CAD 시스템(400)은 병변의 시각적 설명정보를 생성하는 기술 중 적대적 학습(Adversarial Learning) 및 강화학습(Reinforcement Learning) 등의 학습방법(610)을 활용하여 병변의 패턴의 선명도가 향상된 영상을 생성할 수 있다.
도 8b를 참조하면, 본 발명의 실시예에 따른 병변 해석을 위한 상호작용이 가능한 CAD 시스템(400)에서, 생성 모델의 설명 도출부(430)는 병변 분석 및 진단 모델의 병변 진단부(420)로부터 추출된 대상 이미지(Medical image, 10)의 특징 정보 및 진단 정보를 수신하고, 설명 도출부(430) 내 병변진단요인 설명정보 생성부(432)는 멀티 태스크 딥 네트워크(Multi-task Deep Network) 학습을 통해 병변진단요인 설명정보를 생성한다.
병변진단요인 설명정보 생성부(432)는 병변진단요인 설명정보의 정확도에 관한 비용함수(710)를 통해 의사들이 병변 진단 시, 고려하는 다양한 병변 진단 요인들 예를 들면, 병변의 크기(Size of lesion), 모양의 불규칙성(Irregular shape) 및 spiculation의 정도(Degree of spiculation)를 확률적으로 추정함으로써, 신뢰도 높은 병변진단요인 설명정보를 생성할 수 있다.
도 9는 본 발명의 실시예에 따른 병변 해석을 위한 상호작용이 가능한 CAD 시스템의 학습 방법을 설명하기 위해 도시한 것이다.
도 9를 참조하면, 본 발명의 실시예에 따른 병변 해석을 위한 상호작용이 가능한 CAD 시스템(400)은 병변 진단부(420) 및 설명 도출부(430)를 포함하며, 병변 진단부(420)는 병변 분석 및 진단 모델로 구성되고, 설명 도출부(430)는 생성 모델(generative model)로 구성된다.
병변 분석 및 진단 모델(420)은 대상 이미지(10)에 대한 영상 분석을 통해 특징 정보를 추출하고, 추출된 특징 정보 및 설명 정보로부터 병변 여부를 진단하며, 신뢰도를 추정(810)한다. 이후, 비용함수 1(Discriminative loss 1, 841)은 진단 결과를 기반으로, 영상 분석 기반의 병변 진단에 대한 정확도를 향상시킬 수 있다.
또한, 생성 모델(430)은 병변 분석 및 진단 모델(420)로부터 수신된 특징 정보 및 진단 정보를 이용하여 병변 진단에 대한 근거를 설명하는 시각적 설명정보 및 병변진단요인 설명정보를 도출한다.
이후, 생성적 적대 비용함수(Generative adversarial loss, 820)는 병변이 뚜렷한 목표 영상(Target image)과 생성 모델(430)로부터 생성된 시각적 설명정보 간의 유사도 및 구별 가능성에 관한 정확도와 품질을 향상시킬 수 있다.
또한, 관련성 비용함수(Relevance loss, 830)는 진단 결과에 따른 진단 정보, 시각적 설명정보 및 병변진단요인 설명정보 간의 관련성을 판단하여 병변 진단 및 진단 이유에 대한 설명의 정확도를 향상시킬 수 있다.
또한, 비용함수 2(Discriminative loss 2, 842)는 병변진단요인 설명정보를 기반으로, 다양한 병변 진단 요인 추정에 대한 정확도를 향상시킬 수 있다.
즉, 도 9를 참조하면, 본 발명의 실시예에 따른 병변 해석을 위한 상호작용이 가능한 CAD 시스템(400)은 병변 분석 및 진단 모델(420) 및 생성 모델(430)의 합동 학습(joint learning)을 통해 진단 결과, 시각적 설명정보 및 병변진단요인 설명정보의 정확도 및 신뢰도를 향상시킬 수 있다.
비록, 도 4 내지 도 9의 시스템에서 그 설명이 생략되었더라도, 본 발명에 따른 시스템은 상기 도 1 내지 도 3g에서 설명한 모든 내용을 포함할 수 있다는 것은 이 기술 분야에 종사하는 당업자에게 있어서 자명하다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
Claims (20)
- 병변 해석을 위한 상호작용이 가능한 CAD(Computer-Aided Diagnosis) 시스템의 동작 방법에 있어서,
측정 대상에 대한 대상 이미지를 수신하는 단계;
상기 대상 이미지에 대한 영상 분석을 통해 특징 정보를 추출하여 병변 여부에 대한 악성 또는 양성의 진단 정보(Diagnosis Results)를 진단하는 단계;
상기 특징 정보 및 진단 결과에 따른 상기 진단 정보를 이용하여 병변 진단에 대한 근거를 설명하는 시각적 설명정보(Visual Explanation) 및 병변진단요인 설명정보(Medical Description Explanation)의 설명 정보를 도출하는 단계;
상기 대상 이미지, 상기 진단 정보 및 상기 설명 정보를 기반으로 한 의사의 질의된 선택으로 상호작용(Interaction)된 인터랙션 정보를 생성하는 단계; 및
상기 CAD 시스템 내 UI/UX 출력부에 의해, 미리 결정된 UI/UX를 선택하여 상기 대상 이미지, 상기 진단 정보, 상기 설명 정보 및 상기 인터랙션 정보를 구성하여 출력하는 단계
를 포함하는 병변 해석을 위한 상호작용이 가능한 CAD 방법. - 제1항에 있어서,
상기 생성하는 단계는
상기 대상 이미지, 상기 진단 정보 및 상기 설명 정보를 기반으로 한 의사의 질의된 텀(term)의 선택에 대응하여 상호작용된 상기 인터랙션 정보를 생성하는, 병변 해석을 위한 상호작용이 가능한 CAD 방법. - 제2항에 있어서,
상기 생성하는 단계는
의사의 질의된 병변의 크기(size), 모양(shape) 및 경계면(margin) 중 적어도 어느 하나 이상에 대한 텀의 선택에 대응하여 상호작용되는 상기 인터랙션 정보를 생성하는 것을 특징으로 하는, 병변 해석을 위한 상호작용이 가능한 CAD 방법. - 제1항에 있어서,
상기 출력하는 단계는
미리 결정된 UI/UX의 레이아웃을 기반으로, 상기 대상 이미지, 상기 진단 정보와 상기 진단 정보에 대응되는 이미지, 상기 설명 정보와 상기 설명 정보에 대응되는 이미지 및 상기 인터랙션 정보를 순차적으로 제공하는, 병변 해석을 위한 상호작용이 가능한 CAD 방법. - 제4항에 있어서,
상기 출력하는 단계는
미리 결정된 UI/UX의 레이아웃을 기반으로, 유방 이미지(Mammographic Image), 진단 결과(Diagnosis Results), 설명(Explanation) 및 상호작용(Interaction)의 각 섹션에 대응되도록 상기 대상 이미지, 상기 진단 정보, 상기 설명 정보 및 상기 인터랙션 정보를 구성하여 출력하는 것을 특징으로 하는, 병변 해석을 위한 상호작용이 가능한 CAD 방법. - 제1항에 있어서,
상기 진단하는 단계는
딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 상기 대상 이미지에 대한 영상 분석을 통해 상기 특징 정보를 추출하며, 상기 추출된 특징 정보에 따른 악성 또는 양성(Malignant/benign)의 상기 진단 정보를 진단하는, 병변 해석을 위한 상호작용이 가능한 CAD 방법. - 제6항에 있어서,
상기 진단하는 단계는
상기 대상 이미지뿐 아니라, 상기 진단 정보에 대한 근거를 설명하는 생성 모델(generative model)로부터 도출되는 상기 설명 정보를 융합하여 병변을 분류하고, 분류 결과에 따라 병변 여부에 대한 악성 또는 양성의 상기 진단 정보를 진단하는 것을 특징으로 하는, 병변 해석을 위한 상호작용이 가능한 CAD 방법. - 제1항에 있어서,
상기 도출하는 단계는
상기 시각적 설명정보를 생성하는 단계를 포함하며,
상기 시각적 설명정보를 생성하는 단계는
상기 특징 정보 및 상기 진단 정보를 기반으로, 딥 러닝(Deep Learning)을 이용하여 시각적 집중영역(Saliency Region), 활성도 맵(Activation Map) 및 병변의 뚜렷한 패턴(Conspicuous Pattern)을 포함하는 상기 시각적 설명정보를 생성하는, 병변 해석을 위한 상호작용이 가능한 CAD 방법. - 제8항에 있어서,
상기 시각적 설명정보를 생성하는 단계는
적대적 학습(Adversarial Learning) 및 강화학습(Reinforcement Learning)의 딥 러닝(Deep Learning)을 이용하여 상기 특징 정보 및 상기 병변진단요인 설명정보를 디코딩(decoding)하여 상기 병변의 뚜렷한 패턴(Conspicuous Pattern)을 생성하는 것을 특징으로 하는, 병변 해석을 위한 상호작용이 가능한 CAD 방법. - 제1항에 있어서,
상기 도출하는 단계는
상기 병변진단요인 설명정보를 생성하는 단계를 포함하며,
상기 병변진단요인 설명정보를 생성하는 단계는
상기 특징 정보 및 상기 진단 정보를 기반으로, 멀티 태스크 딥 네트워크(Multi-task Deep Network) 학습을 통해 병변의 크기(size), 모양(shape) 및 경계면(margin)을 확률적으로 추정하여 상기 병변진단요인 설명정보를 생성하는, 병변 해석을 위한 상호작용이 가능한 CAD 방법. - 병변 해석을 위한 상호작용이 가능한 CAD(Computer-Aided Diagnosis) 시스템에 있어서,
측정 대상에 대한 대상 이미지를 수신하는 수신부;
상기 대상 이미지에 대한 영상 분석을 통해 특징 정보를 추출하여 병변 여부에 대한 악성 또는 양성의 진단 정보(Diagnosis Results)를 진단하는 병변 진단부;
상기 특징 정보 및 진단 결과에 따른 상기 진단 정보를 이용하여 병변 진단에 대한 근거를 설명하는 시각적 설명정보(Visual Explanation) 및 병변진단요인 설명정보(Medical Description Explanation)의 설명 정보를 도출하는 설명 도출부;
상기 대상 이미지, 상기 진단 정보 및 상기 설명 정보를 기반으로 한 의사의 질의된 선택으로 상호작용(Interaction)된 인터랙션 정보를 생성하는 생성부; 및
미리 결정된 UI/UX를 선택하여 상기 대상 이미지, 상기 진단 정보, 상기 설명 정보 및 상기 인터랙션 정보를 구성하여 출력하는 UI/UX 출력부
를 포함하는 병변 해석을 위한 상호작용이 가능한 CAD 시스템. - 제11항에 있어서,
상기 생성부는
상기 대상 이미지, 상기 진단 정보 및 상기 설명 정보를 기반으로 한 의사의 질의된 텀(term)의 선택에 대응하여 상호작용된 상기 인터랙션 정보를 생성하는, 병변 해석을 위한 상호작용이 가능한 CAD 시스템. - 제12항에 있어서,
상기 생성부는
의사의 질의된 병변의 크기(size), 모양(shape) 및 경계면(margin) 중 적어도 어느 하나 이상에 대한 텀의 선택에 대응하여 상호작용되는 상기 인터랙션 정보를 생성하는 것을 특징으로 하는, 병변 해석을 위한 상호작용이 가능한 CAD 시스템. - 제11항에 있어서,
상기 UI/UX 출력부는
미리 결정된 UI/UX의 레이아웃을 기반으로, 상기 대상 이미지, 상기 진단 정보와 상기 진단 정보에 대응되는 이미지, 상기 설명 정보와 상기 설명 정보에 대응되는 이미지 및 상기 인터랙션 정보를 순차적으로 제공하는, 병변 해석을 위한 상호작용이 가능한 CAD 시스템. - 제14항에 있어서,
상기 UI/UX 출력부는
미리 결정된 UI/UX의 레이아웃을 기반으로, 유방 이미지(Mammographic Image), 진단 결과(Diagnosis Results), 설명(Explanation) 및 상호작용(Interaction)의 각 섹션에 대응되도록 상기 대상 이미지, 상기 진단 정보, 상기 설명 정보 및 상기 인터랙션 정보를 구성하여 출력하는 것을 특징으로 하는, 병변 해석을 위한 상호작용이 가능한 CAD 시스템. - 제11항에 있어서,
상기 병변 진단부는
딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 상기 대상 이미지에 대한 영상 분석을 통해 상기 특징 정보를 추출하며, 상기 추출된 특징 정보에 따른 악성 또는 양성(Malignant/benign)의 상기 진단 정보를 진단하는, 병변 해석을 위한 상호작용이 가능한 CAD 시스템. - 제16항에 있어서,
상기 병변 진단부는
상기 대상 이미지뿐 아니라, 상기 진단 정보에 대한 근거를 설명하는 생성 모델(generative model)로부터 도출되는 상기 설명 정보를 융합하여 병변을 분류하고, 분류 결과에 따라 병변 여부에 대한 악성 또는 양성의 상기 진단 정보를 진단하는 것을 특징으로 하는, 병변 해석을 위한 상호작용이 가능한 CAD 시스템. - 제11항에 있어서,
상기 설명 도출부는
상기 시각적 설명정보를 생성하는 시각적 설명정보 생성부를 포함하며,
상기 시각적 설명정보 생성부는
상기 특징 정보 및 상기 진단 정보를 기반으로, 딥 러닝(Deep Learning)을 이용하여 시각적 집중영역(Saliency Region), 활성도 맵(Activation Map) 및 병변의 뚜렷한 패턴(Conspicuous Pattern)을 포함하는 상기 시각적 설명정보를 생성하는, 병변 해석을 위한 상호작용이 가능한 CAD 시스템. - 제18항에 있어서,
상기 시각적 설명정보 생성부는
적대적 학습(Adversarial Learning) 및 강화학습(Reinforcement Learning)의 딥 러닝(Deep Learning)을 이용하여 상기 특징 정보 및 상기 병변진단요인 설명정보를 디코딩(decoding)하여 상기 병변의 뚜렷한 패턴(Conspicuous Pattern)을 생성하는 것을 특징으로 하는, 병변 해석을 위한 상호작용이 가능한 CAD 시스템. - 제11항에 있어서,
상기 설명 도출부는
상기 병변진단요인 설명정보를 생성하는 병변진단요인 설명정보 생성부를 포함하며,
상기 병변진단요인 설명정보 생성부는
상기 특징 정보 및 상기 진단 정보를 기반으로, 멀티 태스크 딥 네트워크(Multi-task Deep Network) 학습을 통해 병변의 크기(size), 모양(shape) 및 경계면(margin)을 확률적으로 추정하여 상기 병변진단요인 설명정보를 생성하는, 병변 해석을 위한 상호작용이 가능한 CAD 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190039324A KR102281988B1 (ko) | 2019-04-04 | 2019-04-04 | 병변 해석을 위한 상호작용이 가능한 cad 방법 및 그 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190039324A KR102281988B1 (ko) | 2019-04-04 | 2019-04-04 | 병변 해석을 위한 상호작용이 가능한 cad 방법 및 그 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200117344A true KR20200117344A (ko) | 2020-10-14 |
| KR102281988B1 KR102281988B1 (ko) | 2021-07-27 |
Family
ID=72847598
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190039324A KR102281988B1 (ko) | 2019-04-04 | 2019-04-04 | 병변 해석을 위한 상호작용이 가능한 cad 방법 및 그 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102281988B1 (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102317857B1 (ko) * | 2020-12-14 | 2021-10-26 | 주식회사 뷰노 | 병변 판독 방법 |
| KR20220115757A (ko) * | 2021-02-10 | 2022-08-18 | 경북대학교 산학협력단 | 약지도 딥러닝 인공 지능을 이용한 유방 초음파 진단 방법 및 시스템 |
| WO2023101203A1 (ko) * | 2021-11-30 | 2023-06-08 | 사회복지법인 삼성생명공익재단 | X 레이 영상을 이용한 병소 체적 정보 추정 방법 및 분석장치 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20080021723A (ko) * | 2005-06-02 | 2008-03-07 | 더 메디패턴 코포레이션 | 컴퓨터보조 검진을 위한 시스템 및 방법 |
| US20120283574A1 (en) * | 2011-05-06 | 2012-11-08 | Park Sun Young | Diagnosis Support System Providing Guidance to a User by Automated Retrieval of Similar Cancer Images with User Feedback |
| KR20140091177A (ko) | 2013-01-10 | 2014-07-21 | 삼성전자주식회사 | 병변 진단 장치 및 방법 |
| US20170124709A1 (en) * | 2014-05-14 | 2017-05-04 | Massachusetts Institute Of Technology | Systems and methods for medical image segmentation and analysis |
| KR20180138107A (ko) * | 2017-06-19 | 2018-12-28 | 한국과학기술원 | 진단 이유 설명이 생성되는 cad 시스템 및 그 방법 |
-
2019
- 2019-04-04 KR KR1020190039324A patent/KR102281988B1/ko active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20080021723A (ko) * | 2005-06-02 | 2008-03-07 | 더 메디패턴 코포레이션 | 컴퓨터보조 검진을 위한 시스템 및 방법 |
| US20120283574A1 (en) * | 2011-05-06 | 2012-11-08 | Park Sun Young | Diagnosis Support System Providing Guidance to a User by Automated Retrieval of Similar Cancer Images with User Feedback |
| KR20140091177A (ko) | 2013-01-10 | 2014-07-21 | 삼성전자주식회사 | 병변 진단 장치 및 방법 |
| US20170124709A1 (en) * | 2014-05-14 | 2017-05-04 | Massachusetts Institute Of Technology | Systems and methods for medical image segmentation and analysis |
| KR20180138107A (ko) * | 2017-06-19 | 2018-12-28 | 한국과학기술원 | 진단 이유 설명이 생성되는 cad 시스템 및 그 방법 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102317857B1 (ko) * | 2020-12-14 | 2021-10-26 | 주식회사 뷰노 | 병변 판독 방법 |
| WO2022131479A1 (ko) * | 2020-12-14 | 2022-06-23 | 주식회사 뷰노 | 병변 판독 방법 |
| KR20220115757A (ko) * | 2021-02-10 | 2022-08-18 | 경북대학교 산학협력단 | 약지도 딥러닝 인공 지능을 이용한 유방 초음파 진단 방법 및 시스템 |
| WO2023101203A1 (ko) * | 2021-11-30 | 2023-06-08 | 사회복지법인 삼성생명공익재단 | X 레이 영상을 이용한 병소 체적 정보 추정 방법 및 분석장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102281988B1 (ko) | 2021-07-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101938992B1 (ko) | 진단 이유 설명이 생성되는 cad 시스템 및 그 방법 | |
| Elyan et al. | Computer vision and machine learning for medical image analysis: recent advances, challenges, and way forward | |
| US11468567B2 (en) | Display of medical image data | |
| US8588495B2 (en) | Systems and methods for computer aided diagnosis and decision support in whole-body imaging | |
| TWI446202B (zh) | 用於數位放射照相軟拷貝讀取之智慧型質與量分析的方法及系統 | |
| EP2823464B1 (en) | Intelligent landmark selection to improve registration accuracy in multimodal image fusion | |
| JP4949264B2 (ja) | 医療画像データ内の腫瘍境界を自動的に検出及び区分するシステム及び方法 | |
| US20060110018A1 (en) | Automatic abnormal tissue detection in MRI images | |
| Sedai et al. | Deep multiscale convolutional feature learning for weakly supervised localization of chest pathologies in X-ray images | |
| US10706534B2 (en) | Method and apparatus for classifying a data point in imaging data | |
| KR102281988B1 (ko) | 병변 해석을 위한 상호작용이 가능한 cad 방법 및 그 시스템 | |
| EP4156096A1 (en) | Method, device and system for automated processing of medical images to output alerts for detected dissimilarities | |
| CN107688815A (zh) | 医学图像的分析方法和分析系统以及存储介质 | |
| US7853062B2 (en) | System and method for polyp detection in tagged or non-tagged stool images | |
| EP4327333A1 (en) | Methods and systems for automated follow-up reading of medical image data | |
| US20230005158A1 (en) | Medical image segmentation and atlas image selection | |
| US20230410305A1 (en) | Information management apparatus, method, and program and information processing apparatus, method, and program | |
| Almakady et al. | Volumetric texture analysis based on three-dimensional gaussian markov random fields for copd detection | |
| KR20220086937A (ko) | 다단계 심층 강화학습을 이용한 3차원 형태-해부학적 기준점 검출 방법 및 장치 | |
| Astaraki | Advanced machine learning methods for oncological image analysis | |
| Al-Kababji et al. | AI Radiologist: Revolutionizing Liver Tissue Segmentation with Convolutional Neural Networks and a Clinician-Friendly GUI | |
| Hanaoka | Development of a Generation Method for Local Appearance Models of Normal Organs by DCNN | |
| Carter | CAD system for lung nodule analysis | |
| Orbán | Complex Methods for Automated X-Ray Image Analysis | |
| Mendonça et al. | Model-Based Methods for Detection of Pulmonary Nodules |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20190404 |
|
| PA0201 | Request for examination | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20200629 Patent event code: PE09021S01D |
|
| PG1501 | Laying open of application | ||
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20210430 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20210721 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20210721 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| PR1001 | Payment of annual fee |
Payment date: 20240701 Start annual number: 4 End annual number: 4 |