KR102593036B1 - 알츠하이머병 진단 모델의 결정을 추론하고 강화하는 방법 및 장치 - Google Patents

알츠하이머병 진단 모델의 결정을 추론하고 강화하는 방법 및 장치 Download PDF

Info

Publication number
KR102593036B1
KR102593036B1 KR1020210163276A KR20210163276A KR102593036B1 KR 102593036 B1 KR102593036 B1 KR 102593036B1 KR 1020210163276 A KR1020210163276 A KR 1020210163276A KR 20210163276 A KR20210163276 A KR 20210163276A KR 102593036 B1 KR102593036 B1 KR 102593036B1
Authority
KR
South Korea
Prior art keywords
map
attention module
diagnostic model
input image
feature
Prior art date
Application number
KR1020210163276A
Other languages
English (en)
Other versions
KR20230076399A (ko
Inventor
석흥일
오관석
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Priority to KR1020210163276A priority Critical patent/KR102593036B1/ko
Priority to US17/714,390 priority patent/US20230162350A1/en
Publication of KR20230076399A publication Critical patent/KR20230076399A/ko
Application granted granted Critical
Publication of KR102593036B1 publication Critical patent/KR102593036B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A61B5/0042—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Artificial Intelligence (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Neurology (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Fuzzy Systems (AREA)
  • Neurosurgery (AREA)
  • Child & Adolescent Psychology (AREA)

Abstract

본 발명은 알츠하이머병 진단 모델의 결정을 추론하고 강화하는 방법 및 장치를 개시한다. 본 발명에 따르면, 진단 모델의 결정을 추론하고 강화하는 장치로서, 프로세서; 및 상기 프로세서에 연결되는 메모리를 포함하되, 상기 메모리는, 사후가정 맵(Counterfactual Map) 생성부를 통해 데이터셋에 포함되는 입력 이미지에 대해 추출된 제1 특징맵에 복수의 타겟 레이블 중 하나를 부여하여 상기 입력 이미지에 대한 사후가정 맵을 생성하고, 상기 입력 이미지와 상기 사후가정 맵을 선형합하여 타겟 이미지를 생성하고, 진단 모델을 통해 상기 타겟 이미지의 제2 특징맵을 추출하여 상기 타겟 이미지의 속성을 분류하고, 상기 데이터셋 중 하나를 실제 데이터로, 상기 타겟 이미지를 가상 데이터로 입력 받아 확률값을 출력하는 판별기를 통해 상기 사후가정 맵 생성부 및 상기 진단 모델의 학습을 수행하고, 학습이 완료된 사후가정 맵 생성부를 지침맵 생성부로 하여 상기 진단 모듈의 제2 특징맵을 추출하는 특징 추출기에 결합되는 주의모듈을 학습시켜 상기 진단 모델을 강화하도록, 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 장치가 제공된다.

Description

알츠하이머병 진단 모델의 결정을 추론하고 강화하는 방법 및 장치{Method and apparatus for reasoning and reinforcing decision in Alzheimer's disease diagnosis model}
본 발명은 알츠하이머병 진단 모델의 결정을 추론하고 강화하는 방법 및 장치에 관한 것으로서, 보다 상세하게는, 설명 가능한 인공지능 분야에서 알츠하이머병 진단 모델의 결정 이유를 추론할 수 있는 사후가정 맵(Counterfactual map)을 제공할 뿐만 아니라 이를 모델의 지침(Guidance)으로 사용함으로써 진단 성능까지 향상시키는 방법 및 장치에 관한 것이다.
설명 가능한 인공지능 (eXplainable Artificial Intelligence; XAI)이란 인공지능이 내린 결정이나 답을 인공지능 스스로가 사람이 이해할 수 있는 수준의 형태로 설명하는 방법으로, 의사결정에 대한 인과관계를 분석하여 적절한 근거를 사용자에게 제공해줌으로써 투명성과 신뢰성을 확보할 수 있도록 한다.
특히 딥러닝이 의료 분야에서 월등한 성능을 도출해내면서 이에 대응되는 해석 가능성(Interpretability)과 설명 가능성(Explainability)에 대한 요구와 함께 연구가 활발히 이루어지고 있다.
하지만 의사결정에 대한 해석성과 높은 성능을 동시에 달성하는 것은 트레이드오프(Trade off) 문제를 동반하기 때문에 XAI 분야에서도 여전히 해결되지 않은 문제이다.
이를 위해, 사전 학습된 모델로부터 역전파(Back propagation)를 활용한 기울기 기반 방법이나 입력에 휴리스틱(Heuristic) 또는 섭동(Perturbation)을 적용하여 모델을 해석하는 다양한 연구들이 진행되었지만 진단 결과를 해석하기 위한 근본적인 설명성을 유도해내는데 한계가 있을 뿐만 아니라 전문가가 아니라면 이해하기 어려운 해석이라는 문제가 존재한다.
이에 인간이 지식을 처리하는 방식과 본질적으로 유사한 가상 상황에서 모델의 결정을 설명할 수 있는 사후가정 추론(Counterfactual reasoning) 방법이 인간 지식수준에 가장 근사한 설명을 제공하기에 탁월한 기법으로 주목을 받고 있다.
일반적으로 사후가정 추론 방법에서 사용되는 생성 모델(Generative model)을 통한 적대적 학습과 입력에 대한 정체성을 유지하기 위한 이미지에서 다른 이미지 변환(Image to image translation), 생성자가 클래스별 샘플을 좀 더 잘 생성할 수 있도록 결정적 지침을 제공하는 조건(Condition) 방법을 활용한다.
그러나 아직까지 사후가정 추론을 통해 알츠하이머병 진단 모델의 결정을 추론하고 강화하는 방법이 구체적으로 제시되지는 않고 있다.
US 공개특허공보 2021-0201148
상기한 종래기술의 문제점을 해결하기 위해, 본 발명은 사후가정 추론 방법을 통해 사용자가 인과관계를 분석할 수 있도록 근거를 제공해주고, 인간 지식과 유사한 수준의 설명성을 도출해내는 방법을 제시함과 동시에 지역적, 전역적 희소 정보를 모두 고려하여 사후가정 맵을 진단 모델의 성능 향상시킬 수 있는 알츠하이머병 진단 모델의 결정을 추론하고 강화하는 방법 및 장치를 제안하고자 한다.
상기한 바와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따르면, 진단 모델의 결정을 추론하고 강화하는 장치로서, 프로세서; 및 상기 프로세서에 연결되는 메모리를 포함하되, 상기 메모리는, 사후가정 맵(Counterfactual Map) 생성부를 통해 데이터셋에 포함되는 입력 이미지에 대해 추출된 제1 특징맵에 복수의 타겟 레이블 중 하나를 부여하여 상기 입력 이미지에 대한 사후가정 맵을 생성하고, 상기 입력 이미지와 상기 사후가정 맵을 선형합하여 타겟 이미지를 생성하고, 진단 모델을 통해 상기 타겟 이미지의 제2 특징맵을 추출하여 상기 타겟 이미지의 속성을 분류하고, 상기 데이터셋 중 하나를 실제 데이터로, 상기 타겟 이미지를 가상 데이터로 입력 받아 확률값을 출력하는 판별기를 통해 상기 사후가정 맵 생성부 및 상기 진단 모델의 학습을 수행하고, 학습이 완료된 사후가정 맵 생성부를 지침맵 생성부로 하여 상기 진단 모듈의 제2 특징맵을 추출하는 특징 추출기에 결합되는 주의모듈을 학습시켜 상기 진단 모델을 강화하도록, 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 장치가 제공된다.
상기 데이터셋은 뇌 자기공명영상으로 구성되며, 상기 진단 모델은 알츠하이머 진단을 위한 모델일 수 있다.
상기 프로그램 명령어들은, 상기 특징 추출기는 복수의 컨볼루션 레이어로 구성되며, 상기 주의모듈은 제1 입력 이미지에 대해 상기 복수의 컨볼루션 레이어 각각이 출력하는 특징맵에 대해 상기 알츠하이머로 인한 뇌의 구조적 변화 발생 영역을 가이드 할 수 있는 상기 지침맵 생성부에서 출력하는 지침맵을 참조하여 상기 제1 입력 이미지에 대한 주의된 특징맵을 추출할 수 있다.
상기 주의모듈은 지역 주의모듈, 전후관계 주의모듈 및 전역 주의모듈을 포함하고, 상기 지역 주의모듈과 상기 전후관계 주의모듈의 출력 결과를 요소별 곱하고, 상기 전역 주의모듈과 상기 전후관계 주의모듈의 출력 결과를 요소별 곱하여 주의 마스크를 생성하여 상기 제1 입력 이미지에 대한 주의된 특징맵을 추출할 수 있다.
상기 진단 모듈은 상기 주의된 특징맵을 입력으로 하여 상기 제1 입력 이미지의 클래스를 분류할 수 있다.
상기 지침맵 생성부는, 상기 제1 입력 이미지에 대해 추출된 특징맵에 대해 정상 및 비정상에 해당하는 타겟 레이블을 부여하여 상기 지침맵을 생성할 수 있다.
상기 주의모듈의 학습이 완료된 이후, 학습 완료된 주의모듈은 상기 사후가정 맵 생성부 및 상기 지침맵 생성부의 특징 추출기에 결합될 수 있다.
본 발명의 다른 측면에 따르면, 프로세서 및 메모리를 포함하는 장치에서 진단 모델의 결정을 추론하고 강화하는 방법으로서, 사후가정 맵(Counterfactual Map) 생성부를 통해 데이터셋에 포함되는 입력 이미지에 대해 추출된 제1 특징맵에 복수의 타겟 레이블 중 하나를 부여하여 상기 입력 이미지에 대한 사후가정 맵을 생성하는 단계; 상기 입력 이미지와 상기 사후가정 맵을 선형합하여 타겟 이미지를 생성하는 단계; 진단 모델을 통해 상기 타겟 이미지의 제2 특징맵을 추출하여 상기 타겟 이미지의 속성을 분류하는 단계; 상기 데이터셋 중 하나를 실제 데이터로, 상기 타겟 이미지를 가상 데이터로 입력 받아 확률값을 출력하는 판별기를 통해 상기 사후가정 맵 생성부 및 상기 진단 모델의 학습을 수행하는 단계; 및 학습이 완료된 사후가정 맵 생성부를 지침맵 생성부로 하여 상기 진단 모듈의 제2 특징맵을 추출하는 특징 추출기에 결합되는 주의모듈을 학습시켜 상기 진단 모델을 강화할 수 있다.
본 발명의 다른 측면에 따르면, 상기한 방법을 수행하는 프로그램을 저장하는 컴퓨터 판독 가능한 기록매체가 제공된다.
본 발명에 따르면, 조건 방법을 적용한 생성모델을 활용함으로써 단일 또는 이진 진단 모델에 국한되지 않고 다중 클래스를 다루는 진단 모델에서도 적용할 수 있고, 사후가정 맵을 통해 최종 사용자에게 진단 성능을 뒷받침할 수 있는 인간 지식수준의 해석성을 제공할 수 있는 장점이 있다.
또한, 본 발명에 따르면, 사후가정 맵을 하나의 데이터 증강(Data augmentation)으로 사용하여 파인 튜닝(Fine tuning)을 통한 진단 모델의 성능 개선할 수 있는 장점이 있다.
나아가, 지역적, 전역적 희소 정보를 모두 고려할 수 있는 주의모듈을 제안함과 동시에 사후가정 맵을 진단 모델의 성능 향상을 위한 지침으로 활용하고, 모델 스스로가 진단 설명 제공 및 진단 성능 향상을 반복적으로 수행함으로써 상호보완적으로 두 기술의 결과 모두를 향상시킬 수 있는 장점이 있다.
도 1은 본 실시예에 따른 진단 모델의 결정을 추론하고 강화하는 장치의 구성을 도시한 도면이다.
도 2는 본 실시예에 따른 사후가정 맵을 통한 알츠하이머를 진단하기 위한 시스템을 도시한 도면이다.
도 3은 본 실시예에 따른 사후가정 맵 생성 과정을 상세하게 도시한 도면이다.
도 4는 본 실시예에 따른 주의모듈이 적용된 진단 모델 강화 시스템의 구성을 도시한 도면이다.
도 5는 본 실시예에 따른 주의모듈의 상세 구성을 도시한 도면이다.
도 6은 주의모듈이 적용된 진단 모델 강화 시스템의 상세 구성을 도시한 도면이다.
도 7은 본 실시예에 따른 지침맵 생성부의 상세 구성을 도시한 도면이다.
도 8 내지 도 9는 주의모듈이 적용된 사후가정 맵 생성부 및 지침맵 생성부의 구성을 도시한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 실시예는 진단 모델의 의사결정에 대한 사후가정 추론 유도 및 진단 성능 개선을 위한 방법을 제안한다.
도 1은 본 실시예에 따른 진단 모델의 결정을 추론하고 강화하는 장치의 구성을 도시한 도면이다.
도 1에 도시된 바와 같이, 본 실시예에 따른 장치는 프로세서(100) 및 메모리(102)를 포함할 수 있다.
여기서, 프로세서(100)는 컴퓨터 프로그램을 실행할 수 있는 CPU(central processing unit)나 그 밖에 가상 머신 등을 포함할 수 있다.
메모리(102)는 고정식 하드 드라이브나 착탈식 저장 장치와 같은 불휘발성 저장 장치를 포함할 수 있다. 착탈식 저장 장치는 콤팩트 플래시 유닛, USB 메모리 스틱 등을 포함할 수 있다. 메모리(102)는 각종 랜덤 액세스 메모리와 같은 휘발성 메모리도 포함할 수 있다.
본 실시예에 따른 메모리(102)에는 진단 모델, 특히 알츠하이머 진단 모델의 결정을 추론하고 강화하기 위한 프로그램 명령어들이 저장된다.
본 실시예에 따른 프로그램 명령어들은, 사후가정 맵(Counterfactual Map) 생성부를 통해 데이터셋에 포함되는 입력 이미지에 대해 추출된 제1 특징맵에 복수의 타겟 레이블 중 하나를 부여하여 상기 입력 이미지에 대한 사후가정 맵을 생성하고, 상기 입력 이미지와 상기 사후가정 맵을 선형합하여 타겟 이미지를 생성하고, 진단 모델을 통해 상기 타겟 이미지의 제2 특징맵을 추출하여 상기 타겟 이미지의 속성을 분류하고, 상기 데이터셋 중 하나를 실제 데이터로, 상기 타겟 이미지를 가상 데이터로 입력 받아 확률값을 출력하는 판별기를 통해 상기 사후가정 맵 생성부 및 상기 진단 모델의 학습을 수행하고, 학습이 완료된 사후가정 맵 생성부를 지침맵 생성부로 하여 상기 진단 모듈의 제2 특징맵을 추출하는 특징 추출기에 결합되는 주의모듈을 학습시켜 상기 진단 모델을 강화한다.
여기서, 데이터셋은 알츠하이머 진단을 위한 뇌 자기공명영상일 수 있다.
본 실시예에 따르면, 사후가정 맵 및 판별기를 통해 진단 모델에 포함되는 특징 추출기 및 분류기를 학습하고, 이후, 지역 및 전역적 영역을 모두 고려할 수 있는 주의모듈(attention module)과 알츠하이머로 인한 뇌의 구조적 변화가 발생하는 영역을 가이드할 수 있는 지침맵을 이용하여 진단 모듈의 성능을 향상시킨다.
이하에서는 도면을 참조하여, 진단 모델, 사후가정 맵 및 주의모듈에 대해 상세하게 설명한다.
도 2는 본 실시예에 따른 사후가정 맵을 통한 알츠하이머를 진단하기 위한 시스템을 도시한 도면이다.
도 2에 도시된 바와 같이, 본 실시예에 따른 시스템은 사후가정 맵 생성부(Counterfactual Map Generator, 200), 타겟 속성 선택부(Reasoning Evlauator, 202) 및 판별기(Distriminator, 204)를 포함할 수 있다.
사후가정 맵 생성부(200)는 제1 특징 추출기(210) 및 맵 생성기(212)를 포함할 수 있다.
제1 특징 추출기(210)는 복수의 컨볼루션 레이어를 포함하는 인코더(encoder)일 수 있고, 뇌 자기공명영상 데이터셋에 포함되는 입력 이미지()의 제1 특징맵을 추출한다.
추출된 제1 특징맵에는 타겟 레이블(t)이 부여되어 맵 생성기(212)로 입력되며, 맵 생성기(212)는 타겟 레이블이 부여된 제1 특징맵에 대한 사후가정 맵()을 생성한다.
여기서, 사후가정 맵은 알츠하이머의 해부학적 또는 형태학적 의미가 부여되는 데이터이다.
도 3은 본 실시예에 따른 사후가정 맵 생성 과정을 상세하게 도시한 도면이다.
도 3에 도시된 바와 같이, 타겟 레이블 t가 타일링(tile)되고, 스킵 연결을 통해 채널별로 결합(concat)되어 임의의 타겟 조건에 대한 사후가정 맵이 생성된다.
입력 이미지()와 사후가정 맵()의 선형합을 통해 타겟 이미지()가 생성되며, 타겟 이미지는 타겟 속성 선택부(202)가 높은 신뢰도로 타겟 클래스를 분류할 수 있도록 하는 이미지로 정의된다.
판별기(204)는 데이터셋 중 하나를 실제 데이터()로 입력 받고, 타겟 이미지를 가상 데이터로 입력 받아 확률값을 출력한다.
판별기(204)는 타겟 이미지가 진짜/가짜인지를 판별한다.
도 2에 도시된 바와 같이, 본 실시예에 따른 타겟 속성 선택부(202)는 알츠하이머 진단을 위한 진단 모델에 해당되며, 타겟 이미지에 대한 제2 특징맵을 추출하는 제2 특징 추출기(220) 및 타겟 이미지의 클래스 분류를 위한 분류기(222)를 포함할 수 있다.
본 실시예에 따르면, 적대적 학습 및 주기 일관성(Cycle Consistency)을 통해 사용자에게 의사결정에 대한 신뢰성 및 설명성을 제공할 수 있는 사후가정 추론을 시각화하며, 상기한 바와 같이, 다양한 입력 이미지에 대해 사후가정 맵 생성 및 타겟 클래스 분류가 반복 수행됨으로써 사후가정 맵 생성부 및 진단 모델의 학습을 수행된다.
이처럼 사후가정 맵 생성부 및 진단 모델의 학습이 수행된 이후에 진단 모델의 성능을 강화하기 위한 주의모듈이 적용된다.
도 4는 본 실시예에 따른 주의모듈이 적용된 진단 모델 강화 시스템의 구성을 도시한 도면이다.
도 4에 도시된 바와 같이, 본 실시예에 따른 진단 모델 강화 시스템은 상기한 타겟 속성 선택부(200)의 제2 특징 추출기(220) 및 분류기(222)에 지역 및 전역적 영역을 모두 고려할 수 있는 주의모듈(400)과 알츠하이머로 인한 뇌의 구조적 변화가 발생하는 영역을 가이드할 수 있는 지침맵 생성부(402)가 추가된 것으로 정의될 수 있다.
도 5는 본 실시예에 따른 주의모듈의 상세 구성을 도시한 도면이고, 도 6은 주의모듈이 적용된 진단 모델 강화 시스템의 상세 구성을 도시한 도면이다.
도 5 내지 도 6에 도시된 바와 같이, 본 실시예에 따른 주의모듈(400)은 알츠하이머 진단에 민감한 영역은 증강시키고 다른 영역을 억제시키는 explanation-guided attention(XGA)으로서, 전역 주의모듈(global attention module, 500), 지역 주의모듈(local attention module, 502) 및 전후관계 주의모듈(Contextual attention module, 504)을 포함할 수 있다.
본 실시예에 따른 각 주의모듈(500 내지 504)에는 복수의 컨볼루션 레이어(L개)로 구성되는 제2 특징 추출기(220)의 개별 컨볼루션 레이어(Block-L)에서 추출된 특징맵(U 1 내지 U L )이 입력되고, 개별 컨볼루션 레이어에 대응되는 개수(L개)로 제공된다.
전역 주의모듈(500)은 squeeze-and-excitation 기법을 이용하여 입력된 특징맵에서 전역 특징 벡터()를 계산한다.
지역 주의모듈(502)은 입력된 특징맵에서 지역 세일리언시 성분(local saliency component)를 고려하여 지역 특징 주의맵(local feature attention map, )을 계산한다.
전후관계 주의모듈(504)는 더 넓은 수용 필드(reception field)로부터 관계 정보를 이용할 수 있도록 확대된 컨볼루션(dilated convolution)을 통해 시야를 확장하고, 비선형 변환을 통해 를 출력한다.
전역 주의모듈(500)과 전후관계 주의모듈(504)의 출력이 요소별로 곱해지고, 또한, 지역 주의모듈(502)과 전후관계 주의모듈(504)의 출력이 요소별로 곱해진 후, 곱해진 결과가 합산되어 주의 마스크(A)가 출력된다.
주의 마스크 A는 스킵 연결(skip connection)을 사용하여 입력된 특징맵 U의 여기(excitation) 및 억제(inhibition) 역할을 수행한다.
도 6에 도시된 바와 같이, 입력 특징맵과 주의 마스크의 요소별 곱셈 및 선형합을 통해 최종 출력(주의된 특징맵, Uout)이 생성된다.
도 7은 본 실시예에 따른 지침맵 생성부의 상세 구성을 도시한 도면이다.
도 7에 도시된 바와 같이, 지침맵 생성부(402)는 도 2의 사후가정 맵 생성부(200)와 마찬가지로 제1 특징 추출기(210)와 맵 생성기(212)를 포함한다.
다만, 지침맵 생성부(402)의 제1 특징 추출기(2210)에서 추출된 특징맵에는 알츠하이머 관련하여 정상에 해당하는 타겟 레이블 및 비정상에 해당하는 타겟 레이블만이 부여되며, 맵 생성기(212)는 정상과 비정상 타겟 레이블이 부여된 특징맵에 대한 지침맵을 생성한다.
상기한 바와 같이 생성된 지침맵이 주의모듈(400)로 입력되고, 주의모듈(400)은 주의된 특징맵(attended feature map)을 출력한다.
다시 도 4를 참조하면, 본 실시예에 따른 분류기(222)는 주의된 특징맵을 입력으로 하여 입력 이미지에 대한 클래스를 분류한다.
도 8 내지 도 9는 주의모듈이 적용된 사후가정 맵 생성부 및 지침맵 생성부의 구성을 도시한 도면이다.
도 6과 같은 네트워크 구성을 통해 주의모듈의 학습이 완료된 이후, 학습 완료된 주의모듈이 사후가정 맵 생성부(210) 및 지침맵 생성부(402)의 제1 특징 추출기(210)에 결합되어 주의된 특징맵을 출력하고, 이를 통해 사후가정 맵 및 지침맵을 생성하여 진단 모델의 성능을 한층 강화할 수 있다.
상기한 본 발명의 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.

Claims (10)

  1. 진단 모델의 결정을 추론하고 강화하는 장치로서,
    프로세서; 및
    상기 프로세서에 연결되는 메모리를 포함하되,
    상기 메모리는,
    사후가정 맵(Counterfactual Map) 생성부를 통해 데이터셋에 포함되는 입력 이미지에 대해 추출된 제1 특징맵에 복수의 타겟 레이블 중 하나를 부여하여 상기 입력 이미지에 대한 사후가정 맵을 생성하고,
    상기 입력 이미지와 상기 사후가정 맵을 선형합하여 타겟 이미지를 생성하고,
    진단 모델을 통해 상기 타겟 이미지의 제2 특징맵을 추출하여 상기 타겟 이미지의 속성을 분류하고,
    상기 데이터셋 중 하나를 실제 데이터로, 상기 타겟 이미지를 가상 데이터로 입력 받아 확률값을 출력하는 판별기를 통해 상기 사후가정 맵 생성부 및 상기 진단 모델의 학습을 수행하고,
    학습이 완료된 사후가정 맵 생성부를 지침맵 생성부로 하여 상기 진단 모델의 제2 특징맵을 추출하는 특징 추출기에 결합되는 주의모듈을 학습시켜 상기 진단 모델을 강화하도록,
    상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하되,
    상기 데이터셋은 뇌 자기공명영상으로 구성되며,
    상기 진단 모델은 알츠하이머 진단을 위한 모델이며,
    상기 프로그램 명령어들은,
    상기 특징 추출기는 복수의 컨볼루션 레이어로 구성되며,
    상기 주의모듈은 제1 입력 이미지에 대해 상기 복수의 컨볼루션 레이어 각각이 출력하는 특징맵에 대해 상기 알츠하이머로 인한 뇌의 구조적 변화 발생 영역을 가이드 할 수 있는 상기 지침맵 생성부에서 출력하는 지침맵을 참조하여 상기 제1 입력 이미지에 대한 주의된 특징맵을 추출하고,
    상기 주의모듈은 지역 주의모듈, 전후관계 주의모듈 및 전역 주의모듈을 포함하고,
    상기 지역 주의모듈과 상기 전후관계 주의모듈의 출력 결과를 요소별 곱하고, 상기 전역 주의모듈과 상기 전후관계 주의모듈의 출력 결과를 요소별 곱하여 주의 마스크를 생성하여 상기 제1 입력 이미지에 대한 주의된 특징맵을 추출하는 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 진단 모델은 상기 주의된 특징맵을 입력으로 하여 상기 제1 입력 이미지의 클래스를 분류하는 장치.
  6. 제1항에 있어서,
    상기 지침맵 생성부는,
    상기 제1 입력 이미지에 대해 추출된 특징맵에 대해 정상 및 비정상에 해당하는 타겟 레이블을 부여하여 상기 지침맵을 생성하는 장치.
  7. 제6항에 있어서,
    상기 주의모듈의 학습이 완료된 이후, 학습 완료된 주의모듈은 상기 사후가정 맵 생성부 및 상기 지침맵 생성부의 특징 추출기에 결합되는 장치.
  8. 프로세서 및 메모리를 포함하는 장치에서 진단 모델의 결정을 추론하고 강화하는 방법으로서,
    사후가정 맵(Counterfactual Map) 생성부를 통해 데이터셋에 포함되는 입력 이미지에 대해 추출된 제1 특징맵에 복수의 타겟 레이블 중 하나를 부여하여 상기 입력 이미지에 대한 사후가정 맵을 생성하는 단계;
    상기 입력 이미지와 상기 사후가정 맵을 선형합하여 타겟 이미지를 생성하는 단계;
    진단 모델을 통해 상기 타겟 이미지의 제2 특징맵을 추출하여 상기 타겟 이미지의 속성을 분류하는 단계;
    상기 데이터셋 중 하나를 실제 데이터로, 상기 타겟 이미지를 가상 데이터로 입력 받아 확률값을 출력하는 판별기를 통해 상기 사후가정 맵 생성부 및 상기 진단 모델의 학습을 수행하는 단계; 및
    학습이 완료된 사후가정 맵 생성부를 지침맵 생성부로 하여 상기 진단 모델의 제2 특징맵을 추출하는 특징 추출기에 결합되는 주의모듈을 학습시켜 상기 진단 모델을 강화하는 단계를 포함하되,
    상기 데이터셋은 뇌 자기공명영상으로 구성되며,
    상기 진단 모델은 알츠하이머 진단을 위한 모델이며,
    상기 특징 추출기는 복수의 컨볼루션 레이어로 구성되며,
    상기 주의모듈은 제1 입력 이미지에 대해 상기 복수의 컨볼루션 레이어 각각이 출력하는 특징맵에 대해 상기 알츠하이머로 인한 뇌의 구조적 변화 발생 영역을 가이드 할 수 있는 상기 지침맵 생성부에서 출력하는 지침맵을 참조하여 상기 제1 입력 이미지에 대한 주의된 특징맵을 추출하고,
    상기 주의모듈은 지역 주의모듈, 전후관계 주의모듈 및 전역 주의모듈을 포함하고,
    상기 지역 주의모듈과 상기 전후관계 주의모듈의 출력 결과를 요소별 곱하고, 상기 전역 주의모듈과 상기 전후관계 주의모듈의 출력 결과를 요소별 곱하여 주의 마스크를 생성하여 상기 제1 입력 이미지에 대한 주의된 특징맵을 추출하는 방법.
  9. 제8항에 있어서,
    상기 특징 추출기는 복수의 컨볼루션 레이어로 구성되며,
    상기 주의모듈은 제1 입력 이미지에 대해 상기 복수의 컨볼루션 레이어 각각이 출력하는 특징맵에 대해 상기 알츠하이머로 인한 뇌의 구조적 변화 발생 영역을 가이드 할 수 있는 상기 지침맵 생성부에서 출력하는 지침맵을 참조하여 상기 제1 입력 이미지에 대한 주의된 특징맵을 추출하는 방법.
  10. 제8항에 따른 방법을 수행하는 프로그램을 저장하는 컴퓨터 판독 가능한 기록매체.
KR1020210163276A 2021-11-24 2021-11-24 알츠하이머병 진단 모델의 결정을 추론하고 강화하는 방법 및 장치 KR102593036B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210163276A KR102593036B1 (ko) 2021-11-24 2021-11-24 알츠하이머병 진단 모델의 결정을 추론하고 강화하는 방법 및 장치
US17/714,390 US20230162350A1 (en) 2021-11-24 2022-04-06 Method and apparatus for reasoning and reinforcing decision in brain disease diagnosis model

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210163276A KR102593036B1 (ko) 2021-11-24 2021-11-24 알츠하이머병 진단 모델의 결정을 추론하고 강화하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20230076399A KR20230076399A (ko) 2023-05-31
KR102593036B1 true KR102593036B1 (ko) 2023-10-23

Family

ID=86384065

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210163276A KR102593036B1 (ko) 2021-11-24 2021-11-24 알츠하이머병 진단 모델의 결정을 추론하고 강화하는 방법 및 장치

Country Status (2)

Country Link
US (1) US20230162350A1 (ko)
KR (1) KR102593036B1 (ko)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163238B (zh) 2018-12-13 2023-04-07 腾讯科技（深圳）有限公司 一种信息预测的方法、模型训练的方法以及服务器
KR102440817B1 (ko) * 2020-02-19 2022-09-06 사회복지법인 삼성생명공익재단 기록된 데이터에서 인과성을 식별하는 강화학습 방법, 장치 및 프로그램

Also Published As

Publication number Publication date
US20230162350A1 (en) 2023-05-25
KR20230076399A (ko) 2023-05-31

Similar Documents

Publication Publication Date Title
Zhao et al. Bag of tricks for 3D MRI brain tumor segmentation
US11645833B2 (en) Generative adversarial network medical image generation for training of a classifier
US10937540B2 (en) Medical image classification based on a generative adversarial network trained discriminator
US10540578B2 (en) Adapting a generative adversarial network to new data sources for image classification
US10929708B2 (en) Deep learning network for salient region identification in images
CN109783666B (zh) 一种基于迭代精细化的图像场景图谱生成方法
WO2020016736A1 (en) Knockout autoencoder for detecting anomalies in biomedical images
US20210133630A1 (en) Model induction method for explainable a.i.
Hvilshøj et al. ECINN: efficient counterfactuals from invertible neural networks
Adel et al. Learning Bayesian networks with incomplete data by augmentation
Panicker et al. Image caption generator
KR102593036B1 (ko) 알츠하이머병 진단 모델의 결정을 추론하고 강화하는 방법 및 장치
Lima et al. Automatic design of deep neural networks applied to image segmentation problems
Wu et al. A novel method of data and feature enhancement for few-shot image classification
Ankireddy Assistive diagnostic tool for brain tumor detection using computer vision
KR102496769B1 (ko) 분류 결과 설명이 가능한 반 사실적 맵 생성 방법 및 그 장치
Zhou et al. Efficient image evidence analysis of cnn classification results
US11580645B2 (en) Image processing apparatus, image processing method, and storage medium
Wang et al. GazeGNN: A Gaze-Guided Graph Neural Network for Disease Classification
Cohen Automated crater detection using machine learning
US10910098B2 (en) Automatic summarization of medical imaging studies
Demir et al. Uncertainty-Based Dynamic Graph Neighborhoods for Medical Segmentation
Hao Towards reliable medical image analysis based on deep learning with XAI
TWI808895B (zh) 用於變換黑箱模型以基於自黑箱模型、觀察資料、或合成資料導出之若干組一或多個規則產生白箱模型之電腦實施方法、電腦系統、及裝置及相關的電腦可讀媒體及低功率晶片、及用於白箱模型誘導之裝置及電腦程式產品
Kück Bayesian formulations of multiple instance learning with applications to general object recognition

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant