KR20220013319A - 단일 뇌 mr 슬라이스 영상 기반 치매 위험 예측 딥 러닝 방법 - Google Patents

단일 뇌 mr 슬라이스 영상 기반 치매 위험 예측 딥 러닝 방법 Download PDF

Info

Publication number
KR20220013319A
KR20220013319A KR1020210091487A KR20210091487A KR20220013319A KR 20220013319 A KR20220013319 A KR 20220013319A KR 1020210091487 A KR1020210091487 A KR 1020210091487A KR 20210091487 A KR20210091487 A KR 20210091487A KR 20220013319 A KR20220013319 A KR 20220013319A
Authority
KR
South Korea
Prior art keywords
brain
image
slice
deep learning
dementia
Prior art date
Application number
KR1020210091487A
Other languages
English (en)
Other versions
KR102564750B1 (ko
Inventor
성준경
김정훈
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Publication of KR20220013319A publication Critical patent/KR20220013319A/ko
Application granted granted Critical
Publication of KR102564750B1 publication Critical patent/KR102564750B1/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/40Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7275Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30016Brain

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Primary Health Care (AREA)
  • Neurology (AREA)
  • Epidemiology (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physiology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Artificial Intelligence (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Developmental Disabilities (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Neurosurgery (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

본 발명은 단일 뇌 MR 슬라이스 영상 기반 치매 위험 예측 딥 러닝 방법에 관한 것으로, (a) 뇌 영상 촬영부가 복수명의 환자의 뇌 형상을 촬영하여 각 환자별 뇌 영상을 획득하는 단계; (b) 에러 최소화부가 상기 획득된 뇌 영상을 인가받아 각 환자별 뇌 영상을 정합시키고, 실시간 데이터 증강을 통해 슬라이스 영상에 대한 에러 최소화된 이미지를 생성하는 단계; (c) 딥 러닝 모듈이 상기 에러 최소화된 이미지에 학습 단계에서의 가중치를 부가하여 가중된 합산 이미지를 생성하는 단계; 및 (d) 스코어 정의 모듈이 상기 생성된 합산 이미지에 대해 실수 형태의 치매 지수를 도출하여 치매 위험을 예측하는 단계;를 포함하는 것을 특징으로 한다.

Description

단일 뇌 MR 슬라이스 영상 기반 치매 위험 예측 딥 러닝 방법{Deep learning algorithm for Alzheimer's disease prediction using a single brain MR slice}
본 발명은 복수명의 환자별 뇌 영상의 정합 및 실시간 데이터 증강을 통해 슬라이스 영상에 대한 에러 최소화된 이미지를 생성하고, 뇌 MR 영상인 T1 이미지를 사용하여, 인간의 직관과 유사한 관점에서 1장의 슬라이스 영상만으로 병원 센터별, 의료 장비별 호환이 가능한 치매 지수를 도출할 수 있는 단일 뇌 MR 슬라이스 영상 기반 치매 위험 예측 딥 러닝 방법에 관한 것이다.
- Fully convolution network (FCN) :
개념 : 여러 개의 컨볼루션 블록(convolution layer, pooling layer)으로 구성되어 있는 딥 러닝 네트워크로서, 마지막에 완전 연결층(Fully connected layer)이 없는 것이 특징이다.
특히, FCN의 특성상 위치정보를 소실하지 않으므로 더 정확한 정보를 획득할 수 있는 것이 특징이다.
본 발명에서는 FCN에서 확립된 다양한 모델들을 적용하여, 병원 센터 및 의료 장비에 종속되지 않는 결과를 도출한다.
- Softmax layer :
개념 : 딥 러닝에서 마지막 활성 커널(activation kernel)을 지정하게 되는데, 본 발명에서는 치매 지수 (0~1)이라는 값의 범위 내에서 도출을 목표로 하기에, softmax layer를 마지막 단에서 사용하게 된다.
- Data augmentation :
개념 : 의료영상처럼 데이터가 부족한 환경에서 파라미터가 큰 뉴럴 네트워크 모델링을 할 경우에는 훈련 데이터(train data)에서 오버 피팅(over-fitting)이 발생할 경우가 높아진다.
이를 해결하기 위해 위 내용(FCN)에 적용하는 방법도 존재하며, 본 발명에서는 추가로 MR에 적합하도록 1장의 슬라이스 영상으로부터 많은 영상들이 추가로 생성될 수 있도록, 동적(dynamic)으로 데이터를 증량하는 기법을 사용한다.
이를 통해 제한적인 데이터를 가지고 많은 수를 학습한 것과 같은 효과 및 병원 센터 및 의료 장비별 데이터의 바이어스를 줄임으로써 좀 더 일반화(generalization)된 치매 지수를 도출한다.
- Medical image processing :
개념 : 대부분의 뇌 T1 이미지는 다양한 의료영상처리 기법/툴(freesurfer, SPM, FSL 등...)을 사용하게 되는데, 본 발명의 핵심은 의료 영상 처리(medical image processing)를 사용하지 않는데 있다.
단지 적절하게 슬라이스가 골라져서 입력으로 넣어지면, 치매 지수 도출이 가능하다.
- Cortical thickness based ad risk score :
개념 : 피질 두께(Cortical thickness)는 뇌의 대뇌 피질의 두께를 나타내는 용어로서, 치매는 뇌의 조직이 망가지게 되므로, 정상인과 치매 환자 사이에 뇌의 두께는 필연적으로 차이가 나게 된다.
이를 기반으로 제안한 방법론이 ad 위험 점수(ad risk score)이며, 뇌의 두께의 복합적인 변화에 따라서 정상(0), 치매(1)인 연속적인 숫자로 나타내게 된다.
이에 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명은 기존에 MRI 기반으로 치매의 유무를 판단해 주는 기술은 많이 있으나, 대부분의 알고리즘은 병원/의료 장비가 바뀔 경우 잘 적용되지 않음을 고려하여, 본 발명은 사람의 직관과 유사한 과정을 모방함으로써 병원/의료 장비가 바뀜에도 치매 지수 수치값이 안정적으로 나오는 것을 증명하는 것을 목표로 한다.
실제 의사들이 MR을 판독하는데 있어, 기존 방법론/툴(freesurfer, FSL, SPM,... )처럼 복잡한 과정을 거치지 않고 몇 개의 영역만 보고 직관적으로 판단하게 되는데, 본 발명은 해당 과정을 모델링하고 증명하고자 한다.
또한, 각 환자별로 획득된 뇌 영상을 표준 뇌 템플릿에 각 환자별로 정합시키고, 실시간 데이터 증강을 통해 에러 최소화된 이미지를 생성하며, 딥 러닝 학습 단계에서 가중치를 부가하여 가중된 합산 이미지를 생성하는데 목적이 있다.
상기 과제를 해결하기 위한 수단으로서, 본 발명은 (a) 뇌 영상 촬영부가 복수명의 환자의 뇌 형상을 촬영하여 각 환자별 뇌 영상을 획득하는 단계; (b) 에러 최소화부가 상기 획득된 뇌 영상을 인가받아 각 환자별 뇌 영상을 정합시키고, 실시간 데이터 증강을 통해 슬라이스 영상에 대한 에러 최소화된 이미지를 생성하는 단계; (c) 딥 러닝 모듈이 상기 에러 최소화된 이미지에 학습 단계에서의 가중치를 부가하여 가중된 합산 이미지를 생성하는 단계; 및 (d) 스코어 정의 모듈이 상기 생성된 합산 이미지에 대해 실수 형태의 치매 지수를 도출하여 치매 위험을 예측하는 단계;를 포함하는 단일 뇌 MR 슬라이스 영상 기반 치매 위험 예측 딥 러닝 방법을 제공한다.
상기 과제를 해결하기 위한 수단으로서, 본 발명은 상기 (b) 단계는 (b-1) 데이터 보정부가 상기 획득된 뇌 영상을 인가받아 표준 뇌 템플릿에 상기 각 환자별 뇌 영상을 정합시키는 단계; (b-2) 슬라이스 위치 선택부가 상기 정합된 각 환자별 뇌 영상을 인가받아 슬라이스 위치를 선택하는 단계; 및 (b-3) 데이터 증강 모듈이 상기 위치 선택된 슬라이스에 대하여, 실시간으로 데이터 증강을 적용하여 슬라이스 영상에 대한 상기 에러 최소화된 이미지를 생성하는 단계; 를 포함하는 것을 특징으로 한다.
상기 과제를 해결하기 위한 수단으로서, 본 발명은 상기 (b-2) 단계는 치매에 관련된 위치를 포함하고 있는 슬라이스를 수동으로 직접 선택하는 단계; 및 관상면 방향 기준으로 hippocampus의 무게 중심이 포함되는 슬라이스 및 축 방향 기준으로 ventricle의 무게 중심이 포함되는 슬라이스를 자동으로 선택하는 단계;를 포함하는 것을 특징으로 한다.
상기 과제를 해결하기 위한 수단으로서, 본 발명은 상기 (b-3) 단계에서, 상기 데이터 증강에 사용된 파라미터는 좌우 및 상하 대칭, 크기 조절, 기울이기, 회전, 정규화, 이동 및 밝기 조절 중 하나 이상인 것을 특징으로 한다.
상기 과제를 해결하기 위한 수단으로서, 본 발명은 상기 (a) 단계는 비선형 정합 및 선형 정합 방법을 사용하는 것을 특징으로 한다.
상기 과제를 해결하기 위한 수단으로서, 본 발명은 상기 (d) 단계에서, 카테고리가 1개인 경우 로지스틱 회귀 모형을 적용하고, 카테고리가 2개 이상인 경우 softmax를 적용하는 것을 특징으로 한다.
기타 실시예의 구체적인 사항은 "발명을 실시하기 위한 구체적인 내용" 및 첨부 "도면"에 포함되어 있다.
본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 각종 실시예를 참조하면 명확해질 것이다.
그러나, 본 발명은 이하에서 개시되는 각 실시예의 구성만으로 한정되는 것이 아니라 서로 다른 다양한 형태로도 구현될 수도 있으며, 단지 본 명세서에서 개시한 각각의 실시예는 본 발명의 게시가 완전하도록 하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구범위의 각 청구항의 범주에 의해 정의될 뿐임을 알아야 한다.
본 발명은 기존의 컴퓨팅 방법론에서 시간이 오래 걸리고 직관과는 다르기에 병원/의료 장비별 호환이 불가능하나 모든 과정을 자동으로 진행할 수 있는 장점과, 사람이 판독할 경우에는 수동으로 해야 하는데 불편함이 있으나, 병원/의료 장비에 제한되지 않는 장점을 취한 것으로서, 모델링만 되어 있다면 치매 지수를 도출하는데 있어 수분의 시간으로 충분하도록 한다.
또한, 각 환자의 뇌 영상이 표준 뇌 템플릿과 유사하게 변형되고, 멀티 병원 센터간, 멀티 의료 장비간 에러가 최소화로 도출되는 위치를 영역 기반으로 하여 슬라이스 위치가 선택되는 것을 통해, 각 환자 간의 뇌 형상이 상이함으로 인해 발생되는 에러를 최소화할 수 있게 된다.
또한, 딥 러닝 학습 단계에서 정상 이미지 및 치매 이미지에 가중치가 부가되어, 정상 상태 또는 치매 상태로 극단적으로 분류되는 것에 대한 에러를 최소화할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른 단일 뇌 MR 슬라이스 영상 기반 치매 위험 예측 딥 러닝 방법을 구현하기 위한 장치의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 단일 뇌 MR 슬라이스 영상 기반 치매 위험 예측 딥 러닝 방법의 동작을 설명하기 위한 순서도이다.
도 3은 도 2에 도시된 치매 위험 예측 딥 러닝 방법의 동작 중 단계(S200)의 세부 동작을 설명하기 위한 순서도이다.
도 4는 본 발명의 일 실시예에 따른 치매 위험 예측 딥 러닝 방법을 이용하여 테스트한 결과 그래프를, 기존 방법론과 대비하여 도시한 도면이다.
이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.
또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.
따라서, 예를 들어, 본 명세서의 블록도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도, 상태 변환도, 의사 코드 등은 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.
프로세서 또는 이와 유사한 개념으로 표시된 기능 블록을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어 뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다.
프로세서에 의해 제공될 때, 상기 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다.
또한 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지관용의 다른 하드웨어도 포함될 수 있다.
본 명세서의 청구범위에서, 상세한 설명에 기재된 기능을 수행하기 위한 수단으로 표현된 구성요소는 예를 들어 상기 기능을 수행하는 회로 소자의 조합 또는 펌웨어/마이크로 코드 등을 포함하는 모든 형식의 소프트웨어를 포함하는 기능을 수행하는 모든 방법을 포함하는 것으로 의도되었으며, 상기 기능을 수행하도록 상기 소프트웨어를 실행하기 위한 적절한 회로와 결합된다.
이러한 청구범위에 의해 정의되는 본 발명은 다양하게 열거된 수단에 의해 제공되는 기능들이 결합되고 청구항이 요구하는 방식과 결합되기 때문에 상기 기능을 제공할 수 있는 어떠한 수단도 본 명세서로부터 파악되는 것과 균등한 것으로 이해되어야 한다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다.
또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.
도 1은 본 발명의 일 실시예에 따른 단일 뇌 MR 슬라이스 영상 기반 치매 위험 예측 딥 러닝 방법을 구현하기 위한 장치의 블록도로서, 뇌 영상 촬영부(100), 에러 최소화부(200), 딥 러닝 모듈(300) 및 스코어 정의 모듈(400)을 포함한다.
에러 최소화부(200)는 데이터 보정부(210), 슬라이스 위치 선택부(220) 및 데이터 증강 모듈(230)을 포함한다.
도 2는 본 발명의 일 실시예에 따른 단일 뇌 MR 슬라이스 영상 기반 치매 위험 예측 딥 러닝 방법의 동작을 설명하기 위한 순서도이다.
도 3은 도 2에 도시된 치매 위험 예측 딥 러닝 방법의 동작 중 단계(S200)의 세부 동작을 설명하기 위한 순서도이다.
도 1 내지 도 3을 참조하여 본 발명의 일 실시예에 따른 단일 뇌 MR 슬라이스 영상 기반 치매 위험 예측 딥 러닝 방법의 동작을 개략적으로 설명하면 다음과 같다.
먼저, 뇌 영상 촬영부(100)가 복수명의 환자의 뇌 형상을 촬영하여 각 환자별 뇌 영상을 획득한다(S100).
에러 최소화부(200)가 뇌 영상 촬영부(100)로부터 획득된 뇌 영상을 인가받아 각 환자별 뇌 영상을 정합시키고, 실시간 데이터 증강을 통해 슬라이스 영상에 대한 에러 최소화된 이미지를 생성한다(S200).
즉, 데이터 보정부(210)가 뇌 영상 촬영부(100)에서 획득된 뇌 영상을 인가받아 표준 뇌 템플릿에 상기 각 환자별 뇌 영상을 정합시키면(S210), 슬라이스 위치 선택부(220)가 데이터 보정부(210)에서 정합된 각 환자별 뇌 영상을 인가받아 슬라이스 위치를 선택한다(S220).
또한, 데이터 증강 모듈(230)이 슬라이스 위치 선택부(220)에서 위치 선택된 슬라이스에 대하여, 실시간으로 데이터 증강을 적용하여 슬라이스 영상에 대한 에러 최소화된 이미지를 생성한다(S230).
딥 러닝 모듈(300)이 단계(S200)에서 에러 최소화된 이미지에, 학습 단계에서의 가중치를 부가하여 가중된 합산 이미지를 생성한다(S300).
스코어 정의 모듈(400)이 단계(S300)에서 생성된 합산 이미지에 대해 실수 형태의 치매 지수를 도출하여 치매 위험을 예측한다(S400).
도 1 내지 도 3을 참조하여 본 발명의 일 실시예에 따른 단일 뇌 MR 슬라이스 영상 기반 치매 위험 예측 딥 러닝 방법의 유기적인 동작을 상세하게 설명하면 다음과 같다.
본 발명은 개인이 대형 대학병원급에서 의원급까지의 의료 기관에 내원하여 촬영한 뇌 영상에서, 병원 센터 및 의료 장비 별 호환가능한 치매 지수를 도출할 수 있도록 한다.
특히, 신경심리검사 사용을 통해 결과를 보완할 필요없이 본 발명은 최소화된 정보(슬라이스 1장)만을 이용하여 구현 가능하도록 한다.
뇌 영상 촬영부(100)는 복수명의 환자의 뇌 형상을 촬영하여 각 환자별 뇌 영상을 획득한다.
본 발명의 '획득된 뇌 영상' 범위는 MR 의료진의 직관으로 구조 판단이 가능한 뇌 영상 슬라이스를 포함한다.
즉, 고해상도의 MR(예를 들어, z축이 200개 이상)부터 저해상도의 MR(예를 들어, z축이 약 20개)까지 대부분의 T1 MR을 포함한다.
데이터 보정부(210)는 각 환자별로 획득된 뇌 영상을 인가받아 비선형 정합 및 선형 정합 방법을 사용하여, 표준 뇌 템플릿에 각 환자별 뇌 영상을 정합시킨다.
이를 통해 각 환자의 뇌 영상은 표준 뇌 템플릿과 유사하게 변형되고, 대부분의 조직이 유사하게 위치되는 것을 통해, 각 환자 간의 뇌 형상이 상이함으로 인해 발생되는 에러를 최소화한다(에러 최소화 1단계).
슬라이스 위치 선택부(220)는 많은 실험을 거쳐 멀티 병원 센터간, 멀티 의료 장비간 에러가 최소화로 도출되는 위치를 영역 기반으로 하여 슬라이스 위치를 선택한다(에러 최소화 2단계).
즉, 치매에 관련된 위치(gray matter, hippocampus 등)를 포함하고 있는 슬라이스를 수동으로 직접 선택하여 입력으로 사용한다.
또한, 관상면(coronal plane) 방향 기준으로 hippocampus의 무게 중심이 포함되는 슬라이스 및 축(axial) 방향 기준으로 ventricle의 무게 중심이 포함되는 슬라이스를 자동으로 선택하여 다음 파트의 입력으로 사용한다.
데이터 증강(Data augmentation) 모듈은 의료영상의 경우 데이터가 적은 한계점이 있으므로, 데이터 증강을 적용하며, 데이터 증강 적용에 사용된 파라미터는 실시간으로 좌우/상하 대칭, 크기 조절, 기울이기, 회전, 정규화, 이동, 밝기 조절 등 무작위 생성을 통해 슬라이스 영상에 대한 무한대로 이미지를 생성하며, 이를 통해 타 발병과는 다른 호환가능한 치매 지수에 도달할 수 있다(에러 최소화 3단계).
또한, 이미지의 변형을 가하는 데이터 증강 뿐만 아니라, 딥 러닝 모듈(300)이 학습 단계에서 정상 이미지 및 치매 이미지에 가중치(weight)를 부가하여 가중된 합산 이미지(weighted sum image)를 매회 학습시마다 생성하도록 함으로써, 정상 상태 또는 치매 상태로 극단적으로 분류되는 것에 대한 에러를 최소화한다(에러 최소화 4단계).
딥 러닝 모듈(300)은 대부분의 딥 러닝 네트워크 모듈을 사용할 수 있으나, 인셉션 모듈(inception module)이 적용된 네트워크 사용이 호환가능한 치매 지수에 도출한 적합함을 확인한다.
다수회 실험을 실시해 본 결과, 인셉션 모듈 기반의 딥 러닝 네트워크가 단순히 이미지 특징이 아닌 사람의 인지와 유사하게 패턴을 보고 학습하는 것으로 확인되었다.
스코어 정의 모듈(400)은 {정상, 인지 경도, 치매}와 같이 불연속적인 값의 분류 값이 아닌, 연속된 (실수 형태)의 치매 지수 도출이 될 수 있도록, 카테고리가 1개일 경우에는 로지스틱 회귀 모형을 적용하고, 카테고리가 많은 경우, 즉 2개 이상인 경우에는 softmax를 적용함으로써 스코어를 연속된 (실수 형태)로 값을 도출하여 치매 위험을 예측한다.
정상에 가까울수록 0, 치매에 가까울수록 1에 가까우며, 해당 범위는 [0, 1]에 제한되지 않는다.
연속된 실수 형태에서 컷 오프(cut-off)를 지정할 경우 다른 기술과 같이 분류값으로도 예측의 지정이 가능하다.
도 4는 본 발명의 일 실시예에 따른 치매 위험 예측 딥 러닝 방법을 이용하여 테스트한 결과 그래프를, 기존 방법론과 대비하여 도시한 도면이다.
본 실시예에서는 삼성서울병원, 미국 ADNI, 가천대학병원, 차움에서 획득한 뇌 MR 영상 데이터셋(T1)을 사용하여 실험을 진행하였으며, 정상/치매 분류에 약 94% 결과를 획득하였다.
동일 사람에 대해서 2개의 병원 센터 및 의료 장비를 테스트해본 결과, 기존 방법론 대비 병원 센터 및 의료 장비별로 대각선에 가깝게 수렴함을 확인할 수 있었다.
이와 같이, 본 발명은 사람의 직관과 유사한 과정을 모방함으로써 병원 센터/ 의료 장비가 바뀜에도 치매지수 수치값이 안정적으로 산출되고, 각 환자별로 획득된 뇌 영상을 표준 뇌 템플릿에 각 환자별로 정합시키고, 실시간 데이터 증강을 통해 에러 최소화된 이미지를 생성하며, 딥 러닝 학습 단계에서 가중치를 부가하여 가중된 합산 이미지를 생성하는 단일 뇌 MR 슬라이스 영상 기반 치매 위험 예측 딥 러닝 방법을 제공한다.
이를 통하여, 병원 센터/ 의료 장비별 호환이 가능하고 모든 과정을 자동으로 진행되며, 모델링만 되어 있다면 치매지수를 도출하는데 있어 수분의 시간으로 충분하게 된다.
또한, 각 환자의 뇌 영상이 표준 뇌 템플릿과 유사하게 변형되고, 멀티 병원 센터간, 멀티 의료 장비간 에러가 최소화로 도출되는 위치를 영역 기반으로 하여 슬라이스 위치를 선택되는 것을 통해 각 환자 간의 뇌 형상이 상이함으로 인해 발생되는 에러를 최소화할 수 있게 된다.
또한, 멀티 병원 센터간, 멀티 의료 장비간 에러가 최소화로 도출되는 위치를 영역 기반으로 하여 슬라이스 위치가 선택되고, 딥 러닝 학습 단계에서 정상 이미지 및 치매 이미지에 가중치가 부가되어 정상 상태 또는 치매 상태로 극단적으로 분류되는 것에 대한 에러를 최소화할 수 있게 된다.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
100: 뇌 영상 촬영부
200: 에러 최소화부
210: 데이터 보정부
220: 슬라이스 위치 선택부
230: 데이터 증강 모듈
300: 딥 러닝 모듈
400: 스코어 정의 모듈

Claims (6)

  1. (a) 뇌 영상 촬영부가 복수명의 환자의 뇌 형상을 촬영하여 각 환자별 뇌 영상을 획득하는 단계;
    (b) 에러 최소화부가 상기 획득된 뇌 영상을 인가받아 각 환자별 뇌 영상을 정합시키고, 실시간 데이터 증강을 통해 슬라이스 영상에 대한 에러 최소화된 이미지를 생성하는 단계;
    (c) 딥 러닝 모듈이 상기 에러 최소화된 이미지에 학습 단계에서의 가중치를 부가하여 가중된 합산 이미지를 생성하는 단계; 및
    (d) 스코어 정의 모듈이 상기 생성된 합산 이미지에 대해 실수 형태의 치매 지수를 도출하여 치매 위험을 예측하는 단계;
    를 포함하는 것을 특징으로 하는,
    단일 뇌 MR 슬라이스 영상 기반 치매 위험 예측 딥 러닝 방법.
  2. 제1항에 있어서,
    상기 (b) 단계는
    (b-1) 데이터 보정부가 상기 획득된 뇌 영상을 인가받아 표준 뇌 템플릿에 상기 각 환자별 뇌 영상을 정합시키는 단계;
    (b-2) 슬라이스 위치 선택부가 상기 정합된 각 환자별 뇌 영상을 인가받아 슬라이스 위치를 선택하는 단계; 및
    (b-3) 데이터 증강 모듈이 상기 위치 선택된 슬라이스에 대하여, 실시간으로 데이터 증강을 적용하여 슬라이스 영상에 대한 상기 에러 최소화된 이미지를 생성하는 단계;
    를 포함하는 것을 특징으로 하는,
    단일 뇌 MR 슬라이스 영상 기반 치매 위험 예측 딥 러닝 방법.
  3. 제2항에 있어서,
    상기 (b-2) 단계는
    치매에 관련된 위치를 포함하고 있는 슬라이스를 수동으로 직접 선택하는 단계; 및
    관상면 방향 기준으로 hippocampus의 무게 중심이 포함되는 슬라이스 및 축 방향 기준으로 ventricle의 무게 중심이 포함되는 슬라이스를 자동으로 선택하는 단계;
    를 포함하는 것을 특징으로 하는,
    단일 뇌 MR 슬라이스 영상 기반 치매 위험 예측 딥 러닝 방법.
  4. 제2항에 있어서,
    상기 (b-3) 단계에서,
    상기 데이터 증강에 사용된 파라미터는
    좌우 및 상하 대칭, 크기 조절, 기울이기, 회전, 정규화, 이동 및 밝기 조절 중 하나 이상인 것을 특징으로 하는,
    단일 뇌 MR 슬라이스 영상 기반 치매 위험 예측 딥 러닝 방법.
  5. 제1항에 있어서,
    상기 (a) 단계는
    비선형 정합 및 선형 정합 방법을 사용하는 것을 특징으로 하는 단일 뇌 MR 슬라이스 영상 기반 치매 위험 예측 딥 러닝 방법.
  6. 제1항에 있어서,
    상기 (d) 단계에서,
    카테고리가 1개인 경우 로지스틱 회귀 모형을 적용하고, 카테고리가 2개 이상인 경우 softmax를 적용하는 것을 특징으로 하는 단일 뇌 MR 슬라이스 영상 기반 치매 위험 예측 딥 러닝 방법.
KR1020210091487A 2020-07-24 2021-07-13 단일 뇌 mr 슬라이스 영상 기반 치매 위험 예측 딥 러닝 방법 KR102564750B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20200092074 2020-07-24
KR1020200092074 2020-07-24

Publications (2)

Publication Number Publication Date
KR20220013319A true KR20220013319A (ko) 2022-02-04
KR102564750B1 KR102564750B1 (ko) 2023-08-09

Family

ID=80268275

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210091487A KR102564750B1 (ko) 2020-07-24 2021-07-13 단일 뇌 mr 슬라이스 영상 기반 치매 위험 예측 딥 러닝 방법

Country Status (1)

Country Link
KR (1) KR102564750B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101718130B1 (ko) * 2016-02-12 2017-03-20 서울대학교산학협력단 자기공명영상을 이용한 뇌 영역의 분할 방법 및 시스템
JP2017076193A (ja) * 2015-10-13 2017-04-20 株式会社国際電気通信基礎技術研究所 脳活動解析装置、脳活動解析方法および脳活動解析プログラム
KR20190132832A (ko) * 2018-05-21 2019-11-29 고려대학교 산학협력단 딥러닝을 기반으로 하는 아밀로이드 양성 또는 음성을 예측하기 위한 방법 및 장치
KR20190135908A (ko) * 2019-02-01 2019-12-09 (주)제이엘케이인스펙션 인공지능 기반 치매 진단 방법 및 장치
KR20200083303A (ko) * 2018-12-27 2020-07-08 (주)제이엘케이 패치 정합을 이용한 학습 데이터 증가 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017076193A (ja) * 2015-10-13 2017-04-20 株式会社国際電気通信基礎技術研究所 脳活動解析装置、脳活動解析方法および脳活動解析プログラム
KR101718130B1 (ko) * 2016-02-12 2017-03-20 서울대학교산학협력단 자기공명영상을 이용한 뇌 영역의 분할 방법 및 시스템
KR20190132832A (ko) * 2018-05-21 2019-11-29 고려대학교 산학협력단 딥러닝을 기반으로 하는 아밀로이드 양성 또는 음성을 예측하기 위한 방법 및 장치
KR20200083303A (ko) * 2018-12-27 2020-07-08 (주)제이엘케이 패치 정합을 이용한 학습 데이터 증가 장치 및 방법
KR20190135908A (ko) * 2019-02-01 2019-12-09 (주)제이엘케이인스펙션 인공지능 기반 치매 진단 방법 및 장치

Also Published As

Publication number Publication date
KR102564750B1 (ko) 2023-08-09

Similar Documents

Publication Publication Date Title
Phellan et al. Real‐time biomechanics using the finite element method and machine learning: Review and perspective
JP6800975B2 (ja) 医療画像を患者と関連付けるためのシステム及び方法
JP7201404B2 (ja) 医用画像処理装置、医用画像処理方法、およびプログラム
JP6603656B2 (ja) 脳画像パイプライン及び脳画像領域の位置及び形状予測のための方法並びにシステム
US10395420B2 (en) Calculation of a medical image using templates
JP2023169313A (ja) 診断支援システムおよび方法
RU2513905C2 (ru) Классификация изображения на основе сегментации изображения
US11710566B2 (en) Artificial intelligence dispatch in healthcare
Navab et al. Personalized, relevance-based multimodal robotic imaging and augmented reality for computer assisted interventions
US12002583B2 (en) Universal health machine for the automatic assessment of patients
Wehbe et al. Deep learning for cardiovascular imaging: A review
CN114223006A (zh) 使用机器学习模型来诊断皮肤状况
Xu et al. Deep reinforcement learning and its applications in medical imaging and radiation therapy: a survey
US20220061919A1 (en) Method And Integrated System For Assisting In Setting Up A Personalized Therapeutic Approach For Patients Subject To Medical And Surgical Care
EP3821440A1 (en) Training a machine learning algorithm using digitally reconstructed radiographs
Torosdagli et al. Relational reasoning network for anatomical landmarking
EP3984462A1 (en) Heatmap and atlas
KR102103281B1 (ko) 뇌혈관 질환의 진단을 위한 ai 기반의 보조 진단 시스템
WO2024015938A1 (en) Generating functional brain mappings and accompanying reference information
KR20220013319A (ko) 단일 뇌 mr 슬라이스 영상 기반 치매 위험 예측 딥 러닝 방법
Goral et al. Development of a CapsNet and Fuzzy Logic decision support system for diagnosing the Scoliosis and planning treatments via Schroth method
JP7477906B2 (ja) 認知症診断支援情報の提供装置及びその方法
WO2023119866A1 (ja) 情報処理装置、情報処理装置の作動方法、情報処理装置の作動プログラム、予測モデル、学習装置、および学習方法
Vasilevski Meta-learning for clinical and imaging data fusion for improved deep learning inference
JP2022059493A (ja) モデル生成方法、モデル生成装置、画像処理方法及び画像処理装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right