KR102173197B1 - 딥러닝을 기반으로 하는 아밀로이드 양성 또는 음성을 예측하기 위한 방법 및 장치 - Google Patents

딥러닝을 기반으로 하는 아밀로이드 양성 또는 음성을 예측하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR102173197B1
KR102173197B1 KR1020180057866A KR20180057866A KR102173197B1 KR 102173197 B1 KR102173197 B1 KR 102173197B1 KR 1020180057866 A KR1020180057866 A KR 1020180057866A KR 20180057866 A KR20180057866 A KR 20180057866A KR 102173197 B1 KR102173197 B1 KR 102173197B1
Authority
KR
South Korea
Prior art keywords
image
positive
amyloid
negative
region
Prior art date
Application number
KR1020180057866A
Other languages
English (en)
Other versions
KR20190132832A (ko
Inventor
성준경
김정훈
서상원
Original Assignee
고려대학교 산학협력단
사회복지법인 삼성생명공익재단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단, 사회복지법인 삼성생명공익재단 filed Critical 고려대학교 산학협력단
Priority to KR1020180057866A priority Critical patent/KR102173197B1/ko
Publication of KR20190132832A publication Critical patent/KR20190132832A/ko
Application granted granted Critical
Publication of KR102173197B1 publication Critical patent/KR102173197B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/037Emission tomography
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Epidemiology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Optics & Photonics (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

본 발명은 딥러닝을 기반으로 하는 아밀로이드(Amyloid) 양성 또는 음성을 예측하기 위한 방법에 관한 것으로서, 본 발명의 일 실시 예에 따른 예측 방법은, 아밀로이드 양성 또는 음성을 예측하기 위한 판단기준영역을 기초로 제 1 뇌촬영 영상 및 제 2 뇌촬영 영상으로부터 슬라이스(slice) 영상 및 슬라이스 영상에 대한 마스크(mask)를 생성하는 전처리 단계, 딥러닝 또는 머신러닝을 이용하여 전처리 단계에서 생성된 슬라이스 영상 및 마스크를 기초로 입력 데이터를 생성하는 단계, 딥러닝 또는 머신러닝을 이용하여 생성된 입력 데이터로부터 아밀로이드 양성 또는 음성을 예측하기 위한 스코어(score)를 추출 및 학습하는 단계 및 딥러닝 또는 머신러닝을 이용하여 추출 및 학습된 스코어를 기초로 아밀로이드 양성 또는 음성을 진단하기 위한 알고리즘 모델을 생성하고, 생성된 알고리즘 모델을 통해 아밀로이드 양성 또는 음성을 판단하는 단계를 포함할 수 있다.

Description

딥러닝을 기반으로 하는 아밀로이드 양성 또는 음성을 예측하기 위한 방법 및 장치{METHOD AND APPARATUS FOR PREDICTING AMYLOID POSITIVE OR NEGATIVE BASED ON DEEP LEARNING}
본 발명은 딥러닝을 기반으로 하여 아밀로이드 양성 또는 음성을 예측하기 위한 방법 및 장치에 관한 것으로, 더욱 상세하게는 뇌질환 진단을 위한 뇌촬영 영상 중 하나인 아밀로이드 페트(PET) 영상을 활용하여 딥러닝을 통해 인간의 직관과 유사한 관점에서 아밀로이드 양성 또는 음성을 예측하고자 하는 방법 및 시스템에 관한 것이다.
최근 과학 기술 및 영상 촬영 기법의 발전으로 뇌질환을 진단 및 예측하기 위한 뇌촬영 기술로서 컴퓨터 단층촬영(computed tomography, CT), 자기공명 영상촬영(magnetic resonance imaging, MRI), 양전자단층영상촬영(positron emission tomography, PET) 등이 개발되었다. 이 중 알츠하이머 병, 치매 등을 포함한 퇴행성 뇌질환을 진단하는데에는 아밀로이드 침착 여부를 확인할 수 있는 아밀로이드 페트 검사가 효과적인 것으로 알려져 있다.
아밀로이드 페트 검사는 단백질의 대사과정에 이상이 발생하여 생성되는 비정상적인 형태의 아밀로이드가 뇌 내에 침착되어 잇는지 여부를 확인하기 위해 아밀로이드에만 반응하는 특수조영제를 체내로 주사한 이후 페트 촬영을 하여 침착 여부에 따라 양성 또는 음성 여부를 판단하는 것이다.
종래에는 이러한 아밀로이드 페트 영상을 통한 진단을 위해 환자의 촬영된 아밀로이드 페트 영상 중 출력이 선명하거나 침착 여부의 분별이 용이한 영상을 임상의 등이 직접 선택하는 과정을 통해 수행되었다. 이러한 과정을 통한 아밀로이드 페트 영상의 선택은 임상의 등이 다수의 아밀로이드 페트 영상을 일일이 검증하고 확인해야 하므로, 상당한 시간이 소요되며 진단에 필요한 아밀로이드 페트 영상의 정확한 선별이 어려운 문제가 있다.
또한, 종래에는 선택된 아밀로이드 페트 영상에 대한 분석을 위해 페트 영상의 특징을 추출함에 있어서 미리 정의된 특징추출 방법론을 사용하므로, 새로운 환경 또는 조건을 포함한 데이터를 적절히 처리하지 못하며, 이에 따라 적절한 아밀로이드 양성 또는 음성 여부에 대한 예측을 하기 어려운 문제가 있다.
일본 등록특허공보 제5468905호 (2014.02.07)
본 발명은 전술한 바와 같은 문제점을 해결하기 위한 것으로서, 인간의 판단에 의해 선택 또는 파악되던 종래의 뇌촬영 영상 분석 과정을 딥러닝 또는 머신러닝을 이용하여 아밀로이드 페트를 포함한 뇌촬영 영상의 특징 및 스코어 추출 등의 과정을 통해 자동화할 수 있는 방법 및 장치를 제공함에 목적이 있다.
또한, 본 발명은 딥러닝 또는 머신러닝을 이용하여 아밀로이드 페트를 포함한 뇌촬영 영상의 영역별 특징 등에 대한 지속적인 학습 과정을 통해 아밀로이드 양성 또는 음성 판단의 정확성을 향상시킴으로써, 아밀로이드 양성 또는 음성에 대한 보다 신뢰도 높은 예측이 수행될 수 있도록 하는 방법 및 장치를 제공함에 목적이 있다.
본 발명의 일 실시 예에 따른 딥러닝을 기반으로 하는 아밀로이드(Amyloid) 양성 또는 음성을 예측하기 위한 방법은, 아밀로이드 양성 또는 음성을 예측하기 위한 판단기준영역을 기초로 제 1 뇌촬영 영상 및 제 2 뇌촬영 영상으로부터 슬라이스(slice) 영상 및 슬라이스 영상에 대한 마스크(mask)를 생성하는 전처리 단계, 딥러닝 또는 머신러닝을 이용하여 전처리 단계에서 생성된 슬라이스 영상 및 마스크를 기초로 입력 데이터를 생성하는 단계, 딥러닝 또는 머신러닝을 이용하여 생성된 입력 데이터로부터 아밀로이드 양성 또는 음성을 예측하기 위한 스코어(score)를 추출 및 학습하는 단계 및 딥러닝 또는 머신러닝을 이용하여 추출 및 학습된 스코어를 기초로 아밀로이드 양성 또는 음성을 진단하기 위한 알고리즘 모델을 생성하고, 생성된 알고리즘 모델을 통해 아밀로이드 양성 또는 음성을 판단하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따른 전처리 단계는, 제 1 뇌촬영 영상에 대한 분할 영상을 생성하는 단계, 제 1 뇌촬영 영상 및 제 2 뇌촬영 영상에 대한 정합 영상을 생성하는 단계, 분할 영상에 대한 판단기초영역의 출력 상태를 기준으로 제 1 슬라이스 영상을 선택하는 단계, 정합 영상으로부터 제 1 슬라이스 영상에 대응되는 제 2 슬라이스 영상을 추출하는 단계 및 제 1 슬라이스 영상의 판단기준영역에 대한 마스크를 생성하는 단계를 포함할 수 있으며, 판단기준영역은 판단기초영역을 포함할 수 있다.
본 발명의 일 실시 예에 따른 제 1 뇌촬영 영상은 MRI T1 볼륨(volume) 이미지이고, 제 2 뇌촬영 영상은 아밀로이드 페트(PET) 볼륨 이미지이며, 판단기초영역은 측두엽 영역(temporal region), 전두엽 영역(frontal region), 후대상설전 영역(posterior cingulate-precuneus region) 및 두정엽 영역(parietal region)을 포함하고, 판단기준영역은 판단기초영역 각각의 좌측부와 우측부 및 좌측부 또는 우측부 각각의 백색질 영역(white matter, wm)과 회색질 영역(grey matter, gm)을 포함할 수 있다.
본 발명의 일 실시 예에 따른 입력 데이터를 생성하는 단계는, 딥러닝 또는 머신러닝을 이용하여 마스크가 생성된 슬라이스 영상을 기초로 판단기준영역에 대한 특징(feature) 데이터를 추출하는 단계 및 딥러닝 또는 머신러닝을 이용하여 추출된 특징 데이터를 기초로 스코어를 할당하기 위한 레이블(label) 데이터를 추출하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따른 특징 데이터를 추출하는 단계에서 이용되는 딥러닝 또는 머신러닝에는 FCN(Fully convolutional network) 알고리즘이 포함될 수 있다.
본 발명의 일 실시 예에 따른 스코어를 추출 및 학습하는 단계에서 이용되는 딥러닝 또는 머신러닝에는 회귀(regression) 알고리즘 및 서포트 벡터 머신(support vector machine, SVM) 알고리즘이 포함될 수 있다.
본 발명의 일 실시 예에 따른 알고리즘 모델을 생성하고, 생성된 알고리즘 모델을 통해 아밀로이드 양성 또는 음성을 판단하는 단계에서는, 서포트 벡터 머신 알고리즘을 이용하여 추출 및 학습된 스코어를 기초로 알고리즘 모델을 생성할 수 있다.
본 발명의 일 실시 예에 따른 딥러닝을 기반으로 하는 아밀로이드(Amyloid) 양성 또는 음성을 예측하기 위한 장치는, 아밀로이드 양성 또는 음성을 예측하기 위한 판단기준영역을 기초로 제 1 뇌촬영 영상 및 제 2 뇌촬영 영상으로부터 슬라이스(slice) 영상 및 슬라이스 영상에 대한 마스크(mask)를 생성하는 전처리부, 전처리 단계에서 생성된 슬라이스 영상 및 마스크를 기초로 입력 데이터를 생성하기 위해 딥러닝을 이용하는 제 1 데이터 생성모듈 및 머신러닝을 이용하는 제 2 데이터 생성모듈을 포함하는 입력 데이터 생성부, 생성된 입력 데이터로부터 아밀로이드 양성 또는 음성을 예측하기 위한 스코어(score)를 추출 및 학습하기 위해 딥러닝을 이용하는 제 1 스코어링 모듈 및 머신러닝을 이용하는 제 2 스코어링 모듈을 포함하는 스코어링부 및 추출 및 학습된 스코어를 기초로 하여 아밀로이드 양성 또는 음성을 진단하기 위한 알고리즘 모델을 생성하고, 생성된 알고리즘 모델을 통해 아밀로이드 양성 또는 음성을 판단하기 위해 딥러닝을 이용하는 제 1 양음성 판단모듈 및 머신러닝을 이용하는 제 2 양음성 판단모듈을 포함하는 아밀로이드 양음성 예측부를 포함할 수 있다.
본 발명의 일 실시 예에 따른 전처리부는, 제 1 뇌촬영 영상에 대한 분할 영상을 생성하는 영상 분할부, 제 1 뇌촬영 영상 및 제 2 뇌촬영 영상에 대한 정합 영상을 생성하는 영상 정합부, 분할 영상에 대한 판단기초영역의 출력 상태를 기준으로 제 1 슬라이스 영상을 선택하고, 정합 영상으로부터 제 1 슬라이스 영상에 대응되는 제 2 슬라이스 영상을 추출하는 슬라이스 영상 생성부 및 제 1 슬라이스 영상의 판단기준영역에 대한 마스크를 생성하는 영상 마스크 생성부를 포함할 수 있으며, 판단기준영역은 판단기초영역을 포함할 수 있다.
본 발명의 일 실시 예에 따른 제 1 뇌촬영 영상은 MRI T1 볼륨(volume) 이미지이고, 제 2 뇌촬영 영상은 아밀로이드 페트(PET) 볼륨 이미지이며, 판단기초영역은 측두엽 영역(temporal region), 전두엽 영역(frontal region), 후대상설전 영역(posterior cingulate-precuneus region) 및 두정엽 영역(parietal region)을 포함하고, 판단기준영역은 판단기초영역 각각의 좌측부와 우측부 및 좌측부 또는 우측부 각각의 백색질 영역(white matter, wm)과 회색질 영역(grey matter, gm)을 포함할 수 있다.
본 발명의 일 실시 예에 따른 제 1 데이터 생성모듈은, 딥러닝을 이용하여 마스크가 생성된 슬라이스 영상을 기초로 판단기준영역에 대한 특징(feature) 데이터를 추출하는 제 1 특징 데이터 추출부 및 딥러닝을 이용하여 추출된 특징 데이터를 기초로 스코어를 할당하기 위한 레이블(label) 데이터를 추출하는 제 1 레이블 데이터 추출부를 포함하며,
본 발명의 일 실시 예에 따른 제 2 데이터 생성모듈은, 머신러닝을 이용하여 마스크가 생성된 슬라이스 영상을 기초로 판단기준영역에 대한 특징(feature) 데이터를 추출하는 제 2 특징 데이터 추출부 및 머신러닝을 이용하여 추출된 특징 데이터를 기초로 스코어를 할당하기 위한 레이블(label) 데이터를 추출하는 제 2 레이블 데이터 추출부를 포함할 수 있다.
본 발명의 일 실시 예에 따른 제 1 특징 데이터 추출부에서 이용되는 딥러닝 또는 제 2 특징 데이터 추출부에서 이용되는 머신러닝에는 FCN(Fully convolutional network) 알고리즘이 포함될 수 있다.
본 발명의 일 실시 예에 따른 스코어링부에서 이용되는 딥러닝 또는 머신러닝에는 회귀(regression) 알고리즘 및 서포트 벡터 머신(support vector machine, SVM) 알고리즘이 포함될 수 있다.
본 발명의 일 실시 예에 따른 아밀로이드 양음성 예측부에서는, 서포트 벡터 머신 알고리즘을 이용하여 추출 및 학습된 스코어를 기초로 알고리즘 모델을 생성할 수 있다.
한편, 본 발명의 일 실시 예에 의하면, 전술한 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공할 수 있다.
본 발명의 일 실시 예로서 제공되는 예측 방법 및 장치에 따르면, 딥러닝 또는 머신러닝을 이용하여 아밀로이드 양성 또는 음성을 예측하기 위한 전 과정을 자동화 할 수 있어 사용자의 편의성을 보다 향상시킬 수 있다.
또한, 종래 기술과 같이 뇌촬영 영상에 대한 인간의 판단에 따라 아밀로이드 양성 또는 음성 여부를 진단하는 것이 아닌 딥러닝 또는 머신러닝을 이용하여 아밀로이드 페트를 포함한 뇌촬영 영상의 영역별 특징을 분석하여 판단하는 것이므로, 아밀로이드 양성 또는 음성 여부에 대한 예측 결과의 신뢰성 및 정확성을 보다 향상시킬 수 있다.
더불어, 딥러닝 또는 머신러닝을 이용하여 인간의 직관과 유사한 관점에서 아밀로이드 양성 또는 음성 여부의 예측이 가능하므로, 뇌촬영 영상 데이터의 출처에 상관없이 멀티센서 또는 멀티디바이스에 용이하게 적용될 수 있다.
도 1은 본 발명의 일 실시 예에 따른 딥러닝을 기반으로 하는 아밀로이드 양성 또는 음성을 예측하기 위한 방법을 나타낸 순서도이다.
도 2는 본 발명의 일 실시 예에 따른 딥러닝을 기반으로 하는 아밀로이드 양성 또는 음성을 예측하기 위한 방법 중 전처리 단계를 나타낸 순서도이다.
도 3은 본 발명의 일 실시 예에 따른 딥러닝을 기반으로 하는 아밀로이드 양성 또는 음성을 예측하기 위한 방법 중 입력 데이터 생성 단계를 나타낸 순서도이다.
도 4는 본 발명의 일 실시 예에 따라 딥러닝을 이용하여 아밀로이드 양성 또는 음성을 예측하는 과정을 나타낸다.
도 5는 본 발명의 일 실시 예에 따라 머신러닝을 이용하여 아밀로이드 양성 또는 음성을 예측하는 과정을 나타낸다.
도 6은 본 발명의 일 실시 예에 따른 딥러닝을 기반으로 하는 아밀로이드 양성 또는 음성을 예측하기 위한 장치를 나타낸 블록도이다.
도 7은 본 발명의 일 실시 예에 따른 딥러닝을 기반으로 하는 아밀로이드 양성 또는 음성을 예측하기 위한 장치에 포함된 전처리부를 나타낸 블록도이다.
도 8은 본 발명의 일 실시 예에 따른 딥러닝을 기반으로 하는 아밀로이드 양성 또는 음성을 예측하기 위한 장치의 예측과정 나타낸 블록도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 딥러닝을 기반으로 하는 아밀로이드 양성 또는 음성을 예측하기 위한 방법을 나타낸 순서도이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 딥러닝을 기반으로 하는 아밀로이드(Amyloid) 양성 또는 음성을 예측하기 위한 방법은, 아밀로이드 양성 또는 음성을 예측하기 위한 판단기준영역을 기초로 제 1 뇌촬영 영상 및 제 2 뇌촬영 영상으로부터 슬라이스(slice) 영상 및 슬라이스 영상에 대한 마스크(mask)를 생성하는 전처리 단계(S100), 딥러닝 또는 머신러닝을 이용하여 전처리 단계에서 생성된 슬라이스 영상 및 마스크를 기초로 입력 데이터를 생성하는 단계(S200), 딥러닝 또는 머신러닝을 이용하여 생성된 입력 데이터로부터 아밀로이드 양성 또는 음성을 예측하기 위한 스코어(score)를 추출 및 학습하는 단계(S300) 및 딥러닝 또는 머신러닝을 이용하여 추출 및 학습된 스코어를 기초로 아밀로이드 양성 또는 음성을 진단하기 위한 알고리즘 모델을 생성하고, 생성된 알고리즘 모델을 통해 아밀로이드 양성 또는 음성을 판단하는 단계(S400)를 포함할 수 있다.
이때, 판단기준영역이란 아밀로이드 양성 또는 음성을 예측하기 위해 필요한 입력 데이터의 생성, 스코어의 추출 및 학습에 기준이 되는 뇌촬영 영상에서의 뇌의 영역들을 지칭할 수 있다. 다시 말해서, 판단기준영역이란 아밀로이드 양성 또는 음성을 예측하기 위한 각 과정에서 전반적인 기준으로서 뇌촬영 영상에서 출력되는 뇌의 영역들을 의미하며, 이러한 판단기준영역은 후술할 판단기초영역과 함께 보다 구체적으로 설명하도록 한다.
본 발명의 일 실시 예에 따른 딥러닝을 기반으로 하는 아밀로이드(Amyloid) 양성 또는 음성을 예측하기 위한 방법은 제 1 뇌촬영 영상 및 제 2 뇌촬영 영상에 대한 전처리 단계(S100)가 공통적으로 수행된 이후에 딥러닝을 이용하는 과정과 머신러닝을 이용하는 과정으로 크게 분류될 수 있다. 다시 말해서, 전처리 단계(S100)가 수행되고 나면 딥러닝을 이용하여 입력 데이터를 생성하고 스코어를 추출 및 학습하여 알고리즘 모델을 생성하고 양음성을 판단하는 과정과 머신러닝을 이용하여 입력 데이터를 생성하고 스코어를 추출 및 학습하여 알고리즘 모델을 생성하고 양음성을 판단하는 과정이 별개로 수행될 수 있다. 예를 들어, 머신러닝을 이용하여 입력 데이터를 생성하고, 머신러닝을 이용하여 스코어를 추출 및 학습할 수는 없다.
즉, 딥러닝을 이용하는 경우 딥러닝을 이용하는 과정이 일체로 수행되는 것이고, 머신러닝을 이용하는 경우 머신러닝을 이용하는 과정이 일체로 수행될 수 있다. 따라서, 딥러닝을 이용하여 각 단계를 수행하는 주체(i.e. 제 1 데이터 생성모듈(210), 제 1 스코어링 모듈(310), 제 1 양음성 판단모듈(410))와 머신러닝을 이용하여 각 단계를 수행하는 주체(i.e. 제 2 데이터 생성모듈(220), 제 2 스코어링 모듈(320), 제 2 양음성 판단모듈(420))는 각각 별개로 이루어져 있으며, 딥러닝을 이용하는 수행 주체와 머신러닝을 이용하는 수행 주체 간의 데이터 전송 등은 이루어지지 않을 수 있다. 보다 구체적인 내용은 후술할 도 8을 참조하여 설명하도록 한다.
도 2는 본 발명의 일 실시 예에 따른 딥러닝을 기반으로 하는 아밀로이드 양성 또는 음성을 예측하기 위한 방법 중 전처리 단계(S100)를 나타낸 순서도이다.
도 2를 참조하면, 본 발명의 일 실시 예에 따른 전처리 단계(S100)는, 제 1 뇌촬영 영상에 대한 분할 영상을 생성하는 단계(S110), 제 1 뇌촬영 영상 및 제 2 뇌촬영 영상에 대한 정합 영상을 생성하는 단계(S120), 분할 영상에 대한 판단기초영역의 출력 상태를 기준으로 제 1 슬라이스 영상을 선택하는 단계(S130), 정합 영상으로부터 제 1 슬라이스 영상에 대응되는 제 2 슬라이스 영상을 추출하는 단계(S140) 및 제 1 슬라이스 영상의 판단기준영역에 대한 마스크를 생성하는 단계(S150)를 포함할 수 있으며, 판단기준영역은 판단기초영역을 포함할 수 있다.
이 때, 본 발명의 일 실시 예에 따른 제 1 뇌촬영 영상은 MRI T1 볼륨(volume) 이미지이고, 제 2 뇌촬영 영상은 아밀로이드 페트(PET) 볼륨 이미지일 수 있다.
예를 들어, 제 1 뇌촬영 영상이 MRI T1 볼륨 이미지인 경우, 이에 대한 분할 영상은 MRI T1 분할 이미지로서, 뇌실(ventricle) 이미지, 측두엽(temporal) 이미지, 쐐기앞소엽(frontal precuneus) 이미지 및 두정엽(parietal) 이미지일 수 있다. 전술한 예시와 같이 MRI T1 분할 이미지가 생성되는 것은 판단기초영역의 확인이 용이하도록 하기 위함이다.
본 발명의 일 실시 예에 따른 판단기초영역이란 슬라이스 영상을 선택 및 추출하기 위해 필요한 뇌촬영 영상에서 출력되는 뇌의 영역들을 지칭할 수 있다. 보다 구체적으로, 판단기초영역은 아밀로이드의 양성 또는 음성을 예측할 수 있는 병변 기초부위로 사용될 수 있는 뇌의 영역을 의미한다. 예를 들어, 판단기초영역은 측두엽 영역(temporal region), 전두엽 영역(frontal region), 후대상설전 영역(posterior cingulate-precuneus region) 및 두정엽 영역(parietal region)을 포함할 수 있다. 따라서, 분할 영상이 MRI T1 분할 이미지(i.e. 뇌실, 측두엽, 쐐기앞소엽, 두정엽 이미지)인 경우, 제 1 슬라이스 영상은 MRI T1 분할 이미지 중 판단기초영역(i.e. 측두엽, 전두엽, 후대상설전 및 두정엽 영역)의 출력 상태가 가장 좋은 분할 영상으로부터 선택될 수 있다.
본 발명의 일 실시 예에 따른 판단기준영역은 전술한 판단기초영역을 포함하는 것으로, 판단기초영역의 확장 형태로 이해될 수 있다. 즉, 판단기초영역은 아밀로이드 양성 또는 음성을 예측하기 위해 사용되는 기본적인 데이터를 생성하기 위한 기준이라면, 판단기준영역은 판단기초영역을 기반으로 아밀로이드 양성 또는 음성을 예측하기 위해 딥러닝 또는 머신러닝을 이용하는 전반적인 과정에서 활용하기 위한 기준으로서 판단기초영역을 포함한 아밀로이드 양성 또는 음성을 예측하기 위한 뇌의 영역들을 의미할 수 있다.
예를 들어, 판단기준영역은 판단기초영역 각각의 좌측부와 우측부 및 좌측부 또는 우측부 각각의 백색질 영역(white matter, wm)과 회색질 영역(grey matter, gm)을 포함할 수 있다. 판단기초영역이 측두엽 영역, 전두엽 영역, 후대상설전 영역 및 두정엽 영역으로 총 4개의 영역이라면, 판단기준영역은 각 영역별 좌측부와 우측부 및 좌측부 또는 우측부 각각의 백색질 영역과 회색질 영역을 포함할 수 있으므로 총 16개의 영역일 수 있다. 따라서, 전술한 예시에 따라 제 1 슬라이스 영상에 마스크가 생성될 경우, 마스크는 판단기초영역 별 좌측부와 우측부 및 좌측추 또는 우측부 각각의 백색질 영역 또는 회색질 영역을 포함하여 총 16개의 영역에 생성될 수 있다.
도 3은 본 발명의 일 실시 예에 따른 딥러닝을 기반으로 하는 아밀로이드 양성 또는 음성을 예측하기 위한 방법 중 입력 데이터 생성 단계(S200)를 나타낸 순서도이다.
도 3을 참조하면, 본 발명의 일 실시 예에 따른 입력 데이터를 생성하는 단계(S200)는, 딥러닝 또는 머신러닝을 이용하여 마스크가 생성된 슬라이스 영상을 기초로 판단기준영역에 대한 특징(feature) 데이터를 추출하는 단계(S210) 및 딥러닝 또는 머신러닝을 이용하여 추출된 특징 데이터를 기초로 스코어를 할당하기 위한 레이블(label) 데이터를 추출하는 단계(S220)를 포함할 수 있다. 따라서, 입력 데이터에는 전술한 각 단계를 통해 추출된 특징 데이터와 레이블 데이터가 포함될 수 있다.
도 4는 본 발명의 일 실시 예에 따라 딥러닝을 이용하여 아밀로이드 양성 또는 음성을 예측하는 과정을 나타내며, 도 5는 본 발명의 일 실시 예에 따라 머신러닝을 이용하여 아밀로이드 양성 또는 음성을 예측하는 과정을 나타낸다.
본 발명의 일 실시 예에 따른 특징 데이터를 추출하는 단계는 딥러닝을 이용하는 경우와 머신러닝을 이용하는 경우를 구별하여 살펴보도록 한다.
먼저, 도 4를 참조하면, 딥러닝을 이용하여 특징 데이터를 추출하는 단계에서는 입력 데이터로서 패딩(padding) 이미지를 생성하는 단계, 제 1 슬라이스 영상에 생성된 판단기준영역에 대한 마스크에 대응되는 제 2 슬라이스 영상의 해당 영역을 추출하는 단계 및 추출된 제 2 슬라이스 영상의 해당 영역을 축소하여 패딩 이미지에 삽입하는 단계를 포함할 수 있다. 예를 들어, 딥러닝을 이용하여 특징 데이터를 추출하기 위해 먼저 입력 데이터로서 [50x50]의 -2로 패딩된 이미지를 생성할 수 있다. 다음으로, 제 1 슬라이스 영상에 생성된 판단기준영역 중 판단기초영역 별 좌측부와 우측부를 포함한 8개 영역(ex. 좌측 측두엽, 좌측 전두엽, 좌측 후대상설전, 좌측 두정엽 영역 및 우측 측두엽, 우측 전두엽, 우측 후대상설전, 우측 두정엽 영역)에 대한 마스크가 대응되는 제 2 슬라이스 영상의 영역을 추출할 수 있다. 추출된 8개 영역에 대한 제 2 슬라이스 영상의 영역을 [50x50]으로 축소하여 패딩된 이미지에 삽입할 수 있다. 이러한 과정을 통해 입력 데이터에 포함된 특징 데이터를 추출할 수 있다.
도 5를 참조하면, 머신러닝을 이용하여 특징 데이터를 추출하는 단계에서는 제 1 슬라이스 영상에 생성된 판단기준영역에 대한 마스크의 평균 SUVR(Standard Uptake Value Ratio) 값을 추정하는 단계 및 추정된 평균 SUVR 값에 대한 정규화(normalization)을 수행하는 단계를 포함할 수 있다. 예를 들어, 머신러닝을 이용하여 특징 데이터를 추출하기 위해 제 1 슬라이스 영상의 전술한 총 16개의 판단기준영역 중 백색질 영역에 해당하는 8개의 마스크 영역(ex. 좌측 백색질 측두엽, 좌측 백색질 전두엽, 좌측 백색질 후대상설전, 좌측 백색질 두정엽 영역 및 우측 백색질 측두엽, 우측 백색질 전두엽, 우측 백색질 후대상설전, 우측 백색질 두정엽 영역)의 백색질 영역의 평균 SUVR 값을 추정할 수 있다. 또한, 전술한 총 16개의 판단기준영역에 대한 마스크의 영역별 평균 SUVR 값을 추정할 수 있다. 다음으로, 추정된 각각의 SUVR 값들을 정규화하고, 판단기준영역 별 회색질 또는 백색질 값의 레벨을 계산할 수 있다. 이러한 정규화 및 레벨 계산 과정을 통한 결과 데이터와 제 2 슬라이스 영상을 활용하면 입력 데이터에 포함된 특징 데이터를 추출할 수 있다.
또한, 본 발명의 일 실시 예에 따른 특징 데이터를 추출하는 단계(S210)에서 이용되는 딥러닝 또는 머신러닝에는 FCN(Fully convolutional network) 알고리즘이 포함될 수 있다. FCN 알고리즘은 여러 개의 컨볼루션 블록으로 구성되어 있는 딥러닝 네트워크 알고리즘으로서, 마지막에 완전히 연결된 레이어(Fully connected layer)가 없는 것이 특징이다. FCN 알고리즘은 특성상 위치정보를 소실하지 않으므로, 보다 정확한 정보를 획득할 수 있다. 이러한 FCN 알고리즘을 이용하여 전술한 특징 데이터를 추출하는 각 단계를 효과적으로 수행할 수 있다.
본 발명의 일 실시예에 따른 레이블 데이터를 추출하는 단계(S220)에서는 딥러닝 또는 머신러닝을 이용하는 경우 공통적으로 각각의 과정을 통해 생성된 특징 데이터에 대응되는 스코어를 할당함으로써 레이블 데이터를 추출할 수 있다. 예를 들어, 스코어는 0 내지 3의 값일 수 있다.
도 1을 참조하면, 본 발명의 일 실시 예에 따라 전술한 바와 같이 입력 데이터 생성 과정(S200)이 수행된 이후에는 입력 데이터로부터 스코어를 추출 및 학습하는 단계(S300)가 수행될 수 있다. 스코어를 추출 및 학습하는 단계 역시 딥러닝을 이용하는 경우와 머신러닝을 이용하는 경우를 구체적인 예시로 구별하여 살펴보도록 한다.
먼저, 도 4를 참조하면, 딥러닝을 이용하여 스코어를 추출 및 학습하는 단계에서는 회귀(regression) 알고리즘으로서 경사 하강법(Stochastic Gradient Descent, SGD)을 활용하여 스코어의 추출 및 학습을 진행할 수 있다. 이 때 손실(loss)는 평균 제곱근 오차(mean square error)를 통해 추정될 수 있으며, 출력은 선형으로 활성화(activation)되도록 할 수 있다. 경사 하강법은 하나의 학습 데이터마다 오차를 계산해 딥러닝 신경망의 가중치를 바로 조절하는 방식으로서, 한 개의 학습 데이터마다 매번 가중치를 갱신하므로 신경망의 성능이 변화하면서 학습되는 것을 특징으로 한다. 따라서, 이러한 경사 하강법을 활용하여 학습 중단 시점을 휴리스틱(heuristic)하게 선정할 수 있다.
도 5를 참조하면, 머신러닝을 이용하여 스코어를 추출 및 학습하는 단계에서는 스코어를 연속값(continuous value)으로 추출하는 경우 회귀 알고리즘이 이용될 수 있으며, 스코어를 바이너리값(binary value)으로 추출하는 경우 서포트 벡터 머신(support vector machine, SVM)이 이용될 수 있다. 이 때, 서포트 벡터 머신 알고리즘은 높은 정확도를 보이는 전통적인 머신러닝 방법론으로서, 서포트 벡터라는 개념을 사용하여 최대한 일반적인 모델을 생성하는 것을 특징으로 한다. 이러한 머신러닝(회귀 알고리즘, 소포트 벡터 머신)을 이용하면, FCN 알고리즘을 이용하여 추출된 다량의 SUVR 값으로부터 용이하게 판단기준영역별 스코어를 추출 및 학습할 수 있다.
전술한 과정(S300)을 통해 스코어가 추출 및 학습되면, 본 발명의 일 실시 예에 따른 알고리즘 모델을 생성하고 생성된 알고리즘 모델을 통해 아밀로이드 양성 또는 음성을 판단하는 단계(S400)에서는, 서포트 벡터 머신 알고리즘을 이용하여 추출 및 학습된 스코어를 기초로 알고리즘 모델을 생성할 수 있다.
즉, 서포트 벡터 머신 알고리즘을 이용하여 보다 일반적인 아밀로이드 양성 또는 음성 판단을 위한 알고리즘 모델을 생성할 수 있다. 따라서, 서포트 벡터 머신 알고리즘을 이용하여 생성된 알고리즘 모델에 아밀로이드 양성 또는 음성 판단을 위한 데이터가 입력되면 데이터의 출처(i.e. 임의의 제3자에 대한 뇌촬영 영상을 기반으로 생성된 데이터 등)에 관계없이 아밀로이드 양성 또는 음성을 보다 객관적이고 일반적인 관점에서 예측할 수 있다.
또한, 뇌촬영 영상에 대한 학습이 이루어짐에 따라 알고리즘 모델의 아밀로이드 양성 또는 음성 판단의 정확성을 지속적으로 향상시킬 수 있다
도 6은 본 발명의 일 실시 예에 따른 딥러닝을 기반으로 하는 아밀로이드 양성 또는 음성을 예측하기 위한 장치(1000)를 나타낸 블록도이고, 도 7은 본 발명의 일 실시 예에 따른 딥러닝을 기반으로 하는 아밀로이드 양성 또는 음성을 예측하기 위한 장치(1000)에 포함된 전처리부(100)를 나타낸 블록도이다.
또한, 도 8은 본 발명의 일 실시 예에 따른 딥러닝을 기반으로 하는 아밀로이드 양성 또는 음성을 예측하기 위한 장치(1000)의 예측과정 나타낸 블록도이다.
도 6 및 도 8을 참조하면, 본 발명의 일 실시 예에 따른 딥러닝을 기반으로 하는 아밀로이드양성 또는 음성을 예측하기 위한 장치는, 아밀로이드 양성 또는 음성을 예측하기 위한 판단기준영역을 기초로 제 1 뇌촬영 영상 및 제 2 뇌촬영 영상으로부터 슬라이스 영상 및 슬라이스 영상에 대한 마스크를 생성하는 전처리부(100), 전처리 단계에서 생성된 슬라이스 영상 및 마스크를 기초로 입력 데이터를 생성하기 위해 딥러닝을 이용하는 제 1 데이터 생성모듈(210) 및 머신러닝을 이용하는 제 2 데이터 생성모듈(220)을 포함하는 입력 데이터 생성부(200), 생성된 입력 데이터로부터 아밀로이드 양성 또는 음성을 예측하기 위한 스코어를 추출 및 학습하기 위해 딥러닝을 이용하는 제 1 스코어링 모듈(310) 및 머신러닝을 이용하는 제 2 스코어링 모듈(320)을 포함하는 스코어링부(300) 및 추출 및 학습된 스코어를 기초로 하여 아밀로이드 양성 또는 음성을 진단하기 위한 알고리즘 모델을 생성하고, 생성된 알고리즘 모델을 통해 아밀로이드 양성 또는 음성을 판단하기 위해 딥러닝을 이용하는 제 1 양음성 판단모듈(410) 및 머신러닝을 이용하는 제 2 양음성 판단모듈(420)을 포함하는 아밀로이드 양음성 예측부(400)를 포함할 수 있다.
도 8을 참조하면, 전처리부(100)를 제외한 입력 데이터 생성부(200), 스코어링부(300) 및 아밀로이드 양음성 예측부(400)는 각각 딥러닝을 이용하는 수행모듈 및 머신러닝을 이용하는 수행모듈을 포함할 수 있으며, 딥러닝을 이용하는 수행모듈과 머신러닝을 이용하는 수행모듈은 서로 연결될 수 없다. 따라서, 제 1 데이터 생성모듈(210)에서 생성된 입력 데이터는 제 2 스코어링 모듈(320)로 전달될 수 없으며, 제 2 스코어링 모듈(320)을 통해 추출 및 학습된 스코어에 관한 데이터는 제 1 양음성 판단모듈(410)로 전달될 수 없다.
본 발명의 일 실시 예에 따르면, 사용자로부터 인가된 외부 입력 또는 데이터 처리 속도, 데이터 처리 수행중인지 여부 등에 따라 제 1 데이터 생성모듈(210) 또는 제 2 데이터 생성모듈(220)이 전처리부(100)에 의해 선택되어 전처리부(100)를 통해 생성된 기초 데이터(ex. 슬라이스 영상, 마스크 등)가 선택된 데이터 생성모듈로 전달될 수 있다. 예를 들어, 딥러닝을 이용하여 데이터를 처리하기 위한 사용자의 목적에 따라 사용자로부터 인가된 외부 입력에 의해 제 1 데이터 생성모듈(210)이 선택되어 딥러닝을 이용한 데이터 처리가 수행될 수 있다. 또한, 새로운 뇌촬영 영상이 수신되었으나 딥러닝을 이용한 데이터 처리가 이미 수행되고 있는 경우에는 자동으로 제 2 데이터 생성모듈(220)이 전처리부(100)에 의해 선택되어 머신러닝을 이용한 데이터 처리가 수행될 수 있다.
도 6을 참조하면, 본 발명의 일 실시 예에 따른 딥러닝을 기반으로 하는 아밀로이드양성 또는 음성을 예측하기 위한 장치는 뇌촬영 영상 및 기타 데이터를 송수신하기 위한 통신부(500) 및 뇌촬영 영상을 비롯한 모든 데이터를 저장 및 관리하기 위한 데이터베이스(600)를 더 포함할 수 있다. 즉, 본 발명의 일 실시 예에 따른 아밀로이드 양성 또는 음성을 예측하기 위한 장치(1000)는 통신부(500)를 통해 MRI 촬영 장치, 아밀로이드 PET 촬영 장치 등이 포함된 뇌촬영 장치들과 유무선 통신을 수행할 수 있으며, 통신부(500)를 통해 수신된 뇌촬영 영상뿐만 아니라 데이터 처리 과정에서 생성되는 입력 데이터, 스코어 데이터 등은 데이터베이스(600)에 생성과 즉시 저장될 수 있으며, 데이터베이스(600)에 저장된 데이터는 사용자로부터 인가된 외부 입력에 의해 삭제, 수정 등의 관리가 이루어질 수 있다.
도 8을 참조하면, 본 발명의 일 실시 예에 따른 전처리부(100)는, 제 1 뇌촬영 영상에 대한 분할 영상을 생성하는 영상 분할부(110), 제 1 뇌촬영 영상 및 제 2 뇌촬영 영상에 대한 정합 영상을 생성하는 영상 정합부(120), 분할 영상에 대한 판단기초영역의 출력 상태를 기준으로 제 1 슬라이스 영상을 선택하고, 정합 영상으로부터 제 1 슬라이스 영상에 대응되는 제 2 슬라이스 영상을 추출하는 슬라이스 영상 생성부(130) 및 제 1 슬라이스 영상의 판단기준영역에 대한 마스크를 생성하는 영상 마스크 생성부(140)를 포함할 수 있으며, 판단기준영역은 판단기초영역을 포함할 수 있다. 또한, 전처리부(100)는 통신부(500)로부터 수신된 뇌촬영 영상을 수신하고, 마스크가 생성된 슬라이스 영상 등을 송신하기 위한 영상 송수신부(150)를 더 포함할 수 있다.
본 발명의 일 실시 예에 따른 제 1 뇌촬영 영상은 MRI T1 볼륨 이미지이고, 제 2 뇌촬영 영상은 아밀로이드 페트 볼륨 이미지이며, 판단기초영역은 측두엽 영역, 전두엽 영역, 후대상설전 영역 및 두정엽 영역을 포함하고, 판단기준영역은 판단기초영역 각각의 좌측부, 우측부, 백색질 영역 또는 회색질 영역을 포함할 수 있다.
도 8을 참조하면, 본 발명의 일 실시 예에 따른 제 1 데이터 생성모듈(210)은, 딥러닝을 이용하여 마스크가 생성된 슬라이스 영상을 기초로 판단기준영역에 대한 특징 데이터를 추출하는 제 1 특징 데이터 추출부 및 딥러닝을 이용하여 추출된 특징 데이터를 기초로 스코어를 할당하기 위한 레이블 데이터를 추출하는 제 1 레이블 데이터 추출부를 포함하며, 본 발명의 일 실시 예에 따른 제 2 데이터 생성모듈(220)은, 머신러닝을 이용하여 마스크가 생성된 슬라이스 영상을 기초로 판단기준영역에 대한 특징 데이터를 추출하는 제 2 특징 데이터 추출부 및 머신러닝을 이용하여 추출된 특징 데이터를 기초로 스코어를 할당하기 위한 레이블데이터를 추출하는 제 2 레이블 데이터 추출부를 포함할 수 있다.
본 발명의 일 실시 예에 따른 제 1 특징 데이터 추출부에서 이용되는 딥러닝 또는 제 2 특징 데이터 추출부에서 이용되는 머신러닝에는 FCN(Fully convolutional network) 알고리즘이 포함될 수 있다.
본 발명의 일 실시 예에 따른 스코어링부(300)에서 이용되는 딥러닝 또는 머신러닝에는 회귀 알고리즘 및 서포트 벡터 머신 알고리즘이 포함될 수 있다.
본 발명의 일 실시 예에 따른 아밀로이드 양음성 예측부(400)에서는, 서포트 벡터 머신 알고리즘을 이용하여 추출 및 학습된 스코어를 기초로 알고리즘 모델을 생성할 수 있다.
본 발명의 일 실시 예에 따른 장치와 관련하여서는 전술한 방법에 대한 내용이 적용될 수 있다. 따라서, 장치와 관련하여, 전술한 방법에 대한 내용과 동일한 내용에 대하여는 설명을 생략하였다.
한편, 본 발명의 일 실시 예에 의하면, 전술한 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공할 수 있다. 다시 말해서, 전술한 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터 판독 가능 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터 판독 가능 매체에 여러 수단을 통하여 기록될 수 있다. 본 발명의 다양한 방법들을 수행하기 위한 실행 가능한 컴퓨터 프로그램이나 코드를 기록하는 기록 매체는, 반송파(carrier waves)나 신호들과 같이 일시적인 대상들은 포함하는 것으로 이해되지는 않아야 한다. 상기 컴퓨터 판독 가능 매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, DVD 등)와 같은 저장 매체를 포함할 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 전처리부 110: 영상 분할부
120: 영상 정합부 130: 슬라이스 영상 생성부
140: 영상 마스크 생성부 150: 영상 송수신부
200: 입력 데이터 생성부 210: 제 1 데이터 생성모듈
220: 제 2 데이터 생성모듈
300: 스코어링부 310: 제 1 스코어링 모듈
320: 제 2 스코어링 모듈
400: 아밀로이드 양음성 예측부 410: 제 1 양음성 판단모듈
420: 제 2 양음성 판단모듈
500: 통신부 600: 데이터베이스
1000: 아밀로이드 양성 또는 음성을 예측하기 위한 장치

Claims (15)

  1. 딥러닝을 기반으로 하는 아밀로이드(Amyloid) 양성 또는 음성을 예측하기 위한 방법에 있어서,
    전처리부가 상기 아밀로이드 양성 또는 음성을 예측하기 위한 판단기준영역을 기초로 제 1 뇌촬영 영상 및 제 2 뇌촬영 영상으로부터 슬라이스(slice) 영상 및 상기 슬라이스 영상에 대한 마스크(mask)를 생성하는 전처리 단계;
    입력 데이터 생성부가 상기 딥러닝 또는 머신러닝을 이용하여 상기 전처리 단계에서 생성된 슬라이스 영상 및 마스크를 기초로 입력 데이터를 생성하는 단계;
    스코어링부가 상기 딥러닝 또는 머신러닝을 이용하여 상기 생성된 입력 데이터로부터 상기 아밀로이드 양성 또는 음성을 예측하기 위한 스코어(score)를 추출 및 학습하는 단계; 및
    아밀로이드 양음성 예측부가 상기 딥러닝 또는 머신러닝을 이용하여 상기 추출 및 학습된 스코어를 기초로 상기 아밀로이드 양성 또는 음성을 진단하기 위한 알고리즘 모델을 생성하고, 상기 생성된 알고리즘 모델을 통해 상기 아밀로이드 양성 또는 음성을 판단하는 단계를 포함하되,
    상기 입력 데이터를 생성하는 단계는, 상기 입력 데이터 생성부가 상기 딥러닝 또는 머신러닝을 이용하여 상기 마스크가 생성된 슬라이스 영상을 기초로 상기 판단기준영역에 대한 특징(feature) 데이터를 추출하는 단계 및 상기 입력 데이터 생성부가 상기 딥러닝 또는 머신러닝을 이용하여 상기 추출된 특징 데이터를 기초로 상기 스코어를 할당하기 위한 레이블(label) 데이터를 추출하는 단계를 포함하고,
    상기 딥러닝을 이용하여 특징 데이터를 추출하는 단계는, 상기 입력 데이터 생성부가 패딩(padding) 이미지를 생성하는 단계, 상기 입력 데이터 생성부가 제 1 슬라이스 영상에 생성된 판단기준영역에 대한 마스크에 대응되는 제 2 슬라이스 영상의 해당 영역을 추출하는 단계, 및 상기 입력 데이터 생성부가 상기 추출된 제 2 슬라이스 영상의 해당 영역을 축소하여 패딩 이미지에 삽입하는 단계를 포함하며,
    상기 머신러닝을 이용하여 특징 데이터를 추출하는 단계는, 상기 입력 데이터 생성부가 상기 제 1 슬라이스 영상에 생성된 판단기준영역에 대한 마스크의 평균 SUVR(Standard Uptake Value Ratio) 값을 추정하는 단계, 및 상기 입력 데이터 생성부가 상기 추정된 평균 SUVR 값에 대한 정규화(normalization)을 수행하는 단계를 포함하는 것을 특징으로 하는 아밀로이드 양성 또는 음성을 예측하기 위한 방법.
  2. 제 1 항에 있어서,
    상기 전처리 단계는,
    상기 전처리부가 상기 제 1 뇌촬영 영상에 대한 분할 영상을 생성하는 단계;
    상기 전처리부가 상기 제 1 뇌촬영 영상 및 제 2 뇌촬영 영상에 대한 정합 영상을 생성하는 단계;
    상기 전처리부가 상기 분할 영상에 대한 판단기초영역의 출력 상태를 기준으로 상기 제 1 슬라이스 영상을 선택하는 단계;
    상기 전처리부가 상기 정합 영상으로부터 상기 제 1 슬라이스 영상에 대응되는 상기 제 2 슬라이스 영상을 추출하는 단계; 및
    상기 전처리부가 상기 제 1 슬라이스 영상의 상기 판단기준영역에 대한 마스크를 생성하는 단계를 포함하며,
    상기 판단기준영역은 상기 판단기초영역을 포함하는 것을 특징으로 하는 아밀로이드 양성 또는 음성을 예측하기 위한 방법.
  3. 제 2 항에 있어서,
    상기 제 1 뇌촬영 영상은 MRI T1 볼륨(volume) 이미지이고, 상기 제 2 뇌촬영 영상은 아밀로이드 페트(PET) 볼륨 이미지이며,
    상기 판단기초영역은 측두엽 영역(temporal region), 전두엽 영역(frontal region), 후대상설전 영역(posterior cingulate-precuneus region) 및 두정엽 영역(parietal region)을 포함하고,
    상기 판단기준영역은 상기 판단기초영역 각각의 좌측부와 우측부 및 상기 좌측부 또는 우측부 각각의 백색질 영역(white matter, wm)과 회색질 영역(grey matter, gm)을 포함하는 것을 특징으로 하는 아밀로이드 양성 또는 음성을 예측하기 위한 방법.
  4. 삭제
  5. 제 1 항에 있어서,
    상기 특징 데이터를 추출하는 단계에서 이용되는 상기 딥러닝 또는 머신러닝에는 FCN(Fully convolutional network) 알고리즘이 포함되는 것을 특징으로 하는 아밀로이드 양성 또는 음성을 예측하기 위한 방법.
  6. 제 1 항에 있어서,
    상기 스코어를 추출 및 학습하는 단계에서 이용되는 상기 딥러닝 또는 머신러닝에는 회귀(regression) 알고리즘 및 서포트 벡터 머신(support vector machine, SVM) 알고리즘이 포함되는 것을 특징으로 하는 아밀로이드 양성 또는 음성을 예측하기 위한 방법.
  7. 제 1 항에 있어서,
    상기 알고리즘 모델을 생성하고, 상기 생성된 알고리즘 모델을 통해 상기 아밀로이드 양성 또는 음성을 판단하는 단계에서는,
    상기 아밀로이드 양음성 예측부가 서포트 벡터 머신 알고리즘을 이용하여 상기 추출 및 학습된 스코어를 기초로 상기 알고리즘 모델을 생성하는 것을 특징으로 하는 아밀로이드 양성 또는 음성을 예측하기 위한 방법.
  8. 딥러닝을 기반으로 하는 아밀로이드(Amyloid) 양성 또는 음성을 예측하기 위한 장치에 있어서,
    상기 아밀로이드 양성 또는 음성을 예측하기 위한 판단기준영역을 기초로 제 1 뇌촬영 영상 및 제 2 뇌촬영 영상으로부터 슬라이스(slice) 영상 및 상기 슬라이스 영상에 대한 마스크(mask)를 생성하는 전처리부;
    상기 전처리부에서 생성된 슬라이스 영상 및 마스크를 기초로 입력 데이터를 생성하기 위해 상기 딥러닝을 이용하는 제 1 데이터 생성모듈 및 머신러닝을 이용하는 제 2 데이터 생성모듈을 포함하는 입력 데이터 생성부;
    상기 생성된 입력 데이터로부터 상기 아밀로이드 양성 또는 음성을 예측하기 위한 스코어(score)를 추출 및 학습하기 위해 상기 딥러닝을 이용하는 제 1 스코어링 모듈 및 상기 머신러닝을 이용하는 제 2 스코어링 모듈을 포함하는 스코어링부; 및
    상기 추출 및 학습된 스코어를 기초로 하여 상기 아밀로이드 양성 또는 음성을 진단하기 위한 알고리즘 모델을 생성하고, 상기 생성된 알고리즘 모델을 통해 상기 아밀로이드 양성 또는 음성을 판단하기 위해 상기 딥러닝을 이용하는 제 1 양음성 판단모듈 및 상기 머신러닝을 이용하는 제 2 양음성 판단모듈을 포함하는 아밀로이드 양음성 예측부를 포함하되,
    상기 제 1 데이터 생성모듈은, 상기 딥러닝을 이용하여 상기 마스크가 생성된 슬라이스 영상을 기초로 상기 판단기준영역에 대한 특징(feature) 데이터를 추출하는 제 1 특징 데이터 추출부, 및 상기 딥러닝을 이용하여 상기 추출된 특징 데이터를 기초로 상기 스코어를 할당하기 위한 레이블(label) 데이터를 추출하는 제 1 레이블 데이터 추출부를 포함하고,
    상기 제 2 데이터 생성모듈은, 상기 머신러닝을 이용하여 상기 마스크가 생성된 슬라이스 영상을 기초로 상기 판단기준영역에 대한 특징(feature) 데이터를 추출하는 제 2 특징 데이터 추출부, 및 상기 머신러닝을 이용하여 상기 추출된 특징 데이터를 기초로 상기 스코어를 할당하기 위한 레이블(label) 데이터를 추출하는 제 2 레이블 데이터 추출부를 포함하며,
    상기 제 1 특징 데이터 추출부는, 패딩(padding) 이미지를 생성하고, 제 1 슬라이스 영상에 생성된 판단기준영역에 대한 마스크에 대응되는 제 2 슬라이스 영상의 해당 영역을 추출하고, 상기 추출된 제 2 슬라이스 영상의 해당 영역을 축소하여 패딩 이미지에 삽입하며,
    상기 제 2 특징 데이터 추출부는, 상기 제 1 슬라이스 영상에 생성된 판단기준영역에 대한 마스크의 평균 SUVR(Standard Uptake Value Ratio) 값을 추정하고, 상기 추정된 평균 SUVR 값에 대한 정규화(normalization)을 수행하는 것을 특징으로 하는 아밀로이드 양성 또는 음성을 예측하기 위한 장치.
  9. 제 8 항에 있어서,
    상기 전처리부는,
    상기 제 1 뇌촬영 영상에 대한 분할 영상을 생성하는 영상 분할부;
    상기 제 1 뇌촬영 영상 및 제 2 뇌촬영 영상에 대한 정합 영상을 생성하는 영상 정합부;
    상기 분할 영상에 대한 판단기초영역의 출력 상태를 기준으로 상기 제 1 슬라이스 영상을 선택하고, 상기 정합 영상으로부터 상기 제 1 슬라이스 영상에 대응되는 상기 제 2 슬라이스 영상을 추출하는 슬라이스 영상 생성부; 및
    상기 제 1 슬라이스 영상의 상기 판단기준영역에 대한 마스크를 생성하는 영상 마스크 생성부를 포함하며,
    상기 판단기준영역은 상기 판단기초영역을 포함하는 것을 특징으로 하는 아밀로이드 양성 또는 음성을 예측하기 위한 장치.
  10. 제 9 항에 있어서,
    상기 제 1 뇌촬영 영상은 MRI T1 볼륨(volume) 이미지이고, 상기 제 2 뇌촬영 영상은 아밀로이드 페트(PET) 볼륨 이미지이며,
    상기 판단기초영역은 측두엽 영역(temporal region), 전두엽 영역(frontal region), 후대상설전 영역(posterior cingulate-precuneus region) 및 두정엽 영역(parietal region)을 포함하고,
    상기 판단기준영역은 상기 판단기초영역 각각의 좌측부와 우측부 및 상기 좌측부 또는 우측부 각각의 백색질 영역(white matter, wm)과 회색질 영역(grey matter, gm)을 포함하는 것을 특징으로 하는 아밀로이드 양성 또는 음성을 예측하기 위한 장치.
  11. 삭제
  12. 제 10 항에 있어서,
    상기 제 1 특징 데이터 추출부에서 이용되는 딥러닝 또는 제 2 특징 데이터 추출부에서 이용되는 머신러닝에는 FCN(Fully convolutional network) 알고리즘이 포함되는 것을 특징으로 하는 아밀로이드 양성 또는 음성을 예측하기 위한 장치.
  13. 제 8 항에 있어서,
    상기 스코어링부에서 이용되는 상기 딥러닝 또는 머신러닝에는 회귀(regression) 알고리즘 및 서포트 벡터 머신(support vector machine, SVM) 알고리즘이 포함되는 것을 특징으로 하는 아밀로이드 양성 또는 음성을 예측하기 위한 장치.
  14. 제 8 항에 있어서,
    상기 아밀로이드 양음성 예측부에서는,
    서포트 벡터 머신 알고리즘을 이용하여 상기 추출 및 학습된 스코어를 기초로 상기 알고리즘 모델을 생성하는 것을 특징으로 하는 아밀로이드 양성 또는 음성을 예측하기 위한 장치.
  15. 제 1 항, 제 2 항, 제 3 항, 제 5항, 제 6항 또는 제 7 항 중 어느 한 항의 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
KR1020180057866A 2018-05-21 2018-05-21 딥러닝을 기반으로 하는 아밀로이드 양성 또는 음성을 예측하기 위한 방법 및 장치 KR102173197B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180057866A KR102173197B1 (ko) 2018-05-21 2018-05-21 딥러닝을 기반으로 하는 아밀로이드 양성 또는 음성을 예측하기 위한 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180057866A KR102173197B1 (ko) 2018-05-21 2018-05-21 딥러닝을 기반으로 하는 아밀로이드 양성 또는 음성을 예측하기 위한 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20190132832A KR20190132832A (ko) 2019-11-29
KR102173197B1 true KR102173197B1 (ko) 2020-11-03

Family

ID=68728815

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180057866A KR102173197B1 (ko) 2018-05-21 2018-05-21 딥러닝을 기반으로 하는 아밀로이드 양성 또는 음성을 예측하기 위한 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102173197B1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102466479B1 (ko) * 2020-03-30 2022-11-15 주식회사 뷰브레인헬스케어 타우 단백질 축적 예측 장치 및 이를 이용한 타우 단백질 축적 예측 방법
KR102390459B1 (ko) * 2020-04-21 2022-04-26 이화여자대학교 산학협력단 심정지 후 증후군 환자의 신경학적 예후를 예측하는 방법
KR102412047B1 (ko) * 2020-05-13 2022-06-23 가톨릭대학교 산학협력단 안와 및 안와주변 병변 예측 장치 및 그 예측 방법
KR102564750B1 (ko) * 2020-07-24 2023-08-09 고려대학교 산학협력단 단일 뇌 mr 슬라이스 영상 기반 치매 위험 예측 딥 러닝 방법
KR102421110B1 (ko) 2020-10-26 2022-07-14 동아대학교 산학협력단 뇌질환 판단을 위한 딥러닝 기반의 pet 영상 분류 장치 및 그 방법
KR102461893B1 (ko) * 2020-12-23 2022-11-01 동아대학교 산학협력단 뇌질환 판단을 위한 최소 자승법 기반의 pet 영상 중기 데이터 예측 장치 및 그 방법
KR20220099409A (ko) * 2021-01-06 2022-07-13 주식회사 뷰노 딥러닝 모델을 사용한 분류 방법
KR102322647B1 (ko) * 2021-05-25 2021-11-09 주식회사 아이메디신 뇌파 신호 사이의 상관관계를 이용한 알츠하이머성 치매 진단방법, 서버 및 컴퓨터프로그램
KR102451108B1 (ko) * 2022-02-22 2022-10-06 뉴로핏 주식회사 치매 진단에 필요한 정보 제공 방법 및 장치
KR102655827B1 (ko) * 2022-05-12 2024-04-08 연세대학교 산학협력단 딥러닝을 활용한 뇌 mri 데이터로부터 뇌 영역 분할 시스템 및 그 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101757646B1 (ko) 2016-03-08 2017-07-14 경북대학교 산학협력단 베타 아밀로이드 pet 영상을 이용한 영상 분석 시스템 및 이의 동작 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101503940B1 (ko) * 2007-01-30 2015-03-18 지이 헬쓰케어 리미티드 신경퇴행성 질환의 진단을 돕는 수단

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101757646B1 (ko) 2016-03-08 2017-07-14 경북대학교 산학협력단 베타 아밀로이드 pet 영상을 이용한 영상 분석 시스템 및 이의 동작 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Heung-Il Suk 외 1인. "Deep Learning-Based Feature epresentation for AD/MCI Classification". MICCAI 2013, Part II, LNCS 8150, pp. 583-590, 2013.09. 공개 1부.*
Seung Kwan Kang 외 7인. "Adaptive template generation for amyloid PET using a deep learning approach". WILEY, 2018.05.01. 공개 1부.*

Also Published As

Publication number Publication date
KR20190132832A (ko) 2019-11-29

Similar Documents

Publication Publication Date Title
KR102173197B1 (ko) 딥러닝을 기반으로 하는 아밀로이드 양성 또는 음성을 예측하기 위한 방법 및 장치
KR101864380B1 (ko) 수술영상데이터 학습시스템
KR102289277B1 (ko) 복수의 의료 영상 판독 알고리듬들에 대한 평가 스코어를 생성하는 의료 영상 판독 지원 장치 및 방법
CN107292884B (zh) 一种识别mri图像中水肿和血肿的方法及装置
US9898819B2 (en) System and method for detecting region of interest
CN107563434B (zh) 一种基于三维卷积神经网络的脑部mri图像分类方法、装置
EP1727087A1 (en) Object posture estimation/correlation system, object posture estimation/correlation method, and program for the same
US20110218427A1 (en) Diagnosis assisting apparatus, coronary artery analyzing method and recording medium having a coronary artery analyzing program stored therein
US20200175377A1 (en) Training apparatus, processing apparatus, neural network, training method, and medium
KR20190088375A (ko) 수술영상데이터 학습시스템
US20080310760A1 (en) Method, a System and a Computer Program for Volumetric Registration
KR102261473B1 (ko) 세미 슈퍼바이즈드 학습을 이용한 진단 시스템 제공방법 및 이를 이용하는 진단 시스템
US20080097942A1 (en) System and Method for Automated Suspicious Object Boundary Determination
RU2011116406A (ru) Система и способ для объединения клинических признаков и признаков изображений для диагностики с применением компьютера
KR20140088434A (ko) 환자별 특성을 기반으로 한 mri 다변수 영상 획득 지원 장치 및 방법
US11800976B2 (en) Apparatus and method for image-based eye disease diagnosis
EP1774469A1 (en) System and method for automated suspicious object boundary determination
EP2784749A1 (en) System and method for automatic planning of two-dimensional views in 3D medical images
CN114972255B (zh) 脑微出血的图像检测方法、装置、计算机设备及存储介质
US20090103797A1 (en) Method and system for nodule feature extraction using background contextual information in chest x-ray images
KR102515068B1 (ko) 기계학습을 이용한 유방암 림프절 전이 예측에 대한 정보 제공 방법
CN112907581A (zh) 一种基于深度学习的mri多类脊髓肿瘤分割方法
US20120220855A1 (en) Method and System for MR Scan Range Planning
CN109214451A (zh) 一种脑部异常的分类方法及设备
CN116228731A (zh) 一种多对比学习冠状动脉高危斑块检测方法、系统及终端

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant