KR20230128210A - 치매 진단을 위한 의료 영상 회귀분석 장치 및 방법 - Google Patents
치매 진단을 위한 의료 영상 회귀분석 장치 및 방법 Download PDFInfo
- Publication number
- KR20230128210A KR20230128210A KR1020220025479A KR20220025479A KR20230128210A KR 20230128210 A KR20230128210 A KR 20230128210A KR 1020220025479 A KR1020220025479 A KR 1020220025479A KR 20220025479 A KR20220025479 A KR 20220025479A KR 20230128210 A KR20230128210 A KR 20230128210A
- Authority
- KR
- South Korea
- Prior art keywords
- medical image
- medical
- regression analysis
- medical information
- unit
- Prior art date
Links
- 206010012289 Dementia Diseases 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000003745 diagnosis Methods 0.000 title claims abstract description 28
- 238000000611 regression analysis Methods 0.000 claims abstract description 45
- 238000000605 extraction Methods 0.000 claims abstract description 36
- 238000013507 mapping Methods 0.000 claims abstract description 27
- 238000013528 artificial neural network Methods 0.000 claims abstract description 25
- 201000010099 disease Diseases 0.000 claims abstract description 12
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 12
- 239000000284 extract Substances 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 27
- 238000013527 convolutional neural network Methods 0.000 claims description 14
- 238000010606 normalization Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 4
- 210000001577 neostriatum Anatomy 0.000 description 8
- 208000024827 Alzheimer disease Diseases 0.000 description 7
- 230000000052 comparative effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000002603 single-photon emission computed tomography Methods 0.000 description 6
- 210000004556 brain Anatomy 0.000 description 5
- 238000002595 magnetic resonance imaging Methods 0.000 description 5
- 238000002600 positron emission tomography Methods 0.000 description 5
- 102000013455 Amyloid beta-Peptides Human genes 0.000 description 4
- 108010090849 Amyloid beta-Peptides Proteins 0.000 description 4
- 230000032683 aging Effects 0.000 description 3
- 208000010877 cognitive disease Diseases 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 208000014644 Brain disease Diseases 0.000 description 2
- 208000018737 Parkinson disease Diseases 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 2
- 210000004227 basal ganglia Anatomy 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 230000002490 cerebral effect Effects 0.000 description 2
- 208000026106 cerebrovascular disease Diseases 0.000 description 2
- 230000003412 degenerative effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 208000015122 neurodegenerative disease Diseases 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 102000004169 proteins and genes Human genes 0.000 description 2
- 108090000623 proteins and genes Proteins 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 102000013498 tau Proteins Human genes 0.000 description 2
- 108010026424 tau Proteins Proteins 0.000 description 2
- 208000037259 Amyloid Plaque Diseases 0.000 description 1
- 206010008111 Cerebral haemorrhage Diseases 0.000 description 1
- 208000028698 Cognitive impairment Diseases 0.000 description 1
- 210000001159 caudate nucleus Anatomy 0.000 description 1
- 206010008118 cerebral infarction Diseases 0.000 description 1
- 230000001447 compensatory effect Effects 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 231100000676 disease causative agent Toxicity 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 208000035474 group of disease Diseases 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 210000003140 lateral ventricle Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 210000002752 melanocyte Anatomy 0.000 description 1
- 210000003657 middle cerebral artery Anatomy 0.000 description 1
- 208000027061 mild cognitive impairment Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004660 morphological change Effects 0.000 description 1
- 210000002682 neurofibrillary tangle Anatomy 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 210000002637 putamen Anatomy 0.000 description 1
- 230000002285 radioactive effect Effects 0.000 description 1
- 229940121896 radiopharmaceutical Drugs 0.000 description 1
- 239000012217 radiopharmaceutical Substances 0.000 description 1
- 230000002799 radiopharmaceutical effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
- A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
- A61B5/0042—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the brain
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
- A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Theoretical Computer Science (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- General Physics & Mathematics (AREA)
- Neurology (AREA)
- Heart & Thoracic Surgery (AREA)
- Artificial Intelligence (AREA)
- Surgery (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Psychiatry (AREA)
- Physiology (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Epidemiology (AREA)
- General Engineering & Computer Science (AREA)
- Primary Health Care (AREA)
- Computational Linguistics (AREA)
- Hospice & Palliative Care (AREA)
- Neurosurgery (AREA)
- Psychology (AREA)
- Quality & Reliability (AREA)
- Developmental Disabilities (AREA)
- Databases & Information Systems (AREA)
- Child & Adolescent Psychology (AREA)
Abstract
치매 진단을 위한 의료 영상 회귀분석 장치 및 방법에 관한 기술이 개시된다. 치매 진단을 위한 의료 영상 회귀분석 장치는, 입력받은 의료 영상에서 질병진단에 필요한 특징맵을 추출하는 특징추출부와 특징추출부에서 추출한 특징맵을 이용하여 의료 영상의 의료정보값을 결정하는 의료정보결정부와 의료정보결정부에서 출력된 의료정보값을 입력받아서 대응하는 진단결과값을 출력하는 심층매핑부를 포함한다. 특징추출부와 의료정보결정부는 상관관계 손실함수를 포함하는 목적함수를 최적화 시키도록 매개변수가 학습된 인공신경망을 포함하여, 종래의 진단 장치에 비해 보다 정확한 치매 진단을 할 수 있다.
Description
데이터 처리 기술, 특히 의료 영상에 인공신경망과 회귀분석을 적용하여 기계학습시키는 방법과, 상관관계를 신경망을 이용하여 치매에 대해 진단하는 장치에 관한 데이터 처리 기술이 개시된다.
의약품의 개발과 의료기술의 진화에 따라 점점 고령화 사회로 바뀌어 가고 있다. 고령 인구가 증가함에 따라 각종 퇴행성 질환이 증가하고 있으며, 특히 치매, 경도 인지장애 등의 환자가 증가하고 있어 사회 문제로 대두되고 있다.
치매는 다발성 인지장애로 인해 일상생활에 영향을 미치는 질환군이다. 치매는 알츠하이머병, 파킨슨병 등 퇴행성 뇌질환과 관련된 경우와, 뇌경색, 뇌출혈 등 뇌혈관 질환에 의한 경우가 주된 원인을 차지한다. 특히 알츠하이머병은 치매를 일으키는 중요한 뇌의 퇴행성 질환 중 하나로 알려져 있다. 알츠하이머병은 뇌에 베타 아밀로이드라는 단백질이 과도하게 생성 축적되어 발생하는 것으로, 기억력이 감퇴하고 언어능력, 일상 수행능력 등이 떨어지게 된다. 알츠하이머병 환자의 병리검사에서는 특징적으로 타우 단백질이 주성분인 신경섬유 덩어리와 아밀로이드 섬유가 주성분인 베타아밀로이드반이 관찰된다. 알츠하이머병 진단을 위해 베타아밀로이드에 결합하여 PET로 영상화 할 수 있는 많은 방사성 의약품들이 개발되어 사용되고 있다.
알츠하이머병이나 파킨슨병과 같은 퇴행성 뇌질환은 많은 보상기전에 의해 처음 증상발현이 숨겨지므로, 대개 질병이 많이 진행된 후 진단되는 문제점이 있다. 이러한 질병들은 비가역적으로 서서히 진행하는 경과를 보이므로 조기에 발견하여 질병의 진행을 방지하거나 연장시킬 필요가 있다. 따라서 치매 환자의 치매 경중의 정도를 정량화 할 필요가 있다.
치매를 검사하는 방법으로는, 일반적으로 많이 사용되는 주관적인 인지장애 검사가 있다. 그러나 치매 수준을 정확히 판단하기 위해서는 객관적인 데이터로 판정하는 방법이 필요하다. 치매 수준을 판단하는 객관적인 방법 중에는 MRI 영상에서 뇌에서 기억을 담당하는 영역인 흑색소체(nigrsome)의 크기를 정량화하는 방법이 있다. 치매 진단을 위해서 흑색소체에 대한 자화율 가중 이미지(susceptibility weighted imaging; SWI)를 사용할 수 있다.
치매 수준을 판단하는 객관적인 방법 중 다른 방법으로는 알츠하이머병 발병의 원인 물질에 해당하는 베타아밀로이드(혹은 타우) 단백질의 누적 정도를 조사하는 방법이 있다. 이러한 방법에서는 방사선동위원소를 이용한 양전자 방출 단층 촬영기(positron emission tomography; PET) 또는 단일 광자 방출 단층촬영기(single photon emission computed tomography; SPECT; SPET)를 활용한다. PET 또는 SPET 장비는 검출하고자 하는 물질과 결합하는 방사선 동위원소와 결합된 약물을 투여한 후에 1-2시간 경과 후에 촬영하는 방식으로, 선조체 결합 비율(Striatal binding ratio; SBR)을 측정하여 진단에 활용할 수 있으나, 시간과 비용이 상대적으로 많이 소요된다.
2021년 03월 09일에 공고된 등록특허 제10-2,225,775호는 의료 영상으로부터 뇌혈관 나이를 추정하는 방법에 관한 것으로, 의료 영상의 형태적 변화를 기계학습을 통해 정량하여, 뇌 혈관의 전반적인 노화 상태를 뇌 혈관 나이 지표로 예측하는 방법을 개시하고 있다. 이를 위해 뇌 혈관 영상들을 수집하는 단계와, 중간대뇌동맥의 위치를 검출하는 전처리를 수행하는 단계와, 콘볼루션 신경망을 통해 기계학습하는 단계와, 뇌혈관 나이를 추정하는 단계를 포함한다. 이때 콘볼루션 신경망은 뇌혈관의 나이를 회귀분석을 통해 추정한다.
다만, 의료 영상 중 회귀분석으로 정확한 분석이 어려운 경우, 상관관계 분석을 추가로 사용하는 방법에 대해서는 아직 구체적으로 개시되어 있지 않다.
제안된 발명은 의료 영상으로부터 질병진단을 정확하게 회귀분석할 수 있는 장치를 제공하는 것을 목적으로 한다.
나아가 제안된 발명은 의료 영상으로부터 치매의 정도에 대한 진단을 객관적으로 정량화 할 수 있는 인공신경망 구조 및 이러한 인공신경망 구조를 학습시키는 방법을 제공하는 것을 목적으로 한다.
제안된 발명의 일 양상에 따르면, 치매 진단을 위한 의료 영상 회귀분석 장치는 특징추출부와 의료정보결정부를 포함한다. 특징추출부는 입력받은 의료 영상에서 질병진단에 필요한 특징맵을 추출한다. 의료정보결정부는 상기 특징추출부에서 추출한 특징맵을 이용하여 의료 영상의 의료정보값을 결정한다. 상기 특징추출부와 의료정보결정부는 상관관계 손실함수를 포함하는 목적함수를 최적화 시키도록 매개변수가 학습된 인공신경망으로 구성된다.
추가적인 양상에 따르면, 상기 의료 영상 회귀분석 장치는 영상정규화부를 더 포함한다. 영상정규화부는 의료 영상을 입력받아서, 상기 특징추출부에 입력하기에 적당하도록 의료 영상의 크기와 해상도를 정규화하고, 정규화된 의료 영상을 특징추출부로 출력한다.
추가적인 양상에 따르면, 상기 특징추출부는 3x3 컨볼루션 커널과 ReLU 활성화함수를 구비하는 복수의 합성곱신경망 블록을 포함한다.
추가적인 양상에 따르면, 상기 의료정보결정부는 상기 특징추출부에서 추출된 특징맵으로부터 의료정보값을 결정하는 다층 퍼셉트론을 포함한다.
추가적인 양상에 따르면, 상기 의료 영상 회귀분석 장치는 심층매핑부를 더 포함한다. 심층매핑부는 상기 의료정보결정부에서 출력된 의료정보값을 입력받아서 대응하는 진단결과값을 출력한다.
추가적인 양상에 따르면, 상기 심층매핑부는 유클리디안 거리를 이용하는 손실함수를 최적화 시키도록 매개변수가 학습된 심층신경망을 포함한다.
추가적인 양상에 따르면, 상기 의료 영상 회귀분석 장치는 어텐션맵출력부를 더 포함한다. 어텐션맵출력부는 상기 의료정보값에 영향을 주는 좌표를 의료 영상에 겹쳐서 시각적으로 보여주는 어텐션맵을 출력한다.
제안된 발명의 다른 양상에 따르면, 치매 진단을 위한 의료 영상 회귀분석 장치의 학습방법은, 의료 영상을 입력 받는 영상입력단계와, 입력된 의료 영상의 크기와 해상도를 정규화는 영상정규화단계와, 정규화된 의료 영상에서 질병진단에 필요한 특징맵을 추출하는 특징추출단계와, 특징맵을 이용하여 의료 영상의 의료정보값을 결정하는 의료정보결정단계를 포함한다.
추가적인 양상에 따르면, 상기 의료 영상 회귀분석 장치의 학습방법은 의료정보값을 입력받아서 대응하는 진단결과값을 출력하는 심층매핑단계와, 의료정보값에 영향을 주는 좌표를 의료 영상에 겹쳐서 시각적으로 보여주는 어텐션맵을 출력하는 어텐션맵출력단계를 더 포함한다.
제안된 발명에 따라, 상관관계를 이용하는 인공신경망을 포함하여 의료 영상으로부터 질병진단을 정확하게 회귀분석할 수 있는 장치를 제공할 수 있다.
나아가 제안된 발명은 의료 영상으로부터 상관관계를 이용하여 구한 의료정보를 별도로 학습시킨 심층신경망으로 매핑시킴으로써, 의료 영상으로부터 치매의 정도에 대한 진단을 객관적으로 정량화 할 수 있다.
도 1은 일 실시예에 따른 치매 진단을 위한 의료 영상 회귀분석 장치의 개략적인 구성을 나타내는 구성도이다.
도 2는 치매 진단과 관련된 선조체의 위치를 나타내는 의료 영상의 사진이다.
도 3은 일 실시예에 따른 치매 진단을 위한 의료 영상 회귀분석 장치의 인공신경망을 나타내는 개념도이다.
도 4는 일 실시예에 따른 치매 진단을 위한 의료 영상 회귀분석 장치에서 출력되는 어텐션맵을 나타내는 사진이다.
도 5는 일 실시예에 따른 치매 진단을 위한 의료 영상 회귀분석 장치에서 예측한 결과와 다른 모델의 결과를 비교하는 그래프들이다.
도 6은 일 실시예에 따른 치매 진단을 위한 의료 영상 회귀분석 방법을 나타내는 순서도이다.
도 2는 치매 진단과 관련된 선조체의 위치를 나타내는 의료 영상의 사진이다.
도 3은 일 실시예에 따른 치매 진단을 위한 의료 영상 회귀분석 장치의 인공신경망을 나타내는 개념도이다.
도 4는 일 실시예에 따른 치매 진단을 위한 의료 영상 회귀분석 장치에서 출력되는 어텐션맵을 나타내는 사진이다.
도 5는 일 실시예에 따른 치매 진단을 위한 의료 영상 회귀분석 장치에서 예측한 결과와 다른 모델의 결과를 비교하는 그래프들이다.
도 6은 일 실시예에 따른 치매 진단을 위한 의료 영상 회귀분석 방법을 나타내는 순서도이다.
전술한, 그리고 추가적인 양상들은 첨부된 도면을 참조하여 설명하는 실시예들을 통해 구체화된다. 각 실시예들의 구성 요소들은 다른 언급이나 상호간에 모순이 없는 한 실시예 내에서 또는 타 실시예의 구성 요소들과 다양한 조합이 가능한 것으로 이해된다. 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 명세서 및 청구범위에 사용된 용어는 기재 내용 혹은 제안된 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 본 명세서에서 모듈 또는 부분은, 컴퓨터 또는 프로세서에서 실행가능하도록 메모리에 저장된 프로그램 명령어의 집합이거나, 이러한 명령들을 수행할 수 있도록 ASIC, FPGA 등의 전자 부품 또는 회로의 집합을 이용하여 구현할 수 있다. 또한, 각 모듈 또는 부분의 동작은 하나 또는 복수의 프로세서 또는 장치에 의해 수행될 수 있다.
이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
도 1은 일 실시예에 따른 치매 진단을 위한 의료 영상 회귀분석 장치의 개략적인 구성을 나타내는 구성도이다.
제안된 발명의 일 양상에 따르면, 치매 진단을 위한 의료 영상 회귀분석 장치(100)는 특징추출부(130)와 의료정보결정부(140)를 포함한다. 특징추출부(130)는 입력받은 의료 영상에서 질병진단에 필요한 특징맵을 추출한다. 의료정보결정부(140)는 상기 특징추출부에서 추출한 특징맵을 이용하여 의료 영상의 의료정보값을 결정한다. 특징추출부(130)와 의료정보결정부(140)는 상관관계 손실함수를 포함하는 목적함수를 최적화 시키도록 매개변수가 학습된 인공신경망으로 구성된다.
일반적인 회귀(regression) 모델에서 최적화시키는 목적함수(objective function) 또는 비용함수는(cost function)는 L2 노름(norm)을 사용하는 L2 손실함수(loss function)를 이용한다. L2 노름(norm)은 두 벡터 사이의 유클리디안 거리이다. 회귀 모델은 다음 수학식 1의 L2 손실을 최소화하도록 최적화를 수행할 수 있다.
[수학식 1]
여기에서, y는 예측값이고, yt는 전문가가 평가한 정답값이다.
L2 노름은 오차의 제곱에 비례하므로, 이상점(outlier)에 더 큰 영향을 받는다. 그 결과 특정 가중치가 너무 큰 값을 가지는 경우 과적합(overfitting)이 발생할 수 있다. 따라서 과적합을 방지하기 위해서 비용함수(cost function)에 가중치를 포함시켜, 가중치가 너무 크지 않은 방향으로 학습되도록 하는 정규홰(regularization)를 수행할 수 있다.
한편, 의료 영상에서 회귀분석을 실시하는 경우, L2 손실함수로 최적화 시킨 경우 정확한 회귀분석을 할 수 없는 경우가 발생할 수 있다. 이러한 경우 손실함수에 상관관계 손실함수 Lcorr 를 포함시킨 다음 수학식 2의 손실함수를 이용하여 최적화시킬 수 있다.
[수학식 2]
여기에서, β는 L2 손실함수 적용 비율이다.
상관관계 손실함수로는 다양한 상관관계식을 응용하여 적용할 수 있으며, 특히 피어슨(Pearson) 상관관계식을 이용하여 다음 수학식 3으로 계산할 수 있다.
[수학식 3]
여기에서, y는 예측값이고, yt는 전문가가 평가한 정답값이며, 문자 위의 줄은 평균값을 나타낸다.
추가적인 양상에 따르면, 의료 영상 회귀분석 장치(100)는 영상정규화부(120)를 더 포함한다. 영상정규화부(120)는 의료 영상을 입력받아서, 상기 특징추출부에 입력하기에 적당하도록 의료 영상의 크기와 해상도를 정규화하고, 정규화된 의료 영상을 특징추출부(130)로 출력한다.
추가적인 양상에 따르면, 의료 영상 회귀분석 장치(100)는 심층매핑부(150)를 더 포함한다. 심층매핑부(150)는 상기 의료정보결정부에서 출력된 의료정보값을 입력받아서 대응하는 진단결과값을 출력한다.
추가적인 양상에 따르면, 의료 영상 회귀분석 장치(100)는 어텐션맵출력부(160)를 더 포함한다. 어텐션맵출력부(160)는 상기 의료정보값에 영향을 주는 좌표를 의료 영상에 겹쳐서 시각적으로 보여주는 어텐션맵을 출력한다.
추가적인 양상에 따르면, 의료 영상 회귀분석 장치(100)는 제어부(170)를 더 포함한다. 제어부(170)는 영상정규화부, 특징추출부, 의료정보결정부, 심층매핑부, 및 어텐션맵출력부를 제어한다.
도 2는 치매 진단과 관련된 선조체의 위치를 나타내는 의료 영상의 사진이다.
도 2의 의료 영상은 두뇌의 자기 공명 영상((magnetic resonance imaging; MRI) 중 축방향 단면 영상으로, 선조체(striatum, 줄무늬체) 구조를 나타낸다. 빨간색 사각형으로 표시된 부분은 기저핵의 왼쪽 선조체(210)이다. 기저핵(basal ganglia)의 선조체(striatum)(210)는 꼬리핵(caudate nucleus)(230)부분과 피층(putamen)(250) 부분으로 구분된다. 왼쪽 선조체와 오른쪽 선조체 사이에는 측뇌실(lateral ventricle)(270)이 존재한다. PET 또는 SPET 장비보다 상대적으로 시간과 비용이 적게 소요되는 MRI 의료 영상으로부터 선조체 결합 비율(SBR)을 평가하여 치매 진행상태를 진단할 수 있다.
도 3은 일 실시예에 따른 치매 진단을 위한 의료 영상 회귀분석 장치의 인공신경망을 나타내는 개념도이다.
도 3(a)는 특징추출부(130)와 의료정보결정부(140)의 인공신경망을 자세히 나타낸 개념도이다. 의료 영상(305)은 인공신경망을 포함하는 특징추출부(130)로 입력되고, 특징추출부(130)에서 입력된 영상의 특징을 추출하면, 상관관계 손실함수로 최적화된 의료정보결정부(140)에서 치매 진단 결과를 예측한다. 특징추출부(130)와 의료정보결정부(140)는 수학식 2의 상관관계 손실함수를 이용하여 동시에 학습시킨다. 심층매핑부(150)에 사용하는 심층신경망은 합성곱신경망(CNN), 순환신경망(RNN), 등 다양한 신경망 모델을 이용할 수 있으며, 특히 컨볼루션 레이어에 3x3 필터를 사용한 합성곱신경망인 VGG(visual geometry group)를 사용할 수 있다.
추가적인 양상에 따르면, 상기 특징추출부(130)는 3x3 컨볼루션 커널과 ReLU 활성화함수를 구비하는 복수의 합성곱신경망 블록을 포함한다.
추가적인 양상에 따르면, 상기 의료정보결정부(140)는 상기 특징추출부에서 추출된 특징맵으로부터 의료정보값을 결정하는 다층 퍼셉트론을 포함한다.
도 3(b)는 심층매핑부(150)를 포함하는 의료 영상 회귀분석 장치의 인공신경망 구조를 나타낸 개념도이다. 상관관계 손실함수로 최적화된 의료정보결정부(140)에서 치매 진단 결과를 예측한 중간 결과(145)를 살펴보면, 빨간 점선의 정답값과 파란 직선의 예측된 진단 결과 사이에 오차가 발생한다. 중간 결과를 추가로 심층매핑부(150)로 투입하면 심층매핑부(150)에서 매핑된 최종 진단 결과(155)를 출력한다. 심층매핑부(150)를 거친 경우, 중간 결과(145)보다 예측값은 정답값과의 오차가 많이 줄어든다.
추가적인 양상에 따르면, 상기 심층매핑부(150)는 유클리디안 거리를 이용하는 손실함수를 최적화 시키도록 매개변수가 학습된 심층신경망을 포함한다.
심층매핑부(150)의 심층신경망은 특징추출부(130) 및 의료정보결정부(140)와 다른 손실함수를 이용하여 별도로 학습시킨다. 예를 들어, 심층매핑부(150)는 수학식 1의 손실함수를 이용하여 학습시킬 수 있다. 심층매핑부(150)에 사용하는 심층신경망은 합성곱신경망(CNN), 순환신경망(RNN), 등 다양한 신경망 모델을 이용할 수 있다.
도 4는 일 실시예에 따른 치매 진단을 위한 의료 영상 회귀분석 장치에서 출력되는 어텐션맵을 나타내는 사진이다.
추가적인 양상에 따르면, 상기 의료 영상 회귀분석 장치(100)는 어텐션맵출력부(160)를 더 포함한다. 어텐션맵출력부(160)는 상기 의료정보값에 영향을 주는 좌표를 의료 영상에 겹쳐서 시각적으로 보여주는 어텐션맵을 출력한다.
어텐션맵은 신경망에 대한 시각적 해석이 가능하므로, 의료 영상 회귀분석 장치에서 예측한 진단 결과를 시각적으로 설명할 수 있으므로, 예측의 신뢰도를 분석하는데 사용할 수 있다. 어텐션맵은 그래디언트 가중 클래스 활성화 매핑(Gradient-weighted Class Activation Mapping; Grad-CAM) 방법을 사용하여 얻을 수 있다.
도면의 왼쪽에 위치하는 도 4(a)와 도 4(c)는 입력된 흑색소체(nigrosome)의 사진이고, 오른쪽에 위치하는 도 4(b)와 도 4(d)는 입력된 이미지에 어텐션맵이 결합된 사진이다. 위쪽 도 4(c)는 낮은 결합 비율의 경우를 나타내고, 아래쪽의 도 4(d)는 높은 결합 비율의 경우를 나타낸다.
이상에서 설명한 실시예의 모델을 종래의 모델 비교하는 실험을 실시하여 그 결과를 비교하였다. 실험에 사용한 데이터는 82명의 환자에 대한 MRI와 SPECT 의료 이미지로, 뇌진료 전문가에 의해 선조체 결합 비율(SBR) 점수가 결정되었다.
비교예 1은 VGG 합성곱 신경망에 회귀자(regressor) 층을 사용한 모델이며, 실시예들은 VGG 합성곱 신경망에 상관기(correlator)를 구비하는 의료정보결정부를 사용한 모델들이다. 실시예 1은 VGG 합성곱 신경망에 상관기(correlator)를 구비하는 의료정보결정부만 사용한 모델이고, 실시예 2는 VGG 합성곱 신경망에 상관기(correlator)를 구비하는 의료정보결정부에 SVM층을 사용한 SVM매퍼를 추가한 모델이고, 실시예 3은 VGG 합성곱 신경망에 상관기(correlator)를 구비하는 의료정보결정부에 심층신경망을 사용한 심층매핑부를 추가한 모델이다.
표 1은 실시예와 비교예에 대한 선조체 결합비율(SBR)을 각 모델에서 예측한 결과에 대한 오차와 상관관계를 나타낸 것이다.
| 예측 오차 | 상관관계 | ||||
| Mean | Median | Mean | Median | ||
| 비교예 1 | VGG +Regressor |
0.764 | 0.622 | - | - |
| 실시예 1 | Correlation Net | 0.549 | 0.434 | 0.886 | 0.909 |
| 실시예 2 | Correlator+SVM mapper | 0.566 | 0.407 | 0.878 | 0.899 |
| 실시예 3 | Correlator+Deep Mapper | 0.380 | 0.256 | 0.912 | 0.919 |
비교예 1의 평균(Mean) 예측 오차가 0.764인데 비해 실시예들은 0.549 이하의 값을 보여, 실시예에서 오차가 더 적음을 알 수 있다. 예측 오차의 메디안 값도 비교예 1은 0.622인데 비해 실시예들은 0.434 이하의 값을 나타내어, 실시예들에서 오차가 더 적어서 정확한 측정이 가능함을 알 수 있다.
특히 심층매핑부를 구비하는 실시예 3의 경우 평균 오차가 0.380이고 메디안 오차가 0.256으로 다른 실시예들보다 더욱 낮은 오차 값을 가지므로, PET 장비보다 상대적으로 저렴한 MRI 장비를 이용하여 치매 진단을 보다 정확히 할 수 있다.
도 5는 일 실시예에 따른 치매 진단을 위한 의료 영상 회귀분석 장치에서 예측한 결과와 다른 모델의 결과를 비교하는 그래프들이다.
도 5(a)는 비교예 1의 결과를 나타내고, 도 5(b)는 실시예 1의 결과를 나타내고, 도 5(c)는 실시예 2의 결과를 나타내고, 도 5(d)는 실시예 3의 결과를 나타낸다. 그래프들에서 가로축은 환자의 번호이며, 세로축은 선조체 결합 비율(SBR)을 나타낸다. 오렌지색 별표는 각각의 모델에서 각 환자의 영상에 대해 예측한 값이며, 파란색의 선은 전문가가 각 환자의 영상에 대해 평가한 결과를 나타낸다.
종래의 회귀모델을 사용한 도 5(a)을 살펴보면, 그래프 중앙부에서는 모델의 예측과 전문가 평가가 어느 정도 매칭되었으나, 그래프 양쪽 끝부분에서는 오차가 심해짐을 알 수 있다. 이에 비해 실시예들에 사용된 모델들은 그래프들에서는, 양쪽 끝에서도 어느 정도 유사한 값을 나타낸다. 따라서 종래의 회귀모델보다, 상관관계를 반영한 실시예들의 모델들이 보다 정확한 예측이 가능함을 알 수 있다.
특히 심층 매핑부를 사용한 실시예 3의 결과를 나타내는 도 5(d)의 경우, 양쪽 끝부분에서 전문가의 평가에 근접한 예측 결과를 나타내고 있어서 훨씬 성능이 뛰어남을 확인할 수 있다.
도 6은 일 실시예에 따른 치매 진단을 위한 의료 영상 회귀분석 방법을 나타내는 순서도이다.
제안된 발명의 다른 양상에 따르면, 치매 진단을 위한 의료 영상 회귀분석 장치의 학습방법은, 의료 영상을 입력 받는 영상입력단계(S610)와, 입력된 의료 영상의 크기와 해상도를 정규화는 영상정규화단계(S620)와, 정규화된 의료 영상에서 질병진단에 필요한 특징맵을 추출하는 특징추출단계(S630)와, 특징맵을 이용하여 의료 영상의 의료정보값을 결정하는 의료정보결정단계(S640)를 포함한다.
추가적인 양상에 따르면, 상기 의료 영상 회귀분석 장치의 학습방법은 의료정보값을 입력받아서 대응하는 진단결과값을 출력하는 심층매핑단계(S650)와, 의료정보값에 영향을 주는 좌표를 의료 영상에 겹쳐서 시각적으로 보여주는 어텐션맵을 출력하는 어텐션맵출력단계(S660)를 더 포함한다.
이상에서 본 발명을 첨부된 도면을 참조하는 실시예들을 통해 설명하였지만 이에 한정되는 것은 아니며, 이들로부터 당업자라면 자명하게 도출할 수 있는 다양한 변형예들을 포괄하도록 해석되어야 한다. 특허청구범위는 이러한 변형예들을 포괄하도록 의도되었다.
100 : 위치 검출 장치 120 : 영상정규화부
130 : 특징추출부 140 : 의료정보결정부
150 : 심층매핑부 160 : 어텐션맵출력부
170 : 제어부
130 : 특징추출부 140 : 의료정보결정부
150 : 심층매핑부 160 : 어텐션맵출력부
170 : 제어부
Claims (9)
- 치매 진단을 위한 의료 영상 회귀분석 장치에 있어서,
입력받은 의료 영상에서 질병진단에 필요한 특징맵을 추출하는 특징추출부;
상기 특징추출부에서 추출한 특징맵을 이용하여 의료 영상의 의료정보값을 결정하는 의료정보결정부;를 포함하며,
상기 특징추출부와 의료정보결정부는 상관관계 손실함수를 포함하는 목적함수를 최적화 시키도록 매개변수가 학습된 인공신경망으로 구성되는, 의료 영상 회귀분석 장치. - 청구항 1에 있어서, 상기 장치는 :
의료 영상을 입력받아서, 상기 특징추출부에 입력하기에 적당하도록 의료 영상의 크기와 해상도를 정규화하고, 정규화된 의료 영상을 특징추출부로 출력하는 영상정규화부;
를 더 포함하는, 의료 영상 회귀분석 장치. - 청구항 1에 있어서, 상기 특징추출부는 :
3x3 컨볼루션 커널과 ReLU 활성화함수를 구비하는 복수의 합성곱신경망 블록;
을 포함하는, 의료 영상 회귀분석 장치. - 청구항 1에 있어서, 상기 의료정보결정부는 :
상기 특징추출부에서 추출된 특징맵으로부터 의료정보값을 결정하는 다층 퍼셉트론;
을 포함하는, 의료 영상 회귀분석 장치. - 청구항 1에 있어서, 상기 장치는 :
상기 의료정보결정부에서 출력된 의료정보값을 입력받아서 대응하는 진단결과값을 출력하는 심층매핑부;
를 더 포함하는, 의료 영상 회귀분석 장치. - 청구항 5에 있어서, 상기 심층매핑부는 :
유클리디안 거리를 이용하는 손실함수를 최적화 시키도록 매개변수가 학습된 심층신경망;
을 포함하는, 의료 영상 회귀분석 장치. - 청구항 1에 있어서, 상기 장치는 :
상기 의료정보값에 영향을 주는 좌표를 의료 영상에 겹쳐서 시각적으로 보여주는 어텐션맵을 출력하는 어텐션맵출력부;
를 더 포함하는, 의료 영상 회귀분석 장치. - 치매 진단을 위한 의료 영상 회귀분석 장치의 학습방법에 있어서,
의료 영상을 입력 받는 영상입력단계;
입력된 의료 영상의 크기와 해상도를 정규화는 영상정규화단계;
정규화된 의료 영상에서 질병진단에 필요한 특징맵을 추출하는 특징추출단계; 및
특징맵을 이용하여 의료 영상의 의료정보값을 결정하는 의료정보결정단계;
를 포함하는, 의료 영상 회귀분석 장치의 학습방법. - 청구항 8에 있어서, 상기 학습방법은 :
의료정보값을 입력받아서 대응하는 진단결과값을 출력하는 심층매핑단계; 및
의료정보값에 영향을 주는 좌표를 의료 영상에 겹쳐서 시각적으로 보여주는 어텐션맵을 출력하는 어텐션맵출력단계;
를 더 포함하는, 의료 영상 회귀분석 장치의 학습방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220025479A KR20230128210A (ko) | 2022-02-25 | 2022-02-25 | 치매 진단을 위한 의료 영상 회귀분석 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220025479A KR20230128210A (ko) | 2022-02-25 | 2022-02-25 | 치매 진단을 위한 의료 영상 회귀분석 장치 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230128210A true KR20230128210A (ko) | 2023-09-04 |
Family
ID=88018582
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220025479A KR20230128210A (ko) | 2022-02-25 | 2022-02-25 | 치매 진단을 위한 의료 영상 회귀분석 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20230128210A (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117975170A (zh) * | 2024-03-28 | 2024-05-03 | 山东中医药大学附属医院 | 基于大数据的医疗信息处理方法及系统 |
| CN117975170B (zh) * | 2024-03-28 | 2024-06-04 | 山东中医药大学附属医院 | 基于大数据的医疗信息处理方法及系统 |
-
2022
- 2022-02-25 KR KR1020220025479A patent/KR20230128210A/ko not_active Application Discontinuation
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117975170A (zh) * | 2024-03-28 | 2024-05-03 | 山东中医药大学附属医院 | 基于大数据的医疗信息处理方法及系统 |
| CN117975170B (zh) * | 2024-03-28 | 2024-06-04 | 山东中医药大学附属医院 | 基于大数据的医疗信息处理方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Castellazzi et al. | A machine learning approach for the differential diagnosis of Alzheimer and vascular dementia fed by MRI selected features | |
| Kim et al. | Machine learning based hierarchical classification of frontotemporal dementia and Alzheimer's disease | |
| CN109997200B (zh) | 脑中风诊断以及预后预测方法及系统 | |
| Wu et al. | Metabolic brain network in the Chinese patients with Parkinson's disease based on 18F-FDG PET imaging | |
| Gray et al. | Multi-region analysis of longitudinal FDG-PET for the classification of Alzheimer's disease | |
| JP7357927B2 (ja) | 診断支援システムおよび方法 | |
| CN113077448B (zh) | 利用神经黑色素影像提供帕金森病信息的装置及系统 | |
| Al-Adhaileh | Diagnosis and classification of Alzheimer's disease by using a convolution neural network algorithm | |
| Okonkwo et al. | Amyloid burden, neuronal function, and cognitive decline in middle-aged adults at risk for Alzheimer's disease | |
| WO2017106498A1 (en) | Systems and methods for quantitatively characterizing alzheimer's disease risk events based on multimodal biomarker data | |
| Dong et al. | DeepAtrophy: Teaching a neural network to detect progressive changes in longitudinal MRI of the hippocampal region in Alzheimer's disease | |
| WO2020179950A1 (ko) | 딥러닝 기반 뇌 질환 진행 예측 방법 및 장치 | |
| Park et al. | Deep learning for prediction of mechanism in acute ischemic stroke using brain MRI | |
| Kontopodis et al. | Emerging deep learning techniques using magnetic resonance imaging data applied in multiple sclerosis and clinical isolated syndrome patients | |
| KR102503646B1 (ko) | 뇌경색 볼륨 계산 기반의 뇌경색 예측 방법 및 그를 위한 장치 | |
| Çelebi et al. | Leveraging Deep Learning for Enhanced Detection of Alzheimer's Disease Through Morphometric Analysis of Brain Images. | |
| KR20230128210A (ko) | 치매 진단을 위한 의료 영상 회귀분석 장치 및 방법 | |
| KR102447400B1 (ko) | 딥러닝 모델을 이용한 병변 영역 추출 기반의 뇌경색 예측 방법 및 그를 위한 장치 | |
| KR20240027714A (ko) | 예측 연령 차이를 이용한 동반 임상 치매 등급과 그 미래의 결과를 평가하는 방법 및 그 프로그램 | |
| US20210005320A1 (en) | Method of inferring a need for medical test | |
| JP7064430B2 (ja) | 優先度判定装置、方法およびプログラム | |
| Seshadri et al. | Early prediction of Alzheimer’s disease with a multimodal multitask deep learning model | |
| KR102543914B1 (ko) | 인공지능 모델을 포함하는 알츠하이머병의 위험도 예측 장치 | |
| Shaff et al. | Comparison of automated and manual quantification methods for n euromelanin‐sensitive MRI in Parkinson's disease | |
| Dong et al. | Regional Deep Atrophy: a Self-Supervised Learning Method to Automatically Identify Regions Associated With Alzheimer’s Disease Progression From Longitudinal MRI |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal |