TWI814154B - 基於醫學影像的疾病預測方法 - Google Patents
基於醫學影像的疾病預測方法 Download PDFInfo
- Publication number
- TWI814154B TWI814154B TW110144393A TW110144393A TWI814154B TW I814154 B TWI814154 B TW I814154B TW 110144393 A TW110144393 A TW 110144393A TW 110144393 A TW110144393 A TW 110144393A TW I814154 B TWI814154 B TW I814154B
- Authority
- TW
- Taiwan
- Prior art keywords
- brain
- model
- image
- medical images
- disease
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 110
- 201000010099 disease Diseases 0.000 title claims abstract description 95
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims abstract description 95
- 208000014644 Brain disease Diseases 0.000 claims abstract description 134
- 239000013598 vector Substances 0.000 claims abstract description 34
- 238000013528 artificial neural network Methods 0.000 claims description 135
- 210000004556 brain Anatomy 0.000 claims description 123
- 238000012216 screening Methods 0.000 claims description 37
- 238000003745 diagnosis Methods 0.000 claims description 27
- 239000000284 extract Substances 0.000 claims description 25
- 230000011218 segmentation Effects 0.000 claims description 19
- 238000002059 diagnostic imaging Methods 0.000 claims description 15
- 238000007781 pre-processing Methods 0.000 claims description 15
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 210000001320 hippocampus Anatomy 0.000 claims description 7
- 210000003478 temporal lobe Anatomy 0.000 claims description 7
- 210000004727 amygdala Anatomy 0.000 claims description 6
- 210000001353 entorhinal cortex Anatomy 0.000 claims description 6
- 230000008569 process Effects 0.000 description 48
- 208000024827 Alzheimer disease Diseases 0.000 description 47
- 238000012545 processing Methods 0.000 description 29
- 230000006870 function Effects 0.000 description 26
- 238000003062 neural network model Methods 0.000 description 26
- 238000004891 communication Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 16
- 230000003287 optical effect Effects 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 12
- 238000010801 machine learning Methods 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 7
- 210000000056 organ Anatomy 0.000 description 7
- 210000000211 third ventricle Anatomy 0.000 description 7
- 230000009466 transformation Effects 0.000 description 6
- 238000002595 magnetic resonance imaging Methods 0.000 description 5
- 241000282326 Felis catus Species 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000010191 image analysis Methods 0.000 description 4
- 210000001519 tissue Anatomy 0.000 description 4
- 206010012289 Dementia Diseases 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 210000005013 brain tissue Anatomy 0.000 description 3
- 238000002591 computed tomography Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005094 computer simulation Methods 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000005055 memory storage Effects 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 238000012106 screening analysis Methods 0.000 description 2
- 230000002861 ventricular Effects 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000011112 process operation Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000002739 subcortical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
- A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
- A61B5/0042—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the brain
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4058—Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
- A61B5/4064—Evaluating the brain
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
- A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
- A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
- A61B2576/026—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part for the brain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
Abstract
根據本發明之一實施例,揭示藉由計算設備執行之基於醫學影像的疾病預測方法。該方法可包含如下步驟:藉由使用預先學習的第一模型,生成包含與三維醫學影像中包含的各個二維醫學影像有關的腦疾病的多個預測值的特徵向量(feature vector);藉由使用預先學習的第二模型,基於該特徵向量來推定用於表示與各個該二維醫學影像有關的預測準確率的重要性(importance);以及基於該重要性,篩選多個該二維醫學影像中的適合預測該腦疾病的至少一個模型輸入影像。
Description
本發明係關於醫學影像的處理方法,更具體而言,係關於基於與可利用神經網路有效判斷疾病的醫學影像有關的資訊篩選醫學影像並預測疾病之方法。
醫學影像為幫助理解人體的各種器官的物理狀態的資料。醫學影像包含數位放射影像(X-ray)、電腦斷層掃描(CT)或磁共振影像(MRI)等。
具有基於拍攝身體器官的三維醫學影像判斷特定疾病的存在之醫學影像的處理技術。在先前技術中,大部分將三維醫學影像直接用作三維神經網路模型的輸入來預測特定疾病。例如,先前技術之一基於藉由使用三維卷積神經網路(convolutional neural network)拍攝大腦結構的三維磁共振影像判斷阿茲海默氏癡呆。
前述之先前技術具有如下問題:由於三維醫學影像的資訊量及三維神經網路模型本身的複雜性(complexity)等,計算用於預測特定疾病時消耗相當長的時間。即,在使用三維醫學影像之先前技術中,計算用於預測特定疾病時消耗大量的計算資源,計算速度很慢,因此,事實上無法進行即時分析。為了解決此問題,可考慮應用關於二維神經網路模型新提出之技術。但是,由三維影像分析與二維影像分析之間之技術發展的速度差異,進一步具有在二維影像分析中新提出之技術無法簡單應用於三維影像分析中的問題。
並且,為了解決先前技術之問題,可考慮將藉由對三維醫學影像進行加工來生成的二維醫學影像用於預測特定疾病。但是,在將利用三維醫學影像生成的所有二維醫學影像用於預測特定疾病的情況下,與先前技術相同地,不可避免地需要大量的計算成本。因此,適當篩選並使用預測特定疾病所需之二維醫學影像在醫學影像的分析中係重要的。
韓國公開專利第10-2019-0112219號(2019年10月04日)揭示阿滋海默氏病檢測方法。
[先前技術文獻]
[專利文獻]
[專利文獻1]韓國公開專利第10-2019-0112219號(2019年10月04日)
[發明所欲解決之技術問題]
本發明對應前述之背景技術來提出,其目的在於,提供基於與對於疾病判斷優化的醫學影像有關的資訊來篩選醫學影像並預測疾病之方法。
[技術手段]
根據用於實現如前所述之目的之本發明之第一實施例,揭示藉由計算設備執行的基於醫學影像的疾病預測方法。上述方法可包含如下步驟:藉由使用預先學習的第一模型,生成關於與三維醫學影像中包含的各個二維醫學影像有關的腦疾病的多個預測值的特徵向量(feature vector);藉由使用預先學習的第二模型,基於上述特徵向量來推定用於表示與各個上述二維醫學影像有關的預測準確率的重要性(importance);以及基於上述重要性,篩選多個上述二維醫學影像中的適合預測上述腦疾病的至少一個模型輸入影像。
在代替實施例中,上述方法進一步可包含如下步驟:藉由使用預先學習的第三模型,從以範本為基準排列腦區域的位置的多個二維醫學影像中分別提取腦實質(brain parenchyma)區域。
在代替實施例中,上述第一模型可基於在多個上述二維醫學影像、與上述三維醫學影像的拍攝對象有關的個人資訊及上述三維醫學影像中表示多個二維醫學影像的位置的編號資訊來生成上述特徵向量。
在代替實施例中,上述神經網路模型可執行如下的預處理,即,在學習過程中,去除多個輸入影像中的真實標籤(true label)為規定像素數量以下的影像。
在代替實施例中,上述第一模型可包含:第一神經網路,從多個上述二維醫學影像提取用於預測上述腦疾病的多個特徵;以及第二神經網路,基於藉由上述第一神經網路提取的多個特徵、上述個人資訊及上述編號資訊,輸出與各個上述二維醫學影像有關的腦疾病的多個預測值。
在代替實施例中,基於在輸入上述特徵向量的上述第二模型中使用的提升樹演算法(tree boosting algorithm)推定上述重要性。
在代替實施例中,篩選適合預測上述腦疾病的至少一個模型輸入影像的步驟可包含如下步驟:對上述重要性與閾值進行比較,將多個上述二維醫學影像中的至少一個選定為上述模型輸入影像;以及獲取在上述三維醫學影像中表示選定的上述模型輸入影像的位置的參考編號資訊。
在代替實施例中,上述方法進一步可包含將篩選的上述至少一個模型輸入影像用作疾病診斷模型的學習數據的步驟。
根據用於實現如前所述之目的之本發明之第二實施例,揭示藉由計算設備執行的基於醫學影像的疾病預測方法。上述方法可包含如下步驟:藉由使用預先學習的細分(segmentation)模型,生成用於分割(parcellation)三維醫學影像中包含的各個二維醫學影像中存在的至少一個腦區域的資訊;以及基於用於分割生成的上述至少一個腦區域的資訊,篩選多個上述二維醫學影像中的適合預測腦疾病的至少一個模型輸入影像。
在代替實施例中,將上述二維醫學影像中滿足與參考區域相關的規定條件的影像選定為適合預測上述腦疾病的至少一個模型輸入影像。
在代替實施例中,上述參考區域可包含內側顳葉(medial temporal lobe);分割之上述至少一個腦區域可包含海馬迴(hippocampus)、杏仁核(amygdala)、內嗅皮層(entorhinal cortex)、海馬旁迴皮層(parahippocampal cortex)或腦室(ventricle)中之至少一個。
在代替實施例中,上述方法進一步可包含將篩選之上述至少一個模型輸入影像用作疾病診斷模型的學習數據之步驟。
根據用於實現如前所述之目的之本發明之第三實施例,揭示藉由計算設備執行的基於醫學影像的疾病預測方法。上述方法可包含如下步驟:藉由使用預先學習的預處理模型,從以範本為基準排列腦區域的位置的多個二維醫學影像中分別提取腦實質區域;篩選已提取上述腦實質區域的多個二維醫學影像中的適合預測腦疾病的至少一個模型輸入影像;以及藉由使用預先學習的疾病診斷模型,基於篩選的上述模型輸入影像來預測腦疾病的存在概率。
在代替實施例中,篩選適合預測上述腦疾病的至少一個模型輸入影像的步驟可包含如下步驟:將提取上述腦實質區域的多個二維醫學影像中的與參考編號資訊相對應的至少一個影像選定為上述模型輸入影像。在此情況下,上述參考編號資訊可基於表示與三維醫學影像中包含的各個二維醫學影像有關的腦疾病的預測準確率的重要性來預先確定。
在代替實施例中,篩選適合預測上述腦疾病的至少一個模型輸入影像的步驟可包含如下步驟:藉由使用預先學習的細分模型,分割已提取上述腦實質區域的各個二維醫學影像中包含的至少一個腦區域;以及基於與分割的上述至少一個腦區域有關的資訊,篩選已提取上述腦實質區域的多個二維醫學影像中的適合預測上述腦疾病的至少一個模型輸入影像。
在代替實施例中,上述疾病診斷模型可基於三維醫學影像中包含的多個二維醫學影像中的適合預測腦疾病而篩選的至少一個影像來進行學習。
根據用於實現如前之目的之本發明之第一實施例,揭示儲存在電腦可讀儲存介質的電腦程式。在上述電腦程式在一個以上的處理器中運行的情況下,基於醫學影像執行用於預測疾病的以下操作,該操作可包含如下操作:藉由使用預先學習的第一模型,生成包含與三維醫學影像中包含的各個二維醫學影像有關的腦疾病的多個預測值的特徵向量;藉由使用預先學習的第二模型,基於上述特徵向量來推定用於表示與各個上述二維醫學影像有關的預測準確率的重要性;以及基於上述重要性,篩選多個上述二維醫學影像中的適合預測上述腦疾病的至少一個模型輸入影像。
根據用於實現如上所述之目的之本發明之第二實施例,揭示儲存在電腦可讀儲存介質的電腦程式。在上述電腦程式在一個以上的處理器中運行的情況下,基於醫學影像執行用於預測疾病的以下操作,該操作可包含如下操作:藉由使用預先學習的細分模型,分割各個二維醫學影像中包含的至少一個腦區域;以及基於與分割的上述至少一個腦區域有關的資訊,篩選多個上述二維醫學影像中的適合預測腦疾病的至少一個模型輸入影像。
根據用於實現如前所述之目的之本發明之第一實施例,揭示基於醫學影像預測疾病的計算設備。上述設備包含:處理器,包含至少一個內核;記憶體,包含可在上述處理器中執行的程式代碼;以及網路部,用於接收醫學影像,上述處理器藉由使用預先學習的第一模型,生成包含與三維醫學影像中包含的各個二維醫學影像有關的腦疾病的多個預測值的特徵向量,使用預先學習的第二模型,基於上述特徵向量來推定用於表示與各個上述二維醫學影像有關的預測準確率的重要性,基於上述重要性來篩選多個上述二維醫學影像中的適合預測上述腦疾病的至少一個模型輸入影像。
根據用於實現如前所述之目的之本發明之第二實施例,揭示基於醫學影像預測疾病的計算設備。上述設備包含:處理器,包含至少一個內核;記憶體,包含可在上述處理器中執行的程式代碼;以及網路部,用於接收醫學影像,上述處理器藉由預先學習的細分模型,分割各個二維醫學影像中包含的至少一個腦區域,基於與分割的上述至少一個腦區域有關的資訊,篩選多個上述二維醫學影像中的適合預測腦疾病的至少一個模型輸入影像。
[發明之效果]
本發明可提供基於與對於疾病判斷優化的醫學影像有關的資訊篩選醫學影像並預測疾病的方法。
以下,參照圖式說明各種實施例。在本說明書中,為了幫助理解本發明而提供各種說明。但是,需明確的是,沒有何種具體說明也可執行此等實施例。
在本說明書中使用之術語「組件」、「模組」、「系統」等係指電腦相關實體、硬體、固件、軟體、軟體及硬體的組合或軟體之執行。例如,組件可以為在處理器上運行的進程(procedure)、處理器、對象、執行線程、程式及/或電腦,但並不局限於此。例如,在計算設備中運行的應用程式及計算設備均可以為組件。一個以上的組件可駐留在處理器及/或執行線程內。一組件可本地化在一臺電腦內。一組件可分佈在兩臺以上的電腦之間。並且,此等組件可藉由儲存在其內部的具有各種數據結構的各種電腦可讀介質中執行。例如,組件可根據具有一個以上的數據包的訊號(例如,藉由來自在本體系統、分佈式系統中與其他組件相互作用的一個組件的數據及/或訊號,藉由如網際網路的網路與其他系統傳輸的數據)藉由本體及/或遠程處理進行通訊。
同時,術語「或」係指表示包含的「或」,而不是排他的「或」。即,在並未另行特定或者在文脈上未明確的情況下,「X利用A或B」係指自然隱式替換之一。即,在X利用A、X利用B、或者X利用A及B兩者的情況下,「X利用A或B」可使用為上述情況之一。並且,在本說明書中使用之術語「及/或」應理解為指代並包含所列出之相關專案中之一個以上之專案之所有可能之組合。
並且,術語「包含」及/或「包含……」係指存在相應特徵及/或結構要素。但是,術語「包含」及/或「包含……」並不排除一個以上的其他特徵、結構要素及/或此等之組合的存在或附加。並且,在並未另行特定或者在文脈上明確表示單數形態的情況下,在本說明書及申請專利範圍中,單數通常解釋為「一個或一個以上」。
並且,術語「A或B中的至少一個」應解釋為「僅包含A之情況」、「僅包含B之情況」、「包含A及B之組合之情況」。
所屬技術領域中具有通常知識者需進一步理解,與在此揭示之實施例相關來說明的各種例示性邏輯塊、結構、模組、電路、單元、邏輯及演算法步驟可由電子硬體、電腦軟體或兩者的組合體現。為了明確例示硬體與軟體的相互交換性,各種例示性組件、塊、結構、單元、邏輯、模組、電路及步驟已在上述說明中大致在此等的功能方面進行了說明。此種功能是否由硬體或軟體體現取決於向整體系統賦予的特定應用程式(application)及設計局限。所屬技術領域中具有通常知識者可實現為了各個特定應用程式而以各種方法說明的功能。但是,不應解釋為這種體現的確定不應超出本發明內容的領域。
與揭示之實施例有關的說明以能夠使本發明所屬技術領域中具有通常知識者能夠利用或實施本發明的方式提供。對此種實施例的各種變形對於本發明所屬技術領域中具有通常知識者而言是顯而易見的。在此定義的一般原理可在不超出本發明的範圍內應用於其他實施例。由此,本發明並不限定於在此提出的實施例。本發明需由與在此揭示的原理及新的多個特徵一貫的最廣範圍內解釋。
在本發明中,網路函數、人工神經網路及神經網路(neural network)可互換使用。
此外,在本發明的詳細說明及申請專利範圍中利用的術語「影像」或「影像數據」指代由離散影像元素(例如,二維影像中的像素)構成的多維數據,換言之,係指代(例如,在影像畫面上顯示的)可肉眼看到的對象或(例如,與電子電腦斷層掃描(CT)、磁共振影像(MRI)檢測器等的像素輸出相對應的)該對象的數字表達物的術語。
例如,「圖像」或「影像」可以為電子電腦斷層掃描(CT:computed tomography)、磁共振影像(MRI:magnetic resonance imaging)、超聲波或藉由本發明的技術領域中習知的任意其他醫學影像系統收集的採集對象(subject)的醫學影像。影像並不是必須在醫療環境中提供,進一步可在非醫療環境中提供,例如,可具有安全檢查用X射線影像等。
在本發明的詳細說明及申請專利範圍中,術語「醫療數位影像傳輸協定(DICOM:Digital Imaging and Communications in Medicine)」標準為在醫療儀器中用於數位影像表達及通訊的各種標準之統稱,醫療數位影像傳輸協定標準由美國放射醫學會(ACR)及美國電氣製造商協會(NEMA)組成的聯合委員會發表。
並且,在本發明的詳細說明及申請專利範圍中,術語「數位影像儲存通訊系統(PACS:Picture Archiving and Communication System)」係指根據醫療數位影像傳輸協定標準儲存、處理、傳輸的系統,利用如X射線、電子電腦斷層掃描、磁共振影像的數位醫學影像設備獲取的醫學影像圖像以醫療數位影像及通訊形式儲存,可藉由網路向醫院內外的終端傳輸,在此可添加讀取結果及診斷記錄。
圖1為本發明一實施例之用於基於醫學影像預測疾病的計算設備的框圖。
在圖1中所示之計算設備100的結構僅為簡要示出之例示。在本發明之一實施例中,計算設備100可包含用於執行計算設備100的計算環境的其他結構,進一步可僅由揭示的結構中的一部分構成計算設備100。
計算設備100可包含處理器110、記憶體130、網路部150。
處理器110可由一個以上的內核構成,可包含計算設備的中央處理器(CPU:central processing unit)、通用圖形處理器(GPGPU:general purpose graphics processing unit)、張量處理器(TPU:tensor processing unit)等的用於數據分析、深度學習的處理器。處理器110可藉由讀取儲存在記憶體130中的電腦程式來執行本發明一實施例之用於機器學習的數據處理。根據本發明之一實施例,處理器110可執行用於學習神經網路的運算。處理器110可執行在深度學習(DL:deep learning)中用於學習的輸入數據的處理、輸入數據中的特徵提取、誤差計算、反向傳播(backpropagation)的神經網路的權重更新等的用於學習神經網路的計算。處理器110的中央處理器、通用圖形處理器及張量處理器中的至少一個可處理網路函數的學習。例如,中央處理器及通用圖形處理器可一同處理網路函數的學習、利用網路函數的數據分類。並且,在本發明之一實施例中,可同時使用多個計算設備的處理器來處理網路函數的學習、利用網路函數的數據分類。並且,本發明一實施例在計算設備中運行的電腦程式可以為中央處理器、通用圖形處理器或張量處理器可執行之程式。
根據本發明之一實施例,處理器110可接收包含至少一個腦區域的醫學影像,並藉由預先學習的機器學習模型篩選能夠有效診斷腦疾病的影像。處理器110可藉由使用至少一個機器學習模型篩選三維醫學影像中包含的多個二維醫學影像中的預測腦疾病所需的至少一個影像。在此情況下,可將篩選預測腦疾病所需的影像的過程可理解為提取與能夠有效預測腦疾病的影像有關的資訊(例如,在三維醫學影像中篩選的多個影像的位置資訊等)的過程。藉由處理器110篩選的與預測腦疾病所需的影像有關的資訊可儲存在記憶體130中。處理器110可藉由前述的操作預先計算能夠有效判斷腦疾病的重要影像的資訊,在後述的腦疾病的預測過程中,可用於篩選輸入影像。由此,處理器110篩選並使用根據腦疾病的種類針對預測優化的多個模型輸入影像。
例如,處理器110可藉由機器學習模型選定用於判斷阿滋海默氏癡呆所需之至少一個二維切片影像,上述機器學習模型接收基於三維磁共振(MR,magnetic resonance)影像中包含的所有二維切片(slice)影像來學習的神經網路模型及神經網路模型的輸出數據。處理器110可在選定過程中獲取表示用於判斷阿滋海默氏癡呆所需之至少一個二維切片在三維磁共振影像中的位置的編號資訊。處理器110可將獲取的編號資訊設置為用於預測阿滋海默氏癡呆的影像篩選的參考值。在為了判斷阿滋海默氏癡呆而輸入新的三維磁共振影像的情況下,處理器110可基於作為參考值設置的編號資訊,在新的三維磁共振影像中篩選二維切片影像。
並且,處理器110可基於藉由前述的操作篩選的能夠有效診斷腦疾病之至少一個影像來學習用於預測腦疾病的神經網路模型。例如,處理器110可藉由選定三維磁共振影像中包含的所有二維切片影像中適合判斷阿滋海默氏癡呆之至少一個二維切片影像來構建學習數據集。處理器110可基於由適合判斷阿滋海默氏癡呆之至少一個二維切片影像構成的學習數據集來學習用於預測阿滋海默氏癡呆的神經網路模型。在前述之學習數據集中幾乎不包含妨礙判斷阿滋海默氏癡呆的雜訊數據。因此,若基於前述之學習數據集學習用於預測阿滋海默氏癡呆的神經網路模型,則與基於三維磁共振影像中包含的所有二維切片影像學習的現有的模型相比,可大幅提高癡呆預測的性能。
根據本發明之代替實施例,處理器110可接收包含至少一個腦區域的醫學影像並藉由使用預先學習的神經網路模型來分割存在於輸入影像中的腦的詳細區域。處理器110可基於與藉由神經網路模型分割的腦的詳細區域有關的資訊,篩選能夠有效診斷腦疾病的影像。處理器110可藉由使用神經網路模型分割存在於三維醫學影像中包含的多個二維醫學影像的多個腦區域,可基於分割的多個腦區域的資訊,篩選預測腦疾病所需的至少一個影像。處理器110可基於如前所述之方式篩選的影像,判斷、預測或分類是否存在腦疾病。並且,處理器110可學習藉由前述之操作篩選的能夠有效診斷腦疾病的影像作為用於預測腦疾病的神經網路模型。
例如,處理器110可藉由使用基於三維磁共振影像中包含的至少一個二維切片影像學習的神經網路模型,將為了診斷腦疾病接收的影像中存在的腦區域細分為多個詳細區域。處理器110可基於與腦的多個詳細區域有關的資訊,根據特定條件篩選接收影像中的判斷阿滋海默氏癡呆所需之至少一個二維切片影像。處理器110可藉由使用用於診斷腦疾病的神經網路模型,基於能夠有效預測阿滋海默氏癡呆的至少一個二維切片影像來判斷是否存在阿滋海默氏癡呆。
此外,處理器110可基於與藉由前述的實施例選定的能夠有效診斷腦疾病所需的至少一個重要影像有關的資訊來預測腦疾病。若為了診斷腦疾病而向計算設備100輸入新的醫學影像,則處理器110可基於藉由機器學習模型預先獲得的影像的編號資訊,從新的醫學影像中篩選重要影像,可基於篩選的影像來判斷是否存在腦疾病。並且,處理器110藉由神經網路模型分割新的醫學影像中存在的腦區域,進一步可基於分割的腦區域的資訊且根據規定條件判斷是否存在腦疾病。換言之,處理器110可利用與藉由機器學習模型預先確定的重要影像(例如,針對特定腦疾病的診斷優化的影像)有關的資訊預測腦疾病。並且,處理器110執行對於即時輸入的醫學影像的篩選分析,進一步可基於篩選分析的結果來預測腦疾病。在此情況下,用於預測腦疾病的神經網路模型可基於作為能夠有效診斷腦疾病的影像篩選的至少一個影像來進行學習。
根據本發明之一實施例,記憶體130可儲存處理器110所生成或確定的任意形態的資訊及網路部150所接收的任意形態的資訊。
根據本發明之一實施例,記憶體130可包含快閃記憶體類型(flash memory type)、硬碟類型(hard disk type)、多媒體卡微型類型(multimedia card micro type)、卡類型記憶體(例如,SD或XD記憶體等)、隨機存取記憶體(Random Access Memory,RAM)、靜態隨機存取記憶體(Static Random Access Memory,SRAM)、唯讀記憶體(Read-Only Memory,ROM)、電可除程式化唯讀記憶體(Electrically Erasable Programmable Read-Only Memory,EEPROM)、可程式唯讀記憶體(Programmable Read-Only Memory,PROM)、磁性記憶體、磁片、光碟中的至少一個類型的儲存介質。計算設備100可與在網際網路(internet)上執行上述記憶體130的儲存功能的網頁儲存(web storage)關聯來操作。對於前述之記憶體之記載僅為例示,本發明並不局限於此。
本發明一實施例之網路部150可使用任意形態之習知的有線或無線通訊系統。
網路部150可從醫學影像拍攝系統接收表達身體器官的醫學影像。例如,表達身體器官的醫學影像可以為以二維特徵或三維特徵學習的神經網路模型的學習用數據或推理用數據。表達身體器官的醫學影像可以為包含至少一個腦區域的三維T1 MR圖像。表達身體器官的醫學影像並不局限於前述的例示,可包含如X-ray影像、電子電腦斷層掃描影像等的藉由拍攝獲得的所有與身體器官相關的影像。
並且,網路部150可藉由與其他終端之通訊發送或接收由處理器110處理的資訊、用戶介面等。例如,網路部150可向客戶端(例如,用戶終端)提供藉由處理器110生成的用戶介面。並且,網路部150可接收向客戶端施加的用戶的外部輸入並向處理器110傳遞。在此情況下,處理器110可基於從網路部150接收的用戶的外部輸入,處理藉由用戶介面提供的資訊的輸出、修改、變更、追加等操作。
此外,本發明一實施例之計算設備100可包含伺服器作為藉由與客戶端進行通訊來發送或接收資訊的計算資訊。在此情況下,客戶端可以為能夠訪問伺服器的任意類型的終端。例如,作為伺服器的計算設備100從醫學影像拍攝終端接收醫學影像來預測疾病,並可向用戶終端提供包含預測的結果的用戶介面。在此情況下,用戶終端輸出從作為伺服器的計算設備100接收的用戶介面,可藉由與用戶的相互作用接收或處理資訊。
在追加實施例中,計算設備100進一步可包含藉由接收從任意伺服器中生成的數據資源來執行追加的資訊處理的任意類型的終端。
圖2為示出本發明一實施例之網路函數的簡圖。
在本說明書中,運算模型、神經網路、網路函數、神經網路(neural network)可互換使用。神經網路通常可由稱為節點的相互連接的計算單位的集合構成。此種節點進一步可稱為神經元(neuron)。神經網路藉由包含一個以上的節點來構成。構成神經網路的節點(或神經元)可藉由一個以上的鏈接相互連接。
在神經網路中,藉由鏈接連接的一個以上的節點可相對形成輸入節點及輸出節點的關係。輸入節點及輸出節點的概念是相對的,針對一個節點,輸出節點處的任意節點可在與其他節點的關係中處於輸入節點關係,反之亦然。如上所述,輸入節點與輸出節點關係能夠以鏈接為中心生成。一個輸入節點可藉由鏈接與一個以上的輸出節點連接,反之亦然。
在藉由一個鏈接連接的輸入節點與輸出節點關係中,輸出節點的數據可基於向輸入節點輸入的數據來確定其值。其中,使輸入節點與輸出節點相連接的鏈接可具有權重(weight)。權重可改變,為了執行神經網路所需之功能,可由用戶或演算法改變。例如,在一個以上的輸入節點藉由各自的鏈接與一個輸出節點相連接的情況下,輸出節點可基於向與上述輸出節點連接的多個輸入節點輸入的值及在與各個輸入節點相對應的鏈接設置的權重來確定輸出節點值。
如上所述,在神經網路中,一個以上的節點可藉由一個以上的鏈接相連接來在神經網路中形成輸入節點與輸出節點關係。在神經網路中,可根據節點及鏈接的數量及多個節點與多個鏈接之間的相關關係、向各個鏈接賦予的權重的值確定神經網路的特性。例如,在存在相同數量的節點及多個鏈接且存在多個鏈接的權重值不同的兩個神經網路的情況下,兩個神經網路可識別為互不相同。
神經網路可由一個以上的節點的集合構成。構成神經網路的多個節點的部分集合可構成層(layer)。構成神經網路的多個節點中的一部分可基於距最初輸入節點的距離來構成一個層。例如,距最初輸入節點的距離為n的節點的集合可構成n層。距最初輸入節點的距離可由為了從最初輸入節點到達至相應節點為止而需要經過的多個鏈接的最少數量而定義。但是,為了說明而任意定義此種層,神經網路中的層的順序可定義為與上述方法不同的方法。例如,多個節點的層進一步可由距最終輸出節點的距離定義。
最初輸入節點係指如下節點:在神經網路中的多個節點中,在與其他節點的關係中不經過鏈接而直接輸入數據的一個以上的節點。或者,最初輸入節點進一步係指如下的節點:在神經網路中的以鏈接為基準的節點之間的關係中,並不具有藉由鏈接連接的其他輸入節點的多個節點。與其相似地,最終輸出節點係指如下節點:在神經網路中的多個節點中,在與其他節點的關係中並不具有輸出節點的一個以上的節點。並且,隱藏節點係指構成並不是最初輸入節點及最終輸出節點的神經網路的多個節點。
本發明一實施例之神經網路可以為如下形態之神經網路:輸入層的節點的數量可與輸出層的節點的數量相同,隨著從輸入層到隱藏層的進展,節點的數量減少並再次增加。並且,本發明再一實施例之神經網路可以為如下形態之神經網路:輸入層的節點的數量可少於輸出層的節點的數量,隨著從輸入層到隱藏層的進展,節點的數量減少。並且,本發明另一實施例之神經網路可以為如下形態的神經網路:輸入層的節點的數量可大於輸出層的節點的數量,隨著從輸入層到隱藏層的進展,節點的數量增加。本發明進一步有一實施例之神經網路可以為組合上述的神經網路的形態的神經網路。
深度類神經網路(DNN:deep neural network)係指除輸入層及輸出層之外進一步包含多個隱藏層的神經網路。若利用深度類神經網路,則可掌握數據的潛在結構(latent structures)。即,可掌握照片、文字、影片、語音、音樂的潛在結構(例如,照片中的物體是什麼、文字的內容及感情是什麼、語音的內容及感情是什麼等)。深度類神經網路可包含卷積神經網路(CNN:convolutional neural network)、遞迴神經網路(RNN:recurrent neural network)、自編碼器(auto encoder)、生成對抗網路(GAN:generative adversarial networks)、受限玻爾茲曼機(RBM:restricted boltzmann machine)、深度信念網路(DBN:deep belief network)、Q網路、U網路、孿生網等。前述之深度類神經網路之記載僅為例示,本發明並不局限於此。
在本發明之一實施例中,網路函數進一步可包含自編碼器。自編碼器可以為用於輸出與輸入數據相似的輸出數據的人工神經網路之一。自編碼器可包含至少一個隱藏層,奇數個的隱藏層可配置於輸入層與輸出層之間。各個層的節點的數量可在輸入層的節點的數量中減少到稱為瓶頸層(編碼)的中間層,之後在瓶頸層與減少對稱來擴張為輸出層(與輸入層對稱)。自編碼器可執行非線性降維。輸入層及輸出層的數量可與輸入數據的預處理之後的維度相對應。在自編碼器結構中,包含在編碼器的隱藏層的節點的數量可具有隨著距輸入層的距離增加而減少的結構。在瓶頸層(位於編碼器與解碼器之間的具有最少節點的層)的節點的數量過於少的情況下,可能無法傳遞足夠量的資訊,因此,進一步可保持為特定數量以上(例如,輸入層的一半以上等)。
神經網路可藉由監督式學習(supervised learning)、非監督式學習(unsupervised learning)、半監督式學習(semi supervised learning)或強化學習(reinforcement learning)中的至少一個方式學習。神經網路的學習可以為將神經網路用於執行特定操作的知識應用於神經網路的過程。
神經網路能夠以使輸出的錯誤最小化的方向學習。在神經網路的學習過程中,向神經網路重複輸入學習數據,計算對於學習數據的神經網路的輸出及目標誤差,在減少誤差的方向上,神經胸神經網路的輸出層到輸入層方向反向傳播(backpropagation)網路的誤差,從而更新神經網路的各節點的權重。在監督式學習的情況下,使用在各個學習數據中標記正確答案的學習數據(即,標記的學習數據),在非監督式學習的情況下,可能未對各個學習數據標記正確答案。即,例如,在關於數據分類的監督式學習的情況下,學習數據可以為在各個學習數據標記類別的數據。可向神經網路輸入標記的學習數據,對神經網路的輸出(類別)與學習數據的標籤進行比較,由此可計算誤差(error)。作為另一例,在關於數據分類的非監督式學習的情況下,可對作為輸入的學習數據與神經網路輸出進行比較來計算誤差。計算的誤差在神經網路中朝向反向(即,從輸出層到輸入層的方向)進行反向傳播,可根據反向傳播更新神經網路的各層的各個節點的連接權重。更新的各個節點的連接權重的變化量可根據學習率(learning rate)確定。對於輸入數據的神經網路的計算及誤差的反向傳播可構成學習週期(epoch)。學習率可根據神經網路的學習週期的重複次數應用得不同。例如,在神經網路的學習初期,使用高學習率使神經網路快速地確保規定水準的性能,由此可提高有效性,而在學習後期,可使用低的學習率來提高準確率。
在神經網路的學習過程中,通常,學習數據可以為實際數據(即,所要利用學習的神經網路處理之數據)的子集,因此,可存在如下學習週期:學習數據的誤差減少,但實際數據的誤差增加。過度擬合(overfitting)為因藉由如上所述之方式過度學習學習數據而使實際數據的誤差增加的現象。例如,藉由看到黃色貓來學習貓的神經網路無法將黃色之外的貓識別為貓的現象為一種過度擬合。過度擬合可作用為增加機器學習演算法的誤差的原因。為了防止此種過度擬合,可使用各種優化方法。為了防止過度擬合,可應用增加學習數據或者正則化(regularization)、在學習過程中禁用網路的節點的一部分的dropout、批量歸一化層(batch normalization layer)的利用等方法。
圖3為示出本發明一實施例之計算設備之用於預測疾病的影像篩選過程的框圖。並且,圖4為示出本發明一實施例之計算設備之用於預測疾病的影像篩選過程的概念圖。
參照圖3,本發明一實施例之計算設備100之處理器110可藉由使用預先學習的第一模型210,基於三維醫學影像10中包含的多個二維醫學影像11、12、13來生成腦疾病的多個預測值21、22、23。在此情況下,第一模型210可將腦疾病的多個預測值21、22、23作為一個特徵向量20輸出。處理器110可將各個二維醫學影像11、12、13用作第一模型210的輸入。處理器110可藉由第一模型210生成包含與各個二維醫學影像11、12、13有關的腦疾病的多個預測值21、22、23的特徵向量20。
例如,三維醫學影像10可以為拍攝整個腦區域的三維磁共振影像。多個二維醫學影像11、12、13可以為藉由對三維磁共振影像進行加工來生成的二維切片影像。多個二維醫學影像11、12、13可根據三維醫學影像10中的順序或位置由編號資訊區分。腦疾病的多個預測值21、22、23可以為向第一模型210輸入的如與各個二維醫學影像11、12、13相對應的阿滋海默氏癡呆等特定疾病的存在概率值。
第一模型210可以為接收從三維醫學影像10生成的多個二維醫學影像11、12、13中的至少一部分來推定腦疾病的存在的神經網路模型。第一模型210可包含從多個輸入影像(例如,多個二維醫學影像)提取用於預測腦疾病的多個特徵的第一神經網路。並且,第一模型210可包含基於藉由第一神經網路提取的多個特徵、包含在多個輸入影像的個人資訊、編號資訊來輸出與各個輸入影像有關的腦疾病的多個預測值的第二神經網路。
例如,第一模型210可包含接收如二維切片影像的醫學影像的作為二維卷積(convolution)神經網路的第一神經網路以及接收第一神經網路的輸出數據的作為全連接(fully-connected)神經網路的第二神經網路。第一神經網路分別接收構成三維醫學影像10的所有二維醫學影像11、12、13並可提取與各個影像11、12、13相對應的多個特徵。第二神經網路可基於與各個影像11、12、13相對應的多個特徵、影像主體的性別、年齡等的個人資訊及各個影像11、12、13的位置資訊(或編號資訊),輸出與如阿滋海默氏癡呆等的特定疾病的存在有關的多個預測值21、22、23。
參照圖3,處理器110可藉由使用預先學習的第二模型220,基於包含腦疾病的多個預測值21、22、23的特徵向量20來計算各個二維醫學影像11、12、13的重要性30。重要性30可以為表示各個二維醫學影像11、12、13有多適合預測腦疾病的預測準確率。重要性30可包含分別表示各個二維醫學影像11、12、13的預測準確率的第一重要性31、第二重要性32及第N重要性(N為自然數)33。
例如,處理器110可藉由向第二模型220輸入包含如阿滋海默氏癡呆等的特定疾病的存在概率值的特徵向量20來判斷與各個二維醫學影像11、12、13相對應的多個概率值的重要性。在此情況下,各個概率值的重要性可用作用於篩選多個二維醫學影像11、12、13中的能夠有效預測如阿滋海默氏癡呆的特定疾病的多個影像的指標。換言之,重要性可以為表示各個二維醫學影像11、12、13的腦疾病預測準確率的評價指標。
第二模型220可以為藉由接收第一模型210的輸出值來判斷是否存在腦疾病的機器學習模型。第二模型220可利用提升樹演算法接收從第一模型210輸出的特徵向量20來判斷是否存在腦疾病。再判斷是否存在腦疾病的過程中,第二模型220可利用提升樹演算法(例如,XGboost演算法)的特性來判斷包含在特徵向量20的各個特徵21、22、23的重要性31、32、33。
參照圖4具體說明本發明一實施例之利用第一模型210及第二模型220的影像篩選過程的整體流程。
參照圖4,處理器110可將包含在表達整個腦區域的三維磁共振影像40的各個二維切片影像用作第一模型210的輸入。在此情況下,向第一模型210輸入的二維切片影像可以為構成三維磁共振影像40的所有影像,進一步可以為其中的一部分影像。第一模型210運算與接收的各個二維切片影像有關的阿滋海默氏癡呆的概率值,並可生成一個特徵向量。
處理器110可將藉由第一模型210生成的一個特徵向量用作第二模型220的輸入。第二模型220可計算與包含在一個特徵向量的各個特徵(例如,阿滋海默氏癡呆的概率值)相對應的重要性50。例如,在N個(N為自然數)二維切片影像向第一模型210輸入且生成包含N個多個特徵的特徵向量的情況下,第二模型220可輸出與N個影像相對應的N個重要性51、52、53、54。
處理器110可對從第二模型220輸出的N個重要性51、52、53、54與閾值進行比較來將向第一模型210輸入的多個二維切片影像中的至少一個篩選為用於預測腦疾病的模型的輸入影像。處理器110可對N個重要性51、52、53、54與預先確定的閾值進行比較來將與閾值以上的重要性相對應的二維切片影像選定為模型輸入影像。例如,如圖4,除了N個重要性51、52、53、54中的閾值以下的第N重要性54,處理器110可選擇閾值以上的第一重要性51、第二重要性52及第三重要性53。處理器110可將與閾值以上的第一重要性51、第二重要性52及第三重要性53相對應的三個二維切片影像確定為能夠有效預測阿滋海默氏癡呆的模型輸入影像。
並且,在前述的過程中,處理器110可獲得表示確定為模型輸入影像的二維切片影像位於三維磁共振影像中的何處的編號資訊。例如,在三維磁共振影像區分為L個(L為自然數)的二維切片影像的情況下,可向L個二維切片影像依次賦予表示三維磁共振影像中的位置的L個編號資訊。處理器110可基於L個編號資訊獲得與模型輸入影像相對應的編號資訊。處理器110可將與模型輸入影像相對應的編號資訊用作為了診斷腦疾病而接收的用於篩選新的多個二維醫學影像的參考編號資訊。如圖4,在處理器110將與三個重要性51、52、53相對應的三個二維切片影像61確定為模型輸入影像的情況下,處理器110可將三個二維切片影像61的編號資訊作為參考編號資訊62儲存在記憶體130來用於篩選後續影像。
此外,如第一模型210,處理器110可將基於第二模型220的輸出來篩選的適合預測腦疾病的至少一個影像用作執行腦疾病的預測的神經網路模型的學習數據。例如,如圖4,在篩選三個二維切片影像61的情況下,處理器110可基於三個二維切片影像61,學習用於運算阿滋海默氏癡呆的概率值的神經網路模型。即,處理器110可去除三維磁共振影像中包含的多個二維切片影像中的對於預測阿滋海默氏癡呆並不需要的(或並不適合)多個影像來構建用於阿滋海默氏癡呆預測模型的高純度學習數據。藉由由處理器110構建的高純度學習數據,神經網路模型可顯著提高用於預測阿滋海默氏癡呆的學習效率及預測準確率。
圖5為示出本發明一實施例的對於計算設備的醫學影像的預處理過程的概念圖。
參照圖5,處理器110可藉由使用以在醫學影像中去除妨礙腦疾病的分析的組織為目的預先學習的第三模型230來從醫學影像提取腦實質區域。在此情況下,第三模型230可以為接收包含至少一個腦區域的二維醫學影像來去除腦之外的區域並提取腦實質區域的神經網路模型。處理器110可將包含藉由第三模型230提取的腦實質區域的多個二維醫學影像用作第一模型210的輸入。由此,第可提高使用一模型210及第二模型220的影像篩選及使用第一模型210的腦疾病的診斷性能。
例如,處理器110可基於第一範本72來變換包含至少一個腦區域的二維醫學影像71。處理器110可基於表示腦區域的參考位置的第一範本72及二維醫學影像71來執行第一剛體變換(rigid transform)241。由此,處理器110可生成以第一範本72為基準排列腦區域的影像73。處理器110可藉由使用第三模型230來從排列腦區域的影像73提取腦實質區域,並可生成提取腦實質區域的影像74。處理器110可基於第二範本75來變換提取腦實質區域的影像74。處理器110可基於表示腦實質區域的參考位置的第二範本75及提取腦實質區域的影像74來執行第二剛體變換242。由此,處理器110可生成以第二範本75為基準排列腦實質區域的影像76。處理器110可將排列腦實質區域的影像76用作第一模型210的輸入。
圖6為本發明一實施例之用於預測疾病的影像篩選方法的流程圖。
參照圖6,在步驟S110中,計算設備100可從醫學影像拍攝系統接收用於預測腦疾病的醫學影像。用於預測腦疾病的醫學影像可以為三維磁共振影像,進一步可以為構成三維磁共振影像的多個二維切片影像。在計算設備100接收三維磁共振影像作為醫學影像的情況下,計算設備100可對三維磁共振影像進行加工來生成多個二維切片影像。在計算設備100接收多個二維切片影像作為醫學影像的情況下,計算設備100可將其用作在對接收的醫學影像未進行單獨的加工的情況下篩選影像或診斷腦疾病的第一模型的輸入。
在步驟S110中,計算設備100可從多個二維切片影像提取去除如骨等的其他組織的腦實質區域。在輸入第一模型之前,計算設備100可執行用於去除多個二維切片影像中的對於判斷腦疾病時並不需要的區域的預處理。計算設備100可執行以表示整個腦區域的參考位置的範本為基準排列包含在多個二維切片影像的腦區域的第一變換。計算設備100可藉由使用第三模型來從進行第一變換的多個影像提取腦實質區域。計算設備100可執行以表示腦實質區域的參考位置的範本為基準排列提取的腦實質區域的第二變換。藉由如上所述之過程,可生成用於篩選影像或診斷腦疾病的第一模型的輸入影像。
在步驟S120中,計算設備100可藉由使用包含神經網路的第一模型來生成包含與提取腦實質區域的各個影像有關的腦疾病的多個預測值的特徵向量。例如,計算設備100可藉由使用包含神經網路的第一模型來計算與提取腦實質區域的各個二維切片影像相對應的阿滋海默氏癡呆的存在概率值。計算設備100可基於提取腦實質區域的多個二維切片影像、標記在各個影像的影像拍攝對象的個人資訊及三維影像中的位置資訊,生成包含阿滋海默氏癡呆的存在概率值的特徵向量。
在步驟S130中,計算設備100可藉由使用第二模型,基於作為第一模型的輸出的特徵向量來推定提取腦實質區域的各個影像的重要性,上述第二模型利用提升樹演算法。重要性可以為用於評價各個影像對於預測腦疾病的適合性或有效性的指標。例如,計算設備100可藉由使用作為XGboost模型的第二模型來導出表示包含在特徵向量的阿滋海默氏癡呆的存在概率值的準確率的重要性。稱為第二模型的XGboost模型僅為提升樹演算法模型的一個例示,本發明並不限定於此。
在步驟S140中,計算設備100可基於作為第二模型的輸出的重要性,篩選提取腦實質區域的多個二維醫學影像中的適合預測腦疾病的影像。計算設備100可對各個影像的重要性與閾值進行比較來篩選能夠有效預測腦疾病的多個影像。例如,計算設備100可將與閾值以上的重要性相對應的所有影像篩選為能夠有效預測阿滋海默氏癡呆的模型輸入影像。並且,計算設備100進一步可將與閾值以上的重要性中的最大值相對應的影像篩選為能夠有效預測阿滋海默氏癡呆的模型輸入影像。
在步驟S140中,計算設備100可獲得並儲存被選定為適合預測腦疾病的多個模型輸入影像的編號資訊。在此情況下,編號資訊可以為表示與二維切片影像相對應的多個模型輸入影像位於三維磁共振影像中的何處的資訊。例如,計算設備100可獲得能夠有效預測阿滋海默氏癡呆的多個模型輸入影像的編號資訊。計算設備100可將獲得的編號資訊儲存為參考編號資訊。計算設備100可將參考編號資訊用於篩選適合於用於預測阿滋海默氏癡呆的神經網路模型(例如,前述的第一模型)的輸入的新的二維切片影像。藉由這種過程,計算設備100可篩選符合腦疾病的種類的多個醫學影像來有效執行腦疾病的預測。
此外,在步驟S140中,計算設備100可基於被選定為適合預測腦疾病的多個模型輸入影像,構成疾病預測模型的學習數據集。計算設備100可藉由向疾病預測模型輸入由基於表示腦疾病的預測準確率的重要性篩選的多個影像構成的學習數據集來學習模型。計算設備100可藉由使用基於適合預測腦疾病的多個模型輸入影像來學習的疾病預測模型,基於醫學影像準確推定腦疾病。
圖7為示出本發明代替實施例之計算設備之用於預測疾病的影像篩選過程的框圖。
參照圖7,本發明代替實施例之計算設備100的處理器110可藉由使用預先學習的細分模型310來將包含在三維醫學影像的二維醫學影像81中存在的至少一個腦區域分割為多個詳細區域。細分模型310可藉由接收二維醫學影像81來生成包含表示腦的各個詳細區域的多個片段82a、82b、82c、82d的輸出數據82。
例如,細分模型310可基於示出整個腦區域的二維醫學影像11、12、13,將腦區域分割為包含皮層(cortex)區域及皮層下區域的多個詳細區域。第一片段82a可以為表示海馬迴的數據。第二片段82b可以為表示杏仁核的數據。第三片段82c可以為表示皮層的數據。第N片段82d可以為表示腦室的數據。第三片段82c可包含分別表示內嗅皮層及海馬旁迴皮層的多個詳細片段。各個片段82a、82b、82c、82d的具體記載僅為一個例示,其順序及內容可根據細分結果不同。
處理器110可基於藉由細分模型310提取的與腦區域有關的資訊,篩選多個二維醫學影像中的適合預測腦疾病的至少一個模型輸入影像。處理器110可基於細分模型310的輸出數據82將多個二維醫學影像中的滿足關於參考區域的規定條件的至少一個影像選定為模型輸入影像。參考區域可以為表示用於判斷特定腦疾病的結構的腦區域。處理器110基於與腦詳細區域有關的資訊中的一部分來判斷是否滿足規定條件,由此可篩選很好地表示參考區域的二維醫學影像(例如,能夠有效預測特定腦疾病的影像)。在此情況下,為了基於與腦詳細區域有關的資訊中的一部分來判斷是否滿足規定條件,處理器110可使用影像篩選模型320。
例如,處理器110可利用多個片段82a、82b、82c、82d中的至少一個位置資訊從藉由細分模型310分割的二維切片影像82中篩選適合判斷阿滋海默氏癡呆的模型輸入影像。處理器110可藉由使用影像篩選模型320,基於與海馬迴、杏仁核、內嗅皮層、海馬旁迴皮層、腦室等腦詳細區域有關的資訊來獲得最能表示作為參考區域的內側顳葉的二維切片影像的編號資訊83。為了判斷是否滿足規定條件,處理器110可綜合利用所有片段82a、82b、82c、82d。如圖7,根據情況,處理器110進一步可僅利用判斷是否滿足規定條件所需的多個片段82a、82b。
與最能表示參考區域的二維切片影像有關的確定條件可基於多個片段82a、82b、82c、82d中的至少一個資訊來預設,具體地,在預設將與第三腦室的質心相對應的二維切片影像確定為模型輸入影像的規定條件的情況下,處理器110可將與包含在三維磁共振影像的多個二維切片影像中的第三腦室的質心相對應的影像選定為用於判斷阿滋海默氏癡呆的模型輸入影像。在此情況下,處理器110可在三維磁共振影像中的表示模型輸入影像的位置的編號資訊確定為參考編號資訊83。處理器110可將參考編號資訊83用於在三維磁共振影像本身中提取能夠有效判斷阿滋海默氏癡呆的二維切片影像。
此外,本發明代替實施例的處理器110可將基於規定條件篩選的適合預測腦疾病的至少一個影像用作執行腦疾病的預測的神經網路模型的學習數據。
圖8為本發明代替實施例之用於預測疾病的影像篩選方法的流程圖。
參照圖8,在步驟S210中,計算設備100可從醫學影像拍攝系統接收用於預測腦疾病的醫學影像。用於預測腦疾病的醫學影像可以為三維磁共振影像,進一步可以為構成三維磁共振影像的多個二維切片影像。在計算設備100接收三維磁共振影像作為醫學影像的情況下,計算設備100可對三維磁共振影像進行加工來生成多個二維切片影像。在計算設備100接收多個二維切片影像作為醫學影像的情況下,計算設備100可將其用作在對接收的醫學影像未進行單獨的加工的情況下將腦區域分割為多個詳細區域的細分模型的輸入。
在步驟S210中,計算設備100可藉由使用細分模型來分割多個二維切片影像中包含的至少一個腦區域。計算設備100藉由使用細分模型來根據包含在多個二維切片影像中的腦區域分割多個腦詳細區域,並可提取與各個詳細區域有關的資訊。計算設備100進一步可使用並不是多個二維切片影像的三維磁共振影像本身作為細分模型的輸入。在此情況下,計算設備100可藉由使用細分模型來將以三維表達的整個腦區域分割為各個詳細區域。
在步驟S220中,計算設備100可基於與多個腦詳細區域有關的資訊來檢查關於參考區域的規定條件。例如,計算設備100可檢查與最能表示用於判斷阿滋海默氏癡呆的參考區域的腦詳細區域有關的資訊是否包含在各個二維切片影像中。計算設備100進一步可檢查與最能表示用於判斷阿滋海默氏癡呆的參考區域的腦詳細區域有關的資訊包含在三維磁共振影像的何處。在此情況下,與腦詳細區域有關的資訊可包含如海馬迴、杏仁核、內嗅皮層、海馬旁迴皮層、腦室等的腦組織的位置資訊。用於判斷阿滋海默氏癡呆的參考區域可以為腦的內側顳葉。阿滋海默氏癡呆僅為腦疾病的一個例示,據此的資訊的種類及條件可根據腦疾病的種類不同。
在步驟S230中,計算設備100可基於與滿足關於參考區域的規定條件的二維切片影像有關的資訊來確定模型輸入影像。計算設備100可將包含與包含在三維磁共振影像的多個二維切片影像中的最能表示參考區域的腦組織有關的位置資訊的影像篩選為模型輸入影像。並且,計算設備100進一步可基於與確定為模型輸入影像的二維切片影像有關的編號資訊,從三維磁共振影像提取二維切片影像。例如,在為了診斷阿滋海默氏癡呆而預先確定的規定條件為最能表示內側顳葉的第三腦室的質心的情況下,計算設備100可將與第三腦室的質心相對應的二維切片影像本身選定為模型輸入影像。並且,計算設備100可基於與第三腦室質心相對應的二維切片影像的編號資訊來從三維磁共振影像提取二維切片影像,並可將提取的二維切片影像用作模型輸入影像。藉由這種過程,計算設備100可藉由篩選根據腦疾病的種類的多個醫學影像來有效執行腦疾病的預測。
此外,在步驟S230中,計算設備100可基於被選定為適合預測腦疾病的多個模型輸入影像來構成疾病預測模型的學習數據集。計算設備100可向疾病預測模型輸入由根據規定條件篩選的多個影像構成的學習數據集來學習模型。計算設備100可藉由使用基於適合預測腦疾病的多個模型輸入影像來學習的疾病預測模型,基於醫學影像準確推定腦疾病。
圖9為示出本發明一實施例之計算設備的疾病預測過程的框圖。
參照圖9,本發明一實施例的計算設備100的處理器110可藉由使用以從醫學影像中去除妨礙腦疾病的分析的組織為目的預先學習的預處理模型來從醫學影像提取腦實質區域。在此情況下,預處理模型可以為接收包含至少一個腦區域的二維醫學影像來去除腦之外的區域並提取腦實質區域的神經網路模型。處理器110可在用於輸入疾病診斷模型400的篩選過程中使用多個二維醫學影像,多個上述二維醫學影像包含藉由預處理模型提取的腦實質區域。使用預處理模型的腦實質區域的提取方式與前述的第三模型230(參照圖5)相似,因此,將省略與模型的結構、操作及功能等有關的追加說明。
處理器110可從提取腦實質區域的多個二維醫學影像91中篩選適合預測腦疾病的至少一個模型輸入影像(例如,疾病診斷模型400的輸入影像)。在此情況下,為了篩選模型輸入影像,處理器110可利用使用預先獲得的參考編號資訊92的方式及對於每個影像計算參考編號資訊92的方式中的一個。例如,處理器110可基於表示腦疾病的預測準確率的重要性來將與預先確定的參考編號資訊92相對應的第一影像91a及第二影像91b確定為模型輸入影像並使用。並且,處理器110藉由細分模型分割提取腦實質區域的多個二維醫學影像91,進一步可基於分割的資訊將與規定條件相對應的第一影像91a及第二影像91b作為模型輸入影像確定或提取。
如圖3,處理器110可藉由使用第一模型210及第二模型220來預先確定參考編號資訊92,上述第一模型210藉由接收包含在三維醫學影像的所有二維醫學影像來導出腦疾病的預測值,上述第二模型220可基於第一模型210的輸出來計算表示腦疾病的預測準確率的重要性。其中,參考編號資訊92係指重要性為閾值以上的至少一個二維醫學影像的三維醫學影像中的位置資訊。處理器110可將提取腦實質區域的新的多個二維醫學影像91中的與基於第一模型210及第二模型220預先確定的參考編號資訊92匹配的多個影像作為疾病診斷模型400的輸入影像篩選並使用。在此情況下,可以為與疾病診斷模型400的圖3的第一模型210相同的模型。
並且,如圖7,每當接收醫學影像時,處理器110可藉由使用細分模型310來分割包含在醫學影像中的腦區域。並且,處理器110可藉由使用影像篩選模型320,基於由細分模型310分割的多個腦詳細區域的資訊來獲得與適合預測腦疾病的模型影像有關的參考編號資訊83、92。在此情況下,影像篩選模型320可基於與關於參考區域的規定條件相對應的多個腦詳細區域的資訊來計算參考編號資訊83、92。在此種方式的情況下,處理器110可將與參考編號資訊92相對應的提取腦實質區域的多個二維醫學影像91a、91b直接用作疾病診斷模型400的輸入。處理器110進一步可從三維醫學影像提取與參考編號資訊92相對應的二維醫學影像,並將上述二維醫學影像用作疾病診斷模型400的輸入。
參照圖9,處理器110可藉由使用疾病診斷模型400,基於至少一個模型輸入影像來預測腦疾病的存在概率。例如,處理器110可向疾病診斷模型400輸入藉由如前所述之方式篩選的第一影像91a及第二影像92b來獲得與多個輸入影像91a、92b分別相對應的第一預測值93a及第二預測值93b。處理器110可對基於各個輸入影像91a、92b推定的第一預測值93a及第二預測值93b進行集成(ensemble)來計算最終預測值94。其中,集成係指計算各個預測值的總和平均值的方式,但並不限定於此,可應用各種集成方式。藉由此種過程,處理器1100提供在判斷腦疾病時並不需要的多個資訊並僅使用能夠有效判斷腦疾病的多個資訊來大幅提高腦疾病的預測性能。
此外,疾病診斷模型400可藉由處理器110,基於包含在三維醫學影像的多個二維醫學影像中的預先篩選為適合預測腦疾病的至少一個影像來預先學習。在此情況下,疾病診斷模型400的用於學習的輸入影像可以為藉由如圖3或圖7所示之過程由處理器110篩選的適合預測腦疾病的至少一個影像。例如,疾病診斷模型400可藉由圖3的第一模型210及第二模型220,基於至少一個影像來進行學習,上述至少一個影像基於表示與包含在三維醫學影像的各個二維醫學影像有關的腦疾病的預測準確率的重要性30來篩選。疾病診斷模型400進一步可基於在藉由圖7的細分模型310分割的二維醫學影像82中根據規定標準篩選的至少一個影像來進行學習。與基於所有影像進行學習的方式相比,基於藉由圖3或圖7的過程篩選的影像的疾病診斷模型400的學習可大幅提高模型的整體學習效率及預測性能。
圖10為示出本發明一實施例之基於醫學影像的疾病預測方法的流程圖。參照圖10的以下流程為如下方法的一例:使用藉由預先計算來確定的參考編號資訊來篩選醫學影像,基於篩選的影像來判斷腦疾病。
參照圖10,在步驟S310中,計算設備100可從醫學影像拍攝系統接收用於預測腦疾病的醫學影像。用於預測腦疾病的醫學影像可以為三維磁共振影像,進一步可以為構成三維磁共振影像的多個二維切片影像。在計算設備100接收三維磁共振影像作為醫學影像的情況下,計算設備100可藉由對三維磁共振影像進行加工來生成多個二維切片影像。在計算設備100接收多個二維切片影像作為醫學影像的情況下,計算設備100可將其用作在對接收的醫學影像未進行單獨的加工的情況下將腦區域分割為多個詳細區域的細分模型的輸入。
在步驟S310中,計算設備100可藉由使用預處理模型來從多個二維醫學影像中分別提取腦實質區域。腦實質區域係指除成為判斷腦疾病的妨礙因素的骨等的其他組織之外的腦組織的區域。計算設備100可藉由生成提取腦實質區域的二維醫學影像來有效執行用於診斷疾病的如下步驟。
在步驟S320中,計算設備100可將與藉由多個機器學習模型預先確定的參考編號資訊匹配的至少一個二維醫學影像篩選為模型輸入影像。例如,計算設備100可藉由使用多個機器學習模型,基於與包含在三維磁共振影像的各個二維切片影像有關的阿滋海默氏癡呆預測的重要性來預先提取適合預測阿滋海默氏癡呆的至少一個二維切片影像的位置資訊。位置資訊為參考編號資訊,是表示二維切片影像位於三維磁共振影像中的何處的資訊。計算設備100可選定提取腦實質區域的多個二維切片影像中的與參考編號資訊相對應的多個二維切片影像,並可用作用於診斷阿滋海默氏癡呆的模型的輸入影像。
在步驟S330中,計算設備100可藉由使用疾病診斷模型,基於根據參考編號資訊篩選的至少一個二維醫學影像來預測腦疾病的存在概率。例如,計算設備100作為疾病診斷模型接收根據參考編號資訊篩選的至少一個二維切片影像,並可輸出與二維切片影像相對應的阿滋海默氏癡呆的存在概率值。在向疾病診斷模型輸入多個二維切片影像的情況下,計算設備100可對與各個影像相對應的阿滋海默氏癡呆的存在概率值進行集成來生成最終預測值。最終預測值為表示是否存在基於腦疾病的存在概率確定的腦疾病的資訊。因此,計算設備100可藉由疾病診斷模型生成並提供與是否存在阿滋海默氏癡呆有關的資訊。
圖11為示出本發明代替實施例之基於醫學影像的疾病預測方法的流程圖。參照圖11的以下的流程為如下的方法的一例:每當接收醫學影像時,每次提取參考編號資訊,基於參考編號資訊來篩選輸入影像並判斷腦疾病。將省略對於執行與圖10中的步驟S310及步驟S330相同的功能的圖11的步驟S410及步驟S440的說明。
參照圖11,在步驟S420中,計算設備100可藉由使用細分模型,將提取腦實質區域的各個二維醫學影像中包含的至少一個腦區域分割為多個詳細區域。例如,計算設備100可藉由使用細分模型來將提取腦實質區域的多個二維切片影像中包含的腦區域區分為海馬迴、杏仁核、內嗅皮層、海馬旁迴皮層、腦室等的多個詳細區域並提取。在此情況下,細分模型可分割存在於各個二維切片影像中的多個詳細區域。當在二維切片影像中不存在腦室區域時,細分模型可由除腦室區域之外的剩餘詳細區域分割二維切片影像。
在步驟S430中,計算設備100可基於與藉由細分模型提取的多個腦詳細區域有關的資訊,將多個二維醫學影像中的適合預測腦疾病的至少一個影像篩選為模型輸入影像。在此情況下,計算設備100可獲得適合預測腦疾病的至少一個影像的編號資訊作為用於選定模型輸入影像的參考編號資訊。例如,計算設備100將包含關於與規定條件相對應的腦詳細區域的資訊的影像選定為適合判斷阿滋海默氏癡呆的影像,並可提取相應影像的編號資訊。在此情況下,規定條件為預先確定的值,是用於判斷二維切片影像是否包含最能表示作為阿滋海默氏癡呆的判斷所需的參考區域的內側顳葉的腦詳細區域的位置資訊的條件。計算設備100可根據規定條件將包含最能表示內側顳葉的腦詳細區域(例如,第三腦室等)的位置資訊(例如,質心等)的二維切片影像選定為模型輸入影像。
另外,根據本發明之一實施例,公開儲存有數據結構的電腦可讀介質。
數據結構係指能夠有效訪問及修改數據的數據的組織、管理、儲存。數據結構係指用於解決特定問題(例如,在最短時間內搜索數據、儲存數據、修改數據)的數據的組織。數據結構可定義為以支持特定數據處理功能的方式設計的多個數據元素之間的物理或理論關係。多個數據元素之間的理論關係可包含多個用戶定義數據元素之間的連接關係。多個數據元素之間的物理關係可包含物理儲存在電腦可讀儲存介質(例如,永久儲存裝置)的多個數據元素之間的實際關係。數據結構可具體包含數據的集合、數據之間的關係、可應用於數據的函數或指令。藉由有效設計的數據結構,計算設備能夠以盡可能不使用計算設備的資源的方式執行運算。具體地,計算設備可藉由有效設計的數據結構提高運算、讀取、插入、刪除、比較、交換、搜索的有效性。
數據結構可根據數據結構的形態分為線性數據結構及非線性數據結構。線性數據結構可以為在一個數據之後僅連接一個數據的結構。線性數據結構可包含列表(List)、堆疊(Stack)、佇列(Queue)、雙端佇列(Deque)。列表係指內部存在順序的一組數據集合。列表可包含鏈接列表(Linked List)。鏈接列表可以為以各個數據具有指示字並連接成一行的方式連接數據的數據結構。在鏈接列表中,指示字可包含與之後或者之前數據的連接資訊。鏈接列表可根據形態由單一鏈接列表、雙鏈接列表、圓形鏈接列表表達。堆疊可以為對數據的訪問受限的數據列表結構。堆疊可以為僅在數據結構的一端處理(例如,插入或刪除)數據的線性數據結構。儲存在堆疊的數據可以為後進先出的數據結構(LIFO-Last in First Out)。佇列為對數據的訪問受限的數據列表結構,與堆疊不同地,可以為先進先出的數據結構(FIFO-First in First Out)。雙端佇列可以為能夠在數據結構的兩端處理數據的數據結構。
非線性數據結構可以為一個數據之後連接多個數據的結構。非線性數據結構可包含圖形(Graph)數據結構。圖形數據結構可定義為頂點(Vertex)及邊(Edge),邊可包含連接互不相同的兩個頂點的線。可包含圖形數據結構數(Tree)數據結構。樹數據結構可以為在包含在樹的多個頂點中連接互不相同的兩個頂點的途徑為一個的數據結構。即,可以為在圖形數據結構中不形成迴圈(loop)的數據結構。
在本說明書全文中,運算模型、神經網路、網路函數、神經網路能夠以相同的含義使用。以下,統一為神經網路來記述。數據結構可包含神經網路。並且,包含神經網路的數據結構可儲存在電腦可讀介質。包含神經網路的數據結構進一步可包含為了藉由神經網路的處理而預處理的數據、向神經網路輸入的數據、神經網路的權重、神經網路的超參數、從神經網路獲得的數據、與神經網路的各節點或層相關的啟動函數、用於學習神經網路的損失函數等。包含神經網路的數據結構可包含上述揭示的構成中的任意組件。即,包含神經網路的數據結構可包含為了藉由神經網路的處理而預處理的數據、向神經網路輸入的數據、神經網路的權重、神經網路的超參數、從神經網路獲得的數據、與神經網路的各個節點或層相關的啟動函數、用於學習神經網路的損失函數等的全部或其等的任意組合。除前述的構成之外,包含神經網路的數據結構可包含確定神經網路的特性的任意其他資訊。並且,數據結構可包含在神經網路的計算過程中使用或發生的所有形態的數據,並不局限於前述的事項。電腦可讀介質可包含電腦可讀記錄介質及/或電腦可讀傳輸介質。神經網路可由通常稱為節點的相互連接的計算單位的集合構成。此種節點進一步可稱為神經元(neuron)。神經網路可包含一個以上的節點。
數據結構可包含向神經網路輸入的數據。包含向神經網路輸入的數據的數據結構可儲存在電腦可讀介質中。向神經網路輸入的數據可包含在神經網路學習過程中輸入的學習數據及/或向學習完成的神經網路輸入的輸入數據。向神經網路輸入的數據可包含進行預處理(pre-processing)的數據及/或成為預處理對象的數據。預處理可包含用於向神經網路輸入數據的數據處理過程。因此,數據結構可包含成為預處理對象的數據及藉由預處理發生的數據。前述的數據結構僅為一個例示,本發明並不局限於此。
數據結構可包含神經網路的權重(在本說明書中,權重、參數能夠以相同的含義使用)。並且,包含神經網路的權重的數據結構可儲存在電腦可讀介質。神經網路可包含多個權重。權重是可變的,為了執行神經網路所要的功能,可被用戶或演算法改變。例如,在一個以上的輸入節點藉由各自的鏈接與一個輸出節點相互連接的情況下,輸出節點可基於向與上述輸出節點連接的多個輸入節點輸入的多個值及在與各個輸入節點相對應的鏈接設置的權重,來確定從輸出節點輸出的數據值。前述的數據結構僅為例示,本發明並不局限於此。
作為非限制性例,權重可包含在神經網路學習過程中可變的權重及/或神經網路學習完成的權重。在神經網路學習過程中可變的權重可包含學習週期開始時的權重及/或學習週期中可變的權重。神經網路學習完成度權重可包含學習週期完成度權重。因此,包含神經網路的權重的數據結構可包含如下的數據結構,即,包含在神經網路學習過程中可變的權重及/或神經網路學習完成的權重。因此,上述的權重及/或各個權重的組合包含在包含神經網路的權重的數據結構。前述的數據結構僅為一個例示,本發明並不局限於此。
包含神經網路的權重的數據結構可在進行串行化(serialization)過程後儲存在電腦可讀儲存介質(例如,記憶體、硬碟)。串行化可以為如下過程,即,將數據結構儲存在相同或不同的計算設備,並變換為能夠重組使用的形態。計算設備可對數據結構進行串行化來藉由網路發送或接收數據。包含串行化的神經網路的權重的數據結構可藉由還原序列化(deserialization)來在相同的計算設備或不同的計算設備重組。包含神經網路的權重的數據結構並不限定於串行化。進而,包含神經網路的權重的數據結構可包含盡可能不使用計算設備的資源並提高計算的效率的數據結構(例如,非線性數據結構中的B-Tree、Trie、m-way search tree、AVL tree、Red-Black Tree)。前述的事項僅為例示,本發明並不局限於此。
數據結構可包含神經網路的超參數(Hyper-parameter)。並且,包含神經網路的超參數的數據結構可儲存在電腦可讀介質中。超參數可以為由用戶改變的變數。超參數可包含如學習率(learning rate)、費用函數(cost function)、學習週期重複次數、權重初始化(Weight initialization)(例如,成為權重初始化對象的權重值的範圍設定)、隱藏單元(Hidden Unit)數量(例如,隱藏層的數量、隱藏層的節點數)。前述的數據結構僅為例示,本發明並不局限於此。
圖12為對於能夠實現本發明之實施例之例示性計算環境的簡要且通常的簡圖。
以本發明通常由計算設備實現的情況為例進行說明,但只要是所屬技術領域中具有通常知識者就可知道,本發明與可在一個以上的電腦上執行的電腦可執行指令及/或其他程式模組結合及/或由硬體及軟體的組合實現。
通常,程式模組包含執行特定任務或體現特定抽象數據類型的里程、程式、組件、數據結構、其他等等。並且,只要是所屬技術領域中具有通常知識者就可知,本發明的方法可由包含單一處理器或多處理器電腦系統、小型電腦、大型電腦、個人電腦、手持(handheld)計算設備、基於微處理器或可編程電子產品、其他等等(此等分別與一個以上的相關設備連接來操作)的其他電腦系統構成實施。
本發明的說明的實施例進一步可在一些任務被藉由通訊網絡連接的遠程處理裝置執行的分散計算環境中實施。在分散計算環境中,程式模組可位於本地及遠程記憶體儲存裝置兩者。
電腦通常包含各種電腦可讀介質。可藉由電腦訪問的介質均可以為電腦可讀介質,此種電腦可讀介質包含易失性及非易失性介質、暫時性(transitory)及非暫時性(non-transitory)介質、可移動及不可移動介質。作為非限制性例,電腦可讀介質可包含電腦可讀儲存介質及電腦可讀傳輸介質。電腦可讀儲存介質包含用於儲存如電腦可讀指令、數據結構、程式模組或其他數據的資訊的以任意方法或技術體現的易失性及非易失性介質、暫時性及非暫時性介質、可移動及不可移動介質。電腦可讀儲存介質可包含隨機存取記憶體(RAM)、唯讀記憶體(ROM)、電可除程式化唯讀記憶體(EEPROM)、快閃記憶體或其他記憶體技術、CD-ROM、數位光碟(DVD,digital video disk)或其他光碟儲存裝置、磁帶盒、磁帶、磁片儲存裝置或其他磁性儲存裝置、或者可由電腦訪問並儲存所要的資訊的任意其他介質,但並不限定於此。
電腦可讀傳輸介質通常包含在如載波(carrier wave)或其他傳輸機制(transport mechanism)的調製數據訊號(modulated data signal)實現電腦可讀指令、數據結構、程式模組或其他數據等的所有資訊傳遞介質。術語「調製數據訊號」是指以編碼訊號中的資訊的方式設置或變更其訊號的特性中的一種以上的訊號。作為非限制性例,電腦可讀傳輸介質包含如有線網路或直接有線連接(direct-wired connection)的有線介質以及如聲音、射頻(RF)、紅外線、其他無線介質的無線介質。上述的介質中的任意組合也包含在電腦可讀傳輸介質的範圍內。
示出了用於實現包含電腦1102之本發明的多個方面的例示性環境1100,電腦1102包含處理裝置1104、系統記憶體1106以及系統匯流排1108。系統匯流排1108可將包含系統記憶體1106(並不限定於此)在內的系統組件與處理裝置1104相連接。處理裝置1104可以為各種商用處理器中的任意處理器。雙處理器及其他多處理器架構也可用作處理裝置1104。
系統匯流排1108可以為在使用記憶體匯流排、周圍裝置匯流排及各種商用匯流排架構中的任意一種的本地匯流排追加相互連接的幾種類型的匯流排結構中的任意匯流排。系統記憶體1106包含唯讀記憶體1110以及隨機存取記憶體1112。基本輸入/輸出系統(BIOS)儲存在唯讀記憶體、可除程式化唯讀記憶體(EPROM)、電可除程式化唯讀記憶體等的非易失性記憶體1110,該基本輸入/輸出系統包含如啟動時幫助電腦1102中的多個組件之間傳輸資訊的基本例程。隨機存取記憶體1112進一步可包含用於緩存數據的靜態隨機存取記憶體等的高速隨機存取記憶體。
電腦1102進一步包含內置型硬碟驅動器(HDD)1114(例如,EIDE、SATA)(該內置型硬碟驅動器1114進一步可在適當的底盤(未圖示)中以外置型用途構成)、磁片驅動器(FDD)1116(例如,用於從可移動軟碟1118讀取或向其記錄)及光碟驅動器1120(例如,讀取CD-ROM盤1122或從數位光碟等的其他高容量光介質讀取或向其記錄)。硬碟驅動器1114、磁片驅動器1116及光碟驅動器1120可分別藉由硬碟驅動器介面1124、磁片驅動器介面1126及光驅動器介面1128與系統匯流排1108連接。用於體現外置型驅動器介面1124包含通用串行匯流排(USB:Universal Serial Bus)及IEEE 1394介面技術中的至少一個或兩者。
此等驅動器及與其相關的電腦可讀介質提供數據、數據結構、電腦可執行指令、其他等等的非易失性儲存。在電腦1102的情況下,驅動器及介質與以數字形式儲存任意數據相對應。上述中的與電腦可讀介質有關的說明提及了硬碟驅動器、可移動磁片及光碟(CD)或數位光碟等的可移動光介質,只要是所屬技術領域中具有通常知識者可知,zip驅動器(zip drive)、磁帶盒、記憶卡、盒式磁帶、其他等等的電腦可讀的其他類型的介質也可在例示性操作環境中使用,並且,任意的此種介質可包含用於執行本發明的方法的電腦可執行指令。
包含操作系統1130、一個以上的應用程式1132、其他程式模組1134及程式數據1136在內的多個程式模組可儲存在驅動器及隨機存取記憶體1112。操作系統、應用程式、模組及/或數據的全部或其一部分也可緩存在隨機存取記憶體1112中。本發明可由各種商業上可利用的操作系統或多個操作系統的組合實現。
用戶可藉由一個以上的有線/無線輸入設備,例如鍵盤1138及滑鼠1140等定點設備向電腦1102輸入指令及資訊。其他輸入設備(未圖示)可例舉麥克風、紅外線(IR)遙控器、操縱桿、遊戲板、觸控筆、觸控面板、其他等等。此等輸入設備及其他輸入設備通常藉由連接在系統匯流排1108的輸入裝置介面1142與處理裝置1104連接,進一步可藉由並行端口、IEEE 1394串行端口、遊戲端口、通用串行匯流排端口、紅外線介面、其他等等的其他介面連接。
顯示器1144或其他類型的顯示設備也可藉由視訊適配器1146等的介面連接到系統匯流排1108。除顯示器1144之外,電腦通常包含揚聲器、印表機、其他等等的周圍輸出設備(未圖示)。
電腦1102可在藉由使用借助有線及/或無線通訊的(多個)遠程電腦1148等的一個以上的遠程電腦的理論連接來網路化的環境匯總操作。(多個)遠程電腦1148可以為工作站、計算設備電腦、路由器、個人電腦、可攜式電腦、基於微處理器的娛樂設備、對等設備或其他通常的網路節點,通常包含對於電腦1102記述的組件中的大部分或全部,為了簡略,僅示出記憶體儲存設備1150。圖示的理論連接包含區域網路(LAN)1152及/或更大的網路,例如,廣域網路(WAN)1154中的有線/無線連接。此種區域網路及廣域網路網路環境在辦公室及公司常見,促進了內部網等的企業級電腦網(enterprise-wide computer network),此等均可連接到全球電腦網絡,例如,網際網路。
當在區域網路網路環境中使用時,電腦1102藉由有線及/或無線通訊網絡介面或適配器1156連接到區域網路1152。適配器1156可使區域網路1152中的有線或無線通訊變得容易,並且,為了與無線適配器1156進行通訊,該區域網路1152包含設置於其的無線訪問接入點。當在廣域網路網路環境中使用時,電腦1102可包含數據機1158,或者與廣域網路1154上的通訊計算設備連接或藉由借助網際網路進行通訊等廣域網路1154設置通訊的其他單元。可以為內置型或外置型及有線或無線設備的數據機1158藉由串行端口介面1142與系統匯流排1108連接。在網路化的環境中,對於電腦1102說明的多個程式模組或其一部分可儲存在遠程記憶體/儲存設備1150。圖示的網路連接僅為例示,可使用在多個電腦之間設置通訊鏈接的其他單元。
電腦1102進行與藉由無線通訊配置並操作的任意無線設備或對象,例如印表機、掃描器、桌上型電腦及/或可攜式電腦、個人數位助理(PDA,portable data assistant)、通訊衛星、與可無線檢測的標籤相關的按任意設備或場所及電話通訊的操作。其至少包含無線保真(Wi-Fi)及藍牙無線技術。因此,通訊可以為如以往的網路預先定義的結構或簡單地至少兩個設備之間的自組織通訊(ad hoc communication)。
無線保真(Wi-Fi,Wireless Fidelity)可在沒有有線的情況下連接到網際網路等。無線保真為此種設備,例如電腦在室內及室外,即基地台的範圍內的任何位置傳輸及接收數據的如手機的無線技術。無線保真網路安全可靠,為了提供告訴的無線連接,使用稱為IEEE 802.11(a、b、g、其他)的無線技術。為了使電腦相互連接或使電腦與網際網路及有線網路(使用IEEE 802.3或以外網),可使用無線保真。無線保真網路可在未經許可的2.4Hz及5GHz無線頻段中,例如,以11Mbps(802.11a)或54Mbps(802.11b)數據速率運行,或可在包含兩個頻段(雙頻段)的產品中運行。
本發明所屬技術領域中具有通常知識者可理解的是,資訊及訊號可利用任意格的各種不同的技術及方法表達。例如,可在上述的說明中參照的數據、指示、指令、資訊、訊號、位、符號及晶片可藉由電壓、電流、電磁波、磁場或粒子、光場或粒子、或者其等的任意結合表達。
本發明所屬技術領域中具有通常知識者可理解的是,與在此公開的實施例關聯來說明的各種例示性理論塊、模組、處理器、單元、電路及演算法步驟可由電子硬體、(為了便利,在此稱為軟體的)各種形態的程式或設計代碼、或者其等的組合體現。為了明確說明硬體及軟體的此種互換性,於各種例示性組件、塊、模組、電路及步驟與其等的功能關聯來進行說明。此種功能是否利用硬體或軟體體現取決於對特定應用程式及整個系統賦予的設計制約。本發明所屬技術領域中具有通常知識者可理解的是,可實現以對各個特定應用程式以各種方式說明的功能,但此等實現確定不應解釋為超出本發明的範圍。
在此揭示的各種實施例可由使用方法、設備或標準編程及/或工程技術的製品(article)體現。術語「製品」包含可藉由任意電腦可讀儲存設備訪問的電腦程式、載體或介質(media)。例如,電腦可讀儲存介質包含磁儲存設備(例如,硬碟、軟碟、磁條等)、光碟(例如,光碟、數位光碟等)、積體電路卡及快閃記憶體設備(例如,電可除程式化唯讀記憶體、卡、條、鍵驅動等),但並不局限於此。並且,在此揭示的各種儲存介質包含用於儲存資訊的一個以上的設備及/或其他機械可讀介質。
需理解的是,揭示的流程中的步驟的特定順序或層次結構為例示性訪問的一例。基於設計優先順序,本發明範圍內的流程中的步驟的特定順序或層次結構可重新排列。發明申請專利範圍作為樣品順序提供各種步驟的要素,但並不意味著限定於揭示的特定順序或層次結構。
對於揭示的實施例的說明以可使任意的本發明所屬技術領域中具有通常知識者利用或實施本發明的方式提供。對於此種實施例的各種變形對於本發明所屬技術領域中具有通常知識者而言是顯而易見的,在此定義的通常的原理可在不超出本發明的範圍內應用於其他實施例。因此,本發明並不限定於在此揭示的實施例,需在與在此揭示的原理新的多個特徵一致的最寬範圍內解釋。
〔產業上的可利用性〕
本發明可在分析醫學影像的計算設備等使用。
10:三維醫學影像
11,12,13,81,91:二維醫學影像
20:特徵向量
21,22,23:預測值
30:重要性
31:第一重要性
32:第二重要性
33:第N重要性(N為自然數)
40:三維磁共振影像
50:一個特徵向量的各個特徵相對應的重要性
61:二維切片影像
62,83,92:編號資訊
71:腦區域的二維醫學影像
72:第一範本
73:排列腦區域的影像
74:提取腦實質區域的影像
75:第二範本
76:排列腦實質區域的影像
82:輸出數據
82a:第一片段
82b:第二片段
82c:第三片段
82d:第四片段
91a:第一影像
91b:第二影像
93a:第一預測值
93b:第二預測值
94:最終預測值
100:計算設備
110:處理器
130:記憶體
150:網路部
210:第一模型
220:第二模型
230:第三模型
241:第一剛體變換
242:第二剛體變換
310:細分模型
320:影像篩選模型
400:疾病診斷模型
1102:電腦
1104:處理裝置
1106:系統記憶體
1108:系統匯流排
1110:唯讀記憶體
1112:隨機存取記憶體
1114:硬碟驅動器
1116:磁片驅動器
1118:可移動軟碟
1120:光碟驅動器
1124:驅動器介面
1126:磁片驅動器介面
1128:光驅動器介面
1130:操作系統
1132:應用程式
1134:程式模組
1136:程式數據
1138:鍵盤
1140:滑鼠
1142:介面
1144:顯示器
1146:視訊適配器
1148:遠程電腦
1150:儲存設備
1152:區域網路
1154:廣域網路
1156:適配器
1158:數據機
〔圖1〕為本發明一實施例之用於基於醫學影像預測疾病之計算設備的框圖。
〔圖2〕為示出本發明一實施例之網路函數的簡圖。
〔圖3〕為示出本發明一實施例之計算設備之用於預測疾病的影像篩選過程的框圖。
〔圖4〕為示出本發明一實施例之計算設備之用於預測疾病的影像篩選過程的概念圖。
〔圖5〕為示出本發明一實施例之計算設備之對於醫學影像之預處理過程的概念圖。
〔圖6〕為本發明一實施例之用於預測疾病的影像篩選方法的流程圖。
〔圖7〕為示出本發明代替實施例之計算設備之用於預測疾病的影像篩選過程的框圖。
〔圖8〕為本發明代替實施例之用於預測疾病的影像篩選方法的流程圖。
〔圖9〕為示出本發明一實施例之計算設備的疾病預測過程的框圖。
〔圖10〕為示出本發明一實施例之基於醫學影像的疾病預測方法的流程圖。
〔圖11〕為示出本發明代替實施例之基於醫學影像的疾病預測方法的流程圖。
〔圖12〕為本發明一實施例之計算環境的簡圖。
10:三維醫學影像
11,12,13:二維醫學影像
20:特徵向量
21,22,23:預測值
30:重要性
31:第一重要性
32:第二重要性
33:第N重要性(N為自然數)
210:第一模型
220:第二模型
Claims (15)
- 一種基於醫學影像的疾病預測方法,其特徵係藉由包含至少一個處理器的計算設備執行,其中,包含如下步驟:藉由使用預先學習的第一模型,生成關於與三維醫學影像中包含的各個二維醫學影像有關的腦疾病的多個存在概率值的特徵向量;藉由使用預先學習的第二模型,基於該特徵向量來推定用於表示與各個該二維醫學影像有關的作為腦疾病預測模型的輸入的適合度的重要性;以及基於該重要性,篩選多個該二維醫學影像中適合預測該腦疾病的至少一個模型輸入影像。
- 如請求項1所述之基於醫學影像的疾病預測方法,其中,進一步包含如下步驟:藉由使用預先學習的第三模型,從以範本為基準排列腦區域的位置的多個二維醫學影像中分別提取腦實質區域。
- 如請求項1所述之基於醫學影像的疾病預測方法,其中,該第一模型基於在多個該二維醫學影像、與該三維醫學影像的拍攝對象有關的個人資訊及該三維醫學影像中表示多個二維醫學影像的位置的編號資訊來生成該特徵向量。
- 如請求項3所述之基於醫學影像的疾病預測方法,其中,該第一模型包含:第一神經網路,從多個該二維醫學影像提取用於預測該腦疾病的多個特徵;以及第二神經網路,基於藉由該第一神經網路提取的多個特徵、該個人資訊及該編號資訊,輸出與各個該二維醫學影像有關的腦疾病的多個預測值。
- 如請求項1所述之基於醫學影像的疾病預測方法,其中,基於在輸入該特徵向量的該第二模型中使用的提升樹演算法(tree boosting algorithm)推定該重要性。
- 如請求項1所述之基於醫學影像的疾病預測方法,其中,篩選適合預測該腦疾病的至少一個模型輸入影像的步驟包含如下步驟:對該重要性與閾值進行比較,將多個該二維醫學影像中的至少一個選定為該模型輸入影像;以及獲取在該三維醫學影像中表示選定的該模型輸入影像的位置的參考編號資訊。
- 如請求項1所述之基於醫學影像的疾病預測方法,其中,進一步包含將篩選的該至少一個模型輸入影像用作疾病診斷模型的學習數據的步驟。
- 一種基於醫學影像的疾病預測方法,其特徵係藉由包含至少一個處理器的計算設備執行,其中,包含如下步驟:藉由使用預先學習的細分模型,生成用於分割三維醫學影像中包含的各個二維醫學影像中存在的至少一個腦區域的資訊;以及基於用於分割生成的該至少一個腦區域的資訊,篩選多個該二維醫學影像中的適合預測腦疾病的至少一個模型輸入影像。
- 如請求項8所述之基於醫學影像的疾病預測方法,其中,將該二維醫學影像中的滿足與參考區域相關的規定條件的影像選定為適合預測該腦疾病的至少一個模型輸入影像。
- 如請求項9所述之基於醫學影像的疾病預測方法,其中,該參考區域包含內側顳葉(medial temporal lobe),分割的該至少一個腦區域包含海馬迴(hippocampus)、杏仁核(amygdala)、內嗅 皮層(entorhinal cortex)、海馬旁迴皮層(parahippocampal cortex)或腦室(ventricle)中之至少一個。
- 如請求項8所述之基於醫學影像的疾病預測方法,其中,進一步包含將篩選的該至少一個模型輸入影像用作疾病診斷模型的學習數據的步驟。
- 一種基於醫學影像的疾病預測方法,其特徵係藉由包含至少一個處理器的計算設備執行,其中,包含如下步驟:藉由使用預先學習的預處理模型,從以範本為基準排列腦區域的位置的多個二維醫學影像中分別提取腦實質區域;篩選已提取該腦實質區域的多個二維醫學影像中的適合預測腦疾病的至少一個模型輸入影像;以及藉由使用預先學習的疾病診斷模型,基於篩選的該模型輸入影像來預測腦疾病的存在概率。
- 如請求項12所述之基於醫學影像的疾病預測方法,其中,篩選適合預測該腦疾病的至少一個模型輸入影像的步驟包含如下步驟:將提取該腦實質區域的多個二維醫學影像中的與參考編號資訊相對應的至少一個影像選定為該模型輸入影像,該參考編號資訊基於表示與三維醫學影像中包含的各個二維醫學影像有關的腦疾病的預測準確率的重要性來預先確定。
- 如請求項12所述之基於醫學影像的疾病預測方法,其中,篩選適合預測該腦疾病的至少一個模型輸入影像的步驟包含如下步驟:藉由使用預先學習的細分模型,分割已提取該腦實質區域的各個二維醫學影像中包含的至少一個腦區域;以及 基於與分割的該至少一個腦區域有關的資訊,篩選已提取該腦實質區域的多個二維醫學影像中的適合預測該腦疾病的至少一個模型輸入影像。
- 如請求項12所述之基於醫學影像的疾病預測方法,其中,該疾病診斷模型基於三維醫學影像中包含的多個二維醫學影像中的適合預測腦疾病而篩選的至少一個影像來進行學習。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2020-0168183 | 2020-12-04 | ||
KR1020200168183A KR102534453B1 (ko) | 2020-12-04 | 2020-12-04 | 의료 영상 기반의 질환 예측 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202223917A TW202223917A (zh) | 2022-06-16 |
TWI814154B true TWI814154B (zh) | 2023-09-01 |
Family
ID=81848093
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW110144393A TWI814154B (zh) | 2020-12-04 | 2021-11-29 | 基於醫學影像的疾病預測方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220180512A1 (zh) |
KR (1) | KR102534453B1 (zh) |
TW (1) | TWI814154B (zh) |
WO (1) | WO2022119162A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI807972B (zh) * | 2022-08-24 | 2023-07-01 | 臺北醫學大學 | 產生預測腦影像之方法及裝置 |
TWI822460B (zh) * | 2022-11-11 | 2023-11-11 | 國立陽明交通大學 | 罹患阿茲海默症之風險分析方法 |
CN116681706B (zh) * | 2023-08-04 | 2023-11-10 | 福建自贸试验区厦门片区Manteia数据科技有限公司 | 医学影像的处理方法、装置、电子设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101943011B1 (ko) * | 2018-01-22 | 2019-01-28 | 주식회사 뷰노 | 피검체의 의료 영상 판독을 지원하는 방법 및 이를 이용한 장치 |
KR101995383B1 (ko) * | 2018-10-02 | 2019-07-02 | 주식회사 뷰노 | 의료 영상에 대한 특징 순위에 기반하여 뇌질환을 판정하는 방법 및 이를 이용한 장치 |
KR102165840B1 (ko) * | 2020-05-21 | 2020-10-16 | 주식회사 휴런 | 인공지능 기반 뇌졸중 진단 장치 및 방법 |
TW202042250A (zh) * | 2019-05-10 | 2020-11-16 | 國立臺灣大學 | 醫療影像分析系統及其方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6415812B2 (ja) * | 2012-12-25 | 2018-10-31 | キヤノンメディカルシステムズ株式会社 | 画像観察装置、画像観察方法、及びコンピュータ読み取り可能な記録媒体 |
US11227390B2 (en) * | 2018-09-26 | 2022-01-18 | Shanghai United Imaging Intelligence Co., Ltd. | Systems and methods for image processing |
KR102179587B1 (ko) * | 2020-04-16 | 2020-11-17 | 주식회사 딥노이드 | 의료영상 판독을 위한 인공지능 기반의 클라우드 플랫폼 시스템 |
-
2020
- 2020-12-04 KR KR1020200168183A patent/KR102534453B1/ko active IP Right Grant
-
2021
- 2021-11-09 WO PCT/KR2021/016195 patent/WO2022119162A1/ko active Application Filing
- 2021-11-29 TW TW110144393A patent/TWI814154B/zh active
- 2021-12-01 US US17/539,827 patent/US20220180512A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101943011B1 (ko) * | 2018-01-22 | 2019-01-28 | 주식회사 뷰노 | 피검체의 의료 영상 판독을 지원하는 방법 및 이를 이용한 장치 |
KR101995383B1 (ko) * | 2018-10-02 | 2019-07-02 | 주식회사 뷰노 | 의료 영상에 대한 특징 순위에 기반하여 뇌질환을 판정하는 방법 및 이를 이용한 장치 |
TW202042250A (zh) * | 2019-05-10 | 2020-11-16 | 國立臺灣大學 | 醫療影像分析系統及其方法 |
KR102165840B1 (ko) * | 2020-05-21 | 2020-10-16 | 주식회사 휴런 | 인공지능 기반 뇌졸중 진단 장치 및 방법 |
Also Published As
Publication number | Publication date |
---|---|
US20220180512A1 (en) | 2022-06-09 |
TW202223917A (zh) | 2022-06-16 |
KR20220079726A (ko) | 2022-06-14 |
WO2022119162A1 (ko) | 2022-06-09 |
KR102534453B1 (ko) | 2023-05-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI814154B (zh) | 基於醫學影像的疾病預測方法 | |
JP2022553906A (ja) | 疾患検出モデルを開発するためのシステム、方法、プログラム | |
KR102460257B1 (ko) | 진단 결과를 제공하기 위한 방법 및 장치 | |
KR102450409B1 (ko) | 의료 영상 기반의 세그먼테이션 방법 | |
KR102179090B1 (ko) | 신경망을 이용한 의료 진단 방법 | |
Chi et al. | Deep semisupervised multitask learning model and its interpretability for survival analysis | |
US20240062515A1 (en) | Method for classification using deep learning model | |
Rufo et al. | A hybrid machine learning model based on global and local learner algorithms for diabetes mellitus prediction | |
US20220172370A1 (en) | Method for detecting white matter lesions based on medical image | |
KR102589405B1 (ko) | 의료 영상 기반의 병변 분석 방법 | |
US20240144474A1 (en) | Medical-image-based lesion analysis method | |
KR102454742B1 (ko) | 뇌 피질 영역의 두께를 분석하는 방법 | |
KR102622660B1 (ko) | 의료 영상에 대한 연속 절편 검출 방법 | |
KR102653257B1 (ko) | 의료 영상을 기반으로 하는 관심 대상의 상태 판독 방법 | |
KR102554181B1 (ko) | 골 영상으로부터 골 연령을 판독하는 방법 | |
KR102534088B1 (ko) | 의료 데이터 검색 방법 | |
US20220237777A1 (en) | Method for measuring lesion of medical image | |
KR20230056174A (ko) | 딥러닝 기반의 의료 영상 분석 방법 | |
KR102317857B1 (ko) | 병변 판독 방법 | |
EP4213159A1 (en) | Method for detecting abnormal finding in medical image and generating report | |
KR20220165111A (ko) | 의료 영상의 분류 방법 | |
TW202406510A (zh) | 基於超聲影像之病變預測方法 | |
TW202243651A (zh) | 醫療影像處理方法 | |
KR20230126083A (ko) | 의료 영상을 분석하기 위한 방법 | |
KR20220107940A (ko) | 의료 영상의 병변 평가 방법 |