TWI796251B - 穩健預測模型的建立方法、預測系統及阿茲海默症預測系統 - Google Patents

穩健預測模型的建立方法、預測系統及阿茲海默症預測系統 Download PDF

Info

Publication number
TWI796251B
TWI796251B TW111124343A TW111124343A TWI796251B TW I796251 B TWI796251 B TW I796251B TW 111124343 A TW111124343 A TW 111124343A TW 111124343 A TW111124343 A TW 111124343A TW I796251 B TWI796251 B TW I796251B
Authority
TW
Taiwan
Prior art keywords
model
training data
prediction
modal
represent
Prior art date
Application number
TW111124343A
Other languages
English (en)
Other versions
TW202347351A (zh
Inventor
鐘育志
楊淵韓
周銘鐘
曾新穆
洪瑞鴻
謝慧敏
邱世欣
Original Assignee
高雄醫學大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 高雄醫學大學 filed Critical 高雄醫學大學
Priority to US17/855,736 priority Critical patent/US20230377746A1/en
Application granted granted Critical
Publication of TWI796251B publication Critical patent/TWI796251B/zh
Publication of TW202347351A publication Critical patent/TW202347351A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Feedback Control In General (AREA)

Abstract

一種穩健預測模型的建立方法，用以解決習知預測模型在資料缺失時無法產生穩健且可信的預測結果的問題。係包含：依據多個樣本的模態的每一種，分別獲取預建立單一模態標準模型；自具有多種模態的樣本中取出具有相同數種模態的模態組合，以建立對應的多模態標準模型；自該樣本中同時具有完整模態者取出多種模態組合作為訓練資料，所述訓練資料中的模態組合可區分為單一模態、多模態及完整模態訓練資料；將上述訓練資料輸入至一待訓練的預測模型，並運用前述單一模態及多模態標準模型修正該待訓練的預測模型，以獲取一經訓練的預測模型。

Description

穩健預測模型的建立方法、預測系統及阿茲海默症預 測系統
本發明係關於一種模型的建立方法，尤其是一種預測模型的建立方法及其系統。
隨著近年機器學習(Machine Learning)或人工智慧(Artificaial Intellingence)相關理論、演算法或模型的蓬勃發展，包含但不限於神經網路、類神經網路、卷積神經網路、深度學習、模糊理論、隨機、堆疊、監督式學習或非監督式學習等內容或架構，應用機器學習或人工智慧建立對應預測模型已相當廣泛被應用於各領域中。其中，在訓練對應模型/系統的過程中，由於需要輸入對應的訓練資料以建立經訓練的模型，因此這些訓練資料的完整性、正確性及數據量充足性是非常重要的。然而，並非在所有狀態中都能具有充分且足夠的訓練資料，且在此訓練資料較不充足的狀態下，仍缺乏可穩健訓練對應模型的方法。
有鑑於此，習知的模型訓練方法確實仍有改善之必要。
為解決上述問題，本發明的目的是提供一種預測模型的建立方 法，可更完整且準確的訓練該預測模型，並可針對不同模態組合的輸入資料產生可靠的預測結果者。
本發明的次一目的是提供一種預測模型的建立方法，可產生更多的樣本/模態資料進行標準模型的建立，而提升對應標準模型的可信度，從而提升後續預測模型的可信度者。
本發明的又一目的是提供一種預測系統，可提供穩健且可信的預測結果者。
本發明的再一目的是提供一種阿茲海默症預測系統，可提供穩健且可信的預測結果者。
本發明全文所記載的元件及構件使用「一」或「一個」之量詞，僅是為了方便使用且提供本發明範圍的通常意義；於本發明中應被解讀為包括一個或至少一個，且單一的概念也包括複數的情況，除非其明顯意指其他意思。
本發明全文所述之「電腦(Computer)」，係指具備特定功能且以硬體或硬體與軟體實現的各式資料處理裝置，特別是一處理器或具有一處理器以處理分析資訊及/或產生對應控制資訊，例如：電子控制器、伺服器、雲端平台、虛擬機器、桌上型電腦、筆記型電腦、平板電腦或智慧型手機等，係本發明所屬技術領域中具有通常知識者可以理解。另，可包含對應的資料接收或傳輸單元，以進行所需資料的接收或傳輸。另，可包含對應的資料庫/儲存單元，以儲存所需資料。特別是，除非另外特別排除或矛盾，所述「一電腦」可以是基於分散式系統架構中的「多個電腦的集合」，用於包含或代表多個電腦間資訊串流處理的過程、機制及結果。
本發明全文所述之「樣本(Sample)」，係指受觀察或感興趣的任一人、事、物，並包含一種或多種「模態(Modality/Modalities)」資訊； 本發明全文所述之「模態」可以是與該樣本相關的任意資訊，特別是指與該樣本相關的任意資訊輸入至一預建立模型所產生的輸出資訊/預測結果。
本發明的預測模型的建立方法，係透過一電腦達成；該電腦包含至少一處理器及至少一儲存單元與該處理器耦接，該儲存單元包含多個樣本，各該樣本包含至少一種模態，該多個樣本共具有N種模態，且該多個樣本中的部分者各同時具有N種模態，所述N為正整數且不小於3；該處理器執行以下步驟，包含：依據該多個樣本的該模態的每一種，分別獲取預建立的
Figure 111124343-A0305-02-0005-67
個單一模態標準模型；自具有多種模態的該樣本中取出具有相同m種模態的
Figure 111124343-A0305-02-0005-68
個模態組合，以建立對應的
Figure 111124343-A0305-02-0005-69
個多模態標準模型，所述m包含不大於N-1且不小於2的正整數的組合；自該樣本中同時具有N種模態者取出
Figure 111124343-A0305-02-0005-70
種模態組合作為訓練資料，所述訓練資料中的模態組合可區分為單一模態(Single-modality/Single-modal/Unimodal)訓練資料、多模態(Multi-modalities/multimodal)訓練資料及完整模態(Complete-modalities/Complete-modal)訓練資料；所述單一模態訓練資料共具有
Figure 111124343-A0305-02-0005-71
個模態組合且彼此具有不同的單一模態；所述多模態訓練資料具有2種以上且N-1種以下的模態，並共具
Figure 111124343-A0305-02-0005-72
個模態組合且彼此為不同的多種模態；所述完整模態訓練資料具有
Figure 111124343-A0305-02-0005-73
個模態組合且同時具有N種模態；將上述訓練資料輸入至一待訓練的預測模型，並運用前述單一模態標準模型及多模態標準模型修正該待訓練的預測模型，以獲取一經訓練的預測模型；所述修正該待訓練的預測模型的過程中，係透過使該待訓練的預測模型所產生的損失函數最小化而實現；作為所述訓練資料的各該樣本具有對應的一真實數據；在輸入的訓練資料是所述單一模態訓練資料的情形中，載入該訓練資料所對應的真實數據；將該訓練資料分別導入對應的單一模態標準模型與該待訓練的預測模型，以分別產生一標準結果與一預測結果；以該預測結果與該真實數據計算對應的分類損失；以該預測結果 與該標準結果計算對應的蒸餾損失；該分類損失與該蒸餾損失定義一對應的損失函數；在輸入的訓練資料是所述多模態訓練資料的情形中，載入該訓練資料所對應的真實數據；將該訓練資料分別導入對應的多模態標準模型與該待訓練的預測模型，以分別產生一標準結果與一預測結果；以該預測結果與該真實數據計算對應的分類損失；以該預測結果與該標準結果計算對應的蒸餾損失；該分類損失與該蒸餾損失定義一對應的損失函數；及在輸入的訓練資料是所述完整模態訓練資料的情形中，載入該訓練資料所對應的真實數據；將該訓練資料該待訓練的預測模型，以產生一預測結果；以該預測結果與該真實數據計算對應的分類損失；該分類損失定義一對應的損失函數。
本發明的預測系統，包含：至少一處理器及至少一儲存單元與該處理器耦接，該儲存單元具有一預測模型以針對一輸入資訊中的多個感興趣的模態中的一者或多者以產生一預測結果；該處理器接收具有該多個感興趣的模態中的一者或多者的輸入資訊並導入該預測模型以產生對應的預測結果。
本發明的阿茲海默症預測系統，包含前述的預測系統：該輸入資訊的該多個感興趣模態係選自一臨床因子模態、一腦部影像模態、一腦電圖(Electroencephalography)模態、一環境空汙模態、一基因模態中之任三者；各該感興趣模態係由對應的表徵資訊輸入至對應的單一模態標準模型所產生；所述對應的表徵資訊係指一臨床因子表徵資訊、一腦部影像表徵資訊、一腦電圖表徵資訊、一環境空汙表徵資訊、一基因表徵資訊中之對應的至少三者；所述對應的單一模態標準模型係指一臨床因子標準模型、一腦部影像標準模型、一腦電圖標準模型、一環境空汙標準模型、一基因標準模型中之對應的至少三者。
據此，本發明的阿茲海默症預測系統、預測系統及阿茲海默症 預測系統，可透過建立包含單一模態標準模型及多模態標準模型的一標準模型集合，並根據不同的輸入資料導入對應的標準模型，以進行預測模型的訓練，而可更完整且準確的訓練預測模型，並因此可針對不同模態組合的輸入資料產生可靠的預測結果；亦即，透過對應不同輸入的模態組合(單一模態、多模態或完整模態訓練資料)以對應各別的真實數據及/或各別的標準模型(單一模態或多模態標準模型)以產生對應的損失函數，可更完整且準確的訓練預測模型，並可針對不同模態組合的輸入資料產生可靠的預測結果，而具有提升預測模型整體可靠度與準確性的功效。另，於建立多模態標準模型的過程中，透過從具有多種模態的該樣本中取出相同多種(m種)模態的多個(
Figure 111124343-A0305-02-0007-74
個)模態組合，可運用完整模態的資料或較多種的模態資料以形成具有目標種類的模態資料，並可結合僅具有目標種類的模態資料，進行對應的多模態標準模型的建立，而可產生更多的樣本/模態資料進行標準模型的建立，而提升對應標準模型的可信度，從而提升後續預測模型的可信度。
其中，所述損失函數可定義如下：
Figure 111124343-A0305-02-0007-1
 其中，
Figure 111124343-A0305-02-0007-2
：用以代表藉由降低當前損失函數為最低值，以計算所述預測模型中的參數值θ；c：用以代表訓練資料中具有完整模態的樣本數量；i：用以代表此訓練回合中正考慮的訓練資料樣本索引值；y i ：用以代表具有對應一樣本索引值的該訓練資料中的一真實數據；N：用以代表模態種類的總數；C hn ：用以代表在N種模態中選hn種模態的組合；{C hn } hn =1~N ：用以代表在 N種模態中選hn種模態的組合的集合；j：用以代表分類損失函數中正考慮的模態組合索引值；
Figure 111124343-A0305-02-0008-6
：是為分類損失函數，用於計算預測模型輸出與真實資料y i 間的交叉熵損失，其下標j代表所考慮的模態索引值；
Figure 111124343-A0305-02-0008-3
：用以代表訓練資料中具有完整模態的第i筆樣本中的j模態組合；θ：用以代表預測模型中的模型參數；m：用以代表多模態種類的最大數；C hm ：用以代表在m種模態中選hm種模態的組合；{C hm } hm =1~m ：用以代表在m種模態中選hm種模態的組合的集合；s：用以代表蒸餾損失函數中正考慮的模態組合索引值；
Figure 111124343-A0305-02-0008-4
：用以代表蒸餾損失函數，其下標s代表所考慮的模態索引值；
Figure 111124343-A0305-02-0008-5
：用以代表訓練資料中具有完整模態的第i筆樣本中的s模態組合；Te s (ω s )：用以代表計算/考慮s模態組合之標準模型；ω s ：用以代表計算/考慮具有s模態組合之標準模型之模型參數；α s ：用以代表蒸餾損失函數中s模態組合中對應之各標準模型所佔預測模型的整體損失函數之數值比例，其數值範圍為不小於0之正數。如此，可透過考量各種標準模型的損失函數訓練預測模型，而具有提升預測模型整體可靠度與準確性的功效。
其中，基於師生模型訓練的架構，所述單一模態標準模型及所述多模態標準模型是教師模型，所述預測模型是學生模型。如此，透過師生模型訓練的架構，可有效且穩健訓練預測模型，具有提升預測模型整體可靠度與準確性的功效。
其中，在建立所述多模態標準模型的過程中，是運用損失函數及梯度下降法的方式進行訓練，藉以在每次訓練回合中，調整該多模態標準模型中之對應者的參數以使損失函數最小化，並在完成指定的訓練回合後，建立經訓練的多模態標準模型。如此，透過使損失函數最小化，可建立具有高度準確性的多模態標準模型，以用於訓練預測模型，而具有提升預測模型整體可靠度與準確性的功效。
其中，所述臨床因子表徵資訊包含病患的年齡與性別資訊、相關疾病史與併發症、大腦認知功能及精神行為表現中的至少一者；所述腦部影像表徵資訊包含病患的腦部的核磁共振影像或電腦斷層掃描影像；所述腦電圖表徵資訊包含具有一特定頻率(Frequency)與位置(Localization)的腦電圖的至少一特徵；所述環境空汙表徵資訊為病患的生活場域的空汙資料，所述空汙資料包含懸浮微粒濃度、細懸浮微粒濃度、氮氧化物濃度、一氧化氮濃度、二氧化氮濃度、一氧化碳濃度、二氧化碳濃度及臭氧濃度中之至少一者；所述基因表徵資訊為病患的過去病史、特定基因點位SNP資料。如此，可透過臨床因子、腦部影像、環境空汙、基因的表徵資訊中的至少三者，建立對應的預建立單一標準模型、多模態模型、預測模型，而可準確且可靠的用於阿茲海默症的預測。
S1,S2,S3:步驟
〔第1圖〕本發明一較佳實施例的方法流程圖。
為讓本發明之上述及其他目的、特徵及優點能更明顯易懂，下文特舉本發明之較佳實施例，並配合所附圖式作詳細說明；此外，在不同圖式中標示相同符號者視為相同，會省略其說明。
請參照第1圖所示，其係本發明預測模型之建立方法的一較佳實施例，係透過一電腦(Computer)達成。該電腦包含至少一處理器(Processor)及至少一儲存單元(Storage Unit)與該處理器耦接，該儲存單元包含多個樣本(Sample)，各該樣本包含至少一種模態(Modality)，該多個樣本共具有 N種模態，且該多個樣本中的部分者各同時具有N種模態，所述N為正整數且不小於3；該處理器執行以下步驟，以達成一穩健預測模型的建立。
步驟S1：載入預建立的單一模態標準模型
依據該多個樣本的該模態的每一種，分別獲取/載入預建立(Pre-established)的
Figure 111124343-A0305-02-0010-75
個單一模態標準模型。其中，所述單一模態標準模型，係指該標準模型僅與單一模態關聯。
舉例而言，以目標樣本中共具有感興趣的3種(N等於3)模態為例，可針對各單一模態分別預先建立對應的標準模型/預測模型，而具有對應的3(
Figure 111124343-A0305-02-0010-7
，N=3)個單一模態標準模型。更具體地來說，所述3種模態可分別是第一模態M1、第二模態M2、第三模態M3，各樣本可分別同時具有3種模態(可例如是以〔M1，M2，M3〕向量或矩陣方式表示)，或同時具有任2種模態(可例如是以〔M1，M2，0〕、〔M1，0，M3〕、〔0，M2，M3〕向量或矩陣方式表示)，或僅具任1種模態(可例如是以〔M1，0，0〕、〔0，M2，0〕、〔0，0，M3〕向量或矩陣方式表示)。其中，可以例如是以〔M1，M2，M3〕向量或矩陣方式表示同時具有3種模態；同樣地，可例如是以〔M1，M2，0〕表示同時具有第一模態M1與第二模態M2，以〔M1，0，M3〕表示同時具有第一模態M1與第三模態M3，以〔0，M2，M3〕表示同時具有第二模態M2與第三模態M3。可例如是以〔M1，0，0〕、〔0，M2，0〕、〔0，0，M3〕表示分別僅具有第一模態M1、第二模態M2及第三模態M3。
例如，針對阿茲海默症預測的模型而言，所述各樣本可以是對應一病患/被觀察者；所述模態可以是將該病患(樣本)與阿茲海默症相關的表徵資訊輸入對應標準模型後所獲得的預測結果，所述表徵資訊可以例如是臨床因子、腦部影像、環境空汙、基因等因子中的至少一者，唯並不以此為 限；所述標準模型，是預建立的標準模型，用於在對應的表徵資訊輸入後產生對應的預測結果(模態)。
所述標準模型係可運用機器學習或人工智慧相關理論、演算法或模型中的一者或多者，經特定的模型訓練流程，例如是準備數據、選擇模型、可選的應用特定架構理論、訓練模型/機器(產出結果)、評估分析結果(將產出結果與更精確結果或真實數據(Ground Truth)比較，並以對應演算法或邏輯產生優化方向)、調整參數(Parameter/Hyper-parameter)(依據優化方向調整參數)、可選的進行多次訓練、完成模型訓練、以完成的模型進行預測。上述標準模型的建立流程僅是釋例性說明，屬本發明技術領域中的通常知識，且不以此為限。
步驟S2：建立多模態標準模型
自具有多種模態的該樣本中取出具有相同m種模態的
Figure 111124343-A0305-02-0011-62
個模態組合/資料型態，以建立對應的
Figure 111124343-A0305-02-0011-8
個多模態標準模型，所述m包含不大於N-1且不小於2的正整數的組合，可表示為{m｜2
Figure 111124343-A0305-02-0011-76
m
Figure 111124343-A0305-02-0011-77
N-1}的數學式。其中，所述多模態標準模型係指該標準模型與多模態關聯，且所述多模態並不包含完整模態，所述「完整模態」用語係指該樣本中具有所有(N種)模態的模態組合。
延續前述步驟S1中的例子，同樣地以目標樣本中共具有感興趣的3種(N等於3)模態為例，所述3種模態可分別是第一模態M1、第二模態M2、第三模態M3，可自樣本中同時含有3種模態者或2種模態者取出相同的2種(即m等於2)模態，即若要自訓練資料中取出〔M1，M2，0〕的資料型態，可將同時含有3種模態〔M1，M2，M3〕的樣本中的非相關模態去除(亦即，此時以零值取代第三模態M3)，以形成對應的資料型態，且亦可應用原本具有對應〔M1，M2，0〕資料型態的精確的模態(exact modalities) 的樣本，以針對〔M1，M2，0〕資料型態建立對應的多模態標準模型。同樣地，可依上述方式自同時含有3種模態的樣本中的將非相關模態去除，且亦可應用具有對應的二種模態的樣本，共同形成訓練資料，以分別針對〔M1，0，M3〕與〔0，M2，M3〕資料型態建立對應的多模態標準模型。在此情形中，共有〔M1，M2，0〕、〔M1，0，M3〕、〔0，M2，M3〕的3個(
Figure 111124343-A0305-02-0012-10
，N=3，m=2)資料型態，並可分別建立對應的3個(
Figure 111124343-A0305-02-0012-9
，N=3)多模態標準模型。
又舉例而言，若目標樣本中共具有感興趣的4種(N等於4)模態為例，所述4種模態可分別是第一~第四模態M1~M4，可自樣本中取出相同的2種(即m等於2)模態的6種(
Figure 111124343-A0305-02-0012-11
，N=4，m=2)組合，並可自樣本中取出相同的3種(即m等於3)模態的4種(
Figure 111124343-A0305-02-0012-12
，N=4，m=3)組合。詳言之，在取出相同的2種模態中，對應的模態組合為〔M1，M2，0，0〕、〔M1，0，M3，0〕、〔M1，0，0，M4〕、〔0，M2，M3，0〕、〔0，M2，0，M4〕、〔0，0，M3，M4〕；在取出相同的3種模態中，對應的模態組合為〔M1，M2，M3，0〕、〔M1，M2，0，M4〕、〔M1，0，M3，M4〕、〔0，M2，M3，M4〕。
詳言之，在建立所述多模態標準模型的過程中，具有2種模態的各該多模態標準模型(例如是〔M1，M2，0〕或〔M1，M2，0，0〕)係與各該單一模態標準模型中具有其2種模態中之一者關聯，且具有m+1種模態的各該多模態標準模型與具有m種的各該多模態標準模型中具有其m+1種模態中之m者關聯，以訓練對應的多模態標準模型。換言之，在訓練當前具有多種模態的多模態標準模型時，是以具有少一種模態的標準模型進行訓練。以目標樣本中共具有感興趣的3種模態為例，若訓練具有2種模態的多模態模型例如是〔M1，M2，0〕，則選擇具有少一種(即1種)模態的標準模型 (即單一模態標準模型)〔M1，0，0〕及〔0，M2，0〕進行多模態標準模型的訓練。以目標樣本中共具有感興趣的4種模態為例，先訓練具有2種模態的多模態模型例如是〔M1，M2，0，0〕，則選擇具有少一種(即1種)模態的標準模型(即單一模態標準模型)〔M1，0，0，0〕及〔0，M2，0，0〕進行具有2種模態的多模態標準模型的訓練；再訓練具有3種模態的多模態模型例如是〔M1，M2，M3，0〕，則選擇具有少一種(即2種)模態的標準模型(即多模態標準模型)〔M1，M2，0，0〕、〔M1，0，M3，0〕及〔0，M2，M3，0〕進行具有3種模態的多模態標準模型的訓練。
可選地，在建立所述多模態標準模型的過程中，是運用損失函數(Loss Function)及梯度下降法(Gradient Descent Method)的方式進行訓練，藉以在每次訓練回合(Epoch)中，調整對應的模型中的參數使損失函數最小化，並在完成指定的訓練回合後，建立經訓練的多模態標準模型。較佳地，該損失函數包含分類損失(Classification Loss)及蒸餾損失(Distillation Loss)；在該分類損失的計算中，該多個樣本中的部分者各同時具有N種模態且具有對應的真實數據，並以該真實數據計算該分類損失；在該蒸餾損失的計算中，以對應的單一模態標準模型所輸出標準結果/暗知識(Dark Knowledge)，例如是一機率(Probability)，計算蒸餾損失。更佳地，該多模態標準模型會產生一輸出數據及一輸出機率，所述分類損失是由該輸出數據及對應的真實數據所計算，所述蒸餾損失是由該輸出機率及對應的標準結果所計算。
步驟S3：進行預測模型的訓練
自該樣本中同時具有N種模態者取出
Figure 111124343-A0305-02-0013-13
種模態組合作為訓練資料，所述訓練資料中的模態組合可區分為單一模態訓練資料、多模態訓練資料及完整模態訓練資料；所述單一模態訓練資料共具有
Figure 111124343-A0305-02-0013-14
個模態組合且彼此 具有不同的單一模態；所述多模態訓練資料具有2種以上且N-1種以下的模態，並共貝
Figure 111124343-A0305-02-0014-15
個模態組合且彼此為不同的多種模態；所述完整模態訓練資料具有
Figure 111124343-A0305-02-0014-63
個模態組合且同時具有N種模態。再將上述訓練資料輸入至一待訓練的預測模型，並運用前述單一模態標準模型及多模態標準模型修正該待訓練的預測模型，以獲取一經訓練的預測模型。可選地，基於師生模型訓練(Teacher-student Model Training)的架構，所述單一模態標準模型及所述多模態標準模型是教師模型(Teacher Model)，所述預測模型是學生模型(Student Model)，而該標準模型集合即包含多個不同的教師模型。
延續前述步驟S1、S2中的例子，同樣地以目標樣本中共具有感興趣的3種(N等於3)模態為例，所述3種模態可分別是第一~第三模態M1~M3，可自樣本中取出單一模態訓練資料，分別為〔M1，0，0〕、〔0，M2，0〕、〔0，0，M3〕的單一模態，共有對應的3個(
Figure 111124343-A0305-02-0014-64
，N=3)模態組合；可自樣本中取出多模態訓練資料，即為同時具有相同的2種模態的模態組合，可表示為〔M1，M2，0〕、〔M1，0，M3〕、〔0，M2，M3〕，共有對應的3個(
Figure 111124343-A0305-02-0014-16
，N=3)模態組合；可自樣本中取出完整模態訓練資料，即為同時具有相同的3種(即為N種)模態的模態組合，可表示為〔M1，M2，M3〕，共有對應的1個(
Figure 111124343-A0305-02-0014-78
)模態組合。
同樣地，以目標樣本中共具有感興趣的4種(N等於4)模態為例，所述4種模態可分別是第一~第四模態M1~M4，可自樣本中取出單一模態訓練資料，分別為〔M1，0，0，0〕、〔0，M2，0，0〕、〔0，0，M3，0〕、〔0，0，0，M4〕的單一模態，共有對應的4個(
Figure 111124343-A0305-02-0014-17
，N=4)模態組合；可自樣本中取出多模態訓練資料，即為同時具有相同的2種及3種模態的模態組合，可表示為〔M1，M2，0，0〕、〔M1，0，M3，0〕、〔M1，0，0，M4〕、〔0，M2，M3，0〕、〔0，M2，0，M4〕、〔0，0，M3，M4〕、〔M1，M2， M3，0〕、〔M1，M2，0，M4〕、〔M1，0，M3，M4〕、〔0，M2，M3，M4〕，共有對應的10個(
Figure 111124343-A0305-02-0015-18
，N=4)模態組合；可自樣本中取出完整模態訓練資料，即為同時具有相同的4種(即為N種)模態的模態組合，可表示為〔M1，M2，M3，M4〕，共有對應的1個(
Figure 111124343-A0305-02-0015-65
)模態組合。
較佳地，在建立/訓練所述預測模型的過程中，是運用損失函數(Loss Function)及梯度下降法(Gradient Descent Method)的方式進行訓練，藉以在每次訓練回合(Epoch)中，調整對應的模型中的參數使損失函數最小化，並在完成指定的訓練回合後，建立經訓練的預測模型。
詳言之，作為所述訓練資料的各該樣本具有對應的一真實數據，在輸入的訓練資料是所述單一模態訓練資料或所述多模態訓練資料的情形中，對應不同的單一模態或多種模態中的每一者經該待訓練的預測模型計算以輸出一預測結果，導入對應樣本的真實數據，並將前述訓練資料輸入至對應的單一模態標準模型及/或對應的多模態標準模型以產生對應的標準結果，以該預測結果與該真實數據及該標準結果計算對應的損失函數。
詳言之，作為所述訓練資料的各該樣本具有對應的一真實數據，在輸入的訓練資料是所述完整模態訓練資料的情形中，對應所述完整模態訓練資料中的每一者經該待訓練的預測模型計算以輸出一預測結果，導入對應樣本的真實數據，以該預測結果與該真實數據計算對應的損失函數。
較佳地，在輸入的訓練資料是所述單一模態訓練資料或所述多模態訓練資料的情形中，該損失函數係由一分類損失及一蒸餾損失所定義。以對應的預測結果與對應的真實數據計算對應的分類損失；以對應的預測結果與對應的標準結果計算對應的蒸餾損失。詳言之，在該蒸餾損失的計算中，輸入對應的訓練資料至標準模型中之對應者(即單一模態標準模型及多模態標準模型中之對應者)以獲取對應的標準結果/暗知識，並以對應的預測結 果與該標準結果計算蒸餾損失。更佳地，所述對應的預測結果包含一預測數據及一預測機率，所述分類損失是由該預測數據及對應的真實數據所計算，所述蒸餾損失是由該預測機率及對應的標準結果所計算。
較佳地，在輸入的訓練資料是所述完整模態訓練資料的情形中，該損失函數係由一分類損失所定義。以對應的預測結果與對應的真實數據計算對應的分類損失。更佳地，所述對應的預測結果包含一預測數據，所述分類損失是由該預測數據及對應的真實數據所計算。
舉例而言，以目標樣本中共具有感興趣的3種模態為例，若輸入訓練資料是單一模態訓練資料時(例如是〔M1，0，0〕)，此時會導入用於計算該訓練資料(例如是〔M1，0，0〕)的單一模態標準模型，以產生對應的標準結果並藉以計算對應的蒸餾損失，並另以對應的真實數據計算類別損失。若輸入訓練資料是多模態訓練資料時(例如是〔M1，M2，0〕)，此時會導入用於計算該訓練資料(例如是〔M1，M2，0〕)的多模態標準模型，以產生對應的標準結果並藉以計算對應的蒸餾損失，並另以對應的真實數據計算類別損失。若輸入訓練資料是完整模態訓練資料時(即為〔M1，M2，M3〕)，此時無對應的標準模型因而無蒸餾損失，僅根據對應的真實數據計算類別損失。
詳言之，在一範例中，所述預測模型的損失函數可定義如下：
Figure 111124343-A0305-02-0016-19
 其中，
Figure 111124343-A0305-02-0016-20
：用以代表藉由降低當前損失函數為最低值，以計算所述 預測模型中的參數值θ；c：用以代表訓練資料中具有完整模態的樣本數量；i：用以代表此訓練回合中正考慮的訓練資料樣本索引值；y i ：用以代表具有對應一樣本索引值的該訓練資料中的一真實數據；N：用以代表完整模態種類的總數；C hn ：用以代表在N種模態中選hn種模態的組合；{C hn } hn =1~N ：用以代表在N種模態中選hn種模態的組合的集合(舉例來說，當N=3,hn=2時，{C 2}={{12},{13},{23}}，且其中{12}即代表前述〔M1，M2，0〕)；j：用以代表分類損失函數中正考慮的模態組合索引值；
Figure 111124343-A0305-02-0017-66
：用以代表分類損失函數，用於計算預測模型輸出與真實資料y i 間的交叉熵損失(cross entropy loss)，其下標j代表所考慮的模態索引值；
Figure 111124343-A0305-02-0017-22
：用以代表訓練資料中具有完整模態的第i筆樣本中的j模態組合(舉例來說，當j={1,2}，則
Figure 111124343-A0305-02-0017-21
)；θ：用以代表預測模型中的模型參數；m：用以代表多模態種類的最大數；C hm ：用以代表在m種模態中選hm種模態的組合；{C hm } hm =1~m ：用以代表在m種模態中選hm種模態的組合的集合；s：用以代表蒸餾損失函數中正考慮的模態組合索引值；
Figure 111124343-A0305-02-0017-23
：用以代表蒸餾損失函數，其下標s代表所考慮的模態索引值；
Figure 111124343-A0305-02-0017-24
：用以代表訓練資料中具有完整模態的第i筆樣本中的s模態組合(舉例來說，當s={1,2}，則
Figure 111124343-A0305-02-0017-28
Figure 111124343-A0305-02-0017-29
)；Te s (ω s )：用以代表計算/考慮s模態組合之標準模型；ω s ：用以代表計算/考慮具有s模態組合之標準模型之模型參數；α s ：用以代表蒸餾損失函數中各s模態組合之標準模型所佔預測模型的整體損失函數之數值比例，其數值範圍為不小於0之正數。特別地，所述蒸餾函數的計算，是指計算預測模型之輸出與各標準模型Te s (ω s )之輸出間的KL散度(Kullback-Leibler Divergence)；上述預測模型之輸出與各標準模型之輸出是由softmax函數(歸一化指數函數)加入temperature(溫度/平滑化)參數所獲得的類別機率分佈。
承上所述之損失函數，以總共具有3種(N=3)模態的樣本為例，所述預測模型的損失函數經展開後呈現如下：
Figure 111124343-A0305-02-0018-30
 其中，
Figure 111124343-A0305-02-0018-31
：用以代表訓練資料中具有完整模態的樣本中的第一模態；
Figure 111124343-A0305-02-0018-32
：用以代表訓練資料中具有完整模態的樣本中的第二模態；
Figure 111124343-A0305-02-0018-33
：用以代表訓練資料中具有完整模態的樣本中的第三模態；
Figure 111124343-A0305-02-0018-34
、
Figure 111124343-A0305-02-0018-35
、
Figure 111124343-A0305-02-0018-36
、
Figure 111124343-A0305-02-0018-37
、
Figure 111124343-A0305-02-0018-38
、
Figure 111124343-A0305-02-0018-39
、
Figure 111124343-A0305-02-0018-40
中之每一者：用以代表分類損失函數，其下標代表所考慮的模態索引值，其索引值集合為〔1,2,3,12,13,23,123〕；舉例來說，標示索引值〔12〕則代表僅考慮第一模態、第二模態，標示索引值〔123〕則代表考慮第一模態、第二模態、第三模態；Te 1(ω 1)、Te 2(ω 2)、Te 3(ω 3)、Te 12(ω 12)、Te 13(ω 13)、Te 23(ω 23)中之每一者：用以代表標準模型，其中Te 1(ω 1)、Te 2(ω 2)、Te 3(ω 3)為單一模態標準模型，另Te 12(ω 12)、Te 13(ω 13)、Te 23(ω 23)為多模態標準模型，ω 1、ω 2、ω 3為單一模態標準模型之模型參數，ω 12、ω 13、ω 23為多模態標準模型之模型參數；
Figure 111124343-A0305-02-0018-41
、
Figure 111124343-A0305-02-0018-42
、
Figure 111124343-A0305-02-0018-43
、
Figure 111124343-A0305-02-0018-44
、
Figure 111124343-A0305-02-0018-45
、
Figure 111124343-A0305-02-0018-46
中之每一者：用以代表蒸餾損失函數，其下標代表所考慮的模態索引值，其索引值集合為〔1,2,3,12,13,23〕；舉例來說，標示索引值〔12〕則代表僅考慮第一模態、第二模態；α 1、α 2、α 3、α 12、α 13、α 23中之每一者：用以代表蒸餾損失函數中所對應者佔預測模型的整體損失函數之數值比例，其數值範圍為不小於0之正數。
應用訓練完成的預測模型形成一預測系統
據由前述，本發明提供一種預測系統，包含至少一處理器及至少一儲存單元與該處理器耦接，該儲存單元具有一預測模型係根據前述預測模型之建立方法所建立，以針對一輸入資訊中的多個感興趣的模態中的一者或多者以產生一預測結果；該處理器接收具有該多個感興趣的模態中的一者或多者的一輸入資訊並導入該預測模型以產生對應的預測結果。換言之，在該預測模型建立後，可將任一樣本中具有對應的感興趣模態的資訊(包含與該預測模型建立過程中相同或不同的資訊)輸入至該預測模型，以產生對應的預測結果。如此，透過運用上述預測模型建立的預測系統，在輸入資料/模態有缺失的情形中(所述缺失的情形是指僅有部分/不完整的輸入資料/模態；特別是指在完整模態具有N種模態，但輸入資料僅具有少於N種模態的情形)，仍可具有穩健且可信的預測結果。
較佳地，所述預測結果為二維向量(皆為數值)，第一維代表非惡化、第二維代表惡化。將輸入資訊導入預測模型後，會得到所述二維向量；更佳地，將二維向量以softmax函數進行正規化，使所述二維向量化為非惡化機率(第一維數值)以及惡化機率(第二維數值)且相加為1。可選地，可根據數值較高的維數，決定對應樣本被分類到對應的預測結果(惡化或非惡化)。
基於上述說明，本發明預測模型的建立方法係基於前述步驟S1、S2所建立包含單一模態標準模型及多模態標準模型的一標準模型集合/統合分類器(Meta-classifier)，於步驟S3中對應所輸入訓練資料而自該標準模型集合導入對應的標準模型，以完成本發明預測模型的訓練。如此，本發明考量各種模態組合情形所建立的前述標準模型集合，較先前技術僅運用單一的標準模型(未考量包含多種模態組合的標準模型)，可更完整且準確的 訓練預測模型，且因此，本發明所建立的預測模型可針對不同輸入資料(至少一種模態至完整模態的輸入資料，即可為單一模態資料、多模態資料及完整模態資料中的任一者)產生可靠的預測結果；相反地，先前技術僅能在完整模態下產生預測結果，或在非完整模態下產生不準確的預測結果。
特別是，在前述步驟S2建立多模態標準模型的過程中，係自具有多種模態的該樣本中取出相同m種模態的
Figure 111124343-A0305-02-0020-47
個模態組合，可運用完整模態的資料或較多種的模態資料以形成具有目標組合/種類的模態資料，並可結合僅具有目標組合的模態資料，進行對應的多模態標準模型的建立。舉例而言，在最多具有4種模態的樣本中，若是要建立僅針對第一、二模態M1、M2的標準模型，則可自具有完整模態〔M1，M2，M3，M4〕的樣本中將非相關模態去除(亦即，此時以零值取代第三、四模態M3、M4)，以形成對應的資料型態〔M1，M2，0，0〕，亦可自具有較多模態〔M1，M2，M3，0〕及〔M1，M2，0，M4〕的樣本中將非相關模態去除，以形成對應的資料型態〔M1，M2，0，0〕，並亦可應用原始資料型態為〔M1，M2，0，0〕的樣本，以建立針對〔M1，M2，0，0〕模態組合的多模態標準模型。如此，可產生更多的樣本資料進行標準模型的建立，而提升對應標準模型的可信度，從而提升後續預測模型的可信度。
較佳地，在該預測模型建立後，可持續追蹤驗證對應樣本中對應模態的對應預測結果的正確性，例如是透過真實統計數據所產生的驗證結果，或是透過對應領域專家進行評估所產生的驗證結果，並將上述驗證結果回饋至對應預測系統中，已修正對應的預測模型。舉例而言，上述驗證結果可對應至該預測模型中各模態的因子或參數，例如是可透過各種統計方法或統計模型計算出各模態的對預測結果的權重，以調整該預測模型。
所述預建立的標準模型，特別是單一模態標準模型，係用於在 對應的表徵資訊(臨床因子、腦部影像、腦電圖、環境空汙、基因等)輸入後產生對應的預測結果(模態)，可應用於阿茲海默症預測/預後系統，以輔助判斷一具有阿茲海默症病患的臨床結果是改善或惡化。換言之，所述阿茲海默症預測系統係包含如上所述之預測系統/預測模型，對應輸入資訊的多個感興趣模態係選自一臨床因子模態、一腦部影像模態、一腦電圖模態、一環境空汙模態、一基因模態中之任三者；各該感興趣模態係由對應的表徵資訊輸入至對應的單一模態標準模型所產生。所述對應的表徵資訊係指一臨床因子表徵資訊、一腦部影像表徵資訊、一腦電圖表徵資訊、一環境空汙表徵資訊、一基因表徵資訊中之對應的至少三者；所述對應的單一模態標準模型係指一臨床因子標準模型、一腦部影像標準模型、一腦電圖標準模型、一環境空汙標準模型、一基因標準模型中之對應的至少三者。如此，透過運用上述預測模型建立的阿茲海默症預測系統，在輸入資料/模態有缺失的情形中，仍可具有穩健且可信的預測結果。其中，如上所述，所述輸入資料/模態有缺失的情形，是指僅有部分/不完整的輸入資料/模態；特別是指在完整模態具有N種模態，但輸入資料僅具有少於N種模態的情形。
針對前述臨床因子標準模型，係根據對應的臨床因子表徵資訊產生對應的預測結果以作為所述臨床因子模態，所述臨床因子表徵資訊為病患的本身的人口學變項(如年齡與性別的一資訊)、相關疾病史與併發症、大腦認知功能及精神行為表現中之一者或多者。在相關疾病史與併發症中，要考量的包含特定危險因子(例如糖尿病、高血壓、中風及高血脂症等，但並不以上述疾病為限)的有無，並將具有的變項(特定危險因子)加以權衡計算。在大腦認知功能中選用至少二種認知功能計算，所述認知功能包含短期記憶(Short-term Memory)、長期記憶(Long-term Memory)、專注力(Attention)、定位(Orientation)、畫圖能力(Drawing)、抽象思考和判斷力(Abstract Thinking and Judgement)、口語流暢度(Verbal Fluency)及語言能力(Language)，並定義各認知功能所對應的連續變項分數。在精神行為表現中選用至少一項精神行為表徵計算，所述精神行為表徵包含：幻覺(Hallucinations)、妄想(Delusions)、躁動和攻擊行為(Agitation/aggression)、憂鬱(Depression)、焦慮(Anxiety)、易怒(Irritability)、失控(Disinhibition)、欣快感(Euphoria)、面無表情(Apathy)、怪異行為(Aberrant Motor Behavior)、夜間睡眠行為改變(Sleep and Night-time Behavior Change)、食慾和飲食習慣改變(Appetite and Eating Change)等行為中的一種或多種，且各行為可由出現的頻率、嚴重度、困擾程度等(例如是以數值的方式呈現)因子以連續變項的方向表示。運用以上各考量因子，基於機器學習方法建立對應的預設標準模型。
針對前述腦部影像標準模型，係根據對應的腦部影像表徵資訊產生對應的預測結果以作為所述腦部影像模態，所述腦部影像表徵資訊為病患的腦部的核磁共振影像(MRI)或電腦斷層掃描(CT)影像。在核磁共振影像中，使用3D高解析度T1權重影像(T1-weighted Image)，例如是影像體素大小約1×1×1mm3的影像，將病患腦部影像與標準頭(Brain Template)進行影像對位(Image Registration)，接著進行腦部分割(Image Segmentation)，將腦部影像區分成包含灰質(Gray Matter)、白質(White Matter)、腦脊髓液(CSF)三個部分。定義出Ng個不同灰質區域及Nw個不同白質區域後，計算該區域的體積大小，並針對該區域內的形狀特徵(Ns種)及紋理特徵(Nt種)進行分析，例如可使用PyRadiomics免費軟體，以獲得多上述多種分析參數(例如是形狀(shape)、第一階參數(First Order Parameters)、灰階共生矩陣(GLCM，Grey-level Co-occurrence Matrix)特徵、灰階相依矩陣(GLDM，Grey-level Dependency Matrix)特徵及鄰近灰階 /灰度差異矩陣(NGTDM，Neighborhood gray-tone difference matrix)特徵；其中，所述Ng、Nw、Ns、Nt皆為正整數。藉此，我們總共可獲得Ng個區域灰質體積數值、Nw個區域白質體積數值、Ng×Ns個灰質形狀特徵、Ng×Nt個灰質紋理特徵及Nw×Ns個白質形狀特徵及Nw×Nt個白質紋理特徵參數。
在電腦斷層掃描影像中，透過UNet網路分割腦部範圍，計算出顱內腦部體積、腦實質體積及腦實質體積比例，其中腦實質比例等於腦實質體積除以顱內腦體積，並以腦實質體積比例作為腦部萎縮參數。接著，再將腦部標準頭影像對位到電腦斷層掃描影像上，並直接透過腦部標準模板進行腦部灰白質區域分割，例如可使用公開使用的約翰霍普金斯大學腦部分區模板(JHU template)或自動解剖標記模板(AAL template)，透過影像空間座標轉換(Image Spatial Transformation)，將腦部區分出Ng個腦部灰質區域及Nw個腦部白質區域，再透過PyRadiomics自由軟體針對每個區域進行形狀及紋理分析，以獲得Ns個形狀特徵及Nt個紋理特徵，總共可獲得Ng個區域灰質體積數值、Nw個白質體積數值、Ng×Ns個灰質形狀特徵、Ng×Nt個灰質紋理特徵及Nw×Ns個白質形狀特徵及Nw×Nt個白質紋理特徵參數。
基於上述核磁共振影像或電腦斷層掃描影像所獲得的特徵參數，並可選地加入病患年齡及性別等基本生理參數，以例如是支持向量機(SVM)、決策樹(Decision Tree)、最小絕對壓縮與挑選運算子(LASSO)、集成(Ensemble)等的機器學習方法或架構，建立對應的預設標準模型。
針對前述腦電圖標準模型，係根據腦電圖表徵資訊產生的預測結果以作為所述腦電圖模態；所述腦電圖表徵資訊包含具有一特定頻率(Frequency)與位置(Localization)的腦電圖的至少一特徵。針對所述腦電 圖表徵資訊的頻率特徵可以是頻率為8~13Hz的一阿法波(Alpha Wave)、頻率為4~7Hz的一西塔波(Theta Wave)、頻率為14~20Hz的一貝他波(Beta Wave)及頻率為1~3Hz的一德爾塔波(Delta Wave)中的至少一者。針對所述腦電圖表徵資訊的位置特徵，特別是對應所述具有特定頻率的波型，可以是額葉(Frontal)區、顳葉(Temporal)區、枕葉(Occipital)區及頂葉(Parietal)區中的至少一者。基於機器學習方法建立對應的預設標準模型。
針對前述環境空汙標準模型，係根據對應的環境空汙表徵資訊產生對應的預測結果以作為所述環境空汙模態，所述環境空汙表徵資訊為病患的生活場域(例如是居住地、工作地、活動地等位置)的空汙資料。所述空汙資料包含懸浮微粒(PM10以下)濃度、細懸浮微粒(PM2.5以下)濃度、氮氧化物濃度、一氧化氮濃度、二氧化氮濃度、一氧化碳濃度、二氧化碳濃度及臭氧濃度中之至少一者。運用病例對照研究(Case-control Study)或世代追蹤研究(Cohort Study)等方法，分析上述空氣資料對於阿茲海默症發生和疾病進程風險預測模型，利用時序性計量經濟統計方法進行推估，基於機器學習方法建立對應的預設標準模型。
針對前述基因的標準模型，係根據對應的基因表徵資訊產生對應的預測結果以形成所述基因模態，所述基因表徵資訊為病患的特定基因點位SNP(單核苷酸多態性)，例如為APOE基因，在APOE基因型中，可考量E2/E2、E2/E3、E2/E4、E3/E3、E3/E4、E4/E4的其中一者或可依照E4等位基因的有無進行分類。可選地或可替換地，所述基因表徵資訊亦可為核苷酸的長度變化，例如為ACE基因之II、ID、DD基因型中的任一者作為代表，並根據所對應的基因型轉換為對應的數值與權重。所述基因點位SNP與核苷酸的長度資料，係可計算其權值並轉換為對應的數值。運用以上各考量因子、數值轉換、權重應用，基於機器學習方法建立對應的預設標準模型。
基於上述臨床因子、腦部影像、腦電圖、環境空汙及基因等表徵資訊中的至少三者所建立的單一模態標準模型，及基於對應產生的臨床因子、腦部影像、腦電圖、環境空汙或基因的模態，可應用本發明上述步驟S1~S3之預測模型之建立方法建立對應的多模態標準模型及用於阿茲海默症預測的預測模型，並由獲取的預測模型建立對應的阿茲海默症預測的預測系統。
綜上所述，本發明的預測模型的建立方法，透過建立包含單一模態標準模型及多模態標準模型的一標準模型集合，並根據不同的輸入資料導入對應的標準模型，以進行預測模型的訓練，而可更完整且準確的訓練預測模型，並因此可針對不同模態組合的輸入資料產生可靠的預測結果。另，於建立多模態標準模型的過程中，透過從具有多種模態的該樣本中取出相同多種(m種)模態的多個(
Figure 111124343-A0305-02-0025-48
個)模態組合，可運用完整模態的資料，或運用較多種模態的資料，或運用精確的模態(exact modalities/modality)的資料以形成具有目標組合/種類的模態資料，以建立對應的多模態標準模型，從而可產生更多的樣本/模態資料以用於標準模型的建立，以提升對應標準模型的可信度，藉此提升後續預測模型的可信度。另，透過運用上述預測模型建立的預測系統，在輸入資料/模態有缺失的情形中，仍可具有穩健且可信的預測結果。另，透過運用上述預測模型建立的阿茲海默症預測系統，在輸入資料/模態有缺失的情形中，亦可具有穩健且可信的預測結果。
雖然本發明已利用上述較佳實施例揭示，然其並非用以限定本發明，任何熟習此技藝者在不脫離本發明之精神和範圍之內，相對上述實施例進行各種更動與修改仍屬本發明所保護之技術範疇，因此本發明之保護範圍當包含後附之申請專利範圍所記載的文義及均等範圍內之所有變更。又，上述之數個實施例能夠組合時，則本發明包含任意組合的實施態樣。
S1,S2,S3:步驟

Claims (7)

  1. 一種預測模型的建立方法，係透過一電腦達成；該電腦包含至少一處理器及至少一儲存單元與該處理器耦接，該儲存單元包含多個樣本，各該樣本包含至少一種模態，該多個樣本共具有N種模態，且該多個樣本中的部分者各同時具有N種模態，所述N為正整數且不小於3；該處理器執行以下步驟，包含：依據該多個樣本的該模態的每一種，分別獲取預建立的
    Figure 111124343-A0305-02-0027-49
    個單一模態標準模型；自具有多種模態的該樣本中取出具有相同m種模態的
    Figure 111124343-A0305-02-0027-51
    個模態組合，以建立對應的
    Figure 111124343-A0305-02-0027-50
    個多模態標準模型，所述m包含不大於N-1且不小於2的正整數的組合；自該樣本中同時具有N種模態者取出
    Figure 111124343-A0305-02-0027-52
    重模態組合作為訓練資料，所述訓練資料中的模態組合可區分為單一模態訓練資料、多模態訓練資料及完整模態訓練資料；所述單一模態訓練資料共具有
    Figure 111124343-A0305-02-0027-53
    個模態組合且彼此具有不同的單一模態；所述多模態訓練資料具有2種以上且N-1種以下的模態，並共具
    Figure 111124343-A0305-02-0027-54
    個模態組合且彼此為不同的多種模態；所述完整模態訓練資料具有
    Figure 111124343-A0305-02-0027-55
    個模態組合且同時具有N種模態；將上述訓練資料輸入至一待訓練的預測模型，並運用前述單一模態標準模型及多模態標準模型修正該待訓練的預測模型，以獲取一經訓練的預測模型；所述修正該待訓練的預測模型的過程中，係透過使該待訓練的預測模型所產生的損失函數最小化而實現；作為所述訓練資料的各該樣本具有對應的一真實數據；在輸入的訓練資料是所述單一模態訓練資料的情形中，載入該訓練資料所對應的真實數據；將該訓練資料分別導入對應的單一模態標準模型與該待訓 練的預測模型，以分別產生一標準結果與一預測結果；以該預測結果與該真實數據計算對應的分類損失；以該預測結果與該標準結果計算對應的蒸餾損失；該分類損失與該蒸餾損失定義一對應的損失函數；在輸入的訓練資料是所述多模態訓練資料的情形中，載入該訓練資料所對應的真實數據；將該訓練資料分別導入對應的多模態標準模型與該待訓練的預測模型，以分別產生一標準結果與一預測結果；以該預測結果與該真實數據計算對應的分類損失；以該預測結果與該標準結果計算對應的蒸餾損失；該分類損失與該蒸餾損失定義一對應的損失函數；及在輸入的訓練資料是所述完整模態訓練資料的情形中，載入該訓練資料所對應的真實數據；將該訓練資料該待訓練的預測模型，以產生一預測結果；以該預測結果與該真實數據計算對應的分類損失；該分類損失定義一對應的損失函數。
  2. 如請求項1之預測模型的建立方法，其中，所述損失函數可定義如下：
    Figure 111124343-A0305-02-0028-56
     其中，
    Figure 111124343-A0305-02-0028-57
    ：用以代表代表藉由降低當前損失函數為最低值，以計算所述預測模型中的參數值θ；c：用以代表訓練資料中具有完整模態的樣本數量；i：用以代表此訓練回合中正考慮的訓練資料樣本索引值；y i ：用以代表具有對應一樣本索引值的該訓練資料中的一真實數據；N：用以代表模態種類的總數；C hn ：用以代表在N種模態中選hn種模態的組合；{C hn } hn =1~N ：用以代表在N種模態中選hn種模態的組合的集合；j：用以代表分類損失函數中 正考慮的模態組合索引值；
    Figure 111124343-A0305-02-0029-58
    ：用以代表分類損失函數，用於計算預測模型輸出與真實資料y i 間的交叉熵損失，其下標j代表所考慮的模態索引值；
    Figure 111124343-A0305-02-0029-59
    ：用以代表訓練資料中具有完整模態的第i筆樣本中的j模態組合；θ：用以代表預測模型中的模型參數；m：用以代表多模態種類的最大數；C hm ：用以代表在m種模態中選hm種模態的組合；{C hm } hm =1~m ：用以代表在m種模態中選hm種模態的組合的集合；s：用以代表蒸餾損失函數中正考慮的模態組合索引值；
    Figure 111124343-A0305-02-0029-60
    ：用以代表蒸餾損失函數，其下標s代表所考慮的模態索引值；
    Figure 111124343-A0305-02-0029-61
    ：用以代表訓練資料中具有完整模態的第i筆樣本中的s模態組合；Te s (ω s )：用以代表計算s模態組合之標準模型；ω s ：用以代表計算具有s模態組合之標準模型之模型參數；α s ：用以代表蒸餾損失函數中s模態組合中對應之各標準模型所佔預測模型的整體損失函數之數值比例，其數值範圍為不小於0之正數。
  3. 如請求項1或2之預測模型的建立方法，其中，基於師生模型訓練的架構，所述單一模態標準模型及所述多模態標準模型是教師模型，所述預測模型是學生模型。
  4. 如請求項1或2之預測模型的建立方法，其中，在建立所述多模態標準模型的過程中，是運用損失函數及梯度下降法的方式進行訓練，藉以在每次訓練回合中，調整該多模態標準模型中之對應者的參數以使損失函數最小化，並在完成指定的訓練回合後，建立經訓練的多模態標準模型。
  5. 一種預測系統，包含：至少一處理器；及至少一儲存單元與該處理器耦接，該儲存單元具有一預測模型係根據請求項1~4中任一項之預測模型之建立方法所建立，以針對一輸入資訊中的多個感興趣的模態中的一者或多者以產生一預測結果；該處理器接收具有該多個 感興趣的模態中的一者或多者的輸入資訊並導入該預測模型以產生對應的預測結果。
  6. 一種阿茲海默症預測系統，包含如請求項5之預測系統，該輸入資訊的該多個感興趣模態係選自一臨床因子模態、一腦部影像模態、一腦電圖模態、一環境空汙模態、一基因模態中之任三者；各該感興趣模態係由對應的表徵資訊輸入至對應的單一模態標準模型所產生；所述對應的表徵資訊係指一臨床因子表徵資訊、一腦部影像表徵資訊、一腦電圖表徵資訊、一環境空汙表徵資訊、一基因表徵資訊中之對應的至少三者；所述對應的單一模態標準模型係指一臨床因子標準模型、一腦部影像標準模型、一腦電圖標準模型、一環境空汙標準模型、一基因標準模型中之對應的至少三者。
  7. 如請求項6之阿茲海默症預測系統，其中，所述臨床因子表徵資訊包含病患的年齡與性別資訊、相關疾病史與併發症、大腦認知功能及精神行為表現中的至少一者；所述腦部影像表徵資訊包含病患的腦部的核磁共振影像或電腦斷層掃描影像；所述腦電圖表徵資訊包含具有一特定頻率與位置的腦電圖的至少一特徵；所述環境空汙表徵資訊為病患的生活場域的空汙資料，所述空汙資料包含懸浮微粒濃度、細懸浮微粒濃度、氮氧化物濃度、一氧化氮濃度、二氧化氮濃度、一氧化碳濃度、二氧化碳濃度及臭氧濃度中之至少一者；所述基因表徵資訊為特定基因點位SNP及/或核苷酸的長度。
TW111124343A 2022-05-18 2022-06-29 穩健預測模型的建立方法、預測系統及阿茲海默症預測系統 TWI796251B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/855,736 US20230377746A1 (en) 2022-05-18 2022-06-30 Method for establishing robust prediction model, prediction system, and prognostic system for alzheimer's disease

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW111118481 2022-05-18
TW111118481 2022-05-18

Publications (2)

Publication Number Publication Date
TWI796251B true TWI796251B (zh) 2023-03-11
TW202347351A TW202347351A (zh) 2023-12-01

Family

ID=86692434

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111124343A TWI796251B (zh) 2022-05-18 2022-06-29 穩健預測模型的建立方法、預測系統及阿茲海默症預測系統

Country Status (2)

Country Link
US (1) US20230377746A1 (zh)
TW (1) TWI796251B (zh)

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
期刊 Liu, Jun, et al. "Ntu rgb+ d 120: A large-scale benchmark for 3d human activity understanding." IEEE transactions on pattern analysis and machine intelligence 42.10 (2019) ieeexplore.ieee.org 2019 pages 1-17

Also Published As

Publication number Publication date
US20230377746A1 (en) 2023-11-23
TW202347351A (zh) 2023-12-01

Similar Documents

Publication Publication Date Title
Jiang et al. Learning efficient, explainable and discriminative representations for pulmonary nodules classification
Goel et al. OptCoNet: an optimized convolutional neural network for an automatic diagnosis of COVID-19
Tong et al. Automated identification of retinopathy of prematurity by image-based deep learning
JP7305656B2 (ja) 確率分布をモデル化するためのシステムおよび方法
Muhlestein et al. Predicting inpatient length of stay after brain tumor surgery: developing machine learning ensembles to improve predictive performance
Martorell-Marugán et al. Deep learning in omics data analysis and precision medicine
US20210375392A1 (en) Machine learning platform for generating risk models
Wani et al. DeepXplainer: An interpretable deep learning based approach for lung cancer detection using explainable artificial intelligence
US20210225513A1 (en) Method to Create Digital Twins and use the Same for Causal Associations
Ferrante et al. Artificial intelligence in the diagnosis of pediatric allergic diseases
CN111612278A (zh) 生命状态预测方法、装置、电子设备及存储介质
Agarwal et al. Survival prediction based on histopathology imaging and clinical data: A novel, whole slide cnn approach
Ning et al. Deep active autoencoders for outlier detection
Datta et al. Artificial intelligence in critical care: Its about time!
Fadhil et al. Multiple efficient data mining algorithms with genetic selection for prediction of SARS-CoV2
KV et al. A New Deep Learning Model based on Neuroimaging for Predicting Alzheimer's Disease
Vani Impetus to machine learning in cardiac disease diagnosis
Ghosh et al. a Neuro-fuzzy based Classification Method
TWI796251B (zh) 穩健預測模型的建立方法、預測系統及阿茲海默症預測系統
RS et al. Intelligence model for Alzheimer’s disease detection with optimal trained deep hybrid model
WO2022210473A1 (ja) 予後予測装置、予後予測方法及びプログラム
Jun et al. Medical data science in rhinology: Background and implications for clinicians
Chen et al. Multi-kernel Learning Fusion Algorithm Based on RNN and GRU for ASD Diagnosis and Pathogenic Brain Region Extraction
US20240169188A1 (en) Systems and Methods for Training Conditional Generative Models
US20240303493A1 (en) Systems and Methods for Training Conditional Generative Models