TWI697851B - 電子裝置與模型更新方法 - Google Patents

電子裝置與模型更新方法 Download PDF

Info

Publication number
TWI697851B
TWI697851B TW108115365A TW108115365A TWI697851B TW I697851 B TWI697851 B TW I697851B TW 108115365 A TW108115365 A TW 108115365A TW 108115365 A TW108115365 A TW 108115365A TW I697851 B TWI697851 B TW I697851B
Authority
TW
Taiwan
Prior art keywords
model
file
models
trained
module
Prior art date
Application number
TW108115365A
Other languages
English (en)
Other versions
TW202042122A (zh
Inventor
謝成典
許銀雄
Original Assignee
宏碁股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏碁股份有限公司 filed Critical 宏碁股份有限公司
Priority to TW108115365A priority Critical patent/TWI697851B/zh
Priority to US16/561,050 priority patent/US11423261B2/en
Application granted granted Critical
Publication of TWI697851B publication Critical patent/TWI697851B/zh
Publication of TW202042122A publication Critical patent/TW202042122A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • G06F18/2185—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor the supervisor being an automated module, e.g. intelligent oracle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G06V10/7788—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

電子裝置與模型更新方法。所述方法包括：將多個檔案輸入至一第一模型並輸出所述多個檔案中每一個檔案的一預測結果；接收對所述多個檔案中的至少一第一檔案的所述預測結果進行修正的一修正後結果，並根據所述修正後結果以及所述第一檔案產生對應於所述第一檔案的一第一標籤檔(label file)；根據所述第一標籤檔訓練多個模型以產生多個已訓練的模型；使用至少一測試集測試所述多個已訓練的模型；以及當所述多個已訓練的模型中一第一已訓練的模型的預測準確度高於所述第一模型的預測準確度時，使用所述第一已訓練的模型取代所述第一模型。

Description

電子裝置與模型更新方法
本發明是有關於一種電子裝置與模型更新方法。
隨著智慧醫療的進展，利用人工智慧、機器學習模型或是深度學習模型輔助醫療診斷將越來越常見。然而許多醫療上的病徵判斷往往有灰色地帶，且判斷常有因人而異的現象。因此，若僅使用一套規則推行到所有醫院，其實是窒礙難行的。
現有以模型為基礎的機器學習或深度學習，指的是建立一個高度參數化的模型，藉由大量已標註的資料訓練模型內的參數，我們便可以使用此含有訓練過的參數的模型預測新資料。訓練模型的流程可依序包含如下：蒐集去識別化的資料、資料加上標註、資料前處理與加強、設計模型並將帶有標註的資料導入模型進行模型的訓練。其中，將資料加上標註這項流程極為耗時，而模型訓練的目的為找出標註的規則以使得該模型將來用來預測時所預測出的結果會接近該規則。
以醫療產業為例，如果我們請甲醫院的醫師幫忙標註資料，訓練出來的模型對新資料的預測將接近甲醫院的這位醫師。如果我們將這套模型推廣到乙醫院，而乙醫院有不同的判斷標準時，那麼他們就可能認為這套系統的判斷不佳，且會影響他們使用這套系統的意願。
因此，本發明提出一種電子裝置與模型更新方法，可以在遇到模型的預測不符合預期時，能夠自我調整或訓練模型，讓模型的預測行為往使用者的預期靠近，藉此提高使用者接受所使用的模型(或系統)的意願。
本發明提出一種電子裝置，所述電子裝置包括儲存電路與處理器。儲存電路記錄多個模組。處理器存取並執行所述多個模組，所述多個模組包括：預測模組、智能標註模組、自動訓練模組、模型進化決策模組以及自動化流程管控模組。預測模組將多個檔案輸入至一第一模型並輸出所述多個檔案中每一個檔案的一預測結果。智能標註模組接收對所述多個檔案中的至少一第一檔案的所述預測結果進行修正的一修正後結果，並根據所述修正後結果以及所述第一檔案產生對應於所述第一檔案的一第一標籤檔。自動訓練模組根據所述第一標籤檔訓練多個模型以產生多個已訓練的模型。模型進化決策模組使用至少一測試集測試所述多個已訓練的模型。當所述多個已訓練的模型中一第一已訓練的模型的預測準確度高於所述第一模型的預測準確度時，自動化流程管控模組，使用所述第一已訓練的模型取代所述第一模型。
本發明提出一種模型更新方法，用於一電子裝置，所述方法包括：將多個檔案輸入至一第一模型並輸出所述多個檔案中每一個檔案的一預測結果；接收對所述多個檔案中的至少一第一檔案的所述預測結果進行修正的一修正後結果，並根據所述修正後結果以及所述第一檔案產生對應於所述第一檔案的一第一標籤檔(label file)；根據所述第一標籤檔訓練多個模型以產生多個已訓練的模型；使用至少一測試集測試所述多個已訓練的模型；以及當所述多個已訓練的模型中一第一已訓練的模型的預測準確度高於所述第一模型的預測準確度時，使用所述第一已訓練的模型取代所述第一模型。
基於上述，本發明提出一種電子裝置與模型更新方法，可以在遇到模型的預測不符合預期時，能夠自我調整或訓練模型，讓模型的預測行為往欲達到的預期靠近，藉此提高使用者接受所使用的模型(或系統)的意願。另一方面，若使用者認為原本的模型或系統的預測效果好，或是該模型或系統的預測效果不想隨時間而改變時，也允許使用者關閉模型的更新。此外，如果某些預測行為可分成多個步驟，且此些步驟可分別利用多個模型組合而成的話，各自的模型亦可以各自進行學習與訓練。使用者可挑選該些模型中部分的模型進行自我訓練。另外，在本發明的模型更新方法中，亦可排程模型的訓練時間，藉此避開使用者(例如，醫師)使用系統的時間，並在非營業時間(例如，夜間或醫師休診時)進行模型的自我訓練。因此，本發明的模型更新方法不只是加入模型自我學習的機制，還包含使用者管控與排程。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
現將詳細參考本發明之示範性實施例，在附圖中說明所述示範性實施例之實例。另外，凡可能之處，在圖式及實施方式中使用相同標號的元件/構件代表相同或類似部分。
圖1是依照本發明的一實施例所繪示的電子裝置的示意圖。
請參照圖1，本實施例的電子裝置100會包括處理器10、儲存電路12、輸入電路14以及輸出電路16。其中，前述的儲存電路12、輸入電路14以及輸出電路16分別耦接至處理器10。
處理器10可以是中央處理器（Central Processing Unit，CPU），或是其他可程式化之一般用途或特殊用途的微處理器（Microprocessor）、數位信號處理器（Digital Signal Processor，DSP）、可程式化控制器、特殊應用積體電路（Application Specific Integrated Circuit，ASIC）或其他類似元件或上述元件的組合。
儲存電路12可以是任何型態的固定或可移動隨機存取記憶體（random access memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體（flash memory）或類似元件或上述元件的組合。
輸入電路14例如可以透過鍵盤、滑鼠、觸控螢幕或麥克風接收來自一使用者的輸入。
輸出電路16例如可以透過螢幕、揚聲器或其他輸出裝置來輸出訊息或訊號。
在本範例實施例中，電子裝置100的儲存電路12中儲存有多個程式碼片段。在儲存電路12中的程式碼片段被安裝後，會由電子裝置100的處理器10來執行。例如，儲存電路12中包括多個模組，藉由這些模組來分別執行電子裝置100中的各個運作，其中各模組是由一或多個程式碼片段所組成。然而本發明不限於此，電子裝置100中的每一個電子裝置的各個運作也可以是使用其他硬體形式的方式來實現。
圖2是依照本發明的一實施例所繪示的以商業角度來描述本發明的模型更新方法的示意圖。
請參照圖2，當我們訓練好用於預測的模型200並經過醫療機構認證商品化產品後，可能遇到各種狀況。例如，以醫療業為例，醫療機構20(例如，診所或是區域醫院)可能希望使用訓練好的模型200即足夠，但也有可能醫療機構21~22希望能有自己的專屬的模型，希望模型200的預測結果越接近醫療機構21~22的規則越好。此時即可加入自我學習，使模型改進成為自有的專業模型201~202。將來如果有商品化需求，亦可入商品化流程以產生商品化模型205、206。
圖3是依照本發明的一實施例所繪示的模型訓練方法的示意圖。
請參照圖3，在步驟S301中，可以對資料320進行去識別化。去識別化例如是去識別化是以個人隱私權保護為基礎，資料320去除與個人隱私相關的資訊。之後在步驟S303中，可以對去識別化後的資料進行標註，例如框選出欲辨識的物件的位置。之後，在步驟S305中，對已標註的資料進行前處理，並在步驟S307中對已進行前處理的資料進行資料的加強。需注意的是，前處理與資料加強兩者的內容可以依實作方式的不同而異，在此不再贅述。之後，在步驟S309，可以進行模型的設計。例如，選用用於訓練的模型以及演算法等。之後在步驟S311中，可以使用步驟S307所獲得的資料來訓練模型，最後產出已訓練完成的模型322。
以醫療業為例，圖3最後產出的模型322可以用於辨識一張醫療影像中病灶的位置，並框選出該病灶的位置。
圖4是依照本發明的一實施例所繪示的模型訓練方法的應用的示意圖。
請參照圖4，電子裝置100的儲存電路12可以包括預測模組401、智能標註模組403、自動訓練模組405、模型進化決策模組407以及自動化流程管控模組409。在醫療機構中，醫生可以使用醫師門診系統400來與預測模組401作串接。
預測模組401會使用到模型322。當醫師門診系統400取得病患的多個醫療影像時，預測模組401可以將此些醫療影像輸入至模型322並輸出每一個醫療影像的預測結果。在此，預測結果例如是醫療影像中病灶的位置，然而本發明並不用於限定前述的預測結果為何。
特別是，當前述的醫療影像中部分影像(以下稱為，第一檔案)的預測結果不符合醫生的預期時，醫生可以透過醫師門診系統400輸入的預測結果進行修正(例如，醫生手動框選出病灶的正確位置)以產生修正後結果(例如，已被醫生框選出正確病灶位置的醫療影像)。之後，可以透過智能標註模組403、自動訓練模組405、模型進化決策模組407以及自動化流程管控模組409根據前述的修正後結果對模型進行訓練以產生進化的模型411，並且可以使用模型411來取代原本使用的模型322。
以下以更詳細的實施例來描述如何透過智能標註模組403、自動訓練模組405、模型進化決策模組407以及自動化流程管控模組409產生進化的模型411。
首先，智能標註模組403會接收對前述的第一檔案的預測結果進行修正的一修正後結果，並根據所述修正後結果以及第一檔案產生對應於第一檔案的第一標籤檔(label file)。例如，圖5A與圖5B是依照本發明的一實施例所繪示的產生標籤檔的示意圖。
請參照圖5A，假設將醫療影像500輸入至模型322後，所輸出的預測結果為病灶位在影像500中的位置50。醫生例如可以透過醫師門診系統400輸入影像500中正確的病灶位置52。需說明的是，位置52即為前述的「修正後結果」。之後，智能標註模組403會根據修正後結果(即，位置52)以及影像500產生對應於影像500的標籤檔566(亦稱為，第一標籤檔)。之後，自動化流程管控模組409可以將標籤檔566存入資料庫540並管理資料庫540中的標籤檔566。
需注意的是，在圖5A的實施例中，智能標註模組403是僅使用預測錯誤的影像進行模型訓練。然而在其他實施例中，也可以同時使用預測正確的影像與預測錯誤的影像進行模型訓練。
舉例來說，請參照圖5B，假設將醫療影像502輸入至模型322後，所輸出的預測結果為病灶位在影像502中的位置54，且位置54確實為病灶的真正位置。此時，醫生可以不用對影像502的預測結果進行修改，並且透過醫師門診系統輸入確認訊息。之後，智能標註模組403不會接收到對影像502(亦稱為，第二檔案)的預測結果進行修正的修正後結果。智能標註模組403會根據影像502的預測結果(即，位置54)產生對應於影像502的標籤檔568(亦稱為，第二標籤檔)。之後，智能標註模組403可以將標籤檔568存入資料庫540，之後自動訓練模組405作後續的模型訓練的過程中，可以同時使用標籤檔568與標籤檔566進行模型的訓練。
在此需說明的是，標籤檔可以是文字(text)檔、可延伸標記式語言(Extensible Markup Language，XML)檔、JavaScript物件表示法(JavaScript Object Notation，JavaScript，JSON)檔或影像地圖(Image Map)等格式，在此不作限制。
在產生標籤檔後，自動訓練模組405可以根據所產生的標籤檔(例如，前述的第一標籤檔及/或第二標籤檔)來訓練多個模型以產生多個已訓練的模型。
詳細來說，圖6是依照本發明的一實施例所繪示的自動訓練模組的運作的示意圖。
請參照圖6，假設標籤檔60是經過如圖5A或圖5B的方式所產生。自動訓練模組405會在步驟S601中對標籤檔60執行資料前處理操作，並且在步驟S603中執行一資料加強操作，最後產生對應於標籤檔60的標籤化資料(labeled data)62。需注意的是，資料前處理操作以及資料加強操作兩者可以單獨或合併一起被使用。資料前處理操作例如是將標籤化資料62的格式轉換成模型可接受的輸入格式。資料加強操作例如是執行正規化的操作。然而，本發明並不用於限定資料前處理操作與資料加強操作兩者的實際內容為何。
在獲得標籤化資料62後，自動訓練模組405會依照比例，將標籤化資料62分組為訓練集以及測試集。例如，訓練集包含所有標籤化資料中的70%的標籤化資料，而剩餘的30%的標籤化資料會被歸類為測試集。自動訓練模組405在步驟S605中會根據標籤化資料62所產生的訓練集訓練模型64a~64n以產生多個已訓練的模型。在此需說明的是，測試集不參與模型訓練，其是用以防止模型的訓練過度地擬合訓練集(Overfitting)。
需說明的是，自動化管控模組409會自動地決定是否執行根據標籤檔訓練模型64a~64n的運作(步驟S611)。例如，僅當標籤檔的數量大於某一門檻值時，自動化管控模組409才會決定執行根據標籤檔訓練模型64a~64n的運作。自動化管控模組409還會自動地從多種不同的架構的模型中選擇欲被用來訓練的模型64a~64n(步驟S613)。自動化流程管控模組409還會自動地決定執行根據標籤檔訓練模型64a~64n的運作的一排程與一時間(步驟S615)。例如，自動化流程管控模組409可以將執行根據標籤檔訓練模型64a~64n的運作的排程與時間設定在醫師休診的時候。
在完成模型64a~64n的訓練之後，需對已訓練的模型進行測試。例如，圖7A與圖7B是依照本發明的一實施例所繪示的模型進化決策模組的運作的示意圖。
請參照圖7A，假設在訓練模型64a~64n之後會獲得已訓練的模型65a~65n。模型進化決策模組407會使用前述圖6中所產生的測試集測試模型65a~65n。在本實施例中，模型進化決策模組407還會使用其他的測試集測試模型65a~65n。例如，模型進化決策模組407會使用黃金測試集700測試集測試模型65a~65n。黃金測試集700是包括經由多方驗證、內容為客觀公正無異議的測試集，其亦包括多個標籤化資料。黃金測試集700用以測試模型65a~65n是否因過度擬合圖6所產生的測試集與訓練集，導致模型65a~65n基本的預測準確度降低。
之後，模型進化決策模組407可以將模型65a~65n的測試結果記錄在清單702中。模型進化決策模組407根據清單702中的測試結果計算並輸出模型65a~65n的排名704。排名704用以表示模型65a~65n用以取代原本使用的模型322的優先程度。
之後，自動化流程管控模組409會根據排名704決定是否要更新原本使用的模型322。例如，當已訓練的模型65a~65n中的某一個已訓練的模型(亦稱為，第一已訓練的模型)的預測準確度高於模型322的預測準確度及/或第一已訓練的模型在排名704中為第一時，自動化流程管控模組409會使用第一已訓練的模型取代模型322。
特別是，如果訓練後的模型65a~65n的預測結果不理想，模型進化決策模組407也可以建議不要更新(或取代)原本使用的模型322。此外，在本實施例中，自動化流程管控模組409還會決定是否執行使用測試集測試模型65a~65n的運作。例如，當從圖6流程所獲得的測試集中的資料不足時，可以先不執行測試模型65a~65n的運作。
此外，請參照圖7B，在一實施例中，若在圖6的自動訓練模組405的運作流程中已將圖6所產生的測試集輸入已訓練的模型65a~65n並將所獲得的預測結果儲存下來，則模型進化決策模組407可以省略圖7A中使用在圖6中所產生的測試集進行測試的步驟，並僅使用黃金測試集來測試模型65a~65n，如圖7B所示。
特別是，自動化流程管控模組409是與其他模組一起協同合作，從第一階段的智能標註模組403的儲存與管理標籤、第二階段的自動訓練模組405的模型及/或參數挑選到第三階段的模型進化決策模組407評估模型能力與更新決策，將各個模組的運作串接起來。使用者例如於操作介面(未繪示)設定好自動化流程管控模組409的決策後，各模組可以自動執行並決定是否更新原先使用的模型322。藉此，在醫療領域中，可以達成自適應學習之智能醫療系統。
圖8是依照本發明的一實施例所繪示的同時使用多個模型的示意圖。請參照圖8，一般而言，深度學習模組為端到端模型，在醫療領域中，有些診斷過程複雜，而直接套用單一個模型進行預測容易導致模型不易訓練成功。以計算血管阻塞程度提供醫師處置建議的過程為例，可以利用血管照影拍攝而獲得影片800，並透過模型801從影片800中挑出參與計算的影格80a~80n。接著，可以透過模型803將影格80a~80n中的血管區分為主幹、分支與末端，然後再使用模型805判斷血管中各部分是否有阻塞或其他病灶以產生判斷結果807a~807c，最後再將判斷結果807a~807c整合為匯總結果807輸出。也就是說，圖8同時使用了三種不同功能的模型。一個模型的輸入可能是上一個模型的輸出，而本發明還可以使用管線化的方式來對多個模型進行訓練。
圖9是依照本發明的一實施例所繪示的使用管線化的方式來對多個模型進行訓練的示意圖。請參照圖9，預測模組401可以將影像99進行前處理操作90a後輸入至模型900並輸出預測結果90b。假設預測結果90b不符合醫師的預期(例如，預測結果不正確)時，醫師例如可以透過人機互動介面對預測結果90b進行修正，智能標註模組403會接收對影像99的預測結果進行修正的一修正後結果90c，根據此修正後結果90c以及影像99產生對應於影像99的標籤檔，並將此標籤檔存入資料庫540中。
而在獲得修正後結果90c後，智能標註模組403還會將修正後結果90c以及影像99進行前處裡91a後輸入至模型901(亦稱為，第二模型)。模型901會根據修正後結果90c以及影像99輸出對應於影像99的預測結果91b。假設預測結果91b不符合醫師的預期(例如，預測結果不正確)時，醫師例如可以透過人機互動介面對預測結果91b進行修正。智能標註模組403還可以接收對預測結果91b進行修正的修正後結果91c，並根據修正後結果91c以及影像99產生對應於影像99的標籤檔(亦稱為，第三標籤檔)，並將此標籤檔存入資料庫540中。而相似的流程可以應用在使用模型902獲得預測結果92b以及修正後結果92c。
而針對模型的訓練來說，自動訓練模組405可以使用經前處理操作90a的影像99以及對應於修正後結果90c的標籤檔訓練模型910。類似地，自動訓練模組405可以根據模型901的輸入(即，將修正後結果90c以及影像99進行前處裡91a所獲得的檔案)以及前述的第三標籤檔訓練模型920。而模型930的訓練可以如模型910~920的訓練，在此不再贅述。
之後，可以再使用模型進化決策模組407對已訓練的模型910~930進行測試，並且藉由自動化流程管控模組409判斷是否使用模型910取代模型900、是否使用模型920取代模型901以及是否使用模型930取代模型902。
需注意的是，雖然上述範例是使用影像作為輸入，但本發明不限於此。在其他實施例中，輸入的檔案也可以是其他種類的檔案。
圖10是依照本發明的一實施例所繪示的模型更新方法的流程圖。
請參照圖10，在步驟S1001中，預測模組401可以將多個檔案輸入至第一模型並輸出所述多個檔案中每一個檔案的預測結果。在步驟S1003中，智能標註模組403接收對前述多個檔案中的第一檔案的預測結果進行修正的修正後結果，並根據此修正後結果以及第一檔案產生對應於第一檔案的第一標籤檔。在步驟S1005中，自動訓練模組405會根據第一標籤檔訓練多個模型以產生多個已訓練的模型。在步驟S1007中，模型進化決策模組407使用至少一測試集測試多個已訓練的模型。最後在步驟S1009中，當前述多個已訓練的模型中第一已訓練的模型的預測準確度高於第一模型的預測準確度時，自動化流程管控模組409使用第一已訓練的模型取代所述第一模型。
綜上所述，本發明的電子裝置與模型更新方法，可以在遇到模型的預測不符合預期時，能夠自我調整或訓練模型，讓模型的預測行為往欲達到的預期靠近，藉此提高使用者接受所使用的模型(或系統)的意願。另一方面，若使用者認為原本的模型或系統的預測效果好，或是該模型或系統的預測效果不想隨時間而改變時，也允許使用者關閉模型的更新。此外，如果某些預測行為可分成多個步驟，且此些步驟可分別利用多個模型組合而成的話，各自的模型亦可以各自進行學習與訓練。使用者可挑選該些模型中部分的模型進行自我訓練。另外，在本發明的模型更新方法中，亦可排程模型的訓練時間，藉此避開使用者(例如，醫師)使用系統的時間，並在非營業時間(例如，夜間或醫師休診時)進行模型的自我訓練。因此，本發明的模型更新方法不只是加入模型自我學習的機制，還包含使用者管控與排程。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
100:電子裝置
10:處理器
12:儲存電路
14:輸入電路
16:輸出電路
200:模型
201、202:專業模型
20~22:醫療機構
205、206:商品化模型
320:資料
S301:去識別化
S303:加標註
S305:資料前處理
S307:資料加強
S309:模型設計
S311:模型訓練
322、411:模型
400:醫師門診系統
401:預測模組
403:智能標註模組
405:自動訓練模組
407:模型進化決策模組
409:自動化流程管控模組
500、502:影像
50、52、54:位置
566、568、60:標籤檔
540:資料庫
S601:資料前處理
S603:資料加強
62:標籤化資料
S605:模型訓練
S611~S615:步驟
64a~64n、65a~65n:模型
700:黃金測試集
702:清單
704:排名
800:影片
801、803、805、900~902、910~930:模型
80a~80n:影格
807a~807c:判斷結果
807:匯總結果
99:影像
90a、91a、92a:前處理
90b、91b、92b:預測結果
90c、91c、92c:結果
540:資料庫
S1001~S1009:步驟
圖1是依照本發明的一實施例所繪示的電子裝置的示意圖。 圖2是依照本發明的一實施例所繪示的以商業角度來描述本發明的模型更新方法的示意圖。 圖3是依照本發明的一實施例所繪示的模型訓練方法的示意圖。 圖4是依照本發明的一實施例所繪示的模型訓練方法的應用的示意圖。 圖5A與圖5B是依照本發明的一實施例所繪示的產生標籤檔的示意圖。 圖6是依照本發明的一實施例所繪示的自動訓練模組的運作的示意圖。 圖7A與圖7B是依照本發明的一實施例所繪示的模型進化決策模組的運作的示意圖。 圖8是依照本發明的一實施例所繪示的同時使用多個模型的示意圖。 圖9是依照本發明的一實施例所繪示的使用管線化的方式來對多個模型進行訓練的示意圖。 圖10是依照本發明的一實施例所繪示的模型更新方法的流程圖。
S1001~S1009:步驟

Claims (10)

  1. 一種電子裝置，所述電子裝置包括：一儲存電路，記錄多個模組；一處理器，存取並執行所述多個模組，所述多個模組包括：一預測模組，將多個醫療影像的多個檔案輸入至一第一模型並輸出所述多個檔案中每一個檔案的一預測結果，其中所述多個檔案中每一個檔案的所述預測結果是所述多個醫療影像中每一個醫療影像中的病灶的位置；一智能標註模組，接收對所述多個檔案中的至少一第一檔案的所述預測結果進行修正的一修正後結果，並根據所述修正後結果以及所述第一檔案產生對應於所述第一檔案的一第一標籤檔(label file)；一自動訓練模組，根據所述第一標籤檔訓練多個模型以產生多個已訓練的模型；一模型進化決策模組，使用至少一測試集測試所述多個已訓練的模型；以及一自動化流程管控模組，當所述多個已訓練的模型中一第一已訓練的模型的預測準確度高於所述第一模型的預測準確度時，使用所述第一已訓練的模型取代所述第一模型。
  2. 如申請專利範圍第1項所述的電子裝置，其中所述自動化流程管控模組管理並儲存所述第一標籤檔，所述自動化流程管控模組決定是否執行根據所述第一標籤檔 訓練所述多個模型的運作，所述自動化流程管控模組選擇欲被訓練的所述多個模型，所述自動化流程管控模組決定執行根據所述第一標籤檔訓練所述多個模型的運作的一排程與一時間，以及所述自動化流程管控模組決定是否執行使用所述測試集測試所述多個已訓練的模型的運作。
  3. 如申請專利範圍第1項所述的電子裝置，其中所述智能標註模組不接收對所述多個檔案中的至少一第二檔案的所述預測結果進行修正的另一修正後結果，並根據所述第二檔案的所述預測結果產生對應於所述第二檔案的一第二標籤檔，所述自動訓練模組根據所述第二標籤檔訓練所述多個模型以產生所述多個已訓練的模型。
  4. 如申請專利範圍第1項所述的電子裝置，其中在根據所述第一標籤檔訓練所述多個模型以產生所述多個已訓練的模型的運作中，所述自動訓練模組對所述第一標籤檔執行一資料前處理操作及/或一資料加強操作以產生對應於所述第一標籤檔的一標籤化資料(labeled data)，所述自動訓練模組根據所述標籤化資料訓練所述多個模型以產生所述多個已訓練的模型。
  5. 如申請專利範圍第4項所述的電子裝置，其中在根據所述標籤化資料訓練所述多個模型以產生所述多個已訓練的模型的運作中，所述自動訓練模組使用所述標籤化資料中部分的標籤化資料訓練所述多個模型以產生所述多個已訓練的模型。
  6. 如申請專利範圍第5項所述的電子裝置，其中在使用所述測試集測試所述多個已訓練的模型的運作中，所述模型進化決策模組使用所述標籤化資料中另一部分的標籤化資料測試所述多個已訓練的模型。
  7. 如申請專利範圍第1項所述的電子裝置，其中所述測試集包括一黃金測試集，所述黃金測試集包括多個已驗證的標籤化資料。
  8. 如申請專利範圍第1項所述的電子裝置，其中所述模型進化決策模組輸出所述多個模型的一排名，所述排名用以表示所述多個模型用以取代所述第一模型的優先程度。
  9. 如申請專利範圍第1項所述的電子裝置，其中所述智能標註模組將所述修正後結果以及所述第一檔案輸入至一第二模型，所述第二模型根據所述修正後結果以及所述第一檔案輸出對應於所述第一檔案的另一預測結果，所述智能標註模組接收對所述另一預測結果進行修正的另一修正後結果，並根據所述另一修正後結果以及所述第一檔案產生對應於所述第一檔案的一第三標籤檔(label file)， 所述自動訓練模組根據所述第三標籤檔、所述修正後結果以及所述第一檔案訓練另一模型。
  10. 一種模型更新方法，用於一電子裝置，所述方法包括：將多個醫療影像的多個檔案輸入至一第一模型並輸出所述多個檔案中每一個檔案的一預測結果，其中所述多個檔案中每一個檔案的所述預測結果是所述多個醫療影像中每一個醫療影像中的病灶的位置；接收對所述多個檔案中的至少一第一檔案的所述預測結果進行修正的一修正後結果，並根據所述修正後結果以及所述第一檔案產生對應於所述第一檔案的一第一標籤檔(label file)；根據所述第一標籤檔訓練多個模型以產生多個已訓練的模型；使用至少一測試集測試所述多個已訓練的模型；以及當所述多個已訓練的模型中一第一已訓練的模型的預測準確度高於所述第一模型的預測準確度時，使用所述第一已訓練的模型取代所述第一模型。
TW108115365A 2019-05-03 2019-05-03 電子裝置與模型更新方法 TWI697851B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW108115365A TWI697851B (zh) 2019-05-03 2019-05-03 電子裝置與模型更新方法
US16/561,050 US11423261B2 (en) 2019-05-03 2019-09-05 Electronic device and model updating method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW108115365A TWI697851B (zh) 2019-05-03 2019-05-03 電子裝置與模型更新方法

Publications (2)

Publication Number Publication Date
TWI697851B true TWI697851B (zh) 2020-07-01
TW202042122A TW202042122A (zh) 2020-11-16

Family

ID=72602026

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108115365A TWI697851B (zh) 2019-05-03 2019-05-03 電子裝置與模型更新方法

Country Status (2)

Country Link
US (1) US11423261B2 (zh)
TW (1) TWI697851B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11551024B1 (en) * 2019-11-22 2023-01-10 Mastercard International Incorporated Hybrid clustered prediction computer modeling
KR20210141123A (ko) * 2020-05-15 2021-11-23 한국전자통신연구원 인공지능의 부분 학습 방법 및 이를 위한 장치
CN113705827B (zh) * 2021-07-29 2024-04-12 阿里巴巴创新公司 一种模型评估方法、装置及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101339619A (zh) * 2008-08-11 2009-01-07 重庆大学 用于模式分类的动态特征选择方法
US20090281972A1 (en) * 2008-05-06 2009-11-12 Microsoft Corporation Adaptive learning framework for data correction
TW201211789A (en) * 2010-07-22 2012-03-16 Kla Tencor Corp Method for automated determination of an optimally parameterized scatterometry model
CN104398254A (zh) * 2014-11-14 2015-03-11 中国科学院深圳先进技术研究院 一种心电图分析系统、分析设备及预测模型采集设备

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007116204A1 (en) * 2006-04-11 2007-10-18 Iti Scotland Limited Information extraction methods and apparatus including a computer-user interface
US9063975B2 (en) * 2013-03-15 2015-06-23 International Business Machines Corporation Results of question and answer systems
WO2009050521A2 (en) * 2007-10-17 2009-04-23 Iti Scotland Limited Computer-implemented methods displaying, in a first part, a document and in a second part, a selected index of entities identified in the document
US8762298B1 (en) * 2011-01-05 2014-06-24 Narus, Inc. Machine learning based botnet detection using real-time connectivity graph based traffic features
US9280908B2 (en) * 2013-03-15 2016-03-08 International Business Machines Corporation Results of question and answer systems
JP6362893B2 (ja) * 2014-03-20 2018-07-25 株式会社東芝 モデル更新装置及びモデル更新方法
JP6897042B2 (ja) * 2016-09-27 2021-06-30 日本電気株式会社 画像検査装置、画像検査方法および画像検査プログラム
CN107563123A (zh) * 2017-09-27 2018-01-09 百度在线网络技术（北京）有限公司 用于标注医学图像的方法和装置
US20190179883A1 (en) * 2017-12-08 2019-06-13 International Business Machines Corporation Evaluating textual annotation model performance
US11609984B2 (en) * 2018-02-14 2023-03-21 Digital Guardian Llc Systems and methods for determining a likelihood of an existence of malware on an executable
US11030486B2 (en) * 2018-04-20 2021-06-08 XNOR.ai, Inc. Image classification through label progression
CN112424822A (zh) * 2018-08-06 2021-02-26 株式会社岛津制作所 训练标签图像修正方法、学习完毕模型的生成方法及图像解析装置
TWI710922B (zh) * 2018-10-29 2020-11-21 安碁資訊股份有限公司 行為標記模型訓練系統及方法
EP3657514A1 (en) * 2018-11-22 2020-05-27 Koninklijke Philips N.V. Interactive iterative image annotation
US10451712B1 (en) * 2019-03-11 2019-10-22 Plato Systems, Inc. Radar data collection and labeling for machine learning
JP7231464B2 (ja) * 2019-04-09 2023-03-01 株式会社日立製作所 物体認識システム及び物体認識方法
US10832083B1 (en) * 2019-04-23 2020-11-10 International Business Machines Corporation Advanced image recognition for threat disposition scoring
US11705226B2 (en) * 2019-09-19 2023-07-18 Tempus Labs, Inc. Data based cancer research and treatment systems and methods
WO2022098941A1 (en) * 2020-11-06 2022-05-12 The Dun & Bradstreet Corporation System and method for email signature extraction from unstructured text

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090281972A1 (en) * 2008-05-06 2009-11-12 Microsoft Corporation Adaptive learning framework for data correction
CN101339619A (zh) * 2008-08-11 2009-01-07 重庆大学 用于模式分类的动态特征选择方法
TW201211789A (en) * 2010-07-22 2012-03-16 Kla Tencor Corp Method for automated determination of an optimally parameterized scatterometry model
CN104398254A (zh) * 2014-11-14 2015-03-11 中国科学院深圳先进技术研究院 一种心电图分析系统、分析设备及预测模型采集设备

Also Published As

Publication number Publication date
US11423261B2 (en) 2022-08-23
US20200349396A1 (en) 2020-11-05
TW202042122A (zh) 2020-11-16

Similar Documents

Publication Publication Date Title
US10784000B2 (en) Medical system interface apparatus and methods to classify and provide medical data using artificial intelligence
Wu et al. Comparison of chest radiograph interpretations by artificial intelligence algorithm vs radiology residents
US11742073B2 (en) Methods and devices for grading a medical image
TWI697851B (zh) 電子裝置與模型更新方法
CA3137079A1 (en) Computer-implemented machine learning for detection and statistical analysis of errors by healthcare providers
US20200227175A1 (en) Document improvement prioritization using automated generated codes
US20160110502A1 (en) Human and Machine Assisted Data Curation for Producing High Quality Data Sets from Medical Records
JP2021532454A (ja) 生物医学画像内の異常を検出するためのノックアウト・オートエンコーダ
JP2024515534A (ja) 人工知能支援の画像解析のためのシステムおよび方法
US20210196428A1 (en) Artificial Intelligence (AI) based Decision-Making Model for Orthodontic Diagnosis and Treatment Planning
US20190171714A1 (en) Artificial Intelligence Quality Measures Data Extractor
US20230108955A1 (en) Deep-learning-based medical image interpretation system for animals
EP3144833A1 (en) Computer apparatus and method for enhancing clinical pathways
Vinayahalingam et al. Detection of mandibular fractures on panoramic radiographs using deep learning
Sooter et al. Modeling a clinical pathway for contraception
CN110473636B (zh) 基于深度学习的智能医嘱推荐方法及系统
Ong et al. Applying large language model artificial intelligence for retina international classification of diseases (ICD) coding
Guarrasi et al. Multimodal explainability via latent shift applied to COVID-19 stratification
US11809826B2 (en) Assertion detection in multi-labelled clinical text using scope localization
Rosa et al. Artificial intelligence and pelvic fracture diagnosis on X-rays: a preliminary study on performance, workflow integration and radiologists' feedback assessment in a spoke emergency hospital
Weiss et al. Reporting and dictation
Mateussi et al. Clinical Applications of Machine Learning
Karttunen LARGE LANGUAGE MODELS IN HEALTHCARE DECISION SUPPORT
US11978273B1 (en) Domain-specific processing and information management using machine learning and artificial intelligence models
US20230076903A1 (en) Cue-based medical reporting assistance