TWI790795B - 模型校正方法、模型校正系統及非暫態電腦可讀取媒體 - Google Patents

模型校正方法、模型校正系統及非暫態電腦可讀取媒體 Download PDF

Info

Publication number
TWI790795B
TWI790795B TW110140257A TW110140257A TWI790795B TW I790795 B TWI790795 B TW I790795B TW 110140257 A TW110140257 A TW 110140257A TW 110140257 A TW110140257 A TW 110140257A TW I790795 B TWI790795 B TW I790795B
Authority
TW
Taiwan
Prior art keywords
data
model
inference
processing device
feedback
Prior art date
Application number
TW110140257A
Other languages
English (en)
Other versions
TW202318245A (zh
Inventor
呂世祐
廖崧岷
維雷莎拉梅莎 伊塔尼吉拉
盧⼠凱
陳禹任
Original Assignee
財團法人資訊工業策進會
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人資訊工業策進會 filed Critical 財團法人資訊工業策進會
Priority to TW110140257A priority Critical patent/TWI790795B/zh
Priority to US17/538,314 priority patent/US20230135737A1/en
Application granted granted Critical
Publication of TWI790795B publication Critical patent/TWI790795B/zh
Publication of TW202318245A publication Critical patent/TW202318245A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Security & Cryptography (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Air Conditioning Control Device (AREA)
  • Machines For Laying And Maintaining Railways (AREA)
  • Stereophonic System (AREA)
  • Feedback Control In General (AREA)

Abstract

一種模型校正方法，包含以處理裝置執行多個步驟。所述多個步驟包含取得由模型推論而得的推論資料，對推論資料執行反饋機制以取得關聯於推論資料之正確性的反饋指令，依據反饋指令校正推論資料以產生校正資料，以及將校正資料作為多個訓練資料之一以重新訓練模型。

Description

模型校正方法、模型校正系統及非暫態電腦可讀取媒體
本發明係關於一種模型校正方法，特別係關於一種涉及重新訓練模型的模型校正方法。
隨著深度學習技術的快速進步，深度類神經網路已逐漸廣泛應用於各領域，例如智慧製造。藉由深度學習技術，機器可以對工廠內設備（包含機台、感測器等）所產生的量測資料進行異常的判斷、未來趨勢的預測或其他分析。
即便是相同種類，不同型號之產品（例如馬達）所產生之訊號亦會有所差異，而無法套用同一種檢測模型。因此對於新型產品，往往需要重新收集其所產生之訊號，並據以調整檢測模型。而在一個大型工廠中，對應於各式各樣的產品的量測設備數量相當多，若要透過人力方式來進行資料收集及模型部署，則十分費時且費力。
鑒於上述，本發明提供一種模型校正方法、模型校正系統及非暫態電腦可讀取媒體。
依據本發明一實施例的模型校正方法，包含以處理裝置執行多個步驟。所述多個步驟包含：取得由模型推論而得的推論資料，對推論資料執行反饋機制以取得關聯於推論資料之正確性的反饋指令，依據反饋指令校正推論資料以產生校正資料，以及將校正資料作為多個訓練資料之一以重新訓練模型。
依據本發明一實施例的模型校正系統，包含儲存裝置及連接於儲存裝置的處理裝置。儲存裝置儲存模型。處理裝置用於執行：取得由模型推論而得的推論資料，對推論資料執行反饋機制以取得關聯於推論資料之正確性的反饋指令，依據反饋指令校正推論資料以產生校正資料，以及將校正資料作為多個訓練資料之一以重新訓練模型。
依據本發明一實施例的非暫態電腦可讀取媒體，包含至少一電腦可執行程序，當所述至少一電腦可執行程序由處理器執行時實施多個步驟。所述多個步驟包含：取得由模型推論而得的推論資料，對推論資料執行反饋機制以取得關聯於推論資料之正確性的反饋指令，依據反饋指令校正推論資料以產生校正資料，以及將校正資料作為多個訓練資料之一以重新訓練模型。
藉由上述結構，本案所揭示的模型校正方法、模型校正系統及非暫態電腦可讀取媒體可以藉由對模型推論的資料執行反饋機制及資料校正，產生高品質的訓練資料來重新訓練模型，進而增強模型的準確度。
以上之關於本揭露內容之說明及以下之實施方式之說明係用以示範與解釋本發明之精神與原理，並且提供本發明之專利申請範圍更進一步之解釋。
以下在實施方式中詳細敘述本發明之詳細特徵以及優點，其內容足以使任何熟習相關技藝者了解本發明之技術內容並據以實施，且根據本說明書所揭露之內容、申請專利範圍及圖式，任何熟習相關技藝者可輕易地理解本發明相關之目的及優點。以下之實施例係進一步詳細說明本發明之觀點，但非以任何觀點限制本發明之範疇。
請參考圖1，圖1為依據本發明一實施例所繪示的模型校正系統1的功能方塊圖。如圖1所示，模型校正系統1包含儲存裝置11及處理裝置13，兩者彼此連接。於一實施態樣中，儲存裝置11及處理裝置13可以分別設置於邊緣端及雲端，且兩者透過網際網路連接。
儲存裝置11可以包含但不限於快閃（flash）記憶體、硬碟（HDD）、固態硬碟（SSD）、動態隨機存取記憶體（DRAM）或靜態隨機存取記憶體（SRAM）。儲存裝置11儲存有一或多個已訓練模型，可以包含分類模型、迴歸模型及預測模型中的一或多種模型。另外，儲存裝置11亦可儲存多個管線資料（pipeline data）及多個設定檔。於一實施態樣中，儲存裝置11可以包含儲存器及資料庫，其中儲存器儲存上述模型、管線資料、設定檔等資料內容，資料庫則儲存指示上述資料與實體儲存位置間之映射關係的元資料。處理裝置13可以包含但不限於一或多個處理器，例如中央處理器（CPU）、繪圖處理器（GPU）等。處理裝置13用於藉由反饋機制來對由已訓練模型推論出的資料進行校正，且將校正後的資料作為訓練資料以重新訓練所述已訓練模型，其執行步驟將於後描述。
請一併參考圖1及圖2，其中圖2係依據本發明一實施例所繪示的模型校正方法的流程圖。如圖2所示，模型校正方法可以包含步驟S11、S13、S15及S17。圖2所示的模型校正方法可由圖1所示的模型校正系統1的處理裝置13執行，但不限於此。為了方便理解，以下示例性地以處理裝置13的運作來說明模型校正方法的步驟。
於步驟S11中，處理裝置13取得推論資料，其中推論資料係由儲存於儲存裝置11中的已訓練模型推論而得。進一步來說，另一處理裝置（後稱外部裝置）可以將從邊緣端設備收集由設備產生的資料（後稱設備資料）輸入已訓練模型進行推論以產生推論資料。更進一步來說，處理裝置13可以係設置於雲端的處理裝置，而外部裝置可以係設置於邊緣端的處理裝置。處理裝置13可以透過網際網路從外部裝置取得推論資料。推論資料可以包含模型的輸入資料（即設備資料）及模型的推論結果。舉例來說，推論資料可以為時間序列型資料（time series data）或標記型資料（labeled data）。於時間序列型資料中，推論結果在時間上銜接於輸入資料之後，例如為預測結果。於標記型資料中，推論結果可以將輸入資料中符合特定條件的資料標記的方式實現，例如為異常數值標記。
於步驟S13中，處理裝置13對推論資料執行反饋機制，以取得關聯於推論資料之正確性的反饋指令。進一步來說，對於不同類型的推論資料，處理裝置13可以執行不同的反饋機制。
舉例來說，對於時間序列型資料，反饋機制可以包含：判斷推論資料所對應的未來時間區間；經過未來時間區間後，取得未來時間區間的即時資料；以及比較推論資料與即時資料，以產生比較結果；其中，比較結果作為反饋指令。如前所述，屬於時間序列型的推論資料可以包含於過去時間區間所產生的設備資料及預測於未來時間區間可得的推論結果。處理裝置13可以將推論資料儲存起來，記錄其所對應的未來時間區間，並持續接收其他推論資料。待經過未來時間區間後，該時間區間成為過去時間區間，處理裝置13可以判斷新接收到的推論資料是否包含該時間區間所產生的設備資料，即前述即時資料，其可以代表該時間區間的正確資料。處理裝置13在判斷結果為是時，取得所述即時資料以與先前儲存的推論資料中的推論結果進行比較，以產生比較結果，其中比較結果例如包含即時資料與推論結果的數值差異。
舉另個例子來說，對於標記型資料，反饋機制可以包含：透過使用者介面輸出推論資料；以及透過使用者介面取得回應於推論資料的操作指令；其中，操作指令作為反饋指令。進一步來說，處理裝置13可以透過電腦或其他個人化裝置的螢幕呈現推論資料以供使用者查看，使用者可以透過電腦或其他個人化裝置的輸入介面修改推論結果（即產生前述操作指令），以修正推論錯誤的部分。也就是說，操作指令可以指示正確的資料。
特別來說，處理裝置13可以包含運行不同反饋機制的處理模組，而外部裝置在以已訓練模型進行資料推論時便可知資料屬於時間序列型或標記型（例如從管線資料得知），因此外部裝置可將推論資料傳送至具有適用之反饋機制的處理模組。
於步驟S15中，處理裝置13依據反饋指令，校正推論資料以產生校正資料。進一步來說，適用於時間序列型資料的反饋機制所產生的反饋指令可以包含推論結果與正確資料之間的數值差異，處理裝置13可以依據所述數值差異將推論資料中的推論結果校正為相同或近似於正確資料；適用於標記型資料的反饋機制所產生的反饋指令可以包含修改推論結果的指令，處理裝置13可以據以校正推論資料。經上述校正後的資料即為校正資料。
以資料示意圖來說明上述適用於時間序列型資料的反饋機制及資料校正，請參考圖3，圖3係依據本發明一實施例所繪示的時間序列型資料的示意圖。圖3示例性地呈現歷史資料H_D、推論結果I_D及實際資料T_D，其中歷史資料H_D係指於過去時間區間PT產生的設備資料，推論結果I_D係指將設備資料輸入模型而得的未來時間區間FT所對應的預測資料，實際資料T_D則係指在未來時間區間FT實際產生的設備資料。推論資料可以包含歷史資料H_D及推論結果I_D，處理裝置在接收到推論資料後可以儲存推論資料及記錄未來時間區間FT，待未來時間區間FT經過後取得實際資料T_D，將推論結果I_D與實際資料T_D比對，將推論資料中的推論結果I_D校正為相同或近似於實際資料T_D，再將經校正後的推論資料作為訓練資料。
以資料示意圖來說明前述適用於標記型資料的反饋機制及資料校正，請參考圖4A及4B，圖4A及4B分別係依據本發明一實施例所繪示的標記型的推論資料及校正資料的示意圖。圖4A及4B示例性地呈現使用者介面。如圖4A所示，標記型的推論資料包含以三種線條標示的設備資料（感測數值之最大值、最小值及平均值）以及推論標記I_E1及I_E2，指示模型判斷設備資料符合特定條件（例如三筆設備資料之間的數值關係有所異常）之處。使用者可以對圖4A所示之資料進行修改，例如將偽陽性的標記刪除或/且於偽陰性處新增標記。如圖4B所示，使用者將偽陽性的推論標記I_E2刪除，並於偽陰性處新增人工標記M_E1。處理裝置可以依據上述使用者的操作指令來校正推論資料，再將經校正後的推論資料作為訓練資料。特別來說，圖4B可視為校正資料的示意圖。
請再次參考圖1及圖2，於步驟S17中，處理裝置13將校正資料作為多個訓練資料之一以重新訓練模型。進一步來說，處理裝置13可以重覆執行前述步驟S11～S15多次以取得多個校正資料，再利用這些校正資料重新訓練模型。處理裝置13可以將重新訓練後的模型儲存至儲存裝置11，以作為更新版本之模型。其中，儲存模型的資料例如包含但不限於模組部署配置藍圖。另外，處理裝置13可以通知外部裝置有更新版本之模型的消息，以驅使外部裝置從儲存裝置11取得更新版本之模型，並利用更新版本之模型對後續接收到的設備資料進行推論以產生對應的推論資料。接著，處理裝置13可以再對由重新訓練後的模型所推論的資料進行前述反饋機制及資料校正，以產生新一輪訓練的訓練資料。
處理裝置13可以重新訓練模型多輪。隨著重新訓練的輪數增加，模型的準確度亦可以提升。特別來說，對於標記型資料所對應的模型而言，隨著重新訓練的輪數增加，推論資料中須由人工標記（例如前述之刪除偽陽性標記及新增偽陰性標記）的部分亦可隨之減少。表1示例性地呈現標記型資料之模型的實驗數據。
表1
  人工標記比例 機器標記比例 準確度
第一輪 90% 10% 81.1%
第二輪 50% 50% 86.6%
第三輪 10% 90% 97%
於另一實施例中，模型校正系統除了執行上述反饋機制、資料校正及模型重新訓練之外，更可以在該些步驟之前執行資料驗證機制。請參考圖5，圖5係依據本發明另一實施例所繪示的模型校正系統執行模型校正方法的通訊示意圖。
如圖5所示，處理裝置13可以包含反饋模組131、資料版本控制模組133及模型訓練模組135，其中資料版本控制模組133可以包含資料接收器1331、資料驗證元件1333及資料校正元件1335。反饋模組131、資料校正元件1335及模型訓練模組135可以分別執行前述實施例中的反饋機制、資料校正及模型重新訓練（即圖2的步驟S13、S15及S17）。資料驗證元件1333用於執行驗證機制，其執行內容將於後述。資料接收器1331用於自外部裝置接收未經驗證的推論資料（後稱原始資料R_D）。上述模組及模組中的元件可以由無伺服器運算程式碼撰寫而成，可視為函式（function），且可以各為一個虛擬容器（container）或是Kubernetes（K8S）中的一個群聚（pod）或一個容器。
於通訊動作A101及A102中，資料版本控制模組133的資料接收器1331接收原始資料R_D並傳送至資料驗證元件1333。資料驗證元件133對原始資料R_D進行驗證機制，其中驗證機制包含判斷原始資料R_D是否匹配於資料版本控制模組133所對應的模型（後稱目標模型）。如前所述，外部裝置在產生原始資料R_D時便可知資料屬於時間序列型或標記型，並據以傳送資料。然而，在資料傳送過程中可能發生非預期的事件而使資料傳送到非對應的處理模組（例如資料版本控制模組133）。藉由驗證機制，資料驗證元件1333可以淘汰具有上述狀況的原始資料R_D。
資料驗證元件1333透過通訊作業A103向儲存裝置11讀取對應於目標模型的設定檔，以確認原始資料R_D是否匹配於目標模型，其中設定檔包含目標模型所需的資料格式、特性等資訊。若原始資料R_D匹配於目標模型，則資料驗證元件1333將原始資料R_D儲存至儲存裝置11（通訊作業A104），並將原始資料R_D傳送至反饋模組131及資料校正元件1335（通訊作業A105及A106）。若原始資料R_D不匹配於目標模型，則資料驗證元件1333將原始資料R_D捨棄，並待資料接收器1331接收到另一原始資料時，再對此原始資料進行上述驗證機制。接著，反饋模組131執行前述實施例中的反饋機制並傳送反饋指令至資料校正元件1335（通訊作業A107），資料校正元件1335執行前述實施例中的資料校正並傳送校正資料至模型訓練模組135（通訊作業A108），且模型訓練模組135以校正資料作為重新訓練模型的訓練資料。
模型訓練模組135可以根據AutoML設定檔，自動進行模型訓練，其中AutoML設定檔分為分類、迴歸及預測三類。模型訓練包含初次模型調教及模型後續調整兩個階段。於初次模型調教階段，模型訓練模組135會對預設模型訓練程式碼進行超參數調整及演算法自動化選擇。在初次找到最佳解後，模型訓練模組135開始以前述由推論資料校正而成的校正資料作為訓練資料來重新訓練模型，此即為模型後續調整階段。如前所述，隨著重新訓練的輪數增加，模型的準確度亦可以逐漸提升。
請參考圖6，圖6係依據本發明又一實施例所繪示的模型校正系統1’。於此實施例中，模型校正系統1’包含儲存裝置11、第一處理裝置13’及第二處理裝置15，其中儲存裝置11連接於第一處理裝置13’及第二處理裝置15。於一實施態樣中，儲存裝置11及第二處理裝置15設置於邊緣端，而第一處理裝置13’設置於雲端。儲存裝置11及第一處理裝置13’的運作如前列實施例中的儲存裝置11及處理裝置13的運作，於此不予贅述。
第二處理裝置15可以包含但不限於一或多個處理器，例如中央處理器（CPU）、繪圖處理器（GPU）等。第二處理裝置15的運作如前列實施例所述的外部裝置的運作，可以取得設備資料，利用模型對設備資料進行推論以產生推論資料，並將推論資料傳送至第一處理裝置13’。另外，第二處理裝置15可以依第一處理裝置13’的通知從儲存裝置11取得經第一處理裝置13’重新訓練後的模型，並利用該模型對後續接收到的設備資料進行推論。
進一步來說明可以實行上述第二處理裝置15之運作的模組及其元件，請參考圖7，圖7係依據本發明又一實施例所繪示的模型校正系統執行模型校正方法的通訊示意圖。如圖7所示，第二處理裝置15可以包含設備資料模組151、決策模組153、推論模組155及部署模組157，其中設備資料模組151可以包含接收元件1511及轉換元件1513，決策模組153可以包含規則引擎1531，且推論模組155可以包含推論元件1551及上傳元件1553。上述模組及模組中的元件可以由無伺服器運算程式碼撰寫而成，可視為函式，且可以各為一個虛擬容器或是Kubernetes中的一個群聚或一個容器。
於通訊作業A201中，設備資料模組151的接收元件1511從設備2接收設備資料。接收元件1511可以具有一或多種通訊協定，例如表現層狀態轉換（REST）、OPC-UA、Modbus、建築自動化控制網路通訊協定（BACnet）、紫蜂（ZigBee）、藍牙低功耗（BLE）、訊息佇列遙測傳輸（MQTT）、簡單網路管理協定（SNMP）等，接收來自一或多種設備的資料。設備2可以為設置於邊緣端的機台、感測器等，可以產生各種量測資料或感測資料（統稱為設備資料），並傳送至設備資料模組151。設備資料模組151可以定期地向設備2索取設備資料，或者設備2可以定期地主動傳送設備資料置設備資料模組151，本發明不予限制。
於通訊作業A202中，接收元件1511將設備資料傳送置轉換元件1513。轉換元件1513可以將設備資料轉換成決策模組153所需的資料格式，包含參數、資訊及歷史資料等，且可以決定資料帶有的主題（topic），再透過MQTT傳送至決策模組153的規則引擎1531（通訊作業A203）。規則引擎1531可以依據所接收到的資料帶有的主題執行不同動作，包含推論、上傳資料及更新模型。進一步來說，規則引擎1531可以預設多個主題與多個動作的對應關係。決策模組153中的控制元件可以根據規則引擎1531判別的動作讀取儲存裝置11中對應的設定檔及管線資料（通訊作業A204），以供規則引擎1531執行後續動作。
舉例來說，當規則引擎1531判斷所接收到的資料帶有的主題對應於推論動作時，規則引擎1531可以將資料傳送至推論模組155以驅使該模組執行運作；當主題對應於上傳資料動作時，規則引擎1531可以將資料傳送至資料版本控制模組133以驅使該模組執行運作；當主題對應於更新模型動作時，規則引擎1531可以將資料傳送至部署模組157以驅使該模組執行運作。
圖7的實施例以規則引擎1531藉由通訊作業A203所接收到的主題對應於推論動作為例。於通訊作業A205中，規則引擎1531將資料傳送至推論模組155的推論元件1551。推論元件1551將資料輸入模型以產生推論資料，並傳送至上傳元件1553（通訊作業A206）。上傳元件1553將推論資料標記對應於上傳資料動作之主題，並傳送至決策模組153（通訊作業A207）。決策模組153的規則引擎1531判斷推論資料帶有的主題對應於上傳資料動作，因此將推論資料傳送至資料版本控制模組133。後續資料版本控制模組133及第一處理裝置13’中的其他模組對推論資料執行反饋機制及資料校正以產生訓練資料進而重新訓練模型的內容如同前列實施例所述，於此不再贅述。
第一處理裝置13’在模型之重新訓練完成後，可以將重新訓練後的模型儲存至儲存裝置11，並傳送帶有更新模型之主題的訊息至決策模組153。決策模組153的規則引擎1531依據訊息主題驅使部署模組157進行模型的更新。於通訊作業A301及A302中，部署模組157自儲存裝置11取得重新訓練後的模型的模組部署配置藍圖，並據以部署推論模組155中的元件。推論模組155便可以更新的配置執行後續的推論任務。
於一些實施例中，上列實施例所述的模型校正方法，可以至少一電腦可執行程序的型式包含於非暫態電腦可讀取媒體，例如光碟片、隨身碟、記憶卡、雲端伺服器的硬碟等電腦可讀取之非暫態的儲存媒體中。當所述至少一電腦可執行程序由電腦之處理器執行時，將實施前列實施例所述的模型校正方法。
於一些實施例中，上列實施例所述的模型校正方法、模型校正系統及非暫態電腦可讀取媒體可以應用於人工智慧服務，例如馬達檢測、聲學檢測、能源使用量預測等。
藉由上述結構，本案所揭示的模型校正方法、模型校正系統及非暫態電腦可讀取媒體可以藉由對模型推論的資料執行反饋機制及資料校正，產生高品質的訓練資料來重新訓練模型，進而增強模型的準確度。相較於以人力部署模型，本案所揭示的模型校正方法、模型校正系統及非暫態電腦可讀取媒體可以具備自動訓練、部署、推論及再訓練的模型建置流程，此機器學習功能及主動通知功能可以降低人力成本。相較於監督式機器學習，本案所揭示的模型校正方法、模型校正系統及非暫態電腦可讀取媒體可以減少對所有標記型資料進行資料標記的人力投入。
雖然本發明以前述之實施例揭露如上，然其並非用以限定本發明。在不脫離本發明之精神和範圍內，所為之更動與潤飾，均屬本發明之專利保護範圍。關於本發明所界定之保護範圍請參考所附之申請專利範圍。
1、1’:模型校正系統 11:儲存裝置 13:處理裝置 13’:第一處理裝置 131:反饋模組 133:資料版本控制模組 135:模型訓練模組 1331:資料接收器 1333:資料驗證元件 1335:資料校正元件 15:第二處理裝置 151:設備資料模組 1511:接收元件 1513:轉換元件 153:決策模組 1531:規則引擎 155:推論模組 1551:推論元件 1553:上傳元件 157:部署模組 2:設備 R_D:原始資料 I_E1、I_E2:推論標記 M_E1:人工標記 PT:過去時間區間 FT:未來時間區間 H_D:歷史資料 T_D:實際資料 I_D:推論結果
圖1係依據本發明一實施例所繪示的模型校正系統的功能方塊圖。 圖2係依據本發明一實施例所繪示的模型校正方法的流程圖。 圖3係依據本發明一實施例所繪示的時間序列型資料的示意圖。 圖4A及4B分別係依據本發明一實施例所繪示的標記型的推論資料及校正資料的示意圖。 圖5係依據本發明另一實施例所繪示的模型校正系統執行模型校正方法的通訊示意圖。 圖6係依據本發明又一實施例所繪示的模型校正系統的功能方塊圖。 圖7係依據本發明又一實施例所繪示的模型校正系統執行模型校正方法的通訊示意圖。

Claims (11)

  1. 一種模型校正方法，包含以一處理裝置執行：取得一推論資料，該推論資料係由一模型推論而得；對該推論資料執行一反饋機制，以取得關聯於該推論資料之正確性的一反饋指令；依據該反饋指令，校正該推論資料以產生一校正資料；以及將該校正資料作為多個訓練資料之一以重新訓練該模型，其中當該推論資料為時間序列型資料時，該反饋機制包含：判斷該推論資料所對應的一未來時間區間；經過該未來時間區間後，取得該未來時間區間的一即時資料；以及比較該推論資料與該即時資料，以產生一比較結果；其中該比較結果作為該反饋指令。
  2. 如請求項1所述的模型校正方法，其中當該推論資料為標記型資料時，該反饋機制包含：透過一使用者介面輸出該推論資料；以及透過該使用者介面取得回應於該推論資料的一操作指令；其中該操作指令作為該反饋指令。
  3. 如請求項1所述的模型校正方法，更包含以該處理裝置執行：接收一原始資料； 對該原始資料執行一驗證機制，該驗證機制包含判斷該原始資料是否匹配於該模型；若該原始資料匹配於該模型，以該原始資料作為該推論資料；以及若該原始資料不匹配於該模型，待接收另一原始資料時，對所述另一原始資料執行該驗證機制。
  4. 如請求項1所述的模型校正方法，其中該處理裝置係一第一處理裝置，該模型校正方法更包含以一第二處理裝置執行：取得一設備資料；利用該模型對該設備資料進行推論以產生該推論資料；以及傳送該推論資料至該第一處理裝置。
  5. 如請求項4所述的模型校正方法，其中該模型係一第一模型，且該模型校正方法更包含：以該第一處理裝置將重新訓練後的該模型儲存至一儲存裝置；以該第一處理裝置通知該第二處理裝置從該儲存裝置取得重新訓練後的該模型；以及以該第二處理裝置利用重新訓練後的該模型對另一設備資料進行推論以產生另一推論資料。
  6. 一種模型校正系統，包含：一儲存裝置，儲存一模型；一處理裝置，連接於該儲存裝置，且用於執行：取得一推論資料，該推論資料係由一模型推論而得； 對該推論資料執行一反饋機制，以取得關聯於該推論資料之正確性的一反饋指令；依據該反饋指令，校正該推論資料以產生一校正資料；以及將該校正資料作為多個訓練資料之一以重新訓練該模型，其中當該推論資料為時間序列型資料時，該反饋機制包含：判斷該推論資料所對應的一未來時間區間；經過該未來時間區間後，取得該未來時間區間的一即時資料；以及比較該推論資料與該即時資料，以產生一比較結果；其中該比較結果作為該反饋指令。
  7. 如請求項6所述的模型校正系統，其中當該推論資料為標記型資料時，該反饋機制包含：透過一使用者介面輸出該推論資料；以及透過該使用者介面取得回應於該推論資料的一操作指令；其中該操作指令作為該反饋指令。
  8. 如請求項6所述的模型校正系統，其中該處理裝置更用於執行：接收一原始資料；對該原始資料執行一驗證機制，該驗證機制包含判斷該原始資料是否匹配於該模型； 若該原始資料匹配於該模型，以該原始資料作為該推論資料；以及若該原始資料不匹配於該模型，待接收另一原始資料時，對所述另一原始資料執行該驗證機制。
  9. 如請求項6所述的模型校正系統，其中該處理裝置係一第一處理裝置，且該模型校正系統更包含：一第二處理裝置，連接於該儲存裝置及該第一處理裝置，且用於取得一設備資料，利用該模型對該設備資料進行推論以產生該推論資料；以及傳送該推論資料至該第一處理裝置。
  10. 如請求項9所述的模型校正系統，其中該第一處理裝置更用於將重新訓練後的該模型儲存至該儲存裝置，並通知該第二處理裝置從該儲存裝置取得重新訓練後的該模型，且該第二處理裝置更用於利用重新訓練後的該模型對另一設備資料進行推論以產生另一推論資料。
  11. 一種非暫態電腦可讀取媒體，包含至少一電腦可執行程序，當該至少一電腦可執行程序由一處理器執行時實施多個步驟，該些步驟包含：取得一推論資料，該推論資料係由一模型推論而得；對該推論資料執行一反饋機制，以取得關聯於該推論資料之正確性的一反饋指令；依據該反饋指令，校正該推論資料以產生一校正資料；以及將該校正資料作為多個訓練資料之一以重新訓練該模型，其中當該推論資料為時間序列型資料時，該反饋機制包含： 判斷該推論資料所對應的一未來時間區間；經過該未來時間區間後，取得該未來時間區間的一即時資料；以及比較該推論資料與該即時資料，以產生一比較結果；其中該比較結果作為該反饋指令。
TW110140257A 2021-10-29 2021-10-29 模型校正方法、模型校正系統及非暫態電腦可讀取媒體 TWI790795B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW110140257A TWI790795B (zh) 2021-10-29 2021-10-29 模型校正方法、模型校正系統及非暫態電腦可讀取媒體
US17/538,314 US20230135737A1 (en) 2021-10-29 2021-11-30 Model adjustment method, model adjustment system and non- transitory computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW110140257A TWI790795B (zh) 2021-10-29 2021-10-29 模型校正方法、模型校正系統及非暫態電腦可讀取媒體

Publications (2)

Publication Number Publication Date
TWI790795B true TWI790795B (zh) 2023-01-21
TW202318245A TW202318245A (zh) 2023-05-01

Family

ID=86145103

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110140257A TWI790795B (zh) 2021-10-29 2021-10-29 模型校正方法、模型校正系統及非暫態電腦可讀取媒體

Country Status (2)

Country Link
US (1) US20230135737A1 (zh)
TW (1) TWI790795B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201539602A (zh) * 2014-03-06 2015-10-16 Kla Tencor Corp 用於對疊對誤差之前饋和反饋校正之統計疊對誤差預測、根本原因分析及程序控制
CN106682385A (zh) * 2016-09-30 2017-05-17 广州英康唯尔互联网服务有限公司 健康信息交互平台
CN109446369A (zh) * 2018-09-28 2019-03-08 武汉中海庭数据技术有限公司 图像半自动标注的交互方法及系统
TW202109340A (zh) * 2019-07-12 2021-03-01 美商矽睿科技股份有限公司 基於自動校正的印刷電路板設計之方法、系統與非暫態電腦可讀儲存媒體

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201539602A (zh) * 2014-03-06 2015-10-16 Kla Tencor Corp 用於對疊對誤差之前饋和反饋校正之統計疊對誤差預測、根本原因分析及程序控制
CN106682385A (zh) * 2016-09-30 2017-05-17 广州英康唯尔互联网服务有限公司 健康信息交互平台
CN109446369A (zh) * 2018-09-28 2019-03-08 武汉中海庭数据技术有限公司 图像半自动标注的交互方法及系统
TW202109340A (zh) * 2019-07-12 2021-03-01 美商矽睿科技股份有限公司 基於自動校正的印刷電路板設計之方法、系統與非暫態電腦可讀儲存媒體

Also Published As

Publication number Publication date
US20230135737A1 (en) 2023-05-04
TW202318245A (zh) 2023-05-01

Similar Documents

Publication Publication Date Title
US20230039182A1 (en) Method, apparatus, computer device, storage medium, and program product for processing data
KR102611454B1 (ko) 분산 기계 학습을 위한 저장 장치 및 그것의 기계 학습 방법
US12120384B2 (en) Methods and apparatus to improve deepfake detection with explainability
JP7442550B2 (ja) 推論演算装置、モデル訓練装置、及び推論演算システム
US11570057B2 (en) Systems and methods for contextual transformation of analytical model of IoT edge devices
JP6466442B2 (ja) コンピュータ化された臨床診断支援のための階層的自己学習システム
JP2021503661A (ja) 第１のニューラルネットワークモデルと第２のニューラルネットワークモデルとの訓練
KR20230135038A (ko) 결함 검출 방법 및 장치, 모델 트레이닝 방법 및 장치, 및 전자 디바이스
WO2022134911A1 (zh) 诊断方法、装置、终端及存储介质
JP2023537562A (ja) 異常検出のための連合学習
KR20210012791A (ko) 기계학습 기반 예측 모델 재학습 장치 및 그 방법
US20160117594A1 (en) Method and system for developing a virtual sensor for determining a parameter in a distributed network
WO2020008025A1 (en) Video surveillance with neural networks
US20160364810A1 (en) Hybrid classification system
WO2022267686A1 (zh) 自动驾驶以及新场景的自适应处理方法、装置及系统
TWI790795B (zh) 模型校正方法、模型校正系統及非暫態電腦可讀取媒體
US11692723B2 (en) Predictive maintenance convolutional neural networks
Chow et al. Flare: detection and mitigation of concept drift for federated learning based IoT deployments
WO2020107350A1 (zh) 一种区块链系统的节点管理方法、装置及存储装置
US20230058269A1 (en) Apparatuses, computer-implemented methods, and computer program products for continuous perception data learning
CN117157625A (zh) 执行环境的智能识别
TW202219750A (zh) 機器學習模型訓練方法、電子設備、控制器及存儲介質
CN115699039A (zh) 用于分散机群分析的技术
US20200226043A1 (en) Method and System for Developing an Anomaly Detector for Detecting An Anomaly Parameter on Network Terminals in a Distributed Network
US20220115148A1 (en) Self-assessment of machine learning