TWI780669B

TWI780669B - 用於管理機器學習模型之方法及電腦可讀取記錄媒體

Info

Publication number: TWI780669B
Application number: TW110113931A
Authority: TW
Inventors: 呂栢頤; 丁鼎軒
Original assignee: 中華電信股份有限公司
Priority date: 2021-04-19
Filing date: 2021-04-19
Publication date: 2022-10-11
Also published as: TW202242726A

Abstract

本發明揭示一種用於管理機器學習模型之方法及電腦可讀取記錄媒體，首先根據感測資料與領域標籤建立一資料描述檔，再根據該資料描述檔建立適用於機器學習模型之一資料及模型描述檔，其中包括對資料描述檔執行特徵處理以產生適用於該機器學習模型之訓練資料，再根據訓練資料對模型執行訓練及評估，接著根據模型的評估結果建立模型版本指標，以根據模型版本指標建立模型實體檔，最後檢查當前模型的狀態，以根據當前模型的狀態更新資料及模型描述檔，俾建立當前模型實體檔。

Description

用於管理機器學習模型之方法及電腦可讀取記錄媒體

本發明係關於智慧物聯網與機器學習之領域，詳而言之，係關於一種適用於農業領域的機器學習模型之檢查與更新方法。

隨著5G網路技術發展，大量物聯網數據可用於增進不同的智慧城市應用服務，如智慧運輸、智慧長照與智慧觀光等議題。

舉例來說，可運用物聯網技術在農場的農機具、農業設施、土壤、作物等，更可導入感測元件，如：環境感測及影像辨識等，結合無線通訊科技，將蒐集與擷取到的感測數據，如：溫溼度、光度、二氧化碳、土壤濕度等，上傳至雲端資料庫。如此一來，透過大數據資料探勘、整合及分析，將數據轉換為農業經營有用的資訊，藉此提供農場管理者進行產銷規劃、生產管理等經營決策判斷參考。

然而，農業物聯網數據在收集過程中可能遭遇不同的狀況，例如受自然氣候、人為耕作或網路狀態等影響，致使資料收集上有所雜訊或缺失。此外，農業資料分析需仰賴農業專家的經驗，設計合適的資料特徵與模型，以賦予原始數據所代表的意涵。過往在物聯網資料與模型的控管上，鮮有文獻討論此議題。

因此，對農業領域，設計合適的資料與模型管理機制是至關重要的需求。

為解決上述問題與其他問題，以妥善管理農業物聯網的數據與模型，本發明提出一種用於管理機器學習模型之方法及電腦可讀取記錄媒體。

本發明之用於管理機器學習模型之方法係包括：根據一感測資料與一領域標籤，建立一資料描述檔；根據該資料描述檔，建立適用於機器學習模型之一資料及模型描述檔，包括：對該資料描述檔執行特徵處理，以產生適用於該機器學習模型之一訓練資料，再根據該訓練資料對一模型執行訓練及評估；及根據該模型的評估結果建立一模型版本指標，以根據該模型版本指標建立一模型實體檔；以及檢查一當前模型的狀態，以根據該當前模型的狀態更新該資料及模型描述檔，俾建立一當前模型實體檔。

於本發明之用於管理機器學習模型之方法中，當該感測資料或該領域標籤變化時，該資料描述檔相應地變化，而當該資料描述檔變化時，該資料及模型描述檔相應地變化。

此外，對該當前模型的狀態之檢查包括固定週期檢查及事件觸發檢查。再者，於本發明之用於管理機器學習模型之方法中，檢查該當前模型的狀態係包括：執行準確度評估以判斷該當前模型的農事預測結果是否準確，及/或執行效用性評估以判斷該當前模型是否符合當前農事，以判斷是否執行更新，其中，該準確度評估包括整體性評估和趨勢性評估。所述更新係包括選擇與該當前模型相似的候選模型執行參數微調或參數訓練，再對經參數微調或參數訓練之後的候選模型執行評估和訓練。

本發明之用於管理機器學習模型之方法更包括：根據一資料清理規則處理該資料描述檔，以產生一資料清理描述檔，進而將該資料清理描述檔取代該資料描述檔。此外，更包括更新該資料清理規則，及/或根據該資料清理描述檔產生一告警資訊。

本發明之用於管理機器學習模型之方法更包括：透過一物聯網接收該感測資料以及透過一管理介面接收該領域標籤。此外更包括：根據該資料描述檔產生一資料視覺化介面，及/或根據該資料及模型描述檔，建立一查詢應用程式介面，以追溯該模型實體檔的歷程。

本發明之用於管理機器學習模型之電腦可讀取記錄媒體係包括：儲存模組，係儲存有包括感測資料和領域標籤之資料描述檔、包括該感測資料及清理規則之資料清理描述檔、與包括該資料描述檔或該資料清理描述檔中的內容、訓練資料、模型評估結果、模型版本指標之資料及模型描述檔；執行模組，對該資料描述檔或該資料清理描述檔執行特徵處理以產生該訓練資料，對一模型執行訓練及評估，根據該模型的模型評估結果建立對應的模型版本指標，以根據該模型版本指標建立模型實體檔；及檢查模組，檢查一當前模型的狀態，以根據該當前模型的狀態執行更新，以建立一當前模型實體檔。

根據本發明之用於管理機器學習模型之方法及電腦可讀取記錄媒體，蒐集雲端資料庫中的農業物聯網數據與相應之作物、時間、空間與耕作行為之農業領域標籤，以建立資料描述檔(Meta Data)，然後建立資料清理描述檔，接著設計特徵工程以訓練機器學習模型，並結合資料描述檔建立資料及模型描述檔，再建立當前模型實體檔自動部署成線上API服務，更可根據線上模型檢測與重新訓練策略，當檢測到模型表現降低或描述檔發生變化時，重新訓練模型並自動更新線上API服務。因此，本發明之用於管理機器學習模型之方法及電腦可讀取記錄媒體能夠利用描述檔自動化、快速且精準地部屬與更新線上模型。

100:資料描述檔

11:農場管理功能

12:農事管理功能

13:農業物聯網感測功能

14:視覺化介面

15:感測元件廠商規格

16:異常告警

200:資料清理描述檔

21:感測資料

22:時間

23:空間

24:作物

25:耕作行為

26:資料清理規則更新

27:資料清理規則

300:資料及模型描述檔

31:特徵處理

32:資料特徵

33:模型訓練及評估

34:模型評估結果

35:模型效能檢核及版本指標控管

36:模型實體檔

37:模型版本指標

41:農場1及其感測元件

411:農場1的模型

42:農場2及其感測元件

43:農場3及其感測元件

51:清理規則

52:感測元件及其清理規則

61:訓練資料特徵與標籤

71:模型歷程

72:農事行為

73:作物期程

74:作物調整

81:固定週期檢查或事件觸發檢查

82:當前模型

83:準確度評估

84:效用性評估

85:候選模型

S10~S30:步驟

S201~S204:步驟

S301~S303:步驟

圖1為本發明之用於管理機器學習模型之方法的概略流程圖。

圖2為本發明之用於管理機器學習模型之方法之一實施例的概略流程圖。

圖3為本發明之用於管理機器學習模型之方法之另一實施例的概略流程圖。

圖4為本發明之用於管理機器學習模型之方法的資料描述檔的示意圖。

圖5為本發明之用於管理機器學習模型之方法的資料視覺化介面的示意圖。

圖6為本發明之用於管理機器學習模型之方法的資料清理描述檔的示意圖。

圖7為本發明之用於管理機器學習模型之方法的資料清理描述檔的結構示意圖。

圖8為本發明之用於管理機器學習模型之方法的資料及模型描述檔的示意圖。

圖9為本發明之用於管理機器學習模型之方法的資料及模型描述檔的結構示意圖。

圖10為本發明之用於管理機器學習模型之方法的經特徵處理的描述檔的結構示意圖。

圖11為本發明之用於管理機器學習模型之方法的模型版本的歷程示意圖。

圖12為本發明之用於管理機器學習模型之方法的模型評估的示意圖。

以下藉由特定的實施例說明本揭露的實施方式，熟習此項技藝的人士可由本文所揭示的內容輕易地瞭解本揭露的其他優點及功效。本揭露所附圖式所繪示的結構、比例和尺寸等均僅用於配合說明書所揭示的內容，以供熟悉此技藝的人士瞭解與閱讀，非用於限定本揭露可實施的限定條件內。

請參閱圖1，本發明所揭之用於管理機器學習模型之方法的概略流程圖包括步驟S10~S30。

在步驟S10，根據一感測資料與一領域標籤，建立一資料描述檔。詳言之，蒐集某個期作農業物聯網數據，其感測元件類型、資料收集時間點與資料上傳頻率作以描述感測資料，而農場地點、處於室內或戶外環境作為空間描述值(Meta-value)；耕作起訖時間與期作名稱作為時間描述值；其他諸如耕種作物、作物生育階段(每個作物皆有生育階段)，以及耕作行為等農業領域關注之資訊作為農業領域標籤，並以作物、空間作為主要描述檔索引，藉此簡化後續步驟S20建立資料及模型描述檔時，搜尋資料描述檔的時間。此外，本發明亦設計視覺化介面，可讓農場管理者、農業專家依據上述架構，觀察感測數據與農業領域標籤。接著進至步驟S20。

在進至步驟S20之前，先建立資料清理描述檔，即對於資料合理的上下界，預設先以感測元件廠商提供的規格說明，並經由統計管制方式調整上下界範圍，讓感測資料合理範圍更貼近實際農場環境。

在步驟S20，根據該資料描述檔(或資料清理描述檔)，建立適用於機器學習模型之一資料及模型描述檔。步驟S20的子步驟將於圖2中詳述。接著進至步驟S30。

在步驟S30，檢查當前模型的狀態，以根據當前模型的狀態更新該資料及模型描述檔，俾建立當前模型實體檔。步驟S30的子步驟將於圖3中詳述。

請參閱圖2，本發明所揭之用於管理機器學習模型之方法的步驟S20大致又包括步驟S201~S204。

在步驟S201，對該資料描述檔執行特徵處理，以產生適用於該機器學習模型之一訓練資料，接著進至步驟S202。在步驟S202，根據該訓練資料對一模型執行訓練及評估，接著進至步驟S203。在步驟S203，根據該模型的評估結果建立一模型版本指標，接著進至步驟S204。在步驟S204，根據該模型版本指標建立一模型實體檔。

具體來說，建立機器學習模型的特徵工程與模型參數結構之模型描述檔，接著串接步驟S10之資料描述檔，記錄該機器學習模型對應到之資料，以及當時的模型表現，如模型預測誤差，以便未來可藉資料及模型描述檔還原模型實體檔。接著，基於資料及模型描述檔指標建立版本控管方式，建立指標指向當前線上模型版本，依據該指標建立模型實體檔，並佈署於線上系統。此外，本發明亦設計API，可獲取當前資料與模型資訊，以及模型預測服務使用紀錄等。

請參閱圖3，本發明所揭之用於管理機器學習模型之方法的步驟S30大致包括步驟S301~S303。

在步驟S301，檢查當前模型的狀態，包括固定週期檢查和事件觸發檢查，其中，固定週期為固定每日、每週或每月，依農場管理者需求擬定不同模型的檢查頻率，而事件觸發檢查為當資料及模型描述檔變化時即執行檢查。接著進至步驟S302。

在步驟S302，判斷是否執行更新，即執行準確度評估與效用性評4來判斷是否更新。若不更新，則返回步驟S301，繼續固定週期檢查及事件觸發檢查當前模型的狀態；若要更新，則進至步驟S303。

在步驟S303，執行模型的訓練及評估。詳言之，建立不同類型的模型重新訓練策略，策略包含重新訓練新模型，或依據現有模型參數進行微調(fine-tune)。選擇當前線上模型與最相似資料及模型描述檔之模型進行重新訓練，並與當前線上模型比較，從中挑選較好的模型並自動更新線上API預測服務。

另外，本發明之用於管理機器學習模型之電腦可讀取記錄媒體包括：儲存模組，係儲存有包括感測資料和領域標籤之資料描述檔、包括該感測資料及清理規則之資料清理描述檔、與包括該資料描述檔或該資料清理描述檔中的內容、訓練資料、模型評估結果、模型版本指標之資料及模型描述檔；執行模組，對該資料描述檔或該資料清理描述檔執行特徵處理以產生該訓練資料，對一模型執行訓練及評估，根據該模型的模型評估結果建立對應的模型版本指標，以根據該模型版本指標建立模型實體檔；以及檢查模組，檢查一當前模型的狀態，以根據該當前模型的狀態執行更新，以建立一當前模型實體檔。

上述的各模組均可為軟體、硬體或韌體；若為硬體，則可為具有資料處理與運算能力之處理單元、處理器、電腦或伺服器；若為軟體或韌體，則可包括處理單元、處理器、電腦或伺服器可執行之指令。

於一實施例中，上述之執行模組可執行圖1中步驟S20、圖2中步驟S201~S204、或具有如圖8所示之特徵處理31、資料特徵32、模型訓練及評估33、模型評估結果34、模型效能檢核及版本指標控管35、模型實體檔36、模型版本指標37等功能。於一實施例中，上述之檢查模組可執行圖1中步驟S30、圖3中步驟S301~S303、或在圖8中與模型訓練及評估33、模型評估結果34、模型效能檢核及版本指標控管35、模型實體檔36、模型版本指標37等與模型關聯的功能併存以檢查模型。

以下利用表格來具體說明實施例。以安裝有農業物聯網感測元件之水稻農場為例，此農場目標是建立預測未來三天農場環境數值變化之機器學習模型。

如圖4所示，農場管理功能11係記錄水稻第二期作的詳細記錄，包含其耕作時間點從7月31日至11月19日，該農場位於台中市霧峰區，為戶外大田。農場管理功能11可提供一輸入介面讓管理者自行輸入，該場域包含土壤感測器與在地微氣象站，即為農業物聯網感測功能13，其感測資料上傳頻率分別為：土壤感測器每1小時1筆、在地微氣象站每10分鐘1筆，記錄這些資料以描述農業物聯網感測數值。其次，農事管理功能12讓管理者記錄作物生長記錄與耕作行為，例如以行事曆介面的方式，作物生長記錄與耕作行為可例如水稻生育階段分為幼苗期、分蘗期、孕穗期、抽穗期、開花期、乳熟期、糊熟期、完熟期、枯熟期與收穫期；而耕作行為包含插秧、灌水、除草、施肥、曬田與病蟲害防治(灑藥)。

資料描述檔100係以鍵-值(Key-Value)方式儲存資料，包括感測資料21、時間22、空間23、作物24、耕作行為25，最終可獲得資料描述檔，如表1所示。

表1為時間、空間、作物與耕作行為資料描述檔的範例。

在後續串接模型描述檔與資料描述檔時，作物與空間因具有較高獨特性，所以可作為主要索引值，而在比較模型之間描述檔相似性時，也會據此優先搜尋相似度較高的項目，作為主要參考。

此外，視覺化界面14可讓農場管理者、農業專家依據上述架構，觀察感測資料與農業領域標籤，視覺化界面如圖5所例示。圖5的縱軸為光輻照度，橫軸為時期，其中，生育階段和耕作行為亦可藉由行事曆介面的方式輸入，以與顯示圖5橫軸上的時期一起顯示。農場管理者或專家可藉此瞭解不同農事耕作行為對環境造成之影響，或是研究作物生長過程關鍵環境因子為何。

如圖6所示，資料清理描述檔200係基於感測元件廠商規格15的各項感測元件量測上下界範圍，作為資料清理規則27，以土壤溫度、土壤含水量與土壤電導度為例，如表2所示。

表2為感測元件之土壤感測器量測範圍的範例。

資料清理描述檔的結構示意圖如圖7所示，其結構包括農場1及其感測元件41、農場2及其感測元件42、農場3及其感測元件43、清理規則51、感測元件及其清理規則52。例如，農場1的感測元件A之規則為[(‘<=’,50),(‘>’,0)]即為該值正常範圍之上下界。

此外，在收集農場一段時間各項感測資料後，可統計該感測資料隨著時間變化的資料之平均數μ_x與標準差σ_x，本實施例以3-sigma上下界控制限制，然其他控制方法亦可，我們可以獲得上界(Upper Control Limit,UCL)與下界(Lower Control Limit,LCL)與控制中心(Center Line)分別為：

UCL=μ_x+3σ_x

Center Line=μ_x

LCL=μ_x-3σ_x

此外，感測資料21經過資料清理規則更新26，會記錄回資料清理描述檔200中。當收集進資料庫的感測數值如果高/低於上下界時，會即時提出異常告警16以通知農場管理者確認是否為環境異常，抑或是農事耕作行為或其他現象造成，這樣的資料也可更新回資料描述檔100中。

如圖8所示，可根據資料描述檔100中的時間22、空間23、作物24與感測資料21之上傳週期與資料等，設計合適的特徵工程執行特徵處理31、產生資料特徵32以對機器學習模型執行模型訓練及評估33，並將其模型評估結果34儲存下來，接著執行模型效能檢核及版本指標控管35，並建立模型版本指標37，藉此產生資料及模型描述檔300及建立模型實體檔36，以利控管目前正在線上運作的模型。資料及模型描述檔300的結構示意圖如圖9所示，其結構包括農場1及其感測元件41、農場2及其感測元件42、農場3及其感測元件43、以及農場1的模型411，其包括當前(current)的模型([Model])及其資料([Data])和特徵([Feature])、過往的模型及其資料和特徵，其中，當前(current)的模型([Model])、資料([Data])和特徵([Feature])又包括各自的描述。

例如，使用特徵工程方法轉換資料為適用於機器學習訓練的資料特徵與標籤，採取時間數列分析方法產生需要的特徵，包含加入時間戳記(timestamp)與時間數列加法分解(Time Series Additive Decomposition)方法，萃取原始感測數值隱藏之長期趨勢性、每日每週之週期性與季節性等，這些統計特性不隨時間變化之特徵較容易進行預測，然後利用移動平均方式消弭隨機誤差降低預測之不確定性，最後根據整理好之資料，彙整出訓練資料特徵與標籤，如圖10所示。於圖10中，描述檔的結構包括農場1及其感測元件41、和訓練資料特徵與標籤61。

經過特徵處理31之後，可更新特徵維度與時間戳記之單位回資料及模型描述檔300，後續建立感測資料之特徵時，根據時間、空間與作物相對應，即可從感測資料21生成資料特徵32。

接著，為建立預測未來的農場環境數值變化之機器學習或深度學習模型，模型訓練及評估33可使用傳統機器學習脊自我迴歸(Ridge Autoregression)與深度學習長短期記憶神經網路(Long Short-Term Memory，LSTM)模型，並使用堆疊方法(Stacking)，此為一種集成學習(Ensemble Learning)方法，組合兩種模型的預測結果，獲得最佳的模型表現，如此可儲存預測模型之表現結果以進行結果評估，因為預測未來數值變化為一種迴歸問題，故可採用平均絕對誤差(Mean Average Error,MAE)與可解釋方差(Explained Variance regression score function,EV)作為衡量指標，其公式如下：

y _i為實際資料標籤；

為模型預測結果，n為資料筆數，Var{．}為變異數。

結果會被儲存回資料及模型描述檔300中，過往的模型評估結果用於跟目前線上版本比較，在還原模型時可做為驗證指標。

接著，模型效能檢核及版本指標控管35判斷目前訓練模型MAE是否低於或EV是否高於過往版本之模型。如果當前版本為第一版，則直接加入模型版本指標並建立模型實體檔36；如當前版本非第一版，則與當前線上模型版本比較，如果MAE低於或EV高於當前線上模型版本，則進行模型切換，更改模型版本指標為此版模型，並建立模型實體檔36；反之，則不修改模型版本指標，但之前針對此版模型所記載之資料及模型描述檔的內容會保留下來。

此外，根據上述資料及模型描述檔之結構與紀錄內容，可設計查詢API，藉此追溯線上模型的版本演進與變化過程，方便未來追蹤、管理與還原模型實體檔，其示意圖如圖11。於圖11中，模型歷程71表示模型的變化過程，農事行為72表示農事行為的變化、作物期程73表示作物期程的變化、作物調整74表示作物的變化。其中，模型歷程71展現基於物聯網感測元件數據隨著時間所發生的變化所造成之模型變動，可視之為基底模型，然而在農業專門領域上應不侷限於此，本發明加入農事行為72、作物期程73與作物調整74等數項對於模型造成影響之重要因子，藉由模型更新歷程之方式可清楚地記錄這些變化，並觀察這些因子與基底模型之關聯。

從模型更新歷程，可以協助未來當預測發生問題時，可快速追溯模型的資料源、特徵、結構與表現，亦可以從模型更新頻率，評估模型結構之穩定性。

最後，檢查目前線上機器學習模型之狀態主要有兩種方式：固定週期檢測與事件觸發檢測(event-trigger)。固定週期檢測採用固定時間週期，例如每日、每週、每雙週或每月等，檢查目前模型狀態。事件觸發檢測，是偵測當農場之作物、作物生育階段或農事耕作等特定資訊發生改變時，即時去檢查目前模型狀態。

評估目前線上機器學習模型之主要有兩種方式：準確度評估與效用性評估，如圖12所示，對於當前模型82執行固定週期檢查或事件觸發檢查81、執行準確度評估83和效用性評估84，藉此找出候選模型85，其中準確度評估又包含整體性評估和趨勢性評估。

須說明的是，整體性評估主要是衡量預測誤差之穩定性，其計算步驟如下：

根據給定之資料天數(t)與實驗組數(k)，計算模型於各組預測結果之MAE，接著計算各組MAE之平均數(μ_MAE)、標準差(σ_MAE)，再計算其變異係數(coefficient of variation,CV,

)，最後與門檻值δ₁比較，如果c _v

δ₁，則表示該模型準確度整體性符合門檻值，因此不做變更。

趨勢性評估主要是評估誤差變化是否合乎歷史趨勢，假設是越接近預測時間，應該有較高之準確度，其計算步驟如下：

根據給定之資料天數(t)與實驗組數(k)，計算模型於各組預測結果之每日MAE(MAE=[MAE₁,MAE₂,MAE₃]^T)，接著計算加權MAE (

)，加權方式根據時間遠近之權重(α^T=[α₁,α₂,α₃])，最後與門檻值δ₂比較，如果

<δ₂，則表示該模型準確度趨勢性符合門檻值，因此不做變更。

以本實施例機器學習模型預測未來三天土壤溫度(Soil Temperature,Soil_Temp)變化為例，如模型檢測之資料取2020/11/01至2020/11/10，共計t=10天，並取k=5組實驗。首先進行整體性評估，可以獲得5組線上模型未來三天預測結果之MAE如表3。

表3：MAE整體性評估的範例。

接著可以計算5組MAE之平均數與標準差，接著計算變異係數如下結果：

μ_MAE=1.52223

σ_MAE=0.1772

根據過去資料與當前模型獲得之平均值，本實施例以δ₁=0.3作為合理門檻值。接著進行趨勢性評估，可以獲得5組線上模型每日預測結果之MAE如表4。

表4：MAE趨勢性評估的範例。

根據過去實驗結果，本實施設定權重(α=[0.5,0.35,0.15]^T)，計算加權MAE如下結果

本實施例以δ₂=μ_MAE，平均MAE作為合理門檻值。

以上述實施例，綜合模型預測MAE之整體性評估與趨勢性評估結果，最後該模型符合門檻值，因此不需重新訓練模型。緩言之，任何一個未達門檻需重新訓練。

效用性評估為比較線上模型描述檔案是否已不合時宜，計算線上模型的描述檔與符合時宜的描述檔相似性，計算方式為收集資料及模型描述檔的所有鍵值，儲存為向量

，可計算兩個模型描述檔之間的距離為

其中k為該向量第k個元素。d(

,

)<δ₃，則表示該模型效用性符合門檻值，因此不做變更。例如，以δ₃=2為合理門檻值，通常農場之作物、作物生育階段或農事耕作任一發生改變時，都會牽動到其他模型設定檔發生改變，故設定之。

此外，基於兩種更新策略與候選模型結構重新訓練模型。兩種更新策略分別為：重新訓練參數(Retrain the new model without pre-trained parameters)和微調現有參數(Fine-tuning the model with pre-trained parameters)。

候選模型：選擇當前線上版本模型 f _c或{ f _i：d(

,

)<δ₃,

}與當前線上版本設定檔相似之模型，作為候選模型進行微調現有參數與重新訓練參數等動作。換言之，要微調要比較實體檔，資料比較相似性是用描述檔。

最後從上述候選模型與當前線上版本模型，挑選MAE最低之模型。此時會回到如圖8所示的模型訓練與評估33，更新候選模型之資料及模型設定檔，與當前線上版本模型進行比較，最後建立線上模型實體檔，完成模型重新訓練。

綜上所述，本發明之用於管理機器學習模型之方法及電腦可讀取媒體採用資料描述檔的結構，可考慮農業領域關注之作物、時間、空間、與耕作行為等農業領域標籤與對應之農業感測資料，如此易於更新管理農業物聯網資料與模型。此外，對不同類型的感測元件以及實際案場歷史數據，建立基於統計管制之資料清理機制與描述檔。另外，資料及模型描述檔可清楚呈現當前線上模型版本與更動歷史。再而，基於線上模型檢查與重新訓練策略，在不影響線上服務情形下更新模型(Hot Reload)，藉此保持預測模型最佳準確度與效用性、可解釋性。再者，本發明適用於農場資料變化驅動模組更新，即當資料描述檔發生變化時，資料與模型描述檔也會有相應的改變。

上述實施例僅例示性說明本揭露的功效，而非用於限制本揭露，任何熟習此項技藝的人士均可在不違背本揭露的範圍下對上述實施態樣進行修飾與改變。本揭露的權利保護範圍，應如後述的申請專利範圍所列。

S10~S30:步驟

Claims

一種用於管理機器學習模型之方法，係包括：根據一感測資料與一領域標籤，建立一資料描述檔；根據該資料描述檔，建立適用於機器學習模型之一資料及模型描述檔，包括：對該資料描述檔執行特徵處理，以產生適用於該機器學習模型之一訓練資料，再根據該訓練資料對一模型執行訓練及評估；及根據該模型的評估結果建立一模型版本指標，以根據該模型版本指標建立一模型實體檔；以及檢查一當前模型的狀態，以根據該當前模型的狀態更新該資料及模型描述檔，俾建立一當前模型實體檔，其中，檢查該當前模型的狀態係包括：執行準確度評估以判斷該當前模型的農事預測結果是否準確，及/或執行效用性評估以判斷該當前模型是否符合當前農事，以判斷是否執行更新，其中，該準確度評估包括整體性評估和趨勢性評估。
如請求項1所述之方法，其中，當該感測資料或該領域標籤變化時，該資料描述檔相應地變化，而當該資料描述檔變化時，該資料及模型描述檔相應地變化。
如請求項1所述之方法，其中，對該當前模型的狀態之檢查包括固定週期檢查及事件觸發檢查。
如請求項1所述之方法，其中，所述更新係包括：選擇與該當前模型相似的候選模型執行參數微調或參數訓練，再對經參數微調或參數訓練之後的候選模型執行評估和訓練。
一種用於管理機器學習模型之方法，係包括：根據一感測資料與一領域標籤，建立一資料描述檔；根據一資料清理規則處理該資料描述檔，以產生一資料清理描述檔；根據該資料清理描述檔，建立適用於機器學習模型之一資料及模型描述檔，包括：對該資料清理描述檔執行特徵處理，以產生適用於該機器學習模型之一訓練資料，再根據該訓練資料對一模型執行訓練及評估；及根據該模型的評估結果建立一模型版本指標，以根據該模型版本指標建立一模型實體檔；以及檢查一當前模型的狀態，以根據該當前模型的狀態更新該資料及模型描述檔，俾建立一當前模型實體檔。
如請求項5所述之方法，更包括：更新該資料清理規則。
如請求項5所述之方法，更包括：根據該資料清理描述檔產生一告警資訊。
如請求項1或5所述之方法，更包括：透過一物聯網接收該感測資料以及透過一管理介面接收該領域標籤。
如請求項1或5所述之方法，更包括：根據該資料描述檔或該資料清理描述檔產生一資料視覺化介面。
如請求項1或5所述之方法，更包括：根據該資料及模型描述檔，建立一查詢應用程式介面，以追溯該模型實體檔的歷程。
一種用於管理機器學習模型之電腦可讀取記錄媒體，係包括：儲存模組，係儲存有包括感測資料和領域標籤之資料描述檔、包括該感測資料及清理規則之資料清理描述檔、與包括該資料描述檔或該資料清理描述檔中的內容、訓練資料、模型評估結果、模型版本指標之資料及模型描述檔；執行模組，對該資料描述檔或該資料清理描述檔執行特徵處理以產生該訓練資料，對一模型執行訓練及評估，根據該模型的模型評估結果建立對應的模型版本指標，以根據該模型版本指標建立模型實體檔；及檢查模組，檢查一當前模型的狀態，以根據該當前模型的狀態執行更新，以建立一當前模型實體檔，其中，檢查該當前模型的狀態係包括：執行準確度評估以判斷該當前模型的農事預測結果是否準確，及/或執行效用性評估以判斷該當前模型是否符合當前農事，以判斷是否執行更新，其中，該準確度評估包括整體性評估和趨勢性評估。