TWI779993B

TWI779993B - 基於物聯網之模型管理系統、模型管理方法及其電腦程式產品

Info

Publication number: TWI779993B
Application number: TW111102406A
Authority: TW
Inventors: 馮琪惠; 黎光智; 郭泓志; 林家興
Original assignee: 中華電信股份有限公司
Priority date: 2022-01-20
Filing date: 2022-01-20
Publication date: 2022-10-01
Also published as: TW202331746A

Abstract

本發明揭示一種基於物聯網之模型管理系統、模型管理方法及其電腦程式產品，包括：自模型倉儲中之多個模型中選定與服務網址對應之一對應模型，以根據該對應模型於服務執行區或服務執行模組啟用具有辨識碼的一服務；設定對應該對應模型的該服務網址與該服務的該辨識碼之配對；設定該服務的授權金鑰，以於收到應用程式對該服務網址之呼叫時，允許具有該授權金鑰的該應用程式經由該配對使用該服務；令機器學習模組執行模型重訓練，以接收來自該機器學習模組經重訓練的新模型；以及將該模型倉儲中的該對應模型更新為經重訓練的該新模型，進而更新該服務的該辨識碼。

Description

基於物聯網之模型管理系統、模型管理方法及其電腦程式產品

本發明係關於機器學習模型之管理，詳而言之，係關於一種基於物聯網之機器學習之模型管理系統、模型管理方法及其電腦程式產品。

近年來人工智慧蓬勃發展，藉由機器學習的結果可獲得適合各物聯網應用場域的預測分析服務，或者，更可藉由結合物聯網邊緣運算平台，以在終端設備附近進行即時的預測分析，例如工廠煙霧偵測、汽車自動駕駛等等。

另外，模型的學習與校正往往須使用機器學習，且校正的頻率可能跟使用場域有關，例如用於醫療或精密儀器等可能需時常校正，而若是例如用電或用水分析之須長時間偵測者，可能校正的頻率可較低，然，無論模型更新的頻率高低，模型更新時往往會影響到使用模型的使用者。

因此，如何對機器學習的模型及更新提出管理機制，乃為業界待研究的議題。

為解決上述問題及其他問題，本發明揭示一種基於物聯網之模型管理系統、模型管理方法及其電腦程式產品。

本發明所揭之基於物聯網之模型管理系統係包括：服務執行模組；模型倉儲，係儲存有多個模型；服務管理模組，係自該模型倉儲中之該多個模型中選定與預設之服務網址對應之一對應模型，以根據該對應模型於該服務執行模組啟用具有辨識碼的一服務，以設定對應該對應模型的該服務網址與該服務的該辨識碼之配對，該服務管理模組更設定該服務的授權金鑰，以於收到應用程式對該服務網址之呼叫時，允許具有該授權金鑰的該應用程式經由該配對使用該服務；以及模型管理模組，令與該模型管理模組連接之機器學習模組執行模型重訓練，以接收來自該機器學習模組經重訓練的新模型，進而將該模型倉儲中的該對應模型更新為經重訓練的該新模型，更令該服務管理模組更新該服務的該辨識碼。

於一實施例中，該服務管理模組係將對應該對應模型的該服務網址與該服務的該辨識碼之配對設定於一路由機制中，而該路由機制將具有該授權金鑰的該應用程式導向該服務，使該服務執行模組對該模型管理系統所接收之感測資料執行該服務，且其中，該服務管理模組係在該路由機制中更新該服務的該辨識碼。

於一實施例中，該服務的授權金鑰係設定有第一授權金鑰和第二授權金鑰，以及其中，該服務執行模組中更包括設定有該第二授權金鑰和第三授權金鑰之額外服務，而該第一授權金鑰、該第二授權金鑰和該第三授權金鑰係對應不同的授權對象。

於一實施例中，本發明之基於物聯網之模型管理系統更包括：準確度分析模組及資料管理模組，其中，資料管理模組係儲存該模型管理系統所接收之感測資料，該準確度分析模組係對該服務執行模組的該服務的準確度進行分析，以於該服務的準確度不足時，通知該模型管理模組以令該資料管理模組將該感測資料傳輸至該機器學習模組，使該機器學習模組利用該感測資料執行模型重訓練，且其中，該模型管理模組接收來自該機器學習模組經重訓練的該新模型，以將該模型倉儲中的該對應模型及該對應模型之運作參數更新為經重訓練的該新模型及該新模型之運作參數。

於一實施例中，本發明之基於物聯網之模型管理系統更包括：資料管理模組，係儲存該模型管理系統所接收之感測資料，其中，該模型管理模組令該資料管理模組將該感測資料傳輸至該機器學習模組，以使該機器學習模組利用該感測資料執行另一模型訓練，且其中，該模型管理模組接收來自該機器學習模組之另一模型，以將該另一模型及該另一模型之運作參數存放至該模型倉儲中。

於一實施例中，本發明之基於物聯網之模型管理系統更包括：資料管理模組，係儲存來自物聯網設備之感測資料，其中，該資料管理模組將該感測資料傳輸至該服務執行模組，以使該服務執行模組對該感測資料執行該服務，且該資料管理模組根據該服務的執行結果發出對應控制指令至該物聯網設備。

本發明所揭之基於物聯網之模型管理方法係包括：自模型倉儲中之多個模型中選定與預設之服務網址對應之一對應模型，以根據該對應模型於服務執行模組啟用具有辨識碼的一服務；設定對應該對應模型的該服務網址與該服務的該辨識碼之配對；設定該服務的授權金鑰，以於收到應用程式對該服務網址之呼叫時，允許具有該授權金鑰的該應用程式經由該配對使用該服務；令機器學習模組執行模型重訓練，以接收來自該機器學習模組經重訓練的新模型；以及將該模型倉儲中的該對應模型更新為經重訓練的該新模型，進而更新該服務的該辨識碼。

於一實施例中，對應該對應模型的該服務網址與該服務的該辨識碼之配對係設定於一路由機制中，而該路由機制將具有該授權金鑰的該應用程式導向該服務，使該服務執行模組對所接收之感測資料執行該服務，且其中，在該路由機制中更新該服務的該辨識碼。

於一實施例中，本發明所揭之基於物聯網之模型管理方法更包括：分析該服務執行模組的該服務的準確度；於該服務的準確度不足時，將所接收之感測資料傳送至該機器學習模組，以使該機器學習模組利用該感測資料執行模型重訓練；以及接收來自該機器學習模組經重訓練的該新模型，以將該模型倉儲中的該對應模型及該對應模型之運作參數更新為經重訓練的該新模型及該新模型之運作參數。

於一實施例中，本發明所揭之基於物聯網之模型管理方法更包括：將所接收之感測資料傳送至該機器學習模組，以使該機器學習模組利用該感測資料執行另一模型訓練；以及接收來自該機器學習模組之另一模型，以將該另一模型及該另一模型之運作參數存放至該模型倉儲中。

於一實施例中，本發明所揭之基於物聯網之模型管理方法更包括：將物聯網設備之感測資料傳送至該服務執行模組，以使該服務執行模組對該感測資料執行該服務；以及根據該服務的執行結果發出對應控制指令至該物聯網設備。

本發明所揭之電腦程式產品，經電腦裝置載入程式後執行上述之基於物聯網之模型管理方法。

藉由本發明所揭之基於物聯網之模型管理系統、模型管理方法及電腦程式產品，在物聯網系統端來管理模型、更新模型以維持服務的精準度，而服務的使用。

11:第一授權金鑰

12:第二授權金鑰

13:第三授權金鑰

14:第四授權金鑰

15:第五授權金鑰

2、4:模型管理系統

21、41:服務執行區(服務執行模組)

211、411:服務1

212、412:服務2

213、413:服務n

22、42:模型倉儲

221、421:模型1

222、422:模型2

223、423:模型n

23、43:服務管理模組

24、44:模型管理模組

25、45:機器學習模組

26、46:準確度分析模組

27、47:資料管理模組

40:管理模組

48:服務狀態蒐集模組

49:呼叫管理模組

50:授權驗證模組

51:應用程式

52:物聯網設備

53:使用者裝置

54:管理者裝置

81:太陽能發電預測服務

82:風力發電預測服務

83:危險區域偵測服務

84:圖像辨識服務

85:聲音辨識服務

86:用電分析服務

87:用水分析服務

S201~S204:步驟

S301~S305:步驟

S401~S407:步驟

S501~S504:步驟

S601~S604:步驟

S701~S704:步驟

圖1係本發明之基於物聯網之模型管理系統之方塊示意圖。

圖2係根據本發明之基於物聯網之模型管理方法之一實施例之流程示意圖。

圖3係根據本發明之基於物聯網之模型管理方法之另一實施例之流程示意圖。

圖4係根據本發明之基於物聯網之模型管理方法中機器學習一實施例之流程示意圖。

圖5係根據本發明之基於物聯網之模型管理方法中機器學習之一實施例之流程示意圖。

圖6係根據本發明之基於物聯網之模型管理方法中使用服務之一實施例之流程示意圖。

圖7係根據本發明之基於物聯網之模型管理系統之一實施例之方塊示意圖。

圖8係根據本發明之基於物聯網之模型管理系統及方法之一實施例中授權金鑰之設定的方塊示意圖。

以下藉由特定的實施例說明本案之實施方式，熟習此項技藝之人士可由本文所揭示之內容輕易地瞭解本案之其他優點及功效。本說明書所附圖式所繪示之結構、比例、大小等均僅用於配合說明書所揭示之內容，以供熟悉此技藝之人士之瞭解與閱讀，非用於限定本案可實施之限定條件，故任何修飾、改變或調整，在不影響本案所能產生之功效及所能達成之目的下，均應仍落在本案所揭示之技術內容得能涵蓋之範圍內。

請參閱圖1，本發明之基於物聯網之模型管理系統2包括服務執行區或服務執行模組21、模型倉儲22、服務管理模組23及模型管理模組24。

服務執行區或服務執行模組21用於執行一個或多個服務，例如服務1 211、服務2 212、…、服務n 213。詳言之，服務執行區或服務執行模組21用於對模型管理系統2所接收之感測資料執行服務，而這些服務可為預測服務、判斷服務、分析服務或辨識服務等等。

模型倉儲22用於存放多個模型及其運作參數，例如模型1 221、模型2 222、…、模型n 223。詳言之，模型倉儲22用於儲存由機器學習模組25所訓練完成之模型，可能為重訓練的模型或新的另一模型，而這些模型可為預測模型、判斷模型、分析模型或辨識模型等等。

服務管理模組23用於服務與模型之配對。詳言之，服務管理模組23設定一服務網址，例如統一資源定位器(Uniform Resource Locator,URL)。接著，服務管理模組23先自模型倉儲22中之多個模型中選定一模型以與該服務網址相對應，再根據該模型於服務執行區或服務執行模組21啟用具有辨識碼(例如hash ID)的一服務，例如建立映像檔(docker image)佈署到容器(docker container)中，容器會給該服務該辨識碼，以完成該服務的啟用。接著，服務管理模組23設定對應該模型的該服務網址與該服務的該辨識碼之配對，以將所述配對設定在一路由機制(例如路由表)中，該路由表可在服務管理模組23中或在另外的API管理模組中。當模型管理系統2收到一應用程式對於該服務網址之呼叫時，所設定之路由機制將該應用程式導向服務執行區或服務執行模組21中的該服務，使服務執行區或服務執行模組21對模型管理系統2所接收之感測資料執行該服務，其中，感測資料一般會先存在資料管理模組27中再傳至服務執行區或服務執行模組21，或者亦由模型管理系統2直接接收至服務執行區或服務執行模組21。同時，服務管理模組23也監控該服務的狀態，例如執行中、更新中、或關閉。

另外，服務管理模組23設定該服務的名稱和授權金鑰。當模型管理系統2收到一應用程式對於該服務網址之呼叫時，先驗證該應用程式是否具有該授權金鑰，以允許具有該授權金鑰的該應用程式使用服務執行區或服務執行模組21的該服務，即服務執行區或服務執行模組21對模型管理系統2所接收之感測資料執行該服務，並回覆執行結果予該應用程式。於一實施例中，服務執行區或服務執行模組21中的服務1 211、服務2 212、…、服務n 213每一者皆設置有一個或多個授權金鑰，而不同的授權金鑰對應於不同的授權對象，故不同的授權對象拿到不同的授權金鑰仍可使用同一個服務。

模型管理模組24用於令機器學習模組25執行模型訓練。於一實施例中，模型管理模組24令模型管理系統2所接收之感測資料傳輸至機器學習模組25，以令機器學習模組25執行模型重訓練，爾後接收來自機器學習模組25經重訓練的新模型，進而將模型倉儲22中的該模型及其運作參數更新為經重訓練的該新模型及其運作參數，更令服務管理模組23更新該路由機制中該服務的該辨識碼，但不改變服務執行區或服務執行模組21中該服務的名稱，此時服務管理模組23對該服務進行狀態監控所獲得的狀態即為更新中。於另一實施例中，模型管理模組24令模型管理系統2所接收之感測資料傳輸至機器學習模組25，以令機器學習模組25執行新的另一模型訓練，爾後接收來自機器學習模組25之新的另一模型，進而將該新的另一模型及其運作參數存放至模型倉儲22。

關於機器學習模組25，可建立在雲端、邊緣端、或在系統端。於一實施例中，機器學習模組25與模型管理系統2在同一實體機器運作，以隨時重新訓練模型，且機敏性的感測資料不會因透過網路傳輸而有被竊取風險，此外，若推論模型的訓練已完成，則可卸除機器學習服務資源，藉此節省成本。於另一實施例中，機器學習模組25可為在雲端的第三方機器學習工具，此架構可降低硬體與模型訓練/更新及維護的成本，適用無AI模型訓練能力、模型通用性高/資料可共用、無機敏性的資料，例如太陽能發電預測、工地工廠煙火/工地帽/背心辨識)。

模型管理系統2更包括準確度分析模組26，其用於對服務執行區或服務執行模組21的該服務的準確度進行分析。詳言之，於該服務的準確度不足時，例如預測準確度不足、判斷準確度不足、分析準確度不足或辨識準確度不足時，則表示對應該服務的模型可能須要重新訓練，則通知模型管理模組24令機器學習模組25執行模型重訓練，再回傳重訓練的該模型。準確度係例如為回歸型模型準確度和分類型模型準確度。回歸型模型準確度係採用資料偏移/離群判斷，即偏移量或離群值是否達到自訂標準，回歸型模型的輸出是一個預測結果，可與實際資料數據作比較，即資料偏移-預測服務結果與實際資料來比較，例如實際發電量資料離群-發電量預測的訓練資料集集中在夏天，但實際預測用的資料集是冬天，則預測服務可能會失準。分類型模型準確度係採用準確率(Accuracy)/AUC(Area Under the Curve)，分類型模型的輸出通常為固定的分類值，例如是、否、或幾種固定結果，可輔以人工判斷。若上述準確度低於門檻值，則準確度分析模組26通知模型管理模組24啟動模型訓練，即令機器學習模組25執行模型重訓練。

模型管理系統2更包括資料管理模組27，其用於儲存模型管理系統2所接收之感測資料，感測資料的形式例如原始資料(rawdata)、圖像(snapshot)或串流影片(streaming)等。詳言之，物聯網設備可定時或不定時將其感測資料傳輸至資料管理模組27，而資料管理模組27也定時或不定時將該感測資料傳輸至機器學習模組25，以時時執行模型訓練以提升模型準確度。於一實施例中，資料管理模組27被模型管理模組24命令以將所接收之感測資料傳輸至機器學習模組25，以使機器學習模組25執行模型重訓練或新模型訓練。於另一實施例中，資料管理模組27將來自物聯網設備之感測資料傳輸至服務執行區或服務執行模組21，以使該服務執行區或服務執行模組21中的服務1 211、服務2 212、…、服務n 213其中一者對該感測資料執行預測、判斷、分析、辨識等服務，而資料管理模組27更可根據該服務的執行結果發出對應控制指令至該物聯網設備。另外，呼叫該服務的該服務網址之應用程式亦可自行傳輸感測資料至服務執行區或服務執行模組21，或傳輸感測資料至資料管理模組27而資料管理模組27再傳輸至服務執行區或服務執行模組21，讓服務執行區或服務執行模組21對所傳輸之感測資料執行該服務。

再者，本發明之基於物聯網之模型管理系統2可例如為一種物聯網邊緣系統(即Edge IoT平台)，可利用具備即時、低延遲、低總成本等優勢之邊緣運算(Edge Computing)，擴大人工智慧物聯網(AIoT)的可用情境。另外，資料管理模組27可另外以資料伺服器形式建置，而無須予模型管理系統2在同一實體機器運作。另外，傳輸感測資料至模型管理系統2之每一物聯網設備皆有自己的ID，此亦可作為服務管理模組23設定服務的授權金鑰之依據。

請參閱圖2和圖3，本發明之基於物聯網之模型管理方法大致以步驟S201~S204、步驟S301~S305、步驟S401~S407來表示，其中，步驟S201~S204關於服務與模型之配對，步驟S301~S305關於服務的授權金鑰，步驟S401~S407關於模型的更新。

在步驟S201中，設定服務網址，例如URL，接著進至步驟S202。在步驟S202中，自模型倉儲中之多個模型中選定一模型以與該服務網址相對應，接著進至步驟S203。在步驟S203中，根據該模型於服務執行區或服務執行模組啟動一服務，例如以建立docker image的方式佈署到docker container中，則container會給該服務一辨識碼，接著進至步驟S204。在步驟S204中，設定對應該模型的服務網址與該服務的辨識碼之配對，以將該配對設定於路由表中，接著進至步驟S302。

在步驟S302之前，進行步驟S301，設定該服務的名稱和授權金鑰，接著進至步驟S302。在步驟S302中，接收一外部應用程式對該服務網址之呼叫，接著進至步驟S303。在步驟S303中，驗證該應用程式是否具有該授權金鑰。若應用程式具有該服務的授權金鑰，則進至步驟S304，反之則進至步驟S305。在步驟S304中，允許具有該授權金鑰的該應用程式經由該配對使用該服務，即根據該路由表將該應用程式導向該服務，使該服務執行區或服務執行模組對系統所接收之感測資料執行該服務。此外，在步驟S305中，不允許應用程式使用該服務。

接著，在步驟S401中，分析該服務的準確度，例如將預測值和實際值比較，接著進至步驟S402。在步驟S402中，判斷準確度是否不足，例如預測值與實際值之差值是否超過門檻值。若準確度不足，表示模型需重新訓練，則進至步驟S403，反之則進至步驟S407。在步驟S403中，機器學習模組執行模型重訓練，接著進至步驟S404。在步驟S404中，接收來自機器學習模組之重訓練的模型，接著進至步驟S405。在步驟S405中，將模型倉儲中的該模型及其運作參數更新為重訓練的模型及其運作參數，接著進至步驟S406。在步驟S406中，更新該配對中該服務的辨識碼，但不改變該服務執行區或服務執行模組中該服務的名稱。此外，在步驟S407中，機器學習模組不執行模型重訓練，但仍可以自訂排程執行模型訓練以維持或提高準確度。

請參閱圖4，本發明之基於物聯網之模型管理方法中感測資料傳至機器學習模組之一實施例之流程示意圖。

在步驟S501中，將系統所接收之感測資料傳送至機器學習模組，接著進至步驟S502。在步驟S502中，機器學習模組利用感測資料執行新模型訓練，接著進至步驟S503。在步驟S503中，接收來自機器學習模組之新模型，接著進至步驟S504。在步驟S504中，將該新模型及其運作參數新增至模型倉儲中。

請參閱圖5，本發明之基於物聯網之模型管理方法中感測資料傳至機器學習模組之另一實施例之流程示意圖。

在步驟S601中，將系統所接收之感測資料傳送至機器學習模組，接著進至步驟S602。在步驟S602中，機器學習模組利用感測資料執行模型重訓練，接著進至步驟S603。在步驟S603中，接收來自機器學習模組之重訓練的模型，接著進至步驟S604。在步驟S604中，將模型倉儲中的模型及其運作參數更新為重訓練的模型及其運作參數。

另外，本發明之基於物聯網之模型管理方法中機器學習除了受系統啟動之外，例如準確度不足時啟動模型重訓練，模型倉儲中沒有所需模型時啟動新模型訓練，也可定時或不定時將系統所接收之感測資料傳至機器學習模組，以利用感測資料執行機器學習模型訓練，藉此維持或提高準確度。

請參閱圖6，本發明之基於物聯網之模型管理方法中感測資料傳至服務執行區或服務執行模組之一實施例之流程示意圖。

在步驟S701中，將物聯網設備的感測資料傳送至服務執行區或服務執行模組，其中，物聯網的感測資料可直接至系統中的服務執行區或服務執行模組、或先至系統中的資料管理模組再至服務執行區或服務執行模組、或者先至系統外的資料庫伺服器再至系統中的服務執行區或服務執行模組，接著進至步驟S702。在步驟S702中，服務執行區或服務執行模組對該感測資料執行該服務，例如用用電資料執行用電分析、對用水資料執行用水分析、對空氣資料執行空氣分析、對串流影片執行圖像辨識、對音訊執行聲音辨識等等，接著進至步驟S703及/或步驟S704。在步驟S703中，根據服務的執行結果發出對應控制指令該物聯網設備，例如空氣分析結果為混濁度過高，則啟動空氣清淨裝置。在步驟S704中，根據服務的執行結果發出告警通知，例如以簡訊(SMS)、訊息(如通訊軟體所提供者)通知使用者或管理者。

須說明的是，本發明之模型管理方法係執行在例如伺服器、電腦或其他具有資料處理、運算、儲存、網路通聯等功能的一個單獨或多個集合之設備中，其中，該伺服器、電腦或設備包括中央處理器、硬碟、記憶體等。

另外，本發明之電腦程式產品係經由電腦載入程式後執行上述模型管理方法，電腦程式產品可在網路上直接傳輸提供，電腦程式產品為載有電腦可讀取之程式且不限外在形式之物。

另外，本發明之電腦程式產品可儲存於電腦可讀取紀錄媒體，例如硬碟、軟碟、光碟、USB隨身碟，電腦可讀取記錄媒體為儲存有程式或演算法之記錄媒體。

另外，本發明還提供一種電腦可讀媒介，係應用於具有處理器及/或記憶體之計算裝置或電腦中，且電腦可讀媒介儲存有指令，並可利用計算裝置或電腦透過處理器及/或記憶體執行電腦可讀媒介，以於執行電腦可讀媒介時執行上述方法及/或內容。

請參閱圖7，說明本發明之基於物聯網之模型管理系統、模型管理方法及電腦程式產品的具體實施例。

在本具體實施例中，物聯網設備52(例如太陽能電池板)傳送感測資料(例如太陽能電池板產生的電量/太陽能面板接收的熱量)到模型管理系統4的資料管理模組47，而資料管理模組47接收感測資料之後，可排程(三天一次)或直接傳送到機器學習模組45作為模型學習用資料，而機器學習模組45對感測資料先進行探索後再開始模型開發(也就是模型訓練，例如太陽能發電量預測模型)。模型訓練完成後送到模型管理系統4的模型倉儲42儲存，其中，模型倉儲42存放多個模型及其運作參數，例如模型1 421、模型2 422、…、模型n 423。

管理者裝置54透過系統介面來設定服務，由服務管理模組43處理，又管理者裝置54透過系統介面來設定服務的名稱與服務網址(例如太陽能發電預測服務，網址為solar/V1/energy)，自模型倉儲42中選擇模型(例如太陽能發電量預測模型)，模型管理系統4將該模型映像檔起一個微服務(容器Container技術，實作採用Docker)到服務執行區或服務執行模組41，服務執行區或服務執行模組41用於執行一個或多個服務，例如服務1 411、服務2 412、…、服務n 413。另外，模型管理系統4給該微服務的hashID為8001，呼叫管理模組49(實作採用KONG)的路由表設定hashID為8001與服務網址solar/V1/energy為對應。之後，當應用程式51呼叫該服務網址時，由呼叫管理模組49(KONG)根據路由表指向正確的微服務執行。

另外，模型管理系統4除了提供外部的應用程式51呼叫回應，還可以設定為排程，以在服務執行區或服務執行模組41持續執行各種服務，再將服務的執行結果提供到資料管理模組47。例如，服務為危險區域判斷服務，則服務執行區或服務執行模組41持續接收由物聯網設備52(如工地攝影機)傳送上來的串流影片感測資料，持續判斷影片中是否有人形入侵危險區域，如判斷結果為有，回傳結果給資料管理模組47，下達控制指令來控制物聯網設備52(例如工地警報器響起)，同時啟動告警機制發簡訊或者通知至使用者裝置53到場察看。

服務狀態蒐集模組48會蒐集服務執行區或服務執行模組41的服務運行狀態資訊(例如運行中/部署中/離線中)，再定時提供給管理者裝置54。

準確度分析模組46對於模型的準確度進行判斷，判斷方法例如偵測數據偏移或離群或準確率或AUC，例如太陽能發電量預測模型(回歸型)。數據偏移指的是將預測數值與實際測量的數值比對，例如日期8/10預測的數值是50，而實際測量數值是35，若預設差異門檻是5，則50-35=15>5已超過門檻值，判斷為數據偏移。數據離群則是將整批的資料進行比對，例如日期7/1-7/31的發電預測量與實際差異大多都在5-6的範圍，表示當初訓練資料可能因季節有所不同(夏天發電量較大)，模型管理模組44將通知機器學習模組45重新訓練模型。

另外，服務管理模組43、模型管理模組44、準確度分析模組46、服務狀態蒐集模組48也可合併為一管理模組40。

服務管理模組43更處理服務授權，當服務提供給應用程式51使用時，應用程式51必須具有該服務的授權金鑰才能呼叫該服務，此由授權驗證模組50來驗證應用程式51是否具有該服務的授權金鑰。

如圖8所示，服務與金鑰的關係是多對多，例如太陽能發電預測服務81可給予第一授權金鑰11和第二授權金鑰12，同時，第一授權金鑰11和第二授權金鑰12也可使用在風力發電預測服務82，如此一來，於同一群組下的使用者能夠因授權金鑰之不同而分辨該使用者能夠使用那些預測服務(即同一應用程式可以使用同一群的預測服務)，而第三授權金鑰13只能使用風力發電預測服務82，而第四授權金鑰14和第五授權金鑰5只能使用危險區域偵測服務83。以此類推，圖像辨識服務84、聲音辨識服務85、用電分析服務86、用水分析服務87也可設定一個或多個授權金鑰。

綜上所述，根據本發明之基於物聯網之模型管理系統、方法及電腦程式產品，由模型管理系統負責蒐集感測資料送到機器學習模組，機器學習模組可以選擇在邊緣系統地端安裝機器學習平台，或使用雲端公雲的機器學習服務來訓練模型，以達到設置機器學習所在位置之彈性，另定期檢測模型準確度，如有需要模型可重新訓練並且更新，以維持模型準確度，又，由管理模型系統對外提供服務，對外制定服務網址與授權金鑰，其中服務網址與金鑰為多對多的關係，對內則將服務網址與以模型啟動的服務配對，以路由表來儲存服務的辨識碼與服務網址的配對，藉此，當模型更新(此時，服務可能需重新啟動)時，僅更新路由表中的辨識碼，故不會影響使用者使用服務。

上述實施例僅例示性說明本案之功效，而非用於限制本案，任何熟習此項技藝之人士均可在不違背本案之精神及範疇下對上述該些實施態樣進行修飾與改變。因此本案之權利保護範圍，應如後述之申請專利範圍所列。

2:模型管理系統

21:服務執行區(服務執行模組)

211:服務1

212:服務2

213:服務n

22:模型倉儲

221:模型1

222:模型2

223:模型n

23:服務管理模組

24:模型管理模組

25:機器學習模組

26:準確度分析模組

27:資料管理模組

Claims

一種基於物聯網之模型管理系統，係包括：服務執行模組；模型倉儲，係儲存有多個模型；服務管理模組，係自該模型倉儲中之該多個模型中選定與預設之服務網址對應之一對應模型，以根據該對應模型於該服務執行模組啟用具有辨識碼的一服務，進而設定對應該對應模型的該服務網址與該服務的該辨識碼之配對，再由該服務管理模組設定該服務的授權金鑰，以於收到應用程式對該服務網址之呼叫時，允許具有該授權金鑰的該應用程式經由該配對使用該服務；模型管理模組，係令與該模型管理模組連接之機器學習模組執行模型重訓練，以接收來自該機器學習模組經重訓練的新模型，進而將該模型倉儲中的該對應模型更新為經重訓練的該新模型，俾令該服務管理模組更新該服務的該辨識碼；準確度分析模組，係對該服務執行模組的該服務的準確度進行分析，其中，當該服務的對應模型為回歸型模型時採用資料偏移與離群方法來進行準確度分析，當該服務的對應模型為分類型模型時採用準確率與曲線下面積方法來進行準確度分析；以及資料管理模組，係儲存來自物聯網設備之感測資料，其中，該資料管理模組將該感測資料傳輸至該服務執行模組，以使該服務執行模組對該感測資料執行該服務，且該資料管理模組根據該服務的執行結果發出對應控制指令至該物聯網設備。
如請求項1所述之模型管理系統，其中，該服務管理模組係將對應該對應模型的該服務網址與該服務的該辨識碼之配對設定於一路由機制中，以由該路由機制將具有該授權金鑰的該應用程式導向該服務，使該服務執行模組對該模型管理系統所接收之感測資料執行該服務，且該服務管理模組係在該路由機制中更新該服務的該辨識碼。
如請求項1所述之模型管理系統，其中，該服務的授權金鑰係設定有第一授權金鑰和第二授權金鑰，該服務執行模組中更包括設定有該第二授權金鑰和第三授權金鑰之額外服務，且該第一授權金鑰、該第二授權金鑰和該第三授權金鑰係對應不同的授權對象。
如請求項1所述之模型管理系統，其中，該準確度分析模組係於該服務的準確度不足時，通知該模型管理模組令該資料管理模組將該感測資料傳輸至該機器學習模組，以使該機器學習模組利用該感測資料執行模型重訓練，且其中，該模型管理模組接收來自該機器學習模組經重訓練的該新模型，以將該模型倉儲中的該對應模型及該對應模型之運作參數更新為經重訓練的該新模型及該新模型之運作參數。
如請求項1所述之模型管理系統其中，該模型管理模組係令該資料管理模組將該感測資料傳輸至該機器學習模組，以使該機器學習模組利用該感測資料執行另一模型訓練，且其中，該模型管理模組接收來自該機器學習模組之另一模型，以將該另一模型及該另一模型之運作參數存放至該模型倉儲中。
一種基於物聯網之模型管理方法，係包括：自模型倉儲中之多個模型中選定與預設之服務網址對應之一對應模型，以根據該對應模型於服務執行模組啟用具有辨識碼的一服務；設定對應該對應模型的該服務網址與該服務的該辨識碼之配對；設定該服務的授權金鑰，以於收到應用程式對該服務網址之呼叫時，允許具有該授權金鑰的該應用程式經由該配對使用該服務；令機器學習模組執行模型重訓練，以接收來自該機器學習模組經重訓練的新模型；將該模型倉儲中的該對應模型更新為經重訓練的該新模型，進而更新該服務的該辨識碼；分析該服務執行模組的該服務的準確度，其中，當該服務的對應模型為回歸型模型時採用資料偏移與離群方法來進行準確度分析，當該服務的對應模型為分類型模型時採用準確率與曲線下面積方法來進行準確度分析；將來自物聯網設備之感測資料傳輸至該服務執行模組，以使該服務執行模組對該感測資料執行該服務；以及根據該服務的執行結果發出對應控制指令至該物聯網設備。
如請求項6所述之模型管理方法，其中，對應該對應模型的該服務網址與該服務的該辨識碼之配對係設定於一路由機制中，而該路由機制將具有該授權金鑰的該應用程式導向該服務，使該服務執行模組對所接收之感測資料執行該服務，且在該路由機制中更新該服務的該辨識碼。
如請求項6所述之模型管理方法，其中，該服務的授權金鑰係設定有第一授權金鑰和第二授權金鑰，該服務執行模組中更包括設定有該第二授權金鑰和第三授權金鑰之額外服務，且該第一授權金鑰、該第二授權金鑰和該第三授權金鑰係對應不同的授權對象。
如請求項6所述之模型管理方法，更包括：於該服務的準確度不足時，將所接收之感測資料傳輸至該機器學習模組，以使該機器學習模組利用該感測資料執行模型重訓練；以及接收來自該機器學習模組經重訓練的該新模型，以將該模型倉儲中的該對應模型及該對應模型之運作參數更新為經重訓練的該新模型及該新模型之運作參數。
如請求項6所述之模型管理方法，更包括：將所接收之感測資料傳輸至該機器學習模組，以使該機器學習模組利用該感測資料執行另一模型訓練；以及接收來自該機器學習模組之另一模型，以將該另一模型及該另一模型之運作參數存放至該模型倉儲中。
一種電腦程式產品，經電腦載入程式後係執行如請求項6至10任一項所述之方法。