TWI779654B - 以容器部署運行自動機器學習模型之系統、方法及電腦可讀媒介 - Google Patents

Abstract

本發明揭露一種以容器部署運行自動機器學習模型之系統、方法及電腦可讀媒介，係由模型服務問題解析模組解析服務問題或讀入服務需求以提供容器合成範本與模型自動訓練設定資訊，再由模型自動訓練模組透過自動機器學習技術依據模型自動訓練設定資訊執行模型自動訓練而產出模型和前後處理程序。接著，由容器合成模組依據容器合成範本與模型和前後處理程序從容器合成套件庫中取出相關聯之套件而產出模型容器以及容器部署資料。然後，由模型執行模組依據容器部署資料中之模型容器之識別碼，將模型容器部署至容器執行環境中執行。

Description

以容器部署運行自動機器學習模型之系統、方法及電腦可讀媒介

本發明係關於一種自動機器學習(AutoML)模型之技術，特別是指一種以容器部署運行自動機器學習模型之系統、方法及電腦可讀媒介。

人工智慧(artificial intelligence；AI)簡單而言就是讓電腦能夠表現出「類似人類智慧行為」之技術，係一種可以感知、學習、推理、協助決策，並採取行動幫助人類解決問題之科技，且人工智慧廣泛地應用於各個領域中，例如工業4.0、智慧城市、新零售、智能家居等。

這些人工智慧技術皆以機器學習、深度學習、集成學習、或強化學習所訓練之模型為基礎加以組合建構，一般傳統習知的人工智慧(AI)機器學習應用中，資料科學處理流程係由資料科學家先蒐集大量的資料，在歷經資料探索、處理資料、選擇模型演算法、特徵工程、評估模型與不 斷的調整參數後，最終訓練出一個有用的模型。

在上述處理過程中，不論是構建訓練資料、選擇模型演算法、依據經驗找出超參數之組合等，皆是資料科學家手動以批次執行的方式去完成最好的機器學習模型，在機器學習模型完成後，也是採用同樣手動批次的方式進行資料前處理、取得模型推論及資料後處理來整合應用使用，並不斷地重複這樣的批次流程來維持推論結果之準確性。

惟，在建立即時應用需要即時完成這些模型推論應用的批次流程，故資料科學家需先將訓練好的模型轉成通用格式，由另一開發團隊將模型推論程式放在模組中，還會有另外的團隊專門針對此模型開發專有的前處理與錯誤處理等程序，然後再整合到應用服務中並部署至執行環境，每個環節都需要不同的專業，且使用相同的資訊科技(Information Technology；IT)技術及程式語言。

此外，要建立一個即時的人工智慧機器學習應用已屬不易，面對快速變遷的環境與不斷進步的技術，不斷會有模型重新訓練的強烈需求，故這樣的做法會遭遇很大的問題。例如，資料科學家有必要使用新版或不同的框架來訓練新的模型，或是在特徵工程中採用不同的資料處理方法，就需將上述整個流程全部修正以避免相容性問題，再重新整合至應用服務中，要將整個程序完成才能使用此新的模型，應用服務的變更速度無法跟上環境變化，傳統習知之方法都是由不同的人分段以批次方式銜接完成的，縱使有幾段是透過自動化執行，但仍需要專家人工介入，從而造成模型服務應用更新緩慢的問題。

因此，如何提供一種創新之自動機器學習(AutoML)模型之 技術，以解決上述之問題，或者提供相關之技術或功能，已成為本領域技術人員之一大研究課題。

本發明提供一種以容器部署運行自動機器學習(Automated Machine Learning；AutoML)模型之系統、方法及電腦可讀媒介，能融合容器化(Container)技術與自動機器學習(AutoML)技術，或者提供彈性化之合成、部署與運行機制，抑或者將模型容器部署至容器執行環境中執行，又或者利用協調容器來即時協調程序容器與模型推論容器之執行流程以完成模型服務。

本發明之以容器部署運行自動機器學習模型之系統包括：一模型服務問題解析模組，係解析服務問題或讀入服務需求以提供至少一容器合成範本與模型自動訓練設定資訊；一模型自動訓練模組，係讀入來自模型服務問題解析模組之模型自動訓練設定資訊，以由模型自動訓練模組透過自動機器學習技術依據模型自動訓練設定資訊執行模型自動訓練而產出模型和前後處理程序；一容器合成模組，係讀入來自模型服務問題解析模組之容器合成範本與來自模型自動訓練模組之模型和前後處理程序，以由容器合成模組依據容器合成範本與模型和前後處理程序從容器合成套件庫中取出相關聯之套件，再由容器合成模組利用套件產出模型容器之容器映像檔、以及包括模型容器之識別碼(ID)之容器部署資料；以及一模型執行模組，係讀入來自容器合成模組之容器部署資料，以由模型執行模組依據容器部署資料中之模型容器之識別碼，將模型容器之容器映像檔部署至容器執行環境中執行。

本發明之以容器部署運行自動機器學習模型之方法包括：由一模型服務問題解析模組解析服務問題或讀入服務需求以提供至少一容器合成範本與模型自動訓練設定資訊；由一模型自動訓練模組讀入來自模型服務問題解析模組之模型自動訓練設定資訊，以由模型自動訓練模組透過自動機器學習技術依據模型自動訓練設定資訊執行模型自動訓練而產出模型和前後處理程序；由一容器合成模組讀入來自模型服務問題解析模組之容器合成範本與來自模型自動訓練模組之模型和前後處理程序，以由容器合成模組依據容器合成範本與模型和前後處理程序從容器合成套件庫中取出相關聯之套件，再由容器合成模組利用套件產出模型容器之容器映像檔、以及包括模型容器之識別碼之容器部署資料；以及由一模型執行模組讀入來自容器合成模組之容器部署資料，以由模型執行模組依據容器部署資料中之模型容器之識別碼，將模型容器部署至容器執行環境中執行。

本發明之電腦可讀媒介應用於計算裝置或電腦中，係儲存有指令，以執行上述之以容器部署運行自動機器學習模型之方法。

為讓本發明之上述特徵與優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明。在以下描述內容中將部分闡述本發明之額外特徵及優點，且此等特徵及優點將部分自所述描述內容可得而知，或可藉由對本發明之實踐習得。應理解，前文一般描述與以下詳細描述二者均為例示性及解釋性的，且不欲約束本發明所欲主張之範圍。

1:服務需求

2:模型服務問題解析模組

3:模型字典

4:容器合成範本

5:模型自動訓練設定資訊

6:模型自動訓練模組

7:模型和前後處理程序

8:容器合成模組

9:容器合成套件庫

10:容器映像檔

10':模型容器

11:容器部署資料

12:模型容器庫

13:模型執行模組

14:推論結果

15:資料集儲存庫

16:模型推論評估資料

17:模型重新訓練評估模組

20:以容器部署運行自動機器學習模型之系統

A:協調容器

B:第一程序容器

C:模型推論容器

D:第二程序容器

E:容器執行環境

F:服務介面

G:外部

S1至S7:步驟

S61至S64:步驟

圖1為本發明之以容器部署運行自動機器學習模型之系統的架構示意圖；

圖2為本發明之以容器部署運行自動機器學習模型之系統及方法中，關於容器執行環境中之模型容器的示意圖；

圖3為本發明之以容器部署運行自動機器學習模型之方法的流程示意圖；以及

圖4為本發明之以容器部署運行自動機器學習模型之方法中，關於圖3之步驟S6之詳細執行流程的流程示意圖。

以下藉由特定的具體實施形態說明本發明之實施方式，熟悉此技術之人士可由本說明書所揭示之內容了解本發明之其它優點與功效，亦可因而藉由其它不同的具體等同實施形態加以施行或運用。

自動機器學習(AutoML)為一新興模型訓練技術，能自動挑選演算法、調整超參數，透過不斷優化以找出最適合之模型，有些甚至可以不用撰寫程式碼就能訓練出專屬之模型，大幅降低人工智慧(AI)之開發門檻。此自動機器學習技術能解決人類或企業(如中小型企業)對於資料科學家不足、機器學習專案所花費之時間太長的問題，讓即使是機器學習專業知識有限的開發人員，也能訓練出符合自身業務需求的高品質模型，以利將寶貴的時間花在了解並定義實際之業務需求與因應策略上。

如Docker平台(軟體平台)之容器化(Container)技術的出現迅速席捲全球資訊科技(IT)業，容器技術不僅打破傳統開發者的開發思維， 更推翻運維人員舊有的維運模式，容器化可以將許多不相容與不同技術的流程串接執行無礙，訓練完一個模型並包裝成容器(如模型容器)只是此模型生命週期之開始而已，因應不斷變化的商業需求及周遭環境，容器化技術也可讓需要周而復始地更新模型程序執行無礙。

本發明為一種使用容器化架構來建立、部署、運行、持續維護及支援即時應用的自動機器學習系統及方法，可將系統組件全部轉成容器加以執行(包括自動機器學習的模型訓練流程)，能解決即時人工智慧機器學習應用快速變化以及不同技術、不同框架之相依的問題，亦能面對不斷變化的環境作持續更新且快速部署至即時應用中，使人工智慧在技術相容與即時應用的門檻降低。

圖1為本發明之以容器部署運行自動機器學習模型之系統20的架構示意圖，圖2為本發明之以容器部署運行自動機器學習模型之系統20及方法中關於容器執行環境E中之模型容器10'(容器映像檔10)的示意圖。

如圖1所示，以容器部署運行自動機器學習模型之系統20可包括至少一服務需求1、一模型服務問題解析模組2、一模型字典3、至少一(如多個)容器合成範本4、至少一(如多個)模型自動訓練設定資訊5、一模型自動訓練模組6、至少一(如多個)模型和前後處理程序7、一容器合成模組8、一容器合成套件庫9、至少一(如多個)容器映像檔10、至少一容器部署資料11、一模型容器庫12、一模型執行模組13、至少一(如多個)推論結果14、一資料集儲存庫15、至少一(如多個)模型推論評估資料16、一模型重新訓練評估模組17等，且多個代表二、三、四或五個以上。

例如，模型服務問題解析模組2可為模型服務問題解析器(晶片/電路)、模型服務問題解析軟體(程式)、或其組合等。模型自動訓練模組6可為模型自動訓練器(晶片/電路)、模型自動訓練軟體(程式)、或其組合等。容器合成模組8可為容器合成器(晶片/電路)、容器合成軟體(程式)、或其組合等。模型執行模組13可為模型執行器(晶片/電路)、模型執行軟體(程式)、或其組合等。模型重新訓練評估模組17可為模型重新訓練評估器(晶片/電路)、模型重新訓練評估軟體(程式)、或其組合等。

模型服務問題解析模組2可解析服務問題或讀入服務需求1，以依據服務問題或服務需求1查詢模型字典3而取得參考資訊，再由模型服務問題解析模組2依據參考資訊提供(產出)至少一(如多個)容器合成範本4與至少一(如多個)模型自動訓練設定資訊5。模型自動訓練模組6可讀入來自模型服務問題解析模組2之模型自動訓練設定資訊5，以由模型自動訓練模組6透過自動機器學習(AutoML)技術依據模型自動訓練設定資訊5執行模型自動訓練而產出模型和前後處理程序7。

容器合成模組8可讀入來自模型服務問題解析模組2之容器合成範本4與來自模型自動訓練模組6之模型和前後處理程序7，以由容器合成模組8依據容器合成範本4與模型和前後處理程序7從容器合成套件庫9中取出相關聯之套件，再由容器合成模組8利用套件產出模型容器10'之容器映像檔10與容器部署資料11，且容器部署資料11可包括所有容器映像檔10或模型容器10'之識別碼(ID)與版本之資訊。

如圖1與圖2所示，容器合成模組8可執行至少一(如多個)容器映像檔10以產生由軟體所組成之至少一(如多個)模型容器10'，且容 器映像檔10或模型容器10'可包括一協調容器A、至少一程序容器與一模型推論容器C等三類。例如，程序容器可包括第一程序容器B及/或第二程序容器D，且第一程序容器B與第二程序容器D可為同一程序容器或二個不同的程序容器。

模型容器庫12可儲存容器合成模組8所產出之模型容器10'之容器映像檔10。模型執行模組13可讀入來自容器合成模組8之容器部署資料11，以由模型執行模組13依據容器部署資料11中之容器映像檔10(模型容器10')之識別碼，將所有容器映像檔10(模型容器10')部署至容器執行環境E中執行。又，模型執行模組13可註冊對外部G(即以容器部署運行自動機器學習模型之系統20之外部)之服務介面F或應用程式介面(Application Programming Interface；API)，以由模型執行模組13將容器映像檔10或模型容器10'之協調容器A中每筆結果(包括模型識別碼、原始輸入與輸出結果)記錄成推論結果14，再將推論結果14儲存至資料集儲存庫15中。

模型重新訓練評估模組17可定期至資料集儲存庫15中讀取推論結果14以分析(計算)模型服務之模型推論評估資料16，再依據模型推論評估資料16之趨勢決定是否需重新訓練模型。若需重新訓練模型，則模型重新訓練評估模組17可觸發或通知型自動訓練模組6，以由模型自動訓練模組6使用原有之模型自動訓練設定資訊5重新訓練模型而產生新的模型。

因此，本發明能融合容器化(Container)技術與自動機器學習(AutoML)技術，或者提供彈性化之合成、部署與運行機制。而且，本發明 能將不同開發框架、不同學習演算法技術、不同問題類別包裝成容器(如模型容器10')，透過分配自動訓練參數空間進行自動機器學習技術之訓練以取得一個最合適(最好)的模型(如人工智慧模型)，亦能定時檢查模型之品質，還能自動重新訓練模型。同時，本發明可以只提供宣告式之服務需求1，或者可以不必實際執行資料科學家需要不斷重複之訓練流程，便能產出相對應之模型(如人工智慧模型)與隨時保持模型之品質，快速發展有機器學習智慧之即時應用。

例如，不同開發框架可包括Theano、Tensorflow、MXNet、Keras、PyTorch、快速特徵嵌入之卷積結構(Convolutional Architecture for Fast Feature Embedding；CAFFE)、認知工具集(CogNitive ToolKit；CNTK)等開發框架，其中，Theano、Tensorflow、MXNet、Keras、PyTorch通常使用原文或英文，而不使用中文或無中文之翻譯。不同學習演算法技術可包括卷積神經網路(Convolutional Neural Network；CNN)、循環神經網路(Recurrent Neural Network；RNN)、強化學習(Reinforcement Learning；RL)、生成對抗網路(Generative Adversarial Network；GAN)等，不同問題類別可包括迴歸、分類、分群、圖像識別、自然文字處理等。

圖3為本發明之以容器部署運行自動機器學習模型之方法的流程示意圖，圖4為本發明之以容器部署運行自動機器學習模型之方法中關於圖3之步驟S6之詳細執行流程的流程示意圖，並參閱圖1至圖2予以說明。同時，以容器部署運行自動機器學習模型之方法的主要內容如下，其餘內容相同於上述圖1至圖2之說明，於此不再重覆敘述。

在圖3之步驟S1中，由模型服務問題解析模組2解析服務 問題以產出模型服務所需之設定資料(如模型自動訓練設定資訊5)。亦即，模型服務問題解析模組2可讀入服務需求1以獲得對服務問題、輸入資料、輸出資料與模型訓練限制之宣告，且依據服務需求1使用模型字典3之資訊以產出解決此類服務問題之模型自動訓練設定資訊5。此模型字典3或模型自動訓練設定資訊5包括用以解決各種服務問題之訓練框架、演算法、超參數優化方法、搜尋空間、搜尋方法或效能評估方法等資訊，且演算法之資訊包括相對應之特徵資料前處理方式與產出資料種類等資訊。

在圖3之步驟S2中，由模型自動訓練模組6執行模型自動訓練以選出最適合之模型和前後處理程序7。亦即，模型自動訓練模組6可從資料集儲存庫15中取得訓練資料，且透過自動機器學習技術依據來自模型服務問題解析模組2之模型自動訓練設定資訊5搭配不同訓練框架、不同演算法或不同超參數(自動)訓練出多個模型(如不同的模型)，再由模型自動訓練模組6使用效能評估方法依據多個模型挑選出最適合之模型和前後處理程序7。

上述模型自動訓練模組6除可採用預設(Default)之隨機搜尋(Random Search)外，亦可採用例如貝葉斯優化(Bayesian Optimization)、神經網路結構搜尋(Neural Architecture Search；NAS)、退火調諧(Anneal Tuner)、序列模型演算法配置(Sequential Model-based Algorithm Configuration；SMAC)、或樹狀結構Parzen估計(Tree-structured Parzen Estimator；TPE)等技術，以執行模型自動訓練或其超參數調優方法而訓練出最適合之模型。但是，本發明並不以此為限，只要利用相同或類似本發明之系統或方法以自動化產生、重新訓練或更新模型，或透過協調容器A 執行模型服務與彈性變更之方法，皆未脫離本發明之技藝精神，亦應視為等效實施。

在圖3之步驟S3中，由容器合成模組8產生所需之容器映像檔10(模型容器10')與容器部署資料11。亦即，模型自動訓練模組6可觸發或呼叫容器合成模組8，以由容器合成模組8依據來自模型自動訓練模組6之最適合之模型和前後處理程序7與來自模型服務問題解析模組2之容器合成範本4，從容器合成套件庫9中取出所需之套件以產生至少一(如多個)容器映像檔10。接著，提供每個容器映像檔10一個標籤(如服務標籤)、版號與唯一的識別碼，這些模型容器10'都可使用相同的輸出入介面規格，且容器合成模組8也能產生要部署這些容器映像檔10之容器部署資料11。例如，容器合成模組8可利用容器合成範本4合成出服務需求1所需之所有容器映像檔10，且容器映像檔10(模型容器10')可包括一協調容器A、至少一程序容器(如第一程序容器B、第二程序容器D)與一模型推論容器C。

在上述步驟S2與步驟S3中，本發明利用自動機器學習技術與容器技術之優點，將不同技術的模型推論與資料處理均封裝在獨立之模型容器10'中。例如，本發明可以使相關人員不需要熟悉各種訓練框架技術，只需熟悉應用間題之類別、輸入資料與輸出資料之規格，便能完成一個模型(如人工智慧模型)，有利於改善傳統習知之人工智慧技術之高門檻與不同訓練框架技術之相容性的問題。

在圖3之步驟S4中，由容器合成模組8將所產出之容器映像檔10儲存至模型容器庫12。亦即，容器合成模組8可將上述步驟S3中 容器合成模組8所產出之所有模型容器10'(如協調容器A、第一程序容器B、模型推論容器C、第二程序容器D)之容器映像檔10儲存至模型容器庫12中。

在圖3之步驟S5中，由模型執行模組13依據容器部署資料11取出容器映像檔10(模型容器10')予以執行，且註冊對外部G之服務介面F或應用程式介面(API)。亦即，模型執行模組13可接收來自容器合成模組8之容器部署資料11，再依據容器部署資料11將實際服務要使用之容器映像檔10從模型容器庫12中依序取出以部署至容器執行環境E中執行，且容器執行環境E可建置在雲端環境或邊緣端環境。又，模型執行模組13在容器執行環境E中註冊一個可對外部G提供服務之服務介面F，此服務介面F通常是一些應用程式介面(API)，能讓外部之應用服務透過服務介面F或應用程式介面(API)進行即時呼叫以取得資料來做出有智慧的回應。

在圖3之步驟S6中，由模型執行模組13透過協調容器A完成模型服務，以將推論結果14儲存至資料集儲存庫15。此模型服務之運行最重要的是透過協調容器A，且協調容器A之最主要功能為即時協調執行不同的程序容器(如第一程序容器B、第二程序容器D)與模型推論容器C以達到模型服務應用之目的。同時，此圖3之步驟S6之詳細執行流程可參閱下列圖4之步驟S61至步驟S64之說明。

在圖4之步驟S61中，協調容器A取得輸入資料，以呼叫程序容器(如第一程序容器B)對輸入資料進行前處理而產生第一程序處理後資料。例如，程序容器可包括第一程序容器B及/或第二程序容器D，且 第一程序容器B與第二程序容器D可為同一程序容器或二個不同的程序容器。

在圖4之步驟S62中，協調容器A取得來自程序容器(如第一程序容器B)之第一程序處理後資料，以呼叫模型推論容器C對第一程序處理後資料進行模型推論而產生推論資料。

在圖4之步驟S63中，協調容器A取得來自模型推論容器C之推論資料，以呼叫程序容器(如第二程序容器D)對推論資料進行後處理而產生第二程序處理後資料。

在圖4之步驟S64中，協調容器A取得來自程序容器(如第二程序容器D)之第二程序處理後資料以回覆輸出資料，且記錄輸入資料與輸出入資料。

舉例而言，以一個回答「馬達是否故障」之問題的案例來說明。在圖4之步驟S5中，模型執行模組13可執行容器映像檔10所產生之四個模型容器10'，例如協調容器A、第一程序容器B(如前處理)、模型推論容器C(如羅吉斯迴歸模型)、第二程序容器D(如後處理)。協調容器A可透過服務介面F或應用程式介面(API)接收一組馬達轉速、電壓、電流、某一振動頻率大小等多個馬達原始資料之輸入資料，以由協調容器A依序管控：[1]呼叫程序容器(如第一程序容器B)以對輸入資料進行前處理而產生第一程序處理後資料，例如將輸入資料轉換成模型輸入矩陣，請見步驟S61；[2]呼叫模型推論容器C以對第一程序處理後資料進行模型推論而產生推論資料，例如透過矩陣輸入模型運算出一個0至1之機率值或機率資料，請見步驟S62；[3]呼叫程序容器(如第二程序容器D)以對推論資料進 行後處理而產生第二程序處理後資料，例如將0至1之機率值或機率資料轉換成答案「是」或「否」，請見步驟S63；以及[4]取得來自程序容器(如第二程序容器D)之第二程序處理後資料以回覆輸出資料，例如將答案「是」或「否」透過同一服務介面F或應用程式介面API傳回給應用程式以完成即時模型服務，請見步驟S64。

上述步驟S61至步驟S64中，模型執行模組13可利用模型容器10'中一個特有的協調容器A來即時協調程序容器(如第一程序容器B、第二程序容器D)與模型推論容器C之執行流程以完成一個模型服務，且執行流程中各個模型容器10'(如協調容器A、第一程序容器B、模型推論容器C、第二程序容器D)均能快速因應服務需求以更新版本，有利於實現敏捷應用機器學習技術以建立即時模型服務之基礎，亦能大幅縮短人工智慧應用產品之開發週期，也能改善傳統習知之機器學習模型不易自動整合部署之缺點。

在圖3之步驟S7中，由模型重新訓練評估模組17定期分析(計算)模型推論評估資料16，以判斷是否需重新訓練模型。亦即，模型重新訓練評估模組17可定期至資料集儲存庫15中讀取推論結果14以分析(計算)模型服務之模型推論評估資料16，再依據模型推論評估資料16之歷史資料趨勢決定是否需重新訓練模型。若需重新訓練模型，則模型重新訓練評估模組17可觸發或通知模型自動訓練模組6，以由模型自動訓練模組6使用原有之模型自動訓練設定資訊5重新訓練模型而產生新的模型，且對協調容器A、程序容器(如第一程序容器B、第二程序容器D)與模型推論容器C進行更新版本。

因此，本發明能將模型(如人工智慧模型)運行之生命週期放進「自動化」之循環流程中，模型之準確度下降即會觸發以最新資料重新訓練模型，讓模型持續保持最佳化，此為本發明相較於習知技術之優異處。同時，本發明之模型服務係以容器部署，故能快速部署新版服務而無縫接軌，亦能改善習知技術因人工智慧模型須等待資料科學家之人工介入而無法自動持續重新訓練，以致造成模型服務應用之版本更新緩慢之缺點。

舉例而言，以一個在機器學習中之經典案例來說明建立、部署、運行及持續維護人工智慧的方法。在安德森鳶尾花卉(Anderson's Iris)之資料集(data set)中，鳶尾花是一種植物，此資料集包括150個樣本且預先儲存至資料集儲存庫15中，預測模型需要透過花萼長度、花萼寬度、花瓣長度與花瓣寬度等4個屬性(2個花瓣和2個萼片)之測量，以分辨鳶尾花卉是屬於山鳶尾(Iris setosa)、變色鳶尾(Iris versicolor)或維吉尼亞鳶尾(Iris virginica)。

首先，在服務需求1中宣告服務名稱(如IrisClassify)、問題類別(如分類問題)、輸入資料之位置與格式(如花萼長度、花萼寬度、花瓣長度、花瓣寬度等4個數值)、輸出資料(如0：山鳶尾、2：變色鳶尾、3：維吉尼亞鳶尾)、模型訓練限制(如訓練測試比為8：2、最大訓練時間為20分鐘)。

假設模型字典3中只有Tensorflow之深度神經網路分類(DNNClassifier)與Scikit Learn之決策樹分類(DecisionTreeClassifier)二種「分類」訓練框架演算法之資料，將服務需求1輸入至模型服務問題解析模組2後會得到2個輸出，且此2個輸出包括4個容器合成範本4與1 個模型自動訓練設定資訊5。4個容器合成範本4分別為協調容器範本(如IrisClassify_Orchestrator)、第一程序容器範本(如IrisClassify_Preprocess1)、模型推論容器範本(如IrisClassify_Inference1)、第二程序容器範本(如IrisClassify_Postprocess1)，而協調容器範本之執行流程為：輸入(Input)→第一程序容器B(如IrisClassify_Preprocess1)→模型推論容器C(如IrisClassify_Inference1)→第二程序容器D(如IrisClassify_Postprocess1)→輸出(Output)。模型自動訓練設定資訊5中可設定執行二種分類模型訓練，如Tensorflow之深度神經網路分類(DNNClassifier)與Scikit Learn之決策樹分類(DecisionTreeClassifier)。預設(Default)之搜尋策略為隨機(Random)，預設(Default)之批大小(Batch Size)空間為[4,8,16,32,64,128,256]，預設(Default)之學習率(Learning Rate)空間為10^-9至10^-1，評估指標為正確率。

例如，模型自動訓練模組6可依據模型自動訓練設定資訊5產生1個Scikit Learn之決策樹分類(DecisionTreeClassifier)訓練與10個從超參數搜尋空間中隨機取得之超參數輸入Tensorflow的深度神經網路分類(DNNClassifier)訓練共11個訓練實驗。深度神經網路分類(DNNClassifier)訓練皆含有3個隱藏層，第1個隱藏層與第2個隱藏層含有10個隱藏神經元，第3個隱藏層含有20個隱藏神經元，執行訓練總步數為2000，使用之資料集都是相同的訓練資料集與測試資料集(如訓練資料集與測試資料集之比例為8：2)。每個不同演算法、不同參數之訓練實驗都會傳回一個模型評估值(如正確率)，模型自動訓練模組6可依序比較訓練結果以選出一個最合適(最好)的模型(如人工智慧模型)。

假設此次訓練由某一深度神經網路分類(DNNClassifier)獲勝(如正確率達96.6667%)，模型自動訓練模組6最後產出此1個模型(如使用之原生tensorflow模型格式之儲存模型(SavedModel)，包括權重(weights)、計算值(computation))、1個前處理程序與1個後處理程序，容器合成模組8收到這3個資料(如1個模型、1個前處理程序與1個後處理程序)後，可將這3個資料分別對應至3個容器合成範本，且3個容器合成範本包括模型推論容器範本(如IrisClassify_Inference1)、第一程序容器範本(如IrisClassify_Preprocess1)、第二程序容器範本(如IrisClassify_Postprocess1)，以將這3個資料與3個容器合成範本組合成容器腳本。接著，容器合成模組8可產生3個模型容器10'以標記為(標籤，版本，識別碼)，即分別為模型推論容器C(如IrisClassify_Inference1,v1,5a462e7f-c407-42f4-ae0c-1177ddddb5b5)、第一程序容器B(如IrisClassify_Preprocess1,v1,516d111a-43bc-4e9a-8eee-637c97be37db)、第二程序容器D(如IrisClassify_Postprocess1,v1,2d188c64-5537-4c29-83bf-f041c841f251)，且模型推論容器C中之原生推論套件與前後處理套件皆可透過容器合成套件庫9取得。

然後，容器合成模組8可將模型容器10'之標籤(如服務標籤)、版號與唯一的識別碼套到協調容器範本中以產生協調容器A(如IrisClassify_Orchestrator,v1,373632B-e4b5-4c51-a1f5-c1ddbD3829b)，且協調容器A之協調程序可包括：[1]由協調容器A接收來自服務介面F或應用程式介面(API)之資料；[2]由協調容器A依據來自服務介面F或應用程式介面(API)之資料呼叫第一程序容器B(如516d111a-43bc-4e9a- 8eee-637c97be37db之程序容器)，以由第一程序容器B依據來自服務介面F或應用程式介面(API)之資料輸出符合範圍之輸入資料；[3]由協調容器A呼叫模型推論容器C(如5a462e7f-c407-42f4-ae0c-1177ddddb5b5之模型推論容器)，以由模型推論容器C依據所輸入之符合範圍之輸入資料輸出多個(如3個)機率值；[4]由協調容器A呼叫第二程序容器D(如2d188c64-5537-4c29-83bf-f041c841f251之程序容器)，以由第二程序容器D依據所輸入之多個(如3個)機率值產生輸出結果(即輸出資料)；[5]由協調容器A透過服務介面F或應用程式介面(API)回覆此輸出結果(即輸出資料)。

然後，容器合成模組8可產生多個(如4個)模型容器10'之容器部署資料11(如部署檔；docker-compose.yml)，且將所有產生之模型容器10'儲存至模型容器庫12中。模型執行模組13可依據容器合成模組8所產生之容器部署資料11(如部署檔)，將協調容器A、第一程序容器B、模型推論容器C(如DNNClassifier之模型推論容器)、第二程序容器D等模型容器10'部署至容器執行環境E中執行，且註冊協調容器A之服務介面F或應用程式介面(API)作為外部G之應用程式之呼叫介面或溝通介面，俾完成提供模型服務(如IrisClassify之模型服務)之程序，且應用程式只要傳送多個(如四個)數值之參數至即時之服務介面F或應用程式介面(API)，便能得到多個不同的分類結果(如0、1或2)。

在本實施例中，顯示充分利用自動機器學習技術與容器技術之優點，讓不同技術的模型推論與資料處理均封裝在獨立之模型容器10'中，只需熟悉應用問題之類別與輸入資料、輸出資料的規格便能完成一個模型(如人工智慧模型)，可以不需要去精通各種訓練框架技術等高門檻之 人工智慧技術。

另外，協調容器A在每次執行後，可將輸入資料與推論結果14透過模型執行模組13儲存至資料集儲存庫15中，在經過一段時間後，可能鳶尾花之生長環境發生變化而產生突變，使得分類結果產生變化。模型重新訓練評估模組17可利用資料集儲存庫15從經長期計算之模型推論評估資料16之歷史資料中分析出現有之模型之正確率已呈現逐漸下滑趨勢，需要再重新訓練模型以維持模型之正確率，故模型重新訓練評估模組17可觸發模型自動訓練模組6以重新訓練模型，且模型自動訓練模組6可使用相同的模型自動訓練設定資訊5以重新執行上述模型訓練過程。

假設這次重新訓練Scikit Learn之決策樹分類(DecisionTreeClassifier)模型而獲得最好的正確率，決策樹分類(DecisionTreeClassifier)之輸出即為分類結果，故這次容器合成模組8只會產生3個模型容器10'，分別為協調容器A(如IrisClassify_Orchestrator,v2,66daff25-6827-40f9-8eab-016954b70127)、第一程序容器B(如IrisClassify_Preprocess1,v2,5561d98c-d46d-4bbf-9732-68bf52775ddd)、模型推論容器C(如IrisClassify_Inference1,v2,7f697cce-65c1-4694-a3c6-6d74ff85b9e1)，且協調容器A之協調程序會變成：[1]由協調容器A接收來自服務介面F或應用程式介面(API)之資料；[2]由協調容器A依據來自服務介面F或應用程式介面(API)之資料呼叫第一程序容器B(如5561d98c-d46d-4bbf-9732-68bf52775ddd之程序容器)，以由第一程序容器B依據來自服務介面F或應用程式介面(API)之資料輸出符合範圍之輸入資料；[3]由協調容器A呼叫模型推論容器C(如7f697cce-65c1-4694- a3c6-6d74ff85b9e1之模型推論容器)，以由模型推論容器C依據所輸入之符合範圍之輸入資料產生輸出結果；[4]由協調容器A透過服務介面F或應用程式介面(API)回覆此輸出結果(即輸出資料)。

上述係以Tensorflow之深度神經網路分類(DNNClassifier)與Scikit Learn之決策樹分類(DecisionTreeClassifier)二種模型訓練為例，用以說明「分類問題」之模型服務，解決分類問題可以是不同框架(如開發框架/訓練框架)、不同演算法，例如使用Scikit Learn之k-平均(k-means)分群演算法，甚至由資料科學家採用統計分析之方法(如各式檢定、迴歸分析)與R語言來實作鳶尾花之分類訓練亦可。

因此，本發明之模型服務可全部以容器部署，並利用模型容器10'中之協調容器A以即時協調程序容器(如第一程序容器B、第二程序容器D)與模型推論容器C之執行流程(步驟)，故能改善習知技術之機器學習模型不易自動整合部署之缺點。又，本發明之各個模型容器10'(如協調容器A、第一程序容器B、模型推論容器C、第二程序容器D)均能因應服務需求快速更新版本、快速部署新版服務、無縫接軌，以大幅縮短人工智慧應用產品之開發週期，亦無習知技術須等待資料科學家之人工介入而造成模型服務之版本更新緩慢之缺點。

另外，本發明還提供一種用於以容器部署運行自動機器學習模型之方法之電腦可讀媒介，係應用於具有處理器及/或記憶體的計算裝置或電腦中，且儲存有指令，並可利用計算裝置或電腦透過處理器及/或記憶體執行電腦可讀媒介，以於執行電腦可讀媒介時執行上述內容。例如，處理器可為微處理器、中央處理單元(CPU)、圖形處理器(GPU)等，記憶體可 為暫存器、隨機存取記憶體(RAM)、快閃記憶體(flash)、記憶卡、硬碟(如雲端/網路硬碟)等，但不以此為限。

綜上，本發明之以容器部署運行自動機器學習模型之系統、方法及電腦可讀媒介至少具有下列特色、優點或技術功效。

一、本發明能融合容器化(Container)技術與自動機器學習(AutoML)技術，或者提供彈性化之合成、部署與運行機制，例如可以不用撰寫程式碼便能自動生成專屬之模型(如人工智慧模型或AI模型)，亦能自動快速部署與持續更新版本，也能快速發展有機器學習智慧之即時應用。

二、本發明採用容器化架構，且容器合成模組可將模型推論之流程、資料處理之流程、或自動機器學習之模型訓練包裝成容器(如模型容器)，以將模型容器部署至容器執行環境中執行。

三、本發明能將不同開發框架、不同學習演算法技術、不同問題類別包裝成容器(如模型容器)，透過分配自動訓練參數空間進行自動機器學習技術之訓練以取得一個最合適(最好)的模型(如人工智慧模型)，也能定時檢查模型之品質，還能自動重新訓練模型。

四、本發明可以只提供宣告式之服務需求，或者可以不必實際執行資料科學家需要不斷重複之訓練流程，便能產出相對應之模型(如人工智慧模型)與隨時保持模型之品質。

五、本發明能利用自動機器學習技術與容器技術之優點，以利將不同技術的模型推論與資料處理均封裝在獨立之模型容器中。

六、本發明可以使相關人員不需要熟悉各種訓練框架技術，只需熟悉應用問題之類別、輸入資料與輸出資料之規格，便能完成一個模 型(如人工智慧模型)，有利於改善傳統習知之人工智慧技術之高門檻與不同訓練框架技術之相容性的問題。

七、本發明之模型執行模組可利用協調容器來即時協調程序容器與模型推論容器之執行流程以完成模型服務，且執行流程中各個模型容器均能快速因應服務需求以更新版本，有利於實現敏捷應用機器學習技術以建立即時模型服務之基礎，亦能大幅縮短人工智慧應用產品之開發週期，也能改善傳統習知之機器學習模型不易自動整合部署之缺點。

八、本發明能將模型(如人工智慧模型)運行之生命週期放進「自動化」之循環流程中，模型之準確度下降即會觸發以最新資料重新訓練模型，讓模型持續保持最佳化，此為本發明相較於習知技術之優異處。

九、本發明之各個模型容器(如協調容器、程序容器、模型推論容器)均能因應服務需求快速更新版本、快速部署新版服務、無縫接軌，以大幅縮短人工智慧應用產品之開發週期，亦無習知技術須等待資料科學家之人工介入而造成模型服務之版本更新緩慢之缺點。

上述實施形態僅例示性說明本發明之原理、特點及其功效，並非用以限制本發明之可實施範疇，任何熟習此項技藝之人士均能在不違背本發明之精神及範疇下，對上述實施形態進行修飾與改變。任何使用本發明所揭示內容而完成之等效改變及修飾，均仍應為申請專利範圍所涵蓋。因此，本發明之權利保護範圍應如申請專利範圍所列。

1:服務需求

2:模型服務問題解析模組

3:模型字典

4:容器合成範本

5:模型自動訓練設定資訊

6:模型自動訓練模組

7:模型和前後處理程序

8:容器合成模組

9:容器合成套件庫

10:容器映像檔

11:容器部署資料

12:模型容器庫

13:模型執行模組

14:推論結果

15:資料集儲存庫

16:模型推論評估資料

17:模型重新訓練評估模組

20:以容器部署運行自動機器學習模型之系統

Claims (19)

1. 一種以容器部署運行自動機器學習模型之系統，包括：一模型服務問題解析模組，係解析服務問題或讀入服務需求以提供容器合成範本與模型自動訓練設定資訊；一模型自動訓練模組，係讀入來自該模型服務問題解析模組之模型自動訓練設定資訊，以由該模型自動訓練模組透過自動機器學習技術依據該模型自動訓練設定資訊執行模型自動訓練而產出模型和前後處理程序；一容器合成模組，係讀入來自該模型服務問題解析模組之容器合成範本與來自該模型自動訓練模組之模型和前後處理程序，以由該容器合成模組依據來自該模型服務問題解析模組之容器合成範本與來自該模型自動訓練模組之模型和前後處理程序從容器合成套件庫中取出相關聯之套件，再由該容器合成模組利用從該容器合成套件庫中所取出之該套件產出模型容器之容器映像檔、以及包括該模型容器之識別碼之容器部署資料；以及一模型執行模組，係讀入該容器合成模組利用從該容器合成套件庫中所取出之該套件而產出之包括該模型容器之識別碼之容器部署資料，以由該模型執行模組依據該容器部署資料中之該模型容器之識別碼將該模型容器部署至容器執行環境中執行。
2. 如請求項1所述之系統，其中，該模型服務問題解析模組係解析該服務問題或讀入該服務需求，以依據該服務問題或該服務需求查詢模型字典而取得參考資訊，再由該模型服務問題解析模組依據該參考資訊提供該容器合成範本與該模型自動訓練設定資訊。
3. 如請求項1所述之系統，其中，該模型服務問題解析模組係讀入該服務需求以獲得對該服務問題、輸入資料、輸出資料與模型訓練 限制之宣告，且依據該服務需求使用模型字典之資訊以產出解決該服務問題之該模型自動訓練設定資訊，該模型字典或該模型自動訓練設定資訊包括用以解決該服務問題之訓練框架、演算法、超參數優化方法、搜尋空間、搜尋方法或效能評估方法。
4. 如請求項1所述之系統，其中，該模型自動訓練模組更採用隨機搜尋、貝葉斯(Bayesian)優化、神經網路結構搜尋(NAS)、退火調諧(Anneal Tuner)、序列模型演算法配置(SMAC)或樹狀結構Parzen估計(TPE)之技術，以執行該模型自動訓練或超參數調優方法而訓練出最適合之模型。
5. 如請求項1所述之系統，其中，該模型執行模組更依據該容器合成模組所產生之該容器部署資料將該模型容器之協調容器、程序容器或模型推論容器部署至該容器執行環境中執行，且該模型執行模組註冊該協調容器之服務介面或應用程式介面(API)作為外部之應用程式之呼叫介面或溝通介面。
6. 如請求項1所述之系統，其中，該模型執行模組更利用該模型容器中之協調容器來即時協調程序容器與模型推論容器之執行流程以完成模型服務，且因應該服務需求以更新該協調容器、程序容器或模型推論容器之版本。
7. 如請求項1所述之系統，更包括一模型容器庫，係儲存該容器合成模組所產出之該模型容器之容器映像檔，且該模型容器包括協調容器、程序容器或模型推論容器。
8. 如請求項1所述之系統，更包括一資料集儲存庫，且該模型執行模組將該模型容器之協調容器中每筆結果記錄成推論結果，以將該推論結果儲存至該資料集儲存庫中，其中，該模型自動訓練模組從該資料 集儲存庫中取得訓練資料，且透過該自動機器學習技術依據來自該模型服務問題解析模組之模型自動訓練設定資訊搭配不同訓練框架、不同演算法或不同超參數訓練出多個模型，再由該模型自動訓練模組使用效能評估方法依據該多個模型挑選出最適合之模型和前後處理程序。
9. 如請求項1所述之系統，更包括一資料集儲存庫與一模型重新訓練評估模組，其中，該模型重新訓練評估模組係定期至該資料集儲存庫中讀取推論結果以分析模型推論評估資料，再依據該模型推論評估資料之趨勢決定是否需重新訓練模型，若需重新訓練該模型，則該模型重新訓練評估模組觸發或通知該模型自動訓練模組，以由該模型自動訓練模組使用該模型自動訓練設定資訊重新訓練該模型而產生新的模型。
10. 一種以容器部署運行自動機器學習模型之方法，包括：由一模型服務問題解析模組解析服務問題或讀入服務需求以提供容器合成範本與模型自動訓練設定資訊；由一模型自動訓練模組讀入來自該模型服務問題解析模組之模型自動訓練設定資訊，以由該模型自動訓練模組透過自動機器學習技術依據該模型自動訓練設定資訊執行模型自動訓練而產出模型和前後處理程序；由一容器合成模組讀入來自該模型服務問題解析模組之容器合成範本與來自該模型自動訓練模組之模型和前後處理程序，以由該容器合成模組依據來自該模型服務問題解析模組之容器合成範本與來自該模型自動訓練模組之模型和前後處理程序從容器合成套件庫中取出相關聯之套件，再由該容器合成模組利用從該容器合成套件庫中所取出之該套件產出模型容器之容器映像檔、以及包括該模型容器之識別碼之容器部署資料；以及由一模型執行模組讀入該容器合成模組利用從該容器合成套件庫中所取出之該套件而產出之包括該模型容器之識別碼之容器部署資料，以由該 模型執行模組依據該容器部署資料中之該模型容器之識別碼將該模型容器之容器映像檔部署至容器執行環境中執行。
11. 如請求項10所述之方法，更包括由該模型服務問題解析模組解析該服務問題或讀入該服務需求，以依據該服務問題或該服務需求查詢模型字典而取得參考資訊，再由該模型服務問題解析模組依據該參考資訊提供該容器合成範本與該模型自動訓練設定資訊。
12. 如請求項10所述之方法，更包括由該模型服務問題解析模組讀入該服務需求以獲得對該服務問題、輸入資料、輸出資料與模型訓練限制之宣告，且依據該服務需求使用模型字典之資訊以產出解決該服務問題之該模型自動訓練設定資訊，其中，該模型字典或該模型自動訓練設定資訊包括用以解決該服務問題之訓練框架、演算法、超參數優化方法、搜尋空間、搜尋方法或效能評估方法。
13. 如請求項10所述之方法，更包括由該模型自動訓練模組採用隨機搜尋、貝葉斯(Bayesian)優化、神經網路結構搜尋(NAS)、退火調諧(Anneal Tuner)、序列模型演算法配置(SMAC)或樹狀結構Parzen估計(TPE)之技術，以執行該模型自動訓練或超參數調優方法而訓練出最適合之模型。
14. 如請求項10所述之方法，更包括由該模型執行模組依據該容器合成模組所產生之該容器部署資料將該模型容器之協調容器、程序容器或模型推論容器部署至該容器執行環境中執行，且該模型執行模組註冊該協調容器之服務介面或應用程式介面(API)作為外部之應用程式之呼叫介面或溝通介面。
15. 如請求項10所述之方法，更包括由該模型執行模組利用該模型容器中之協調容器來即時協調程序容器與模型推論容器之執行流程 以完成模型服務，且因應該服務需求以更新該協調容器、程序容器或模型推論容器之版本。
16. 如請求項10所述之方法，更包括由一模型容器庫儲存該容器合成模組所產出之該模型容器之容器映像檔，且該模型容器包括協調容器、程序容器或模型推論容器。
17. 如請求項10所述之方法，更包括由該模型執行模組將該模型容器之協調容器中每筆結果記錄成推論結果，以將該推論結果儲存至該資料集儲存庫中，其中，該模型自動訓練模組從該資料集儲存庫中取得訓練資料，且透過該自動機器學習技術依據來自該模型服務問題解析模組之模型自動訓練設定資訊搭配不同訓練框架、不同演算法或不同超參數訓練出多個模型，再由該模型自動訓練模組使用效能評估方法依據該多個模型挑選出最適合之模型和前後處理程序。
18. 如請求項10所述之方法，更包括由一模型重新訓練評估模組定期至資料集儲存庫中讀取推論結果以分析模型推論評估資料，再依據該模型推論評估資料之趨勢決定是否需重新訓練模型，若需重新訓練該模型，則該模型重新訓練評估模組觸發或通知該模型自動訓練模組，以由該模型自動訓練模組使用該模型自動訓練設定資訊重新訓練該模型而產生新的模型。
19. 一種電腦可讀媒介，應用於計算裝置或電腦中，係儲存有指令，以執行如請求項10至18之任一者所述之以容器部署運行自動機器學習模型之方法。

Images