TW202312042A - 診斷模型的自動優化方法及自動優化系統 - Google Patents

診斷模型的自動優化方法及自動優化系統 Download PDF

Info

Publication number
TW202312042A
TW202312042A TW110132950A TW110132950A TW202312042A TW 202312042 A TW202312042 A TW 202312042A TW 110132950 A TW110132950 A TW 110132950A TW 110132950 A TW110132950 A TW 110132950A TW 202312042 A TW202312042 A TW 202312042A
Authority
TW
Taiwan
Prior art keywords
gene sequence
training
gene
computing
sequence set
Prior art date
Application number
TW110132950A
Other languages
English (en)
Inventor
賴奇易
陳承輝
王孝裕
洪懷哲
Original Assignee
財團法人資訊工業策進會
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人資訊工業策進會 filed Critical 財團法人資訊工業策進會
Priority to TW110132950A priority Critical patent/TW202312042A/zh
Priority to US17/506,798 priority patent/US20230076967A1/en
Priority to CN202210690076.6A priority patent/CN115775037A/zh
Publication of TW202312042A publication Critical patent/TW202312042A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/12—Computing arrangements based on biological models using genetic models
    • G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
    • G05B13/041—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators in which a variable is automatically adjusted to optimise the performance
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/086—Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Automation & Control Theory (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Genetics & Genomics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)

Abstract

提供一種診斷模型的自動優化方法及自動優化系統。方法包括：取得設備參數；選定目標模型；選擇超參數並轉換為基因序列，隨機生成多個待優化基因序列並加入基因序列集；執行基因演化流程，以產生多個子代基因序列；對該等子代基因序列執行區域搜尋流程以產生多個新子代基因序列並加入基因序列集。滿足演化完成條件時，將基因序列集作為最優基因序列集以配置目標模型並生成多個候選診斷模型。

Description

診斷模型的自動優化方法及自動優化系統
本發明涉及一種優化方法及優化系統，特別是涉及一種診斷模型的自動優化方法及自動優化系統。
隨著機器學習技術的發展，有越來越多類型的產業開始應用機器學習技術來取代人工，藉以加快工作進度並且節省人力成本。在建立應用人工智慧的診斷模型時，若要針對諸如壓鑄機的製造設備進行診斷，可使用振動訊號來診斷壓鑄機的健康狀態。
然而，建置診斷模型所需的資料前處理須通過具備高度專業經驗的設備技師與資料工程師互相合作方能達成，不僅費時，更需耗費額外的人力資源來針對診斷模型中的各種超參數進行調整。
再者，由於超參數的調整將需要大量運算資源，且現有的用於機台健康狀況的診斷模型並無同步評估運算成本的功能，而難以在資源有限的情況下，在建置診斷模型前預先進行成本評估。
本發明所要解決的技術問題在於，針對現有技術的不足提供一種可降低調參成本的診斷模型的自動優化方法及自動優化系統。
為了解決上述的技術問題，本發明所採用的其中一技術方案是提供一種診斷模型的自動優化方法，其包括：取得一目標設備的多個設備參數；從多個候選模型中選定將用於診斷該目標設備的運作狀態的一目標模型，其中，該目標模型具有多個超參數；從該等超參數中選擇至少一超參數並轉換為一基因序列；依據該至少一超參數及該基因序列，隨機生成多個待優化基因序列並加入一基因序列集；執行一基因演化流程，以該基因序列集配置該目標模型並進行訓練，依據訓練結果擇優交配以得到多個子代基因序列；針對該等子代基因序列中的每一個，執行一區域搜尋流程以找出多個鄰近解，並配置該目標模型以生成多個待搜尋模型並進行訓練，並擇優得到一新子代基因序列；將對該等子代基因序列執行該區域搜尋流程後分別產生的多個該新子代基因序列加入該基因序列集；對該基因序列集進行篩選以留下具有較高準確率的多個篩選後基因序列；判斷該基因序列集是否滿足一演化完成條件，並將滿足該演化完成條件的該基因序列集作為一最優基因序列集；以及以該最優基因序列集配置該目標模型以生成多個候選診斷模型。
為了解決上述的技術問題，本發明所採用的另外一技術方案是提供一種診斷模型的自動優化系統，其包括目標設備及計算裝置。目標設備經配置以產生多個設備參數。計算裝置包括處理器及儲存器，且該處理器經配置以取得該等設備參數，並儲存在該儲存器中。其中，該處理器經配置以：從該儲存器儲存的多個候選模型中選定將用於診斷該目標設備的運作狀態的一目標模型，其中，該目標模型具有多個超參數；從該等超參數中選擇至少一超參數並轉換為一基因序列；依據該至少一超參數及該基因序列，隨機生成多個待優化基因序列並加入一基因序列集，並儲存於該儲存器；執行一基因演化流程，以該基因序列集配置該目標模型並進行訓練，依據訓練結果擇優交配以得到多個子代基因序列；針對該等子代基因序列中的每一個，執行一區域搜尋流程以找出多個鄰近解，並配置該目標模型以生成多個待搜尋模型並進行訓練，並擇優得到一新子代基因序列；將對該等子代基因序列執行該區域搜尋流程後分別產生的多個該新子代基因序列加入該基因序列集；對該基因序列集進行篩選以留下具有較高準確率的多個篩選後基因序列；判斷該基因序列集是否滿足一演化完成條件，並將滿足該演化完成條件的該基因序列集作為一最優基因序列集，並儲存於該儲存器；以及以該最優基因序列集配置該目標模型以生成多個候選診斷模型，並儲存於該儲存器。
本發明的其中一有益效果在於，本發明所提供的診斷模型的自動優化系統及自動優化方法採用基因演化流程並搭配區域搜尋機制，可以自動化訓練人工智慧模型，不需花費大量人力及成本來針對所有超參數的所有可能組合進行測試及驗證，在資源有限的情況下取得最優超參數組合。此外，還能夠降低對於資料科學家的依賴，更可將節省的人力及成本用於進行資料內容洞察(Insights)。
再者，本發明所提供的診斷模型的自動優化系統及自動優化方法進一步生成效率前緣線，以根據運算成本以及記憶體限制，提供多種組合給予使用者參考，以輔助使用者依據其需求來選擇最適合的診斷模型，以在建置診斷模型前預先進行成本評估。
為使能更進一步瞭解本發明的特徵及技術內容，請參閱以下有關本發明的詳細說明與圖式，然而所提供的圖式僅用於提供參考與說明，並非用來對本發明加以限制。
以下是通過特定的具體實施例來說明本發明所公開有關“診斷模型的自動優化方法及自動優化系統”的實施方式，本領域技術人員可由本說明書所公開的內容瞭解本發明的優點與效果。本發明可通過其他不同的具體實施例加以施行或應用，本說明書中的各項細節也可基於不同觀點與應用，在不背離本發明的構思下進行各種修改與變更。另外，本發明的附圖僅為簡單示意說明，並非依實際尺寸的描繪，事先聲明。以下的實施方式將進一步詳細說明本發明的相關技術內容，但所公開的內容並非用以限制本發明的保護範圍。另外，本文中所使用的術語“或”，應視實際情況可能包括相關聯的列出項目中的任一個或者多個的組合。
[第一實施例]
圖1為本發明一實施例的自動優化系統的功能方塊圖。參閱圖1所示，本發明一實施例提供一種診斷模型的自動優化系統1，其包括目標設備10及計算裝置12。
目標設備10可例如為一製造設備，且經配置以產生多個設備參數100。目標設備10可與計算裝置12通訊連接，以將設備參數100通過多個設備訊號S1~Sn傳送給計算裝置12。設備訊號S1~Sn可通過支援各種通訊協定的介面傳送至計算裝置，例如支援開放平台通訊統一架構(open platform communications unified architecture, OPC UA)協定及/或Modbus協定的介面、或直接傳輸類比訊號。設備參數100可例如包括目標設備10運作時使用的多個參數，以目標設備10為壓鑄機來舉例，則該等設備參數100可例如包括油壓溫度、射出壓力、低速開度位置、高速開度位置以及震動訊號等。
進一步參考圖2，其為本發明一實施例的計算裝置的功能方塊圖。參閱圖2所示，計算裝置12可包括處理器120、儲存器122、網路單元124、儲存單元126、訊號擷取介面127及輸入輸出介面128。上述的元件可藉由例如，但不限於匯流排129與彼此進行通訊。
處理器120電性耦接於儲存器122，配置以自儲存器122存取電腦可讀取指令D1，以控制計算裝置12中的元件執行計算裝置12的功能。
儲存器122為可用以儲存資料的任何儲存裝置，可為例如，但不限於隨機存取記憶體(random access memory；RAM)、唯讀記憶體(read only memory；ROM)、快閃記憶體、硬碟或其他可用以儲存資料的儲存裝置。儲存器122經配置以至少儲存複數電腦可讀取指令D1、複數設備參數D2、複數候選模型D0、基因序列集D3、自動優化演算法A0、基因演算法A1及區域搜尋演算法A2。於一實施例中，儲存器122亦可用以儲存處理器120進行運算時產生的暫存資料。
網路單元124經配置以在處理器120的控制下進行網路的存取，且可例如與目標設備10進行通訊。可替代的，目標設備10亦可通過訊號擷取介面127與計算裝置12通訊連接，且訊號擷取介面127可例如支援前述的OPC UA協定、Modbus協定、或直接接收類比訊號，以接收該等設備訊號S1~Sn並取得該等設備參數100，並儲存在儲存器122中。
儲存單元126可例如為，但不限於磁碟或光碟，以在處理器120的控制下儲存資料或是指令。輸入輸出介面128為可由使用者操作以與處理器120通訊，進行資料的輸入與輸出。
圖3為本發明一實施例的診斷模型的自動優化方法的流程圖。圖3提供一種診斷模型的自動優化方法，其可應用於圖1所示的自動優化系統1中，或由其他硬體元件如資料庫、一般處理器、計算機、伺服器、或其他具特定邏輯電路的獨特硬體裝置或具特定功能的設備來實作，如將程式碼和處理器/晶片整合成獨特硬體。更詳細地說，自動優化方法可使用電腦程式實現，以控制自動優化裝置1的各元件。電腦程式可儲存於一非暫態電腦可讀取記錄媒體中，例如唯讀記憶體、快閃記憶體、軟碟、硬碟、光碟、隨身碟、磁帶、可由網路存取之資料庫或熟悉此技藝者可輕易思及具有相同功能之電腦可讀取記錄媒體。
參閱圖3所示，診斷模型的自動優化方法可包括在取得目標設備10的該等設備參數100後，配置處理器120執行自動優化演算法A0，以進行下列步驟：
步驟S30：從多個候選模型中選定將用於診斷目標設備的運作狀態的目標模型。該等候選模型D0可例如包括卷積神經網路(convolution neural network, CNN)模型、自動編碼器(Auto-Encoder)模型、隨機森林(Random Forest)模型及長短期記憶(Long Short-Term Memory, LSTM)模型，或其他可用於監控目標設備1以將其使用狀態進行行為過程分析並進行設備狀態診斷的人工智慧模型。
在上述的人工智慧模型中，均有多個超參數可在訓練過程中供使用者調參，以決定人工智慧模型的成長曲線。然而，現有的調參方式複雜且耗費人力，且過多的依賴於調參者的經驗。一般而言，常見的人工智慧模型所使用的，且目標模型亦會使用的超參數可例如包括：學習率(learning rate)、迭代(iteration)、丟棄(dropout)率、批次量(batch Size)、特徵選擇(feature selection)及激勵函數(activation function)等。而在步驟S305中，若目標函數被選擇為一CNN模型，則該等超參數更包括輸出尺寸(output size)、卷積核尺寸(kernel size)、步長(stride)、密集度(dense)、填充(padding)及池化(pooling)。換言之，不同的目標函數將會對應到不同的多個可選擇的超參數。
步驟S31：從該等超參數中選擇至少一超參數並轉換為基因序列。
可進一步參考圖4及圖5。圖4為本發明一實施例的將超參數轉換為基因序列的流程圖，圖5為本發明一實施例的超參數轉換為基因序列的示意圖。
如圖4所示，在前述的步驟S31中，將至少一超參數轉換為基因序列的步驟包括：
步驟S40：判斷至少一超參數為數值型(numerical)參數或類別型(categorical)參數。
響應於判斷至少一超參數為數值型參數，進入步驟S41：將至少一超參數的數值進行進位制編碼以作為基因序列對應於至少一超參數的一部分。
如圖5所示，以目標模型為CNN模型為例，諸如輸出尺寸、核心尺寸、步長及密集度等等的超參數會被判斷為數值型參數，且可例如對上述超參數的數值進行二進位制編碼，以產生基因序列50，且本發明不限於此，亦可採用其他進位制以及其他編碼方式來生成基因序列50。
響應於判斷該至少一超參數為類別型參數，進入步驟S42：依據至少一超參數的類別數量進行類別編碼以作為基因序列對應於至少一超參數的一部分。
類似的參考圖5，以目標模型為CNN模型為例，諸如激勵函數、填充及池化等等的超參數會被判斷為類別型參數，對於激勵函數而言，可例採用relu函數、softmax函數或tanh函數，因此分別將relu函數、softmax函數或tanh函數依據其類別的數量產生類別編碼0、1、2，以產生基因序列51。
此外，如果在步驟S31中，從該等超參數中選擇兩個以上的超參數，則可像圖5下方所示，將基因序列50及51合併為基因序列52，且本發明不限制其合併順序。
請復參考圖3，在步驟S31後，方法進入步驟S32：依據至少一超參數及基因序列，隨機生成多個待優化基因序列並加入基因序列集D3。
可例如圖5所示，在決定基因序列52的架構後，可依據前述的編碼方式隨機產生多組基因序列，例如基因序列53、54。隨機的方式可例如先隨機產生數值型參數的任意數值及類別型參數的任意類別編碼，再轉換為基因序列，或是直接賦予特定範圍來隨機產生已組合的基因序列。例如，可隨機產生十個不同的基因序列，並加入基因序列集D3。
步驟S33：執行基因演化流程及區域搜尋流程。其中，基因演化流程是以基因序列集配置目標模型並進行訓練，依據訓練結果擇優交配以得到多個子代基因序列。區域搜尋流程則是用以針對該等子代基因序列中的每一個，找出子代基因序列的多個鄰近解，並配置目標模型以生成多個待搜尋模型並進行訓練，並擇優得到新子代基因序列。
請參考圖6，其為本發明一實施例的基因演化流程的流程圖。如圖6所示，基因演化流程可包括配置處理器120執行基因演算法A1，以進行下列步驟：
步驟S60：以基因序列集配置目標模型以生成多個待訓練模型。例如，可將隨機產生的十組基因序列，包括所選擇的超參數及基因序列定義的種類或數值，應用在目標模型(CNN)上。
步驟S61：以該等設備參數訓練該等待訓練模型，並評估滿足訓練完成條件時的多個第一準確率。
此處，所謂的訓練可包括將取得的設備參數D2分為訓練集、測試集及驗證集，可先將模型在訓練集上進行調適，並將調適得到的模型在第驗證集上進行預測，同時對超參數進行評估。而測試集用來對最終模型進行評估。針對一個將用於評估目標設備的設備狀態的診斷模型而言，訓練參數需要包括經過標註的資料集。例如，若要生成用於評估壓鑄機的健康度的診斷模型，該資料集至少要包括油壓溫度、射出壓力、低速開度位置、高速開度位置以及震動訊號，以及對應的健康度評估結果。
此外，在步驟S61的訓練過程中，更分別計算訓練該等待訓練模型所花費的多個第一計算成本及多個第一計算時間。而訓練完成條件實質上是一個收斂條件，以避免永無止境的訓練下去。訓練完成條件可例如為，判斷第一計算成本是否到達預定計算成本，以及判斷第一計算時間是否到達預定計算時間。例如，判斷是否訓練到達30分鐘，或者是判斷是否用完30美金的算力，若判斷第一計算成本到達預定計算成本(例如30美金)，或第一計算時間到達預定計算時間(例如30分鐘)，則判斷滿足訓練完成條件，並記錄訓練完成時該等待訓練模型的該等第一準確度。
步驟S62：將具有較高的該等第一準確率的部分該基因序列集以預定突變率進行交配，以產生多個子代基因序列。
舉例而言，在訓練完成之後，會將前述的多個第一準確率由高至低進行排名，並且將前兩名的基因序列以在突變率為0.1%的情形下進行交配。
請參考圖7，其為本發明一實施例的演化流程中的交配及突變示意圖。如圖7所示，具有較高的第一準確率的基因序列70及72進行交配後，將產生子代基因序列700及720，其交配方式可例如針對基因序列70及72中，對應於不同超參數的部分進行交換後組合，例如，左側十個數字對應於輸出尺寸，右側一個數字對應於激勵函數。若在以預定突變率進行交配的過程中發生突變，例如，若交配產生的子代基因序列720發生突變，則將子代基因序列720中的其中一個數字進行修改。如圖7所示，將子代基因序列720中，左側數來第四個二進位數字作為突變基因M1來進行修改，由1修正為0，以產生子代基因序列720’。若該數字為0，則修正為1。然而，上述僅為舉例，本發明不限制基因序列突變的方式、數量及位置。
可進一步參考圖8，其為本發明一實施例的區域搜尋流程的流程圖。如圖8所示，區域搜尋流程可包括配置處理器120執行區域搜尋演算法A2以進行下列步驟：
步驟S80：依據當前子代基因序列的至少一超參數的當前解生成多個鄰近解。舉例而言，可參考圖9，其為本發明一實施例的區域搜尋流程的示意圖。以圖7的子代基因序列720’作為圖9中的一當前子代基因序列為例，激勵函數對應的當前解為1，其編碼依據圖5所示對應於softmax函數。換言之，其鄰近解即是0以及2，且分別對應於relu函數及tanh函數。
步驟S81：以該等鄰近解取代該當前子代基因序列中的該當前解，以生成當前基因序列集。例如，如圖9所示，已知鄰近解為0及2，則以此等鄰近解取代子代基因序列720’中的當前解(1)，以子代基因序列80、81，且可進一步將子代基因序列720’、80、81作為一個當前基因序列集800，其包括對應於當前解(1)及該等鄰近解(0、2)的多個待搜尋基因序列，亦即子代基因序列720’、80、81。
步驟S82：以當前基因序列集配置目標模型以分別生成多個待搜尋模型。此步驟類似於步驟S60，將當前基因序列集(包括子代基因序列720’、80、81)應用於目標模型(例如CNN模型)以生成該等待搜尋模型。
步驟S83：以該等設備參數訓練該等待搜尋模型，並評估滿足訓練完成條件時的多個第二準確率。
在步驟S83的訓練過程中，更分別計算訓練該等待搜尋模型所花費的多個第二計算成本及多個第二計算時間。訓練完成條件可例如為，判斷第二計算成本是否到達預定計算成本，以及判斷第二計算時間是否到達預定計算時間，且訓練完成條件可與步驟S61相同。例如，判斷是否訓練到達30分鐘，或者是判斷是否用完30美金的算力，若判斷第二計算成本到達預定計算成本(例如30美金)，或第二計算時間到達預定計算時間(例如30分鐘)，則判斷滿足訓練完成條件，並記錄訓練完成時該等待搜尋模型的該等第二準確度。
步驟S84：以具有最高的第二準確率的待搜尋基因序列作為新子代基因序列。在此步驟中，將該等待搜尋模型的該等第二準確率進行高低排序，並以具有最高準確率的取代原本的子代基因序列。例如，如圖8所示，若子代基因序列81的第二準確率較子代基因序列720’高，則以子代基因序列81作為新子代基因序列。
請復參考圖3，自動優化方法更包括下列步驟：
步驟S34：將對該等子代基因序列執行區域搜尋流程後分別產生的多個新子代基因序列加入基因序列集。
步驟S35：對基因序列集進行篩選以留下具有較高準確率的多個篩選後基因序列。例如，在每一輪演化中，可只留下十個前十名準確率之基因序列，並進入下一輪之演化。
步驟S36：判斷基因序列集是否演化完成條件，並將滿足演化完成條件的基因序列集作為最優基因序列集。
詳細而言，演化完成條件同樣是一種收斂條件，判斷基因序列集是否滿足演化完成條件可例如在執行多次基因演化流程及區域搜尋流程後，判斷基因序列集D3中所有的子代基因序列所能達到的最高準確率未提高的次數是否超過預定次數。例如，當最高準確率已經超過十個演化世代而沒有新高，則判斷滿足演化完成條件，將此時的基因序列集D3作為最優基因序列集。
也因此，通過本發明採用的基因演化流程，搭配區域搜尋機制，可由人工智慧模型來訓練人工智慧模型，而不需花費大量人力及成本來針對所有超參數的所有可能組合進行測試及驗證，而可在資源有限的情況下取得最優超參數組合。
步驟S37：以最優基因序列集配置目標模型以生成多個候選診斷模型。此步驟係依據最優基因序列集裡的多個基因序列來配置目標模型，類似於步驟S60，不再贅述。所生成的該等候選診斷模型可提供給使用者進行選擇。
此外，需要進一步提供使用者選擇的依據。換言之，使用者需要依據該等候選診斷模型所花費的計算時間或是計算成本來選擇最適合其需求的診斷模型。因此，如圖3所示，自動優化方法可選的進一步包括下列步驟：
步驟S38：依據該等候選診斷模型的多個計算時間及多個計算成本進行標註。
步驟S39：篩選出超過預定準確率的部分該等候選診斷模型，並依據該等計算時間及該等計算成本及繪製效率前緣線。
可參考圖10，其為本發明一實施例的繪示有效率前緣線的計算時間對計算成本作圖。如圖10所示，在最優基因序列集中，每個基因序列所對應的候選診斷模型都會在訓練的過程中記錄下其花費的計算時間以及計算成本(算力)，因此，在將每個候選診斷模型的計算時間以及計算成本進行標註後，可進一步針對準確率80%以上的該等候選診斷模型繪製效率前緣線。上述僅為舉例，本發明不限於此。
因此，此效率前緣線可根據運算成本以及記憶體限制，提供多種組合給予使用者參考，以輔助使用者依據其需求來選擇最適合的診斷模型，以在建置診斷模型前預先進行成本評估。
[實施例的有益效果]
本發明的其中一有益效果在於，本發明所提供的診斷模型的自動優化系統及自動優化方法採用基因演化流程並搭配區域搜尋機制，可由人工智慧模型來訓練人工智慧模型，而不需花費大量人力及成本來針對所有超參數的所有可能組合進行測試及驗證，而可在資源有限的情況下取得最優超參數組合。此外，還能夠降低對於資料科學家的依賴，更可將節省的人力及成本用於進行資料內容洞察(Insights)。
再者，本發明所提供的診斷模型的自動優化系統及自動優化方法進一步生成效率前緣線，以根據運算成本以及記憶體限制，提供多種組合給予使用者參考，以輔助使用者依據其需求來選擇最適合的診斷模型，以在建置診斷模型前預先進行成本評估。
以上所公開的內容僅為本發明的優選可行實施例，並非因此侷限本發明的申請專利範圍，所以凡是運用本發明說明書及圖式內容所做的等效技術變化，均包含於本發明的申請專利範圍內。
1:自動優化系統 10:目標設備 12:計算裝置 100、D2:設備參數 120:處理器 122:儲存器 124:網路單元 126:儲存單元 127:訊號擷取介面 128:輸入輸出介面 129:匯流排 800:當前基因序列集 50、51、52、53、54、70、72:基因序列 700、720、720'、80、81:子代基因序列 A0:自動優化演算法 A1:基因演算法 A2:區域搜尋演算法 D0:候選模型 D1:電腦可讀取指令 D3:基因序列集 M1:突變基因 S1~Sn:設備訊號 S30~S39、S40~S42、S60~S62、S81~S84:步驟
圖1為本發明一實施例的自動優化系統的功能方塊圖。
圖2為本發明一實施例的計算裝置的功能方塊圖。
圖3為本發明一實施例的診斷模型的自動優化方法的流程圖。
圖4為本發明一實施例的將超參數轉換為基因序列的流程圖。
圖5為本發明一實施例的超參數轉換為基因序列的示意圖。
圖6為本發明一實施例的基因演化流程的流程圖。
圖7為本發明一實施例的演化流程中的交配及突變示意圖。
圖8為本發明一實施例的區域搜尋流程的流程圖。
圖9為本發明一實施例的區域搜尋流程的示意圖。
圖10為本發明一實施例的繪示有效率前緣線的計算時間對計算成本作圖。
S30~S39:步驟

Claims (18)

  1. 一種診斷模型的自動優化方法，其包括： 取得一目標設備的多個設備參數； 從多個候選模型中選定將用於診斷該目標設備的運作狀態的一目標模型，其中，該目標模型具有多個超參數； 從該等超參數中選擇至少一超參數並轉換為一基因序列； 依據該至少一超參數及該基因序列，隨機生成多個待優化基因序列並加入一基因序列集； 執行一基因演化流程，以該基因序列集配置該目標模型並進行訓練，依據訓練結果擇優交配以得到多個子代基因序列； 針對該等子代基因序列中的每一個，執行一區域搜尋流程以找出多個鄰近解，並配置該目標模型以生成多個待搜尋模型並進行訓練，並擇優得到一新子代基因序列； 將對該等子代基因序列執行該區域搜尋流程後分別產生的多個該新子代基因序列加入該基因序列集； 對該基因序列集進行篩選以留下具有較高準確率的多個篩選後基因序列； 判斷該基因序列集是否滿足一演化完成條件，並將滿足該演化完成條件的該基因序列集作為一最優基因序列集；以及 以該最優基因序列集配置該目標模型以生成多個候選診斷模型。
  2. 如請求項1所述的自動優化方法，其中，該基因演化流程包括： 以該基因序列集配置該目標模型以分別生成多個待訓練模型； 以該等設備參數訓練該等待訓練模型，並評估滿足一訓練完成條件時的多個第一準確率；以及 將具有較高的該等第一準確率的部分該基因序列集以一預定突變率進行交配，以產生該些子代基因序列。
  3. 如請求項2所述的自動優化方法，其中該區域搜尋流程，包括： 依據一當前子代基因序列的該至少一超參數的一當前解生成該些鄰近解； 以該等鄰近解取代該當前子代基因序列中的該當前解，以生成一當前基因序列集，其中，該當前基因序列集包括對應於該當前解及該等鄰近解的多個待搜尋基因序列； 以該當前基因序列集配置該目標模型以分別生成多個待搜尋模型； 以該等設備參數訓練該等待搜尋模型，並評估滿足該訓練完成條件時的多個第二準確率；以及 以具有最高的該第二準確率的該待搜尋基因序列作為該新子代基因序列。
  4. 如請求項1所述的自動優化方法，其中，將該至少一超參數轉換為該基因序列的步驟包括： 判斷該至少一超參數為數值型參數或類別型參數； 響應於判斷該至少一超參數為數值型參數，將該至少一超參數的數值進行進位制編碼以作為該基因序列對應於該至少一超參數的一部分；以及 響應於判斷該至少一超參數為類別型參數，依據該至少一超參數的類別數量進行類別編碼以作為該基因序列對應於該至少一超參數的一部分。
  5. 如請求項3所述的自動優化方法，其中，以該預定突變率進行交配，以產生該等子代基因序列的步驟更包括： 響應於以該預定突變率進行交配且發生突變，將交配且發生突變而產生的該子代基因序列中的其中一個數字進行修改。
  6. 如請求項3所述的自動優化方法，其中，以該等設備參數訓練該等待訓練模型，並評估滿足該訓練完成條件時的該等第一準確率的步驟更包括： 分別計算訓練該等待訓練模型所花費的多個第一計算成本及多個第一計算時間，且該訓練完成條件更包括各別判斷該等第一計算成本是否到達一預定計算成本，以及判斷該等第一計算時間是否到達一預定計算時間；以及 響應於判斷該等第一計算成本到達該預定計算成本，或該等第一計算時間到達該預定計算時間，則判斷滿足該訓練完成條件。
  7. 如請求項6所述的自動優化方法，其中，以該等設備參數訓練該等待搜尋模型，並評估滿足該訓練完成條件時的多個第二準確率的步驟更包括： 分別計算訓練該等待訓練模型所花費的多個第二計算成本及多個第二計算時間，且該訓練完成條件更包括各別判斷該等第二計算成本是否到達該預定計算成本，以及該等第二計算時間是否到達一預定計算時間；以及 響應於判斷該等第二計算成本到達該預定計算成本，或該等第二計算時間到達該預定計算時間，則判斷滿足該訓練完成條件。
  8. 如請求項7所述的自動優化方法，更包括： 依據該等候選診斷模型的多個計算時間及多個計算成本進行標註；以及 篩選出超過一預定準確率的部分該等候選診斷模型，並依據該等計算時間及該等計算成本繪製一效率前緣線。
  9. 如請求項3所述的自動優化方法，其中，判斷是否滿足該演化完成條件的步驟更包括： 判斷執行該基因演化流程後，該基因序列集所能達到的一最高準確率未提高的次數是否超過一預定次數；以及 響應於判斷該最高準確率未提高的次數超過該預定次數，則滿足該演化完成條件。
  10. 一種診斷模型的自動優化系統，其包括： 一目標設備，經配置以產生多個設備參數； 一計算裝置，包括一處理器及一儲存器，且該處理器經配置以取得該等設備參數，並儲存在該儲存器中， 其中，該處理器經配置以： 從該儲存器儲存的多個候選模型中選定將用於診斷該目標設備的運作狀態的一目標模型，其中，該目標模型具有多個超參數； 從該等超參數中選擇至少一超參數並轉換為一基因序列； 依據該至少一超參數及該基因序列，隨機生成多個待優化基因序列並加入一基因序列集，並儲存於該儲存器； 執行一基因演化流程，以該基因序列集配置該目標模型並進行訓練，依據訓練結果擇優交配以得到多個子代基因序列； 針對該等子代基因序列中的每一個，執行一區域搜尋流程以找出多個鄰近解，並配置該目標模型以生成多個待搜尋模型並進行訓練，並擇優得到一新子代基因序列； 將對該等子代基因序列執行該區域搜尋流程後分別產生的多個該新子代基因序列加入該基因序列集； 對該基因序列集進行篩選以留下具有較高準確率的多個篩選後基因序列； 判斷該基因序列集是否滿足一演化完成條件，並將滿足該演化完成條件的該基因序列集作為一最優基因序列集，並儲存於該儲存器；以及 以該最優基因序列集配置該目標模型以生成多個候選診斷模型，並儲存於該儲存器。
  11. 如請求項10所述的自動優化系統，其中，該基因演化流程包括： 以該基因序列集配置該目標模型以分別生成多個待訓練模型； 以該等設備參數訓練該等待訓練模型，並評估滿足一訓練完成條件時的多個第一準確率；以及 將具有較高的該等第一準確率的部分該基因序列集以一預定突變率進行交配，以產生該些子代基因序列。
  12. 如請求項11所述的自動優化系統，其中該區域搜尋流程，包括： 依據一當前子代基因序列的該至少一超參數的一當前解生成多個鄰近解； 以該等鄰近解取代該當前子代基因序列中的該當前解，以生成一當前基因序列集，其中，該當前基因序列集包括對應於該當前解及該等鄰近解的多個待搜尋基因序列； 以該當前基因序列集配置該目標模型以分別生成多個待搜尋模型； 以該等設備參數訓練該等待搜尋模型，並評估滿足該訓練完成條件時的多個第二準確率；以及 以具有最高的該第二準確率的該待搜尋基因序列作為該新子代基因序列。
  13. 如請求項10所述的自動優化系統，其中，在該處理器將該至少一超參數轉換為該基因序列的步驟中，該處理器更經配置以： 判斷該至少一超參數為數值型參數或類別型參數； 響應於判斷該至少一超參數為數值型參數，將該至少一超參數的數值進行進位制編碼以作為該基因序列對應於該至少一超參數的一部分；以及 響應於判斷該至少一超參數為類別型參數，依據該至少一超參數的類別數量進行類別編碼以作為該基因序列對應於該至少一超參數的一部分。
  14. 如請求項12所述的自動優化系統，其中，以該預定突變率進行交配，以產生該等子代基因序列的步驟更包括： 響應於以該預定突變率進行交配且發生突變，將交配且發生突變而產生的該子代基因序列中的其中一個數字進行修改。
  15. 如請求項12所述的自動優化系統，其中，在該處理器以該等設備參數訓練該等待訓練模型，並評估滿足該訓練完成條件時的該等第一準確率的步驟中，該處理器更經配置以： 分別計算訓練該等待訓練模型所花費的多個第一計算成本及多個第一計算時間，且該訓練完成條件更包括各別判斷該等第一計算成本是否到達一預定計算成本，以及判斷該等第一計算時間是否到達一預定計算時間；以及 響應於判斷該等第一計算成本到達該預定計算成本，或該等第一計算時間到達該預定計算時間，則判斷滿足該訓練完成條件。
  16. 如請求項15所述的自動優化系統，其中，在該處理器以該等設備參數訓練該等待搜尋模型，並評估滿足該訓練完成條件時的多個第二準確率的步驟中，該處理器更經配置以： 分別計算訓練該等待訓練模型所花費的多個第二計算成本及多個第二計算時間，且該訓練完成條件更包括各別判斷該等第二計算成本是否到達該預定計算成本，以及該等第二計算時間是否到達一預定計算時間；以及 響應於判斷該等第二計算成本到達該預定計算成本，或該等第二計算時間到達該預定計算時間，則判斷滿足該訓練完成條件。
  17. 如請求項16所述的自動優化系統，其中，該處理器更經配置以： 依據該等候選診斷模型的多個計算時間及多個計算成本進行標註；以及 篩選出超過一預定準確率的部分該等候選診斷模型，並依據該等計算時間及該等計算成本繪製一效率前緣線。
  18. 如請求項12所述的自動優化系統，其中，該處理器經配置以判斷是否滿足該演化完成條件的步驟中，該處理器更經配置以： 判斷執行該基因演化流程後，該基因序列集所能達到的一最高準確率未提高的次數是否超過一預定次數；以及 響應於判斷該最高準確率未提高的次數超過該預定次數，則滿足該演化完成條件。
TW110132950A 2021-09-06 2021-09-06 診斷模型的自動優化方法及自動優化系統 TW202312042A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW110132950A TW202312042A (zh) 2021-09-06 2021-09-06 診斷模型的自動優化方法及自動優化系統
US17/506,798 US20230076967A1 (en) 2021-09-06 2021-10-21 Automatic optimization method and automatic optimization system of diagnosis model
CN202210690076.6A CN115775037A (zh) 2021-09-06 2022-06-17 诊断模型的自动优化方法及自动优化系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW110132950A TW202312042A (zh) 2021-09-06 2021-09-06 診斷模型的自動優化方法及自動優化系統

Publications (1)

Publication Number Publication Date
TW202312042A true TW202312042A (zh) 2023-03-16

Family

ID=85386159

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110132950A TW202312042A (zh) 2021-09-06 2021-09-06 診斷模型的自動優化方法及自動優化系統

Country Status (3)

Country Link
US (1) US20230076967A1 (zh)
CN (1) CN115775037A (zh)
TW (1) TW202312042A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118051779B (zh) * 2024-04-12 2024-07-16 清华大学 用于大模型训练的参数自动搜索方法、装置及电子设备

Also Published As

Publication number Publication date
US20230076967A1 (en) 2023-03-09
CN115775037A (zh) 2023-03-10

Similar Documents

Publication Publication Date Title
US10685286B1 (en) Automated neural network generation using fitness estimation
US20200372342A1 (en) Systems and methods for predictive early stopping in neural network training
WO2023226423A1 (zh) 一种芯片辅助设计方法、装置、设备及非易失性存储介质
CN108595815B (zh) 人工智能体训练系统及无源电路优化设计系统及方法
CN117786158B (zh) 一种点歌一体机的性能评估方法及系统
US20190220924A1 (en) Method and device for determining key variable in model
CN117193772A (zh) 基于用户反馈的深度学习无代码应用布局优化方法及系统
TW202312042A (zh) 診斷模型的自動優化方法及自動優化系統
CN115630433A (zh) 一种基于机器学习和bim技术的建筑设计方法及系统
CN116010602B (zh) 一种基于大数据的数据调优方法及系统
CN117273080A (zh) 一种基于进化算法的神经网络架构
CN116541166A (zh) 一种超算算力调度服务器及资源管理方法
CN115600102A (zh) 基于船舶数据的异常点检测方法及装置、电子设备、介质
CN112906891A (zh) 基于机器学习的专家系统知识库构建方法及装置
CN114564968A (zh) 基于人机对话的意图识别方法、系统、终端及介质
CN111026661B (zh) 一种软件易用性全面测试方法及系统
US20230214629A1 (en) Transformer-based autoregressive language model selection
CN114510518B (zh) 一种海量结构化数据的自适应聚合方法、系统及电子设备
CN117539520B (zh) 固件自适应升级方法、系统以及设备
TWI812423B (zh) 分散式結構設計系統與方法
CN112988564B (zh) 一种考虑成本-可靠性的srgm决策模型及其构建方法
CN114021707B (zh) 模型获取方法、系统、电子设备和存储介质
US20230342659A1 (en) Discrimination likelihood estimate for trained machine learning model
US20230342628A1 (en) Supervised dimensionality reduction for level-based hierarchical training data
CN115860141A (zh) 一种自动化机器学习交互式黑箱可视建模方法及系统