TWI651664B - 模型生成伺服器及其模型生成方法 - Google Patents

模型生成伺服器及其模型生成方法 Download PDF

Info

Publication number
TWI651664B
TWI651664B TW106139490A TW106139490A TWI651664B TW I651664 B TWI651664 B TW I651664B TW 106139490 A TW106139490 A TW 106139490A TW 106139490 A TW106139490 A TW 106139490A TW I651664 B TWI651664 B TW I651664B
Authority
TW
Taiwan
Prior art keywords
model
algorithm
category
configuration
feature
Prior art date
Application number
TW106139490A
Other languages
English (en)
Other versions
TW201923664A (zh
Inventor
蔣益庭
戴宗明
陳柏年
Original Assignee
財團法人資訊工業策進會
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人資訊工業策進會 filed Critical 財團法人資訊工業策進會
Priority to TW106139490A priority Critical patent/TWI651664B/zh
Priority to CN201711226428.8A priority patent/CN109784355A/zh
Priority to US15/829,981 priority patent/US10466982B2/en
Application granted granted Critical
Publication of TWI651664B publication Critical patent/TWI651664B/zh
Publication of TW201923664A publication Critical patent/TW201923664A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • G06F8/35—Creation or generation of source code model driven
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/12—Computing arrangements based on biological models using genetic models
    • G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2207/00—Indexing scheme relating to methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F2207/483—Indexing scheme relating to group G06F7/483
    • G06F2207/4835—Computations with rational numbers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/483—Computations with numbers represented by a non-linear combination of denominational numbers, e.g. rational numbers, logarithmic number system or floating-point numbers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/02—Computing arrangements based on specific mathematical models using fuzzy logic

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Physiology (AREA)
  • Genetics & Genomics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

一種模型生成伺服器及其模型生成方法。模型生成伺服器儲存一模型生成程式，其具有一配置組合。模型生成伺服器針對特徵類別、模型演算法類別及超參數，隨機產生複數第一配置組合碼，以設定配置組合，並基於第一最佳化演算法，運行模型生成程式，以決定一第一模型。根據第一模型對應之配置組合碼所指示至少一選定特徵類別及至少一選定模型演算法類別，模型生成伺服器更針對特徵、模型演算法及超參數，隨機產生複數第二配置組合碼，以設定配置組合，並基於第二最佳化演算法，運行模型生成程式，以決定一最佳化模型。

Description

模型生成伺服器及其模型生成方法
本發明係關於模型生成伺服器及其模型生成方法。具體而言，本發明之模型生成伺服器進行二個階段配置編碼及最佳化程序，來生成最佳化模型。
隨著科技的快速發展，機器學習及深度學習已成為目前科技研究的主流，且被廣泛的應用在各種領域，例如：人臉辨識、自動駕駛、語音自動口譯等。透過機器學習及深度學習以生成所需應用之模型的過程中，在進行模型訓練前，開發者必須先透過人工方式依經驗設定所需自原始資料中擷取的特徵，並選擇欲訓練的模型演算法，同時在模型訓練過程中亦需調整與模型演算法相關的所有參數(例如：基礎參數及超參數)。
然而，在目前模型訓練的過程中，機器學習及深度學習通常只能自動調整模型演算法的基礎參數，例如：卷積層或全連接層的權重(weight)和偏置項(bias)，而超參數大多是人工根據經驗設定，並需經由多次的嘗試來進行調整。在可選擇的特徵數量及模型演算法數量相當繁多，且超參數的調整仍需經由人工不斷地反覆地嘗試調整的情況下，開發者需投入大量的時間在選擇所需擷取的特徵及所需訓練的模型演算法，並調整 超參數，才得以生成適當的模型，且難以評估所生成的模型是否為一最佳化模型。
因此，便需要生成最佳化模型之一種模型生成機制，以用於如：人臉辨識、自動駕駛、語音自動口譯等相關應用中。
本發明之目的在於提供一種模型生成機制，其藉由將模型訓練中可選擇之特徵配置與模型演算法配置及可調整之超參數配置，進行配置組合編碼，以產生複數配置組合碼，並基於配置組合碼，進行模型訓練，同時基於最佳化演算法決定最佳化配置組合碼，來生成最佳化模型。再者，本發明之模型生成機制係將最佳化程序分成兩階段，第一階段主要是針對特徵類別及模型演算法類別來進行第一階段最佳化模型選擇，而第二階段進一步地對第一階段最佳化模型所對應之特徵類別中的特徵及模型演算法類別中的模型演算法來進行第二階段最佳化模型選擇，並自動調整超參數配置，以生成最終的模型。如此一來，本發明之模型生成機制可有效地選擇所需擷取的特徵及所需訓練的模型演算法，並自動調整超參數，以生成一最佳化模型。
為達上述目的，本發明揭露一種模型生成伺服器，其包含一網路介面、一儲存器及一處理器。該儲存器用以儲存複數原始資料、複數輸出標籤及一模型生成程式。該等輸出標籤對應至該等原始資料。該模型生成程式具有一配置組合，其包含一特徵擷取配置、一模型演算法配置及一模型演算法超參數配置。該特徵擷取配置之一特徵配置範圍包含複數特徵類別，各該特徵類別包含複數特徵。該模型演算法配置之一模型演算法配置範圍 包含複數模型演算法類別，各該模型演算法類別包含至少一模型演算法。該模型演算法超參數配置之一超參數配置範圍包含複數超參數集，各該超參數集對應至該等模型演算法其中之一且包含至少一超參數。當該模型生成程式被運行時，該特徵擷取配置係用以使該模型生成程式自該等原始資料產生複數訓練資料，該模型演算法配置及該模型演算法超參數配置係用以使該模型生成程式基於該等訓練資料及該等輸出標籤，進行一監督式學習訓練，以生成一模型。該處理器，電性連接至該網路介面及該儲存器，並用以執行下列步驟：基於該等特徵類別、該等模型演算法類別及該等超參數，進行一配置組合編碼，以隨機產生複數第一配置組合碼，其中，各該第一配置組合碼具有複數第一整數欄位及複數第一浮點欄位，該等第一整數欄位分別對應至該等特徵類別及該等模型演算法類別且該等第一浮點欄位分別對應至該等超參數，各該第一整數欄位之一整數值係隨機被產生且為1或0，該整數值為1之該第一整數欄位代表所對應之該特徵類別或該模型演算法類別被套用，該整數值為0之該第一整數欄位代表所對應之該特徵類別或該模型演算法類別不被套用，各該第一浮點欄位之一浮點值係隨機地被產生且落於所對應之該超參數之一預設範圍內；基於一第一最佳化演算法，自該等第一配置組合碼中產生複數第一階段最佳化配置組合碼；分別根據該等第一階段最佳化配置組合碼設定該模型生成程式之該配置組合，並運行該模型生成程式，以生成複數第一階段模型；自該等第一階段模型中，決定一第一模型，其中該第一模型於該等第一階段模型中具有一相對最高精確度值，以及該第一模型所對應之該第一階段最佳化配置組合碼指示該等特徵類別中至少一選定特徵類別及該等模型演算法類別中至少一選定模型演算 法類別；基於該至少一選定特徵類別之複數選定特徵、該至少一選定模型演算法類別之至少一選定模型演算法及對應該至少一選定模型演算法之至少一選定超參數，進行該配置組合編碼，以隨機產生複數第二配置組合碼，其中，各該第二配置組合碼具有複數第二整數欄位及至少一第二浮點欄位，該等第二整數欄位分別對應至該等選定特徵及該至少一選定模型演算法且該至少一第二浮點欄位分別對應至該至少一選定超參數，各該第二整數欄位之該整數值係隨機被產生且為1或0，該整數值為1之該第二整數欄位代表所對應之該選定特徵或該選定模型演算法被套用，該整數值為0之該第二整數欄位代表所對應之該選定特徵或該選定模型演算法不被套用，各該至少一第二浮點欄位之該浮點值係隨機地被產生且落於所對應之該選定超參數之該預設範圍內；基於一第二最佳化演算法，自該等第二配置組合碼中產生複數第二階段最佳化配置組合碼；分別根據該等第二階段最佳化配置組合碼設定該模型生成程式之該配置組合，並運行該模型生成程式，以生成複數第二階段模型；自該等第二階段模型中，決定一第二模型，其中該第二模型於該等第二階段模型中具有一相對最高精確度值；以及將該第二模型儲存於該儲存器中作為一最佳化模型。
此外，本發明更揭露一種用於一模型生成伺服器之模型生成方法。該模型生成伺服器包含一網路介面、一儲存器及一處理器。該儲存器儲存複數原始資料、複數輸出標籤及一模型生成程式。該等輸出標籤對應至該等原始資料。該模型生成程式具有一配置組合，其包含一特徵擷取配置、一模型演算法配置及一模型演算法超參數配置。該特徵擷取配置之一特徵配置範圍包含複數特徵類別，各該特徵類別包含複數特徵。該模型演算法配 置之一模型演算法配置範圍包含複數模型演算法類別，各該模型演算法類別包含至少一模型演算法。該模型演算法超參數配置之一超參數配置範圍包含複數超參數集，各該超參數集對應至該等模型演算法其中之一且包含至少一超參數。當該模型生成程式被運行時，該特徵擷取配置係用以使該模型生成程式自該等原始資料產生複數訓練資料。該模型演算法配置及該模型演算法超參數配置係用以使該模型生成程式基於該等訓練資料及該等輸出標籤，進行一監督式學習訓練，以生成一模型。該處理器電性連接至該網路介面及該儲存器，該模型生成方法由該處理器執行且包含下列步驟：基於該等特徵類別、該等模型演算法類別及該等超參數，進行一配置組合編碼，以隨機產生複數第一配置組合碼，其中，各該第一配置組合碼具有複數第一整數欄位及複數第一浮點欄位，該等第一整數欄位分別對應至該等特徵類別及該等模型演算法類別且該等第一浮點欄位分別對應至該等超參數，各該第一整數欄位之一整數值係隨機被產生且為1或0，該整數值為1之該第一整數欄位代表所對應之該特徵類別或該模型演算法類別被套用，該整數值為0之該第一整數欄位代表所對應之該特徵類別或該模型演算法類別不被套用，各該第一浮點欄位之一浮點值係隨機地被產生且落於所對應之該超參數之一預設範圍內；基於一第一最佳化演算法，自該等第一配置組合碼中產生複數第一階段最佳化配置組合碼；分別根據該等第一階段最佳化配置組合碼設定該模型生成程式之該配置組合，並運行該模型生成程式，以生成複數第一階段模型；自該等第一階段模型中，決定一第一模型，其中該第一模型於該等第一階段模型中具有一相對最高精確度值，以及該第一模型所對應之該第一階段最佳化配置組合碼指示該等特徵類別中至少一選定特徵 類別及該等模型演算法類別中至少一選定模型演算法類別；基於該至少一選定特徵類別之複數選定特徵、該至少一選定模型演算法類別之至少一選定模型演算法及對應該至少一選定模型演算法之至少一選定超參數，進行該配置組合編碼，以隨機產生複數第二配置組合碼，其中，各該第二配置組合碼具有複數第二整數欄位及至少一第二浮點欄位，該等第二整數欄位分別對應至該等選定特徵及該至少一選定模型演算法且該至少一第二浮點欄位分別對應至該至少一選定超參數，各該第二整數欄位之該整數值係隨機被產生且為1或0，該整數值為1之該第二整數欄位代表所對應之該選定特徵或該選定模型演算法被套用，該整數值為0之該第二整數欄位代表所對應之該選定特徵或該選定模型演算法不被套用，各該至少一第二浮點欄位之該浮點值係隨機地被產生且落於所對應之該選定超參數之該預設範圍內；基於一第二最佳化演算法，自該等第二配置組合碼中產生複數第二階段最佳化配置組合碼；分別根據該等第二階段最佳化配置組合碼設定該模型生成程式之該配置組合，並運行該模型生成程式，以生成複數第二階段模型；自該等第二階段模型中，決定一第二模型，其中該第二模型於該等第二階段模型中具有一相對最高精確度值；以及將該第二模型儲存於該儲存器中作為一最佳化模型。
在參閱圖式及隨後描述之實施方式後，此技術領域具有通常知識者便可瞭解本發明之其他目的，以及本發明之技術手段及實施態樣。
1‧‧‧模型生成伺服器
11‧‧‧網路介面
13‧‧‧儲存器
15‧‧‧處理器
A‧‧‧第一配置組合碼
B‧‧‧第二配置組合碼
C、C1、C1’、D、D1、D1’‧‧‧第一配置組合碼
OP1‧‧‧特徵擷取運算
OP2‧‧‧模型演算法運算
OP3‧‧‧計算模型精確度值運算
RD‧‧‧原始資料
MBP‧‧‧模型生成程式
OL‧‧‧輸出標籤
TD‧‧‧訓練資料
OD‧‧‧輸出資料
AC‧‧‧精確度值
FI‧‧‧第一整數欄位
FF‧‧‧第一浮點欄位
SI‧‧‧第二整數欄位
SF‧‧‧第二浮點欄位
S401-S417‧‧‧步驟
第1圖係描繪本發明之模型生成伺服器1之示意圖； 第2A-2B圖係描繪本發明之模型生成伺服器1進行模型訓練之流程圖；第3A-3B圖係描繪本發明所採用之一最佳化演算法之示意圖；以及第4A-4B圖係描繪本發明之模型生成方法之流程圖。
以下將透過實施例來解釋本發明內容，本發明的實施例並非用以限制本發明須在如實施例所述之任何特定的環境、應用或特殊方式方能實施。因此，關於實施例之說明僅為闡釋本發明之目的，而非用以限制本發明。需說明者，以下實施例及圖式中，與本發明非直接相關之元件已省略而未繪示，且圖式中各元件間之尺寸關係僅為求容易瞭解，並非用以限制實際比例。
本發明第一實施例請參考第1、2A-2B、3A-3B圖。本發明之模型生成伺服器1之示意圖如第1圖所示，其包含一網路介面11、一儲存器13及一處理器15。處理器15電性連接至網路介面11及儲存器13。儲存器13儲存複數原始資料RD、複數輸出標籤OL及一模型生成程式MBP。該等輸出標籤OL對應至該等原始資料RD。該等原始資料RD可例如由一感測器、一麥克風、一影像擷取裝置等所產生。模型生成程式MBP具有一配置組合，其包含一特徵擷取配置、一模型演算法配置及一模型演算法超參數配置。特徵擷取配置之一特徵配置範圍包含複數特徵類別，且各特徵類別包含複數特徵。
舉例而言，特徵類別可包含一運算(math)特徵類別、一統計(statistic)特徵類別、一能量(energy)特徵類別及一簡化(reduction)特徵類別，但不限於此。運算特徵類別可包含一正弦函數(sin)、一餘弦函數(cos)、一正切函數(tan)、一指數函數(exp)及一自然對數函數(log) 等特徵，但不限於此。統計特徵類別可包含一最大值、一最小值、一平均值及一標準差等特徵，但不限於此。能量特徵類別可包含一傅立葉轉換(Fourier Transform；FT)及一離散餘弦轉換(Discrete Cosine Transform；DCT)等特徵，但不限於此。簡化特徵類別包含一主成分分析(Principal Component Analysis；PCA)、一線性識別分析(Linear Discriminant Analysis；LDA)及一自動回歸模型(Autoregressive Model；AR)等特徵，但不限於此。
模型演算法配置之一模型演算法配置範圍包含複數模型演算法類別，且各模型演算法類別包含至少一模型演算法。舉例而言，模型演算法類別可包含一馬可夫模型演算法(Markov model)類別、一貝氏(Bayesian)演算法類別、一基於實例(Instance based)演算法類別、一神經網路(Neural Network)演算法類別、一域轉換(Domain Transform)演算法類別、一模糊邏輯(Fuzzy Logic)演算法類別以及一迴歸方法(Regression Method)演算法類別，但不限於此。
馬可夫模型演算法類別可包含一隱馬可夫模型(Hidden Markov Model)演算法及一條件隨機域(Conditional Random Field)演算法，但不限於此。貝氏演算法類別可包含一單純貝氏分類(Naive Bayes)演算法及一貝氏網路(Bayesian Network)演算法，但不限於此。基於實例演算法類別可包含一K最鄰近(K-Nearest Neighbors；KNN)演算法，但不限於此。神經網路演算法類別可包含一多層感知器(Multilayer Perceptron)演算法、一人工神經網路(Artificial Neural Networks；ANN)、一卷積神經網路(Convolutional Neural Networks；CNN)演算法、一遞歸神經網路(Recurrent neural networks；RNN)演算法，但不限於此。域轉換演算法類別可包含一支持向量機(Support Vector Machines；SVM)演算法，但不限於此。模糊邏輯演算法類別可包含一模糊基底函數(Fuzzy Basis Function)演算法及一模糊推理(Fuzzy Inference)演算法，但不限於此。迴歸方法演算法類別可包含一多元線性回歸(Multiple Linear Regression；MLR)演算法及一加速高階羅吉斯回歸(Accelerated Higher Order Logistic Regression；ALR)演算法，但不限於此。
模型演算法超參數配置之一超參數配置範圍包含複數超參數集。各超參數集對應至該等模型演算法其中之一且包含至少一超參數。舉例而言，支持向量機演算法之超參數包含扣分函數(cost；c)及資料點影響半徑(gamma；g)。須說明者，本發明之保護範圍並不侷限於上述特徵類別及演算法類別，因此所屬技術領域中具有通常知識者可基於前述說明，新增其他特徵類別或其他演算法類別，以達成相同功效。舉例而言，於其他實施例中，本發明更可包含其他演算法類別，其包含最大期望(Expectation-Maximization；EM)演算法、一決策樹(Decision Tree)演算法、一隨機森林(Random Forest)演算法等。
當模型生成程式MBP被運行時，特徵擷取配置係用以使模型生成程式MBP自該等原始資料RD擷取特徵，以產生複數訓練資料TD。模型演算法配置及模型演算法超參數配置係用以使模型生成程式MBP基於訓練資料TD及該等輸出標籤OL，進行一監督式學習訓練，以生成一模型。詳言之，如第2A圖所示，模型生成程式MBP基於特徵擷取配置，自原始資料RD擷取特徵，以產生訓練資料TD(即，特徵擷取運算OP1)，並基於模型演 算法配置及模型演算法超參數配置，使用配置的模型演算法，運算訓練資料TD，以產生輸出資料OD(即，模型演算法運算OP2)。
接著，基於該等原始資料RD與該等輸出標籤OL間之一映射關係，模型生成程式MBP可標示各輸出資料OD，以對配置的模型演算法，進行監督式學習訓練，來生成一模型。隨後，基於生成的模型，處理器15可將非用於上述監督式學習訓練的其他原始資料RD(即，測試資料)經由生成的模型運算，並將輸入至模型的原始資料RD與輸出資料OD進行比對，判斷輸出資料OD中符合原始資料RD預期輸出的比例，以計算此模型之一精確度值(即，計算模型精確度值運算OP3)。
於最佳化程序之第一階段中，處理器15基於該等特徵類別、該等模型演算法類別及該等超參數，進行一配置組合編碼，以隨機產生複數第一配置組合碼。各第一配置組合碼具有複數第一整數欄位FI及複數第一浮點欄位FF。該等第一整數欄位FI分別對應至該等特徵類別及該等模型演算法類別且該等第一浮點欄位FF分別對應至該等超參數。舉例而言，第2A圖繪示一第一配置組合碼A包含4個對應至特徵類別之第一整數欄位FI、7個對應至模型演算法類別之第一整數欄位FI以及n個對應至超參數之第一浮點欄位FF，其中n為一正整數，其數值係對應至所有模型演算法類別中所有模型演算法之超參數數量。
第一配置組合碼A之各第一整數欄位FI之一整數值係隨機被產生且為1或0，其中整數值為1之第一整數欄位FI代表所對應之特徵類別或模型演算法類別被套用，以及整數值為0之第一整數欄位FI代表所對應之特徵類別或模型演算法類別不被套用。各第一浮點欄位FF之一浮點值係隨 機地被產生且落於所對應之超參數之一預設範圍內。以支持向量機演算法為例，其超參數cost之預設範圍介於2-5~215之間，以及超參數gamma之預設範圍介於2-15~23之間。舉例而言，假設第一配置組合碼的第1個欄位至第4個欄位依序代表運算特徵類別、統計特徵類別、能量特徵類別及簡化特徵類別，則第一配置組合碼A係代表當模型生成程式MBP被運行時，特徵擷取配置係採用運算特徵類別、統計特徵類別及簡化特徵類別中的所有特徵，對該等原始資料RD進行特徵擷取，以產生該等訓練資料TD。
在產生多個第一配置組合碼後，處理器15基於一第一最佳化演算法，自該等第一配置組合碼中產生複數第一階段最佳化配置組合碼，並分別根據該等第一階段最佳化配置組合碼設定該模型生成程式MBP之配置組合，並運行模型生成程式MBP，以生成複數第一階段模型。然後，處理器15自該等第一階段模型中，決定一第一模型，其中第一模型於該等第一階段模型中具有一相對最高精確度值。
第一最佳化演算法可為基因演算法或粒子群最佳化演算法。舉例而言，第3A-3B圖中皆係以二進制基因演算法作為說明。根據各個第一配置組合碼中所採用之特徵類別及模型演算法類別調整模型生成程式MBP之配置組合，處理器15運行模型生成程式MBP，以執行監督式學習訓練，並計算基於各第一配置組合碼所生成之模型之精確度值AC。隨後，處理器15可先淘汰精確度值AC較差之模型所對應之第一配置組合碼。在實際運作上，處理器15可基於一臨界值的設定，將臨界值作為淘汰標準(或稱天擇標準)，例如：將精確度值AC小於50%之該等模型所對應之第一配置組合碼淘汰，或只保留精確度值AC相對較大的該等模型所對應之第一配置組合碼(例如： 保留一半的第一配置組合碼)。在對所有第一配置組合碼進行初步篩選之後，處理器15進行二進制基因演算法之交配及突變運算。
首先，請參考第3A圖，第一配置組合碼C及第一配置組合碼D係由處理器15隨機產生並經由初步篩選後所留下的第一配置組合碼。於執行交配運算(箭頭位置為交配點)時，處理器15將第一配置組合碼C及第一配置組合碼D之第一整數欄位FI中位於交配點後之欄位互相交換，以及將第一配置組合碼C及第一配置組合碼D之第一浮點欄位FF中位於交配點後之欄位互相交換，以產生第一配置組合碼C1及第一配置組合碼D1。須說明者，於此範例中，基因演算法係設置成將不同的第一配置組合碼之第一整數欄位FI及第一浮點欄位FF分開交配；然而，於實際運作上，基因演算法亦可設置成分別將特徵類別之第一整數欄位FI、模型演算法類別之第一整數欄位FI及第一浮點欄位FF分開交配。因此，基因演算法的交配設置並非用於限制本發明之保護範疇。
接著，請參考第3B圖，處理器15更分別對第一配置組合碼C1及第一配置組合碼D1進行突變運算(箭頭位置為突變點)。於執行突變運算時，突變點為1之第一整數欄位FI會變成0，且突變點為0之第一整數欄位FI會變成1，以及第一浮點欄位FF之突變點則隨機重新產生新的超參數值。如第3B圖所示，第一配置組合碼C1進行突變後產生第一配置組合碼C1’，以及第一配置組合碼D1突變後產生第一配置組合碼D1’。如此一來，處理器15即可產生新一代的第一配置組合碼C1’及第一配置組合碼D1’。
接著，處理器15根據各個新一代的第一配置組合碼中所採用之特徵類別及模型演算法類別，調整模型生成程式MBP之配置組合，並運 行模型生成程式MBP，以執行監督式學習訓練，來生成對應至各個新一代的第一配置組合碼之模型。之後，處理器15計算基於各個新一代的第一配置組合碼所生成之模型之精確度值AC。類似地，處理器15可先淘汰精確度值AC較差之模型所對應之新一代的第一配置組合碼，並再次基於存活的第一配置組合碼，經由前述之交配及突變運算，產生下一代的第一配置組合碼。
所屬技術領域中具有通常知識者可瞭解基因演算法經由幾個世代的繁衍即可將最新的一代的該等第一配置組合碼作為該等第一階段最佳化配置組合碼，並將基於該等第一階段最佳化配置組合碼所生成之該等第一階段模型中具有一相對最高精確度值AC之第一階段模型作為一第一模型。此外，進行突變的目的係為了提高第一配置組合碼之多樣性，以提高生成具有精確度值AC較高之模型之機率。然而，突變的結果可能為正面的，亦可能負面的。因此，模型生成伺服器1為避免因突變所造成的混亂狀態，故突變機率通常會基於淘汰標準而設置。
須說明者，前述範例係以基因演算法作為說明，然而所屬技術領域中具有通常知識者可瞭解本發明亦能藉由其他最佳化演算法(例如：基於粒子群最佳化演算法)來產生第一階段最佳化配置組合碼。舉例而言，所屬技術領域中具有通常知識者可瞭解，粒子群最佳化演算法與基因演算法有部分類似之處，以及粒子群最佳化演算法係基於移動速度的設置及每個迭代中所計算之個體最佳解且群體最佳解，來移動(變更)各個第一配置組合碼。因此，粒子群最佳化演算法經過幾個迭代的移動即可將目前的該等第一配置組合碼作為該等第一階段最佳化配置組合碼。由於所屬技術領域中具有通常知識者基於前述說明可瞭解如何基於其他最佳化演算法(例如： 基於粒子群最佳化演算法)產生第一階段最佳化配置組合碼的細節操作，故在此不再贅述。
於選定精確度值AC最高的第一階段模型為第一模型後，處理器15根據第一模型所對應之第一階段最佳化配置組合碼所指示該等特徵類別中至少一選定特徵類別及該等模型演算法類別中至少一選定模型演算法類別，進行最佳化程序之第二階段。處理器15基於至少一選定特徵類別之複數選定特徵、至少一選定模型演算法類別之至少一選定模型演算法及對應至少一選定模型演算法之至少一選定超參數，進行配置組合編碼，以隨機產生複數第二配置組合碼。
各第二配置組合碼具有複數第二整數欄位SI及至少一第二浮點欄位SF。該等第二整數欄位SI分別對應至該等選定特徵及該至少一選定模型演算法且至少一第二浮點欄位SF分別對應至該至少一選定超參數。舉例而言，第2B圖繪示之第二配置組合碼B包含11個對應至選定特徵之第二整數欄位SI、5個對應至選定模型演算法之第二整數欄位SI以及m個對應至選定超參數之第二浮點欄位SF，其中m為一正整數，其數值係對應至選定模型演算法類別中所有選定模型演算法之超參數數量。
當選定特徵類別為統計特徵類別及能量特徵類別時，各第二配置組合碼之該等第二整數欄位SI的前11個欄位係依序對應至統計特徵類別中及能量特徵類別中的特徵(即，選定特徵)。當選定模型演算法類別為域轉換演算法類別及模糊邏輯演算法類別時，各第二配置組合碼之該等第二整數欄位SI的第12至16個欄位係依序對應至域轉換演算法類別及模糊邏輯演算法類別的模型演算法(即，選定模型演算法)，且各第二配置組合碼 之該等第二浮點欄位SF係依據對應至該等模型演算法的超參數(即，選定超參數)。
類似地，各第二配置組合碼B之各第二整數欄位SI之整數值係隨機被產生且為1或0，整數值為1之第二整數欄位SI代表所對應之選定特徵或選定模型演算法被套用，整數值為0之第二整數欄位SI代表所對應之選定特徵或選定模型演算法不被套用，各至少一第二浮點欄位SF之浮點值係隨機地被產生且落於所對應之選定超參數之預設範圍內。
在產生多個第二配置組合碼後，處理器15基於一第二最佳化演算法，自該等第二配置組合碼中產生複數第二階段最佳化配置組合碼，並分別根據該等第二階段最佳化配置組合碼設定該模型生成程式MBP之配置組合，並運行模型生成程式MBP，以生成複數第二階段模型。同樣地，於進行監督式學習訓練的過程中處理器15會計算各第二階段模型之精確度值AC。然後，處理器15依據精確度值AC自該等第二階段模型中，決定精確度之最高之第二階段模型為一第二模型。換言之，第二模型於該等第二階段模型中具有一相對最高精確度值AC。最後，處理器15選定精確度之最高之第二階段模型為一第二模型，並將其儲存作為最佳化模型。
類似地，第二最佳化演算法可為基因演算法、粒子群最佳化演算法或其他最佳化演算法。由於所屬技術領域中具有通常知識者，基於前述關於第一階段如何基於第一最佳化演算法，自該等第一配置組合碼中產生該等第一階段最佳化配置組合碼的說明可以輕易瞭解，本發明於第二階段如何以基因演算法、粒子群最佳化演算法或其他最佳化演算法來，自該等第二配置組合碼中產生該等第二階段最佳化配置組合碼，故在此不再加以 贅述。
須說明者，於本發明中，針對第一最佳化演算法及第二最佳化演算法之結束條件(例如：基因演算法之繁衍世代的次數、粒子群演算法之迭代的次數)，可由使用者自行設定所需的精確度門檻值或最佳化模型生成之時間來決定。因此，本發明之模型生成伺服器1可進一步基於使用者所需的精確度門檻值或最佳化模型生成之時間，來決定將何時(即，第幾代或第幾次迭代)所產生的該等第一配置組合碼及該等第二配置組合碼作為該等第一階段最佳化配置組合碼及該等第二階段最佳化配置組合碼，並據以生成第一模型及第二模型。
此外，於一實施例中，處理器15可更基於最佳化模型，產生一軟體開發套件(Software Development Kit；SDK)，以供一外部裝置下載。再者，於其他實施例中，處理器15更透過網路介面11自一外部裝置接收該等原始資料RD及該等輸出標籤OL。
基於前述說明可了解，本發明之模型生成伺服器1可經由兩階段的最佳化程序，有效地自動選擇所需擷取的特徵及所需訓練的模型演算法，並自動調整超參數，以生成最佳化模型。如此一來，本發明之模型生成伺服器1可提供一使用者上傳複數原始資料及其對應之複數輸出標籤，並針對這些上傳資料生成一最佳化模型，並產生一軟體開發套件(Software Development Kit；SDK)以供使用者下載，並進行其所需之應用。因此，即使使用者沒有任何機器學習及資料分析的相關知識亦可透過本發明之模型生成伺服器1而達到其所需之應用。
舉例而言，當使用者為一運動教練時，其可自行透過智慧型 手環之移動感測器(motion sensor)，針對不同運動動作產生多個原始資料，並標示這些原始資料所對應運動動作，以產生對應之該等輸出標籤。隨後，運動教練將該等原始資料及該等輸出標籤上傳至模型生成伺服器1，使得模型生成伺服器1因應產生一SDK供使用者下載。因此，運動教練可將此SDK提供給學員，讓學員將其安裝至其智慧型手環上，以供學員在平時運動時，可記錄進行各個動作的次數。此外，所屬技術領域中具有通常知識者亦可瞭解，本發明模型生成伺服器1亦適用於其他領域，例如：人臉辨識、自動駕駛、語音自動口譯等，以提供使用者透過模型生成伺服器1生成所欲應用領域的最佳化模型。
本發明第二實施例如請參考第4A-4B圖，其係為本發明之模型生成方法之流程圖。模型生成方法適用於一模型生成伺服器(例如：第一實施例之模型生成伺服器1)，其包含一網路介面、一儲存器及一處理器。處理器電性連接至網路介面及儲存器。儲存器儲存複數原始資料、複數輸出標籤及一模型生成程式。該等輸出標籤，其對應至該等原始資料。模型生成程式具有一配置組合，其包含一特徵擷取配置、一模型演算法配置及一模型演算法超參數配置。
特徵擷取配置之一特徵配置範圍包含複數特徵類別，且各特徵類別包含複數特徵。模型演算法配置之一模型演算法配置範圍包含複數模型演算法類別，且各模型演算法類別包含至少一模型演算法。模型演算法超參數配置之一超參數配置範圍包含複數超參數集，以及各超參數集對應至該等模型演算法其中之一且包含至少一超參數。當模型生成程式被運行時，特徵擷取配置係用以使模型生成程式自該等原始資料產生複數訓練資 料。模型演算法配置及模型演算法超參數配置係用以使模型生成程式基於該等訓練資料及該等輸出標籤，進行一監督式學習訓練，以生成一模型。
模型生成方法由處理器執行。首先，於步驟S401中，基於該等特徵類別、該等模型演算法類別及該等超參數，進行一配置組合編碼，以隨機產生複數第一配置組合碼。各第一配置組合碼具有複數第一整數欄位及複數第一浮點欄位，其中該等第一整數欄位分別對應至該等特徵類別及該等模型演算法類別且該等第一浮點欄位分別對應至該等超參數。各第一整數欄位之一整數值係隨機被產生且為1或0。整數值為1之第一整數欄位代表所對應之該特徵類別或該模型演算法類別被套用，以及整數值為0之第一整數欄位代表所對應之該特徵類別或該模型演算法類別不被套用。各第一浮點欄位之一浮點值係隨機地被產生且落於所對應之超參數之一預設範圍內。
接著，於步驟S403中，基於一第一最佳化演算法，自該等第一配置組合碼中產生複數第一階段最佳化配置組合碼。於步驟S405中，分別根據該等第一階段最佳化配置組合碼設定模型生成程式之配置組合，並運行模型生成程式，以生成複數第一階段模型。之後，於步驟S407中，自該等第一階段模型中，決定一第一模型。在本發明第一階段最佳化程序中所決定之第一模型於該等第一階段模型中具有一相對最高精確度值。第一模型所對應之第一階段最佳化配置組合碼指示該等特徵類別中至少一選定特徵類別及該等模型演算法類別中至少一選定模型演算法類別。
如第一實施例所述，模型生成伺服器會依據被套用之特徵類別所包含之所有特徵來擷取原始資料RD中之對應的特徵，以產生訓練資料 TD，並基於模型演算法配置及模型演算法超參數配置產生輸出資料OD。接著，再基於原始資料RD與輸出標籤間之一映射關係，將原始資料RD及輸出資料OD進行比對，判斷輸出資料OD中符合原始資料RD預期輸出的比例來計算基於各第一配置組合碼所生成之模型的精確度值。
接著執行本發明之第二階段最佳化程序，於步驟S409中，基於至少一選定特徵類別之複數選定特徵、至少一選定模型演算法類別之至少一選定模型演算法及對應至少一選定模型演算法之至少一選定超參數，進行該配置組合編碼，以隨機產生複數第二配置組合碼。各第二配置組合碼具有複數第二整數欄位及至少一第二浮點欄位。該等第二整數欄位分別對應至該等選定特徵及該至少一選定模型演算法，以及至少一第二浮點欄位分別對應至至少一選定超參數，各第二整數欄位之整數值係隨機被產生且為1或0。整數值為1之第二整數欄位代表所對應之選定特徵或選定模型演算法被套用，以及整數值為0之第二整數欄位代表所對應之選定特徵或選定模型演算法不被套用。各至少一第二浮點欄位之浮點值係隨機地被產生且落於所對應之該選定超參數之該預設範圍內。
於步驟S411中，基於一第二最佳化演算法，自該等第二配置組合碼中產生複數第二階段最佳化配置組合碼。接著，於步驟S413中，分別根據該等第二階段最佳化配置組合碼設定模型生成程式之配置組合，並運行模型生成程式，以生成複數第二階段模型。隨後，於步驟S415中，自該等第二階段模型中，決定一第二模型。如先前所述，模型生成伺服器會計算各第二階段模型之精確度值，再挑選精確度值最高之第二階段模型為第二模型，即第二模型於該等第二階段模型中具有一相對最高精確度值。最後，於 步驟S417中，將第二模型儲存於儲存器中作為最佳化模型。
於其他實施例中，第一最佳化演算法係一基因演算法及一粒子群最佳化演算法其中之一，以及第二最佳化演算法係該基因演算法及該粒子群最佳化演算法其中之一。此外，於其他實施例中，該處理器係基於該等原始資料與該等輸出標籤間之一映射關係，計算進行該監督式學習訓練所產生之模型之精確度值。另外，於其他實施例中，處理器更透過網路介面自一外部裝置接收該等原始資料及該等輸出標籤。於一實施例中，處理器基於最佳化模型，產生一軟體開發套件(Software Development Kit；SDK)，以供一外部裝置下載。
於其他實施例中，該等特徵類別包含一運算(math)特徵類別、一統計(statistic)特徵類別、一能量(energy)特徵類別及一簡化(reduction)特徵類別，以及該等模型演算法類別包含一馬可夫模型演算法(Markov model)類別、一貝氏(Bayesian)演算法類別、一基於實例(Instance based)演算法類別、一神經網路(Neural Network)演算法類別、一域轉換(Domain Transform)演算法類別、一模糊邏輯(Fuzzy Logic)演算法類別以及一迴歸方法(Regression Method)演算法類別。
除了上述步驟，本實施例之模型生成方法亦能執行在前述實施例中所闡述之所有操作並具有所有對應之功能。所屬技術領域中具有通常知識者可直接瞭解此實施例如何基於前述實施例執行此等操作及具有該等功能，故不贅述。
綜上所述，本發明之模型生成機制藉由將模型訓練中可選擇之各項配置，進行配置組合編碼，以產生複數配置組合碼，並基於配置組合 碼，進行模型訓練，同時基於最佳化演算法挑選精確度值最高之最佳化配置組合碼，來生成最佳化模型。再者，本發明之模型生成機制係將最佳化程序分成兩階段，第一階段主要是針對特徵類別及模型演算法類別來進行第一階段最佳化模型選擇，而第二階段進一步地對第一階段最佳化模型所對應之特徵類別中的特徵及模型演算法類別中的模型演算法來進行第二階段最佳化模型選擇，並自動調整超參數配置，以生成最終的模型。如此一來，本發明之模型生成機制可有效地選擇所需擷取的特徵及所需訓練的模型演算法，並自動調整超參數，以生成一最佳化模型。
前述之實施例僅用來例舉本發明之實施態樣，以及闡釋本發明之技術特徵，並非用來限制本發明之保護範疇。任何熟悉此技術者可輕易完成之改變或均等性之安排均屬於本發明所主張之範圍，本發明之權利保護範圍應以申請專利範圍為準。

Claims (16)

  1. 一種模型生成伺服器，包含：一網路介面；一儲存器，用以儲存複數原始資料、複數輸出標籤及一模型生成程式，該等輸出標籤對應至該等原始資料，該模型生成程式具有一配置組合，該配置組合包含一特徵擷取配置、一模型演算法配置及一模型演算法超參數配置，該特徵擷取配置之一特徵配置範圍包含複數特徵類別，各該特徵類別包含複數特徵，該模型演算法配置之一模型演算法配置範圍包含複數模型演算法類別，各該模型演算法類別包含至少一模型演算法，該模型演算法超參數配置之一超參數配置範圍包含複數超參數集，各該超參數集對應至該等模型演算法其中之一且包含至少一超參數，當該模型生成程式被運行時，該特徵擷取配置係用以使該模型生成程式自該等原始資料產生複數訓練資料，該模型演算法配置及該模型演算法超參數配置係用以使該模型生成程式基於該等訓練資料及該等輸出標籤，進行一監督式學習訓練，以生成一模型；以及一處理器，電性連接至該網路介面及該儲存器，並用以執行下列步驟：基於該等特徵類別、該等模型演算法類別及該等超參數，進行一配置組合編碼，以隨機產生複數第一配置組合碼，其中，各該第一配置組合碼具有複數第一整數欄位及複數第一浮點欄位，該等第一整數欄位分別對應至該等特徵類別及該等模型演算法類別且該等第一浮點欄位分別對應至該等超參數，各該第一整數欄位之一整數值係隨機被產生且為1或0，該整數值為1之該第一整數欄位代表所對應之該特徵類別或該模型演算法類別被套用，該整數值為0之該第一整數欄位代表所對應之該特徵類別或該模型演算法類別不被套用，各該第一浮點欄位之一浮點值係隨機地被產生且落於所對應之該超參數之一預設範圍內；基於一第一最佳化演算法，自該等第一配置組合碼中產生複數第一階段最佳化配置組合碼；分別根據該等第一階段最佳化配置組合碼設定該模型生成程式之該配置組合，並運行該模型生成程式，以生成複數第一階段模型；自該等第一階段模型中，決定一第一模型，其中該第一模型於該等第一階段模型中具有一相對最高精確度值，以及該第一模型所對應之該第一階段最佳化配置組合碼指示該等特徵類別中至少一選定特徵類別及該等模型演算法類別中至少一選定模型演算法類別；基於該至少一選定特徵類別之複數選定特徵、該至少一選定模型演算法類別之至少一選定模型演算法及對應該至少一選定模型演算法之至少一選定超參數，進行該配置組合編碼，以隨機產生複數第二配置組合碼，其中，各該第二配置組合碼具有複數第二整數欄位及至少一第二浮點欄位，該等第二整數欄位分別對應至該等選定特徵及該至少一選定模型演算法且該至少一第二浮點欄位分別對應至該至少一選定超參數，各該第二整數欄位之該整數值係隨機被產生且為1或0，該整數值為1之該第二整數欄位代表所對應之該選定特徵或該選定模型演算法被套用，該整數值為0之該第二整數欄位代表所對應之該選定特徵或該選定模型演算法不被套用，各該至少一第二浮點欄位之該浮點值係隨機地被產生且落於所對應之該選定超參數之該預設範圍內；基於一第二最佳化演算法，自該等第二配置組合碼中產生複數第二階段最佳化配置組合碼；分別根據該等第二階段最佳化配置組合碼設定該模型生成程式之該配置組合，並運行該模型生成程式，以生成複數第二階段模型；自該等第二階段模型中，決定一第二模型，其中該第二模型於該等第二階段模型中具有一相對最高精確度值；以及將該第二模型儲存於該儲存器中作為一最佳化模型。
  2. 如請求項1所述之模型生成伺服器，其中該第一最佳化演算法係一基因演算法及一粒子群最佳化演算法其中之一。
  3. 如請求項1所述之模型生成伺服器，其中該第二最佳化演算法係一基因演算法及一粒子群最佳化演算法其中之一。
  4. 如請求項1所述之模型生成伺服器，其中該處理器係基於該等原始資料與該等輸出標籤間之一映射關係，計算進行該監督式學習訓練所生成之該模型之一精確度值。
  5. 如請求項4所述之模型生成伺服器，其中該處理器更透過該網路介面自一外部裝置接收該等原始資料及該等輸出標籤。
  6. 如請求項1所述之模型生成伺服器，其中該處理器基於該最佳化模型，產生一軟體開發套件，以供一外部裝置下載。
  7. 如請求項1所述之模型生成伺服器，其中該等特徵類別包含一運算特徵類別、一統計特徵類別、一能量特徵類別及一簡化特徵類別。
  8. 如請求項1所述之模型生成伺服器，其中該等模型演算法類別包含一馬可夫模型演算法類別、一貝氏演算法類別、一基於實例演算法類別、一神經網路演算法類別、一域轉換演算法類別、一模糊邏輯演算法類別以及一迴歸方法演算法類別。
  9. 一種用於一模型生成伺服器之模型生成方法，該模型生成伺服器包含一網路介面、一儲存器及一處理器，該儲存器儲存複數原始資料、複數輸出標籤及一模型生成程式，該等輸出標籤對應至該等原始資料，該模型生成程式具有一配置組合，該配置組合包含一特徵擷取配置、一模型演算法配置及一模型演算法超參數配置，該特徵擷取配置之一特徵配置範圍包含複數特徵類別，各該特徵類別包含複數特徵，該模型演算法配置之一模型演算法配置範圍包含複數模型演算法類別，各該模型演算法類別包含至少一模型演算法，該模型演算法超參數配置之一超參數配置範圍包含複數超參數集，各該超參數集對應至該等模型演算法其中之一且包含至少一超參數，當該模型生成程式被運行時，該特徵擷取配置係用以使該模型生成程式自該等原始資料產生複數訓練資料，該模型演算法配置及該模型演算法超參數配置係用以使該模型生成程式基於該等訓練資料及該等輸出標籤，進行一監督式學習訓練，以生成一模型，該處理器電性連接至該網路介面及該儲存器，該模型生成方法由該處理器執行且包含下列步驟：基於該等特徵類別、該等模型演算法類別及該等超參數，進行一配置組合編碼，以隨機產生複數第一配置組合碼，其中，各該第一配置組合碼具有複數第一整數欄位及複數第一浮點欄位，該等第一整數欄位分別對應至該等特徵類別及該等模型演算法類別且該等第一浮點欄位分別對應至該等超參數，各該第一整數欄位之一整數值係隨機被產生且為1或0，該整數值為1之該第一整數欄位代表所對應之該特徵類別或該模型演算法類別被套用，該整數值為0之該第一整數欄位代表所對應之該特徵類別或該模型演算法類別不被套用，各該第一浮點欄位之一浮點值係隨機地被產生且落於所對應之該超參數之一預設範圍內；基於一第一最佳化演算法，自該等第一配置組合碼中產生複數第一階段最佳化配置組合碼；分別根據該等第一階段最佳化配置組合碼設定該模型生成程式之該配置組合，並運行該模型生成程式，以生成複數第一階段模型；自該等第一階段模型中，決定一第一模型，其中該第一模型於該等第一階段模型中具有一相對最高精確度值，以及該第一模型所對應之該第一階段最佳化配置組合碼指示該等特徵類別中至少一選定特徵類別及該等模型演算法類別中至少一選定模型演算法類別；基於該至少一選定特徵類別之複數選定特徵、該至少一選定模型演算法類別之至少一選定模型演算法及對應該至少一選定模型演算法之至少一選定超參數，進行該配置組合編碼，以隨機產生複數第二配置組合碼，其中，各該第二配置組合碼具有複數第二整數欄位及至少一第二浮點欄位，該等第二整數欄位分別對應至該等選定特徵及該至少一選定模型演算法且該至少一第二浮點欄位分別對應至該至少一選定超參數，各該第二整數欄位之該整數值係隨機被產生且為1或0，該整數值為1之該第二整數欄位代表所對應之該選定特徵或該選定模型演算法被套用，該整數值為0之該第二整數欄位代表所對應之該選定特徵或該選定模型演算法不被套用，各該至少一第二浮點欄位之該浮點值係隨機地被產生且落於所對應之該選定超參數之該預設範圍內；基於一第二最佳化演算法，自該等第二配置組合碼中產生複數第二階段最佳化配置組合碼；分別根據該等第二階段最佳化配置組合碼設定該模型生成程式之該配置組合，並運行該模型生成程式，以生成複數第二階段模型；自該等第二階段模型中，決定一第二模型，其中該第二模型於該等第二階段模型中具有一相對最高精確度值；以及將該第二模型作為一最佳化模型，儲存於該儲存器中。
  10. 如請求項9所述之模型生成方法，其中該第一最佳化演算法係一基因演算法及一粒子群最佳化演算法其中之一。
  11. 如請求項9所述之模型生成方法，其中該第二最佳化演算法係一基因演算法及一粒子群最佳化演算法其中之一。
  12. 如請求項9所述之模型生成方法，其中該處理器係基於該等原始資料與該等輸出標籤間之一映射關係，計算進行該監督式學習訓練所生成之該模型之一精確度值。
  13. 如請求項12所述之模型生成方法，其中該處理器更透過該網路介面自一外部裝置接收該等原始資料及該等輸出標籤。
  14. 如請求項9所述之模型生成方法，其中該處理器基於該最佳化模型，產生一軟體開發套件，以供一外部裝置下載。
  15. 如請求項9所述之模型生成方法，其中該等特徵類別包含一運算特徵類別、一統計特徵類別、一能量特徵類別及一簡化特徵類別。
  16. 如請求項9所述之模型生成方法，其中該等模型演算法類別包含一馬可夫模型演算法類別、一貝氏演算法類別、一基於實例演算法類別、一神經網路演算法類別、一域轉換演算法類別、一模糊邏輯演算法類別以及一迴歸方法演算法類別。
TW106139490A 2017-11-15 2017-11-15 模型生成伺服器及其模型生成方法 TWI651664B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW106139490A TWI651664B (zh) 2017-11-15 2017-11-15 模型生成伺服器及其模型生成方法
CN201711226428.8A CN109784355A (zh) 2017-11-15 2017-11-29 模型生成服务器及其模型生成方法
US15/829,981 US10466982B2 (en) 2017-11-15 2017-12-03 Model building server and model building method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW106139490A TWI651664B (zh) 2017-11-15 2017-11-15 模型生成伺服器及其模型生成方法

Publications (2)

Publication Number Publication Date
TWI651664B true TWI651664B (zh) 2019-02-21
TW201923664A TW201923664A (zh) 2019-06-16

Family

ID=66213742

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106139490A TWI651664B (zh) 2017-11-15 2017-11-15 模型生成伺服器及其模型生成方法

Country Status (3)

Country Link
US (1) US10466982B2 (zh)
CN (1) CN109784355A (zh)
TW (1) TWI651664B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11062792B2 (en) 2017-07-18 2021-07-13 Analytics For Life Inc. Discovering genomes to use in machine learning techniques
US11139048B2 (en) 2017-07-18 2021-10-05 Analytics For Life Inc. Discovering novel features to use in machine learning techniques, such as machine learning techniques for diagnosing medical conditions
TWI670628B (zh) * 2017-11-15 2019-09-01 財團法人資訊工業策進會 動作評量模型生成裝置及其動作評量模型生成方法
CN108764487B (zh) * 2018-05-29 2022-07-08 北京百度网讯科技有限公司 用于生成模型的方法和装置、用于识别信息的方法和装置
US10699044B2 (en) * 2018-07-13 2020-06-30 International Business Machines Corporation Integrated circuit design model splitting for formal verification
KR20200046145A (ko) * 2018-10-15 2020-05-07 펑션베이(주) 예측 모델 훈련 관리 시스템, 예측 모델 훈련 관리 방법, 예측 모델 학습 관리를 위한 마스터 장치 및 슬레이브 장치
US10635437B1 (en) * 2019-04-25 2020-04-28 Capital One Services, Llc Techniques to deploy an application as a cloud computing service
WO2021007812A1 (zh) * 2019-07-17 2021-01-21 深圳大学 一种深度神经网络超参数优化方法、电子设备及存储介质
TWI769418B (zh) * 2019-12-05 2022-07-01 財團法人工業技術研究院 深度神經網路超參數選擇方法及電子裝置
TWI733270B (zh) * 2019-12-11 2021-07-11 中華電信股份有限公司 機器學習模型的最佳超參數組態的訓練裝置和訓練方法
CN111382875A (zh) * 2020-03-06 2020-07-07 深圳前海微众银行股份有限公司 联邦模型参数确定方法、装置、设备及存储介质
US11203361B2 (en) * 2020-05-05 2021-12-21 StradVision, Inc. Method for performing on-device learning of machine learning network on autonomous vehicle by using multi-stage learning with adaptive hyper-parameter sets and device using the same
CN115774577A (zh) * 2021-09-03 2023-03-10 中国科学院深圳先进技术研究院 一种Spark GraphX参数调优方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5946673A (en) * 1996-07-12 1999-08-31 Francone; Frank D. Computer implemented machine learning and control system
US8209271B1 (en) * 2011-08-15 2012-06-26 Google Inc. Predictive model training on large datasets
CN105335519A (zh) * 2015-11-18 2016-02-17 百度在线网络技术（北京）有限公司 模型生成方法及装置、推荐方法及装置
CN105912500A (zh) * 2016-03-30 2016-08-31 百度在线网络技术（北京）有限公司 机器学习模型生成方法和装置
TW201737115A (zh) * 2016-02-29 2017-10-16 Alibaba Group Services Ltd 一種機器學習系統的訓練方法和訓練系統

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104537382A (zh) 2015-01-12 2015-04-22 杭州电子科技大学 基于遗传算法优化支持向量机的肌电信号步态识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5946673A (en) * 1996-07-12 1999-08-31 Francone; Frank D. Computer implemented machine learning and control system
US8209271B1 (en) * 2011-08-15 2012-06-26 Google Inc. Predictive model training on large datasets
CN105335519A (zh) * 2015-11-18 2016-02-17 百度在线网络技术（北京）有限公司 模型生成方法及装置、推荐方法及装置
TW201737115A (zh) * 2016-02-29 2017-10-16 Alibaba Group Services Ltd 一種機器學習系統的訓練方法和訓練系統
CN105912500A (zh) * 2016-03-30 2016-08-31 百度在线网络技术（北京）有限公司 机器学习模型生成方法和装置

Also Published As

Publication number Publication date
US20190146759A1 (en) 2019-05-16
CN109784355A (zh) 2019-05-21
TW201923664A (zh) 2019-06-16
US10466982B2 (en) 2019-11-05

Similar Documents

Publication Publication Date Title
TWI651664B (zh) 模型生成伺服器及其模型生成方法
US11823028B2 (en) Method and apparatus for quantizing artificial neural network
Wang et al. Online bagging and boosting for imbalanced data streams
US20190279075A1 (en) Multi-modal image translation using neural networks
US20240303494A1 (en) Method for few-shot unsupervised image-to-image translation
US20200372344A1 (en) Training a neural network model
TW202137072A (zh) 建構與操作人工循環神經網路之方法
US11468313B1 (en) Systems and methods for quantizing neural networks via periodic regularization functions
US20220101121A1 (en) Latent-variable generative model with a noise contrastive prior
US20200074296A1 (en) Learning to search deep network architectures
Sethi et al. KDRuleEx: A novel approach for enhancing user comprehensibility using rule extraction
Zhang et al. Adaptive filter pruning via sensitivity feedback
Liu et al. Deep Boltzmann machines aided design based on genetic algorithms
WO2021234365A1 (en) Optimising a neural network
KR102154425B1 (ko) 인공지능 학습을 위한 유사데이터 생성 방법 및 장치
KR20230073138A (ko) 유사 컨텐츠 제공 기법
Takhirov et al. Energy-efficient adaptive classifier design for mobile systems
WO2022197615A1 (en) Techniques for adaptive generation and visualization of quantized neural networks
Bennequin Meta-learning algorithms for few-shot computer vision
Akbar et al. Optimizing Software Defect Prediction Models: Integrating Hybrid Grey Wolf and Particle Swarm Optimization for Enhanced Feature Selection with Popular Gradient Boosting Algorithm
Wang et al. SignADAM++: Learning confidences for deep neural networks
Joslyn et al. Deep segment hash learning for music generation
Nguyen et al. A novel online Bayes classifier
KR102303626B1 (ko) 단일 이미지에 기반하여 비디오 데이터를 생성하기 위한 방법 및 컴퓨팅 장치
US20240062064A1 (en) Artificial Intelligence Computing Systems for Efficiently Learning Underlying Features of Data