TWI837899B - 基於樹的機器學習模型的縮減方法與使用該方法的電子裝置 - Google Patents

基於樹的機器學習模型的縮減方法與使用該方法的電子裝置 Download PDF

Info

Publication number
TWI837899B
TWI837899B TW111140345A TW111140345A TWI837899B TW I837899 B TWI837899 B TW I837899B TW 111140345 A TW111140345 A TW 111140345A TW 111140345 A TW111140345 A TW 111140345A TW I837899 B TWI837899 B TW I837899B
Authority
TW
Taiwan
Prior art keywords
subtree
subtrees
model
tree
importance
Prior art date
Application number
TW111140345A
Other languages
English (en)
Other versions
TW202418151A (zh
Inventor
陳世璋
葉肇鈞
Original Assignee
財團法人工業技術研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院 filed Critical 財團法人工業技術研究院
Priority to TW111140345A priority Critical patent/TWI837899B/zh
Priority to US18/077,173 priority patent/US20240232692A9/en
Priority to CN202310029927.7A priority patent/CN117933338A/zh
Application granted granted Critical
Publication of TWI837899B publication Critical patent/TWI837899B/zh
Publication of TW202418151A publication Critical patent/TW202418151A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本揭露提供一種基於樹的機器學習模型的縮減方法與使用該方法的電子裝置。獲取包括多個子樹的提升樹模型。根據提升樹模型的多個模型特徵分別對應的特徵重要性資訊，決定各個子樹的子樹重要性。根據各個子樹的子樹重要性，自多個子樹中擷取出至少一連續樹子集合，其中至少一連續樹子集合包括多個子樹其中至少一者。根據至少一連續樹子集合獲取提升樹模型的至少一經縮減提升樹模型。

Description

基於樹的機器學習模型的縮減方法與使用該方法的電子裝置
本揭露是有關於一種基於樹的機器學習模型的縮減方法與使用該方法的電子裝置。
決策樹是一種具有樹狀結構的監督式機器學習模型。決策樹不僅直觀且執行效率也相當高，更可用以處理分類問題或迴歸問題，因此其應用範圍相當廣泛。另一方面，集成式學習（Ensemble learning）中的提升（Boosting）方法是一種常用的統計學習方法，其是一種可將弱分類器轉換為強分類器的機器學習演算法。目前來說，提升方法可用以對多個決策樹進行線性組合，從而建立出預測結果更準確的提升樹（Boosting tree）模型。由於提升樹模型具有優異的預測準確率，因此受到相當的重視。
此外，基於樹的機器學習模型（例如提升樹模型）較神經網路模型更適合部署在運算資源受限的硬體上，例如工業控制實際場域的嵌入式設備。但是，當實際場域的網路流量突然增加，將導致基於樹的機器學習模型處理不及，使得工控惡意威脅風險提高。於是，為了加快模型推論速度，可對基於樹的機器學習模型進行縮減處理，從而降低工控惡意威脅風險。以提升樹模型來說，提升樹模型的縮減可於模型訓練過程中進行，也可於訓練完畢之後進行。
當要於模型訓練過程中縮減提升樹模型時，可對提升樹模型進行剪枝（Pruning）處理，像是限制樹結構的高度、寬度或葉數量。然而，在完成提升樹模型的訓練之後，一旦提升樹模型的應用實際場域出現非預期變化（例如網路流量突增或場域硬體更換等），剪枝處理是無法被施展的。另一方面，當要於模型訓練完畢之後縮減提升樹模型，可對提升樹模型進行量化（Quantization）處理或切片選擇（Slicing Selection）處理。然而，雖然對已經訓練完成的提升樹模型進行節點與葉值量化可讓提升樹模型縮減，但將造成提升樹模型的準確度降低。此外，雖然對已經訓練完成的提升樹模型進行切片選擇（Slicing Selection）處理可縮減提升樹模型，但有可能獲取準確度較低的樹子集合。若要對所有樹子集合進行評估相當耗時。
本揭露提供一種基於樹的機器學習模型的縮減方法與使用該方法的電子裝置，其可有效率地對訓練完成的提升樹模型進行縮減，並獲取推論準確度良好的經縮減提升樹模型。
本揭露提供一種基於樹的機器學習模型的縮減方法，包括下列步驟。獲取包括多個子樹的提升樹模型（boosting tree model）。根據提升樹模型的多個模型特徵分別對應的特徵重要性資訊，決定各個子樹的子樹重要性。根據各個子樹的子樹重要性，自多個子樹中擷取出至少一連續樹子集合，其中至少一連續樹子集合包括多個子樹其中至少一者。根據至少一連續樹子集合獲取提升樹模型的至少一經縮減提升樹模型。
本揭露提供一種電子裝置，包括儲存裝置與處理器。儲存裝置記錄有多個指令。處理器耦接儲存裝置，且存取和執行前述指令而經配置以執行下列步驟。獲取包括多個子樹的提升樹模型。根據提升樹模型的多個模型特徵分別對應的特徵重要性資訊，決定各個子樹的子樹重要性。根據各個子樹的子樹重要性，自多個子樹中擷取出至少一連續樹子集合，其中至少一連續樹子集合包括多個子樹其中至少一者。根據至少一連續樹子集合獲取提升樹模型的至少一經縮減提升樹模型。
基於上述，於本揭露實施例中，提升樹模型的各子樹的子樹重要性可根據多個模型特徵各自的特徵重要性資訊來決定。於是，各子樹的子樹重要性可用以從連續的子樹中獲取至少一連續樹子集合，而據以獲取提升樹模型的至少一經縮減提升樹模型。基此，本揭露實施例不僅可針對已經訓練完成的提升樹模型進行有效率地模型縮減，還可獲取準確度良好的經縮減提升樹模型。
本揭露的部份範例實施例接下來將會配合附圖來詳細描述，以下的描述所引用的元件符號，當不同附圖出現相同的元件符號將視為相同或相似的元件。這些範例實施例只是本揭露的一部份，並未揭示所有本揭露的可實施方式。更確切的說，這些範例實施例僅為本揭露的專利申請範圍中的方法以及裝置的範例。
圖1是依據本發明一實施例繪示的電子裝置的示意圖。請參照圖1，電子裝置100可包含儲存裝置110、處理器120、收發器130，以及顯示器140。電子裝置100例如為電腦設備、伺服器或其他具有運算能力的計算機裝置。
儲存裝置110例如是任何型態的固定式或可移動式的隨機存取記憶體（random access memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體（flash memory）、硬碟（hard disk drive，HDD）、固態硬碟（solid state drive，SSD）或類似元件或上述元件的組合，而用於儲存可由處理器120執行的多個指令、程式碼、軟體模組或各種應用程式。
處理器120例如是中央處理單元（central processing unit，CPU），或是其他可程式化之一般用途或特殊用途的微控制單元（micro control unit，MCU）、微處理器（microprocessor）、數位信號處理器（digital signal processor，DSP）、可程式化控制器、特殊應用積體電路（application specific integrated circuit，ASIC）、圖形處理器（graphics processing unit，GPU）、複雜可程式邏輯裝置（complex programmable logic device，CPLD）、現場可程式化邏輯閘陣列（field programmable gate array，FPGA）或其他類似元件或上述元件的組合。
收發器130以無線或有線的方式傳送及接收訊號。收發器130還可以執行例如低噪聲放大、阻抗匹配、混頻、向上或向下頻率轉換、濾波、放大或類似的操作。
顯示器140可以是液晶顯示器（Liquid Crystal Display，LCD）、發光二極體（Light Emitting Diode，LED）顯示器、有機發光二極體（Organic Light Emitting Diode，OLED）等各類型的顯示器，本發明對此不限制。
處理器120可耦接儲存裝置110、收發器130與顯示器140，並且存取和執行儲存於儲存裝置110中的多個指令、程式碼、軟體模組或各種應用程式，以實現本揭露提出的基於樹的機器學習模型的縮減方法，其細節詳述於後文。
圖2是依據本揭露一實施例繪示的基於樹的機器學習模型的縮減方法的流程圖。請參照圖2，本實施例的方法適用於圖1的電子裝置100，以下即搭配圖1所示的元件說明圖2各步驟的細節。
於步驟S210，處理器120獲取包括多個子樹的提升樹模型。於此，處理器120所獲取的提升樹模型已經基於訓練資料集而完成訓練。於一些實施例中，使用者裝置可透過網路或任意資料傳輸介面上傳訓練完畢的提升樹模型至電子裝置100。對應的，處理器120可透過收發器130來獲取提升樹模型。
須特別說明的是，處理器120所獲取之訓練完畢的提升樹模型包括多個子樹。這些子樹分別為決策樹且依序被串連為提升樹模型。基於的提升樹模型的提升學習原理，這些子樹依序生成而具有特定順序關係。也就是說，提升樹模型中的各個子樹具有專屬的序號。並且，本揭露對於子樹的數目並不限制，且本揭露也對這些子樹的分類類別數量並不限制。提升樹模型例如是梯度提升樹（Gradient Boosting tree）或極限梯度提升（eXtreme Gradient Boosting tree，XGBoost tree）等等，但本揭露不限制於此。
於步驟S220，處理器120根據提升樹模型的多個模型特徵分別對應的特徵重要性資訊，決定各個子樹的子樹重要性。詳細來說，於模型訓練階段，這些子樹所應用的決策樹演算法可根據訓練資料集決定用以建立這些子樹的多個模型特徵。上述決策樹演算法例如是ID3、C4.5、CART或CHAID等等，但本揭露不限制於此。在提升樹模型訓練完成之後，這些模型特徵的特徵重要性資訊也對應地產生。這些模型特徵的特徵重要性資訊可包括特徵重要性與特徵使用次數等等。於一些實施例中，特徵重要性資訊與提升樹模型將一併被提供給處理器120。於是，處理器120可根據這些模型特徵的特徵重要性資訊來決定各個子樹的子樹重要性。也就是說，各個子樹的子樹重要性是根據各個子樹所使用的模型特徵的特徵重要性資訊來決定。
於步驟S230，處理器120根據各個子樹的子樹重要性，自多個子樹中擷取出至少一連續樹子集合。此連續樹子集合包括多個子樹其中至少一者。也就是說，連續樹子集合是根據各個子樹的子樹重要性而決定。於一些實施例中，處理器120可對這些子樹進行切片選擇來產生至少一連續樹子集合。此外，於一些實施例中，處理器120可根據各個子樹的子樹重要性來決定這些子樹中的重要子樹與不重要子樹。之後，處理器120可根據重要子樹或不重要子樹而從這些子樹中擷取出至少一連續樹子集合，而各個連續樹子集合可包括一個子樹或多個連續子樹。舉例而言，假設原始的提升樹模型包括10顆子樹，其為子樹#1～子樹#10，而連續樹子集合可包括5顆子樹，其分別為子樹#2～子樹#6。
接著，於步驟S240，處理器120根據至少一連續樹子集合獲取提升樹模型的至少一經縮減提升樹模型。於一些實施例中，處理器120可根據各個連續樹子集合的模型效能分數與/或模型檔案大小來保留至少一連續樹子集合其中之部份，從而獲取提升樹模型的至少一經縮減提升樹模型。處理器120可利用經縮減提升樹模型根據網路傳輸資料產生推論結果。須說明的是，處理器120可使用測試資料集對基於子樹重要性擷取的各個連續樹子集合進行模型測試，以獲取各個連續樹子集合的模型效能分數。基此，本揭露實施例不僅可有效率地完成提升樹模型的縮減，且經縮減提升樹模型亦具有良好的模型效能。並且，經縮減提升樹模型可由工業控制設備中的嵌入晶片來使用。如此一來，當處理器120根據網路傳輸資料輸入至經縮減提升樹模型來產生推論結果時，處理速度可有效提昇而縮減處理時間，因而可避免網路流量攻擊造成工業控制設備故障。
圖3是依據本揭露一實施例繪示的基於樹的機器學習模型的縮減方法的流程圖。請參照圖3，本實施例的方法適用於圖1的電子裝置100，以下即搭配圖1所示的元件說明圖3各步驟的細節。
於步驟S310，處理器120獲取包括多個子樹的提升樹模型。於步驟S320，處理器120根據提升樹模型的多個模型特徵分別對應的特徵重要性資訊，決定各個子樹的子樹重要性。於一些實施例中，步驟S320可實施為步驟S321～步驟S323。
於步驟S321，處理器120獲取提升樹模型的各個模型特徵的特徵重要性（feature importance）。於一些實施中，各個模型特徵的特徵重要性可根據基尼指數（Gini index）或信息增益（information gain）而決定，處理器120可透過收發器130獲取使用者裝置上傳的各個模型特徵的特徵重要性。舉例而言，透過使用程式語言Python的XGBoost package，提升樹模型中各子樹的模型特徵的特徵重要性資訊可被產生，而模型特徵的特徵重要性資訊包括特徵重要性與特徵使用次數。
於步驟S322，處理器120根據各個模型特徵的特徵重要性，自多個模型特徵挑選出至少一重要模型特徵。本揭露對於重要模型特徵的數量並不限制，其可視實際應用來決定。處理器120可挑選出具有較高特徵重要性的模型特徵作為重要模型特徵。
於一些實施中，處理器120可對各個模型特徵的特徵重要性進行統計運算而獲取一特徵重要性統計值。統計運算例如是平均值計算、取中位數或取四分位數等等。接著，處理器120可根據特徵重要性統計值挑選出至少一重要模型特徵。此重要模型特徵的特徵重要性大於特徵重要性統計值。舉例而言，表1為多個模型特徵的特徵重要性的範例。 表1
模型特徵 特徵重要性
特徵＃0 0.00017103
特徵＃1 0.00046922
特徵＃2 0.0
… …
特徵＃11 0.0000870
特徵＃12 0.20689587
特徵＃13 0.0
特徵＃14 0.0008967
特徵＃15 0.0004862
… …
特徵＃21 0.39506018
… …
特徵＃77 0.0
特徵＃78 0.0
根據表1，處理器120可計算出79個模型特徵的特徵重要性的平均值A1。由於特徵＃12與特徵＃21的特徵重要性都大於平均值A1，因此處理器120可挑選特徵＃12與特徵＃21作為重要模型特徵。
於其他些實施例中，處理器120可根據各個模型特徵的特徵重要性進行排序，並選擇前N名模型特徵作為重要模型特徵。舉例而言，處理器120可選取特徵重要性排序前5名的模型特徵作為重要模型特徵。
於步驟S323，處理器120根據至少一重要模型特徵的特徵重要性資訊，決定各個子樹的子樹重要性。
於一些實施例中，處理器120可根據各子樹是否使用這些重要模型特徵與重要模型特徵的特徵重要性來決定各個子樹的子樹重要性。若某一子樹有使用多個重要模型特徵，處理器120可加總該子樹所使用的重要模型特徵的特徵重要性作為子樹重要性。
於一些實施中，處理器120可獲取由各個子樹使用各個模型特徵的一特徵使用次數。接著，處理器120可根據各個子樹使用至少一重要模型特徵的特徵使用次數與至少一重要模型特徵的特徵重要性，決定各個子樹的子樹重要性。舉例而言，針對各個子樹，處理器120可根據重要模型特徵的特徵重要性與特徵使用次數的乘積來產生子樹重要性。舉例而言，表2為子樹#1的多個模型特徵的特徵使用次數的範例。 表2
模型特徵 特徵使用次數
特徵＃21 1
特徵＃23 2
特徵＃1 2
… …
特徵＃25 2
特徵＃9 1
特徵＃12 2
特徵＃3 4
特徵＃62 1
參照表1與表2，假設重要模型特徵為特徵＃12與特徵＃21。處理器120可將特徵＃12的特徵重要性「0.20689587」乘上特徵使用次數「2」而獲取第一數值「0.20689587*2」。處理器120可將特徵＃21的特徵重要性「0.39506018」乘上特徵使用次數「1」而獲取第二數值「0.39506018*1」。接著，處理器120可累加第一數值「0.20689587*2」與第二數值「0.39506018*1」來產生子樹#1的子樹重要性「0.80885192」。
於步驟S330，處理器120根據各個子樹的子樹重要性，自多個子樹中擷取出至少一連續樹子集合。於一些實施例中，步驟S330可實施為步驟S331～步驟S332。
於步驟S331，處理器120根據各個子樹的子樹重要性，自多個子樹挑選出至少一重要子樹。也就是說，處理器120可根據各個子樹的子樹重要性挑選多個子樹其中至少一作為至少一重要子樹。
於一些實施例中，處理器120可對各個子樹的子樹重要性進行統計運算而獲取子樹重要性統計值。上述統計運算例如是平均運算、取中位數或取四分位數等等。處理器120可根據此子樹重要性統計值挑選出至少一重要子樹，此重要子樹的子樹重要性大於子樹重要性統計值。舉例而言，表3為10個子樹的子樹重要性的範例。 表3
子樹 子樹重要性
子樹＃1 0.80885192
子樹＃2 0.80885192
子樹＃3 0.60195605
子樹＃4 0.60195605
子樹＃5 0.60195605
子樹＃6 0.80885192
子樹＃7 0.60195605
子樹＃8 0.60195605
子樹＃9 1.01574780
子樹＃10 0.60195605
參照表3，處理器120可對子樹#1～子樹#10的子樹重要性進行平均運算而獲取平均值「0.7054039」。接著，由於子樹#1、子樹#2、子樹#6、子樹#9的子樹重要性皆大於平均值「0.7054039」，因此處理器120可選擇子樹#1、子樹#2、子樹#6、子樹#9作為重要子樹。
於一些實施例中，提升樹模型的子樹包括多個第一子樹，且各個第一子樹的子樹重要性小於子樹重要性統計值。當這些第一子樹的子樹重要性彼此相同且多個第一子樹的子樹數目大於等於一門檻值，處理器120可選擇多個第一子樹其中之一作為重要子樹。假設子樹總數為M，上述門檻值可例如為M/2或M/3，但本揭露不限制於此。若以表3為例，子樹#3、子樹#4、子樹#5、子樹#7、子樹#8、子樹#10的子樹重要性都小於平均值「0.7054039」。由於子樹#3、子樹#4、子樹#5、子樹#7、子樹#8、子樹#10的子樹重要性且彼此相同（都為「0.60195605」）且子樹#3、子樹#4、子樹#5、子樹#7、子樹#8、子樹#10的子樹數目大於門檻值「5」，因此處理器120可選擇子樹#3、子樹#4、子樹#5、子樹#7、子樹#8、子樹#10其中之一作為重要子樹。舉例而言，處理器120可選擇子樹#10作為重要子樹。
此外，於一些實施例中，由於所有子樹都是基於初始子樹（序號為1的子樹）而產生，因此處理器120可直接選擇這些子樹的一初始子樹作為一重要子樹。也就是說，即便初始子樹的子樹重要性小於子樹重要性統計值，處理器120依然選擇初始子樹作為重要子樹。
於步驟S332，處理器120根據至少一重要子樹對多個子樹進行切片選擇而獲取至少一連續樹子集合。
於一些實施例中，透過將至少一重要子樹作為一開頭子樹或一結尾子樹，處理器120可對多個子樹進行切片選擇。於此，連續樹子集合的開頭子樹或結尾子樹為重要子樹。以表3為例繼續說明，假設處理器120選擇子樹#1、子樹#2、子樹#6、子樹#9、子樹#10作為重要子樹。透過將子樹#1、子樹#2、子樹#6、子樹#9、子樹#10作為連續樹子集合的開頭子樹或結尾子樹，處理器120可擷取到多個連續樹子集合。
舉例而言，透過以子樹#1作為連續樹子集合的開頭子樹，處理器120可獲取10個連續樹子集合，其分別為{子樹#1}、{子樹#1～子樹#2}、{子樹#1～子樹#3}、{子樹#1～子樹#4}、{子樹#1～子樹#5}、{子樹#1～子樹#6}、{子樹#1～子樹#7}、{子樹#1～子樹#8}、{子樹#1～子樹#9}、{子樹#1～子樹#10}。須特別說明的是，因為連續樹子集合{子樹#1～子樹#10}為原始模型，因此處理器120將不選擇連續樹子集合{子樹#1～子樹#10}進行後續模型效能測試，亦不會將連續樹子集合{子樹#1～子樹#10}作為經縮減提升樹模型。此外，透過以子樹#2作為連續樹子集合的開頭子樹，處理器120可獲取9個連續樹子集合，其分別為{子樹#2}、{子樹#2～子樹#3}、{子樹#2～子樹#4}、{子樹#2～子樹#5}、{子樹#2～子樹#6}、{子樹#2～子樹#7}、{子樹#2～子樹#8}、{子樹#2～子樹#9}、{子樹#2～子樹#10}。依此類推。
舉例而言，透過以子樹#6作為連續樹子集合的結尾子樹，處理器120可獲取6個連續樹子集合，其分別為{子樹#1～子樹#6}、{子樹#2～子樹#6}、{子樹#3～子樹#6}、{子樹#4～子樹#6}、{子樹#5～子樹#6}、{子樹#6}。依此類推。處理器120可將子樹#1、子樹#2、子樹#6、子樹#9、子樹#10作為連續樹子集合的結尾子樹而獲取多個連續樹子集合。
於一些實施例中，處理器120可自多個子樹排除至少一重要子樹而獲取至少一不重要子樹。透過避開將至少一不重要子樹作為開頭子樹或結尾子樹，處理器120可對多個子樹進行切片選擇。於此，連續樹子集合的開頭子樹或結尾子樹非為不重要子樹。以表3為例繼續說明，假設處理器120選擇子樹#1、子樹#2、子樹#6、子樹#9、子樹#10作為重要子樹。處理器120可自多個子樹排除上述重要子樹而獲取至少一不重要子樹。也就是說，處理器120可判定子樹#3、子樹#4、子樹#5、子樹#7、子樹#8為不重要子樹。
於是，透過避開將子樹#3、子樹#4、子樹#5、子樹#7、子樹#8作為連續樹子集合的開頭子樹或結尾子樹，處理器120可擷取到多個連續樹子集合。於一些實施例中，處理器120可排除以子樹#3、子樹#4、子樹#5、子樹#7、子樹#8為開頭子樹的不重要集合來對這些子樹進行切片選擇。舉例而言，處理器120可基於排除以子樹#3為開頭子樹的不重要集合{子樹#3}、{子樹#3～子樹#4}、{子樹#3～子樹#5}、{子樹#3～子樹#6}、{子樹#3～子樹#7}、{子樹#3～子樹#8}、{子樹#3～子樹#9}、{子樹#3～子樹#10}來對這些子樹進行切片選擇。依此類推。
接著，於步驟S340，處理器120根據至少一連續樹子集合獲取提升樹模型的至少一經縮減提升樹模型。於一些實施例中，步驟S340可實施為步驟S341～步驟S342。
於步驟S341，處理器120獲取各連續樹子集合的模型效能分數。處理器120可使用測試資料集對基於重要子樹而獲取的連續樹子集合進行模型效能測試。當處理器120對某一連續樹子集合進行模型效能測試，處理器120可將測試資料集中的多筆輸入資料輸入至該連續樹子集合以分別獲取多筆模型預測結果。之後，處理器120可根據這些模型預測結果與對應的真實解答來獲取該連續樹子集合的模型效能。
於一些實施例中，當提升樹模型用以處理分類問題時，各個連續樹子集合的模型效能分數可為F1分數（F1-Score）、準確率（Accuracy）、召回率（Recall）或精確度（Precision）。於一些實施例中，當提升樹模型用以處理迴歸問題時，各個連續樹子集合的模型效能分數可為均方根誤差（Root Mean Squared Error，RMSE）、平均絕對誤差（Mean Absolute Error，MAE）或平均絕對百分比誤差（Mean Absolute Percentage Error，MAPE）。
於步驟S342，處理器120根據各連續樹子集合的模型效能分數，選擇至少一連續樹子集合其中之至少一者作為至少一經縮減提升樹模型。具體而言，在分別對這些連續樹子集合進行模型效能測試之後，處理器120可選擇連續樹子集合其中一或多者作為經縮減提升樹模型。
於一些實施例中，處理器120可比較各個連續樹子集合的模型效能分數與原始提升樹模型的模型效能分數，以從這些連續樹子集合選擇出一或多個第一連續樹子集合作為經縮減提升樹模型。其中，這些經縮減提升樹模型的模型效能分數高於原始提升樹模型的模型效能分數。
於一些實施例中，處理器120還可根據各個連續樹子集合的檔案大小，以從這些連續樹子集合選擇出一或多個第一連續樹子集合作為經縮減提升樹模型。舉例而言，這些經縮減提升樹模型的檔案大小小於一門檻值。
於一些實施例中，處理器120可直接選擇所有的連續樹子集合作為至少一經縮減提升樹模型。
最後，於步驟S350，處理器120控制顯示器140經由一操作介面顯示經縮減提升樹模型。於一些實施例中，操作介面還顯示有各個經縮減提升樹模型的檔案大小與對應的連續樹子集合，以供使用者查看。
綜上所述，本揭露實施例的方法中，可從訓練完畢的提升樹模型的子樹所使用的模型特徵挑選出重要模型特徵，並根據這些重要模型特徵去計算出各子樹的子樹重要性。於是，包括至少一子樹的連續樹子集合可根據各子樹的子樹重要性來產生。透過評估這些連續樹子集合的模型效能分數，可獲取準確度佳的經縮減提升樹模型。基此，本揭露實施例不僅可針對已經訓練完成的提升樹模型進行有效率地模型縮減，還可獲取準確度良好的經縮減提升樹模型。除此之外，本揭露方法所決定的經縮減提升樹模型適合各種不同情境需求，並可大幅提昇推論速度，可因應實際場域的非預期變化。如此一來，可降低工控惡意威脅風險。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
100:電子裝置
110:儲存裝置
120:處理器
130:收發器
140:顯示器
S210～S240, S310～S350, S321～S323, S331～S332, S341～S342:步驟
圖1是依據本揭露一實施例繪示的電子裝置的示意圖。 圖2是依據本發明一實施例繪示的基於樹的機器學習模型的縮減方法的流程圖。 圖3是依據本發明一實施例繪示的基於樹的機器學習模型的縮減方法的流程圖。
S210~S240:步驟

Claims (22)

  1. 一種基於樹的機器學習模型的縮減方法，適用於包括處理器的一電子裝置，包括：獲取包括多個子樹的一提升樹模型(boosting tree model)，其中各所述多個子樹根據特定順序關係而具有序號；根據所述提升樹模型的多個模型特徵分別對應的特徵重要性資訊，決定各所述多個子樹的子樹重要性；根據各所述多個子樹的所述子樹重要性，自所述多個子樹中擷取出至少一連續樹子集合，其中所述至少一連續樹子集合包括所述多個子樹其中至少一者，且各所述至少一連續樹子集合包括一個子樹或多個連續子樹；以及根據所述至少一連續樹子集合獲取所述提升樹模型的至少一經縮減提升樹模型，其中根據各所述多個子樹的所述子樹重要性，自所述多個子樹中擷取出所述至少一連續樹子集合的步驟包括：根據各所述多個子樹的所述子樹重要性，自所述多個子樹挑選出至少一重要子樹；以及根據所述至少一重要子樹與各所述多個子樹的序號對所述多個子樹進行切片選擇而獲取所述至少一連續樹子集合。
  2. 如請求項1所述的基於樹的機器學習模型的縮減方法，其中根據所述提升樹模型的所述多個模型特徵分別對應的所 述特徵重要性資訊，決定各所述多個子樹的所述子樹重要性的步驟包括：獲取所述提升樹模型的各所述多個模型特徵的一特徵重要性；根據各所述多個模型特徵的所述特徵重要性，自所述多個模型特徵挑選出至少一重要模型特徵；以及根據所述至少一重要模型特徵的所述特徵重要性資訊，決定各所述多個子樹的所述子樹重要性。
  3. 如請求項2所述的基於樹的機器學習模型的縮減方法，其中根據所述至少一重要模型特徵的所述特徵重要性資訊，決定各所述多個子樹的所述子樹重要性的步驟包括：獲取由各所述多個子樹使用各所述多個模型特徵的一特徵使用次數；以及根據各所述多個子樹使用所述至少一重要模型特徵的所述特徵使用次數與所述至少一重要模型特徵的所述特徵重要性，決定各所述多個子樹的所述子樹重要性。
  4. 如請求項2所述的基於樹的機器學習模型的縮減方法，其中根據各所述多個模型特徵的所述特徵重要性，自所述多個模型特徵挑選出所述至少一重要模型特徵的步驟包括：對各所述多個模型特徵的所述特徵重要性進行統計運算而獲取一特徵重要性統計值；以及根據所述特徵重要性統計值挑選出所述至少一重要模型特徵，其中所述至少一重要模型特徵的所述特徵重要性大於所述特徵重 要性統計值。
  5. 如請求項1所述的基於樹的機器學習模型的縮減方法，其中根據各所述多個子樹的所述子樹重要性，自所述多個子樹挑選出所述至少一重要子樹的步驟包括：對各所述多個子樹的所述子樹重要性進行統計運算而獲取一子樹重要性統計值；以及根據所述子樹重要性統計值挑選出所述至少一重要子樹，其中所述至少一重要子樹的所述子樹重要性大於所述子樹重要性統計值。
  6. 如請求項5所述的基於樹的機器學習模型的縮減方法，其中所述多個子樹包括多個第一子樹，且各所述多個第一子樹的所述子樹重要性小於所述子樹重要性統計值，根據各所述多個子樹的所述子樹重要性，自所述多個子樹挑選出所述至少一重要子樹的步驟包括：當所述多個第一子樹的所述子樹重要性彼此相同且所述多個第一子樹的子樹數目大於等於一門檻值，選擇所述多個第一子樹其中之一作為所述至少一重要子樹。
  7. 如請求項1所述的基於樹的機器學習模型的縮減方法，其中根據各所述多個子樹的所述子樹重要性，自所述多個子樹挑選出所述至少一重要子樹的步驟包括：選擇所述多個子樹的一初始子樹作為所述至少一重要子樹。
  8. 如請求項1所述的基於樹的機器學習模型的縮減方法，其中根據所述至少一重要子樹對所述多個子樹進行切片選擇而獲取所述至少一連續樹子集合的步驟包括：透過將所述至少一重要子樹作為一開頭子樹或一結尾子樹，對所述多個子樹進行切片選擇，其中所述至少一連續樹子集合的所述開頭子樹或所述結尾子樹為所述至少一重要子樹。
  9. 如請求項1所述的基於樹的機器學習模型的縮減方法，其中根據所述至少一重要子樹對所述多個子樹進行切片選擇而獲取所述至少一連續樹子集合的步驟包括：自所述多個子樹排除所述至少一重要子樹而獲取至少一不重要子樹；以及透過避開將所述至少一不重要子樹作為一開頭子樹或一結尾子樹，對所述多個子樹進行切片選擇，其中所述至少一連續樹子集合的所述開頭子樹或所述結尾子樹非為所述至少一不重要子樹。
  10. 如請求項1所述的基於樹的機器學習模型的縮減方法，其中根據所述至少一連續樹子集合獲取所述提升樹模型的所述至少一經縮減提升樹模型的步驟包括：獲取各所述至少一連續樹子集合的模型效能分數；以及根據各所述至少一連續樹子集合的所述模型效能分數，選擇所述至少一連續樹子集合其中之至少一者作為所述至少一經縮減提升樹模型。
  11. 如請求項1所述的基於樹的機器學習模型的縮減方法，更包括：經由一操作介面顯示所述經縮減提升樹模型。
  12. 一種電子裝置，包括：一儲存裝置，儲存多個指令；以及一處理器，耦接所述儲存裝置，且存取和執行所述多個指令而經配置以：獲取包括多個子樹的一提升樹模型，其中各所述多個子樹根據特定順序關係而具有序號；根據所述提升樹模型的多個模型特徵分別對應的特徵重要性資訊，決定各所述多個子樹的子樹重要性；根據各所述多個子樹的所述子樹重要性，自所述多個子樹中擷取出至少一連續樹子集合，其中所述至少一連續樹子集合包括所述多個子樹其中至少一者，且各所述至少一連續樹子集合包括一個子樹或多個連續子樹；以及根據所述至少一連續樹子集合獲取所述提升樹模型的至少一經縮減提升樹模型，所述處理器經配置以：根據各所述多個子樹的所述子樹重要性，自所述多個子樹挑選出至少一重要子樹；以及根據所述至少一重要子樹與各所述多個子樹的序號對所述多個子樹進行切片選擇而獲取所述至少一連續樹子集合。
  13. 如請求項12所述的電子裝置，其中所述處理器更經配置以：獲取所述提升樹模型的各所述多個模型特徵的一特徵重要性；根據各所述多個模型特徵的所述特徵重要性，自所述多個模型特徵挑選出至少一重要模型特徵；以及根據所述至少一重要模型特徵的所述特徵重要性資訊，決定各所述多個子樹的所述子樹重要性。
  14. 如請求項13所述的電子裝置，其中所述處理器經配置以：獲取由各所述多個子樹使用各所述多個模型特徵的一特徵使用次數；以及根據各所述多個子樹使用所述至少一重要模型特徵的所述特徵使用次數與所述至少一重要模型特徵的所述特徵重要性，決定各所述多個子樹的所述子樹重要性。
  15. 如請求項13所述的電子裝置，其中所述處理器經配置以：對各所述多個模型特徵的所述特徵重要性進行統計運算而獲取一特徵重要性統計值；以及根據所述特徵重要性統計值挑選出所述至少一重要模型特徵，其中所述至少一重要模型特徵的所述特徵重要性大於所述特徵重要性統計值。
  16. 如請求項12所述的電子裝置，其中所述處理器經配置以：對各所述多個子樹的所述子樹重要性進行統計運算而獲取一子樹重要性統計值；以及根據所述子樹重要性統計值挑選出所述至少一重要子樹，其中所述至少一重要子樹的所述子樹重要性大於所述子樹重要性統計值。
  17. 如請求項16所述的電子裝置，其中所述多個子樹包括多個第一子樹，且各所述多個第一子樹的所述子樹重要性小於所述子樹重要性統計值，所述處理器經配置以：當所述多個第一子樹的所述子樹重要性彼此相同且所述多個第一子樹的子樹數目大於等於一門檻值，選擇所述多個第一子樹其中之一作為所述至少一重要子樹。
  18. 如請求項12所述的電子裝置，其中所述處理器經配置以：選擇所述多個子樹的一初始子樹作為所述至少一重要子樹。
  19. 如請求項12所述的電子裝置，其中所述處理器經配置以：透過將所述至少一重要子樹作為一開頭子樹或一結尾子樹，對所述多個子樹進行切片選擇，其中所述至少一連續樹子集合的所述開頭子樹或所述結尾子樹為所述至少一重要子樹。
  20. 如請求項12所述的電子裝置，其中所述處理器經配置以：自所述多個子樹排除所述至少一重要子樹而獲取至少一不重要子樹；以及透過避開將所述至少一不重要子樹作為一開頭子樹或一結尾子樹，對所述多個子樹進行切片選擇，其中所述至少一連續樹子集合的所述開頭子樹或所述結尾子樹非為所述至少一不重要子樹。
  21. 如請求項12所述的電子裝置，其中所述處理器經配置以：獲取各所述至少一連續樹子集合的模型效能分數；以及根據各所述至少一連續樹子集合的所述模型效能分數，選擇所述至少一連續樹子集合其中之至少一者作為所述至少一經縮減提升樹模型。
  22. 如請求項12所述的電子裝置，其中所述處理器經配置以：經由一操作介面顯示所述經縮減提升樹模型。
TW111140345A 2022-10-25 2022-10-25 基於樹的機器學習模型的縮減方法與使用該方法的電子裝置 TWI837899B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW111140345A TWI837899B (zh) 2022-10-25 2022-10-25 基於樹的機器學習模型的縮減方法與使用該方法的電子裝置
US18/077,173 US20240232692A9 (en) 2022-10-25 2022-12-07 Method for tree-based machine learning model reduction and electronic device using the same
CN202310029927.7A CN117933338A (zh) 2022-10-25 2023-01-09 基于树的机器学习模型的缩减方法及电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW111140345A TWI837899B (zh) 2022-10-25 2022-10-25 基於樹的機器學習模型的縮減方法與使用該方法的電子裝置

Publications (2)

Publication Number Publication Date
TWI837899B true TWI837899B (zh) 2024-04-01
TW202418151A TW202418151A (zh) 2024-05-01

Family

ID=90761545

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111140345A TWI837899B (zh) 2022-10-25 2022-10-25 基於樹的機器學習模型的縮減方法與使用該方法的電子裝置

Country Status (3)

Country Link
US (1) US20240232692A9 (zh)
CN (1) CN117933338A (zh)
TW (1) TWI837899B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111291896A (zh) * 2020-02-03 2020-06-16 深圳前海微众银行股份有限公司 交互式随机森林子树筛选方法、装置、设备及可读介质
US20200194119A1 (en) * 2018-10-15 2020-06-18 Hangzhou New Horizon Health Technology Co., Ltd. Methods and systems for predicting or diagnosing cancer
US20210241140A1 (en) * 2020-02-05 2021-08-05 The Florida International University Board Of Trustees Hybrid methods and systems for feature selection
CN113554178A (zh) * 2020-04-24 2021-10-26 Sap欧洲公司 优化梯度提升特征选择
CN114882293A (zh) * 2022-05-31 2022-08-09 中国人民解放军战略支援部队信息工程大学 基于ais数据特征优选的随机森林船舶目标分类方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200194119A1 (en) * 2018-10-15 2020-06-18 Hangzhou New Horizon Health Technology Co., Ltd. Methods and systems for predicting or diagnosing cancer
CN111291896A (zh) * 2020-02-03 2020-06-16 深圳前海微众银行股份有限公司 交互式随机森林子树筛选方法、装置、设备及可读介质
US20210241140A1 (en) * 2020-02-05 2021-08-05 The Florida International University Board Of Trustees Hybrid methods and systems for feature selection
CN113554178A (zh) * 2020-04-24 2021-10-26 Sap欧洲公司 优化梯度提升特征选择
CN114882293A (zh) * 2022-05-31 2022-08-09 中国人民解放军战略支援部队信息工程大学 基于ais数据特征优选的随机森林船舶目标分类方法

Also Published As

Publication number Publication date
US20240232692A9 (en) 2024-07-11
TW202418151A (zh) 2024-05-01
CN117933338A (zh) 2024-04-26
US20240135244A1 (en) 2024-04-25

Similar Documents

Publication Publication Date Title
US10402249B2 (en) Method and apparatus for failure classification
Vistro et al. The cricket winner prediction with application of machine learning and data analytics
CN110442516B (zh) 信息处理方法、设备及计算机可读存储介质
US8355998B1 (en) Clustering and classification via localized diffusion folders
Cateni et al. A genetic algorithm-based approach for selecting input variables and setting relevant network parameters of a SOM-based classifier
CN108766461A (zh) 音频特征提取方法及装置
JP2024524795A (ja) グラフニューラルネットワークに基づく遺伝子表現型予測
CN112487146B (zh) 一种法律案件争议焦点获取方法、装置以及计算机设备
CN115293919A (zh) 面向社交网络分布外泛化的图神经网络预测方法及系统
TWI837899B (zh) 基於樹的機器學習模型的縮減方法與使用該方法的電子裝置
Meirom et al. Optimizing tensor network contraction using reinforcement learning
Zhang et al. Accurate Inference of Unseen Combinations of Multiple Rootcauses with Classifier Ensemble
Marques et al. Short-term feature space and music genre classification
Shi et al. Characterization of network complexity by communicability sequence entropy and associated Jensen-Shannon divergence
CN117197618A (zh) 图像分类模型训练数据选取方法、装置及图像分类方法
JP7306445B2 (ja) 異常検知装置、異常検知方法、及びプログラム
CN111753992A (zh) 筛选方法和筛选系统
CN116051268A (zh) 个人信用评价方法、系统、可读存储介质及计算机设备
CN111930935B (zh) 图像分类方法、装置、设备和存储介质
CN109585023B (zh) 数据处理方法和系统
US20200387811A1 (en) Systems and methods for neighbor frequency aggregation of parametric probability distributions with decision trees
JP4963341B2 (ja) 文書間関係可視化方法、可視化装置、可視化プログラム及びそのプログラムを記録した記録媒体
TW202115626A (zh) 適用於光譜儀的自動化模型訓練裝置和自動化模型訓練方法
US8930362B2 (en) System and method for streak discovery and prediction
CN118627624B (zh) 一种大模型的知识数据排列方法和系统