TWI807961B - 基於分布式集群的多層聯邦學習系統與方法 - Google Patents

基於分布式集群的多層聯邦學習系統與方法 Download PDF

Info

Publication number
TWI807961B
TWI807961B TW111130223A TW111130223A TWI807961B TW I807961 B TWI807961 B TW I807961B TW 111130223 A TW111130223 A TW 111130223A TW 111130223 A TW111130223 A TW 111130223A TW I807961 B TWI807961 B TW I807961B
Authority
TW
Taiwan
Prior art keywords
layer
federated learning
clusters
model
distributed
Prior art date
Application number
TW111130223A
Other languages
English (en)
Other versions
TW202407587A (zh
Inventor
薛榮銀
陳昆毅
蔡進發
張繼宇
蔡淵裕
Original Assignee
財團法人亞洲大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人亞洲大學 filed Critical 財團法人亞洲大學
Priority to TW111130223A priority Critical patent/TWI807961B/zh
Application granted granted Critical
Publication of TWI807961B publication Critical patent/TWI807961B/zh
Priority to US18/361,888 priority patent/US20240054352A1/en
Publication of TW202407587A publication Critical patent/TW202407587A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/098—Distributed learning, e.g. federated learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Pharmaceuticals Containing Other Organic And Inorganic Compounds (AREA)
  • Cosmetics (AREA)

Abstract

本發明係揭露一種基於分布式集群的多層聯邦學習方法，其包含下列步驟：計算每一非獨立同分布數據節點的一特徵分布相似性，依據該些特徵分布相似性將該些複數個非獨立同分布數據節點分組成包含有複數個集群的一聚合模型，使用一聯邦學習演算法更新在此聚合模型內之該些非獨立同分布數據節點之本地模型，並將此聚合模型輸入至一多層模型之聚合方法，當此多層模型之聚合方法輸出的分群結果達到一模型性能時，中止此多層模型之聚合方法之運作。此外，我們也利用區塊鏈技術完成此學習方法的系統實作，透過模型聚合模組、API模組、時序同步模組以及星際檔案系統的整合，證明本發明可以考慮到各節點之特徵分布相似性，能有效提升聯邦學習的效能。

Description

基於分布式集群的多層聯邦學習系統與方法
本發明係有關於一種聯邦學習方法，特別是一種基於分布式集群的多層聯邦學習方法，並透過區塊鏈技術完成此方法之系統實作。
傳統聯邦學習係使用集中式伺服器來進行全域模型的聚合，已知的聚合方法包括局部數據增強、全域數據共享、局部微調、訂製化層或客戶端集群等；然而，上述方法均未考慮到特徵分布相似性的量化程度，導致聯邦學習性能嚴重下降，但目前也尚無有效方式可量化各參與節點資料的特徵分布相似性。
傳統透過一數據集完成訓練人工智慧模型後，使用另一數據集進行測試時，此模型的正確率是不可預知的，此發明透過量化兩非獨立同分布數據集的特徵分布相似程度，能先行預測並有效提升訓練模型的強韌性。
綜觀前所述，本發明之發明人係思索並設計一種基於分布式集群的多層聯邦學習方法，以期針對習知技術之缺失加以改善，進而增進產業上之實施利用。
基於上述目的，本發明係提供一種基於分布式集群的多層聯邦學習方法，其包含下列步驟：計算每一非獨立同分布數據節點的一特徵分布相似性。依據該些特徵分布相似性將該些複數個非獨立同分布數據節點分組成包含有複數個集群的一聚合模型。使用一聯邦學習演算法更新在此聚合模型內之該些非獨立同分布數據節點之本地模型。將此聚合模型輸入至多層模型之聚合方法，其中在此多層模型之聚合方法中係包含以下a~d步驟。步驟a：設定此聚合模型之層數為i，其中i的數值等於1。步驟b：聚合在第i層之該些複數個集群，並輸出一分群結果。步驟c：若分群結果達到一模型性能時，輸出所述多層模型並停止執行。步驟d：否則，將i進行累加1，並將此分群結果輸入至第i層，再次執行步驟(b)。
較佳地，此特徵分布相似性係包含每一該些非獨立同分布數據節點之一特徵數量，此特徵數量可為資料分佈相異統計檢定分析各資料間有顯著差異特徵的數量，或為利用關聯性統計檢定分析各資料內部有顯著相關特徵的數量。
較佳地，此特徵分布相似性亦包含一特徵效果數值(Effect Size)，係針對上述該些資料間有顯著差異特徵的數量或資料內部有顯著相關特徵的數量，利用統計檢定運算後求得。
較佳地，特徵數量的取得可使用統計上的p值顯著。
較佳地，此特徵效果數值係包含平均值、標準差或是樣本數。
較佳地，透過所述特徵分布相似性，依據一非監督式學習將該些複數個非獨立同分布數據節點分組成複數個集群。
較佳地，該非監督式學習可包含K-means，Expectation-Maximization Algorithm，Gaussian Mixture Model，或是Bayesian Gaussian Mixture Model。
較佳地，每一集群內之該些非獨立同分布數據節點係具有近似之一特徵分布相似性。
較佳地，所述聯邦學習演算法係以每一集群為單位，並更新每一集群內之該些非獨立同分布數據節點之本地模型。
較佳地，達到模型性能係指包含當聚合所有集群成一全域集群時。
較佳地，此多層模型之聚合方法係支援以一區塊鏈網路技術來進行實現。透過模型聚合模組、API模組、時序同步模組以及星際檔案系統的整合，可證明本發明透過各節點之特徵分布相似性，有效提升聯邦學習的效能。
透過上述可以得知，本發明所提出之基於分布式集群的多層聯邦學習方法可達到以下兩個優點。
(1)透過本發明可以在不使用各數據節點上的原始資料的情況下，只使用該資料的分佈統計值即可量化出該數據的特徵相似程度，並利用此量化數值來進一步地設計基於分布式集群的多層聯邦學習方法。
(2)此種新的聯邦學習架構所學習的整體分布式特性可以通過區塊鏈來實現，以進一步提高其數據隱私和安全性。
為利貴審查員瞭解本發明之發明特徵、內容與優點及其所能達成之功效，茲將本發明配合附圖，並以實施例之表達形式詳細說明如下，而其中所使用之圖式，其主旨僅為示意及輔助說明書之用，未必為本發明實施後之真實比例與精準配置，故不應就所附之圖式的比例與配置關係解讀、侷限本發明於實際實施上的權利範圍。
本發明之優點、特徵以及達到之技術方法將參照例示性實施例及所附圖式進行更詳細地描述而更容易理解，且本發明可以不同形式來實現，故不應被理解僅限於此處所陳述的實施例，相反地，對所屬技術領域具有通常知識者而言，所提供的實施例將使本揭露更加透徹與全面且完整地傳達本發明的範疇，且本發明將僅為所附加的申請專利範圍所定義。
請參閱第1圖及第2圖，其係為本發明實施例之基於分布式集群的多層聯邦學習方法之第一流程圖及第二流程圖。如圖所示，本實施例係提出一種基於分布式集群的多層聯邦學習方法，其係包含下列步驟S11~S14。
步驟S11係計算每一非獨立同分布數據節點之一特徵分布相似性(feature distribution similarity)。
在本實施例中，步驟S11內的特徵分布相似性可包含每一非獨立同分布數據節點內之一特徵數量以及一特徵效果數值，其中特徵數量可為各資料間有顯著差異特徵的數量，或是各資料內部有顯著相關特徵的數量，而此特徵效果數值則可以包含上述特徵之一平均值、一標準差或是一樣本數。
步驟S12係依據該些特徵分布相似性將該些非獨立同分布數據節點分組成包含有複數個集群之一聚合模型，其中將非獨立同分布數據節點分組成不同集群的方式則可以依據一距離方程來進行分群，或是以常見的非監督式學習來進行分群，例如使用K-means，Expectation-Maximization Algorithm，Gaussian Mixture Model，或是Bayesian Gaussian Mixture Model等方法。
而值得一提的是，所有的非獨立同分布數據節點經由步驟S12進行分組之後，每一集群內的非獨立同分布數據節點係具有相對近似之一特徵分布相似性。
步驟S13係使用一聯邦學習演算法更新在此聚合模型內之該些非獨立同分布數據節點內之一本地模型，而透過每一集群內數據彼此相似的特性，可以使每一集群內的該些非獨立同分布數據節點呈現非獨立同分布差異的平滑分布。
步驟S14係將所述聚合模型輸入至一多層模型之聚合方法。
進一步地說明，請參閱第2圖，在步驟S14中，此多層模型之聚合方法更可包含以下子步驟S141~S144，茲敘述如下。
步驟S141係設定所述聚合模型之層數為i，並將i設定為1。
步驟S142係聚合在第i層之該些複數個集群，並輸出一分群結果。
步驟S143當該分群結果達到一模型性能時，輸出該多層模型並停止執行，而當無法達到所述模型性能時，執行步驟S144，其中此模型性能即指當所述的分群結果聚合成一全域集群時，而無法再行聚合出另一新的結果時。
步驟S144係將i進行累加1，並將此分群結果輸入至第i層，再次執行步驟S142。
請參閱第3A圖及第3B圖，其係為本發明實施例之基於分布式集群的多層聯邦學習方法之集群示意圖以及多層聯邦學習示意圖。如第3A圖所示，n1~n7分別表示一非獨立同分布數據節點，在習知技術中，此7個節點將會相互串接而執行一多層聯邦機制，其串接之方式即如圖中之節點與節點間之直線。而不同於習知之作法，本發明係先將此7個非獨立同分布數據節點進行分群，其分群之依據則是根據相互節點內的特徵分布相似性，若相似性高者則可分在同一集群內，其中此特徵分布相似性及分群之方式已於上述實施例中說明，故此處不再進行贅述。
在本實施例中，透過類似的特徵分布相似性，n1~n7可分群至三個集群，即集群1{n1, n2, n3}、集群2{n4, n5}以及集群3{n6, n7}，而此3個集群可再進一步的輸入至多層模型中，其示意圖如第3B圖所示，其中LM11表示集群1裡第1個非獨立同分布數據節點內的本地模型(Local Model)，而大寫的1表示節點索引，小寫的1則表示集群索引，CM1表示集群1內的分群模型(clustering model)，ILM1表示內部層級模型(inner-layer model)。
在本實施例中，每一個非獨立同分布數據節點會依據在集群的不同，來進一步地更新其內部的本地模型(即圖示中的LM11, LM21, …, LM73)，並於更新完畢之後，以集群為單位而輸入至多層模型中的第1層模型聚合，而在本實施例中，CM1可和CM2進行聚合並輸出至第2層模型聚合，以成為一ILM1，之後再由此ILM和CM3進行聚合並出第3層模型聚合，以成為一全域模型，而由於無法再與其他的集群進行聚合，此時此多層模型的聚合方法便會輸出此全域模型，並中止運作。
而可以理解的是，上述實施例係以3層來舉例實施，但不應以此為限，多層模型可視集群之個數及實際的聚合情況來決定其層數，而每一個非獨立同分布數據節點可以包含各種的數據樣本，例如不同國家或地區的人口數據、農產品數據或是不同種類的3C產品數據，再經由上述的特徵分布相似性進行分群，並利用分群結果來進行多層的聯邦學習。
值得一提的是，在本發明中，此多層模型之聚合方法可支援以一區塊鏈網路技術來實現，透過區塊鏈上的共識機制以及其不可竄改的特性，來進一步兼顧數據的隱私及安全性。此外，透過上述將非獨立同分布的量化程度考慮進局部模型的更新，亦有助於避免非獨立同分布數據在聯邦學習時之性能下降之問題。
請參閱第4圖，其係為本發明實施例之利用區塊鏈技術實作時之系統架構及所需模組。如圖所示，本區塊鏈網路技術之實現可透過模型聚合模組、API模組、時序同步模組以及星際檔案系統(IPFS)來達成。其中此模型聚合模組用於訓練模型以及合併模型，API模組負責與時序同步模組、模型聚合模組與IPFS進行網路通訊，時序同步模組包含智能合約，紀錄每個節點模型參數儲存的雜湊值。
上述聯邦學習架構需先由各個區塊鏈節點模型聚合模組進行特徵分布相似性的計算，透過API模組將數值傳輸至時序同步模組，由時序同步模組利用特徵相似性將區塊鏈節點分組，並開始由聯邦學習演算法進行更新本地模型及聚合模型。後續模型參數的傳遞則透過API模組從模型聚合模組取得，上傳至IPFS後，儲存其回傳之雜湊值至時序同步模組中，其他節點也透過API模組從時序同步模組獲得雜湊值，從IPFS中下載模型參數，並將模型參數傳至模型聚合模組中，不斷重複上述步驟直至模型聚合完畢，輸出全域模型。
請參閱第5圖，其係透過本發明取得之特徵分布相似性與測試正確率之關係實例。圖中共有五種以不同符號表示之資料集。若以資料及1訓練出一人工智慧模型，並直接將其應用至其餘五個資料集觀察其測試正確率，從圖可得知，透過本技術取得之特徵分布相似性與正確率有很明確的線性關係，若兩資料集的特徵相似性數值越高(越趨近於1)，人工智慧模型於該資料集的表現則越好。
以上所述之實施例僅係為說明本發明之技術思想及特點，其目的在使熟習此項技藝之人士能夠瞭解本發明之內容並據以實施，當不能以之限定本發明之專利範圍，即大凡依本發明所揭示之精神所作之均等變化或修飾，仍應涵蓋在本發明之專利範圍內。
S11,S12,S13,S14,S141,S142,S143,S144:步驟
第1圖係為本發明實施例之基於分布式集群的多層聯邦學習方法之第一流程圖。 第2圖係為本發明實施例之基於分布式集群的多層聯邦聯邦學習方法之第二流程圖。 第3A圖係為本發明實施例之基於分布式集群的多層聯邦聯邦學習方法之分群示意圖。 第3B圖係為本發明實施例之基於分布式集群的多層聯邦學習示意圖。 第4圖係為本發明實施例之利用區塊鏈技術實作時之系統架構及所需模組。 第5圖係為本發明所實作之系統應用於不同測試資料集之實證。
S11,S12,S13,S14:步驟

Claims (9)

  1. 一種基於分布式集群的多層聯邦學習方法，其包含：計算每一複數個非獨立同分布數據節點之一特徵分布相似性，其中該特徵分布相似性係包含每一該些非獨立同分布數據節點之一特徵數量以及一特徵效果數值；依據該些特徵分布相似性將該些複數個非獨立同分布數據節點分組成包含有複數個集群之一聚合模型；使用計算結果每一複數個非獨立同分布數據節點之一特徵分布相似性作為參數來更新聯邦學習演算法在該聚合模型內之該些非獨立同分布數據節點之本地模型；以及將該聚合模型輸入至一多層模型之聚合方法，其中在該多層模型之聚合方法中係包含：a.設定該聚合模型之層數為i，並將i設定為1；b.聚合在第i層之該些複數個集群，並輸出一分群結果；c.若該分群結果達到一模型性能時，輸出該多層模型並停止執行；d.否則，將i進行累加1，並將此分群結果輸入至第i層，再次執行步驟(b)。
  2. 如請求項1所述之基於分布式集群的多層聯邦學習方法，其中該特徵分布相似性之計算，係以原始資料的分佈統計值取代原始資料求得。
  3. 如請求項1所述之基於分布式集群的多層聯邦學習方法，其中該特徵數量為各資料間有顯著差異特徵的數量，或是各資料內部有顯著相關特徵的數量。
  4. 如請求項1所述之基於分布式集群的多層聯邦學習方法，其中該特徵效果數值係包含平均值、標準差、或是樣本數。
  5. 如請求項1所述之基於分布式集群的多層聯邦學習方法，其中將該些複數個非獨立同分布數據節點利用非監督式學習分組成包含有複數個集群，其中該非監督式學習包含K-means，Expectation-Maximization Algorithm,Gaussian Mixture Model，或是Bayesian Gaussian Mixture Model。
  6. 如請求項1所述之基於分布式集群的多層聯邦學習方法，其中每一該複數個集群內之該些非獨立同分布數據節點係具有相對近似之特徵分布相似性。
  7. 如請求項1所述之基於分布式集群的多層聯邦學習方法，其中該聯邦學習演算法係以每一該複數個集群為單位，並更新每一該複數個集群內之該些非獨立同分布數據節點之本地模型。
  8. 如請求項1所述之基於分布式集群的多層聯邦學習方法，其中達到該模型性能係包含當聚合該些複數個集群成一全域集群時。
  9. 如請求項1所述之基於分布式集群的多層聯邦學習方法，其中該多層模型之聚合方法係支援以一區塊鏈網路技術來實現，且該區塊鏈網路技術之架構包含一模型聚合模組、一API模組、一時序同步模組以及一星際檔案系統(IPFS)。
TW111130223A 2022-08-11 2022-08-11 基於分布式集群的多層聯邦學習系統與方法 TWI807961B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW111130223A TWI807961B (zh) 2022-08-11 2022-08-11 基於分布式集群的多層聯邦學習系統與方法
US18/361,888 US20240054352A1 (en) 2022-08-11 2023-07-30 Computer implemented multi-layer federated learning method based on distributed clustering and non-transitory computer readable medium thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW111130223A TWI807961B (zh) 2022-08-11 2022-08-11 基於分布式集群的多層聯邦學習系統與方法

Publications (2)

Publication Number Publication Date
TWI807961B true TWI807961B (zh) 2023-07-01
TW202407587A TW202407587A (zh) 2024-02-16

Family

ID=88149135

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111130223A TWI807961B (zh) 2022-08-11 2022-08-11 基於分布式集群的多層聯邦學習系統與方法

Country Status (2)

Country Link
US (1) US20240054352A1 (zh)
TW (1) TWI807961B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW202123047A (zh) * 2019-12-09 2021-06-16 大陸商支付寶（杭州）信息技術有限公司 基於區塊鏈的模型聯合訓練方法及裝置
TW202123050A (zh) * 2019-12-12 2021-06-16 大陸商支付寶（杭州）信息技術有限公司 基於聯邦學習的孤立森林模型構建和預測方法和裝置
CN113780344A (zh) * 2021-08-05 2021-12-10 中山大学 一种基于层次聚类的联邦学习方法及系统
US20220083904A1 (en) * 2020-09-16 2022-03-17 International Business Machines Corporation Semantic learning in a federated learning system
CN114565774A (zh) * 2022-02-21 2022-05-31 辽宁师范大学 基于局部几何与全局结构联合学习的3d图卷积分类方法
US20220245459A1 (en) * 2021-02-02 2022-08-04 Samsung Electronics Co., Ltd. Method, system and apparatus for federated learning

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW202123047A (zh) * 2019-12-09 2021-06-16 大陸商支付寶（杭州）信息技術有限公司 基於區塊鏈的模型聯合訓練方法及裝置
TW202123050A (zh) * 2019-12-12 2021-06-16 大陸商支付寶（杭州）信息技術有限公司 基於聯邦學習的孤立森林模型構建和預測方法和裝置
US20220083904A1 (en) * 2020-09-16 2022-03-17 International Business Machines Corporation Semantic learning in a federated learning system
US20220245459A1 (en) * 2021-02-02 2022-08-04 Samsung Electronics Co., Ltd. Method, system and apparatus for federated learning
CN113780344A (zh) * 2021-08-05 2021-12-10 中山大学 一种基于层次聚类的联邦学习方法及系统
CN114565774A (zh) * 2022-02-21 2022-05-31 辽宁师范大学 基于局部几何与全局结构联合学习的3d图卷积分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
網路文獻 Guodong Long等6人 Multi‑center federated learning: clients clustering for better personalization https://link.springer.com/article/10.1007/s11280-022-01046-x 2022/6/9 https://link.springer.com/article/10.1007/s11280-022-01046-x *

Also Published As

Publication number Publication date
TW202407587A (zh) 2024-02-16
US20240054352A1 (en) 2024-02-15

Similar Documents

Publication Publication Date Title
Jalili Social power and opinion formation in complex networks
Guo et al. Graph embedding‐based intelligent industrial decision for complex sewage treatment processes
Zhang et al. Efficient federated convolutional neural network with information fusion for rolling bearing fault diagnosis
US20200167659A1 (en) Device and method for training neural network
CN108052387B (zh) 一种移动云计算中的资源分配预测方法及系统
US20230033694A1 (en) Efficient Binary Representations from Neural Networks
Abdelmoniem et al. A comprehensive empirical study of heterogeneity in federated learning
CN111914094A (zh) 一种基于三元交互的知识图谱表示学习方法
CN110263917B (zh) 一种神经网络压缩方法及装置
TWI807961B (zh) 基於分布式集群的多層聯邦學習系統與方法
Liu et al. Task-optimized user clustering based on mobile app usage for cold-start recommendations
Qin et al. Federated deep contrastive learning for mid-term natural gas demand forecasting
Basterrech et al. Evolutionary Echo State Network: A neuroevolutionary framework for time series prediction
Alex et al. Patch clustering for massive data sets
JP2023162348A (ja) ニューラルネットワークのトレーニング中のデータスパース性の監視
CN117252285A (zh) 基于并行cnn-gru网络的多指标污水水质预测方法
Kärkkäinen et al. Dimensional criterion for forecasting nonlinear systems by reservoir computing
Zhang et al. Compressing knowledge graph embedding with relational graph auto-encoder
Wang et al. Automatically setting parameter-exchanging interval for deep learning
Sheikh et al. Distributed Training of Knowledge Graph Embedding Models using Ray.
Vasiloudis et al. Block-distributed gradient boosted trees
CN111695677A (zh) 一种基于神经元复苏的神经网络训练加速方法
Batsidis et al. Discrimination of observations into one of two elliptic populations based on monotone training samples
CN113784414B (zh) 一种采用图对比学习的机会网络节点嵌入方法
Zhou et al. Identifying Topology of Complex Networked System Based on Block Orthogonal Matching Pursuit and Nonlinear Conditional Granger Causality