TWI745958B - 保護隱私安全的神經網路模型的訓練方法和裝置 - Google Patents

保護隱私安全的神經網路模型的訓練方法和裝置 Download PDF

Info

Publication number
TWI745958B
TWI745958B TW109115223A TW109115223A TWI745958B TW I745958 B TWI745958 B TW I745958B TW 109115223 A TW109115223 A TW 109115223A TW 109115223 A TW109115223 A TW 109115223A TW I745958 B TWI745958 B TW I745958B
Authority
TW
Taiwan
Prior art keywords
decision
layer
sample
neural network
network model
Prior art date
Application number
TW109115223A
Other languages
English (en)
Other versions
TW202121263A (zh
Inventor
翁海琴
Original Assignee
大陸商支付寶（杭州）信息技術有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商支付寶（杭州）信息技術有限公司 filed Critical 大陸商支付寶（杭州）信息技術有限公司
Publication of TW202121263A publication Critical patent/TW202121263A/zh
Application granted granted Critical
Publication of TWI745958B publication Critical patent/TWI745958B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Bioethics (AREA)
  • Neurology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本說明書實施例提供一種保護隱私安全的神經網路模型的訓練方法和裝置，方法包括：獲取初步訓練的目標神經網路模型和訓練資料集，所述目標神經網路模型包括多個中間層，所述訓練資料集包括第一數量個成員樣本；確定所述多個中間層中的決策重要層和決策無關層，所述決策重要層對決策結果的影響程度大於所述決策無關層對決策結果的影響程度；根據所述訓練資料集中的各成員樣本，對所述目標神經網路模型進行再次訓練，所述再次訓練固定所述目標神經網路模型的決策無關層的參數，使決策重要層的部分神經元以一定機率停止工作調整決策重要層的參數。能夠防止攻擊者探測到神經網路模型的訓練資料。

Description

保護隱私安全的神經網路模型的訓練方法和裝置
本說明書一個或多個實施例係關於人工智慧領域，尤其關於保護隱私安全的神經網路模型的訓練方法和裝置。
在人工智慧領域，神經網路模型廣泛部署於各種實際場景，例如，人臉檢測、商品推薦等。神經網路模型在取得高有效性、精確度的同時，也過度記憶了訓練集中的資料資訊，這些資料資訊會被攻擊者透過某些特定的手法(如成員推斷攻擊和模型竊取攻擊)探測到，從而導致訓練資料洩露。這些訓練資料可能涉及用戶隱私資訊。 因此，希望能有改進的方案，能夠提供一種保護隱私安全的神經網路模型的訓練方法，以防止攻擊者探測到神經網路模型的訓練資料。
本說明書一個或多個實施例描述了一種保護隱私安全的神經網路模型的訓練方法和裝置，能夠防止攻擊者探測到神經網路模型的訓練資料。 第一方面，提供了一種保護隱私安全的神經網路模型的訓練方法，方法包括： 獲取初步訓練的目標神經網路模型和訓練資料集，所述目標神經網路模型包括多個中間層，所述訓練資料集包括第一數量個成員樣本； 確定所述多個中間層中的決策重要層和決策無關層，所述決策重要層對決策結果的影響程度大於所述決策無關層對決策結果的影響程度； 根據所述訓練資料集中的各成員樣本，對所述目標神經網路模型進行再次訓練，所述再次訓練固定所述目標神經網路模型的決策無關層的參數，使決策重要層的部分神經元以一定機率停止工作調整決策重要層的參數。 在一種可能的實施方式中，所述初步訓練調整所述目標神經網路模型中各中間層的參數。 在一種可能的實施方式中，所述確定所述多個中間層中的決策重要層和決策無關層，包括： 將所述成員樣本和非成員樣本作為評測樣本組成評測資料集； 將任一評測樣本輸入所述目標神經網路模型，得到所述目標神經網路模型的各中間層分別輸出的該評測樣本的各中間層特徵； 根據評測樣本的各中間層特徵，以及該評測樣本是否為成員樣本，確定各中間層中的決策重要層和決策無關層。 進一步地，所述將所述成員樣本和非成員樣本作為評測樣本組成評測資料集，包括： 從所述第一數量個成員樣本中抽取第二數量個成員樣本；所述第二數量小於所述第一數量； 獲取第三數量個非成員樣本，所述非成員樣本的分佈與所述成員樣本的分佈相同； 所述第二數量個成員樣本和所述第三數量個非成員樣本作為評測樣本組成評測資料集。 進一步地，所述根據評測樣本的各中間層特徵，以及該評測樣本是否為成員樣本，確定各中間層中的決策重要層和決策無關層，包括： 將評測樣本的各中間層特徵進行降維處理後作為可解釋分類器的樣本特徵，將該評測樣本是否為成員樣本作為樣本標籤，對所述可解釋分類器進行訓練； 根據訓練後的可解釋分類器，確定各中間層中的決策重要層和決策無關層。 進一步地，所述將評測樣本的各中間層特徵進行降維處理，包括： 針對每一個中間層，訓練一個自編碼器； 利用各中間層對應的自編碼器對評測樣本的該中間層的中間層特徵進行降維處理。 進一步地，所述可解釋分類器為樹模型或邏輯回歸模型。 在一種可能的實施方式中，所述方法還包括： 更換所述部分神經元後，再重複所述再次訓練。 在一種可能的實施方式中，所述一定機率為百分之50。 第二方面，提供了一種保護隱私安全的神經網路模型的訓練裝置，裝置包括： 獲取單元，用於獲取初步訓練的目標神經網路模型和訓練資料集，所述目標神經網路模型包括多個中間層，所述訓練資料集包括第一數量個成員樣本； 確定單元，用於確定所述獲取單元獲取的所述多個中間層中的決策重要層和決策無關層，所述決策重要層對決策結果的影響程度大於所述決策無關層對決策結果的影響程度； 訓練單元，用於根據所述獲取單元獲取的所述訓練資料集中的各成員樣本，對所述目標神經網路模型進行再次訓練，所述再次訓練固定所述目標神經網路模型的決策無關層的參數，使決策重要層的部分神經元以一定機率停止工作調整決策重要層的參數。 第三方面，提供了一種電腦可讀儲存媒體，其上儲存有電腦程式，當所述電腦程式在電腦中執行時，令電腦執行第一方面的方法。 第四方面，提供了一種計算設備，包括記憶體和處理器，所述記憶體中儲存有可執行代碼，所述處理器執行所述可執行代碼時，實現第一方面的方法。 透過本說明書實施例提供的方法和裝置，首先獲取初步訓練的目標神經網路模型和訓練資料集，所述目標神經網路模型包括多個中間層，所述訓練資料集包括第一數量個成員樣本；然後確定所述多個中間層中的決策重要層和決策無關層，所述決策重要層對決策結果的影響程度大於所述決策無關層對決策結果的影響程度；最後根據所述訓練資料集中的各成員樣本，對所述目標神經網路模型進行再次訓練，所述再次訓練固定所述目標神經網路模型的決策無關層的參數，使決策重要層的部分神經元以一定機率停止工作調整決策重要層的參數。由上可見，本說明書實施例，在對目標神經網路模型進行初步訓練後，基於各中間層的表現，確定出決策重要層和決策無關層，針對決策重要層和決策無關層採取不同的調參策略對目標神經網路模型進行再次訓練，使決策重要層的部分神經元以一定機率停止工作調整決策重要層的參數，從而能夠防止攻擊者探測到神經網路模型的訓練資料。
下面結合附圖，對本說明書提供的方案進行描述。 圖1為本說明書披露的一個實施例的實施場景示意圖。該實施場景涉及保護隱私安全的神經網路模型的訓練。具體地，基於一種白盒場景，可以理解的是，在白盒場景下可以知道神經網路模型的模型結構及參數情況。參照圖1，本說明書實施例，在採用常規方法根據訓練資料集中的各成員樣本對目標神經網路模型進行初步訓練後，基於評測樣本對目標神經網路模型進行安全性評審，評測樣本為成員樣本或非成員樣本。其中，提取對應於評測樣本的目標神經網路模型的各中間層特徵，基於各中間層特徵和該評測樣本是否為成員樣本對可解釋分類器進行訓練，透過對可解釋分類器進行分析確定決策重要層和決策無關層，再基於該分析結果對目標神經網路模型進行有針對性的微調，從而防止模型洩露隱私資訊。 圖2示出根據一個實施例的保護隱私安全的神經網路模型的訓練方法流程圖，該方法可以基於圖1所示的實施場景。如圖2所示，該實施例中保護隱私安全的神經網路模型的訓練方法包括以下步驟：步驟21，獲取初步訓練的目標神經網路模型和訓練資料集，所述目標神經網路模型包括多個中間層，所述訓練資料集包括第一數量個成員樣本；步驟22，確定所述多個中間層中的決策重要層和決策無關層，所述決策重要層對決策結果的影響程度大於所述決策無關層對決策結果的影響程度；步驟23，根據所述訓練資料集中的各成員樣本，對所述目標神經網路模型進行再次訓練，所述再次訓練固定所述目標神經網路模型的決策無關層的參數，使決策重要層的部分神經元以一定機率停止工作調整決策重要層的參數。下面描述以上各個步驟的具體執行方式。 首先在步驟21，獲取初步訓練的目標神經網路模型和訓練資料集，所述目標神經網路模型包括多個中間層，所述訓練資料集包括第一數量個成員樣本。可以理解的是，上述初步訓練可以採取常規的訓練方式，上述訓練資料集可以用於對目標神經網路模型進行訓練。 在一個示例中，所述初步訓練調整所述目標神經網路模型中各中間層的參數。 然後在步驟22，確定所述多個中間層中的決策重要層和決策無關層，所述決策重要層對決策結果的影響程度大於所述決策無關層對決策結果的影響程度。可以理解的是，決策重要層可以為一層或多層，決策無關層也可以為一層或多層。 在一個示例中，將所述成員樣本和非成員樣本作為評測樣本組成評測資料集；將任一評測樣本輸入所述目標神經網路模型，得到所述目標神經網路模型的各中間層分別輸出的該評測樣本的各中間層特徵；根據評測樣本的各中間層特徵，以及該評測樣本是否為成員樣本，確定各中間層中的決策重要層和決策無關層。 可以理解的是，如果所述目標神經網路模型含有n個中間層，則每個評測樣本對應n個中間層特徵，即n張特徵圖(feature map)，記為M_1，M_2，…，M_n。 可以理解的是，成員樣本是指所述訓練資料集中的樣本。非成員樣本是指所述訓練資料集外部的樣本。 進一步地，可以透過如下方式構建評測資料集： 從所述第一數量個成員樣本中抽取第二數量個成員樣本；所述第二數量小於所述第一數量； 獲取第三數量個非成員樣本，所述非成員樣本的分佈與所述成員樣本的分佈相同； 所述第二數量個成員樣本和所述第三數量個非成員樣本作為評測樣本組成評測資料集。 進一步地，將評測樣本的各中間層特徵進行降維處理後作為可解釋分類器的樣本特徵，將該評測樣本是否為成員樣本作為樣本標籤，對所述可解釋分類器進行訓練；根據訓練後的可解釋分類器，確定各中間層中的決策重要層和決策無關層。 進一步地，針對每一個中間層，訓練一個自編碼器(autoencoders)；利用各中間層對應的自編碼器對評測樣本的該中間層的中間層特徵進行降維處理。可選地，降維處理後，中間層特徵的維度為1。將自編碼器中間輸出結果作為降維後的特徵。 其中，自編碼器是一類在非監督學習中使用的人工神經網路，其功能是透過將輸入資訊作為學習目標，對輸入資訊進行表徵學習。 本說明書實施例中，還可以採用自編碼器之外的其他方法對中間層特徵進行降維處理，例如，主成分分析(principal component analysis，PCA)方法。 其中，可解釋分類器屬於一種可解釋模型，可解釋模型指的是模型的決策方式可以被人類專家所理解。 在一個示例中，所述可解釋分類器為樹模型或邏輯回歸模型。上述樹模型例如Xgboost分類器，Xgboost分類器是一種提升樹模型，它將多種樹模型集成在一起，形成一個功能強大的分類器。Xgboost分類器可以尋找出在其決策過程中起重要作用的特徵，而該特徵對應於目標神經網路模型的中間層特徵，從而可以知道Xgboost分類器是根據哪些中間層特徵來判斷評測樣本是否為成員樣本，而這些中間層特徵將會洩露模型的隱私資料。可以將Xgboost分類器決策主要依賴的中間層定義為決策重要層，其餘的中間層定義為決策無關層。 最後在步驟23，根據所述訓練資料集中的各成員樣本，對所述目標神經網路模型進行再次訓練，所述再次訓練固定所述目標神經網路模型的決策無關層的參數，使決策重要層的部分神經元以一定機率停止工作調整決策重要層的參數。可以理解的是，上述對模型再次訓練的過程相當於對模型進行微調。 本說明書實施例基於Dropout原理，Dropout是一種神經網路正則化技術，透過阻止訓練數進行複雜的自適應性防止模型過擬合。 在一個示例中，更換所述部分神經元後，再重複所述再次訓練。 在一個示例中，所述一定機率為百分之50。 透過本說明書實施例提供的方法，首先獲取初步訓練的目標神經網路模型和訓練資料集，所述目標神經網路模型包括多個中間層，所述訓練資料集包括第一數量個成員樣本；然後確定所述多個中間層中的決策重要層和決策無關層，所述決策重要層對決策結果的影響程度大於所述決策無關層對決策結果的影響程度；最後根據所述訓練資料集中的各成員樣本，對所述目標神經網路模型進行再次訓練，所述再次訓練固定所述目標神經網路模型的決策無關層的參數，使決策重要層的部分神經元以一定機率停止工作調整決策重要層的參數。由上可見，本說明書實施例，在對目標神經網路模型進行初步訓練後，基於各中間層的表現，確定出決策重要層和決策無關層，針對決策重要層和決策無關層採取不同的調參策略對目標神經網路模型進行再次訓練，使決策重要層的部分神經元以一定機率停止工作調整決策重要層的參數，從而能夠防止攻擊者探測到神經網路模型的訓練資料。 根據另一方面的實施例，還提供一種保護隱私安全的神經網路模型的訓練裝置，該裝置用於執行本說明書實施例提供的保護隱私安全的神經網路模型的訓練方法。圖3示出根據一個實施例的保護隱私安全的神經網路模型的訓練裝置的示意性框圖。如圖3所示，該裝置300包括： 獲取單元31，用於獲取初步訓練的目標神經網路模型和訓練資料集，所述目標神經網路模型包括多個中間層，所述訓練資料集包括第一數量個成員樣本； 確定單元32，用於確定所述獲取單元31獲取的所述多個中間層中的決策重要層和決策無關層，所述決策重要層對決策結果的影響程度大於所述決策無關層對決策結果的影響程度； 訓練單元33，用於根據所述獲取單元31獲取的所述訓練資料集中的各成員樣本，對所述目標神經網路模型進行再次訓練，所述再次訓練固定所述目標神經網路模型的決策無關層的參數，使決策重要層的部分神經元以一定機率停止工作調整決策重要層的參數。 可選地，作為一個實施例，所述初步訓練調整所述目標神經網路模型中各中間層的參數。 可選地，作為一個實施例，所述確定單元32，包括： 構建子單元，用於將所述成員樣本和非成員樣本作為評測樣本組成評測資料集； 特徵提取子單元，用於將所述構建子單元得到的任一評測樣本輸入所述目標神經網路模型，得到所述目標神經網路模型的各中間層分別輸出的該評測樣本的各中間層特徵； 確定子單元，用於根據所述特徵提取子單元得到的評測樣本的各中間層特徵，以及該評測樣本是否為成員樣本，確定各中間層中的決策重要層和決策無關層。 進一步地，所述構建子單元，具體用於： 從所述第一數量個成員樣本中抽取第二數量個成員樣本；所述第二數量小於所述第一數量； 獲取第三數量個非成員樣本，所述非成員樣本的分佈與所述成員樣本的分佈相同； 所述第二數量個成員樣本和所述第三數量個非成員樣本作為評測樣本組成評測資料集。 進一步地，所述確定子單元，具體用於： 將評測樣本的各中間層特徵進行降維處理後作為可解釋分類器的樣本特徵，將該評測樣本是否為成員樣本作為樣本標籤，對所述可解釋分類器進行訓練； 根據訓練後的可解釋分類器，確定各中間層中的決策重要層和決策無關層。 進一步地，所述將評測樣本的各中間層特徵進行降維處理，包括： 針對每一個中間層，訓練一個自編碼器； 利用各中間層對應的自編碼器對評測樣本的該中間層的中間層特徵進行降維處理。 進一步地，所述可解釋分類器為樹模型或邏輯回歸模型。 可選地，作為一個實施例，所述裝置還包括： 更新單元，用於更換所述部分神經元後，再使所述訓練單元33重複所述再次訓練。 可選地，作為一個實施例，所述一定機率為百分之50。 透過本說明書實施例提供的裝置，首先獲取單元31獲取初步訓練的目標神經網路模型和訓練資料集，所述目標神經網路模型包括多個中間層，所述訓練資料集包括第一數量個成員樣本；然後確定單元32確定所述多個中間層中的決策重要層和決策無關層，所述決策重要層對決策結果的影響程度大於所述決策無關層對決策結果的影響程度；最後訓練單元33根據所述訓練資料集中的各成員樣本，對所述目標神經網路模型進行再次訓練，所述再次訓練固定所述目標神經網路模型的決策無關層的參數，使決策重要層的部分神經元以一定機率停止工作調整決策重要層的參數。由上可見，本說明書實施例，在對目標神經網路模型進行初步訓練後，基於各中間層的表現，確定出決策重要層和決策無關層，針對決策重要層和決策無關層採取不同的調參策略對目標神經網路模型進行再次訓練，使決策重要層的部分神經元以一定機率停止工作調整決策重要層的參數，從而能夠防止攻擊者探測到神經網路模型的訓練資料。 根據另一方面的實施例，還提供一種電腦可讀儲存媒體，其上儲存有電腦程式，當所述電腦程式在電腦中執行時，令電腦執行結合圖2所描述的方法。 根據再一方面的實施例，還提供一種計算設備，包括記憶體和處理器，所述記憶體中儲存有可執行代碼，所述處理器執行所述可執行代碼時，實現結合圖2所描述的方法。 本領域技術人員應該可以意識到，在上述一個或多個示例中，本發明所描述的功能可以用硬體、軟體、韌體或它們的任意組合來實現。當使用軟體實現時，可以將這些功能儲存在電腦可讀媒體中或者作為電腦可讀媒體上的一個或多個指令或代碼進行傳輸。 以上所述的具體實施方式，對本發明的目的、技術方案和有益效果進行了進一步詳細說明，所應理解的是，以上所述僅為本發明的具體實施方式而已，並不用於限定本發明的保護範圍，凡在本發明的技術方案的基礎之上，所做的任何修改、等同替換、改進等，均應包括在本發明的保護範圍之內。
21~23:方法步驟 300:裝置 31:獲取單元 32:確定單元 33:訓練單元
為了更清楚地說明本發明實施例的技術方案，下面將對實施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其它的附圖。 [圖1]為本說明書披露的一個實施例的實施場景示意圖； [圖2]示出根據一個實施例的保護隱私安全的神經網路模型的訓練方法流程圖； [圖3]示出根據一個實施例的保護隱私安全的神經網路模型的訓練裝置的示意性框圖。

Claims (20)

  1. 一種保護隱私安全的神經網路模型的訓練方法，該方法包括：獲取單元獲取初步訓練的目標神經網路模型和訓練資料集，該目標神經網路模型包括多個中間層，該訓練資料集包括第一數量個成員樣本；確定單元確定該獲取單元獲取的該多個中間層中的決策重要層和決策無關層，該決策重要層對決策結果的影響程度大於該決策無關層對決策結果的影響程度；訓練單元根據該獲取單元獲取的該訓練資料集中的各成員樣本，對該目標神經網路模型進行再次訓練，該再次訓練固定該目標神經網路模型的決策無關層的參數，使決策重要層的部分神經元以一定機率停止工作調整決策重要層的參數。
  2. 如請求項1所述的方法，其中，該初步訓練調整該目標神經網路模型中各中間層的參數。
  3. 如請求項1所述的方法，其中，所述確定該多個中間層中的決策重要層和決策無關層，包括：將該成員樣本和非成員樣本作為評測樣本組成評測資料集，其中該成員樣本為該訓練資料集中的樣本，該非成員樣本為該訓練資料集外部的樣本；將任一評測樣本輸入該目標神經網路模型，得到該目標神經網路模型的各中間層分別輸出的該評測樣本的各中間層特徵； 根據評測樣本的各中間層特徵，以及該評測樣本是否為成員樣本，確定各中間層中的決策重要層和決策無關層。
  4. 如請求項3所述的方法，其中，所述將該成員樣本和非成員樣本作為評測樣本組成評測資料集，包括：從該第一數量個成員樣本中抽取第二數量個成員樣本；該第二數量小於該第一數量；獲取第三數量個非成員樣本，該非成員樣本的分佈與該成員樣本的分佈相同；該第二數量個成員樣本和該第三數量個非成員樣本作為評測樣本組成評測資料集。
  5. 如請求項3所述的方法，其中，所述根據評測樣本的各中間層特徵，以及該評測樣本是否為成員樣本，確定各中間層中的決策重要層和決策無關層，包括：將評測樣本的各中間層特徵進行降維處理後作為可解釋分類器的樣本特徵，將該評測樣本是否為成員樣本作為樣本標籤，對該可解釋分類器進行訓練；根據訓練後的可解釋分類器，確定各中間層中的決策重要層和決策無關層。
  6. 如請求項5所述的方法，其中，所述將評測樣本的各中間層特徵進行降維處理，包括：針對每一個中間層，訓練一個自編碼器；利用各中間層對應的自編碼器對評測樣本的該中間層 的中間層特徵進行降維處理。
  7. 如請求項5所述的方法，其中，該可解釋分類器為樹模型或邏輯回歸模型。
  8. 如請求項1所述的方法，其中，該方法還包括：更換該部分神經元後，再重複該再次訓練。
  9. 如請求項1所述的方法，其中，該一定機率為百分之50。
  10. 一種保護隱私安全的神經網路模型的訓練裝置，該裝置包括：獲取單元，用於獲取初步訓練的目標神經網路模型和訓練資料集，該目標神經網路模型包括多個中間層，該訓練資料集包括第一數量個成員樣本；確定單元，用於確定該獲取單元獲取的該多個中間層中的決策重要層和決策無關層，該決策重要層對決策結果的影響程度大於該決策無關層對決策結果的影響程度；訓練單元，用於根據該獲取單元獲取的該訓練資料集中的各成員樣本，對該目標神經網路模型進行再次訓練，該再次訓練固定該目標神經網路模型的決策無關層的參數，使決策重要層的部分神經元以一定機率停止工作調整決策重要層的參數。
  11. 如請求項10所述的裝置，其中，該初步訓練調整該目標神經網路模型中各中間層的參數。
  12. 如請求項10所述的裝置，其中，該確定單元，包括：構建子單元，用於將該成員樣本和非成員樣本作為評測樣本組成評測資料集，其中該成員樣本為該訓練資料集中的樣本，該非成員樣本為該訓練資料集外部的樣本；特徵提取子單元，用於將該構建子單元得到的任一評測樣本輸入該目標神經網路模型，得到該目標神經網路模型的各中間層分別輸出的該評測樣本的各中間層特徵；確定子單元，用於根據該特徵提取子單元得到的評測樣本的各中間層特徵，以及該評測樣本是否為成員樣本，確定各中間層中的決策重要層和決策無關層。
  13. 如請求項12所述的裝置，其中，該構建子單元，具體用於：從該第一數量個成員樣本中抽取第二數量個成員樣本；該第二數量小於該第一數量；獲取第三數量個非成員樣本，該非成員樣本的分佈與該成員樣本的分佈相同；該第二數量個成員樣本和該第三數量個非成員樣本作為評測樣本組成評測資料集。
  14. 如請求項12所述的裝置，其中，該確定子單元，具體用於：將評測樣本的各中間層特徵進行降維處理後作為可解釋分類器的樣本特徵，將該評測樣本是否為成員樣本作為樣本標籤，對該可解釋分類器進行訓練； 根據訓練後的可解釋分類器，確定各中間層中的決策重要層和決策無關層。
  15. 如請求項14所述的裝置，其中，該將評測樣本的各中間層特徵進行降維處理，包括：針對每一個中間層，訓練一個自編碼器；利用各中間層對應的自編碼器對評測樣本的該中間層的中間層特徵進行降維處理。
  16. 如請求項14所述的裝置，其中，該可解釋分類器為樹模型或邏輯回歸模型。
  17. 如請求項10所述的裝置，其中，該裝置還包括：更新單元，用於更換該部分神經元後，再使該訓練單元重複該再次訓練。
  18. 如請求項10所述的裝置，其中，該一定機率為百分之50。
  19. 一種電腦可讀儲存媒體，其上儲存有電腦程式，當該電腦程式在電腦中執行時，令電腦執行如請求項1-9中任一項所述的方法。
  20. 一種計算設備，包括記憶體和處理器，該記憶體中儲存有可執行代碼，該處理器執行該可執行代碼時，實現如請求項1-9中任一項所述的方法。
TW109115223A 2019-11-19 2020-05-07 保護隱私安全的神經網路模型的訓練方法和裝置 TWI745958B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201911137260.2 2019-11-19
CN201911137260.2A CN110874471B (zh) 2019-11-19 2019-11-19 保护隐私安全的神经网络模型的训练方法和装置

Publications (2)

Publication Number Publication Date
TW202121263A TW202121263A (zh) 2021-06-01
TWI745958B true TWI745958B (zh) 2021-11-11

Family

ID=69717119

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109115223A TWI745958B (zh) 2019-11-19 2020-05-07 保護隱私安全的神經網路模型的訓練方法和裝置

Country Status (3)

Country Link
CN (1) CN110874471B (zh)
TW (1) TWI745958B (zh)
WO (1) WO2021098255A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110874471B (zh) * 2019-11-19 2021-02-23 支付宝(杭州)信息技术有限公司 保护隐私安全的神经网络模型的训练方法和装置
CN112416753A (zh) * 2020-11-02 2021-02-26 中关村科学城城市大脑股份有限公司 一种城市大脑应用场景数据规范化管理方法、系统及设备
CN112948836B (zh) * 2020-11-16 2022-05-17 支付宝(杭州)信息技术有限公司 保护神经网络模型安全的方法及装置
CN113283537B (zh) * 2021-06-11 2024-03-26 浙江工业大学 面向成员推理攻击的基于参数共享的深度模型隐私保护方法和装置
CN114579866A (zh) * 2022-03-18 2022-06-03 北京有竹居网络技术有限公司 推荐模型的训练方法以及物品推荐方法、系统和相关设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201911141A (zh) * 2017-07-28 2019-03-16 香港商阿里巴巴集團服務有限公司 訓練模型的方法及裝置
US20190124045A1 (en) * 2017-10-24 2019-04-25 Nec Laboratories America, Inc. Density estimation network for unsupervised anomaly detection
CN109952582A (zh) * 2018-09-29 2019-06-28 区链通网络有限公司 一种强化学习模型的训练方法、节点、系统及存储介质
CN110008696A (zh) * 2019-03-29 2019-07-12 武汉大学 一种面向深度联邦学习的用户数据重建攻击方法
CN110262855A (zh) * 2019-05-28 2019-09-20 东华大学 车联网中基于背景信息的成员推测攻击原型系统
TW201939366A (zh) * 2018-03-02 2019-10-01 香港商阿里巴巴集團服務有限公司 推薦系統構建方法及裝置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504441A (zh) * 2014-12-09 2015-04-08 河海大学 基于敏感性的madaline神经网络构建方法及其装置
US10410118B2 (en) * 2015-03-13 2019-09-10 Deep Genomics Incorporated System and method for training neural networks
CN107368752B (zh) * 2017-07-25 2019-06-28 北京工商大学 一种基于生成式对抗网络的深度差分隐私保护方法
CN108776836A (zh) * 2018-06-08 2018-11-09 电子科技大学 一种基于vhe的隐私保护神经网络的训练及预测方法
CN110874471B (zh) * 2019-11-19 2021-02-23 支付宝(杭州)信息技术有限公司 保护隐私安全的神经网络模型的训练方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201911141A (zh) * 2017-07-28 2019-03-16 香港商阿里巴巴集團服務有限公司 訓練模型的方法及裝置
US20190124045A1 (en) * 2017-10-24 2019-04-25 Nec Laboratories America, Inc. Density estimation network for unsupervised anomaly detection
TW201939366A (zh) * 2018-03-02 2019-10-01 香港商阿里巴巴集團服務有限公司 推薦系統構建方法及裝置
CN109952582A (zh) * 2018-09-29 2019-06-28 区链通网络有限公司 一种强化学习模型的训练方法、节点、系统及存储介质
CN110008696A (zh) * 2019-03-29 2019-07-12 武汉大学 一种面向深度联邦学习的用户数据重建攻击方法
CN110262855A (zh) * 2019-05-28 2019-09-20 东华大学 车联网中基于背景信息的成员推测攻击原型系统

Also Published As

Publication number Publication date
CN110874471A (zh) 2020-03-10
WO2021098255A1 (zh) 2021-05-27
CN110874471B (zh) 2021-02-23
TW202121263A (zh) 2021-06-01

Similar Documents

Publication Publication Date Title
TWI745958B (zh) 保護隱私安全的神經網路模型的訓練方法和裝置
CN111898758B (zh) 一种用户异常行为识别方法、装置及计算机可读存储介质
CN107392025B (zh) 基于深度学习的恶意安卓应用程序检测方法
CN111310814A (zh) 利用不平衡正负样本对业务预测模型训练的方法及装置
CN111611851B (zh) 模型生成方法、虹膜检测方法及装置
CN105072214A (zh) 基于域名特征的c&c域名识别方法
CN112791414B (zh) 外挂识别模型训练方法、装置、电子设备及存储介质
JP2019152964A (ja) 学習方法および学習装置
Vastel et al. FP-tester: automated testing of browser fingerprint resilience
Han et al. Backdooring multimodal learning
Cheng et al. Deeply explain CNN via hierarchical decomposition
CN117692242A (zh) 一种基于图谱分析的网络攻击路径分析方法
Garcia-soto et al. Perd: Perturbation sensitivity-based neural trojan detection framework on nlp applications
Wu et al. Graphguard: Detecting and counteracting training data misuse in graph neural networks
CN108985382A (zh) 基于关键数据通路表示的对抗样本检测方法
Lakshmi et al. Malware visual resemblance analysis with minimum losses using Siamese neural networks
CN116886398A (zh) 一种基于特征选择和集成学习的物联网入侵检测方法
Narayanan et al. A novel approach to big data analysis using deep belief network for the detection of android malware
CN110852394B (zh) 数据处理方法及装置、计算机系统以及可读存储介质
CN114219011A (zh) 基于后门不可迁移性的通用后门攻击检测方法
Lv et al. Modality Re-Balance for Visual Question Answering: A Causal Framework
CN113327212A (zh) 人脸驱动、模型的训练方法、装置、电子设备及存储介质
Stock et al. Lessons learned: How (not) to defend against property inference attacks
Chang et al. Class Machine Unlearning for Complex Data via Concepts Inference and Data Poisoning
Neto et al. Using permutations to assess confounding in machine learning applications for digital health