TWI711934B - 嵌入結果的解釋方法和裝置 - Google Patents
嵌入結果的解釋方法和裝置 Download PDFInfo
- Publication number
- TWI711934B TWI711934B TW108133376A TW108133376A TWI711934B TW I711934 B TWI711934 B TW I711934B TW 108133376 A TW108133376 A TW 108133376A TW 108133376 A TW108133376 A TW 108133376A TW I711934 B TWI711934 B TW I711934B
- Authority
- TW
- Taiwan
- Prior art keywords
- significant
- embedding
- value
- dimension
- interpretation
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000012549 training Methods 0.000 claims abstract description 110
- 238000012545 processing Methods 0.000 claims abstract description 15
- 230000001629 suppression Effects 0.000 claims description 36
- 230000004913 activation Effects 0.000 claims description 27
- 230000008859 change Effects 0.000 claims description 19
- 239000000284 extract Substances 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 6
- 230000005764 inhibitory process Effects 0.000 claims description 4
- 239000013598 vector Substances 0.000 description 16
- 238000010586 diagram Methods 0.000 description 6
- 238000013145 classification model Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 239000006227 byproduct Substances 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004138 cluster model Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000000060 site-specific infrared dichroism spectroscopy Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000009182 swimming Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
說明書披露一種嵌入結果的解釋方法和裝置。該方法包括：採用嵌入算法對嵌入對象進行嵌入處理，得到每個嵌入對象的嵌入結果，所述嵌入結果包括若干維度的嵌入值；根據所述嵌入值的極值提取各維度下嵌入值滿足顯著條件的嵌入對象作為顯著訓練樣本；針對每個維度，採用該維度下的顯著訓練樣本的樣本特徵和顯著類別標籤對解釋模型進行訓練；基於已訓練的解釋模型確定所述顯著訓練樣本屬於所述顯著類別的解釋特徵，作為所述嵌入結果在該維度下的解釋特徵。
Description
本說明書關於機器學習技術領域，尤其關於一種嵌入結果的解釋方法和裝置。
嵌入(Embedding)在數學上表示一種映射，可將一個空間映射到另一個空間，並保留基本屬性。利用嵌入算法可將一些複雜的難以表達的特徵轉換成易計算的形式，例如向量、矩陣等，便於預測模型進行處理。然而，嵌入算法並不具有解釋性，無法滿足業務場景的需求。
有鑒於此，本說明書提供一種嵌入結果的解釋方法和裝置。
具體地，本說明書是透過如下技術方案實現的：
一種嵌入結果的解釋方法，包括：
採用嵌入算法對嵌入對象進行嵌入處理，得到每個嵌入對象的嵌入結果，所述嵌入結果包括若干維度的嵌入值；
根據所述嵌入值的極值提取各維度下嵌入值滿足顯著條件的嵌入對象作為顯著訓練樣本；
針對每個維度，採用該維度下的顯著訓練樣本的樣本特徵和顯著類別標籤對解釋模型進行訓練；
基於已訓練的解釋模型確定所述顯著訓練樣本屬於所述顯著類別的解釋特徵，作為所述嵌入結果在該維度下的解釋特徵。
一種圖嵌入的結果解釋方法，包括：
採用嵌入算法對圖節點進行嵌入處理，得到每個圖節點的嵌入結果，所述嵌入結果包括若干維度的嵌入值；
根據所述嵌入值的極值提取各維度下嵌入值滿足顯著條件的圖節點作為顯著訓練樣本；
針對每個維度，採用該維度下的顯著訓練樣本的樣本特徵和顯著類別標籤對解釋模型進行訓練；
基於已訓練的解釋模型確定所述顯著訓練樣本屬於所述顯著類別的解釋特徵，作為所述嵌入結果在該維度下的解釋特徵。
一種詞嵌入的結果解釋方法，包括：
採用嵌入算法對文本中的詞彙進行嵌入處理，得到每個文本對應的詞嵌入結果，所述詞嵌入結果包括若干維度的嵌入值；
根據所述嵌入值的極值提取各維度下嵌入值滿足顯著條件的詞彙作為顯著訓練樣本；
針對每個維度，採用該維度下的顯著訓練樣本的樣本特徵和顯著類別標籤對解釋模型進行訓練；
基於已訓練的解釋模型確定所述顯著訓練樣本屬於所述顯著類別的解釋特徵，作為所述嵌入結果在該維度下的解釋特徵。
一種嵌入結果的解釋裝置，包括：
嵌入處理單元，採用嵌入算法對嵌入對象進行嵌入處理，得到每個嵌入對象的嵌入結果，所述嵌入結果包括若干維度的嵌入值；
樣本提取單元，根據所述嵌入值的極值提取各維度下嵌入值滿足顯著條件的嵌入對象作為顯著訓練樣本；
模型訓練單元，針對每個維度，採用該維度下的顯著訓練樣本的樣本特徵和顯著類別標籤對解釋模型進行訓練；
特徵解釋單元，基於已訓練的解釋模型確定所述顯著訓練樣本屬於所述顯著類別的解釋特徵，作為所述嵌入結果在該維度下的解釋特徵。
一種嵌入結果的解釋裝置，包括：
處理器；
用於儲存機器可執行指令的記憶體；
其中，透過讀取並執行所述記憶體儲存的與嵌入結果的解釋邏輯對應的機器可執行指令，所述處理器被促使：
採用嵌入算法對嵌入對象進行嵌入處理，得到每個嵌入對象的嵌入結果，所述嵌入結果包括若干維度的嵌入值；
根據所述嵌入值的極值提取各維度下嵌入值滿足顯著條件的嵌入對象作為顯著訓練樣本；
針對每個維度，採用該維度下的顯著訓練樣本的樣本特徵和顯著類別標籤對解釋模型進行訓練；
基於已訓練的解釋模型確定所述顯著訓練樣本屬於所述顯著類別的解釋特徵，作為所述嵌入結果在該維度下的解釋特徵。
由以上描述可以看出，本說明書可基於嵌入結果中嵌入值的極值為嵌入結果的各維度提取嵌入值滿足顯著條件的嵌入對象作為顯著訓練樣本，並採用顯著訓練樣本對具有解釋性的解釋模型進行訓練，進而根據訓練後的解釋模型確定嵌入結果在對應維度下的解釋特徵，實現嵌入結果的特徵解釋，為開發者修復所述原始預測模型的偏差提供依據，有助於提升該原始預測模型的泛化能力和性能，並且有助於規避法律風險和道德風險。
這裏將詳細地對示例性實施例進行說明，其示例表示在圖式中。下面的描述關於圖式時，除非另有表示，不同圖式中的相同數字表示相同或相似的要素。以下示例性實施例中所描述的實施方式並不代表與本說明書相一致的所有實施方式。相反，它們僅是與如所附申請專利範圍中所詳述的、本說明書的一些方面相一致的裝置和方法的例子。
在本說明書使用的術語是僅僅出於描述特定實施例的目的，而非旨在限制本說明書。在本說明書和所附申請專利範圍中所使用的單數形式的“一種”、“所述”和“該”也旨在包括多數形式，除非上下文清楚地表示其他含義。還應當理解，本文中使用的術語“和/或”是指並包含一個或多個相關聯的列出項目的任何或所有可能組合。
應當理解，儘管在本說明書可能採用術語第一、第二、第三等來描述各種資訊，但這些資訊不應限於這些術語。這些術語僅用來將同一類型的資訊彼此區分開。例如，在不脫離本說明書範圍的情况下，第一資訊也可以被稱為第二資訊，類似地，第二資訊也可以被稱為第一資訊。取决於語境，如在此所使用的詞語“如果”可以被解釋成為“在……時”或“當……時”或“響應於確定”。
本說明書提供一種嵌入結果的解釋方案，可先採用嵌入算法對嵌入對象進行嵌入處理，得到包括若干維度嵌入值的嵌入結果，然後基於所述嵌入值的極值提取各維度下的顯著訓練樣本，採用該顯著訓練樣本對解釋模型進行訓練，得到顯著訓練樣本的解釋特徵以作為對應維度下嵌入結果的解釋特徵，實現嵌入結果的解釋。
圖1和圖2是本說明書一示例性實施例示出的嵌入結果的解釋方法的流程示意圖。
所述嵌入算法可包括圖嵌入(Graph Embedding)算法，圖嵌入算法可將圖資料映射為低維稠密的嵌入結果，例如向量、矩陣等；所述嵌入算法還可包括：詞嵌入(Word Embedding)算法，詞嵌入可將詞彙映射為低維嵌入結果，例如向量、矩陣等。
請參考圖1和圖2，所述嵌入結果的解釋方法可包括以下步驟：
步驟102，採用嵌入算法對嵌入對象進行嵌入處理，得到每個嵌入對象的嵌入結果，所述嵌入結果包括若干維度的嵌入值。
在一個例子中，所述嵌入對象可以是圖結構中的圖節點。
例如，所述嵌入對象可以是使用者網路圖中的使用者節點。所述使用者網路圖可基於使用者的支付資料、好友關係資料等建立。
採用嵌入算法對使用者網路圖中的使用者節點進行嵌入處理後，可得到每個使用者節點對應的向量。
在另一個例子中，所述嵌入對象可以是待叢集的文本，例如：新聞、資訊等。
採用嵌入算法對每個文本所包括的詞彙進行嵌入處理，可得到每個文本中各個詞彙對應的向量，即可得到每個文本對應的向量集。
在本實施例中，為便於描述，可將嵌入對象經嵌入算法處理後得到的向量、矩陣等統稱為嵌入結果。所述嵌入結果可包括若干維度的嵌入值。
當所述嵌入結果是向量時，可將向量的每個元素看作一個維度，每個元素值是對應維度下的嵌入值。
當所述嵌入結果是矩陣時，也可將矩陣的每個元素看作一個維度，每個元素值是對應維度下的嵌入值。
當所述嵌入結果是矩陣時，還可將矩陣的每一行或者每一列看作一個維度。以行為例，可將矩陣的每一行看作一個行向量，然後可將行向量中各元素平方和作為對應維度下的嵌入值。當然，在其他例子中，也可將行向量的元素和值或元素均值等作為對應維度下的嵌入值，本說明書對此不作特殊限制。
在本實施例中，採用嵌入算法分別將每個嵌入對象進行嵌入處理得到嵌入結果後，不同嵌入對象的嵌入結果包括相同維度的嵌入值。所述嵌入值通常是實數空間內的取值，不具有解釋性。
舉例來說，假設嵌入對象有100個，採用嵌入算法對嵌入對象進行嵌入處理後，得到的嵌入結果是包括有50維度的向量。換言之，嵌入處理後得到的嵌入結果向量有50個元素。在本例中，可將第m個嵌入對象嵌入處理後得到的嵌入結果向量記為
，
。
在本實施例中，在得到每個嵌入對象的嵌入結果後，可得到所有嵌入值中的極值。
在一個例子中，可採用各嵌入對象的嵌入結果對原始預測模型進行訓練，在訓練結束後，所述原始預測模型可輸出所述嵌入結果中嵌入值的極值。
例如，可在所述原始預測模型中增加儲存位，用於記錄經過模型網路單元的嵌入值的極值，當模型訓練完畢後，可輸出所述極值。
上述原始預測模型可包括：分類模型、回歸模型、叢集模型等。
在其他例子中，也可採用其他方式得到所述嵌入值的極值，本說明書對此不作特殊限制。
在本實施例中，所述極值可包括最大值和最小值。仍以嵌入對象有100個，採用嵌入算法得到的嵌入結果包括50維度的嵌入值為例，本步驟在對原始預測模型進行訓練後，可得到5000個嵌入值(100×50)中的最大值
和最小值
。
步驟104，根據所述嵌入值的極值提取各維度下嵌入值滿足顯著條件的嵌入對象作為顯著訓練樣本。
在本實施例中，可先根據嵌入值的極值確定顯著訓練樣本的顯著條件，然後提取每個維度下嵌入值滿足所述顯著條件的嵌入對象作為所述維度下的顯著訓練樣本。
在本實施例中，所述極值包括最大值和最小值。與極值相對應，所述顯著條件可包括顯著啟動條件和顯著抑制條件，所述顯著訓練樣本可包括顯著啟動訓練樣本和顯著抑制訓練樣本，所述顯著啟動訓練樣本的顯著類別標籤是顯著啟動標籤，所述顯著抑制訓練樣本的顯著類別標籤是顯著抑制標籤。
其中，所述顯著啟動條件是嵌入值大於等於最大值與預設變化參數的差值，同時小於等於所述最大值。假設，採用δ來表示所述預設變化參數，則滿足顯著啟動條件的嵌入值
的取值範圍是：
。
所述顯著抑制條件是嵌入值大於等於上述最小值，同時小於等於所述最小值和所述預設變化參數的求和值。即，滿足所述顯著抑制條件的嵌入值的取值範圍是：。
在本實施例中，可將滿足上述顯著啟動條件的嵌入對象稱為顯著啟動訓練樣本，滿足上述顯著抑制條件的嵌入對象稱為顯著抑制訓練樣本。
在本實施例中，在確定所述顯著啟動條件和所述顯著抑制條件後，針對嵌入結果的每個維度，可進行顯著啟動訓練樣本以及顯著抑制訓練樣本的提取。
以嵌入結果的第一個維度為例，可依次判斷各嵌入對象經嵌入算法處理後得到的嵌入結果的第一個嵌入值是否滿足上述顯著抑制條件或顯著啟動條件，若滿足，則可提取該嵌入對象作為第一個維度下的顯著訓練樣本。
舉例來說，請參考前述步驟102中的第m個嵌入對象，在本步驟中，可判斷這個嵌入對象的嵌入結果的第一個嵌入值
是否滿足上述顯著啟動條件或顯著抑制條件。若滿足上述顯著啟動條件，則可提取該嵌入對象作為第一個維度下的顯著啟動訓練樣本；若滿足上述顯著抑制條件，則可提取該嵌入對象作為第一個維度下的顯著抑制訓練樣本；若均不滿足，則可確認該嵌入對象不可作為第一個維度下的顯著訓練樣本。
類似的，針對嵌入結果的第二個維度，可依次判斷各嵌入對象的嵌入結果的第二個嵌入值是否滿足上述顯著抑制條件或顯著啟動條件，若滿足其一，則可提取該嵌入對象作為第二個維度下的顯著訓練樣本。
例如，判斷前述步驟102中的第m個嵌入對象的嵌入結果的第二個嵌入值
是否滿足上述顯著抑制條件或顯著啟動條件等。
在本實施例中，同一個嵌入對象可能是某些維度的顯著啟動訓練樣本，同時還可能是其他維度的顯著抑制訓練樣本。
例如，嵌入對象m可能是第一個維度下的顯著啟動訓練樣本，同時是第二個維度下的顯著抑制訓練樣本，不是第三個維度下的顯著訓練樣本等。
在本實施例中，基於本步驟，可為各個維度完成顯著訓練樣本的提取。
步驟108，針對每個維度，採用該維度下的顯著訓練樣本對解釋模型進行訓練。
在本實施例中，所述解釋模型可以是具有較好解釋性的二分類模型，例如綫性模型、决策樹等，本說明書對此不作特殊限制。值得注意的是，由於多分類模型是一種特殊形式的二分類模型，上述二分類模型可包括多分類模型。
在本實施例中，可採用所述顯著訓練樣本的樣本特徵和樣本標籤對所述解釋模型進行訓練。
其中，所述樣本標籤可基於前述已訓練的預測模型確定。
所述樣本特徵可包括樣本的原始特徵和拓撲特徵。
所述原始特徵通常是樣本自身已有的特徵。
例如，使用者節點的原始特徵可包括使用者的年齡、性別、職業、收入等。
再例如，文本的原始特徵可包括詞彙的詞性、詞頻等。
所述拓撲特徵可用於表示嵌入對象的拓撲結構。
以嵌入對象是圖節點為例，所述拓撲特徵可包括：一階鄰居資料、二階鄰居數量、一階鄰居的平均鄰居數量、一階鄰居在指定原始特徵維度下的統計值等。
以風險集團合夥人識別為例，所述一階鄰居在指定原始特徵維度下的統計值可以是一階鄰居的平均年齡、一階鄰居的年齡最大值、一階鄰居的平均年收入、一階鄰居的年收入最小值等。
以嵌入對象是文本所包括的詞彙為例，所述拓撲特徵可包括：最常出現在該詞彙前面的詞彙、經常和該詞彙搭配出現的詞彙個數等。
在本實施例中，採用拓撲特徵對原始特徵進行補充，一方面可解决部分樣本沒有原始特徵的問題，另一方面還可將樣本的拓撲結構補充到樣本特徵中，從而提高解釋模型訓練結果的準確性。
在本實施例中，針對每個維度，在完成對解釋模型的訓練後，可得到該維度下各樣本特徵的權重。 
表1
請參考表1的示例，在維度1中，樣本特徵1的權重是W11，樣本特徵2的權重是W12…；在維度2中，樣本特徵1的權重是W21，樣本特徵2的權重是W22…等。
步驟110，基於已訓練的解釋模型確定所述顯著訓練樣本的解釋特徵，作為所述嵌入結果在該維度下的解釋特徵。
基於前述步驟108，基於每個維度下已訓練的解釋模型可確定各樣本特徵的權重，根據所述權重可確定對應維度下對預測結果影響顯著的若干樣本特徵作為顯著訓練樣本的解釋特徵，在本實施例中，還可將所述顯著訓練樣本的解釋特徵確定為嵌入結果在該維度下的解釋特徵。
例如，可按照權重從大到小的順序對樣本特徵進行排序，然後提取排列在前N位的樣本特徵作為所述解釋特徵。其中，N的取值可預先設置，N可等於3、5等，本說明書對此不作特殊限制。
請繼續參考表1的示例，假設在維度1下，W11＞W12＞W13＞Wi，N的取值是3，則可將嵌入結果在維度1下的解釋特徵確定為特徵1、特徵2和特徵3。
由以上描述可以看出，本說明書可基於嵌入結果中嵌入值的極值為嵌入結果的各維度提取嵌入值滿足顯著條件的嵌入對象作為顯著訓練樣本，並採用顯著訓練樣本對具有解釋性的解釋模型進行訓練，進而根據訓練後的解釋模型確定嵌入結果在對應維度下的解釋特徵，實現嵌入結果的特徵解釋，為開發者修復所述原始預測模型的偏差提供依據，有助於提升該原始預測模型的泛化能力和性能，並且有助於規避法律風險和道德風險。
本說明書還提供一種圖嵌入的結果解釋方法。
一方面，可採用嵌入算法對圖節點進行嵌入處理，得到每個圖節點的嵌入結果，所述嵌入結果包括若干維度的嵌入值。
另一方面，可根據所述嵌入值的極值提取各維度下嵌入值滿足顯著條件的圖節點作為顯著訓練樣本，然後針對每個維度，採用該維度下的顯著訓練樣本的樣本特徵和顯著類別標籤對解釋模型進行訓練，並可基於已訓練的解釋模型確定所述顯著訓練樣本屬於所述顯著類別的解釋特徵，作為所述嵌入結果在該維度下的解釋特徵。
以使用者網路圖為例，本實施例可根據使用者的支付資料、交互資料等資料構建使用者網路圖。針對使用者網路圖中的每個使用者節點可採用嵌入算法得到該使用者節點的嵌入結果，例如向量。
根據所述嵌入值的極值可提取各維度下嵌入值滿足顯著條件的使用者節點作為顯著訓練樣本。
針對每個嵌入結果的每個維度，可採用該維度下的顯著訓練樣本的樣本特徵和顯著類別標籤對解釋模型進行訓練，並可基於已訓練的解釋模型確定嵌入結果在該維度下的解釋特徵。
例如，嵌入結果在維度1下的解釋特徵可包括：無固定職業、年收入低於8萬、常住地廣西、年齡18-25周歲等。
再例如，嵌入結果在維度2下的解釋特徵可包括：無固定職業、年收入低於10萬、常住地雲南、年齡20-28周歲、使用Wi-Fi網路的SSID是12345等。
本說明書還提供一種詞嵌入的結果解釋方法。
一方面，可採用嵌入算法對文本中的詞彙進行嵌入處理，得到每個文本對應的詞嵌入結果，所述詞嵌入結果包括若干維度的嵌入值。
另一方面，可根據所述嵌入值的極值提取各維度下嵌入值滿足顯著條件的詞彙作為顯著訓練樣本，然後針對每個維度，採用該維度下的顯著訓練樣本的樣本特徵和顯著類別標籤對解釋模型進行訓練，並可基於已訓練的解釋模型確定所述顯著訓練樣本屬於所述顯著類別的解釋特徵，作為所述嵌入結果在該維度下的解釋特徵。
例如，嵌入結果在維度1下的解釋特徵可包括：計算機、人工智慧、技術、創新、技術的詞頻大於0.01等。
再例如，嵌入結果在維度2下的解釋特徵可包括：足球、籃球、運動、遊泳、記錄等。
需要說明的是，由於一個文本中通常包括有若干詞彙，所述文本對應的詞嵌入結果可以是所述文本包括的每個詞彙的嵌入結果的拼接，也可以是每個詞彙的嵌入結果的各嵌入值平均加和等，本說明書對此不作特殊限制。
在進行顯著訓練樣本的提取時，若文本對應的嵌入結果的維度數量與詞彙嵌入結果的維度數量相同，則也可以以文本為單位進行顯著訓練樣本的提取，本說明書對此不作特殊限制。
與前述嵌入結果的解釋方法的實施例相對應，本說明書還提供了嵌入結果的解釋裝置的實施例。
本說明書嵌入結果的解釋裝置的實施例可以應用在伺服器上。裝置實施例可以透過軟體實現，也可以透過硬體或者軟硬體結合的方式實現。以軟體實現為例，作為一個邏輯意義上的裝置，是透過其所在伺服器的處理器將非揮發性記憶體中對應的計算機程序指令讀取到內部記憶體中運行形成的。從硬體層面而言，如圖3所示，為本說明書嵌入結果的解釋裝置所在伺服器為的一種硬體結構圖，除了圖3所示的處理器、內部記憶體、網路介面、以及非揮發性記憶體之外，實施例中裝置所在的伺服器通常根據該伺服器的實際功能，還可以包括其他硬體，對此不再贅述。
圖4是本說明書一示例性實施例示出的一種嵌入結果的解釋裝置的方塊圖。
請參考圖4，所述嵌入結果的解釋裝置300可以應用在前述圖3所示的伺服器中，包括有：嵌入處理單元301、樣本提取單元302、模型訓練單元303以及特徵解釋單元304。
其中，嵌入處理單元301，採用嵌入算法對嵌入對象進行嵌入處理，得到每個嵌入對象的嵌入結果，所述嵌入結果包括若干維度的嵌入值；
樣本提取單元302，根據所述嵌入值的極值提取各維度下嵌入值滿足顯著條件的嵌入對象作為顯著訓練樣本；
模型訓練單元303，針對每個維度，採用該維度下的顯著訓練樣本的樣本特徵和顯著類別標籤對解釋模型進行訓練；
特徵解釋單元304，基於已訓練的解釋模型確定所述顯著訓練樣本屬於所述顯著類別的解釋特徵，作為所述嵌入結果在該維度下的解釋特徵。
可選的，所述極值包括：最大值和最小值；
所述顯著條件包括：顯著啟動條件和顯著抑制條件；
所述顯著類別標籤與所述顯著條件對應，包括顯著啟動標籤和顯著抑制標籤；
所述顯著條件的確定過程包括：
計算所述最大值和預設變化參數的差值；
計算所述最小值和所述預設變化參數的求和值；
將所述顯著啟動條件確定為：嵌入值大於等於所述差值，且小於等於所述最大值；
將所述顯著抑制條件確定為：嵌入值大於等於所述最小值，且小於等於所述求和值。
可選的，所述特徵解釋單元304：
基於已訓練的解釋模型確定所述顯著訓練樣本中各樣本特徵的權重；
按照權重從大到小的順序對樣本特徵進行排序；
提取排列在前N位的樣本特徵作為所述顯著訓練樣本屬於所述顯著類別的解釋特徵，N為大於等於1的自然數。
可選的，所述樣本特徵包括：原始特徵和拓撲特徵。
可選的，所述拓撲特徵包括以下一種或多種：
一階鄰居數量、二階鄰居數量、一階鄰居的平均鄰居數量、一階鄰居在指定原始特徵維度下的統計值。
可選的，所述解釋模型是二分類模型。
上述裝置中各個單元的功能和作用的實現過程具體詳見上述方法中對應步驟的實現過程，在此不再贅述。
對於裝置實施例而言，由於其基本對應於方法實施例，所以相關之處參見方法實施例的部分說明即可。以上所描述的裝置實施例僅僅是示意性的，其中所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位於一個地方，或者也可以分布到多個網路單元上。可以根據實際的需要選擇其中的部分或者全部模塊來實現本說明書方案的目的。本領域普通技術人員在不付出創造性勞動的情况下，即可以理解並實施。
上述實施例闡明的系統、裝置、模塊或單元，具體可以由計算機晶片或實體實現，或者由具有某種功能的産品來實現。一種典型的實現設備為計算機，計算機的具體形式可以是個人計算機、膝上型計算機、蜂巢式電話、相機電話、智慧型電話、個人數位助理、媒體播放器、導航設備、電子郵件收發設備、遊戲控制台、平板計算機、可穿戴設備或者這些設備中的任意幾種設備的組合。
與前述嵌入結果的解釋方法的實施例相對應，本說明書還提供一種嵌入結果的解釋裝置，該裝置包括：處理器以及用於儲存機器可執行指令的記憶體。其中，處理器和記憶體通常借由內部總綫相互連接。在其他可能的實現方式中，所述設備還可能包括外部介面，以能够與其他設備或者部件進行通訊。
在本實施例中，透過讀取並執行所述記憶體儲存的與嵌入結果的解釋邏輯對應的機器可執行指令，所述處理器被促使：
採用嵌入算法對嵌入對象進行嵌入處理，得到每個嵌入對象的嵌入結果，所述嵌入結果包括若干維度的嵌入值；
根據所述嵌入值的極值提取各維度下嵌入值滿足顯著條件的嵌入對象作為顯著訓練樣本；
針對每個維度，採用該維度下的顯著訓練樣本的樣本特徵和顯著類別標籤對解釋模型進行訓練；
基於已訓練的解釋模型確定所述顯著訓練樣本屬於所述顯著類別的解釋特徵，作為所述嵌入結果在該維度下的解釋特徵。
可選的，所述極值包括：最大值和最小值；
所述顯著條件包括：顯著啟動條件和顯著抑制條件；
所述顯著類別標籤與所述顯著條件對應，包括顯著啟動標籤和顯著抑制標籤；
所述顯著條件的確定過程包括：
計算所述最大值和預設變化參數的差值；
計算所述最小值和所述預設變化參數的求和值；
將所述顯著啟動條件確定為：嵌入值大於等於所述差值，且小於等於所述最大值；
將所述顯著抑制條件確定為：嵌入值大於等於所述最小值，且小於等於所述求和值。
可選的，在基於已訓練的解釋模型確定所述顯著訓練樣本屬於所述顯著類別的解釋特徵時，所述處理器被促使：
基於已訓練的解釋模型確定所述顯著訓練樣本中各樣本特徵的權重；
按照權重從大到小的順序對樣本特徵進行排序；
提取排列在前N位的樣本特徵作為所述顯著訓練樣本屬於所述顯著類別的解釋特徵，N為大於等於1的自然數。
可選的，所述樣本特徵包括：原始特徵和拓撲特徵。
可選的，所述拓撲特徵包括以下一種或多種：
一階鄰居數量、二階鄰居數量、一階鄰居的平均鄰居數量、一階鄰居在指定原始特徵維度下的統計值。
可選的，所述解釋模型是二分類模型。
與前述嵌入結果的解釋方法的實施例相對應，本說明書還提供一種計算機可讀儲存媒體，所述計算機可讀儲存媒體上儲存有計算機程序，該程序被處理器執行時實現以下步驟：
採用嵌入算法對嵌入對象進行嵌入處理，得到每個嵌入對象的嵌入結果，所述嵌入結果包括若干維度的嵌入值；
根據所述嵌入值的極值提取各維度下嵌入值滿足顯著條件的嵌入對象作為顯著訓練樣本；
針對每個維度，採用該維度下的顯著訓練樣本的樣本特徵和顯著類別標籤對解釋模型進行訓練；
基於已訓練的解釋模型確定所述顯著訓練樣本屬於所述顯著類別的解釋特徵，作為所述嵌入結果在該維度下的解釋特徵。
可選的，所述極值包括：最大值和最小值；
所述顯著條件包括：顯著啟動條件和顯著抑制條件；
所述顯著類別標籤與所述顯著條件對應，包括顯著啟動標籤和顯著抑制標籤；
所述顯著條件的確定過程包括：
計算所述最大值和預設變化參數的差值；
計算所述最小值和所述預設變化參數的求和值；
將所述顯著啟動條件確定為：嵌入值大於等於所述差值，且小於等於所述最大值；
將所述顯著抑制條件確定為：嵌入值大於等於所述最小值，且小於等於所述求和值。
可選的，所述基於已訓練的解釋模型確定所述顯著訓練樣本屬於所述顯著類別的解釋特徵，包括：
基於已訓練的解釋模型確定所述顯著訓練樣本中各樣本特徵的權重；
按照權重從大到小的順序對樣本特徵進行排序；
提取排列在前N位的樣本特徵作為所述顯著訓練樣本屬於所述顯著類別的解釋特徵，N為大於等於1的自然數。
可選的，所述樣本特徵包括：原始特徵和拓撲特徵。
可選的，所述拓撲特徵包括以下一種或多種：
一階鄰居數量、二階鄰居數量、一階鄰居的平均鄰居數量、一階鄰居在指定原始特徵維度下的統計值。
可選的，所述解釋模型是二分類模型。
上述對本說明書特定實施例進行了描述。其它實施例在所附申請專利範圍的範圍內。在一些情况下，在申請專利範圍中記載的動作或步驟可以按照不同於實施例中的順序來執行並且仍然可以實現期望的結果。另外，在圖式中描繪的過程不一定要求示出的特定順序或者連續順序才能實現期望的結果。在某些實施方式中，多任務處理和並行處理也是可以的或者可能是有利的。
以上所述僅為本說明書的較佳實施例而已，並不用以限制本說明書，凡在本說明書的精神和原則之內，所做的任何修改、等同替換、改進等，均應包含在本說明書保護的範圍之內。
102:步驟
104:步驟
106:步驟
108:步驟
300:叢集結果的解釋裝置
301:嵌入處理單元
302:樣本提取單元
303:模型訓練單元
304:特徵解釋單元
圖1是本說明書一示例性實施例示出的一種嵌入結果的解釋方法的流程示意圖。
圖2是本說明書一示例性實施例示出的另一種嵌入結果的解釋方法的流程示意圖。
圖3是本說明書一示例性實施例示出的一種用於嵌入結果的解釋裝置的一結構示意圖。
圖4是本說明書一示例性實施例示出的一種嵌入結果的解釋裝置的方塊圖。
Claims (13)
- 一種嵌入結果的解釋方法，包括：採用嵌入算法對嵌入對象進行嵌入處理，得到每個嵌入對象的嵌入結果，該嵌入結果包括若干維度的嵌入值；根據該嵌入值的極值提取各維度下嵌入值滿足顯著條件的嵌入對象作為顯著訓練樣本；針對每個維度，採用該維度下的顯著訓練樣本的樣本特徵和顯著類別標籤對解釋模型進行訓練；基於已訓練的解釋模型確定該顯著訓練樣本屬於該顯著類別的解釋特徵，作為該嵌入結果在該維度下的解釋特徵，該極值包括：最大值和最小值；該顯著條件包括：顯著啟動條件和顯著抑制條件；該顯著類別標籤與該顯著條件對應，包括顯著啟動標籤和顯著抑制標籤；該顯著條件的確定過程包括：計算該最大值和預設變化參數的差值；計算該最小值和該預設變化參數的求和值；將該顯著啟動條件確定為：嵌入值大於等於該差值，且小於等於該最大值；將該顯著抑制條件確定為：嵌入值大於等於該最小值，且小於等於該求和值。
- 根據請求項1之方法，該基於已訓練的解釋模型確定該顯著訓練樣本屬於該顯著類別的解釋特徵，包括：基於已訓練的解釋模型確定該顯著訓練樣本中各樣本特徵的權重；按照權重從大到小的順序對樣本特徵進行排序；提取排列在前N位的樣本特徵作為該顯著訓練樣本屬於該顯著類別的解釋特徵，N為大於等於1的自然數。
- 根據請求項2之方法，該樣本特徵包括：原始特徵和拓撲特徵。
- 根據請求項3之方法，該拓撲特徵包括以下一種或多種：一階鄰居數量、二階鄰居數量、一階鄰居的平均鄰居數量、一階鄰居在指定原始特徵維度下的統計值。
- 根據請求項1之方法，該解釋模型是二分類模型。
- 一種圖嵌入的結果解釋方法，包括：採用嵌入算法對圖節點進行嵌入處理，得到每個圖節點的嵌入結果，該嵌入結果包括若干維度的嵌入值；根據該嵌入值的極值提取各維度下嵌入值滿足顯著條件的圖節點作為顯著訓練樣本； 針對每個維度，採用該維度下的顯著訓練樣本的樣本特徵和顯著類別標籤對解釋模型進行訓練；基於已訓練的解釋模型確定該顯著訓練樣本屬於該顯著類別的解釋特徵，作為該嵌入結果在該維度下的解釋特徵，該極值包括：最大值和最小值；該顯著條件包括：顯著啟動條件和顯著抑制條件；該顯著類別標籤與該顯著條件對應，包括顯著啟動標籤和顯著抑制標籤；該顯著條件的確定過程包括：計算該最大值和預設變化參數的差值；計算該最小值和該預設變化參數的求和值；將該顯著啟動條件確定為：嵌入值大於等於該差值，且小於等於該最大值；將該顯著抑制條件確定為：嵌入值大於等於該最小值，且小於等於該求和值。
- 一種詞嵌入的結果解釋方法，包括：採用嵌入算法對文本中的詞彙進行嵌入處理，得到每個文本對應的詞嵌入結果，該詞嵌入結果包括若干維度的嵌入值；根據該嵌入值的極值提取各維度下嵌入值滿足顯著條件的詞彙作為顯著訓練樣本；針對每個維度，採用該維度下的顯著訓練樣本的樣本 特徵和顯著類別標籤對解釋模型進行訓練；基於已訓練的解釋模型確定該顯著訓練樣本屬於該顯著類別的解釋特徵，作為該嵌入結果在該維度下的解釋特徵，該極值包括：最大值和最小值；該顯著條件包括：顯著啟動條件和顯著抑制條件；該顯著類別標籤與該顯著條件對應，包括顯著啟動標籤和顯著抑制標籤；該顯著條件的確定過程包括：計算該最大值和預設變化參數的差值；計算該最小值和該預設變化參數的求和值；將該顯著啟動條件確定為：嵌入值大於等於該差值，且小於等於該最大值；將該顯著抑制條件確定為：嵌入值大於等於該最小值，且小於等於該求和值。
- 一種嵌入結果的解釋裝置，包括：嵌入處理單元，採用嵌入算法對嵌入對象進行嵌入處理，得到每個嵌入對象的嵌入結果，該嵌入結果包括若干維度的嵌入值；樣本提取單元，根據該嵌入值的極值提取各維度下嵌入值滿足顯著條件的嵌入對象作為顯著訓練樣本；模型訓練單元，針對每個維度，採用該維度下的顯著訓練樣本的樣本特徵和顯著類別標籤對解釋模型進行訓 練；特徵解釋單元，基於已訓練的解釋模型確定該顯著訓練樣本屬於該顯著類別的解釋特徵，作為該嵌入結果在該維度下的解釋特徵，該極值包括：最大值和最小值；該顯著條件包括：顯著啟動條件和顯著抑制條件；該顯著類別標籤與該顯著條件對應，包括顯著啟動標籤和顯著抑制標籤；該顯著條件的確定過程包括：計算該最大值和預設變化參數的差值；計算該最小值和該預設變化參數的求和值；將該顯著啟動條件確定為：嵌入值大於等於該差值，且小於等於該最大值；將該顯著抑制條件確定為：嵌入值大於等於該最小值，且小於等於該求和值。
- 根據請求項8之裝置，該特徵解釋單元：基於已訓練的解釋模型確定該顯著訓練樣本中各樣本特徵的權重；按照權重從大到小的順序對樣本特徵進行排序；提取排列在前N位的樣本特徵作為該顯著訓練樣本屬於該顯著類別的解釋特徵，N為大於等於1的自然數。
- 根據請求項9之裝置， 該樣本特徵包括：原始特徵和拓撲特徵。
- 根據請求項10之裝置，該拓撲特徵包括以下一種或多種：一階鄰居數量、二階鄰居數量、一階鄰居的平均鄰居數量、一階鄰居在指定原始特徵維度下的統計值。
- 根據請求項8之裝置，該解釋模型是二分類模型。
- 一種嵌入結果的解釋裝置，包括：處理器；用於儲存機器可執行指令的記憶體；其中，透過讀取並執行該記憶體儲存的與嵌入結果的解釋邏輯對應的機器可執行指令，該處理器被促使：採用嵌入算法對嵌入對象進行嵌入處理，得到每個嵌入對象的嵌入結果，該嵌入結果包括若干維度的嵌入值；根據該嵌入值的極值提取各維度下嵌入值滿足顯著條件的嵌入對象作為顯著訓練樣本；針對每個維度，採用該維度下的顯著訓練樣本的樣本特徵和顯著類別標籤對解釋模型進行訓練；基於已訓練的解釋模型確定該顯著訓練樣本屬於該顯著類別的解釋特徵，作為該嵌入結果在該維度下的解釋特徵， 該極值包括：最大值和最小值；該顯著條件包括：顯著啟動條件和顯著抑制條件；該顯著類別標籤與該顯著條件對應，包括顯著啟動標籤和顯著抑制標籤；該顯著條件的確定過程包括：計算該最大值和預設變化參數的差值；計算該最小值和該預設變化參數的求和值；將該顯著啟動條件確定為：嵌入值大於等於該差值，且小於等於該最大值；將該顯著抑制條件確定為：嵌入值大於等於該最小值，且小於等於該求和值。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811475037.4A CN109902167B (zh) | 2018-12-04 | 2018-12-04 | 嵌入结果的解释方法和装置 |
| CN201811475037.4 | 2018-12-04 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202022641A TW202022641A (zh) | 2020-06-16 |
| TWI711934B true TWI711934B (zh) | 2020-12-01 |
Family
ID=66943355
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW108133376A TWI711934B (zh) | 2018-12-04 | 2019-09-17 | 嵌入結果的解釋方法和裝置 |
Country Status (3)
| Country | Link |
|---|---|
| CN (1) | CN109902167B (zh) |
| TW (1) | TWI711934B (zh) |
| WO (1) | WO2020114109A1 (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109902167B (zh) * | 2018-12-04 | 2020-09-01 | 阿里巴巴集团控股有限公司 | 嵌入结果的解释方法和装置 |
| CN111262887B (zh) * | 2020-04-26 | 2020-08-28 | 腾讯科技（深圳）有限公司 | 基于对象特征的网络风险检测方法、装置、设备及介质 |
| CN112561074A (zh) * | 2020-11-09 | 2021-03-26 | 联想(北京)有限公司 | 一种机器学习可解释方法、装置及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101136141A (zh) * | 2007-10-12 | 2008-03-05 | 清华大学 | 基于单频连续波雷达的车型分类方法 |
| TW201520790A (zh) * | 2013-11-29 | 2015-06-01 | Alibaba Group Services Ltd | 個性化資料搜尋方法和裝置 |
| CN105548764A (zh) * | 2015-12-29 | 2016-05-04 | 山东鲁能软件技术有限公司 | 一种电力设备故障诊断方法 |
| CN106774970A (zh) * | 2015-11-24 | 2017-05-31 | 北京搜狗科技发展有限公司 | 对输入法的候选项进行排序的方法和装置 |
| CN107153630A (zh) * | 2016-03-04 | 2017-09-12 | 阿里巴巴集团控股有限公司 | 一种机器学习系统的训练方法和训练系统 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004326465A (ja) * | 2003-04-24 | 2004-11-18 | Matsushita Electric Ind Co Ltd | 文書分類用の学習装置、及びこれを用いた文書分類方法並びに文書分類装置 |
| CN102880638B (zh) * | 2012-08-10 | 2015-06-17 | 合肥工业大学 | 一种面向植物叶片的多样化图像检索的自适应的鲁棒cmvm特征降维与抽取方法 |
| CN105303028B (zh) * | 2015-08-20 | 2018-11-23 | 扬州大学 | 基于有监督等度规映射的智能医学诊断分类方法 |
| CN107766873A (zh) * | 2017-09-06 | 2018-03-06 | 天津大学 | 基于排序学习的多标签零样本分类方法 |
| CN109902167B (zh) * | 2018-12-04 | 2020-09-01 | 阿里巴巴集团控股有限公司 | 嵌入结果的解释方法和装置 |
-
2018
- 2018-12-04 CN CN201811475037.4A patent/CN109902167B/zh active Active
-
2019
- 2019-09-17 TW TW108133376A patent/TWI711934B/zh active
- 2019-10-21 WO PCT/CN2019/112106 patent/WO2020114109A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101136141A (zh) * | 2007-10-12 | 2008-03-05 | 清华大学 | 基于单频连续波雷达的车型分类方法 |
| TW201520790A (zh) * | 2013-11-29 | 2015-06-01 | Alibaba Group Services Ltd | 個性化資料搜尋方法和裝置 |
| CN106774970A (zh) * | 2015-11-24 | 2017-05-31 | 北京搜狗科技发展有限公司 | 对输入法的候选项进行排序的方法和装置 |
| CN105548764A (zh) * | 2015-12-29 | 2016-05-04 | 山东鲁能软件技术有限公司 | 一种电力设备故障诊断方法 |
| CN107153630A (zh) * | 2016-03-04 | 2017-09-12 | 阿里巴巴集团控股有限公司 | 一种机器学习系统的训练方法和训练系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202022641A (zh) | 2020-06-16 |
| WO2020114109A1 (zh) | 2020-06-11 |
| CN109902167A (zh) | 2019-06-18 |
| CN109902167B (zh) | 2020-09-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI726420B (zh) | 叢集結果的解釋方法和裝置 | |
| CN109658455B (zh) | 图像处理方法和处理设备 | |
| TWI711934B (zh) | 嵌入結果的解釋方法和裝置 | |
| TW201909112A (zh) | 圖像特徵獲取 | |
| JP2020520492A (ja) | 文書要約自動抽出方法、装置、コンピュータ機器及び記憶媒体 | |
| US20140267301A1 (en) | Systems and methods for feature fusion | |
| US9342991B2 (en) | Systems and methods for generating a high-level visual vocabulary | |
| US20170116521A1 (en) | Tag processing method and device | |
| CN108959474B (zh) | 实体关系提取方法 | |
| CN110489545A (zh) | 文本分类方法及装置、存储介质、计算机设备 | |
| JP6004015B2 (ja) | 学習方法、情報処理装置および学習プログラム | |
| Zhu et al. | Topic hypergraph hashing for mobile image retrieval | |
| CN107392311A (zh) | 序列切分的方法和装置 | |
| CN103942214B (zh) | 基于多模态矩阵填充的自然图像分类方法及装置 | |
| JP6230987B2 (ja) | 言語モデル作成装置、言語モデル作成方法、プログラム、および記録媒体 | |
| CN111898704A (zh) | 对内容样本进行聚类的方法和装置 | |
| CN113408282B (zh) | 主题模型训练和主题预测方法、装置、设备及存储介质 | |
| CN118298434A (zh) | 图像识别方法、目标识别模型的模型训练方法和相关设备 | |
| JP5518757B2 (ja) | 文書分類学習制御装置、文書分類装置およびコンピュータプログラム | |
| JP7389389B2 (ja) | 処理装置、処理方法および処理プログラム | |
| CN113849645B (zh) | 邮件分类模型训练方法、装置、设备及存储介质 | |
| CN111860556A (zh) | 一种模型的处理方法、装置及存储介质 | |
| JP5959446B2 (ja) | コンテンツをバイナリ特徴ベクトルの集合で表現することによって高速に検索する検索装置、プログラム及び方法 | |
| JP6601965B2 (ja) | 探索木を用いて量子化するプログラム、装置及び方法 | |
| Xie et al. | Markov random field based fusion for supervised and semi-supervised multi-modal image classification |