TW201926078A

TW201926078A - 詞向量處理方法、裝置以及設備

Info

Publication number: TW201926078A
Application number: TW107133778A
Authority: TW
Inventors: 曹紹升; 周俊
Original assignee: 香港商阿里巴巴集團服務有限公司
Priority date: 2017-11-30
Filing date: 2018-09-26
Publication date: 2019-07-01
Also published as: CN108170667B; CN108170667A; WO2019105134A1; TWI701588B

Abstract

本說明書實施例公開了詞向量處理方法、裝置以及設備。所述方法包括：獲取對語料分詞得到的各詞，建立各詞的詞向量，根據各詞的詞向量，以及各詞在語料中的上下文詞的詞向量，對卷積神經網路進行訓練，根據各詞的詞向量和訓練後的卷積神經網路，獲取各詞的詞向量的訓練結果。

Description

詞向量處理方法、裝置以及設備

本說明書涉及電腦軟體技術領域，尤其涉及詞向量處理方法、裝置以及設備。

如今的自然語言處理的解決方案，大都採用基於神經網路的架構，而在這種架構下一個重要的基礎技術就是詞向量。詞向量是將詞映射到一個固定維度的向量，該向量表徵了該詞的語義資訊。在現有技術中，常見的用於生成詞向量的演算法比如包括：谷歌公司的詞向量演算法、微軟公司的深度神經網路演算法等。基於現有技術，需要一種更準確的詞向量方案。

本說明書實施例提供詞向量處理方法、裝置以及設備，用以解決如下技術問題：需要一種更準確的詞向量方案。為解決上述技術問題，本說明書實施例是這樣實現的：本說明書實施例提供的一種詞向量處理方法，包括：獲取對語料分詞得到的各詞；建立所述各詞的詞向量；根據所述各詞的詞向量，以及所述各詞在所述語料中的上下文詞的詞向量，對卷積神經網路進行訓練；根據所述各詞的詞向量和訓練後的所述卷積神經網路，獲取所述各詞的詞向量的訓練結果。本說明書實施例提供的一種詞向量處理裝置，包括：獲取模組，獲取對語料分詞得到的各詞；建立模組，建立所述各詞的詞向量；訓練模組，根據所述各詞的詞向量，以及所述各詞在所述語料中的上下文詞的詞向量，對卷積神經網路進行訓練；處理模組，根據所述各詞的詞向量和訓練後的所述卷積神經網路，獲取所述各詞的詞向量的訓練結果。本說明書實施例提供的另一種詞向量處理方法，包括：步驟1，建立通過對語料分詞得到的各詞構成的詞匯表，所述各詞不包括在所述語料中出現次數少於設定次數的詞；跳轉步驟2；步驟2，確定各詞的總數量，相同的詞只計一次；跳轉步驟3；步驟3，為各詞分別建立維度為所述數量的一個不同的1-hot詞向量；跳轉步驟4；步驟4，遍歷分詞後的所述語料，對遍歷到的當前詞執行步驟5，若遍歷完成則執行步驟6，否則繼續遍歷；步驟5，以當前詞為中心，向兩側分別滑動至多個詞建立窗口，將窗口中除當前詞以外的詞作為上下文詞，並將所有上下文詞的詞向量輸入卷積神經網路的卷積層進行卷積計算，卷積計算結果輸入所述卷積神經網路的池化層進行池化計算，得到第一向量；將當前詞以及在所述語料中選擇的負樣例詞的詞向量輸入所述卷積神經網路的全連接層進行計算，分別得到第二向量和第三向量；根據所述第一向量、所述第二向量、所述第三向量，以及指定的損失函數，更新所述卷積神經網路的參數；所述卷積計算按照如下公式進行：所述池化計算按照如下公式進行：，或者所述損失函數包括：其中，表示第個上下文詞的詞向量，表示將第~個上下文詞的詞向量拼接得到的向量，表示通過所述卷積計算得到的向量的第個元素，表示卷積層的權重參數，表示卷積層的偏置參數，表示激勵函數，表示求最大值函數，表示求平均值函數，表示池化計算後得到的所述第一向量的第個元素，表示上下文詞的數量，表示所述第一向量，表示所述第二向量，表示第個負樣例詞對應的所述第三向量，表示卷積層的權重參數，表示卷積層的偏置參數，表示全連接層的權重參數，表示全連接層的偏置參數，表示超參數，表示相似度計算函數，表示負樣例詞的數量；步驟6，將所述各詞的詞向量分別輸入訓練後的所述卷積神經網路的全連接層進行計算，得到對應的詞向量訓練結果。本說明書實施例提供的一種詞向量處理設備，包括：至少一個處理器；以及，與所述至少一個處理器通信連接的記憶體；其中，所述記憶體儲存有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠：對語料分詞得到各詞；建立所述各詞的詞向量；根據所述各詞的詞向量，以及所述各詞在所述語料中的上下文詞的詞向量，對卷積神經網路進行訓練；根據所述各詞的詞向量和訓練後的所述卷積神經網路，獲取所述各詞的詞向量的訓練結果。本說明書實施例採用的上述至少一個技術方案能夠達到以下有益效果：卷積神經網路可以通過卷積計算和池化計算，對詞的上下文整體語義資訊進行刻畫，提取更多的上下文語義資訊，進而能夠得到更為準確的詞向量訓練結果，因此，可以部分或者全部地解決上述技術問題。

本說明書實施例提供詞向量處理方法、裝置以及設備。為了使本技術領域的人員更好地理解本說明書中的技術方案，下面將結合本說明書實施例中的附圖，對本說明書實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基於本說明書實施例，本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施例，都應當屬於本發明保護的範圍。圖1為本說明書的方案在一種實際應用情境下涉及的一種整體架構示意圖。該整體架構中，主要涉及四部分：語料中的詞、詞的詞向量及詞在語料中的上下文詞的詞向量、卷積神經網路訓練伺服器。前三部分涉及的動作可以由相應的軟體和/或硬體功能模組執行，比如，可以也由卷積神經網路訓練伺服器執行。詞及其上下文詞的詞向量用於訓練卷積神經網路，進而用訓練後的卷積神經網路再對詞向量進行推理，通過網路訓練過程和詞向量推理過程，實現了詞向量訓練，推理結果即為詞向量訓練結果。本說明書的方案適用於英文詞的詞向量，也適用於中文、日文和德文等任意語言的詞向量。為了便於描述，以下各實施例主要針對英文詞的情境，對本說明書的方案進行說明。圖2為本說明書實施例提供的一種詞向量處理方法的流程示意圖。從設備角度而言，該流程的執行主體比如包括以下至少一種設備：個人電腦、大中型電腦、電腦集群、手機、平板電腦、智慧可穿戴設備、車機等。圖2中的流程可以包括以下步驟： S202：獲取對語料分詞得到的各詞。在本說明書實施例中，所述各詞具體可以是：語料中至少出現過一次的詞中的至少部分詞。為了便於後續處理，可以將各詞保存在詞匯表中，需要使用時從詞匯表中讀取詞即可。需要說明的是，考慮到若某詞在語料中出現的次數太少，則後續處理時相應的迭代次數也少，訓練結果可信度相對低，因此，可以將這種詞篩除，使其不包含在所述各詞中。在這種情況下，所述各詞具體是：語料中至少出現過一次的詞中的部分詞。 S204：建立所述各詞的詞向量。在本說明書實施例中，所建立的詞向量可以是初始化的詞向量，需要通過訓練後才能夠較好地反映詞義。為了保證方案的效果，在建立詞向量時，可能會有一些限制條件。比如，一般不為不同詞的建立相同的詞向量；又比如，詞向量中的元素取值一般不能全為0；等等。在本說明書實施例中，建立詞向量的方式有多種，比如，建立獨熱(1-hot)詞向量、或者隨機建立詞向量等。另外，若之前已經基於其他語料，訓練過某些詞對應的詞向量，則在進一步地基於圖2中的語料訓練這些詞的詞向量，可以不再重新建立這些詞的詞向量，而是基於圖2中的語料和之前的訓練結果，再進行訓練即可。 S206：根據所述各詞的詞向量，以及所述各詞在所述語料中的上下文詞的詞向量，對卷積神經網路進行訓練。在本說明書實施例中，卷積神經網路的卷積層用於提取局部神經元的資訊，卷積神經網路的池化層用於綜合卷積層各個局部資訊進而得到全域資訊。具體到本說明書的情境，局部資訊可以指部分上下文詞的整體語義，全域資訊可以指全部上下文詞的整體語義。 S208：根據所述各詞的詞向量和訓練後的所述卷積神經網路，獲取所述各詞的詞向量的訓練結果。通過訓練卷積神經網路，能夠為卷積神經網路確定合理的參數，使得卷積神經網路能夠較為準確地刻畫上下文詞的整體語義，以及對應的當前詞的語義。所述參數比如包括權重參數和偏置參數等。利用訓練後的卷積神經網路的全連接層對詞向量進行推理，可以獲得詞向量訓練結果。通過圖2的方法，卷積神經網路可以通過卷積計算和池化計算，對詞的上下文整體語義資訊進行刻畫，提取更多的上下文語義資訊，進而能夠得到更為準確的詞向量訓練結果。基於圖2的方法，本說明書實施例還提供了該方法的一些具體實施方案，以及擴展方案，下面進行說明。在本說明書實施例中，以建立1-hot詞向量為例。對於步驟S204，所述建立所述各詞的詞向量，具體可以包括：確定所述各詞的總數量(相同的詞只計一次)；分別為所述各詞建立維度為所述總數量的詞向量，其中，所述各詞的詞向量互不相同，所述詞向量中有一個元素為1，其餘元素為0。例如，對各詞逐一進行編號，編號從0開始，依次加一，假定各詞的總數量為，則最後一個詞的編號為。分別為各詞建立一個維度為的1-hot詞向量，具體地，假定某詞的編號為256，為其建立的詞向量中第256個元素可以為1，則其餘元素為0。在本說明書實施例中，在對卷積神經網路進行訓練時，目標是使得當前詞與上下文詞的詞向量在經過訓練後的卷積神經網路推理後，相似度能夠相對變高。進一步地，將上下文詞視為正樣例詞，作為對照，還可以按照一定的規則選擇當前詞的一個或者多個負樣例詞也參與訓練，如此有利於訓練快速收斂以及獲得更為準確的訓練結果。這種情況下，所述目標還可以包括使得當前詞與負樣例詞的詞向量在經過訓練後的卷積神經網路推理後，相似度能夠相對變低。負樣例詞比如可以在語料中隨機選擇得到，或者在非上下文詞中選擇得到，等等。本說明書對計算相似度的具體方式並不做限定，比如，可以基於向量的夾角余弦運算計算相似度，可以基於向量的平方和運算計算相似度，等等。根據上一段的分析，對於步驟S206，所述根據所述各詞的詞向量，以及所述各詞在所述語料中的上下文詞的詞向量，對卷積神經網路進行訓練。具體可以包括：根據所述各詞的詞向量，以及所述各詞在所述語料中的上下文詞和負樣例詞的詞向量，對卷積神經網路進行訓練。在本說明書實施例中，卷積神經網路的訓練過程可以是迭代進行的，比較簡單的一種方式是對分詞後的語料進行遍歷，每遍歷到上述各詞中的一個詞即進行一次迭代，直到遍歷完畢，可以視為已經利用該語料訓練過卷積神經網路了。具體地，所述根據所述各詞的詞向量，以及所述各詞在所述語料中的上下文詞和負樣例詞的詞向量，對卷積神經網路進行訓練，可以包括：對分詞後的所述語料進行遍歷，對遍歷到的當前詞執行(執行內容即為一次迭代過程)：確定當前詞在分詞後的所述語料中的一個或多個上下文詞以及負樣例詞；將當前詞的上下文詞的詞向量輸入卷積神經網路的卷積層進行卷積計算；將卷積計算結果輸入所述卷積神經網路的池化層進行池化計算，得到第一向量；將當前詞的詞向量輸入所述卷積神經網路的全連接層進行計算，得到第二向量，以及將當前詞的負樣例詞的詞向量輸入所述卷積神經網路的全連接層進行計算，得到第三向量；根據所述第一向量、所述第二向量、所述第三向量，以及指定的損失函數，更新所述卷積神經網路的參數。更直觀地，結合圖3進行說明。圖3為本說明書實施例提供的實際應用情境下，一種卷積神經網路的結構示意圖。圖3的卷積神經網路主要包括卷積層、池化層、全連接層，以及Softmax層。在訓練卷積神經網路的過程中，上下文詞的向量由卷積層和池化層進行處理，以提取上下文詞整體的詞義資訊，而當前詞及其負樣例詞的詞向量則可以由全連接層進行處理。下面分別詳細說明。在本說明書實施例中，假定採用滑動窗口來確定上下文詞，滑動窗口的中心為遍歷到的當前詞，滑動窗口中除當前詞以外的其他詞為上下文詞。將全部上下文詞的詞向量輸入卷積層，進而可以按照如下公式，進行卷積計算：其中，表示第個上下文詞的詞向量(這裡假定是列向量)，表示將第~個上下文詞的詞向量拼接得到的向量，表示通過所述卷積計算得到的向量(卷積計算結果)的第個元素，表示卷積層的權重參數，表示卷積層的偏置參數，表示激勵函數，比如，Sigmoid函數，則。進一步地，得到卷積計算結果後，可以輸入池化層進行池化計算，具體可以採用最大化池化計算或者平均池化計算等。若採用最大化池化計算，比如採用以下公式：若採用平均池化計算，比如採用以下公式：其中，表示求最大值函數，表示求平均值函數，表示池化計算後得到的所述第一向量的第個元素，表示上下文詞的數量。圖3還示例性地示出了某語料中的某個當前詞“liquid”、該當前詞在該語料中的6個上下文詞“as”、“the”、“vegan”、“gelatin”、“substitute”、“absorbs”，以及該當前詞在該語料中的兩個負樣例詞“year”、“make”。圖3中假定所建立的1-hot詞向量均為維，，表示卷積窗口的長度，則卷積計算時拼接得到的向量的維度為維。對於當前詞，其詞向量可以輸入全連接層，比如按照以下公式進行計算：其中，表示全連接層對當前詞的詞向量處理後輸出的所述第二向量，表示全連接層的權重參數，表示當前詞的詞向量，表示全連接層的偏置參數。類似地，對於每個負樣例詞，其詞向量可以分別輸入全連接層，參照當前詞的方式進行處理，得到所述第三向量，將第個負樣例詞對應的所述第三向量表示為。進一步地，所述根據所述第一向量、所述第二向量、所述第三向量，以及指定的損失函數，更新所述卷積神經網路的參數，比如可以包括：計算所述第二向量與所述第一向量的第一相似度，以及所述第三向量與所述第一向量的第二相似度；根據所述第一相似度、所述第二相似度，以及指定的損失函數，更新所述卷積神經網路的參數。列舉一種損失函數作為示例。所述損失函數比如可以是：其中，表示所述第一向量，表示所述第二向量，表示第個負樣例詞對應的所述第三向量，表示卷積層的權重參數，表示卷積層的偏置參數，表示全連接層的權重參數，表示全連接層的偏置參數，表示超參數，表示相似度計算函數，表示負樣例詞的數量。在實際應用中，若為採用負樣例詞，則採用的損失函數中可以相應地去掉計算第一向量與第三向量的相似度的項。在本說明書實施例中，在卷積神經網路訓練後，可以對詞向量進行推理，獲得詞向量訓練結果。具體地，對於步驟S208，所述根據所述各詞的詞向量和訓練後的所述卷積神經網路，獲取所述各詞的詞向量的訓練結果，具體可以包括：將所述各詞的詞向量分別輸入訓練後的所述卷積神經網路的全連接層進行計算，獲得計算後輸出的向量，作為對應的詞向量訓練結果。基於同樣的思路，本說明書實施例提供了另一種詞向量處理方法，其為圖2中的詞向量處理方法示例性的一種具體實施方案。圖4為該另一種詞向量處理方法的流程示意圖。圖4中的流程可以包括以下步驟：步驟1，建立通過對語料分詞得到的各詞構成的詞匯表，所述各詞不包括在所述語料中出現次數少於設定次數的詞；跳轉步驟2；步驟2，確定各詞的總數量，相同的詞只計一次；跳轉步驟3；步驟3，為各詞分別建立維度為所述數量的一個不同的1-hot詞向量；跳轉步驟4；步驟4，遍歷分詞後的所述語料，對遍歷到的當前詞執行步驟5，若遍歷完成則執行步驟6，否則繼續遍歷；步驟5，以當前詞為中心，向兩側分別滑動至多個詞建立窗口，將窗口中除當前詞以外的詞作為上下文詞，並將所有上下文詞的詞向量輸入卷積神經網路的卷積層，進行卷積計算，卷積計算結果輸入所述卷積神經網路的池化層進行池化計算，得到第一向量；將當前詞以及在所述語料中選擇的負樣例詞的詞向量輸入所述卷積神經網路的全連接層進行計算，分別得到第二向量和第三向量；根據所述第一向量、所述第二向量、所述第三向量，以及指定的損失函數，更新所述卷積神經網路的參數；所述卷積計算按照如下公式進行：所述池化計算按照如下公式進行：，或者所述損失函數包括：其中，表示第個上下文詞的詞向量，表示將第~個上下文詞的詞向量拼接得到的向量，表示通過所述卷積計算得到的向量的第個元素，表示卷積層的權重參數，表示卷積層的偏置參數，表示激勵函數，表示求最大值函數，表示求平均值函數，表示池化計算後得到的所述第一向量的第個元素，表示上下文詞的數量，表示所述第一向量，表示所述第二向量，表示第個負樣例詞對應的所述第三向量，表示卷積層的權重參數，表示卷積層的偏置參數，表示全連接層的權重參數，表示全連接層的偏置參數，表示超參數，表示相似度計算函數，表示負樣例詞的數量；步驟6，將所述各詞的詞向量分別輸入訓練後的所述卷積神經網路的全連接層進行計算，得到對應的詞向量訓練結果。該另一種詞向量處理方法中各步驟可以由相同或者不同的模組執行，本說明書對此並不做具體限定。上面為本說明書實施例提供的詞向量處理方法，基於同樣的思路，本說明書實施例還提供了對應的裝置，如圖5所示。圖5為本說明書實施例提供的對應於圖2的一種詞向量處理裝置的結構示意圖，該裝置可以位於圖2中流程的執行主體，包括：獲取模組501，獲取對語料分詞得到的各詞；建立模組502，建立所述各詞的詞向量；訓練模組503，根據所述各詞的詞向量，以及所述各詞在所述語料中的上下文詞的詞向量，對卷積神經網路進行訓練；處理模組504，根據所述各詞的詞向量和訓練後的所述卷積神經網路，獲取所述各詞的詞向量的訓練結果。可選地，所述建立模組502建立所述各詞的詞向量，具體包括：所述建立模組502確定所述各詞的總數量；分別為所述各詞建立維度為所述總數量的詞向量，其中，所述各詞的詞向量互不相同，所述詞向量中有一個元素為1，其餘元素為0。可選地，所述訓練模組503根據所述各詞的詞向量，以及所述各詞在所述語料中的上下文詞的詞向量，對卷積神經網路進行訓練，具體包括：所述訓練模組503根據所述各詞的詞向量，以及所述各詞在所述語料中的上下文詞和負樣例詞的詞向量，對卷積神經網路進行訓練。可選地，所述訓練模組503根據所述各詞的詞向量，以及所述各詞在所述語料中的上下文詞和負樣例詞的詞向量，對卷積神經網路進行訓練，具體包括：所述訓練模組503對分詞後的所述語料進行遍歷，對遍歷到的當前詞執行：確定當前詞在分詞後的所述語料中的一個或多個上下文詞以及負樣例詞；將當前詞的上下文詞的詞向量輸入卷積神經網路的卷積層進行卷積計算；將卷積計算結果輸入所述卷積神經網路的池化層進行池化計算，得到第一向量；將當前詞的詞向量輸入所述卷積神經網路的全連接層進行計算，得到第二向量，以及將當前詞的負樣例詞的詞向量輸入所述卷積神經網路的全連接層進行計算，得到第三向量；根據所述第一向量、所述第二向量、所述第三向量，以及指定的損失函數，更新所述卷積神經網路的參數。可選地，所述訓練模組503進行卷積計算，具體包括：所述訓練模組503按照如下公式，進行卷積計算：其中，表示第個上下文詞的詞向量，表示將第~個上下文詞的詞向量拼接得到的向量，表示通過所述卷積計算得到的向量的第個元素，表示卷積層的權重參數，表示卷積層的偏置參數，表示激勵函數。可選地，所述訓練模組503進行池化計算，具體包括：所述訓練模組503進行最大化池化計算或者平均池化計算。可選地，所述訓練模組503根據所述第一向量、所述第二向量、所述第三向量，以及指定的損失函數，更新所述卷積神經網路的參數，具體包括：所述訓練模組503計算所述第二向量與所述第一向量的第一相似度，以及所述第三向量與所述第一向量的第二相似度；根據所述第一相似度、所述第二相似度，以及指定的損失函數，更新所述卷積神經網路的參數。可選地，所述損失函數具體包括：其中，表示所述第一向量，表示所述第二向量，表示第個負樣例詞對應的所述第三向量，表示卷積層的權重參數，表示卷積層的偏置參數，表示全連接層的權重參數，表示全連接層的偏置參數，表示超參數，表示相似度計算函數，表示負樣例詞的數量。可選地，所述處理模組504根據所述各詞的詞向量和訓練後的所述卷積神經網路，獲取所述各詞的詞向量的訓練結果，具體包括：所述處理模組504將所述各詞的詞向量分別輸入訓練後的所述卷積神經網路的全連接層進行計算，獲得計算後輸出的向量，作為對應的詞向量訓練結果。基於同樣的思路，本說明書實施例還提供了對應的一種詞向量處理設備，包括：至少一個處理器；以及，與所述至少一個處理器通信連接的記憶體；其中，所述記憶體儲存有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠：獲取對語料分詞得到的各詞；建立所述各詞的詞向量；根據所述各詞的詞向量，以及所述各詞在所述語料中的上下文詞的詞向量，對卷積神經網路進行訓練；根據所述各詞的詞向量和訓練後的所述卷積神經網路，獲取所述各詞的詞向量的訓練結果。基於同樣的思路，本說明書實施例還提供了對應的一種非揮發性電腦儲存媒體，儲存有電腦可執行指令，所述電腦可執行指令設置為：獲取對語料分詞得到的各詞；建立所述各詞的詞向量；根據所述各詞的詞向量，以及所述各詞在所述語料中的上下文詞的詞向量，對卷積神經網路進行訓練；根據所述各詞的詞向量和訓練後的所述卷積神經網路，獲取所述各詞的詞向量的訓練結果。上述對本說明書特定實施例進行了描述。其它實施例在所附申請專利範圍的範圍內。在一些情況下，在申請專利範圍中記載的動作或步驟可以按照不同於實施例中的順序來執行並且仍然可以實現期望的結果。另外，在附圖中描繪的過程不一定要求示出的特定順序或者連續順序才能實現期望的結果。在某些實施方式中，多任務處理和並行處理也是可以的或者可能是有利的。本說明書中的各個實施例均採用遞進的方式描述，各個實施例之間相同相似的部分互相參見即可，每個實施例重點說明的都是與其他實施例的不同之處。尤其，對於裝置、設備、非揮發性電腦儲存媒體實施例而言，由於其基本相似於方法實施例，所以描述的比較簡單，相關之處參見方法實施例的部分說明即可。本說明書實施例提供的裝置、設備、非揮發性電腦儲存媒體與方法是對應的，因此，裝置、設備、非揮發性電腦儲存媒體也具有與對應方法類似的有益技術效果，由於上面已經對方法的有益技術效果進行了詳細說明，因此，這裡不再贅述對應裝置、設備、非揮發性電腦儲存媒體的有益技術效果。在20世紀90年代，對於一個技術的改進可以很明顯地區分是硬體上的改進(例如，對二極體、電晶體、開關等電路結構的改進)還是軟體上的改進(對於方法流程的改進)。然而，隨著技術的發展，當今的很多方法流程的改進已經可以視為硬體電路結構的直接改進。設計人員幾乎都通過將改進的方法流程程式設計到硬體電路中來得到相應的硬體電路結構。因此，不能說一個方法流程的改進就不能用硬體實體模組來實現。例如，可程式設計邏輯裝置(Programmable Logic Device, PLD)(例如現場可程式設計閘陣列(Field Programmable Gate Array，FPGA))就是這樣一種積體電路，其邏輯功能由用戶對裝置程式設計來確定。由設計人員自行程式設計來把一個數位系統“整合”在一片PLD上，而不需要請晶片製造廠商來設計和製作專用的積體電路晶片。而且，如今，取代手工地製作積體電路晶片，這種程式設計也多半改用“邏輯編譯器(logic compiler)”軟體來實現，它與程式開發撰寫時所用的軟體編譯器相類似，而要編譯之前的原始碼也得用特定的程式設計語言來撰寫，此稱之為硬體描述語言(Hardware Description Language，HDL)，而HDL也並非僅有一種，而是有許多種，如ABEL (Advanced Boolean Expression Language)、AHDL(Altera Hardware Description Language)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(Ruby Hardware Description Language)等，目前最普遍使用的是VHDL(Very-High-Speed Integrated Circuit Hardware Description Language)與Verilog。本領域技術人員也應該清楚，只需要將方法流程用上述幾種硬體描述語言稍作邏輯程式設計並程式設計到積體電路中，就可以很容易得到實現該邏輯方法流程的硬體電路。控制器可以按任何適當的方式實現，例如，控制器可以採取例如微處理器或處理器以及儲存可由該(微)處理器執行的電腦可讀程式碼(例如軟體或韌體)的電腦可讀媒體、邏輯閘、開關、特殊應用積體電路(Application Specific Integrated Circuit，ASIC)、可程式設計邏輯控制器和嵌入微控制器的形式，控制器的例子包括但不限於以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20 以及Silicone Labs C8051F320，記憶體控制器還可以被實現為記憶體的控制邏輯的一部分。本領域技術人員也知道，除了以純電腦可讀程式碼方式實現控制器以外，完全可以通過將方法步驟進行邏輯程式設計來使得控制器以邏輯閘、開關、特殊應用積體電路、可程式設計邏輯控制器和嵌入微控制器等的形式來實現相同功能。因此這種控制器可以被認為是一種硬體部件，而對其內包括的用於實現各種功能的裝置也可以視為硬體部件內的結構。或者甚至，可以將用於實現各種功能的裝置視為既可以是實現方法的軟體模組又可以是硬體部件內的結構。上述實施例闡明的系統、裝置、模組或單元，具體可以由電腦晶片或實體實現，或者由具有某種功能的產品來實現。一種典型的實現設備為電腦。具體的，電腦例如可以為個人電腦、膝上型電腦、蜂窩電話、相機電話、智慧電話、個人數位助理、媒體播放器、導航設備、電子郵件設備、遊戲控制台、平板電腦、可穿戴設備或者這些設備中的任何設備的組合。為了描述的方便，描述以上裝置時以功能分為各種單元分別描述。當然，在實施本說明書時可以把各單元的功能在同一個或多個軟體和/或硬體中實現。本領域內的技術人員應明白，本說明書實施例可提供為方法、系統、或電腦程式產品。因此，本說明書實施例可採用完全硬體實施例、完全軟體實施例、或結合軟體和硬體方面的實施例的形式。而且，本說明書實施例可採用在一個或多個其中包含有電腦可用程式碼的電腦可用儲存媒體(包括但不限於磁碟記憶體、CD-ROM、光學記憶體等)上實施的電腦程式產品的形式。本說明書是參照根據本說明書實施例的方法、設備(系統)、和電腦程式產品的流程圖和/或方塊圖來描述的。應理解可由電腦程式指令實現流程圖和/或方塊圖中的每一流程和/或方塊、以及流程圖和/或方塊圖中的流程和/或方塊的結合。可提供這些電腦程式指令到通用電腦、專用電腦、嵌入式處理機或其他可程式設計資料處理設備的處理器以產生一個機器，使得通過電腦或其他可程式設計資料處理設備的處理器執行的指令產生用於實現在流程圖一個流程或多個流程和/或方塊圖一個方塊或多個方塊中指定的功能的裝置。這些電腦程式指令也可儲存在能引導電腦或其他可程式設計資料處理設備以特定方式工作的電腦可讀記憶體中，使得儲存在該電腦可讀記憶體中的指令產生包括指令裝置的製造品，該指令裝置實現在流程圖一個流程或多個流程和/或方塊圖一個方塊或多個方塊中指定的功能。這些電腦程式指令也可裝載到電腦或其他可程式設計資料處理設備上，使得在電腦或其他可程式設計設備上執行一系列操作步驟以產生電腦實現的處理，從而在電腦或其他可程式設計設備上執行的指令提供用於實現在流程圖一個流程或多個流程和/或方塊圖一個方塊或多個方塊中指定的功能的步驟。在一個典型的配置中，計算設備包括一個或多個處理器(CPU)、輸入/輸出介面、網路介面和內部記憶體。內部記憶體可能包括電腦可讀媒體中的非永久性記憶體，隨機存取記憶體(RAM)和/或非揮發性內部記憶體等形式，如唯讀記憶體(ROM)或快閃記憶體(flash RAM)。內部記憶體是電腦可讀媒體的示例。電腦可讀媒體包括永久性和非永久性、可移動和非可移動媒體可以由任何方法或技術來實現資訊儲存。資訊可以是電腦可讀指令、資料結構、程式的模組或其他資料。電腦的儲存媒體的例子包括，但不限於相變內部記憶體(PRAM)、靜態隨機存取記憶體(SRAM)、動態隨機存取記憶體(DRAM)、其他類型的隨機存取記憶體(RAM)、唯讀記憶體(ROM)、電可擦除可程式設計唯讀記憶體(EEPROM)、快閃記憶體或其他內部記憶體技術、唯讀光碟唯讀記憶體(CD-ROM)、數位多功能光碟(DVD)或其他光學儲存、磁盒式磁帶，磁帶式磁碟儲存器或其他磁性儲存設備或任何其他非傳輸媒體，可用於儲存可以被計算設備存取的資訊。按照本文中的界定，電腦可讀媒體不包括暫存電腦可讀媒體(transitory media)，如調變的資料信號和載波。還需要說明的是，術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、商品或者設備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、商品或者設備所固有的要素。在沒有更多限制的情況下，由語句“包括一個……”限定的要素，並不排除在包括所述要素的過程、方法、商品或者設備中還存在另外的相同要素。本領域技術人員應明白，本說明書實施例可提供為方法、系統或電腦程式產品。因此，本說明書可採用完全硬體實施例、完全軟體實施例或結合軟體和硬體方面的實施例的形式。而且，本說明書可採用在一個或多個其中包含有電腦可用程式碼的電腦可用儲存媒體(包括但不限於磁碟記憶體、CD-ROM、光學記憶體等)上實施的電腦程式產品的形式。本說明書可以在由電腦執行的電腦可執行指令的一般上下文中描述，例如程式模組。一般地，程式模組包括執行特定任務或實現特定抽象資料類型的例程、程式、物件、組件、資料結構等等。也可以在分布式計算環境中實踐本說明書，在這些分布式計算環境中，由通過通信網路而被連接的遠程處理設備來執行任務。在分布式計算環境中，程式模組可以位於包括儲存設備在內的本地和遠程電腦儲存媒體中。本說明書中的各個實施例均採用遞進的方式描述，各個實施例之間相同相似的部分互相參見即可，每個實施例重點說明的都是與其他實施例的不同之處。尤其，對於系統實施例而言，由於其基本相似於方法實施例，所以描述的比較簡單，相關之處參見方法實施例的部分說明即可。以上所述僅為本說明書實施例而已，並不用於限制本發明。對於本領域技術人員來說，本發明可以有各種更改和變化。凡在本發明的精神和原理之內所作的任何修改、等同替換、改進等，均應包含在本發明的申請專利範圍之內。

S202‧‧‧步驟

S204‧‧‧步驟

S206‧‧‧步驟

S208‧‧‧步驟

501‧‧‧獲取模組

502‧‧‧建立模組

503‧‧‧訓練模組

504‧‧‧處理模組

為了更清楚地說明本說明書實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本說明書中記載的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動性的前提下，還可以根據這些附圖獲得其他的附圖。圖1為本說明書的方案在一種實際應用情境下涉及的一種整體架構示意圖；圖2為本說明書實施例提供的一種詞向量處理方法的流程示意圖；圖3為本說明書實施例提供的實際應用情境下，一種卷積神經網路的結構示意圖；圖4為本說明書實施例提供的另一種詞向量處理方法的流程示意圖；圖5為本說明書實施例提供的對應於圖2的一種詞向量處理裝置的結構示意圖。

Claims

一種詞向量處理方法，包括：獲取對語料分詞得到的各詞；建立所述各詞的詞向量；根據所述各詞的詞向量，以及所述各詞在所述語料中的上下文詞的詞向量，對卷積神經網路進行訓練；根據所述各詞的詞向量和訓練後的所述卷積神經網路，獲取所述各詞的詞向量的訓練結果。
如請求項1所述的方法，所述建立所述各詞的詞向量，具體包括：確定所述各詞的總數量；分別為所述各詞建立維度為所述總數量的詞向量，其中，所述各詞的詞向量互不相同，所述詞向量中有一個元素為1，其餘元素為0。
如請求項1所述的方法，所述根據所述各詞的詞向量，以及所述各詞在所述語料中的上下文詞的詞向量，對卷積神經網路進行訓練，具體包括：根據所述各詞的詞向量，以及所述各詞在所述語料中的上下文詞和負樣例詞的詞向量，對卷積神經網路進行訓練。
如請求項3所述的方法，所述根據所述各詞的詞向量，以及所述各詞在所述語料中的上下文詞和負樣例詞的詞向量，對卷積神經網路進行訓練，具體包括：對分詞後的所述語料進行遍歷，對遍歷到的當前詞執行：確定當前詞在分詞後的所述語料中的一個或多個上下文詞以及負樣例詞；將當前詞的上下文詞的詞向量輸入卷積神經網路的卷積層進行卷積計算；將卷積計算結果輸入所述卷積神經網路的池化層進行池化計算，得到第一向量；將當前詞的詞向量輸入所述卷積神經網路的全連接層進行計算，得到第二向量，以及將當前詞的負樣例詞的詞向量輸入所述卷積神經網路的全連接層進行計算，得到第三向量；根據所述第一向量、所述第二向量、所述第三向量，以及指定的損失函數，更新所述卷積神經網路的參數。
如請求項4所述的方法，所述進行卷積計算，具體包括：按照如下公式，進行卷積計算：其中，表示第個上下文詞的詞向量，表示將第~個上下文詞的詞向量拼接得到的向量，表示通過所述卷積計算得到的向量的第個元素，表示卷積層的權重參數，表示卷積層的偏置參數，表示激勵函數。
如請求項4所述的方法，所述進行池化計算，具體包括：進行最大化池化計算或者平均池化計算。
如請求項4所述的方法，所述根據所述第一向量、所述第二向量、所述第三向量，以及指定的損失函數，更新所述卷積神經網路的參數，具體包括：計算所述第二向量與所述第一向量的第一相似度，以及所述第三向量與所述第一向量的第二相似度；根據所述第一相似度、所述第二相似度，以及指定的損失函數，更新所述卷積神經網路的參數。
如請求項4所述的方法，所述損失函數具體包括：其中，表示所述第一向量，表示所述第二向量，表示第個負樣例詞對應的所述第三向量，表示卷積層的權重參數，表示卷積層的偏置參數，表示全連接層的權重參數，表示全連接層的偏置參數，表示超參數，表示相似度計算函數，表示負樣例詞的數量。
如請求項1所述的方法，所述根據所述各詞的詞向量和訓練後的所述卷積神經網路，獲取所述各詞的詞向量的訓練結果，具體包括：將所述各詞的詞向量分別輸入訓練後的所述卷積神經網路的全連接層進行計算，獲得計算後輸出的向量，作為對應的詞向量訓練結果。
一種詞向量處理裝置，包括：獲取模組，獲取對語料分詞得到的各詞；建立模組，建立所述各詞的詞向量；訓練模組，根據所述各詞的詞向量，以及所述各詞在所述語料中的上下文詞的詞向量，對卷積神經網路進行訓練；處理模組，根據所述各詞的詞向量和訓練後的所述卷積神經網路，獲取所述各詞的詞向量的訓練結果。
如請求項10所述的裝置，所述建立模組建立所述各詞的詞向量，具體包括：所述建立模組確定所述各詞的總數量；分別為所述各詞建立維度為所述總數量的詞向量，其中，所述各詞的詞向量互不相同，所述詞向量中有一個元素為1，其餘元素為0。
如請求項10所述的裝置，所述訓練模組根據所述各詞的詞向量，以及所述各詞在所述語料中的上下文詞的詞向量，對卷積神經網路進行訓練，具體包括：所述訓練模組根據所述各詞的詞向量，以及所述各詞在所述語料中的上下文詞和負樣例詞的詞向量，對卷積神經網路進行訓練。
如請求項12所述的裝置，所述訓練模組根據所述各詞的詞向量，以及所述各詞在所述語料中的上下文詞和負樣例詞的詞向量，對卷積神經網路進行訓練，具體包括：所述訓練模組對分詞後的所述語料進行遍歷，對遍歷到的當前詞執行：確定當前詞在分詞後的所述語料中的一個或多個上下文詞以及負樣例詞；將當前詞的上下文詞的詞向量輸入卷積神經網路的卷積層進行卷積計算；將卷積計算結果輸入所述卷積神經網路的池化層進行池化計算，得到第一向量；將當前詞的詞向量輸入所述卷積神經網路的全連接層進行計算，得到第二向量，以及將當前詞的負樣例詞的詞向量輸入所述卷積神經網路的全連接層進行計算，得到第三向量；根據所述第一向量、所述第二向量、所述第三向量，以及指定的損失函數，更新所述卷積神經網路的參數。
如請求項13所述的裝置，所述訓練模組進行卷積計算，具體包括：所述訓練模組按照如下公式，進行卷積計算：其中，表示第個上下文詞的詞向量，表示將第~個上下文詞的詞向量拼接得到的向量，表示通過所述卷積計算得到的向量的第個元素，表示卷積層的權重參數，表示卷積層的偏置參數，表示激勵函數。
如請求項13所述的裝置，所述訓練模組進行池化計算，具體包括：所述訓練模組進行最大化池化計算或者平均池化計算。
如請求項13所述的裝置，所述訓練模組根據所述第一向量、所述第二向量、所述第三向量，以及指定的損失函數，更新所述卷積神經網路的參數，具體包括：所述訓練模組計算所述第二向量與所述第一向量的第一相似度，以及所述第三向量與所述第一向量的第二相似度；根據所述第一相似度、所述第二相似度，以及指定的損失函數，更新所述卷積神經網路的參數。
如請求項13所述的裝置，所述損失函數具體包括：其中，表示所述第一向量，表示所述第二向量，表示第個負樣例詞對應的所述第三向量，表示卷積層的權重參數，表示卷積層的偏置參數，表示全連接層的權重參數，表示全連接層的偏置參數，表示超參數，表示相似度計算函數，表示負樣例詞的數量。
如請求項10所述的裝置，所述處理模組根據所述各詞的詞向量和訓練後的所述卷積神經網路，獲取所述各詞的詞向量的訓練結果，具體包括：所述處理模組將所述各詞的詞向量分別輸入訓練後的所述卷積神經網路的全連接層進行計算，獲得計算後輸出的向量，作為對應的詞向量訓練結果。
一種詞向量處理方法，包括：步驟1，建立通過對語料分詞得到的各詞構成的詞匯表，所述各詞不包括在所述語料中出現次數少於設定次數的詞；跳轉步驟2；步驟2，確定各詞的總數量，相同的詞只計一次；跳轉步驟3；步驟3，為各詞分別建立維度為所述數量的一個不同的1-hot詞向量；跳轉步驟4；步驟4，遍歷分詞後的所述語料，對遍歷到的當前詞執行步驟5，若遍歷完成則執行步驟6，否則繼續遍歷；步驟5，以當前詞為中心，向兩側分別滑動至多個詞建立窗口，將窗口中除當前詞以外的詞作為上下文詞，並將所有上下文詞的詞向量輸入卷積神經網路的卷積層進行卷積計算，卷積計算結果輸入所述卷積神經網路的池化層進行池化計算，得到第一向量；將當前詞以及在所述語料中選擇的負樣例詞的詞向量輸入所述卷積神經網路的全連接層進行計算，分別得到第二向量和第三向量；根據所述第一向量、所述第二向量、所述第三向量，以及指定的損失函數，更新所述卷積神經網路的參數；所述卷積計算按照如下公式進行：所述池化計算按照如下公式進行：，或者所述損失函數包括：其中，表示第個上下文詞的詞向量，表示將第~個上下文詞的詞向量拼接得到的向量，表示通過所述卷積計算得到的向量的第個元素，表示卷積層的權重參數，表示卷積層的偏置參數，表示激勵函數，表示求最大值函數，表示求平均值函數，表示池化計算後得到的所述第一向量的第個元素，表示上下文詞的數量，表示所述第一向量，表示所述第二向量，表示第個負樣例詞對應的所述第三向量，表示卷積層的權重參數，表示卷積層的偏置參數，表示全連接層的權重參數，表示全連接層的偏置參數，表示超參數，表示相似度計算函數，表示負樣例詞的數量；步驟6，將所述各詞的詞向量分別輸入訓練後的所述卷積神經網路的全連接層進行計算，得到對應的詞向量訓練結果。
一種詞向量處理設備，包括：至少一個處理器；以及，與所述至少一個處理器通信連接的記憶體；其中，所述記憶體儲存有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠：對語料分詞得到各詞；建立所述各詞的詞向量；根據所述各詞的詞向量，以及所述各詞在所述語料中的上下文詞的詞向量，對卷積神經網路進行訓練；根據所述各詞的詞向量和訓練後的所述卷積神經網路，獲取所述各詞的詞向量的訓練結果。