訓練方法、特徵提取方法、裝置及電子設備
本文件涉及資料處理技術領域,尤其涉及一種訓練方法、特徵提取方法、裝置及電子設備。
隨著人工智慧的發展,越來越多的場景會應用到由神經網路所構建的深度學習模型,以達到機械化處理資訊的目的。在其中一些場景中,需要使用不同時間粒度所呈現的特徵對模型進行訓練。現有技術的作為是分別針對每種時間粒度的特徵,對模型進行單獨訓練。這種方式下,首先訓練效率不高;其次,訓練後的模型無法體現出短期特性與長期特性之間的隱性關聯,導致模型性能不佳。
有鑑於此,如何以較高的效率,訓練出能夠關聯短期特性和長期特性的模型,是當前亟需要解決的技術問題。
本說明書實施例目的是提供一種訓練方法、特徵提取方法及相關裝置,能夠以較高的效率,訓練出能夠關聯短期特性和長期特性的模型。
為了實現上述目的,本說明書實施例是這樣實現的:
第一方面,提供一種訓練方法,包括:
將樣本對象對應目標分類下的第一短期特徵集輸入至循環神經網路,得到第二短期特徵集,其中,該第一短期特徵集中的各短期特徵對應有相同的第一時間粒度;
將該第二短期特徵集按照時間順序組合成長期特徵集,其中,該長期特徵集中的各長期特徵對應有相同的第二時間粒度,該第二時間粒度大於該第一時間粒度;
將該長期特徵集輸入至卷積神經網路,得到該目標對象對應該目標分類下的目標特徵集;
將該目標特徵集輸入至用於識別該目標分類的分類模型,以基於該分類模型針對該樣本對象的識別結果,對該循環神經網路和該卷積神經網路進行訓練。
第二方面,提供一種特徵提取方法,包括:
將目標對象屬於目標分類下的第一短期特徵集輸入至循環神經網路,得到第二短期特徵集,其中,該第一短期特徵集中的各短期特徵對應有相同的第一時間粒度;
將該第二短期特徵集按照時間順序組合成長期特徵集,其中,該長期特徵集中的各長期特徵對應有相同的第二時間粒度,該第二時間粒度大於該第一時間粒度;
將該長期特徵集輸入至卷積神經網路,得到該目標對象對應該目標分類下的目標特徵集;
其中,該循環神經網路和該卷積神經網路是將樣本對象的目標特徵集輸入至具有識別該目標分類的分類模型後,基於該分類模型得到針對該樣本對象的識別結果,對該循環神經網路和該卷積神經網路進行訓練所得到的,該樣本對象的目標特徵集是基於該循環神經網路和該卷積神經網路確定得到的。
第三方面,提供一種神經網路的訓練裝置,包括:
第一處理模組,將樣本對象對應目標分類下的第一短期特徵集輸入至循環神經網路,得到第二短期特徵集;其中,該第一短期特徵集中的各短期特徵對應有相同的第一時間粒度;
第一組合模組,將該第二短期特徵集按照時間順序組合成長期特徵集,其中,該長期特徵集中的各長期特徵對應有相同的第二時間粒度,該第二時間粒度大於該第一時間粒度;
第二處理模組,將該長期特徵集輸入至卷積神經網路,得到該目標對象對應該目標分類下的目標特徵集;
訓練模組,將該目標特徵集輸入至用於識別該目標分類的分類模型,以基於該分類模型針對該樣本對象的識別結果,對該循環神經網路和該卷積神經網路進行訓練。
第四方面,提供一種電子設備包括:記憶體、處理器及儲存在該記憶體上並可在該處理器上運行的電腦程式,該電腦程式被該處理器執行:
將樣本對象對應目標分類下的第一短期特徵集輸入至循環神經網路,得到第二短期特徵集;其中,該第一短期特徵集中的各短期特徵對應有相同的第一時間粒度;
將該第二短期特徵集按照時間順序組合成長期特徵集,其中,該長期特徵集中的各長期特徵對應有相同的第二時間粒度,該第二時間粒度大於該第一時間粒度;
將該長期特徵集輸入至卷積神經網路,得到該目標對象對應該目標分類下的目標特徵集;
將該目標特徵集輸入至用於識別該目標分類的分類模型,以基於該分類模型針對該樣本對象的識別結果,對該循環神經網路和該卷積神經網路進行訓練。
第五方面,提供一種電腦可讀取儲存媒體,該電腦可讀取儲存媒體上儲存有電腦程式,該電腦程式被處理器執行時實現如下步驟:
將樣本對象對應目標分類下的第一短期特徵集輸入至循環神經網路,得到第二短期特徵集;其中,該第一短期特徵集中的各短期特徵對應有相同的第一時間粒度;
將該第二短期特徵集按照時間順序組合成長期特徵集,其中,該長期特徵集中的各長期特徵對應有相同的第二時間粒度,該第二時間粒度大於該第一時間粒度;
將該長期特徵集輸入至卷積神經網路,得到該目標對象對應該目標分類下的目標特徵集;
將該目標特徵集輸入至用於識別該目標分類的分類模型,以基於該分類模型針對該樣本對象的識別結果,對該循環神經網路和該卷積神經網路進行訓練。
第六方面,提供一種特徵提取裝置,包括:
第三處理模組,將目標對象屬於目標分類下的第一短期特徵集輸入至循環神經網路,得到第二短期特徵集;其中,該第一短期特徵集中的各短期特徵對應有相同的第一時間粒度;
第二組合模組,將該第二短期特徵集按照時間順序組合成長期特徵集,其中,該長期特徵集中的各長期特徵對應有相同的第二時間粒度,該第二時間粒度大於該第一時間粒度;
第四處理模組,將該長期特徵集輸入至卷積神經網路,得到該目標對象對應該目標分類下的目標特徵集;
其中,該循環神經網路和該卷積神經網路是將樣本對象的目標特徵集輸入至具有識別該目標分類的分類模型後,基於該分類模型得到的識別結果,對該循環神經網路和該卷積神經網路進行訓練所得到的,該樣本對象的目標特徵集是基於該循環神經網路和該卷積神經網路確定得到的。
第七方面,提供一種電子設備,包括:
將目標對象屬於目標分類下的第一短期特徵集輸入至循環神經網路,得到第二短期特徵集;其中,該第一短期特徵集中的各短期特徵對應有相同的第一時間粒度;
將該第二短期特徵集按照時間順序組合成長期特徵集,其中,該長期特徵集中的各長期特徵對應有相同的第二時間粒度,該第二時間粒度大於該第一時間粒度;
將該長期特徵集輸入至卷積神經網路,得到該目標對象對應該目標分類下的目標特徵集;
其中,該循環神經網路和該卷積神經網路是將樣本對象的目標特徵集輸入至具有識別該目標分類的分類模型後,基於該分類模型得到的識別結果,對該循環神經網路和該卷積神經網路進行訓練所得到的,該樣本對象的目標特徵集是基於該循環神經網路和該卷積神經網路確定得到的。
第八方面,提供一種電腦可讀取儲存媒體,該電腦可讀取儲存媒體上儲存有電腦程式,該電腦程式被處理器執行時實現如下步驟:
將目標對象屬於目標分類下的第一短期特徵集輸入至循環神經網路,得到第二短期特徵集;其中,該第一短期特徵集中的各短期特徵對應有相同的第一時間粒度;
將該第二短期特徵集按照時間順序組合成長期特徵集,其中,該長期特徵集中的各長期特徵對應有相同的第二時間粒度,該第二時間粒度大於該第一時間粒度;
將該長期特徵集輸入至卷積神經網路,得到該目標對象對應該目標分類下的目標特徵集;
其中,該循環神經網路和該卷積神經網路是將樣本對象的目標特徵集輸入至具有識別該目標分類的分類模型後,基於該分類模型得到的識別結果,對該循環神經網路和該卷積神經網路進行訓練所得到的,該樣本對象的目標特徵集是基於該循環神經網路和該卷積神經網路確定得到的。
本說明書實施例的方案採用RNN+CNN的模型結構,在訓練過程中,將短期特徵組成長期特徵,並進一步將長期特徵轉換為單維度的目標特徵後輸入至分類器,從而根據分類器的輸出結果調整RNN和CNN的參數,以達到訓練目的。顯然,整個訓練過程同時使用了短期特徵和長期特徵,不僅大幅提高了訓練效率,還能夠使模型學習到短期特徵和長期特徵之間的隱形聯繫,從而獲得更好的模型性能。
為了使本技術領域的人員更好地理解本說明書中的技術方案,下面將結合本說明書實施例中的圖式,對本說明書實施例中的技術方案進行清楚、完整地描述,顯然,所描述的實施例僅僅是本說明書一部分實施例,而不是全部的實施例。基於本說明書中的實施例,本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施例,都應當屬於本說明書保護的範圍。
如前所述,現有技術的模型訓練方法是針對不同時間粒度的特徵,單獨對模型(模型由神經網路組成)進行訓練。比如,先將短期特徵輸入至模型,並根據輸出結果對模型參數進行調整。之後,再進一步將長期特徵輸入至模型,並根據輸出結果對模型參數進行調整。這種方式下,首先訓練效率不高;其次,整個模型雖然是基於短期特徵和長期特徵進行了學習,但是訓練過程是完全獨立的,無法形成短期特徵和長期特徵之間的隱性關聯,導致模型訓練後達不到較佳的性能。
針對上述問題,本文件旨在提供一種可以將短期特徵和長期特徵同時對模型進行訓練的技術方案。進一步地,還提供基於訓練後的模型實現相關應用的的技術方案。
圖1是本說明書實施例訓練方法的流程圖。圖1所示的方法可以由下文相對應的裝置執行,包括:
步驟S102,將樣本對象對應目標分類下的第一短期特徵集輸入至循環神經網路(RNN,Recurrent Neural Network),得到第二短期特徵集,第一短期特徵集中的各短期特徵對應有相同的第一時間粒度。
其中,循環神經網路作為待訓練模型中的一部分。第一短期特徵可以是比較直觀的樣本對象的短期特徵,這些短期特徵可以通過較為常規的特徵提取方式獲取得到,本說明書實施例不對獲取方法作具體限定。
本步驟中,將第一短期特徵集輸入至RNN的目的是由RNN對第一短期特徵集進行提煉,得到隱性的第二短期特徵集。第二短期特徵集中的短期特徵可以與第一短期特徵集中的短期特徵對應有相同的時間粒度,即第一時間粒度。
步驟S104,將第二短期特徵集按照時間順序組合成長期特徵集,長期特徵集中的各長期特徵對應有相同的第二時間粒度,第二時間粒度大於第一時間粒度。
顯然,長期特徵是通過短期特徵組合而成的,因此不僅可以提現出樣本對象的長期特性,也能夠提現出樣本對象的短期特性。
此外,應理解的是,第一時間粒度和第二時間粒度可以根據實際需要進行靈活設置,本說明書實施例不作具體限定。作為示例性介紹,假設第一時間粒度為一天、第二時間粒度為一周,則第二短期特徵集中包含有樣本對象每天的短期特徵。本步驟具體將樣本對象相鄰7天的短期特徵進行組合,得到樣本對象一周的長期特徵。
步驟S106,將長期特徵集輸入至卷積神經網路(CNN,Convolutional Neural Networks),得到目標對象對應目標分類下的目標特徵集。
其中,CNN作為待訓練模型中的一部分,與上述RNN的用途大致相同,可對長期特徵集作進一步提煉,獲得更高階的目標特徵集。
步驟S108,將目標特徵集輸入至用於識別目標分類的分類模型,以基於分類模型針對樣本對象的識別結果,對循環神經網路和卷積神經網路進行訓練。
其中,分類模型是訓練時所需要引用的部分,並不限定作為待訓練模型的一部分。
此外,訓練方式並不唯一,取決於分類模型的具體結構。
如果分類模型採用的是分類器結構,則本步驟可以基於有監督的訓練方式對分類模型進行訓練。即,將目標特徵集作為用於識別分類模型的輸入,將樣本對象的標籤(標籤用於指示樣本用對象是否符合目標分類)作為分類模型的輸出,以基於分類模型針對樣本對象的識別結果,對RNN和CNN進行訓練。
如果分類模型採用的是解碼器結構,則本步驟可以基於無監督的訓練方式對分類模型進行訓練。無監督的訓練方式不需要使用標籤,因此本步驟可以直接將目標特徵集作為用於識別分類模型的輸入,以基於分類模型針對樣本對象的識別結果,對RNN和CNN進行訓練。此外,在訓練過程中,還可以基於識別結果,對分類模型進行訓練,從而提高分類模型的識別準確率,保證RNN和CNN的訓練效果。
基於圖1所示的訓練方法方法可以知道,本說明書實施例的方案採用RNN+CNN的模型結構,在訓練過程中,將短期特徵組成長期特徵,並進一步將長期特徵轉換為單維度的目標特徵後輸入至分類器,從而根據分類器的輸出結果調整RNN和CNN的參數,以達到訓練目的。顯然,整個訓練過程同時使用了短期特徵和長期特徵,不僅大幅提高了訓練效率,還能夠使模型學習到短期特徵和長期特徵之間的隱形聯繫,從而獲得更好的模型性能。
下面對說明書實施例的訓練方法進行詳細介紹。
本說明書實施例的訓練方法同時使用短期特徵和長期特徵對目標模型進行訓練。如圖2所示,訓練結構包括:RNN→CNN→分類模型。其中,RNN+CNN屬於待訓練的目標模型,分類模型是訓練過程中添加的臨時部分,並不作為目標模型的一部分。
本說明書實施例的訓練方法首先將樣本對象對應目標分類下的第一短期特徵集輸入至RNN,得到由RNN輸出的第二短期特徵集。
這裡所述的RNN可以是長短期記憶網路、閘控循環單元網路以及自注意力機制網路中的任一者,或者,可以包括:長短期記憶網路、閘控循環單元網路以及自注意力機制網路中的至少一者。由於RNN屬於現有技術,本文不再具體贅述。
應理解,RNN並不會改變短期特徵的時間粒度,因此輸入獲得的第二短期特徵集中的短期特徵可以與第一短期特徵集中的短期特徵對應有相同的時間粒度。
在獲得RNN輸出的第二短期特徵集後,即可按照時間順序對第二短期特徵集中的短期特徵進行組合,得到對應有更大時間粒度的長期特徵。
這裡需要說明的是,特徵的組合方法並不唯一,本說明書實施例不作具體限定。作為其中一種可行的方案,可以採用向量組合方式將短期特徵組合成長期特徵。比如:將短期特徵A(q,w,e)和短期特徵B(a,s,d)進行組合,可以得到的長期特徵AB(q,w,e,a,s,d)。應理解,長期特徵是由短期特徵拼接而成的,因此含有樣本對象短期的特性。
之後,將組合而成的長期特徵輸入至CNN,由CNN進一步提煉出的目標特徵集。
應理解,CNN與RNN一樣,具有不同的實現方式,本說明書實施例不作具體限定。
作為示例性介紹,CNN可以包括:卷積層、池化層和全連接層。卷積層用於對長期特徵集進行卷積處理,得到卷積層輸出特徵集。池化層用於基於最大值池化演算法和/或均值池化演算法,對卷積層輸出特徵集進行池化處理,得到池化層輸出特徵集。全連接層用於將池化層輸出特徵集轉換為單一維度的適用於分類模型的目標特徵集。
在獲得目標特徵集後,即可將目標特徵集的目標特徵輸入至分類模型,由分類模型對樣本對象進行分類,以識別樣本對象是否符合目標分類。
這裡,樣本對象是否符合目標分類屬於已知資訊,分類模型輸出的識別結果屬於訓練結果,訓練結果並不一定是真實結果。之後,根據損失函數來計算訓練結果與真實結果之間的損失,並以降低損失為目的,對RNN、CNN以及分類模型的參數進行調整(也可以不對分類器的參數進行調整,取決於分類模型是否有調整需求),以達到訓練目的。
下面結合一個實際的應用場景,對本說明書實施例的訓練方法進行實例介紹。
本應用場景用於訓練刻劃金融風險特徵的學習模型。其中,學習模型採用長短期記憶網路(LSTM,Long Short-Term Memory)+文本捲進循環網路(Text-CNN)的結構,對應的流程包括:
步驟一,獲取支付應用程式中樣本對象的金融業務資料,並基於語義分析演算法,按照每半小的時間粒度,對金融業務資料進行基礎特徵的提取,得到一個月的第一短期特徵集。
在本應用場景中,第一短期特徵集可以但不限於是樣本對象每半小時所對應的交易總金額、交易總筆數以及交易對手總數。這些刻劃的是樣本對象在短時間內的交易行為,一些不正常的交易模式(如快進快出)可以被這些短期特徵捕捉到。
步驟二,將第一短期特徵集輸入至LSTM,得到LSTM輸出的第二短期特徵集。
其中, LSTM數量並不限於一個。作為示例性介紹,LSTM可以與第一短期特徵集的天數一一對應,這樣每個Lstm的輸出代表了一天的短期隱藏特徵。
步驟三,將第二短期特徵集按照時間順序進行組合,得到長期特徵集。
如前所述,之前獲取了每半小時的短期隱藏特徵,但是只能代表半小時的交易動態,為了得到樣本對象長期的交易動態,按時間順序將半小時的短期隱藏特徵拼接成每天的長期特徵。應理解,長期特徵的資料格式應適用於後續的TextCnn。
步驟四,將長期特徵集輸入至TextCnn,由TextCnn提煉出目標特徵集。
其中,TextCnn的卷積層長度可以自由設置,比如長度為2則可以捕獲樣本對象相鄰2天的局部行為變化,如果長度為6,可以捕捉相鄰6天的局部行為變化。也就是說,通過卷積核不同尺寸的組合實現對樣本對象不同時間粒度的特徵學習。
TextCnn的池化層對卷積提的輸出特徵再進行Pooling操作。本應用場景中,池化層可以同時採用最大值池化(Max-Pooling)演算法與(Avg-Pooling)演算法。其中,Max-Pooling主要用來保留特徵發生變化的主要資訊,Avg-Pooling用來保留特徵平均狀態。
TextCnn的全連接層將Pooling操作得到的特徵集進行整合降維,得到適合輸入分類模型的單一維度的目標特徵集。
步驟五,將目標特徵集輸入至分類模型,以對LSTM和TextCnn進行訓練。
其中,分類模型可以採用二分類交叉熵機制。在二分類問題中,分類模型的損失函數具體為交叉熵損失函數,樣本對象的標籤取值只能是1或0,1表示樣本對象符合目標分類,0表示樣本對象不符合目標分類。
假設某個樣本對象的真實標籤為yt,該樣本對象yt=1的概率為yp,則損失函數可以為:-log(yt|yp)=-[yt*log(yp)+(1-yt)log(1-yp)]。對於整個學習模型而言,其損失函數就是所有樣本對象的損失函數非負的平均值。
目標特徵集輸入在輸入分類模型後,會得到分類模型識別樣本對象是否屬於風險對象的識別結果。之後,基於損失函數計算識別結果會與標籤取值的損失,並以降低損失為目的,來調整LSTM和TextCnn的參數。
以上是對本說明書實施例的方法的介紹。應理解,在不脫離本文上述原理基礎之上,還可以進行適當的變化,這些變化也應視為本說明書實施例的保護範圍。
此外,如圖3所示,本說明書實施例還提供一種特徵提取方法,包括:
步驟302,將目標對象屬於目標分類下的第一短期特徵集輸入至循環神經網路,得到第二短期特徵集,第一短期特徵集中的各短期特徵對應有相同的第一時間粒度。
步驟304,將第二短期特徵集按照時間順序組合成長期特徵集,長期特徵集中的各長期特徵對應有相同的第二時間粒度,該第二時間粒度大於該第一時間粒度。
步驟306,將該長期特徵集輸入至卷積神經網路,得到該目標對象對應該目標分類下的目標特徵集。
其中,目標特徵集中的目標特徵即最終提煉得到的目標對象的隱性特徵。
應理解,上述循環神經網路和上述卷積神經網路是由圖1所示的訓練方法所訓練得到的。即,該循環神經網路和該卷積神經網路是將樣本對象的目標特徵集輸入至具有識別該目標分類的分類模型後,基於該分類模型得到針對該樣本對象的識別結果,對該循環神經網路和該卷積神經網路進行訓練所得到的,該樣本對象的目標特徵集是基於該循環神經網路和該卷積神經網路確定得到的。
基於圖3所示的特徵提取方法可以知道,本說明書實施例的方案僅需要將目標對象的短期特徵輸入至RNN+CNN的模型,即由模型機械方式提煉出即呈現短期特性,又呈現長期特性的目標特徵,可用於對目標對象進行更全面的刻劃,挖掘出人工難以找到的隱性特徵。
此外,如圖4所示,本說明書實施例還提供一種神經網路的訓練裝置400,包括:
第一處理模組410,將樣本對象對應目標分類下的第一短期特徵集輸入至循環神經網路,得到第二短期特徵集;其中,該第一短期特徵集中的各短期特徵對應有相同的第一時間粒度;
第一組合模組420,將該第二短期特徵集按照時間順序組合成長期特徵集,其中,該長期特徵集中的各長期特徵對應有相同的第二時間粒度,該第二時間粒度大於該第一時間粒度;
第二處理模組430,將該長期特徵集輸入至卷積神經網路,得到該目標對象對應該目標分類下的目標特徵集;
訓練模組440,將該目標特徵集輸入至用於識別該目標分類的分類模型,以基於該分類模型針對該樣本對象的識別結果,對該循環神經網路和該卷積神經網路進行訓練。
基於圖4所示的訓練裝置可以知道,本說明書實施例的方案採用RNN+CNN的模型結構,在訓練過程中,將短期特徵組成長期特徵,並進一步將長期特徵轉換為單維度的目標特徵後輸入至分類器,從而根據分類器的輸出結果調整RNN和CNN的參數,以達到訓練目的。顯然,整個訓練過程同時使用了短期特徵和長期特徵,不僅大幅提高了訓練效率,還能夠使模型學習到短期特徵和長期特徵之間的隱形聯繫,從而獲得更好的模型性能。
可選地,訓練模組440在執行時,具體將該目標特徵集作為用於識別該目標分類的分類模型的輸入,將該樣本對象的標籤作為該分類模型的輸出,以基於該分類模型針對該樣本對象的識別結果,對該循環神經網路和該卷積神經網路進行訓練,其中,該樣本對象的標籤用於指示該樣本用對象是否符合該目標分類。
可選地,該循環神經網路包括以下至少一者:
長短期記憶網路、閘控循環單元網路以及自注意力機制網路。
可選地,該卷積神經網路包括:文本捲進循環網路。
可選地,該卷積神經網路包括:
卷積層,對長期特徵集進行卷積處理,得到卷積層輸出特徵集;
池化層,基於最大值池化演算法和/或均值池化演算法,對該卷積層輸出特徵集進行池化處理,得到池化層輸出特徵集;
全連接層,將池化層輸出特徵集轉換為單一維度的目標特徵集。
可選地,該樣本對象為支付應用程式用戶,該目標分類為金融風險,該第一短期特徵集包括以下至少一種特徵維度的短期特徵:
該支付應用程式用戶在各第一時間粒度所對應的交易總金額、交易總筆數以及交易對手總數。
顯然,本說明書實施例的訓練裝置可以作為上述圖1所示的訓練方法的執行主體,因此能夠實現該訓練方法在圖1和圖2所實現的功能。由於原理相同,本文不再贅述。
此外,如圖5所示,本說明書實施例還提供一種特徵提取裝置500,包括:
第三處理模組510,將目標對象屬於目標分類下的第一短期特徵集輸入至循環神經網路,得到第二短期特徵集;其中,該第一短期特徵集中的各短期特徵對應有相同的第一時間粒度;
第二組合模組520,將該第二短期特徵集按照時間順序組合成長期特徵集,其中,該長期特徵集中的各長期特徵對應有相同的第二時間粒度,該第二時間粒度大於該第一時間粒度;
第四處理模組530,將該長期特徵集輸入至卷積神經網路,得到該目標對象對應該目標分類下的目標特徵集;
其中,該循環神經網路和該卷積神經網路是將樣本對象的目標特徵集輸入至具有識別該目標分類的分類模型後,基於該分類模型得到的識別結果,對該循環神經網路和該卷積神經網路進行訓練所得到的,該樣本對象的目標特徵集是基於該循環神經網路和該卷積神經網路確定得到的。
基於圖5所示的特徵提取裝置可以知道,本說明書實施例的方案僅需要將目標對象的短期特徵輸入至RNN+CNN的模型,即由模型機械方式提煉出即呈現短期特性,又呈現長期特性的目標特徵,可用於對目標對象進行更全面的刻劃,挖掘出人工難以找到的隱性特徵。
顯然,本說明書實施例的特徵提取裝置可以作為上述圖3所示的特徵提取方法的執行主體,因此能夠實現該特徵提取方法在圖3所實現的功能。由於原理相同,本文不再贅述。
圖6是本說明書的一個實施例電子設備的結構示意圖。請參考圖6,在硬體層面,該電子設備包括處理器,可選地還包括內部匯流排、網路介面、記憶體。其中,記憶體可能包含內部記憶體,例如高速隨機存取記憶體(Random-Access Memory,RAM),也可能還包括非揮發性記憶體(non-volatile memory),例如至少1個磁碟記憶體等。當然,該電子設備還可能包括其他業務所需要的硬體。
處理器、網路介面和記憶體可以通過內部匯流排相互連接,該內部匯流排可以是ISA(Industry Standard Architecture,工業標準體系結構)匯流排、PCI(Peripheral Component Interconnect,外設部件互連標準)匯流排或EISA(Extended Industry Standard Architecture,擴展工業標準結構)匯流排等。該匯流排可以分為地址匯流排、資料匯流排、控制匯流排等。為便於表示,圖6中僅用一個雙向箭頭表示,但並不表示僅有一根匯流排或一種類型的匯流排。
記憶體,用於存放程式。具體地,程式可以包括程式碼,該程式碼包括電腦操作指令。記憶體可以包括內部記憶體和非揮發性記憶體,並向處理器提供指令和資料。
其中,處理器從非揮發性記憶體中讀取對應的電腦程式到內部記憶體中然後運行,在邏輯層面上形成神經網路的訓練裝置。處理器,執行記憶體所存放的程式,並具體用於執行以下操作:
將樣本對象對應目標分類下的第一短期特徵集輸入至循環神經網路,得到第二短期特徵集,其中,該第一短期特徵集中的各短期特徵對應有相同的第一時間粒度;
將該第二短期特徵集按照時間順序組合成長期特徵集,其中,該長期特徵集中的各長期特徵對應有相同的第二時間粒度,該第二時間粒度大於該第一時間粒度;
將該長期特徵集輸入至卷積神經網路,得到該目標對象對應該目標分類下的目標特徵集;
將該目標特徵集輸入至用於識別該目標分類的分類模型,以基於該分類模型針對該樣本對象的識別結果,對該循環神經網路和該卷積神經網路進行訓練。
其中,處理器從非揮發性記憶體中讀取對應的電腦程式到內部記憶體中然後運行,在邏輯層面上還可以形成特徵提取裝置。處理器,執行記憶體所存放的程式,並具體用於執行以下操作:
將目標對象屬於目標分類下的第一短期特徵集輸入至循環神經網路,得到第二短期特徵集,其中,該第一短期特徵集中的各短期特徵對應有相同的第一時間粒度;
將該第二短期特徵集按照時間順序組合成長期特徵集,其中,該長期特徵集中的各長期特徵對應有相同的第二時間粒度,該第二時間粒度大於該第一時間粒度;
將該長期特徵集輸入至卷積神經網路,得到該目標對象對應該目標分類下的目標特徵集;
其中,該循環神經網路和該卷積神經網路是將樣本對象的目標特徵集輸入至具有識別該目標分類的分類模型後,基於該分類模型得到針對該樣本對象的識別結果,對該循環神經網路和該卷積神經網路進行訓練所得到的,該樣本對象的目標特徵集是基於該循環神經網路和該卷積神經網路確定得到的。
上述如本說明書圖1所示實施例揭示的訓練方法或者圖3所示實施例揭示的特徵提取方法由處理器實現。處理器可能是一種積體電路晶片,具有信號的處理能力。在實現過程中,上述方法的各步驟可以通過處理器中的硬體的積體邏輯電路或者軟體形式的指令完成。上述的處理器可以是通用處理器,包括中央處理器(Central Processing Unit,CPU)、網路處理器(Network Processor,NP)等;還可以是數位信號處理器(Digital Signal Processor,DSP)、專用積體電路(Application Specific Integrated Circuit,ASIC)、現場可程式化閘陣列(Field-Programmable Gate Array,FPGA)或者其他可程式化邏輯器件、離散閘或者電晶體邏輯器件、離散硬體組件。可以實現或者執行本說明書實施例中的公開的各方法、步驟及邏輯方塊圖。通用處理器可以是微處理器或者該處理器也可以是任何常規的處理器等。結合本說明書實施例所公開的方法的步驟可以直接體現為硬體譯碼處理器執行完成,或者用譯碼處理器中的硬體及軟體模組組合執行完成。軟體模組可以位於隨機記憶體,快閃記憶體、唯讀記憶體,可程式化唯讀記憶體或者電可抹除及寫入可程式化記憶體、暫存器等本領域成熟的儲存媒體中。該儲存媒體位於記憶體,處理器讀取記憶體中的資訊,結合其硬體完成上述方法的步驟。
應理解,本說明書實施例的電子設備可以實現上述訓練裝置在圖1和圖2所示的實施例的功能,或者上述特徵提取裝置在圖所示的實施例的功能。由於原理相同,本文不再贅述。
當然,除了軟體實現方式之外,本說明書的電子設備並不排除其他實現方式,比如邏輯器件抑或軟硬體結合的方式等等,也就是說以下處理流程的執行主體並不限定於各個邏輯單元,也可以是硬體或邏輯器件。
此外,本說明書實施例還提出了一種電腦可讀取儲存媒體,該電腦可讀取儲存媒體儲存一個或多個程式,該一個或多個程式包括指令。
其中,該指令當被包括多個應用程式的可攜式電子設備執行時,能夠使該可攜式電子設備執行圖1所示實施例的訓練方法,並具體用於執行以下方法:
將樣本對象對應目標分類下的第一短期特徵集輸入至循環神經網路,得到第二短期特徵集,其中,該第一短期特徵集中的各短期特徵對應有相同的第一時間粒度;
將該第二短期特徵集按照時間順序組合成長期特徵集,其中,該長期特徵集中的各長期特徵對應有相同的第二時間粒度,該第二時間粒度大於該第一時間粒度;
將該長期特徵集輸入至卷積神經網路,得到該目標對象對應該目標分類下的目標特徵集;
將該目標特徵集輸入至用於識別該目標分類的分類模型,以基於該分類模型針對該樣本對象的識別結果,對該循環神經網路和該卷積神經網路進行訓練。
或者,指令當被包括多個應用程式的可攜式電子設備執行時,能夠使該可攜式電子設備執行圖3所示實施例的特徵提取方法,並具體用於執行以下方法:
將目標對象屬於目標分類下的第一短期特徵集輸入至循環神經網路,得到第二短期特徵集,其中,該第一短期特徵集中的各短期特徵對應有相同的第一時間粒度;
將該第二短期特徵集按照時間順序組合成長期特徵集,其中,該長期特徵集中的各長期特徵對應有相同的第二時間粒度,該第二時間粒度大於該第一時間粒度;
將該長期特徵集輸入至卷積神經網路,得到該目標對象對應該目標分類下的目標特徵集;
其中,該循環神經網路和該卷積神經網路是將樣本對象的目標特徵集輸入至具有識別該目標分類的分類模型後,基於該分類模型得到針對該樣本對象的識別結果,對該循環神經網路和該卷積神經網路進行訓練所得到的,該樣本對象的目標特徵集是基於該循環神經網路和該卷積神經網路確定得到的。
應理解,上述指令當被包括多個應用程式的可攜式電子設備執行時,能夠使上文所述的訓練裝置實現圖1和圖2所示實施例的功能,或者,能夠使上文所述的特徵提取裝置實現圖3所示實施例的功能,本文不再贅述。
本領域技術人員應明白,本說明書的實施例可提供為方法、系統或電腦程式產品。因此,本說明書可採用完全硬體實施例、完全軟體實施例或結合軟體和硬體方面的實施例的形式。而且,本說明書可採用在一個或多個其中包含有電腦可用程式碼的電腦可用儲存媒體(包括但不限於磁碟記憶體、CD-ROM、光學記憶體等)上實施的電腦程式產品的形式。
上述對本說明書特定實施例進行了描述。其它實施例在所附申請專利範圍的範圍內。在一些情況下,在申請專利範圍中記載的動作或步驟可以按照不同於實施例中的順序來執行並且仍然可以實現期望的結果。另外,在圖式中描繪的過程不一定要求示出的特定順序或者連續順序才能實現期望的結果。在某些實施方式中,多任務處理和並行處理也是可以的或者可能是有利的。
以上僅為本說明書的實施例而已,並不用於限制本說明書。對於本領域技術人員來說,本說明書可以有各種更改和變化。凡在本說明書的精神和原理之內所作的任何修改、等同替換、改進等,均應包含在本說明書的請求項範圍之內。此外,本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施例,都應當屬於本文件的保護範圍。
S102~S108:步驟
S302~S306:步驟
400:訓練裝置
410:第一處理模組
420:第一組合模組
430:第二處理模組
440:訓練模組
500:特徵提取裝置
510:第三處理模組
520:第二組合模組
530:第四處理模組
為了更清楚地說明本說明書實施例或現有技術中的技術方案,下面將對實施例或現有技術描述中所需要使用的圖式作簡單地介紹,顯而易見地,下面描述中的圖式僅僅是本說明書實施例中記載的一些實施例,對於本領域普通技術人員來講,在不付出創造性勞動性的前提下,還可以根據這些圖式獲得其他的圖式。
[圖1]為本說明書實施例提供的訓練方法的流程示意圖。
[圖2]為本說明書實施例提供的訓練方法中的訓練結構示意圖。
[圖3]為本說明書實施例提供的特徵提取方法的步驟示意圖。
[圖4]為本說明書實施例提供的訓練裝置的結構示意圖。
[圖5]為本說明書實施例提供的特徵提取裝置的結構示意圖。
[圖6]為本說明書實施例提供的電子設備的結構示意圖。