TWI746509B - 信用分的獲取、特徵向量值的輸出方法及其裝置 - Google Patents

信用分的獲取、特徵向量值的輸出方法及其裝置 Download PDF

Info

Publication number
TWI746509B
TWI746509B TW106104297A TW106104297A TWI746509B TW I746509 B TWI746509 B TW I746509B TW 106104297 A TW106104297 A TW 106104297A TW 106104297 A TW106104297 A TW 106104297A TW I746509 B TWI746509 B TW I746509B
Authority
TW
Taiwan
Prior art keywords
hyperbolic tangent
tangent function
neural network
value
deep neural
Prior art date
Application number
TW106104297A
Other languages
English (en)
Other versions
TW201734893A (zh
Inventor
楊強鵬
Original Assignee
香港商阿里巴巴集團服務有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 香港商阿里巴巴集團服務有限公司 filed Critical 香港商阿里巴巴集團服務有限公司
Publication of TW201734893A publication Critical patent/TW201734893A/zh
Application granted granted Critical
Publication of TWI746509B publication Critical patent/TWI746509B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/02—Banking, e.g. interest calculation or account maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/03—Credit; Loans; Processing thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Operations Research (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本發明提供一種信用分的獲取、特徵向量值的輸出方法及其裝置，該信用分的獲取方法包括：獲得使用者的輸入資料，並將所述輸入資料提供給深度神經網路；通過所述深度神經網路對所述輸入資料進行處理，得到信用概率值；利用所述深度神經網路輸出的所述信用概率值獲取所述使用者的信用分；其中，在深度神經網路內，選取縮放雙曲正切函數作為激活函數，並使用所述縮放雙曲正切函數對上一級別輸出的第一特徵向量值進行計算，得到第二特徵向量值，並將所述第二特徵向量值輸出給下一級別。通過本發明的技術方案，可以增強信用分的穩定性，避免信用分發生較大變化，提高使用體驗。

Description

信用分的獲取、特徵向量值的輸出方法及其裝置
本發明係關於網際網路技術領域，尤其係關於一種信用分的獲取、特徵向量值的輸出方法及其裝置。
芝麻信用是獨立的第三方信用評估以及信用管理機構，依據方方面面的資訊，運用大資料以及雲計算技術客觀呈現個人的信用狀況，通過連接各種服務，讓每個人都能體驗信用所帶來的價值。具體的，芝麻信用通過分析大量的網路交易以及行為資料，對使用者進行信用評估，這些信用評估可以幫助網際網路金融企業對使用者的還款意願以及還款能力做出結論，繼而為使用者提供快速授信以及現金分期服務。例如，芝麻信用資料涵蓋了信用卡還款、網購、轉帳、理財、水電煤繳費、租房資訊、住址搬遷歷史、社交關係等服務。
芝麻信用分是芝麻信用對海量資訊資料的評估結果，可基於使用者信用歷史、行為偏好、履約能力、身份特質、人脈關係等五個維度確定芝麻信用分。
本發明提供一種信用分的獲取、特徵向量值的輸出方法及其裝置，以增強信用分的穩定性，避免信用分較大變化，提高使用體驗。技術方案如下：本發明提供一種信用分的獲取方法，所述方法包括以下步驟：獲得使用者的輸入資料，並將所述輸入資料提供給深度神經網路；通過所述深度神經網路對所述輸入資料進行處理，得到信用概率值；利用所述深度神經網路輸出的所述信用概率值獲取所述使用者的信用分；其中，在所述深度神經網路內，選取縮放雙曲正切函數作為激活函數，並使用所述縮放雙曲正切函數對上一級別輸出的第一特徵向量值進行計算，得到第二特徵向量值，並將所述第二特徵向量值輸出給下一級別。
所述選取縮放雙曲正切函數作為激活函數的過程，具體包括：確定雙曲正切函數，並降低所述雙曲正切函數的斜率，以得到縮放雙曲正切函數，並選取所述縮放雙曲正切函數作為所述深度神經網路的激活函數。
所述縮放雙曲正切函數具體包括：scaledtanh(x)=β* tanh(α*x)；在使用所述縮放雙曲正切函數對上一級別輸出的第一 特徵向量值進行計算，得到第二特徵向量值時，x為第一特徵向量值，scaledtanh(x)為第二特徵向量值，tanh(x)為雙曲正切函數，β和α均為預設數值，且α小於1，大於0。
所述上一級別輸出的第一特徵向量值包括：所述深度神經網路的隱藏層輸出的一個資料維度的特徵向量值；所述深度神經網路的模組層輸出的多個資料維度的特徵向量值。
本發明提供一種特徵向量值的輸出方法，應用在深度神經網路內，所述方法包括以下步驟：選取縮放雙曲正切函數作為所述深度神經網路的激活函數；使用所述縮放雙曲正切函數對所述深度神經網路的上一級別輸出的第一特徵向量值進行計算，得到第二特徵向量值；將所述第二特徵向量值輸出給所述深度神經網路的下一級別。
所述選取縮放雙曲正切函數作為所述深度神經網路的激活函數，具體包括：確定雙曲正切函數，並降低所述雙曲正切函數的斜率，以得到縮放雙曲正切函數，並選取所述縮放雙曲正切函數作為所述深度神經網路的激活函數。
所述縮放雙曲正切函數具體包括：scaledtanh(x)=β* tanh(α*x)；在使用所述縮放雙曲正切函數對上一級別輸出的第一 特徵向量值進行計算，得到第二特徵向量值時，x為第一特徵向量值，scaledtanh(x)為第二特徵向量值，tanh(x)為雙曲正切函數，β和α均為預設數值，且α小於1，大於0。
本發明提供一種信用分的獲取裝置，所述裝置具體包括：獲得模組，用於獲得使用者的輸入資料；提供模組，用於將所述輸入資料提供給深度神經網路；處理模組，用於通過所述深度神經網路對所述輸入資料進行處理，得到信用概率值；其中，在所述深度神經網路內，選取縮放雙曲正切函數作為激活函數，並使用所述縮放雙曲正切函數對上一級別輸出的第一特徵向量值進行計算，得到第二特徵向量值，並將所述第二特徵向量值輸出給下一級別；獲取模組，用於利用深度神經網路輸出的信用概率值獲取使用者的信用分。
所述處理模組，具體用於在選取縮放雙曲正切函數作為激活函數的過程中，確定雙曲正切函數，並降低所述雙曲正切函數的斜率，以得到縮放雙曲正切函數，並選取所述縮放雙曲正切函數作為所述深度神經網路的激活函數。
所述處理模組選取的所述縮放雙曲正切函數具體包括：scaledtanh(x)=β* tanh(α*x)；所述處理模組在使用所述縮放雙曲正切函數對上一級別輸出的第一特徵向量值進 行計算，得到第二特徵向量值的過程中，x為第一特徵向量值，scaledtanh(x)為第二特徵向量值，tanh(x)為雙曲正切函數，β和α均為預設數值，且α小於1，大於0。
所述上一級別輸出的第一特徵向量值包括：所述深度神經網路的隱藏層輸出的一個資料維度的特徵向量值；所述深度神經網路的模組層輸出的多個資料維度的特徵向量值。
本發明提供一種特徵向量值的輸出裝置，所述特徵向量值的輸出裝置應用在深度神經網路內，所述特徵向量值的輸出裝置具體包括：選取模組，用於選取縮放雙曲正切函數作為深度神經網路的激活函數；獲得模組，用於使用所述縮放雙曲正切函數對所述深度神經網路的上一級別輸出的第一特徵向量值進行計算，得到第二特徵向量值；輸出模組，用於將所述第二特徵向量值輸出給深度神經網路的下一級別。
所述選取模組，具體用於在選取縮放雙曲正切函數作為所述深度神經網路的激活函數的過程中，確定雙曲正切函數，並降低所述雙曲正切函數的斜率，以得到縮放雙曲正切函數，並選取所述縮放雙曲正切函數作為所述深度神經網路的激活函數。
所述選取模組選取的所述縮放雙曲正切函數具體包括：scaledtanh(x)=β* tanh(α*x)；所述獲得模組在使用所 述縮放雙曲正切函數對上一級別輸出的第一特徵向量值進行計算，得到第二特徵向量值的過程中，x為第一特徵向量值，scaledtanh(x)為第二特徵向量值，tanh(x)為雙曲正切函數，β和α均為預設數值，且α小於1，大於0。
基於上述技術方案，本發明實施例中，通過使用縮放雙曲正切函數作為激活函數，以增強深度神經網路的穩定性。當深度神經網路應用在個人徵信系統時，可以增強信用分的穩定性，避免信用分發生較大變化，提高使用體驗。例如，隨著時間的變化，當有使用者的資料發生較大的變化時，如消費類的資料，在不同日期可能會有較大變化(如某天發生突變)，可以保證使用者的信用是比較穩定的狀態，即信用分只有很小的變化，增強信用分的穩定性。
11‧‧‧獲得模組
12‧‧‧提供模組
13‧‧‧處理模組
14‧‧‧獲取模組
21‧‧‧選取模組
22‧‧‧獲得模組
23‧‧‧輸出模組
為了更加清楚地說明本發明實施例或者現有技術中的技術方案，下面將對本發明實施例或者現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明中記載的一些實施例，對於本領域普通技術人員來講，還可以根據這些附圖獲得其他的附圖。
圖1是本發明一種實施方式中的深度神經網路的結構示意圖；圖2是本發明一種實施方式中的激活函數的圖形示意圖； 圖3是本發明一種實施方式中的特徵向量值的輸出方法的流程圖；圖4是本發明一種實施方式中的縮放雙曲正切函數的圖形示意圖；圖5是本發明一種實施方式中的信用分的獲取方法的流程圖；圖6是本發明一種實施方式中的信用分的獲取裝置所在設備的結構圖；圖7是本發明一種實施方式中的信用分的獲取裝置的結構圖；圖8是本發明一種實施方式中特徵向量值的輸出裝置所在設備結構圖；圖9是本發明一種實施方式中的特徵向量值的輸出裝置的結構圖。
在本發明使用的術語僅僅是出於描述特定實施例的目的，而非限制本發明。本發明和申請專利範圍中所使用的單數形式的“一種”、“所述”和“該”也旨在包括多數形式，除非上下文清楚地表示其它含義。還應當理解，本文中使用的術語“和/或”是指包含一個或多個相關聯的列出項目的任何或所有可能組合。
應當理解，儘管在本發明可能採用術語第一、第二、第三等來描述各種資訊，但這些資訊不應限於這些術語。 這些術語僅用來將同一類型的資訊彼此區分開。例如，在不脫離本發明範圍的情況下，第一資訊也可以被稱為第二資訊，類似地，第二資訊也可以被稱為第一資訊。取決於語境，此外，所使用的詞語“如果”可以被解釋成為“在……時”或“當……時”或“回應於確定”。
為了基於使用者信用歷史、行為偏好、履約能力、身份特質、人脈關係等五個維度的資料確定出信用分(如芝麻信用分)，在一個例子中，可以採用圖1所示的DNN(Deep Neural Networks，深度神經網路)的結構來確定信用分，該深度神經網路的結構可以包括輸入層(input layer)、隱藏層(network in network)、模組層(module layer)和輸出層(output layer)等。
在深度神經網路的輸入層，輸入資料是使用者信用歷史、行為偏好、履約能力、身份特質、人脈關係等五個維度的資料，這些資料組成一個特徵集合，該特徵集合內包括大量數值，如特徵集合(100,6,30000,-200,60,230,28)等。針對該特徵集合，需要對該特徵集合進行特徵工程(feature engineering)的處理，如對該特徵集合進行歸一化處理，得到一個特徵向量值。例如，歸一化處理得到一個特徵向量值(0.2,0.3,0.4,0.8,0.9,-0.1,-0.5,0.9,0.8,0.96)。
其中，進行歸一化處理的原因是：由於特徵集合內的資料範圍不同，有些資料的範圍可能特別大，其導致的結果是收斂慢、訓練時間長。而且資料範圍大的資料在模式分類中的作用可能會偏大，而資料範圍小的資料在模式分 類中的作用可能會偏小，因此，可以通過對資料進行歸一化處理，將資料映射到[0,1]區間、或[-1,1]區間、或更小的區間，以避免資料範圍導致的問題。
在得到特徵向量值(0.2,0.3,0.4,0.8,0.9,-0.1,-0.5,0.9,0.8,0.96)之後，假設該特徵向量值包括使用者信用歷史對應的特徵向量值(0.2,0.3)，行為偏好對應的特徵向量值(0.4,0.8)，履約能力對應的特徵向量值(0.9,-0.1)，身份特質對應的特徵向量值(-0.5,0.9)，人脈關係對應的特徵向量值(0.8,0.96)，則將特徵向量值(0.2,0.3,0.4,0.8,0.9,-0.1,-0.5,0.9,0.8,0.96)分解成上述五個維度的特徵向量值，並將這五個維度的特徵向量值送入隱藏層或者模組層。
根據實際需要，可以配置某維度的特徵向量值進入隱藏層，配置某維度的特徵向量值直接進入模組層，而不進入隱藏層。例如，配置使用者信用歷史、行為偏好、履約能力、身份特質等維度的特徵向量值進入隱藏層，配置人脈關係維度的特徵向量值進入模組層。基於此，將使用者信用歷史對應的特徵向量值(0.2,0.3)、行為偏好對應的特徵向量值(0.4,0.8)、履約能力對應的特徵向量值(0.9,-0.1)、身份特質對應的特徵向量值(-0.5,0.9)送入隱藏層進行處理，將人脈關係對應的特徵向量值(0.8,0.96)送入模組層進行處理。
在深度神經網路的隱藏層，會為每個維度的特徵向量值配置一個或者多個隱藏層，圖1中以為每個維度的特徵 向量值配置兩個隱藏層為例進行說明。由於各維度的隱藏層的處理相同，後續以一個維度的隱藏層的處理為例進行說明。針對第一個隱藏層，配置權值向量W1和偏置值b1，針對第二個隱藏層，配置權值向量W2和偏置值b2，權值向量和偏置值的配置過程不再贅述。
在獲得輸入層輸出的特徵向量值後，假設得到行為偏好對應的特徵向量值(0.4,0.8)，則第一個隱藏層會對特徵向量值(0.4,0.8)進行處理，在一個例子中，處理公式可以為特徵向量值(0.4,0.8)*權值向量W1+偏置值b1。
之後，通常可以使用激活函數(如非線性函數)對隱藏層輸出的特徵向量值(即特徵向量值(0.4,0.8)*權值向量W1+偏置值b1的結果)進行計算，得到一個新的特徵向量值(假設為特徵向量值1)，並將該新的特徵向量值輸出給第二個隱藏層。其中，激活函數可以包括sigmoid(S型)函數、ReLU(Rectified Linear Units，整流線性單元)函數、tanh(雙曲正切)函數等。以ReLU函數為例進行說明，則該ReLU函數可以將隱藏層輸出的特徵向量值的所有特徵值中，小於0的特徵值置0，而大於0的特徵值保持不變。
其中，激活函數的作用可以包括：加入非線性因素；減小實際資料的噪聲，抑制邊緣奇異性較大的資料；對前一層輸出值進行約束等。
第二個隱藏層在獲得特徵向量值1後，會對特徵向量值1進行處理，在一個例子中，處理公式可以為特徵向量 值1*權值向量W2+偏置值b2。之後，使用激活函數對第二個隱藏層輸出的特徵向量值進行計算，得到一個新的特徵向量值(假設為特徵向量值2)，並將該新的特徵向量值輸出給模組層。
在深度神經網路的模組層，會將五個維度的特徵向量值組合在一起，得到一個新的特徵向量值，該特徵向量值中會包含隱藏層輸出給模組層的特徵向量值，以及輸入層直接輸出給模組層的特徵向量值。例如，該特徵向量值中會包含使用者信用歷史對應的隱藏層輸出給模組層的特徵向量值、行為偏好對應的隱藏層輸出給模組層的特徵向量值、履約能力對應的隱藏層輸出給模組層的特徵向量值、身份特質對應的隱藏層輸出給模組層的特徵向量值、輸入層直接輸出給模組層的人脈關係對應的特徵向量值。進一步的，使用激活函數對當前組合得到的特徵向量值進行計算，得到一個新的特徵向量值。
基於上述深度神經網路，為了確定出使用者的信用分，可以包括兩個階段，第一階段為訓練階段，第二階段為預測階段。在訓練階段中，通過使用大量的輸入資料，對深度神經網路進行訓練，從而得到一個能夠確定出使用者的信用分的模型。在預測階段中，通過使用訓練得到的深度神經網路，對當前使用者的輸入資料進行預測，並利用預測結果得出當前使用者的信用分。
針對訓練階段，在深度神經網路的輸入層，針對使用者信用歷史、行為偏好、履約能力、身份特質、人脈關係 等五個維度的輸入資料，還可以為該輸入資料設置一個信用標記，如設置信用標記0，以表示當前的輸入資料是信用好的輸入資料，或者，設置信用標記1，以表示當前的輸入資料是信用不好的輸入資料。這樣，在經過上述輸入層、隱藏層、模組層等流程的處理之後，在深度神經網路的模組層，在使用激活函數得到一個新的特徵向量值之後，就可以得到該新的特徵向量值對應信用標記0還是信用標記1。
當對大量輸入資料設置信用標記，並執行上述輸入層、隱藏層、模組層等流程的處理之後，就可以得到大量特徵向量值對應信用標記0還是信用標記1，而大量的特徵向量值中，一個特徵向量值可能出現多次，且該特徵向量值可能對應信用標記0，也可能對應信用標記1。這樣，就可以得到每個特徵向量值對應的信用好概率值(如信用是0的概率值)和信用不好概率值(如信用是1的概率值)，並將信用好概率值和信用不好概率值輸出給輸出層。
其中，在得到大量特徵向量值對應信用標記0還是信用標記1之後，可以使用分類器(如SVM(Support Vector Machine，支持向量機)分類器等)確定每個特徵向量值對應的信用好概率值和信用不好概率值，在此不再贅述。
針對訓練階段，在深度神經網路的輸出層，會記錄每個特徵向量值對應的信用好概率值和信用不好概率值，例 如，針對某個特徵向量值，記錄的信用好概率值為90%，其表示當前特徵向量值信用好的概率值是90%，記錄的信用不好概率值為10%，其表示當前特徵向量值信用不好的概率值是10%。
針對預測階段，在深度神經網路的輸入層，針對使用者信用歷史、行為偏好、履約能力、身份特質、人脈關係等五個維度的輸入資料，由於最終需要確定的就是該輸入資料是信用好的輸入資料還是信用不好的輸入資料，因此，當前不會為該輸入資料設置信用標記。這樣，在經過上述輸入層、隱藏層、模組層等流程的處理之後，在深度神經網路的模組層，在使用激活函數得到一個新的特徵向量值之後，可以將該新的特徵向量值直接輸出給輸出層。
在深度神經網路的輸出層，由於記錄了大量的特徵向量值與信用好概率值和信用不好概率值的對應關係，因此，在得到來自模組層的特徵向量值之後，可以從本地記錄的特徵向量值中找到與當前得到的特徵向量值所匹配的特徵向量值，繼而得到該特徵向量值對應的信用好概率值和信用不好概率值。
基於當前得到的信用好概率值和信用不好概率值，可以對輸入資料進行評分，以得到當前使用者的信用分。例如，針對使用者1的輸入資料，經過深度神經網路後，得到信用好概率值為90%，信用不好概率值為10%，針對使用者2的輸入資料，經過深度神經網路後，得到信用好概率值為95%，信用不好概率值為5%，則可以為使用者1 打450的信用分，為使用者2打600的信用分。
在上述過程中，無論是在隱藏層使用的激活函數，還是在模組層使用的激活函數，均可以使用sigmoid函數，ReLU函數，tanh函數。其中，sigmoid函數，ReLU函數，tanh函數的圖形可以如圖2所示。而且，sigmoid函數的計算公式可以為sigmoid(x)=1/(1+e^(-x))，ReLU函數的計算公式可以為ReLU(x)=max(0,x)，tanh函數的計算公式可以為tanh(x)=(e x -e -x )/(e x +e -x )。
參考圖2所示，在實現本發明的過程中，申請人注意到：對於sigmoid函數來說，當輸入在-2.0-2.0之間變化時，輸出在0.1-0.9之間變化，即輸出始終大於0。對於ReLU函數來說，當輸入在0-2.0之間變化時，輸出在0-2.0之間變化，即輸出始終大於等於0。對於tanh函數來說，當輸入在-2.0-2.0之間變化時，輸出在-1.0-1.0之間變化，即輸出可能為正值，也可能未負值。
在普通的深度神經網路中，sigmoid函數、ReLU函數和tanh函數均可以使用，但是，在需要獲得信用分的深度神經網路中，由於涉及五個維度的資料處理，而這五個維度的資料處理過程中，在實際應用中，有的維度的資料處理結果可能是負值，這樣更能體現該維度的資料特性，這樣，顯然sigmoid函數和ReLU函數已經不再適用了，其無法使資料處理結果是負值。因此，針對獲得信用分的深度神經網路來說，可以使用tanh函數作為激活函數。
進一步的，在使用tanh函數作為激活函數時，在經 過歸一化處理等過程後，輸入範圍一般在0-1之間。參考圖2所示，對於tanh函數來說，在輸入為0附近，輸出是近似線性的，並且具有較大的斜率，這樣，對於輸入的變化來說，其對應的輸出的變化也很大。例如，當輸入由0變為0.1時，輸出也由0變為0.1，當輸入由0變為0.2時，輸出也由0變為0.2。因此，在使用tanh函數作為激活函數時，當輸入發生變化時，無法保證輸出的穩定性。
在實際應用中，隨著時間的變化，當有使用者的資料發生較大的變化時，如消費類的資料，在不同日期可能會有較大變化(如某一天發生突變)，但是使用者的信用一般是比較穩定的狀態，即信用分只有很小的變化。因此，在需要獲得信用分的深度神經網路中，在使用tanh函數作為激活函數時，當資料發生較大變化時，無法保證信用分只有很小的變化，這樣，顯然tanh函數也不再適用了，需要重新設計一種新的激活函數，以在輸入發生變化時，保證輸出只有很小的變化，從而保證輸出的穩定性。例如，當輸入由0變為0.1時，輸出由0變為0.01，當輸入由0變為0.2時，輸出由0變為0.018。
針對獲得信用分的深度神經網路，在上述過程中，輸入可以是指輸入到激活函數的特徵向量值，輸出可以是指激活函數輸出的特徵向量值。
針對上述發現，本發明實施例中設計一種新的激活函數，並將該激活函數稱為縮放雙曲正切函數，在後續過程中詳細說明該縮放雙曲正切函數。當在深度神經網路內使 用縮放雙曲正切函數時，可以保證在輸入發生變化時，輸出只有很小的變化，從而保證輸出的穩定性。基於該縮放雙曲正切函數，本發明實施例提出一種特徵向量值的輸出方法，該方法可以應用在深度神經網路內，如圖3所示，該特徵向量值的輸出方法具體可以包括以下步驟：
步驟301，選取縮放雙曲正切函數作為深度神經網路的激活函數。
步驟302，使用縮放雙曲正切函數對深度神經網路的上一級別輸出的第一特徵向量值進行計算，得到第二特徵向量值。
步驟303，將第二特徵向量值輸出給深度神經網路的下一級別。
在深度神經網路內，為了加入非線性因素，減小實際資料的噪聲，抑制邊緣奇異性較大的資料，對上一級別輸出的特徵向量值進行約束等考慮，通常會使用激活函數(如非線性函數)對深度神經網路的上一級別輸出的第一特徵向量值進行計算，得到一個新的第二特徵向量值，並將該第二特徵向量值輸出給深度神經網路的下一級別。其中，深度神經網路的上一級別可以是指：將第一特徵向量值輸出給激活函數的隱藏層或者模組層等，隱藏層或者模組層在得到第一特徵向量值後，會將第一特徵向量值輸出給激活函數，以使用激活函數對第一特徵向量值進行計算，得到第二特徵向量值。深度神經網路的下一級別可以是指：將激活函數處理後的第二特徵向量值輸出給的隱藏 層或者模組層等，在使用激活函數對第一特徵向量值進行計算，得到第二特徵向量值之後，會將第二特徵向量值輸出給隱藏層或者模組層等。
在此基礎上，本發明實施例中，可以選取縮放雙曲正切函數(scaledtanh)作為深度神經網路的激活函數，而不是選取sigmoid函數、ReLU函數、tanh函數等作為深度神經網路的激活函數。進一步的，選取縮放雙曲正切函數作為深度神經網路的激活函數的過程，具體可以包括但不限於如下方式：確定雙曲正切函數，並降低該雙曲正切函數的斜率，以得到一個縮放雙曲正切函數，並選取該縮放雙曲正切函數作為深度神經網路的激活函數。
其中，縮放雙曲正切函數具體包括但不限於：scaledtanh(x)=β* tanh(α*x)；基於此，在使用縮放雙曲正切函數對上一級別輸出的第一特徵向量值進行計算，得到第二特徵向量值時，x為第一特徵向量值，scaledtanh(x)為第二特徵向量值，tanh(x)為雙曲正切函數，β和α均為預設數值，且α小於1，大於0。
雙曲正切函數tanh(x)的計算公式可以為tanh(x)=(e x -e -x )/(e x +e -x )，參考圖2可以看出，tanh(x)的結果在(-1.0-1.0)之間，因此，tanh(α*x)的結果也在(-1.0-1.0)之間，這樣，就可以通過預設數值β來控制輸出值的範圍，即輸出值的範圍是(-β,β)。在一種可行的實施方式中，可以選擇β等於1，這樣，輸出值的範圍就是(-1.0-1.0)，即沒有改變雙曲正切函數的輸出值範圍。
如圖4所示，為縮放雙曲正切函數的圖形示意圖，從圖4可以看出，通過使用α控制了雙曲正切函數的斜率，當選取α小於1時，則可以降低雙曲正切函數的斜率。而且，隨著α變小，雙曲正切函數的斜率也在變小，因此縮放雙曲正切函數對輸入的敏感程度也在降低，達到增強輸出穩定性的目的。
具體的，當α變小時，則(α*x)的結果也在變小，基於雙曲正切函數的特性，tanh(α*x)的結果也在變小，因此，縮放雙曲正切函數scaledtanh(x)的結果會變小。這樣，當輸入範圍在0-1之間，且輸入為0附近時，縮放雙曲正切函數的輸出不是近似線性的，且斜率較小，對於輸入的變化來說，其對應的輸出的變化較小。例如，當輸入由0變為0.1時，輸出可能只由0變為0.01，當輸入由0變為0.2時，輸出可能只由0變為0.018。因此，在使用縮放雙曲正切函數作為激活函數時，當輸入發生變化時，可以保證輸出的穩定性。
在上述過程中，輸入可以是指輸入到縮放雙曲正切函數的第一特徵向量值，輸出可以是指縮放雙曲正切函數輸出的第二特徵向量值。
本發明實施例的上述過程中使用的縮放雙曲正切函數，可以應用在深度神經網路的訓練階段，也可以應用在深度神經網路的預測階段。
本發明實施例中設計的縮放雙曲正切函數，可以應用在目前的任意深度神經網路中，即所有場景下的深度神經 網路均可以使用縮放雙曲正切函數作為激活函數。在一個可行的實施方式中，可以將縮放雙曲正切函數應用在個人徵信模型中，即在獲得信用分的深度神經網路中使用縮放雙曲正切函數作為激活函數。基於此，本發明實施例提出一種信用分的獲取方法，該方法可以在深度神經網路內使用縮放雙曲正切函數作為激活函數，從而保證在輸入發生變化時，輸出只有很小的變化，從而保證輸出的穩定性。如圖5所示，本發明實施例中提出的信用分的獲取方法具體可以包括以下步驟：
步驟501，獲得使用者的輸入資料，並將輸入資料提供給深度神經網路。
步驟502，通過深度神經網路對輸入資料進行處理，得到信用概率值；其中，在深度神經網路內，選取縮放雙曲正切函數作為激活函數，並使用該縮放雙曲正切函數對上一級別輸出的第一特徵向量值進行計算，得到第二特徵向量值，並將該第二特徵向量值輸出給下一級別。
步驟503，利用深度神經網路輸出的信用概率值獲取使用者的信用分。
本發明實施例中，輸入資料可以是使用者信用歷史、行為偏好、履約能力、身份特質、人脈關係等五個維度的輸入資料，此外，信用概率值可以是信用好概率值和/或信用不好概率值，基於當前得到的信用好概率值和/或信用不好概率值，可以對輸入資料進行評分，以得到當前使用者的信用分。針對信用分的獲取的詳細過程，可以參見 上述流程，在此不再重複贅述。
在深度神經網路內，為了加入非線性因素，減小實際資料的噪聲，抑制邊緣奇異性較大的資料，對上一級別輸出的特徵向量值進行約束等考慮，通常會使用激活函數(如非線性函數)對深度神經網路的上一級別輸出的第一特徵向量值進行計算，得到一個新的第二特徵向量值，並將該第二特徵向量值輸出給深度神經網路的下一級別。其中，深度神經網路的上一級別可以是指：將第一特徵向量值輸出給激活函數的隱藏層或者模組層等，隱藏層或者模組層在得到第一特徵向量值後，會將第一特徵向量值輸出給激活函數，以使用激活函數對第一特徵向量值進行計算，得到第二特徵向量值。深度神經網路的下一級別可以是指：將激活函數處理後的第二特徵向量值輸出給的隱藏層或者模組層等，在使用激活函數對第一特徵向量值進行計算，得到第二特徵向量值之後，會將第二特徵向量值輸出給隱藏層或者模組層等。
其中，當在隱藏層使用激活函數時，則上一級別輸出的第一特徵向量值可以包括：深度神經網路的隱藏層輸出的一個資料維度的特徵向量值，例如，使用者信用歷史維度的特徵向量值、或者身份特質維度的特徵向量值。
當在模組層使用激活函數時，則上一級別輸出的第一特徵向量值可以包括：深度神經網路的模組層輸出的多個資料維度的特徵向量值。例如，使用者信用歷史維度的特徵向量值、行為偏好維度的特徵向量值、履約能力維度的 特徵向量值、身份特質維度的特徵向量值、人脈關係維度的特徵向量值。
在此基礎上，本發明實施例中，可以選取縮放雙曲正切函數(scaledtanh)作為深度神經網路的激活函數，而不是選取sigmoid函數、ReLU函數、tanh函數等作為深度神經網路的激活函數。進一步的，選取縮放雙曲正切函數作為深度神經網路的激活函數的過程，具體可以包括但不限於如下方式：確定雙曲正切函數，並降低該雙曲正切函數的斜率，以得到一個縮放雙曲正切函數，並選取該縮放雙曲正切函數作為深度神經網路的激活函數。
其中，縮放雙曲正切函數具體包括但不限於：scaledtanh(x)=β* tanh(α*x)；基於此，在使用縮放雙曲正切函數對上一級別輸出的第一特徵向量值進行計算，得到第二特徵向量值時，x為第一特徵向量值，scaledtanh(x)為第二特徵向量值，tanh(x)為雙曲正切函數，β和α均為預設數值，且α小於1，大於0。
雙曲正切函數tanh(x)的計算公式可以為tanh(x)=(e x -e -x )/(e x +e -x )，參考圖2可以看出，tanh(x)的結果在(-1.0-1.0)之間，因此，tanh(α*x)的結果也在(-1.0-1.0)之間，這樣，就可以通過預設數值β來控制輸出值的範圍，即輸出值的範圍是(-β,β)。在一種可行的實施方式中，可以選擇β等於1，這樣，輸出值的範圍就是(-1.0-1.0)，即沒有改變雙曲正切函數的輸出值範圍。
如圖4所示，為縮放雙曲正切函數的圖形示意圖，從 圖4可以看出，通過使用α控制了雙曲正切函數的斜率，當選取α小於1時，則可以降低雙曲正切函數的斜率。而且，隨著α變小，雙曲正切函數的斜率也在變小，因此縮放雙曲正切函數對輸入的敏感程度也在降低，達到增強輸出穩定性的目的。
具體的，當α變小時，則(α*x)的結果也在變小，基於雙曲正切函數的特性，tanh(α*x)的結果也在變小，因此，縮放雙曲正切函數scaledtanh(x)的結果會變小。這樣，當輸入範圍在0-1之間，且輸入為0附近時，縮放雙曲正切函數的輸出不是近似線性的，且斜率較小，對於輸入的變化來說，其對應的輸出的變化較小。例如，當輸入由0變為0.1時，輸出可能只由0變為0.01，當輸入由0變為0.2時，輸出可能只由0變為0.018。因此，在使用縮放雙曲正切函數作為激活函數時，當輸入發生變化時，可以保證輸出的穩定性。
在上述過程中，輸入可以是指輸入到縮放雙曲正切函數的第一特徵向量值，輸出可以是指縮放雙曲正切函數輸出的第二特徵向量值。
本發明實施例的上述過程中使用的縮放雙曲正切函數，可以應用在深度神經網路的訓練階段，也可以應用在深度神經網路的預測階段。
基於上述技術方案，本發明實施例中，通過使用縮放雙曲正切函數作為激活函數，以增強深度神經網路的穩定性。當深度神經網路應用在個人徵信系統時，可以增強信 用分的穩定性，避免信用分發生較大變化，提高使用體驗。例如，隨著時間的變化，當有使用者的資料發生較大的變化時，如消費類的資料，在不同日期可能會有較大變化(如某天發生突變)，可以保證使用者的信用是比較穩定的狀態，即信用分只有很小的變化，增強信用分的穩定性。
對於上述特徵向量值的輸出方法、信用分的獲取方法，可以應用在目前的任意設備上，只要該設備能夠使用深度神經網路做資料處理即可，如可以應用在ODPS(Open Data Processing Service，開放資料處理服務)平台上。
基於與上述方法同樣的申請構思，本發明實施例還提供一種信用分的獲取裝置，應用在開放資料處理服務平台上。其中，該信用分的獲取裝置可以通過軟體實現，也可以通過硬體或者軟硬體結合的方式實現。以軟體實現為例，作為一個邏輯意義上的裝置，是通過其所在的開放資料處理服務平台的處理器，讀取非易失性記憶體中對應的計算機程式指令形成的。從硬體層面而言，如圖6所示，為本發明提出的信用分的獲取裝置所在的開放資料處理服務平台的一種硬體結構圖，除了圖6所示的處理器、非易失性記憶體外，開放資料處理服務平台還可以包括其他硬體，如負責處理報文的轉發晶片、網路介面、記憶體等；從硬體結構上來講，該開放資料處理服務平台還可能是分布式設備，可能包括多個介面卡，以便在硬體層面進行報 文處理的擴展。
如圖7所示，為本發明提出的信用分的獲取裝置的結構圖，該裝置包括：獲得模組11，用於獲得使用者的輸入資料；提供模組12，用於將所述輸入資料提供給深度神經網路；處理模組13，用於通過所述深度神經網路對所述輸入資料進行處理，得到信用概率值；其中，在所述深度神經網路內，選取縮放雙曲正切函數作為激活函數，並使用所述縮放雙曲正切函數對上一級別輸出的第一特徵向量值進行計算，得到第二特徵向量值，並將所述第二特徵向量值輸出給下一級別；獲取模組14，用於利用深度神經網路輸出的信用概率值獲取使用者的信用分。
所述處理模組13，具體用於在選取縮放雙曲正切函數作為激活函數的過程中，確定雙曲正切函數，降低所述雙曲正切函數的斜率，以得到縮放雙曲正切函數，並選取所述縮放雙曲正切函數作為所述深度神經網路的激活函數。
本發明實施例中，所述處理模組13選取的所述縮放雙曲正切函數具體包括：scaledtanh(x)=β* tanh(α*x)；所述處理模組13在使用所述縮放雙曲正切函數對上一級別輸出的第一特徵向量值進行計算，得到第二特徵向量值的過程中，x為第一特徵向量值，scaledtanh(x)為第二特徵 向量值，tanh(x)為雙曲正切函數，β和α均為預設數值，且α小於1，大於0。
本發明實施例中，所述上一級別輸出的第一特徵向量值包括：所述深度神經網路的隱藏層輸出的一個資料維度的特徵向量值；所述深度神經網路的模組層輸出的多個資料維度的特徵向量值。
其中，本發明裝置的各個模組可以集成於一體，也可以分離部署。上述模組可以合併為一個模組，也可以進一步拆分成多個子模組。
基於與上述方法同樣的申請構思，本發明實施例還提供一種特徵向量值的輸出裝置，應用在開放資料處理服務平台上。該特徵向量值的輸出裝置可以通過軟體實現，也可通過硬體或者軟硬體結合的方式實現。以軟體實現為例，作為一個邏輯意義上的裝置，是通過其所在的開放資料處理服務平台的處理器，讀取非易失性記憶體中對應的計算機程式指令形成的。從硬體層面而言，如圖8所示，為本發明提出的特徵向量值的輸出裝置所在的開放資料處理服務平台的一種硬體結構圖，除了圖8所示的處理器、非易失性記憶體外，開放資料處理服務平台還可以包括其他硬體，如負責處理報文的轉發晶片、網路介面、記憶體等；從硬體結構上來講，開放資料處理服務平台還可能是分布式設備，可能包括多個介面卡，以便在硬體層面進行報文處理的擴展。
如圖9所示，為本發明提出的特徵向量值的輸出裝置 的結構圖，應用在深度神經網路內，所述特徵向量值的輸出裝置具體包括：選取模組21，用於選取縮放雙曲正切函數作為深度神經網路的激活函數；獲得模組22，用於使用所述縮放雙曲正切函數對所述深度神經網路的上一級別輸出的第一特徵向量值進行計算，得到第二特徵向量值；輸出模組23，用於將第二特徵向量值輸出給深度神經網路的下一級別。
本發明實施例中，所述選取模組21，具體用於在選取縮放雙曲正切函數作為所述深度神經網路的激活函數的過程中，確定雙曲正切函數，並降低所述雙曲正切函數的斜率，以得到縮放雙曲正切函數，並選取所述縮放雙曲正切函數作為所述深度神經網路的激活函數。
本發明實施例中，所述選取模組21選取的所述縮放雙曲正切函數具體包括：scaledtanh(x)=β* tanh(α*x)；所述獲得模組22在使用所述縮放雙曲正切函數對上一級別輸出的第一特徵向量值進行計算，得到第二特徵向量值的過程中，x為第一特徵向量值，scaledtanh(x)為第二特徵向量值，tanh(x)為雙曲正切函數，β和α均為預設數值，且α小於1，大於0。
其中，本發明裝置的各個模組可以集成於一體，也可以分離部署。上述模組可以合併為一個模組，也可以進一步拆分成多個子模組。
通過以上的實施方式的描述，本領域的技術人員可以清楚地瞭解到本發明可借助軟體加必需的通用硬體平台的方式來實現，當然也可以通過硬體，但很多情況下前者是更佳的實施方式。基於這樣的理解，本發明的技術方案本質上或者說對現有技術做出貢獻的部分可以以軟體產品的形式體現出來，該計算機軟體產品儲存在一個儲存介質中，包括若干指令用以使得一台計算機設備(可以是個人計算機，伺服器，或者網路設備等)執行本發明各個實施例所述的方法。本領域技術人員可以理解附圖只是一個較佳實施例的示意圖，附圖中的模組或流程並不一定是實施本發明所必須的。
本領域技術人員可以理解實施例中的裝置中的模組可以按照實施例描述進行分佈於實施例的裝置中，也可以進行相應變化位於不同於本實施例的一個或多個裝置中。上述實施例的模組可以合併為一個模組，也可進一步拆分成多個子模組。上述本發明實施例序號僅僅為了描述，不代表實施例的優劣。
以上公開的僅為本發明的幾個具體實施例，但是，本發明並非局限於此，任何本領域的技術人員能思之的變化都應落入本發明的保護範圍。

Claims (10)

  1. 一種用於獲取裝置之信用分的獲取方法，其中，應用在深度神經網路內，所述方法包括以下步驟：獲得使用者的輸入資料，並將所述輸入資料提供給深度神經網路；通過所述深度神經網路對所述輸入資料進行處理，得到信用概率值；利用所述深度神經網路輸出的所述信用概率值獲取所述使用者的信用分；其中，在所述深度神經網路內，選取縮放雙曲正切函數作為激活函數，並使用所述縮放雙曲正切函數對上一級別輸出的第一特徵向量值進行計算，得到第二特徵向量值，並將所述第二特徵向量值輸出給下一級別；其中，在所述深度神經網路內，所述選取縮放雙曲正切函數作為激活函數的過程，具體包括：確定雙曲正切函數，並降低所述雙曲正切函數的斜率，以得到縮放雙曲正切函數，並選取所述縮放雙曲正切函數作為所述深度神經網路的激活函數；其中，降低後的雙曲正切函數的斜率大於0且小於1。
  2. 根據申請專利範圍第1項所述的方法，其中，所述縮放雙曲正切函數具體包括：scaledtanh(x)=β* tanh(α*x)；在使用所述縮放雙曲正切函數對上一級別輸出的第一特徵向量值進行計算，得到第二特徵向量值時，x為第一 特徵向量值，scaledtanh(x)為第二特徵向量值，tanh(x)為雙曲正切函數，β和α均為預設數值，且α小於1，大於0。
  3. 根據申請專利範圍第1項所述的方法，其中，所述上一級別輸出的第一特徵向量值包括：所述深度神經網路的隱藏層輸出的一個資料維度的特徵向量值；所述深度神經網路的模組層輸出的多個資料維度的特徵向量值。
  4. 一種用於輸出裝置之特徵向量值的輸出方法，其中，應用在深度神經網路內，所述方法包括以下步驟：選取縮放雙曲正切函數作為所述深度神經網路的激活函數；使用所述縮放雙曲正切函數對所述深度神經網路的上一級別輸出的第一特徵向量值進行計算，得到第二特徵向量值；將所述第二特徵向量值輸出給所述深度神經網路的下一級別；其中，所述選取縮放雙曲正切函數作為所述深度神經網路的激活函數的過程，具體包括：確定雙曲正切函數，並降低所述雙曲正切函數的斜率，以得到縮放雙曲正切函數，並選取所述縮放雙曲正切函數作為所述深度神經網路的激活函數；其中，降低後的雙曲正切函數的斜率大於0且小於1。
  5. 根據申請專利範圍第4項所述的方法，其中，所述縮放雙曲正切函數具體包括：scaledtanh(x)=β* tanh(α*x)；在使用所述縮放雙曲正切函數對上一級別輸出的第一特徵向量值進行計算，得到第二特徵向量值時，x為第一特徵向量值，scaledtanh(x)為第二特徵向量值，tanh(x)為雙曲正切函數，β和α均為預設數值，且α小於1，大於0。
  6. 一種信用分的獲取裝置，所述裝置包括：獲得模組，用於獲得使用者的輸入資料；提供模組，用於將所述輸入資料提供給深度神經網路；處理模組，用於通過所述深度神經網路對所述輸入資料進行處理，得到信用概率值；其中，在所述深度神經網路內，選取縮放雙曲正切函數作為激活函數，並使用所述縮放雙曲正切函數對上一級別輸出的第一特徵向量值進行計算，得到第二特徵向量值，並將所述第二特徵向量值輸出給下一級別；獲取模組，用於利用深度神經網路輸出的信用概率值獲取使用者的信用分；其中，所述處理模組，具體用於在選取縮放雙曲正切函數作為激活函數的過程中，確定雙曲正切函數，並降低所述雙曲正切函數的斜率，以得到縮放雙曲正切函數，並選取所述縮放雙曲正切函數作為所述深度神經網路的激活函數；其中，降低後的雙曲正切函數的斜率大於0且小於1。
  7. 根據申請專利範圍第6項所述的裝置，其中，所述處理模組選取的所述縮放雙曲正切函數具體包括：scaledtanh(x)=β* tanh(α*x)；所述處理模組在使用所述縮放雙曲正切函數對上一級別輸出的第一特徵向量值進行計算，得到第二特徵向量值的過程中，x為第一特徵向量值，scaledtanh(x)為第二特徵向量值，tanh(x)為雙曲正切函數，β和α均為預設數值，且α小於1，大於0。
  8. 根據申請專利範圍第6項所述的裝置，其中，所述上一級別輸出的第一特徵向量值包括：所述深度神經網路的隱藏層輸出的一個資料維度的特徵向量值；所述深度神經網路的模組層輸出的多個資料維度的特徵向量值。
  9. 一種特徵向量值的輸出裝置，所述特徵向量值的輸出裝置應用在深度神經網路內，所述特徵向量值的輸出裝置包括：選取模組，用於選取縮放雙曲正切函數作為深度神經網路的激活函數；獲得模組，用於使用所述縮放雙曲正切函數對所述深度神經網路的上一級別輸出的第一特徵向量值進行計算，得到第二特徵向量值；輸出模組，用於將所述第二特徵向量值輸出給深度神經網路的下一級別；其中，所述選取模組，具體用於在選取縮放雙曲正切函數作為所述深度神經網路的激活函數的過程中，確定雙曲正切函數，並降低所述雙曲正切函數的斜率，以得到縮 放雙曲正切函數，並選取所述縮放雙曲正切函數作為所述深度神經網路的激活函數；其中，降低後的雙曲正切函數的斜率大於0且小於1。
  10. 根據申請專利範圍第9項所述的裝置，其中，所述選取模組選取的所述縮放雙曲正切函數具體包括：scaledtanh(x)=β* tanh(α*x)；所述獲得模組在使用所述縮放雙曲正切函數對上一級別輸出的第一特徵向量值進行計算，得到第二特徵向量值的過程中，x為第一特徵向量值，scaledtanh(x)為第二特徵向量值，tanh(x)為雙曲正切函數，β和α均為預設數值，且α小於1，大於0。
TW106104297A 2016-02-29 2017-02-09 信用分的獲取、特徵向量值的輸出方法及其裝置 TWI746509B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610113530.6 2016-02-29
CN201610113530.6A CN107133865B (zh) 2016-02-29 2016-02-29 一种信用分的获取、特征向量值的输出方法及其装置

Publications (2)

Publication Number Publication Date
TW201734893A TW201734893A (zh) 2017-10-01
TWI746509B true TWI746509B (zh) 2021-11-21

Family

ID=59720813

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106104297A TWI746509B (zh) 2016-02-29 2017-02-09 信用分的獲取、特徵向量值的輸出方法及其裝置

Country Status (4)

Country Link
US (1) US20190035015A1 (zh)
CN (1) CN107133865B (zh)
TW (1) TWI746509B (zh)
WO (1) WO2017148269A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109934697A (zh) * 2017-12-15 2019-06-25 阿里巴巴集团控股有限公司 一种基于图结构模型的信用风险控制方法、装置以及设备
CN109936525B (zh) * 2017-12-15 2020-07-31 阿里巴巴集团控股有限公司 一种基于图结构模型的异常账号防控方法、装置以及设备
CN109934706B (zh) 2017-12-15 2021-10-29 创新先进技术有限公司 一种基于图结构模型的交易风险控制方法、装置以及设备
CN110046981B (zh) * 2018-01-15 2022-03-08 腾讯科技（深圳）有限公司 一种信用评估方法、装置及存储介质
CN108446978A (zh) * 2018-02-12 2018-08-24 阿里巴巴集团控股有限公司 处理交易数据的方法及装置
US11100573B1 (en) * 2018-02-28 2021-08-24 Intuit Inc. Credit score cohort analysis engine
CN110555148B (zh) * 2018-05-14 2022-12-02 腾讯科技（深圳）有限公司 一种用户行为评估方法、计算设备及存储介质
US11586417B2 (en) * 2018-09-28 2023-02-21 Qualcomm Incorporated Exploiting activation sparsity in deep neural networks
KR102184655B1 (ko) * 2018-10-29 2020-11-30 에스케이텔레콤 주식회사 비대칭 tanh 활성 함수를 이용한 예측 성능의 개선
CN110222173B (zh) * 2019-05-16 2022-11-04 吉林大学 基于神经网络的短文本情感分类方法及装置
CN110472817B (zh) * 2019-07-03 2023-03-24 西北大学 一种结合深度神经网络的XGBoost集成信用评价系统及其方法
CN112435035A (zh) * 2019-08-09 2021-03-02 阿里巴巴集团控股有限公司 数据的审核方法、装置及设备
CN111967790B (zh) * 2020-08-28 2023-04-07 恒瑞通（福建）信息技术有限公司 一种可自动演算的信用分方法及终端
CN113393331B (zh) * 2021-06-10 2022-08-23 罗嗣扬 基于大数据的数据库和算法的保险精准风控、管理、智慧客服及营销系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120023006A1 (en) * 2010-07-23 2012-01-26 Roser Ryan D Credit Risk Mining
CN104866969A (zh) * 2015-05-25 2015-08-26 百度在线网络技术（北京）有限公司 个人信用数据处理方法和装置
CN105224984A (zh) * 2014-05-31 2016-01-06 华为技术有限公司 一种基于深度神经网络的数据类别识别方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5058179A (en) * 1990-01-31 1991-10-15 At&T Bell Laboratories Hierarchical constrained automatic learning network for character recognition
CN101329169B (zh) * 2008-07-28 2010-09-08 中国航空工业第一集团公司北京航空制造工程研究所 一种电子束焊接熔凝区形状因子的神经网络建模方法
CN103514566A (zh) * 2013-10-15 2014-01-15 国家电网公司 一种风险控制系统及方法
CN103577876B (zh) * 2013-11-07 2016-10-05 吉林大学 基于前馈神经网络的可信与不可信用户识别方法
CN103839183A (zh) * 2014-03-19 2014-06-04 江苏苏大大数据科技有限公司 智能授信方法及智能授信装置
CN105105743B (zh) * 2015-08-21 2017-03-29 山东省计算中心（国家超级计算济南中心） 基于深度神经网络的心电图智能处理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120023006A1 (en) * 2010-07-23 2012-01-26 Roser Ryan D Credit Risk Mining
CN105224984A (zh) * 2014-05-31 2016-01-06 华为技术有限公司 一种基于深度神经网络的数据类别识别方法及装置
CN104866969A (zh) * 2015-05-25 2015-08-26 百度在线网络技术（北京）有限公司 个人信用数据处理方法和装置

Also Published As

Publication number Publication date
CN107133865A (zh) 2017-09-05
US20190035015A1 (en) 2019-01-31
TW201734893A (zh) 2017-10-01
CN107133865B (zh) 2021-06-01
WO2017148269A1 (zh) 2017-09-08

Similar Documents

Publication Publication Date Title
TWI746509B (zh) 信用分的獲取、特徵向量值的輸出方法及其裝置
US20210166140A1 (en) Method and apparatus for training risk identification model and server
US20200202428A1 (en) Graphical structure model-based credit risk control
EP3627759B1 (en) Method and apparatus for encrypting data, method and apparatus for training machine learning model, and electronic device
Kim et al. An ensemble semi-supervised learning method for predicting defaults in social lending
TWI631518B (zh) 具有一或多個計算裝置的電腦伺服系統及訓練事件分類器模型的電腦實作方法
WO2019114344A1 (zh) 一种基于图结构模型的异常账号防控方法、装置以及设备
CN108460681B (zh) 一种风险管控方法及装置
KR20180041174A (ko) 위험 평가 방법 및 시스템
WO2017143914A1 (zh) 一种利用训练数据训练模型的方法和训练系统
WO2021098270A1 (zh) 基于对抗样本的隐私信息保护方法、装置及电子设备
US11588762B1 (en) Simulation-based virtual advisor
WO2022156701A1 (zh) 风险识别以及风险识别系统的更新
US20200380524A1 (en) Transaction feature generation
CN112015909B (zh) 知识图谱的构建方法及装置、电子设备、存储介质
CN111353554B (zh) 预测缺失的用户业务属性的方法及装置
Li et al. Graph mining assisted semi-supervised learning for fraudulent cash-out detection
AU2021290143B2 (en) Machine learning module training using input reconstruction techniques and unlabeled transactions
Xiao et al. Visual analysis of risks in peer-to-peer lending market
CN116883151A (zh) 对用户风险的评估系统进行训练的方法及装置
Zhang et al. A ResNet‐LSTM Based Credit Scoring Approach for Imbalanced Data
Wu et al. The total return swap pricing model under fuzzy random environments
US20210357517A1 (en) Apparatuses and methods for improved data privacy
Tudor* et al. EGARCH model with weighted liquidity
JP7003343B2 (ja) ベクトル計算装置、分類装置及び出力プログラム