WO2019015461A1 - 一种基于迁移深度学习的风险识别方法以及系统 - Google Patents

一种基于迁移深度学习的风险识别方法以及系统 Download PDF

Info

Publication number
WO2019015461A1
WO2019015461A1 PCT/CN2018/093413 CN2018093413W WO2019015461A1 WO 2019015461 A1 WO2019015461 A1 WO 2019015461A1 CN 2018093413 W CN2018093413 W CN 2018093413W WO 2019015461 A1 WO2019015461 A1 WO 2019015461A1
Authority
WO
WIPO (PCT)
Prior art keywords
rbm
layer
tuning
migration
learning
Prior art date
Application number
PCT/CN2018/093413
Other languages
English (en)
French (fr)
Inventor
李旭瑞
邱雪涛
赵金涛
胡奕
Original Assignee
中国银联股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中国银联股份有限公司 filed Critical 中国银联股份有限公司
Publication of WO2019015461A1 publication Critical patent/WO2019015461A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4016—Transaction verification involving fraud or risk level assessment in transaction processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Definitions

  • the present invention relates to computer technology, and more particularly to a transaction risk identification method and system based on migration deep learning.
  • the present invention aims to provide a transaction risk identification method and system based on migration-based deep learning, which can alleviate the complexity of artificially selected features and can better identify new fraudulent means.
  • each transaction is mapped into a vector, and the vector set is used as the visible layer input of the first RBM to thereby establish a layer of RBM, wherein each RBM has a visible layer and a hidden layer;
  • the first determining step determines whether the predetermined condition is satisfied according to the result of the BP tuning step. If the determination result satisfies the specified condition, the RBM layer does not need to be added and the following second determining step is continued. If the determination result is that the specified condition is not met, Repeating the above RBM construction step and BP tuning step until the above specified conditions are met;
  • the second determining step determines whether the number of hidden layers is an odd number. If the number of hidden layers is odd, the RBM layer is stopped and the final model is generated. If the hidden layer number is an even number, the current hidden layer is deleted and the RBM construction is repeated. Step and BP tuning steps until the above specified conditions are met.
  • the new RBM layer is trained using the contrast divergence algorithm in the RBM construction step.
  • one layer of RBM is trained to perform BP tuning, and each BP tuning only adjusts parameters between the latest hidden layer and the next hidden layer and the nearest hidden layer. .
  • the BP tuning step comprises the following sub-steps:
  • the RBM layer does not need to be added and the second determining step is continued, and if the determination result is the reconstruction error e R In the case of ⁇ , the above RBM construction step and the above BP tuning step are repeated until the reconstruction error e R ⁇ ⁇ of the broken RBM is satisfied.
  • the number of training samples is N
  • the characteristic dimension of the visible layer is n v for each sample
  • the prescribed pre-processing comprises one of normalizing a variable, one-hot encoding, and a continuous value WOE transform.
  • each transaction is mapped into a vector, and the vector set is used as the visible layer input of the first RBM to thereby establish a layer of RBM, wherein each RBM has a visible layer and a hidden layer;
  • the BP tuning module performs migration learning on the RBM layer established by the RBM construction step by using the known fraud sample for migration learning;
  • the first judging module judges whether the predetermined condition is satisfied according to the result of the BP tuning module, and if the judgment result is that the predetermined condition is met, the RBM layer does not need to be added and the action performed by the second judging module is continued, and if the judgment result is not satisfied
  • the predetermined conditions are repeated, and the operations performed by the RBM building block and the BP tuning module are repeated until the predetermined conditions are met;
  • the second judging module determines whether the number of hidden layers is an odd number. If the number of hidden layers is odd, the RBM layer is stopped and the final model is generated. If the number of hidden layers is even, the current hidden layer is deleted and the RBM construction is repeated. The actions performed by the module and the BP tuning module until the above specified conditions are met.
  • the RBM construction module trains the newly added RBM layer by using a contrast divergence algorithm.
  • the BP tuning module performs a BP tuning by training one layer of RBM, and each BP tuning only adjusts parameters between the latest hidden layer and the next hidden layer and the nearest hidden layer.
  • the BP tuning module utilizes known fraud samples for migration learning, and BP training the current error to optimize network parameters each time a layer of RBM is trained.
  • the first determining module does not need to increase the RBM layer and continues the action performed by the second determining module when determining the reconfiguration error e R ⁇ RB of the RBM, and if the result of the determination is the reconstruction error e R In the case of ⁇ , the operations performed by the above-described RBM construction module and the above-described BP tuning module are repeated until the reconstruction error e R ⁇ ⁇ of the broken RBM is satisfied.
  • the number of training samples is N
  • the feature dimension of the visible layer is n v , for each sample
  • the probability transfer formula as well as Obtaining a visible layer sample v io reconstructed through the hidden layer, whereby the reconstruction error can be expressed as
  • the specified pre-processing performed by the RBM construction module includes one of normalizing variables, one-hot coding, and WOE transformation of continuous values.
  • the present invention also provides a computer readable medium having stored thereon a computer program, characterized in that the computer program is executed by a processor to implement the steps of the above-described migration depth learning based transaction risk identification method of the present invention.
  • the present invention also provides a computer device comprising a memory, a processor, and a computer program stored on the memory and operable on the processor, wherein the processor executes the computer program to implement the above-described invention based on Steps to migrate the transaction risk identification method for deep learning.
  • the transaction risk identification method based on the migration deep learning and the risk identification system according to the present invention can better cope with the emerging unknown fraud means and can establish a more accurate discrimination.
  • FIG. 1 is a flow chart of main steps of a transaction risk identification method based on migration depth learning according to the present invention.
  • Figure 2 is a schematic diagram showing layer-by-layer dimensionality reduction.
  • Figure 3 shows a schematic diagram of a constructed layer RBM layer.
  • FIG. 4 is a flow chart showing an embodiment of a migration risk learning method based on migration depth learning according to the present invention.
  • Fig. 5 is a view showing the construction of a transaction risk identification system based on migration depth learning of the present invention.
  • RBM is a randomly generated neural network that can learn the probability distribution through input data sets.
  • RBM is a variant of a Boltzmann machine, but the qualification model must be a bipartite graph.
  • the model contains visible units (hereinafter also referred to as visible layers) corresponding to the input parameters and hidden units (hereinafter also referred to as hidden layers) corresponding to the training results, and each edge must be connected to a visible unit and a hidden unit.
  • the BP algorithm is a learning algorithm suitable for multi-layer neural networks under the guidance of a mentor. It is built on a gradient.
  • the backpropagation algorithm is mainly iteratively looped by two links (excitation propagation, weight update) until the response of the network to the input reaches a predetermined target range.
  • the Gibbs sampling method refers to an algorithm used to obtain a series of observation samples that are approximately equal to a specified multi-dimensional probability distribution (such as a joint probability distribution of two or more random variables) in the Markov chain Monte Carlo theory (MCMC).
  • MCMC Markov chain Monte Carlo theory
  • FIG. 1 is a flow chart of main steps of a transaction risk identification method based on migration depth learning according to the present invention.
  • RBM construction step S100 After pre-processing all possible features, each transaction is mapped into a vector, and the vector set is input as the visible layer of the first RBM, thereby establishing a layer of RBM, wherein each RBM Has a visible layer and a hidden layer;
  • BP tuning step S200 performing migration learning using the known fraud samples, performing migration weighted BP tuning on the RBM layer established by the RBM construction step;
  • a first determining step S300 (hereinafter also referred to as "reconstruction error determining step"): determining whether the reconstruction error satisfies a predetermined condition according to the result of the BP tuning step, and if the determination result is that the predetermined condition is satisfied, it is not necessary to increase the RBM layer and Continuing the following second determining step, if the result of the determination is that the predetermined condition is not satisfied, repeating the RBM constructing step and the BP tuning step until the predetermined condition is satisfied;
  • a second determining step (hereinafter also referred to as "hidden layer number determining step") S400: determining whether the number of hidden layers is odd, and if the number of hidden layers is odd, stopping constructing the RBM layer and generating a final model, if the hidden layer The number of layers is even, otherwise the current hidden layer is deleted and the above RBM construction step and BP tuning step are repeated until the above specified conditions are satisfied.
  • the features need to be preprocessed to some extent.
  • These features are generally not used in the original supervised classification model. Otherwise, it will not only greatly increase the training difficulty of the model, but also affect the accuracy of the model. However, features that appear to be unrelated to the outcome are likely to affect the final result to a certain extent, while features that were previously considered useful may be misleading, at least in part.
  • all possible features are pre-processed, such as normalization of variables, one-hot coding, WOE transformation of continuous values, etc., whereby each transaction will be Mapped to a vector, the vector set is entered as the visible layer of the first RBM.
  • RBM multi-layer constrained Boltzmann machine
  • the method for deriving an RBM structure is as follows:
  • the parameters of the RBM include ⁇ W, a, b ⁇ , where W is the weight of the edge between the visible and hidden units, and a and b are the offsets of the visible and hidden units, respectively.
  • W is the weight of the edge between the visible and hidden units
  • a and b are the offsets of the visible and hidden units, respectively.
  • the appearance of this energy and the visible layer are related to the value of each node of the hidden layer, then the probability of occurrence of this energy is the joint probability density of V and H:
  • the Contrasive Divergence (CD) algorithm is used to calculate the parameter set ⁇ W, a, b ⁇ to maximize p(V, H).
  • the CD algorithm uses Gibbs sampling to achieve a gradual approximation, rather than pursuing convergence, so the training speed is very fast.
  • We want to get the samples under the P(v) distribution, and we have the training samples, we can think that the training samples are obeying P(v). Therefore, it is not necessary to start gibbs sampling from a random state, and from the training sample, the weight update is performed after k times Gibbs sampling (in practice, k 1 is often sufficient).
  • the state of the first visible unit is initialized to any one of the training samples V 0 , and the probability that the binary state of any jth (j ⁇ 1, 2...n h ⁇ ) hidden layer unit is 1 is calculated by the following formula. :
  • the training is completed for one round, and the optimization stops when the specified number of rounds or the weight is basically unchanged.
  • the optimal solution RBM weight matrix After obtaining the optimal solution RBM weight matrix, a joint distribution between the visible layer and the hidden layer is established.
  • the hidden layer output of the lower layer RBM is then used as the input of the visible layer of the upper layer RBM, and the upper layer RBM is again trained separately.
  • the multi-layered RBMs are stacked as a whole multi-layered RBM network.
  • the BP tuning step S200 must be performed.
  • the BP tuning step S200 the RBM layer established by the RBM construction step is BP-tuned by using the known fraud samples for migration learning, wherein a BP optimization is performed by training one layer of RBM, and each BP tuning is performed only.
  • Parameter tuning between the nearest hidden layer and the next hidden layer and the nearest hidden layer is as follows.
  • bank card swiping transactions include multiple types of fraud such as fake cards, stolen brushes, and cash.
  • financial institutions do not have enough samples of fraudulent labels for all types of fraud. For example, of the 100,000 fraudulent transactions recorded by a company, there may be 90,000 of which are cash fraud, and all other frauds corresponding to fraud. There are only 10,000 samples in total. What's more, there is no corresponding sample of fraud for the new types of fraud, and traditional methods are difficult to deal with.
  • the present invention takes advantage of this by combining these underlying features to form a more abstract high-level representation (attribute class or feature) to discover a distributed feature representation of the data. Therefore, the current training set can be model retrained using the lower layers of the previously trained multi-layered RBM network corresponding to some kind of fraud detection. For data with relatively few fraudulent tag data, it can also be combined with other types of fraudulent tag data as auxiliary data for training.
  • a batch of target fraud label data S A is selected : And the same number of target normal samples T A extracted according to a certain rule, the data S B of the auxiliary fraud label data: And the same number of auxiliary normal samples T B extracted according to certain rules.
  • the whole of S A , T A , S B , and T B are used as training samples as supervised tuning samples.
  • n is the number of nodes of the output layer
  • d j is the expected output of the j node
  • y j is the calculated output of the j node.
  • the output layer has 2 nodes
  • the value of node 0 represents the probability of non-fraud of the sample
  • the value of node 1 represents the probability that the sample is fraudulent.
  • the expected output of the 0th node is 1 and the expected output of the first node is 0.
  • the expected output of the 0th node is 0 and the expected output of the first node is 1.
  • the final network output determines that the test sample is fraudulent if the value of node 1 is greater than the value of node 0, and vice versa.
  • ⁇ p is the local error weight of the sample.
  • all sample weights in S A and T A are uniformly initialized to 1/n A
  • all sample weights in S B and T B are uniformly initialized to 1/n B .
  • the scenario that needs to use the migration algorithm is mainly because the target data lacks the label sample, so the auxiliary data will be larger than the target data, and the weight of the auxiliary data will be less important than the weight of the target data, which is in line with our expectation. .
  • the weighting between the hidden layer and the output layer and the threshold of the output layer are now adjusted according to the gradient descent algorithm so that the error is minimized.
  • the output value y j of the node j can be realized by the output values of all nodes in the upper layer, the weights of all nodes of the current node and the upper layer, the threshold of the current node, and the activation function: among them,
  • the parameters can be adjusted according to the gradient descent algorithm as follows:
  • ⁇ is less than 1, In this way, if an auxiliary sample is misclassified, we think that the sample is very different for the current data. We reduce the weight of this data and reduce the proportion of the error of this sample. That is to say, since this sample does not conform to the current data distribution, its error size is not important.
  • ⁇ t is generally less than 0.5.
  • ⁇ t is set to 0.5. In this way, ⁇ t is greater than 1,
  • the present invention proposes the following method for optimizing the network structure according to the principle of ensuring that feature information is retained as much as possible when mapping feature vectors to different feature spaces:
  • PCA Principal Component Analysis
  • Figure 2 is a schematic diagram showing layer-by-layer dimensionality reduction.
  • the division is performed in accordance with the ratio of p i :(1 - p i ).
  • the layer RBM network training is performed.
  • the loss function Since it is difficult to directly calculate the loss function, it is generally used to judge the quality of a specific layer of RBM network. Let the number of training samples be N and the visible layer feature dimension be n v . For each sample After a Gibbs sampling using the distribution of RBM, according to the probability transfer formula as well as Get the visible layer sample v io reconstructed through the hidden layer.
  • Nn v is divided to facilitate uniform measurement.
  • a reconstruction error threshold ⁇ is set, and if the reconstruction error e R > ⁇ , a layer of RBM is added (reconstruction error judging step).
  • the new RBM layer the number of nodes of the RBM in the previous layer and the number b of PCA nodes are divided again by the upper and lower bottoms, and the second layer RBM is taken as an example.
  • each layer p i is stepwise selected in the range [1 s , 1 e ] according to the practical debugging experience, and the corresponding p i with the smallest reconstruction error is selected.
  • RBM1, RBM2, and RBM3 are constructed.
  • the migration risk learning method based on the migration deep learning of the present invention generally includes the following main contents: constructing a layer of RBM; using known samples for migration learning to adjust the layer network parameters; determining whether it is necessary to increase the RBM.
  • the number of layers that is, if the reconstruction error e R > ⁇ , then add a layer of RBM network on the RBM network with the parameter update, then re-superimpose a layer of BP, and use the updated sample of the weight to the newly added RBM network.
  • Perform parameter tuning Iterate sequentially until the reconstruction error e R ⁇ ,, continue to add a layer of RBM if necessary and then migrate learning tuning until the condition is met.
  • FIG. 4 is a flow chart showing an embodiment of a migration risk learning method based on migration depth learning according to the present invention.
  • step S11 it is determined in step S11 whether or not there is a reference to the underlay RBM network. If not, step S12 is continued, and if so, step S16 is continued.
  • step S12 the initial feature dimension n a is set , and the initial feature n a is pre-divisionally reduced by the PCA.
  • step S13 the number of hidden layer nodes n hk is calculated with reference to the golden section ratio.
  • step S14 a layer of RBM layers is added. Unsupervised training is performed on the newly added RBM layer using the CD algorithm in step S15.
  • step S16 a layer of classifier output is added.
  • step S17 supervised training is performed using the weighted samples, and BP tuning is performed.
  • step S18 the error weight is updated based on the classification result.
  • step S19 the reconstruction error eR of the RBM network is calculated.
  • step S20 It is judged in step S20 whether or not the error e R ⁇ ⁇ is reconstructed, and if so, the process proceeds to step S21, and if otherwise, the process proceeds to step S23. It is determined in step S21 whether or not the number of layers of the RBM is an odd layer, and if so, the process proceeds to step S22, and if not, the process returns to step S23. The final model is generated in step S22. In step S23, the current output layer is removed and the above-described step S14 is continued.
  • the migration risk learning method based on the migration deep learning according to the present invention can bring about the following technical effects:
  • the pre-RBM network adopts unsupervised mapping, which can learn the data distribution characteristics from a large number of unlabeled samples, and can better represent the transaction data in reality, avoiding the negative impact caused by artificially reducing the data imbalance, thus establishing a more accurate discrimination. model;
  • the BP layer is used for parameter tuning. If the desired effect is not achieved after optimization, the BP layer is removed and the RBM network is continuously superimposed. Since each BP layer only aligns the parameters between the nearest hidden layer and the BP layer and the next hidden layer and the nearest hidden layer, this can avoid the gradient dispersion problem in the multilayer error back propagation process;
  • a set of optimization algorithms for determining the number of hidden layers and the number of hidden layer nodes in each layer is implemented.
  • the method can guide the structure of the deep network in a guiding manner, reduce the time loss and instability caused by the blind attempt to adjust the network parameters, and achieve good feature extraction effect while ensuring information integrity.
  • the above describes the transaction risk identification method based on the migration deep learning of the present invention.
  • the following describes the transaction risk identification system based on the migration deep learning of the present invention.
  • Fig. 5 is a configuration diagram showing a transaction risk recognition system based on migration depth learning of the present invention.
  • the migration depth learning-based transaction risk identification system of the present invention is provided with: an RBM construction module 100, which performs predetermined preprocessing on all possible features, and each transaction is mapped into a vector, and the vector set is used as a vector set.
  • the visible layer input of the first RBM thereby establishing a layer of RBM, wherein each RBM has a visible layer and a hidden layer; the BP tuning module 200 performs migration learning using known fraud samples to establish the RBM construction steps
  • the RBM layer performs BP tuning; the first determining module 300 determines whether the predetermined condition is met according to the result of the BP tuning module, and if the determination result satisfies the specified condition, the RBM layer does not need to be added and the following second determining module is executed. If the result of the determination is that the predetermined condition is not satisfied, the operations performed by the RBM construction module and the BP tuning module are repeated until the predetermined condition is satisfied; and the second determination module 400 determines whether to hide the number of layers.
  • the RBM construction module 100 uses the contrast divergence algorithm to train the newly added RBM layer, and the specified pre-processing performed by the RBM construction module 100 includes: normalizing the variables, one-hot coding, and continuous values. One of the WOE transforms.
  • the BP tuning module 200 performs a BP tuning by training one layer of the RBM, and each BP tuning only adjusts parameters between the latest hidden layer and the next hidden layer and the nearest hidden layer, and The BP tuning module 200 performs migration learning using known fraud samples, and BP training the current error to optimize network parameters each time a layer of RBM is trained.
  • the RBM layer does not need to be added and the action performed by the second determining module is continued, and if the determination result is the reconstruction error e R In the case of ⁇ , the actions performed by the RBM construction module 100 and the BP modulation module 200 are repeated until the reconstruction error e R ⁇ is satisfied, wherein the number of training samples is N, and the feature dimension of the visible layer is n v , Each sample After a Gibbs sampling using the distribution of RBM, according to the probability transfer formula as well as Obtaining a visible layer sample v io reconstructed through the hidden layer, whereby the reconstruction error can be expressed as
  • the present invention provides a computer readable medium having stored thereon a computer program that, when executed by a processor, implements the steps of the above-described migration depth learning based transaction risk identification method of the present invention.
  • the present invention provides a computer device comprising a memory, a processor, and a computer program stored on the memory and operable on the processor, the processor executing the computer program to implement the migration depth of the present invention described above The steps of learning the transaction risk identification method.
  • the computer readable medium there are a magnetic recording device, an optical disk, a magneto-optical recording medium, a semiconductor memory, and the like.
  • the magnetic recording device there are HDD, FD, magnetic tape, and the like.
  • the optical disc there are a DVD (Digital Versatile Disc), a DVD-RAM, a CD-ROM, a CD-R (Recordable), a RW (ReWritable), and the like.
  • the magneto-optical recording device there is an MO (Magneto Optical Disk) or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computer Security & Cryptography (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)
  • Feedback Control In General (AREA)
  • Computer And Data Communications (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及基于迁移深度学习的交易风险识别方法以及系统。该方法包括：对所有可能特征经过规定预处理生成向量，将向量集作为第一RBM(即受限玻尔兹曼机)的可见层输入而由此建立一层RBM；利用已知欺诈样本进行迁移学习对所述RBM构建步骤建立的RBM层进行迁移加权BP调优；以及判断BP调优后的RBM是否满足规定条件，若满足则不需要增加RBM层并继续下述步骤，若不满足规定条件，则重复进行RBM构建和迁移加权BP调优。根据本发明能够建立更准确的判别模型并且更好地应对新兴的欺诈手段。

Description

一种基于迁移深度学习的风险识别方法以及系统 技术领域
本发明涉及计算机技术，更具体地涉及一种基于迁移深度学习的交易风险识别方法以及系统。
背景技术
在利用机器学习进行欺诈风险识别的环节中，目前一般采用有监督的分类算法训练侦测模型。传统的分类学习算法需要预先进行特征选择和计算。而这些用于训练模型的特征很大一部分(尤其是那些经过统计得出的特征)都是根据历史欺诈数据集中总结出的规律推演出来的，这需要大量的经验积累，并且难免疏漏。
同时，在利用历史交易数据进行欺诈风险识别模型训练的时候，存在着严重的数据不平衡性，即带有欺诈标签的样本数量远远小于非欺诈样本的数量。人们总是尝试使用多种算法和技巧来减少数据不平衡性带来的影响，总体的思想无非大多是基于欠采样(大大减少使用的非欺诈交易样本数量)和过采样(人为地扩展欺诈交易样本的数量)。这些方法总是无法避免地破坏了现实中交易数据的分布特性，这种样本失真问题会影响最终模型在现实应用中的效果。
另一方面，随着信用卡支付和移动支付的普及，欺诈手段也变得五花八门。先前的一些欺诈特征可能并不适用于当前形势，而另一部分更符合当前形势的欺诈特征却还未被发现。这在一定程度上影响了风险识别的准确率，尤其是对未知欺诈手段的交易风险识别能力较差。
可以看到在现有技术中存在以下这些弱点：
人工选取特征的不准确性；
为缓解数据不平衡性带来的样本失真；
对缺乏欺诈样本的未知欺诈类型难以识别。
发明内容
鉴于所述问题，本发明旨在提供一种能够缓解人为选取特征的复杂性并能够更好识别新型欺诈手段的基于基于迁移深度学习的交易风险识别方法以及系统。
本发明的基于迁移深度学习的交易风险识别方法，其特征在于，具备下述步骤：
RBM构建步骤，对所有可能特征经过规定预处理，每一笔交易就会被映射成为一个向量，将向量集作为第一RBM的可见层输入而由此建立一层RBM，其中，每一个RBM具有一个可见层和一个隐藏层；
BP调优步骤，利用已知欺诈样本进行迁移学习对所述RBM构建步骤建立的RBM层进行迁移加权BP调优；
第一判断步骤，根据上述BP调优步骤的结果判断是否满足规定条件，若判断结果为满足规定条件则不需要增加RBM层并继续下述第二判断步骤，若判断结果为不满足规定条件，则重复进行上述RBM构建步骤和BP调优步骤直到满足上述规定条件为止；以及
第二判断步骤，判断是否隐藏层层数为奇数，若隐藏层层数为奇数，则停止构建RBM层并生成最终模型，若隐藏层层数为偶数否则删除当前隐藏层并重复进行上述RBM构建步骤和BP调优步骤直到满足上述规定条件为止。
优选地，在所述RBM构建步骤中利用对比散度算法对新增的RBM层进行训练。
优选地，在所述BP调优步骤中，训练一层RBM就进行一次BP调优，每次BP调优仅对最近一层隐藏层以及次近隐藏层和最近隐藏层之间的参数调优。
优选地，所述BP调优步骤包括下述子步骤：
利用已知欺诈样本进行迁移学习；
每当训练完一层RBM之后，对当前误差进行BP调优以此来优化网络参数。
优选地，在所述第一判断步骤中，当判断RBM的重构误差e R＜ξ 的情况下则不需要增加RBM层并继续所述第二判断步骤，若判断结果为重构误差e R＞ξ的情况下则重复进行上述RBM构建步骤和上述BP调优步骤直到满足断RBM的重构误差e R＜ξ为止。
优选地，设训练样本个数为N，可见层的特征维度为n v，对于每个样本
Figure PCTCN2018093413-appb-000001
使用RBM的分布进行一次Gibbs采样后，根据概率转移公式
Figure PCTCN2018093413-appb-000002
以及
Figure PCTCN2018093413-appb-000003
得到经过隐藏层重构的可见层采样v io，由此，所述重构误差可以表示为
Figure PCTCN2018093413-appb-000004
优选地，所述规定预处理包括：对变量进行归一化、one-hot编码、连续值的WOE变换中的一种。
本发明的基于迁移深度学习的交易风险识别系统，其特征在于，具备：
RBM构建模块，对所有可能特征经过规定预处理，每一笔交易就会被映射成为一个向量，将向量集作为第一RBM的可见层输入而由此建立一层RBM，其中，每一个RBM具有一个可见层和一个隐藏层；
BP调优模块，利用已知欺诈样本进行迁移学习对所述RBM构建步骤建立的RBM层进行BP调优；
第一判断模块，根据上述BP调优模块的结果判断是否满足规定条件，若判断结果为满足规定条件则不需要增加RBM层并继续下述第二判断模块执行的动作，若判断结果为不满足规定条件，则重复进行由上述RBM构建模块和上述BP调优模块执行的动作，直到满足上述规定条件为止；以及
第二判断模块，判断是否隐藏层层数为奇数，若隐藏层层数为奇数，则停止构建RBM层并生成最终模型，若隐藏层层数为偶数否则删除当前隐藏层并重复进行上述RBM构建模块和BP调优模块执行的动作，直到满足上述规定条件为止。
优选地，所述RBM构建模块利用对比散度算法对新增的RBM层进行训练。
优选地，所述BP调优模块训练一层RBM就进行一次BP调优，每次BP调优仅对最近一层隐藏层以及次近隐藏层和最近隐藏层之间 的参数调优。
优选地，所述BP调优模块利用已知欺诈样本进行迁移学习，并且，每当训练完一层RBM之后，对当前误差进行BP调优以此来优化网络参数。
优选地，所述第一判断模块当判断RBM的重构误差e R＜ξ的情况下则不需要增加RBM层并继续所述第二判断模块执行的动作，若判断结果为重构误差e R＞ξ的情况下则重复进行上述RBM构建模块和上述BP调优模块执行的动作直到满足断RBM的重构误差e R＜ξ为止。优选地，所述第一判断模块中，设训练样本个数为N，可见层的特征维度为n v，对于每个样本
Figure PCTCN2018093413-appb-000005
使用RBM的分布进行一次Gibbs采样后，根据概率转移公式
Figure PCTCN2018093413-appb-000006
以及
Figure PCTCN2018093413-appb-000007
得到经过隐藏层重构的可见层采样v io，由此，所述重构误差可以表示为
Figure PCTCN2018093413-appb-000008
优选地，所述RBM构建模块进行的规定预处理包括：对变量进行归一化、one-hot编码、连续值的WOE变换中的一种。
本发明还提供一种计算机可读介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现上述本发明的基于迁移深度学习的交易风险识别方法的步骤。
本发明还提供一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述本发明的基于迁移深度学习的交易风险识别方法的步骤。
根据本发明的基于迁移深度学习的交易风险识别方法以及风险识别系统，能够更好地应对新兴的未知欺诈手段，能够建立更准确的判别。
附图说明
图1是本发明的基于基于迁移深度学习的交易风险识别方法的主要步骤流程图。
图2是表示逐层降维的示意图。
图3表示了构建的层RBM层的示意图。
图4是表示本发明的基于迁移深度学习的交易风险识别方法的一个实施方式的流程示意图。
图5是表示本发明的基于迁移深度学习的交易风险识别系统的构 造图。
具体实施方式
下面介绍的是本发明的多个实施例中的一些，旨在提供对本发明的基本了解。并不旨在确认本发明的关键或决定性的要素或限定所要保护的范围。
首先，对于在本发明中将要提及的几个概念进行说明。
(1)受限玻尔兹曼机(Restricted Boltzmann Machine，RBM)
RBM是一种可通过输入数据集学习概率分布的随机生成神经网络。RBM是一种玻尔兹曼机的变体，但限定模型必须为二分图。模型中包含对应输入参数的可见单元(以下也称为可见层)和对应训练结果的隐藏单元(以下也称为隐藏层)，每条边必须连接一个可见单元和一个隐单元。
(2)BP算法(即误差反向传播算法)
BP算法是在有导师指导下，适合于多层神经元网络的一种学习算法，它建立在梯度下。反向传播算法主要由两个环节(激励传播、权重更新)反复循环迭代，直到网络的对输入的响应达到预定的目标范围为止。
(3)Gibbs采样
Gibbs采样方法是指，马尔可夫链蒙特卡尔理论(MCMC)中用来获取一系列近似等于指定多维概率分布(比如2个或者多个随即变量的联合概率分布)观察样本的算法。
图1是本发明的基于基于迁移深度学习的交易风险识别方法的主要步骤流程图。
RBM构建步骤S100：对所有可能特征经过规定预处理，每一笔交易就会被映射成为一个向量，将向量集作为第一RBM的可见层输入而由此建立一层RBM，其中，每一个RBM具有一个可见层和一个隐藏层；
BP调优步骤S200：利用已知欺诈样本进行迁移学习对所述RBM构建步骤建立的RBM层进行迁移加权BP调优；
第一判断步骤S300(以下也称为“重构误差判断步骤”)：根据上述BP调优步骤的结果判断重构误差是否满足规定条件，若判断结果为满足规定条件则不需要增加RBM层并继续下述第二判断步骤，若判断结果为不满足规定条件，则重复进行上述RBM构建步骤和BP调优步骤直到满足上述规定条件为止；以及
第二判断步骤(以下也称为“隐藏层层数判断步骤”)S400：判断是否隐藏层层数为奇数，若隐藏层层数为奇数，则停止构建RBM层并生成最终模型，若隐藏层层数为偶数否则删除当前隐藏层并重复进行上述RBM构建步骤和BP调优步骤直到满足上述规定条件为止。
以下，分别对于RBM构建步骤S100～第二判断步骤S400进行详细说明。
首先，对于RBM构建步骤进行说明。
为了进行风险识别，在选择交易特征的时候，需要对特征进行一定程度上的预处理。首先我们可以根据先前的经验，将一些较为重要的特征经过各种变换之后作为备选特征。而对于那些在交易信息中体现但是看似可有可无的一些特征，我们在这里仍然将其加入备选特征中来。这些特征在原先的有监督分类模型中一般是不予采用的，否则不仅会大大增大模型的训练难度，而且很有可能影响模型的准确性。然而，那些看似对结果无关的特征很有可能在一定程度上也会影响最终结果，而那些先前认为有用的特征却可能起到误导作用，至少有部分是冗余特征。
在本发明中，将所有可能特征进行规定预处理，这些规定预处理包括：例如对变量进行归一化、one-hot编码、连续值的WOE变换等等，由此，每一笔交易就会被映射为一个向量，将向量集作为第一个RBM的可见层输入。
我们首先采用多层受限玻尔兹曼机(RBM)进行模型预训练。每一个RBM具有一个可见层，一个隐藏层，层内无连接，层与层之间全连接。
推导一个RBM结构的方法如下：
首先，定义可见变量V和隐藏变量H的联合配置(joint configuration)的能量为：
E(V，H)＝-∑ ijW ijv ih j-∑ ib iv i-∑ ja jh j，
RBM的参数包括{W，a，b}，W为可见单元和隐藏单元之间的边的权重，a和b分别为可见单元和隐藏单元的偏置。这个能量的出现和可见层与隐藏层的每个节点的取值都有关系，那么这个能量的出现的概率就是V和H的联合概率密度：
Figure PCTCN2018093413-appb-000009
采用对比散度算法(Contrastive Divergence，CD)算法来计算参数集{W，a，b}使得p(V，H)最大化。
CD算法使用Gibbs采样达到逐渐逼近的目的，而并非追求收敛，因此训练速度非常快。我们希望得到P(v)分布下的样本，而我们有训练样本，可以认为训练样本就是服从P(v)的。因此，就不需要从随机的状态开始gibbs采样，而从训练样本开始，经过k次Gibbs采样(实际中k＝1往往就足够了)后进行权值更新。
所以，最开始可见单元的状态被初始化成任意一个训练样本V 0，并利用以下公式计算任意第j个(j∈{1，2…n h})隐藏层单元的二值状态为1的概率：
Figure PCTCN2018093413-appb-000010
下面开始一轮Gibbs采样：在所有隐藏单元状态确定了之后，根据下面公式来反向确定计算任意第i个(i∈{1，2…n v})可见层单元的二值状态为1的概率，进而得到可见层的一个重构：
Figure PCTCN2018093413-appb-000011
这时，在利用上面得到的结果再次对隐藏层进行重构：
Figure PCTCN2018093413-appb-000012
这样就完成了一轮Gibbs采样。经过一批训练样本训练RBM网络，每给定一个样本就更新权重：
W＝W+λ[p(h 1|v 1)v 1-p(h 2|v 2)v 2]
a＝λ(v 1-v 2)
b＝λ(h 1-h 2)，
对于整个训练集训练完毕算一轮，达到指定轮数或者权重基本不变时优化停止。得到最优解的RBM权值矩阵之后，建立一个可见层和隐藏层之间的联合分布。然后将下层的RBM的隐藏层输出作为上层RBM的可见层的输入，再次单独训练上层的RBM。
按此方法将多层RBM堆叠起来作为一个整体的多层RBM网络。然而，简单的堆叠会出现一些问题，所以必须进行BP调优步骤S200。
接着，就对于BP调优步骤进行具体说明。在BP调优步骤S200中，利用已知欺诈样本进行迁移学习对所述RBM构建步骤建立的RBM层进行BP调优，其中，训练一层RBM就进行一次BP调优，每次BP调优仅对最近一层隐藏层以及次近隐藏层和最近隐藏层之间的参数调优，具体情况如下。
对于交易风险来说，风险种类繁多，例如银行卡刷卡交易就存在伪卡、盗刷以及套现等多种欺诈。然而，金融机构并非对所有的欺诈类型都有足够多的欺诈标签样本，比如某企业拥有的10万条欺诈交易记录中，可能有9万条都是套现欺诈，而其他所有的欺诈对应的欺诈样本一共只有1万条。更为甚者，对于那些新出来的欺诈类型完全没有对应的欺诈样本，传统的手段很难应对这类问题。
不过，对于这些欺诈行为来说，它们在底层还是具有一定的相似性，例如无论对于盗刷还是套现，异常的金额波动或者异常的交易地 点等对于识别这些欺诈都是具有重要作用的。
本发明利用这一点，通过组合这些底层特征形成更加抽象的高层表示(属性类别或特征)，以发现数据的分布式特征表示。因此可以利用原先训练好的对应某种欺诈侦测的多层RBM网络的较低的几层来对当前训练集进行模型再训练。而对于那些欺诈标签数据相对较少的数据来说，也可以结合其他类别的欺诈标签数据作为辅助数据进行训练。
假设选定好一批包含目标欺诈标签数据S A：
Figure PCTCN2018093413-appb-000013
以及按一定规则抽取的相同数目的目标正常样本T A，辅助欺诈标签数据的数据S B：
Figure PCTCN2018093413-appb-000014
以及按一定规则抽取的相同数目的辅助正常样本T B。将S A、T A、S B、T B整体作为训练样本作为有监督调优样本。
每当训练完一层RBM网络之后，我们就可以对当前误差进行BP(反向传播)优化来优化网络参数。在其顶部增加一层临时BP层。利用一个样本p进行训练后，网络的整体误差函数如下：
Figure PCTCN2018093413-appb-000015
其中，n是输出层的节点数，d j是j节点的期望输出，y j是j节点的计算输出。对于二分类的欺诈来说，输出层具有2个节点，节点0的数值代表样本非欺诈的概率，节点1的数值代表样本是欺诈的概率。对于正常的样本，第0个节点的期望输出是1而第一个节点的期望输出是0。对于欺诈样本来说，第0个节点的期望输出是0而第一个节点的期望输出是1。最终网络输出的如果节点1的数值大于节点0的数值则判定该测试样本为欺诈，反之则为正常。
另外，θ p是该样本的局部误差权重。最开始的时候，对于S A和T A中的所有样本权重统一初始化为1/n A，而对于S B和T B中的所有样本权重统一初始化为1/n B。一般来说，需要使用迁移算法的场景主要是目标数据缺乏标签样本，所以辅助数据都会比目标数据要大，进而辅助数据的权重就会比目标数据的权重要小，这是符合我们的期望的。
现在根据梯度下降算法来调整隐藏层和输出层之间的权值和输出层的阀值，使得该误差尽量最小。
假设取sigmoid函数
Figure PCTCN2018093413-appb-000016
作为激活函数，则该函数的导数为f′(z)＝f(z)[1-f(z)]。
现在设节点i和节点j之间的权值为w ij，节点j的阀值为b j。那么，节点j的输出值y j可以由上层所有节点的输出值、当前节点与上一层所有节点的权值和当前节点的阀值还有激活函数来实现：
Figure PCTCN2018093413-appb-000017
其中，
Figure PCTCN2018093413-appb-000018
现在计算误差的偏导数：
Figure PCTCN2018093413-appb-000019
其中，其中
Figure PCTCN2018093413-appb-000020
是节点j的期望输出值，
Figure PCTCN2018093413-appb-000021
同理，可得
Figure PCTCN2018093413-appb-000022
对于每一轮样本的迭代，的根据梯度下降算法可以调整参数如下：
Figure PCTCN2018093413-appb-000023
Figure PCTCN2018093413-appb-000024
对于输入层和隐藏层之间的权值和隐藏层的阀值调整量来说，由于中间隐藏层并不直接与样本的输出类别打交道，而是由下一层所有m个节点的误差按权重累加得到的。假设w ki是输入层第k个节点和隐藏层第i个节点之间的权值。所以有
Figure PCTCN2018093413-appb-000025
Figure PCTCN2018093413-appb-000026
其中，
Figure PCTCN2018093413-appb-000027
同理可得
Figure PCTCN2018093413-appb-000028
根据梯度下降算法可以调整参数如下：
Figure PCTCN2018093413-appb-000029
这样，利用整体训练数据依照以上方法进行训练迭代直至达到终止条件之后，注意这里由于每训练一层RBM就进行一次BP调优，因此每次BP调优只对最近一层隐藏层和BP层以及次近隐藏层和最近隐藏层之间的参数调优。由此，也能在一定程度上避免了多层误差反向传播过程中的梯度弥散问题。
这时，如果下文提到的深层RBM网络的重构误差e R＞ξ，则将顶层的临时BP层移除，再增加一层RBM。注意，在每训练完一层RBM之后，还要对样本进行一次权值更新。
令
Figure PCTCN2018093413-appb-000030
其中t代表第几次更新样本权值，它正好等于当前RBM网络的层数减1。计算现在整个网络在目标数据上的整体错误率：
Figure PCTCN2018093413-appb-000031
其中
Figure PCTCN2018093413-appb-000032
是样本p在当前的权重，d pj是样本p在网络输出层第j个节点的期望输出值，y pj是实际输出值。再令β t＝∈ t/(1-∈ t)，那么可以设置更新的样本误差权重如下：
Figure PCTCN2018093413-appb-000033
可以发现对于错分的辅助样本来说，β小于1，
Figure PCTCN2018093413-appb-000034
这样一来，如果一个辅助样本被错误的分类了，我们认为这个样本对于当前数据是很不同的，我们就降低这个数据所占的权重，降低这个样本的误差所占的比重。也就是说，既然这个样本不符合当前的数据分布，那么它的误差大小并不重要。而对于错分的目标样本来说，∈ t一般小于0.5，当然为避免算法停止，如果迭代过程中发现整体误差很大(∈ t＞0.5)，则统一将∈ t设置为0.5。这样一来β t大于1，
Figure PCTCN2018093413-appb-000035
当一个目标样本被错误的分类之后，我们认为这个样本是很难分类的，因此可以加大这个样本的误差权重，即更加重视该样本的预测准确度。
极端情况来说，如果对于那些新出来的欺诈类型完全没有对应的欺诈样本，完全没有任何相关标注样本，那么利用以上方法边可以只使用带标签的辅助样本来训练模型，迭代过程中会不断减小被分错的辅助样本的误差权重，最后使得跟当前目标样本分布最接近的辅助数据占据主导作用，这样得到的模型便可用于对目标测试数据进行分类。
接着，对于多层RBM网络结构优化的情况进行说明并且同时对于重构误差判断步骤和隐藏层层数判断步骤进行说明。
一般认为，增加隐藏层数和节点数能够降低网络误差，但另一方面也会使网络复杂化，从而增加了网络的训练时间和出现“过拟合”的倾向。隐藏层的节点如果设置太多起不到很好的特征提取功能，而如果节点太少的话则可能致使重要信息丢失。因此每一层隐藏层的节点个数和RBM的层数的选择会影响整个模型的好坏。
对于隐藏层的节点个数的选择，目前的现技术中没有一个最优的标准。对于传统的包含输入层、隐藏层、输出层的3层神经网络中有一些经验公式可以作为结构优化的参考。然而，对于包含多层网络的深度置信网络来说，层数的不确定性是的我们无法直接使用相应的公式。对此，本发明根据确保特征向量映射到不同特征空间时尽可能多地保留特征信息的原则，提出了以下优化网络结构的方法：
假设每个样本的初始特征有n a维。首先，使用主成分分析法(PCA) 对初始特征进行预降维，处理后的维数为n p维，将n p作为深度RBM的最后一层的节点。这时，我们根据逐层降维的思想，进行隐藏层节点计算。
图2是表示逐层降维的示意图。
如图2所示，按照p i：(1-p i)的比例进行分割。计算可得，第1层隐藏层节点n h1＝n p+p 1*(n a-n p)。该层隐藏层节点确定之后，则进行该层RBM网络训练。
由于直接计算损失函数困难，因此评判具体一层RBM网络的好坏一般使用重构误差。设训练样本个数为N，可视层特征维度为n v。对于每个样本
Figure PCTCN2018093413-appb-000036
使用RBM的分布进行一次Gibbs采样后，根据概率转移公式
Figure PCTCN2018093413-appb-000037
以及
Figure PCTCN2018093413-appb-000038
得到经过隐藏层重构的可视层采样v io。
由此，重构误差可以表示为
Figure PCTCN2018093413-appb-000039
其中，除以Nn v是为了方便统一度量。
在本发明中，设定一个重构误差阈值ξ，若重构误差e R＞ξ，则增加一层RBM(重构误差判断步骤)。对于新的RBM层，以上一层RBM的结点个数和PCA结点个数b为上、下底再次进行分割，以第二层RBM为例，
n h2＝n p+p 2*(n h1-n p)＝n p+p 1p 2*(n a-n p)。
依次类推，可以计算得到第k层隐藏层的节点的通项公式：
Figure PCTCN2018093413-appb-000040
其中具体每一层p i的值根据实践调试经验在范围[1 s，1 e]内进行步进选择，选择重构误差最小的对应的p i。一般建议1 s＞0.5，步进大小step
≈0.1，这样在保证速度的同时又能实现良好的精确度。
最后，对于隐藏层层数判断步骤进行说明。根据大量的实验和经验，发明人发现隐藏层层数为奇数的网络性能在一定程度上明显优于隐藏层层数为偶数的网络。因此，倘若在重构误差判断步骤中某一层发现重构误差小于阈值，如果该层是奇数层隐藏层，则停止构建深层RBM，如果该层是偶数层隐藏层，还需删除该层隐藏层后作为预训练完成的深层RBM。这里图3表示了构建的层RBM层的示意图。
如图3所示，构建了RBM1、RBM2、RBM3三层。
如上所述，本发明的基于迁移深度学习的交易风险识别方法概括地包括下述主要内容：构建一层RBM；利用已知样本进行迁移学习调优这一层网络参数；判断是否还需要增加RBM层数，即若重构误差e R＞ξ，则在参数更新过的RBM网络之上增加一层RBM网络，然后重新叠加一层BP层，使用权值更新过的样本对新增的RBM网络进行参数调优。依次迭代，直至重构误差e R＜ξ为止，如果需要则继续增加一层RBM然后迁移学习调优直到满足条件为止。
图4是表示本发明的基于迁移深度学习的交易风险识别方法的一个实施方式的流程示意图。
如图4所示，在步骤S11判断是否有与参考底层RBM网络，若没有则继续步骤S12，若有则继续步骤S16。
在步骤S12，设置初始特征维度n a，利用PCA对初始特征n a进行预降维。在步骤S13中，参考黄金分割比例计算新增隐藏层节点个数n hk。在步骤S14中，新增一层RBM层。在步骤S15中使用CD算法对新增的RBM层进行无监督训练。在步骤S16中，新增一层分类器输出。在步骤S17中，使用带权重样本进行有监督训练，并且进行BP调优。在步骤S18中，根据分类结果更新误差权重。在步骤S19，计算RBM网络的重构误差eR。在步骤S20中判断是否重构误差e R＜ξ，若是则进入步骤S21，若否则进入步骤S23。在步骤S21中判断RBM的层数是否为奇数层，若是的话，则继续步骤S22，若否，则返回到步骤S23。在步骤S22中生成最终模型。在步骤S23中，移除当前输出层并且继续进行上述步骤S14。
如上所述，根据本发明的基于迁移深度学习的交易风险识别方法能够带来以下技术效果：
创造性地使用深度学习方法来自动学习金融交易数据的特征，不仅缓解了人为选取特征的复杂性，还能够更好地应对新兴的未知欺诈手段；
前期RBM网络采用无监督映射，可以从海量的无标签样本中学习数据分布特点，更能代表现实中交易数据，避免了人工降低数据不平衡性所带来的负面影响，从而建立更准确的判别模型；
在每一层RBM网络建立之后都使用BP层进行参数调优，优化后如果未达到期望效果则移除BP层后继续叠加RBM网络。由于每层BP层只针对最近一层隐藏层和BP层以及次近隐藏层和最近隐藏层之间的参数调优，这可以避免多层误差反向传播过程中的梯度弥散问题；
在BP参数调优的过程中，引入了人工智能领域样本迁移学习的思想，为每个样本对误差贡献的能力设定了权重。这样一来，对于那些欺诈标签数据相对较少的数据也可以结合其他类别的欺诈标签数据作为辅助数据进行训练，甚至对于那些新出来的完全没有对应的欺诈样本的欺诈类型的侦测模型也可以借助辅助数据进行训练了；
在设计深度网络的过程中实现了一套确定隐藏层层数和每层隐藏层节点个数的优化算法。该方法能够指导性的决定深度网络的结构，减少盲目尝试网络参数调节带来的时间损失及不稳定性，并且能在保证信息完备性的情况下实现良好的特征提取效果。
以上对于本发明的基于迁移深度学习的交易风险识别方法进行了说明，下面对于本发明的基于迁移深度学习的交易风险识别系统进行简单说明。
图5是表示本发明的基于迁移深度学习的交易风险识别系统的构造图。如图5所示，本发明的基于迁移深度学习的交易风险识别系统具备：RBM构建模块100，对所有可能特征经过规定预处理，每一笔交易就会被映射成为一个向量，将向量集作为第一RBM的可见层输入而由此建立一层RBM，其中，每一个RBM具有一个可见层和一个隐藏层；BP调优模块200，利用已知欺诈样本进行迁移学习对所述RBM构建步骤建立的RBM层进行BP调优；第一判断模块300，根据上述BP调优模块的结果判断是否满足规定条件，若判断结果为满足规定条件则不需要增加RBM层并继续下述第二判断模块执行的动作，若判断结果为不满足规定条件，则重复进行由上述RBM构建模块和上述BP调优模块执行的动作，直到满足上述规定条件为止；以及第二判断模块400，判断是否隐藏层层数为奇数，若隐藏层层数为奇数，则停止构建RBM层并生成最终模型，若隐藏层层数为偶数否则删除当前隐藏层并重复进行上述RBM构建模块和BP调优模块执行的动作，直到满足上述规定条件为止。
可选地，RBM构建模块100利用对比散度算法对新增的RBM层进行训练，并且述RBM构建模块100进行的规定预处理包括：对变量进行归一化、one-hot编码、连续值的WOE变换中的一种。
可选地，BP调优模块200训练一层RBM就进行一次BP调优，每次BP调优仅对最近一层隐藏层以及次近隐藏层和最近隐藏层之间的参数调优，而且，BP调优模块200利用已知欺诈样本进行迁移学习，并且，每当训练完一层RBM之后，对当前误差进行BP调优以此来优化网络参数。
可选地，当第一判断模块300判断RBM的重构误差e R＜ξ的情况 下则不需要增加RBM层并继续所述第二判断模块执行的动作，若判断结果为重构误差e R＞ξ的情况下则重复进行RBM构建模块100和BP调模块200执行的动作直到满足重构误差e R＜ξ，其中，设训练样本个数为N，可见层的特征维度为n v，对于每个样本
Figure PCTCN2018093413-appb-000041
使用RBM的分布进行一次Gibbs采样后，根据概率转移公式
Figure PCTCN2018093413-appb-000042
以及
Figure PCTCN2018093413-appb-000043
得到经过隐藏层重构的可见层采样v io，由此，所述重构误差可以表示为
Figure PCTCN2018093413-appb-000044
再者，本发明提供一种计算机可读介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述本发明的基于迁移深度学习的交易风险识别方法的步骤。
再者，本发明提供一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述本发明的基于迁移深度学习的交易风险识别方法的步骤。
作为计算机可读介质，存在磁性记录装置、光盘、光磁记录介质、半导体存储器等。对于磁性记录装置，存在HDD、FD、磁带等。对于光盘，存在DVD(Digital Versatile Disc，数字通用光盘)、DVD-RAM、CD-ROM、CD-R(Recordable，可记录)/RW(ReWritable，可重写)等。对于光磁记录装置，存在MO(Magneto Optical disk，磁光盘)等。
以上例子主要说明了本发明的基于基于迁移深度学习的交易风险识别方法以及系统。尽管只对其中一些本发明的具体实施方式进行了描述，但是本领域普通技术人员应当了解，本发明可以在不偏离其主旨与范围内以许多其他的形式实施。因此，所展示的例子与实施方式被视为示意性的而非限制性的，在不脱离如所附各权利要求所定义的本发明精神及范围的情况下，本发明可能涵盖各种的修改与替换。

Claims (16)

  1. 一种基于迁移深度学习的交易风险识别方法，其特征在于，具备下述步骤：
    RBM构建步骤，对所有可能特征经过规定预处理，每一笔交易就会被映射成为一个向量，将向量集作为第一RBM的可见层输入而由此建立一层RBM，其中，每一个RBM具有一个可见层和一个隐藏层；
    BP调优步骤，利用已知欺诈样本进行迁移学习对所述RBM构建步骤建立的RBM层进行迁移加权BP调优；以及
    第一判断步骤，根据上述BP调优步骤的结果判断是否满足规定条件，若判断结果为满足规定条件则不需要增加RBM层并继续下述第二判断步骤，若判断结果为不满足规定条件，则重复进行上述RBM构建步骤和BP调优步骤直到满足上述规定条件为止。
  2. 如权利要求1所述的基于迁移深度学习的交易风险识别方法，其特征在于，
    在所述第一判断步骤之后还具备：
    第二判断步骤，判断是否隐藏层层数为奇数，若隐藏层层数为奇数，则停止构建RBM层并生成最终模型，若隐藏层层数为偶数否则删除当前隐藏层并重复进行上述RBM构建步骤和BP调优步骤直到满足上述规定条件为止。
  3. 如权利要求1所述的基于迁移深度学习的交易风险识别方法，其特征在于，
    在所述RBM构建步骤中利用对比散度算法对新增的RBM层进行训练。
  4. 如权利要求1所述的基于迁移深度学习的交易风险识别方法，其特征在于，
    在所述BP调优步骤中，训练一层RBM就进行一次BP调优，每次BP调优仅对最近一层隐藏层以及次近隐藏层和最近隐藏层之间的 参数调优。
  5. 如权利要求1所述的基于迁移深度学习的交易风险识别方法，其特征在于，
    所述BP调优步骤包括下述子步骤：
    利用已知欺诈样本进行迁移学习；
    每当训练完一层RBM之后，对当前误差进行BP调优以此来优化网络参数。
  6. 如权利要求1所述的基于迁移深度学习的交易风险识别方法，其特征在于，
    在所述第一判断步骤中，当判断RBM的重构误差e R＜ξ的情况下则不需要增加RBM层并继续所述第二判断步骤，若判断结果为重构误差e R＞ξ的情况下则重复进行上述RBM构建步骤和上述BP调优步骤直到满足断RBM的重构误差e R＜ξ为止。
  7. 如权利要求5所述的基于迁移深度学习的交易风险识别方法，其特征在于，
    设训练样本个数为N，可见层的特征维度为n v，对于每个样本
    Figure PCTCN2018093413-appb-100001
    使用RBM的分布进行一次Gibbs采样后，根据概率转移公式
    Figure PCTCN2018093413-appb-100002
    以及
    Figure PCTCN2018093413-appb-100003
    得到经过隐藏层重构的可见层采样v io，由此，所述重构误差可以表示为
    Figure PCTCN2018093413-appb-100004
  8. 一种基于迁移深度学习的交易风险识别系统，其特征在于，具备：
    RBM构建模块，对所有可能特征经过规定预处理，每一笔交易就会被映射成为一个向量，将向量集作为第一RBM的可见层输入而由此建立一层RBM，其中，每一个RBM具有一个可见层和一个隐藏层；
    BP调优模块，利用已知欺诈样本进行迁移学习对所述RBM构建步骤建立的RBM层进行BP调优；以及
    第一判断模块，根据上述BP调优模块的结果判断是否满足规定条件，若判断结果为满足规定条件则不需要增加RBM层并继续下述第二判断模块执行的动作，若判断结果为不满足规定条件，则重复进 行由上述RBM构建模块和上述BP调优模块执行的动作，直到满足上述规定条件为止。
  9. 如权利要求8所述的基于迁移深度学习的交易风险识别系统，其特征在于，还具备：
    第二判断模块，判断是否隐藏层层数为奇数，若隐藏层层数为奇数，则停止构建RBM层并生成最终模型，若隐藏层层数为偶数否则删除当前隐藏层并重复进行上述RBM构建模块和BP调优模块执行的动作，直到满足上述规定条件为止。
  10. 如权利要求8所述的基于迁移深度学习的交易风险识别系统，其特征在于，
    所述RBM构建模块利用对比散度算法对新增的RBM层进行训练。
  11. 如权利要求8所述的基于迁移深度学习的交易风险识别系统，其特征在于，
    所述BP调优模块训练一层RBM就进行一次BP调优，每次BP调优仅对最近一层隐藏层以及次近隐藏层和最近隐藏层之间的参数调优。
  12. 如权利要求8所述的基于迁移深度学习的交易风险识别系统，其特征在于，
    所述BP调优模块利用已知欺诈样本进行迁移学习，并且，每当训练完一层RBM之后，对当前误差进行BP调优以此来优化网络参数。
  13. 如权利要求8所述的基于迁移深度学习的交易风险识别系统，其特征在于，
    所述第一判断模块当判断RBM的重构误差e R＜ξ的情况下则不需要增加RBM层并继续所述第二判断模块执行的动作，若判断结果为重构误差e R＞ξ的情况下则重复进行上述RBM构建模块和上述BP调优模块执行的动作直到满足断RBM的重构误差e R＜ξ为止。
  14. 如权利要求13所述的基于迁移深度学习的交易风险识别系统，其特征在于，
    所述第一判断模块中，设训练样本个数为N，可见层的特征维度 为n v，对于每个样序
    Figure PCTCN2018093413-appb-100005
    使用RBM的分布进行一次Gibbs采样后，根据概率转移公式
    Figure PCTCN2018093413-appb-100006
    以及
    Figure PCTCN2018093413-appb-100007
    得到经过隐藏层重构的可见层采样v io，由此，所述重构误差可以表示为
    Figure PCTCN2018093413-appb-100008
  15. 一种计算机可读介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1～7中任意一项所述方法的步骤。
  16. 一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1～7中任意一项所述方法的步骤。
PCT/CN2018/093413 2017-07-18 2018-06-28 一种基于迁移深度学习的风险识别方法以及系统 WO2019015461A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710584326.7 2017-07-18
CN201710584326.7A CN107679859B (zh) 2017-07-18 2017-07-18 一种基于迁移深度学习的风险识别方法以及系统

Publications (1)

Publication Number Publication Date
WO2019015461A1 true WO2019015461A1 (zh) 2019-01-24

Family

ID=61134123

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/093413 WO2019015461A1 (zh) 2017-07-18 2018-06-28 一种基于迁移深度学习的风险识别方法以及系统

Country Status (3)

Country Link
CN (1) CN107679859B (zh)
TW (1) TWI769271B (zh)
WO (1) WO2019015461A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110210625A (zh) * 2019-05-20 2019-09-06 平安科技（深圳）有限公司 基于迁移学习的建模方法、装置、计算机设备和存储介质
CN110414718A (zh) * 2019-07-04 2019-11-05 上海工程技术大学 一种深度学习下的配电网可靠性指标优化方法
CN110458572A (zh) * 2019-07-08 2019-11-15 阿里巴巴集团控股有限公司 用户风险的确定方法和目标风险识别模型的建立方法
CN112581250A (zh) * 2019-09-30 2021-03-30 深圳无域科技技术有限公司 模型生成方法、装置、计算机设备和存储介质
CN113256422A (zh) * 2021-06-09 2021-08-13 深圳华锐金融技术股份有限公司 分仓账户识别方法、装置、计算机设备和存储介质
CN114549001A (zh) * 2022-02-08 2022-05-27 支付宝(杭州)信息技术有限公司 训练风险交易识别模型、识别风险交易的方法和装置

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107679859B (zh) * 2017-07-18 2020-08-25 中国银联股份有限公司 一种基于迁移深度学习的风险识别方法以及系统
CN108492197A (zh) * 2018-03-15 2018-09-04 北京百度网讯科技有限公司 保险的出险预测方法、装置及服务器
CN108596630B (zh) * 2018-04-28 2022-03-01 招商银行股份有限公司 基于深度学习的欺诈交易识别方法、系统及存储介质
CN108629593B (zh) * 2018-04-28 2022-03-01 招商银行股份有限公司 基于深度学习的欺诈交易识别方法、系统及存储介质
CN108683658B (zh) * 2018-05-11 2020-11-03 上海交通大学 基于多rbm网络构建基准模型的工控网络流量异常识别方法
CN109165940B (zh) * 2018-06-28 2022-08-09 创新先进技术有限公司 一种防盗方法、装置及电子设备
CN109003089B (zh) * 2018-06-28 2022-06-10 中国工商银行股份有限公司 风险识别方法及装置
CN109359793B (zh) * 2018-08-03 2020-11-17 创新先进技术有限公司 一种针对新场景的预测模型训练方法及装置
CN108960833B (zh) * 2018-08-10 2022-03-11 哈尔滨工业大学（威海） 一种基于异构金融特征的异常交易识别方法，设备及存储介质
CN109102126B (zh) * 2018-08-30 2021-12-10 燕山大学 一种基于深度迁移学习的理论线损率预测模型
CN109242107B (zh) * 2018-09-11 2019-08-30 北京芯盾时代科技有限公司 基于迁移学习的反欺诈模型训练方法、系统和反欺诈方法
CN109272398B (zh) * 2018-09-11 2020-05-08 北京芯盾时代科技有限公司 一种操作请求处理系统
CN110895705B (zh) * 2018-09-13 2024-05-14 富士通株式会社 异常样本检测装置及其训练装置和训练方法
CN109684476B (zh) * 2018-12-07 2023-10-17 中科恒运股份有限公司 一种文本分类方法、文本分类装置及终端设备
US10956597B2 (en) 2019-05-23 2021-03-23 Advanced New Technologies Co., Ltd. Loss function value determination method and device and electronic equipment
CN110263294B (zh) * 2019-05-23 2020-08-04 阿里巴巴集团控股有限公司 损失函数取值的确定方法、装置和电子设备
CN110400082B (zh) * 2019-07-29 2022-12-13 中国工商银行股份有限公司 异常交易企业的识别方法和装置
TWI786346B (zh) * 2019-11-14 2022-12-11 財團法人資訊工業策進會 遷移式模型訓練系統以及方法
CN111582502B (zh) * 2020-05-12 2023-07-25 度小满科技(北京)有限公司 一种样本迁移学习方法和装置
CN115187266B (zh) * 2022-06-29 2023-08-25 山东大学 基于记忆力变分自编码模型的信用卡欺诈检测方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104035996A (zh) * 2014-06-11 2014-09-10 华东师范大学 基于Deep Learning的领域概念抽取方法
CN104408483A (zh) * 2014-12-08 2015-03-11 西安电子科技大学 基于深度神经网络的sar纹理图像分类方法
CN104809502A (zh) * 2015-05-19 2015-07-29 重庆大学 一种受限玻尔兹曼机隐含层节点动态调整方法
CN105224985A (zh) * 2015-09-28 2016-01-06 南京航空航天大学 一种基于深度重构模型的功率放大器行为建模方法
CN105335816A (zh) * 2015-10-13 2016-02-17 国网安徽省电力公司铜陵供电公司 基于深度学习的电力通信网运行趋势与业务风险分析方法
US9552548B1 (en) * 2016-07-01 2017-01-24 Intraspexion Inc. Using classified text and deep learning algorithms to identify risk and provide early warning
CN107679859A (zh) * 2017-07-18 2018-02-09 中国银联股份有限公司 一种基于迁移深度学习的风险识别方法以及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI448978B (zh) * 2011-06-24 2014-08-11 Univ Nat Taiwan Normal 異常辨識系統訓練方法
CN104679777B (zh) * 2013-12-02 2018-05-18 中国银联股份有限公司 一种用于检测欺诈交易的方法及系统
KR20160112186A (ko) * 2015-03-18 2016-09-28 삼성전자주식회사 뉴럴 네트워크에서 이벤트에 기반한 학습 방법 및 장치

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104035996A (zh) * 2014-06-11 2014-09-10 华东师范大学 基于Deep Learning的领域概念抽取方法
CN104408483A (zh) * 2014-12-08 2015-03-11 西安电子科技大学 基于深度神经网络的sar纹理图像分类方法
CN104809502A (zh) * 2015-05-19 2015-07-29 重庆大学 一种受限玻尔兹曼机隐含层节点动态调整方法
CN105224985A (zh) * 2015-09-28 2016-01-06 南京航空航天大学 一种基于深度重构模型的功率放大器行为建模方法
CN105335816A (zh) * 2015-10-13 2016-02-17 国网安徽省电力公司铜陵供电公司 基于深度学习的电力通信网运行趋势与业务风险分析方法
US9552548B1 (en) * 2016-07-01 2017-01-24 Intraspexion Inc. Using classified text and deep learning algorithms to identify risk and provide early warning
CN107679859A (zh) * 2017-07-18 2018-02-09 中国银联股份有限公司 一种基于迁移深度学习的风险识别方法以及系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110210625A (zh) * 2019-05-20 2019-09-06 平安科技（深圳）有限公司 基于迁移学习的建模方法、装置、计算机设备和存储介质
CN110210625B (zh) * 2019-05-20 2023-04-07 平安科技（深圳）有限公司 基于迁移学习的建模方法、装置、计算机设备和存储介质
CN110414718A (zh) * 2019-07-04 2019-11-05 上海工程技术大学 一种深度学习下的配电网可靠性指标优化方法
CN110458572A (zh) * 2019-07-08 2019-11-15 阿里巴巴集团控股有限公司 用户风险的确定方法和目标风险识别模型的建立方法
CN110458572B (zh) * 2019-07-08 2023-11-24 创新先进技术有限公司 用户风险的确定方法和目标风险识别模型的建立方法
CN112581250A (zh) * 2019-09-30 2021-03-30 深圳无域科技技术有限公司 模型生成方法、装置、计算机设备和存储介质
CN112581250B (zh) * 2019-09-30 2023-12-29 深圳无域科技技术有限公司 模型生成方法、装置、计算机设备和存储介质
CN113256422A (zh) * 2021-06-09 2021-08-13 深圳华锐金融技术股份有限公司 分仓账户识别方法、装置、计算机设备和存储介质
CN114549001A (zh) * 2022-02-08 2022-05-27 支付宝(杭州)信息技术有限公司 训练风险交易识别模型、识别风险交易的方法和装置

Also Published As

Publication number Publication date
CN107679859B (zh) 2020-08-25
TW201909090A (zh) 2019-03-01
TWI769271B (zh) 2022-07-01
CN107679859A (zh) 2018-02-09

Similar Documents

Publication Publication Date Title
TWI769271B (zh) 基於遷移深度學習的風險識別方法以及系統
TWI703503B (zh) 風險交易識別方法、裝置、伺服器及儲存媒體
AU2024200810A1 (en) Training tree-based machine-learning modeling algorithms for predicting outputs and generating explanatory data
Ince et al. A comparison of data mining techniques for credit scoring in banking: A managerial perspective
Lahsasna et al. Credit Scoring Models Using Soft Computing Methods: A Survey.
Ghodselahi et al. Application of artificial intelligence techniques for credit risk evaluation
CN107862602A (zh) 一种基于多维度指标计算、自学习及分群模型应用的授信决策方法与系统
CN111062806B (zh) 个人金融信用风险评价方法、系统和存储介质
Dara et al. Feature extraction in medical images by using deep learning approach
He et al. A novel dependency-oriented mixed-attribute data classification method
CN114240659A (zh) 一种基于动态图卷积神经网络的区块链异常节点识别方法
AU2019101160A4 (en) Application of decision tree and random forest in cash loan
Zhu et al. Loan default prediction based on convolutional neural network and LightGBM
CN112508684B (zh) 一种基于联合卷积神经网络的催收风险评级方法及系统
CN108446718B (zh) 一种动态深度置信网络分析方法
Jakka et al. Original Research Article A novel credit scoring system in financial institutions using artificial intelligence technology
CN115543762A (zh) 一种磁盘smart数据扩充方法、系统及电子设备
Latheef et al. LSTM Model to Predict Customer Churn in Banking Sector with SMOTE Data Preprocessing
Besenbruch Fraud detection using machine learning techniques
Chandok et al. Enhancing Bankruptcy Prediction with White Shark Optimizer and Deep Learning: A Hybrid Approach for Accurate Financial Risk Assessment.
Munsarif et al. Peer to peer lending risk analysis based on embedded technique and stacking ensemble learning
Dalsania et al. Credit Card Approval Prediction using Classification Algorithms
CN113706285A (zh) 一种信用卡欺诈检测方法
Zhu et al. A novel cost-sensitive capsule network for audit fraud detection
Kazemi et al. Estimation of optimum thresholds for binary classification using genetic algorithm: An application to solve a credit scoring problem

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18834830

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18834830

Country of ref document: EP

Kind code of ref document: A1