WO2022057108A1 - 基于联邦学习的个人资质评估方法、装置及系统及存储介质 - Google Patents

基于联邦学习的个人资质评估方法、装置及系统及存储介质 Download PDF

Info

Publication number
WO2022057108A1
WO2022057108A1 PCT/CN2020/135276 CN2020135276W WO2022057108A1 WO 2022057108 A1 WO2022057108 A1 WO 2022057108A1 CN 2020135276 W CN2020135276 W CN 2020135276W WO 2022057108 A1 WO2022057108 A1 WO 2022057108A1
Authority
WO
WIPO (PCT)
Prior art keywords
model
evaluation
model parameters
evaluation sub
sub
Prior art date
Application number
PCT/CN2020/135276
Other languages
English (en)
French (fr)
Inventor
王怀忠
李青山
司华友
Original Assignee
南京博雅区块链研究院有限公司
北京大学
博雅正链(北京)科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 南京博雅区块链研究院有限公司, 北京大学, 博雅正链(北京)科技有限公司 filed Critical 南京博雅区块链研究院有限公司
Publication of WO2022057108A1 publication Critical patent/WO2022057108A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis

Definitions

  • the present invention relates to the technical field of big data, and in particular, to a method, device, system and storage medium for evaluating personal qualifications based on federated learning.
  • the traditional personal qualification assessment method requires a large number of manual (auditor) participation, and at the same time has a high risk of privacy leakage, human manipulation risk and fraud risk.
  • the collection method of user data is mainly provided by the applicant, and then the approval agency manually verifies the accuracy of the information, and finally conducts a credit evaluation of the applicant according to a set of evaluation methods established internally. , and then determine whether to grant credit and the amount of credit, the more typical expert evaluation method and scoring evaluation method.
  • various personal qualification evaluation models based on machine learning algorithms have been proposed.
  • Federated learning is an emerging artificial intelligence basic technology. Its design goal is to develop high-efficiency machines among multiple participants or multiple computing nodes on the premise of ensuring information security during big data exchange and ensuring legal compliance. Learn.
  • the existing federated learning-based evaluation system generally includes participants and a central server (coordinator), wherein: each participant uses the local The data trains the target model, obtains the gradient of the target model and sends it to the coordinator.
  • the coordinator integrates the gradients of each participant, obtains the updated gradient of the target model and returns it to each participant.
  • Each participant is based on the updated gradient and local The data trains the target model again and sends the trained gradient to the coordinator again, and iterates until the final target model is obtained.
  • a first aspect of the present invention provides a method for evaluating individual qualifications based on federated learning, the technical solution of which is as follows:
  • a method for evaluating individual qualifications based on federated learning which runs on a central server, including:
  • the model parameters of the first evaluation sub-model, the model parameters of the second evaluation sub-model and the model parameters of the third evaluation sub-model are integrated to obtain the integrated model parameters, and the integrated model parameters are distributed to the The intelligent terminal and the local participant are used for model updating.
  • a second aspect of the present invention provides a federated learning-based personal qualification assessment device, which runs on a central server, and includes:
  • the first acquisition module is used to acquire the model parameters of the first evaluation sub-model sent by the intelligent terminal, wherein the first evaluation sub-model is obtained by the intelligent terminal based on the preprocessed user behavior data on the intelligent terminal. ;
  • a first training module used for acquiring preprocessed external user data sent by at least one external participant, and training based on the external user data to obtain a second evaluation sub-model and its model parameters;
  • a gradient update module configured to obtain the gradients of at least two third evaluation sub-models sent by at least two local participants, and perform a weighted average of the obtained gradients of the at least two third evaluation sub-models to generate an average gradient, based on the obtained gradients of the at least two third evaluation sub-models
  • the average gradient updates the model parameters of the third evaluation sub-model and sends the updated model parameters to each of the local participants so that each of the local participants retrains the third evaluation model, wherein , the third evaluation model is obtained by the local participant training based on the preprocessed local user data;
  • the integration module is used to integrate the model parameters of the first evaluation sub-model, the model parameters of the second evaluation sub-model and the model parameters of the third evaluation sub-model to obtain the integrated model parameters, and the integrated model The parameters are distributed to the intelligent terminal and the local participants for model updating.
  • a third aspect of the present invention provides a federated learning-based personal qualification evaluation method, which runs on an intelligent terminal, and includes:
  • the first evaluation sub-model is obtained by training based on the preprocessed user behavior data on the intelligent terminal, and the model parameters of the first evaluation sub-model are sent to the central server;
  • the integrated model parameters generated by the central server include:
  • the model parameters of the first evaluation sub-model, the model parameters of the second evaluation sub-model, and the model parameters of the third evaluation sub-model are integrated to obtain the integrated model parameters.
  • a fourth aspect of the present invention provides a federated learning-based personal qualification assessment device, which runs on an intelligent terminal, and includes:
  • the second training module is used for obtaining the first evaluation sub-model based on the preprocessed user behavior data on the intelligent terminal, and sending the model parameters of the first evaluation sub-model to the central server;
  • An update module for receiving the integrated model parameters generated by the central server, and updating the first evaluation sub-model based on the integrated model parameters, wherein:
  • the integrated model parameters generated by the central server include:
  • the model parameters of the first evaluation sub-model, the model parameters of the second evaluation sub-model, and the model parameters of the third evaluation sub-model are integrated to obtain the integrated model parameters.
  • a fifth aspect of the present invention provides a federated learning-based personal qualification evaluation system, which includes an intelligent terminal, at least one external participant, at least two local participants, and a central server, wherein:
  • the intelligent terminal obtains a first evaluation sub-model based on the preprocessed user behavior data on the intelligent terminal, and sends the model parameters of the first evaluation sub-model to the central server;
  • the external participant sends the preprocessed external user data to the central server, and the central server obtains the second evaluation sub-model and its model parameters through training based on the external user data;
  • the local participant sends the gradient of the third evaluation sub-model to the central server, and the central server performs a weighted average of the obtained gradients of the at least two third evaluation sub-models to generate an average gradient, based on the average gradient updating the model parameters of the third evaluation sub-model and sending the updated model parameters to each of the local participants so that each of the local participants retrains the third evaluation model;
  • the central server integrates the model parameters of the first evaluation sub-model, the model parameters of the second evaluation sub-model, and the model parameters of the third evaluation sub-model to obtain the integrated model parameters, and the integrated model parameters are Distributed to the smart terminal and the local participant for model update.
  • a sixth aspect of the present invention provides a computer-readable storage medium storing one or more programs that, when executed by an electronic device including a plurality of application programs, cause The electronic device performs the following operations:
  • the model parameters of the first evaluation sub-model, the model parameters of the second evaluation sub-model and the model parameters of the third evaluation sub-model are integrated to obtain the integrated model parameters, and the integrated model parameters are distributed to the The intelligent terminal and the local participant are used for model updating.
  • the strategy for qualification evaluation based on federated learning of the present invention can achieve the following technical effects on the premise of achieving the evaluation effect:
  • the intelligent terminal After the intelligent terminal completes the model training by itself, it provides the model parameters to the central server without frequent gradient exchange with the central server, so that the intelligent terminal can join the evaluation system as a participant and enable users to pass the intelligent The terminal can quickly obtain the evaluation results.
  • Fig. 1 is the implementation environment involved in the personal qualification evaluation method provided by the embodiment of the present invention.
  • FIG. 2 is an architecture diagram of a federated learning-based personal qualification assessment system in an embodiment of the present invention
  • FIG. 3 is a flowchart of a method for evaluating individual qualifications based on federated learning in an embodiment of the present invention
  • FIG. 4 is a flowchart of a method for evaluating individual qualifications based on federated learning in an embodiment of the present invention
  • FIG. 5 is a structural block diagram of an apparatus for evaluating personal qualifications based on federated learning in an embodiment of the present invention
  • FIG. 6 is a flowchart of a method for evaluating individual qualifications based on federated learning in an embodiment of the present invention
  • FIG. 7 is a flowchart of a method for evaluating individual qualifications based on federated learning in an embodiment of the present invention.
  • FIG. 8 is a structural block diagram of an apparatus for evaluating personal qualifications based on federated learning in an embodiment of the present invention.
  • FIG. 9 is a flow chart of the execution of the personal qualification evaluation method of the present invention in a specific application example.
  • the existing federated learning-based evaluation system includes a participant and a central server (or becomes a coordinator), wherein: each participant uses the local data owned by each participant to train the target model to obtain the gradient of the target model and Send it to the coordinator, the coordinator integrates the gradients of each participant, obtains the updated gradient of the target model and returns it to each participant, each participant retrains the target model based on the updated gradient and local data, and retrains the obtained The gradients are sent to the coordinator and iterate until the final target model is obtained.
  • the intelligent terminal completes the training of the first evaluation sub-model by itself based on the behavior data of the user on the intelligent terminal, and provides the parameters of the first evaluation sub-model to the central server.
  • the external participants only provide their preprocessed data to the central server, and the central server uses these data to train the model, thereby obtaining the model parameters of the second evaluation sub-model for the external user data.
  • Each local participant adopts the existing federated learning strategy, realizes the training of the third evaluation sub-model through frequent gradient exchange with the central server, and obtains the model parameters of the third evaluation sub-model for local user data.
  • the smart terminal, external participants, and local participants all obtain an evaluation model through their respective user data training. It's just that the model training tasks of external parties are implemented by the central server.
  • the central server finally integrates the model parameters of the first evaluation sub-model, the model parameters of the second evaluation sub-model, and the model parameters of the third evaluation sub-model to obtain the integrated model parameters and sends the integrated model parameters to the Smart terminals and local participants.
  • the first evaluation sub-model located on the smart terminal, the second evaluation sub-model located on the central server and the third evaluation sub-model located at each local participant are updated to a unified global qualification evaluation model.
  • the smart terminal, the central server and the local participants can implement the funding evaluation for the user, and the evaluation results should have greater consistency.
  • the present invention provides a federated learning-based personal qualification assessment method, device, system, and storage medium.
  • FIG. 1 is an implementation environment involved in the personal qualification evaluation method provided by an embodiment of the present invention. As shown in FIG. 1 , the implementation environment includes four layers, which are:
  • the model training data required by each participant is located in the storage layer, and the data is stored in various business databases in various formats.
  • multiple data converters are deployed in the data access layer to convert data in various formats into a unified data format.
  • the data access layer provides a consistent Hive interface to the outside world by converting the messy internal data storage form of the participants into unified and structured structured data to access the big data platform.
  • the data processing layer can implement:
  • Missing of missing values for example, after the missing rate of data is counted, discard the data whose missing rate exceeds a predetermined threshold (such as 60%), use mode filling for discrete data, and use nearest neighbor difference or average interpolation for continuous data. .
  • a predetermined threshold such as 60%
  • Outlier detection for example, using the isolation forest method to detect outliers on the data, and discard outliers at a rate of 10%.
  • Data binning for example, selecting an appropriate data interval to complete the data binning operation.
  • Feature encoding for example, using the WOE encoding method to complete the encoding of the data
  • Data dimensionality reduction such as using principal component analysis to reduce the dimensionality of the data to eliminate redundant features.
  • Data balance for example, using the SMOTE oversampling method to balance the negative sample data to make up for the model overfitting problem caused by too few sample data.
  • Sample alignment for example, corresponding to data obtained from external parties, requires sample alignment technology to process the data.
  • the data after the preprocessing of the data layer, the data can meet the model training requirements.
  • the heterogeneous data from different business data bureaus After being processed by the data processing layer, the heterogeneous data from different business data bureaus have been converted into feature data that can be directly input into the model, and the IDs of the trainable sample data have also been agreed.
  • the personal qualification evaluation system of the present invention is arranged in the federation layer, evaluates each participant in the system and communicates with the central server to train the model. Finally, a global unified model is formed. Subsequent embodiments will describe in detail the specific model training process of the personal qualification evaluation system.
  • It can implement business logic including user information registration, background data review, evaluation standard formulation, qualification score generation, evaluation model fine-tuning, user tag access, metadata information annotation, and visual information display.
  • It can provide user information pages, global data visualization pages, background data management pages, etc.
  • FIG. 2 shows the personal qualification evaluation system based on federated learning in this embodiment.
  • the personal qualification evaluation system includes at least an intelligent terminal 100 , an external participant 200 , a local participant 300 and a central server 400 .
  • the smart terminal 100 may be a user's smart phone, a palmtop computer, or the like.
  • the smart terminal 100 is equipped with various consumer and credit APPs, and historical behavior data of the user, such as the user's consumption data, credit data, and the user's personal information, can be obtained from these APPs.
  • the smart terminal 100 is also equipped with relevant program modules capable of implementing the model training task of the present invention.
  • the smart terminal 100 performs data interaction with the central server 400 through a wireless network, thereby realizing the federated learning task of the present invention.
  • the local participant 300 and the central server 400 generally belong to the same interest group, which is the initiator or beneficiary of the personal qualification assessment, and the data interaction between the local participant 300 and the central server 400 is relatively convenient, and There is generally no data island problem.
  • the external participant 200 and the local participant 300 belong to different interest groups.
  • the data access interface provided by the external participant 200 to the central server 400 is subject to various restrictions, and is provided to The model training data of the central server 400 must also undergo relevant encryption processing and so on.
  • Tencent needs to evaluate the credit status of customers.
  • it not only needs to use various business departments within Tencent (such as WeChat, QQ, etc.) etc.), and also need to use the user data stored in Pinduoduo’s database, at this time, each business department within Tencent (such as WeChat, QQ, etc.) is the local participant 300, while Pinduoduo It is the external party 200 .
  • both the local participant 300 and the central server 400 are equipped with relevant program modules for implementing model training tasks, while the external participant 200 only provides a data interface.
  • the model training process of the intelligent terminal 100 , the external participant 200 , the local participant 300 , and the central server 400 is roughly as follows.
  • the smart terminal 100 As mentioned above, there is a large amount of user behavior data on the smart terminal 100, and the smart terminal is equipped with relevant program modules for model training tasks, and the authenticity and timeliness of these behavior data are very high, and the smart terminal 100 has more powerful computing power.
  • the only defect is that the communication capability of the intelligent terminal 100 is poor, and it is difficult to achieve continuous interaction with the central server 400 .
  • the smart terminal 100 obtains the user's daily payment order information, website access records, loan information and other behavior data under the premise of the user's authorization.
  • the intelligent terminal 100 trains the first evaluation sub-model based on the data samples, and sends the model parameters of the trained first evaluation sub-model to the central server 400 to trigger the central server 400 to obtain the model parameters of the global qualification evaluation model.
  • the central server acts as an agent for external participants to train the second evaluation sub-model
  • the external participant 200 does not have model training capability, and only provides preprocessed training sample data.
  • the preprocessed external user data is encrypted and provided to the central server 400 .
  • the central server 400 trains the second evaluation sub-model based on the external user data, and obtains model parameters of the second evaluation sub-model.
  • the local participant 300 and the central server 400 jointly train the third evaluation sub-model
  • the local participant 300 and the central server 400 belong to the same interest group, and convenient and efficient data interaction is performed between them. Therefore, in order to improve the training effect.
  • the local participant 300 and the central server 400 start the training of the third evaluation sub-model based on the traditional federated learning strategy, specifically:
  • each local participant 300 sends the gradient of the model to the central server 400, and the central server 400 performs a weighted average on the obtained gradients to generate an average gradient. Based on the average gradient, the central server 400 updates the model parameters of the model and sends the updated model parameters to each local participant 300, and each local participant 300 retrains the respective third evaluation model. This iteration is performed until the training is completed, and the trained third evaluation model is obtained.
  • the central server 400 obtains the global qualification evaluation model
  • the first evaluation sub-model, the second evaluation sub-model and the third evaluation sub-model have all been trained, and the model parameters of the three sub-models have been provided to the central server 400 .
  • the central server 400 analyzes the parameter weights of each sub-model according to the data distribution and data value of different participants, and the integrated model parameters can be obtained through the weighted average calculation, and the integrated model parameters can be used as the global The model parameters of the qualification evaluation model are distributed to each participant, so that each participant can update their evaluation model.
  • the evaluation model in this embodiment selects the XGBoost model.
  • the XGBoost model has the function of automatic integration, which can prevent the model from overfitting, thereby improving the generalization ability of the model.
  • the XGBoost model uses the first-order partial derivative and the second-order partial derivative of the cost function, and the gradient descent is faster and more accurate, and it is also conducive to the calculation of the loss function and the update and decoupling of the parameters.
  • other suitable machine learning models may also be selected.
  • the present invention will be further introduced below from the side of the central server and the side of the intelligent terminal.
  • the method for evaluating individual qualifications based on federated learning in this embodiment includes the following steps:
  • S102 Acquire preprocessed external user data sent by at least one external participant, and train based on the external user data to obtain a second evaluation sub-model and its model parameters.
  • steps S101 to S103 may be performed in parallel.
  • the smart terminal, local participants and the central server all have a global qualification evaluation model. At this point, the user's qualification evaluation can be implemented.
  • the central server does not directly accept the personal qualification score uploaded by the smart terminal, and it needs to verify the personal qualification score before storing it.
  • Tamper-proofing is achieved by storing individual qualification scores in a pre-arranged blockchain. Moreover, visitors with relevant permissions who join the blockchain can query the personal qualification score of a specific user from the blockchain.
  • the blockchain in this embodiment is a consortium chain.
  • This embodiment also provides a federated learning-based personal qualification evaluation device, which runs on the central server 400 .
  • the device includes a first acquisition module 301, a first training module 302, a gradient update module 303 and an integration module 304, a first acquisition module 301, a first training module 302, a gradient update module 303 and an integration module 304 corresponds to implementing the method steps S101-S104 in this embodiment respectively, and details are not repeated here.
  • the personal qualification evaluation apparatus in this embodiment further includes relevant functional modules for implementing the method steps S105-S107 in this embodiment.
  • Embodiment method and device/running on smart terminal are Embodiment method and device/running on smart terminal
  • the execution process of the present invention is described from the side of the smart terminal 100 .
  • the method for evaluating individual qualifications based on federated learning in this embodiment includes the following steps:
  • the integrated model parameters generated by the central server include:
  • the smart terminal, local participants and the central server all have a global qualification evaluation model. At this point, the user's qualification evaluation can be implemented.
  • the smart terminal After the smart terminal completes the evaluation and gives a personal qualification score, it generally needs to be uploaded to the central server. Therefore, optionally, in this embodiment, as shown in FIG. 7 , the following steps are further included:
  • S406 encrypting and sending the qualification score to the central server to trigger the central server to perform: obtaining the user's second personal qualification score based on the second evaluation sub-model; comparing and verifying the first personal qualification score and the second personal qualification score, if the first personal qualification score and the second personal qualification score conform to a predetermined rule, the first personal qualification score or the second personal qualification score is stored in the pre-arranged good blockchain.
  • This embodiment also provides a federated learning-based personal qualification assessment device, which runs on an intelligent terminal.
  • the personal qualification evaluation device includes a second training module 601 and an update module 602, and the second training module 601 and the update module 602 respectively implement the method steps S401-S402 in this embodiment, which are not repeated here. Repeat.
  • the personal qualification evaluation apparatus in this embodiment further includes relevant functional modules for implementing the method steps S405-S406 in this embodiment.
  • the existing evaluation models may not be able to accurately evaluate the personal qualifications of users. Therefore, it is necessary to check the eligibility of the models before performing the qualification evaluation, so as to decide whether to choose an existing evaluation model.
  • Some evaluation models perform direct evaluation, or choose to retrain the evaluation model before evaluating.
  • step S403 the following steps (not shown) may also be included:
  • the intelligent terminal synchronizes the model's fault tolerance rate, AUC value and F1-SCORE from the central server, and calculates the evaluation data of the first evaluation sub-model. If the first evaluation sub-model meets the standard, execute the qualification evaluation, otherwise, go to the step S404.
  • the central server calculates the AUC value and F1-SCORE of the second evaluation sub-model, and compares them with the preset standard model parameters. If the second evaluation sub-model meets the standard, the second evaluation sub-model is sent to the intelligent terminal. Smart terminals perform qualification assessment. Otherwise, a new round of model training is performed to update the evaluation model.
  • This embodiment provides a computer-readable storage medium that stores one or more programs that, when executed by an electronic device including a plurality of application programs, cause the electronic
  • the device does the following:
  • the model parameters of the first evaluation sub-model, the model parameters of the second evaluation sub-model and the model parameters of the third evaluation sub-model are integrated to obtain the integrated model parameters, and the integrated model parameters are distributed to the The intelligent terminal and the local participant are used for model updating.
  • this specification also provides a specific application example, which uses the invented evaluation method to evaluate the employment qualifications of poor households, which is implemented by local participants.
  • the characteristics of poor households include public information such as ID number, name, age, and gender, and learning information such as health status, consumption level, education level, and income.
  • public information such as ID number, name, age, and gender
  • learning information such as health status, consumption level, education level, and income.
  • the public information is shared by all participants, and the learning information is cross-stored in different participants.
  • the central server coordinates the training model of each participant, and obtains the characteristic data of the learning information.
  • the following takes the internal data distribution system as an example to introduce the user qualification score generation process.
  • part of the process of using the evaluation method of the present invention to carry out employment qualifications for poor households is as follows:
  • Kafka is used for local distributed databases, such as Mysql, SQL Server, Oracle, etc. Collect and integrate user data items with the same ID. Subsequently, it is opened to Hadoop through a unified interface service for data consumption.
  • the integrated data items include basic data such as poor household ID, age, gender, income, transaction information such as order number, quantity, and product name of historical orders, medical information such as document number, hospital type, amount, and disease name of medical insurance documents, and training data. Label fields (eg, eligible for employment support/non-eligible for employment support).
  • the data information is sorted by summing, counting, and averaging, and the ratio of missing values is counted.
  • the method of isolation forest is used for outlier detection, and outliers are discarded at a rate of 10%.
  • Count the data distribution of each feature item select the appropriate data interval, and complete the data binning. Then, calculate the feature WOE code Aggregate the entire data based on the id value.
  • the PCA principal component analysis method is used for data dimensionality reduction, aiming to eliminate redundant features to solve the multicollinearity problem, and at the same time, a smaller data size is helpful for data visualization.
  • the SMOTE oversampling method is used to balance the data of negative samples to make up for the model overfitting problem caused by negative samples, that is, the number of unqualified poor households is too small.
  • the XGBoost model is selected as the vocational qualification evaluation model for poor households.
  • XGboost is an advanced implementation of Gradient Boosting Algorithms (GBM).
  • GBM Gradient Boosting Algorithms
  • XGboost has the function of automatic integration, which can prevent the model from overfitting and improve the generalization ability of the model.
  • the XGBoost model uses the first-order derivative and second-order partial derivative of the cost function, and the gradient descent is faster and more accurate, and it is also conducive to the decoupling of loss function calculation and parameter update.
  • the model in the internal data distribution system performs a forward propagation, and calculates the model gradient Encrypted and uploaded to the central server.
  • the central server receives the gradients of each internal data distribution system, and summarizes and integrates them after decryption. Calculate the average gradient according to the set model learning rate ⁇ , the updated model parameters Then synchronize to each internal data distribution system, and repeat several times until the model training is completed.
  • feature item scoring Calculate the weighted sum of qualification scores according to the XGBoost model parameters
  • the qualification score it can be determined whether it needs employment support.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Game Theory and Decision Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种基于联邦学习的个人资质评估方法、装置及系统及存储介质，其中该系统包括：智能终端（100）、外部参与方（200）、本地参与方（300）及中心服务器端（400），其中：智能终端（100）基于用户行为数据训练得到第一评估子模型；外部参与方（200）发送外部用户数据给中心服务器端，中心服务器端（400）基于外部用户数据训练得到第二评估子模型；本地参与方（300）发送第三评估子模型的梯度给中心服务器端（400），中心服务器端（400）对获取到的梯度进行加权平均以生成平均梯度并基于平均梯度更新第三评估子模型的模型参数以使得本地参与方（300）对第三评估模型进行再次训练。中心服务器端（400）对第一评估子模型的模型参数、第二评估子模型的模型参数及第三评估子模型的模型参数进行整合以获得的最终的全局评估模型。

Description

基于联邦学习的个人资质评估方法、装置及系统及存储介质 技术领域
本发明涉及大数据技术领域，尤其涉及一种基于联邦学习的个人资质评估方法、装置及系统及存储介质。
背景技术
传统的个人资质评估方法需要大量人工(审核专员)参与，同时具有较高的隐私泄露风险、人为操纵风险以及诈骗风险。例如，传统评估方法中对用户数据的采集方式主要通过申请人自己提供，然后审批机构通过人工方式去核实这些信息的准确性，最终根据自己内部建立的一套评价方法对该申请人进行信用评价，进而确定是否授信以及授信额度，较为典型的有专家评价法和评分评价法。随着人工智能技术的广泛应用，各种基于机器学习算法的个人资质评估模型本不断提出。
然而，在对待评估用户进行资质评估时，经常需要利用存储在不同的业务系统内的用户数据进行采集，其中即包括评估机构自己掌握的本地数据，也包括外部机构的数据。出于信息安全、法规方面的原因，不同的业务系统之间的直接数据交互难以实现，也就是所谓的数据孤岛。为了解决数据孤岛问题，实现敏感数据不对外提供的前提下实现信息的交互与模型的学习，出现了一种新型学习方法-联邦学习。联邦学习是一种新兴的人工智能基础技术，其设计目标是在保障大数据交换时的信息安全、保证合法合规的前提下，在多参与方或多计算结点之间开展高效率的机器学习。
鉴于联邦学习策略的上述优点，目前，已经有基于联邦学习的评估系统被提出。如公开号为CN202010283266及公开号CN202010162831的中国发明专利申请中公开的，现有的基于联邦学习的评估系统一般包括参与方和中心服务器(协调方)，其中：各参与方利用其所拥有的本地数据对目标模型进行训练，得到目标模型的梯度并发送给协调方，协调方对各参与方的梯度进行整合，得到目标模型的更新梯度后返回给各参与方，各参与方基于更新梯度和本地数据再次对 目标模型进行训练并再次将训练得到的梯度发送给协调方，迭代，直至获得最终的目标模型。
现有技术中的基于联邦学习的评估系统至少存在如下技术问题：
1、要求各参与方均对目标模型进行训练，然而，在个人资质评估等应用中，作为参与方的外部机构可能并不具备模型训练能力。
2、模型训练过程中，参与方需要频繁、持续地将每轮更新后的梯度发送给协调方，因此必须保证参与方持续在线并要求参与方拥有大量的通信资源(流量)。出于此方面的原因，手机等智能终端很难作为参与方加入至评估系统中。然而，随着智能手机的普及化，使用智能手机直接对用户进行资质评估显示是一种最为便捷、有效的资质评估方式。
发明内容
为了解决上述技术问题中的至少一个，本发明第一方面提供了一种基于联邦学习的个人资质评估方法，其技术方案如下：
一种基于联邦学习的个人资质评估方法，其运行于中心服务器端，其包括：
获取智能终端发送的第一评估子模型的模型参数，其中，所述第一评估子模型为所述智能终端基于智能终端上的经过预处理后的用户行为数据训练得到；
获取至少一个外部参与方发送的经过预处理后的外部用户数据，并基于所述外部用户数据训练得到第二评估子模型及其模型参数；
获取至少两个本地参与方发送的至少两个第三评估子模型的梯度，对获取到的至少两个第三评估子模型的梯度进行加权平均以生成平均梯度，基于所述平均梯度更新所述第三评估子模型的模型参数并将更新后的模型参数发送给各所述本地参与方以使得各所述本地参与方再次对所述第三评估模型进行再次训练，其中，所述第三评估模型为所述本地参与方基于预处理后的本地用户数据训练得到；
对所述第一评估子模型的模型参数、第二评估子模型的模型参数及第三评估子模型的模型参数进行整合以获得的整合后的模型参数，将整合后的模型参数分发给所述智能终端、所述本地参与方用于模型更新。
本发明第二方面提供了一种基于联邦学习的个人资质评估装置，其运行于中心服务器端，其包括：
第一获取模块，用于获取智能终端发送的第一评估子模型的模型参数，其中，所述第一评估子模型为所述智能终端基于智能终端上的经过预处理后的用户行为数据训练得到；
第一训练模块，用于获取至少一个外部参与方发送的经过预处理后的外部用户数据，并基于所述外部用户数据训练得到第二评估子模型及其模型参数；
梯度更新模块，用于获取至少两个本地参与方发送的至少两个第三评估子模型的梯度，对获取到的至少两个第三评估子模型的梯度进行加权平均以生成平均梯度，基于所述平均梯度更新所述第三评估子模型的模型参数并将更新后的模型参数发送给各所述本地参与方以使得各所述本地参与方再次对所述第三评估模型进行再次训练，其中，所述第三评估模型为所述本地参与方基于预处理后的本地用户数据训练得到；
整合模块，用于对所述第一评估子模型的模型参数、第二评估子模型的模型参数及第三评估子模型的模型参数进行整合以获得的整合后的模型参数，将整合后的模型参数分发给所述智能终端、所述本地参与方用于模型更新。
本发明第三方面提供了一种基于联邦学习的个人资质评估方法，其运行于智能终端，其包括：
基于智能终端上的经过预处理后的用户行为数据训练得到第一评估子模型，并将第一评估子模型的模型参数发送给中心服务器；
接收中心服务器生成的整合后的模型参数，并基于整合后的模型参数对所述第一评估子模型进行更新，其中：
所述中心服务器生成所述整合后的模型参数包括：
获取至少一个外部参与方发送的经过预处理后的外部用户数据，并基于所述外部用户数据训练得到第二评估子模型及其模型参数；
获取至少两个本地参与方发送的至少两个第三评估子模型的梯度，对获取到的至少两个第三评估子模型的梯度进行加权平均以生成平均梯度，基于所述平均梯度更新所述第三评估子模型的模型参数并将更新后的模型参数发送给各所述本地参与方以使得各所述本地参与方再次对所述第三评估模型进行再次训 练，其中，所述第三评估模型为所述本地参与方基于预处理后的本地用户数据训练得到；
对所述第一评估子模型的模型参数、第二评估子模型的模型参数及第三评估子模型的模型参数进行整合以获得所述整合后的模型参数。
本发明第四方面提供了一种基于联邦学习的个人资质评估装置，其运行于智能终端，其包括：
第二训练模块，用于基于智能终端上的经过预处理后的用户行为数据训练得到第一评估子模型，并将第一评估子模型的模型参数发送给中心服务器；
更新模块，用于接收中心服务器生成的整合后的模型参数，并基于整合后的模型参数对所述第一评估子模型进行更新，其中：
所述中心服务器生成所述整合后的模型参数包括：
获取至少一个外部参与方发送的经过预处理后的外部用户数据，并基于所述外部用户数据训练得到第二评估子模型及其模型参数；
获取至少两个本地参与方发送的至少两个第三评估子模型的梯度，对获取到的至少两个第三评估子模型的梯度进行加权平均以生成平均梯度，基于所述平均梯度更新所述第三评估子模型的模型参数并将更新后的模型参数发送给各所述本地参与方以使得各所述本地参与方再次对所述第三评估模型进行再次训练，其中，所述第三评估模型为所述本地参与方基于预处理后的本地用户数据训练得到；
对所述第一评估子模型的模型参数、第二评估子模型的模型参数及第三评估子模型的模型参数进行整合以获得所述整合后的模型参数。
本发明第五方面提供了一种基于联邦学习的个人资质评估系统，其包括智能终端、至少一个外部参与方、至少两个本地参与方及中心服务器端，其中：
所述智能终端基于智能终端上的经过预处理后的用户行为数据训练得到第一评估子模型，并将第一评估子模型的模型参数发送给中心服务器端；
所述外部参与方发送经过预处理后的外部用户数据给中心服务器端，所述中心服务器端基于所述外部用户数据训练得到第二评估子模型及其模型参数；
所述本地参与方发送第三评估子模型的梯度给中心服务器端，所述中心服务器端对获取到的至少两个第三评估子模型的梯度进行加权平均以生成平均梯 度，基于所述平均梯度更新所述第三评估子模型的模型参数并将更新后的模型参数发送给各所述本地参与方以使得各所述本地参与方对所述第三评估模型进行再次训练；
所述中心服务器对所述第一评估子模型的模型参数、第二评估子模型的模型参数及第三评估子模型的模型参数进行整合以获得的整合后的模型参数，将整合后的模型参数分发给所述智能终端、所述本地参与方用于模型更新。
本发明第六方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：
获取智能终端发送的第一评估子模型的模型参数，其中，所述第一评估子模型为所述智能终端基于智能终端上的经过预处理后的用户行为数据训练得到；
获取至少一个外部参与方发送的经过预处理后的外部用户数据，并基于所述外部用户数据训练得到第二评估子模型及其模型参数；
获取至少两个本地参与方发送的至少两个第三评估子模型的梯度，对获取到的至少两个第三评估子模型的梯度进行加权平均以生成平均梯度，基于所述平均梯度更新所述第三评估子模型的模型参数并将更新后的模型参数发送给各所述本地参与方以使得各所述本地参与方再次对所述第三评估模型进行再次训练，其中，所述第三评估模型为所述本地参与方基于预处理后的本地用户数据训练得到；
对所述第一评估子模型的模型参数、第二评估子模型的模型参数及第三评估子模型的模型参数进行整合以获得的整合后的模型参数，将整合后的模型参数分发给所述智能终端、所述本地参与方用于模型更新。
与现有技术中的基于联邦学习的评估系统相比，本发明的基于联邦学习的用于资质评估策略在实现评估效果的前提下，能实现如下技术效果：
1、外部参与方仅仅需要将其经过预处理后的本地数据提供给中心服务器，而不需要实施模型训练。
2、智能终端自行完成模型训练后将模型参数提供给中心服务器，而不需要频繁地与中心服务器进行梯度交换，从而使得智能终端能够以参与方的角色加 入至评估系统内，并使得用户通过智能终端即能快速获取到评估结果。
附图说明
图1为本发明实施例提供的个人资质评估方法所涉及的实施环境；
图2为本发明实施例中的基于联邦学习的个人资质评估系统的架构图；
图3为本发明实施例中的基于联邦学习的个人资质评估方法的流程图；
图4为本发明实施例中的基于联邦学习的个人资质评估方法的流程图；
图5为本发明实施例中的基于联邦学习的个人资质评估装置的结构框图；
图6为本发明实施例中的基于联邦学习的个人资质评估方法的流程图；
图7为本发明实施例中的基于联邦学习的个人资质评估方法的流程图；
图8为本发明实施例中的基于联邦学习的个人资质评估装置的结构框图；
图9为一个具体应用例中本发明的个人资质评估方法的执行流程图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
申请概述
如上所示，现有的基于联邦学习的评估系统包括参与方和中心服务器(或者成为协调方)，其中：各参与方利用其所拥有的本地数据对目标模型进行训练，得到目标模型的梯度并发送给协调方，协调方对各参与方的梯度进行整合，得到目标模型的更新梯度后返回给各参与方，各参与方基于更新梯度和本地数据再次对目标模型进行训练并再次将训练得到的梯度发送给协调方，迭代，直至获得最终的目标模型。
然而，现有的基于联邦学习的评估系统至少存在如下技术问题：
1、要求各参与方均对目标模型进行训练，然而，在个人资质评估等应用中，作为参与方的外部机构可能并不具备模型训练能力。
2、模型训练过程中，参与方需要频繁、持续地将每轮更新后的梯度发送给协调方，因此必须保证参与方持续在线并要求参与方拥有大量的通信资源(流量)。出于此方面的原因，手机等智能终端很难作为参与方加入至评估系统中。然而，随着智能手机的普及化，使用智能手机直接对用户进行资质评估显示是一种最为便捷、有效的资质评估方式。
针对现有的基于联邦学习的评估系统存在的上述缺陷，本申请的基本构思是：
1、智能终端基于用户在智能终端上的行为数据自行完成第一评估子模型的训练，并将第一评估子模型的参数提供给中心服务器。
2、外部参与方仅将其经过预处理后的数据提供给中心服务器，由中心服务器使用这些数据训练模型，从而得到针对外部用户数据的第二评估子模型的模型参数。
3、各本地参与方则采用现有的联邦学习策略，通过与中心服务器的频繁梯度交换实现对第三评估子模型的训练，并获得针对本地用户数据的第三评估子模型的模型参数。
即相当于，智能终端、外部参与方、本地参与方均通过各自的用户数据训练得到一个评估模型。只不过是，外部参与方的模型训练任务是由中心服务器代为实施的。
为了实现对智能终端、外部参与方、本地参与方的数据融合，获得最终的评估模型。中心服务器最后对第一评估子模型的模型参数、第二评估子模型的模型参数及第三评估子模型的模型参数进行整合从而获得的整合后的模型参数并将整合后的模型参数下发给智能终端、各本地参与方。
基于整合后的模型参数，位于智能终端的第一评估子模型、位于中心服务器端的第二评估子模型和位于各本地参与方的第三评估子模型均被更新为统一的全局资质评估模型。
此时，经智能终端、中心服务器端及本地参与方均能实施对用户的资助评 估，且评估结果应该具有较大的一致性。
鉴于现有的基于联邦学习的评估系统存在的技术问题，本发明提供了一种基于联邦学习的个人资质评估方法、装置及系统及存储介质。
实施例环境
图1为本发明实施例提供的个人资质评估方法所涉及的实施环境，如图1所示的，该实施环境包括四层，分别为：
数据访问层：
各参与方所需要的模型训练数据均位于存储层，数据以各种不同格式存储于各类业务数据库内。为了实现对这些异构数据的抽取，数据访问层内部署多元数据转换器，从而将各种不同格式的数据转换为统一的数据格式。
数据访问层通过将参与方内部杂乱的数据存储形式，转为统一规整的结构化数据接入大数据平台，实现了对外提供一致Hive接口。
数据处理层：
对数据进行一系列的清洗、转换等操作，从而使得数据满足模型训练对数据的要求。例如，数据处理层可以实现：
缺失值填充，如，统计完数据的缺率后，舍弃缺失率超过预定阈值(如60％)的数据，对离散型数据采用众数填充，对连续型数据采用最近邻差值或平均插值填充。
离群值检测，如，采用隔离森林法对数据进行离群值检测检测，按着10％的比率舍弃离群值。
数据分箱，如，选择合适的数据间隔，完成数据分箱操作。
特征编码，如，采用WOE编码法完成对数据的编码，
数据降维，如采用主成分分析法对数据进行降维处理，以消除冗余特征。
数据平衡，如，采用SMOTE过采样法进行负样本数据平衡，以弥补样本数据过少带来的模型过拟合问题。
样本对齐，如，对应从外部参与方获取的数据，需要采用样本对齐技术对数据进行处理。
总之，经过数据层的预处理后，数据能够满足模型训练要求。
联邦学习层
在经过数据处理层处理后，来源于不同的业务数据局的异构数据均已经转化为可以直接输入模型的特征数据，且可训练的样本数据的ID也已经达成一致。
本发明的个人资质评估系统被布置在联邦层内，评估系统内的各参与方并与中心服务器进行通信，进行模型的训练。最终形成一个全局的统一模型。后续实施例将对个人资质评估系统的具体模型训练流程进行详细描述。
业务逻辑层
其可实行包括用户信息登记、后台数据审核、评估标准制定、资质评分生成、评估模型微调、用户标签存取、元数据信息标注、可视化信息展示等业务逻辑。
表现层
其可提供包括用户信息页面、全局数据可视化页面、后台数据管理页面等，
实施例系统
图2示出了本实施例中的基于联邦学习的个人资质评估系统，如图2所示，该个人资质评估系统至少包括智能终端100、外部参与方200、本地参与方300及中心服务器400。
其中，智能终端100可以是用户的智能手机、掌上电脑等。智能终端100上搭载有各类消费类、信贷类APP，从这些APP上能够获取到用户的历史行为数据，如用户的消费数据、信贷数据以及用户的个人信息等。当然，智能终端100上也搭载有能够实现本发明的模型训练任务的相关程序模块，智能终端100通过无线网络与中心服务器400进行数据交互，从而实现本发明的联邦学习任务。
一般来说，本地参与方300及中心服务器400一般属于同一利益集团，该利益集团正是个人资质评估的发起者或收益者，本地参与方300及中心服务器400之间的数据交互较为便利，且一般不存在数据孤岛问题。而外部参与方200则与本地参与方300属于不同的利益集团，出于信息安全、信息私有化方面的原因，外部参与方200提供给中心服务器400的数据访问接口受到各类限制，且提供给中心服务器400的模型训练数据也必须经过相关的加密处理等等。
例如，在一个虚构的应用实施例中，腾讯公司需要对客户的信用情况进行评估，为了保证评估的准确性，在训练评估模型时，其不仅需要使用腾讯公司内部各业务部门(如微信、QQ等)的数据库内存储的用户数据，而且还需要使 用拼多多的数据库内存储的用户数据，此时，腾讯公司内部各业务部门(如微信、QQ等)即为本地参与方300，而拼多多则为外部参与方200。
本实施例中，本地参与方300、中心服务器400均搭载有实施模型训练任务的相关程序模块，而外部参与方200则仅提供数据接口。
本实施例中，基于联邦学习的训练体系下，智能终端100、外部参与方200、本地参与方300及中心服务器400的模型训练过程大致如下。
一、智能终端训练第一评估子模型
如前文所提及的，智能终端100上存在大量的用户行为数据，且智能终端上搭载有模型训练任务的相关程序模块，且这些行为数据的真实性、时效性非常高，且智能终端100拥有较为强大的计算能力。唯一的缺陷是，智能终端100的通信能力较差，其难以实现与中心服务器400的持续交互。
智能终端100在用户授权的前提下，获取用户日常的支付订单信息、网站访问记录、借贷信息等行为数据。智能终端100基于这些数据样本训练第一评估子模型，并将训练好的第一评估子模型的模型参数发送给中心服务器400，以触发中心服务器400获取全局资质评估模型的模型参数。
可见，第一评估子模型的整个训练过程均由智能终端100自行、独立完成，训练过程中无需与中心服务器400进行交互。
二、中心服务器代理外部参与方训练第二评估子模型
如上文所提及的，外部参与方200并不具备模型训练能力，其仅提供经过预处理后的训练样本数据。
外部参与方200与中心服务器400达成合作共识后，将经过预处理后的外部用户数据加密后提供给中心服务器400。
中心服务器400基于这些外部用户数据训练第二评估子模型，获得第二评估子模型的模型参数。
三、本地参与方300和中心服务器400联合训练第三评估子模型
如前文所述，本地参与方300和中心服务器400属于同一利益集团，两者之间进行便捷、高效的数据交互。因此，为了提升训练效果。本地参与方300和中心服务器400基于传统的联邦学习策略展开对第三评估子模型的训练，具体的：
训练过程中，每完成一轮前向传播，各本地参与方300均发送模型的梯度 给中心服务器端400，中心服务器端400对获取到的梯度进行加权平均以生成平均梯度。基于该平均梯度，中心服务器端400更新模型的模型参数并将更新后的模型参数发送给各本地参与方300，本各本地参与方300方对各自的第三评估模型进行再次训练。如此迭代，直至训练完成，获得训练好的第三评估模型。
需要说明的是，为了提升效率，上面的三项工作一般并行执行。
四、中心服务器400获取全局资质评估模型
经过上述三项工作后，第一评估子模型、第二评估子模型及第三评估子模型均已训练好，三个子模型的模型参数均已提供给中心服务器400。
此时，中心服务器400根据不同参与方的数据分布情况、数据价值，分析出各子模型的参数权重，通过加权平均计算即可获得整合后的模型参数，该整合后的模型参数即可作为全局资质评估模型的模型参数分发给各参与方，使得各参与方能够对其评估模型进行更新。
至此，模型训练结束。
本实施例中的评估模型选用XGBoost模型，XGBoost模型具有自动集成的功能，可以防止模型过拟合，从而提高模型的泛化能力。此外，XGBoost模型使用代价函数的一阶偏导和二阶偏导，梯度下降更快、更准，同时有利于损失函数计算和参数的更新、解耦。当然，其他实施例中，也可以选用其他合适的机器学习模型。
为了更加清楚地展示本发明的用户评估方法、系统的执行过程，下文将从中心服务器侧、智能终端侧，对本发明进行进一步介绍。
实施例方法及装置/运行于中心服务器
本实施例中，从中心服务器侧对本发明的执行过程进行描述。
如图3所示，本实施例中的基于联邦学习的个人资质评估方法包括如下步骤：
S101、获取智能终端发送的第一评估子模型的模型参数，其中，所述第一评估子模型为所述智能终端基于智能终端上的经过预处理后的用户行为数据训练得到。
S102、获取至少一个外部参与方发送的经过预处理后的外部用户数据，并基于所述外部用户数据训练得到第二评估子模型及其模型参数。
S103、获取至少两个本地参与方发送的至少两个第三评估子模型的梯度，对获取到的至少两个第三评估子模型的梯度进行加权平均以生成平均梯度，基于所述平均梯度更新所述第三评估子模型的模型参数并将更新后的模型参数发送给各所述本地参与方以使得各所述本地参与方再次对所述第三评估模型进行再次训练，其中，所述第三评估模型为所述本地参与方基于预处理后的本地用户数据训练得到。
S104、对所述第一评估子模型的模型参数、第二评估子模型的模型参数及第三评估子模型的模型参数进行整合以获得的整合后的模型参数，将整合后的模型参数分发给所述智能终端、所述本地参与方用于模型更新。
其中，步骤S101-步骤S103可以并行执行。
上述步骤S101-步骤S103的具体执行过程及可选实施方式可以直接参考上文中的其他实施例，此处不再进行赘述。
完成模型更新后，智能终端、本地参与方及中心服务器上均拥有全局资质评估模型。此时，可以实现对用户的资质评估。
大多数应用场景中，用户均通过智能终端提交个人资质评估请求，由智能终端完成评估工作并给出个人资质评分。当然，为了实现数据的共享及保持，个人资质评分一般需要被上传至中心服务器上。因此，可选的，本实施例中，如图4所示，还包括如下步骤：
S105、获取所述智能终端发送的经过加密后的用户的第一个人资质评分，所述第一个人资质评分由所述智能终端基于所述第一评估子模型获得。
S106、基于所述第二评估子模型获得用户的第二个人资质评分。
S107、对比验证所述第一个人资质评分和所述第二个人资质评分，如果所述第一个人资质评分和所述第二个人资质评分符合预定规则，则将第一个人资质评分或所述第二个人资质评分存储至预先布置好的区块链中。
可见，中心服务器并非直接接受智能终端上传的个人资质评分，其需要对个人资质评分进行验证后方才进行存储。
通过将个人资质评分存储在预先布置好的区块链中，能实现防篡改。且，加入区块链的具有相关权限的访问者能够从区块链查询到特定用户的个人资质评分。本实施例中的区块链为联盟链。
本实施例还提供了一种基于联邦学习的个人资质评估装置，该装置运行于中心服务器400。如图5所示的，该装置包括第一获取模块301、第一训练模块302、梯度更新模块303和整合模块304，第一获取模块301、第一训练模块302、梯度更新模块303和整合模块304分别对应实施本实施例中的方法步骤S101-S104，此处不再赘述。
对应的，可选的，本实施例中的个人资质评估装置还包括用于实现本实施例中的方法步骤S105-S107的相关功能模块。
实施例方法及装置/运行于智能终端
本实施例中，从智能终端100侧对本发明的执行过程进行描述。
如图6所示，本实施例中的基于联邦学习的个人资质评估方法包括如下步骤：
S401、基于智能终端上的经过预处理后的用户行为数据训练得到第一评估子模型，并将第一评估子模型的模型参数发送给中心服务器。
S402、接收中心服务器生成的整合后的模型参数，并基于整合后的模型参数对所述第一评估子模型进行更新，其中：
所述中心服务器生成所述整合后的模型参数包括：
获取至少一个外部参与方发送的经过预处理后的外部用户数据，并基于所述外部用户数据训练得到第二评估子模型及其模型参数；
获取至少两个本地参与方发送的至少两个第三评估子模型的梯度，对获取到的至少两个第三评估子模型的梯度进行加权平均以生成平均梯度，基于所述平均梯度更新所述第三评估子模型的模型参数并将更新后的模型参数发送给各所述本地参与方以使得各所述本地参与方再次对所述第三评估模型进行再次训练，其中，所述第三评估模型为所述本地参与方基于预处理后的本地用户数据训练得到；
上述步骤S401-步骤S402的具体执行过程及可选实施方式可以参考上文中的其他实施例，此处不再进行赘述。
完成模型更新后，智能终端、本地参与方及中心服务器上均拥有全局资质评估模型。此时，可以实现对用户的资质评估。
智能终端完成评估工作并给出个人资质评分后一般需要被上传至中心服务 器上。因此，可选的，本实施例中，如图7所示，还包括如下步骤：
S405、基于所述第一评估子模型获得用户的资质评分并显示所述资质评分；
S406、将所述资质评分加密发送至所述中心服务器，以触发所述中心服务器执行：基于所述第二评估子模型获得用户的第二个人资质评分；对比验证所述第一个人资质评分和所述第二个人资质评分，如果所述第一个人资质评分和所述第二个人资质评分符合预定规则，则将第一个人资质评分或所述第二个人资质评分存储至预先布置好的区块链中。
本实施例还提供了一种基于联邦学习的个人资质评估装置，该装置运行于智能终端。如图8所示的，该个人资质评估装置包括第二训练模块601和更新模块602，第二训练模块601和更新模块602分别对应实施本实施例中的方法步骤S401-S402，此处不再赘述。
对应的，可选的，本实施例中的个人资质评估装置还包括用于实现本实施例中的方法步骤S405-S406的相关功能模块。
随着新的用户数据的产生，已有的评估模型有可能已经不能实现对用户的个人资质的准确评估，因此，在执行资质评估前，有必要对模型的合格性进行检验，以决定选择已有的评估模型进行直接评估，或是选择对评估模型进行重新训练后再进行评估。
鉴于此，可选的，在执行步骤S403之前，还可包括如下步骤(未图示)：
S403、检验第一评估子模型是否合格。
具体地，智能终端从中心服务器同步模型容错率、AUC值和F1-SCORE，并计算第一评估子模型的评估数据，若第一评估子模型符合标准，则执行资质评估，否则，转入步骤S404。
S404、检验第二评估子模型是否合格。
具体地，中心服务器计算第二评估子模型的AUC值和F1-SCORE，并与预先设置的标准模型参数对比，若第二评估子模型符合标准，则将第二评估子模型发送给智能终端，智能终端执行资质评估。否则，进行新一轮的模型训练，以实现对评估模型的更新。
实施例存储介质
本实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储一 个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：
获取智能终端发送的第一评估子模型的模型参数，其中，所述第一评估子模型为所述智能终端基于智能终端上的经过预处理后的用户行为数据训练得到；
获取至少一个外部参与方发送的经过预处理后的外部用户数据，并基于所述外部用户数据训练得到第二评估子模型及其模型参数；
获取至少两个本地参与方发送的至少两个第三评估子模型的梯度，对获取到的至少两个第三评估子模型的梯度进行加权平均以生成平均梯度，基于所述平均梯度更新所述第三评估子模型的模型参数并将更新后的模型参数发送给各所述本地参与方以使得各所述本地参与方再次对所述第三评估模型进行再次训练，其中，所述第三评估模型为所述本地参与方基于预处理后的本地用户数据训练得到；
对所述第一评估子模型的模型参数、第二评估子模型的模型参数及第三评估子模型的模型参数进行整合以获得的整合后的模型参数，将整合后的模型参数分发给所述智能终端、所述本地参与方用于模型更新。
具体应用例
最后，本说明书还提供了一个具体的应用例，其应用发明的评估方法对贫困户的就业资质进行评估，其由本地参与方实施。
贫困户对象特征包括身份证号、姓名、年龄、性别等公共信息，健康状况、消费水平、受教育程度、收入情况等学习信息。其中公共信息所有参与方所共有的，学习信息交叉储存在不同参与方中。中心服务器协调各参与方训练模型，得到学习信息的特征数据。下面以内部数据分布式系统为例，介绍用户资质评分生成过程。
如图9所示的，使用本发明的评估方法对贫困户对象进行就业资质的部分流程如下：
数据准备
具体地，使用Kafka对本地的各分布式数据库，如Mysql、SQLServer、Oracle等。收集整合具有同一ID的用户数据项。随后，通过统一接口服务的方式开放 给Hadoop，用于数据消费。整合数据项包括贫困户ID、年龄、性别、收入等基本数据，历史订单的订单号、数量、产品名称等交易信息，医保单据的单据号、医院类型、金额、疾病名称等医疗信息以及训练数据的标签字段(如，符合就业扶持/不符合就业扶持)。
数据清洗
具体地，对于不同的特征项，通过求和、计数、取平均值整理数据信息，并统计缺失值比率。舍弃缺失率大于60％的特征项，对于离散型数据使用众数填补，对于连续型数据使用最近邻插值和平均插值填补。同时，使用隔离森林的方法进行离群值检测，按照10％的比率舍弃离群值。统计各特征项数据分布，选择合适的数据间隔，完成数据分箱。随后，计算特征WOE编码
Figure PCTCN2020135276-appb-000001
根据id值汇总整个数据。
特征工程
具体地，采用PCA主成分分析方法进行数据降维，旨在消除冗余特征解决多重共线问题，同时，较小的数据尺寸有助于数据可视化。采用SMOTE过采样方法进行负样本的数据平衡，以弥补负样本即不合格贫困户样本数过少带来的模型过拟合问题。
模型初始化
具体地，选取XGBoost模型作为贫困户职业资质评估模型，XGboost是Gradient Boosting Algorithms(GBM)的高级实现，XGboost具有自动集成的功能，可以防止模型过拟合，从而提高模型的泛化能力。XGBoost模型使用代价函数的一阶导数和二阶偏导，梯度下降更快更准，同时有利于损失函数计算和参数更新的解耦。
梯度计算
具体地，内部数据分布式系统内的模型执行一次前向传播，计算得到模型梯度
Figure PCTCN2020135276-appb-000002
加密上传至中心服务器。
参数更新
具体地，中心服务器接收各内部数据分布式系统的梯度，解密后汇总整合。根据设置的模型学习率η计算平均梯度，更新的模型参数
Figure PCTCN2020135276-appb-000003
随后同步至各内部数据分布式系统，重复若干次， 直至模型训练完成。
评分生成
具体地，特征项评分
Figure PCTCN2020135276-appb-000004
根据XGBoost模型参数，计算资质评分加权和
Figure PCTCN2020135276-appb-000005
根据资质评分情况，即可判定其是否需要进行就业扶持。
上文对本发明进行了足够详细的具有一定特殊性的描述。所属领域内的普通技术人员应该理解，实施例中的描述仅仅是示例性的，在不偏离本发明的真实精神和范围的前提下做出所有改变都应该属于本发明的保护范围。本发明所要求保护的范围是由所述的权利要求书进行限定的，而不是由实施例中的上述描述来限定的。

Claims (10)

  1. 一种基于联邦学习的个人资质评估方法，其运行于中心服务器端，其包括：
    获取智能终端发送的第一评估子模型的模型参数，其中，所述第一评估子模型为所述智能终端基于智能终端上的经过预处理后的用户行为数据训练得到；
    获取至少一个外部参与方发送的经过预处理后的外部用户数据，并基于所述外部用户数据训练得到第二评估子模型及其模型参数；
    获取至少两个本地参与方发送的至少两个第三评估子模型的梯度，对获取到的至少两个第三评估子模型的梯度进行加权平均以生成平均梯度，基于所述平均梯度更新所述第三评估子模型的模型参数并将更新后的模型参数发送给各所述本地参与方以使得各所述本地参与方再次对所述第三评估模型进行再次训练，其中，所述第三评估模型为所述本地参与方基于预处理后的本地用户数据训练得到；
    对所述第一评估子模型的模型参数、第二评估子模型的模型参数及第三评估子模型的模型参数进行整合以获得的整合后的模型参数，将整合后的模型参数分发给所述智能终端、所述本地参与方用于模型更新。
  2. 如权利要求1所述的个人资质评估方法，其特征在于，所述预处理操作包括：
    将原始的数值、字符串以及比率数值转化为适合模型输入的特征，对数据进行缺失值填充、离群值检测、数据分箱、特征编码、数据降维、数据平衡或样本对齐。
  3. 如权利要求2所述的个人资质评估方法，其特征在于：
    所述缺失值填充包括：舍弃缺失率超过预定阈值的数据，对离散型数据采用众数填充，对连续型数据采用最近邻差值或平均插值填充；
    所述离群值检测采用隔离森林法；
    所述特征编码采用WOE编码法；
    所述数据降维采用主成分分析法；
    所述数据平衡采用SMOTE过采样法。
  4. 如权利要求1所述的个人资质评估方法，其特征在于，其还包括：
    获取所述智能终端发送的经过加密后的用户的第一个人资质评分，所述第一个人资质评分由所述智能终端基于所述第一评估子模型获得；
    基于所述第二评估子模型获得用户的第二个人资质评分；
    对比验证所述第一个人资质评分和所述第二个人资质评分，如果所述第一个人资质评分和所述第二个人资质评分符合预定规则，则将第一个人资质评分或所述第二个人资质评分存储至预先布置好的区块链中。
  5. 一种基于联邦学习的个人资质评估装置，其运行于中心服务器端，其包括：
    第一获取模块，用于获取智能终端发送的第一评估子模型的模型参数，其中，所述第一评估子模型为所述智能终端基于智能终端上的经过预处理后的用户行为数据训练得到；
    第一训练模块，用于获取至少一个外部参与方发送的经过预处理后的外部用户数据，并基于所述外部用户数据训练得到第二评估子模型及其模型参数；
    梯度更新模块，用于获取至少两个本地参与方发送的至少两个第三评估子模型的梯度，对获取到的至少两个第三评估子模型的梯度进行加权平均以生成平均梯度，基于所述平均梯度更新所述第三评估子模型的模型参数并将更新后的模型参数发送给各所述本地参与方以使得各所述本地参与方再次对所述第三评估模型进行再次训练，其中，所述第三评估模型为所述本地参与方基于预处理后的本地用户数据训练得到；
    整合模块，用于对所述第一评估子模型的模型参数、第二评估子模型的模型参数及第三评估子模型的模型参数进行整合以获得的整合后的模型参数，将整合后的模型参数分发给所述智能终端、所述本地参与方用于模型更新。
  6. 一种基于联邦学习的个人资质评估方法，其运行于智能终端，其包括：
    基于智能终端上的经过预处理后的用户行为数据训练得到第一评估子模型，并将第一评估子模型的模型参数发送给中心服务器；
    接收中心服务器生成的整合后的模型参数，并基于整合后的模型参数对所述第一评估子模型进行更新，其中：
    所述中心服务器生成所述整合后的模型参数包括：
    获取至少一个外部参与方发送的经过预处理后的外部用户数据，并基于所述外部用户数据训练得到第二评估子模型及其模型参数；
    获取至少两个本地参与方发送的至少两个第三评估子模型的梯度，对获取到的至少两个第三评估子模型的梯度进行加权平均以生成平均梯度，基于所述平均梯度更新所述第三评估子模型的模型参数并将更新后的模型参数发送给各所述本地参与方以使得各所述本地参与方再次对所述第三评估模型进行再次训练，其中，所述第三评估模型为所述本地参与方基于预处理后的本地用户数据训练得到；
    对所述第一评估子模型的模型参数、第二评估子模型的模型参数及第三评估子模型的模型参数进行整合以获得所述整合后的模型参数。
  7. 一种基于联邦学习的个人资质评估装置，其运行于智能终端，其包括：
    第二训练模块，用于基于智能终端上的经过预处理后的用户行为数据训练得到第一评估子模型，并将第一评估子模型的模型参数发送给中心服务器；
    更新模块，用于接收中心服务器生成的整合后的模型参数，并基于整合后的模型参数对所述第一评估子模型进行更新，其中：
    所述中心服务器生成所述整合后的模型参数包括：
    获取至少一个外部参与方发送的经过预处理后的外部用户数据，并基于所述外部用户数据训练得到第二评估子模型及其模型参数；
    获取至少两个本地参与方发送的至少两个第三评估子模型的梯度，对获取到的至少两个第三评估子模型的梯度进行加权平均以生成平均梯度，基于所述平均梯度更新所述第三评估子模型的模型参数并将更新后的模型参数发送给各所述本地参与方以使得各所述本地参与方再次对所述第三评估模型进行再次训练，其中，所述第三评估模型为所述本地参与方基于预处理后的本地用户数据训练得到；
    对所述第一评估子模型的模型参数、第二评估子模型的模型参数及第三评估子模型的模型参数进行整合以获得所述整合后的模型参数。
  8. 如权利要求6所述的个人资质评估方法，其特征在于，其还包括：
    基于所述第一评估子模型获得用户的资质评分并显示所述资质评分；
    将所述资质评分加密发送至所述中心服务器，以触发所述中心服务器执行：基于所述第二评估子模型获得用户的第二个人资质评分；对比验证所述第一个人资质评分和所述第二个人资质评分，如果所述第一个人资质评分和所述第二个人资质评分符合预定规则，则将第一个人资质评分或所述第二个人资质评分存储至预先布置好的区块链中。
  9. 一种基于联邦学习的个人资质评估系统，其特征在于，所述个人资质评估系统包括智能终端、至少一个外部参与方、至少两个本地参与方及中心服务器端，其中：
    所述智能终端基于智能终端上的经过预处理后的用户行为数据训练得到第一评估子模型，并将第一评估子模型的模型参数发送给中心服务器端；
    所述外部参与方发送经过预处理后的外部用户数据给中心服务器端，所述中心服务器端基于所述外部用户数据训练得到第二评估子模型及其模型参数；
    所述本地参与方发送第三评估子模型的梯度给中心服务器端，所述中心服务器端对获取到的至少两个第三评估子模型的梯度进行加权平均以生成平均梯度，基于所述平均梯度更新所述第三评估子模型的模型参数并将更新后的模型参数发送给各所述本地参与方以使得各所述本地参与方对所述第三评估模型进行再次训练；
    所述中心服务器对所述第一评估子模型的模型参数、第二评估子模型的模型参数及第三评估子模型的模型参数进行整合以获得的整合后的模型参数，将整合后的模型参数分发给所述智能终端、所述本地参与方用于模型更新。
  10. 一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：
    获取智能终端发送的第一评估子模型的模型参数，其中，所述第一评估子模型为所述智能终端基于智能终端上的经过预处理后的用户行为数据训练得到；
    获取至少一个外部参与方发送的经过预处理后的外部用户数据，并基于所述外部用户数据训练得到第二评估子模型及其模型参数；
    获取至少两个本地参与方发送的至少两个第三评估子模型的梯度，对获取 到的至少两个第三评估子模型的梯度进行加权平均以生成平均梯度，基于所述平均梯度更新所述第三评估子模型的模型参数并将更新后的模型参数发送给各所述本地参与方以使得各所述本地参与方再次对所述第三评估模型进行再次训练，其中，所述第三评估模型为所述本地参与方基于预处理后的本地用户数据训练得到；
    对所述第一评估子模型的模型参数、第二评估子模型的模型参数及第三评估子模型的模型参数进行整合以获得的整合后的模型参数，将整合后的模型参数分发给所述智能终端、所述本地参与方用于模型更新。
PCT/CN2020/135276 2020-09-17 2020-12-10 基于联邦学习的个人资质评估方法、装置及系统及存储介质 WO2022057108A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010979864.8 2020-09-17
CN202010979864.8A CN112116103B (zh) 2020-09-17 2020-09-17 基于联邦学习的个人资质评估方法、装置及系统及存储介质

Publications (1)

Publication Number Publication Date
WO2022057108A1 true WO2022057108A1 (zh) 2022-03-24

Family

ID=73799839

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/135276 WO2022057108A1 (zh) 2020-09-17 2020-12-10 基于联邦学习的个人资质评估方法、装置及系统及存储介质

Country Status (2)

Country Link
CN (1) CN112116103B (zh)
WO (1) WO2022057108A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116415199A (zh) * 2023-04-13 2023-07-11 广东铭太信息科技有限公司 基于审计中间表的业务数据离群分析方法
CN117972793A (zh) * 2024-03-28 2024-05-03 中电科网络安全科技股份有限公司 一种纵向联邦树模型训练方法、装置、设备及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113379708A (zh) * 2021-02-26 2021-09-10 山东大学 一种基于联邦学习的空调外机外观检测方法及系统
CN113159279B (zh) * 2021-03-18 2023-06-23 中国地质大学（北京） 基于神经网络与深度学习的跨域知识协助方法与系统
CN113191090A (zh) * 2021-05-31 2021-07-30 中国银行股份有限公司 基于区块链的联邦建模方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111008709A (zh) * 2020-03-10 2020-04-14 支付宝(杭州)信息技术有限公司 联邦学习、资料风险评估方法、装置和系统
CN111461874A (zh) * 2020-04-13 2020-07-28 浙江大学 一种基于联邦模式的信贷风险控制系统及方法
CN111582508A (zh) * 2020-04-09 2020-08-25 上海淇毓信息科技有限公司 一种基于联邦学习框架的策略制定方法、装置和电子设备
CN111652383A (zh) * 2020-06-04 2020-09-11 深圳前海微众银行股份有限公司 数据贡献度评估方法、装置、设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106384197A (zh) * 2016-09-13 2017-02-08 北京协力筑成金融信息服务股份有限公司 一种基于大数据的业务质量评估方法和装置
US11010637B2 (en) * 2019-01-03 2021-05-18 International Business Machines Corporation Generative adversarial network employed for decentralized and confidential AI training
US20200202243A1 (en) * 2019-03-05 2020-06-25 Allegro Artificial Intelligence Ltd Balanced federated learning
CN110263921B (zh) * 2019-06-28 2021-06-04 深圳前海微众银行股份有限公司 一种联邦学习模型的训练方法及装置
CN110610242B (zh) * 2019-09-02 2023-11-14 深圳前海微众银行股份有限公司 一种联邦学习中参与者权重的设置方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111008709A (zh) * 2020-03-10 2020-04-14 支付宝(杭州)信息技术有限公司 联邦学习、资料风险评估方法、装置和系统
CN111582508A (zh) * 2020-04-09 2020-08-25 上海淇毓信息科技有限公司 一种基于联邦学习框架的策略制定方法、装置和电子设备
CN111461874A (zh) * 2020-04-13 2020-07-28 浙江大学 一种基于联邦模式的信贷风险控制系统及方法
CN111652383A (zh) * 2020-06-04 2020-09-11 深圳前海微众银行股份有限公司 数据贡献度评估方法、装置、设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116415199A (zh) * 2023-04-13 2023-07-11 广东铭太信息科技有限公司 基于审计中间表的业务数据离群分析方法
CN116415199B (zh) * 2023-04-13 2023-10-20 广东铭太信息科技有限公司 基于审计中间表的业务数据离群分析方法
CN117972793A (zh) * 2024-03-28 2024-05-03 中电科网络安全科技股份有限公司 一种纵向联邦树模型训练方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN112116103B (zh) 2024-07-09
CN112116103A (zh) 2020-12-22

Similar Documents

Publication Publication Date Title
WO2022057108A1 (zh) 基于联邦学习的个人资质评估方法、装置及系统及存储介质
CN111461874A (zh) 一种基于联邦模式的信贷风险控制系统及方法
CN110298547A (zh) 风险评估方法、装置、计算机装置及存储介质
CN110009475A (zh) 风险稽核监察方法、装置、计算机设备及存储介质
CN108596443A (zh) 一种基于多维度数据的用电客户信用等级评价方法
CN107424070A (zh) 一种基于机器学习的贷款用户信用评级方法及系统
CN112784994A (zh) 基于区块链的联邦学习数据参与方贡献值计算和激励方法
CN110399533A (zh) 资金流向查询方法及装置
CN109242673A (zh) 鹰眼反欺诈大数据风控评估系统
CN112418520A (zh) 一种基于联邦学习的信用卡交易风险预测方法
CN106127634A (zh) 一种基于朴素贝叶斯模型的学生学业成绩预测方法及系统
CN107993142A (zh) 一种金融反欺诈风险控制系统
CN107527240A (zh) 一种运营商行业产品口碑营销效果鉴定系统及方法
CN109165337A (zh) 一种基于知识图谱构建招投标领域关联分析的方法及系统
CN110659976A (zh) 基于区块链的企业技术服务征信系统及其管理方法
WO2021042541A1 (zh) 新零售模式下的商品导购方法、装置、设备及存储介质
CN109670947A (zh) 一种基于专利申请分期付款业务的专利运营平台系统及使用方法
CN113902037A (zh) 非正常银行账户识别方法、系统、电子设备及存储介质
Zhang et al. Service failure risk assessment and service improvement of self-service electric vehicle
CN206497498U (zh) 一种基于企业征信业务的信用评级信息数据集成系统
Elezaj et al. Big data in e-government environments: Albania as a case study
CN108846739A (zh) 一种债权债务应用方法及系统
CN115082203A (zh) 生息方案推送方法、装置、电子设备及存储介质
CN112686751B (zh) 数据管理系统及技术交易平台
CN117079772A (zh) 一种基于社区矫正对象心理评估分析的智慧矫正系统及终端

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20953964

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20953964

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 20953964

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 20.09.2023)

122 Ep: pct application non-entry in european phase

Ref document number: 20953964

Country of ref document: EP

Kind code of ref document: A1