WO2021073201A1 - 基于分布式分发的数据处理方法、装置及相关设备 - Google Patents

基于分布式分发的数据处理方法、装置及相关设备 Download PDF

Info

Publication number
WO2021073201A1
WO2021073201A1 PCT/CN2020/105941 CN2020105941W WO2021073201A1 WO 2021073201 A1 WO2021073201 A1 WO 2021073201A1 CN 2020105941 W CN2020105941 W CN 2020105941W WO 2021073201 A1 WO2021073201 A1 WO 2021073201A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
processing
combined
encrypted data
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2020/105941
Other languages
English (en)
French (fr)
Inventor
曹敏
方良秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
OneConnect Smart Technology Co Ltd
Original Assignee
OneConnect Smart Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by OneConnect Smart Technology Co Ltd filed Critical OneConnect Smart Technology Co Ltd
Publication of WO2021073201A1 publication Critical patent/WO2021073201A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Definitions

  • This application relates to the field of distributed technology of blockchain, and in particular to a data processing method, device and related equipment based on distributed distribution.
  • valuation plays an important role in linking the past and the next.
  • the functions and data of the existing valuation processing system are relatively similar. Starting from basic data and transaction data, the functions include basic settings, file import, transaction data, generating vouchers, generating valuation tables, and finally generating net asset values.
  • the inventor realized that all the data runs on a server, the server requirements are very high, the cost is expensive, and the evaluation results can be obtained after the data of multiple accounts are processed, which is inefficient and slow, which extends the working time of the fund accountant. . Moreover, once the valuation process of a certain data is blocked, the valuation of other data will be affected.
  • the first aspect of the present application provides a data processing method based on distributed distribution, and the method includes:
  • an elegant shutdown mechanism and an isolation layer mechanism are used to control the services provided by the multiple processing servers.
  • a second aspect of the present application provides a control server, wherein the control server includes a processor and a memory, and the processor is configured to execute at least one computer-readable instruction stored in the memory to implement the following steps:
  • an elegant shutdown mechanism and an isolation layer mechanism are used to control the services provided by the multiple processing servers.
  • a third aspect of the present application provides a computer-readable storage medium on which at least one computer-readable instruction is stored, wherein the at least one computer-readable instruction implements the following steps when the at least one computer-readable instruction is executed by a processor:
  • an elegant shutdown mechanism and an isolation layer mechanism are used to control the services provided by the multiple processing servers.
  • a fourth aspect of the present application provides a data processing device, the data processing device includes:
  • the acquisition module is used to acquire the to-be-processed data that needs to be evaluated
  • the construction module is used to construct multiple combined data according to the to-be-processed data
  • Encryption module used to encrypt the multiple combined data using DH key exchange protocol/algorithm to obtain multiple combined encrypted data
  • a distribution module configured to use load balancing technology to distribute the multiple combined encrypted data to multiple processing servers
  • the first control module is configured to control the multiple processing servers to use a multi-thread mechanism to perform an evaluation processing flow on the multiple combined encrypted data;
  • the second control module is configured to use an elegant shutdown mechanism and an isolation layer mechanism to control the services provided by the plurality of processing servers during the process of the evaluation processing process performed by the plurality of processing servers.
  • this application can be applied to fields that require data valuation processing, such as smart government affairs, so as to promote the development of smart cities.
  • load balancing technology to distribute the plurality of combined encrypted data to a plurality of processing servers
  • control the plurality of processing servers to use a multi-threading mechanism to perform estimation on the plurality of combined encrypted data
  • an elegant shutdown mechanism and an isolation layer mechanism are used to control the services provided by the multiple processing servers.
  • a distributed distribution method is used to distribute data
  • a multi-threaded parallel processing evaluation process is used
  • data is encrypted before data distribution
  • an elegant shutdown mechanism and an isolation layer mechanism are used in the evaluation process.
  • Fig. 1 is a flowchart of a preferred embodiment of a data processing method based on distributed distribution disclosed in the present application.
  • Fig. 2 is a structural diagram of a valuation system disclosed in this application.
  • Fig. 3 is a functional module diagram of a preferred embodiment of a data processing device disclosed in the present application.
  • FIG. 4 is a schematic structural diagram of a control server in a preferred embodiment of a data processing method based on distributed distribution according to the present application.
  • Fig. 1 is a flowchart of a preferred embodiment of a data processing method based on distributed distribution disclosed in the present application. Among them, according to different needs, the order of the steps in the flowchart can be changed, and some steps can be omitted.
  • the control server obtains the to-be-processed data that needs to be evaluated.
  • control server may refer to a computer system that can provide services to other devices (such as electronic devices) in the network.
  • a personal computer can provide a File Transfer Protocol (FTP) service externally, it can also be called a server.
  • FTP File Transfer Protocol
  • the server refers to certain high-performance computers that can provide services to the outside world through the network. Compared with ordinary personal computers, they have higher requirements in terms of stability, security, and performance. Therefore, in the CPU , Chipset, memory, disk system, network and other hardware are different from ordinary personal computers.
  • asset valuations at the trading account and financial account levels can provide underlying data support for performance evaluation based on investment managers.
  • the valuation processing of multi-layer trading accounts and financial accounts can fully support investment accounting and valuation.
  • the valuation data is prepared to synchronize the data of each interface to the business table.
  • the data in the business table can be divided into transaction data and financial data, and the transaction data is the peripheral system Provide data support, financial data to generate valuation tables, and performance compensation data.
  • the data to be processed that needs to be evaluated is mainly for transaction data and financial data.
  • the control server constructs multiple combined data according to the data to be processed.
  • the data to be processed are all raw data, and there are multiple categories in these raw data. It is necessary to construct combined data according to these categories, and perform evaluation processing in the form of combined data.
  • the constructing multiple combined data according to the to-be-processed data includes:
  • the data to be processed is classified to obtain a plurality of combined data.
  • the data to be processed carries a data identifier
  • the data identifier is used to uniquely identify the identity of the data to be processed, for example, the data identifier is a shareholder code, a capital account number, and the like.
  • the data identifier of the data to be processed the data to be processed with the same data identifier can be divided into one category, and a plurality of different combined data can be obtained according to different categories. Among them, each combined data contains both transaction data and financial data.
  • the constructing multiple combined data according to the to-be-processed data includes:
  • the preset classification algorithm may include: K-means clustering analysis algorithm, a text classification method based on feature voting, and the like.
  • K-means clustering analysis algorithm the problems in the form of this text can be clustered and analyzed, so that the problems in multiple problem lists can be classified, so that the problems with the same or similar meaning are classified into the same category, and the problems with different meanings are classified into the same category.
  • the K-means clustering analysis algorithm and the feature voting-based text classification method are all existing technologies, and will not be described in detail here.
  • the data belonging to the same category in the to-be-processed data can be divided into one category by a preset classification algorithm, and the to-be-processed data included in each category is determined as a combined data.
  • the method further includes:
  • the matching degree is greater than the preset matching degree threshold, the combined data corresponding to the plurality of preliminary keywords is determined as business data.
  • a preset Chinese word segmentation algorithm may be used to perform Chinese word segmentation on the combined data, such as a natural language processing (NLP) algorithm to perform Chinese word segmentation on the combined data.
  • NLP natural language processing
  • the combined data is "transaction capital is 100 yuan”
  • the word segmentation is performed according to the preset Chinese word segmentation algorithm to "transaction/funds/ ⁇ /100/yuan”.
  • the keywords are "transaction”, “funds”, “being”, “100”, “yuan”.
  • multiple business keywords can be preset, such as capital, repurchase, loan, etc.
  • the matching degree between the plurality of preliminary keywords and the preset plurality of business keywords can be calculated, and if the matching degree is greater than the preset matching degree threshold, it can be filtered out, and the plurality of preliminary keywords The corresponding combined data is determined as business data.
  • one combined data can correspond to multiple business data, that is, the combined data is associated with multiple businesses.
  • the business table in the business data landing system is the transaction layer data, and a copy of the data is copied to the financial table, which is the financial layer data.
  • Each combined data has both transaction data and financial data.
  • the control server uses the DH key exchange protocol/algorithm to encrypt the multiple combined data to obtain multiple combined encrypted data.
  • the DH key exchange protocol/algorithm (Diffie-Hellman Key Exchange/Agreement Algorithm) can generate a key, and use the key to encrypt the multiple combined data to obtain multiple combined encrypted data, so that the subsequent distribution When combining encrypted data, the security of the data can be ensured.
  • the control server adopts a load balancing technology to distribute the multiple combined encrypted data to multiple processing servers.
  • multiple machines are used to deal with this large-scale application scenario, that is, a distributed system architecture is used to split the business vertically or horizontally, and the system is redundant through the distributed architecture to improve the availability of the system. ; Modularization of the system can improve the reuse of modules, and at the same time the scalability of the system is higher.
  • the software service module is split, development and release can be parallel, which can increase the speed of development and release.
  • FIG. 2 is a structural diagram of a valuation system disclosed in this application.
  • control server can distribute combined data to multiple processing servers (such as processing server 1, processing server 2, processing server 3...processing server n), and the multiple processing servers can perform evaluation in parallel.
  • processing server does not affect each other and is independent of each other when processing the combined encrypted data.
  • load balancing technology to distribute the multiple combined encrypted data to multiple processing servers includes:
  • the combined encrypted data on the multiple processing servers reaches load balance and the combined encrypted data on each processing server does not exceed the maximum processing quantity of the processing server.
  • the basic idea of the load balancing technology is to ensure that the combined encrypted data processed by each processing server is in a balanced state, that is, there will be no excessive load on a certain processing server and an underload of a certain processing server.
  • the first quantity of a plurality of combined encrypted data and the second quantity of the plurality of processing servers may be counted, and the modulo operation and the remainder operation may be performed on the first quantity and the second quantity , Obtain the modulus and the remainder. Assuming that the first number is 100 and the second number is 15, then the modulus is 6, and the remainder is 10. Further, it can be distributed in two times. The first time each processing server is Distribute 6 combined encrypted data. For the second time, according to the maximum processing quantity of each processing server, 10 processing servers that do not exceed the maximum processing quantity can be selected from the 15 processing servers, and the remaining 10 processing servers can be combined The encrypted data is distributed to the 10 processing servers.
  • the combined encrypted data on the multiple processing servers achieves load balance and the combined encrypted data on each processing server does not exceed the processing server’s Maximum processing quantity, which is conducive to the rational use of resources, and is conducive to maintaining the stability and availability of the entire valuation system.
  • the control server controls the multiple processing servers to use a multi-thread mechanism to perform an evaluation processing procedure on the multiple combined encrypted data.
  • the multiple processing servers can be controlled to use a multi-thread mechanism to perform the evaluation processing flow on the multiple combined encrypted data.
  • a multi-thread mechanism to enable multiple processing servers to execute the evaluation process in parallel.
  • the second is to use a multi-threading mechanism to make multiple combined encrypted data processed in parallel;
  • the third is to use a multi-threaded mechanism to synchronize multiple combined encrypted data. Perform the same valuation steps.
  • controlling the multiple processing servers to use a multithreading mechanism to perform an evaluation processing procedure on the multiple combined encrypted data includes:
  • the processing server is controlled to use the multi-threading mechanism to process multiple combined encrypted data distributed to the processing server in parallel and process the same evaluation steps of the multiple combined encrypted data in parallel.
  • a multithreading mechanism is used to control the multiple processing servers to execute the evaluation processing flow in parallel, that is, multiple processing servers simultaneously execute the evaluation processing flow simultaneously, and the general evaluation flow is: Data preparation ⁇ position calculation ⁇ liquidation ⁇ start valuation, the valuation status is switched to valuation ⁇ billing ⁇ financial preprocessing ⁇ carry-over ⁇ certificate preparation ⁇ valuation, and the valuation is completed.
  • the resource utilization rate of the valuation system can be effectively improved, and at the same time, the completion time of the valuation process can be shortened, and the valuation efficiency can be improved.
  • the control server adopts an elegant shutdown mechanism and an isolation layer mechanism to control the services provided by the multiple processing servers during the process of the evaluation processing flow of the multiple processing servers.
  • an elegant shutdown mechanism and an isolation layer mechanism to control the services provided by the multiple processing servers includes:
  • the graceful shutdown mechanism is adopted to transfer the request currently being processed to the processing server with the least current processing pressure, and the new request is controlled to be distributed among the multiple processing servers except for all On the remaining processing servers other than the target processing server;
  • an isolation layer mechanism is used to control the authority of multiple services provided by the processing server.
  • the graceful shutdown mechanism is adopted on the multiple processing servers.
  • the service is restarted, if there are already requests processed on the service, the request is retransmitted to another server to ensure that each request will not be processed at any time. Loss, to ensure data consistency and idempotence.
  • the isolation layer mechanism is a kind of domain modeling thought, which is an object-oriented layered architecture thought.
  • the isolation layer mechanism is adopted to add an isolation layer to each service to control the access authority of the service. Only allowed services can access each other, thereby ensuring data security.
  • a distributed distribution method is used to distribute data
  • a multi-threaded parallel processing evaluation process is used
  • data is encrypted before data distribution
  • an elegant shutdown mechanism is used in the evaluation process.
  • the isolation layer mechanism it can ensure the security of the data while ensuring the high availability of the service, and at the same time, it also improves the evaluation efficiency.
  • this application can be applied to fields that require data valuation processing, such as smart government affairs, so as to promote the development of smart cities.
  • Fig. 3 is a functional module diagram of a preferred embodiment of a data processing device disclosed in the present application.
  • the data processing device runs in a control server.
  • the data processing device may include multiple functional modules composed of program code segments.
  • the program code of each program segment in the data processing device may be stored in a memory and executed by at least one processor to execute part or all of the steps in the data processing method based on distributed distribution described in FIG. 1.
  • the data processing device can be divided into multiple functional modules according to the functions it performs.
  • the functional modules may include: an acquisition module 301, a construction module 302, an encryption module 303, a distribution module 304, a first control module 305, and a second control module 306.
  • the module referred to in this application refers to a series of computer-readable instruction segments that can be executed by at least one processor and can complete fixed functions, and are stored in a memory.
  • the obtaining module 301 is used to obtain the to-be-processed data that needs to be evaluated.
  • asset valuations at the trading account and financial account levels can provide underlying data support for performance evaluation based on investment managers.
  • the valuation processing of multi-layer trading accounts and financial accounts can fully support investment accounting and valuation.
  • the valuation data is prepared to synchronize the data of each interface to the business table.
  • the data in the business table can be divided into transaction data and financial data, and the transaction data is the peripheral system Provide data support, financial data to generate valuation tables, and performance compensation data.
  • the data to be processed that needs to be evaluated is mainly for transaction data and financial data.
  • the construction module 302 is configured to construct multiple combined data according to the data to be processed.
  • the data to be processed are all raw data, and there are multiple categories in these raw data. It is necessary to construct combined data according to these categories, and perform evaluation processing in the form of combined data.
  • the construction module 302 constructs a plurality of combined data according to the data to be processed includes:
  • the data to be processed is classified to obtain a plurality of combined data.
  • the data to be processed carries a data identifier
  • the data identifier is used to uniquely identify the identity of the data to be processed, for example, the data identifier is a shareholder code, a capital account number, and the like.
  • the data identifier of the data to be processed the data to be processed with the same data identifier can be divided into one category, and a plurality of different combined data can be obtained according to different categories. Among them, each combined data contains both transaction data and financial data.
  • the construction module 302 constructs a plurality of combined data according to the data to be processed includes:
  • the preset classification algorithm may include: K-means clustering analysis algorithm, a text classification method based on feature voting, and the like.
  • K-means clustering analysis algorithm the problems existing in the form of this text can be clustered and analyzed, so that the problems in multiple problem lists can be classified, so that the problems with the same or similar meaning are classified into the same category, and the problems with different meanings Into different classes.
  • the K-means clustering analysis algorithm and the text classification method based on feature voting are all existing technologies, and will not be described in detail here.
  • the data belonging to the same category in the to-be-processed data can be divided into one category by a preset classification algorithm, and the to-be-processed data included in each category is determined as a combined data.
  • the encryption module 303 is configured to use the DH key exchange protocol/algorithm to encrypt the multiple combined data to obtain multiple combined encrypted data.
  • the DH key exchange protocol/algorithm (Diffie-Hellman Key Exchange/Agreement Algorithm) can generate a key, and use the key to encrypt the multiple combined data to obtain multiple combined encrypted data, so that the subsequent distribution When combining encrypted data, the security of the data can be ensured.
  • the distribution module 304 is configured to use load balancing technology to distribute the multiple combined encrypted data to multiple processing servers.
  • multiple machines are used to deal with this large-scale application scenario, that is, a distributed system architecture is used to split the business vertically or horizontally, and the system is redundant through the distributed architecture to improve the availability of the system. ; Modularization of the system can improve the reuse of modules, and at the same time the scalability of the system is higher.
  • the software service module is split, development and release can be parallel, which can increase the speed of development and release.
  • FIG. 2 is a structural diagram of a valuation system disclosed in this application.
  • control server can distribute combined data to multiple processing servers (such as processing server 1, processing server 2, processing server 3...processing server n), and the multiple processing servers can perform evaluation in parallel.
  • processing server does not affect each other and is independent of each other when processing the combined encrypted data.
  • the distribution module 304 adopts a load balancing technology to distribute the multiple combined encrypted data to multiple processing servers including:
  • the combined encrypted data on the multiple processing servers reaches load balance and the combined encrypted data on each processing server does not exceed the maximum processing quantity of the processing server.
  • the basic idea of the load balancing technology is to ensure that the combined encrypted data processed by each processing server is in a balanced state, that is, there will be no excessive load on a certain processing server and an underload of a certain processing server.
  • the first quantity of a plurality of combined encrypted data and the second quantity of the plurality of processing servers may be counted, and the modulo operation and the remainder operation may be performed on the first quantity and the second quantity , Obtain the modulus and the remainder. Assuming that the first number is 100 and the second number is 15, then the modulus is 6, and the remainder is 10. Further, it can be distributed in two times. The first time each processing server is Distribute 6 combined encrypted data. For the second time, according to the maximum processing quantity of each processing server, 10 processing servers that do not exceed the maximum processing quantity can be selected from the 15 processing servers, and the remaining 10 processing servers can be combined The encrypted data is distributed to the 10 processing servers.
  • the combined encrypted data on the multiple processing servers achieves load balance and the combined encrypted data on each processing server does not exceed the processing server’s
  • the maximum number of processing which is conducive to the rational use of resources, is conducive to maintaining the stability and availability of the entire valuation system.
  • the first control module 305 is configured to control the multiple processing servers to use a multi-thread mechanism to perform an evaluation processing procedure on the multiple combined encrypted data.
  • the multiple processing servers can be controlled to use a multi-thread mechanism to perform the evaluation processing flow on the multiple combined encrypted data.
  • a multi-thread mechanism to enable multiple processing servers to execute the evaluation process in parallel.
  • the second is to use a multi-threading mechanism to make multiple combined encrypted data processed in parallel;
  • the third is to use a multi-threaded mechanism to synchronize multiple combined encrypted data. Perform the same valuation steps.
  • the first control module 305 controls the multiple processing servers to use a multi-thread mechanism to perform an evaluation process on the multiple combined encrypted data includes:
  • the processing server is controlled to use the multi-threading mechanism to process multiple combined encrypted data distributed to the processing server in parallel and process the same evaluation steps of the multiple combined encrypted data in parallel.
  • a multithreading mechanism is used to control the multiple processing servers to execute the evaluation processing flow in parallel, that is, multiple processing servers simultaneously execute the evaluation processing flow simultaneously, and the general evaluation flow is: Data preparation ⁇ position calculation ⁇ liquidation ⁇ start valuation, the valuation status is switched to valuation ⁇ billing ⁇ financial preprocessing ⁇ carry-over ⁇ certificate preparation ⁇ valuation, and the valuation is completed.
  • the resource utilization rate of the valuation system can be effectively improved, and at the same time, the completion time of the valuation process can be shortened, and the valuation efficiency can be improved.
  • the second control module 306 is configured to use an elegant shutdown mechanism and an isolation layer mechanism to control the services provided by the multiple processing servers during the evaluation process of the multiple processing servers.
  • the second control module 306 adopting an elegant shutdown mechanism and an isolation layer mechanism to control the services provided by the multiple processing servers includes:
  • the graceful shutdown mechanism is adopted to transfer the request currently being processed to the processing server with the least current processing pressure, and the new request is controlled to be distributed among the multiple processing servers except for all On the remaining processing servers other than the target processing server;
  • an isolation layer mechanism is used to control the authority of multiple services provided by the processing server.
  • the graceful shutdown mechanism is adopted on the multiple processing servers.
  • the service is restarted, if there are already requests processed on the service, the request is retransmitted to another server to ensure that each request will not be processed at any time. Loss, to ensure data consistency and idempotence.
  • the isolation layer mechanism is a kind of domain modeling thought, which is an object-oriented layered architecture thought.
  • the isolation layer mechanism is adopted to add an isolation layer to each service to control the access authority of the service. Only allowed services can access each other, thereby ensuring data security.
  • the data processing device further includes:
  • the word segmentation module is used to perform Chinese word segmentation on the combined data using a preset Chinese word segmentation algorithm for each of the combined data to obtain a plurality of preliminary keywords;
  • a calculation module for calculating the matching degree between the plurality of preliminary keywords and the plurality of preset business keywords
  • the determining module is configured to determine the combined data corresponding to the plurality of preliminary keywords as business data if the matching degree is greater than a preset matching degree threshold.
  • a preset Chinese word segmentation algorithm may be used to perform Chinese word segmentation on the combined data, such as a natural language processing (NLP) algorithm to perform Chinese word segmentation on the combined data.
  • NLP natural language processing
  • the combined data is "transaction capital is 100 yuan”
  • the word segmentation is performed according to the preset Chinese word segmentation algorithm to "transaction/funds/ ⁇ /100/yuan”, multiple preliminary keywords
  • the keywords are "transaction”, “funds”, “being”, “100”, “yuan”.
  • multiple business keywords can be preset, such as capital, repurchase, loan, etc.
  • the matching degree between the plurality of preliminary keywords and the preset plurality of business keywords can be calculated, and if the matching degree is greater than the preset matching degree threshold, it can be filtered out, and the plurality of preliminary keywords The corresponding combined data is determined as business data.
  • one combined data can correspond to multiple business data, that is, the combined data is associated with multiple businesses.
  • the business table in the business data landing system is the transaction layer data, and a copy of the data is copied to the financial table, which is the financial layer data.
  • Each combined data has both transaction data and financial data.
  • the to-be-processed data that needs to be evaluated can be obtained first, based on the to-be-processed data, a plurality of combined data are constructed, and the DH key exchange protocol/algorithm is used to compare the multiple data. Encrypt multiple combined data to obtain multiple combined encrypted data. Further, using load balancing technology, distribute the multiple combined encrypted data to multiple processing servers, and control the multiple processing servers to use a multi-threaded mechanism for the A plurality of combined encrypted data executes the evaluation processing flow, and further, in the process of the evaluation processing flow of the plurality of processing servers, an elegant shutdown mechanism and an isolation layer mechanism are used to provide services to the plurality of processing servers Take control.
  • a distributed distribution method is used to distribute data
  • a multi-threaded parallel processing evaluation process is used
  • data is encrypted before data distribution
  • an elegant shutdown mechanism and an isolation layer mechanism are used in the evaluation process.
  • FIG. 4 is a schematic structural diagram of a control server in a preferred embodiment of a data processing method based on distributed distribution according to the present application.
  • the control server 4 includes a memory 41, at least one processor 42, a computer program 43 that is stored in the memory 41 and can run on the at least one processor 42, and at least one communication bus 44.
  • FIG. 4 is only an example of the control server 4, and does not constitute a limitation on the control server 4. It may include more or fewer components than shown in the figure, or combine certain components. Or different components, for example, the control server 4 may also include input and output devices, network access devices, and so on.
  • the control server 4 may refer to a computer system that can provide services to other devices (such as electronic devices) in the network. If a personal computer can provide a File Transfer Protocol (FTP) service externally, it can also be called a server. In a narrow sense, the server refers to certain high-performance computers that can provide services to the outside world through the network. Compared with ordinary personal computers, they have higher requirements in terms of stability, security, and performance. Therefore, in the CPU , Chipset, memory, disk system, network and other hardware are different from ordinary personal computers.
  • FTP File Transfer Protocol
  • the at least one processor 42 may be a central processing unit (Central Processing Unit, CPU), or other general-purpose processors, digital signal processors (Digital Signal Processors, DSPs), and application specific integrated circuits (ASICs). ), Field-Programmable Gate Array (FPGA) or other programmable logic devices, discrete gates or transistor logic devices, discrete hardware components, etc.
  • the processor 42 can be a microprocessor or the processor 42 can also be any conventional processor, etc.
  • the processor 42 is the control center of the control server 4, and is connected to the entire control server 4 through various interfaces and lines. Parts.
  • the memory 41 may be used to store the computer program 43 and/or modules/units.
  • the processor 42 runs or executes the computer programs and/or modules/units stored in the memory 41 and calls the computer programs and/or modules/units stored in the memory 41.
  • the data in 41 realizes various functions of the control server 4.
  • the memory 41 may mainly include a program storage area and a data storage area, where the program storage area may store an operating system, an application program required by at least one function (such as a sound playback function, an image playback function, etc.), etc.; the storage data area may Data (such as audio data) and the like created according to the use of the control server 4 are stored.
  • the memory 41 may include volatile and non-volatile memory, such as random access memory (RAM), hard disk, internal memory, plug-in hard disk, smart media card (SMC), and security A digital (Secure Digital, SD) card, a flash card (Flash Card), at least one magnetic disk storage device, a flash memory device, or other computer-readable storage media that can be used to carry or store data.
  • volatile and non-volatile memory such as random access memory (RAM), hard disk, internal memory, plug-in hard disk, smart media card (SMC), and security
  • a digital (Secure Digital, SD) card such as a flash card (Flash Card), at least one magnetic disk storage device, a flash memory device, or other computer-readable storage media that can be used to carry or store data.
  • the computer-readable storage medium may be non-volatile or volatile.
  • the memory 41 in the control server 4 stores multiple instructions to implement a data processing method based on distributed distribution, and the processor 42 can execute the multiple instructions to achieve:
  • an elegant shutdown mechanism and an isolation layer mechanism are used to control the services provided by the multiple processing servers.
  • the to-be-processed data that needs to be evaluated can be obtained first, a plurality of combined data are constructed according to the to-be-processed data, and the DH key exchange protocol/algorithm is used to compare the multiple data. Encrypt multiple combined data to obtain multiple combined encrypted data. Further, using load balancing technology, distribute the multiple combined encrypted data to multiple processing servers, and control the multiple processing servers to use a multi-threaded mechanism for the A plurality of combined encrypted data executes the evaluation processing flow, and further, in the process of the evaluation processing flow of the plurality of processing servers, an elegant shutdown mechanism and an isolation layer mechanism are used to provide services to the plurality of processing servers Take control.
  • a distributed distribution method is used to distribute data
  • a multi-threaded parallel processing evaluation process is used
  • data is encrypted before data distribution
  • an elegant shutdown mechanism and an isolation layer mechanism are used in the evaluation process.
  • the integrated modules/units of the control server 4 are implemented in the form of software functional units and sold or used as independent products, they can be stored in a computer readable storage medium.
  • the present application implements all or part of the processes in the above-mentioned embodiments and methods, and can also be completed by instructing relevant hardware through a computer program.
  • the computer program can be stored in a computer-readable storage medium. When the program is executed by the processor, it can implement the steps of the foregoing method embodiments.
  • the computer program includes computer-readable instruction code, and the computer-readable instruction code may be in the form of source code, object code, executable file, or some intermediate form.
  • the computer-readable medium may include: any entity or device capable of carrying the computer-readable instruction code, recording medium, U disk, mobile hard disk, magnetic disk, optical disk, computer memory, and read-only memory (ROM, Read-Only Memory).
  • the computer-readable storage medium may mainly include a storage program area and a storage data area, where the storage program area may store an operating system, an application program required by at least one function, etc.; the storage data area may store Data created by the use of nodes, etc.
  • the blockchain referred to in this application is a new application mode of computer technology such as distributed data storage, point-to-point transmission, consensus mechanism, and encryption algorithm.
  • Blockchain essentially a decentralized database, is a series of data blocks associated with cryptographic methods. Each data block contains a batch of network transaction information for verification. The validity of the information (anti-counterfeiting) and the generation of the next block.
  • the blockchain can include the underlying platform of the blockchain, the platform product service layer, and the application service layer.
  • This application can be used in many general-purpose or special-purpose computer system environments or configurations. For example: personal computers, server computers, handheld devices or portable devices, tablet devices, multi-processor systems, microprocessor-based systems, set-top boxes, programmable consumer electronic devices, network PCs, small computers, large computers, including Distributed computing environment of any of the above systems or equipment, etc.
  • This application may be described in the general context of computer-executable instructions executed by a computer, such as a program module.
  • program modules include routines, programs, objects, components, data structures, etc. that perform specific tasks or implement specific abstract data types.
  • This application can also be practiced in distributed computing environments, in which tasks are performed by remote processing devices connected through a communication network. In a distributed computing environment, program modules can be located in local and remote computer storage media including storage devices.
  • modules described as separate components may or may not be physically separated, and the components displayed as modules may or may not be physical units, that is, they may be located in one place, or they may be distributed on multiple network units. Some or all of the modules can be selected according to actual needs to achieve the objectives of the solutions of the embodiments.
  • the functional modules in the various embodiments of the present application may be integrated into one processing unit, or each unit may exist alone physically, or two or more units may be integrated into one unit.
  • the above-mentioned integrated unit may be implemented in the form of hardware, or may be implemented in the form of hardware plus software functional modules.

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及区块链技术，提供一种基于分布式分发的数据处理方法，包括：获取需要进行估值处理的待处理数据；根据所述待处理数据，构建多个组合数据；采用DH密钥交换协议/算法对所述多个组合数据进行加密，获得多个组合加密数据；采用负载均衡技术，将所述多个组合加密数据分发至多个处理服务器上；控制所述多个处理服务器采用多线程机制对所述多个组合加密数据执行估值处理流程；在所述多个处理服务器进行估值处理流程的过程中，采用优雅停机机制以及隔离层机制对所述多个处理服务器所提供的服务进行控制。其中，相关数据和信息可存储于区块链节点中。

Description

基于分布式分发的数据处理方法、装置及相关设备
本申请要求于2019年10月15日提交中国专利局，申请号为201910979525.7发明名称为“基于分布式分发的数据处理方法、装置及相关设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及区块链的分布式技术领域，尤其涉及一种基于分布式分发的数据处理方法、装置及相关设备。
背景技术
估值作为资产管理中最核心的一环，起着承上启下的重要作用。现有的估值处理系统的功能和数据比较相似，从基础数据和交易数据出发，功能包括基础设置、文件导入、交易数据、生成凭证，生成估值表，最终生成资产净值。
然而，发明人意识到，所有数据都在一台服务器上运行，服务器要求很高，成本昂贵，多账户的数据处理完之后才能出估值结果，效率低运行速度慢，延长基金会计的工作时间。而且，一旦某个数据的估值流程出现阻塞，其他数据的估值将受到影响。
可见，现有的估值效率较低。
发明内容
鉴于以上内容，有必要提供一种基于分布式分发的数据处理方法、装置及相关设备，能够提高估值效率。
本申请的第一方面提供一种基于分布式分发的数据处理方法，所述方法包括：
获取需要进行估值处理的待处理数据；
根据所述待处理数据，构建多个组合数据；
采用DH密钥交换协议/算法对所述多个组合数据进行加密，获得多个组合加密数据；
采用负载均衡技术，将所述多个组合加密数据分发至多个处理服务器上；
控制所述多个处理服务器采用多线程机制对所述多个组合加密数据执行估值处理流程；
在所述多个处理服务器进行估值处理流程的过程中，采用优雅停机机制以及隔离层机制对所述多个处理服务器所提供的服务进行控制。
本申请的第二方面提供一种控制服务器，其中，所述控制服务器包括处理器和存储器，所述处理器用于执行存储器中存储的至少一个计算机可读指令以实现以下步骤：
获取需要进行估值处理的待处理数据；
根据所述待处理数据，构建多个组合数据；
采用DH密钥交换协议/算法对所述多个组合数据进行加密，获得多个组合加密数据；
采用负载均衡技术，将所述多个组合加密数据分发至多个处理服务器上；
控制所述多个处理服务器采用多线程机制对所述多个组合加密数据执行估值处理流程；
在所述多个处理服务器进行估值处理流程的过程中，采用优雅停机机制以及隔离层机制对所述多个处理服务器所提供的服务进行控制。
本申请的第三方面提供一种计算机可读存储介质，其上存储有至少一个计算机可读指令，其中，所述至少一个计算机可读指令被处理器执行时实现以下步骤：
获取需要进行估值处理的待处理数据；
根据所述待处理数据，构建多个组合数据；
采用DH密钥交换协议/算法对所述多个组合数据进行加密，获得多个组合加密数据；
采用负载均衡技术，将所述多个组合加密数据分发至多个处理服务器上；
控制所述多个处理服务器采用多线程机制对所述多个组合加密数据执行估值处理流程；
在所述多个处理服务器进行估值处理流程的过程中，采用优雅停机机制以及隔离层机制对所述多个处理服务器所提供的服务进行控制。
本申请的第四方面提供一种数据处理装置，所述数据处理装置包括：
获取模块，用于获取需要进行估值处理的待处理数据；
构建模块，用于根据所述待处理数据，构建多个组合数据；
加密模块，用于采用DH密钥交换协议/算法对所述多个组合数据进行加密，获得多个组合加密数据；
分发模块，用于采用负载均衡技术，将所述多个组合加密数据分发至多个处理服务器上；
第一控制模块，用于控制所述多个处理服务器采用多线程机制对所述多个组合加密数据执行估值处理流程；
第二控制模块，用于在所述多个处理服务器进行估值处理流程的过程中，采用优雅停机机制以及隔离层机制对所述多个处理服务器所提供的服务进行控制。
由以上技术方案，本申请可应用在智慧政务等需要进行数据估值处理的领域，从而推动智慧城市的发展。本申请中，可以先获取需要进行估值处理的待处理数据，根据所述待处理数据，构建多个组合数据，并采用DH密钥交换协议/算法对所述多个组合数据进行加密，获得多个组合加密数据，进一步地，采用负载均衡技术，将所述多个组合加密数据分发至多个处理服务器上，控制所述多个处理服务器采用多线程机制对所述多个组合加密数据执行估值处理流程，更进一步地，在所述多个处理服务器进行估值处理流程的过程中，采用优雅停机机制以及隔离层机制对所述多个处理服务器所提供的服务进行控制。可见，本申请中，采用分布式的分发方式来分发数据，采用多线程并行处理估值流程，在数据分发前对数据进行加密，以及在估值处理过程中，采用优雅停机机制以及隔离层机制，在保证服务高可用的情况下又能保证数据的安全性，同时，也提高了估值效率。
附图说明
图1是本申请公开的一种基于分布式分发的数据处理方法的较佳实施例的流程图。
图2是本申请公开的一种估值系统的架构图。
图3是本申请公开的一种数据处理装置的较佳实施例的功能模块图。
图4是本申请实现基于分布式分发的数据处理方法的较佳实施例的控制服务器的结构示意图。
具体实施方式
为了能够更清楚地理解本申请的上述目的、特征和优点，下面结合附图和具体实施例对本申请进行详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。
图1是本申请公开的一种基于分布式分发的数据处理方法的较佳实施例的流程图。其中，根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。
S11、控制服务器获取需要进行估值处理的待处理数据。
其中，控制服务器可以是指能对网络中其它设备(如电子设备)提供服务的计算机系统。如果一个个人电脑能够对外提供文件传输协议(File Transfer Protocol，简称FTP)服务，也可以叫服务器。从狭义范围上讲，服务器专指某些高性能计算机，能通过网络，对外提供服务，其相对于普通的个人电脑来说，稳定性、安全性、性能等方面都要求更高，因此在CPU、芯片组、内存、磁盘系统、网络等硬件和普通的个人电脑有所不同。
通常，交易账户以及财务账户层面的资产估值，可以为基于投资经理的绩效评估提供底层数据支持。多层交易账户和财务账户的估值处理可全面支持投资核算估值，估值数据准备同步各接口数据至业务表，业务表中可以将数据分为交易数据和财务数据，交易数据为周边系统提供数据支持，财务数据生成估值表，出业绩报酬数据。
本申请实施例中，所述需要进行估值处理的待处理数据主要针对的是交易数据和财务数据。
S12、控制服务器根据所述待处理数据，构建多个组合数据。
本申请实施例中，所述待处理数据都是原始数据，这些原始数据中存在多个类别，需要根据这些类别来构建组合数据，以组合数据的形式进行估值处理。
具体的，所述根据所述待处理数据，构建多个组合数据包括：
获取所述待处理数据的数据标识；
按照所述待处理数据的数据标识，对所述待处理数据进行分类，获得多个组合数据。
在该可选的实施方式中，所述待处理数据自身携带有数据标识，所述数据标识用于唯一标识所述待处理数据的身份，比如所述数据标识为股东代码、资金账号等。可以根据所述待处理数据的数据标识，将相同数据标识的所述待处理数据划分为一类，根据不同的类别，获取多个不同的组合数据。其中，每个组合数据中既有交易数据又有财务数据。
具体的，所述根据所述待处理数据，构建多个组合数据包括：
采用预设分类算法对所述待处理数据进行分类，获得多个类别；
根据每个所述类别的待处理数据，构建与所述类别匹配的组合数据。
其中，所述预设分类算法可以包括：K-means聚类分析算法、基于特征投票的文本分类方法等。根据预设分类算法能够对以本文形式存在的问题进行聚类分析，从而将多个问题清单中的问题进行归类，使得具有相同或者相近意思的问题归为同一类，具有不同意思的问题归为不同的类。所述K-means聚类分析算法、基于特征投票的文本分类方法均为现有技术，本文在此不再详细阐述。
在该可选的实施方式中，可以通过预设分类算法，将所述待处理数据中属于同一个类别的数据划分为一类，将每类包括的待处理数据确定为一个组合数据。
可选的，所述方法还包括：
针对每个所述组合数据，采用预设中文分词算法对所述组合数据进行中文分词，获得多个初步关键词；
计算所述多个初步关键词与预设的多个业务关键词之间的匹配度；
若所述匹配度大于预设匹配度阈值，将所述多个初步关键词对应的组合数据确定为业务数据。
其中，在获得多个组合数据的同时，还可以采用预设中文分词算法对所述组合数据进行中文分词，比如自然语言处理(Natural Language Processing，NLP)算法，对所述组合数据进行中文分词。
经过中文分词之后，会获得多个初步关键词，比如，组合数据为“交易资金为100元”，根据预设中文分词算法进行分词为“交易/资金/为/100/元”，多个初步关键词为 “交易”、“资金”、“为”、“100”、“元”。
其中，可以预先设置多个业务关键词，比如资金、回购、贷款等。
可以计算所述多个初步关键词与预设的多个业务关键词之间的匹配度，如果所述匹配度大于预设匹配度阈值，则可以筛选出来，并将所述多个初步关键词对应的组合数据确定为业务数据。
其中，一个组合数据可以对应多个业务数据，即该组合数据与多个业务相关联。业务数据落地系统中的业务表即交易层数据，同时会拷贝一份数据到财务表即财务层数据，每个组合数据既有交易数据又有财务数据。
S13、控制服务器采用DH密钥交换协议/算法对所述多个组合数据进行加密，获得多个组合加密数据。
其中，DH密钥交换协议/算法(Diffie-Hellman Key Exchange/Agreement Algorithm)可以生成密钥，利用密钥对所述多个组合数据进行加密，获得多个组合加密数据，这样，使得后续在分发组合加密数据时，能够确保数据的安全性。
S14、控制服务器采用负载均衡技术，将所述多个组合加密数据分发至多个处理服务器上。
目前，资管行业的业务量越来越大，不同的客户需求不同，业务越来越关键，如果出现单点故障，将会导致整个系统架构的可用性较差，难以维护整个系统的正常运行。
本申请实施例中，采用多台机器来应对这种大规模的应用场景，即使用分布式的系统架构来垂直或是水平的拆分业务，通过分布式架构来冗余系统，提高系统的可用性；使系统模块化，可以提高模块的重用度，同时系统的扩展性也更高，此外，软件服务模块被拆分，开发和发布可以并行，能够提高开发和发布速度。
请一并参见图2，图2是本申请公开的一种估值系统的架构图。
其中，从图2可以看出，控制服务器可以向多个处理服务器(比如处理服务器1、处理服务器2、处理服务器3……处理服务器n)分发组合数据，该多个处理服务器可以并行执行估值处理流程，各个处理服务器在处理组合加密数据时，互不影响，彼此独立。
具体的，所述采用负载均衡技术，将所述多个组合加密数据分发至多个处理服务器上包括：
统计所述多个组合加密数据的第一数量以及所述多个处理服务器的第二数量；
对所述第一数量和所述第二数量进行取模运算和取余运算，获得模数以及余数；
将所述模数的组合加密数据分发至每个所述处理服务器上；
根据每个所述处理服务器的最大处理数量，将所述余数的组合加密数据进行分发；
其中，在分发所述多个组合加密数据之后，所述多个处理服务器上的组合加密数据达到负载均衡且每个所述处理服务器上的组合加密数据不超过所述处理服务器的最大处理数量。
其中，负载均衡技术的基本思想是确保各个处理服务器所处理的组合加密数据处于均衡状态，即不会出现某个处理服务器的负载过重，而某个处理服务器的负载过轻的现象发生。
本申请实施例中，可以先统计多个组合加密数据的第一数量以及所述多个处理服务器的第二数量，对所述第一数量和所述第二数量进行取模运算和取余运算，获得模数以及余数，假设第一数量为100，第二数量为15，则模数为6，余数为10，进一步地，可以分两次进行分发，第一次每个所述处理服务器均分发6个组合加密数据，第二次，可以根据每个所述处理服务器的最大处理数量，从15个处理服务器中挑出没有超过最大处理数量的10个处理服务器，并将剩余的10个组合加密数据分发至该10个处理服务器中。
根据上述的分发方式，在分发所述多个组合加密数据之后，所述多个处理服务器上 的组合加密数据达到负载均衡且每个所述处理服务器上的组合加密数据不超过所述处理服务器的最大处理数量，这有利于资源的合理利用，有利于维护整个估值系统的稳定性和可用性。
S15、控制服务器控制所述多个处理服务器采用多线程机制对所述多个组合加密数据执行估值处理流程。
其中，在将多个组合加密数据分发完之后，可以控制所述多个处理服务器采用多线程机制对所述多个组合加密数据执行估值处理流程，具体的，主要包括三个方面，第一是采用多线程机制使得多个处理服务器并行同步执行估值处理流程，第二是采用多线程机制使得多个组合加密数据并行同步被处理；第三是采用多线程机制使得多个组合加密数据同步执行相同估值步骤。
具体的，所述控制所述多个处理服务器采用多线程机制对所述多个组合加密数据执行估值处理流程包括：
采用多线程机制，控制所述多个处理服务器并行执行估值处理流程；
针对每个所述处理服务器，控制所述处理服务器采用所述多线程机制并行处理分发至所述处理服务器上的多个组合加密数据且并行处理所述多个组合加密数据的相同估值步骤。
在该可选的实施方式中，采用多线程机制，控制所述多个处理服务器并行执行估值处理流程，即多个处理服务器同时同步执行估值处理流程，其中，一般的估值流程为：数据准备→持仓计算→清算→开始估值，估值状态切换成估值中→计费→财务预处理→结转→制证→估值，估值完成。
针对每个所述处理服务器而言，所述处理服务器上的多个组合加密数据也需要采用多线程机制并行同步处理，此外，在处理时，还需要保持各个组合加密数据处理的估值步骤相同，举例来说，假设处理服务器有组合加密数据A和组合加密数据B，在进行估值处理流程时，需要同步处理组合加密数据A和组合加密数据B，而且，组合加密数据A的处理步骤和组合加密数据B的处理步骤相同，比如均为清算步骤。
通过上述方式，可以有效提高估值系统的资源使用率，同时，还可以缩短估值流程的完成时间，提高估值效率。
S16、控制服务器在所述多个处理服务器进行估值处理流程的过程中，采用优雅停机机制以及隔离层机制对所述多个处理服务器所提供的服务进行控制。
具体的，所述采用优雅停机机制以及隔离层机制对所述多个处理服务器所提供的服务进行控制包括：
当目标处理服务器上的服务需要停止运行时，采用优雅停机机制将当前正在处理的请求转移到当前处理压力最小的处理服务器上，且控制新的请求被分配到所述多个处理服务器中除了所述目标处理服务器之外的剩余处理服务器上；
针对每个所述处理服务器，采用隔离层机制对所述处理服务器所提供的多个服务进行权限控制。
其中，在所述多个处理服务器上采用优雅停机机制，在服务重启时，如果已经有请求在服务上处理，将此请求重发到另一台服务器，保证每一个请求在任何时候都不会丢失，保证了数据的一致性以及幂等性。
其中，隔离层机制属于领域建模思想的一种，领域建模思想是一种面向对象的分层架构思想。采用隔离层机制，在每个服务上添加隔离层，可以对服务的访问权限进行控制，只有被允许的服务之间才可以互相访问，从而可以确保数据的安全性。
在图1所描述的方法流程中，采用分布式的分发方式来分发数据，采用多线程并行处理估值流程，在数据分发前对数据进行加密，以及在估值处理过程中，采用优雅停机 机制以及隔离层机制，在保证服务高可用的情况下又能保证数据的安全性，同时，也提高了估值效率。
由以上实施例可知，本申请可应用在智慧政务等需要进行数据估值处理的领域，从而推动智慧城市的发展。
图3是本申请公开的一种数据处理装置的较佳实施例的功能模块图。
在一些实施例中，所述数据处理装置运行于控制服务器中。所述数据处理装置可以包括多个由程序代码段所组成的功能模块。所述数据处理装置中的各个程序段的程序代码可以存储于存储器中，并由至少一个处理器所执行，以执行图1所描述的基于分布式分发的数据处理方法中的部分或全部步骤。
本实施例中，所述数据处理装置根据其所执行的功能，可以被划分为多个功能模块。所述功能模块可以包括：获取模块301、构建模块302、加密模块303、分发模块304、第一控制模块305及第二控制模块306。本申请所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机可读指令段，其存储在存储器中。
获取模块301，用于获取需要进行估值处理的待处理数据。
通常，交易账户以及财务账户层面的资产估值，可以为基于投资经理的绩效评估提供底层数据支持。多层交易账户和财务账户的估值处理可全面支持投资核算估值，估值数据准备同步各接口数据至业务表，业务表中可以将数据分为交易数据和财务数据，交易数据为周边系统提供数据支持，财务数据生成估值表，出业绩报酬数据。
本申请实施例中，所述需要进行估值处理的待处理数据主要针对的是交易数据和财务数据。
构建模块302，用于根据所述待处理数据，构建多个组合数据。
本申请实施例中，所述待处理数据都是原始数据，这些原始数据中存在多个类别，需要根据这些类别来构建组合数据，以组合数据的形式进行估值处理。
具体的，所述构建模块302根据所述待处理数据，构建多个组合数据包括：
获取所述待处理数据的数据标识；
按照所述待处理数据的数据标识，对所述待处理数据进行分类，获得多个组合数据。
在该可选的实施方式中，所述待处理数据自身携带有数据标识，所述数据标识用于唯一标识所述待处理数据的身份，比如所述数据标识为股东代码、资金账号等。可以根据所述待处理数据的数据标识，将相同数据标识的所述待处理数据划分为一类，根据不同的类别，获取多个不同的组合数据。其中，每个组合数据中既有交易数据又有财务数据。
具体的，所述构建模块302根据所述待处理数据，构建多个组合数据包括：
采用预设分类算法对所述待处理数据进行分类，获得多个类别；
根据每个所述类别的待处理数据，构建与所述类别匹配的组合数据。
其中，所述预设分类算法可以包括：K-means聚类分析算法、基于特征投票的文本分类方法等。根据预设分类算法能够对以本文形式存在的问题进行聚类分析，从而将多个问题清单中的问题进行归类，使得具有相同或者相近意思的问题归为同一类，具有不同意思的问题归为不同的类。所述K-means聚类分析算法、基于特征投票的文本分类方法均为现有技术，本文在此不再详细阐述。
在该可选的实施方式中，可以通过预设分类算法，将所述待处理数据中属于同一个类别的数据划分为一类，将每类包括的待处理数据确定为一个组合数据。
加密模块303，用于采用DH密钥交换协议/算法对所述多个组合数据进行加密，获得多个组合加密数据。
其中，DH密钥交换协议/算法(Diffie-Hellman Key Exchange/Agreement Algorithm) 可以生成密钥，利用密钥对所述多个组合数据进行加密，获得多个组合加密数据，这样，使得后续在分发组合加密数据时，能够确保数据的安全性。
分发模块304，用于采用负载均衡技术，将所述多个组合加密数据分发至多个处理服务器上。
目前，资管行业的业务量越来越大，不同的客户需求不同，业务越来越关键，如果出现单点故障，将会导致整个系统架构的可用性较差，难以维护整个系统的正常运行。
本申请实施例中，采用多台机器来应对这种大规模的应用场景，即使用分布式的系统架构来垂直或是水平的拆分业务，通过分布式架构来冗余系统，提高系统的可用性；使系统模块化，可以提高模块的重用度，同时系统的扩展性也更高，此外，软件服务模块被拆分，开发和发布可以并行，能够提高开发和发布速度。
请一并参见图2，图2是本申请公开的一种估值系统的架构图。
其中，从图2可以看出，控制服务器可以向多个处理服务器(比如处理服务器1、处理服务器2、处理服务器3……处理服务器n)分发组合数据，该多个处理服务器可以并行执行估值处理流程，各个处理服务器在处理组合加密数据时，互不影响，彼此独立。
具体的，所述分发模块304采用负载均衡技术，将所述多个组合加密数据分发至多个处理服务器上包括：
统计所述多个组合加密数据的第一数量以及所述多个处理服务器的第二数量；
对所述第一数量和所述第二数量进行取模运算和取余运算，获得模数以及余数；
将所述模数的组合加密数据分发至每个所述处理服务器上；
根据每个所述处理服务器的最大处理数量，将所述余数的组合加密数据进行分发；
其中，在分发所述多个组合加密数据之后，所述多个处理服务器上的组合加密数据达到负载均衡且每个所述处理服务器上的组合加密数据不超过所述处理服务器的最大处理数量。
其中，负载均衡技术的基本思想是确保各个处理服务器所处理的组合加密数据处于均衡状态，即不会出现某个处理服务器的负载过重，而某个处理服务器的负载过轻的现象发生。
本申请实施例中，可以先统计多个组合加密数据的第一数量以及所述多个处理服务器的第二数量，对所述第一数量和所述第二数量进行取模运算和取余运算，获得模数以及余数，假设第一数量为100，第二数量为15，则模数为6，余数为10，进一步地，可以分两次进行分发，第一次每个所述处理服务器均分发6个组合加密数据，第二次，可以根据每个所述处理服务器的最大处理数量，从15个处理服务器中挑出没有超过最大处理数量的10个处理服务器，并将剩余的10个组合加密数据分发至该10个处理服务器中。
根据上述的分发方式，在分发所述多个组合加密数据之后，所述多个处理服务器上的组合加密数据达到负载均衡且每个所述处理服务器上的组合加密数据不超过所述处理服务器的最大处理数量，这有利于资源的合理利用，有利于维护整个估值系统的稳定性和可用性。
第一控制模块305，用于控制所述多个处理服务器采用多线程机制对所述多个组合加密数据执行估值处理流程。
其中，在将多个组合加密数据分发完之后，可以控制所述多个处理服务器采用多线程机制对所述多个组合加密数据执行估值处理流程，具体的，主要包括三个方面，第一是采用多线程机制使得多个处理服务器并行同步执行估值处理流程，第二是采用多线程机制使得多个组合加密数据并行同步被处理；第三是采用多线程机制使得多个组合加密数据同步执行相同估值步骤。
具体的，所述第一控制模块305控制所述多个处理服务器采用多线程机制对所述多 个组合加密数据执行估值处理流程包括：
采用多线程机制，控制所述多个处理服务器并行执行估值处理流程；
针对每个所述处理服务器，控制所述处理服务器采用所述多线程机制并行处理分发至所述处理服务器上的多个组合加密数据且并行处理所述多个组合加密数据的相同估值步骤。
在该可选的实施方式中，采用多线程机制，控制所述多个处理服务器并行执行估值处理流程，即多个处理服务器同时同步执行估值处理流程，其中，一般的估值流程为：数据准备→持仓计算→清算→开始估值，估值状态切换成估值中→计费→财务预处理→结转→制证→估值，估值完成。
针对每个所述处理服务器而言，所述处理服务器上的多个组合加密数据也需要采用多线程机制并行同步处理，此外，在处理时，还需要保持各个组合加密数据处理的估值步骤相同，举例来说，假设处理服务器有组合加密数据A和组合加密数据B，在进行估值处理流程时，需要同步处理组合加密数据A和组合加密数据B，而且，组合加密数据A的处理步骤和组合加密数据B的处理步骤相同，比如均为清算步骤。
通过上述方式，可以有效提高估值系统的资源使用率，同时，还可以缩短估值流程的完成时间，提高估值效率。
第二控制模块306，用于在所述多个处理服务器进行估值处理流程的过程中，采用优雅停机机制以及隔离层机制对所述多个处理服务器所提供的服务进行控制。
具体的，所述第二控制模块306采用优雅停机机制以及隔离层机制对所述多个处理服务器所提供的服务进行控制包括：
当目标处理服务器上的服务需要停止运行时，采用优雅停机机制将当前正在处理的请求转移到当前处理压力最小的处理服务器上，且控制新的请求被分配到所述多个处理服务器中除了所述目标处理服务器之外的剩余处理服务器上；
针对每个所述处理服务器，采用隔离层机制对所述处理服务器所提供的多个服务进行权限控制。
其中，在所述多个处理服务器上采用优雅停机机制，在服务重启时，如果已经有请求在服务上处理，将此请求重发到另一台服务器，保证每一个请求在任何时候都不会丢失，保证了数据的一致性以及幂等性。
其中，隔离层机制属于领域建模思想的一种，领域建模思想是一种面向对象的分层架构思想。采用隔离层机制，在每个服务上添加隔离层，可以对服务的访问权限进行控制，只有被允许的服务之间才可以互相访问，从而可以确保数据的安全性。
可选的，所述数据处理装置还包括：
分词模块，用于针对每个所述组合数据，采用预设中文分词算法对所述组合数据进行中文分词，获得多个初步关键词；
计算模块，用于计算所述多个初步关键词与预设的多个业务关键词之间的匹配度；
确定模块，用于若所述匹配度大于预设匹配度阈值，将所述多个初步关键词对应的组合数据确定为业务数据。
其中，在获得多个组合数据的同时，还可以采用预设中文分词算法对所述组合数据进行中文分词，比如自然语言处理(Natural Language Processing，NLP)算法，对所述组合数据进行中文分词。
经过中文分词之后，会获得多个初步关键词，比如，组合数据为“交易资金为100元”，根据预设中文分词算法进行分词为“交易/资金/为/100/元”，多个初步关键词为“交易”、“资金”、“为”、“100”、“元”。
其中，可以预先设置多个业务关键词，比如资金、回购、贷款等。
可以计算所述多个初步关键词与预设的多个业务关键词之间的匹配度，如果所述匹配度大于预设匹配度阈值，则可以筛选出来，并将所述多个初步关键词对应的组合数据确定为业务数据。
其中，一个组合数据可以对应多个业务数据，即该组合数据与多个业务相关联。业务数据落地系统中的业务表即交易层数据，同时会拷贝一份数据到财务表即财务层数据，每个组合数据既有交易数据又有财务数据。
在图3所描述的数据处理装置中，可以先获取需要进行估值处理的待处理数据，根据所述待处理数据，构建多个组合数据，并采用DH密钥交换协议/算法对所述多个组合数据进行加密，获得多个组合加密数据，进一步地，采用负载均衡技术，将所述多个组合加密数据分发至多个处理服务器上，控制所述多个处理服务器采用多线程机制对所述多个组合加密数据执行估值处理流程，更进一步地，在所述多个处理服务器进行估值处理流程的过程中，采用优雅停机机制以及隔离层机制对所述多个处理服务器所提供的服务进行控制。可见，本申请中，采用分布式的分发方式来分发数据，采用多线程并行处理估值流程，在数据分发前对数据进行加密，以及在估值处理过程中，采用优雅停机机制以及隔离层机制，在保证服务高可用的情况下又能保证数据的安全性，同时，也提高了估值效率。
图4是本申请实现基于分布式分发的数据处理方法的较佳实施例的控制服务器的结构示意图。所述控制服务器4包括存储器41、至少一个处理器42、存储在所述存储器41中并可在所述至少一个处理器42上运行的计算机程序43及至少一条通讯总线44。
本领域技术人员可以理解，图4所示的示意图仅仅是控制服务器4的示例，并不构成对控制服务器4的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述控制服务器4还可以包括输入输出设备、网络接入设备等。
所述控制服务器4可以是指能对网络中其它设备(如电子设备)提供服务的计算机系统。如果一个个人电脑能够对外提供文件传输协议(File Transfer Protocol，简称FTP)服务，也可以叫服务器。从狭义范围上讲，服务器专指某些高性能计算机，能通过网络，对外提供服务，其相对于普通的个人电脑来说，稳定性、安全性、性能等方面都要求更高，因此在CPU、芯片组、内存、磁盘系统、网络等硬件和普通的个人电脑有所不同。
所述至少一个处理器42可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。该处理器42可以是微处理器或者该处理器42也可以是任何常规的处理器等，所述处理器42是所述控制服务器4的控制中心，利用各种接口和线路连接整个控制服务器4的各个部分。
所述存储器41可用于存储所述计算机程序43和/或模块/单元，所述处理器42通过运行或执行存储在所述存储器41内的计算机程序和/或模块/单元，以及调用存储在存储器41内的数据，实现所述控制服务器4的各种功能。所述存储器41可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据控制服务器4的使用所创建的数据(比如音频数据)等。此外，存储器41可以包括易失性和非易失性存储器，例如随机存取存储器(Random Access Memory，RAM)、硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他能够用于携带或存储数据的计算机可读的存储介质。所述计算机可读 存储介质可以是非易失性，也可以是易失性的。
结合图1，所述控制服务器4中的所述存储器41存储多个指令以实现一种基于分布式分发的数据处理方法，所述处理器42可执行所述多个指令从而实现：
获取需要进行估值处理的待处理数据；
根据所述待处理数据，构建多个组合数据；
采用DH密钥交换协议/算法对所述多个组合数据进行加密，获得多个组合加密数据；
采用负载均衡技术，将所述多个组合加密数据分发至多个处理服务器上；
控制所述多个处理服务器采用多线程机制对所述多个组合加密数据执行估值处理流程；
在所述多个处理服务器进行估值处理流程的过程中，采用优雅停机机制以及隔离层机制对所述多个处理服务器所提供的服务进行控制。
具体地，所述处理器42对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。
在图4所描述的控制服务器4中，可以先获取需要进行估值处理的待处理数据，根据所述待处理数据，构建多个组合数据，并采用DH密钥交换协议/算法对所述多个组合数据进行加密，获得多个组合加密数据，进一步地，采用负载均衡技术，将所述多个组合加密数据分发至多个处理服务器上，控制所述多个处理服务器采用多线程机制对所述多个组合加密数据执行估值处理流程，更进一步地，在所述多个处理服务器进行估值处理流程的过程中，采用优雅停机机制以及隔离层机制对所述多个处理服务器所提供的服务进行控制。可见，本申请中，采用分布式的分发方式来分发数据，采用多线程并行处理估值流程，在数据分发前对数据进行加密，以及在估值处理过程中，采用优雅停机机制以及隔离层机制，在保证服务高可用的情况下又能保证数据的安全性，同时，也提高了估值效率。
所述控制服务器4集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机可读指令代码，所述计算机可读指令代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机可读指令代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器以及只读存储器(ROM，Read-Only Memory)。
进一步地，所述计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。
本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中 实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本申请的技术方案而非限制，尽管参照较佳实施例对本申请进行了详细说明，本领域的普通技术人员应当理解，可以对本申请的技术方案进行修改或等同替换，而不脱离本申请技术方案的精神和范围。

Claims (20)

  1. 一种基于分布式分发的数据处理方法，其中，所述基于分布式分发的数据处理方法包括：
    获取需要进行估值处理的待处理数据；
    根据所述待处理数据，构建多个组合数据；
    采用DH密钥交换协议/算法对所述多个组合数据进行加密，获得多个组合加密数据；
    采用负载均衡技术，将所述多个组合加密数据分发至多个处理服务器上；
    控制所述多个处理服务器采用多线程机制对所述多个组合加密数据执行估值处理流程；
    在所述多个处理服务器进行估值处理流程的过程中，采用优雅停机机制以及隔离层机制对所述多个处理服务器所提供的服务进行控制。
  2. 根据权利要求1所述的基于分布式分发的数据处理方法，其中，所述根据所述待处理数据，构建多个组合数据包括：
    获取所述待处理数据的数据标识；
    按照所述待处理数据的数据标识，对所述待处理数据进行分类，获得多个组合数据。
  3. 根据权利要求1所述的基于分布式分发的数据处理方法，其中，所述根据所述待处理数据，构建多个组合数据包括：
    采用预设分类算法对所述待处理数据进行分类，获得多个类别；
    根据每个所述类别的待处理数据，构建与所述类别匹配的组合数据。
  4. 根据权利要求1所述的基于分布式分发的数据处理方法，其中，所述采用负载均衡技术，将所述多个组合加密数据分发至多个处理服务器上包括：
    统计所述多个组合加密数据的第一数量以及所述多个处理服务器的第二数量；
    对所述第一数量和所述第二数量进行取模运算和取余运算，获得模数以及余数；
    将所述模数的组合加密数据分发至每个所述处理服务器上；
    根据每个所述处理服务器的最大处理数量，将所述余数的组合加密数据进行分发；
    其中，在分发所述多个组合加密数据之后，所述多个处理服务器上的组合加密数据达到负载均衡且每个所述处理服务器上的组合加密数据不超过所述处理服务器的最大处理数量。
  5. 根据权利要求1所述的基于分布式分发的数据处理方法，其中，所述控制所述多个处理服务器采用多线程机制对所述多个组合加密数据执行估值处理流程包括：
    采用多线程机制，控制所述多个处理服务器并行执行估值处理流程；
    针对每个所述处理服务器，控制所述处理服务器采用所述多线程机制并行处理分发至所述处理服务器上的多个组合加密数据且并行处理所述多个组合加密数据的相同估值步骤。
  6. 根据权利要求1所述的基于分布式分发的数据处理方法，其中，所述采用优雅停机机制以及隔离层机制对所述多个处理服务器所提供的服务进行控制包括：
    当目标处理服务器上的服务需要停止运行时，采用优雅停机机制将当前正在处理的请求转移到当前处理压力最小的处理服务器上，且控制新的请求被分配到所述多个处理服务器中除了所述目标处理服务器之外的剩余处理服务器上；
    针对每个所述处理服务器，采用隔离层机制对所述处理服务器所提供的多个服务进行权限控制。
  7. 根据权利要求1至6中任一项所述的基于分布式分发的数据处理方法，其中，所述方法还包括：
    针对每个所述组合数据，采用预设中文分词算法对所述组合数据进行中文分词，获得多个初步关键词；
    计算所述多个初步关键词与预设的多个业务关键词之间的匹配度；
    若所述匹配度大于预设匹配度阈值，将所述多个初步关键词对应的组合数据确定为业务数据。
  8. 一种控制服务器，其中，所述控制服务器包括处理器和存储器，所述处理器用于执行存储器中存储的至少一个计算机可读指令以实现以下步骤：
    获取需要进行估值处理的待处理数据；
    根据所述待处理数据，构建多个组合数据；
    采用DH密钥交换协议/算法对所述多个组合数据进行加密，获得多个组合加密数据；
    采用负载均衡技术，将所述多个组合加密数据分发至多个处理服务器上；
    控制所述多个处理服务器采用多线程机制对所述多个组合加密数据执行估值处理流程；
    在所述多个处理服务器进行估值处理流程的过程中，采用优雅停机机制以及隔离层机制对所述多个处理服务器所提供的服务进行控制。
  9. 根据权利要求8所述的控制服务器，其中，所述处理器执行所述至少一个计算机可读指令以实现所述根据所述待处理数据，构建多个组合数据时，具体包括：
    获取所述待处理数据的数据标识；
    按照所述待处理数据的数据标识，对所述待处理数据进行分类，获得多个组合数据。
  10. 根据权利要求8所述的控制服务器，其中，所述处理器执行所述至少一个计算机可读指令以实现所述根据所述待处理数据，构建多个组合数据时，具体包括：
    采用预设分类算法对所述待处理数据进行分类，获得多个类别；
    根据每个所述类别的待处理数据，构建与所述类别匹配的组合数据。
  11. 根据权利要求8所述的控制服务器，其中，所述处理器执行所述至少一个计算机可读指令以实现所述采用负载均衡技术，将所述多个组合加密数据分发至多个处理服务器上时，具体包括：
    统计所述多个组合加密数据的第一数量以及所述多个处理服务器的第二数量；
    对所述第一数量和所述第二数量进行取模运算和取余运算，获得模数以及余数；
    将所述模数的组合加密数据分发至每个所述处理服务器上；
    根据每个所述处理服务器的最大处理数量，将所述余数的组合加密数据进行分发；
    其中，在分发所述多个组合加密数据之后，所述多个处理服务器上的组合加密数据达到负载均衡且每个所述处理服务器上的组合加密数据不超过所述处理服务器的最大处理数量。
  12. 根据权利要求8所述的控制服务器，其中，所述处理器执行所述至少一个计算机可读指令以实现所述控制所述多个处理服务器采用多线程机制对所述多个组合加密数据执行估值处理流程时，具体包括：
    采用多线程机制，控制所述多个处理服务器并行执行估值处理流程；
    针对每个所述处理服务器，控制所述处理服务器采用所述多线程机制并行处理分发至所述处理服务器上的多个组合加密数据且并行处理所述多个组合加密数据的相同估值步骤。
  13. 根据权利要求8所述的控制服务器，其中，所述处理器执行所述至少一个计算机可读指令以实现所述采用优雅停机机制以及隔离层机制对所述多个处理服务器所提供的服务进行控制时，具体包括：
    当目标处理服务器上的服务需要停止运行时，采用优雅停机机制将当前正在处理的请求转移到当前处理压力最小的处理服务器上，且控制新的请求被分配到所述多个处理服务器中除了所述目标处理服务器之外的剩余处理服务器上；
    针对每个所述处理服务器，采用隔离层机制对所述处理服务器所提供的多个服务进行权限控制。
  14. 根据权利要求8至13中任一项所述的控制服务器，其中，所述处理器执行所述至少一个计算机可读指令还用以执行以下步骤：
    针对每个所述组合数据，采用预设中文分词算法对所述组合数据进行中文分词，获得多个初步关键词；
    计算所述多个初步关键词与预设的多个业务关键词之间的匹配度；
    若所述匹配度大于预设匹配度阈值，将所述多个初步关键词对应的组合数据确定为业务数据。
  15. 一种计算机可读存储介质，其上存储有至少一个计算机可读指令，其中，所述至少一个计算机可读指令被处理器执行时实现以下步骤：
    获取需要进行估值处理的待处理数据；
    根据所述待处理数据，构建多个组合数据；
    采用DH密钥交换协议/算法对所述多个组合数据进行加密，获得多个组合加密数据；
    采用负载均衡技术，将所述多个组合加密数据分发至多个处理服务器上；
    控制所述多个处理服务器采用多线程机制对所述多个组合加密数据执行估值处理流程；
    在所述多个处理服务器进行估值处理流程的过程中，采用优雅停机机制以及隔离层机制对所述多个处理服务器所提供的服务进行控制。
  16. 根据权利要求15所述的存储介质，其中，所述至少一个计算机可读指令被所述处理器执行以实现所述根据所述待处理数据，构建多个组合数据时，具体包括：
    获取所述待处理数据的数据标识；
    按照所述待处理数据的数据标识，对所述待处理数据进行分类，获得多个组合数据。
  17. 根据权利要求15所述的存储介质，其中，所述至少一个计算机可读指令被所述处理器执行以实现所述根据所述待处理数据，构建多个组合数据时，具体包括：
    采用预设分类算法对所述待处理数据进行分类，获得多个类别；
    根据每个所述类别的待处理数据，构建与所述类别匹配的组合数据。
  18. 根据权利要求15所述的存储介质，其中，所述至少一个计算机可读指令被所述处理器执行以实现所述采用负载均衡技术，将所述多个组合加密数据分发至多个处理服务器上时，具体包括：
    统计所述多个组合加密数据的第一数量以及所述多个处理服务器的第二数量；
    对所述第一数量和所述第二数量进行取模运算和取余运算，获得模数以及余数；
    将所述模数的组合加密数据分发至每个所述处理服务器上；
    根据每个所述处理服务器的最大处理数量，将所述余数的组合加密数据进行分发；
    其中，在分发所述多个组合加密数据之后，所述多个处理服务器上的组合加密数据达到负载均衡且每个所述处理服务器上的组合加密数据不超过所述处理服务器的最大处理数量。
  19. 根据权利要求15所述的存储介质，其中，所述至少一个计算机可读指令被所述处理器执行以实现所述控制所述多个处理服务器采用多线程机制对所述多个组合加密数据执行估值处理流程时，具体包括：
    采用多线程机制，控制所述多个处理服务器并行执行估值处理流程；
    针对每个所述处理服务器，控制所述处理服务器采用所述多线程机制并行处理分发至所述处理服务器上的多个组合加密数据且并行处理所述多个组合加密数据的相同估值步骤。
  20. 一种数据处理装置，其中，所述数据处理装置包括：
    获取模块，用于获取需要进行估值处理的待处理数据；
    构建模块，用于根据所述待处理数据，构建多个组合数据；
    加密模块，用于采用DH密钥交换协议/算法对所述多个组合数据进行加密，获得多个组合加密数据；
    分发模块，用于采用负载均衡技术，将所述多个组合加密数据分发至多个处理服务器上；
    第一控制模块，用于控制所述多个处理服务器采用多线程机制对所述多个组合加密数据 执行估值处理流程；
    第二控制模块，用于在所述多个处理服务器进行估值处理流程的过程中，采用优雅停机机制以及隔离层机制对所述多个处理服务器所提供的服务进行控制。
PCT/CN2020/105941 2019-10-15 2020-07-30 基于分布式分发的数据处理方法、装置及相关设备 Ceased WO2021073201A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910979525.7A CN111030983B (zh) 2019-10-15 2019-10-15 基于分布式分发的数据处理方法、装置及相关设备
CN201910979525.7 2019-10-15

Publications (1)

Publication Number Publication Date
WO2021073201A1 true WO2021073201A1 (zh) 2021-04-22

Family

ID=70204846

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/105941 Ceased WO2021073201A1 (zh) 2019-10-15 2020-07-30 基于分布式分发的数据处理方法、装置及相关设备

Country Status (2)

Country Link
CN (1) CN111030983B (zh)
WO (1) WO2021073201A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114547194A (zh) * 2022-01-30 2022-05-27 青岛海尔科技有限公司 数据同步分发方法、装置及存储介质
CN115982503A (zh) * 2023-02-07 2023-04-18 梁礼津 一种基于云平台的网站信息采集方法及系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111030983B (zh) * 2019-10-15 2023-05-26 深圳壹账通智能科技有限公司 基于分布式分发的数据处理方法、装置及相关设备
CN112613055A (zh) * 2020-12-24 2021-04-06 山东鑫泰洋智能科技有限公司 基于分布式云服务器和数图转换的图像处理系统及方法
CN115221543B (zh) * 2022-08-30 2022-11-29 成都瑞安信信息安全技术有限公司 一种基于档案业务多文件并发加解密方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102624562A (zh) * 2012-03-13 2012-08-01 网经科技（苏州）有限公司 网络管理系统中分布式syslog日志的安全管理方法
US20160373412A1 (en) * 2015-06-16 2016-12-22 Amazon Technologies, Inc. Load balancing with handshake offload
CN106452933A (zh) * 2015-08-05 2017-02-22 腾讯科技（北京）有限公司 一种业务数据的统计方法、装置及系统
CN109615495A (zh) * 2018-10-11 2019-04-12 阿里巴巴集团控股有限公司 一种数据的对账方法、装置、设备及系统
CN111030983A (zh) * 2019-10-15 2020-04-17 深圳壹账通智能科技有限公司 基于分布式分发的数据处理方法、装置及相关设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120303511A1 (en) * 2011-04-21 2012-11-29 Environmental Financial Products, LLC Method and system for determining market estimates with market based measures
CN107329982A (zh) * 2017-06-01 2017-11-07 华南理工大学 一种基于分布式列式存储的大数据并行计算方法及系统
CN107977768A (zh) * 2017-10-25 2018-05-01 阿里巴巴集团控股有限公司 一种可增值资源的评估方法及装置
CN108446985A (zh) * 2018-03-21 2018-08-24 张家林 证券投资组合的分享系统及方法
CN109144731B (zh) * 2018-08-31 2024-08-09 中国平安人寿保险股份有限公司 数据处理方法、装置、计算机设备及存储介质
CN109165863B (zh) * 2018-09-06 2022-03-22 华泰证券股份有限公司 基于分布式数据流基金资产实时估值的方法、系统及应用
CN110059293B (zh) * 2019-02-20 2023-04-07 创新先进技术有限公司 基金估值数据的数据质量的确定方法、装置和服务器

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102624562A (zh) * 2012-03-13 2012-08-01 网经科技（苏州）有限公司 网络管理系统中分布式syslog日志的安全管理方法
US20160373412A1 (en) * 2015-06-16 2016-12-22 Amazon Technologies, Inc. Load balancing with handshake offload
CN106452933A (zh) * 2015-08-05 2017-02-22 腾讯科技（北京）有限公司 一种业务数据的统计方法、装置及系统
CN109615495A (zh) * 2018-10-11 2019-04-12 阿里巴巴集团控股有限公司 一种数据的对账方法、装置、设备及系统
CN111030983A (zh) * 2019-10-15 2020-04-17 深圳壹账通智能科技有限公司 基于分布式分发的数据处理方法、装置及相关设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114547194A (zh) * 2022-01-30 2022-05-27 青岛海尔科技有限公司 数据同步分发方法、装置及存储介质
CN115982503A (zh) * 2023-02-07 2023-04-18 梁礼津 一种基于云平台的网站信息采集方法及系统
CN115982503B (zh) * 2023-02-07 2023-10-13 深圳慧梧科技有限公司 一种基于云平台的网站信息采集方法及系统

Also Published As

Publication number Publication date
CN111030983B (zh) 2023-05-26
CN111030983A (zh) 2020-04-17

Similar Documents

Publication Publication Date Title
US11921682B2 (en) Extracting data from a blockchain network
CN109584079B (zh) 资源处理系统、资源项目申报的审批方法、装置及设备
US20220337657A1 (en) Methods, devices and systems for a distributed coordination engine-based exchange that implements a blockchain distributed ledger
CN111488393B (zh) 虚拟区块链
JP7250568B2 (ja) ブロックチェーン・ノード、ブロックチェーン・ノードの方法、およびブロックチェーン・ノードのコンピュータ・プログラム
WO2021217863A1 (zh) 订单标识生成方法、装置、服务器及存储介质
JP6827564B2 (ja) 分散型台帳システムにおけるトランザクションのパラレル実行の実施
JP7434480B2 (ja) 暗号学的に保護された分散データ管理のためのデータベース中心のコンピュータ・ネットワーク・システムおよびコンピュータ実装方法
WO2021073201A1 (zh) 基于分布式分发的数据处理方法、装置及相关设备
US20220129475A1 (en) A General Purpose Blockchain
US11106659B2 (en) Blockchain-based recording and querying operations
CN113454597B (zh) 区块链交易处理系统和方法
WO2021208762A1 (zh) 数据存储、查询
US12015715B2 (en) Trusted aggregation with data privacy based on zero-knowledge-proofs
WO2022200891A1 (en) Reducing transaction aborts in execute-order-validate blockchain models
DE102022129468A1 (de) Implementierung von objektversionierung und -konsistenz bei skalierung
WO2022041889A1 (zh) 资金路由方法、装置、电子设备及存储介质
CN113450084A (zh) 集团客户的签约审批流转装置及方法
CN114579585B (zh) 用于选择性地更新区块链的世界状态数据库的方法和系统
US20140006582A1 (en) Managing service specifications and the discovery of associated services
JP7526843B2 (ja) 情報処理方法、装置、電子機器、記憶媒体及びコンピュータプログラム
US20230208911A1 (en) Visibility of digital assets at channel level
US11755562B2 (en) Score based endorsement in a blockchain network
US12438727B1 (en) Tracing and verifying a shared library using blockchain
Kishi Project Stella and the impacts of fintech on financial infrastructures in Japan

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20876659

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 18/08/2022)

122 Ep: pct application non-entry in european phase

Ref document number: 20876659

Country of ref document: EP

Kind code of ref document: A1