WO2021072862A1 - 大数据集群的更新方法、装置、计算机设备和存储介质 - Google Patents

大数据集群的更新方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
WO2021072862A1
WO2021072862A1 PCT/CN2019/117664 CN2019117664W WO2021072862A1 WO 2021072862 A1 WO2021072862 A1 WO 2021072862A1 CN 2019117664 W CN2019117664 W CN 2019117664W WO 2021072862 A1 WO2021072862 A1 WO 2021072862A1
Authority
WO
WIPO (PCT)
Prior art keywords
update
designated
snapshot volume
preset
data
Prior art date
Application number
PCT/CN2019/117664
Other languages
English (en)
French (fr)
Inventor
姚文彤
万书武
贺波
Original Assignee
平安科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 平安科技（深圳）有限公司 filed Critical 平安科技（深圳）有限公司
Publication of WO2021072862A1 publication Critical patent/WO2021072862A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/219—Managing data history or versioning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Definitions

  • This application relates to the computer field, and in particular to a method, device, computer equipment and storage medium for updating a big data cluster.
  • the main purpose of this application is to provide a method, device, computer equipment and storage medium for updating a big data cluster, aiming to improve the efficiency of updating multiple big data clusters.
  • this application proposes a method for updating a big data cluster, which is applied to a designated terminal, and the designated terminal belongs to multiple big data clusters at the same time, including:
  • update data is obtained from a preset database, where the update data is marked with a specified version number, and the database is set to allow only the first node to access ,
  • the number of big data clusters to which the first node belongs at the same time is greater than the number threshold;
  • the designated terminal is updated by using the update data according to the designated update policy.
  • This application provides a device for updating a big data cluster, which is applied to a designated terminal, and the designated terminal belongs to multiple big data clusters at the same time, including:
  • a quantity threshold judging unit configured to obtain the quantity of big data clusters to which the designated terminal belongs, and judge whether the quantity of the big data clusters is greater than a preset quantity threshold;
  • the update data acquisition unit is configured to, if the number of the big data clusters is greater than a preset number threshold, acquire update data from a preset database, wherein the update data is marked with a designated version number, and the database is set to Only the first node is allowed to access, and the number of big data clusters to which the first node belongs at the same time is greater than the number threshold;
  • the update trigger condition judgment unit is used to judge whether the specified version number meets the preset update trigger condition
  • a designated update strategy acquiring unit configured to, if the designated version number meets a preset update trigger condition, acquire a designated update strategy corresponding to the designated version number according to a preset update strategy acquisition rule;
  • a designated update strategy judging unit configured to determine whether any terminal other than the designated terminal is recorded in the designated update strategy
  • the designated terminal update unit is configured to update the designated terminal by using the update data according to the designated update policy if no terminal other than the designated terminal is recorded in the designated update policy.
  • the present application provides a computer device including a memory and a processor, the memory stores computer-readable instructions, and the processor implements the steps of any one of the above-mentioned methods when the computer-readable instructions are executed by the processor.
  • the present application provides a computer-readable storage medium on which computer-readable instructions are stored, and when the computer-readable instructions are executed by a processor, the steps of any one of the above-mentioned methods are implemented.
  • the method, device, computer equipment, and storage medium for updating big data clusters of the present application acquire the number of big data clusters to which the designated terminal belongs; if the number of big data clusters is greater than a preset number threshold, then Update data is obtained in the database of the database, and the database is set to allow only the first node to access; if the specified version number meets the preset update trigger condition, then according to the preset update policy acquisition rule, the database is set to The designated update strategy corresponding to the version number; determine whether the designated update strategy records other terminals other than the designated terminal; if the designated update strategy does not record other terminals other than the designated terminal, then According to the designated update strategy, the designated terminal is updated by using the update data.
  • multiple big data clusters can be updated at the same time without the need to build a new management platform.
  • multiple information channels must be constructed (as many terminals as there are, how many information channels need to be constructed).
  • the application directly uses the original information channel, which further saves time and cost.
  • FIG. 1 is a schematic flowchart of a method for updating a big data cluster according to an embodiment of the application
  • FIG. 2 is a schematic block diagram of the structure of a big data cluster updating device according to an embodiment of the application
  • FIG. 3 is a schematic block diagram of the structure of a computer device according to an embodiment of the application.
  • an embodiment of the present application provides a method for updating a big data cluster, which is applied to a designated terminal, and the designated terminal belongs to multiple big data clusters at the same time, including:
  • the number of the big data clusters is greater than the preset number threshold, obtain update data from a preset database, where the update data is marked with a designated version number, and the database is set to allow only the first node For access, the number of big data clusters to which the first node belongs at the same time is greater than the number threshold;
  • This application uses the intersection of multiple big data clusters (that is, designated terminals, which belong to multiple big data clusters at the same time) as the initiator of the big data cluster update, thereby eliminating the need to establish a separate management platform. And because the designated terminal belongs to multiple big data clusters at the same time, it can efficiently complete the transfer of updated data without building a new channel, thereby completing the update of the big data cluster.
  • the reason why the designated terminal is capable of being the initiator of the big data cluster update is that the database storing the updated data is set to allow only the first node to access, and the number of big data clusters to which the first node belongs at the same time is greater than The number threshold is thus only to release the authority to the designated terminal, so as to realize the update of the entire big data cluster.
  • the number of big data clusters to which the designated terminal belongs is acquired, and it is determined whether the number of big data clusters is greater than a preset number threshold. Since the designated terminal is the initiator of the big data cluster update, if the designated terminal is only a few intersections of the big data cluster, then the designated terminal cannot meet the requirements of the big data cluster update efficiently.
  • the number of big data clusters to which the designated terminal belongs is obtained, and it is determined whether the number of big data clusters is greater than a preset number threshold, so that only when the number of big data clusters is greater than the preset number threshold
  • the designated terminal is used to update the big data cluster to avoid "if the designated terminal is only a few big data cluster intersections, then the designated terminal cannot meet the requirements for efficient big data cluster update" (for example, when there are n A big data cluster, and the designated terminal is only in one of the big data clusters, then the designated terminal cannot directly establish a communication connection with other big data clusters, which is not conducive to the update of the big data cluster).
  • update data is obtained from a preset database, where the update data is marked with a specified version number, and the database is set to Only the first node is allowed to access, and the number of big data clusters to which the first node belongs at the same time is greater than the number threshold. Only when the number of the big data clusters is greater than the preset number threshold, the corresponding terminal is suitable for initiating a big data cluster update and has the authority to access the database.
  • the update data is, for example, parameter modification, data replacement, and the like.
  • the parameter modification is, for example, modifying the parameter type, parameter range, etc. in the database.
  • the data replacement is, for example, replacing all or part of the data used for cluster update.
  • the number threshold may be set to a fixed value, such as 3-10, or may be set as a percentage of the total number of big data clusters, for example, 50% multiplied by the total number of big data clusters.
  • This application adopts a method of judging whether the number of the big data clusters is greater than a preset number threshold to determine whether the designated terminal can serve as the first node, that is, when the number of the big data clusters is greater than the preset number threshold At this time, the designated terminal can be used as the first node, thereby having the authority to access the database; conversely, when the number of the big data clusters is not greater than the preset number threshold, the designated terminal cannot be the first node, Therefore, the database cannot be accessed.
  • the update triggering condition may be any feasible condition, for example, extracting a major version number from the designated version number, determining whether the major version number belongs to a preset update version number, and if so, determining that the update triggering condition is met.
  • A (k1 ⁇ a1, k2 ⁇ a2, k3 ⁇ a3,...,km ⁇ am), generate the version number vector A, where k1, k2, k3,..., km are the preset parameters; formula: Calculate the similarity value D, where A is the version number vector, B is the preset standard vector, Ai is the i-th component vector of the version number vector A, and Bi is the i-th component vector of the standard vector B ; Determine whether the similarity degree value D is greater than a preset similarity degree threshold; if the similarity degree value D is greater than a preset similarity degree threshold, it is determined that the specified version number meets a preset update trigger condition.
  • the update trigger condition may also be: acquiring the update time of the specified version number, and comparing the update time of the specified version number with a preset time point, if the update time of the specified version number is later At a preset time point, it is determined that the specified version number meets a preset update trigger condition.
  • the specified update strategy corresponding to the specified version number is obtained according to the preset update policy acquisition rule.
  • obtaining the specified update strategy corresponding to the specified version number is, for example, obtaining multiple update strategy vectors one-to-one corresponding to multiple preset update strategies according to the corresponding relationship between the preset update strategy and the update strategy vector E; According to the formula:
  • a number of strategy selection parameters F corresponding to a number of update strategies are obtained by calculation, where Ai is the i-th component vector of the version number vector A, and Ei is the i-th component vector of the update strategy vector E;
  • the smallest strategy selection parameter F is recorded as a designated update strategy vector, and the update strategy corresponding to the designated update strategy vector is recorded as a designated update strategy, and the designated update strategy is obtained.
  • the designated update strategy is, for example, to update the designated terminal first using the update data, and then send the update data to other terminals directly connected to the designated terminal according to a preset flood algorithm, until The last terminal receives the update data. So as to complete the quick update.
  • step S5 it is determined whether any terminal other than the designated terminal is recorded in the designated update policy.
  • the designated terminal is the initiator of the update data, and if other terminals other than the designated terminal are recorded in the designated update policy, the corresponding update data needs to be sent to the other terminals. On the contrary, only the designated terminal is updated to realize the update of the entire big data cluster.
  • the designated terminal is updated by using the update data according to the designated update policy.
  • the update strategy does not record any terminals other than the designated terminal, the update of the big data cluster only involves designated terminals. Accordingly, according to the designated update strategy, the update data is used to update The designated terminal.
  • the specified update strategy can be any strategy, such as a whole block data replacement strategy (that is, the updated data completely replaces the original data); parameter modification + data replacement strategy (the update content that can be achieved through parameter value modification is achieved through parameter modification , The rest of the data is realized by data replacement) and so on.
  • the database generates a snapshot when acquiring new data
  • the step S2 of acquiring updated data from a preset database includes:
  • S201 Obtain a first snapshot volume whose creation time is closest to the current time, and acquire a second snapshot volume whose creation time is closest to the creation time of the first snapshot volume;
  • the update data is obtained from a preset database, wherein the update data is marked with a designated version number.
  • the database will generate a snapshot when acquiring new data, thereby improving the security and remediation of information.
  • the definition of a snapshot is: a fully usable copy of a specified data set, and the copy includes an image of the corresponding data at a certain point in time (the point in time when the copy starts).
  • the database of this application will generate a snapshot when acquiring new data, so that the snapshot can be used to implement the special operation of this case, that is, to quickly obtain updated data.
  • the snapshot volume records the difference data between the data when the snapshot is generated and the original data.
  • the first snapshot volume records the difference data between the latest data and the original data
  • the second snapshot volume records the difference data between the next-new data and the original data. Therefore, by comparing the first snapshot volume and the second snapshot volume, the difference data of the first snapshot volume relative to the second snapshot volume can be obtained, and then the difference data is recorded as the update Data, and obtain the updated data. Therefore, the updated data can be obtained by using only the snapshot volume without performing additional processing on the database itself.
  • the first snapshot volume is encrypted with a designated hash value as a key as the first ciphertext, and the designated hash value is generated by calculating the second snapshot volume using a designated hash algorithm
  • the step S201 of acquiring the first snapshot volume whose creation time is closest to the current time and acquiring the second snapshot volume whose creation time is closest to the creation time of the first snapshot volume includes:
  • S2013 Use the designated hash value as a key to decrypt the ciphertext of the first snapshot volume, so as to obtain the first snapshot volume.
  • this application encrypts the first snapshot volume using the specified hash value as the key to encrypt the first ciphertext, and in order to increase the utilization of storage space, the second snapshot volume closest to the first snapshot volume is used.
  • the snapshot volume is used as the basis for generating the key, that is, the designated hash value is generated by calculating the second snapshot volume using a designated hash algorithm, so that information security is guaranteed (if criminals can obtain all data , Then the key can also be obtained; if the criminals can only obtain part of the data, because they cannot know the basis of the key generation, the security is still guaranteed), and there is no need to spend extra storage space to store the key.
  • the first ciphertext and the second snapshot volume are acquired, wherein the creation time of the first ciphertext is the closest to the current time, and the creation time of the second snapshot volume is the closest to the first ciphertext ;
  • Use the specified hash algorithm to perform a hash calculation on the second snapshot volume to obtain the specified hash value; use the specified hash value as a key to decrypt the ciphertext of the first snapshot volume , Thereby obtaining the first snapshot volume, thereby obtaining the first snapshot volume and the second snapshot volume.
  • the second snapshot volume is also encrypted into a second ciphertext using a second hash value as a key, and the second hash value is generated by calculating the third snapshot volume using a specified hash algorithm, where The third snapshot volume is the snapshot volume whose creation time is closest to the creation time of the second snapshot volume. In this way, cascade encryption is realized, and information security is further improved.
  • the designated version number is a1.a2.a3....am
  • the step S3 of judging whether the designated version number satisfies a preset update trigger condition includes:
  • This application maps the specified version number to the version number vector A, and then adopts the formula:
  • the similarity degree value D is calculated, and if the similarity degree value D is greater than the preset similarity degree threshold, it is determined that the specified version number meets the preset update trigger condition, thereby achieving flexible setting of the trigger condition (for example, by controlling the preset Parameters k1, k2, k3,..., km; or by controlling the standard vector to achieve the screening of specific sub-version numbers in the specified version number).
  • the similarity threshold can also be set to adjust the update trigger condition.
  • the maximum value of the similarity value D is 1. When the similarity value D is closer to 1, it indicates that the vector A and the vector B are more similar, that is, the update trigger condition is more satisfied.
  • the step S4 of obtaining the designated update strategy corresponding to the designated version number according to the preset update strategy acquisition rule includes:
  • a number of strategy selection parameters F corresponding to a number of update strategies are obtained by calculation, where Ai is the i-th component vector of the version number vector A, and Ei is the i-th component vector of the update strategy vector E;
  • S403 Record the strategy selection parameter F with the smallest value as a designated update strategy vector, and record the update strategy corresponding to the designated update strategy vector as the designated update strategy, and obtain the designated update strategy.
  • the designated update strategy corresponding to the designated version number is acquired according to the preset update strategy acquisition rule.
  • This application uses the formula: A number of strategy selection parameters F corresponding to a number of update strategies are obtained by calculation, where Ai is the i-th component vector of the version number vector A, and Ei is the i-th component vector of the update strategy vector E; The smallest strategy selection parameter F is recorded as a designated update strategy vector, and the update strategy corresponding to the designated update strategy vector is recorded as a designated update strategy, and the designated update strategy is obtained.
  • Ai is the i-th component vector of the version number vector A
  • Ei is the i-th component vector of the update strategy vector E
  • the smallest strategy selection parameter F is recorded as a designated update strategy vector
  • the update strategy corresponding to the designated update strategy vector is recorded as a designated update strategy, and the designated update strategy is obtained.
  • due to the aforementioned calculation formula for the similarity value D only the angular relationship between the vectors is considered, and the vector length is not involved.
  • this application also adopts the formula: Calculate the strategy selection parameter F, where the strategy selection parameter F with the smallest value indicates that the corresponding update strategy vector is the closest to the version number vector A, so the corresponding update strategy is the designated update strategy. Accordingly, by further introducing the vector length, it is possible to obtain the specified update strategy more accurately.
  • the method includes:
  • the multiple data packets are respectively sent to the other terminals. If the designated update policy records other terminals than the designated terminal, it means that the update of the big data cluster also involves other terminals, and because the update data of other terminals must also be included in the update data , Therefore, multiple data packets corresponding to the other terminals are generated one-to-one, wherein the data packets are a part of the update data. Then the multiple data packets are sent to the other terminals respectively, and after the other terminals complete the update according to the multiple data packets, the entire big data cluster can be updated. This avoids the additional cost of establishing a management platform for the big data cluster.
  • the update data is used to update the designated terminal in step S6 After that, include:
  • test cases for testing the parameter environment by using an orthogonal experiment method, where the number of test cases is Where A k is the number of parameter conditions of the k-th parameter in the parameter environment, and the parameter environment has a total of n parameters;
  • test cases for verification are achieved.
  • this application calculates the parameter environment when the specified terminal is running; uses the orthogonal experiment method to obtain test cases for testing the parameter environment, The number of test cases is Where A k is the number of parameter conditions of the k-th parameter in the parameter environment, and the parameter environment has a total of n parameters; the test case is used to verify the updated designated terminal, and it is determined whether the result of the verification is Pass; if the result of the verification passes, it is determined that the big data cluster update is successful.
  • the orthogonal experiment method is a design method to study multiple factors and multiple levels.
  • the method for obtaining the test cases of the interface test by using the orthogonal experiment method includes: generating an orthogonal table, the orthogonal table is composed of rows and columns, each row represents a test case, and each column represents a test case.
  • the parameter level, the orthogonal table is generated according to the following principle: each number in each column (that is, the number of the parameter level in the corresponding input parameter) appears the same number of times; any two columns constitute Each ordinal number pair (that is, two numbers in the same row as an ordinal number pair) appear the same number of times.
  • the sum of the test cases represented in the orthogonal table (that is, all rows of the orthogonal table) is the test case of the interface test.
  • the limited number of test cases complete the verification.
  • the number of parameter conditions refers to the selectable number of parameters.
  • the method for updating big data clusters of the present application obtains the number of big data clusters to which the designated terminal belongs; if the number of big data clusters is greater than a preset number threshold, then update data is obtained from a preset database, so The database is set to allow only the first node to access; if the specified version number meets the preset update trigger condition, then according to the preset update strategy acquisition rule, the specified update strategy corresponding to the specified version number is obtained; Determine whether the designated update policy records other terminals than the designated terminal; if the designated update policy does not record any terminals other than the designated terminal, use the designated update policy according to the designated update policy.
  • the update data updates the designated terminal. Therefore, multiple big data clusters can be updated at the same time without the need to build a new management platform. Compared with the management platform, multiple information channels must be constructed (as many terminals as there are, how many information channels need to be constructed). The application directly uses the original information channel, which further saves time and cost.
  • an embodiment of the present application provides a device for updating a big data cluster, which is applied to a designated terminal, and the designated terminal belongs to multiple big data clusters at the same time, including:
  • the quantity threshold judging unit 10 is configured to obtain the quantity of big data clusters to which the designated terminal belongs, and judge whether the quantity of the big data clusters is greater than a preset quantity threshold;
  • the update data obtaining unit 20 is configured to obtain update data from a preset database if the number of the big data clusters is greater than a preset number threshold, wherein the update data is marked with a designated version number, and the database is set In order to allow only the first node to access, the number of big data clusters to which the first node belongs at the same time is greater than the number threshold;
  • the update trigger condition judging unit 30 is configured to judge whether the specified version number meets a preset update trigger condition
  • the designated update strategy acquiring unit 40 is configured to, if the designated version number meets a preset update trigger condition, acquire the designated update strategy corresponding to the designated version number according to the preset update strategy acquisition rule;
  • the designated update strategy determining unit 50 is configured to determine whether any terminal other than the designated terminal is recorded in the designated update strategy
  • the designated terminal update unit 60 is configured to update the designated terminal by using the update data according to the designated update policy if no terminal other than the designated terminal is recorded in the designated update policy.
  • the database generates a snapshot when acquiring new data
  • the updated data acquiring unit 20 includes:
  • the snapshot volume acquisition subunit is used to acquire the first snapshot volume whose creation time is the closest to the current time, and acquire the second snapshot volume whose creation time is the closest to the creation time of the first snapshot volume;
  • the difference data acquisition subunit is used to compare the first snapshot volume and the second snapshot volume, so as to obtain the difference data of the first snapshot volume relative to the second snapshot volume, wherein the difference data is marked Have a designated version number;
  • the update data obtaining subunit is used to record the difference data as the update data and obtain the update data.
  • the first snapshot volume is encrypted with a designated hash value as a key as the first ciphertext, and the designated hash value is generated by calculating the second snapshot volume using a designated hash algorithm ,
  • the snapshot volume obtaining subunit includes:
  • the first ciphertext acquisition module is configured to acquire the first ciphertext and the second snapshot volume, wherein the creation time of the first ciphertext is closest to the current time, and the creation time of the second snapshot volume is different from the current time.
  • the first ciphertext is the most recent;
  • a hash calculation module configured to perform a hash calculation on the second snapshot volume using the specified hash algorithm to obtain the specified hash value
  • the first snapshot volume acquisition module is configured to use the designated hash value as a key to decrypt the ciphertext of the first snapshot volume, so as to obtain the first snapshot volume.
  • the designated version number is a1.a2.a3....am
  • the update trigger condition judgment unit 30 includes:
  • the similarity value D is used to calculate the sub-unit, which is used according to the formula: Calculate the similarity value D, where A is the version number vector, B is the preset standard vector, Ai is the i-th component vector of the version number vector A, and Bi is the i-th component vector of the standard vector B ;
  • the similarity degree value D judgment subunit is used to judge whether the similarity degree value D is greater than a preset similarity degree threshold
  • the update trigger determination subunit is configured to determine that the specified version number satisfies a preset update trigger condition if the similarity degree value D is greater than a preset similarity degree threshold.
  • the designated update strategy obtaining unit 40 includes:
  • the update strategy vector E obtaining subunit is configured to obtain a plurality of update strategy vectors E corresponding to a plurality of preset update strategies one-to-one according to the corresponding relationship between the preset update strategy and the update strategy vector;
  • the strategy selection parameter F calculation subunit is used according to the formula:
  • a number of strategy selection parameters F corresponding to a number of update strategies are obtained by calculation, where Ai is the i-th component vector of the version number vector A, and Ei is the i-th component vector of the update strategy vector E;
  • the designated update strategy acquisition subunit is used to record the strategy selection parameter F with the smallest value as a designated update strategy vector, and record the update strategy corresponding to the designated update strategy vector as the designated update strategy, and obtain the designated update strategy.
  • the device includes:
  • Multiple data packet generating units configured to generate multiple data packets corresponding to the other terminals in a one-to-one correspondence if other terminals other than the designated terminal are recorded in the designated update policy, wherein the data packets Is part of the update data;
  • Multiple data packet sending units are used to send the multiple data packets to the other terminals respectively.
  • the device includes:
  • the parameter information obtaining unit is configured to count the parameter environment of the designated terminal when it is running, so as to obtain parameter information, where the parameter information includes at least the number of parameters and the number of parameter conditions for each parameter;
  • the test case obtaining unit is used to obtain test cases for testing the parameter environment by using the orthogonal experiment method, wherein the number of the test cases is Where A k is the number of parameter conditions of the k-th parameter in the parameter environment, and the parameter environment has a total of n parameters;
  • the test case verification unit is configured to use the test case to verify the updated designated terminal and determine whether the verification result passes;
  • the update success determination unit is configured to determine that the big data cluster update is successful if the verification result is passed.
  • the device for updating big data clusters of the present application obtains the number of big data clusters to which the designated terminal belongs; if the number of big data clusters is greater than a preset number threshold, the update data is obtained from a preset database, so The database is set to allow only the first node to access; if the specified version number meets the preset update trigger condition, then according to the preset update strategy acquisition rule, the specified update strategy corresponding to the specified version number is obtained; Determine whether the designated update policy records other terminals than the designated terminal; if the designated update policy does not record any terminals other than the designated terminal, use the designated update policy according to the designated update policy.
  • the update data updates the designated terminal. Therefore, multiple big data clusters can be updated at the same time without the need to build a new management platform. Compared with the management platform, multiple information channels must be constructed (as many terminals as there are, how many information channels need to be constructed). The application directly uses the original information channel, which further saves time and cost.
  • the embodiment also provides a computer device.
  • the computer device may be a server, and its internal structure may be as shown in the figure.
  • the computer equipment includes a processor, a memory, a network interface, and a database connected through a system bus. Among them, the processor designed by the computer is used to provide calculation and control capabilities.
  • the memory of the computer device includes a non-volatile storage medium and an internal memory.
  • the non-volatile storage medium stores an operating system, computer readable instructions, and a database.
  • the memory provides an environment for the operation of the operating system and computer-readable instructions in the non-volatile storage medium.
  • the database of the computer equipment is used to store the data used in the update method of the big data cluster.
  • the network interface of the computer device is used to communicate with an external terminal through a network connection. When the computer-readable instructions are executed by the processor, a method for updating a big data cluster is realized.
  • the above-mentioned processor executes the above-mentioned method for updating the big data cluster, wherein the steps included in the method respectively correspond to the steps of executing the method for updating the big data cluster of the foregoing embodiment one-to-one, and will not be repeated here.
  • the computer device of the present application obtains the number of big data clusters to which the designated terminal belongs; if the number of the big data clusters is greater than a preset number threshold, obtains updated data from a preset database, and the database is set In order to allow only the first node to access; if the specified version number meets the preset update trigger condition, then according to the preset update policy acquisition rules, the specified update strategy corresponding to the specified version number is obtained; and the specified version number is determined Whether any terminal other than the designated terminal is recorded in the update policy; if no terminal other than the designated terminal is recorded in the designated update policy, use the update data according to the designated update policy , Update the designated terminal. Therefore, multiple big data clusters can be updated at the same time without the need to build a new management platform. Compared with the management platform, multiple information channels must be constructed (as many terminals as there are, how many information channels need to be constructed). The application directly uses the original information channel, which further saves time and cost.
  • An embodiment of the present application further provides a computer-readable storage medium on which computer-readable instructions are stored.
  • a method for updating a big data cluster is realized, wherein the steps included in the method are respectively the same as those in the method.
  • the steps of executing the method for updating the big data cluster of the foregoing embodiment correspond to each other, and will not be repeated here.
  • the computer-readable storage medium is, for example, a non-volatile computer-readable storage medium or a volatile computer-readable storage medium.
  • the computer-readable storage medium of the present application acquires the number of big data clusters to which the designated terminal belongs; if the number of big data clusters is greater than a preset number threshold, then update data is acquired from a preset database, the The database is set to allow only the first node to access; if the specified version number meets the preset update trigger condition, then the specified update strategy corresponding to the specified version number is obtained according to the preset update strategy acquisition rule; judgment; Whether any terminal other than the designated terminal is recorded in the designated update policy; if no terminal other than the designated terminal is recorded in the designated update policy, use all terminals according to the designated update policy
  • the update data is used to update the designated terminal. Therefore, multiple big data clusters can be updated at the same time without the need to build a new management platform. Compared with the management platform, multiple information channels must be constructed (as many terminals as there are, how many information channels need to be constructed). The application directly uses the original information channel, which further saves time and cost.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种大数据集群的更新方法、装置、计算机设备和存储介质，所述方法包括：获取所述指定终端归属的大数据集群的数量；若所述大数据集群的数量大于预设的数量阈值，则从预设的数据库中获取更新数据，所述数据库被设置为仅允许第一节点进行访问；若所述指定版本号满足预设的更新触发条件，则根据预设的更新策略获取规则，获取与所述指定版本号对应的指定更新策略；判断所述指定更新策略中是否记载有除所述指定终端之外的其他终端；若所述指定更新策略中未记载除所述指定终端之外的其他终端，则根据所述指定更新策略，利用所述更新数据，更新所述指定终端。从而不需要额外搭建新的管理平台，即可实现多个大数据集群的同时更新。

Description

大数据集群的更新方法、装置、计算机设备和存储介质
本申请要求于2019年10月15日提交中国专利局、申请号为2019109782774，发明名称为“大数据集群的更新方法、装置、计算机设备和存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及到计算机领域，特别是涉及到一种大数据集群的更新方法、装置、计算机设备和存储介质。
背景技术
现在大数据管理工具有很多，大部分工具都是针对单个集群进行管理，没有多集群监控管理工具。对于大公司而言，集群多样化是正常需求，基本上都会十几套集群，目前的方案或者对每套集群都单独管理(例如更新)，维护成本高，管理不便；或者专门搭建一个管理平台，对多个大数据集群进行统一管理，那么则需要额外搭建专门用于管理的平台，费时费力；或者由每个终端都自行管理，则难以实现统一管理，效率低且错误率高。因此，目前的技术方案缺乏对多个大数据集群进行高效更新的方法。
技术问题
本申请的主要目的为提供一种大数据集群的更新方法、装置、计算机设备和存储介质，旨在提高多个大数据集群进行更新的效率。
技术解决方案
为了实现上述目的，本申请提出一种大数据集群的更新方法，应用于指定终端，所述指定终端同时归属于多个大数据集群，包括：
获取所述指定终端归属的大数据集群的数量，并判断所述大数据集群的数量是否大于预设的数量阈值；
若所述大数据集群的数量大于预设的数量阈值，则从预设的数据库中获取更新数据，其中所述更新数据标注有指定版本号，所述数据库被设置为仅允许第一节点进行访问，所述第一节点同时归属的大数据集群的数量大于所述数量阈值；
判断所述指定版本号是否满足预设的更新触发条件；
若所述指定版本号满足预设的更新触发条件，则根据预设的更新策略获取规则，获取与所述指定版本号对应的指定更新策略；
判断所述指定更新策略中是否记载有除所述指定终端之外的其他终端；
若所述指定更新策略中未记载除所述指定终端之外的其他终端，则根据所述指定更新策略，利用所述更新数据，更新所述指定终端。
本申请提供一种大数据集群的更新装置，应用于指定终端，所述指定终端同时归属于多个大数据集 群，包括：
数量阈值判断单元，用于获取所述指定终端归属的大数据集群的数量，并判断所述大数据集群的数量是否大于预设的数量阈值；
更新数据获取单元，用于若所述大数据集群的数量大于预设的数量阈值，则从预设的数据库中获取更新数据，其中所述更新数据标注有指定版本号，所述数据库被设置为仅允许第一节点进行访问，所述第一节点同时归属的大数据集群的数量大于所述数量阈值；
更新触发条件判断单元，用于判断所述指定版本号是否满足预设的更新触发条件；
指定更新策略获取单元，用于若所述指定版本号满足预设的更新触发条件，则根据预设的更新策略获取规则，获取与所述指定版本号对应的指定更新策略；
指定更新策略判断单元，用于判断所述指定更新策略中是否记载有除所述指定终端之外的其他终端；
指定终端更新单元，用于若所述指定更新策略中未记载除所述指定终端之外的其他终端，则根据所述指定更新策略，利用所述更新数据，更新所述指定终端。
本申请提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现上述任一项所述方法的步骤。
本申请提供一种计算机可读存储介质，其上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现上述任一项所述的方法的步骤。
有益效果
本申请的大数据集群的更新方法、装置、计算机设备和存储介质，获取所述指定终端归属的大数据集群的数量；若所述大数据集群的数量大于预设的数量阈值，则从预设的数据库中获取更新数据，所述数据库被设置为仅允许第一节点进行访问；若所述指定版本号满足预设的更新触发条件，则根据预设的更新策略获取规则，获取与所述指定版本号对应的指定更新策略；判断所述指定更新策略中是否记载有除所述指定终端之外的其他终端；若所述指定更新策略中未记载除所述指定终端之外的其他终端，则根据所述指定更新策略，利用所述更新数据，更新所述指定终端。从而不需要额外搭建新的管理平台，即可实现多个大数据集群的同时更新，并且相对于管理平台必须采用构建多个信息通道(有多少个终端，就需要构建多少个信息通道)，本申请直接利用原有的信息通道，进一步节省了时间和成本。
附图说明
图1为本申请一实施例的大数据集群的更新方法的流程示意图；
图2为本申请一实施例的大数据集群的更新装置的结构示意框图；
图3为本申请一实施例的计算机设备的结构示意框图。
本申请的最佳实施方式
参照图1，本申请实施例提供一种大数据集群的更新方法，应用于指定终端，所述指定终端同时归 属于多个大数据集群，包括：
S1、获取所述指定终端归属的大数据集群的数量，并判断所述大数据集群的数量是否大于预设的数量阈值；
S2、若所述大数据集群的数量大于预设的数量阈值，则从预设的数据库中获取更新数据，其中所述更新数据标注有指定版本号，所述数据库被设置为仅允许第一节点进行访问，所述第一节点同时归属的大数据集群的数量大于所述数量阈值；
S3、判断所述指定版本号是否满足预设的更新触发条件；
S4、若所述指定版本号满足预设的更新触发条件，则根据预设的更新策略获取规则，获取与所述指定版本号对应的指定更新策略；
S5、判断所述指定更新策略中是否记载有除所述指定终端之外的其他终端；
S6、若所述指定更新策略中未记载除所述指定终端之外的其他终端，则根据所述指定更新策略，利用所述更新数据，更新所述指定终端。
本申请通过对多个大数据集群的交叉点(即指定终端，所述指定终端同时归属于多个大数据集群)作为大数据集群更新的发起者，从而不需要单独建立管理平台。并且由于指定终端同时归属于多个大数据集群，因此其可以在不需要搭建新的渠道即可高效地完成更新数据的传递，从而完成大数据集群的更新。其中，所述指定终端之所以能够胜任大数据集群更新的发起者，在于存储更新数据的数据库，被设置为仅允许第一节点进行访问，所述第一节点同时归属的大数据集群的数量大于所述数量阈值，从而仅对指定终端放开权限，以便实现整个大数据集群更新。
如上述步骤S1所述，获取所述指定终端归属的大数据集群的数量，并判断所述大数据集群的数量是否大于预设的数量阈值。由于指定终端是大数据集群更新的发起者，因此若指定终端仅是少数大数据集群交叉点，那么指定终端无法满足高效地大数据集群更新。据此，获取所述指定终端归属的大数据集群的数量，并判断所述大数据集群的数量是否大于预设的数量阈值，从而仅在所述大数据集群的数量大于预设的数量阈值的情况下，才利用所述指定终端进行大数据集群的更新，以避免“若指定终端仅是少数大数据集群交叉点，那么指定终端无法满足高效地大数据集群更新”(例如，当存在n个大数据集群，而所述指定终端仅在其中1个大数据集群之中，那么所述指定终端无法直接与其他的大数据集群产生通信连接，因此不利于大数据集群更新)的情况出现。
如上述步骤S2所述，若所述大数据集群的数量大于预设的数量阈值，则从预设的数据库中获取更新数据，其中所述更新数据标注有指定版本号，所述数据库被设置为仅允许第一节点进行访问，所述第一节点同时归属的大数据集群的数量大于所述数量阈值。只有当所述大数据集群的数量大于预设的数量阈值之时，对应终端才适宜进行发起大数据集群更新，也才具有访问数据库的权限。其中，所述更新数据例如为参数修改、数据替换等内容。所述参数修改例如为，修改所述数据库中的参数类型，参数范围 等。所述数据替换例如为，将用于集群更新的数据全部或者部分替换。进一步地，所述数量阈值可设置为固定数值，例如3-10,也可设置为大数据集群总数量的百分比，例如为50％乘以大数据集群总数量。本申请采用了判断所述大数据集群的数量是否大于预设的数量阈值的方式，以确定所述指定终端是否可以作为第一节点，即当所述大数据集群的数量大于预设的数量阈值之时，所述指定终端可以作为第一节点，从而具有访问数据库的权限；反之，当所述大数据集群的数量不大于预设的数量阈值之时，所述指定终端不能作为第一节点，因此无法访问数据库。
如上述步骤S3所述，判断所述指定版本号是否满足预设的更新触发条件。所述更新触发条件可以为任意可行条件，例如为从所述指定版本号中提取主版本号，判断所述主版本号是否属于预设的更新版本号，若是则判定符合更新触发条件。或者，根据公式：A＝(k1·a1,k2·a2,k3·a3,…,km·am)，生成版本号向量A，其中k1、k2、k3、…、km为预设的参数；根据公式：
Figure PCTCN2019117664-appb-000001
计算得到相似程度值D，其中A为版本号向量，B为预设的标准向量，Ai为所述版本号向量A的第i个分向量，Bi为所述标准向量B的第i个分向量；判断所述相似程度值D是否大于预设的相似程度阈值；若所述相似程度值D大于预设的相似程度阈值，则判定所述指定版本号满足预设的更新触发条件。进一步地，所述更新触发条件还可以为：获取所述指定版本号的更新时间，将所述指定版本号的更新时间与预设的时间点进行对比，若所述指定版本号的更新时间晚于预设的时间点，则判定所述指定版本号满足预设的更新触发条件。
如上述步骤S4所述，若所述指定版本号满足预设的更新触发条件，则根据预设的更新策略获取规则，获取与所述指定版本号对应的指定更新策略。其中，获取与所述指定版本号对应的指定更新策略，例如为：根据预设的更新策略与更新策略向量的对应关系，获取与预设的多个更新策略一一对应的多个更新策略向量E；根据公式：
Figure PCTCN2019117664-appb-000002
计算得到与多个更新策略一一对应的多个策略选择参数F，其中，Ai为所述版本号向量A的第i个分向量，Ei为更新策略向量E的第i个分向量；将数值最小的策略选择参数F记为指定更新策略向量，并将所述指定更新策略向量对应的更新策略记为指定更新策略，并获取所述指定更新策略。进一步地，所述指定更新策略例如为：利用所述更新数据先更新所述指定终端，再根据预设的洪水算法，将所述更新数据发送给与所述指定终端直接相连的其他终端，直至最后一个终端接收到更新数据。从而完成快速更新。
如上述步骤S5所述，判断所述指定更新策略中是否记载有除所述指定终端之外的其他终端。所述指定终端是更新数据的发起者，若所述指定更新策略中还记载有除所述指定终端之外的其他终端，则还 需要将相应的更新数据发送给所述其他终端。反之，则只对所述指定终端进行更新，即可实现对整个大数据集群的更新。
如上述步骤S6所述，若所述指定更新策略中未记载除所述指定终端之外的其他终端，则根据所述指定更新策略，利用所述更新数据，更新所述指定终端。若所述指定更新策略中未记载除所述指定终端之外的其他终端，则此次大数据集群的更新仅涉及指定终端，据此，根据所述指定更新策略，利用所述更新数据，更新所述指定终端。其中指定更新策略可以为任意策略，例如为整块数据替换策略(即将更新数据完全替换原有数据)；参数修改+数据替换策略(将能够通过参数数值修改实现的更新内容通过参数修改的方式实现，其余数据通过数据替换的方式实现)等。
在一个实施方式中，所述数据库在获取新的数据时会生成快照，所述从预设的数据库中获取更新数据的步骤S2，包括：
S201、获取创建时间离当前时间最近的第一快照卷，以及获取创建时间离所述第一快照卷的创建时间最近的第二快照卷；
S202、比较所述第一快照卷和所述第二快照卷，从而获得所述第一快照卷相对于所述第二快照卷的差异数据，其中，所述差异数据标注有指定版本号；
S203、将所述差异数据记为所述更新数据，并获取所述更新数据。
如上所述，实现了从预设的数据库中获取更新数据，其中所述更新数据标注有指定版本号。本申请中，所述数据库在获取新的数据时会生成快照，从而提高了信息的安全性与可补救性。其中，快照的定义是：关于指定数据集合的一个完全可用拷贝，该拷贝包括相应数据在某个时间点(拷贝开始的时间点)的映像。本申请的数据库在获取新的数据时会生成快照从而利用快照能够实行本案的特殊操作，即：快速获取更新数据。快照卷记载了生成快照之时的数据与原始数据的区别数据，因此第一快照卷记载了最新数据与原始数据的区别数据，第二快照卷记载了次新数据与原始数据的区别数据。因此，通过比较所述第一快照卷和所述第二快照卷，即可获得所述第一快照卷相对于所述第二快照卷的差异数据，再将所述差异数据记为所述更新数据，并获取所述更新数据。由此，仅利用快照卷，无需对数据库本身进行额外处理，即可获取所述更新数据。
在一个实施方式中，所述第一快照卷以指定哈希值作为密钥进行加密为第一密文，所述指定哈希值通过对所述第二快照卷采用指定哈希算法计算而生成，所述获取创建时间离当前时间最近的第一快照卷，以及获取创建时间离所述第一快照卷的创建时间最近的第二快照卷的步骤S201，包括：
S2011、获取所述第一密文和所述第二快照卷，其中所述第一密文的创建时间离当前时间最近，所述第二快照卷的创建时间离所述第一密文最近；
S2012、对所述第二快照卷采用所述指定哈希算法进行哈希计算，从而得到所述指定哈希值；
S2013、采用所述指定哈希值作为密钥对所述第一快照卷密文进行解密，从而得到所述第一快照卷。
如上所述，实现了获取创建时间离当前时间最近的第一快照卷，以及获取创建时间离所述第一快照卷的创建时间最近的第二快照卷。为了保证信息安全性，本申请对第一快照卷以指定哈希值作为密钥进行加密为第一密文，并且，为了增加存储空间的利用率，采用与第一快照卷最相近的第二快照卷作为密钥的生成基础，即所述指定哈希值通过对所述第二快照卷采用指定哈希算法计算而生成，从而在保证信息安全性的前提下(若不法分子能够获取所有数据，那么密钥同样也能被获取；若不法分子只能获取部分数据，由于其无法知道密钥的生成基础，因此安全性仍然得到保证)，不需要额外花费存储空间来存储密钥。据此，获取所述第一密文和所述第二快照卷，其中所述第一密文的创建时间离当前时间最近，所述第二快照卷的创建时间离所述第一密文最近；对所述第二快照卷采用所述指定哈希算法进行哈希计算，从而得到所述指定哈希值；采用所述指定哈希值作为密钥对所述第一快照卷密文进行解密，从而得到所述第一快照卷，从而得到第一快照卷和第二快照卷。进一步地，所述第二快照卷也通过第二哈希值作为密钥进行加密为第二密文，所述第二哈希值通过对第三快照卷采用指定哈希算法计算而生成，其中第三快照卷是创造时间离所述第二快照卷的创造时间最近的快照卷。从而实现了梯次加密，更进一步提高信息安全性。
在一个实施方式中，所述指定版本号为a1.a2.a3.….am，所述判断所述指定版本号是否满足预设的更新触发条件的步骤S3，包括：
S301、根据公式：A＝(k1·a1,k2·a2,k3·a3,…,km·am)，生成版本号向量A，其中k1、k2、k3、…、km为预设的参数；
S302、根据公式：
Figure PCTCN2019117664-appb-000003
计算得到相似程度值D，其中A为版本号向量，B为预设的标准向量，Ai为所述版本号向量A的第i个分向量，Bi为所述标准向量B的第i个分向量；
S303、判断所述相似程度值D是否大于预设的相似程度阈值；
S304、若所述相似程度值D大于预设的相似程度阈值，则判定所述指定版本号满足预设的更新触发条件。
如上所述，实现了判断所述指定版本号是否满足预设的更新触发条件。本申请将指定版本号映射为版本号向量A，再通过公式：
Figure PCTCN2019117664-appb-000004
计算得到相似程度值D，若所述相似程度值D大于预设的相似程度阈值，则判定所述指定版本号满足预设的更新触发条件，从而实现灵活设置触发条件(例如通过控制预设的参数k1、k2、k3、…、km；或者通过控制标准向量，实现对指定版本号中 的特定子版本号的筛选)。并且，还可以对相似程度阈值进行设置，以调整更新触发条件。从而不必采用调整更新触发条件对应关系的方式调整相应设置，而只需对参数或者向量预先设置即可。并且由于多种方式的结合，使得更新触发条件的覆盖面更广。其中，相似程度值D的最大值为1，当相似程度值D越接近于1时，表明向量A与向量B越相似，也即越满足更新触发条件。
在一个实施方式中，所述根据预设的更新策略获取规则，获取与所述指定版本号对应的指定更新策略的步骤S4,包括：
S401、根据预设的更新策略与更新策略向量的对应关系，获取与预设的多个更新策略一一对应的多个更新策略向量E；
S402、根据公式：
Figure PCTCN2019117664-appb-000005
计算得到与多个更新策略一一对应的多个策略选择参数F，其中，Ai为所述版本号向量A的第i个分向量，Ei为更新策略向量E的第i个分向量；
S403、将数值最小的策略选择参数F记为指定更新策略向量，并将所述指定更新策略向量对应的更新策略记为指定更新策略，并获取所述指定更新策略。
如上所述，实现了根据预设的更新策略获取规则，获取与所述指定版本号对应的指定更新策略。本申请采用根据公式：
Figure PCTCN2019117664-appb-000006
计算得到与多个更新策略一一对应的多个策略选择参数F，其中，Ai为所述版本号向量A的第i个分向量，Ei为更新策略向量E的第i个分向量；将数值最小的策略选择参数F记为指定更新策略向量，并将所述指定更新策略向量对应的更新策略记为指定更新策略，并获取所述指定更新策略。其中，由于前述的相似程度值D的计算公式，仅考虑了向量之间的角度关系，不涉及向量长度。因此，为了更准确地获取指定更新策略，本申请还采用公式：
Figure PCTCN2019117664-appb-000007
计算策略选择参数F，其中数值最小的策略选择参数F即表明对应的更新策略向量与版本号向量A最相近，因此对应的更新策略即为指定更新策略。据此，通过进一步引入向量长度的方式，实现了更准确地获取指定更新策略。
在一个实施方式中，所述判断所述指定更新策略中是否记载有除所述指定终端之外的其他终端的步骤S5之后，包括：
S51、若所述指定更新策略中记载有除所述指定终端之外的其他终端，则生成与所述其他终端一一对应的多个数据包，其中所述数据包为所述更新数据中的一部分；
S52、将所述多个数据包分别发送给所述其他终端。
如上所述，实现了将所述多个数据包分别发送给所述其他终端。若所述指定更新策略中记载有除所 述指定终端之外的其他终端，则表示大数据集群的更新还涉及到其他终端，并且由于其他终端的更新数据也肯定包含在所述更新数据之中，因此生成与所述其他终端一一对应的多个数据包，其中所述数据包为所述更新数据中的一部分。再将所述多个数据包分别发送给所述其他终端，待其他终端根据所述多个数据包完成更新，即可实现整个大数据集群的更新。从而避免了建立用于大数据集群的管理平台的额外花费。
在一个实施方式中，所述若所述指定更新策略中未记载除所述指定终端之外的其他终端，则根据所述指定更新策略，利用所述更新数据，更新所述指定终端的步骤S6之后，包括：
S61、统计所述指定终端运行时的参数环境，从而得到参数信息，其中所述参数信息至少包括参数数量和每个参数的参数条件的数量；
S62、采用正交实验法获取用于测试所述参数环境的测试用例，其中所述测试用例的数量为
Figure PCTCN2019117664-appb-000008
其中A k为所述参数环境中第k个参数的参数条件的数量，所述参数环境共有n个参数；
S63、采用所述测试用例对更新后的指定终端进行验证，并判断所述验证的结果是否通过；
S64、若所述验证的结果通过，则判定大数据集群更新成功。
如上所述，实现了利用测试用例进行验证。为了确定大数据集群更新是否成功，并且采用最小的计算量来完成验证，本申请通过统计所述指定终端运行时的参数环境；采用正交实验法获取用于测试所述参数环境的测试用例，其中所述测试用例的数量为
Figure PCTCN2019117664-appb-000009
其中A k为所述参数环境中第k个参数的参数条件的数量，所述参数环境共有n个参数；采用所述测试用例对更新后的指定终端进行验证，并判断所述验证的结果是否通过；若所述验证的结果通过，则判定大数据集群更新成功。其中，正交实验法是研究多因素多水平的一种设计方法，它是根据正交性从全面试验中挑选出部分有代表性的点进行试验，这些有代表性的点具备了“均匀分散，齐整可比”的特点。采用正交实验法获得所述接口测试的测试用例的方法包括：生成正交表，所述正交表由行和列构成，每个所述行代表一个测试用例，每个所述列代表一个参数水平，所述正交表依据下述原则生成：每一列中各数字(即所述参数水平在相应的所述输入参数中的排序数)出现的次数都一样多；任何两列所构成的各有序数对(即将同一行的两个数字看成有序数对)出现的次数都一样多。所述正交表中所表示的测试用例的总和(即正交表的所有行)即为所述接口测试的测试用例。从而利用正交法，并以公式
Figure PCTCN2019117664-appb-000010
限定的测试用例数量，完成验证。其中，参数条件的数量即是指参数的可选择数量。
本申请的大数据集群的更新方法，获取所述指定终端归属的大数据集群的数量；若所述大数据集群的数量大于预设的数量阈值，则从预设的数据库中获取更新数据，所述数据库被设置为仅允许第一节点 进行访问；若所述指定版本号满足预设的更新触发条件，则根据预设的更新策略获取规则，获取与所述指定版本号对应的指定更新策略；判断所述指定更新策略中是否记载有除所述指定终端之外的其他终端；若所述指定更新策略中未记载除所述指定终端之外的其他终端，则根据所述指定更新策略，利用所述更新数据，更新所述指定终端。从而不需要额外搭建新的管理平台，即可实现多个大数据集群的同时更新，并且相对于管理平台必须采用构建多个信息通道(有多少个终端，就需要构建多少个信息通道)，本申请直接利用原有的信息通道，进一步节省了时间和成本。
参照图2，本申请实施例提供一种大数据集群的更新装置，应用于指定终端，所述指定终端同时归属于多个大数据集群，包括：
数量阈值判断单元10，用于获取所述指定终端归属的大数据集群的数量，并判断所述大数据集群的数量是否大于预设的数量阈值；
更新数据获取单元20，用于若所述大数据集群的数量大于预设的数量阈值，则从预设的数据库中获取更新数据，其中所述更新数据标注有指定版本号，所述数据库被设置为仅允许第一节点进行访问，所述第一节点同时归属的大数据集群的数量大于所述数量阈值；
更新触发条件判断单元30，用于判断所述指定版本号是否满足预设的更新触发条件；
指定更新策略获取单元40，用于若所述指定版本号满足预设的更新触发条件，则根据预设的更新策略获取规则，获取与所述指定版本号对应的指定更新策略；
指定更新策略判断单元50，用于判断所述指定更新策略中是否记载有除所述指定终端之外的其他终端；
指定终端更新单元60，用于若所述指定更新策略中未记载除所述指定终端之外的其他终端，则根据所述指定更新策略，利用所述更新数据，更新所述指定终端。
其中上述单元分别用于执行的操作与前述实施方式的大数据集群的更新方法的步骤一一对应,在此不再赘述。
在一个实施方式中，所述数据库在获取新的数据时会生成快照，所述更新数据获取单元20，包括：
快照卷获取子单元，用于获取创建时间离当前时间最近的第一快照卷，以及获取创建时间离所述第一快照卷的创建时间最近的第二快照卷；
差异数据获取子单元，用于比较所述第一快照卷和所述第二快照卷，从而获得所述第一快照卷相对于所述第二快照卷的差异数据，其中，所述差异数据标注有指定版本号；
更新数据获取子单元，用于将所述差异数据记为所述更新数据，并获取所述更新数据。
其中上述子单元分别用于执行的操作与前述实施方式的大数据集群的更新方法的步骤一一对应,在此不再赘述。
在一个实施方式中，所述第一快照卷以指定哈希值作为密钥进行加密为第一密文，所述指定哈希值 通过对所述第二快照卷采用指定哈希算法计算而生成，所述快照卷获取子单元，包括：
第一密文获取模块，用于获取所述第一密文和所述第二快照卷，其中所述第一密文的创建时间离当前时间最近，所述第二快照卷的创建时间离所述第一密文最近；
哈希计算模块，用于对所述第二快照卷采用所述指定哈希算法进行哈希计算，从而得到所述指定哈希值；
第一快照卷获取模块，用于采用所述指定哈希值作为密钥对所述第一快照卷密文进行解密，从而得到所述第一快照卷。
其中上述模块分别用于执行的操作与前述实施方式的大数据集群的更新方法的步骤一一对应,在此不再赘述。
在一个实施方式中，所述指定版本号为a1.a2.a3.….am，所述更新触发条件判断单元30，包括：
版本号向量A生成子单元，用于根据公式：A＝(k1·a1,k2·a2,k3·a3,…,km·am)，生成版本号向量A，其中k1、k2、k3、…、km为预设的参数；
相似程度值D计算子单元，用于根据公式：
Figure PCTCN2019117664-appb-000011
计算得到相似程度值D，其中A为版本号向量，B为预设的标准向量，Ai为所述版本号向量A的第i个分向量，Bi为所述标准向量B的第i个分向量；
相似程度值D判断子单元，用于判断所述相似程度值D是否大于预设的相似程度阈值；
更新触发判定子单元，用于若所述相似程度值D大于预设的相似程度阈值，则判定所述指定版本号满足预设的更新触发条件。
其中上述子单元分别用于执行的操作与前述实施方式的大数据集群的更新方法的步骤一一对应,在此不再赘述。
在一个实施方式中，所述指定更新策略获取单元40,包括：
更新策略向量E获取子单元，用于根据预设的更新策略与更新策略向量的对应关系，获取与预设的多个更新策略一一对应的多个更新策略向量E；
策略选择参数F计算子单元，用于根据公式：
Figure PCTCN2019117664-appb-000012
计算得到与多个更新策略一一对应的多个策略选择参数F，其中，Ai为所述版本号向量A的第i个分向量，Ei为更新策略向量E的第i个分向量；
指定更新策略获取子单元，用于将数值最小的策略选择参数F记为指定更新策略向量，并将所述指定更新策略向量对应的更新策略记为指定更新策略，并获取所述指定更新策略。
其中上述子单元分别用于执行的操作与前述实施方式的大数据集群的更新方法的步骤一一对应,在此不再赘述。
在一个实施方式中，所述装置，包括：
多个数据包生成单元，用于若所述指定更新策略中记载有除所述指定终端之外的其他终端，则生成与所述其他终端一一对应的多个数据包，其中所述数据包为所述更新数据中的一部分；
多个数据包发送单元，用于将所述多个数据包分别发送给所述其他终端。
其中上述单元分别用于执行的操作与前述实施方式的大数据集群的更新方法的步骤一一对应,在此不再赘述。
在一个实施方式中，所述装置，包括：
参数信息获取单元，用于统计所述指定终端运行时的参数环境，从而得到参数信息，其中所述参数信息至少包括参数数量和每个参数的参数条件的数量；
测试用例获取单元，用于采用正交实验法获取用于测试所述参数环境的测试用例，其中所述测试用例的数量为
Figure PCTCN2019117664-appb-000013
其中A k为所述参数环境中第k个参数的参数条件的数量，所述参数环境共有n个参数；
测试用例验证单元，用于采用所述测试用例对更新后的指定终端进行验证，并判断所述验证的结果是否通过；
更新成功判定单元，用于若所述验证的结果通过，则判定大数据集群更新成功。
其中上述单元分别用于执行的操作与前述实施方式的大数据集群的更新方法的步骤一一对应,在此不再赘述。
本申请的大数据集群的更新装置，获取所述指定终端归属的大数据集群的数量；若所述大数据集群的数量大于预设的数量阈值，则从预设的数据库中获取更新数据，所述数据库被设置为仅允许第一节点进行访问；若所述指定版本号满足预设的更新触发条件，则根据预设的更新策略获取规则，获取与所述指定版本号对应的指定更新策略；判断所述指定更新策略中是否记载有除所述指定终端之外的其他终端；若所述指定更新策略中未记载除所述指定终端之外的其他终端，则根据所述指定更新策略，利用所述更新数据，更新所述指定终端。从而不需要额外搭建新的管理平台，即可实现多个大数据集群的同时更新，并且相对于管理平台必须采用构建多个信息通道(有多少个终端，就需要构建多少个信息通道)，本申请直接利用原有的信息通道，进一步节省了时间和成本。
参照图3，实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易 失性存储介质存储有操作系统、计算机可读指令和数据库。该内存器为非易失性存储介质中的操作系统和计算机可读指令的运行提供环境。该计算机设备的数据库用于存储大数据集群的更新方法所用数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机可读指令被处理器执行时以实现一种大数据集群的更新方法。
上述处理器执行上述大数据集群的更新方法，其中所述方法包括的步骤分别与执行前述实施方式的大数据集群的更新方法的步骤一一对应,在此不再赘述。
本领域技术人员可以理解，图中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定。
本申请的计算机设备，获取所述指定终端归属的大数据集群的数量；若所述大数据集群的数量大于预设的数量阈值，则从预设的数据库中获取更新数据，所述数据库被设置为仅允许第一节点进行访问；若所述指定版本号满足预设的更新触发条件，则根据预设的更新策略获取规则，获取与所述指定版本号对应的指定更新策略；判断所述指定更新策略中是否记载有除所述指定终端之外的其他终端；若所述指定更新策略中未记载除所述指定终端之外的其他终端，则根据所述指定更新策略，利用所述更新数据，更新所述指定终端。从而不需要额外搭建新的管理平台，即可实现多个大数据集群的同时更新，并且相对于管理平台必须采用构建多个信息通道(有多少个终端，就需要构建多少个信息通道)，本申请直接利用原有的信息通道，进一步节省了时间和成本。
本申请一实施例还提供一种计算机可读存储介质，其上存储有计算机可读指令，计算机可读指令被处理器执行时实现大数据集群的更新方法，其中所述方法包括的步骤分别与执行前述实施方式的大数据集群的更新方法的步骤一一对应,在此不再赘述。所述计算机可读存储介质，例如为非易失性的计算机可读存储介质，或者为易失性的计算机可读存储介质。
本申请的计算机可读存储介质，获取所述指定终端归属的大数据集群的数量；若所述大数据集群的数量大于预设的数量阈值，则从预设的数据库中获取更新数据，所述数据库被设置为仅允许第一节点进行访问；若所述指定版本号满足预设的更新触发条件，则根据预设的更新策略获取规则，获取与所述指定版本号对应的指定更新策略；判断所述指定更新策略中是否记载有除所述指定终端之外的其他终端；若所述指定更新策略中未记载除所述指定终端之外的其他终端，则根据所述指定更新策略，利用所述更新数据，更新所述指定终端。从而不需要额外搭建新的管理平台，即可实现多个大数据集群的同时更新，并且相对于管理平台必须采用构建多个信息通道(有多少个终端，就需要构建多少个信息通道)，本申请直接利用原有的信息通道，进一步节省了时间和成本。

Claims (20)

  1. 一种大数据集群的更新方法，其特征在于，应用于指定终端，所述指定终端同时归属于多个大数据集群，包括：
    获取所述指定终端归属的大数据集群的数量，并判断所述大数据集群的数量是否大于预设的数量阈值；
    若所述大数据集群的数量大于预设的数量阈值，则从预设的数据库中获取更新数据；其中所述更新数据标注有指定版本号，所述数据库被设置为仅允许第一节点进行访问，所述第一节点同时归属的大数据集群的数量大于所述数量阈值；
    判断所述指定版本号是否满足预设的更新触发条件；
    若所述指定版本号满足预设的更新触发条件，则根据预设的更新策略获取规则，获取与所述指定版本号对应的指定更新策略；
    判断所述指定更新策略中是否记载有除所述指定终端之外的其他终端；
    若所述指定更新策略中未记载除所述指定终端之外的其他终端，则根据所述指定更新策略，利用所述更新数据，更新所述指定终端。
  2. 根据权利要求1所述的大数据集群的更新方法，其特征在于，所述数据库在获取新的数据时会生成快照；
    所述从预设的数据库中获取更新数据的步骤，包括：
    获取创建时间离当前时间最近的第一快照卷，以及获取创建时间离所述第一快照卷的创建时间最近的第二快照卷；
    比较所述第一快照卷和所述第二快照卷，从而获得所述第一快照卷相对于所述第二快照卷的差异数据，其中，所述差异数据标注有指定版本号；
    将所述差异数据记为所述更新数据，并获取所述更新数据。
  3. 根据权利要求2所述的大数据集群的更新方法，其特征在于，所述第一快照卷以指定哈希值作为密钥进行加密为第一密文，所述指定哈希值通过对所述第二快照卷采用指定哈希算法计算而生成，所述获取创建时间离当前时间最近的第一快照卷，以及获取创建时间离所述第一快照卷的创建时间最近的第二快照卷的步骤，包括：
    获取所述第一密文和所述第二快照卷，其中所述第一密文的创建时间离当前时间最近，所述第二快照卷的创建时间离所述第一密文最近；
    对所述第二快照卷采用所述指定哈希算法进行哈希计算，从而得到所述指定哈希值；
    采用所述指定哈希值作为密钥对所述第一快照卷密文进行解密，从而得到所述第一快照卷。
  4. 根据权利要求1所述的大数据集群的更新方法，其特征在于，所述指定版本号为a1.a2.a3.….am；
    所述判断所述指定版本号是否满足预设的更新触发条件的步骤，包括：
    根据公式：A＝(k1·a1,k2·a2,k3·a3,…,km·am)，生成版本号向量A，其中k1、k2、k3、…、km为预设的参数；
    根据公式：
    Figure PCTCN2019117664-appb-100001
    计算得到相似程度值D，其中A为版本号向量，B为预设的标准向量，Ai为所述版本号向量A的第i个分向量，Bi为所述标准向量B的第i个分向量；
    判断所述相似程度值D是否大于预设的相似程度阈值；
    若所述相似程度值D大于预设的相似程度阈值，则判定所述指定版本号满足预设的更新触发条件。
  5. 根据权利要求4所述的大数据集群的更新方法，其特征在于，所述根据预设的更新策略获取规则，获取与所述指定版本号对应的指定更新策略的步骤,包括：
    根据预设的更新策略与更新策略向量的对应关系，获取与预设的多个更新策略一一对应的多个更新策略向量E；
    根据公式：
    Figure PCTCN2019117664-appb-100002
    计算得到与多个更新策略一一对应的多个策略选择参数F；其中，Ai为所述版本号向量A的第i个分向量，Ei为更新策略向量E的第i个分向量；
    将数值最小的策略选择参数F记为指定更新策略向量，并将所述指定更新策略向量对应的更新策略记为指定更新策略，并获取所述指定更新策略。
  6. 根据权利要求1所述的大数据集群的更新方法，其特征在于，所述判断所述指定更新策略中是否记载有除所述指定终端之外的其他终端的步骤之后，包括：
    若所述指定更新策略中记载有除所述指定终端之外的其他终端，则生成与所述其他终端一一对应的多个数据包，其中所述数据包为所述更新数据中的一部分；
    将所述多个数据包分别发送给所述其他终端。
  7. 根据权利要求1所述的大数据集群的更新方法，其特征在于，所述若所述指定更新策略中未记载除所述指定终端之外的其他终端，则根据所述指定更新策略，利用所述更新数据，更新所述指定终端的步骤之后，包括：
    统计所述指定终端运行时的参数环境，从而得到参数信息，其中所述参数信息至少包括参数数量和每个参数的参数条件的数量；
    采用正交实验法获取用于测试所述参数环境的测试用例，其中所述测试用例的数量为
    Figure PCTCN2019117664-appb-100003
    其中A k为所述参数环境中第k个参数的参数条件的数量，所述参数环境共有n个参数；
    采用所述测试用例对更新后的指定终端进行验证，并判断所述验证的结果是否通过；
    若所述验证的结果通过，则判定大数据集群更新成功。
  8. 一种大数据集群的更新装置，其特征在于，应用于指定终端，所述指定终端同时归属于多个大数据集群，包括：
    数量阈值判断单元，用于获取所述指定终端归属的大数据集群的数量，并判断所述大数据集群的数量是否大于预设的数量阈值；
    更新数据获取单元，用于若所述大数据集群的数量大于预设的数量阈值，则从预设的数据库中获取更新数据，其中所述更新数据标注有指定版本号，所述数据库被设置为仅允许第一节点进行访问，所述第一节点同时归属的大数据集群的数量大于所述数量阈值；
    更新触发条件判断单元，用于判断所述指定版本号是否满足预设的更新触发条件；
    指定更新策略获取单元，用于若所述指定版本号满足预设的更新触发条件，则根据预设的更新策略获取规则，获取与所述指定版本号对应的指定更新策略；
    指定更新策略判断单元，用于判断所述指定更新策略中是否记载有除所述指定终端之外的其他终端；
    指定终端更新单元，用于若所述指定更新策略中未记载除所述指定终端之外的其他终端，则根据所述指定更新策略，利用所述更新数据，更新所述指定终端。
  9. 根据权利要求8所述的大数据集群的更新装置，其特征在于，所述数据库在获取新的数据时会生成快照，所述更新数据获取单元，包括：
    快照卷获取子单元，用于获取创建时间离当前时间最近的第一快照卷，以及获取创建时间离所述第一快照卷的创建时间最近的第二快照卷；
    差异数据获取子单元，用于比较所述第一快照卷和所述第二快照卷，从而获得所述第一快照卷相对于所述第二快照卷的差异数据，其中，所述差异数据标注有指定版本号；
    更新数据获取子单元，用于将所述差异数据记为所述更新数据，并获取所述更新数据。
  10. 根据权利要求9所述的大数据集群的更新装置，其特征在于，所述第一快照卷以指定哈希值作为密钥进行加密为第一密文，所述指定哈希值通过对所述第二快照卷采用指定哈希算法计算而生成，所述快照卷获取子单元，包括：
    第一密文获取模块，用于获取所述第一密文和所述第二快照卷，其中所述第一密文的创建时间离当前时间最近，所述第二快照卷的创建时间离所述第一密文最近；
    哈希计算模块，用于对所述第二快照卷采用所述指定哈希算法进行哈希计算，从而得到所述指定哈 希值；
    第一快照卷获取模块，用于采用所述指定哈希值作为密钥对所述第一快照卷密文进行解密，从而得到所述第一快照卷。
  11. 根据权利要求8所述的大数据集群的更新装置，其特征在于，所述指定版本号为a1.a2.a3.….am，所述更新触发条件判断单元，包括：
    版本号向量A生成子单元，用于根据公式：A＝(k1·a1,k2·a2,k3·a3,…,km·am)，生成版本号向量A，其中k1、k2、k3、…、km为预设的参数；
    相似程度值D计算子单元，用于根据公式：
    Figure PCTCN2019117664-appb-100004
    计算得到相似程度值D，其中A为版本号向量，B为预设的标准向量，Ai为所述版本号向量A的第i个分向量，Bi为所述标准向量B的第i个分向量；
    相似程度值D判断子单元，用于判断所述相似程度值D是否大于预设的相似程度阈值；
    更新触发判定子单元，用于若所述相似程度值D大于预设的相似程度阈值，则判定所述指定版本号满足预设的更新触发条件。
  12. 根据权利要求11所述的大数据集群的更新装置，其特征在于，所述指定更新策略获取单元,包括：
    更新策略向量E获取子单元，用于根据预设的更新策略与更新策略向量的对应关系，获取与预设的多个更新策略一一对应的多个更新策略向量E；
    策略选择参数F计算子单元，用于根据公式：
    Figure PCTCN2019117664-appb-100005
    计算得到与多个更新策略一一对应的多个策略选择参数F，其中，Ai为所述版本号向量A的第i个分向量，Ei为更新策略向量E的第i个分向量；
    指定更新策略获取子单元，用于将数值最小的策略选择参数F记为指定更新策略向量，并将所述指定更新策略向量对应的更新策略记为指定更新策略，并获取所述指定更新策略。
  13. 根据权利要求8所述的大数据集群的更新装置，其特征在于，所述装置，包括：
    多个数据包生成单元，用于若所述指定更新策略中记载有除所述指定终端之外的其他终端，则生成与所述其他终端一一对应的多个数据包，其中所述数据包为所述更新数据中的一部分；
    多个数据包发送单元，用于将所述多个数据包分别发送给所述其他终端。
  14. 根据权利要求8所述的大数据集群的更新装置，其特征在于，所述装置，包括：
    参数信息获取单元，用于统计所述指定终端运行时的参数环境，从而得到参数信息，其中所述参数 信息至少包括参数数量和每个参数的参数条件的数量；
    测试用例获取单元，用于采用正交实验法获取用于测试所述参数环境的测试用例，其中所述测试用例的数量为
    Figure PCTCN2019117664-appb-100006
    其中A k为所述参数环境中第k个参数的参数条件的数量，所述参数环境共有n个参数；
    测试用例验证单元，用于采用所述测试用例对更新后的指定终端进行验证，并判断所述验证的结果是否通过；
    更新成功判定单元，用于若所述验证的结果通过，则判定大数据集群更新成功。
  15. 一种计算机设备，包括存储器和处理器，所述存储器存储有计算机可读指令，其特征在于，所述处理器执行所述计算机可读指令时实现大数据集群的更新方法，所述大数据集群的更新方法，应用于指定终端，所述指定终端同时归属于多个大数据集群，包括：
    获取所述指定终端归属的大数据集群的数量，并判断所述大数据集群的数量是否大于预设的数量阈值；
    若所述大数据集群的数量大于预设的数量阈值，则从预设的数据库中获取更新数据；其中所述更新数据标注有指定版本号，所述数据库被设置为仅允许第一节点进行访问，所述第一节点同时归属的大数据集群的数量大于所述数量阈值；
    判断所述指定版本号是否满足预设的更新触发条件；
    若所述指定版本号满足预设的更新触发条件，则根据预设的更新策略获取规则，获取与所述指定版本号对应的指定更新策略；
    判断所述指定更新策略中是否记载有除所述指定终端之外的其他终端；
    若所述指定更新策略中未记载除所述指定终端之外的其他终端，则根据所述指定更新策略，利用所述更新数据，更新所述指定终端。
  16. 根据权利要求15所述的计算机设备，其特征在于，所述数据库在获取新的数据时会生成快照；
    所述从预设的数据库中获取更新数据的步骤，包括：
    获取创建时间离当前时间最近的第一快照卷，以及获取创建时间离所述第一快照卷的创建时间最近的第二快照卷；
    比较所述第一快照卷和所述第二快照卷，从而获得所述第一快照卷相对于所述第二快照卷的差异数据，其中，所述差异数据标注有指定版本号；
    将所述差异数据记为所述更新数据，并获取所述更新数据。
  17. 根据权利要求16所述的计算机设备，其特征在于，所述第一快照卷以指定哈希值作为密钥进行加密为第一密文，所述指定哈希值通过对所述第二快照卷采用指定哈希算法计算而生成，所述获取创 建时间离当前时间最近的第一快照卷，以及获取创建时间离所述第一快照卷的创建时间最近的第二快照卷的步骤，包括：
    获取所述第一密文和所述第二快照卷，其中所述第一密文的创建时间离当前时间最近，所述第二快照卷的创建时间离所述第一密文最近；
    对所述第二快照卷采用所述指定哈希算法进行哈希计算，从而得到所述指定哈希值；
    采用所述指定哈希值作为密钥对所述第一快照卷密文进行解密，从而得到所述第一快照卷。
  18. 一种计算机可读存储介质，其上存储有计算机可读指令，其特征在于，所述计算机可读指令被处理器执行时实现大数据集群的更新方法，所述大数据集群的更新方法，应用于指定终端，所述指定终端同时归属于多个大数据集群，包括：
    获取所述指定终端归属的大数据集群的数量，并判断所述大数据集群的数量是否大于预设的数量阈值；
    若所述大数据集群的数量大于预设的数量阈值，则从预设的数据库中获取更新数据；其中所述更新数据标注有指定版本号，所述数据库被设置为仅允许第一节点进行访问，所述第一节点同时归属的大数据集群的数量大于所述数量阈值；
    判断所述指定版本号是否满足预设的更新触发条件；
    若所述指定版本号满足预设的更新触发条件，则根据预设的更新策略获取规则，获取与所述指定版本号对应的指定更新策略；
    判断所述指定更新策略中是否记载有除所述指定终端之外的其他终端；
    若所述指定更新策略中未记载除所述指定终端之外的其他终端，则根据所述指定更新策略，利用所述更新数据，更新所述指定终端。
  19. 根据权利要求18所述的计算机可读存储介质，其特征在于，所述数据库在获取新的数据时会生成快照；
    所述从预设的数据库中获取更新数据的步骤，包括：
    获取创建时间离当前时间最近的第一快照卷，以及获取创建时间离所述第一快照卷的创建时间最近的第二快照卷；
    比较所述第一快照卷和所述第二快照卷，从而获得所述第一快照卷相对于所述第二快照卷的差异数据，其中，所述差异数据标注有指定版本号；
    将所述差异数据记为所述更新数据，并获取所述更新数据。
  20. 根据权利要求19所述的计算机可读存储介质，其特征在于，所述第一快照卷以指定哈希值作为密钥进行加密为第一密文，所述指定哈希值通过对所述第二快照卷采用指定哈希算法计算而生成，所述获取创建时间离当前时间最近的第一快照卷，以及获取创建时间离所述第一快照卷的创建时间最近的 第二快照卷的步骤，包括：
    获取所述第一密文和所述第二快照卷，其中所述第一密文的创建时间离当前时间最近，所述第二快照卷的创建时间离所述第一密文最近；
    对所述第二快照卷采用所述指定哈希算法进行哈希计算，从而得到所述指定哈希值；
    采用所述指定哈希值作为密钥对所述第一快照卷密文进行解密，从而得到所述第一快照卷。
PCT/CN2019/117664 2019-10-15 2019-11-12 大数据集群的更新方法、装置、计算机设备和存储介质 WO2021072862A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910978277.4A CN111078712B (zh) 2019-10-15 2019-10-15 大数据集群的更新方法、装置、计算机设备和存储介质
CN201910978277.4 2019-10-15

Publications (1)

Publication Number Publication Date
WO2021072862A1 true WO2021072862A1 (zh) 2021-04-22

Family

ID=70310394

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/117664 WO2021072862A1 (zh) 2019-10-15 2019-11-12 大数据集群的更新方法、装置、计算机设备和存储介质

Country Status (2)

Country Link
CN (1) CN111078712B (zh)
WO (1) WO2021072862A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115080076A (zh) * 2022-08-23 2022-09-20 江苏北弓智能科技有限公司 一种云手机软件管理方法
CN117459589A (zh) * 2023-11-10 2024-01-26 深圳市脉山龙信息技术股份有限公司 一种可视化大数据运维管理平台

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160055230A1 (en) * 2014-08-21 2016-02-25 Codership Oy Method for avoiding conflicts in database cluster
CN106202365A (zh) * 2016-07-07 2016-12-07 帅斌鹏 数据库更新同步的方法、系统及数据库集群
US20170123663A1 (en) * 2015-10-30 2017-05-04 Netapp, Inc. Techniques for maintaining device coordination in a storage cluster system
CN107465714A (zh) * 2017-01-23 2017-12-12 北京思特奇信息技术股份有限公司 一种基于应用集群的配置数据动态更新系统及方法
CN109189855A (zh) * 2018-08-14 2019-01-11 平安普惠企业管理有限公司 基于分布存储技术的数据同步方法及终端设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104283906B (zh) * 2013-07-02 2018-06-19 华为技术有限公司 分布式存储系统、集群节点及其区间管理方法
US9465857B1 (en) * 2013-09-26 2016-10-11 Groupon, Inc. Dynamic clustering for streaming data
US10885064B2 (en) * 2015-12-14 2021-01-05 Pivotal Software, Inc. Performing global computation in distributed database systems
CN107820221B (zh) * 2016-09-12 2020-02-11 大唐移动通信设备有限公司 集群组呼业务加密方法及集群核心网
US10659254B2 (en) * 2017-07-10 2020-05-19 Fungible, Inc. Access node integrated circuit for data centers which includes a networking unit, a plurality of host units, processing clusters, a data network fabric, and a control network fabric

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160055230A1 (en) * 2014-08-21 2016-02-25 Codership Oy Method for avoiding conflicts in database cluster
US20170123663A1 (en) * 2015-10-30 2017-05-04 Netapp, Inc. Techniques for maintaining device coordination in a storage cluster system
CN106202365A (zh) * 2016-07-07 2016-12-07 帅斌鹏 数据库更新同步的方法、系统及数据库集群
CN107465714A (zh) * 2017-01-23 2017-12-12 北京思特奇信息技术股份有限公司 一种基于应用集群的配置数据动态更新系统及方法
CN109189855A (zh) * 2018-08-14 2019-01-11 平安普惠企业管理有限公司 基于分布存储技术的数据同步方法及终端设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115080076A (zh) * 2022-08-23 2022-09-20 江苏北弓智能科技有限公司 一种云手机软件管理方法
CN115080076B (zh) * 2022-08-23 2022-11-01 江苏北弓智能科技有限公司 一种云手机软件管理方法
CN117459589A (zh) * 2023-11-10 2024-01-26 深圳市脉山龙信息技术股份有限公司 一种可视化大数据运维管理平台

Also Published As

Publication number Publication date
CN111078712B (zh) 2022-08-26
CN111078712A (zh) 2020-04-28

Similar Documents

Publication Publication Date Title
US11792006B2 (en) Method and apparatus for electing representative node device, computer device, and storage medium
Huba et al. Papaya: Practical, private, and scalable federated learning
WO2021232754A1 (zh) 联邦学习建模方法、设备及计算机可读存储介质
Moshref et al. Scream: Sketch resource allocation for software-defined measurement
US10664169B2 (en) Performance of object storage system by reconfiguring storage devices based on latency that includes identifying a number of fragments that has a particular storage device as its primary storage device and another number of fragments that has said particular storage device as its replica storage device
WO2021072862A1 (zh) 大数据集群的更新方法、装置、计算机设备和存储介质
WO2019153491A1 (zh) 一种学生信息存储方法、可读存储介质、终端设备及装置
WO2020199711A1 (zh) 数据存储方法、系统、装置及设备
US20200167342A1 (en) System for Secure Software Defined Networking Based on Block-Chain and Method Thereof
WO2020133963A1 (zh) 基于区块链的数据存储方法、相关设备及存储介质
US20180337848A1 (en) Network compatibility determination based on flow requirements of an application and stored flow capabilities of a software-defined network
WO2022111608A1 (zh) 基于国密sm2算法的批量签名验证方法、装置、设备及介质
CN110768856A (zh) 网络流测量的方法、网络测量设备以及控制面设备
US10356064B1 (en) Distributed on-demand key management for rangeless environments
US11700205B2 (en) Optimal control of network traffic visibility resources and distributed traffic processing resource control system
Zhang et al. KT-ORAM: A bandwidth-efficient ORAM built on k-ary tree of PIR nodes
US12079201B2 (en) Blockchain-based data storage method, related device and storage medium
CN108389124A (zh) 数据处理方法、装置、计算机设备和存储介质
CN111372277B (zh) 数据分发方法、装置及存储介质
CN114531455B (zh) 基于边缘协助的多云安全存储方法
CN110896360A (zh) 基于历史信息和分层强化学习的拒绝服务攻击防护方法
US20210304884A1 (en) Medical data processing method, cluster processing system and method thereof
Aghajani et al. A large scale analysis of unreliable stochastic networks
WO2020245948A1 (ja) 要求通信品質推定装置、要求通信品質推定方法、及びプログラム
Gad et al. Improving network traffic acquisition and processing with the Java Virtual Machine

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19949096

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19949096

Country of ref document: EP

Kind code of ref document: A1