WO2019128205A1 - 实现灰度发布的方法、装置及计算节点和系统 - Google Patents

实现灰度发布的方法、装置及计算节点和系统 Download PDF

Info

Publication number
WO2019128205A1
WO2019128205A1 PCT/CN2018/096686 CN2018096686W WO2019128205A1 WO 2019128205 A1 WO2019128205 A1 WO 2019128205A1 CN 2018096686 W CN2018096686 W CN 2018096686W WO 2019128205 A1 WO2019128205 A1 WO 2019128205A1
Authority
WO
WIPO (PCT)
Prior art keywords
grayscale
request
data
user
official
Prior art date
Application number
PCT/CN2018/096686
Other languages
English (en)
French (fr)
Inventor
陆天炜
付裕
罗圣美
钱煜明
Original Assignee
中兴通讯股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中兴通讯股份有限公司 filed Critical 中兴通讯股份有限公司
Priority to JP2020536074A priority Critical patent/JP7083901B2/ja
Publication of WO2019128205A1 publication Critical patent/WO2019128205A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/278—Data partitioning, e.g. horizontal or vertical partitioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Definitions

  • the present application relates to, but is not limited to, a distributed data processing technology, and more particularly to a method, apparatus, and computing node and system for implementing grayscale publishing based on a distributed database.
  • the grayscale release (also known as Canary Publishing) refers to a release method that can smoothly transition between black and white.
  • A/B testing can be performed, that is, some users continue to use product feature A, and another user starts to use product feature B. If the user has no objection to product feature B, then step by step Expand the scope and migrate all users to product feature B.
  • the grayscale release can ensure the stability of the overall system, and the problem can be found in the initial grayscale, and then adjusted to ensure its influence.
  • the commonly used grayscale publishing strategy includes: applying the corresponding traffic to the original service system and the new service system according to the list of the official user and the grayscale user.
  • a series of functional modules such as a configuration center will be added accordingly.
  • the application needs to maintain the old and new business codes corresponding to the original business system and the new business system, as well as retain the old and new data structures and their data content.
  • the system for realizing grayscale publishing is mainly implemented by the application end and the server side, and rarely involves the database. Even if the database is involved, the grayscale user and the official user use the same set of databases, and the redundancy field is added to adapt.
  • the formal user needs to use the fields A, B, and C.
  • the gray user needs to use the fields A, D, and E.
  • this table needs to include five fields: field A, field B, field C, field D, and field E.
  • field D and field E are redundant.
  • field B and field C are redundant.
  • grayscale application access it is necessary to restrict access to only official data, and need to mask field D and field E; while in grayscale application access, it is necessary to restrict access to only grayscale data, and need to shield field B and Field C, such processing imposes restrictions on the business; moreover, grayscale service modification becomes more and more complicated, which is not conducive to post-maintenance, and is not conducive to version rollback.
  • the present application provides a method, a device, and a computing node and system for realizing grayscale publishing, which can achieve the purpose of grayscale publishing simply and effectively, and reduce the amount of business transformation.
  • the present application provides a method for implementing grayscale publishing, including:
  • the gray scale request is parsed according to the preset fragment configuration information, and the gray scale request is determined to be the first gray scale request for requesting the gray scale data, or the second gray scale request for requesting the gray scale data and the official data;
  • the present application further provides an apparatus for implementing grayscale publishing, comprising a processor and a computer readable storage medium, wherein the computer readable storage medium stores instructions, when the instructions are executed by the processor, implementing the present A method for implementing grayscale distribution in any of the embodiments.
  • the application further provides an apparatus for implementing grayscale publishing, comprising: a filtering module, a parsing module, and a forwarding module; wherein
  • a filtering module configured to process the received application request, and determine that the received application request is a grayscale request
  • the parsing module is configured to parse the grayscale request according to the loaded fragment configuration information, determine that the grayscale request is the first grayscale request for requesting the grayscale data, or the second grayscale request for requesting the grayscale data and the formal data ;
  • a forwarding module configured to forward a portion of the first grayscale request or the second grayscale request requesting the data of the grayscale user to the grayscale data node where the grayscale user corresponding to the grayscale request is located; and the second grayscale request The part requesting official user data is forwarded to the official data node where the official user is located.
  • the present application further provides a computing node, including the apparatus for implementing grayscale publishing according to any one of the embodiments of the present application.
  • the application further provides a system for implementing grayscale publishing, comprising: a data node cluster in a distributed database, and a cluster of computing nodes in a distributed database; wherein
  • the data node cluster in the distributed database includes two or more data nodes configured to carry user data; the data is distributed to the plurality of data nodes through the fragmentation configuration information;
  • the computing node cluster in the distributed database includes two or more computing nodes configured to provide external services.
  • the computing node includes the device for implementing grayscale publishing according to any one of the embodiments of the present application.
  • the technical solution of the present application includes: processing the received application request, determining that the received application request is a grayscale request; parsing the grayscale request according to the loaded fragment configuration information, determining that the grayscale request is requesting grayscale data a first grayscale request, or a second grayscale request requesting grayscale data and official data; performing a portion of the first grayscale request or the second grayscale request requesting grayscale user data according to the grayscale modification configuration information Rewriting; forwarding the portion of the first grayscale request or the second grayscale request requesting the data of the grayscale user to the grayscale data node where the grayscale user corresponding to the grayscale request is located; and the second grayscale request The part requesting official user data is forwarded to the official data node where the official user is located.
  • FIG. 1 is a flow chart of a method for implementing grayscale publishing according to the present application
  • FIG. 2 is a schematic diagram of an embodiment of implementing data fragmentation and a heterogeneous table of the same name in the present application;
  • FIG. 3 is a schematic diagram of an embodiment of user data fragmentation supporting grayscale publishing in the present application.
  • FIG. 4 is a schematic diagram of a distributed database data redistribution embodiment of the present application.
  • FIG. 5 is a schematic diagram of an embodiment of statistical processing of a grayscale request report according to the present application.
  • FIG. 6 is a flowchart of an embodiment of a reconciliation processing of the present application.
  • FIG. 7 is a schematic structural diagram of a device for implementing grayscale distribution according to the present application.
  • FIG. 8 is a schematic diagram of a composition embodiment of a computing node of the present application.
  • FIG. 9 is a schematic diagram of an overall architecture of implementing grayscale publishing based on a distributed database according to the present application.
  • FIG. 10 is a schematic structural diagram of a device for implementing grayscale publishing according to the present application.
  • FIG. 11 is a schematic diagram of a first embodiment of implementing grayscale distribution according to the present application.
  • FIG. 12 is a schematic diagram of a second embodiment of implementing grayscale distribution according to the present application.
  • FIG. 13 is a schematic diagram of a third embodiment of implementing grayscale distribution according to the present application.
  • FIG. 14 is a schematic diagram of a fourth embodiment of implementing grayscale distribution according to the present application.
  • FIG. 1 is a flowchart of a method for implementing grayscale publishing according to the present application. As shown in FIG. 1, the method includes:
  • Step 100 The computing node processes the received application request, and determines that the received application request is a grayscale request.
  • the method of the present application further includes:
  • the formal request is forwarded to the official data node where the official user corresponding to the official request is located.
  • the computing node may filter the received application request through the IP whitelist to distinguish whether the received application request is a grayscale request or a formal request for formal data.
  • the IP whitelist includes: officially requesting an IP whitelist and a grayscale request IP whitelist; and filtering the received application request by using the IP whitelist includes:
  • An application request from a formal application database client in the official request IP whitelist is a formal request
  • An application request from a grayscale application database client in the grayscale request IP whitelist is a grayscale request
  • This application filters out illegal application requests through the IP whitelist.
  • This step also includes:
  • Step 101 Parse the grayscale request according to the preset fragment configuration information, determine that the grayscale request is the first grayscale request for requesting the grayscale data, or the second grayscale request for requesting the grayscale data and the official data.
  • the fragmentation configuration information may include, but is not limited to, any combination of the following: a list fragment, an ER fragment, a Hash fragment, a Range fragment, and the like.
  • the grayscale user is distinguished by a plurality of distribution modes. And official users.
  • the application also includes:
  • the data segmentation function of the distributed database is used to distinguish the grayscale user data from the official user data at the database layer, that is, to distinguish the grayscale user from the official user.
  • the present application uses the same fragment configuration information to ensure that all related data of the same user have the same distribution rule, that is, the same fragment configuration information is used for the data distribution of the same user.
  • the same user may involve many tables, but these related tables all use the same fragmentation configuration information.
  • the step of parsing the grayscale request according to the preset fragment configuration information in step 101 includes: determining a table to be queried according to the grayscale request; and querying the fragmentation rule of the table according to the fragmentation configuration information. And determining the data node corresponding to the grayscale request according to the fragmentation rule.
  • Step 103 Forward a portion of the first grayscale request or the second grayscale request requesting the data of the grayscale user to the grayscale data node where the grayscale user corresponding to the grayscale request is located; and request the second grayscale request Part of the official user data is sent to the official data node where the official user is located.
  • the method further includes: sending, by the summary request, the grayscale data node to which the grayscale user is located.
  • the execution results of the parts and the execution results of the parts of the official data nodes to which the official users are located are summarized.
  • the method for implementing grayscale publishing in the present application further includes:
  • Step 102 Rewrite the portion of the first grayscale request or the second grayscale request requesting the grayscale user data according to the preset grayscale modification configuration information.
  • the distributed database supports the same-named heterogeneous table, that is, the table with the same name but different data structure.
  • the present application also includes:
  • the table structure of the grayscale user database is rewritten according to the grayscale modification configuration information, so that the structure of the data table used by the grayscale user and the official user is different.
  • the grayscale user's table is different from the formal user's table structure, both still use the same name table.
  • the table T is segmented according to the id according to the preset fragment configuration information, and id1 to id10 are distributed on the data node 1, and id11 to id20 are distributed in the data node 2;
  • the configuration information refers to which tables, which fields are used to determine whether it needs to be rewritten, and the modified fields are not involved, so the SQL does not need to be rewritten.
  • the business uses the same statement to support access to the heterogeneous database without the inconsistency of dimensions.
  • the fields in the original table are field A, field B, and field C
  • FIG. 2 is a schematic diagram of an embodiment of implementing data fragmentation and a heterogeneous table of the same name in the present application.
  • a distributed database When a distributed database is not used, all data of the same table is placed on one data node, and all data rows are stored in the table.
  • the table T on a single node stores 9 rows of data.
  • data row 1 stores 1 row to 4 rows
  • data node 2 stores 5 rows to 8 rows
  • data node 3 stores row 9 rows.
  • the data can be distributed on different data nodes by framed ranges such as set1 ⁇ 1 ⁇ 4 ⁇ , set2 ⁇ 5 ⁇ 8 ⁇ , set3 ⁇ 9 ⁇ ;
  • Another example is if other sharding methods such as hash sharding, relational sharding, etc. are used.
  • the table structure on different data nodes can be modified.
  • the entire data node still displays the original table structure T (A, B, C) for the calculation node. That is to say, for a distributed database, the table structure is externally displayed by the computing node, and the table T in the formal database and the grayscale database is a whole. Regardless of the grayscale modification, the external table structure is still T ( A, B, C).
  • FIG. 3 is a schematic diagram of a user data fragmentation embodiment supporting grayscale publishing according to the present application.
  • a selection policy of a grayscale user needs to be configured, that is, a fragmentation policy of a distributed database is preset, for example, it can be set according to a range.
  • the user of the 1-100 ID is a grayscale user, which belongs to the Range distribution and divides the data into formal data and grayscale data. Set the same distribution rules for related tables to ensure that all data of the same user will be distributed in the same library.
  • the formal user related tables T1, T2, T3 and T4 are all on the formal data nodes, grayscale users.
  • the associated table T1, table T2, table T3, and table T4 are all on the grayscale data node.
  • the grayscale user's related table needs to perform the corresponding table structure modification, as shown in the grayscale library in Fig. 4, the table name is consistent with the formal data node, but the table structure is different.
  • the formal user's query will only involve the official library (data in the dotted line on the left side), and the grayscale user's query will involve the grayscale library and the official library (data in the dotted line on the right).
  • Gray-scale users for SQL requests that do not involve gray-listed people after filtering through the static routing gray list, will directly send the SQL statement to the official library, as shown in the basic information table 2 in Figure 4; gray-scale users for the gray-listed population
  • the SQL request will be rewritten after the corresponding SQL is sent to the gray node for execution.
  • the original select C from T according to the rewrite configuration, will be rewritten as select B+C from T and then sent to the gray Degree node.
  • the present application further includes:
  • Redistributing data to balance the load including moving part of the hotspot data to the new shard, or migrating from the burdened data node to the less burdened data node.
  • User sharding can be re-sharded through the data redistribution function of the distributed database.
  • the data redistribution function it is possible to migrate data according to the established fragmentation configuration information without stopping the service.
  • FIG. 4 it is assumed that the original data is distributed on four data nodes. However, due to the pressure of the data node 4, the data of the data node 4 can be redistributed, such as migrating a part of the data to the newly added data node. 5 on.
  • the method of the present application further includes: modifying a table structure of the corresponding gray scale according to an application characteristic of the grayscale user. For example, in the original database, a certain field M is in units of “yuan”, and the business logic is displayed to the user as “ten thousand yuan”. Then, with grayscale modification, the field in the database will be changed to M/10000.
  • the fields in the corresponding official database include the field A, the field B, and the field C
  • the fields in the corresponding gray database include the field A, the field B, and the field D
  • the computing node receives the general SQL request, firstly, according to the preset fragment configuration information, the data fragment involved is determined. If the user of the official database and the gray database is involved, the SQL rewriting rule is performed according to the SQL. Determine whether it is necessary to rewrite, and finally send the rewritten statement to the corresponding database (DB), that is, the data node to execute.
  • DB database
  • the method of the present application further includes:
  • the data structure of all the original official databases is modified into the data structure of the grayscale database, that is, the data structure in the original official database is upgraded;
  • the data structure of the grayscale database is rolled back to the data structure of the official database, that is, the data structure in the grayscale database is rolled back.
  • the fields in the corresponding official database include the field A, the field B, and the field C
  • the fields in the corresponding gray database include the field A, the field B, and the field D
  • the table T2 corresponds to the field in the official database
  • the fields in the corresponding grayscale database include field E, field F, and field G.
  • the upgrade and fallback scripts are as follows. 3 shows:
  • FIG. 5 is a schematic diagram of an embodiment of the grayscale request report statistical processing of the present application, as shown in FIG. 5, including: both grayscale users and formal users.
  • the request is generally a statistical report; the formal database and the grayscale database share a set of report generation programs, like a set of stored procedures, the structure of the generated report is the same as the sub-database report; the computing node is responsible for calling the formal database and the gray-scale database report generation program.
  • the SQL rewriting rules different parameters are passed to the report generation program to match the table structure of the same-named table in each database; the computing node is responsible for summarizing the reports generated by each database, that is, the sub-database reports.
  • both the formal database and the grayscale database have the same set of stored procedures described above.
  • different rewrite rules are triggered according to the table related to the report. Incoming different parameters, such as the table T, batch processing the field C in the formal database storage process; processing the result of the field E/10 in the gray database storage process.
  • a certain field in the stored procedure statistics table is greater than 100.
  • the field C is directly passed in.
  • the gray database if you want to implement statistics correctly, you need to pass E/10.
  • FIG. 6 is a flow chart of an embodiment of the reconciliation processing of the present application.
  • the reconciliation program in the grayscale publishing mainly deals with two problems: only one reconciliation file, and the billing record table is distributed in the official database and gray.
  • the structure of the reconciliation records in the formal database and the grayscale database may be different. include:
  • the compute node imports the entries in the reconciliation data file into the shard configuration rules of the official user (item 1, entry 2, and entry 3 in Figure 6, and grayscale users (item 4 and entry 5 in Figure 6). To the corresponding temporary table;
  • the computing node calls the reconciliation program (such as a stored procedure) in each database, and by loading the SQL rewriting rules, the different parameters are passed to the reconciliation program in the different fragment nodes, and the matching is performed (ie, by rewriting, the request is in the request)
  • the statement is adjusted to be the same as the structure of the table in the database) a heterogeneous reconciliation table with the same name in the database;
  • the calculation node summarizes the reconciliation results.
  • FIG. 7 is a schematic structural diagram of a device for implementing grayscale distribution according to the present application. As shown in FIG. 7, the device includes at least: a filtering module, a parsing module, and a forwarding module;
  • a filtering module configured to process the received application request, and determine that the received application request is a grayscale request
  • the parsing module is configured to parse the grayscale request according to the preset fragment configuration information, determine that the grayscale request is the first grayscale request for requesting the grayscale data, or request the grayscale data and the second grayscale of the official data. request;
  • a forwarding module configured to forward a portion of the first grayscale request or the second grayscale request requesting the data of the grayscale user to the grayscale data node where the grayscale user corresponding to the grayscale request is located; and the second grayscale request The part requesting official user data is forwarded to the official data node where the official user is located.
  • the device of the present application further includes:
  • the processing module is configured to rewrite the portion of the first grayscale request or the second grayscale request requesting the grayscale user data according to the preset grayscale modification configuration information, and then rewrite the first grayscale request or the second The grayscale request is output to the forwarding module.
  • the filtering module is further configured to: if it is determined that the received application request is a formal request for requesting formal data, forward the formal request to the official data node where the official user corresponding to the formal request is located.
  • the filtering module is configured to filter the received application request by the IP whitelist to distinguish whether the received application request is a grayscale request for requesting grayscale data or a formal request for formal data. More specifically:
  • the IP whitelist is divided into two parts: the official request IP whitelist and the grayscale request IP whitelist; the application request from the official application database client in the official request IP whitelist is a formal request; the gray from the grayscale request IP whitelist Application requests for the application database client are grayscale requests; application requests from non-whitelisted IPs are discarded.
  • the parsing module is configured to: determine a table to be queried according to the gradation request; query a sharding rule of the table according to the sharding configuration information, and determine a data node corresponding to the gradation request according to the sharding rule.
  • the parsing module is further configured to: according to the pre-set fragment configuration information, use the data fragmentation function of the distributed database to distinguish the gray-scale user data from the official user data in the database layer, that is, Separate grayscale users from formal users. Moreover, the present application ensures that all relevant data of the same user has the same distribution rule by using the same slice configuration information.
  • the processing module is further configured to: rewrite the table structure of the grayscale user database according to the grayscale modification configuration information, so that the data table structure used by the grayscale user and the official user is different.
  • the processing module is further configured to modify the table structure of the corresponding gray scale according to the application characteristics of the grayscale user.
  • the processing module is further configured to: for the second grayscale request involving the grayscale user and the formal user, such as a statistical report, after the data is executed, the grayscale data sent to the grayscale user is sent.
  • the portion of the node is aggregated with the execution result data of the portion of the official data node to which the official user is located.
  • the processing module is further configured to: redistribute data to balance the load, including: moving part of the hotspot data into the newly added fragment, or migrating from the data node with greater burden to the data with less burden node.
  • processing module is further configured to:
  • the data structure of all the original official databases is modified into the data structure of the grayscale database, that is, the data structure in the original official database is upgraded; when the user determines that the grayscale application is not applicable, The data structure of the grayscale database is rolled back to the data structure of the official database, that is, the data structure in the grayscale database is rolled back.
  • each unit in the apparatus for implementing grayscale distribution may be implemented by a central processing unit (CPU) or a microprocessor (MPU) located in a device that implements grayscale distribution.
  • CPU central processing unit
  • MPU microprocessor
  • Micro Processor Unit Micro Processor Unit
  • DSP Digital Signal Processor
  • FPGA Field Programmable Gate Array
  • FIG. 8 is a schematic diagram of a composition embodiment of a computing node according to the present application.
  • the method includes an IP whitelist module, a static routing module, and a data rewriting module.
  • the specific implementation of the IP whitelist module is as shown in FIG. A filtering module, the specific implementation of the static routing module is as shown in any one of the parsing modules in FIG. 7, and the specific implementation of the data rewriting module is as shown in any one of the processing modules in FIG.
  • the computing node loads the IP whitelist configuration information through the IP whitelist module; the static routing module loads the data fragmentation configuration information; and the SQL data rewriting module loads the SQL rewriting rule configuration information.
  • the working principle of the computing node of the present application includes:
  • the IP whitelist module of the data computing node performs whitelist filtering on all received external application requests.
  • the whitelist is divided into two parts, and the IP whitelist and the grayscale request IP whitelist are formally requested. SQL requests from non-whitelisted IPs will be discarded; requests from official clients (such as IP1 from the figure) will be sent directly to the official database; requests from grayscale clients (from IP2 in the figure) will be sent. Will be sent to the static routing module for processing;
  • the static routing module of the computing node routes and parses the SQL request according to the data fragmentation configuration information.
  • SQL requests are divided into three types: requesting formal data separately, requesting grayscale data separately, and requesting multiple pieces of user data at the same time.
  • the SQL request requesting the official data is sent to the official database; the SQL request requesting the gray data, and the SQL request requesting the multi-part user data at the same time are rewritten by the data rewriting module and sent to the gray database.
  • FIG. 9 is a schematic diagram of an overall architecture for implementing grayscale publishing based on a distributed database according to the present application.
  • the distributed database front-end docking multiple applications are as shown in FIG. 1, application 1, application 2, application X, and multiple applications respectively. Used to process application requests from official users and application requests from grayscale users.
  • the data node cluster in the distributed database includes a plurality of data nodes, such as data node 1, data node 2, and data node M in FIG. 1, for carrying all user data. Data is distributed to multiple data nodes through a fragmentation strategy, and each data node carries part of the user data.
  • the computing node cluster in the distributed database includes a plurality of computing nodes, such as the computing node 1, the computing node 2, and the computing node N, for providing services externally, and specifically includes any one of the computing nodes in FIG.
  • the compute node adopts a shared-nothing architecture to provide a unified standard structured query language (SQL) interface for applications, and multiple compute nodes perform load balancing.
  • the computing node finds the corresponding data storage location according to the data fragmentation information, and can send the corresponding SQL statement to the corresponding data node for execution.
  • SQL structured query language
  • the present application also proposes a computer readable storage medium having stored thereon a computer program that, when executed by a processor, implements the steps of any of the methods described above for implementing grayscale publishing.
  • the device includes a processor and a computer readable storage medium, where the computer readable storage medium stores instructions, where the instructions are When the processor is executed, any of the above methods for realizing grayscale is implemented.
  • the computer readable storage medium includes any one or any of the following: a flash memory, a hard disk, a multimedia card, a card type memory (for example, a Secure Digital Memory Card (SD card) or a data register (DX, Data Register) ) Memory, etc., Random Access Memory (RAM), Static Random Access Memory (SRAM), Read Only Memory (ROM), EEPROM (Electrically Erasable Programmable Read Only Memory) EEPROM (Electrically Erasable Programmable Read-Only Memory), Programmable Read-Only Memory (PROM), magnetic memory, magnetic disk, optical disk, and the like.
  • a flash memory for example, a Secure Digital Memory Card (SD card) or a data register (DX, Data Register)
  • SD card Secure Digital Memory Card
  • DX Data Register
  • RAM Random Access Memory
  • SRAM Static Random Access Memory
  • ROM Read Only Memory
  • EEPROM Electrically Erasable Programmable Read Only Memory
  • EEPROM Electrically Erasable Programmable Read-Only Memory
  • PROM
  • the processor can be a central processing unit (CPU), a controller, a microcontroller, a microprocessor, or other data processing chip.
  • CPU central processing unit
  • controller a controller
  • microcontroller a microcontroller
  • microprocessor a microprocessor
  • the first embodiment is an embodiment of a multi-level grayscale distribution for a distributed database supporting service.
  • FIG. 11 is a schematic diagram of a first embodiment of implementing grayscale publishing according to the present application. As shown in FIG. 11, the distribution in the first embodiment is shown in FIG. There are multiple data nodes in the database, and all data is normally stored on the official library. When the user wants to perform comparison of multiple grayscale modifications at the same time, the data of the grayscale user is distributed to other data nodes such as the grayscale 1 library, the grayscale 2 library, and the grayscale n library. Specifically include:
  • the fragmentation information of the table is set according to the user distribution configuration information rule of the grayscale test, and the data is redistributed by using a pre-set fragmentation rule that satisfies the appropriate business: it will be applied to one
  • the test user's data of the gray-scale modification is configured to the grayscale 1 library
  • the data of the test user applied to the second-type grayscale modification is configured to the grayscale 2 library, ..., which will be applied to the test of the n-type grayscale modification.
  • User data is configured to the grayscale library n;
  • the static routing module of the computing node parses and routes the original SQL statement, and all the split SQL passes through the data rewriting module, finds the SQL rewriting rule of the corresponding node of the SQL, and rewrites it to the SQL.
  • the corresponding grayscale library is executed. Taking the statement select C from T as an example, the statement on the corresponding slice 2 is rewritten as select C-1 from T, and the statement on the corresponding slice 3 is changed to select c-2 from T, ... corresponding to the slice n The statement is rewritten as select cn from T.
  • All online single-node transactions (that is, online services involving only one user data) will be returned directly. If the compute node determines that the statement is only sent to node n, selcet c from T where id in set n, the statement will be rewritten to selcet Cn from T where id in set n; batch cross-node transactions (that is, services involving multiple users on multiple shards) are returned by the middle compute nodes, such as compute node judgment statements sent to nodes (n-1) and nodes n,selcet c from T where id in set ⁇ n-1,n ⁇ , the statement will be split into two such as: a statement selcet c-(n-1) from T where id in set n-1 sent to Node (n-1), another statement selcet cn from T where id in set n is sent to node n.
  • the upgrade script can be directly generated by the SQL rewriting configuration information corresponding to the modified type of the grayscale node, and the entire database is used by using the upgrade script. Grayscale upgrade.
  • the second embodiment is a distributed database supporting global service unified construction.
  • FIG. 12 is a schematic diagram of a second embodiment of implementing grayscale distribution according to the present application. As shown in FIG. 12, in the second embodiment, it is assumed that the service design department is responsible for building a unified embodiment.
  • the application platform has uniform requirements for data structure to facilitate data report statistics; while the subordinate business construction departments have their own special needs, and the same business is handled differently.
  • the distributed database system of the present application can be used to satisfy the need for unified construction of global services. Specifically include:
  • the fragmentation information of the table is set according to the user distribution configuration rules of each department, and the data is re-sliced: if the data of the department 1 is configured to the sub-service 1 library, the data of the department 2 is Configured to the sub-service 2 library, ... configures the data of the department n to the sub-service n-bank; each construction department modifies its own table structure according to its own business logic, and executes its own alter statement. On different shards, each department adds a corresponding SQL rewrite configuration rule for the modification operation of the table structure.
  • the static routing module of the computing node parses and splits the SQL statement, and all the split SQL requests have corresponding sub-business libraries, and the data rewriting module corresponding to the corresponding business library finds the corresponding The SQL rewrite rules are rewritten and sent to the corresponding sub-business library for execution.
  • the third embodiment is to quickly perform the upgrade and rollback of the service using the distributed database.
  • FIG. 13 is a schematic diagram of the third embodiment of implementing grayscale distribution according to the present application. As shown in FIG. 13, in the third embodiment, the present embodiment is used. You can apply for the upgrade and rollback methods to quickly upgrade and roll back the service version. This does not take up business time and does not cause service interruption. Specifically include:
  • the fourth embodiment is a schematic diagram of the fourth embodiment of implementing grayscale distribution according to the present invention, which uses the SQL automatic rewriting function and the route masking function.
  • FIG. 14 in the fourth embodiment, There is no requirement for the number of data nodes in a distributed database. Under normal circumstances, the business is running normally.
  • the business logic can be modified by the SQL rewriting function or the SQL masking function provided by the present application to reduce the impact of the bug on the user. Specifically include:
  • the logic is more complicated, for example, if the business logic cannot be repaired through SQL modification, the corresponding SQL statement can be masked in the static routing module of the computing node. For example, when the business executes the SQL statement, the error is directly returned, which also limits the error. The scope of the bug impact.
  • the method and device for realizing grayscale publishing provided by the present application solve the problem that the application grayscale publishing needs to continuously modify the data structure and the business logic without modifying the business code, and all the modification operations are merged into the database for execution. And through the function of distributed data redistribution, the business department can construct the grayscale business data more quickly, which saves the system resource investment and improves the service grayscale iteration efficiency.

Abstract

本申请公开了一种实现灰度发布的方法、装置及计算节点和系统，包括：对接收到的应用请求进行处理，确定出接收到的应用请求为灰度请求；根据预先设置的分片配置信息对灰度请求进行解析，确定灰度请求是请求灰度数据的第一灰度请求，或者是请求灰度数据和正式数据的第二灰度请求；将第一灰度请求或第二灰度请求中请求灰度用户的数据的部分转发至灰度请求对应的灰度用户所在的灰度数据节点执行；将第二灰度请求中请求正式用户数据的部分转发至正式用户所在的正式数据节点执行。通过本申请提供的技术方案，在数据库层将灰度用户和正式用户区分开来，简单有效地达到了灰度发布的目的，同时减少了业务改造量。

Description

实现灰度发布的方法、装置及计算节点和系统
相关申请的交叉引用
本申请基于申请号为201711499192.5、申请日为2017年12月29日的中国专利申请提出，并要求该中国专利申请的优先权，该中国专利申请的全部内容在此引入本申请作为参考。
技术领域
本申请涉及但不限于分布式数据处理技术，尤指一种基于分布式数据库的实现灰度发布的方法、装置及计算节点和系统。
背景技术
为了减少甚至避免系统升级对用户使用造成的影响，越来越多的应用，在升级的过程中都会采用灰度发布的策略。其中，灰度发布(又名金丝雀发布)是指在黑与白之间，能够平滑过渡的一种发布方式。在灰度发布上可以进行A/B测试(A/B testing)，即让一部分用户继续用产品特性A，另一部分用户开始用产品特性B，如果用户对产品特征B没有什么反对意见，那么逐步扩大范围，把所有用户都迁移到产品特征B。灰度发布可以保证整体系统的稳定性，在初始灰度时就可以发现问题、进而做出调整，从而保证其影响度。
相关技术中，常用的灰度发布策略包括，应用根据正式用户和灰度用户的名单，将对应的流量分别导入到原有业务系统和新业务系统上。这种方式在增加一个新的业务系统的同时，也会相应增加配置中心等一系列功能模块。这样，应用需要维护对应原有业务系统和新的业务系统的新旧两份业务代码，以及保留新旧两份数据结构及其数据内容。
目前，实现灰度发布的系统多以通过应用端、服务端实现为主，很少涉及到数据库，即使涉及到数据库，也是灰度用户和正式用户使用同一套数据库，通过增加冗余字段来适配业务修改，比如：在一张表中，正式用户需要用字段A、字段B和字段C三个字段，灰度用户需要使用字段A、字段D和字段E三个字段，当使用一套数据库承载正式用户和灰度用户时，这张表中就需要包括有字段A、字段B、字段C、字段D和字段E五个字段，显然，对正式用户的数据来说，字段D和字段E是冗余的，而对灰度用户的数据来说，字段B和字段C是冗余的。这样，在正式应用访问时，需要限制其仅能访问正式数据，并且需要屏蔽字段D和字段E；而在灰度应用访问时，需要限制其仅能访问灰度数据，并且需要屏蔽字段B和字段C，这样的处理给业务带来了限制；而且，灰度业务修改变得越来越复杂，不利于后期维护，也不利于版本回滚。
发明内容
为了解决上述技术问题，本申请提供一种实现灰度发布的方法、装置及计算节点和系统，能够简单有效地达到灰度发布的目的，同时减少业务改造量。
本申请提供了一种实现灰度发布的方法，包括：
对接收到的应用请求进行处理，确定出接收到的应用请求为灰度请求；
根据预先设置的分片配置信息对灰度请求进行解析，确定灰度请求是请求灰度数据的第一灰度请求，或者是请求灰度数据和正式数据的第二灰度请求；
将第一灰度请求或第二灰度请求中请求灰度用户的数据的部分转发至灰度请求对应的灰度用户所在的灰度数据节点执行；将第二灰度请求中请求正式用户数据的部分转发至正式用户所在的正式数据节点执行。
本身还提供了一种计算机可读存储介质，其上存储有计算机程序，所 述计算机程序被处理器执行时实现本申请实施例中任意一种实现灰度发布的方法的步骤。
本申请又提供了一种实现灰度发布的设备，包括处理器和计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令被所述处理器执行时，实现本申请实施例中任意一种实现灰度发布的方法。
本申请再提供了一种实现灰度发布的装置，包括：过滤模块、解析模块，以及转发模块；其中，
过滤模块，配置为对接收到的应用请求进行处理，确定出接收到的应用请求为灰度请求；
解析模块，配置为根据加载的分片配置信息对灰度请求进行解析，确定灰度请求是请求灰度数据的第一灰度请求，或者是请求灰度数据和正式数据的第二灰度请求；
转发模块，配置为将第一灰度请求或第二灰度请求中请求灰度用户的数据的部分转发至灰度请求对应的灰度用户所在的灰度数据节点执行；将第二灰度请求中请求正式用户数据的部分转发至正式用户所在的正式数据节点执行。
本申请还提供一种计算节点，包括本申请实施例中任一项所述的实现灰度发布的装置。
本申请再提供了一种实现灰度发布的系统，包括：分布式数据库中的数据节点集群、分布式数据库中的计算节点集群；其中，
分布式数据库中的数据节点集群包括两个或两个以上数据节点，配置为承载用户数据；数据通过分片配置信息分布到多个数据节点；
分布式数据库中的计算节点集群包括两个或两个以上计算节点，配置为对外提供服务，所述计算节点包括本申请实施例中任一项所述的实现灰度发布的装置。
本申请技术方案包括：对接收到的应用请求进行处理，确定出接收到的应用请求为灰度请求；根据加载的分片配置信息对灰度请求进行解析，确定灰度请求是请求灰度数据的第一灰度请求，或者是请求灰度数据和正式数据的第二灰度请求；根据灰度修改配置信息对第一灰度请求或第二灰度请求中请求灰度用户数据的部分进行改写；将改写后的第一灰度请求或第二灰度请求中请求灰度用户的数据的部分转发至灰度请求对应的灰度用户所在的灰度数据节点执行；将第二灰度请求中请求正式用户数据的部分转发至正式用户所在的正式数据节点执行。通过本申请提供的技术方案，在数据库层将灰度用户和正式用户区分开来，简单有效地达到了灰度发布的目的，同时减少了业务改造量。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本申请技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。
图1为本申请实现灰度发布的方法的流程图；
图2为本申请实现数据分片及同名异构表实施例的示意图；
图3为本申请支持灰度发布的用户数据分片实施例的示意图；
图4为本申请分布式数据库数据重分布实施例的示意图；
图5为本申请灰度请求报表统计处理实施例的示意图；
图6为本申请对账处理实施例的流程图；
图7为本申请实现灰度发布的装置的组成结构示意图；
图8为本申请计算节点的组成实施例的示意图；
图9为本申请基于分布式数据库实现灰度发布的整体架构示意图；
图10为本申请实现灰度发布的设备的结构组成示意图；
图11为本申请实现灰度发布的第一实施例的示意图；
图12为本申请实现灰度发布的第二实施例的示意图；
图13为本申请实现灰度发布的第三实施例的示意图；
图14为本申请实现灰度发布的第四实施例的示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚明白，下文中将结合附图对本申请的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
图1为本申请实现灰度发布的方法的流程图，如图1所示，包括：
步骤100：计算节点对接收到的应用请求进行处理，确定出接收到的应用请求为灰度请求。
在一实施方式中，如果确定出接收到的应用请求是请求正式数据的正式请求，本申请方法还包括：
将正式请求转发至正式请求对应的正式用户所在的正式数据节点执行。
在一实施方式中，本步骤中，计算节点可以通过IP白名单对接收到的应用请求进行过滤，来区分接收到的应用请求是灰度请求，还是请求正式数据的正式请求。
在一实施方式中，IP白名单包括：正式请求IP白名单和灰度请求IP白名单；通过IP白名单对接收到的应用请求进行过滤包括：
来自正式请求IP白名单中的正式应用数据库客户端的应用请求为正式请求；
来自灰度请求IP白名单中的灰度应用数据库客户端的应用请求为灰度请求；
来自非白名单IP即既不属于正式请求IP白名单中的正式应用数据库客户端，也不属于灰度请求IP白名单中的灰度应用数据库客户端的应用请求会被丢弃。
本申请通过IP白名单过滤掉了非法的应用请求。
本步骤之前还包括：
与应用配合，通过流量指引如在请求中携带身份信息等来识别，将灰度用户和正式用户的请求分别引流到不同IP的数据库客户端(并非用户的客户端，通常部署在应用服务器)上，这样，保证了本步骤通过分布式数据库的IP白名单针对数据库客户端的请求进行IP过滤。具体实现方式很多，并不用于限定本申请的保护范围，这里不再赘述。
步骤101：根据预先设置的分片配置信息对灰度请求进行解析，确定灰度请求是请求灰度数据的第一灰度请求，或者是请求灰度数据和正式数据的第二灰度请求。
在一实施方式中，分片配置信息可以包括但不限于以下任意组合：List分片、ER分片、Hash分片、Range分片等，本申请中，通过多种分布方式组合区分灰度用户和正式用户。
在一实施方式中，本申请之前还包括：
根据预先设置的分片配置信息，利用分布式数据库的数据分片功能，在数据库层区分灰度用户的数据和正式用户的数据，也就是说，将灰度用户和正式用户区分开来。并且，本申请通过使用相同的分片配置信息来保障同一个用户的所有相关数据拥有相同的分布规则即针对同一个用户的数据分布采用同一个分片配置信息。同一个用户可能涉及很多表，但是这些相关的表都采用同样的分片配置信息。
在一实施方式中，步骤101中的根据预先设置的分片配置信息对灰度请求进行解析，具体包括：根据灰度请求确定需要查询的表；根据分片配置信息查询该表的分片规则，并按照分片规则确定该灰度请求对应的数据节点。
举例来看，假设灰度请求的语句为：select*from T where id＝3；并假设按照预先设置的分片配置信息得知：表T是按照id进行range分片的，且id1～id10分布在数据节点1上，id11～id20分布在数据节点2。那么，该灰度请求的数据分布在数据节点1上，也就是说，通过分析可得知：该灰度请求会被发送到数据节点1上执行。
步骤103：将第一灰度请求或第二灰度请求中请求灰度用户的数据的部分转发至灰度请求对应的灰度用户所在的灰度数据节点执行；将第二灰度请求中请求正式用户数据的部分发至正式用户所在的正式数据节点执行。
在一实施方式中，对于同时涉及灰度用户和正式用户的第二灰度请求，比如统计报表等，数据执行完毕后，还包括：通过汇总请求将发往灰度用户所在的灰度数据节点的部分的执行结果，以及发往正式用户所在的正式数据节点的部分的执行结果进行汇总。
在一实施方式中，在步骤101之后，步骤103之前，本申请实现灰度发布的方法还包括：
步骤102：根据预先设置的灰度修改配置信息对第一灰度请求或第二灰度请求中请求灰度用户数据的部分进行改写。
分布式数据库支持同名异构的表即名称相同但是数据结构不同的表，为了满足对灰度业务的数据结构和业务逻辑的要求，在一实施方式中，本申请之前还包括：
根据灰度修改配置信息对灰度用户数据库的表结构进行改写，使得灰度用户和正式用户使用的数据表结构不一样。虽然灰度用户的表与正式用 户的表的表结构不同，但是二者仍然使用相同名称的表。
举例来看：假设请求中有两条语句：第一条语句为：select A,B,C from T where id＝3；第二条语句为：select A,B,C from T where id＝13；并假设按照预先设置的分片配置信息得知：表T是按照id进行range分片的，且id1～id10分布在数据节点1上，id11～id20分布在数据节点2；那么，
对于第一条语句，假设没有添加灰度修改配置信息，因此，不需要进行SQL改写，直接将第一条语句直接发往分片数据节点1；而对于第二条语句，假设添加的灰度修改配置信息为：D＝A+B，E＝10*C，那么，会将原语句中的B替换为D-A，将原语句中的C替换为E/10，最终发往分片数据节点2上的语句被改写为：select A,D-A,E/10from T where id＝13。
也就是说，根据灰度修改配置信息涉及到哪些表，哪些字段来确定是否需要改写，不涉及到修改的字段，则不需要改写SQL。
这样，实现了业务使用相同的语句对异构数据库的访问支持，而不会出现维度不一致的情况。比如说，原来表中的字段是字段A、字段B和字段C，灰度用户的字段是字段A、字段D和字段E。如果D＝A+B，E＝10*C，按照本申请中的改写方式，那么灰度用户的表实际是字段A、字段(A+B)，以及字段(10*C)，这个维度和原来是一致的，能够保证方便的进行回滚，且不会丢失信息。
图2为本申请实现数据分片及同名异构表实施例的示意图，当不使用分布式数据库时，同一张表的所有数据会被放在一个数据节点上，表中会存放所有数据行，如图2左侧所示，单节点上的表T存放9行数据。当使用分布式数据库时，假设数据被分布到三个数据节点上，并假设数据节点1上存放1行～4行，数据节点2上存放5行～8行，数据节点3上存放第9行。实现图2中的数据分布方式可以有多种策略：
比如，如果采用List分片，可以通过枚举的方式如set1{1、2、3、4}， set2{5、6、7、8}，set3{9}将数据分布在不同的数据节点上；
再如，如果采用Range分片，可以通过框定范围如set1{1～4}，set2{5～8}，set3{9～∞}将数据分布在不同的数据节点上；
又如，如果采用其它分片方式如Hash分片、关系分片等等。
在一实施方式中，如果希望不同的数据节点上的表T结构不一样，可以对表结构进行修改。如图2中数据节点2和数据节点3上的表T，可以通过alter操作表结构如：alter table set C＝B-C，将数据节点2上的表结构修改为T(A、B、B-C)，通过如：alter table set C＝B+C，将数据节点3上的表结构修改为T(A、B、B+C)。
需要说明的是，修改表结构在计算结点创建表之后，整个数据节点对计算结点展示的仍然是原始的表结构T(A、B、C)。也就是说，对分布式数据库来讲，通过计算节点对外展示表结构，正式数据库和灰度数据库中的表T是一个整体，不论做了什么样的灰度修改，对外表结构仍然是T(A、B、C)。
图3为本申请支持灰度发布的用户数据分片实施例的示意图，如图3所示：需要配置灰度用户的选择策略即预先设置分布式数据库的分片策略，比如：可以按照范围设置ID的1-100的用户为灰度用户，这属于Range分布，将数据分为正式数据和灰度数据。对相关的表设置相同的分布规则，以确保同一用户的所有数据都会分布在同一个库中，正式用户相关的表T1、表T2、表T3和表T4都在正式数据节点上，灰度用户相关的表T1、表T2、表T3和表T4都在灰度数据节点上。
其中，灰度用户的相关表，根据灰度业务需要执行相应的表结构修改，如图4中灰度库所示，表名和正式数据节点中的一致，但是表结构有所不同。针对表结构的修改，如由正式库的表T(A、B、C)变为灰度库的表T(A、B、B-C)，增加对应表的SQL改写配置(如C＝B-C)即可。
其中，正式用户的查询只会涉及正式库(左侧虚线框内数据)，灰度用户的查询会涉及到灰度库和正式库(右侧虚线框内数据)。
灰度用户对于不涉及灰名单人群的SQL请求，通过静态路由灰名单筛选后，会直接将SQL语句发往正式库，如图4中的基本信息表二；灰度用户对于涉及到灰名单人群的SQL请求，会将对应的SQL经过改写后，再发往灰度节点上执行，比如：原有的select C from T，根据改写配置，将被改写为select B+C from T再发往灰度节点。
对分布式数据库来说，由于使用了数据分片技术，数据被切分成细小的切分(sharding)，分布在数据节点集群中，在运行过程中，难免出现业务的热点数据，业务负载可能集中在某个分片上。造成单数据节点压力过大，为了保证更好地利用设备，在一实施方式中，本申请还包括：
对数据进行重新分布以均衡负载，包括：将部分热点数据移动到新增分片中，或者从负担较大的数据节点迁移到负担较小的数据节点。
用户的分片可以通过分布式数据库的数据重分布功能来实现重新分片。使用数据重分布功能，实现了在不停业务的情况下按照既定的分片配置信息迁移数据。如图4所示，假设原来的数据分布在4个数据节点上，但是，由于数据节点4的压力较大，可以对数据节点4的数据进行重新分布，如迁移一部分数据到新增的数据节点5上。
在一实施方式中，本申请方法还包括：根据灰度用户的应用特性，修改对应灰度表的表结构。比如：原来数据库中某一字段M按照“元”为单位，业务逻辑展示给用户的是“万元”为单位。那么，通过灰度修改，会将数据库中该字段改为M/10000。
举例来看，以表T为例，假设对应正式数据库中的字段包括字段A、字段B和字段C，对应灰度数据库中的字段包括字段A、字段B和字段D，其中，假设配置规则为：D＝C+B，那么，对于应用请求如通用SQL请求中 含有字段C的语句来说，改写规则即灰度修改配置信息为：C＝D-B。具体示例如表1所示：
Figure PCTCN2018096686-appb-000001
Figure PCTCN2018096686-appb-000002
表1
这样，当计算节点接收到通用的SQL请求时，首先根据预先设置的分片配置信息，判断出涉及到的数据分片，如果同时涉及到正式数据库和灰度数据库的用户，则根据SQL改写规则判断是否需要进行改写，最后将改写后的语句发往对应数据库(DB)即数据节点执行。
在一实施方式中，本申请方法还包括：
当用户判断灰度应用可以正式发布时，将所有原正式数据库的数据结构修改为灰度数据库的数据结构，即对原正式数据库中的数据结构进行升级处理；
当用户判断灰度应用不适用时，将灰度数据库的数据结构回退为正式数据库的数据结构，即对灰度数据库中的数据结构进行回退处理。
针对在上述升级或回退场景，可以通过针对SQL配置规则生成自动化脚本来执行升级；也可以通过数据导入的方式迁移用户来实现。
以表T为例，假设对应正式数据库中的字段包括字段A、字段B和字段C，对应灰度数据库中的字段包括字段A、字段B和字段D，其中，假设配置规则为：D＝C+B，那么，升级、回退脚本如表2所示：
Figure PCTCN2018096686-appb-000004
表2
以表T1为例，假设对应正式数据库中的字段包括字段A、字段B和字段C，对应灰度数据库中的字段包括字段A、字段B和字段D，假设表T2对应正式数据库中的字段和对应灰度数据库中的字段均包括字段E、字段F和字段G，其中，假设配置规则为：T1.D＝T1.A+T1.B+T2.G，那么，升级、回退脚本如表3所示：
Figure PCTCN2018096686-appb-000005
表3
同时涉及灰度用户和正式用户的请求一般都是统计报表处理，图5为本申请灰度请求报表统计处理实施例的示意图，如图5所示，包括：同时涉及灰度用户和正式用户的请求一般都是统计报表；正式数据库和灰度数据库共用一套报表生成程序，如同一套存储过程，生成报表的结构相同如 分库报表；计算节点负责调用正式数据库和灰度数据库的报表生成程序，通过加载SQL改写规则，向报表生成程序传入不同的参数，匹配各数据库中同名异构的表的表结构；计算节点负责汇总各数据库生成的报表即分库报表。
如图5所示，以存储过程为例，正式数据库和灰度数据库中都有上述的同一套存储过程，当计算节点下发生成报表命令时，根据报表相关的表，触发不同的改写规则，传入不同的参数，如对表T，在正式数据库的存储过程中对字段C进行批处理；在灰度数据库的存储过程中对字段E/10的结果做处理。
如图5所示，以一个统计存储过程为例，该存储过程统计表中某一字段大于100的个数。在正式数据库中，直接传入字段C，而在灰度数据库中，想要正确实现统计，需要传入E/10。
图6为本申请对账处理实施例的流程图，如图6所示，灰度发布中的对账程序主要处理两个问题：对账文件只有一份，账单记录表分布在正式数据库和灰度数据库中；正式数据库和灰度数据库中的对账记录表结构可能不同。包括：
在正式数据库和灰度数据库中创建对账的临时表，临时表的表结构和对账系统导出的对账数据文件保持一致；
计算节点将对账数据文件中的条目按照正式用户(如图6中的条目1、条目2和条目3)、灰度用户(如图6中的条目4和条目5)的分片配置规则导入到对应的临时表中；
计算节点调用各数据库中的对账程序(如存储过程)，通过加载SQL改写规则，向其不同分片节点中的对账程序传入不同的参数，匹配(即通过通过改写，将请求中的语句调整为与数据库中表的结构相同)数据库中同名异构的对账表；
各分数据库对账结束后，计算节点汇总对账结果。
图7为本申请实现灰度发布的装置的组成结构示意图，如图7所示，所述装置至少包括：过滤模块、解析模块，以及转发模块；其中，
过滤模块，配置为对接收到的应用请求进行处理，确定出接收到的应用请求为灰度请求；
解析模块，配置为根据预先设置的分片配置信息对灰度请求进行解析，确定灰度请求是请求灰度数据的第一灰度请求，或者是请求灰度数据和正式数据的第二灰度请求；
转发模块，配置为将第一灰度请求或第二灰度请求中请求灰度用户的数据的部分转发至灰度请求对应的灰度用户所在的灰度数据节点执行；将第二灰度请求中请求正式用户数据的部分转发至正式用户所在的正式数据节点执行。
在一实施方式中，本申请装置还包括：
处理模块，配置为根据预先设置的灰度修改配置信息对第一灰度请求或第二灰度请求中请求灰度用户数据的部分进行改写，再将改写后的第一灰度请求或第二灰度请求输出给转发模块。
在一实施方式中，过滤模块还配置为：如果确定出接收到的应用请求是请求正式数据的正式请求，将正式请求转发至正式请求对应的正式用户所在的正式数据节点执行。
在一实施方式中，过滤模块配置为：通过IP白名单对接收到的应用请求进行过滤，来区分接收到的应用请求是请求灰度数据的灰度请求，还是请求正式数据的正式请求。更具体地：
IP白名单分为两部分：正式请求IP白名单和灰度请求IP白名单；来自正式请求IP白名单中的正式应用数据库客户端的应用请求为正式请求；来自灰度请求IP白名单中的灰度应用数据库客户端的应用请求为灰度请 求；来自非白名单IP的应用请求会被丢弃。
在一实施方式中，解析模块配置为：根据灰度请求确定需要查询的表；根据分片配置信息查询该表的分片规则，并按照分片规则确定该灰度请求对应的数据节点。
在一实施方式中，解析模块还配置为：根据预先设置的分片配置信息，利用分布式数据库的数据分片功能，在数据库层区分灰度用户的数据和正式用户的数据，也就是说，将灰度用户和正式用户区分开来。并且，本申请通过使用相同的分片配置信息来保障同一个用户的所有相关数据拥有相同的分布规则。
在一实施方式中，处理模块还配置为：根据灰度修改配置信息对灰度用户数据库的表结构进行改写，使得灰度用户和正式用户使用的数据表结构不一样。
在一实施方式中，处理模块还配置为：根据灰度用户的应用特性，修改对应灰度表的表结构。
在一实施方式中，处理模块还配置为：对于同时涉及灰度用户和正式用户的第二灰度请求，比如统计报表等，在数据执行完毕后，将发往灰度用户所在的灰度数据节点的部分与发往正式用户所在的正式数据节点的部分的执行结果数据进行汇总。
在一实施方式中，处理模块还配置为：对数据进行重新分布以均衡负载，包括：将部分热点数据移动到新增分片中，或者从负担较大的数据节点迁移到负担较小的数据节点。
在一实施方式中，处理模块还配置为：
当用户判断灰度应用可以正式发布时，将所有原正式数据库的数据结构修改为灰度数据库的数据结构，即对原正式数据库中的数据结构进行升级处理；当用户判断灰度应用不适用时，将灰度数据库的数据结构回退为 正式数据库的数据结构，即对灰度数据库中的数据结构进行回退处理。
在实际应用中，所述实现灰度发布的装置中的各个单元所实现的功能，均可由位于实现灰度发布的装置中的中央处理器(CPU，Central Processing Unit)、或微处理器(MPU，Micro Processor Unit)、或数字信号处理器(DSP，Digital Signal Processor)、或现场可编程门阵列(FPGA，Field Programmable Gate Array)等实现。
图8为本申请计算节点的组成实施例的示意图，如图8所示，包括IP白名单模块、静态路由模块，以及数据改写模块，其中，IP白名单模块的具体实现如图7中的任一项过滤模块，静态路由模块的具体实现如图7中的任一项解析模块，数据改写模块的具体实现如图7中的任一项处理模块。
数据节点启动时，计算节点通过IP白名单模块加载IP白名单配置信息；通过静态路由模块，会加载数据分片配置信息；通过SQL数据改写模块会加载SQL改写规则配置信息。本申请计算节点的工作原理包括：
数据计算节点的IP白名单模块对接收到的所有外部应用请求进行白名单过滤，白名单分为包括两部分，正式请求IP白名单和灰度请求IP白名单。非白名单IP发来的SQL请求会被丢弃；正式客户端(如来自图中IP1)发来的请求，会直接发往正式数据库；灰度客户端(如图中来自IP2)发来的请求，会发往静态路由模块处理；
计算节点的静态路由模块根据数据分片配置信息对SQL请求进行路由和解析。通过解析SQL请求，将SQL请求分为单独请求正式数据、单独请求灰度数据和同时请求多部分用户数据三种。请求正式数据的SQL请求发往正式数据库；请求灰度数据的SQL请求，以及同时请求多部分用户数据的SQL请求经数据改写模块改写后发往灰度数据库。
图9为本申请基于分布式数据库实现灰度发布的整体架构示意图，如图9所示，分布式数据库前端对接多个应用如图1中的应用1、应用2…应 用X，多个应用分别用于处理来自正式用户的应用请求和来自灰度用户的应用请求。
分布式数据库中的数据节点集群包括多个数据结点如图1中的数据节点1、数据节点2…数据节点M，用于承载所有的用户数据。数据通过分片策略分布到多个数据节点，每个数据节点承载部分用户数据。
分布式数据库中的计算节点集群包括多个计算节点如图1中的计算节点1、计算节点2…计算节点N，用于对外提供服务，具体包括图8中的任一项计算节点。计算节点采用无共享架构，对应用提供统一的标准结构化查询语言(SQL)接口，多个计算节点进行负载均衡。计算节点根据数据分片信息，找到对应的数据存放位置，便可将对应的SQL语句发往对应的数据节点执行。
本申请还提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一种实现灰度发布的方法的步骤。
图10为本申请实现灰度发布的设备的结构组成示意图，如图10所示，包括处理器和计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令被所述处理器执行时，实现上述任意一种实现灰度发布的方法。
其中，计算机可读存储介质包括以下任意一种或任意多种：闪存、硬盘、多媒体卡、卡型存储器(例如，安全数码卡(SD卡，Secure Digital Memory Card)或数据寄存器(DX，Data Register)存储器等)、随机访问存储器(RAM，Random Access Memory)、静态随机访问存储器(SRAM，Static Random Access Memory)、只读存储器(ROM，Read Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、 磁性存储器、磁盘、光盘等。
处理器可以是中央处理器(CPU，Central Processing Unit)、控制器、微控制器、微处理器、或其他数据处理芯片等。
下面结合具体应用场景对本申请实现灰度发布的方法进行详细描述。
第一实施例为分布式数据库支撑业务进行多级灰度发布的实施例，图11为本申请实现灰度发布的第一实施例的示意图，如图11所示，第一实施例中的分布式数据库存在多个数据节点，正常情况下所有数据都存放在正式库上。当用户希望同时进行多种灰度修改的比较时，将灰度用户的数据分配到其它的多个数据节点如灰度1库、灰度2库…灰度n库上进行。具体包括：
使用分布式数据库的重分布功能，按照灰度测试的用户分布配置信息规则设置表的分片信息，采用预先设置的能满足业务合适的分片规则，将数据进行重分布操作：将应用于一类灰度修改的测试用户的数据配置到灰度1库上、将应用于二类灰度修改的测试用户的数据配置到灰度2库上、…、将应用于n类灰度修改的测试用户数据配置到灰度库n上；
分别对分片1到分片n进行表结构的灰度修改操作，分别对新分片上的表执行alter操作，如alter T set C＝C+1、alter T set C＝C+2、...alter T set C＝C+n；在不同分片上，针对表结构的灰度修改操作，添加对应的SQL改写配置，比如在数据节点n上添加C＝C-n。
这样，当系统运行时，计算节点的静态路由模块对原始SQL语句进行解析和路由拆分，所有拆分后的SQL经过数据改写模块，找到该SQL对应执行节点的SQL改写规则并改写后发往对应的灰度库执行。以语句select C from T为例，对应分片2上的语句改写为select C-1 from T，对应分片3上的语句改为select c-2 from T，...对应分片n上的语句改写为select c-n from T。
所有联机的单节点交易(即只涉及一个用户数据的在线业务)会直接返回，如计算节点判断该语句只发往节点n，selcet c from T where id in set n，则语句会被改写成selcet c-n from T where id in set n；批量的跨节点交易(即涉及多个分片上多个用户的业务)由中计算节点汇总后返回，如计算节点判断语句发往节点(n-1)和节点n，selcet c from T where id in set{n-1，n}，则语句会被拆分成两条如：一条语句selcet c-(n-1)from T where id in set n-1发往节点(n-1)，另一条语句selcet c-n from T where id in set n发往节点n。
在各灰度节点测试完成后，如果某一灰度修改类型满足用户需要，可以直接通过该灰度节点的修改类型对应的SQL改写配置信息直接生成升级脚本，并利用该升级脚本对整个数据库进行灰度升级。
第二实施例为分布式数据库支撑全局业务统一建设，图12为本申请实现灰度发布的第二实施例的示意图，如图12所示，第二实施例中，假设业务设计部门负责建设统一的应用平台，对数据结构有统一的要求，以方便进行数据报表统计；而下属业务建设部门则各自有一些特殊的需求，对同一个业务的处理方式各有不同。在这种情况下，可以使用本申请的分布式数据库系统满足对全局业务的统一建设的需求。具体包括：
不同业务建设部门对统一的业务使用相同的表名T，同时满足平台对数据统一的要求。使用分布式数据库的重分布功能，按照各部门的用户分布配置规则设置表的分片信息，对数据重新进行分片：如将部门1的数据配置到分业务1库上、将部门2的数据配置到分业务2库上、…将部门n的数据配置到分业务n库上；各个建设部门按照各自的业务逻辑，修改各自的表结构，执行各自的alter语句。在不同分片上，各部门针对表结构的修改操作，添加对应的SQL改写配置规则。
这样，在系统运行时，计算节点的静态路由模块会对SQL语句进行解析和拆分，所有拆分后的SQL请求都有对应的分业务库，经过对应分业务 库的数据改写模块，找到对应的SQL改写规则并改写后发往对应的分业务库执行。
仅涉及到各个业务建设部们各自业务库的数据会直接返回，而平台部门的统一的批量交易，如全局统计这样的跨业务库查询由计算节点汇总后返回。
不同的业务库始终保持不同的表结构和数据改写规则。这样，当各自的业务和平台统一的要求有冲突时，通过修改各自的表结构和改写配置规则来调整。
第三实施例为使用分布式数据库快速地进行业务的升级和回退，图13为本申请实现灰度发布的第三实施例的示意图，如图13所示，第三实施例中，使用本申请对应的升级和回退方法，快速地实现业务版本的升级和回退，而且基本不占用业务时间，且不会导致业务中断。具体包括：
业务需要进行升级时，不需要修改业务代码，只需要如通过对表结构进行修改，执行alter set C＝B+C语句，将原有表T(A、B、C)升级为表T(A、B、B+C)即可。针对从表T到表T`的表结构修改，新增对应的SQL改写配置信息即C＝B+C；新增配置后，所有与表T`相关的SQL语句都会被按照该SQL改写配置信息进行改写，即原有SQL代码中的C会被替换成C-B，替换完成后再发往对应的数据节点执行。
当业务需要进行回退时，不需要修改业务代码，直接在表T上执行alter set C＝C-B语句操作，将表T还原为之前的表T的数据结构，同时将SQL改写配置信息C＝B+C删除即可。这样，简单地实现了业务回退到之前的版本。
第四实施例4为使用SQL自动改写功能和路由屏蔽功能对业务进行热修复，图14为本申请实现灰度发布的第四实施例的示意图，如图14所示，第四实施例中，对分布式数据库的数据节点个数没有要求。正常情况下， 业务运行正常。当遇到和SQL相关的业务逻辑错误(bug)时，可以通过本申请提供的SQL改写功能或者SQL屏蔽功能修改业务逻辑，以减少bug对用户的影响。具体包括：
生产环境正常运行中，如果出现逻辑bug，尤其是移动APP场景，应用已经分发到用户中断，不需要直接修复用户的客户端APP，针对这种问题，采用本申请有两种处理方式：
对于逻辑简单的bug，按照修复bug的逻辑，增加或者修改相关表的SQL改写配置信息，将原来有bug的SQL逻辑修改成正常的SQL逻辑，从而达到修复bug的目的。比如：原有SQL语句：select A from table T,假设业务中计算错了单位，需要返回的是1000*A，那么可以通过增加SQL改写配置信息即A＝1000*A，来修复这段逻辑即可；
如果逻辑比较复杂，比如通过SQL修改仍然不能修复该业务逻辑时，可以在计算节点的静态路由模块将相应的SQL语句屏蔽掉，比如：业务执行该SQL语句时，直接返回错误，这样也限制了bug影响的范围。
本申请提供的实现灰度发布的方法和装置，在不修改业务代码的前提下，解决了应用灰度发布需要不断对数据结构和业务逻辑修改的问题，将所有修改操作都归并到数据库上执行，并通过分布式数据重分布的功能方便了业务部门更加快捷地构造灰度业务数据，达到了节省系统资源投入、提升了业务灰度迭代效率。
以上所述，仅为本发明的较佳实例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (28)

  1. 一种实现灰度发布的方法，包括：
    对接收到的应用请求进行处理，确定出接收到的应用请求为灰度请求；
    根据预先设置的分片配置信息对灰度请求进行解析，确定灰度请求是请求灰度数据的第一灰度请求，或者是请求灰度数据和正式数据的第二灰度请求；
    将第一灰度请求或第二灰度请求中请求灰度用户的数据的部分转发至灰度请求对应的灰度用户所在的灰度数据节点执行；将第二灰度请求中请求正式用户数据的部分转发至正式用户所在的正式数据节点执行。
  2. 根据权利要求1所述的方法，所述方法还包括：
    根据预先设置的所述分片配置信息，利用分布式数据库的数据分片功能，在数据库层区分所述灰度用户的数据和所述正式用户的数据；
    其中，同一用户使用相同的分片配置信息。
  3. 根据权利要求1所述的方法，所述根据预先设置的分片配置信息对灰度请求进行解析之后，所述执行之前，还包括：
    根据预先设置的灰度修改配置信息对所述第一灰度请求或所述第二灰度请求中请求灰度用户数据的部分进行改写。
  4. 根据权利要求3所述的方法，所述方法还包括：
    根据所述灰度修改配置信息对灰度用户数据库的表结构进行改写，使得所述灰度用户和所述正式用户使用的数据表结构不一样，但使用相同名称。
  5. 根据权利要求1～4任一项所述的方法，如果所述确定出接收到的应用请求是请求正式数据的正式请求，还包括：
    将正式请求转发至正式请求对应的正式用户所在的正式数据节点执 行。
  6. 根据权利要求1所述的方法，其中，通过预先设置的IP白名单对所述接收到的应用请求进行过滤，来区分所述接收到的应用请求是请求灰度数据的灰度请求，还是请求正式数据的正式请求。
  7. 根据权利要求6所述的方法，其中，所述IP白名单包括：正式请求IP白名单和灰度请求IP白名单；
    所述通过IP白名单对接收到的应用请求进行过滤包括：
    确定来自正式请求IP白名单中的正式应用数据库客户端的应用请求为正式请求；
    确定来自灰度请求IP白名单中的灰度应用数据库客户端的应用请求为所述灰度请求；
    丢弃来自非白名单IP的应用请求。
  8. 根据权利要求1～4任一项所述的方法，其中，所述根据加载的分片配置信息对灰度请求进行解析包括：
    根据所述灰度请求确定需要查询的表；根据所述分片配置信息查询该表的分片规则，并按照分片规则确定该灰度请求对应的数据节点。
  9. 根据权利要求1～4任一项所述的方法，所述第二灰度请求的数据执行完后，还包括：
    将发往所述灰度用户所在的灰度数据节点的部分的执行结果，以及发往所述正式用户所在的正式数据节点的部分的执行结果进行汇总。
  10. 根据权利要求1～4任一项所述的方法，所述方法还包括：
    对数据进行重新分布，将部分热点数据移动到新增分片中，或者将部分热点数据从负担大的数据节点迁移到负担小的数据节点。
  11. 根据权利要求1～4任一项所述的方法，所述方法还包括：根据所述灰度用户的应用特性，修改对应灰度表的表结构。
  12. 根据权利要求1～4任一项所述的方法，所述方法还包括：
    当判断出灰度应用正式发布时，将所有正式数据库的数据结构修改为所述灰度应用对应的灰度数据库的数据结构；
    当判断出灰度应用不适用时，将所述灰度应用对应的灰度数据库的数据结构回退为正式数据库的数据结构。
  13. 一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1～权利要求12任意一种实现灰度发布的方法的步骤。
  14. 一种实现灰度发布的设备，包括处理器和计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令被所述处理器执行时，实现权利要求1～权利要求12任意一种实现灰度发布的方法。
  15. 一种实现灰度发布的装置，包括：过滤模块、解析模块，以及转发模块；其中，
    过滤模块，配置为对接收到的应用请求进行处理，确定出接收到的应用请求为灰度请求；
    解析模块，配置为根据加载的分片配置信息对灰度请求进行解析，确定灰度请求是请求灰度数据的第一灰度请求，或者是请求灰度数据和正式数据的第二灰度请求；
    转发模块，配置为将第一灰度请求或第二灰度请求中请求灰度用户的数据的部分转发至灰度请求对应的灰度用户所在的灰度数据节点执行；将第二灰度请求中请求正式用户数据的部分转发至正式用户所在的正式数据节点执行。
  16. 根据权利要求15所述的装置，所述装置还包括：
    处理模块，配置为根据所述灰度修改配置信息对所述第一灰度请求或所述第二灰度请求中请求灰度用户数据的部分进行改写，再将改写后 的第一灰度请求或第二灰度请求输出给所述转发模块。
  17. 根据权利要求15所述的装置，所述过滤模块还配置为：如果确定出所述接收到的应用请求是请求正式数据的正式请求，将正式请求转发至正式请求对应的正式用户所在的正式数据节点执行。
  18. 根据权利要求15、16或17所述的装置，其中，所述过滤模块用于通过IP白名单对所述接收到的应用请求进行过滤，区分所述接收到的应用请求是请求灰度数据的灰度请求，还是请求正式数据的正式请求。
  19. 根据权利要求15、16或17所述的装置，其中，所述IP白名单包括：正式请求IP白名单和灰度请求IP白名单；
    所述区分所述接收到的应用请求是请求灰度数据的灰度请求，还是请求正式数据的正式请求包括：
    确定来自正式请求IP白名单中的正式应用数据库客户端的应用请求为正式请求；确定来自灰度请求IP白名单中的灰度应用数据库客户端的应用请求为灰度请求；丢弃来自非白名单IP的应用请求。
  20. 根据权利要求15所述的装置，其中，所述解析模块配置为：根据所述灰度请求确定需要查询的表；根据所述分片配置信息查询该表的分片规则，并按照分片规则确定该灰度请求对应的数据节点。
  21. 根据权利要求20所述的装置，所述解析模块还配置为：
    根据预先设置的所述分片配置信息，利用分布式数据库的数据分片功能，在数据库层区分灰度用户的数据和正式用户的数据；其中，同一用户使用相同的分片配置信息。
  22. 根据权利要求15所述的装置，所述处理模块还配置为：根据所述灰度修改配置信息对灰度用户数据库的表结构进行改写，使得所述灰度用户和所述正式用户使用的数据表结构不一样。
  23. 根据权利要求15所述的装置，所述处理模块还配置为：根据所 述灰度用户的应用特性，修改对应灰度表的表结构。
  24. 根据权利要求15所述的装置，所述处理模块还配置为：所述第二灰度请求在数据执行完后，将发往所述灰度用户所在的灰度数据节点的部分的执行结果，以及发往正式用户所在的正式数据节点的部分的执行结果进行汇总。
  25. 根据权利要求15所述的装置，所述处理模块还配置为：对数据进行重新分布，将部分热点数据移动到新增分片中，或者将部分热点数据从负担大的数据节点迁移到负担小的数据节点。
  26. 根据权利要求15所述的装置，所述处理模块还配置为：
    当判断出灰度应用正式发布时，将所有正式数据库的数据结构修改为所述灰度应用对应的灰度数据库的数据结构；
    当判断出灰度应用不适用时，将所述灰度应用对应的灰度数据库的数据结构回退为正式数据库的数据结构。
  27. 一种计算节点，包括权利要求15～26任一项所述的实现灰度发布的装置。
  28. 一种实现灰度发布的系统，包括：分布式数据库中的数据节点集群、分布式数据库中的计算节点集群；其中，
    分布式数据库中的数据节点集群包括两个或两个以上数据节点，配置为承载用户数据；数据通过分片配置信息分布到多个数据节点；
    分布式数据库中的计算节点集群包括两个或两个以上计算节点，配置为对外提供服务，所述计算节点包括权利要求15～26任一项所述的实现灰度发布的装置。
PCT/CN2018/096686 2017-12-29 2018-07-23 实现灰度发布的方法、装置及计算节点和系统 WO2019128205A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020536074A JP7083901B2 (ja) 2017-12-29 2018-07-23 ダークローンチ実現方法、装置、計算ノード及びシステム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201711499192.5 2017-12-29
CN201711499192.5A CN108319656A (zh) 2017-12-29 2017-12-29 实现灰度发布的方法、装置及计算节点和系统

Publications (1)

Publication Number Publication Date
WO2019128205A1 true WO2019128205A1 (zh) 2019-07-04

Family

ID=62892765

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/096686 WO2019128205A1 (zh) 2017-12-29 2018-07-23 实现灰度发布的方法、装置及计算节点和系统

Country Status (3)

Country Link
JP (1) JP7083901B2 (zh)
CN (1) CN108319656A (zh)
WO (1) WO2019128205A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111352654A (zh) * 2020-03-10 2020-06-30 中国工商银行股份有限公司 用于实现灰度发布的系统和方法
CN111737128A (zh) * 2020-06-19 2020-10-02 北京百度网讯科技有限公司 线上测试方法及灰度分流设备、存储介质
CN111897571A (zh) * 2020-08-04 2020-11-06 上海非码网络科技有限公司 基于Spring Cloud的灰度发布方法及其系统
CN113138774A (zh) * 2021-05-11 2021-07-20 中国工商银行股份有限公司 灰度发布方法、装置、电子设备、介质和程序产品
CN113296911A (zh) * 2021-05-24 2021-08-24 北京京东振世信息技术有限公司 集群调用方法、集群调用装置、电子设备及可读存储介质
CN113535595A (zh) * 2021-09-17 2021-10-22 国网江苏省电力有限公司营销服务中心 基于微服务架构的信息系统灰度发布用户选择方法和系统
CN113626068A (zh) * 2020-05-09 2021-11-09 北京沃东天骏信息技术有限公司 一种页面管理方法和装置
CN114697304A (zh) * 2020-12-28 2022-07-01 京东科技控股股份有限公司 一种灰度发布方法、系统、装置、设备及存储介质
CN114944951A (zh) * 2022-05-18 2022-08-26 北京天融信网络安全技术有限公司 一种请求的处理方法及装置、拟态设备、存储介质
CN117315107A (zh) * 2023-09-21 2023-12-29 支付宝(杭州)信息技术有限公司 数字形象发布方法及装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109189494B (zh) * 2018-07-27 2022-01-21 创新先进技术有限公司 配置灰度发布方法、装置、设备及计算机可读存储介质
CN110225094B (zh) * 2019-05-17 2022-02-11 平安科技（深圳）有限公司 负载均衡应用虚拟ip切换方法、装置、计算机设备及存储介质
CN110489133A (zh) * 2019-08-23 2019-11-22 亿企赢网络科技有限公司 一种灰度发布方法、系统及电子设备和存储介质
CN110532008A (zh) * 2019-08-29 2019-12-03 深圳前海环融联易信息科技服务有限公司 一种产品灰度发布方法、装置、计算机设备及存储介质
CN111158715B (zh) * 2019-12-19 2024-02-06 中国平安财产保险股份有限公司 灰度发布控制方法及系统
CN111580859B (zh) * 2020-05-12 2023-04-07 北京思特奇信息技术股份有限公司 一种灰度割接方法、系统及电子设备
CN114780512B (zh) * 2022-03-22 2023-05-12 荣耀终端有限公司 一种灰度发布方法、系统及服务器

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105791341A (zh) * 2014-12-22 2016-07-20 华为软件技术有限公司 一种应用发布的处理方法、装置及系统
CN106909563A (zh) * 2015-12-23 2017-06-30 上海热璞网络科技有限公司 一种分布式系统
US20170193061A1 (en) * 2015-12-30 2017-07-06 Alexander Visbal Systems and methods for search template generation

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2438997A1 (en) 2003-08-28 2005-02-28 Ibm Canada Limited - Ibm Canada Limitee System and method for carrying out legacy application transitions
JP5119027B2 (ja) 2008-03-31 2013-01-16 株式会社野村総合研究所 情報処理装置およびプログラム解析方法
JP4931881B2 (ja) 2008-08-13 2012-05-16 日本電信電話株式会社 ホワイトリストを利用したサーバ割り当てシステムおよびその方法
US9113130B2 (en) * 2012-02-06 2015-08-18 Legend3D, Inc. Multi-stage production pipeline system
JP2017033136A (ja) 2015-07-30 2017-02-09 富士通株式会社 情報制御プログラム、情報制御装置及び情報制御方法
CN106844399B (zh) * 2015-12-07 2022-08-09 中兴通讯股份有限公司 分布式数据库系统及其自适应方法
US10127272B2 (en) 2016-03-22 2018-11-13 Oracle International Corporation Modifying a database query
CN105978976A (zh) * 2016-05-13 2016-09-28 中国建设银行股份有限公司 信息处理系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105791341A (zh) * 2014-12-22 2016-07-20 华为软件技术有限公司 一种应用发布的处理方法、装置及系统
CN106909563A (zh) * 2015-12-23 2017-06-30 上海热璞网络科技有限公司 一种分布式系统
US20170193061A1 (en) * 2015-12-30 2017-07-06 Alexander Visbal Systems and methods for search template generation

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111352654A (zh) * 2020-03-10 2020-06-30 中国工商银行股份有限公司 用于实现灰度发布的系统和方法
CN111352654B (zh) * 2020-03-10 2023-08-15 中国工商银行股份有限公司 用于实现灰度发布的系统和方法
CN113626068A (zh) * 2020-05-09 2021-11-09 北京沃东天骏信息技术有限公司 一种页面管理方法和装置
CN111737128A (zh) * 2020-06-19 2020-10-02 北京百度网讯科技有限公司 线上测试方法及灰度分流设备、存储介质
CN111897571A (zh) * 2020-08-04 2020-11-06 上海非码网络科技有限公司 基于Spring Cloud的灰度发布方法及其系统
CN114697304B (zh) * 2020-12-28 2023-12-01 京东科技控股股份有限公司 一种灰度发布方法、系统、装置、设备及存储介质
CN114697304A (zh) * 2020-12-28 2022-07-01 京东科技控股股份有限公司 一种灰度发布方法、系统、装置、设备及存储介质
WO2022142536A1 (zh) * 2020-12-28 2022-07-07 京东科技控股股份有限公司 灰度发布方法、系统、装置、设备及存储介质
CN113138774A (zh) * 2021-05-11 2021-07-20 中国工商银行股份有限公司 灰度发布方法、装置、电子设备、介质和程序产品
CN113138774B (zh) * 2021-05-11 2024-02-09 中国工商银行股份有限公司 灰度发布方法、装置、电子设备和介质
CN113296911A (zh) * 2021-05-24 2021-08-24 北京京东振世信息技术有限公司 集群调用方法、集群调用装置、电子设备及可读存储介质
CN113296911B (zh) * 2021-05-24 2023-09-22 北京京东振世信息技术有限公司 集群调用方法、集群调用装置、电子设备及可读存储介质
CN113535595A (zh) * 2021-09-17 2021-10-22 国网江苏省电力有限公司营销服务中心 基于微服务架构的信息系统灰度发布用户选择方法和系统
CN114944951A (zh) * 2022-05-18 2022-08-26 北京天融信网络安全技术有限公司 一种请求的处理方法及装置、拟态设备、存储介质
CN114944951B (zh) * 2022-05-18 2024-02-06 北京天融信网络安全技术有限公司 一种请求的处理方法及装置、拟态设备、存储介质
CN117315107A (zh) * 2023-09-21 2023-12-29 支付宝(杭州)信息技术有限公司 数字形象发布方法及装置
CN117315107B (zh) * 2023-09-21 2024-03-12 支付宝(杭州)信息技术有限公司 数字形象发布方法及装置

Also Published As

Publication number Publication date
CN108319656A (zh) 2018-07-24
JP7083901B2 (ja) 2022-06-13
JP2021513694A (ja) 2021-05-27

Similar Documents

Publication Publication Date Title
WO2019128205A1 (zh) 实现灰度发布的方法、装置及计算节点和系统
JP6815456B2 (ja) 複数ソースからのデータの処理
US20210182241A1 (en) Utilizing metadata to prune a data set
US11341139B2 (en) Incremental and collocated redistribution for expansion of online shared nothing database
US9589041B2 (en) Client and server integration for replicating data
US8738568B2 (en) User-defined parallelization in transactional replication of in-memory database
US10007698B2 (en) Table parameterized functions in database
US9529881B2 (en) Difference determination in a database environment
US10503727B2 (en) System and method for mapping database changes
US8949222B2 (en) Changing the compression level of query plans
US9256642B2 (en) Techniques for recommending parallel execution of SQL statements
US7885953B2 (en) Off-loading star join operations to a storage server
US10719506B2 (en) Natural language query generation
WO2015167466A1 (en) Query plan post optimization analysis and reoptimization
US9524305B2 (en) Boolean term conversion for null-tolerant disjunctive predicates
US11055289B2 (en) Framework to transfer rows in storage format, standard format, or combination thereof
WO2023045295A1 (zh) 数据倾斜处理方法、设备、存储介质及程序产品
US20130339396A1 (en) Asynchronously flattening graphs in relational stores
US11232000B1 (en) Moving database partitions from replica nodes
CN105653334B (zh) 一种基于saas模式的mis系统快速开发框架
EP3462341B1 (en) Local identifiers for database objects
Li et al. Apache shardingsphere: A holistic and pluggable platform for data sharding
CN113268483A (zh) 请求处理方法和装置、电子设备和存储介质
US20150033232A1 (en) Automatic parallelism tuning for apply processes
US20230072930A1 (en) Database query splitting

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2020536074

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18893416

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 19.11.2020)

122 Ep: pct application non-entry in european phase

Ref document number: 18893416

Country of ref document: EP

Kind code of ref document: A1