WO2018103214A1 - 一种方案测试的方法及服务器 - Google Patents

一种方案测试的方法及服务器 Download PDF

Info

Publication number
WO2018103214A1
WO2018103214A1 PCT/CN2017/075730 CN2017075730W WO2018103214A1 WO 2018103214 A1 WO2018103214 A1 WO 2018103214A1 CN 2017075730 W CN2017075730 W CN 2017075730W WO 2018103214 A1 WO2018103214 A1 WO 2018103214A1
Authority
WO
WIPO (PCT)
Prior art keywords
distribution policy
description file
test
policy
distribution
Prior art date
Application number
PCT/CN2017/075730
Other languages
English (en)
French (fr)
Inventor
吴瑞诚
Original Assignee
武汉斗鱼网络科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 武汉斗鱼网络科技有限公司 filed Critical 武汉斗鱼网络科技有限公司
Priority to US15/750,366 priority Critical patent/US10567265B2/en
Publication of WO2018103214A1 publication Critical patent/WO2018103214A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5003—Managing SLA; Interaction between SLA and QoS
    • H04L41/5009—Determining service level performance parameters or violations of service level contracts, e.g. violations of agreed response time or mean time between failures [MTBF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/50—Testing arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00—Network arrangements, protocols or services for addressing or naming
    • H04L61/50—Address allocation
    • H04L61/5007—Internet protocol [IP] addresses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2101/00—Indexing scheme associated with group H04L61/00
    • H04L2101/60—Types of network addresses
    • H04L2101/668—Internet protocol [IP] address subnets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2101/00—Indexing scheme associated with group H04L61/00
    • H04L2101/60—Types of network addresses
    • H04L2101/69—Types of network addresses using geographic information, e.g. room number
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]

Definitions

  • the present invention relates to the field of computer technologies, and in particular, to a method and a server for testing a solution.
  • the so-called AB test is to develop two programs for the same goal (such as two pages), let some users use the A program, and another user use the B program to record the user's usage and see which one is more in line with the design goal.
  • the website in order to improve the user experience during the live video broadcast, the website will frequently adjust the products and systems through various methods and strategies. In this case, it is necessary to quickly get user feedback, so that the new program can be The effect is adjusted in time, and the update scheme is iterated according to the feedback data of the user. If the user feedback result of the product and the system is not ideal, and even the current new scheme needs to be abandoned in time, the AB test is very important in the live video system. It is the core foundation of data-driven products.
  • the user's HTTP request first enters the website gateway server (Gateway Server), and then the gateway server distributes it to a specific background server (Service Server) according to the requested IP range (users in a specific area). .
  • a specific background server Service Server
  • How to configure the IP policy in the gateway server is particularly important.
  • the existing AB test method if the IP distribution strategy needs to be modified, the company's business team specifies the geographical scope of the user, and the personnel in certain areas can be used to use the new function. After submitting to the technical team, the technical team outputs a configuration file content. The operation is performed by the operation and maintenance team, and the gateway server needs to be restarted, so that the website server takes effect on the newly entered HTTP request. If the newly configured IP range is hit, the HTTP request is distributed to the background server corresponding to the new solution for processing. The entire process involves too many people, the distribution strategy is error-prone, and the effective process is long.
  • the embodiment of the invention provides a method for testing a solution and a server, dynamically configuring an IP distribution policy and directly updating it in the server memory, so that the IP distribution policy can be activated in real time, and the AB test is improved. Accuracy.
  • the application provides a method for testing a solution, the method being applied to a server, the method comprising:
  • the internal structure is used to update an IP distribution policy in the server memory to perform an AB test of IP distribution.
  • the method before the step of acquiring the pre-generated profile of the IP distribution policy for the AB test, the method further includes:
  • the step of generating a description file of an IP distribution policy for the AB test comprises:
  • a profile for the IP distribution policy for the AB test is generated based on the IP segment address range.
  • the generation time of the IP distribution policy file is greater than the read time of the description file of the last read IP distribution policy, it is determined that the description file of the IP distribution policy meets the preset read condition.
  • the description file of the IP distribution policy is a configuration file in a json format
  • the step of assembling the description file of the IP distribution policy into an internal structure includes:
  • the method further includes:
  • the application provides a server, where the server includes:
  • An obtaining unit configured to obtain a pre-generated description file of an IP distribution policy for the AB test
  • a reading unit configured to read in a description file of the IP distribution policy after determining that the description file of the IP distribution policy meets a preset read condition
  • An assembly unit configured to assemble content of the description file of the IP distribution policy into an internal structure, Adding an access request to the preset access policy interface, where the internal request body is included in the access request;
  • an update unit configured to: when the access policy interface receives the access request, update an IP distribution policy in the server memory by using the internal structure to perform an AB test of IP distribution.
  • the server further includes:
  • a generating unit configured to generate a description file of the IP distribution policy for the AB test before the step of acquiring the pre-generated profile of the IP distribution policy for the AB test.
  • the generating unit is specifically configured to:
  • a profile for the IP distribution policy for the AB test is generated based on the IP segment address range.
  • the generation time of the IP distribution policy file is greater than the read time of the description file of the last read IP distribution policy, it is determined that the description file of the IP distribution policy meets the preset read condition.
  • the description file of the IP distribution policy is a configuration file in a json format
  • the assembly unit is specifically used to:
  • the server further includes:
  • a user feedback unit for collecting user behavior characteristics or user experience feedback on experimental functions
  • the update unit is further configured to adjust an IP distribution policy according to the user behavior feature or the usage experience feedback, generate a new description file of an IP distribution policy for the AB test, and update to the server memory.
  • the embodiment of the present invention obtains a pre-generated description file of an IP distribution policy for an AB test; after determining that the description file of the IP distribution policy meets a preset read condition, the description file of the IP distribution policy is read; and the IP is distributed.
  • the policy description file is assembled into an internal structure, and a policy interface is added to the preset access to send an access request; when the access policy interface receives the access request, the internal structure is used to update the IP distribution policy in the server memory for IP distribution.
  • the IP distribution policy is dynamically configured and directly updated in the server memory, so the IP distribution policy can be implemented in real time, which improves the accuracy of the AB test.
  • FIG. 1 is a schematic diagram of an embodiment of a method for testing a solution in an embodiment of the present invention
  • FIG. 2 is a schematic diagram of another embodiment of a method for testing a solution in an embodiment of the present invention
  • FIG. 3 is a schematic diagram of another embodiment of a method for testing a solution in an embodiment of the present invention.
  • FIG. 4 is a detailed schematic diagram of a step of a method for testing a solution in an embodiment of the present invention
  • FIG. 5 is a schematic diagram of an embodiment of a server in an embodiment of the present invention.
  • FIG. 6 is a schematic diagram of another embodiment of a server in an embodiment of the present invention.
  • FIG. 7 is a schematic diagram of another embodiment of a server in an embodiment of the present invention.
  • FIG. 1 it is a schematic diagram of a hardware architecture of a scenario test implementation scenario in the embodiment of the present invention.
  • the method for testing a scenario in the embodiment of the present invention is applied to the gateway server in FIG. 1 .
  • the server may include a gateway server.
  • the application server two parts, the gateway server and the application server can be a hardware body or a separate hardware body.
  • the gateway server is connected to the application server and the user terminal network respectively.
  • an embodiment of a method for testing a solution in an embodiment of the present invention includes:
  • the content of the description file of the IP distribution policy is assembled into an internal structure, and an access request is sent to the preset access policy interface.
  • the access request includes the internal structure; adding a policy interface to the preset access to send an access request may specifically: the gateway server in FIG. 1 may expose the service by using an HTTP interface, and add a policy interface to the preset access. (HTTP interface) Sends a POST request, where the POST request body contains the internal structure of the distribution policy generated in the previous step.
  • HTTP interface Sends a POST request, where the POST request body contains the internal structure of the distribution policy generated in the previous step.
  • the embodiment of the present invention obtains a pre-generated description file of an IP distribution policy for an AB test; after determining that the description file of the IP distribution policy meets a preset read condition, the description file of the IP distribution policy is read; and the IP is distributed.
  • the policy description file is assembled into an internal structure, and a policy interface is added to the preset access to send an access request; when the access policy interface receives the access request, the internal structure is used to update the IP distribution policy in the server memory for IP distribution.
  • the IP distribution policy is dynamically configured and directly updated in the server memory, so the IP distribution policy can be implemented in real time, which improves the accuracy of the AB test.
  • the method before the step of acquiring the pre-generated profile of the IP distribution policy for the AB test, the method further includes:
  • the step S205 specifically includes:
  • the graphical operation user map acquires a geographical range of the AB test selected by the operator;
  • the product team will test the effectiveness of the experimental program for users in a particular region based on the user characteristics of the site, first determining a geographic scope for the scenario. For example: Now you need to add a value gift in the live broadcast of the website. You need to verify the reasonableness of the amount setting. You can get the priority of the Shanghai Telecom customer with strong payment ability according to the historical payment model, so that the new value gift is only visible to Shanghai users. Observe the feedback from Shanghai users on the use of this new value gift set within one week, and discretion as to whether further adjustments are needed.
  • the geographic range corresponding to the AB test may be selected according to the distribution of the User Map preset by the user in the server.
  • S2052 Obtain an IP segment address range corresponding to the geographic range according to the geographic range;
  • the IP segment address ranges corresponding to Beijing, Hangzhou, and Shanghai are selected, and the IP segment corresponding to each geographic area can be preset in the server to determine the geographical range. After that, the direct query is obtained.
  • the generation time of the IP distribution policy file is greater than the read time of the description file of the last read IP distribution policy, it is determined that the description file of the IP distribution policy meets the preset read condition.
  • the description file of the IP distribution policy is a configuration file in a json format
  • the step of assembling the description file of the IP distribution policy into an internal structure includes:
  • the server may save multiple IP distribution policies, and each IP distribution policy corresponds to a priority.
  • the priority may be defined according to numbers or letters, for example, the IP distribution policy priority of level 1 is started from 1. The highest, a specific example is as follows:
  • the IP distribution policy with priority code 1 has the highest priority.
  • the gateway server After the gateway server updates the IP distribution policy, it matches the IP distribution policy in the memory according to the IP address to which the newly entered user HTTP request belongs. If the current IP distribution policy is matched, the HTTP request is submitted to the application corresponding to the experimental solution. Server (Application Server). Complete the request distribution for this AB test.
  • the user who hits the IP offloading policy uses the new function of the website that is effective in guiding the experiment scheme, and can collect the user experience of the experimental function through the user behavior feature or the feedback function during the use process, and the business team according to the user experience Collected user feedback, you can adjust the experimental plan strategy in a timely manner, iterative optimization, and continuously improve the user experience.
  • the method further includes:
  • the server is the gateway server in FIG.
  • the server includes:
  • An obtaining unit 501 configured to acquire a pre-generated description file of an IP distribution policy for an AB test
  • the reading unit 502 is configured to read in the description file of the IP distribution policy after determining that the description file of the IP distribution policy meets a preset read condition;
  • the assembling unit 503 is configured to assemble the content of the description file of the IP distribution policy into an internal structure, and send an access request to the preset access adding policy interface, where the access request includes the internal structure;
  • the updating unit 504 is configured to: when the access policy interface receives the access request, update the IP distribution policy in the server memory by using the internal structure to perform an AB test of IP distribution.
  • the server further includes:
  • the generating unit 505 is configured to generate a description file of the IP distribution policy for the AB test before the step of acquiring the pre-generated profile of the IP distribution policy for the AB test.
  • the generating unit 505 is specifically configured to:
  • a profile for the IP distribution policy for the AB test is generated based on the IP segment address range.
  • the generation time of the IP distribution policy file is greater than the read time of the description file of the last read IP distribution policy, it is determined that the description file of the IP distribution policy meets the preset read condition.
  • the description file of the IP distribution policy is a configuration file in a json format
  • the assembly unit 503 is specifically configured to:
  • the server further includes:
  • the user feedback unit 506 is configured to collect user behavior characteristics or user experience feedback on experimental functions
  • the update unit is further configured to adjust an IP distribution policy according to the user behavior feature or the usage experience feedback, generate a new description file of an IP distribution policy for the AB test, and update to the server memory.
  • the disclosed system, apparatus, and method may be implemented in other manners.
  • the device embodiments described above are merely illustrative.
  • the division of the unit is only a logical function division.
  • there may be another division manner for example, multiple units or components may be combined or Can be integrated into another system, or some features can be ignored or not executed.
  • the mutual coupling or direct coupling or communication connection shown or discussed may be an indirect coupling or communication connection through some interface, device or unit, and may be in an electrical, mechanical or other form.
  • the units described as separate components may or may not be physically separated, and the components displayed as units may or may not be physical units, that is, may be located in one place, or may be distributed to multiple network units. You can choose some or all of them according to actual needs.
  • the unit is to achieve the purpose of the solution of the embodiment.
  • each functional unit in each embodiment of the present invention may be integrated into one processing unit, or each unit may exist physically separately, or two or more units may be integrated into one unit.
  • the above integrated unit can be implemented in the form of hardware or in the form of a software functional unit.
  • the integrated unit if implemented in the form of a software functional unit and sold or used as a standalone product, may be stored in a computer readable storage medium.
  • the technical solution of the present invention which is essential or contributes to the prior art, or all or part of the technical solution, may be embodied in the form of a software product stored in a storage medium.
  • a number of instructions are included to cause a computer device (which may be a personal computer, server, or network device, etc.) to perform all or part of the steps of the methods described in various embodiments of the present invention.
  • the foregoing storage medium includes: a U disk, a mobile hard disk, a read-only memory (ROM), a random access memory (RAM), a magnetic disk, or an optical disk, and the like. .

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

一种方案测试的方法及服务器，用于计算机技术领域。该方法包括：获取预先生成的用于AB测试的IP分发策略的描述文件（S201）；在确定IP分发策略的描述文件符合预设的读入条件后，读入IP分发策略的描述文件（S202）；将IP分发策略的描述文件组装成内部结构体，向预置的访问添加策略接口发送访问请求（S203）；在访问策略接口接收到访问请求时，利用内部结构体更新服务器内存中的IP分发策略，以进行IP分发的AB测试（S204）。通过动态配置IP分发策略，并在服务器内存中直接更新，因此IP分发策略可以实时生效，提高了AB测试精准度。

Description

一种方案测试的方法及服务器 技术领域
本发明涉及计算机技术领域，特别涉及一种方案测试的方法及服务器。
背景技术
所谓AB测试，就是为同一个目标制定两个方案(比如两个页面)，让一部分用户使用A方案，另一部分用户使用B方案，记录下用户的使用情况，看哪个方案更符合设计目标。
在视频直播网站中，为了提升在观看视频直播过程中的用户体验，网站会频繁地通过各种方法和策略来对产品和系统做调整，这时需要快速得到用户反馈，这样可以对新方案的效果做出及时调整，根据用户的反馈数据去迭代更新方案，如果用户对产品和系统的方案反馈结果不理想，甚至需要及时放弃当前新方案，所以AB测试在视频直播系统中就显得非常重要，是数据驱动产品的核心基础。
一般AB测试流程中，会同时并行两套方案：Control(基准方案)和Treatment(实验方案)，实验方案的生效过程越短，测试用户群对新方案试用的反馈会越精准。在实验方案的生效过程中，用户在网站的流入和流失是完全不可预知的，需要在测试时缩短实验方案的生效时间。并且，对于视频直播类网站，新方案调整频繁，AB测试频率高，这样对于AB测试系统使用的友好程度显得格外重要，这样不仅可以让更多的非技术人员参与到AB测试过程中，而且可以降低AB测试策略的出错概率。
在视频直播网站中，用户的HTTP请求会先进入网站网关服务器(Gateway Server)，然后由网关服务器根据请求的IP范围(特定地区的用户)特征，分发给特定的后台服务器(Service Server)来处理。如何配置网关服务器中IP策略显得格外重要。现有的AB测试方法，如果需要修改IP分发策略，由公司业务团队指定用户的地理范围，限定某些地区的人员才能使用到新功能，提交给技术团队后，技术团队会输出一个配置文件内容交给运维团队操作，并且需要重启网关服务器，使得网站服务器对新进入的HTTP请求生效，如果命中新配置的IP范围，会将HTTP请求分发到新方案对应的后台服务器中处理。整个过程，涉及到的人员过多，分发策略容易出错，并且生效过程长。
发明内容
本发明实施例提供了一种方案测试的方法及服务器，动态配置IP分发策略并在服务器内存中直接更新，使得IP分发策略可以实时生效，提高了AB测试精 准度。
第一方面，本申请提供一种方案测试的方法，该方法应用于服务器，该方法包括：
获取预先生成的用于AB测试的IP分发策略的描述文件；
在确定所述IP分发策略的描述文件符合预设的读入条件后，读入所述IP分发策略的描述文件；
将所述IP分发策略的描述文件的内容组装成内部结构体，向预置的访问添加策略接口发送访问请求，所述访问请求中包括所述内部结构体；
在访问策略接口接收到所述访问请求时，利用所述内部结构体更新所述服务器内存中的IP分发策略，以进行IP分发的AB测试。
优选的，在所述获取预先生成的用于AB测试的IP分发策略的描述文件的步骤之前，所述方法还包括：
生成用于AB测试的IP分发策略的描述文件。
优选的，所述生成用于AB测试的IP分发策略的描述文件的步骤，包括：
图形化操作用户地图获取操作人员选取的AB测试的地理范围；
根据所述地理范围获取所述地理范围对应的IP段地址范围；
根据IP段地址范围生成用于AB测试的IP分发策略的描述文件。
优选的，若生成所述IP分发策略文件的生成时间大于上次读入IP分发策略的描述文件的读入时间，则确定所述IP分发策略的描述文件符合预设的读入条件。
优选的，所述IP分发策略的描述文件为json格式的配置文件；
所述将所述IP分发策略的描述文件组装成内部结构体的步骤，包括：
读取所述json格式配置文件；
将所述json格式配置文件中不同字段赋值到预设的内部结构体的各个对象属性中。
优选的，所述方法还包括：
收集用户行为特征或者用户对实验功能的使用体验反馈；
根据所述用户行为特征或所述使用体验反馈，调整IP分发策略，生成新的用于AB测试的IP分发策略的描述文件，更新到所述服务器内存中。
第二方面，本申请提供一种服务器，该服务器包括：
获取单元，用于获取预先生成的用于AB测试的IP分发策略的描述文件；
读入单元，用于在确定所述IP分发策略的描述文件符合预设的读入条件后，读入所述IP分发策略的描述文件；
组装单元，用于将所述IP分发策略的描述文件的内容组装成内部结构体， 向预置的访问添加策略接口发送访问请求，所述访问请求中包括所述内部结构体；
更新单元，用于在访问策略接口接收到所述访问请求时，利用所述内部结构体更新所述服务器内存中的IP分发策略，以进行IP分发的AB测试。
优选的，所述服务器还包括：
生成单元，用于在所述获取预先生成的用于AB测试的IP分发策略的描述文件的步骤之前，生成用于AB测试的IP分发策略的描述文件。
优选的，所述生成单元具体用于：
图形化操作用户地图获取操作人员选取的AB测试的地理范围；
根据所述地理范围获取所述地理范围对应的IP段地址范围；
根据IP段地址范围生成用于AB测试的IP分发策略的描述文件。
优选的，若生成所述IP分发策略文件的生成时间大于上次读入IP分发策略的描述文件的读入时间，则确定所述IP分发策略的描述文件符合预设的读入条件。
优选的，所述IP分发策略的描述文件为json格式的配置文件；
所述组装单元具体用于：
读取所述json格式配置文件；
将所述json格式配置文件中不同字段赋值到预设的内部结构体的各个对象属性中。
优选的，所述服务器还包括：
用户反馈单元，用于收集用户行为特征或者用户对实验功能的使用体验反馈；
所述更新单元还用于根据所述用户行为特征或所述使用体验反馈，调整IP分发策略，生成新的用于AB测试的IP分发策略的描述文件，更新到所述服务器内存中。
从以上技术方案可以看出，本发明实施例具有以下优点：
本发明实施例通过获取预先生成的用于AB测试的IP分发策略的描述文件；在确定IP分发策略的描述文件符合预设的读入条件后，读入IP分发策略的描述文件；将IP分发策略的描述文件组装成内部结构体，向预置的访问添加策略接口发送访问请求；在访问策略接口接收到访问请求时，利用内部结构体更新服务器内存中的IP分发策略，以进行IP分发的AB测试。本发明实施例通过动态配置IP分发策略，并在服务器内存中直接更新，因此IP分发策略可以实时生效，提高了AB测试精准度。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1是本发明实施例中方案测试的方法的一个实施例示意图；
图2是本发明实施例中方案测试的方法的另一个实施例示意图；
图3是本发明实施例中方案测试的方法的另一个实施例示意图；
图4是本发明实施例中方案测试的方法的一个步骤的具体示意图；
图5是本发明实施例中服务器的一个实施例示意图；
图6是本发明实施例中服务器的另一个实施例示意图；
图7是本发明实施例中服务器的另一个实施例示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
如图1所示，为本发明实施例中方案测试实现场景的硬件架构示意图，本发明实施例中方案测试的方法应用于图1中的网关服务器，本发明实施例中服务器端可以包括网关服务器和应用服务器两个部分，网关服务器和应用服务器可以是一个硬件主体，也可以是分离的硬件主体。其中网关服务器分别与应用服务器和用户终端网络连接。
请参阅图2，本发明实施例中方案测试的方法的一个实施例包括：
S201、获取预先生成的用于AB测试的IP分发策略的描述文件；
S202、在确定所述IP分发策略的描述文件符合预设的读入条件后，读入所述IP分发策略的描述文件；
S203、将所述IP分发策略的描述文件的内容组装成内部结构体，向预置的访问添加策略接口发送访问请求；
其中，所述访问请求中包括所述内部结构体；向预置的访问添加策略接口发送访问请求具体可以是，图1中的网关服务器可以以HTTP接口暴露服务，向预置的访问添加策略接口(HTTP接口)发送POST请求，其中该POST请求体中包含有前一步骤中生成的分发策略内部结构体。
S204、在访问策略接口接收到所述访问请求时，利用所述内部结构体更新所述服务器内存中的IP分发策略，以进行IP分发的AB测试。
本发明实施例通过获取预先生成的用于AB测试的IP分发策略的描述文件；在确定IP分发策略的描述文件符合预设的读入条件后，读入IP分发策略的描述文件；将IP分发策略的描述文件组装成内部结构体，向预置的访问添加策略接口发送访问请求；在访问策略接口接收到访问请求时，利用内部结构体更新服务器内存中的IP分发策略，以进行IP分发的AB测试。本发明实施例通过动态配置IP分发策略，并在服务器内存中直接更新，因此IP分发策略可以实时生效，提高了AB测试精准度。
优选的，如图3所示，在所述获取预先生成的用于AB测试的IP分发策略的描述文件的步骤之前，所述方法还包括：
S205、生成用于AB测试的IP分发策略的描述文件。
优选的，如图4所示，所述步骤S205具体包括：
S2051、图形化操作用户地图获取操作人员选取的AB测试的地理范围；
例如，产品团队会根据网站的用户特征，针对特定地区的用户测试实验方案的有效性，首先会确定一个针对该方案的地理范围。举例说明：现在需要在网站直播间新增一个价值礼物，需要验证金额设置的合理性，可以根据历史付费模型，获取付费能力强的上海电信用户优先试用，这样新价值礼物仅对上海用户可见，观察一周内上海用户对这个新价值礼物额度设置的使用反馈情况，酌情判断是否需要做进一步调整。
本发明实施例中，可以根据用户在服务器中预置的User Map(用户地图)的分布，选取AB测试对应的地理范围。
S2052、根据所述地理范围获取所述地理范围对应的IP段地址范围；
例如，在选择北京，杭州，上海三个地理范围后，则获取择北京，杭州，上海对应的IP段地址范围，每个地理范围对应的IP段可以预先预置在服务器中，在确定地理范围后，直接查询得到。
S2053、根据IP段地址范围生成用于AB测试的IP分发策略的描述文件。
优选的，若生成所述IP分发策略文件的生成时间大于上次读入IP分发策略的描述文件的读入时间，则确定所述IP分发策略的描述文件符合预设的读入条件。
本发明实施例中，由于是通过Web UI(图形化操作)操作用户地图获取操作人员选取的AB测试的地理范围，生成用于AB测试的IP分发策略的描述文件，该过程完全可以由提出IP分发策略调整的非技术同事操作，大大降低出差概率。
优选的，所述IP分发策略的描述文件为json格式的配置文件；
所述将所述IP分发策略的描述文件组装成内部结构体的步骤，包括：
读取所述json格式配置文件；
将所述json格式配置文件中不同字段赋值到预设的内部结构体的各个对象属性中。
如下为json格式配置文件的一个具体IP分发策略的数据格式：
Figure PCTCN2017075730-appb-000001
进一步的，所述服务器中可以保存多个IP分发策略，每个IP分发策略都对应一个优先级，可以根据数字或字母定义优先级高低，例如从1开始，级别为1的IP分发策略优先级最高，一个具体示例如下所示：
Figure PCTCN2017075730-appb-000002
Figure PCTCN2017075730-appb-000003
在上述示例中，优先级代号为1的IP分发策略优先级最高。
在网关服务器更新完IP分发策略后，根据新进入的用户HTTP请求所属的IP地址，匹配内存中的IP分发策略，如果匹配当前的IP分发策略，则将该HTTP请求提交到实验方案对应的应用服务器(Application Server)。完成此次AB测试的请求分发。
本发明实施例中，对于命中IP分流策略的用户，会使用导实验方案生效的网站新功能，在使用过程中可以通过用户行为特征或者反馈功能，收集用户对实验功能的使用体验，业务团队根据收集的用户反馈，可以及时调整实验方案策略，迭代优化，持续提高用户体验。
因此优选的，所述方法还包括：
收集用户行为特征或者用户对实验功能的使用体验反馈；
根据所述用户行为特征或所述使用体验反馈，调整IP分发策略，生成新的用于AB测试的IP分发策略的描述文件，更新到所述服务器内存中。
下面介绍本发明实施例中服务器的实施例，本发明实施例中服务器即图1中所述网关服务器。
请参阅图5，为本发明实施例中服务器的一个实施例，该服务器中包括：
获取单元501，用于获取预先生成的用于AB测试的IP分发策略的描述文件；
读入单元502，用于在确定所述IP分发策略的描述文件符合预设的读入条件后，读入所述IP分发策略的描述文件；
组装单元503，用于将所述IP分发策略的描述文件的内容组装成内部结构体，向预置的访问添加策略接口发送访问请求，所述访问请求中包括所述内部结构体；
更新单元504，用于在访问策略接口接收到所述访问请求时，利用所述内部结构体更新所述服务器内存中的IP分发策略，以进行IP分发的AB测试。
优选的，如图6所示，所述服务器还包括：
生成单元505，用于在所述获取预先生成的用于AB测试的IP分发策略的描述文件的步骤之前，生成用于AB测试的IP分发策略的描述文件。
优选的，所述生成单元505具体用于：
图形化操作用户地图获取操作人员选取的AB测试的地理范围；
根据所述地理范围获取所述地理范围对应的IP段地址范围；
根据IP段地址范围生成用于AB测试的IP分发策略的描述文件。
优选的，若生成所述IP分发策略文件的生成时间大于上次读入IP分发策略的描述文件的读入时间，则确定所述IP分发策略的描述文件符合预设的读入条件。
优选的，所述IP分发策略的描述文件为json格式的配置文件；
所述组装单元503具体用于：
读取所述json格式配置文件；
将所述json格式配置文件中不同字段赋值到预设的内部结构体的各个对象属性中。
优选的，如图7所示，所述服务器还包括：
用户反馈单元506，用于收集用户行为特征或者用户对实验功能的使用体验反馈；
所述更新单元还用于根据所述用户行为特征或所述使用体验反馈，调整IP分发策略，生成新的用于AB测试的IP分发策略的描述文件，更新到所述服务器内存中。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部 单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

  1. 一种方案测试的方法，其特征在于，应用于服务器，所述方法包括：
    获取预先生成的用于AB测试的IP分发策略的描述文件；
    在确定所述IP分发策略的描述文件符合预设的读入条件后，读入所述IP分发策略的描述文件；
    将所述IP分发策略的描述文件的内容组装成内部结构体，向预置的访问添加策略接口发送访问请求，所述访问请求中包括所述内部结构体；
    在访问策略接口接收到所述访问请求时，利用所述内部结构体更新所述服务器内存中的IP分发策略，以进行IP分发的AB测试。
  2. 根据权利要求1所述的方法，其特征在于，在所述获取预先生成的用于AB测试的IP分发策略的描述文件的步骤之前，所述方法还包括：
    生成用于AB测试的IP分发策略的描述文件。
  3. 根据权利要求2所述的方法，其特征在于，所述生成用于AB测试的IP分发策略的描述文件的步骤，包括：
    图形化操作用户地图获取操作人员选取的AB测试的地理范围；
    根据所述地理范围获取所述地理范围对应的IP段地址范围；
    根据IP段地址范围生成用于AB测试的IP分发策略的描述文件。
  4. 根据权利要求1所述的方法，其特征在于，若生成所述IP分发策略文件的生成时间大于上次读入IP分发策略的描述文件的读入时间，则确定所述IP分发策略的描述文件符合预设的读入条件。
  5. 根据权利要求1所述的方法，其特征在于，所述IP分发策略的描述文件为json格式的配置文件；
    所述将所述IP分发策略的描述文件组装成内部结构体的步骤，包括：
    读取所述json格式配置文件；
    将所述json格式配置文件中不同字段赋值到预设的内部结构体的各个对象属性中。
  6. 一种服务器，其特征在于，包括：
    获取单元，用于获取预先生成的用于AB测试的IP分发策略的描述文件；
    读入单元，用于在确定所述IP分发策略的描述文件符合预设的读入条件后，读入所述IP分发策略的描述文件；
    组装单元，用于将所述IP分发策略的描述文件的内容组装成内部结构体，向预置的访问添加策略接口发送访问请求，所述访问请求中包括所述内部结构体；
    更新单元，用于在访问策略接口接收到所述访问请求时，利用所述内部结 构体更新所述服务器内存中的IP分发策略，以进行IP分发的AB测试。
  7. 根据权利要求6所述的服务器，其特征在于，所述服务器还包括：
    生成单元，用于在所述获取预先生成的用于AB测试的IP分发策略的描述文件的步骤之前，生成用于AB测试的IP分发策略的描述文件。
  8. 根据权利要求7所述的服务器，其特征在于，所述生成单元具体用于：
    图形化操作用户地图获取操作人员选取的AB测试的地理范围；
    根据所述地理范围获取所述地理范围对应的IP段地址范围；
    根据IP段地址范围生成用于AB测试的IP分发策略的描述文件。
  9. 根据权利要求6所述的服务器，其特征在于，若生成所述IP分发策略文件的生成时间大于上次读入IP分发策略的描述文件的读入时间，则确定所述IP分发策略的描述文件符合预设的读入条件。
  10. 根据权利要求6所述的服务器，其特征在于，所述IP分发策略的描述文件为json格式的配置文件；
    所述组装单元具体用于：
    读取所述json格式配置文件；
    将所述json格式配置文件中不同字段赋值到预设的内部结构体的各个对象属性中。
PCT/CN2017/075730 2016-12-07 2017-03-06 一种方案测试的方法及服务器 WO2018103214A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/750,366 US10567265B2 (en) 2016-12-07 2017-03-06 Solution test method and server

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201611116006.0A CN106713015B (zh) 2016-12-07 2016-12-07 一种方案测试的方法及服务器
CN201611116006.0 2016-12-07

Publications (1)

Publication Number Publication Date
WO2018103214A1 true WO2018103214A1 (zh) 2018-06-14

Family

ID=58936094

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/075730 WO2018103214A1 (zh) 2016-12-07 2017-03-06 一种方案测试的方法及服务器

Country Status (3)

Country Link
US (1) US10567265B2 (zh)
CN (1) CN106713015B (zh)
WO (1) WO2018103214A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112269743A (zh) * 2020-10-30 2021-01-26 湖南快乐阳光互动娱乐传媒有限公司 一种a/b测试方法及装置
CN114625929A (zh) * 2022-03-17 2022-06-14 北京启明星辰信息安全技术有限公司 一种抽样采集报文的方法和装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109086173B (zh) * 2017-06-13 2022-08-16 龙芯中科技术股份有限公司 一种操作系统的设备测试方法、装置和存储介质
CN108334444A (zh) * 2017-12-29 2018-07-27 广州品唯软件有限公司 多维度动态组合分流服务方法、装置、终端及存储介质
CN109726087A (zh) * 2018-04-13 2019-05-07 平安普惠企业管理有限公司 多网页方案测试方法、装置、设备及计算机可读存储介质
CN108845936B (zh) * 2018-05-31 2021-10-01 创新先进技术有限公司 一种基于海量用户的ab测试方法及系统
CN110471843B (zh) * 2019-07-16 2021-03-26 北京三快在线科技有限公司 版本测试的方法、装置、存储介质及电子设备
CN112242911B (zh) * 2019-07-17 2022-08-12 腾讯科技（深圳）有限公司 基于网络流量的测试方法及装置、存储介质、电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101404585A (zh) * 2008-11-20 2009-04-08 中国电信股份有限公司 实现内容分发网络内容管理的策略化系统和方法
US20150012852A1 (en) * 2013-07-08 2015-01-08 Kobo Incorporated User interface tool for planning an ab type of test
CN106059858A (zh) * 2016-06-24 2016-10-26 武汉斗鱼网络科技有限公司 网络性能测试系统及方法
CN106202162A (zh) * 2016-06-24 2016-12-07 武汉斗鱼网络科技有限公司 一种用于测试推荐房间数据列表的测试系统及方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101013975A (zh) * 2007-01-24 2007-08-08 中国人民解放军理工大学指挥自动化学院 测试ip网络中任意两个端系统之间性能参数的方法及系统
JP4336822B2 (ja) * 2007-07-04 2009-09-30 日本電気株式会社 ネットワーク装置試験システム、ネットワーク装置試験方法
CN101094111B (zh) * 2007-07-18 2010-05-26 中兴通讯股份有限公司 一种对网络设备进行整机测试的方法和系统
CN101373446B (zh) * 2007-08-24 2011-05-04 英业达股份有限公司 文件系统的压力测试方法
US9126120B2 (en) * 2009-09-30 2015-09-08 Zynga Inc. Apparatuses, methods and systems for a virtual security camera
CN102064971B (zh) * 2009-11-18 2014-11-19 英业达股份有限公司 网络卡的压力测试方法
US8997081B1 (en) * 2014-09-18 2015-03-31 Ensighten, Inc. Analytics for mobile applications
JP6544176B2 (ja) * 2015-09-24 2019-07-17 富士通株式会社 適用管理装置、適用管理方法及び適用管理プログラム
US20180097974A1 (en) * 2016-10-03 2018-04-05 App Onboard, Inc. Video-tree system for interactive media reproduction, simulation, and playback
US11151471B2 (en) * 2016-11-30 2021-10-19 Here Global B.V. Method and apparatus for predictive classification of actionable network alerts

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101404585A (zh) * 2008-11-20 2009-04-08 中国电信股份有限公司 实现内容分发网络内容管理的策略化系统和方法
US20150012852A1 (en) * 2013-07-08 2015-01-08 Kobo Incorporated User interface tool for planning an ab type of test
CN106059858A (zh) * 2016-06-24 2016-10-26 武汉斗鱼网络科技有限公司 网络性能测试系统及方法
CN106202162A (zh) * 2016-06-24 2016-12-07 武汉斗鱼网络科技有限公司 一种用于测试推荐房间数据列表的测试系统及方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112269743A (zh) * 2020-10-30 2021-01-26 湖南快乐阳光互动娱乐传媒有限公司 一种a/b测试方法及装置
CN112269743B (zh) * 2020-10-30 2022-04-12 湖南快乐阳光互动娱乐传媒有限公司 一种a/b测试方法及装置
CN114625929A (zh) * 2022-03-17 2022-06-14 北京启明星辰信息安全技术有限公司 一种抽样采集报文的方法和装置

Also Published As

Publication number Publication date
US20190014028A1 (en) 2019-01-10
US10567265B2 (en) 2020-02-18
CN106713015A (zh) 2017-05-24
CN106713015B (zh) 2019-06-04

Similar Documents

Publication Publication Date Title
WO2018103214A1 (zh) 一种方案测试的方法及服务器
JP6526172B2 (ja) データ情報取引方法およびシステム
JP5735969B2 (ja) コミュニティ内の接続を決定するためのソーシャルグラフデータ解析用システムおよび方法
CN110210883A (zh) 群控账号识别方法、装置、服务器及存储介质
JP2012533787A (ja) ソーシャルネットワークを使用することによるコンテンツの供給
CN109040279A (zh) 区块链网络组网方法、装置、设备及可读存储介质
CN106856439B (zh) 一种方案测试的方法及服务器
CN108762760A (zh) 软件界面自定义方法、装置、计算机设备及存储介质
Jun et al. Mining and modelling the dynamic patterns of service providers in cellular data network based on big data analysis
US10057420B2 (en) Method and apparatus for identifying a user of a mobile device
CN110830234B (zh) 一种用户流量分配方法及装置
WO2019019649A1 (zh) 投资组合产品的生成方法、装置、存储介质和计算机设备
JP2011170471A (ja) ソーシャルグラフ生成方法、ソーシャルグラフ生成装置、およびプログラム
US10333964B1 (en) Fake account identification
WO2015096408A1 (zh) 用户感知评估方法及系统
CN103716282A (zh) 一种修正ip库的方法和系统
WO2020181854A1 (zh) 支付异常检测
CN104640114A (zh) 一种访问请求的验证方法及装置
US20150106199A1 (en) Information processing system and information processing method
CN104408105A (zh) 一种适用于智能tv用户的好友推荐方法
CN109658120B (zh) 一种业务数据处理方法以及装置
CN110351276A (zh) 数据处理方法、设备及计算机可读存储介质
CN102184201B (zh) 一种用于选取查询序列的推荐序列的设备和方法
CN110929141A (zh) 团伙挖掘方法、装置、设备及存储介质
CN103309986A (zh) 一种网页访问控制方法及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17879580

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17879580

Country of ref document: EP

Kind code of ref document: A1