WO2011060642A1 - 一种分布式综合业务自动化测试系统及方法 - Google Patents

一种分布式综合业务自动化测试系统及方法 Download PDF

Info

Publication number
WO2011060642A1
WO2011060642A1 PCT/CN2010/074754 CN2010074754W WO2011060642A1 WO 2011060642 A1 WO2011060642 A1 WO 2011060642A1 CN 2010074754 W CN2010074754 W CN 2010074754W WO 2011060642 A1 WO2011060642 A1 WO 2011060642A1
Authority
WO
WIPO (PCT)
Prior art keywords
test
task
subsystem
scheduling
item
Prior art date
Application number
PCT/CN2010/074754
Other languages
English (en)
French (fr)
Inventor
张宏强
Original Assignee
中兴通讯股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中兴通讯股份有限公司 filed Critical 中兴通讯股份有限公司
Priority to US13/258,437 priority Critical patent/US9189374B2/en
Publication of WO2011060642A1 publication Critical patent/WO2011060642A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3688—Test management for test execution, e.g. scheduling of test suites

Definitions

  • the present invention relates to the field of software testing technologies, and in particular, to a distributed integrated service automated testing system and method.
  • test tools for different business types such as GUI (Graphical User Interface) test tools or performance test tools
  • GUI Graphic User Interface
  • performance test tools can be used for different software subsystems or between different services. Automated testing between multiple software subsystems, these past 'powerful' test tools are not enough.
  • the object of the present invention is to provide a distributed integrated service automation test system and method for solving existing automated test tools and test solutions, which can only perform single service test or single subsystem test, but cannot realize integrated service type test. problem.
  • the present invention provides an automated test system for distributed integrated services, including a distributed deployment client, a scheduling server, and a test subsystem for testing a distributed deployed system under test, wherein:
  • the client is configured to generate a test task by logically organizing the test item, send the test task to the dispatch server after starting the test, and receive a view test task report from the dispatch server;
  • the scheduling server is set to parse the test task, and press The logical relationship scheduling test item, distributing each test item to a corresponding test subsystem, and summarizing the test item execution report on the test subsystem to generate a test task report for the client to view;
  • the test subsystem is configured to parse and execute the test item to test the system under test, and collect the test item execution report and report it to the dispatch server.
  • the distributed deployment client, the scheduling server, the test subsystem, and the system under test are connected through a network, where:
  • One of the clients can only be connected to one of the scheduling servers, and one of the clients simultaneously runs one or more test tasks;
  • test subsystems can only be connected to one of the dispatch servers, and can only be connected to one system under test;
  • One of the systems under test is coupled to one or more of the test subsystems.
  • the test item is a set of operations that the test subsystem can recognize and execute, and each test item has a type identifier corresponding to the type of the test subsystem.
  • the logical relationship includes a branch, a loop, a concurrent scheduling rule supported by the test item, and a delayed, assigned auxiliary scheduling rule.
  • the client is further configured to perform real-time monitoring on the status of the test task, and suspend, resume or stop the scheduling of the scheduling server; the scheduling server is further configured to test during the test task scheduling process.
  • the execution status information of the task is sent to the client for real-time monitoring.
  • the test task is in the form of a logical hierarchy folder, under the test task folder Contains a task file and at least one test suite folder;
  • Each test suite folder contains a test suite file and at least one test case folder; each test case folder contains a test case file and at least one test item folder, and each test item folder contains one test item. file.
  • the present invention also provides an automated testing method for distributed integrated services, which is implemented by a distributed deployment client, a scheduling server, and a test subsystem to test a distributed deployed system under test.
  • the method includes:
  • the test task is generated by the client in a logical relationship to organize the test item, and the test task is sent to the dispatch server after the test is started;
  • the dispatching server parses the test task, dispatches the test item according to the logical relationship, distributes each test item to the corresponding test subsystem, and parses and executes the test item by the test subsystem to test the system under test;
  • the test subsystem collects the test item execution report and reports it to the dispatch server.
  • the dispatch server summarizes the test task report and sends the test task report to the client.
  • the test item is a set of operations that the test subsystem can recognize and execute, and each test item has a type identifier corresponding to the type of the test subsystem.
  • test task is in the form of a logical hierarchy folder, and the task file and the at least one test suite folder are included in the test task folder;
  • Each test suite folder contains a test suite file and at least one test case folder; each test case folder contains a test case file and at least one test item folder, and each test item folder contains one test item.
  • the logical relationship includes branches, loops, concurrent scheduling rules supported by the test item, and auxiliary scheduling rules for delay and assignment.
  • the method further includes: in a test task scheduling process, the scheduling server sends the execution status information of the test task to the client for real-time monitoring; the client performs real-time status monitoring on the test task; and the client Pausing and restoring the scheduling of the scheduling server Or stop.
  • the main elements of the test task are test items, and the test task selects or newly creates suitable test items according to the test requirements, and then cyclically, branches, parallels, and delays the test items.
  • the logic control of the time, the control logic of the test items and the test items constitute the test task. This makes the generation and editing of test tasks more flexible. Under this test system, more types of systems to be tested can be mounted for testing, which makes the testing methods and types more abundant. Therefore, the distributed integrated service automated test system and method of the present invention is more flexible and widely applicable.
  • the integrated service is mainly reflected in the difference of the test items, and each test item has a type identifier, and the type identifier corresponds to the type of the test subsystem--in the test
  • the scheduling server selects the most suitable test subsystem according to the type of the test item according to the idle priority or the user specified priority rule, and then sends the test item to the test subsystem for parsing and execution. Since different types of test items can be included in one test task, multiple test systems can be tested during test task execution, and the test sequence can be controlled to realize automated test of integrated services.
  • the distribution is mainly embodied in the communication between the client, the dispatch server and the test subsystem, and the communication between them is mainly based on the network protocol such as the TCP protocol.
  • the network protocol such as the TCP protocol.
  • Streaming and data stream communication so each module can reside on a different computer, as long as they coexist in a network, which allows the test to get rid of physical space constraints.
  • the distributed integrated service automation test method and system of the present invention realizes distributed through the network connection between the client, the dispatch server and the test subsystem in the system, and distinguishes and runs the test item type.
  • the specification of the test subsystem and the support of the structured test script in the test case enable the support of multi-service complex test scenarios.
  • the system supports multi-test task concurrent, sequential, timing and other execution modes, and can control Test whether each part of the task runs; By using this system, the breadth and depth of the test can be greatly expanded, which brings great efficiency improvement to the test.
  • FIG. 1 is a schematic structural view of an automated test system of the present invention
  • FIG. 3 is a block diagram of a dispatch server 102 of the present invention.
  • test subsystem 103 is a block diagram of a test subsystem 103 of the present invention.
  • FIG. 5 is a block diagram of the client 101 of the present invention.
  • Figure 6 is a flow chart showing the execution of the automated test method of the present invention.
  • FIG. 7 is a flowchart of a registration response of a scheduling server of the present invention.
  • Figure 8 is a structural diagram of a test task file of the present invention.
  • Figure 10 is a flow chart showing the execution of the test subsystem of the present invention.
  • the present invention provides a distributed integrated service automation test method and system.
  • the test system is a test platform, and has no obvious connection with a specific service-oriented test subsystem.
  • any test-specific subsystem for a specific service can be mounted under the test platform, so the test subsystem is not
  • the content of the present invention is mainly focused on.
  • the test platform constructed by the test system of the present invention introduces the concept of a test item, which is a basic test script that the test subsystem can recognize and execute, and each test item has a type identifier, the type identifier and the type of the test subsystem - -correspond.
  • the test platform provides functions to assemble a variety of test items into structured test scripts, form test tasks, and support multi-service comprehensive test functions through script scheduling.
  • the test platform and the system under test support distributed deployment. This makes the generation and editing of test tasks more flexible. Under the test system, more types of systems to be tested can be mounted for testing, which makes the testing methods and types more abundant. Therefore, this
  • the distributed integrated service automation test system and method of the invention are more flexible and widely applicable.
  • FIG. 1 shows an automated test system for distributed integrated services, including a distributed deployment client 101, a dispatch server 102, and a test subsystem 103 for testing a distributed deployed test system 104, wherein:
  • the client 101 is configured to generate a test task by logically organizing the test item, send the test task to the dispatch server 102 after starting the test, and receive the view test task report from the dispatch server 102;
  • the scheduling server 102 is configured to parse the test task, schedule the test items according to the logical relationship, and distribute each test item to the corresponding test subsystem 103;
  • the test subsystem 103 is configured to parse and execute the test item to test the system under test 104, collect the test item execution report and report it to the dispatch server 102, and the test server 102 aggregates and generates the test task report for the client 101 to perform. View.
  • connection manner between the client 101 of the distributed deployment, the scheduling server 102, the testing subsystem 103, and the system under test 104 may be:
  • One of the clients can only be connected to one of the scheduling servers, and one of the clients simultaneously runs multiple test tasks;
  • test subsystems can only be connected to one of the dispatch servers, and can only be connected to one system under test;
  • One of the systems under test is coupled to one or more of the test subsystems.
  • the communication between the client and the dispatch server, between the test subsystem and the dispatch server is a TCP protocol, wherein the client and the test subsystem only communicate with the dispatch server, and the communication
  • the method includes two types: control flow and data flow.
  • the control flow is used to respond to various control commands, and the data flow is used for transmission of test tasks, test items or test reports.
  • the automated test system shown in FIG. 1 may, in a specific implementation, include only one dispatch server 102; at least one client 101 connected to the dispatch server 102; at least one tester System 103, connected to the dispatch server 102; and a plurality of systems under test 104; wherein the test subsystem 103 can only be connected to one system under test 104, and one of the systems under test 104 may be associated with multiple Test subsystem 103 is connected.
  • the scheduling server 102 is configured to complete registration and management of the client and each test subsystem, analysis and scheduling of test tasks, distribution of test items in the test task, collection and processing of test reports, multi-level variable support, and the like.
  • the scheduling server 102 is responsible for managing at least one client 101 and at least one test subsystem 103; receiving and parsing each test task sent by the client 101; scheduling and monitoring each test task; and generating each test task Reporting; responding to various control commands of the client 101; sending test items in the test task to the test subsystem 103 for execution according to certain rules;
  • the client 101 is responsible for use case editing, use case management, real-time running status monitoring, report viewing, use case run control, and other auxiliary functions. There can be multiple clients in a test system, and each client works independently. Referring to FIG. 1, the client 101 is responsible for interacting with the user, and the user can establish a test task, run a test task, control the running state, monitor the running state of the test task, and receive and parse the test task running report through the client 101;
  • the test subsystem 103 is configured to perform certain types of tests, such as GUI tests, performance tests, etc., for a system under test.
  • the test subsystem 103 receives the test items sent by the dispatch server 102 and parses the execution, and finally summarizes the test item report and returns to the dispatch server 102 and enters the wait test item state; the test system 104, as the test object, is the test subsystem.
  • the object of action 103, the test subsystem 103 typically controls the system under test 104 by TCP/IP communication or resides in the system under test 104 to perform specific tests, in particular, the test subsystem 103 is directed to the system under test 104. Execute the test item.
  • the automated test method of the distributed integrated service of the present invention includes:
  • test task is generated by organizing test items in a logical relationship on the client side, and the test task is sent to the dispatch server after starting the test;
  • the scheduling server parses the test task, and schedules the test item according to the logical relationship, and each test item is Distribute to the corresponding test subsystem, and the test subsystem parses and executes the test item to test the system under test;
  • the test subsystem collects the test item execution report and reports it to the dispatch server to generate a test task report, and views the test task report on the client side.
  • the client is mainly a graphical user interface of the automated test system and the tester, and the tester can write a test task, monitor the execution status, view the report, and the like through the client.
  • One of the clients can only be connected to one of the scheduling servers, and one of the clients can run multiple test tasks simultaneously.
  • the scheduling server receives the test task written by the client, and schedules the test task logic, and sends the test item in the test task to each test subsystem according to a certain distribution rule during the scheduling process, and receives the The test item execution report of the test subsystem is summarized and returned to the client.
  • the dispatch server sends the execution status information of the test task to the client, so that the user can perform real-time monitoring. At the same time, the user can pause, resume or stop the scheduling of the scheduling server at the client.
  • the scheduling server supports multiple test tasks concurrent scheduling.
  • the input of the test subsystem is a test item, and the test item is a set of operations to be executed by the test subsystem.
  • the test item has a unified structure, and the content is different according to the difference of the test subsystem, and the test item content
  • the analysis and execution are performed only in the test subsystem, and after the test item is executed, the test subsystem must return a test report execution report of a specific format to the dispatch server.
  • One of the test subsystems can only be connected to one of the dispatch servers.
  • the scheduling server 102 is its core, and FIG. 3 is a block diagram of the scheduling server 102.
  • the scheduling server 102 includes: a message communication module 301; a file transmission module server 302; an exception processing module 303; a subsystem registration module 304; a subsystem management module 305; a subsystem query module 306; a test task control module 307.
  • the message communication module 301 is configured to complete network message communication with the client and with the test subsystem;
  • the file transfer module (server) 302 is configured to provide a file transfer service to the client and the test subsystem;
  • the exception processing module 303 is configured to provide an abnormal state processing general service to other modules;
  • the subsystem registration module 304 is configured to respond to the registration request of the client and the test subsystem, and allocate the test subsystems according to certain rules. Corresponding resources, and after the registration is successful, hand over the test subsystem to the subsystem management module 305;
  • the subsystem management module 305 is configured to complete maintenance of the client and each test subsystem, and the module coordinates other modules to complete positioning of each subsystem;
  • the subsystem query module 306 is configured to provide a test subsystem query service to the client, so that when the client writes the test task, the user can specify a running test subsystem for each test item in the test task, thereby assisting in completing the integrated service. Test
  • the test task control module 307 is configured to be responsible for resource allocation, retrieval, and destruction of the test task, and is responsive to the client's task control commands.
  • the test task parsing module 308 is configured to parse the test task sent by the client, thereby converting the test task into a identifiable and schedulable format of the dispatch server;
  • the test task/item mapping module 309 is configured to maintain a correspondence between the test task/item, the client and the test subsystem, and assist in task scheduling;
  • the test task scheduling module 310 is configured to identify and schedule test logic of the test task, and is a core module of the scheduling server;
  • the test task reporting module 311 is configured to complete the generation and statistics function of the test task report, and provide the client with a complete test task running report source file; and assist the client to complete the monitoring of the running status of the test task, so that the user can master the test task. The operation of the situation.
  • the module structure diagram of the service test subsystem 103 As shown in FIG. 4, the service test subsystem 103 includes:
  • the message communication module 401 is configured to complete network message communication between the test subsystem and the dispatch server;
  • a file transfer module (subsystem) 402 configured to receive a test item file sent by the dispatch server, and upload a test item execution report and report an attached file;
  • the exception handling module 403 is configured to provide an exception state processing general service to other modules;
  • the deployment module 404 is configured to process the establishment of an interaction channel between the test subsystem and the system under test, so that the test subsystem can control the system under test, and implement The method depends on the specific situation, and can take the TCP/IP communication mode or the test subsystem directly resides in the system under test;
  • Registration module 405 is set to be responsible for registering the test subsystem with the dispatch server
  • the test item parsing module 406 is configured to parse various execution instructions in the received test item, thereby being converted into a form that the test subsystem can execute;
  • the test item scheduling module 407 is configured to be responsible for performing execution scheduling of each execution instruction in the test item;
  • the scheduling control module 408 is configured to be responsible for controlling the instruction scheduling, and performing scheduling start, pause, resume, stop, and the like;
  • the test item reporting module 409 is configured to collect the instruction execution report and to organize the test item report after the test item is executed.
  • the module configuration diagram of the client 101 is as shown in FIG. 5, and the client 101 includes:
  • the message communication module 501 is configured to complete network message communication between the client and the scheduling server;
  • a file transfer module (client) 502 configured to send a test task to a dispatch server, and receive a test task report from the dispatch server;
  • the exception handling module 503 is configured to provide an exception state processing general service to other modules;
  • the registration module 504 is configured to register with the scheduling server;
  • the test task management module 505 is configured to perform new, modify, delete, and guide test tasks. In, export, etc.
  • the subsystem query module 506 is configured to query the scheduling server for available test subsystems to allocate running test subsystems for different test items;
  • the support module 507 is configured to provide the test task management module 505 with auxiliary functions such as variable support, parameter management, and test task synchronization;
  • the test case editing module 508 is set to edit the most important test cases in the test task, and the structured use cases can be edited;
  • the operation monitoring module 509 is configured to enable the user to observe the running of the test task on the client when the scheduling server runs the scheduling task.
  • the task running control module 510 is configured to control the running state of the test task, support the start, pause, and stop of the test task, and implement the running state control of the test task with the dispatching server.
  • Figure 6 shows the flow of a method for distributed integrated service automated testing of the present invention, including the following steps:
  • the first step 601 start the dispatch server
  • Step 602 Start the test subsystem for deployment and registration with the dispatch server
  • Step 603 Start the client and register with the dispatch server
  • Step 604 Create and edit a test task on the client, where the test task consists of logical relationships of test items, and select or add test items for different test subsystems for the test task;
  • Step 5 605: Specify a running test subsystem for the test item on the client side;
  • Step 6 606: Start a test task on the client
  • Step 607 The scheduling server parses and schedules the test task
  • Step 608 Monitor the running status of the test task on the client side
  • Step 609 The test subsystem parses and executes the test item
  • Step 10 610: The test subsystem returns a test item ⁇ report;
  • Step 13 613 View and analyze the test task report on the client.
  • the scheduling server receives the registration message of the subsystem (client/test subsystem); Step 701: Put the registration message into the pending message queue, and activate the registration thread; Step 702: The registration thread detects whether the message queue length is empty ?
  • Step 703 If the registration thread finds that the message queue is empty, enter a sleep state; Step 704: If the registration thread finds that the message queue is not empty, fetch the first message of the queue; Step 705: Register the thread to the subsystem management module 305 The application subsystem number; this subsystem number will be used as the unique identifier of the subsystem, which is the result of the query by the subsystem query module 306, and can be used to identify the test subsystem running for the test item.
  • Step 706 The subsystem management module 305 checks the validity of the subsystem of the application number, and detects whether the subsystem is registered.
  • Step 707 If the subsystem of the application number has been registered, assign the original number, and go to step 709; Step 708: If the subsystem of the application number is not registered, assign a new number, go to step 709; Step 709: Register the thread to judge The type of subsystem registered;
  • Step 710 The registration thread transfers the registered subsystem to the subsystem management module 305 for management;
  • Step 711 The registration thread constructs a registration response message and sends it to the registered subsystem.
  • step 701 After completing the processing of a registration message, it is possible to return to step 701 to continue processing the next message.
  • the test task is managed in the form of a folder, and its structure is as shown in FIG.
  • the test task folder 801 includes a file 802 called task.xml and at least one test set folder 803; each test set folder 803 contains a file 804 called suit.xml and at least one test case folder 805; Each test case folder 805 includes a file 806 called case.xml and at least one test item folder 807; each test item folder 807 contains a test item file 808, the file format is xml, and the name can be as needed. To name it.
  • test task file hierarchy a part of the xml file (except the test item file 808) in each level specifically identifies the relationship between each directory that is level with the xml file, in the xml file, each of the same
  • the level directory corresponds to one logical node, each logical node has two IDs, one as its own identifier, and the other identifier as the ID of the next-level logical node to be run at the time of scheduling; the scheduling rule is:
  • the test suite only supports sequential scheduling. Test cases support sequences and loops, while test items in test case case.xml support scheduling rules such as branching, looping, and concurrency, and assist auxiliary scheduling rules such as delays and assignments to assist scheduling.
  • each directory in each scheduling rule and test task is parsed into a logical node.
  • the upper-level logical node is scheduled, the lower-level scheduling rule corresponding to the logical node is searched, and the depth-first method is used to Logical nodes are scheduled.
  • the scheduling mode of logical nodes is described in the relevant part of the scheduling server below.
  • the scheduling process of the scheduling server is as shown in FIG. 9, and includes:
  • Step 901 After parsing the test task, the scheduling server finds the first node of the test task;
  • Step 902 The scheduling server adds the first node to the tail of the scheduling queue and wakes up the scheduling thread.
  • Step 903 The scheduling thread reads the scheduling queue.
  • Step 904 The scheduling thread determines whether the scheduling queue is empty.
  • Step 905 If the scheduling queue is empty, the scheduling thread enters a sleep state and waits to be activated. Step 906: If the scheduling queue is not empty, take the scheduling queue first node;
  • Step 907 The scheduling thread determines whether the read node is the first time running; Step 908: If the operation is not the first time, report collection is performed, and finally the next logical node of the node is added to the scheduling queue, and the process proceeds to step 903 to continue scheduling.
  • Step 909 If it is the first time running, and the first node is a test item logical node, the test subsystem is searched according to the test item type and the specified running subsystem number, and the node is sent by FTP or other means to The corresponding test subsystem adds the location information of the node to the counter and sends the execution test item message, and then proceeds to step 903 to continue scheduling. If it is a non-test item logical node, the logical node corresponding method is invoked, and then proceeds to step 903 to continue scheduling.
  • Step 910 After receiving the test item report message sent by the subsystem, the scheduling server first searches for the logical node corresponding to the report and matches the record in the counter;
  • Step 911 The scheduling server determines whether there is location information of the corresponding node in the report in the counter;
  • Step 912 discard the report if there is no location information of the node corresponding to the report received in the counter;
  • Step 913 If the location information of the node in the counter matches, the location record of the node in the counter is cleared and the logical node is found;
  • Step 914 The scheduling server determines whether the logical node corresponding to the report is found; if not, then proceeds to step 912 to discard; if found, proceeds to step 902 to continue to activate the scheduling.
  • test subsystem execution flow is as shown in FIG. 10:
  • Step 1001 Start using the test subsystem
  • Step 1002 The test subsystem first starts to deploy the system under test, and completes the establishment of an interaction channel between the two;
  • Step 1003 Determine whether the deployment is successful; if the deployment fails, the exception is processed 1006;
  • Step 1009 If the deployment is successful, register with the scheduling server;
  • Step 1005 Determine whether the registration is successful; if the failure, the abnormal processing is 1006;
  • Step 1007 Listen to the scheduling server message if the registration is successful;
  • Step 1008 When receiving the scheduling server message, first perform message parsing; Step 1009: Determine a message type.
  • Step 1010 If the message belongs to the scheduling control message, perform scheduling control, and send a response message 1016 after the processing is completed;
  • Step 1011 If it is a test item running message, first download the test item;
  • Step 1012 Parse the execution instruction in the test item
  • Step 1013 Perform scheduling execution on the execution instruction in the test item
  • Step 1014 Collect and organize the execution status of each instruction and related accessories, and summarize them into test item reports
  • Step 1015 Upload the test report to the dispatch server
  • Step 1016 Send a test item response message to the scheduling server; then continue to listen to the port and process other messages.
  • the distributed integrated service automation test system and method of the invention realizes distributed through the network connection between the client, the dispatch server and the test subsystem in the system, and distinguishes the test item type and the test subsystem of the running test item.
  • Support for structured test scripts in the designation and test cases support for multi-service complex test scenarios; in addition, the system supports multi-test task concurrent, sequential, timing and other execution modes, and can control various parts of the test task Whether it is running or not; By using this system, the breadth and depth of the test can be greatly expanded, and the test can bring great efficiency improvement.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Description

一种分布式综合业务自动化测试系统及方法
技术领域
本发明涉及软件测试技术领域， 尤其涉及一种分布式综合业务自动化测 试系统及方法。
背景技术
随着社会的进步、 人民生活水平的提高， 软件日益渗透到我们生活的方 方面面， 而随着软件应用的扩展及深入， 软件系统也越来越复杂， 为了降低 成本、 缩短软件交付时间、 提高软件稳定性， 软件企业从未放弃对测试效率 提升的追求。
对于比较成熟的软件产品， 软件开发组织一般会使用自动化测试工具， 然而， 对于复杂的软件系统， 既需要完成某一子系统的界面及业务测试， 又 需要完成跨越多个子系统之间的综合业务测试， 同时一般还需要解决分布式 问题。
对于单一软件子系统的测试 ,可分别釆用针对不同业务类型的测试工具， 如 GUI ( Graphical User Interface, 图形用户界面）测试工具或性能测试工具， 而对于一个软件子系统的不同业务之间或者多个软件子系统之间的自动化测 试， 这些以往 '强大' 的测试工具就显得力不从心了。
目前尚未提出对这类具有分布式特点的不同子系统之间综合业务测试的 自动化测试解决方案， 但此类需求却呈日益增长之势， 尤以电信软件系统为 甚。 发明内容
本发明的目的是提供一种分布式综合业务自动化测试系统及方法， 用于 解决现有自动化测试工具及测试方案， 只能进行单项业务测试或单个子系统 测试， 而无法实现综合业务类型测试的问题。 为了解决上述问题， 本发明提供了一种分布式综合业务的自动化测试系 统， 包括分布式部署的客户端、 调度服务器和测试子系统， 用于对分布式部 署的被测系统进行测试， 其中：
所述客户端， 设置为按逻辑关系组织测试项生成测试任务， 开始测试后 将测试任务发送给调度服务器， 并从调度服务器接收查看测试任务报告； 所述调度服务器， 设置为解析测试任务， 按所述逻辑关系调度测试项， 将各测试项分发至对应的测试子系统， 以及将测试子系统上 ^艮的测试项执行 报告汇总生成测试任务报告供客户端进行查看；
所述测试子系统， 设置为解析、 执行测试项来对被测系统进行测试， 并 收集测试项执行报告并上报给调度服务器。
优选地， 所述分布式部署的客户端、 调度服务器、 测试子系统、 被测系 统是通过网络连接的， 其中：
一个调度服务器为至少一个所述客户端和至少一个相同的或不相同的测 试子系统服务；
一个所述客户端只能与一个所述调度服务器连接， 一个所述客户端同时 运行一个或多个测试任务；
一个所述测试子系统只能与一个所述调度服务器连接， 并且只能与一个 被测系统连接；
一个所述被测系统与一个或多个所述测试子系统连接。
优选地， 所述测试项， 是测试子系统可识别并执行的一系列操作的集合， 每个测试项都有一个类型标识， 该类型标识与测试子系统的种类——对应。
优选地， 所述逻辑关系包括测试项支持的分支、 循环、 并发的调度规则， 以及延时、 赋值的辅助调度规则。
优选地， 所述客户端还设置为对测试任务的状态进行实时监控， 以及对 所述调度服务器的调度进行暂停、 恢复或停止； 所述调度服务器还设置为在 测试任务调度过程中， 将测试任务的执行状态信息发送到客户端进行实时监 控。
优选地， 所述测试任务釆用逻辑层次文件夹形式， 在测试任务文件夹下 包含任务文件和至少一个测试套文件夹；
每个测试套文件夹下包含一个测试套文件和至少一个测试用例文件夹； 每个测试用例文件夹下包含一个测试用例文件和至少一个测试项文件 夹， 每个测试项文件夹包含一个测试项文件。
本发明还提供一种分布式综合业务的自动化测试方法， 由分布式部署的 客户端、调度服务器和测试子系统实施来对分布式部署的被测系统进行测试， 所述方法包括：
在客户端按逻辑关系组织测试项生成测试任务， 开始测试后将测试任务 发送给调度服务器；
调度服务器解析测试任务， 按所述逻辑关系调度测试项， 将各测试项分 发至对应的测试子系统， 由测试子系统解析执行测试项来对被测系统进行测 试； 以及
测试子系统收集测试项执行报告并上报给调度服务器， 调度服务器汇总 生成测试任务报告， 并将测试任务报告发送给客户端。
优选地， 所述测试项， 是测试子系统可识别并执行的一系列操作的集合， 每个测试项都有一个类型标识， 该类型标识与测试子系统的种类——对应。
优选地， 所述测试任务釆用逻辑层次文件夹形式， 在测试任务文件夹下 包含任务文件和至少一个测试套文件夹；
每个测试套文件夹下包含一个测试套文件和至少一个测试用例文件夹； 每个测试用例文件夹下包含一个测试用例文件和至少一个测试项文件 夹， 每个测试项文件夹包含一个测试项文件；
所述逻辑关系包括测试项支持的分支、 循环、 并发的调度规则， 以及延 时、 赋值的辅助调度规则。
优选地， 所述方法还包括： 在测试任务调度过程中， 调度服务器将测试 任务的执行状态信息发送到客户端进行实时监控； 在客户端对测试任务进行 实时状态监控； 以及在所述客户端对所述调度服务器的调度进行暂停、 恢复 或停止。
在本发明的分布式综合业务自动化测试系统及方法中， 测试任务的主要 元素是测试项， 测试任务根据测试需求选择或新建合适的测试项， 然后对这 些测试项进行循环、 分支、 并行、 延时等逻辑控制， 测试项及测试项的控制 逻辑组成测试任务。 这就使得测试任务的生成、 编辑更加灵活， 在该测试系 统下可挂载更多类型的被测系统进行测试， 使得测试手段及类型更加丰富。 因此， 本发明的分布式综合业务自动化测试系统及方法更具有灵活性及广泛 适用性。
本发明的分布式综合业务自动化测试系统及方法中， 综合业务主要体现 在测试项的差异上， 每个测试项都有一个类型标识， 该类型标识与测试子系 统的种类——对应， 在测试任务调度时， 调度服务器根据测试项的类型标识 按照空闲优先或用户指定优先的规则选择最合适的测试子系统， 进而将该测 试项发送给测试子系统解析执行。 由于在一个测试任务中可以包含不同种类 的测试项， 所以在测试任务执行时可以对多个被测系统进行测试， 并可控制 测试的时序 , 从而实现综合业务的自动化测试。
本发明的分布式综合业务自动化测试系统及方法中， 分布式主要体现在 客户端、 调度服务器和测试子系统的通信上， 他们之间的通信主要是以例如 TCP协议的网络协议为基础的控制流和数据流通信， 因此各模块都可驻留在 不同的计算机中， 只要他们共存于一个网络即可， 这就使得测试可以摆脱物 理空间上的限制。
综上所述， 本发明的分布式综合业务自动化测试方法及系统， 通过系统 中客户端、 调度服务器和测试子系统之间的网络连接实现了分布式， 而对测 试项类型的区分、 运行测试项的测试子系统的指定以及测试用例中对结构化 测试脚本的支持， 实现了多业务复杂测试场景的支持； 此外， 该系统还支持 多测试任务并发、 顺序、 定时等执行方式， 并可控制测试任务中各部分是否 运行； 通过使用此系统， 可以极大的扩展测试的广度和深度， 给测试带来极 大的效率提升。 附图概述
图 1是本发明的自动化测试系统的结构示意图；
图 2是本发明的自动化测试方法的流程图；
图 3是本发明的调度服务器 102模块图；
图 4是本发明的测试子系统 103的模块图；
图 5是本发明的客户端 101的模块图；
图 6是本发明的自动化测试方法的执行流程图；
图 7是本发明的调度服务器注册响应流程图；
图 8是本发明的测试任务文件结构图；
图 9是本发明的调度服务器测试任务调度流程图；
图 10是本发明的测试子系统的执行流程图。
本发明的较佳实施方式
为使本发明的目的、 技术方案和优点更加清楚， 以下结合附图对本发明 作进一步地详细说明。
本发明为了解决分布式的多个系统之间的综合业务自动化测试问题， 提 出了一种分布式综合业务自动化测试方法及系统。 其中， 所述测试系统为一 个测试平台， 与针对具体业务的测试子系统无明显联系， 通过扩展， 可将任 何针对具体业务的测试子系统挂接在该测试平台之下， 故而测试子系统不是 本发明重点关注的内容。
本发明测试系统构建的测试平台引入了测试项的概念， 测试项是测试子 系统可以识别并执行的基础测试脚本， 每个测试项都有一个类型标识， 该类 型标识与测试子系统的种类——对应。 该测试平台提供的功能， 可以将多种 类的测试项组装成结构化的测试脚本， 形成测试任务， 通过脚本的调度， 来 支持多业务的综合测试功能。 当然， 该测试平台与被测系统之间是支持分布 式部署的。 这就使得测试任务的生成、 编辑更加灵活， 在该测试系统下可挂 载更多类型的被测系统进行测试， 使得测试手段及类型更加丰富。 因此， 本 发明的分布式综合业务自动化测试系统及方法更具有灵活性及广泛适用性。 图 1示出了一种分布式综合业务的自动化测试系统， 包括分布式部署的 客户端 101、 调度服务器 102、 测试子系统 103 , 用于对分布式部署的被测系 统 104进行测试， 其中：
所述客户端 101 , 设置为按逻辑关系组织测试项生成测试任务， 开始测 试后将测试任务发送给调度服务器 102, 并从调度服务器 102接收查看测试 任务报告；
所述调度服务器 102 , 设置为解析测试任务， 按所述逻辑关系调度测试 项， 将各测试项分发至对应的测试子系统 103；
所述测试子系统 103 , 设置为解析、 执行测试项来对被测系统 104进行 测试， 并收集测试项执行报告并上报给调度服务器 102, 由调度服务器 102 汇总生成测试任务报告供客户端 101进行查看。
所述分布式部署的客户端 101、 调度服务器 102、 测试子系统 103、 被测 系统 104之间的连接方式可以是：
一个调度服务器为至少一个所述客户端和至少一个相同的或不相同的测 试子系统服务；
一个所述客户端只能与一个所述调度服务器连接， 一个所述客户端同时 运行多个测试任务；
一个所述测试子系统只能与一个所述调度服务器连接， 并且只能与一个 被测系统连接；
一个所述被测系统与一个或多个所述测试子系统连接。
所述客户端与所述调度服务器之间、 所述测试子系统与所述调度服务器 之间的通信都是釆用 TCP协议， 其中客户端和测试子系统都只与调度服务器 进行通信， 通信的方式包括控制流和数据流两类， 控制流用来响应各种控制 命令， 数据流用来进行测试任务、 测试项或测试报告的传输。
图 1所示的自动化测试系统， 在具体实施中， 可以只包含一个调度服务 器 102; 至少一个客户端 101 , 与所述调度服务器 102连接； 至少一个测试子 系统 103 , 与所述调度服务器 102连接； 以及若干被测系统 104; 其中， 所述 测试子系统 103只能与一个被测系统 104连接， 而一个所述被测系统 104可 能与多个所述测试子系统 103连接。
所述调度服务器 102, 设置为完成客户端及各测试子系统的注册与管理， 测试任务的解析、 调度， 测试任务中各测试项的分发， 测试报告的搜集、 整 理， 多级变量支持等。 参见图 1 , 调度服务器 102 负责管理至少一个客户端 101和至少一个测试子系统 103; 接收并解析客户端 101发来的各测试任务； 对各测试任务进行调度和状态监控；生成各测试任务的报告；响应客户端 101 的各种控制命令;按照一定规则将测试任务中的测试项发送给测试子系统 103 执行；
所述客户端 101 , 负责用例编辑、 用例管理， 实时运行状态监控， 报告 查看， 用例运行控制及其它一些辅助功能。 一套测试系统中可以有多个客户 端， 各客户端独立工作。 参见图 1 , 客户端 101 负责与用户交互， 用户可通 过客户端 101新建测试任务、 运行测试任务并对运行状态进行控制、 监控测 试任务运行状态、 接收和解析测试任务运行报告；
所述测试子系统 103 , 设置为针对一被测系统执行某类测试， 如 GUI测 试， 性能测试等。 测试子系统 103接收调度服务器 102发来的测试项并解析 执行，最后汇总测试项报告并返回到调度服务器 102并进入等待测试项状态； 所述被测系统 104, 作为测试对象， 是测试子系统 103 的作用对象， 测 试子系统 103通常通过 TCP/IP通信或驻留在被测系统 104的方式来控制被测 系统 104, 从而执行特定的测试， 特别地， 测试子系统 103针对被测系统 104 执行测试项。
基于图 1所示的自动化测试系统， 本发明的分布式综合业务的自动化测 试方法， 如图 2所示， 包括：
A、 在客户端按逻辑关系组织测试项生成测试任务， 开始测试后将测试 任务发送给调度服务器；
B、调度服务器解析测试任务， 按所述逻辑关系调度测试项， 将各测试项 分发至对应的测试子系统， 由测试子系统解析执行测试项来对被测系统进行 测试；
C、测试子系统收集测试项执行报告并上报给调度服务器汇总生成测试任 务报告， 在客户端对测试任务报告进行查看。
其中， 客户端主要是自动化测试系统与测试人员的图形用户接口， 测试 人员可通过所述客户端编写测试任务， 监控执行状态， 查看报告等。 一个所 述客户端只能与一个所述调度服务器连接， 一个所述客户端可同时运行多个 测试任务。
其中， 调度服务器接收客户端编写的测试任务， 对测试任务逻辑进行调 度， 并在调度过程中将测试任务中的测试项按照一定的分发规则发送到各所 述的测试子系统执行， 并接收所述的测试子系统的测试项执行报告， 汇总后 返回到客户端， 在测试任务调度过程中， 所述调度服务器会将测试任务的执 行状态信息发送到客户端， 以便用户进行实时监控。 同时， 用户在所述客户 端可对所述调度服务器的调度进行暂停、 恢复或停止。 所述调度服务器支持 多测试任务并发调度。
其中， 所述测试子系统的输入为测试项， 测试项为测试子系统待执行的 一系列操作的集合， 测试项具有统一的结构， 内容根据所述测试子系统的差 异而不同， 测试项内容只在所述测试子系统中进行解析、 执行， 所述测试子 系统在执行完测试项后， 必须向所述调度服务器返回特定格式的测试项执行 报告。 一个所述测试子系统只能与一个所述调度服务器连接。
下面结合附图对本发明自动化测试的方法及系统进行详细说明。
本发明的图 1所示的自动化测试系统中，所述调度服务器 102为其核心， 图 3是所述调度服务器 102的模块结构图。 所述调度服务器 102包括： 消息 通讯模块 301 ; 文件传输模块 良务器端） 302; 异常处理模块 303; 子系统注 册模块 304; 子系统管理模块 305; 子系统查询模块 306; 测试任务控制模块 307; 测试任务解析模块 308; 测试任务 /项映射模块 309; 测试任务调度模块 310; 测试任务报告模块 311。 其中：
所述消息通讯模块 301 , 设置为完成与客户端之间以及与测试子系统之 间的网络消息通信；
所述文件传输模块 (服务器) 302, 设置为向客户端及测试子系统提供文件 传输服务；
所述异常处理模块 303 , 设置为向其它模块提供异常状态处理通用服务； 所述子系统注册模块 304 , 设置为响应客户端及测试子系统的注册请求， 按一定的规则为各测试子系统分配相应的资源， 并在注册成功后将测试子系 统移交给子系统管理模块 305;
所述子系统管理模块 305 , 设置为完成客户端和各测试子系统的维护， 该模块协调其它模块完成各子系统的定位；
所述子系统查询模块 306 , 设置为向客户端提供测试子系统查询服务， 以便在客户端编写测试任务时， 用户可为测试任务中各测试项指定运行的测 试子系统， 从而协助完成综合业务测试；
所述测试任务控制模块 307 , 设置为负责测试任务的资源分配、 检索和 销毁， 可响应客户端的任务控制命令。
所述测试任务解析模块 308 , 设置为对客户端发过来的测试任务进行解 析， 从而将测试任务转化为调度服务器可识别、 可调度的格式；
所述测试任务 /项映射模块 309, 设置为维护测试任务 /项、 客户端和测试 子系统之间的对应关系， 协助进行任务调度；
所述测试任务调度模块 310 , 设置为对测试任务的测试逻辑进行识别、 调度， 是调度服务器的核心模块；
所述测试任务报告模块 311 , 设置为完成测试任务报告的生成、 统计功 能， 为客户端提供完整的测试任务运行报告源文件； 同时协助客户端完成测 试任务运行状态的监控， 使用户掌握测试任务的运行情况。
图 1所示的自动化测试系统中， 所述业务测试子系统 103的模块结构图 如图 4所示， 该业务测试子系统 103包括：
消息通讯模块 401 , 设置为完成测试子系统与调度服务器之间的网络消 息通信；
文件传输模块（子系统 ) 402, 设置为接收调度服务器所发送的测试项文 件及上传测试项执行报告和报告附属文件；
异常处理模块 403 , 设置为向其它模块提供异常状态处理通用服务； 部署模块 404 , 设置为处理测试子系统与被测系统之间的交互通道的建 立， 以便测试子系统可以控制被测系统， 实现方式依具体情况而定， 可釆取 TCP/IP通信方式或测试子系统直接驻留于被测系统等方式；
注册模块 405 , 设置为负责测试子系统向调度服务器的注册；
测试项解析模块 406 , 设置为对接收到的测试项中各种执行指令进行解 析， 从而转变为测试子系统可以执行的形式；
所述测试项调度模块 407 , 设置为负责测试项中各执行指令的执行调度； 所述调度控制模块 408, 设置为负责对指令调度的控制， 进行调度开始、 暂停、 继续、 停止等控制；
所述测试项报告模块 409 , 设置为进行指令执行报告的收集， 以及测试 项执行完后测试项报告的整理。
图 1所示的自动化测试系统中， 所述客户端 101的模块构成图如图 5所 示， 该客户端 101包括：
消息通讯模块 501 , 设置为完成客户端与调度服务器之间的网络消息通 信；
文件传输模块（客户端） 502, 设置为将测试任务发送给调度服务器， 并 从调度服务器接收测试任务报告；
异常处理模块 503 , 设置为向其它模块提供异常状态处理通用服务； 注册模块 504, 设置为向调度服务器注册；
测试任务管理模块 505 , 设置为进行测试任务的新建、 修改、 删除、 导 入、 导出等；
子系统查询模块 506 , 设置为向调度服务器查询可用的测试子系统， 以 便为不同的测试项分配运行的测试子系统；
支撑模块 507 , 设置为向测试任务管理模块 505提供变量支持， 参数管 理， 测试任务同步等辅助功能；
测试用例编辑模块 508 , 设置为编辑测试任务中最重要的测试用例， 可 以编辑结构化的用例；
运行监控模块 509 , 设置为在调度服务器进行测试任务运行调度时， 使 用户可在客户端观察到测试任务运行情况；
任务运行控制模块 510 , 设置为对测试任务的运行状态进行控制， 支持 测试任务的启动、 暂停、 停止， 与调度服务器一块实现测试任务的运行态控 制。
图 6示出了本发明的一种分布式综合业务自动化测试的方法的流程， 包 括如下步骤：
第一步 601 : 启动调度服务器；
第二步 602: 启动测试子系统进行部署和向调度服务器注册；
第三步 603 : 启动客户端并向调度服务器注册；
第四步 604: 在客户端新建并编辑测试任务， 所述测试任务由测试项按 逻辑关系组成， 为测试任务选择或添加针对不同测试子系统的测试项；
第五步 605: 在客户端为测试项指定运行的测试子系统；
第六步 606： 在客户端启动测试任务；
第七步 607: 调度服务器解析、 调度测试任务；
第八步 608: 在客户端监控测试任务运行状态；
第九步 609: 测试子系统解析并执行测试项；
第十步 610: 测试子系统返回测试项 ^艮告； 第十一步 611 : 调度服务器收集汇总测试任务报告；
第十二步 612: 客户端接收测试任务报告；
第十三步 613: 在客户端查看并分析测试任务报告。
在图 6所示的本发明的自动化测试方法中， 第二步 602和第三步 603的 注册活动中， 调度服务器注册处理过程如图 7所示：
开始： 调度服务器收到子系统（客户端 /测试子系统） 的注册消息； 步骤 701 : 将注册消息放进待处理消息队列， 并激活注册线程； 步骤 702: 注册线程检测消息队列长度是否为空？
步骤 703: 如果注册线程发现消息队列为空， 则进入休眠状态； 步骤 704: 如果注册线程发现消息队列不为空时， 取队列第一个消息； 步骤 705: 注册线程向所述子系统管理模块 305 申请子系统编号； 此子 系统编号后续将作为该子系统的唯一标识， 是子系统查询模块 306查询的结 果， 可用来为测试项标识运行的测试子系统。
步骤 706: 子系统管理模块 305对申请编号的子系统进行有效性检查， 检测该子系统是否注册过；
步骤 707:若申请编号的子系统曾经注册过，则分配原编号，转步骤 709; 步骤 708: 若申请编号的子系统未注册过， 则分配新编号， 转步骤 709; 步骤 709: 注册线程判断注册的子系统的类型；
步骤 710: 注册线程将注册的子系统移交子系统管理模块 305管理； 步骤 711 : 注册线程构造注册响应消息， 并发送给注册的子系统。
在完成一个注册消息的处理之后， 可以返回到步骤 701继续处理下一个 消息。
在图 6所示的本发明的自动化测试方法中， 第四步 609中， 测试任务釆 用文件夹的形式进行管理， 其结构如图 8所示： 测试任务文件夹 801下包含一个叫 task.xml的文件 802和至少一个测试 套文件夹 803; 每个测试套文件夹 803下包含一个叫 suit.xml的文件 804和至 少一个测试用例文件夹 805;每个测试用例文件夹 805下包含一个叫 case.xml 的文件 806和至少一个测试项文件夹 807; 每个测试项文件夹 807包含一个 测试项文件 808, 该文件格式为 xml, 名称可根据需要来命名。
测试任务文件层次中， 各层次中的 xml文件（除测试项文件 808外 ) 中 都有一部分内容专门标识与该 xml文件平级的各目录之间的关系， 在该 xml 文件中， 每一个同级目录都对应一个逻辑节点， 各逻辑节点有两个 ID, —个 作为自身标识， 另一个标识作为调度时下一个要运行的同级逻辑节点的 ID; 调度规则为： 测试套只支持顺序调度， 测试用例支持顺序和循环， 而在测试 用例 case.xml中的测试项支持分支、 循环、 并发等调度规则， 并辅助诸如延 时、 赋值等辅助调度规则协助调度。
测试任务调度时，各调度规则及测试任务中各目录都被解析为逻辑节点， 在调度上一级逻辑节点时， 会查找该逻辑节点对应的下级调度规则， 釆用深 度优先的方式对各级逻辑节点进行调度， 逻辑节点的调度方式见下文调度服 务器相关部分。
在图 6所示的本发明的自动化测试方法中， 第七步 607中， 调度服务器 的调度流程如图 9所示， 包括：
步骤 901 : 在解析完测试任务后， 所述调度服务器找到该测试任务第一 个节点；
步骤 902: 所述调度服务器将该第一个节点加入到调度队列尾部并唤醒 调度线程；
步骤 903: 调度线程读取调度队列；
步骤 904: 调度线程判断调度队列是否为空；
步骤 905: 如果调度队列为空， 则调度线程进入休眠状态， 等待被激活； 步骤 906: 如果调度队列不为空， 则取调度队列首节点；
步骤 907: 调度线程判断读取的节点是否是第一次运行； 步骤 908: 如果不是第一次运行， 则进行报告收集， 最后将该节点下一 逻辑节点加到调度队列中， 并转到步骤 903继续调度；
步骤 909: 如果是第一次运行， 且该首节点是测试项逻辑节点， 则根据 该测试项类型及指定的运行子系统编号， 查找该测试子系统并通过 FTP方式 或其它方式发送该节点到相应的测试子系统， 同时将节点的定位信息加入到 计数器并发送执行测试项消息， 之后进入步骤 903继续调度； 如果是非测试 项逻辑节点， 则调用逻辑节点相应方法后进入步骤 903继续调度。
步骤 910: 调度服务器收到子系统发送来的测试项报告消息后， 首先查 找该报告对应的逻辑节点并与计数器中的记录进行匹配；
步骤 911 : 调度服务器判断计数器中是否有该报告对应节点的定位信息； 步骤 912: 如果计数器中没有与收到报告对应节点的定位信息， 则丟弃 该报告；
步骤 913 : 如果计数器中有节点的定位信息与之匹配， 则清除该节点在 计数器中的定位记录并找到该逻辑节点；
步骤 914: 调度服务器判断是否找到报告对应的逻辑节点； 如果未找到 则转入步骤 912进行丟弃； 如果找到则转入步骤 902继续激活调度。
在图 6所示的本发明的自动化测试方法中， 测试子系统执行流程如图 10 所示：
步骤 1001 : 开始使用测试子系统
步骤 1002: 测试子系统首先开始部署被测系统， 完成两者之间交互通道 的建立；
步骤 1003: 判断是否部署成功； 如果部署失败则转异常处理 1006;
步骤 1009: 如果部署成功则向调度服务器进行注册；
步骤 1005: 判断是否注册成功； 失败则转异常处理 1006;
步骤 1007: 如果注册成功则监听调度服务器消息；
步骤 1008: 收到调度服务器消息时， 首先进行消息解析； 步骤 1009: 判断消息类型；
步骤 1010: 如果消息属于调度控制消息， 则进行调度控制， 处理完毕后 发送响应消息 1016;
步骤 1011 : 如果是测试项运行消息， 则首先下载测试项；
步骤 1012: 对测试项中执行指令进行解析；
步骤 1013: 对测试项中执行指令进行调度执行；
步骤 1014: 将各指令执行情况及相关附件进行收集整理， 汇总成测试项 报告；
步骤 1015: 将测试报告上传到调度服务器；
步骤 1016: 向调度服务器发送测试项响应消息； 之后继续监听端口， 处 理其它消息。
以上所述仅为本发明的实施例而已， 并不用于限制本发明， 对于本领域 的技术人员来说， 本发明可以有各种更改和变化。 凡在本发明的精神和原则 之内， 所作的任何修改、 等同替换、 改进等， 均应包含在本发明的权利要求 范围之内。
工业实用性
本发明的分布式综合业务自动化测试系统及方法， 通过系统中客户端、 调度服务器和测试子系统之间的网络连接实现了分布式， 而对测试项类型的 区分、 运行测试项的测试子系统的指定以及测试用例中对结构化测试脚本的 支持， 实现了多业务复杂测试场景的支持； 此外， 该系统还支持多测试任务 并发、 顺序、 定时等执行方式， 并可控制测试任务中各部分是否运行； 通过 使用此系统， 可以极大的扩展测试的广度和深度， 给测试带来极大的效率提 升。

Claims

权 利 要 求 书
1、 一种分布式综合业务的自动化测试系统， 包括分布式部署的客户端、 调度服务器和测试子系统， 用于对分布式部署的被测系统进行测试， 其中： 所述客户端， 设置为按逻辑关系组织测试项生成测试任务， 开始测试后 将测试任务发送给调度服务器， 并从调度服务器接收查看测试任务报告； 所述调度服务器， 设置为解析测试任务， 按所述逻辑关系调度测试项， 将各测试项分发至对应的测试子系统， 以及将测试子系统上 ^艮的测试项执行 报告汇总生成测试任务报告供客户端进行查看；
所述测试子系统， 设置为解析、 执行测试项来对被测系统进行测试， 并 收集测试项执行报告并上报给调度服务器。
2、 如权利要求 1所述的自动化测试系统， 其中，
所述分布式部署的客户端、 调度服务器、 测试子系统、 被测系统是通过 网络连接的， 其中：
一个调度服务器为至少一个所述客户端和至少一个相同的或不相同的测 试子系统服务；
一个所述客户端只能与一个所述调度服务器连接， 一个所述客户端同时 运行一个或多个测试任务；
一个所述测试子系统只能与一个所述调度服务器连接， 并且只能与一个 被测系统连接；
一个所述被测系统与一个或多个所述测试子系统连接。
3、 如权利要求 1所述的自动化测试系统， 其中，
所述测试项， 是测试子系统可识别并执行的一系列操作的集合， 每个测 试项都有一个类型标识， 该类型标识与测试子系统的种类——对应。
4、 如权利要求 1所述的自动化测试系统， 其中，
所述逻辑关系包括测试项支持的分支、 循环、 并发的调度规则， 以及延 时、 赋值的辅助调度规则。
5、 如权利要求 1所述的自动化测试系统， 其中， 所述客户端还设置为对测试任务的状态进行实时监控， 以及对所述调度 服务器的调度进行暂停、 恢复或停止；
所述调度服务器还设置为在测试任务调度过程中， 将测试任务的执行状 态信息发送到客户端进行实时监控。
6、 如权利要求 1所述的自动化测试系统， 其中，
所述测试任务釆用逻辑层次文件夹形式， 在测试任务文件夹下包含任务 文件和至少一个测试套文件夹；
每个测试套文件夹下包含一个测试套文件和至少一个测试用例文件夹； 每个测试用例文件夹下包含一个测试用例文件和至少一个测试项文件 夹， 每个测试项文件夹包含一个测试项文件。
7、 一种分布式综合业务的自动化测试方法， 由分布式部署的客户端、 调 度服务器和测试子系统实施来对分布式部署的被测系统进行测试， 所述方法 包括：
在客户端按逻辑关系组织测试项生成测试任务， 开始测试后将测试任务 发送给调度服务器；
调度服务器解析测试任务， 按所述逻辑关系调度测试项， 将各测试项分 发至对应的测试子系统， 由测试子系统解析执行测试项来对被测系统进行测 试； 以及
测试子系统收集测试项执行报告并上报给调度服务器， 调度服务器汇总 生成测试任务报告， 并将测试任务报告发送给客户端。
8、 如权利要求 7所述的自动化测试方法， 其中，
所述测试项， 是测试子系统可识别并执行的一系列操作的集合， 每个测 试项都有一个类型标识， 该类型标识与测试子系统的种类——对应。
9、 如权利要求 7所述的自动化测试方法， 其中，
所述测试任务釆用逻辑层次文件夹形式， 在测试任务文件夹下包含任务 文件和至少一个测试套文件夹；
每个测试套文件夹下包含一个测试套文件和至少一个测试用例文件夹； 每个测试用例文件夹下包含一个测试用例文件和至少一个测试项文件 夹， 每个测试项文件夹包含一个测试项文件；
所述逻辑关系包括测试项支持的分支、 循环、 并发的调度规则， 以及延 时、 赋值的辅助调度规则。
10、 如权利要求 7所述的自动化测试方法， 还包括：
在测试任务调度过程中， 调度服务器将测试任务的执行状态信息发送到 客户端进行实时监控；
在客户端对测试任务进行实时状态监控； 以及
在所述客户端对所述调度服务器的调度进行暂停、 恢复或停止。
PCT/CN2010/074754 2009-11-23 2010-06-29 一种分布式综合业务自动化测试系统及方法 WO2011060642A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/258,437 US9189374B2 (en) 2009-11-23 2010-06-29 Automatic test system for distributed comprehensive service and method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN200910222629.X 2009-11-23
CN200910222629XA CN101727389B (zh) 2009-11-23 2009-11-23 一种分布式综合业务自动化测试系统及方法

Publications (1)

Publication Number Publication Date
WO2011060642A1 true WO2011060642A1 (zh) 2011-05-26

Family

ID=42448307

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2010/074754 WO2011060642A1 (zh) 2009-11-23 2010-06-29 一种分布式综合业务自动化测试系统及方法

Country Status (3)

Country Link
US (1) US9189374B2 (zh)
CN (1) CN101727389B (zh)
WO (1) WO2011060642A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113868029A (zh) * 2021-08-12 2021-12-31 北京航天长征飞行器研究所 一种多任务并发测试方法及测试系统

Families Citing this family (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101727389B (zh) * 2009-11-23 2012-11-14 中兴通讯股份有限公司 一种分布式综合业务自动化测试系统及方法
CN102142984A (zh) * 2010-11-25 2011-08-03 中国移动（深圳）有限公司 安全测试平台
CN102681881B (zh) * 2011-03-07 2015-09-16 中国银联股份有限公司 跨机调度方法及其系统
CN102316156A (zh) * 2011-07-05 2012-01-11 万达信息股份有限公司 一种可动态扩展的任务分发处理方法
CN102355384A (zh) * 2011-10-13 2012-02-15 纳龙（苏州）信息技术有限公司 一种用于监控系统的自动化测试的通信规范
CN103188252A (zh) * 2011-12-31 2013-07-03 中国科学院微电子研究所 分布式测试系统的中心机与测试终端之间进行通讯的方法
CN102420727A (zh) * 2012-01-05 2012-04-18 北京邮电大学 一种基于分布式的协议测试系统及方法
CN103678093B (zh) * 2012-08-30 2017-12-22 腾讯科技（深圳）有限公司 一种自动化测试框架及测试方法
CN103810088B (zh) * 2012-11-09 2017-06-09 阿里巴巴集团控股有限公司 一种业务管道的业务阀门测试方法和装置
CN103902446B (zh) * 2012-12-27 2017-04-05 北京新媒传信科技有限公司 一种网络服务器自动化测试的方法和装置
EP2755138B1 (en) * 2013-01-11 2018-11-28 Fujitsu Limited Testing implementation parameters of a computer program in a distributed environment
CN103391225B (zh) * 2013-07-26 2016-09-14 大连飞创信息技术有限公司 期货与证券行业测试用例并行自动化测试系统
CN103440197B (zh) * 2013-08-25 2016-04-13 浙江大学 一种基于对比测试自动生成差异测试报告的方法
CN103677973A (zh) * 2013-09-01 2014-03-26 西安重装渭南光电科技有限公司 一种分布式多任务调度管理系统
CN104516811B (zh) * 2013-09-27 2019-01-11 腾讯科技（深圳）有限公司 一种分布式执行测试用例的方法和系统
IN2013DE02949A (zh) * 2013-10-04 2015-04-10 Unisys Corp
WO2015070924A1 (en) 2013-11-15 2015-05-21 Advantest Corporation Tester
WO2015070923A1 (en) 2013-11-15 2015-05-21 Advantest Corporation Tester
WO2015081980A1 (en) 2013-12-02 2015-06-11 Advantest Corporation Instruction provider and method for providing a sequence of instructions, test processor and method for providing a device under test
CN103678133A (zh) * 2013-12-18 2014-03-26 中国科学院深圳先进技术研究院 一种用于应用软件云测试的任务调度系统
WO2015090425A1 (en) 2013-12-19 2015-06-25 Advantest Corporation A power supply device, a test equipment comprising a power supply device and a method for operating a power supply device
WO2015090478A1 (en) 2013-12-20 2015-06-25 Advantest Corporation Multi-port measurement technique for determining s-parameters
CN104731702B (zh) * 2013-12-23 2017-12-26 展讯通信（上海）有限公司 测试系统及其服务端
CN103645988B (zh) * 2013-12-24 2016-01-20 哈尔滨工业大学 通用化分布式测试系统架构
KR20160114693A (ko) 2014-01-30 2016-10-05 주식회사 아도반테스토 피시험 디바이스를 테스트하기 위한 테스트 장치 및 방법
US20160077956A1 (en) * 2014-09-11 2016-03-17 Wipro Limited System and method for automating testing of software
CN104243282B (zh) * 2014-09-12 2018-09-21 深圳创维数字技术有限公司 一种信息通知方法及服务器
WO2016066191A1 (en) * 2014-10-29 2016-05-06 Advantest Corporation Scheduler
WO2016082899A1 (en) 2014-11-28 2016-06-02 Advantest Corporation Removal of sampling clock jitter induced in an output signal of an analog-to-digital converter
WO2016102020A1 (en) 2014-12-23 2016-06-30 Advantest Corporation Test equipment, method for operating a test equipment and computer program
CN104536888A (zh) * 2014-12-24 2015-04-22 网易（杭州）网络有限公司 移动设备的游戏测试方法与系统
CN105786696B (zh) * 2014-12-26 2018-10-09 阿里巴巴集团控股有限公司 一种测试方法及装置
WO2016155830A1 (en) 2015-04-01 2016-10-06 Advantest Corporation Method for operating a test apparatus and a test apparatus
WO2016173619A1 (en) 2015-04-27 2016-11-03 Advantest Corporation Switch circuit, method for operating a switch circuit and an automated test equipment
WO2016188572A1 (en) 2015-05-27 2016-12-01 Advantest Corporation Automated test equipment for combined signals
WO2016198100A1 (en) 2015-06-10 2016-12-15 Advantest Corporation High frequency integrated circuit and emitting device for irradiating the integrated circuit
CN104978269A (zh) * 2015-06-30 2015-10-14 四川九洲电器集团有限责任公司 一种自动化测试方法
CN106326102A (zh) * 2015-07-06 2017-01-11 阿里巴巴集团控股有限公司 测试方法和装置
CN105138685B (zh) * 2015-09-17 2018-11-16 福建新大陆软件工程有限公司 一种面向HBase的性能测试系统
CN105117345B (zh) * 2015-09-23 2017-12-19 网易（杭州）网络有限公司 一种应用程序的接口测试方法及装置
CN106612204B (zh) * 2015-10-27 2020-04-10 阿里巴巴集团控股有限公司 业务校验方法及装置
CN105589928A (zh) * 2015-12-02 2016-05-18 中国银联股份有限公司 用于分布式数据处理系统的模拟测试方法
CN105912457A (zh) * 2015-12-08 2016-08-31 乐视网信息技术（北京）股份有限公司 测试服务器、测试客户端、测试系统和测试方法
CN105577475B (zh) * 2015-12-28 2019-07-05 上海瀚之友信息技术服务有限公司 自动化性能测试系统及方法
CN105553782B (zh) * 2016-01-13 2018-12-25 华自科技股份有限公司 通讯链路测试方法和系统
CN105740150A (zh) * 2016-02-01 2016-07-06 惠州Tcl移动通信有限公司 一种分布式测试方法及系统
CN107179985A (zh) * 2016-03-09 2017-09-19 阿里巴巴集团控股有限公司 用于自动化用例的执行方法和设备
CN107194490B (zh) * 2016-03-14 2022-08-12 商业对象软件有限公司 预测建模优化
CN106200612B (zh) * 2016-07-07 2019-01-22 百度在线网络技术（北京）有限公司 用于测试车辆的方法和系统
CN106506283B (zh) * 2016-12-08 2020-01-21 用友网络科技股份有限公司 银行和企业对接系统的业务测试方法和装置
CN108241580B (zh) * 2016-12-30 2021-11-19 深圳壹账通智能科技有限公司 客户端程序的测试方法及终端
CN106919510B (zh) * 2017-03-09 2020-11-27 苏州浪潮智能科技有限公司 一种基于SPECjbb的OracleJDK版本测试运行报错的规避方法及规避系统
CN106656684B (zh) * 2017-03-27 2020-07-24 苏州大学 一种网格资源可靠性监控方法及装置
US10557886B2 (en) 2017-04-28 2020-02-11 Advantest Corporation Test system supporting multiple users using different applications
CN108932191A (zh) * 2017-05-23 2018-12-04 北京嘀嘀无限科技发展有限公司 自动化测试方法、系统、计算机设备及可读存储介质
CN109254905B (zh) * 2017-07-13 2022-01-28 北京航空航天大学 基于工作流的分布式并行自动化测试系统
CN109271309B (zh) * 2017-07-18 2022-04-08 北京嘀嘀无限科技发展有限公司 自动化测试软件的方法及装置、服务器、设备和存储介质
CN109426608A (zh) * 2017-08-29 2019-03-05 中国电信股份有限公司 分布式服务的测试方法和装置、计算机可读存储介质
CN107590079A (zh) * 2017-10-26 2018-01-16 郑州云海信息技术有限公司 一种面向服务器的异质测试脚本排程测试方法
CN107885627A (zh) * 2017-11-09 2018-04-06 郑州云海信息技术有限公司 一种服务器自动化测试系统及方法
CN108038013B (zh) * 2017-11-30 2021-07-16 海尔优家智能科技（北京）有限公司 分布式性能测试方法及装置与计算机可读存储介质
CN107948636A (zh) * 2017-12-13 2018-04-20 中邮科通信技术股份有限公司 一种基于iptv机顶盒错误码的故障自检测定位方法
CN108268379B (zh) * 2018-02-02 2020-01-03 方欣科技有限公司 一种分布式自动化测试方法及装置
CN110213117B (zh) * 2018-02-28 2020-08-07 贵州白山云科技股份有限公司 一种业务测试方法及装置
CN108683569B (zh) * 2018-06-06 2020-06-09 国家计算机网络与信息安全管理中心 一种面向云服务基础设施的业务监测方法及系统
CN109086213B (zh) * 2018-09-10 2023-06-06 一汽解放汽车有限公司 一种基于分布式系统的商用车网络测试管理系统及方法
CN109471706A (zh) * 2018-10-11 2019-03-15 平安科技（深圳）有限公司 一种拨测测试的响应方法及系统
CN109583688A (zh) * 2018-10-16 2019-04-05 深圳壹账通智能科技有限公司 性能测试方法、装置、计算机设备和存储介质
CN109450670B (zh) * 2018-10-19 2022-04-01 杭州东方通信软件技术有限公司 一种人工智能模式下的指令冲突判断方法及其系统
CN109188035B (zh) * 2018-11-07 2021-01-26 华自科技股份有限公司 输入信号生成方法、开关量测试系统、存储介质及设备
CN112306845A (zh) * 2019-07-31 2021-02-02 腾讯科技（深圳）有限公司 一种并发测试方法、装置、设备及介质
CN110716876A (zh) * 2019-09-30 2020-01-21 国核自仪系统工程有限公司 自动化验证可编程逻辑代码的测试平台及测试方法
CN110928774B (zh) * 2019-11-07 2023-05-05 杭州顺网科技股份有限公司 一种基于节点式的自动化测试系统
CN111159050A (zh) * 2019-12-30 2020-05-15 深圳Tcl新技术有限公司 智能锁测试方法、装置及计算机可读存储介质
CN113220562A (zh) * 2020-02-06 2021-08-06 北京沃东天骏信息技术有限公司 终端测试方法及装置、计算机存储介质、电子设备
CN111381142A (zh) * 2020-02-21 2020-07-07 上海御渡半导体科技有限公司 一种提高测试流效率的半导体自动测试设备及测试方法
CN111913884A (zh) * 2020-07-30 2020-11-10 百度在线网络技术（北京）有限公司 分布式测试方法、装置、设备、系统和可读存储介质
CN113157569B (zh) * 2021-04-06 2024-05-24 深圳市捷视飞通科技股份有限公司 自动化测试方法、装置、计算机设备和存储介质
CN113407440B (zh) * 2021-05-24 2024-02-09 深圳市广和通无线股份有限公司 无线通信模组的测试系统和方法
CN113296914A (zh) * 2021-05-31 2021-08-24 中电福富信息科技有限公司 一种基于ZooKeeper的分布式任务调度系统及方法
CN113535560A (zh) * 2021-07-14 2021-10-22 杭州网易云音乐科技有限公司 测试执行方法、装置、存储介质和计算设备
CN113542073B (zh) * 2021-07-20 2022-09-20 歌尔光学科技有限公司 基于p2p的产品测试方法、系统、程序产品及存储介质
CN113849399B (zh) * 2021-09-13 2023-06-30 北京计算机技术及应用研究所 多国产化平台下的多机协同软件的自动化测试系统和方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030115252A1 (en) * 2001-11-20 2003-06-19 Boudnik Konstantin I. Methods to develop remote applications with built in feedback ability for use in a distributed test framework
CN1832433A (zh) * 2005-03-08 2006-09-13 华为技术有限公司 分布式架构测试系统和该测试系统的测试方法
CN1987819A (zh) * 2005-12-21 2007-06-27 三星电子株式会社 选择性测试方法及其测试设备
CN101140541A (zh) * 2007-09-29 2008-03-12 中兴通讯股份有限公司 一种分布式软件系统的集成测试系统及方法
CN101727389A (zh) * 2009-11-23 2010-06-09 中兴通讯股份有限公司 一种分布式综合业务自动化测试系统及方法

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5600789A (en) * 1992-11-19 1997-02-04 Segue Software, Inc. Automated GUI interface testing
US5630049A (en) * 1994-11-30 1997-05-13 Digital Equipment Corporation Method and apparatus for testing software on a computer network
US5675800A (en) * 1994-11-30 1997-10-07 Digital Equipment Corporation Method and apparatus for remotely booting a computer system
US5941947A (en) * 1995-08-18 1999-08-24 Microsoft Corporation System and method for controlling access to data entities in a computer network
US5742754A (en) * 1996-03-05 1998-04-21 Sun Microsystems, Inc. Software testing apparatus and method
US6243835B1 (en) * 1998-01-30 2001-06-05 Fujitsu Limited Test specification generation system and storage medium storing a test specification generation program
US6473896B1 (en) * 1998-10-13 2002-10-29 Parasoft, Corp. Method and system for graphically generating user-defined rules for checking language quality
US6662220B1 (en) * 1999-04-30 2003-12-09 Hewlett-Packard Development Company, L.P. Method and apparatus for remote computer management using web browser and hyper-media managed object applications
US6505137B1 (en) * 1999-09-20 2003-01-07 Radiant Technologies, Inc. Method for operating a test system
WO2001095161A2 (en) * 2000-06-02 2001-12-13 Virtio Corporation Method and system for virtual prototyping
US6895539B1 (en) * 2000-08-16 2005-05-17 Intel Corporation Universal method and apparatus for controlling a functional test system
US7007244B2 (en) * 2001-04-20 2006-02-28 Microsoft Corporation Method and system for displaying categorized information on a user interface
AU2002310820A1 (en) * 2001-05-14 2002-11-25 Telefonaktiebolaget Lm Ericsson (Publ) Task supervision
US7426729B2 (en) * 2001-07-11 2008-09-16 Sun Microsystems, Inc. Distributed processing framework system
EP2290531A3 (en) * 2001-07-26 2013-04-10 IRiSE System and process for gathering, recording and validating requirements for computer applications
US7539591B2 (en) * 2001-08-24 2009-05-26 Vi Technology, Inc. Enterprise test data management system utilizing hierarchical test data models and related methods
US7308491B2 (en) * 2002-03-18 2007-12-11 Samsung Electronics Co., Ltd. System and method for on-line upgrade of call processing software using group services in a telecommunication system
US7788699B2 (en) * 2002-03-06 2010-08-31 Vir2Us, Inc. Computer and method for safe usage of documents, email attachments and other content that may contain virus, spy-ware, or malicious code
US7272822B1 (en) * 2002-09-17 2007-09-18 Cisco Technology, Inc. Automatically generating software tests based on metadata
US7831962B2 (en) * 2003-06-03 2010-11-09 Oracle International Corporation Testing subsystems on platforms for software applications
US7546584B2 (en) * 2003-06-16 2009-06-09 American Megatrends, Inc. Method and system for remote software testing
US7543277B1 (en) * 2003-06-27 2009-06-02 American Megatrends, Inc. Method and system for remote software debugging
US7856624B2 (en) * 2003-09-15 2010-12-21 Thomas Plum Automated safe secure techniques for eliminating undefined behavior in computer software
US7421621B1 (en) * 2003-09-19 2008-09-02 Matador Technologies Corp. Application integration testing
US7870504B1 (en) * 2003-10-01 2011-01-11 TestPlant Inc. Method for monitoring a graphical user interface on a second computer display from a first computer
US7152189B2 (en) * 2003-10-07 2006-12-19 Microsoft Corporation Testing distributed services by using multiple boots to timeshare a single computer
EP1680741B1 (en) * 2003-11-04 2012-09-05 Kimberly-Clark Worldwide, Inc. Testing tool for complex component based software systems
US7243268B2 (en) * 2003-12-17 2007-07-10 Agilent Technologies, Inc. Sequential coordination of test execution and dynamic data
US7810070B2 (en) * 2004-03-29 2010-10-05 Sas Institute Inc. System and method for software testing
US7984428B1 (en) * 2004-05-26 2011-07-19 United Business Media Llc Methods and systems for testing evaluation modules
US7650595B2 (en) * 2005-04-29 2010-01-19 Microsoft Corporation Sound transaction-based reduction without cycle detection
US8185877B1 (en) * 2005-06-22 2012-05-22 Jpmorgan Chase Bank, N.A. System and method for testing applications
US7437275B2 (en) * 2005-08-03 2008-10-14 Agilent Technologies, Inc. System for and method of multi-location test execution
US8260602B1 (en) * 2006-11-02 2012-09-04 The Math Works, Inc. Timer analysis and identification
US7620856B2 (en) * 2006-12-28 2009-11-17 Sap Portals Israel Ltd. Framework for automated testing of enterprise computer systems
US7921206B2 (en) * 2007-04-18 2011-04-05 Nec Laboratories America, Inc. Visibility and control of wireless sensor networks
US8166448B2 (en) * 2007-05-25 2012-04-24 Microsoft Corporation Rapid development of distributed web service
US7840851B2 (en) * 2008-02-15 2010-11-23 Red Hat, Inc. Annotating GUI test automation playback and debugging
CN101252471B (zh) * 2008-03-20 2010-09-29 中兴通讯股份有限公司 一种分布式自动化测试系统及其方法
US8024169B2 (en) * 2008-04-23 2011-09-20 International Business Machines Corporation Storage area network management modeling simulation
WO2010004557A1 (en) * 2008-07-07 2010-01-14 Quali Systems Ltd System and method for automatic hardware and software sequencing of computer-aided design (cad) functionality testing
CN101447892B (zh) * 2008-11-24 2011-12-28 中兴通讯股份有限公司 分布式测试方法和系统、以及测试服务器
US8464224B2 (en) * 2009-06-30 2013-06-11 Sap Ag Integrated performance and load testing tool for application servers

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030115252A1 (en) * 2001-11-20 2003-06-19 Boudnik Konstantin I. Methods to develop remote applications with built in feedback ability for use in a distributed test framework
CN1832433A (zh) * 2005-03-08 2006-09-13 华为技术有限公司 分布式架构测试系统和该测试系统的测试方法
CN1987819A (zh) * 2005-12-21 2007-06-27 三星电子株式会社 选择性测试方法及其测试设备
CN101140541A (zh) * 2007-09-29 2008-03-12 中兴通讯股份有限公司 一种分布式软件系统的集成测试系统及方法
CN101727389A (zh) * 2009-11-23 2010-06-09 中兴通讯股份有限公司 一种分布式综合业务自动化测试系统及方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113868029A (zh) * 2021-08-12 2021-12-31 北京航天长征飞行器研究所 一种多任务并发测试方法及测试系统

Also Published As

Publication number Publication date
CN101727389B (zh) 2012-11-14
US9189374B2 (en) 2015-11-17
US20120221279A1 (en) 2012-08-30
CN101727389A (zh) 2010-06-09

Similar Documents

Publication Publication Date Title
WO2011060642A1 (zh) 一种分布式综合业务自动化测试系统及方法
CN106844198B (zh) 一种分布式调度自动化测试平台及方法
CN100353714C (zh) 一种实现Web服务自动化测试的方法
CN110928774A (zh) 一种基于节点式的自动化测试系统
CN102571396B (zh) 一种通讯网络系统及通讯设备的巡检子系统和巡检方法
CN110286892B (zh) 一种基于业务流程设计的快速开发引擎系统
CN111506412A (zh) 基于Airflow的分布式异步任务构建、调度系统及方法
CN111858001A (zh) 一种基于服务于微服务架构系统的工作流处理方法
CN112511218B (zh) 一种基于微服务的卫星地面站监控系统
US8589381B2 (en) Resource management program, resource management process, and resource management apparatus
CN113742033A (zh) 一种kubernetes集群联邦系统及其实现方法
CN112181648A (zh) 一种配置驱动的轻量级混合基础设施平台及数据处理方法
CN103516735A (zh) 一种网络节点升级的方法及装置
CN115061809A (zh) 基于安卓的rpa多任务调度方法及系统
CN113312161A (zh) 一种应用调度方法、平台及存储介质
CN113835786B (zh) 一种数据对接系统、方法和计算机可读存储介质
CN113672452A (zh) 一种数据采集任务的运行监控方法、系统
CN114422386A (zh) 一种微服务网关的监测方法及装置
CN113687927A (zh) Flume任务调度配置方法、装置、设备及存储介质
CN113296917A (zh) 多业务系统业务事件订阅调度方法、电子设备及存储介质
CN106528157B (zh) 一种基于scxml标准的状态机工作流引擎
CN115237547A (zh) 一种非侵入式hpc计算集群的统一容器集群托管系统和方法
CN115080601A (zh) 一种基于国产cpu和os的异构终端统一平台管理方法及系统
CN112422349B (zh) 面向nfv的网管系统、方法、设备及介质
CN111522630B (zh) 基于批次调度中心的计划任务执行方法以及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10831058

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13258437

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 7908/DELNP/2011

Country of ref document: IN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10831058

Country of ref document: EP

Kind code of ref document: A1