KR101520056B1 - Cloud-based mobile/online game server load test automation service method - Google Patents

Cloud-based mobile/online game server load test automation service method Download PDF

Info

Publication number
KR101520056B1
KR101520056B1 KR1020140110296A KR20140110296A KR101520056B1 KR 101520056 B1 KR101520056 B1 KR 101520056B1 KR 1020140110296 A KR1020140110296 A KR 1020140110296A KR 20140110296 A KR20140110296 A KR 20140110296A KR 101520056 B1 KR101520056 B1 KR 101520056B1
Authority
KR
South Korea
Prior art keywords
load test
game
packet
information
game server
Prior art date
Application number
KR1020140110296A
Other languages
Korean (ko)
Inventor
이상기
Original Assignee
주식회사 큐랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 큐랩 filed Critical 주식회사 큐랩
Priority to KR1020140110296A priority Critical patent/KR101520056B1/en
Application granted granted Critical
Publication of KR101520056B1 publication Critical patent/KR101520056B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/50—Testing arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/561—Adding application-functional data or data for application control, e.g. adding metadata

Abstract

The present invention relates to a method of automatically servicing a load test for a cloud-based mobile/online game server, and more specifically, to the method comprising the steps of, by a cloud server included in a load test system for a game server: (1) receiving game packet information and load test scenario information from a packet/scenario defining unit of an user terminal; (2) converting the inputted game packet information to metadata for generating a virtual client; (3) automatically generating a plurality of virtual clients based on the converted metadata; and (4) performing a load test for a game server according to the load test scenario information using the generated virtual clients. According to the method of automatically servicing the load test for the cloud-based mobile/online game server of the present invention, a cloud server included in the load test system for the game server: receives game packet information and load test scenario information from a packet/scenario defining unit of an user terminal; converts the inputted game packet information to metadata for generating a virtual client; automatically generates a plurality of virtual clients based on the converted metadata; and performs a load test for a game server according to the load test scenario information using the generated virtual clients, thereby allowing game server developers using cloud servers to directly manipulate information for a game packet to perform a load test to enhance security without packet information being leaked, and also allowing developers to perform a load test quickly and inexpensively.

Description

클라우드 기반 모바일/온라인 게임 서버 부하 테스트 자동화 서비스 방법{CLOUD-BASED MOBILE/ONLINE GAME SERVER LOAD TEST AUTOMATION SERVICE METHOD}[0001] CLOUD-BASED MOBILE / ONLINE GAME SERVER LOAD TEST AUTOMATION SERVICE METHOD [0002]

본 발명은 게임 서버 부하 테스트 자동화 서비스 방법에 관한 것으로서, 보다 구체적으로는 클라우드 기반 모바일/온라인 게임 서버 부하 테스트 자동화 서비스 방법에 관한 것이다.The present invention relates to a game server load test automation service method, and more particularly, to a cloud based mobile / online game server load test automation service method.

스마트폰, 태블릿 PC 등과 같은 모바일 단말기들이 널리 보급됨에 따라, 전세계적으로 모바일 게임 사용자들의 수가 증가하고 있다. 또한, 글로벌 게임 시장 규모가 확대됨에 따라 온라인 게임을 즐기는 사용자들 또한 증가하고 있다. 이러한 모바일/온라인 게임은 복수의 사용자들이 자신의 모바일 단말기 또는 단말 PC(이하, ‘단말기’라 한다)를 통하여 인터넷으로 게임 서버에 접속하고, 이렇게 연결된 게임 서버와 단말기 간의 데이터를 송수신함으로써 수행될 수 있다.
With the widespread availability of mobile devices such as smart phones and tablet PCs, the number of mobile game users worldwide is increasing. Also, as the global game market grows, the number of online game users is increasing. This mobile / online game can be performed by a plurality of users accessing the game server via the Internet through their mobile terminal or terminal PC (hereinafter referred to as 'terminal'), and transmitting and receiving data between the game server and the terminal have.

한편, 게임의 콘텐츠가 단순 퍼즐로부터 다중접속게임(massively multi-player online game, MMOG)에 이르기까지 다양해지고, 이러한 게임의 진행을 위해 동시에 참여하는 사용자의 수가 대규모로 증가함에 따라, 게임 서버에서 게임 서비스를 안정적으로 제공하기 위한 기술들이 개발되어 왔다. 이러한 기술에는, 게임 서버가 대규모 부하를 일시에 제공받는 경우 안정적으로 게임 서비스를 유지할 수 있는지 테스트하는 게임 품질 보증(quality assurance, QA) 기술이 포함될 수 있다.
On the other hand, as the contents of the game vary from a simple puzzle to a massively multi-player online game (MMOG), and as the number of users participating at the same time for the progress of the game increases in a large scale, Techniques have been developed to provide services reliably. This technique may include a game quality assurance (QA) technique that tests whether a game server can maintain a stable game service when a large load is provided at a time.

종래에 게임 서버의 부하를 테스트하기 위해서는, 테스트 서비스 회사가 게임 개발사로부터 게임 패킷을 전달받아 이를 분석한 후, 부하 테스트 도구에 맞추어 커스터마이징(customizing)함으로써, 부하 테스트를 진행할 수 있었다.
Conventionally, in order to test the load of the game server, the test service company can receive the game packet from the game developer, analyze the game packet, and customize it according to the load test tool.

그러나 이러한 부하 테스트 방법은, 게임 개발사의 핵심적인 패킷 정보가 외부로 노출될 수 있는 보안 위험이 있고, 테스트 서비스 회사의 자원을 이용함에 따라 비용 부담이 높으며, 게임 개발사에서 생성되는 게임 패킷이 변경될 때마다 부하 테스트 기획 및 그에 따른 테스트를 다시 수행해야 하는 문제가 있다.
However, such a load test method has a security risk that the core packet information of the game developer can be exposed to the outside, the cost is high due to the use of the resources of the test service company, and the game packet generated by the game developer is changed There is a problem that the load test planning and the subsequent test must be performed again.

또한, 이렇게 외부의 테스트 서비스 회사를 통해서 부하 테스트가 진행됨에 따라, 게임 개발사와의 협업에 상당한 시간이 소요되어, 전반적인 게임 개발 및 진행을 지연시키는 문제가 있다.Further, as the load test is performed through the external test service company, it takes a considerable time to collaborate with the game developer, which delays the overall game development and progress.

본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 게임 서버 부하 테스트 시스템을 구성하는 클라우드 서버가, 사용자 단말의 패킷/시나리오 정의부로부터 게임 패킷 정보 및 부하 테스트 시나리오 정보를 입력받고, 입력된 게임 패킷 정보를, 가상 클라이언트 생성을 위한 메타 데이터로 변환하며, 변환된 메타 데이터에 기초하여 복수의 가상 클라이언트를 자동 생성하고, 생성된 가상 클라이언트를 이용하여, 부하 테스트 시나리오 정보에 따라 게임 서버의 부하를 테스트함으로써, 클라우드 서버를 이용하는 게임 서버 개발자가 게임 패킷 정보를 직접 조작하여 부하 테스트를 수행할 수 있고, 그에 따라 패킷 정보의 외부 유출 없이 보안성을 향상시킬 수 있으며, 단기간에 낮은 비용으로 부하 테스트를 수행할 수 있는, 클라우드 기반 모바일/온라인 게임 서버 부하 테스트 자동화 서비스 방법을 제공하는 것을 그 목적으로 한다.The present invention has been proposed in order to solve the above-mentioned problems of the existing methods. The present invention provides a game server load test system in which a cloud server constituting a game server load test system receives game packet information and load test scenario information And converts the input game packet information into metadata for virtual client creation, automatically generates a plurality of virtual clients based on the converted metadata, and generates load test scenario information The game server developer using the cloud server can perform the load test by directly manipulating the game packet information, thereby improving the security without outflow of the packet information, Performs low-cost load testing on The present invention aims to provide a cloud-based mobile / online game server load test automation service method.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 클라우드 기반 모바일/온라인 게임 서버 부하 테스트 자동화 서비스 방법은,According to an aspect of the present invention, there is provided a method of automating load test of a mobile-based on-

게임 서버 부하 테스트 시스템에 포함된 클라우드 서버가,Game server load test The cloud server included in the system,

(1) 사용자 단말의 패킷/시나리오 정의부로부터 게임 패킷 정보 및 부하 테스트 시나리오 정보를 입력받는 단계;(1) receiving game packet information and load test scenario information from the packet / scenario defining unit of the user terminal;

(2) 상기 입력된 게임 패킷 정보를, 가상 클라이언트 생성을 위한 메타 데이터로 변환하는 단계;(2) converting the input game packet information into metadata for creating a virtual client;

(3) 상기 변환된 메타 데이터에 기초하여 복수의 가상 클라이언트를 자동 생성하는 단계; 및(3) automatically generating a plurality of virtual clients based on the converted metadata; And

(4) 상기 생성된 가상 클라이언트를 이용하여, 상기 부하 테스트 시나리오 정보에 따라 게임 서버의 부하를 테스트하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
(4) testing the load of the game server according to the load test scenario information using the generated virtual client.

바람직하게는, 상기 단계 (1)은,Preferably, the step (1)

(1-a) 상기 사용자 단말의 패킷 정의부로부터 상기 게임 패킷 정보를 입력받는 단계; 및(1-a) receiving the game packet information from the packet definition unit of the user terminal; And

(1-b) 상기 사용자 단말의 부하 테스트 시나리오 정의부로부터, 상기 게임 패킷 정보의 패킷 메타 데이터에 기초하여 생성된 상기 부하 테스트 시나리오 정보를 입력받는 단계를 포함하여 구성될 수 있다.
(1-b) receiving the load test scenario information generated based on the packet meta data of the game packet information from the load test scenario defining unit of the user terminal.

바람직하게는, 상기 게임 패킷 정보는,Preferably, the game packet information includes:

상기 사용자 단말에서 동작하는 웹 브라우저 또는 유니티 툴을 기반으로 구현되는 패킷 정의 툴로부터 제공되도록 구성될 수 있다.
And a packet definition tool based on a web browser or a unity tool operating on the user terminal.

바람직하게는, 상기 게임 패킷 정보는,Preferably, the game packet information includes:

상기 게임 서버에 대한 송신 패킷 정보 및 수신 패킷 정보를 포함하여 구성될 수 있다.
And may include transmission packet information and reception packet information for the game server.

바람직하게는,Preferably,

상기 메타 데이터는 XML 포맷을 갖도록 구성될 수 있다.
The metadata may be configured to have an XML format.

바람직하게는,Preferably,

상기 가상 클라이언트의 수는 100 이상인 것으로 구성될 수 있다.The number of virtual clients may be 100 or more.

본 발명에서 제안하고 있는 클라우드 기반 모바일/온라인 게임 서버 부하 테스트 자동화 서비스 방법에 따르면, 게임 서버 부하 테스트 시스템에 포함된 클라우드 서버가 사용자 단말의 패킷/시나리오 정의부로부터 게임 패킷 정보 및 부하 테스트 시나리오 정보를 입력받고, 입력된 게임 패킷 정보를, 가상 클라이언트 생성을 위한 메타 데이터로 변환하며, 변환된 메타 데이터에 기초하여 복수의 가상 클라이언트를 자동 생성하고, 생성된 가상 클라이언트를 이용하여, 부하 테스트 시나리오 정보에 따라 게임 서버의 부하를 테스트함으로써, 클라우드 서버를 이용하는 게임 서버 개발자가 게임 패킷 정보를 직접 조작하여 부하 테스트를 수행할 수 있고, 그에 따라 패킷 정보의 외부 유출 없이 보안성을 향상시킬 수 있으며, 단기간에 낮은 비용으로 부하 테스트를 수행할 수 있다.According to the cloud-based mobile / online game server load test automation service method proposed by the present invention, the cloud server included in the game server load test system obtains game packet information and load test scenario information from the packet / Receives input game packet information, converts the input game packet information into metadata for creating a virtual client, automatically generates a plurality of virtual clients based on the converted metadata, and uses the generated virtual client to load test scenario information Accordingly, by testing the load of the game server, the game server developer using the cloud server can directly execute the load test by operating the game packet information, thereby improving the security without any external leakage of the packet information. At low cost It can perform the test.

도 1은 본 발명의 일실시예에 따른 클라우드 기반 모바일/온라인 게임 서버 부하 테스트 자동화 서비스 방법을 구현하기 위한 시스템의 구성을 도시한 도면.
도 2는 본 발명의 일실시예에 따른 클라우드 기반 모바일/온라인 게임 서버 부하 테스트 자동화 서비스 방법을 도시한 도면.
도 3은 본 발명의 일실시예에 따른 클라우드 기반 모바일/온라인 게임 서버 부하 테스트 자동화 서비스 방법의 단계 S200의 세부 과정을 도시한 도면.
도 4는 본 발명의 일실시예에 따른 클라우드 기반 모바일/온라인 게임 서버 부하 테스트 자동화 서비스 방법을 구현하는 시스템에서 수행되는 부하 테스트 과정을 도시한 도면.1 is a diagram illustrating a system configuration for implementing a cloud-based mobile / online game server load test automation service method according to an embodiment of the present invention;
FIG. 2 illustrates a cloud-based mobile / online game server load test automation service method according to an embodiment of the present invention. FIG.
FIG. 3 is a detailed flowchart of a step S200 of a cloud-based mobile / online game server load test automation service method according to an embodiment of the present invention.
4 is a diagram illustrating a load test process performed in a system implementing a cloud-based mobile / online game server load test automation service method according to an embodiment of the present invention.

이하에서는 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일 또는 유사한 부호를 사용한다.
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. In the following detailed description of the preferred embodiments of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. The same or similar reference numerals are used throughout the drawings for portions having similar functions and functions.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’되어 있다고 할 때, 이는 ‘직접적으로 연결’되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
In addition, in the entire specification, when a part is referred to as being 'connected' to another part, it may be referred to as 'indirectly connected' not only with 'directly connected' . Also, to "include" an element means that it may include other elements, rather than excluding other elements, unless specifically stated otherwise.

도 1은 본 발명의 일실시예에 따른 클라우드 기반 모바일/온라인 게임 서버 부하 테스트 자동화 서비스 방법을 구현하기 위한 시스템의 구성을 도시한 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 클라우드 기반 모바일/온라인 게임 서버 부하 테스트 자동화 서비스 방법을 구현하기 위한 시스템은 사용자 단말(100), 클라우드 서버(300) 및 게임 서버(500)를 포함하여 구성될 수 있다. 사용자 단말(100)은 패킷/시나리오 정의부를 포함하여 구성될 수 있다. 클라우드 서버(300)는 메타 데이터 생성부(310), 가상 클라이언트 생성부(330) 및 가상 클라이언트 테스트부(350)를 포함하여 구성될 수 있다. 이하에서는, 본 발명의 일실시예에 따른 클라우드 기반 모바일/온라인 게임 서버 부하 테스트 자동화 서비스 방법을 구현하기 위한 시스템의 각 구성요소에 대해 상세히 설명하도록 한다.
1 is a block diagram illustrating a system for implementing a cloud-based mobile / online game server load test automation service method according to an embodiment of the present invention. 1, a system for implementing a cloud-based mobile / online game server load test automation service method according to an embodiment of the present invention includes a user terminal 100, a cloud server 300, and a game server 500 ). ≪ / RTI > The user terminal 100 may be configured to include a packet / scenario definition unit. The cloud server 300 may include a metadata generating unit 310, a virtual client generating unit 330, and a virtual client testing unit 350. Hereinafter, each component of the system for implementing a cloud-based mobile / online game server load test automation service method according to an embodiment of the present invention will be described in detail.

사용자 단말(100)은 게임 서버 개발자가 사용하는 단말일 수 있다. 예를 들어, 사용자 단말(100)은 모바일 단말기, 스마트폰, 태블릿 PC, 데스크톱 PC, 노트북 등을 포함할 수 있다. 이러한 사용자 단말(100)은 소프트웨어적으로 구현되는 패킷/시나리오 정의부를 포함할 수 있다. 상기 패킷/시나리오 정의부는, 패킷 정의부(110) 및 부하 테스트 시나리오 정의부(120)를 포함할 수 있다.
The user terminal 100 may be a terminal used by a game server developer. For example, the user terminal 100 may include a mobile terminal, a smart phone, a tablet PC, a desktop PC, a notebook, and the like. The user terminal 100 may include a software / packet / scenario definition unit. The packet / scenario defining unit may include a packet defining unit 110 and a load test scenario defining unit 120.

패킷 정의부(110)는 부하 테스트에 사용될 게임 패킷을 정의하는 부분으로서, 소정의 패킷 정의 툴(tool)을 포함할 수 있다. 이러한 패킷 정의 툴은 예를 들어, 웹 브라우저 또는 유니티(Unity) 툴을 기반으로 구현될 수 있다. 이러한 웹 브라우저는, 인터넷 익스플로러, 크롬, 사파리, 파이어폭스, 오페라, 스윙 등 다양한 브라우저를 포함할 수 있다. 패킷 정의 툴은, 예를 들어 GUI(graphic user interface) 기반으로 게임 패킷을 정의하거나 편집하도록 구성될 수 있다.
The packet definition unit 110 is a part defining a game packet to be used in a load test, and may include a predetermined packet definition tool. Such a packet definition tool may be implemented based on, for example, a web browser or a Unity tool. Such a web browser may include various browsers such as Internet Explorer, Chrome, Safari, Firefox, Opera, and Swing. The packet definition tool can be configured to define or edit game packets based on, for example, a graphical user interface (GUI).

패킷 정의부(110)는, 부하 테스트를 진행할 때 게임 서버(500)에 제공될 게임 패킷을 정의하는 송신 패킷 정의부(113) 및 게임 서버(500)로부터 제공받을 게임 패킷을 정의하는 수신 패킷 정의부(115)를 포함하여 구성될 수 있다. 패킷 정의부(110)에서, 게임 패킷 정보들은 게임의 다양한 장르에 따라 미리 설정된 샘플 프로토콜로부터 선택적으로 정의될 수 있다. 예를 들어, 비교적 단순한 퍼즐 류의 게임 패킷 생성을 위한 제1 샘플 프로토콜과, MMOG 류의 게임 패킷 생성을 위한 제2 샘플 프로토콜 등에 의해 게임 패킷 정보가 정의될 수 있다.
The packet defining unit 110 includes a transmission packet defining unit 113 for defining a game packet to be provided to the game server 500 when performing load testing and a reception packet defining unit 113 for defining a game packet to be provided from the game server 500 (115). ≪ / RTI > In the packet definition unit 110, the game packet information may be selectively defined from a preset sample protocol according to various genres of the game. For example, game packet information may be defined by a first sample protocol for generating a game packet of a relatively simple puzzle type, a second sample protocol for generating a game packet of an MMOG type, and the like.

부하 테스트 시나리오 정의부(120)는 패킷 정의부(110)에서 정의된 게임 패킷 정보의 패킷 메타 데이터에 기초하여 부하 테스트 시나리오 정보를 생성할 수 있다. 이러한 부하 테스트 시나리오 정보는 예를 들어, 미리 설정된 라이브러리의 형식으로 생성될 수 있다. 이에 따라, 게임 서버 개발자가 별도의 부하 테스트 시나리오를 기획 및 정의할 필요 없이 미리 설정된 라이브러리 중 원하는 부하 테스트 시나리오를 선택함으로써, 부하 테스트를 진행하도록 할 수 있다. 한편, 부하 테스트 시나리오 정의부(120)는 선택된 부하 테스트 시나리오에 따라 부하 테스트가 진행되는 동안, 게임 서버(500)의 부하를 측정하기 위한 인터페이스를 더 포함하도록 구성될 수 있다.
The load test scenario definition unit 120 can generate load test scenario information based on packet meta data of game packet information defined in the packet definition unit 110. [ Such load test scenario information can be generated, for example, in the form of a preset library. Accordingly, the game server developer can select a desired load test scenario among the preset libraries without having to plan and define a separate load test scenario, thereby allowing the load test to proceed. Meanwhile, the load test scenario definition unit 120 may be configured to further include an interface for measuring the load of the game server 500 during the load test according to the selected load test scenario.

클라우드 서버(300)는 서로 연결되는 복수의 서버를 포함할 수 있다. 클라우드 서버(300)는 네트워크를 통하여 사용자 단말(100) 및 게임 서버(500)에 각각 연결되어, 소정의 데이터를 송수신할 수 있다. 클라우드 서버(300)는 메타 데이터 생성부(310), 가상 클라이언트 생성부(330) 및 가상 클라이언트 테스트부(350)를 포함할 수 있다.
The cloud server 300 may include a plurality of servers connected to each other. The cloud server 300 is connected to the user terminal 100 and the game server 500 via the network, and can transmit and receive predetermined data. The cloud server 300 may include a metadata generation unit 310, a virtual client generation unit 330, and a virtual client test unit 350.

메타 데이터 생성부(310)는 패킷 정의부(110)로부터 제공되는 게임 패킷 정보를 이용하여 메타 데이터(meta-data)를 생성할 수 있다. 이러한 메타 데이터는, 제공된 게임 패킷 정보로부터 변환되며, 가상 클라이언트 생성을 위해 사용될 수 있다. 예를 들어, 이러한 메타 데이터는 XML(extensible markup language) 포맷을 가질 수 있다.
The meta data generation unit 310 may generate meta-data using the game packet information provided from the packet definition unit 110. This metadata is converted from the provided game packet information and can be used for virtual client creation. For example, such metadata may have an extensible markup language (XML) format.

가상 클라이언트 생성부(330)는 메타 데이터 생성부(310)에서 생성된 메타 데이터에 기초하여, 복수의 가상 클라이언트(virtual client)를 자동으로 생성할 수 있다. 예를 들어, 가상 클라이언트 생성부(330)는 상기 메타 데이터에 기초하여 수백 명, 수천 명 등의 가상 클라이언트를 생성할 수 있다. 예를 들어, 상기 가상 클라이언트 생성부(330)에서 생성되는 가상 클라이언트의 수는 100 이상일 수 있다.
The virtual client generation unit 330 can automatically generate a plurality of virtual clients based on the metadata generated by the metadata generation unit 310. [ For example, the virtual client generation unit 330 can generate virtual clients of hundreds, thousands, etc. based on the metadata. For example, the number of virtual clients generated by the virtual client generation unit 330 may be 100 or more.

가상 클라이언트 테스트부(350)는 생성된 가상 클라이언트를 이용하여 게임 서버(500)의 부하를 테스트할 수 있다. 이때, 각각의 가상 클라이언트는 부하 테스트 시나리오 정의부(120)에서 정의된 부하 테스트 시나리오에 따라 소정의 부하가 테스트되도록 게임 서버(500)와 데이터를 송수신할 수 있다. 예를 들어, MMOG 류의 게임을 위한 게임 서버(500)에 대해 가상 클라이언트를 이용하여 부하 테스트를 진행하는 경우, 각각의 가상 클라이언트는 게임 내에서 구현되는 유저 캐릭터에 대응할 수 있다.
The virtual client testing unit 350 can test the load of the game server 500 using the generated virtual client. At this time, each virtual client can transmit / receive data to / from the game server 500 so that a predetermined load is tested according to the load test scenario defined in the load test scenario defining unit 120. For example, when the load test is performed using the virtual client to the game server 500 for the MMOG game, each virtual client may correspond to a user character implemented in the game.

게임 서버(500)는, 하나 또는 서로 연결되는 복수의 서버를 포함할 수 있다. 이러한 게임 서버(500)는 예를 들어, IBM사의 X3550으로 구현될 수 있다.
The game server 500 may include one or a plurality of servers connected to each other. Such a game server 500 may be implemented, for example, by IBM's X3550.

도 2는 본 발명의 일실시예에 따른 클라우드 기반 모바일/온라인 게임 서버 부하 테스트 자동화 서비스 방법을 도시한 도면이고, 도 3은 본 발명의 일실시예에 따른 클라우드 기반 모바일/온라인 게임 서버 부하 테스트 자동화 서비스 방법의 단계 S200의 세부 과정을 도시한 도면이다. 도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 클라우드 기반 모바일/온라인 게임 서버 부하 테스트 자동화 서비스 방법은 클라우드 서버(300)가, 패킷/시나리오 정의부로부터 게임 패킷 정보 및 부하 테스트 시나리오 정보를 입력받는 단계(S200), 입력된 게임 패킷 정보를, 가상 클라이언트 생성을 위한 메타 데이터로 변환하는 단계(S400), 메타 데이터에 기초하여 복수의 가상 클라이언트를 자동 생성하는 단계(S600) 및 생성된 가상 클라이언트를 이용하여 부하 테스트 시나리오 정보에 따라 게임 서버의 부하를 테스트하는 단계(S800)를 포함하여 구현될 수 있다.
FIG. 2 is a diagram illustrating a cloud-based mobile / online game server load test automation service method according to an exemplary embodiment of the present invention. FIG. 3 is a flowchart illustrating a load- And the detailed process of the step S200 of the service method. 2, in the cloud-based mobile / online game server load test automation service method according to the embodiment of the present invention, the cloud server 300 receives the game packet information and the load test scenario information from the packet / A step S600 of automatically generating a plurality of virtual clients based on the metadata, a step S600 of generating a plurality of virtual clients based on the meta data, And testing the load of the game server according to the load test scenario information using the virtual client (S800).

도 3에 도시된 바와 같이, 클라우드 서버(300)가 패킷/시나리오 정의부로부터 게임 패킷 정보 및 부하테스트 시나리오 정보를 입력받는 단계(S200)는, 클라우드 서버(300)가 패킷 정의부(110)로부터 게임 패킷 정보를 입력받는 단계(S210) 및 게임 패킷 정보의 패킷 메타 데이터에 기초하여 생성된 부하 테스트 시나리오 정보를 입력받는 단계(S230)를 포함할 수 있다.
3, when the cloud server 300 receives the game packet information and the load test scenario information from the packet / scenario definition unit (S200), the cloud server 300 receives the game packet information and the load test scenario information from the packet definition unit 110 (S210) of inputting the game packet information and a step (S230) of receiving the load test scenario information generated based on the packet meta data of the game packet information.

즉, 단계 S210에서, 클라우드 서버(300)는 사용자 단말(100)의 패킷 정의부(110)로부터 게임 패킷 정보를 제공받을 수 있다. 이러한 게임 패킷 정보에는 송신 패킷 정보 및 수신 패킷 정보가 포함될 수 있다.
That is, in step S210, the cloud server 300 may receive the game packet information from the packet defining unit 110 of the user terminal 100. [ Such game packet information may include transmission packet information and received packet information.

또한, 단계 S230에서, 클라우드 서버(300)는 사용자 단말(100)의 부하 테스트 시나리오 정의부(120)로부터 부하 테스트 시나리오 정보를 제공받을 수 있다. 이러한 부하 테스트 시나리오 정보는, 패킷 정의부(110)에서 설정되는 게임 패킷 정보의 패킷 메타 데이터에 기초하여 생성된 것일 수 있다.
In addition, in step S230, the cloud server 300 may receive load test scenario information from the load test scenario defining unit 120 of the user terminal 100. [ The load test scenario information may be generated based on the packet metadata of the game packet information set in the packet definition unit 110. [

이어서, 단계 S400에서, 클라우드 서버(300)의 메타 데이터 생성부(310)는, 사용자 단말(100)로부터 입력받은 게임 패킷 정보를, 가상 클라이언트 생성을 위한 메타 데이터로 변환할 수 있다. 이러한 메타 데이터는 예를 들어, XML 포맷을 가질 수 있다.
Then, in step S400, the metadata generating unit 310 of the cloud server 300 may convert the game packet information input from the user terminal 100 into metadata for creating a virtual client. Such metadata may have, for example, an XML format.

단계 S600에서, 클라우드 서버(300)의 가상 클라이언트 생성부(330)는, 변환된 메타 데이터에 기초하여 복수의 가상 클라이언트를 자동으로 생성할 수 있다.
In step S600, the virtual client generation unit 330 of the cloud server 300 can automatically generate a plurality of virtual clients based on the converted metadata.

단계 S800에서, 클라우드 서버(350)의 가상 클라이언트 테스트부(350)는, 생성된 가상 클라이언트를 이용하여, 단계 S230에서 입력받은 부하 테스트 시나리오 정보에 따라, 게임 서버(500)의 부하 테스트를 진행할 수 있다.
In step S800, the virtual client testing unit 350 of the cloud server 350 can use the generated virtual client to proceed with the load test of the game server 500 according to the load test scenario information input in step S230 have.

도 4는 본 발명의 일실시예에 따른 클라우드 기반 모바일/온라인 게임 서버 부하 테스트 자동화 서비스 방법을 구현하는 시스템에서 수행되는 부하 테스트 과정을 도시한 도면이다. 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 클라우드 기반 모바일/온라인 게임 서버 부하 테스트 자동화 서비스 방법을 구현하는 시스템의 사용자 단말(100)을 사용하는 게임 개발자는, 상기 사용자 단말(100)에서 구현되는 패킷 정의부(110)를 이용하여 부하 테스트를 위한 설계를 진행할 수 있다. 이때, 부하 테스트의 설계는 웹 브라우저 기반의 패킷 정의 툴(112) 또는 유니티(Unity) 툴 기반의 패킷 정의 툴(114)을 통해 게임 패킷 정보를 정의하는 프로세스를 포함할 수 있다. 이러한 패킷 정의 툴(112, 114)은 게임 개발자에게 용이하게 사용될 수 있도록 적절한 GUI를 가질 수 있다. 또한, 이러한 부하 테스트의 설계는, 정의된 게임 패킷 정보의 패킷 메타 데이터에 기초한 부하 테스트용 시나리오 라이브러리를 선택하는 프로세스를 포함할 수 있다.
4 is a diagram illustrating a load test process performed in a system implementing a cloud-based mobile / online game server load test automation service method according to an embodiment of the present invention. 4, a game developer using a user terminal 100 of a system implementing a cloud-based mobile / online game server load test automation service method according to an embodiment of the present invention includes a user terminal 100 The design for the load test can be performed by using the packet definition unit 110 implemented in the packet definition unit 110. At this time, the design of the load test may include a process of defining game packet information through a Web browser-based packet definition tool 112 or a Unity tool-based packet definition tool 114. These packet definition tools 112 and 114 may have appropriate GUIs for ease of use for game developers. The design of such a load test may also include a process of selecting a scenario library for load testing based on the packet metadata of the defined game packet information.

클라우드 서버(300)의 메타 데이터 생성부(310)는, 이렇게 정의된 게임 패킷 정보를 예컨대, XML 형식의 메타 데이터로 변환할 수 있다. 그리고 클라우드 서버(300)의 가상 클라이언트 생성부(330)는 변환된 메타 데이터에 기초하여 복수의 가상 클라이언트를 생성할 수 있다.
The meta data generation unit 310 of the cloud server 300 can convert the game packet information thus defined into meta data in XML format, for example. The virtual client generation unit 330 of the cloud server 300 may generate a plurality of virtual clients based on the converted metadata.

이어서, 클라우드 서버(300)의 가상 클라이언트 테스트부(350)는, 위에서 생성된 복수의 가상 클라이언트(332)를 이용하여, 사용자 단말(100)로부터 입력된 부하 테스트 시나리오에 따라 게임 서버(500)의 부하 테스트를 진행할 수 있다. 이러한 부하 테스트에는, 예를 들어, 미리 설정된 짧은 시간 동안 가상 클라이언트(332)로부터 게임 서버(500)에 대한 송수신 패킷을 급증시키는 프로세스가 포함될 수 있다.
The virtual client testing unit 350 of the cloud server 300 then uses the plurality of virtual clients 332 generated above to determine whether or not the game server 500 receives the load test scenario input from the user terminal 100 The load test can proceed. Such a load test may include, for example, a process of rapidly sending and receiving packets to the game server 500 from the virtual client 332 for a preset short time.

전술한 바와 같이, 본 발명에서 제안하고 있는 클라우드 기반 모바일/온라인 게임 서버 부하 테스트 자동화 서비스 방법에 따르면, 게임 서버 부하 테스트 시스템에 포함된 클라우드 서버가 사용자 단말의 패킷/시나리오 정의부로부터 게임 패킷 정보 및 부하 테스트 시나리오 정보를 입력받고, 입력된 게임 패킷 정보를, 가상 클라이언트 생성을 위한 메타 데이터로 변환하며, 변환된 메타 데이터에 기초하여 복수의 가상 클라이언트를 자동 생성하고, 생성된 가상 클라이언트를 이용하여, 부하 테스트 시나리오 정보에 따라 게임 서버의 부하를 테스트함으로써, 클라우드 서버를 이용하는 게임 서버 개발자가 게임 패킷 정보를 직접 조작하여 부하 테스트를 수행할 수 있고, 그에 따라 패킷 정보의 외부 유출 없이 보안성을 향상시킬 수 있으며, 단기간에 낮은 비용으로 부하 테스트를 수행할 수 있다.
As described above, according to the cloud-based mobile / online game server load test automation service method proposed by the present invention, the cloud server included in the game server load test system receives the game packet information and the game packet information from the packet / A game server which receives the load test scenario information, converts the inputted game packet information into metadata for creating a virtual client, automatically generates a plurality of virtual clients based on the converted metadata, By testing the load of the game server according to the load test scenario information, the game server developer using the cloud server can directly execute the load test by operating the game packet information, thereby improving the security without any leakage of the packet information And in the short term Load testing can be performed at low cost.

이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.The present invention may be embodied in many other specific forms without departing from the spirit or essential characteristics of the invention.

100: 사용자 단말 110: 패킷 정의부
113: 송신 패킷 정의부 115: 수신 패킷 정의부
120: 부하 테스트 시나리오 정의부 300: 클라우드 서버
310: 메타 데이터 생성부 330: 가상 클라이언트 생성부
350: 가상 클라이언트 테스트부 500: 게임 서버
S200: 패킷/시나리오 정의부로부터 게임 패킷 정보 및 부하 테스트 시나리오 정보를 입력받는 단계
S210: 패킷 정의부로부터 게임 패킷 정보를 입력받는 단계
S230: 게임 패킷 정보의 패킷 메타 데이터에 기초하여 생성된 부하 테스트 시나리오 정보를 입력받는 단계
S400: 입력된 게임 패킷 정보를 가상 클라이언트 생성을 위한 메타 데이터로 변환하는 단계
S600: 메타 데이터에 기초하여 복수의 가상 클라이언트를 자동 생성하는 단계
S800: 생성된 가상 클라이언트를 이용하여 부하 테스트 시나리오 정보에 따라 게임 서버의 부하를 테스트하는 단계100: user terminal 110: packet definition unit
113: transmission packet definition unit 115: received packet definition unit
120: load test scenario definition unit 300: cloud server
310: Metadata generator 330: Virtual client generator
350: Virtual Client Test Section 500: Game Server
S200: receiving game packet information and load test scenario information from the packet / scenario defining unit
S210: receiving the game packet information from the packet definition unit
S230: Receiving the load test scenario information generated based on the packet meta data of the game packet information
S400: converting the input game packet information into metadata for creating a virtual client
S600: automatically generating a plurality of virtual clients based on the metadata
S800: test the load of the game server according to the load test scenario information using the generated virtual client

Claims (6)

게임 서버 부하 테스트 시스템에 포함된 클라우드 서버(300)가,
(1) 사용자 단말(100)의 패킷/시나리오 정의부로부터 게임 패킷 정보 및 부하 테스트 시나리오 정보를 입력받는 단계(S200);
(2) 상기 입력된 게임 패킷 정보를, 가상 클라이언트 생성을 위한 메타 데이터로 변환하는 단계(S400);
(3) 상기 변환된 메타 데이터에 기초하여 복수의 가상 클라이언트를 자동 생성하는 단계(S600); 및
(4) 상기 생성된 가상 클라이언트를 이용하여, 상기 부하 테스트 시나리오 정보에 따라 게임 서버(500)의 부하를 테스트하는 단계(S800)를 포함하고,
상기 단계 (1)은,
(1-a) 상기 사용자 단말(100)의 패킷 정의부(110)로부터 상기 게임 패킷 정보를 입력받는 단계(S210); 및
(1-b) 상기 사용자 단말(100)의 부하 테스트 시나리오 정의부(120)로부터, 상기 게임 패킷 정보의 패킷 메타 데이터에 기초하여 생성된 상기 부하 테스트 시나리오 정보를 입력받는 단계(S230)를 포함하며,
상기 부하 테스트 시나리오 정보는, 미리 설정된 라이브러리 중 상기 사용자 단말(100)에 의해 선택된 어느 하나로서, 상기 게임 패킷 정보의 패킷 메타 데이터에 기초하여 선택된 부하 테스트용 시나리오 라이브러리로부터 선택되고,
상기 부하 테스트 시나리오 정의부(120)는, 선택된 부하 테스트 시나리오에 따라 부하 테스트가 진행되는 동안, 게임 서버(500)의 부하를 측정하기 위한 인터페이스를 더 포함하며,
상기 게임 패킷 정보는, 상기 사용자 단말(100)에서 동작하는 웹 브라우저 또는 유니티 툴을 기반으로 구현되는 패킷 정의 툴(112, 114)로부터 제공되고, 게임의 다양한 장르에 따라 미리 설정된 샘플 프로토콜로부터 선택적으로 정의될 수 있으며, 상기 게임 서버(500)에 대한 송신 패킷 정보 및 수신 패킷 정보를 포함하되,
게임 개발자는 상기 사용자 단말(100)의 패킷 정의부(110)를 이용함으로써, 부하 테스트를 위한 설계를 직접 진행할 수 있는 것을 특징으로 하는 클라우드 기반 모바일/온라인 게임 서버 부하 테스트 자동화 서비스 방법.
The cloud server 300 included in the game server load test system,
(1) receiving (S200) game packet information and load test scenario information from the packet / scenario defining unit of the user terminal 100;
(2) converting the inputted game packet information into metadata for creating a virtual client (S400);
(3) automatically generating a plurality of virtual clients based on the converted metadata (S600); And
(4) testing the load of the game server 500 according to the load test scenario information using the generated virtual client (S800)
The step (1)
(1-a) receiving the game packet information from the packet defining unit 110 of the user terminal 100 (S210); And
(1-b) receiving (S 230) the load test scenario information generated based on the packet meta data of the game packet information from the load test scenario defining unit 120 of the user terminal 100 ,
The load test scenario information is selected from a load test scenario library selected based on the packet meta data of the game packet information as any one of the preset libraries selected by the user terminal 100,
The load test scenario definition unit 120 further includes an interface for measuring a load of the game server 500 during a load test according to the selected load test scenario,
The game packet information may be provided from a packet definition tool 112 or 114 implemented on the basis of a web browser or a unity tool operating in the user terminal 100 and may be selectively provided from a sample protocol preset according to various genres of the game And includes transmission packet information and received packet information for the game server 500,
The game developer can directly design a load test by using the packet defining unit 110 of the user terminal 100. [0050] [44] FIG.
삭제delete 삭제delete 삭제delete 제1항에 있어서,
상기 메타 데이터는 XML 포맷을 갖는 것을 특징으로 하는, 클라우드 기반 모바일/온라인 게임 서버 부하 테스트 자동화 서비스 방법.
The method according to claim 1,
Wherein the meta-data has an XML format.
제1항에 있어서,
상기 가상 클라이언트의 수는 100 이상인 것을 특징으로 하는, 클라우드 기반 모바일/온라인 게임 서버 부하 테스트 자동화 서비스 방법.The method according to claim 1,
Wherein the number of the virtual clients is 100 or more.
KR1020140110296A 2014-08-24 2014-08-24 Cloud-based mobile/online game server load test automation service method KR101520056B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140110296A KR101520056B1 (en) 2014-08-24 2014-08-24 Cloud-based mobile/online game server load test automation service method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140110296A KR101520056B1 (en) 2014-08-24 2014-08-24 Cloud-based mobile/online game server load test automation service method

Publications (1)

Publication Number Publication Date
KR101520056B1 true KR101520056B1 (en) 2015-05-20

Family

ID=53394659

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140110296A KR101520056B1 (en) 2014-08-24 2014-08-24 Cloud-based mobile/online game server load test automation service method

Country Status (1)

Country Link
KR (1) KR101520056B1 (en)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106126426A (en) * 2016-07-04 2016-11-16 网易（杭州）网络有限公司 The method of testing of computer software and device
CN109683920A (en) * 2018-12-25 2019-04-26 成都四方伟业软件股份有限公司 One kind being based on unity program arranging method and system
CN110034972A (en) * 2019-03-22 2019-07-19 深圳市腾讯信息技术有限公司 Server stress test method and device
KR102050968B1 (en) * 2019-03-26 2020-01-08 넷마블 주식회사 Mobile device and operating method of the same
CN111803921A (en) * 2020-06-09 2020-10-23 广州速启科技有限责任公司 Game interaction method based on cloud mobile phone system, electronic equipment and storage medium
KR20200138919A (en) 2019-06-03 2020-12-11 넷마블 주식회사 Computer programs for performing in-game balace tests
CN112383775A (en) * 2020-11-10 2021-02-19 福建多多云科技有限公司 Video data transmission method based on cloud mobile phone
CN113608978A (en) * 2021-07-15 2021-11-05 荣耀终端有限公司 Test method, test device and computer readable storage medium
CN113726883A (en) * 2021-08-30 2021-11-30 北京百度网讯科技有限公司 Cloud data processing method, related device and computer program product
CN113992729A (en) * 2021-10-26 2022-01-28 北京百度网讯科技有限公司 Cloud mobile phone control method, related device and computer program product
CN114567659A (en) * 2022-02-25 2022-05-31 北京百度网讯科技有限公司 Cloud mobile phone control method, device, equipment and storage medium

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101138302B1 (en) * 2011-08-26 2012-04-25 주식회사 쏘그웨어 Device for combination of online game server-test
KR20120060012A (en) * 2010-12-01 2012-06-11 한국전자통신연구원 scenario based load testing apparatus and method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120060012A (en) * 2010-12-01 2012-06-11 한국전자통신연구원 scenario based load testing apparatus and method
KR101138302B1 (en) * 2011-08-26 2012-04-25 주식회사 쏘그웨어 Device for combination of online game server-test

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106126426B (en) * 2016-07-04 2018-09-11 网易（杭州）网络有限公司 The test method and device of computer software
CN106126426A (en) * 2016-07-04 2016-11-16 网易（杭州）网络有限公司 The method of testing of computer software and device
CN109683920A (en) * 2018-12-25 2019-04-26 成都四方伟业软件股份有限公司 One kind being based on unity program arranging method and system
CN109683920B (en) * 2018-12-25 2022-08-16 成都四方伟业软件股份有限公司 Unity program based deployment method and system
CN110034972B (en) * 2019-03-22 2021-07-06 深圳市腾讯信息技术有限公司 Server pressure testing method and device
CN110034972A (en) * 2019-03-22 2019-07-19 深圳市腾讯信息技术有限公司 Server stress test method and device
KR102050968B1 (en) * 2019-03-26 2020-01-08 넷마블 주식회사 Mobile device and operating method of the same
KR20200138919A (en) 2019-06-03 2020-12-11 넷마블 주식회사 Computer programs for performing in-game balace tests
CN111803921A (en) * 2020-06-09 2020-10-23 广州速启科技有限责任公司 Game interaction method based on cloud mobile phone system, electronic equipment and storage medium
CN111803921B (en) * 2020-06-09 2024-02-02 广州速启科技有限责任公司 Game interaction method based on cloud mobile phone system, electronic equipment and storage medium
CN112383775A (en) * 2020-11-10 2021-02-19 福建多多云科技有限公司 Video data transmission method based on cloud mobile phone
CN113608978A (en) * 2021-07-15 2021-11-05 荣耀终端有限公司 Test method, test device and computer readable storage medium
CN113726883A (en) * 2021-08-30 2021-11-30 北京百度网讯科技有限公司 Cloud data processing method, related device and computer program product
CN113992729A (en) * 2021-10-26 2022-01-28 北京百度网讯科技有限公司 Cloud mobile phone control method, related device and computer program product
CN113992729B (en) * 2021-10-26 2023-11-07 北京百度网讯科技有限公司 Cloud mobile phone control method, related device and computer program product
CN114567659A (en) * 2022-02-25 2022-05-31 北京百度网讯科技有限公司 Cloud mobile phone control method, device, equipment and storage medium
CN114567659B (en) * 2022-02-25 2023-11-14 北京百度网讯科技有限公司 Cloud mobile phone control method, device, equipment and storage medium

Similar Documents

Publication Publication Date Title
KR101520056B1 (en) Cloud-based mobile/online game server load test automation service method
CN105099811B (en) Interface testing method and device
US20180267885A1 (en) Determining application test results using screenshot metadata
US20180276111A1 (en) Mock services for software infrastructures
US20170286269A1 (en) Local Chat Service Simulator for Bot Development
US11327880B2 (en) Generic serverless performance testing framework
CN112988608B (en) Data testing method and device, computer equipment and storage medium
US11797427B2 (en) Automatic generation of unit tests while running an application
CN112527252A (en) Applet management method and device, applet platform, electronic device and medium
CN112035282A (en) API management method, device, equipment and storage medium applied to cloud platform
WO2022100075A1 (en) Method and apparatus for performance test, electronic device and computer-readable medium
CN112084102A (en) Interface pressure testing method and device
CN113778897A (en) Automatic test method, device, equipment and storage medium of interface
US8762483B2 (en) System for and method of verifying packages
CN111414154A (en) Method and device for front-end development, electronic equipment and storage medium
CN110768860A (en) Test method, test device and electronic equipment
KR20170044320A (en) Method of analyzing application objects based on distributed computing, method of providing item executable by computer, server performing the same and storage media storing the same
CN108737350B (en) Information processing method and client
CN105808422A (en) Network-based software test method, client and to-be-tested equipment
US20190213003A1 (en) Method, system and software application for developing mobile applications
CN109271310B (en) Development testing method and device for network function of mobile application program
CN111240855A (en) API debugging system, method, storage medium and computer device
CN112579428A (en) Interface testing method and device, electronic equipment and storage medium
Chakraborty et al. Alexa Enabled IoT Device Simulation Using C# And AWS Lambda
CN111026650B (en) Method and device for testing software, storage medium and electronic equipment

Legal Events

Date Code Title Description
AMND Amendment
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180717

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190305

Year of fee payment: 5