KR102106618B1 - System, terminal device, verification apparatus, method and computer-readable medium for testing application performance - Google Patents

System, terminal device, verification apparatus, method and computer-readable medium for testing application performance Download PDF

Info

Publication number
KR102106618B1
KR102106618B1 KR1020130115384A KR20130115384A KR102106618B1 KR 102106618 B1 KR102106618 B1 KR 102106618B1 KR 1020130115384 A KR1020130115384 A KR 1020130115384A KR 20130115384 A KR20130115384 A KR 20130115384A KR 102106618 B1 KR102106618 B1 KR 102106618B1
Authority
KR
South Korea
Prior art keywords
terminal device
application
screen
performance
screens
Prior art date
Application number
KR1020130115384A
Other languages
Korean (ko)
Other versions
KR20150035151A (en
Inventor
곽노현
Original Assignee
에스케이플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이플래닛 주식회사 filed Critical 에스케이플래닛 주식회사
Priority to KR1020130115384A priority Critical patent/KR102106618B1/en
Publication of KR20150035151A publication Critical patent/KR20150035151A/en
Application granted granted Critical
Publication of KR102106618B1 publication Critical patent/KR102106618B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
    • G06F11/26—Functional testing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Debugging And Monitoring (AREA)

Abstract

본 발명은 애플리케이션 성능 테스트를 위한 시스템, 단말장치, 검증장치, 방법 및 컴퓨터로 판독 가능한 기록 매체에 관한 것으로, 보다 상세하게는 애플리케이션의 실행 화면이 표시되는 출력부, 스크립트 파일을 실행코드로 변환하고, 상기 변환된 실행코드를 실행하면서 상기 실행코드에 포함된 사용자 입력 이벤트를 현재 실행중인 애플리케이션에 적용하며, 기 설정된 일정 시간 간격으로 상기 출력부에 표시되는 실행화면을 캡쳐하는 테스트 툴 동작부, 상기 출력부 및 테스트 툴 동작부의 동작을 제어하는 제어부를 포함하되, 상기 테스트 툴 동작부는 사용자 입력 이벤트의 적용 시간과 실행화면의 캡쳐 시간이 동기화되도록 제어할 수 있다. The present invention relates to a system, a terminal device, a verification device, a method and a computer-readable recording medium for application performance testing, and more specifically, an output unit displaying an execution screen of an application, a script file, and converting it into executable code , A test tool operation unit that applies the user input event included in the execution code to the currently executing application while executing the converted execution code, and captures an execution screen displayed on the output unit at predetermined time intervals; It includes a control unit for controlling the operation of the output unit and the test tool operation unit, the test tool operation unit may be controlled to synchronize the application time of the user input event and the capture time of the execution screen.

Description

애플리케이션 성능 테스트를 위한 시스템, 단말장치, 검증장치, 방법 및 컴퓨터로 판독 가능한 기록 매체{System, terminal device, verification apparatus, method and computer-readable medium for testing application performance}System, terminal device, verification apparatus, method and computer-readable medium for testing application performance

본 발명은 애플리케이션 성능 테스트를 위한 시스템, 단말장치, 검증장치, 방법 및 컴퓨터로 판독 가능한 기록 매체에 관한 것으로, 보다 상세하게는 단말장치로부터 전송된 화면정보에 포함된 캡쳐 화면 수를 기 설정된 기준 화면 수와 비교하고, 그 비교결과 화면 수가 동일한 경우, 해당 화면정보를 기 설정된 기준 화면정보와 비교하여 일치율을 구하며, 구해진 일치율 또는 화면 수 비교결과를 근거로 테스트 단말장치의 성능 차이를 측정하는 애플리케이션 성능 테스트를 위한 시스템, 단말장치, 검증장치, 방법 및 컴퓨터로 판독 가능한 기록 매체에 관한 것이다.
The present invention relates to a system, a terminal device, a verification device, a method and a computer-readable recording medium for application performance testing, and more specifically, a reference screen preset for the number of capture screens included in screen information transmitted from the terminal device. Application performance that compares the number and compares the screen information with the preset reference screen information when the number of screens is the same, and measures the performance difference of the test terminal device based on the obtained match rate or the number of screen comparison results. A system for testing, a terminal device, a verification device, a method, and a computer-readable recording medium.

웹 기반으로 개발된 웹 애플리케이션은 웹 브라우저가 탑재된 다양한 환경에서 구동이 가능하다. 그래서 최근에는 게임도 웹 애플리케이션으로 개발하려는 시도가 많이 있다. 하지만, 일반 웹 애플리케이션과 다르게 게임용 웹 애플리케이션은 다양한 인터렉션으로 인한 이벤트 처리 및 스크립트 언어를 해석하는 구조적인 한계로 인해 PC가 아닌 모바일 디바이스에서 성능을 보장하기가 어렵다.A web application developed based on the web can be operated in various environments equipped with a web browser. So recently, there have been many attempts to develop games as web applications. However, unlike a general web application, a game web application is difficult to guarantee performance on a mobile device other than a PC due to event processing due to various interactions and a structural limitation interpreting a script language.

그래서 모바일용 웹 애플리케이션을 개발할 때는 고사양의 최신 단말을 위주로 개발하고, 저사양의 단말로 점차 테스트 단말의 범위를 넓혀 성능 테스트를 한다. 웹 애플리케이션의 장점이 다양한 환경에서 구동가능하다는 점이라면 이를 위해서 테스트 범위도 넓어진다는 단점이 생기는 것이다. 이를 해결하기 위해 테스트를 자동화한다면 테스트 비용을 줄일 수 있을 것이다.Therefore, when developing a web application for mobile, a high-end terminal is mainly developed, and a low-end terminal is gradually expanded to a range of test terminals to perform performance tests. If the advantage of a web application is that it can be run in a variety of environments, the disadvantage is that the test range is also widened for this. Automating tests to address this will reduce the cost of testing.

웹 애플리케이션 개발 시 테스트를 자동화하는 툴이 있기는 하지만, 입력 부분에 값을 입력하거나 특정 버튼을 누르는 등의 명확한 인터렉션 위주의 테스트만 가능한 한계가 있다. 또한, 게임용 웹 애플리케이션에서는 적절한 시점에 화면을 터치하는 등 인터렉션이 상당히 복잡하고 체감적으로 느껴지는 반응 속도를 측정해야 하기 때문에 사람이 직접 반응하지 않고 성능을 측정하기에는 한계가 있다.
Although there are tools that automate testing when developing web applications, there are limitations that can only be used for clear interaction-oriented testing, such as entering values in input fields or pressing specific buttons. In addition, in a web application for games, there is a limit in measuring performance without directly reacting to a person because the interaction speed, such as touching the screen at an appropriate point in time, needs to be measured.

선행기술 1 : 한국등록특허 제1,199,485호(2010.06.10 공개)Prior Art 1: Korean Registered Patent No. 1,199,485 (released on June 10, 2010)

본 발명은 상기한 문제점을 해결하기 위하여 안출된 것으로, 웹 애플리케이션의 테스트를 자동화하는 애플리케이션 성능 테스트를 위한 시스템, 단말장치, 검증장치, 방법 및 컴퓨터로 판독 가능한 기록 매체를 제공하는데 그 목적이 있다.The present invention has been devised to solve the above problems, and has an object to provide a system, a terminal device, a verification device, a method and a computer-readable recording medium for application performance testing to automate the test of a web application.

본 발명의 다른 목적은 단말장치에서 캡쳐된 화면의 캡쳐 화면 수와 화면정보를 기 설정된 기준정보와 비교하고, 그 비교결과를 근거로 테스트 단말장치의 성능 차이를 측정하는 애플리케이션 성능 테스트를 위한 시스템, 단말장치, 검증장치, 방법 및 컴퓨터로 판독 가능한 기록 매체를 제공하는데 있다. Another object of the present invention is a system for application performance testing that compares the number of screens captured and the screen information of the screen captured by the terminal device with predetermined reference information, and measures the performance difference of the test terminal device based on the comparison result. It provides a terminal device, a verification device, a method, and a computer-readable recording medium.

본 발명의 또 다른 목적은 게임용 웹 애플리케이션을 위해 복잡한 인터렉션이 가능하도록 하고, 체감적으로 느껴지는 반응 속도를 정량화하여 다양한 환경에서 테스트하는 비용을 절감할 수 있는 애플리케이션 성능 테스트를 위한 시스템, 단말장치, 검증장치, 방법 및 컴퓨터로 판독 가능한 기록 매체를 제공하는데 있다.
Another object of the present invention is to enable a complex interaction for a web application for games, and to quantify the reaction speed felt sensibly, a system, a terminal device, and a verification for application performance testing that can reduce the cost of testing in various environments It provides an apparatus, a method, and a computer-readable recording medium.

상술한 과제를 해결하기 위한 본 발명의 일 측면에 따르면, 애플리케이션의 실행 화면이 표시되는 출력부, 스크립트 파일을 실행코드로 변환하고, 상기 변환된 실행코드를 실행하면서 상기 실행코드에 포함된 사용자 입력 이벤트를 현재 실행중인 애플리케이션에 적용하며, 기 설정된 일정 시간 간격으로 상기 출력부에 표시되는 실행화면을 캡쳐하는 테스트 툴 동작부, 상기 출력부 및 테스트 툴 동작부의 동작을 제어하는 제어부를 포함하되, 상기 테스트 툴 동작부는 사용자 입력 이벤트의 적용 시간과 실행화면의 캡쳐 시간이 동기화되도록 제어하는 것을 특징으로 하는 단말장치가 제공된다. According to an aspect of the present invention for solving the above-described problem, an output unit displaying an execution screen of an application, a script file is converted into executable code, and the user input included in the executable code while executing the converted executable code A test tool operation unit that applies an event to a currently running application and captures an execution screen displayed on the output unit at predetermined time intervals, and includes a control unit that controls the operation of the output unit and the test tool operation unit. The test tool operation unit is provided with a terminal device characterized in that the application time of the user input event and the capture time of the execution screen are controlled to be synchronized.

상기 단말장치는 사용자 입력 이벤트를 현재 실행중인 애플리케이션으로 전달하는 입력부를 더 포함하고, 상기 테스트 툴 동작부는 현재 실행중인 애플리케이션에 상기 입력부로부터 전달된 사용자 입력 이벤트를 적용하고, 기 설정된 일정 시간 간격으로 상기 출력부에 표시되는 실행 화면을 캡쳐하며, 상기 사용자 입력 이벤트 및 상기 캡쳐된 화면 정보를 포함하는 스크립트 파일을 생성할 수 있다. The terminal device further includes an input unit that transmits a user input event to the currently executing application, and the test tool operation unit applies the user input event transmitted from the input unit to the currently running application, and the predetermined time interval is set. The execution screen displayed on the output unit is captured, and a script file including the user input event and the captured screen information can be generated.

상기 테스트 툴 동작부는 현재 실행중인 애플리케이션에 상기 입력부로부터 전달된 사용자 입력 이벤트를 적용하는 적용모듈, 기 설정된 일정 시간 간격으로 상기 출력부에 표시되는 실행 화면을 캡쳐하는 화면 캡쳐 모듈, 상기 사용자 입력 이벤트 및 캡쳐된 화면 정보를 포함하는 스크립트 파일을 생성하고, 상기 생성된 스크립트 파일을 검증장치로 전송하는 스크립트 파일 처리모듈을 포함할 수 있다. The test tool operation unit is an application module that applies a user input event delivered from the input unit to an application currently being executed, a screen capture module that captures an execution screen displayed on the output unit at predetermined time intervals, the user input event, and It may include a script file processing module for generating a script file including the captured screen information, and transmitting the generated script file to a verification device.

본 발명의 다른 측면에 따르면, 기준 화면정보, 기준 화면 수, 기준 일치율 중 적어도 하나를 포함하는 기준 정보가 저장된 저장부, 각 단말장치의 화면 정보를 수신하기 위한 통신부, 각 단말장치의 화면정보에 포함된 캡쳐 화면 수를 상기 기준 화면 수와 비교하고, 그 비교결과 화면 수가 동일한 경우, 해당 화면정보를 상기 기준 화면정보와 비교하여 일치율을 구하는 비교부를 포함하는 검증장치가 제공된다. According to another aspect of the present invention, the reference information including at least one of the reference screen information, the reference screen number, the reference matching rate is stored, a communication unit for receiving screen information of each terminal device, the screen information of each terminal device A verification device is provided that includes a comparison unit that compares the number of captured screens with the number of reference screens and compares the screen information with the reference screen information when the number of screens is the same as a result of the comparison.

상기 비교부는 단말장치의 캡쳐 화면 수가 상기 기준 화면 수보다 많은 경우, 성능이 느리다고 판단할 수 있다. When the number of captured screens of the terminal device is greater than the reference screen number, the comparison unit may determine that performance is slow.

또한, 상기 비교부는 상기 구해진 일치율이 상기 기준 일치율 이상인 경우 성능 우수, 이상이 아닌 경우 성능 저하라도 판단할 수 있다. In addition, the comparison unit may determine whether performance is excellent when the obtained matching ratio is equal to or greater than the reference matching ratio, and even when performance is not abnormal.

본 발명의 또 다른 측면에 따르면, 현재 실행중인 애플리케이션에 사용자로부터 입력된 사용자 입력 이벤트를 적용하고, 기 설정된 일정 시간 간격으로 화면상에 표시되는 실행 화면을 캡쳐하며, 상기 사용자 입력 이벤트 및 상기 캡쳐된 화면 정보를 포함하는 스크립트 파일을 생성하여 검증 장치로 전송하는 기준 단말장치, 상기 기준 단말장치에서 생성된 스크립트 파일을 실행코드로 변환하고, 상기 변환된 실행코드를 실행하면서 상기 실행코드에 포함된 사용자 입력 이벤트를 현재 실행중인 애플리케이션에 적용하고, 기 설정된 일정 시간 간격으로 화면상에 표시되는 실행화면을 캡쳐하여 상기 검증장치로 전송하는 테스트 단말장치, 상기 기준 단말장치 및 테스트 단말장치로부터 각각 수신된 화면정보의 캡쳐 화면 수를 비교하고, 그 비교결과 화면 수가 동일한 경우, 화면정보를 비교하여 화면의 일치율을 구하는 검증장치를 포함하는 애플리케이션 성능 테스트를 위한 시스템이 제공된다. According to another aspect of the present invention, a user input event input from a user is applied to an application currently being executed, a running screen displayed on a screen is set at predetermined time intervals, and the user input event and the captured A reference terminal device that generates a script file including screen information and transmits it to a verification device, converts a script file generated by the reference terminal device into executable code, and executes the converted executable code, while a user included in the executable code A screen received from the test terminal device, the reference terminal device, and the test terminal device, which applies an input event to the currently running application, captures an execution screen displayed on the screen at a predetermined time interval, and transmits it to the verification device Compare the number of captured screens of information and compare the results If the number of the same surface, there is provided a system for application performance testing comprising a verification device by comparing the screen to obtain the match rate of the display.

상기 검증장치는 상기 화면수 비교 결과 또는 상기 구해진 일치율을 근거로 테스트 단말장치의 성능 차이를 측정할 수 있다. The verification device may measure a performance difference of the test terminal device based on the result of comparing the number of screens or the obtained match rate.

본 발명의 또 다른 측면에 따르면, 검증 장치가 애플리케이션 성능 테스트를 위한 방법에 있어서, 단말장치로부터 화면 정보를 수신하는 단계, 상기 수신된 화면정보에 포함된 캡쳐 화면 수를 기 설정된 기준 화면 수와 비교하는 단계, 상기 비교결과 화면 수가 동일한 경우, 해당 화면정보를 기 설정된 기준 화면정보와 비교하여 일치율을 구하는 단계, 상기 구해진 일치율을 근거로 성능 차이를 측정하는 단계를 포함하는 애플리케이션 성능 테스트를 위한 방법이 제공된다. According to another aspect of the present invention, in a method for verifying an application performance by a verification device, receiving screen information from a terminal device, comparing the number of captured screens included in the received screen information with a preset number of reference screens If the number of screens is the same as the result of the comparison, comparing the corresponding screen information with preset reference screen information, obtaining a matching rate, and measuring a performance difference based on the obtained matching rate. Is provided.

상기 구해진 일치율을 근거로 성능 차이를 측정하는 단계는, 상기 구해진 일치율이 상기 기준 일치율 이상인 경우 성능 우수, 이상이 아닌 경우 성능 저하라도 판단할 수 있다. In the step of measuring the performance difference based on the obtained match rate, when the obtained match rate is greater than or equal to the reference match rate, performance may be excellent, and if not, even performance degradation may be determined.

본 발명의 또 다른 측면에 따르면, 검증 장치에 의해 실행될 때, 단말장치로부터 화면 정보를 수신하는 단계, 상기 수신된 화면정보에 포함된 캡쳐 화면 수를 기 설정된 기준 화면 수와 비교하는 단계, 상기 비교결과 화면 수가 동일한 경우, 해당 화면정보를 기 설정된 기준 화면정보와 비교하여 일치율을 구하는 단계, 상기 구해진 일치율을 근거로 성능 차이를 측정하는 단계를 포함하는 애플리케이션 성능 테스트를 위한 방법을 실행하기 위한 프로그램이 수록된 컴퓨터로 판독 가능한 기록 매체가 제공된다. According to another aspect of the present invention, when executed by a verification device, receiving screen information from a terminal device, comparing the number of captured screens included in the received screen information with a preset number of reference screens, and comparing If the number of result screens is the same, a program for executing a method for application performance test comprising comparing the corresponding screen information with preset reference screen information to obtain a matching rate, and measuring a performance difference based on the obtained matching rate A recorded computer-readable recording medium is provided.

본 발명의 또 다른 측면에 따르면, 단말장치가 애플리케이션 성능 테스트를 위한 방법에 있어서, 애플리케이션을 실행하는 단계, 상기 애플리케이션에 사용자 입력 이벤트를 적용하면서 기 설정된 일정 시간 간격으로 화면을 캡쳐하는 단계, 상기 캡쳐된 화면정보를 검증 장치로 전송하는 단계를 포함하되, 상기 사용자 입력 이벤트의 적용 시간과 화면의 캡쳐 시간이 동기화되도록 제어하면서 화면을 캡쳐하는 것을 특징으로 하는 애플리케이션 성능 테스트를 위한 방법이 제공된다. According to another aspect of the present invention, in a method for a terminal device to test application performance, a step of executing an application, a step of capturing a screen at a predetermined time interval while applying a user input event to the application, the capture There is provided a method for testing application performance, comprising the step of transmitting the screen information to a verification device, but capturing the screen while controlling so that the application time of the user input event and the screen capture time are synchronized.

본 발명의 또 다른 측면에 따르면, 단말장치에 의해 실행될 때, 애플리케이션을 실행하는 단계, 상기 애플리케이션에 사용자 입력 이벤트를 적용하면서 기 설정된 일정 시간 간격으로 화면을 캡쳐하는 단계, 상기 캡쳐된 화면정보를 검증 장치로 전송하는 단계를 포함하되, 상기 사용자 입력 이벤트의 적용 시간과 화면의 캡쳐 시간이 동기화되도록 제어하면서 화면을 캡쳐하는 것을 특징으로 하는 애플리케이션 성능 테스트를 위한 방법을 실행하기 위한 프로그램이 수록된 컴퓨터로 판독 가능한 기록 매체가 제공된다.
According to another aspect of the present invention, when executed by a terminal device, executing an application, capturing a screen at a predetermined time interval while applying a user input event to the application, verifying the captured screen information Comprising the step of transmitting to the device, the application time of the user input event and the capture time of the screen is controlled to be synchronized to read the computer containing a program for executing a method for application performance test, characterized in that capturing the screen. A possible recording medium is provided.

본 발명에 따르면, 단말장치에서 캡쳐된 화면의 캡쳐 화면 수와 화면정보를 기 설정된 기준정보와 비교하고, 그 비교결과를 근거로 단말장치들의 성능 차이를 측정할 수 있다. According to the present invention, the number of captured screens and screen information of the screen captured by the terminal device can be compared with preset reference information, and the performance difference of the terminal devices can be measured based on the comparison result.

또한, 게임용 웹 애플리케이션을 위해 복잡한 인터렉션이 가능하도록 하고, 체감적으로 느껴지는 반응 속도를 정량화하여 다양한 환경에서 테스트하는 비용을 절감할 수 있다. In addition, it is possible to reduce the cost of testing in various environments by enabling complex interaction for a web application for games, and quantifying the reaction speed felt sensibly.

또한, 애플리케이션의 테스트를 자동화함으로써 테스트 비용을 줄이고, 사람이 개입하는 시간을 줄임으로써 애플리케이션의 배포도 훨씬 빨라질 수 있다.
Also, by automating the testing of the application, the cost of the application can be reduced and the deployment of the application can be much faster by reducing the amount of human intervention.

도 1은 본 발명의 실시예에 따른 애플리케이션 성능 테스트를 위한 시스템을 나타낸 도면.
도 2는 본 발명의 실시예에 따른 단말장치의 구성을 개략적으로 나타낸 블럭도.
도 3은 도 2에 도시된 테스트 툴 동작부의 구성을 상세히 나타낸 블럭도.
도 34는 본 발명의 실시예에 따른 검증장치의 구성을 개략적으로 나타낸 블럭도.
도 5는 본 발명의 실시예에 따른 애플리케이션 성능 테스트를 위한 방법을 나타낸 도면.
도 6은 본 발명의 실시예에 따른 사용자 입력 편집 기능을 설명하기 위한 화면 예시도.
도 7은 본 발명의 실시예에 따른 단말장치들의 성능 테스트 결과 화면을 나타낸 예시도.1 is a diagram illustrating a system for testing application performance according to an embodiment of the present invention.
Figure 2 is a block diagram schematically showing the configuration of a terminal device according to an embodiment of the present invention.
3 is a block diagram showing in detail the configuration of the test tool operation unit shown in FIG. 2.
34 is a block diagram schematically showing the configuration of a verification device according to an embodiment of the present invention.
5 is a diagram illustrating a method for testing application performance according to an embodiment of the present invention.
6 is an exemplary screen for explaining a user input editing function according to an embodiment of the present invention.
7 is an exemplary view showing a performance test result screen of terminal devices according to an embodiment of the present invention.

본 발명의 전술한 목적과 기술적 구성 및 그에 따른 작용 효과에 관한 자세한 사항은 본 발명의 명세서에 첨부된 도면에 의거한 이하 상세한 설명에 의해 보다 명확하게 이해될 것이다.Detailed description of the above-described object and technical configuration of the present invention and the effect of the effect thereof will be more clearly understood by the following detailed description based on the accompanying drawings in the specification of the present invention.

도 1은 본 발명의 실시예에 따른 애플리케이션 성능 테스트를 위한 시스템을 나타낸 도면이다. 1 is a diagram illustrating a system for testing application performance according to an embodiment of the present invention.

도 1을 참조하면, 애플리케이션 성능 테스트를 위한 시스템은 애플리케이션을 테스트하기 위한 스크립트 파일을 생성하는 기준 단말장치(100A), 기준 단말장치(100A)에서 생성된 스크립트 파일을 재생하는 테스트 단말장치(100B), 기준 단말장치(100A) 및 테스트 단말장치(100B)로부터 수신된 화면정보의 비교를 통해 성능 차이를 측정하는 검증장치(200)를 포함한다.Referring to FIG. 1, a system for application performance testing includes a reference terminal device 100A for generating a script file for testing an application, and a test terminal device 100B for reproducing a script file generated by the reference terminal device 100A. , A verification device 200 for measuring a performance difference through comparison of screen information received from the reference terminal device 100A and the test terminal device 100B.

기준 단말장치(100A)는 현재 실행중인 애플리케이션에 사용자 입력 이벤트를 적용하고, 기 설정된 일정 시간 간격으로 화면상에 표시되는 실행 화면을 캡쳐(capture)하며, 사용자 입력 이벤트 및 캡쳐된 화면 정보를 포함하는 스크립트 파일을 생성하여 검증 장치(200)로 전송한다. 여기서, 사용자 입력 이벤트는 애플리케이션이 외부 사용자로부터 명령을 입력받아 컨텐츠 상의 변화가 생긴 모든 경우를 일컫는 용어로서, 특히 사용자가 애플리케이션이 실행되고 있는 단말장치 상에 의도하고자 하는 동작을 수행하기 위해 애플리케이션을 조작하는 모든 행위를 단말 장치가 입력으로서 인지하여 일련의 명령으로 인식한 것을 일컫는다. 대표적인 예로서, 사용자가 단말장치의 스크린을 터치하여 애플리케이션의 특정 컨텐츠를 선택하는 경우, 단말 장치가 스크린 터치 행위를 소프트웨어 명령으로 인식한 것을 하나의 이벤트로 정의할 수 있다. 스크립트란 애플리케이션을 테스트하기 위한 일련의 테스트 시나리오를 작성한 것으로서, 스크립트는 사용자가 임의로 작성하여 생성하거나 기존에 생성되어 있던 스크립트를 타 서버로부터 다운로드(수신)하여 이용할 수 있다. 스크립트는 테스트용 명령어들의 집합으로 이루어지며, 본 발명에 따른 애플리케이션 테스트는 스크립트에 포함된 검증 시나리오에 따라 이루어진다. The reference terminal device 100A applies a user input event to the currently running application, captures an execution screen displayed on the screen at predetermined time intervals, and includes user input events and captured screen information. The script file is generated and transmitted to the verification device 200. Here, the user input event is a term that refers to all cases in which an application has received a command from an external user and changes in content, in particular, the user manipulates the application to perform an intended operation on a terminal device on which the application is running. It refers to the recognition of all actions to be performed by a terminal device as a series of commands. As a typical example, when a user touches a screen of a terminal device to select a specific content of an application, it can be defined as an event that the terminal device recognizes the screen touch action as a software command. A script is a series of test scenarios for testing an application, and a script can be created by the user at random or downloaded (received) from an existing server and used. The script consists of a set of test instructions, and the application test according to the present invention is performed according to a verification scenario included in the script.

테스트 단말장치(100B)는 기준 단말장치(100A)에서 생성된 스크립트 파일을 실행코드로 변환하고, 변환된 실행코드를 실행하면서 실행코드에 포함된 사용자 입력 이벤트를 현재 실행중인 애플리케이션에 적용하고, 기 설정된 일정 시간 간격으로 화면상에 표시되는 실행화면을 캡쳐하여 검증장치(200)로 전송한다. 여기에서는 테스트 단말장치(100B)를 하나만 도시하였으나, 복수 개의 테스트 단말(100B)에 적용될 수 있다.The test terminal device 100B converts the script file generated in the reference terminal device 100A to executable code, and applies the user input event included in the executable code to the currently executing application while executing the converted executable code, and The execution screen displayed on the screen is captured at a predetermined time interval and transmitted to the verification device 200. Although only one test terminal device 100B is shown here, it can be applied to a plurality of test terminals 100B.

한편, 복수 개의 단말장치(100)들은 각각 상이한 하드웨어 또는 소프트웨어를 구비한 것으로서, 동일한 애플리케이션을 실행시켰을 시 각각의 단말장치에서 올바르게 동작하는지를 비교할 수 있도록 함이 바람직하다. On the other hand, the plurality of terminal devices 100 are provided with different hardware or software, and when running the same application, it is preferable to compare whether each terminal device operates correctly.

또한, 단말장치(100)에서 검증 장치(200)로 전송되는 화면정보는 바람직하게는 스크립트로 작성된 것으로서, 해당 애플리케이션의 컨텐츠를 구성하는 구성요소들을 개별적으로 파싱하여 구분할 수 있는 언어로 작성될 수 있다.In addition, the screen information transmitted from the terminal device 100 to the verification device 200 is preferably written in a script, and can be written in a language capable of separately parsing and constituting components constituting the content of the corresponding application. .

이하에서는 기준 단말장치(100A)와 테스트 단말장치(100B)를 단말장치(100)로 칭하여 설명하기로 한다.Hereinafter, the reference terminal device 100A and the test terminal device 100B will be referred to as the terminal device 100 and described.

검증 장치(200)는 기준 단말장치(100A) 및 테스트 단말장치(100B)로부터 수신된 화면정보에 포함된 캡쳐 화면 수를 비교하고, 그 비교결과 화면 수가 동일한 경우, 화면정보를 비교하여 화면의 일치율을 구하며, 화면 수 비교 결과 또는 상기 구해진 일치율을 근거로 테스트 단말장치(100B)의 성능을 측정할 수 있다. 여기서, 화면정보는 캡쳐된 화면(또는 이미지), 캡쳐 화면 수 등을 포함하고, 검증장치(200)는 캡쳐된 화면의 RGB 색상 평균, 최대값, 최소값 등을 비교하여 일치율을 구할 수 있다. The verification device 200 compares the number of captured screens included in the screen information received from the reference terminal device 100A and the test terminal device 100B, and when the comparison result shows the same number of screens, compares screen information and compares the screen rates The performance of the test terminal device 100B may be measured based on the result of comparing the number of screens or the obtained match rate. Here, the screen information includes a captured screen (or image), the number of captured screens, and the like, and the verification device 200 may compare the RGB color average, maximum value, and minimum value of the captured screen to obtain a match rate.

이러한 검증 장치(200)에 대한 상세한 설명은 도 4를 참조하기로 한다.  The detailed description of the verification apparatus 200 will be referred to FIG. 4.

도 2는 본 발명의 실시예에 따른 단말장치의 구성을 개략적으로 나타낸 블럭도, 도 3은 도 2에 도시된 테스트 툴 동작부의 구성을 상세히 나타낸 블럭도이다.2 is a block diagram schematically showing the configuration of a terminal device according to an embodiment of the present invention, and FIG. 3 is a block diagram showing the configuration of the test tool operation unit shown in FIG. 2 in detail.

도 2를 참조하면, 단말장치(100)는 통신부(110), 입력부(120), 출력부(130), 저장부(140), 테스트 툴 동작부(150), 제어부(160)를 포함한다.Referring to FIG. 2, the terminal device 100 includes a communication unit 110, an input unit 120, an output unit 130, a storage unit 140, a test tool operation unit 150, and a control unit 160.

통신부(110)는 단말장치(100)와 검증 장치를 통신망을 통해 상호 연결시키는 통신 수단으로서, 예를 들어 이동통신, 위성통신 등의 무선 통신모듈, 인터넷 등의 유선 통신모듈, 와이파이 등의 근거리 무선 통신모듈 등을 포함할 수 있다.The communication unit 110 is a communication means for interconnecting the terminal device 100 and the verification device through a communication network, for example, wireless communication modules such as mobile communication, satellite communication, wired communication modules such as the Internet, and short-range wireless such as Wi-Fi. It may include a communication module.

입력부(120)는 단말 장치(100)의 동작 제어를 위한 사용자 요청을 입력받기 위한 수단으로서, 사용자의 조작에 따라서 사용자의 요청을 전기 신호로 변환한다. 입력부(120)는 사용자로부터 문자, 숫자, 텍스트, 음성, 움직임, 촉각, 시각 등을 입력받는 입력 수단으로 예컨대, 입력 수단은 키보드, 키패드, 터치 스크린, 시각 감지 수단, 촉각 감지 수단, 움직임 감지 수단, 음성 입력 수단 등 다양한 형태로 구현될 수 있다. The input unit 120 is a means for receiving a user request for controlling the operation of the terminal device 100, and converts the user's request into an electrical signal according to the user's operation. The input unit 120 is an input means for receiving letters, numbers, text, voice, movement, tactile, time, etc. from a user. For example, the input means is a keyboard, keypad, touch screen, visual sensing means, tactile sensing means, motion sensing means , It may be implemented in various forms, such as voice input means.

사용자는 입력부(120)를 통해 사용자 입력 이벤트를 입력하고, 입력부(120)는 사용자 입력 이벤트를 현재 실행중인 애플리케이션으로 전달한다.The user inputs a user input event through the input unit 120, and the input unit 120 delivers the user input event to the currently executing application.

일반적으로 웹 애플리케이션은 다양한 환경에서 실행되기 때문에, 사용자 입력을 편집할 수 있는 기능을 제공해야 한다. 입력부(120)의 사용자 입력 편집 기능이 필요한 경우에 대해 도 6을 참조하여 설명하기로 한다. 도 6을 참조하면, (a)와 같은 화면 사이즈의 기준 단말장치에서 화면을 클릭하였던 입력 데이터는 (b)와 같은 화면 사이즈의 테스트 단말장치가 되면서 같은 비율을 적용해 화면이 클릭되도록 가상 입력을 할 수도 있지만, (c)와 같이 화면 자체가 더 확장될 수도 있기 때문에 이를 조정하는 기능이 필요하다.In general, web applications run in a variety of environments, so you must provide the ability to edit user input. A case where a user input editing function of the input unit 120 is required will be described with reference to FIG. 6. Referring to FIG. 6, input data that is clicked on the screen in the reference terminal device having the same screen size as (a) becomes a test terminal device having the same screen size as (b), and applies the same ratio to apply virtual input so that the screen is clicked It is possible to do this, but as the screen itself may be expanded as shown in (c), a function to adjust it is necessary.

출력부(130)는 애플리케이션의 실행 화면을 표시한다. 출력부(130)는 시각적으로 확인 가능한 디스플레이의 형태가 될 수도 있고, 스피커 등 청각적으로 확인 가능한 형태일 수도 있으며, 그 밖에 스크립트 실행 결과를 확인할 수 있는 모든 형태를 포함한다.The output unit 130 displays an execution screen of the application. The output unit 130 may be in the form of a visually identifiable display, or in a form that is auditoryly identifiable, such as a speaker, and includes all other forms that can confirm the script execution result.

저장부(140)는 단말장치(100)의 동작 제어 시 필요한 프로그램과, 그 프로그램 수행 중에 발생되는 데이터를 저장한다.The storage unit 140 stores a program necessary for controlling the operation of the terminal device 100 and data generated during the execution of the program.

제어부(160)는 통신부(110), 출력부(130), 입력부(120) 및 테스트 툴 동작부(150)의 동작을 제어한다. The control unit 160 controls operations of the communication unit 110, the output unit 130, the input unit 120, and the test tool operation unit 150.

테스트 툴 동작부(150)는 현재 실행중인 애플리케이션에 사용자 입력 이벤트를 적용하고, 기 설정된 일정 시간 간격으로 출력부(130)에 표시되는 실행화면을 캡쳐하며, 캡쳐된 화면정보를 통신부(110)를 통해 검증장치로 전송한다. The test tool operation unit 150 applies a user input event to the currently running application, captures an execution screen displayed on the output unit 130 at predetermined predetermined time intervals, and transmits the captured screen information to the communication unit 110. To the verification device.

이러한 테스트 툴 동작부(150)는 단말장치(100)가 기준 단말장치와 테스트 단말장치로 동작하는 경우에 따라 다르게 동작할 수 있다. The test tool operation unit 150 may operate differently depending on when the terminal device 100 operates as a reference terminal device and a test terminal device.

먼저, 단말장치(100)가 기준 단말장치로 동작하는 경우, 테스트 툴 동작부(150)는 현재 실행중인 애플리케이션에 입력부(120)로부터 전달된 사용자 입력 이벤트를 적용하고, 기 설정된 일정 시간 간격으로 출력부(130)에 표시되는 실행 화면을 캡쳐하며, 사용자 입력 이벤트 및 캡쳐된 화면 정보를 포함하는 스크립트 파일을 생성하고, 생성된 스크립트 파일을 검증 장치로 전송한다.First, when the terminal device 100 operates as a reference terminal device, the test tool operation unit 150 applies a user input event transmitted from the input unit 120 to the currently running application, and outputs it at a predetermined time interval. The execution screen displayed on the unit 130 is captured, a script file including a user input event and captured screen information is generated, and the generated script file is transmitted to the verification device.

이러한 테스트 툴 동작부(150)에 대해 도 3을 참조하면, 테스트 툴 동작부(150)는 적용모듈(152), 화면 캡쳐 모듈(154), 스크립트 파일 처리 모듈(156)을 포함한다.Referring to FIG. 3 for the test tool operation unit 150, the test tool operation unit 150 includes an application module 152, a screen capture module 154, and a script file processing module 156.

적용모듈(152)은 현재 실행중인 애플리케이션에 입력부(120)로부터 전달된 사용자 입력 이벤트를 적용한다. 게임용 웹 애플리케이션에서는 적절한 시점에 화면을 터치하는 등의 사용자 입력 이벤트가 발생하므로, 적용모듈(152)은 사용자 입력 이벤트를 현재 실행중인 게임용 웹 애플리케이션에 반영한다. The application module 152 applies the user input event transmitted from the input unit 120 to the currently running application. In the web application for games, a user input event such as touching the screen at an appropriate time occurs, so the application module 152 reflects the user input event to the currently running game web application.

화면 캡쳐 모듈(154)은 기 설정된 일정 시간 간격으로 출력부(130)에 표시되는 실행 화면을 캡쳐한다. The screen capture module 154 captures an execution screen displayed on the output unit 130 at predetermined time intervals.

스크립트 파일 처리 모듈(156)은 사용자 입력 이벤트 및 캡쳐된 화면 정보를 포함하는 스크립트 파일을 생성하고, 생성된 스크립트 파일을 검증장치로 전송한다. The script file processing module 156 generates a script file including a user input event and captured screen information, and transmits the generated script file to a verification device.

다음으로, 단말장치(100)가 테스트 단말장치로 동작하는 경우, 테스트 툴 동작부(150)는 기준 단말장치에서 생성된 스크립트 파일을 실행코드로 변환하고, 변환된 실행코드를 실행하면서 실행코드에 포함된 사용자 입력 이벤트를 현재 실행중인 애플리케이션에 적용하며, 기 설정된 일정 시간 간격으로 출력부(130)에 표시되는 실행화면을 캡쳐하여 검증장치로 전송한다. 이때, 테스트 툴 동작부(150)는 사용자 입력 이벤트의 적용 시간과 실행화면의 캡쳐 시간이 동기화되도록 제어한다. 즉, 기준 단말장치와 테스트 단말장치의 성능 차에 의해서 화면이 느려지는 경우, 사용자 입력 이벤트 적용 시간과 화면 캡쳐 시간을 자동으로 지연(delay)시킨다. 성능이 떨어지는 테스트 단말장치에서는 사용자 입력 이벤트 적용 이후 웹 게임 로직이 동작하기 전에 다음 사용자 입력 이벤트가 빨리 전달되므로, 해당 사용자 입력 이벤트가 유효하지 않게 되고, 결과적으로 테스트 시나리오 자체가 오류로 되어(예컨대, 게임 종료), 그 시점 이후부터는 캡쳐 화면을 비교하는 것 자체가 의미가 없어진다. 그러므로, 테스트 툴 동작부(150)는 스크립트 파일에 설정된 사용자 입력 이벤트의 적용 시간과 실행화면의 캡쳐 시간이 테스트 단말장치에서도 동일하게 적용될 수 있도록, 애플리케이션 실행에 따른 화면이 느려지는 경우, 사용자 입력 이벤트 및 화면 캡쳐를 해당 시간만큼 지연시켜 적용한다. Next, when the terminal device 100 operates as a test terminal device, the test tool operation unit 150 converts the script file generated in the reference terminal device into executable code, and executes the converted executable code to execute code. The included user input event is applied to the currently running application, and the execution screen displayed on the output unit 130 is captured at predetermined time intervals and transmitted to the verification device. At this time, the test tool operation unit 150 controls the application time of the user input event and the capture time of the execution screen to be synchronized. That is, when the screen is slowed due to the performance difference between the reference terminal device and the test terminal device, the application time of the user input event and the screen capture time are automatically delayed. In the test terminal device having poor performance, since the next user input event is delivered quickly before the web game logic operates after the user input event is applied, the corresponding user input event becomes invalid, and as a result, the test scenario itself becomes an error (for example, Game end), after that point, comparing the capture screen itself becomes meaningless. Therefore, the test tool operation unit 150 may perform a user input event when the screen according to application execution is slow so that the application time of the user input event set in the script file and the capture time of the execution screen can be equally applied to the test terminal device. And applying the screen capture by delaying the corresponding time.

도 4는 본 발명의 실시예에 따른 검증장치의 구성을 개략적으로 나타낸 블럭도이다. 4 is a block diagram schematically showing the configuration of a verification device according to an embodiment of the present invention.

도 4를 참조하면, 검증장치(200)는 통신부(210), 저장부(220), 비교부(230)를 포함한다. Referring to FIG. 4, the verification device 200 includes a communication unit 210, a storage unit 220, and a comparison unit 230.

통신부(210)는 각 단말장치의 화면 정보를 수신한다.The communication unit 210 receives screen information of each terminal device.

저장부(220)에는 기준 화면정보, 기준 화면 수, 기준 일치율 등을 포함하는 기준 정보가 저장되어 있다.The storage unit 220 stores reference information including reference screen information, a number of reference screens, and a standard matching rate.

비교부(230)는 각 단말장치의 화면정보에 포함된 캡쳐 화면 수를 저장부(220)에 저장된 기준 화면 수와 비교하고, 그 비교결과 화면 수가 동일한 경우, 해당 화면정보를 저장부(220)에 저장된 기준 화면정보와 비교하여 일치율을 구한다. 이때, 비교부(230)는 화면을 격자로 나누고 각각의 격자 안에서는 RGB(Red Green Blue) 색상 평균, 최대값, 최소값 등을 비교하여 일치율을 구할 수 있다. 여기서, 격자의 크기, RGB 색상 평균, 최대값, 최소값 등은 사용자가 변경할 수 있다. The comparison unit 230 compares the number of captured screens included in the screen information of each terminal device with the number of reference screens stored in the storage unit 220, and when the comparison result shows the same number of screens, stores the corresponding screen information 220 The match rate is obtained by comparing with the reference screen information stored in. At this time, the comparator 230 may divide the screen into a grid and compare the RGB (Red Green Blue) color average, maximum, and minimum values in each grid to obtain a match rate. Here, the size of the grid, RGB color average, maximum value, minimum value, etc. can be changed by the user.

비교부(230)는 단말장치의 캡쳐 화면 수가 기준 화면 수보다 많은 경우, 성능이 느리다고 판단할 수 있다. 또한, 비교부(230)는 상기 구해진 일치율이 기준 일치율 이상인 경우 성능 우수, 이상이 아닌 경우 성능 저하라도 판단할 수 있다. The comparison unit 230 may determine that performance is slow when the number of captured screens of the terminal device is greater than the reference screen number. Further, the comparator 230 may determine whether the obtained match rate is superior to the reference match rate, or even if it is not abnormal, to degrade the performance.

이처럼 단말장치의 성능을 정량화하는 수치는 전체 캡쳐 화면 수와 화면 비교 정보일 수 있고, 비교부(230)는 캡쳐 화면 수와 화면 비교 정보를 근거로 단말장치의 성능을 테스트할 수 있다. 애플리케이션 실행에 따라 표시되는 화면은 일정 시간 간격으로 캡쳐되고, 성능이 느려질 경우 자동으로 입력되는 시간을 지연(delay)시킨다. 따라서 성능이 느린 경우는 화면 캡쳐 수가 증가하게 되고, 화면 캡쳐 수가 많아진다는 것은 성능이 느려진다는 결정적인 지표가 된다. The numerical value quantifying the performance of the terminal device may be the total number of captured screens and the screen comparison information, and the comparison unit 230 may test the performance of the terminal device based on the number of captured screens and the screen comparison information. The screen displayed according to the execution of the application is captured at regular time intervals, and if the performance is slow, the input time is automatically delayed. Therefore, when the performance is slow, the number of screen captures increases, and the larger the number of screen captures, the decisive indicator that performance is slow.

도 5는 본 발명의 실시예에 따른 애플리케이션 성능 테스트를 위한 방법을 나타낸 도면이다. 5 is a diagram illustrating a method for testing application performance according to an embodiment of the present invention.

도 5를 참조하면, 단말장치는 애플리케이션을 실행하고(S502), 애플리케이션에 사용자 입력 이벤트를 적용하면서 화면을 캡쳐한다(S504). 이때, 단말장치가 기준 단말장치인 경우, 사용자는 사용자 입력 이벤트를 입력하고, 기준 단말장치는 사용자 입력 이벤트를 애플리케이션에 적용하면서 기 설정된 일정 시간간격으로 화면을 캡쳐한다. 또한, 단말장치가 테스트 단말장치인 경우, 테스트 단말장치는 스크립트 파일에서 사용자 입력 이벤트를 읽고, 그 사용자 입력 이벤트를 현재 실행중인 애플리케이션에 적용하면서 기 설정된 일정 시간 간격으로 화면을 캡쳐한다. Referring to FIG. 5, the terminal device executes an application (S502), and captures a screen while applying a user input event to the application (S504). At this time, when the terminal device is a reference terminal device, the user inputs a user input event, and the reference terminal device captures the screen at a predetermined time interval while applying the user input event to the application. In addition, when the terminal device is a test terminal device, the test terminal device reads a user input event from a script file and captures the screen at a predetermined time interval while applying the user input event to the currently running application.

단말장치는 캡쳐된 화면 정보를 검증 장치로 전송한다(S506).The terminal device transmits the captured screen information to the verification device (S506).

검증 장치는 수신된 화면정보에 포함된 캡쳐 화면 수를 기 설정된 기준 화면수와 비교하여(S508), 캡쳐 화면 수와 기준 화면 수가 동일한지의 여부를 판단한다(S510).The verification device compares the number of captured screens included in the received screen information with a preset number of reference screens (S508), and determines whether the number of captured screens and the number of reference screens are the same (S510).

S510의 판단결과 두 화면 수가 동일한 경우, 검증장치는 기준 화면정보와 캡쳐 화면정보를 비교하고(S512), 그 비교 결과를 근거로 단말장치의 성능을 판정한다(S514). 즉, 검증장치는 기준 화면정보와 캡쳐 화면정보를 비교하여 일치율을 구하고, 상기 구해진 일치율이 기준 일치율 이상인 경우 성능 우수, 이상이 아닌 경우 성능 저하라도 판단할 수 있다.When the number of the two screens is the same as the determination result of S510, the verification device compares the reference screen information and the captured screen information (S512), and determines the performance of the terminal device based on the comparison result (S514). That is, the verification device compares the reference screen information and the captured screen information to obtain a match rate, and if the obtained match rate is greater than or equal to the reference match rate, it is possible to determine whether the performance is excellent or, if not, the performance degradation.

만약, S510의 판단결과 두 화면 수가 동일하지 않으면, 검증장치는 캡쳐 화면 수 비교 결과를 근거로 단말장치의 성능을 판정한다(S516). 즉, 검증장치는 캡쳐 화면 수가 기준 화면 수보다 많은 경우, 성능이 느리다고 판단할 수 있다.If, as a result of the determination in S510, the number of two screens is not the same, the verification device determines the performance of the terminal device based on the result of comparing the number of captured screens (S516). That is, when the number of captured screens is larger than the reference screen number, the verification device may determine that performance is slow.

상기와 같은 과정을 자동으로 거치고 나면 다양한 환경에서 테스트한 정보가 정량화되어 자동화로 판단하기 애매한 환경만 사람이 확인하면 된다. 예를 들면 도 7과 같이 정량화된 결과를 볼 때 기준 지점에 있는 단말들(예컨대, A 단말장치와 B단말장치)을 대상으로 사람이 직접 확인하면 된다. After automatically performing the above process, the information tested in various environments is quantified, and a person only needs to check an environment that is ambiguous to judge as automation. For example, when looking at the quantified results as shown in FIG. 7, a person may directly check terminals (eg, terminal A and terminal B) at the reference point.

한편, 본 발명의 다른 측면에 따르면, 검증 장치에 의해 실행될 때, 단말장치로부터 화면 정보를 수신하는 단계, 상기 수신된 화면정보에 포함된 캡쳐 화면 수를 기 설정된 기준 화면 수와 비교하는 단계, 상기 비교결과 화면 수가 동일한 경우, 해당 화면정보를 기 설정된 기준 화면정보와 비교하여 일치율을 구하는 단계, 상기 구해진 일치율을 근거로 성능 차이를 측정하는 단계를 포함하는 애플리케이션 성능 테스트를 위한 방법을 실행하기 위한 프로그램이 수록된 컴퓨터로 판독 가능한 기록 매체가 제공된다.Meanwhile, according to another aspect of the present invention, when executed by a verification device, receiving screen information from a terminal device, comparing the number of captured screens included in the received screen information with a preset reference screen number, the If the number of screens in the comparison result is the same, comparing the corresponding screen information with preset reference screen information to obtain a matching rate, and measuring a performance difference based on the obtained matching rate. A computer readable recording medium is provided.

또한, 본 발명의 다른 측면에 따르면, 단말장치에 의해 실행될 때, 애플리케이션을 실행하는 단계, 상기 애플리케이션에 사용자 입력 이벤트를 적용하면서 기 설정된 일정 시간 간격으로 화면을 캡쳐하는 단계, 상기 캡쳐된 화면정보를 검증 장치로 전송하는 단계를 포함하되, 상기 사용자 입력 이벤트의 적용 시간과 화면의 캡쳐 시간이 동기화되도록 제어하면서 화면을 캡쳐하는 것을 특징으로 하는 애플리케이션 성능 테스트를 위한 방법을 실행하기 위한 프로그램이 수록된 컴퓨터로 판독 가능한 기록 매체가 제공된다.According to another aspect of the present invention, when executed by a terminal device, executing an application, capturing a screen at a predetermined time interval while applying a user input event to the application, and capturing the captured screen information Comprising the step of transmitting to the verification device, the application time of the user input event and the capture time of the screen is controlled so that the screen captures while controlling the application performance test, characterized in that the program for executing a method for application performance test A readable recording medium is provided.

이러한 애플리케이션 성능 테스트를 위한 방법은 프로그램으로 작성 가능하며, 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 애플리케이션 성능 테스트를 위한 방법에 관한 프로그램은 전자장치가 읽을 수 있는 정보저장매체(Readable Media)에 저장되고, 전자장치에 의하여 읽혀지고 실행될 수 있다.The method for testing the application performance can be written in a program, and codes and code segments constituting the program can be easily inferred by a programmer in the field. In addition, a program related to a method for testing application performance may be stored in a readable media that can be read by an electronic device, and read and executed by the electronic device.

이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
As such, those skilled in the art to which the present invention pertains will appreciate that the present invention may be implemented in other specific forms without changing its technical spirit or essential features. Therefore, the embodiments described above should be understood as illustrative in all respects and not restrictive. The scope of the present invention is indicated by the following claims rather than the above detailed description, and it should be construed that all changes or modifications derived from the meaning and scope of the claims and their equivalent concepts are included in the scope of the present invention. do.

본 발명은 애플리케이션 성능 테스트를 위한 시스템, 단말장치, 검증장치, 방법 및 컴퓨터로 판독 가능한 기록 매체를 제공함으로써, 웹 애플리케이션을 위해 복잡한 인터렉션이 가능하도록 하고, 체감적으로 느껴지는 반응 속도를 정량화하여 다양한 환경에서 테스트하는 비용을 절감할 수 있다.
The present invention provides a system, a terminal device, a verification device, a method and a computer-readable recording medium for application performance testing, enabling complex interaction for a web application, and quantifying the reaction speed felt sensibly to various environments Test costs can be reduced.

100 단말장치 110, 210 통신부
120 입력부 130 출력부
140, 220 저장부 150 테스트 툴 동작부
152 적용 모듈 154 화면캡쳐 모듈
156 스크립트 파일 처리모듈 160 제어부
200 검증장치 230 비교부100 terminal device 110, 210 communication unit
120 inputs 130 outputs
140, 220 storage unit 150 test tool operation unit
152 Application module 154 Screen capture module
156 Script file processing module 160 Control unit
200 verification device 230 comparison unit

Claims (13)

통신망을 통해 상호 통신하는 단말 장치 및 검증 장치를 포함하는 애플리케이션 성능 테스트를 위한 시스템에 있어서,
상기 단말 장치는,
애플리케이션의 실행 화면이 표시되는 출력부;
스크립트 파일을 실행코드로 변환하고, 상기 변환된 실행코드를 실행하면서 상기 실행코드에 포함된 사용자 입력 이벤트를 현재 실행중인 애플리케이션에 적용하며, 상기 출력부에 표시되는 실행화면을 기 설정된 일정 시간 간격으로 캡쳐하여 캡쳐된 화면과 캡쳐된 화면의 수를 포함하는 캡쳐 화면정보를 생성하여 미리 설정된 검증 장치로 전송하되, 상기 사용자 입력 이벤트의 적용 시간과 상기 실행화면의 캡쳐 시간이 동기화되도록 제어하는 테스트 툴 동작부; 및
상기 출력부 및 테스트 툴 동작부의 동작을 제어하는 제어부;를 포함하고,
상기 검증 장치는,
기준 화면정보, 기준 화면수, 기준 일치율을 포함하는 기준 정보가 저장된 저장부;
상기 단말장치의 상기 캡쳐 화면정보를 수신하기 위한 통신부; 및
상기 단말장치의 상기 캡쳐 화면정보에 포함된 캡쳐 화면 수를 상기 기준 화면 수와 비교하고, 그 비교결과 화면 수가 동일하지 않고 상기 캡쳐 화면 수가 상기 기준 화면 수보다 많은 경우 상기 단말 장치의 성능이 느리다고 판단하고, 상기 비교결과 화면 수가 동일한 경우, 상기 캡쳐 화면정보를 상기 기준 화면정보와 비교하여 일치율을 구하며, 상기 구해진 일치율이 기준 일치율 이상인 경우 상기 단말 장치의 성능을 성능 우수로 판단하고, 기준 일치율 이상이 아닌 경우 상기 단말 장치의 성능을 성능 저하로 판단하는 비교부;
를 포함하는 것을 특징으로 하는 애플리케이션 성능 테스트를 위한 시스템.In the system for application performance testing including a terminal device and a verification device to communicate with each other through a communication network,
The terminal device,
An output unit on which an execution screen of the application is displayed;
Converts a script file into executable code, executes the converted executable code, applies a user input event included in the executable code to the currently executing application, and displays the execution screen displayed on the output unit at a predetermined time interval. A test tool operation to generate capture screen information including the captured screen and the number of captured screens and transmit them to a preset verification device, wherein the application time of the user input event and the capture time of the execution screen are synchronized part; And
Includes; a control unit for controlling the operation of the output unit and the test tool operation unit,
The verification device,
A storage unit that stores reference information including reference screen information, reference screen numbers, and a standard matching rate;
A communication unit for receiving the captured screen information of the terminal device; And
The number of captured screens included in the captured screen information of the terminal device is compared with the number of reference screens, and when the comparison result shows that the number of screens is not the same and the number of captured screens is greater than the number of reference screens, it is determined that the performance of the terminal device is slow. When the number of screens is the same as the comparison result, the captured screen information is compared with the reference screen information to obtain a matching rate. If the obtained matching rate is greater than or equal to the reference matching rate, the performance of the terminal device is judged as excellent performance, and the reference matching rate or higher If not, the comparison unit determines the performance of the terminal device as a performance degradation;
System for testing application performance, characterized in that it comprises a. 제1항에 있어서,
상기 단말 장치는
사용자 입력 이벤트를 현재 실행중인 애플리케이션으로 전달하는 입력부를 더 포함하고,
상기 테스트 툴 동작부는 현재 실행중인 애플리케이션에 상기 입력부로부터 전달된 사용자 입력 이벤트를 적용하고, 기 설정된 일정 시간 간격으로 상기 출력부에 표시되는 실행 화면을 캡쳐하며, 상기 사용자 입력 이벤트 및 상기 캡쳐된 화면 정보를 포함하는 스크립트 파일을 생성하는 것을 특징으로 하는 애플리케이션 성능 테스트를 위한 시스템.According to claim 1,
The terminal device
Further comprising an input unit for delivering a user input event to the currently running application,
The test tool operation unit applies a user input event transmitted from the input unit to an application currently being executed, captures an execution screen displayed on the output unit at predetermined time intervals, and displays the user input event and the captured screen information. System for testing application performance, characterized in that for generating a script file comprising a. 제2항에 있어서,
상기 테스트 툴 동작부는 현재 실행중인 애플리케이션에 상기 입력부로부터 전달된 사용자 입력 이벤트를 적용하는 적용모듈;
기 설정된 일정 시간 간격으로 상기 출력부에 표시되는 실행 화면을 캡쳐하는 화면 캡쳐 모듈; 및
상기 사용자 입력 이벤트 및 캡쳐된 화면 정보를 포함하는 스크립트 파일을 생성하고, 상기 생성된 스크립트 파일을 검증장치로 전송하는 스크립트 파일 처리모듈을 포함하는 것을 특징으로 하는 애플리케이션 성능 테스트를 위한 시스템.According to claim 2,
The test tool operation unit is an application module that applies a user input event transmitted from the input unit to the currently running application;
A screen capture module for capturing an execution screen displayed on the output unit at predetermined time intervals; And
And a script file processing module for generating a script file including the user input event and captured screen information and transmitting the generated script file to a verification device. 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 검증 장치가 애플리케이션 성능 테스트를 위한 방법에 있어서,
스크립트 파일을 실행코드로 변환한 후 상기 실행코드를 실행하면서 상기 실행코드에 포함된 사용자 입력 이벤트를 현재 실행중인 애플리케이션에 적용한 단말 장치에서, 상기 단말 장치의 출력부에 표시되는 실행화면을 기 설정된 일정 시간 간격으로 캡쳐하되, 상기 사용자 입력 이벤트의 적용 시간과 상기 실행화면의 캡쳐 시간이 동기화되도록 제어하면서 상기 실행 화면을 캡쳐하여 생성한 캡쳐된 화면과 상기 캡쳐된 화면의 수를 포함하는 캡쳐 화면정보를 상기 단말장치로부터 수신하는 단계;
상기 수신된 캡쳐 화면정보에 포함된 캡쳐 화면 수를 기 설정된 기준 화면 수와 비교하는 단계;
상기 비교하는 단계의 비교결과 화면 수가 동일하지 않고 상기 캡쳐 화면 수가 상기 기준 화면 수보다 많은 경우 상기 단말 장치의 성능이 느리다고 판단하는 단계;
상기 비교결과 화면 수가 동일한 경우 상기 캡쳐 화면정보를 기 설정된 기준 화면정보와 비교하여 일치율을 구하는 단계; 및
상기 구해진 일치율이 기준 일치율 이상인 경우 상기 단말 장치의 성능을 성능 우수로 판단하고, 기준 일치율 이상이 아닌 경우 상기 단말 장치의 성능을 성능 저하로 판단하는 단계;
를 포함하는 애플리케이션 성능 테스트를 위한 방법.In a method for a verification device to test application performance,
In a terminal device that applies a user input event included in the execution code to an application currently being executed while executing the execution code after converting a script file into execution code, an execution screen displayed on an output of the terminal device is set in a predetermined schedule. Captured at a time interval, while capturing the execution screen while capturing the execution screen while controlling so that the application time of the user input event and the execution time of the execution screen are synchronized, capture screen information including the number of the captured screen and the captured screen information. Receiving from the terminal device;
Comparing the number of capture screens included in the received capture screen information with a preset number of reference screens;
Determining that the performance of the terminal device is slow when the number of screens is not the same as the result of the comparing step and the number of captured screens is greater than the number of reference screens;
If the number of screens in the comparison result is the same, comparing the captured screen information with preset reference screen information to obtain a matching rate; And
Determining the performance of the terminal device as excellent performance when the obtained matching rate is greater than or equal to the reference matching rate, and determining performance of the terminal device as deteriorating performance when not equal to or greater than the reference matching rate;
Method for testing application performance, including. 삭제delete ◈청구항 11은(는) 설정등록료 납부시 포기되었습니다.◈◈ Claim 11 was abandoned when payment of the set registration fee was made.◈ 제 9항에 따른 애플리케이션 성능 테스트를 위한 방법을 실행하기 위한 프로그램이 수록된 컴퓨터로 판독 가능한 기록 매체.A computer-readable recording medium containing a program for executing a method for testing application performance according to claim 9. 삭제delete 삭제delete
KR1020130115384A 2013-09-27 2013-09-27 System, terminal device, verification apparatus, method and computer-readable medium for testing application performance KR102106618B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130115384A KR102106618B1 (en) 2013-09-27 2013-09-27 System, terminal device, verification apparatus, method and computer-readable medium for testing application performance

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130115384A KR102106618B1 (en) 2013-09-27 2013-09-27 System, terminal device, verification apparatus, method and computer-readable medium for testing application performance

Publications (2)

Publication Number Publication Date
KR20150035151A KR20150035151A (en) 2015-04-06
KR102106618B1 true KR102106618B1 (en) 2020-05-04

Family

ID=53030200

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130115384A KR102106618B1 (en) 2013-09-27 2013-09-27 System, terminal device, verification apparatus, method and computer-readable medium for testing application performance

Country Status (1)

Country Link
KR (1) KR102106618B1 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10599631B2 (en) * 2015-11-23 2020-03-24 Rohde & Schwarz Gmbh & Co. Kg Logging system and method for logging
WO2018097345A1 (en) * 2016-11-23 2018-05-31 주식회사 비디 Distributed computing-based application object analysis method, application object analysis server for performing same, and recording medium for storing same
KR102566016B1 (en) * 2020-08-21 2023-08-09 조윤호 Automatic device control system for lighting control and crime prevention
KR102676784B1 (en) * 2021-11-15 2024-06-20 라인 야후 가부시키가이샤 Method and system for evaluating service performance perceived by user

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101199485B1 (en) 2008-12-01 2012-11-09 한국전자통신연구원 Method and apparatus for testing online performance on client/server
KR101136854B1 (en) * 2010-07-06 2012-04-20 주식회사 엘지유플러스 Heterogeneous applications sharing system and method
KR101792864B1 (en) * 2011-03-09 2017-11-01 주식회사 케이티 System and Method for verifying application
KR20120121950A (en) * 2011-04-28 2012-11-07 (주)아이엔에스랩 Application Graphic User Interface Test Automation System and Method Thereof
KR101399061B1 (en) * 2011-05-13 2014-05-28 부산대학교 산학협력단 Apparatus and method for determining screen equivalency to test compatibility

Also Published As

Publication number Publication date
KR20150035151A (en) 2015-04-06

Similar Documents

Publication Publication Date Title
CN108959068B (en) Software interface testing method, device and storage medium
US10318409B2 (en) Application development environment for portable electronic devices
US9342237B2 (en) Automated testing of gesture-based applications
CN107045508B (en) Application program processing method and device
US20110191787A1 (en) System and method for providing sensor data from embedded device to software development environment
KR101731293B1 (en) Mobile terminal test system and mobile terminal test method using the system
KR102106618B1 (en) System, terminal device, verification apparatus, method and computer-readable medium for testing application performance
US20170322637A1 (en) Mouse action capture and replay system and method, recording medium, and program product
CN111858318B (en) Response time testing method, device, equipment and computer storage medium
US20140258989A1 (en) Method and system for automating a scene-based test
US20220107882A1 (en) Rendering engine component abstraction system
US20130293486A1 (en) Touch-based remote control
JP2018026815A (en) Video call quality measurement method and system
US10135684B2 (en) Differential staging of devices in bulk enrollment
TW201435364A (en) Remote device automation using a device services bridge
KR20150048365A (en) System and method for verifying application
CN107391354B (en) Method and system for automatically monitoring terminal performance and storage device
JP6357843B2 (en) Application inspection system, application inspection apparatus, and application inspection program
KR101966423B1 (en) Method for image matching and apparatus for executing the method
JP5266416B1 (en) Test system and test program
CN104461904A (en) Method and device for testing mobile terminal
CN111435328A (en) Application testing method and device, electronic equipment and readable storage medium
KR102000342B1 (en) User terminal, display monitoring method, and computer readable recording medium
CN115543714B (en) Remote desktop delay detection method and device, electronic equipment and system
KR20150027431A (en) Event expression apparatus and method for security verification of mobile application

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right