KR102481527B1 - Apparatus and method for test automation service - Google Patents

Apparatus and method for test automation service Download PDF

Info

Publication number
KR102481527B1
KR102481527B1 KR1020200137889A KR20200137889A KR102481527B1 KR 102481527 B1 KR102481527 B1 KR 102481527B1 KR 1020200137889 A KR1020200137889 A KR 1020200137889A KR 20200137889 A KR20200137889 A KR 20200137889A KR 102481527 B1 KR102481527 B1 KR 102481527B1
Authority
KR
South Korea
Prior art keywords
test
actions
report
providing
results
Prior art date
Application number
KR1020200137889A
Other languages
Korean (ko)
Other versions
KR20220053432A (en
Inventor
김경문
김기범
김문기
김종원
오현석
윤서현
이재영
홍상영
황연택
Original Assignee
주식회사 엔씨소프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엔씨소프트 filed Critical 주식회사 엔씨소프트
Priority to KR1020200137889A priority Critical patent/KR102481527B1/en
Publication of KR20220053432A publication Critical patent/KR20220053432A/en
Application granted granted Critical
Publication of KR102481527B1 publication Critical patent/KR102481527B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3668Software testing
    • G06F11/3696Methods or tools to render software testable
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/362Software debugging
    • G06F11/3636Software debugging by tracing the execution of the program
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3668Software testing
    • G06F11/3672Test management
    • G06F11/3688Test management for test execution, e.g. scheduling of test suites
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3668Software testing
    • G06F11/3672Test management
    • G06F11/3692Test management for test results analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

테스트 자동화 서비스 장치 및 방법이 개시된다. 일 실시예에 따른 테스트 자동화 서비스 방법은 사용자에게 하나 이상의 테스트 스크립트의 목록을 포함하는 테스트 옵션을 제공하는 동작, 테스트 옵션에 대한 사용자의 선택에 기초하여, 하나 이상의 테스트 스크립트 중 적어도 하나를 획득하는 동작, 테스트 대상 단말과 연결된 서버에 획득한 적어도 하나의 테스트 스크립트를 포함하는 테스트 요청을 전송하는 동작, 획득한 적어도 하나의 테스트 스크립트에 따라 테스트 대상 단말에서 수행된 하나 이상의 액션에 대한 테스트 결과를 획득하는 동작 및 사용자에게 하나 이상의 액션 중 적어도 일부의 액션에 대한 수행 결과를 포함하는 리포트를 제공하는 동작을 포함한다.A test automation service apparatus and method are disclosed. A test automation service method according to an embodiment includes an operation of providing a test option including a list of one or more test scripts to a user, and an operation of acquiring at least one of one or more test scripts based on a user's selection of the test option. , Transmitting a test request including at least one acquired test script to a server connected to the terminal under test, and acquiring test results for one or more actions performed in the terminal under test according to the acquired at least one test script. and an operation of providing a report including execution results of at least some of the one or more actions to the user.

Description

테스트 자동화 서비스 장치 및 방법{APPARATUS AND METHOD FOR TEST AUTOMATION SERVICE}Test automation service device and method {APPARATUS AND METHOD FOR TEST AUTOMATION SERVICE}

개시되는 실시예들은 테스트 자동화 서비스를 제공하는 기술에 관한 것이다.The disclosed embodiments relate to technology for providing test automation services.

온라인 게임을 비롯한 대부분의 소프트웨어들은 수많은 사용자들에게 배포 및 이용되기 때문에, 사용자들의 다양한 요구를 충족시킬 수 있도록 우수한 품질로 제작되어야 한다.Since most software, including online games, is distributed and used by a large number of users, it must be produced with excellent quality to meet the various needs of users.

이를 위해, 소프트웨어를 배포하거나 소프트웨어를 배포한 이후 새 버전(version)을 업데이트하기 전에, 기능성, 신뢰성, 사용성, 효율성, 유지보수성, 이식성 등 여러 품질 특성의 측면에서 소프트웨어를 테스트할 필요가 있다.To this end, before distributing the software or updating a new version after distributing the software, it is necessary to test the software in terms of various quality characteristics such as functionality, reliability, usability, efficiency, maintainability, and portability.

그러나, 종래에는 소프트웨어를 테스트하더라도 테스트 결과에 대한 로그를 그대로 제공하거나 단순히 테스트의 성공 여부에 대한 데이터만을 제공하는 데 그쳐, 사용자가 직관적으로 상세한 테스트 결과를 파악하기 쉽지 않다는 한계가 있었다.However, in the prior art, even if the software is tested, a log of test results is provided as it is or only data on whether the test is successful or not is simply provided, and thus it is difficult for a user to intuitively grasp detailed test results.

대한민국 등록특허공보 제10-1196522호(2012.10.25. 등록)Republic of Korea Patent Registration No. 10-1196522 (registered on October 25, 2012)

개시되는 실시예들은 사용자에게 보다 정제된 소프트웨어 테스트 결과를 제공하기 위한 것이다.The disclosed embodiments are intended to provide users with more refined software test results.

개시되는 일 실시예에 따른 테스트 자동화 서비스 방법은, 사용자에게 하나 이상의 테스트 스크립트의 목록을 포함하는 테스트 옵션을 제공하는 동작, 테스트 옵션에 대한 사용자의 선택에 기초하여, 하나 이상의 테스트 스크립트 중 적어도 하나를 획득하는 동작, 테스트 대상 단말과 연결된 서버에 획득한 적어도 하나의 테스트 스크립트를 포함하는 테스트 요청을 전송하는 동작, 획득한 적어도 하나의 테스트 스크립트에 따라 테스트 대상 단말에서 수행된 하나 이상의 액션에 대한 테스트 결과를 획득하는 동작 및 사용자에게 하나 이상의 액션 중 적어도 일부의 액션에 대한 수행 결과를 포함하는 리포트를 제공하는 동작을 포함한다.A test automation service method according to an embodiment disclosed herein includes an operation of providing a test option including a list of one or more test scripts to a user, and at least one of the one or more test scripts based on the user's selection of the test option. An operation of acquiring, an operation of transmitting a test request including at least one acquired test script to a server connected to the terminal under test, and a test result for one or more actions performed in the terminal under test according to the acquired at least one test script. and an operation of providing a report including performance results of at least some of one or more actions to the user.

테스트 옵션은, 하나 이상의 테스트 스크립트 별 액션의 목록을 더 포함할 수 있고, 리포트를 제공하는 동작은, 하나 이상의 테스트 스크립트 별 액션의 목록 중 사용자가 선택한 적어도 일부 액션에 대한 수행 결과를 포함하는 리포트를 제공할 수 있다.The test option may further include a list of actions by one or more test scripts, and the operation of providing a report includes a report including execution results of at least some actions selected by the user from the list of actions by one or more test scripts. can provide

리포트를 제공하는 동작은, 하나 이상의 액션 중 사전 태깅(Tagging)된 액션에 대한 수행 결과를 포함하는 리포트를 제공할 수 있다.An operation of providing a report may provide a report including a result of performing a pre-tagged action among one or more actions.

리포트를 제공하는 동작은, 기 설정된 분류 기준에 기초하여 적어도 일부의 액션에 대한 수행 결과를 복수의 타입 중 어느 하나로 분류하는 동작 및 분류 결과를 포함하는 리포트를 기 정의된 테이블 형태로 제공하는 동작을 포함할 수 있다.An operation of providing a report includes an operation of classifying performance results of at least some actions into one of a plurality of types based on a preset classification criterion and an operation of providing a report including the classification results in a predefined table form. can include

분류하는 동작은, 적어도 일부의 액션이 정상적으로 수행되고, 적어도 일부의 액션에 대한 수행 결과가 예상 결과와 일치하는 경우, 적어도 일부의 액션에 대한 수행 결과를 제1 유형으로 분류하는 동작, 적어도 일부의 액션이 정상적으로 수행되고, 적어도 일부의 액션에 대한 수행 결과가 예상 결과와 상이한 경우, 적어도 일부의 액션에 대한 수행 결과를 제2 유형으로 분류하는 동작, 내부 요인에 의해 적어도 일부의 액션의 수행이 불가하다고 판단된 경우, 적어도 일부의 액션에 대한 수행 결과를 제3 유형으로 분류하는 동작 및 외부 요인에 의해 적어도 일부의 액션의 수행이 비정상적으로 중단된 경우, 적어도 일부의 액션에 대한 수행 결과를 제4 유형으로 분류하는 동작을 포함할 수 있다.The classifying operation may include, when at least some of the actions are normally performed and the results of performing the at least some of the actions match expected results, classifying the results of performing at least some of the actions into a first type; When the actions are normally performed and the results of performing at least some of the actions are different from the expected results, the results of performing at least some of the actions are classified into the second type, and at least some of the actions cannot be performed due to internal factors. If it is determined that the performance of at least some of the actions is classified as a third type, and if the performance of at least some of the actions is abnormally interrupted by an external factor, the performance of at least some of the actions is classified as a fourth type. It may include an operation to classify by type.

리포트를 제공하는 동작은, 적어도 일부의 액션에 대한 수행 성공률을 더 포함하는 리포트를 제공할 수 있다.The operation of providing a report may provide a report further including an execution success rate for at least some of the actions.

리포트를 제공하는 동작은, 획득한 적어도 하나의 테스트 스크립트에 따른 테스트의 수행 중 테스트 대상 단말의 화면에 출력되는 적어도 일부의 이미지 또는 동영상을 더 포함하는 리포트를 제공할 수 있다.The operation of providing a report may provide a report further including at least some images or videos output on the screen of the terminal under test while the test according to the at least one acquired test script is performed.

개시되는 일 실시예에 따른 테스트 자동화 서비스 장치는, 하나 이상의 프로세서 및 하나 이상의 프로세서에 의해 실행되도록 구성되는 하나 이상의 프로그램을 저장하는 메모리를 포함하는 장치로서, 프로그램은, 사용자에게 하나 이상의 테스트 스크립트의 목록을 포함하는 테스트 옵션을 제공하는 동작, 테스트 옵션에 대한 사용자의 선택에 기초하여, 하나 이상의 테스트 스크립트 중 적어도 하나를 획득하는 동작, 테스트 대상 단말과 연결된 서버에 획득한 적어도 하나의 테스트 스크립트를 포함하는 테스트 요청을 전송하는 동작, 획득한 적어도 하나의 테스트 스크립트에 따라 테스트 대상 단말에서 수행된 하나 이상의 액션에 대한 테스트 결과를 획득하는 동작 및 사용자에게 하나 이상의 액션 중 적어도 일부의 액션에 대한 수행 결과를 포함하는 리포트를 제공하는 동작을 실행하기 위한 명령어들을 포함한다.A test automation service apparatus according to an embodiment disclosed herein is an apparatus including one or more processors and a memory storing one or more programs configured to be executed by the one or more processors, the program providing a user with a list of one or more test scripts. An operation of providing a test option that includes, an operation of acquiring at least one of one or more test scripts based on a user's selection of the test option, and including at least one test script obtained from a server connected to a terminal under test. An operation of transmitting a test request, an operation of acquiring test results for one or more actions performed in the terminal under test according to the acquired at least one test script, and an operation of performing results of at least some of the one or more actions to the user. It contains instructions for executing an operation that provides a report that

테스트 옵션은, 하나 이상의 테스트 스크립트 별 액션의 목록을 더 포함할 수 있고, 리포트를 제공하는 동작은, 하나 이상의 테스트 스크립트 별 액션의 목록 중 사용자가 선택한 적어도 일부 액션에 대한 수행 결과를 포함하는 리포트를 제공할 수 있다.The test option may further include a list of actions by one or more test scripts, and the operation of providing a report includes a report including execution results of at least some actions selected by the user from the list of actions by one or more test scripts. can provide

리포트를 제공하는 동작은, 하나 이상의 액션 중 사전 태깅(Tagging)된 액션에 대한 수행 결과를 포함하는 리포트를 제공할 수 있다.An operation of providing a report may provide a report including a result of performing a pre-tagged action among one or more actions.

리포트를 제공하는 동작은, 기 설정된 분류 기준에 기초하여 적어도 일부의 액션에 대한 수행 결과를 복수의 타입 중 어느 하나로 분류하는 동작 및 분류 결과를 포함하는 리포트를 기 정의된 테이블 형태로 제공하는 동작을 포함할 수 있다.An operation of providing a report includes an operation of classifying performance results of at least some actions into one of a plurality of types based on a preset classification criterion and an operation of providing a report including the classification results in a predefined table form. can include

분류하는 동작은, 적어도 일부의 액션이 정상적으로 수행되고, 적어도 일부의 액션에 대한 수행 결과가 예상 결과와 일치하는 경우, 적어도 일부의 액션에 대한 수행 결과를 제1 유형으로 분류하는 동작, 적어도 일부의 액션이 정상적으로 수행되고, 적어도 일부의 액션에 대한 수행 결과가 예상 결과와 상이한 경우, 적어도 일부의 액션에 대한 수행 결과를 제2 유형으로 분류하는 동작, 내부 요인에 의해 적어도 일부의 액션의 수행이 불가하다고 판단된 경우, 적어도 일부의 액션에 대한 수행 결과를 제3 유형으로 분류하는 동작 및 외부 요인에 의해 적어도 일부의 액션의 수행이 비정상적으로 중단된 경우, 적어도 일부의 액션에 대한 수행 결과를 제4 유형으로 분류하는 동작을 포함할 수 있다.The classifying operation may include, when at least some of the actions are normally performed and the results of performing the at least some of the actions match expected results, classifying the results of performing at least some of the actions into a first type; When the actions are normally performed and the results of performing at least some of the actions are different from the expected results, the results of performing at least some of the actions are classified into the second type, and at least some of the actions cannot be performed due to internal factors. If it is determined that the performance of at least some of the actions is classified as a third type, and if the performance of at least some of the actions is abnormally interrupted by an external factor, the performance of at least some of the actions is classified as a fourth type. It may include an operation to classify by type.

리포트를 제공하는 동작은, 적어도 일부의 액션에 대한 수행 성공률을 더 포함하는 리포트를 제공할 수 있다.The operation of providing a report may provide a report further including an execution success rate for at least some of the actions.

리포트를 제공하는 동작은, 획득한 적어도 하나의 테스트 스크립트에 따른 테스트의 수행 중 테스트 대상 단말의 화면에 출력되는 적어도 일부의 이미지 또는 동영상을 더 포함하는 리포트를 제공할 수 있다.The operation of providing a report may provide a report further including at least some images or videos output on the screen of the terminal under test while the test according to the at least one acquired test script is performed.

개시되는 실시예들에 따르면, 테스트 스크립트에 따라 수행된 액션 중 일부 액션에 대한 수행 결과를 선택적으로 제공함으로써, 사용자로 하여금 의미 있는 테스트 결과에 집중하도록 할 수 있다.According to the disclosed embodiments, by selectively providing performance results for some of the actions performed according to the test script, it is possible to allow the user to focus on meaningful test results.

또한 개시되는 실시예들에 따르면, 액션의 수행 결과를 여러 타입으로 분류하여 테이블 형태로 제공함으로써, 사용자로 하여금 테스트 결과를 직관적이면서도 상세하게 파악하도록 할 수 있다.In addition, according to the disclosed embodiments, by classifying action results into various types and providing them in a table form, it is possible for a user to grasp test results intuitively and in detail.

도 1은 일 실시예에 따른 테스트 자동화 서비스 시스템을 설명하기 위한 블록도
도 2는 일 실시예에 따른 테스트 자동화 서비스 장치의 블록도
도 3은 일 실시예에 따른 테스트 자동화 서비스 화면을 나타낸 예시도
도 4는 일 실시예에 따른 리포트가 제공되는 화면을 나타낸 예시도
도 5는 다른 실시예에 따른 리포트가 제공되는 화면을 나타낸 예시도
도 6은 일 실시예에 따른 테스트 자동화 서비스 방법을 설명하기 위한 흐름도
도 7은 리포트를 제공하는 동작을 보다 상세하게 설명하기 위한 흐름도
도 8은 수행 결과를 분류하는 동작을 보다 상세하게 설명하기 위한 흐름도
도 9는 일 실시예에 따른 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
1 is a block diagram for explaining a test automation service system according to an embodiment
2 is a block diagram of a test automation service device according to an embodiment
3 is an exemplary view showing a test automation service screen according to an embodiment
4 is an exemplary view showing a screen on which a report is provided according to an embodiment;
5 is an exemplary view showing a screen on which a report is provided according to another embodiment;
6 is a flowchart for explaining a test automation service method according to an embodiment
7 is a flowchart for explaining an operation of providing a report in more detail;
8 is a flowchart for explaining in detail an operation of classifying performance results;
9 is a block diagram for illustrating and describing a computing environment including a computing device according to an exemplary embodiment;

이하, 도면을 참조하여 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 개시되는 실시예들은 이에 제한되지 않는다.Hereinafter, specific embodiments will be described with reference to the drawings. The detailed descriptions that follow are provided to provide a comprehensive understanding of the methods, devices and/or systems described herein. However, this is only an example and disclosed embodiments are not limited thereto.

실시예들을 설명함에 있어서, 관련된 공지기술에 대한 구체적인 설명이 개시되는 실시예들의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 개시되는 실시예들에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.In describing the embodiments, if it is determined that a detailed description of related known technologies may unnecessarily obscure the gist of the disclosed embodiments, the detailed description will be omitted. In addition, terms to be described later are terms defined in consideration of functions in the disclosed embodiments, which may vary according to intentions or customs of users or operators. Therefore, the definition should be made based on the contents throughout this specification. Terminology used in the detailed description is only for describing the embodiments and should in no way be limiting. Unless expressly used otherwise, singular forms of expression include plural forms. In this description, expressions such as "comprising" or "comprising" are intended to indicate any characteristic, number, step, operation, element, portion or combination thereof, one or more other than those described. It should not be construed to exclude the existence or possibility of any other feature, number, step, operation, element, part or combination thereof.

도 1은 일 실시예에 따른 테스트 자동화 서비스 시스템을 설명하기 위한 블록도이다.1 is a block diagram illustrating a test automation service system according to an exemplary embodiment.

도 1을 참조하면, 일 실시예에 따른 테스트 자동화 서비스 시스템은 제1 서버(1), 제2 서버(2), 제3 서버(3), 테스트 후보 단말(4) 및 테스트 자동화 서비스 장치(100)를 포함한다.Referring to FIG. 1 , a test automation service system according to an embodiment includes a first server 1, a second server 2, a third server 3, a test candidate terminal 4, and a test automation service device 100. ).

한편, 실시예에 따라서는 도시된 테스트 자동화 서비스 장치(100)가 이하 도 3에 도시된 테스트 자동화 서비스 장치(200)로 대체될 수도 있다.Meanwhile, depending on the embodiment, the illustrated test automation service device 100 may be replaced with the test automation service device 200 illustrated in FIG. 3 below.

이하의 실시예들에서, '테스트'는 소프트웨어가 일정 수준의 품질을 가질 수 있도록 소프트웨어의 개발 단계, 양산 단계 또는 배포 후 단계에서 검수하는 행위를 의미한다. 즉 다시 말하면, '테스트'는 소프트웨어에 대한 품질 보증(QA; Quality Assurance) 활동 및 품질 관리(QC; Quality Control) 활동을 포함하는 개념이다.In the following embodiments, 'testing' means an act of inspecting software in a development stage, a mass production stage, or a stage after distribution so that the software can have a certain level of quality. In other words, 'testing' is a concept including Quality Assurance (QA) activities and Quality Control (QC) activities for software.

구체적으로, '테스트'는 소프트웨어에 잔존한 결함을 발견하거나, 비효율적으로 구성된 부분을 개선하거나, 소프트웨어가 소프트웨어 개발 명세서 상의 요구사항을 준수하였는지 확인하거나, 사용자의 요구를 충족하는지 확인하거나, 기 설정된 구동 환경 하에서 적절히 동작하는지 확인하는 등의 다양한 목적을 갖고 수행될 수 있다.Specifically, 'testing' means finding defects remaining in the software, improving inefficiently configured parts, verifying that the software complies with the requirements of the software development specification, verifying that it meets the user's needs, or pre-set operating conditions. It can be performed for a variety of purposes, such as ensuring that it operates properly under the environment.

제1 서버(1) 및 제2 서버(2)는 소프트웨어 테스트를 수행하기 위해 필요한 파일들이 등록되는 장치로서, 테스트 자동화 서비스 장치(100)로부터 특정 파일들에 대한 접근 요청을 수신하여 테스트 자동화 서비스 장치(100)로 요청 받은 파일들의 원본 또는 사본을 송신할 수 있다.The first server 1 and the second server 2 are devices in which files necessary for performing software tests are registered, and the test automation service device receives a request for access to specific files from the test automation service device 100. Originals or copies of the requested files may be transmitted to (100).

한편, 도 1에서 제1 서버(1) 및 제2 서버(2)는 따로 도시되어 있으며, 이는 각 서버에 등록되는 파일의 종류가 상이하다는 점에서 각 서버를 기능적으로 구분하기 위한 것이다. 즉, 제1 서버(1) 및 제2 서버(2)는 실제로 서로 다른 컴퓨팅 장치일 수 있으나, 반드시 이에 한정되는 것은 아니며, 동일한 컴퓨팅 장치를 기능적으로 구분한 것에 불과할 수도 있다.Meanwhile, in FIG. 1, the first server 1 and the second server 2 are shown separately, and this is to functionally distinguish each server in that the types of files registered in each server are different. That is, the first server 1 and the second server 2 may actually be different computing devices, but are not necessarily limited thereto, and may be merely functionally divided identical computing devices.

제3 서버(3)는 테스트 후보 단말(4)과 연결되어 테스트 자동화 서비스 장치(100)로부터 받은 요청에 따라 테스트 후보 단말(4) 중 적어도 일부의 테스트 대상 단말에 소프트웨어 테스트 수행을 위한 정보를 송신하는 장치이다. 즉, 이하의 실시예들에서 '테스트 대상 단말과 연결된 서버'는 제3 서버(3)를 지칭하는 것으로 해석한다.The third server 3 is connected to the test candidate terminals 4 and transmits information for performing a software test to at least some test target terminals among the test candidate terminals 4 according to a request received from the test automation service device 100. It is a device that That is, in the following embodiments, a 'server connected to a terminal under test' is interpreted as referring to the third server 3 .

구체적으로, 제3 서버(3)는 사용자가 테스트하고자 하는 소프트웨어를 테스트 후보 단말(4)에 제공하는 서버로서, 예를 들어 사용자가 A라는 특정 게임에 대해 테스트하고자 하는 경우, 제3 서버(3)는 테스트 후보 단말(4)에 게임 A를 서비스하는 서버를 의미한다.Specifically, the third server 3 is a server that provides the test candidate terminal 4 with the software that the user wants to test. For example, when the user wants to test a specific game A, the third server 3 ) denotes a server that serves the game A to the test candidate terminal 4.

이때, '게임'이란 한 명 또는 그 이상의 게이머들이 게이밍 디바이스에 탑재되거나 연결된 입력장치를 이용하여 즐길 수 있는 소프트웨어를 의미한다. 통상 플레이어 캐릭터를 직접 조작하거나, 게임 내 오브젝트의 움직임을 조작하는 등의 방식으로 진행되며, 롤플레잉, 어드벤쳐, 아케이드 등으로 장르가 구분되기도 한다.In this case, 'game' refers to software that one or more gamers can enjoy using an input device mounted on or connected to a gaming device. In general, it proceeds in such a way as directly manipulating a player character or manipulating the movement of an object in a game, and genres such as role-playing, adventure, and arcade are sometimes divided.

또한, '게이밍 디바이스'는 게임 소프트웨어를 실행하되 입력장치를 통한 사용자의 입력에 따라 연산을 수행하며, 출력장치를 통해 결과를 출력하는 하드웨어로서, 예를 들어 스마트폰(Smart Phone), 태블릿 PC(Tablet PC), 스마트 워치(Smart Watch), 스마트 밴드(Smart Band) 또는 개인용 컴퓨터(Personal Computer) 등의 형태일 수 있다. 이외에도 상술한 정의를 만족하는 장치라면 게이밍 디바이스에 속하는 것으로 해석된다.In addition, a 'gaming device' is hardware that executes game software, performs calculations according to user input through an input device, and outputs results through an output device, such as a smart phone or tablet PC ( It may be in the form of a tablet PC), a smart watch, a smart band, or a personal computer. In addition, any device that satisfies the above definition is interpreted as belonging to a gaming device.

테스트 후보 단말(4)은 제3 서버(3)와 연결된 단말로서, 테스트 대상 단말을 포함하고, 테스트 대상 단말은 테스트 자동화 서비스 장치(100)로부터 제3 서버(3)로 전송되는 요청에 따라 자동화된 소프트웨어 테스트가 수행되는 장치를 의미한다.The test candidate terminal 4 is a terminal connected to the third server 3 and includes a test target terminal, and the test target terminal is automated according to a request transmitted from the test automation service device 100 to the third server 3. means the device on which the tested software tests are performed.

실효성 있는 소프트웨어 테스트를 위해서는, 테스트 대상 단말은 테스트하고자 하는 소프트웨어를 지원 가능한 최대한 많은 종류의 단말을 포함해야 한다. 예를 들어, B라는 모바일 게임을 테스트하고자 하는 경우, 테스트 대상 단말은 모바일 게임 B를 지원하는 최대한 많은 종류의 모바일 디바이스를 포함해야 한다.For an effective software test, a test target terminal must include as many types of terminals as possible to support the software to be tested. For example, if a mobile game called B is to be tested, a terminal under test should include as many types of mobile devices as possible supporting mobile game B.

도 1에서는 예시적으로 테스트 후보 단말(4)을 총 N개의 단말(4-1, 4-2, ..., 4-N)들의 집합으로 도시하였으나, 이는 하나 이상의 단말이 제3 서버(3)에 연결될 수 있음을 나타낸 것이며, 테스트 후보 단말(4)은 제3 서버(3)의 소켓(socket) 또는 트래픽(traffic) 등을 고려하여 기 설정된 한도 내에서 연결될 수 있음에 유의해야 한다.In FIG. 1 exemplarily, the test candidate terminal 4 is shown as a set of N terminals 4-1, 4-2, ..., 4-N, but this indicates that one or more terminals are configured by a third server 3 ), and it should be noted that the test candidate terminal 4 can be connected within a preset limit in consideration of the socket or traffic of the third server 3.

도 1을 참조하여 상술한 실시예들에서, 제1 서버(1), 제2 서버(2), 제3 서버(3), 테스트 후보 단말(4) 및 테스트 자동화 서비스 장치(100)가 주고받는 일련의 정보들은 통신 네트워크를 통해 전송될 수 있으며, 이때 통신 네트워크는 인터넷, 하나 이상의 로컬 영역 네트워크(local area networks), 광역 네트워크(wire area networks), 셀룰러 네트워크, 모바일 네트워크, 그 밖에 다른 종류의 네트워크들, 또는 이러한 네트워크들의 조합을 포함할 수 있다.In the embodiments described above with reference to FIG. 1, the first server 1, the second server 2, the third server 3, the test candidate terminal 4, and the test automation service device 100 exchange and receive. A set of information can be transmitted through a communication network, such as the Internet, one or more local area networks, wire area networks, cellular networks, mobile networks, and other types of networks. , or a combination of these networks.

도 2는 일 실시예에 따른 테스트 자동화 서비스 장치(100)의 블록도이다.2 is a block diagram of a test automation service device 100 according to an embodiment.

도시된 바와 같이, 일 실시예에 따른 테스트 자동화 서비스 장치(100)는 테스트 옵션 제공부(110), 획득부(120), 테스트 요청부(130) 및 리포트 제공부(140)를 포함한다.As shown, the test automation service device 100 according to an embodiment includes a test option providing unit 110, an acquiring unit 120, a test requesting unit 130, and a report providing unit 140.

테스트 옵션 제공부(110)는 사용자에게 하나 이상의 테스트 스크립트의 목록을 포함하는 테스트 옵션을 제공한다.The test option providing unit 110 provides a test option including a list of one or more test scripts to the user.

이하의 실시예들에서, '테스트 스크립트'는 개발자가 소프트웨어 테스트를 수행하기 위해 필요한 하나 이상의 액션(action)을 코드 형태로 기술한 파일을 의미한다. 이하에서는 설명의 편의를 위해, 테스트 스크립트를 기술한 코드를 테스트 코드로 지칭하도록 한다.In the following embodiments, a 'test script' refers to a file in which one or more actions necessary for a developer to perform a software test are described in code form. Hereinafter, for convenience of explanation, the code describing the test script is referred to as a test code.

아울러, 이하의 실시예들에서, '테스트 옵션'은 소프트웨어 테스트와 관련하여 사용자들이 테스트 스크립트나 그에 따른 액션 등을 선택할 수 있도록 사용자에게 제공되는 선택 가능한 세부 사항을 의미한다.In addition, in the following embodiments, a 'test option' refers to selectable details provided to users so that they can select a test script or a corresponding action in relation to a software test.

일 실시예에 따르면, 테스트 옵션은 하나 이상의 테스트 스크립트 별 액션의 목록을 더 포함할 수 있다.According to one embodiment, the test option may further include a list of actions for each test script.

획득부(120)는 테스트 옵션에 대한 사용자의 선택에 기초하여, 하나 이상의 테스트 스크립트 중 적어도 하나를 획득한다.The acquiring unit 120 acquires at least one of one or more test scripts based on the user's selection of the test option.

테스트 요청부(130)는 테스트 대상 단말과 연결된 서버에 획득부(120)가 획득한 적어도 하나의 테스트 스크립트를 포함하는 테스트 요청을 전송한다.The test requester 130 transmits a test request including at least one test script acquired by the acquisition unit 120 to a server connected to the terminal under test.

이후, 획득부(120)는 획득한 적어도 하나의 테스트 스크립트에 따라 테스트 대상 단말에서 수행된 하나 이상의 액션에 대한 테스트 결과를 획득한다.Then, the acquisition unit 120 acquires test results for one or more actions performed in the terminal under test according to the acquired at least one test script.

리포트 제공부(140)는 획득부(120)가 획득한 적어도 하나의 테스트 스크립트에 따라 테스트 대상 단말에서 수행된 하나 이상의 액션 중, 적어도 일부의 액션(이하에서, '리포트 대상 액션'으로 지칭한다)에 대한 수행 결과를 포함하는 리포트를 사용자에게 제공한다.The report providing unit 140 includes at least some of the one or more actions performed in the test target terminal according to the at least one test script acquired by the acquisition unit 120 (hereinafter, referred to as 'report target action'). A report containing the results of the execution is provided to the user.

일 실시예에 따르면, 테스트 옵션 제공부(110)가 하나 이상의 테스트 스크립트 별 액션의 목록을 더 포함하는 테스트 옵션을 사용자에게 제공한 경우, 리포트 제공부(140)는 제공된 액션의 목록 중 사용자가 선택한 적어도 일부 액션에 대한 수행 결과를 포함하는 리포트를 제공할 수 있다.According to one embodiment, when the test option providing unit 110 provides a test option further including a list of actions for each test script to the user, the report providing unit 140 selects the user from the list of provided actions. A report including execution results of at least some actions may be provided.

일 실시예에 따르면, 리포트 제공부(140)는 테스트 대상 단말에서 수행된 하나 이상의 액션 중 사전 태깅(Tagging)된 액션에 대한 수행 결과를 포함하는 리포트를 제공할 수 있다.According to an embodiment, the report providing unit 140 may provide a report including performance results of pre-tagged actions among one or more actions performed in the terminal under test.

일 실시예에 따르면, 리포트 제공부(140)는 리포트 대상 액션에 대한 수행 결과를 기 설정된 분류 기준에 기초하여 복수의 타입 중 어느 하나로 분류할 수 있다.According to an embodiment, the report providing unit 140 may classify the execution result of the report target action into one of a plurality of types based on a preset classification criterion.

구체적으로, 리포트 제공부(140)는 수행 결과를 아래의 기준에 따라 제1 유형 내지 제4 유형 중 어느 하나로 분류할 수 있다.Specifically, the report providing unit 140 may classify the execution result into one of the first to fourth types according to the criteria below.

(1) 리포트 대상 액션이 정상적으로 수행되고, 수행 결과가 예상 결과와 일치하는 경우: 수행 결과를 제1 유형으로 분류(1) When the report target action is normally performed and the execution result matches the expected result: the execution result is classified as the first type

(2) 리포트 대상 액션이 정상적으로 수행되고, 수행 결과가 예상 결과와 상이한 경우: 수행 결과를 제2 유형으로 분류(2) When the action to be reported is normally performed and the execution result is different from the expected result: the execution result is classified as the second type

(3) 내부 요인에 의해 리포트 대상 액션의 수행이 불가하다고 판단된 경우: 수행 결과를 제3 유형으로 분류(3) If it is determined that the action to be reported is impossible to perform due to internal factors: the execution result is classified as the 3rd type

(4) 외부 요인에 의해 리포트 대상 액션의 수행이 비정상적으로 중단된 경우: 수행 결과를 제4 유형으로 분류(4) If the execution of the report target action is abnormally interrupted due to external factors: the execution result is classified as the 4th type

예를 들어, 리포트 제공부(140)는 사용자가 리포트 대상 액션의 수행 결과를 용이하게 인지할 수 있도록, 제1 유형을 'Pass'로, 제2 유형을 'Fail'로, 제3 유형을 'Skip'으로, 제4 유형을 'N/A'로 정의할 수 있다.For example, the report provider 140 sets the first type to 'Pass', the second type to 'Fail', and the third type to 'Pass' so that the user can easily recognize the result of performing the report target action. Skip', and the fourth type may be defined as 'N/A'.

일 실시예에 따르면, 리포트 제공부(140)는 분류 결과를 포함하는 리포트를 기 정의된 테이블 형태로 사용자에게 제공할 수 있다.According to an embodiment, the report providing unit 140 may provide a report including classification results to a user in the form of a predefined table.

구체적으로, 테스트 스크립트에 포함된 테스트 코드 중 적어도 일부는 리포트 대상 액션의 수행을 위한 테스트 코드인데, 이 중 일부는 분류 결과를 기 정의된 테이블 형태로 출력하기 위한 명령어를 포함하는 메소드(method)일 수 있다. 이에 따라, 위 조건을 만족하는 메소드가 호출될 경우 리포트 제공부(140)는 호출되는 메소드에 포함된 명령어에 따라 분류 결과를 테이블 형태로 출력할 수 있다.Specifically, at least some of the test codes included in the test scripts are test codes for performing report target actions, and some of them may be methods including commands for outputting classification results in a predefined table format. can Accordingly, when a method satisfying the above condition is called, the report providing unit 140 may output a classification result in a table form according to a command included in the called method.

보다 구체적으로, 테이블 형태로 제공되는 분류 결과가 어떤 리포트 대상 액션부터 어떤 리포트 대상 액션까지의 분류 결과인지는 상기 명령어에 따라 상이할 수 있다. 예를 들어, 테이블 형태로 제공되는 분류 결과는 하나의 테스트 스크립트 내에서 현재까지 수행된 모든 리포트 대상 액션에 대한 분류 결과일 수도 있으나, 상기 명령어에 따라서는 리포트로 제공된 적이 없는 리포트 대상 액션에 한정된 분류 결과일 수도 있다.More specifically, the classification result provided in the form of a table from which report target action to what report target action may be different according to the command. For example, the classification result provided in the form of a table may be a classification result of all report target actions performed so far in one test script, but classification limited to report target actions that have never been provided as a report according to the command. may be the result.

일 실시예에 따르면, 리포트 제공부(140)는 리포트 대상 액션에 대한 수행 성공률을 더 포함하는 리포트를 제공할 수 있다. 즉 다시 말하면, 리포트 제공부(140)가 제공하는 리포트는 테스트 대상 단말이 리포트 대상 액션을 수행하는 데 성공했는지 여부 외에도, 수행을 시도한 리포트 대상 액션 수 대비 수행에 성공한 리포트 대상 액션 수를 백분율로 나타낸 수행 성공률을 포함할 수 있다.According to an embodiment, the report providing unit 140 may provide a report further including an execution success rate for the report target action. In other words, the report provided by the report providing unit 140 represents the number of report target actions successfully performed compared to the number of report target actions attempted to be performed as a percentage, in addition to whether or not the test target terminal succeeded in performing the report target action. It can include performance success rate.

일 실시예에 따르면, 리포트 제공부(140)는 획득부(120)가 획득한 적어도 하나의 테스트 스크립트에 따른 테스트의 수행 중 테스트 대상 단말의 화면에 출력되는 적어도 일부의 이미지 또는 동영상을 더 포함하는 리포트를 제공할 수 있다.According to an embodiment, the report providing unit 140 further includes at least some images or videos output on the screen of the terminal to be tested during the execution of the test according to the at least one test script acquired by the acquisition unit 120. report can be provided.

구체적으로, 테스트 스크립트에 포함된 테스트 코드 중 적어도 일부는 이미지를 캡처(capture)하거나 기 설정된 구간의 동영상을 녹화하기 위한 명령어를 포함하는 메소드일 수 있고, 해당 메소드가 호출될 경우 리포트 제공부(140)는 해당 메소드에 의해 캡처되거나 녹화되는 이미지 또는 동영상을 리포트에 포함하여 사용자에게 제공할 수 있다.Specifically, at least some of the test codes included in the test script may be a method including a command for capturing an image or recording a video of a preset section, and when the corresponding method is called, the report providing unit (140 ) can provide the user with the image or video captured or recorded by the corresponding method included in the report.

이상의 도 2를 참조하여 설명한 실시예들과 관련하여, 이하의 도 4에서 후술하기로 한다.In relation to the embodiments described with reference to FIG. 2 above, it will be described later in FIG. 4 below.

도 3은 일 실시예에 따른 테스트 자동화 서비스 화면을 나타낸 예시도이다.3 is an exemplary view showing a test automation service screen according to an embodiment.

도 3을 참조하면, 화면 좌측에는 '테스트 옵션 편집 페이지'가, 화면 우측 상단에는 '빌드 등록 페이지'가, 화면 우측 하단에는 '테스트 스크립트 관리 페이지'가 도시된다.Referring to FIG. 3 , a 'test option editing page' is shown on the left side of the screen, a 'build registration page' is shown on the upper right corner of the screen, and a 'test script management page' is shown on the lower right corner of the screen.

먼저, '테스트 옵션 편집 페이지'는 테스트 옵션 제공부(110)를 통해 사용자에게 제공되는 그래픽 유저 인터페이스(GUI; Graphical User Interface)로서, '이름', '설명', '테스트 자원', '기기', '결과 수신자', '자동 실행' 등의 항목을 포함한다.First, the 'test option editing page' is a graphical user interface (GUI) provided to the user through the test option providing unit 110, and includes 'name', 'description', 'test resource', and 'device'. , 'result recipient', and 'automatic execution'.

'이름'은 소프트웨어 테스트를 구별하기 위해 사용자가 임의로 입력 가능한 항목이며, '설명'은 해당 소프트웨어 테스트에 대해 사용자가 주석(comment)을 기재하는 항목이다.'Name' is an item that can be arbitrarily entered by a user to distinguish a software test, and 'description' is an item in which a user writes a comment about a corresponding software test.

한편, '테스트 자원'은 소프트웨어 테스트의 수행에 사용될 파일 및 테스트 시나리오 등을 선택할 수 있는 항목이다.On the other hand, 'test resource' is an item for selecting files and test scenarios to be used for performing software tests.

구체적으로, 사용자는 안드로이드(Android) 운영체제 또는 iOS 운영체제 중 하나를 선택하여 해당 운영체제 하에서의 테스트 가상 환경을 선택할 수 있다. 이를 위해, '테스트 자원' 항목에는 안드로이드 운영체제 하의 테스트 가상 환경 파일의 목록을 제공하는 그래픽 객체(301)와, iOS 운영체제 하의 테스트 가상 환경 파일의 목록을 제공하는 그래픽 객체(302)가 포함된다.Specifically, the user may select one of the Android operating system and the iOS operating system to select a test virtual environment under the corresponding operating system. To this end, the 'test resource' item includes a graphic object 301 providing a list of test virtual environment files under the Android operating system and a graphic object 302 providing a list of test virtual environment files under the iOS operating system.

아울러, '테스트 자원' 항목에는 사용자가 원하는 테스트 시나리오를 선택할 수 있도록 기 정의된 하나 이상의 테스트 시나리오의 목록을 제공하는 그래픽 객체(303)가 포함된다.In addition, the 'test resource' item includes a graphic object 303 that provides a list of one or more predefined test scenarios so that the user can select a desired test scenario.

또한, 사용자는 제2 서버(2)에 등록된 테스트 스크립트 외에도, 자신이 원하는 테스트 스크립트를 직접 업로드하여 테스트 대상 단말에 적용되도록 할 수 있는데, 이를 위해 '테스트 자원' 항목에는 사용자가 클릭을 통해 사용자의 컴퓨팅 장치 내 저장 공간에 저장된 테스트 스크립트를 업로드할 수 있는 '파일 선택' 그래픽 객체(305)가 포함된다.In addition, in addition to the test scripts registered in the second server 2, the user can directly upload a test script he/she wants and apply it to the test target terminal. A 'select file' graphical object 305 is included to upload the test script stored in the storage space of the computing device of the computer.

'기기'는 사용자가 테스트 후보 단말(4) 중에 테스트 대상 단말을 선택할 수 있는 항목으로서, 이를 위해 '기기' 항목에는 '기기 선택' 그래픽 객체(306)가 포함된다.'Device' is an item through which the user can select a terminal to be tested from among test candidate terminals 4, and for this purpose, a 'device selection' graphic object 306 is included in the 'device' item.

'결과 수신자'는 사용자가 테스트 결과를 수신 받을 대상을 지정할 수 있는 항목이며, 이를 위해 '결과 수신자' 항목에는 수신자 입력란(307)이 마련된다. 또한, 테스트가 전부 수행된 이후에만 아니라 테스트가 수행되는 중간에도 사용자가 중간 결과를 확인할 수 있도록, '결과 수신자' 항목에는 '중간 결과 받기' 체크 버튼(308)이 마련된다.The 'result recipient' is an item through which the user can designate a target to receive the test result, and for this purpose, a recipient input box 307 is provided in the 'result recipient' item. In addition, a 'receive intermediate result' check button 308 is provided in the 'result recipient' item so that the user can check the intermediate result not only after the entire test is performed, but also in the middle of the test.

'자동 실행'은 제1 서버(1)에 신규 빌드 파일이 등록된 경우 사용자의 테스트 옵션 선택을 통한 개입 없이 자동으로 소프트웨어 테스트가 수행되도록, 자동 실행 여부를 결정하는 체크 버튼 및 경과 시간 조건에 대한 입력란이 마련된다.'Auto Execution' refers to a check button that determines whether or not to automatically execute a software test so that, when a new build file is registered in the first server 1, software tests are automatically performed without user intervention through test option selection, and information about elapsed time conditions. An input field is provided.

한편, '빌드 등록 페이지'는 제1 서버(1)에 등록된 빌드 파일의 목록을 사용자에게 제공하는 GUI로서, 서로 연관된 빌드 파일들을 상위 빌드 집합(빌드 1, 빌드 2 등) 아래에 나열하여 표시한다(빌드 1-1, 1-2, 1-3, 2-1, 2-2, 2-3 등).On the other hand, the 'build registration page' is a GUI that provides a list of build files registered in the first server 1 to the user, and displays related build files listed under an upper level build set (build 1, build 2, etc.). (builds 1-1, 1-2, 1-3, 2-1, 2-2, 2-3, etc.).

이때, 빌드 파일을 제1 서버(1)에 등록하고자 하는 제3자는 '빌드 등록 페이지'에 로그인하여 빌드 파일을 등록할 수 있고, 등록을 마친 이후에는 '로그아웃' 그래픽 객체(309)를 클릭함으로써 '빌드 등록 페이지'에서 로그아웃할 수 있다.At this time, a third party who wants to register the build file to the first server 1 can register the build file by logging in to the 'build registration page', and after completing the registration, click the 'logout' graphic object 309. By doing so, you can log out from the 'Build Registration Page'.

뿐만 아니라, '빌드 등록 페이지'의 이용자는 각 상위 빌드 집합 옆에 도시된 '다운로드' 그래픽 객체(310, 311)를 클릭함으로써 연관된 빌드 파일들을 손쉽게 다운로드 받을 수 있다.In addition, the user of the 'build registration page' can easily download related build files by clicking the 'download' graphic objects 310 and 311 shown next to each upper build set.

이때, '빌드 파일'은 개발자가 작성한 소스 코드(source code) 파일이 컴퓨팅 장치에서 실행 가능한 소프트웨어 산출물의 형태로 구현된 파일을 의미한다.In this case, the 'build file' refers to a file in which a source code file prepared by a developer is implemented in the form of a software product executable on a computing device.

한편, '테스트 스크립트 관리 페이지'는 제2 서버(2)에 등록된 테스트 스크립트의 목록을 사용자에게 제공하는 GUI로서, 사용자 정보 표시(312)를 통해 현재 '테스트 스크립트 관리 페이지'를 이용 중인 사용자의 정보를 표시한다.On the other hand, the 'test script management page' is a GUI that provides a list of test scripts registered in the second server 2 to the user. display information

또한, '테스트 스크립트명' 항목(313)을 통해 등록된 각 테스트 스크립트의 명칭을 제공하고, '최근 commit' 항목(314)을 통해 최근에 각 테스트 스크립트를 수정한 내용에 대한 설명을 제공하고, '최근 등록' 항목(315)을 통해 최근에 각 테스트 스크립트를 등록한 일자를 제공한다.In addition, the name of each registered test script is provided through the 'test script name' item 313, and a description of the content recently modified in each test script is provided through the 'recent commit' item 314, Through the 'recent registration' item 315, the date of the recent registration of each test script is provided.

이상의 도 3에 도시된 각 항목, 그래픽 객체, 체크 버튼, 입력란 등은 예시적인 것으로, 이외에도 추가적인 구성이 '테스트 옵션 편집 페이지', '빌드 등록 페이지' 또는 '테스트 스크립트 관리 페이지'에 포함될 수 있음은 자명하다.Each item, graphic object, check button, input box, etc. shown in FIG. 3 above is illustrative, and additional configurations may be included in the 'test option edit page', 'build registration page' or 'test script management page'. self-explanatory

이하에서는, 도 4 및 도 5를 참조하여 테스트 수행 결과로서 제공되는 리포트를 예시적으로 설명하기로 한다.Hereinafter, a report provided as a test execution result will be described with reference to FIGS. 4 and 5 as an example.

도 4는 일 실시예에 따른 리포트가 제공되는 화면을 나타낸 예시도이다.4 is an exemplary diagram illustrating a screen on which a report is provided according to an exemplary embodiment.

구체적으로, 도 4는 리포트 대상 액션의 수행 결과를 포함하는 기 정의된 테이블 형태의 테스트 결과 리포트 페이지로서, 도 4를 참조하면 리포트 제공부(140)가 총 29개의 리포트 대상 액션의 수행 결과를 25개의 'Pass', 1개의 'Fail', 3개의 'Skip', 0개의 'N/A'로 분류했음을 알 수 있다.Specifically, FIG. 4 is a test result report page in the form of a predefined table including execution results of report target actions. Referring to FIG. It can be seen that the classification was classified as 'Pass', 1 'Fail', 3 'Skip', and 0 'N/A'.

이에 따라, 테스트 단말에서 정상적으로 수행된 리포트 대상 액션은 'Pass'로 분류된 25개의 액션과 'Fail'로 분류된 1개의 액션을 합하여 총 26개이며, 따라서 리포트 대상 액션에 대한 수행 성공률은 26개 중 25개의 성공에 따라 96.1%로 산출된다.Accordingly, the number of reported actions normally performed in the test terminal is a total of 26, including 25 actions classified as 'Pass' and 1 action classified as 'Fail'. Therefore, the execution success rate for the reported action is 26 25 of them are successful, yielding 96.1%.

도 5는 다른 실시예에 따른 리포트가 제공되는 화면을 나타낸 예시도이다.5 is an exemplary diagram illustrating a screen on which a report is provided according to another embodiment.

구체적으로, 도 5는 도 4에 도시된 테이블보다 확장된 형태의 테스트 결과 리포트 페이지로서, 테스트 스크립트 별 액션 중 사전 태깅된 액션에 대한 설명과 해당 액션의 수행에 따른 분류 결과를 포함한다.Specifically, FIG. 5 is a test result report page in an expanded form than the table shown in FIG. 4, and includes a description of a pre-tagged action among actions for each test script and a classification result according to the execution of the corresponding action.

먼저, 도 5에 도시된 테이블 1열의 '테스트 스크립트명' 항목을 참조하면, 리포트 제공부(140)는 테스트 단말에서 수행된 6개의 테스트 스크립트('Test_설치_실행', 'Test_로그인', 'Test_우편', 'Test_NPC', 'Test_거래소', 'Test_랭킹')에 대한 수행 결과를 포함하는 리포트를 제공함을 알 수 있다.First, referring to the 'Test Script Name' item in column 1 of the table shown in FIG. , 'Test_Mail', 'Test_NPC', 'Test_Exchange', 'Test_Ranking').

한편, 테이블 2열의 '테스트 영역' 항목을 참조하면, 각 테스트 스크립트에 따라 테스트 대상 단말에서 수행된 액션들이 어떤 사항을 테스트하는지 알 수 있다. 예를 들어, 'Test_로그인'이라는 테스트 스크립트에 따라 테스트 대상 단말에서는 '비밀번호를 기입하지 않아 로그인에 실패하는 액션', '비밀번호 오류로 로그인에 실패하는 액션', '로그인을 진행하는 액션', '기존 캐릭터를 유지하는 액션', '캐릭터 월드에 입장하는 액션'이 수행되며, 이 중 앞의 3개의 액션은 '테스트 영역' 중 '로그인'에 관한 사항을, 4번째 액션은 '캐릭터'에 관한 사항을, 마지막 액션은 '월드'에 관한 사항을 테스트하는 것이다.Meanwhile, referring to the 'test area' item in column 2 of the table, it is possible to know which items are tested by the actions performed in the terminal under test according to each test script. For example, according to the test script called 'Test_login', 'action to fail to log in because password is not entered', 'action to fail to log in due to password error', 'action to proceed with login', 'Action to maintain the existing character' and 'Action to enter the character world' are performed, and among these, the first 3 actions are about 'login' in the 'test area', and the 4th action is about 'character'. The last action is to test the 'world' thing.

한편, 테이블 4열의 '테스트 결과' 항목을 참조하면, 리포트 제공부(140)가 테스트 대상 단말에서 수행된 액션 별로 수행 결과를 분류했음을 알 수 있다. 예를 들어, 'Test_설치_실행'이라는 테스트 스크립트에 따라 수행된 3개의 리포트 대상 액션은 모두 'Pass'로 분류된 반면, 'Test_거래소'라는 테스트 스크립트에 따라 수행된 4개의 리포트 대상 액션 중 2개는 'Skip'으로, 2개는 'Pass'로 분류되었음을 알 수 있다.Meanwhile, referring to the 'test result' item in column 4 of the table, it can be seen that the report providing unit 140 has classified the performance result for each action performed in the terminal under test. For example, all 3 report target actions performed according to the test script 'Test_Install_Execution' were classified as 'Pass', while 4 report target actions performed according to the test script 'Test_Exchange' It can be seen that two of them were classified as 'Skip' and two as 'Pass'.

이상의 도 4 및 도 5에 도시된 각 테이블 내 행(row)과 열(column)의 배치, 조합 및 각 셀(cell) 내의 내용은 예시적인 것으로, 실시예에 따라 사용자에게 다양한 형태의 '테스트 결과 리포트 페이지'가 제공될 수 있음은 자명하다.The arrangement and combination of rows and columns in each table shown in FIGS. 4 and 5 and contents within each cell are examples, and various forms of 'test results' are provided to users according to embodiments. It is obvious that a 'report page' can be provided.

도 6은 일 실시예에 따른 테스트 자동화 서비스 방법을 설명하기 위한 흐름도이다. 도 6에 도시된 방법은 예를 들어, 상술한 테스트 자동화 서비스 장치(100)에 의해 수행될 수 있다.6 is a flowchart illustrating a test automation service method according to an embodiment. The method shown in FIG. 6 may be performed by, for example, the test automation service device 100 described above.

우선, 테스트 자동화 서비스 장치(100)는 사용자에게 하나 이상의 테스트 스크립트의 목록을 포함하는 테스트 옵션을 제공한다(610).First, the test automation service device 100 provides a test option including a list of one or more test scripts to the user (610).

이후, 테스트 자동화 서비스 장치(100)는 테스트 옵션에 대한 사용자의 선택에 기초하여, 하나 이상의 테스트 스크립트 중 적어도 하나를 획득한다(620).Thereafter, the test automation service device 100 obtains at least one of one or more test scripts based on the user's selection of the test option (620).

이후, 테스트 자동화 서비스 장치(100)는 테스트 대상 단말과 연결된 서버에 획득한 테스트 스크립트를 포함하는 테스트 요청을 전송한다(630).Thereafter, the test automation service device 100 transmits a test request including the acquired test script to the server connected to the terminal under test (630).

이후, 테스트 자동화 서비스 장치(100)는 획득한 적어도 하나의 테스트 스크립트에 따라 테스트 대상 단말에서 수행된 하나 이상의 액션에 대한 테스트 결과를 획득한다(640).Thereafter, the test automation service device 100 acquires test results for one or more actions performed in the test target terminal according to the acquired at least one test script (640).

이후, 테스트 자동화 서비스 장치(100)는 테스트 대상 단말에서 수행된 하나 이상의 액션 중 적어도 일부의 액션에 대한 수행 결과를 포함하는 리포트를 사용자에게 제공한다(650).Thereafter, the test automation service apparatus 100 provides a report including execution results of at least some of the one or more actions performed in the terminal under test to the user (650).

도 7은 리포트를 제공하는 동작을 보다 상세하게 설명하기 위한 흐름도이다. 도 7에 도시된 방법은 예를 들어, 상술한 테스트 자동화 서비스 장치(100)에 의해 수행될 수 있다.7 is a flowchart for explaining in detail an operation of providing a report. The method shown in FIG. 7 may be performed by, for example, the test automation service device 100 described above.

우선, 테스트 자동화 서비스 장치(100)는 기 설정된 분류 기준에 기초하여 리포트 대상 액션에 대한 수행 결과를 복수의 타입 중 어느 하나로 분류한다(710).First of all, the test automation service apparatus 100 classifies the execution result of the report target action into one of a plurality of types based on a preset classification criterion (710).

이후, 테스트 자동화 서비스 장치(100)는 리포트 대상 액션의 분류 결과를 포함하는 리포트를 기 정의된 테이블 형태로 제공한다(720).Thereafter, the test automation service device 100 provides a report including classification results of report target actions in a predefined table form (720).

도 8은 수행 결과를 분류하는 동작을 보다 상세하게 설명하기 위한 흐름도이다. 도 8에 도시된 방법은 예를 들어, 상술한 테스트 자동화 서비스 장치(100)에 의해 수행될 수 있다.8 is a flowchart for explaining in detail an operation of classifying performance results. The method shown in FIG. 8 may be performed, for example, by the test automation service device 100 described above.

우선, 테스트 자동화 서비스 장치(100)는 테스트 대상 단말에서 수행된 리포트 대상 액션이 정상적으로 수행되는지 판단한다(810).First of all, the test automation service device 100 determines whether the report target action performed in the test target terminal is normally performed (810).

이후, 테스트 자동화 서비스 장치(100)는 리포트 대상 액션이 정상적으로 수행된 것으로 판단되는 경우, 수행 결과가 예상 결과와 일치하는지 판단한다(820).Then, when it is determined that the report target action is normally performed, the test automation service apparatus 100 determines whether the execution result matches the expected result (820).

이후, 테스트 자동화 서비스 장치(100)는 수행 결과가 예상 결과와 일치하는 것으로 판단되는 경우, 리포트 대상 액션의 수행 결과를 제1 유형으로 분류한다(840).Then, when it is determined that the execution result matches the expected result, the test automation service apparatus 100 classifies the execution result of the action to be reported as a first type (840).

한편, 테스트 자동화 서비스 장치(100)는 수행 결과가 예상 결과와 상이한 것으로 판단되는 경우, 리포트 대상 액션의 수행 결과를 제2 유형으로 분류한다(850).Meanwhile, when it is determined that the execution result is different from the expected result, the test automation service apparatus 100 classifies the execution result of the action to be reported as a second type (850).

한편, 테스트 자동화 서비스 장치(100)는 리포트 대상 액션이 정상적으로 수행되지 않는다고 판단되는 경우, 내부 요인에 의해 리포트 대상 액션의 수행이 불가한 것인지 판단한다(830).Meanwhile, when the test automation service device 100 determines that the report target action is not normally performed, it is determined whether the report target action cannot be performed due to internal factors (830).

이후, 테스트 자동화 서비스 장치(100)는 리포트 대상 액션이 내부 요인에 의해 정상적으로 수행되지 않는다고 판단되는 경우, 리포트 대상 액션의 수행이 불가하다고 판단하고 수행 결과를 제3 유형으로 분류한다(860).Thereafter, when it is determined that the report target action is not normally performed due to internal factors, the test automation service apparatus 100 determines that the report target action cannot be performed and classifies the execution result into a third type (860).

한편, 테스트 자동화 서비스 장치(100)는 리포트 대상 액션이 내부 요인이 아닌 외부 요인에 의해 정상적으로 수행되지 않는다고 판단되는 경우, 리포트 대상 액션의 수행이 비정상적으로 중단된 것으로 판단하고 수행 결과를 제4 유형으로 분류한다(870).Meanwhile, when the test automation service device 100 determines that the report target action is not normally performed due to an external factor other than an internal factor, it is determined that the report target action is abnormally interrupted and the execution result is classified as a fourth type. Classify (870).

상기 도 6 내지 도 8에서는 상기 방법을 복수 개의 동작으로 나누어 기재하였으나, 적어도 일부의 동작들은 순서를 바꾸어 수행되거나, 다른 동작과 결합되어 함께 수행되거나, 생략되거나, 세부 동작들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 동작이 부가되어 수행될 수 있다.Although the method is divided into a plurality of operations in FIGS. 6 to 8, at least some of the operations are performed in reverse order, are performed together with other operations, are omitted, are divided into detailed operations, or are performed. One or more operations not shown may be added and performed.

도 9는 일 실시예에 따른 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술된 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.9 is a block diagram illustrating and describing a computing environment 10 including a computing device according to an exemplary embodiment. In the illustrated embodiment, each component may have different functions and capabilities other than those described below, and may include additional components other than those described below.

도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 테스트 자동화 서비스 장치(100)일 수 있다.The illustrated computing environment 10 includes a computing device 12 . In one embodiment, computing device 12 may be test automation service device 100 .

컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.Computing device 12 includes at least one processor 14 , a computer readable storage medium 16 and a communication bus 18 . Processor 14 may cause computing device 12 to operate according to the above-mentioned example embodiments. For example, processor 14 may execute one or more programs stored on computer readable storage medium 16 . The one or more programs may include one or more computer-executable instructions, which when executed by processor 14 are configured to cause computing device 12 to perform operations in accordance with an illustrative embodiment. It can be.

컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.Computer-readable storage medium 16 is configured to store computer-executable instructions or program code, program data, and/or other suitable form of information. Program 20 stored on computer readable storage medium 16 includes a set of instructions executable by processor 14 . In one embodiment, computer readable storage medium 16 includes memory (volatile memory such as random access memory, non-volatile memory, or a suitable combination thereof), one or more magnetic disk storage devices, optical disk storage devices, flash memory devices, other forms of storage media that can be accessed by computing device 12 and store desired information, or any suitable combination thereof.

통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.Communications bus 18 interconnects various other components of computing device 12, including processor 14 and computer-readable storage medium 16.

컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.Computing device 12 may also include one or more input/output interfaces 22 and one or more network communication interfaces 26 that provide interfaces for one or more input/output devices 24 . An input/output interface 22 and a network communication interface 26 are connected to the communication bus 18 . Input/output device 24 may be coupled to other components of computing device 12 via input/output interface 22 . Exemplary input/output devices 24 include a pointing device (such as a mouse or trackpad), a keyboard, a touch input device (such as a touchpad or touchscreen), a voice or sound input device, various types of sensor devices, and/or a photographing device. input devices, and/or output devices such as display devices, printers, speakers, and/or network cards. The exemplary input/output device 24 may be included inside the computing device 12 as a component constituting the computing device 12, or may be connected to the computing device 12 as a separate device distinct from the computing device 12. may be

한편, 본 발명의 실시예는 본 명세서에서 기술한 방법들을 컴퓨터상에서 수행하기 위한 프로그램, 및 상기 프로그램을 포함하는 컴퓨터 판독 가능 기록매체를 포함할 수 있다. 상기 컴퓨터 판독 가능 기록매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나, 또는 컴퓨터 소프트웨어 분야에서 통상적으로 사용 가능한 것일 수 있다. 컴퓨터 판독 가능 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광 기록 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 프로그램의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.Meanwhile, embodiments of the present invention may include a program for performing the methods described in this specification on a computer, and a computer readable recording medium including the program. The computer readable recording medium may include program instructions, local data files, local data structures, etc. alone or in combination. The media may be specially designed and configured for the present invention, or may be commonly available in the field of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and specially configured to store and execute program instructions such as ROM, RAM, and flash memory. Hardware devices are included. Examples of the program may include not only machine language codes generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter.

이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 청구범위뿐만 아니라 이 청구범위와 균등한 것들에 의해 정해져야 한다.Although representative embodiments of the present invention have been described in detail above, those skilled in the art will understand that various modifications are possible to the above-described embodiments without departing from the scope of the present invention. . Therefore, the scope of the present invention should not be limited to the described embodiments and should not be defined, and should be defined by not only the claims to be described later, but also those equivalent to these claims.

1: 제1 서버
2: 제2 서버
3: 제3 서버
4(4-1, 4-2, ..., 4-N): 테스트 후보 단말
10: 컴퓨팅 환경
12: 컴퓨팅 장치
14: 프로세서
16: 컴퓨터 판독 가능 저장 매체
18: 통신 버스
20: 프로그램
22: 입출력 인터페이스
24: 입출력 장치
26: 네트워크 통신 인터페이스
100: 테스트 자동화 서비스 장치
110: 테스트 옵션 제공부
120: 획득부
130: 테스트 요청부
140: 리포트 제공부
1: first server
2: Second server
3: 3rd server
4 (4-1, 4-2, ..., 4-N): test candidate terminal
10: Computing environment
12: computing device
14: Processor
16: computer readable storage medium
18: communication bus
20: program
22: I/O interface
24: I/O device
26: network communication interface
100: test automation service device
110: test option providing unit
120: acquisition unit
130: test request unit
140: report providing unit

Claims (14)

컴퓨팅 장치에 의해 수행되는 테스트 자동화 서비스 방법에 있어서,
사용자에게 하나 이상의 테스트 스크립트의 목록을 포함하는 테스트 옵션을 제공하는 동작;
상기 테스트 옵션에 대한 상기 사용자의 선택에 기초하여, 상기 하나 이상의 테스트 스크립트 중 적어도 하나를 획득하는 동작;
테스트 대상 단말과 연결된 서버에 상기 획득한 적어도 하나의 테스트 스크립트를 포함하는 테스트 요청을 전송하는 동작;
상기 획득한 적어도 하나의 테스트 스크립트에 따라 상기 테스트 대상 단말에서 수행된 하나 이상의 액션에 대한 테스트 결과를 획득하는 동작; 및
상기 사용자에게 상기 하나 이상의 액션 중 적어도 일부의 액션에 대한 수행 결과를 포함하는 리포트를 제공하는 동작을 포함하고,
상기 리포트를 제공하는 동작은,
상기 하나 이상의 액션 중 사전 태깅(Tagging)된 액션을 추출하고, 상기 추출된 사전 태깅된 액션에 대한 설명과 그 수행 결과를 포함하는 리포트를 제공하는, 테스트 자동화 서비스 방법.
In the test automation service method performed by a computing device,
providing a user with a test option that includes a list of one or more test scripts;
obtaining at least one of the one or more test scripts based on the user's selection of the test option;
transmitting a test request including the acquired at least one test script to a server connected to a terminal under test;
acquiring test results for one or more actions performed in the terminal under test according to the acquired at least one test script; and
Providing a report including results of performing at least some of the one or more actions to the user;
The operation of providing the report,
A test automation service method of extracting a pre-tagged action from among the one or more actions and providing a report including a description of the extracted pre-tagged action and a result of its execution.
청구항 1에 있어서,
상기 테스트 옵션은,
상기 하나 이상의 테스트 스크립트 별 액션의 목록을 더 포함하고,
상기 리포트를 제공하는 동작은,
상기 하나 이상의 테스트 스크립트 별 액션의 목록 중 상기 사용자가 선택한 적어도 일부 액션에 대한 수행 결과를 더 포함하는 리포트를 제공하는, 테스트 자동화 서비스 방법.
The method of claim 1,
The test option is
Further comprising a list of actions for each of the one or more test scripts,
The operation of providing the report,
The test automation service method of providing a report further including execution results for at least some of the actions selected by the user from the list of actions for each of the one or more test scripts.
삭제delete 청구항 1에 있어서,
상기 리포트를 제공하는 동작은,
기 설정된 분류 기준에 기초하여 상기 적어도 일부의 액션에 대한 수행 결과를 복수의 타입 중 어느 하나로 분류하는 동작; 및
상기 분류 결과를 더 포함하는 리포트를 기 정의된 테이블 형태로 제공하는 동작을 포함하는, 테스트 자동화 서비스 방법.
The method of claim 1,
The operation of providing the report,
classifying a result of performing the at least some of the actions into one of a plurality of types based on a predetermined classification criterion; and
A test automation service method comprising an operation of providing a report further including the classification result in the form of a predefined table.
청구항 4에 있어서,
상기 분류하는 동작은,
상기 적어도 일부의 액션이 정상적으로 수행되고, 상기 적어도 일부의 액션에 대한 수행 결과가 예상 결과와 일치하는 경우, 상기 적어도 일부의 액션에 대한 수행 결과를 제1 유형으로 분류하는 동작;
상기 적어도 일부의 액션이 정상적으로 수행되고, 상기 적어도 일부의 액션에 대한 수행 결과가 예상 결과와 상이한 경우, 상기 적어도 일부의 액션에 대한 수행 결과를 제2 유형으로 분류하는 동작;
내부 요인에 의해 상기 적어도 일부의 액션의 수행이 불가하다고 판단된 경우, 상기 적어도 일부의 액션에 대한 수행 결과를 제3 유형으로 분류하는 동작; 및
외부 요인에 의해 상기 적어도 일부의 액션의 수행이 비정상적으로 중단된 경우, 상기 적어도 일부의 액션에 대한 수행 결과를 제4 유형으로 분류하는 동작을 포함하는, 테스트 자동화 서비스 방법.
The method of claim 4,
The classification operation,
classifying results of performing the at least some actions as a first type when the at least some actions are normally performed and the results of performing the at least some actions match expected results;
classifying results of performing the at least some actions as a second type when the at least some actions are normally performed and the results of performing the at least some actions are different from expected results;
classifying results of performing the at least some actions into a third type when it is determined that the at least some actions cannot be performed due to internal factors; and
and classifying a result of performing the at least some of the actions into a fourth type when the execution of the at least some of the actions is abnormally stopped due to an external factor.
청구항 1에 있어서,
상기 리포트를 제공하는 동작은,
상기 적어도 일부의 액션에 대한 수행 성공률을 더 포함하는 리포트를 제공하는, 테스트 자동화 서비스 방법.
The method of claim 1,
The operation of providing the report,
A test automation service method for providing a report further including an execution success rate for the at least some of the actions.
청구항 1에 있어서,
상기 리포트를 제공하는 동작은,
상기 획득한 적어도 하나의 테스트 스크립트에 따른 테스트의 수행 중 상기 테스트 대상 단말의 화면에 출력되는 적어도 일부의 이미지 또는 동영상을 더 포함하는 리포트를 제공하는, 테스트 자동화 서비스 방법.
The method of claim 1,
The operation of providing the report,
The test automation service method of providing a report further including at least some images or videos output on the screen of the terminal under test during execution of a test according to the at least one acquired test script.
하나 이상의 프로세서; 및
상기 하나 이상의 프로세서에 의해 실행되도록 구성되는 하나 이상의 프로그램을 저장하는 메모리를 포함하는 장치로서,
상기 프로그램은,
사용자에게 하나 이상의 테스트 스크립트의 목록을 포함하는 테스트 옵션을 제공하는 동작;
상기 테스트 옵션에 대한 상기 사용자의 선택에 기초하여, 상기 하나 이상의 테스트 스크립트 중 적어도 하나를 획득하는 동작;
테스트 대상 단말과 연결된 서버에 상기 획득한 적어도 하나의 테스트 스크립트를 포함하는 테스트 요청을 전송하는 동작;
상기 획득한 적어도 하나의 테스트 스크립트에 따라 상기 테스트 대상 단말에서 수행된 하나 이상의 액션에 대한 테스트 결과를 획득하는 동작; 및
상기 사용자에게 상기 하나 이상의 액션 중 적어도 일부의 액션에 대한 수행 결과를 포함하는 리포트를 제공하는 동작을 실행하기 위한 명령어들을 포함하고,
상기 리포트를 제공하는 동작은,
상기 하나 이상의 액션 중 사전 태깅(Tagging)된 액션을 추출하고, 상기 추출된 사전 태깅된 액션에 대한 설명과 그 수행 결과를 포함하는 리포트를 제공하는, 테스트 자동화 서비스 장치.
one or more processors; and
An apparatus comprising a memory storing one or more programs configured to be executed by the one or more processors,
said program,
providing a user with a test option that includes a list of one or more test scripts;
obtaining at least one of the one or more test scripts based on the user's selection of the test option;
transmitting a test request including the acquired at least one test script to a server connected to a terminal under test;
acquiring test results for one or more actions performed in the terminal under test according to the acquired at least one test script; and
Includes instructions for executing an operation of providing a report including performance results of at least some of the one or more actions to the user;
The operation of providing the report,
A test automation service device that extracts a pre-tagged action from among the one or more actions and provides a report including a description of the extracted pre-tagged action and an execution result thereof.
청구항 8에 있어서,
상기 테스트 옵션은,
상기 하나 이상의 테스트 스크립트 별 액션의 목록을 더 포함하고,
상기 리포트를 제공하는 동작은,
상기 하나 이상의 테스트 스크립트 별 액션의 목록 중 상기 사용자가 선택한 적어도 일부 액션에 대한 수행 결과를 더 포함하는 리포트를 제공하는, 테스트 자동화 서비스 장치.
The method of claim 8,
The test option is
Further comprising a list of actions for each of the one or more test scripts,
The operation of providing the report,
The test automation service device that provides a report further including execution results for at least some of the actions selected by the user from the list of actions for each of the one or more test scripts.
삭제delete 청구항 8에 있어서,
상기 리포트를 제공하는 동작은,
기 설정된 분류 기준에 기초하여 상기 적어도 일부의 액션에 대한 수행 결과를 복수의 타입 중 어느 하나로 분류하는 동작; 및
상기 분류 결과를 더 포함하는 리포트를 기 정의된 테이블 형태로 제공하는 동작을 포함하는, 테스트 자동화 서비스 장치.
The method of claim 8,
The operation of providing the report,
classifying a result of performing the at least some of the actions into one of a plurality of types based on a predetermined classification criterion; and
And an operation of providing a report further including the classification result in the form of a predefined table.
청구항 11에 있어서,
상기 분류하는 동작은,
상기 적어도 일부의 액션이 정상적으로 수행되고, 상기 적어도 일부의 액션에 대한 수행 결과가 예상 결과와 일치하는 경우, 상기 적어도 일부의 액션에 대한 수행 결과를 제1 유형으로 분류하는 동작;
상기 적어도 일부의 액션이 정상적으로 수행되고, 상기 적어도 일부의 액션에 대한 수행 결과가 예상 결과와 상이한 경우, 상기 적어도 일부의 액션에 대한 수행 결과를 제2 유형으로 분류하는 동작;
내부 요인에 의해 상기 적어도 일부의 액션의 수행이 불가하다고 판단된 경우, 상기 적어도 일부의 액션에 대한 수행 결과를 제3 유형으로 분류하는 동작; 및
외부 요인에 의해 상기 적어도 일부의 액션의 수행이 비정상적으로 중단된 경우, 상기 적어도 일부의 액션에 대한 수행 결과를 제4 유형으로 분류하는 동작을 포함하는, 테스트 자동화 서비스 장치.
The method of claim 11,
The classification operation,
classifying results of performing the at least some actions as a first type when the at least some actions are normally performed and the results of performing the at least some actions match expected results;
classifying results of performing the at least some actions as a second type when the at least some actions are normally performed and the results of performing the at least some actions are different from expected results;
classifying results of performing the at least some actions into a third type when it is determined that the at least some actions cannot be performed due to internal factors; and
and classifying a result of performing the at least some of the actions into a fourth type when the execution of the at least some of the actions is abnormally stopped due to an external factor.
청구항 8에 있어서,
상기 리포트를 제공하는 동작은,
상기 적어도 일부의 액션에 대한 수행 성공률을 더 포함하는 리포트를 제공하는, 테스트 자동화 서비스 장치.
The method of claim 8,
The operation of providing the report,
A test automation service device that provides a report further including an execution success rate for the at least some of the actions.
청구항 8에 있어서,
상기 리포트를 제공하는 동작은,
상기 획득한 적어도 하나의 테스트 스크립트에 따른 테스트의 수행 중 상기 테스트 대상 단말의 화면에 출력되는 적어도 일부의 이미지 또는 동영상을 더 포함하는 리포트를 제공하는, 테스트 자동화 서비스 장치.
The method of claim 8,
The operation of providing the report,
The test automation service device that provides a report further including at least some images or videos output on the screen of the test target terminal while the test according to the at least one acquired test script is performed.
KR1020200137889A 2020-10-22 2020-10-22 Apparatus and method for test automation service KR102481527B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200137889A KR102481527B1 (en) 2020-10-22 2020-10-22 Apparatus and method for test automation service

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200137889A KR102481527B1 (en) 2020-10-22 2020-10-22 Apparatus and method for test automation service

Publications (2)

Publication Number Publication Date
KR20220053432A KR20220053432A (en) 2022-04-29
KR102481527B1 true KR102481527B1 (en) 2022-12-26

Family

ID=81428716

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200137889A KR102481527B1 (en) 2020-10-22 2020-10-22 Apparatus and method for test automation service

Country Status (1)

Country Link
KR (1) KR102481527B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150026665A1 (en) * 2013-07-17 2015-01-22 Ebay Inc. Automated test on applications or websites in mobile devices

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101196522B1 (en) 2010-11-03 2012-11-01 주식회사 엔씨소프트 Stress test system for online game server based on script and method thereof
KR20140110520A (en) * 2013-03-08 2014-09-17 주식회사 인프라웨어테크놀러지 Method for automatic verification for samrt applications by automatic execution control of test terminals, and computer-readable recording medium for the same
KR101698029B1 (en) * 2015-02-13 2017-01-20 어니컴 주식회사 System and method for automatic application test using script

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150026665A1 (en) * 2013-07-17 2015-01-22 Ebay Inc. Automated test on applications or websites in mobile devices

Also Published As

Publication number Publication date
KR20220053432A (en) 2022-04-29

Similar Documents

Publication Publication Date Title
US11074087B2 (en) System and method for identifying, indexing, and navigating to deep states of mobile applications
CN107025165B (en) Game automation test method and related device
CN108845930B (en) Interface operation test method and device, storage medium and electronic device
US9459994B2 (en) Mobile application testing systems and methods
US20170160883A1 (en) Implementing application jumps
Lou A comparison of Android native app architecture MVC, MVP and MVVM
US11665183B2 (en) Secure incident investigation event capture
KR20150032163A (en) apparatus AND method for PROCESSING SCREENshot
CN110013672B (en) Method, device, apparatus and computer-readable storage medium for automated testing of machine-run games
CN104598380A (en) Method and system for automatic testing based on control
CN108292231A (en) It generates and applies from data
CN104040946A (en) Methods and systems for collaborative remote application sharing and conferencing
CN111124867A (en) OpenStack testing method and device
CN109062807B (en) Method and device for testing application program, storage medium and electronic device
Xu et al. Guider: Gui structure and vision co-guided test script repair for android apps
WO2021061185A1 (en) Test automation of application
CN115525563A (en) Test method, test device, computer equipment and storage medium
JP6861880B1 (en) Generation device, generation method and generation program
KR102481527B1 (en) Apparatus and method for test automation service
CA3055859A1 (en) Method and system for operating a software application on a processor of a mobile device
KR102481254B1 (en) Apparatus and method for test automation service
KR102481502B1 (en) Apparatus and method for test automation service
KR102481249B1 (en) Apparatus and method for test automation service
CN113360199B (en) Method, apparatus and computer readable storage medium for preloading a scenario for a game
CN112559338B (en) Verification method, device, equipment and storage medium of application program

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant