KR102481527B1 - Apparatus and method for test automation service - Google Patents
Apparatus and method for test automation service Download PDFInfo
- Publication number
- KR102481527B1 KR102481527B1 KR1020200137889A KR20200137889A KR102481527B1 KR 102481527 B1 KR102481527 B1 KR 102481527B1 KR 1020200137889 A KR1020200137889 A KR 1020200137889A KR 20200137889 A KR20200137889 A KR 20200137889A KR 102481527 B1 KR102481527 B1 KR 102481527B1
- Authority
- KR
- South Korea
- Prior art keywords
- test
- actions
- report
- providing
- results
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3696—Methods or tools to render software testable
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/362—Software debugging
- G06F11/3636—Software debugging by tracing the execution of the program
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3692—Test management for test results analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
테스트 자동화 서비스 장치 및 방법이 개시된다. 일 실시예에 따른 테스트 자동화 서비스 방법은 사용자에게 하나 이상의 테스트 스크립트의 목록을 포함하는 테스트 옵션을 제공하는 동작, 테스트 옵션에 대한 사용자의 선택에 기초하여, 하나 이상의 테스트 스크립트 중 적어도 하나를 획득하는 동작, 테스트 대상 단말과 연결된 서버에 획득한 적어도 하나의 테스트 스크립트를 포함하는 테스트 요청을 전송하는 동작, 획득한 적어도 하나의 테스트 스크립트에 따라 테스트 대상 단말에서 수행된 하나 이상의 액션에 대한 테스트 결과를 획득하는 동작 및 사용자에게 하나 이상의 액션 중 적어도 일부의 액션에 대한 수행 결과를 포함하는 리포트를 제공하는 동작을 포함한다.A test automation service apparatus and method are disclosed. A test automation service method according to an embodiment includes an operation of providing a test option including a list of one or more test scripts to a user, and an operation of acquiring at least one of one or more test scripts based on a user's selection of the test option. , Transmitting a test request including at least one acquired test script to a server connected to the terminal under test, and acquiring test results for one or more actions performed in the terminal under test according to the acquired at least one test script. and an operation of providing a report including execution results of at least some of the one or more actions to the user.
Description
개시되는 실시예들은 테스트 자동화 서비스를 제공하는 기술에 관한 것이다.The disclosed embodiments relate to technology for providing test automation services.
온라인 게임을 비롯한 대부분의 소프트웨어들은 수많은 사용자들에게 배포 및 이용되기 때문에, 사용자들의 다양한 요구를 충족시킬 수 있도록 우수한 품질로 제작되어야 한다.Since most software, including online games, is distributed and used by a large number of users, it must be produced with excellent quality to meet the various needs of users.
이를 위해, 소프트웨어를 배포하거나 소프트웨어를 배포한 이후 새 버전(version)을 업데이트하기 전에, 기능성, 신뢰성, 사용성, 효율성, 유지보수성, 이식성 등 여러 품질 특성의 측면에서 소프트웨어를 테스트할 필요가 있다.To this end, before distributing the software or updating a new version after distributing the software, it is necessary to test the software in terms of various quality characteristics such as functionality, reliability, usability, efficiency, maintainability, and portability.
그러나, 종래에는 소프트웨어를 테스트하더라도 테스트 결과에 대한 로그를 그대로 제공하거나 단순히 테스트의 성공 여부에 대한 데이터만을 제공하는 데 그쳐, 사용자가 직관적으로 상세한 테스트 결과를 파악하기 쉽지 않다는 한계가 있었다.However, in the prior art, even if the software is tested, a log of test results is provided as it is or only data on whether the test is successful or not is simply provided, and thus it is difficult for a user to intuitively grasp detailed test results.
개시되는 실시예들은 사용자에게 보다 정제된 소프트웨어 테스트 결과를 제공하기 위한 것이다.The disclosed embodiments are intended to provide users with more refined software test results.
개시되는 일 실시예에 따른 테스트 자동화 서비스 방법은, 사용자에게 하나 이상의 테스트 스크립트의 목록을 포함하는 테스트 옵션을 제공하는 동작, 테스트 옵션에 대한 사용자의 선택에 기초하여, 하나 이상의 테스트 스크립트 중 적어도 하나를 획득하는 동작, 테스트 대상 단말과 연결된 서버에 획득한 적어도 하나의 테스트 스크립트를 포함하는 테스트 요청을 전송하는 동작, 획득한 적어도 하나의 테스트 스크립트에 따라 테스트 대상 단말에서 수행된 하나 이상의 액션에 대한 테스트 결과를 획득하는 동작 및 사용자에게 하나 이상의 액션 중 적어도 일부의 액션에 대한 수행 결과를 포함하는 리포트를 제공하는 동작을 포함한다.A test automation service method according to an embodiment disclosed herein includes an operation of providing a test option including a list of one or more test scripts to a user, and at least one of the one or more test scripts based on the user's selection of the test option. An operation of acquiring, an operation of transmitting a test request including at least one acquired test script to a server connected to the terminal under test, and a test result for one or more actions performed in the terminal under test according to the acquired at least one test script. and an operation of providing a report including performance results of at least some of one or more actions to the user.
테스트 옵션은, 하나 이상의 테스트 스크립트 별 액션의 목록을 더 포함할 수 있고, 리포트를 제공하는 동작은, 하나 이상의 테스트 스크립트 별 액션의 목록 중 사용자가 선택한 적어도 일부 액션에 대한 수행 결과를 포함하는 리포트를 제공할 수 있다.The test option may further include a list of actions by one or more test scripts, and the operation of providing a report includes a report including execution results of at least some actions selected by the user from the list of actions by one or more test scripts. can provide
리포트를 제공하는 동작은, 하나 이상의 액션 중 사전 태깅(Tagging)된 액션에 대한 수행 결과를 포함하는 리포트를 제공할 수 있다.An operation of providing a report may provide a report including a result of performing a pre-tagged action among one or more actions.
리포트를 제공하는 동작은, 기 설정된 분류 기준에 기초하여 적어도 일부의 액션에 대한 수행 결과를 복수의 타입 중 어느 하나로 분류하는 동작 및 분류 결과를 포함하는 리포트를 기 정의된 테이블 형태로 제공하는 동작을 포함할 수 있다.An operation of providing a report includes an operation of classifying performance results of at least some actions into one of a plurality of types based on a preset classification criterion and an operation of providing a report including the classification results in a predefined table form. can include
분류하는 동작은, 적어도 일부의 액션이 정상적으로 수행되고, 적어도 일부의 액션에 대한 수행 결과가 예상 결과와 일치하는 경우, 적어도 일부의 액션에 대한 수행 결과를 제1 유형으로 분류하는 동작, 적어도 일부의 액션이 정상적으로 수행되고, 적어도 일부의 액션에 대한 수행 결과가 예상 결과와 상이한 경우, 적어도 일부의 액션에 대한 수행 결과를 제2 유형으로 분류하는 동작, 내부 요인에 의해 적어도 일부의 액션의 수행이 불가하다고 판단된 경우, 적어도 일부의 액션에 대한 수행 결과를 제3 유형으로 분류하는 동작 및 외부 요인에 의해 적어도 일부의 액션의 수행이 비정상적으로 중단된 경우, 적어도 일부의 액션에 대한 수행 결과를 제4 유형으로 분류하는 동작을 포함할 수 있다.The classifying operation may include, when at least some of the actions are normally performed and the results of performing the at least some of the actions match expected results, classifying the results of performing at least some of the actions into a first type; When the actions are normally performed and the results of performing at least some of the actions are different from the expected results, the results of performing at least some of the actions are classified into the second type, and at least some of the actions cannot be performed due to internal factors. If it is determined that the performance of at least some of the actions is classified as a third type, and if the performance of at least some of the actions is abnormally interrupted by an external factor, the performance of at least some of the actions is classified as a fourth type. It may include an operation to classify by type.
리포트를 제공하는 동작은, 적어도 일부의 액션에 대한 수행 성공률을 더 포함하는 리포트를 제공할 수 있다.The operation of providing a report may provide a report further including an execution success rate for at least some of the actions.
리포트를 제공하는 동작은, 획득한 적어도 하나의 테스트 스크립트에 따른 테스트의 수행 중 테스트 대상 단말의 화면에 출력되는 적어도 일부의 이미지 또는 동영상을 더 포함하는 리포트를 제공할 수 있다.The operation of providing a report may provide a report further including at least some images or videos output on the screen of the terminal under test while the test according to the at least one acquired test script is performed.
개시되는 일 실시예에 따른 테스트 자동화 서비스 장치는, 하나 이상의 프로세서 및 하나 이상의 프로세서에 의해 실행되도록 구성되는 하나 이상의 프로그램을 저장하는 메모리를 포함하는 장치로서, 프로그램은, 사용자에게 하나 이상의 테스트 스크립트의 목록을 포함하는 테스트 옵션을 제공하는 동작, 테스트 옵션에 대한 사용자의 선택에 기초하여, 하나 이상의 테스트 스크립트 중 적어도 하나를 획득하는 동작, 테스트 대상 단말과 연결된 서버에 획득한 적어도 하나의 테스트 스크립트를 포함하는 테스트 요청을 전송하는 동작, 획득한 적어도 하나의 테스트 스크립트에 따라 테스트 대상 단말에서 수행된 하나 이상의 액션에 대한 테스트 결과를 획득하는 동작 및 사용자에게 하나 이상의 액션 중 적어도 일부의 액션에 대한 수행 결과를 포함하는 리포트를 제공하는 동작을 실행하기 위한 명령어들을 포함한다.A test automation service apparatus according to an embodiment disclosed herein is an apparatus including one or more processors and a memory storing one or more programs configured to be executed by the one or more processors, the program providing a user with a list of one or more test scripts. An operation of providing a test option that includes, an operation of acquiring at least one of one or more test scripts based on a user's selection of the test option, and including at least one test script obtained from a server connected to a terminal under test. An operation of transmitting a test request, an operation of acquiring test results for one or more actions performed in the terminal under test according to the acquired at least one test script, and an operation of performing results of at least some of the one or more actions to the user. It contains instructions for executing an operation that provides a report that
테스트 옵션은, 하나 이상의 테스트 스크립트 별 액션의 목록을 더 포함할 수 있고, 리포트를 제공하는 동작은, 하나 이상의 테스트 스크립트 별 액션의 목록 중 사용자가 선택한 적어도 일부 액션에 대한 수행 결과를 포함하는 리포트를 제공할 수 있다.The test option may further include a list of actions by one or more test scripts, and the operation of providing a report includes a report including execution results of at least some actions selected by the user from the list of actions by one or more test scripts. can provide
리포트를 제공하는 동작은, 하나 이상의 액션 중 사전 태깅(Tagging)된 액션에 대한 수행 결과를 포함하는 리포트를 제공할 수 있다.An operation of providing a report may provide a report including a result of performing a pre-tagged action among one or more actions.
리포트를 제공하는 동작은, 기 설정된 분류 기준에 기초하여 적어도 일부의 액션에 대한 수행 결과를 복수의 타입 중 어느 하나로 분류하는 동작 및 분류 결과를 포함하는 리포트를 기 정의된 테이블 형태로 제공하는 동작을 포함할 수 있다.An operation of providing a report includes an operation of classifying performance results of at least some actions into one of a plurality of types based on a preset classification criterion and an operation of providing a report including the classification results in a predefined table form. can include
분류하는 동작은, 적어도 일부의 액션이 정상적으로 수행되고, 적어도 일부의 액션에 대한 수행 결과가 예상 결과와 일치하는 경우, 적어도 일부의 액션에 대한 수행 결과를 제1 유형으로 분류하는 동작, 적어도 일부의 액션이 정상적으로 수행되고, 적어도 일부의 액션에 대한 수행 결과가 예상 결과와 상이한 경우, 적어도 일부의 액션에 대한 수행 결과를 제2 유형으로 분류하는 동작, 내부 요인에 의해 적어도 일부의 액션의 수행이 불가하다고 판단된 경우, 적어도 일부의 액션에 대한 수행 결과를 제3 유형으로 분류하는 동작 및 외부 요인에 의해 적어도 일부의 액션의 수행이 비정상적으로 중단된 경우, 적어도 일부의 액션에 대한 수행 결과를 제4 유형으로 분류하는 동작을 포함할 수 있다.The classifying operation may include, when at least some of the actions are normally performed and the results of performing the at least some of the actions match expected results, classifying the results of performing at least some of the actions into a first type; When the actions are normally performed and the results of performing at least some of the actions are different from the expected results, the results of performing at least some of the actions are classified into the second type, and at least some of the actions cannot be performed due to internal factors. If it is determined that the performance of at least some of the actions is classified as a third type, and if the performance of at least some of the actions is abnormally interrupted by an external factor, the performance of at least some of the actions is classified as a fourth type. It may include an operation to classify by type.
리포트를 제공하는 동작은, 적어도 일부의 액션에 대한 수행 성공률을 더 포함하는 리포트를 제공할 수 있다.The operation of providing a report may provide a report further including an execution success rate for at least some of the actions.
리포트를 제공하는 동작은, 획득한 적어도 하나의 테스트 스크립트에 따른 테스트의 수행 중 테스트 대상 단말의 화면에 출력되는 적어도 일부의 이미지 또는 동영상을 더 포함하는 리포트를 제공할 수 있다.The operation of providing a report may provide a report further including at least some images or videos output on the screen of the terminal under test while the test according to the at least one acquired test script is performed.
개시되는 실시예들에 따르면, 테스트 스크립트에 따라 수행된 액션 중 일부 액션에 대한 수행 결과를 선택적으로 제공함으로써, 사용자로 하여금 의미 있는 테스트 결과에 집중하도록 할 수 있다.According to the disclosed embodiments, by selectively providing performance results for some of the actions performed according to the test script, it is possible to allow the user to focus on meaningful test results.
또한 개시되는 실시예들에 따르면, 액션의 수행 결과를 여러 타입으로 분류하여 테이블 형태로 제공함으로써, 사용자로 하여금 테스트 결과를 직관적이면서도 상세하게 파악하도록 할 수 있다.In addition, according to the disclosed embodiments, by classifying action results into various types and providing them in a table form, it is possible for a user to grasp test results intuitively and in detail.
도 1은 일 실시예에 따른 테스트 자동화 서비스 시스템을 설명하기 위한 블록도
도 2는 일 실시예에 따른 테스트 자동화 서비스 장치의 블록도
도 3은 일 실시예에 따른 테스트 자동화 서비스 화면을 나타낸 예시도
도 4는 일 실시예에 따른 리포트가 제공되는 화면을 나타낸 예시도
도 5는 다른 실시예에 따른 리포트가 제공되는 화면을 나타낸 예시도
도 6은 일 실시예에 따른 테스트 자동화 서비스 방법을 설명하기 위한 흐름도
도 7은 리포트를 제공하는 동작을 보다 상세하게 설명하기 위한 흐름도
도 8은 수행 결과를 분류하는 동작을 보다 상세하게 설명하기 위한 흐름도
도 9는 일 실시예에 따른 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도1 is a block diagram for explaining a test automation service system according to an embodiment
2 is a block diagram of a test automation service device according to an embodiment
3 is an exemplary view showing a test automation service screen according to an embodiment
4 is an exemplary view showing a screen on which a report is provided according to an embodiment;
5 is an exemplary view showing a screen on which a report is provided according to another embodiment;
6 is a flowchart for explaining a test automation service method according to an embodiment
7 is a flowchart for explaining an operation of providing a report in more detail;
8 is a flowchart for explaining in detail an operation of classifying performance results;
9 is a block diagram for illustrating and describing a computing environment including a computing device according to an exemplary embodiment;
이하, 도면을 참조하여 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 개시되는 실시예들은 이에 제한되지 않는다.Hereinafter, specific embodiments will be described with reference to the drawings. The detailed descriptions that follow are provided to provide a comprehensive understanding of the methods, devices and/or systems described herein. However, this is only an example and disclosed embodiments are not limited thereto.
실시예들을 설명함에 있어서, 관련된 공지기술에 대한 구체적인 설명이 개시되는 실시예들의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 개시되는 실시예들에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.In describing the embodiments, if it is determined that a detailed description of related known technologies may unnecessarily obscure the gist of the disclosed embodiments, the detailed description will be omitted. In addition, terms to be described later are terms defined in consideration of functions in the disclosed embodiments, which may vary according to intentions or customs of users or operators. Therefore, the definition should be made based on the contents throughout this specification. Terminology used in the detailed description is only for describing the embodiments and should in no way be limiting. Unless expressly used otherwise, singular forms of expression include plural forms. In this description, expressions such as "comprising" or "comprising" are intended to indicate any characteristic, number, step, operation, element, portion or combination thereof, one or more other than those described. It should not be construed to exclude the existence or possibility of any other feature, number, step, operation, element, part or combination thereof.
도 1은 일 실시예에 따른 테스트 자동화 서비스 시스템을 설명하기 위한 블록도이다.1 is a block diagram illustrating a test automation service system according to an exemplary embodiment.
도 1을 참조하면, 일 실시예에 따른 테스트 자동화 서비스 시스템은 제1 서버(1), 제2 서버(2), 제3 서버(3), 테스트 후보 단말(4) 및 테스트 자동화 서비스 장치(100)를 포함한다.Referring to FIG. 1 , a test automation service system according to an embodiment includes a
한편, 실시예에 따라서는 도시된 테스트 자동화 서비스 장치(100)가 이하 도 3에 도시된 테스트 자동화 서비스 장치(200)로 대체될 수도 있다.Meanwhile, depending on the embodiment, the illustrated test
이하의 실시예들에서, '테스트'는 소프트웨어가 일정 수준의 품질을 가질 수 있도록 소프트웨어의 개발 단계, 양산 단계 또는 배포 후 단계에서 검수하는 행위를 의미한다. 즉 다시 말하면, '테스트'는 소프트웨어에 대한 품질 보증(QA; Quality Assurance) 활동 및 품질 관리(QC; Quality Control) 활동을 포함하는 개념이다.In the following embodiments, 'testing' means an act of inspecting software in a development stage, a mass production stage, or a stage after distribution so that the software can have a certain level of quality. In other words, 'testing' is a concept including Quality Assurance (QA) activities and Quality Control (QC) activities for software.
구체적으로, '테스트'는 소프트웨어에 잔존한 결함을 발견하거나, 비효율적으로 구성된 부분을 개선하거나, 소프트웨어가 소프트웨어 개발 명세서 상의 요구사항을 준수하였는지 확인하거나, 사용자의 요구를 충족하는지 확인하거나, 기 설정된 구동 환경 하에서 적절히 동작하는지 확인하는 등의 다양한 목적을 갖고 수행될 수 있다.Specifically, 'testing' means finding defects remaining in the software, improving inefficiently configured parts, verifying that the software complies with the requirements of the software development specification, verifying that it meets the user's needs, or pre-set operating conditions. It can be performed for a variety of purposes, such as ensuring that it operates properly under the environment.
제1 서버(1) 및 제2 서버(2)는 소프트웨어 테스트를 수행하기 위해 필요한 파일들이 등록되는 장치로서, 테스트 자동화 서비스 장치(100)로부터 특정 파일들에 대한 접근 요청을 수신하여 테스트 자동화 서비스 장치(100)로 요청 받은 파일들의 원본 또는 사본을 송신할 수 있다.The
한편, 도 1에서 제1 서버(1) 및 제2 서버(2)는 따로 도시되어 있으며, 이는 각 서버에 등록되는 파일의 종류가 상이하다는 점에서 각 서버를 기능적으로 구분하기 위한 것이다. 즉, 제1 서버(1) 및 제2 서버(2)는 실제로 서로 다른 컴퓨팅 장치일 수 있으나, 반드시 이에 한정되는 것은 아니며, 동일한 컴퓨팅 장치를 기능적으로 구분한 것에 불과할 수도 있다.Meanwhile, in FIG. 1, the
제3 서버(3)는 테스트 후보 단말(4)과 연결되어 테스트 자동화 서비스 장치(100)로부터 받은 요청에 따라 테스트 후보 단말(4) 중 적어도 일부의 테스트 대상 단말에 소프트웨어 테스트 수행을 위한 정보를 송신하는 장치이다. 즉, 이하의 실시예들에서 '테스트 대상 단말과 연결된 서버'는 제3 서버(3)를 지칭하는 것으로 해석한다.The
구체적으로, 제3 서버(3)는 사용자가 테스트하고자 하는 소프트웨어를 테스트 후보 단말(4)에 제공하는 서버로서, 예를 들어 사용자가 A라는 특정 게임에 대해 테스트하고자 하는 경우, 제3 서버(3)는 테스트 후보 단말(4)에 게임 A를 서비스하는 서버를 의미한다.Specifically, the
이때, '게임'이란 한 명 또는 그 이상의 게이머들이 게이밍 디바이스에 탑재되거나 연결된 입력장치를 이용하여 즐길 수 있는 소프트웨어를 의미한다. 통상 플레이어 캐릭터를 직접 조작하거나, 게임 내 오브젝트의 움직임을 조작하는 등의 방식으로 진행되며, 롤플레잉, 어드벤쳐, 아케이드 등으로 장르가 구분되기도 한다.In this case, 'game' refers to software that one or more gamers can enjoy using an input device mounted on or connected to a gaming device. In general, it proceeds in such a way as directly manipulating a player character or manipulating the movement of an object in a game, and genres such as role-playing, adventure, and arcade are sometimes divided.
또한, '게이밍 디바이스'는 게임 소프트웨어를 실행하되 입력장치를 통한 사용자의 입력에 따라 연산을 수행하며, 출력장치를 통해 결과를 출력하는 하드웨어로서, 예를 들어 스마트폰(Smart Phone), 태블릿 PC(Tablet PC), 스마트 워치(Smart Watch), 스마트 밴드(Smart Band) 또는 개인용 컴퓨터(Personal Computer) 등의 형태일 수 있다. 이외에도 상술한 정의를 만족하는 장치라면 게이밍 디바이스에 속하는 것으로 해석된다.In addition, a 'gaming device' is hardware that executes game software, performs calculations according to user input through an input device, and outputs results through an output device, such as a smart phone or tablet PC ( It may be in the form of a tablet PC), a smart watch, a smart band, or a personal computer. In addition, any device that satisfies the above definition is interpreted as belonging to a gaming device.
테스트 후보 단말(4)은 제3 서버(3)와 연결된 단말로서, 테스트 대상 단말을 포함하고, 테스트 대상 단말은 테스트 자동화 서비스 장치(100)로부터 제3 서버(3)로 전송되는 요청에 따라 자동화된 소프트웨어 테스트가 수행되는 장치를 의미한다.The
실효성 있는 소프트웨어 테스트를 위해서는, 테스트 대상 단말은 테스트하고자 하는 소프트웨어를 지원 가능한 최대한 많은 종류의 단말을 포함해야 한다. 예를 들어, B라는 모바일 게임을 테스트하고자 하는 경우, 테스트 대상 단말은 모바일 게임 B를 지원하는 최대한 많은 종류의 모바일 디바이스를 포함해야 한다.For an effective software test, a test target terminal must include as many types of terminals as possible to support the software to be tested. For example, if a mobile game called B is to be tested, a terminal under test should include as many types of mobile devices as possible supporting mobile game B.
도 1에서는 예시적으로 테스트 후보 단말(4)을 총 N개의 단말(4-1, 4-2, ..., 4-N)들의 집합으로 도시하였으나, 이는 하나 이상의 단말이 제3 서버(3)에 연결될 수 있음을 나타낸 것이며, 테스트 후보 단말(4)은 제3 서버(3)의 소켓(socket) 또는 트래픽(traffic) 등을 고려하여 기 설정된 한도 내에서 연결될 수 있음에 유의해야 한다.In FIG. 1 exemplarily, the
도 1을 참조하여 상술한 실시예들에서, 제1 서버(1), 제2 서버(2), 제3 서버(3), 테스트 후보 단말(4) 및 테스트 자동화 서비스 장치(100)가 주고받는 일련의 정보들은 통신 네트워크를 통해 전송될 수 있으며, 이때 통신 네트워크는 인터넷, 하나 이상의 로컬 영역 네트워크(local area networks), 광역 네트워크(wire area networks), 셀룰러 네트워크, 모바일 네트워크, 그 밖에 다른 종류의 네트워크들, 또는 이러한 네트워크들의 조합을 포함할 수 있다.In the embodiments described above with reference to FIG. 1, the
도 2는 일 실시예에 따른 테스트 자동화 서비스 장치(100)의 블록도이다.2 is a block diagram of a test
도시된 바와 같이, 일 실시예에 따른 테스트 자동화 서비스 장치(100)는 테스트 옵션 제공부(110), 획득부(120), 테스트 요청부(130) 및 리포트 제공부(140)를 포함한다.As shown, the test
테스트 옵션 제공부(110)는 사용자에게 하나 이상의 테스트 스크립트의 목록을 포함하는 테스트 옵션을 제공한다.The test
이하의 실시예들에서, '테스트 스크립트'는 개발자가 소프트웨어 테스트를 수행하기 위해 필요한 하나 이상의 액션(action)을 코드 형태로 기술한 파일을 의미한다. 이하에서는 설명의 편의를 위해, 테스트 스크립트를 기술한 코드를 테스트 코드로 지칭하도록 한다.In the following embodiments, a 'test script' refers to a file in which one or more actions necessary for a developer to perform a software test are described in code form. Hereinafter, for convenience of explanation, the code describing the test script is referred to as a test code.
아울러, 이하의 실시예들에서, '테스트 옵션'은 소프트웨어 테스트와 관련하여 사용자들이 테스트 스크립트나 그에 따른 액션 등을 선택할 수 있도록 사용자에게 제공되는 선택 가능한 세부 사항을 의미한다.In addition, in the following embodiments, a 'test option' refers to selectable details provided to users so that they can select a test script or a corresponding action in relation to a software test.
일 실시예에 따르면, 테스트 옵션은 하나 이상의 테스트 스크립트 별 액션의 목록을 더 포함할 수 있다.According to one embodiment, the test option may further include a list of actions for each test script.
획득부(120)는 테스트 옵션에 대한 사용자의 선택에 기초하여, 하나 이상의 테스트 스크립트 중 적어도 하나를 획득한다.The acquiring
테스트 요청부(130)는 테스트 대상 단말과 연결된 서버에 획득부(120)가 획득한 적어도 하나의 테스트 스크립트를 포함하는 테스트 요청을 전송한다.The test requester 130 transmits a test request including at least one test script acquired by the
이후, 획득부(120)는 획득한 적어도 하나의 테스트 스크립트에 따라 테스트 대상 단말에서 수행된 하나 이상의 액션에 대한 테스트 결과를 획득한다.Then, the
리포트 제공부(140)는 획득부(120)가 획득한 적어도 하나의 테스트 스크립트에 따라 테스트 대상 단말에서 수행된 하나 이상의 액션 중, 적어도 일부의 액션(이하에서, '리포트 대상 액션'으로 지칭한다)에 대한 수행 결과를 포함하는 리포트를 사용자에게 제공한다.The
일 실시예에 따르면, 테스트 옵션 제공부(110)가 하나 이상의 테스트 스크립트 별 액션의 목록을 더 포함하는 테스트 옵션을 사용자에게 제공한 경우, 리포트 제공부(140)는 제공된 액션의 목록 중 사용자가 선택한 적어도 일부 액션에 대한 수행 결과를 포함하는 리포트를 제공할 수 있다.According to one embodiment, when the test
일 실시예에 따르면, 리포트 제공부(140)는 테스트 대상 단말에서 수행된 하나 이상의 액션 중 사전 태깅(Tagging)된 액션에 대한 수행 결과를 포함하는 리포트를 제공할 수 있다.According to an embodiment, the
일 실시예에 따르면, 리포트 제공부(140)는 리포트 대상 액션에 대한 수행 결과를 기 설정된 분류 기준에 기초하여 복수의 타입 중 어느 하나로 분류할 수 있다.According to an embodiment, the
구체적으로, 리포트 제공부(140)는 수행 결과를 아래의 기준에 따라 제1 유형 내지 제4 유형 중 어느 하나로 분류할 수 있다.Specifically, the
(1) 리포트 대상 액션이 정상적으로 수행되고, 수행 결과가 예상 결과와 일치하는 경우: 수행 결과를 제1 유형으로 분류(1) When the report target action is normally performed and the execution result matches the expected result: the execution result is classified as the first type
(2) 리포트 대상 액션이 정상적으로 수행되고, 수행 결과가 예상 결과와 상이한 경우: 수행 결과를 제2 유형으로 분류(2) When the action to be reported is normally performed and the execution result is different from the expected result: the execution result is classified as the second type
(3) 내부 요인에 의해 리포트 대상 액션의 수행이 불가하다고 판단된 경우: 수행 결과를 제3 유형으로 분류(3) If it is determined that the action to be reported is impossible to perform due to internal factors: the execution result is classified as the 3rd type
(4) 외부 요인에 의해 리포트 대상 액션의 수행이 비정상적으로 중단된 경우: 수행 결과를 제4 유형으로 분류(4) If the execution of the report target action is abnormally interrupted due to external factors: the execution result is classified as the 4th type
예를 들어, 리포트 제공부(140)는 사용자가 리포트 대상 액션의 수행 결과를 용이하게 인지할 수 있도록, 제1 유형을 'Pass'로, 제2 유형을 'Fail'로, 제3 유형을 'Skip'으로, 제4 유형을 'N/A'로 정의할 수 있다.For example, the
일 실시예에 따르면, 리포트 제공부(140)는 분류 결과를 포함하는 리포트를 기 정의된 테이블 형태로 사용자에게 제공할 수 있다.According to an embodiment, the
구체적으로, 테스트 스크립트에 포함된 테스트 코드 중 적어도 일부는 리포트 대상 액션의 수행을 위한 테스트 코드인데, 이 중 일부는 분류 결과를 기 정의된 테이블 형태로 출력하기 위한 명령어를 포함하는 메소드(method)일 수 있다. 이에 따라, 위 조건을 만족하는 메소드가 호출될 경우 리포트 제공부(140)는 호출되는 메소드에 포함된 명령어에 따라 분류 결과를 테이블 형태로 출력할 수 있다.Specifically, at least some of the test codes included in the test scripts are test codes for performing report target actions, and some of them may be methods including commands for outputting classification results in a predefined table format. can Accordingly, when a method satisfying the above condition is called, the
보다 구체적으로, 테이블 형태로 제공되는 분류 결과가 어떤 리포트 대상 액션부터 어떤 리포트 대상 액션까지의 분류 결과인지는 상기 명령어에 따라 상이할 수 있다. 예를 들어, 테이블 형태로 제공되는 분류 결과는 하나의 테스트 스크립트 내에서 현재까지 수행된 모든 리포트 대상 액션에 대한 분류 결과일 수도 있으나, 상기 명령어에 따라서는 리포트로 제공된 적이 없는 리포트 대상 액션에 한정된 분류 결과일 수도 있다.More specifically, the classification result provided in the form of a table from which report target action to what report target action may be different according to the command. For example, the classification result provided in the form of a table may be a classification result of all report target actions performed so far in one test script, but classification limited to report target actions that have never been provided as a report according to the command. may be the result.
일 실시예에 따르면, 리포트 제공부(140)는 리포트 대상 액션에 대한 수행 성공률을 더 포함하는 리포트를 제공할 수 있다. 즉 다시 말하면, 리포트 제공부(140)가 제공하는 리포트는 테스트 대상 단말이 리포트 대상 액션을 수행하는 데 성공했는지 여부 외에도, 수행을 시도한 리포트 대상 액션 수 대비 수행에 성공한 리포트 대상 액션 수를 백분율로 나타낸 수행 성공률을 포함할 수 있다.According to an embodiment, the
일 실시예에 따르면, 리포트 제공부(140)는 획득부(120)가 획득한 적어도 하나의 테스트 스크립트에 따른 테스트의 수행 중 테스트 대상 단말의 화면에 출력되는 적어도 일부의 이미지 또는 동영상을 더 포함하는 리포트를 제공할 수 있다.According to an embodiment, the
구체적으로, 테스트 스크립트에 포함된 테스트 코드 중 적어도 일부는 이미지를 캡처(capture)하거나 기 설정된 구간의 동영상을 녹화하기 위한 명령어를 포함하는 메소드일 수 있고, 해당 메소드가 호출될 경우 리포트 제공부(140)는 해당 메소드에 의해 캡처되거나 녹화되는 이미지 또는 동영상을 리포트에 포함하여 사용자에게 제공할 수 있다.Specifically, at least some of the test codes included in the test script may be a method including a command for capturing an image or recording a video of a preset section, and when the corresponding method is called, the report providing unit (140 ) can provide the user with the image or video captured or recorded by the corresponding method included in the report.
이상의 도 2를 참조하여 설명한 실시예들과 관련하여, 이하의 도 4에서 후술하기로 한다.In relation to the embodiments described with reference to FIG. 2 above, it will be described later in FIG. 4 below.
도 3은 일 실시예에 따른 테스트 자동화 서비스 화면을 나타낸 예시도이다.3 is an exemplary view showing a test automation service screen according to an embodiment.
도 3을 참조하면, 화면 좌측에는 '테스트 옵션 편집 페이지'가, 화면 우측 상단에는 '빌드 등록 페이지'가, 화면 우측 하단에는 '테스트 스크립트 관리 페이지'가 도시된다.Referring to FIG. 3 , a 'test option editing page' is shown on the left side of the screen, a 'build registration page' is shown on the upper right corner of the screen, and a 'test script management page' is shown on the lower right corner of the screen.
먼저, '테스트 옵션 편집 페이지'는 테스트 옵션 제공부(110)를 통해 사용자에게 제공되는 그래픽 유저 인터페이스(GUI; Graphical User Interface)로서, '이름', '설명', '테스트 자원', '기기', '결과 수신자', '자동 실행' 등의 항목을 포함한다.First, the 'test option editing page' is a graphical user interface (GUI) provided to the user through the test
'이름'은 소프트웨어 테스트를 구별하기 위해 사용자가 임의로 입력 가능한 항목이며, '설명'은 해당 소프트웨어 테스트에 대해 사용자가 주석(comment)을 기재하는 항목이다.'Name' is an item that can be arbitrarily entered by a user to distinguish a software test, and 'description' is an item in which a user writes a comment about a corresponding software test.
한편, '테스트 자원'은 소프트웨어 테스트의 수행에 사용될 파일 및 테스트 시나리오 등을 선택할 수 있는 항목이다.On the other hand, 'test resource' is an item for selecting files and test scenarios to be used for performing software tests.
구체적으로, 사용자는 안드로이드(Android) 운영체제 또는 iOS 운영체제 중 하나를 선택하여 해당 운영체제 하에서의 테스트 가상 환경을 선택할 수 있다. 이를 위해, '테스트 자원' 항목에는 안드로이드 운영체제 하의 테스트 가상 환경 파일의 목록을 제공하는 그래픽 객체(301)와, iOS 운영체제 하의 테스트 가상 환경 파일의 목록을 제공하는 그래픽 객체(302)가 포함된다.Specifically, the user may select one of the Android operating system and the iOS operating system to select a test virtual environment under the corresponding operating system. To this end, the 'test resource' item includes a
아울러, '테스트 자원' 항목에는 사용자가 원하는 테스트 시나리오를 선택할 수 있도록 기 정의된 하나 이상의 테스트 시나리오의 목록을 제공하는 그래픽 객체(303)가 포함된다.In addition, the 'test resource' item includes a
또한, 사용자는 제2 서버(2)에 등록된 테스트 스크립트 외에도, 자신이 원하는 테스트 스크립트를 직접 업로드하여 테스트 대상 단말에 적용되도록 할 수 있는데, 이를 위해 '테스트 자원' 항목에는 사용자가 클릭을 통해 사용자의 컴퓨팅 장치 내 저장 공간에 저장된 테스트 스크립트를 업로드할 수 있는 '파일 선택' 그래픽 객체(305)가 포함된다.In addition, in addition to the test scripts registered in the
'기기'는 사용자가 테스트 후보 단말(4) 중에 테스트 대상 단말을 선택할 수 있는 항목으로서, 이를 위해 '기기' 항목에는 '기기 선택' 그래픽 객체(306)가 포함된다.'Device' is an item through which the user can select a terminal to be tested from among
'결과 수신자'는 사용자가 테스트 결과를 수신 받을 대상을 지정할 수 있는 항목이며, 이를 위해 '결과 수신자' 항목에는 수신자 입력란(307)이 마련된다. 또한, 테스트가 전부 수행된 이후에만 아니라 테스트가 수행되는 중간에도 사용자가 중간 결과를 확인할 수 있도록, '결과 수신자' 항목에는 '중간 결과 받기' 체크 버튼(308)이 마련된다.The 'result recipient' is an item through which the user can designate a target to receive the test result, and for this purpose, a
'자동 실행'은 제1 서버(1)에 신규 빌드 파일이 등록된 경우 사용자의 테스트 옵션 선택을 통한 개입 없이 자동으로 소프트웨어 테스트가 수행되도록, 자동 실행 여부를 결정하는 체크 버튼 및 경과 시간 조건에 대한 입력란이 마련된다.'Auto Execution' refers to a check button that determines whether or not to automatically execute a software test so that, when a new build file is registered in the
한편, '빌드 등록 페이지'는 제1 서버(1)에 등록된 빌드 파일의 목록을 사용자에게 제공하는 GUI로서, 서로 연관된 빌드 파일들을 상위 빌드 집합(빌드 1, 빌드 2 등) 아래에 나열하여 표시한다(빌드 1-1, 1-2, 1-3, 2-1, 2-2, 2-3 등).On the other hand, the 'build registration page' is a GUI that provides a list of build files registered in the
이때, 빌드 파일을 제1 서버(1)에 등록하고자 하는 제3자는 '빌드 등록 페이지'에 로그인하여 빌드 파일을 등록할 수 있고, 등록을 마친 이후에는 '로그아웃' 그래픽 객체(309)를 클릭함으로써 '빌드 등록 페이지'에서 로그아웃할 수 있다.At this time, a third party who wants to register the build file to the
뿐만 아니라, '빌드 등록 페이지'의 이용자는 각 상위 빌드 집합 옆에 도시된 '다운로드' 그래픽 객체(310, 311)를 클릭함으로써 연관된 빌드 파일들을 손쉽게 다운로드 받을 수 있다.In addition, the user of the 'build registration page' can easily download related build files by clicking the 'download'
이때, '빌드 파일'은 개발자가 작성한 소스 코드(source code) 파일이 컴퓨팅 장치에서 실행 가능한 소프트웨어 산출물의 형태로 구현된 파일을 의미한다.In this case, the 'build file' refers to a file in which a source code file prepared by a developer is implemented in the form of a software product executable on a computing device.
한편, '테스트 스크립트 관리 페이지'는 제2 서버(2)에 등록된 테스트 스크립트의 목록을 사용자에게 제공하는 GUI로서, 사용자 정보 표시(312)를 통해 현재 '테스트 스크립트 관리 페이지'를 이용 중인 사용자의 정보를 표시한다.On the other hand, the 'test script management page' is a GUI that provides a list of test scripts registered in the
또한, '테스트 스크립트명' 항목(313)을 통해 등록된 각 테스트 스크립트의 명칭을 제공하고, '최근 commit' 항목(314)을 통해 최근에 각 테스트 스크립트를 수정한 내용에 대한 설명을 제공하고, '최근 등록' 항목(315)을 통해 최근에 각 테스트 스크립트를 등록한 일자를 제공한다.In addition, the name of each registered test script is provided through the 'test script name'
이상의 도 3에 도시된 각 항목, 그래픽 객체, 체크 버튼, 입력란 등은 예시적인 것으로, 이외에도 추가적인 구성이 '테스트 옵션 편집 페이지', '빌드 등록 페이지' 또는 '테스트 스크립트 관리 페이지'에 포함될 수 있음은 자명하다.Each item, graphic object, check button, input box, etc. shown in FIG. 3 above is illustrative, and additional configurations may be included in the 'test option edit page', 'build registration page' or 'test script management page'. self-explanatory
이하에서는, 도 4 및 도 5를 참조하여 테스트 수행 결과로서 제공되는 리포트를 예시적으로 설명하기로 한다.Hereinafter, a report provided as a test execution result will be described with reference to FIGS. 4 and 5 as an example.
도 4는 일 실시예에 따른 리포트가 제공되는 화면을 나타낸 예시도이다.4 is an exemplary diagram illustrating a screen on which a report is provided according to an exemplary embodiment.
구체적으로, 도 4는 리포트 대상 액션의 수행 결과를 포함하는 기 정의된 테이블 형태의 테스트 결과 리포트 페이지로서, 도 4를 참조하면 리포트 제공부(140)가 총 29개의 리포트 대상 액션의 수행 결과를 25개의 'Pass', 1개의 'Fail', 3개의 'Skip', 0개의 'N/A'로 분류했음을 알 수 있다.Specifically, FIG. 4 is a test result report page in the form of a predefined table including execution results of report target actions. Referring to FIG. It can be seen that the classification was classified as 'Pass', 1 'Fail', 3 'Skip', and 0 'N/A'.
이에 따라, 테스트 단말에서 정상적으로 수행된 리포트 대상 액션은 'Pass'로 분류된 25개의 액션과 'Fail'로 분류된 1개의 액션을 합하여 총 26개이며, 따라서 리포트 대상 액션에 대한 수행 성공률은 26개 중 25개의 성공에 따라 96.1%로 산출된다.Accordingly, the number of reported actions normally performed in the test terminal is a total of 26, including 25 actions classified as 'Pass' and 1 action classified as 'Fail'. Therefore, the execution success rate for the reported action is 26 25 of them are successful, yielding 96.1%.
도 5는 다른 실시예에 따른 리포트가 제공되는 화면을 나타낸 예시도이다.5 is an exemplary diagram illustrating a screen on which a report is provided according to another embodiment.
구체적으로, 도 5는 도 4에 도시된 테이블보다 확장된 형태의 테스트 결과 리포트 페이지로서, 테스트 스크립트 별 액션 중 사전 태깅된 액션에 대한 설명과 해당 액션의 수행에 따른 분류 결과를 포함한다.Specifically, FIG. 5 is a test result report page in an expanded form than the table shown in FIG. 4, and includes a description of a pre-tagged action among actions for each test script and a classification result according to the execution of the corresponding action.
먼저, 도 5에 도시된 테이블 1열의 '테스트 스크립트명' 항목을 참조하면, 리포트 제공부(140)는 테스트 단말에서 수행된 6개의 테스트 스크립트('Test_설치_실행', 'Test_로그인', 'Test_우편', 'Test_NPC', 'Test_거래소', 'Test_랭킹')에 대한 수행 결과를 포함하는 리포트를 제공함을 알 수 있다.First, referring to the 'Test Script Name' item in
한편, 테이블 2열의 '테스트 영역' 항목을 참조하면, 각 테스트 스크립트에 따라 테스트 대상 단말에서 수행된 액션들이 어떤 사항을 테스트하는지 알 수 있다. 예를 들어, 'Test_로그인'이라는 테스트 스크립트에 따라 테스트 대상 단말에서는 '비밀번호를 기입하지 않아 로그인에 실패하는 액션', '비밀번호 오류로 로그인에 실패하는 액션', '로그인을 진행하는 액션', '기존 캐릭터를 유지하는 액션', '캐릭터 월드에 입장하는 액션'이 수행되며, 이 중 앞의 3개의 액션은 '테스트 영역' 중 '로그인'에 관한 사항을, 4번째 액션은 '캐릭터'에 관한 사항을, 마지막 액션은 '월드'에 관한 사항을 테스트하는 것이다.Meanwhile, referring to the 'test area' item in
한편, 테이블 4열의 '테스트 결과' 항목을 참조하면, 리포트 제공부(140)가 테스트 대상 단말에서 수행된 액션 별로 수행 결과를 분류했음을 알 수 있다. 예를 들어, 'Test_설치_실행'이라는 테스트 스크립트에 따라 수행된 3개의 리포트 대상 액션은 모두 'Pass'로 분류된 반면, 'Test_거래소'라는 테스트 스크립트에 따라 수행된 4개의 리포트 대상 액션 중 2개는 'Skip'으로, 2개는 'Pass'로 분류되었음을 알 수 있다.Meanwhile, referring to the 'test result' item in
이상의 도 4 및 도 5에 도시된 각 테이블 내 행(row)과 열(column)의 배치, 조합 및 각 셀(cell) 내의 내용은 예시적인 것으로, 실시예에 따라 사용자에게 다양한 형태의 '테스트 결과 리포트 페이지'가 제공될 수 있음은 자명하다.The arrangement and combination of rows and columns in each table shown in FIGS. 4 and 5 and contents within each cell are examples, and various forms of 'test results' are provided to users according to embodiments. It is obvious that a 'report page' can be provided.
도 6은 일 실시예에 따른 테스트 자동화 서비스 방법을 설명하기 위한 흐름도이다. 도 6에 도시된 방법은 예를 들어, 상술한 테스트 자동화 서비스 장치(100)에 의해 수행될 수 있다.6 is a flowchart illustrating a test automation service method according to an embodiment. The method shown in FIG. 6 may be performed by, for example, the test
우선, 테스트 자동화 서비스 장치(100)는 사용자에게 하나 이상의 테스트 스크립트의 목록을 포함하는 테스트 옵션을 제공한다(610).First, the test
이후, 테스트 자동화 서비스 장치(100)는 테스트 옵션에 대한 사용자의 선택에 기초하여, 하나 이상의 테스트 스크립트 중 적어도 하나를 획득한다(620).Thereafter, the test
이후, 테스트 자동화 서비스 장치(100)는 테스트 대상 단말과 연결된 서버에 획득한 테스트 스크립트를 포함하는 테스트 요청을 전송한다(630).Thereafter, the test
이후, 테스트 자동화 서비스 장치(100)는 획득한 적어도 하나의 테스트 스크립트에 따라 테스트 대상 단말에서 수행된 하나 이상의 액션에 대한 테스트 결과를 획득한다(640).Thereafter, the test
이후, 테스트 자동화 서비스 장치(100)는 테스트 대상 단말에서 수행된 하나 이상의 액션 중 적어도 일부의 액션에 대한 수행 결과를 포함하는 리포트를 사용자에게 제공한다(650).Thereafter, the test
도 7은 리포트를 제공하는 동작을 보다 상세하게 설명하기 위한 흐름도이다. 도 7에 도시된 방법은 예를 들어, 상술한 테스트 자동화 서비스 장치(100)에 의해 수행될 수 있다.7 is a flowchart for explaining in detail an operation of providing a report. The method shown in FIG. 7 may be performed by, for example, the test
우선, 테스트 자동화 서비스 장치(100)는 기 설정된 분류 기준에 기초하여 리포트 대상 액션에 대한 수행 결과를 복수의 타입 중 어느 하나로 분류한다(710).First of all, the test
이후, 테스트 자동화 서비스 장치(100)는 리포트 대상 액션의 분류 결과를 포함하는 리포트를 기 정의된 테이블 형태로 제공한다(720).Thereafter, the test
도 8은 수행 결과를 분류하는 동작을 보다 상세하게 설명하기 위한 흐름도이다. 도 8에 도시된 방법은 예를 들어, 상술한 테스트 자동화 서비스 장치(100)에 의해 수행될 수 있다.8 is a flowchart for explaining in detail an operation of classifying performance results. The method shown in FIG. 8 may be performed, for example, by the test
우선, 테스트 자동화 서비스 장치(100)는 테스트 대상 단말에서 수행된 리포트 대상 액션이 정상적으로 수행되는지 판단한다(810).First of all, the test
이후, 테스트 자동화 서비스 장치(100)는 리포트 대상 액션이 정상적으로 수행된 것으로 판단되는 경우, 수행 결과가 예상 결과와 일치하는지 판단한다(820).Then, when it is determined that the report target action is normally performed, the test
이후, 테스트 자동화 서비스 장치(100)는 수행 결과가 예상 결과와 일치하는 것으로 판단되는 경우, 리포트 대상 액션의 수행 결과를 제1 유형으로 분류한다(840).Then, when it is determined that the execution result matches the expected result, the test
한편, 테스트 자동화 서비스 장치(100)는 수행 결과가 예상 결과와 상이한 것으로 판단되는 경우, 리포트 대상 액션의 수행 결과를 제2 유형으로 분류한다(850).Meanwhile, when it is determined that the execution result is different from the expected result, the test
한편, 테스트 자동화 서비스 장치(100)는 리포트 대상 액션이 정상적으로 수행되지 않는다고 판단되는 경우, 내부 요인에 의해 리포트 대상 액션의 수행이 불가한 것인지 판단한다(830).Meanwhile, when the test
이후, 테스트 자동화 서비스 장치(100)는 리포트 대상 액션이 내부 요인에 의해 정상적으로 수행되지 않는다고 판단되는 경우, 리포트 대상 액션의 수행이 불가하다고 판단하고 수행 결과를 제3 유형으로 분류한다(860).Thereafter, when it is determined that the report target action is not normally performed due to internal factors, the test
한편, 테스트 자동화 서비스 장치(100)는 리포트 대상 액션이 내부 요인이 아닌 외부 요인에 의해 정상적으로 수행되지 않는다고 판단되는 경우, 리포트 대상 액션의 수행이 비정상적으로 중단된 것으로 판단하고 수행 결과를 제4 유형으로 분류한다(870).Meanwhile, when the test
상기 도 6 내지 도 8에서는 상기 방법을 복수 개의 동작으로 나누어 기재하였으나, 적어도 일부의 동작들은 순서를 바꾸어 수행되거나, 다른 동작과 결합되어 함께 수행되거나, 생략되거나, 세부 동작들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 동작이 부가되어 수행될 수 있다.Although the method is divided into a plurality of operations in FIGS. 6 to 8, at least some of the operations are performed in reverse order, are performed together with other operations, are omitted, are divided into detailed operations, or are performed. One or more operations not shown may be added and performed.
도 9는 일 실시예에 따른 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술된 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.9 is a block diagram illustrating and describing a
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 테스트 자동화 서비스 장치(100)일 수 있다.The illustrated
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.Computer-
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.
한편, 본 발명의 실시예는 본 명세서에서 기술한 방법들을 컴퓨터상에서 수행하기 위한 프로그램, 및 상기 프로그램을 포함하는 컴퓨터 판독 가능 기록매체를 포함할 수 있다. 상기 컴퓨터 판독 가능 기록매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나, 또는 컴퓨터 소프트웨어 분야에서 통상적으로 사용 가능한 것일 수 있다. 컴퓨터 판독 가능 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광 기록 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 프로그램의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.Meanwhile, embodiments of the present invention may include a program for performing the methods described in this specification on a computer, and a computer readable recording medium including the program. The computer readable recording medium may include program instructions, local data files, local data structures, etc. alone or in combination. The media may be specially designed and configured for the present invention, or may be commonly available in the field of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and specially configured to store and execute program instructions such as ROM, RAM, and flash memory. Hardware devices are included. Examples of the program may include not only machine language codes generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 청구범위뿐만 아니라 이 청구범위와 균등한 것들에 의해 정해져야 한다.Although representative embodiments of the present invention have been described in detail above, those skilled in the art will understand that various modifications are possible to the above-described embodiments without departing from the scope of the present invention. . Therefore, the scope of the present invention should not be limited to the described embodiments and should not be defined, and should be defined by not only the claims to be described later, but also those equivalent to these claims.
1: 제1 서버
2: 제2 서버
3: 제3 서버
4(4-1, 4-2, ..., 4-N): 테스트 후보 단말
10: 컴퓨팅 환경
12: 컴퓨팅 장치
14: 프로세서
16: 컴퓨터 판독 가능 저장 매체
18: 통신 버스
20: 프로그램
22: 입출력 인터페이스
24: 입출력 장치
26: 네트워크 통신 인터페이스
100: 테스트 자동화 서비스 장치
110: 테스트 옵션 제공부
120: 획득부
130: 테스트 요청부
140: 리포트 제공부1: first server
2: Second server
3: 3rd server
4 (4-1, 4-2, ..., 4-N): test candidate terminal
10: Computing environment
12: computing device
14: Processor
16: computer readable storage medium
18: communication bus
20: program
22: I/O interface
24: I/O device
26: network communication interface
100: test automation service device
110: test option providing unit
120: acquisition unit
130: test request unit
140: report providing unit
Claims (14)
사용자에게 하나 이상의 테스트 스크립트의 목록을 포함하는 테스트 옵션을 제공하는 동작;
상기 테스트 옵션에 대한 상기 사용자의 선택에 기초하여, 상기 하나 이상의 테스트 스크립트 중 적어도 하나를 획득하는 동작;
테스트 대상 단말과 연결된 서버에 상기 획득한 적어도 하나의 테스트 스크립트를 포함하는 테스트 요청을 전송하는 동작;
상기 획득한 적어도 하나의 테스트 스크립트에 따라 상기 테스트 대상 단말에서 수행된 하나 이상의 액션에 대한 테스트 결과를 획득하는 동작; 및
상기 사용자에게 상기 하나 이상의 액션 중 적어도 일부의 액션에 대한 수행 결과를 포함하는 리포트를 제공하는 동작을 포함하고,
상기 리포트를 제공하는 동작은,
상기 하나 이상의 액션 중 사전 태깅(Tagging)된 액션을 추출하고, 상기 추출된 사전 태깅된 액션에 대한 설명과 그 수행 결과를 포함하는 리포트를 제공하는, 테스트 자동화 서비스 방법.In the test automation service method performed by a computing device,
providing a user with a test option that includes a list of one or more test scripts;
obtaining at least one of the one or more test scripts based on the user's selection of the test option;
transmitting a test request including the acquired at least one test script to a server connected to a terminal under test;
acquiring test results for one or more actions performed in the terminal under test according to the acquired at least one test script; and
Providing a report including results of performing at least some of the one or more actions to the user;
The operation of providing the report,
A test automation service method of extracting a pre-tagged action from among the one or more actions and providing a report including a description of the extracted pre-tagged action and a result of its execution.
상기 테스트 옵션은,
상기 하나 이상의 테스트 스크립트 별 액션의 목록을 더 포함하고,
상기 리포트를 제공하는 동작은,
상기 하나 이상의 테스트 스크립트 별 액션의 목록 중 상기 사용자가 선택한 적어도 일부 액션에 대한 수행 결과를 더 포함하는 리포트를 제공하는, 테스트 자동화 서비스 방법.The method of claim 1,
The test option is
Further comprising a list of actions for each of the one or more test scripts,
The operation of providing the report,
The test automation service method of providing a report further including execution results for at least some of the actions selected by the user from the list of actions for each of the one or more test scripts.
상기 리포트를 제공하는 동작은,
기 설정된 분류 기준에 기초하여 상기 적어도 일부의 액션에 대한 수행 결과를 복수의 타입 중 어느 하나로 분류하는 동작; 및
상기 분류 결과를 더 포함하는 리포트를 기 정의된 테이블 형태로 제공하는 동작을 포함하는, 테스트 자동화 서비스 방법.The method of claim 1,
The operation of providing the report,
classifying a result of performing the at least some of the actions into one of a plurality of types based on a predetermined classification criterion; and
A test automation service method comprising an operation of providing a report further including the classification result in the form of a predefined table.
상기 분류하는 동작은,
상기 적어도 일부의 액션이 정상적으로 수행되고, 상기 적어도 일부의 액션에 대한 수행 결과가 예상 결과와 일치하는 경우, 상기 적어도 일부의 액션에 대한 수행 결과를 제1 유형으로 분류하는 동작;
상기 적어도 일부의 액션이 정상적으로 수행되고, 상기 적어도 일부의 액션에 대한 수행 결과가 예상 결과와 상이한 경우, 상기 적어도 일부의 액션에 대한 수행 결과를 제2 유형으로 분류하는 동작;
내부 요인에 의해 상기 적어도 일부의 액션의 수행이 불가하다고 판단된 경우, 상기 적어도 일부의 액션에 대한 수행 결과를 제3 유형으로 분류하는 동작; 및
외부 요인에 의해 상기 적어도 일부의 액션의 수행이 비정상적으로 중단된 경우, 상기 적어도 일부의 액션에 대한 수행 결과를 제4 유형으로 분류하는 동작을 포함하는, 테스트 자동화 서비스 방법.The method of claim 4,
The classification operation,
classifying results of performing the at least some actions as a first type when the at least some actions are normally performed and the results of performing the at least some actions match expected results;
classifying results of performing the at least some actions as a second type when the at least some actions are normally performed and the results of performing the at least some actions are different from expected results;
classifying results of performing the at least some actions into a third type when it is determined that the at least some actions cannot be performed due to internal factors; and
and classifying a result of performing the at least some of the actions into a fourth type when the execution of the at least some of the actions is abnormally stopped due to an external factor.
상기 리포트를 제공하는 동작은,
상기 적어도 일부의 액션에 대한 수행 성공률을 더 포함하는 리포트를 제공하는, 테스트 자동화 서비스 방법.The method of claim 1,
The operation of providing the report,
A test automation service method for providing a report further including an execution success rate for the at least some of the actions.
상기 리포트를 제공하는 동작은,
상기 획득한 적어도 하나의 테스트 스크립트에 따른 테스트의 수행 중 상기 테스트 대상 단말의 화면에 출력되는 적어도 일부의 이미지 또는 동영상을 더 포함하는 리포트를 제공하는, 테스트 자동화 서비스 방법.The method of claim 1,
The operation of providing the report,
The test automation service method of providing a report further including at least some images or videos output on the screen of the terminal under test during execution of a test according to the at least one acquired test script.
상기 하나 이상의 프로세서에 의해 실행되도록 구성되는 하나 이상의 프로그램을 저장하는 메모리를 포함하는 장치로서,
상기 프로그램은,
사용자에게 하나 이상의 테스트 스크립트의 목록을 포함하는 테스트 옵션을 제공하는 동작;
상기 테스트 옵션에 대한 상기 사용자의 선택에 기초하여, 상기 하나 이상의 테스트 스크립트 중 적어도 하나를 획득하는 동작;
테스트 대상 단말과 연결된 서버에 상기 획득한 적어도 하나의 테스트 스크립트를 포함하는 테스트 요청을 전송하는 동작;
상기 획득한 적어도 하나의 테스트 스크립트에 따라 상기 테스트 대상 단말에서 수행된 하나 이상의 액션에 대한 테스트 결과를 획득하는 동작; 및
상기 사용자에게 상기 하나 이상의 액션 중 적어도 일부의 액션에 대한 수행 결과를 포함하는 리포트를 제공하는 동작을 실행하기 위한 명령어들을 포함하고,
상기 리포트를 제공하는 동작은,
상기 하나 이상의 액션 중 사전 태깅(Tagging)된 액션을 추출하고, 상기 추출된 사전 태깅된 액션에 대한 설명과 그 수행 결과를 포함하는 리포트를 제공하는, 테스트 자동화 서비스 장치.one or more processors; and
An apparatus comprising a memory storing one or more programs configured to be executed by the one or more processors,
said program,
providing a user with a test option that includes a list of one or more test scripts;
obtaining at least one of the one or more test scripts based on the user's selection of the test option;
transmitting a test request including the acquired at least one test script to a server connected to a terminal under test;
acquiring test results for one or more actions performed in the terminal under test according to the acquired at least one test script; and
Includes instructions for executing an operation of providing a report including performance results of at least some of the one or more actions to the user;
The operation of providing the report,
A test automation service device that extracts a pre-tagged action from among the one or more actions and provides a report including a description of the extracted pre-tagged action and an execution result thereof.
상기 테스트 옵션은,
상기 하나 이상의 테스트 스크립트 별 액션의 목록을 더 포함하고,
상기 리포트를 제공하는 동작은,
상기 하나 이상의 테스트 스크립트 별 액션의 목록 중 상기 사용자가 선택한 적어도 일부 액션에 대한 수행 결과를 더 포함하는 리포트를 제공하는, 테스트 자동화 서비스 장치.The method of claim 8,
The test option is
Further comprising a list of actions for each of the one or more test scripts,
The operation of providing the report,
The test automation service device that provides a report further including execution results for at least some of the actions selected by the user from the list of actions for each of the one or more test scripts.
상기 리포트를 제공하는 동작은,
기 설정된 분류 기준에 기초하여 상기 적어도 일부의 액션에 대한 수행 결과를 복수의 타입 중 어느 하나로 분류하는 동작; 및
상기 분류 결과를 더 포함하는 리포트를 기 정의된 테이블 형태로 제공하는 동작을 포함하는, 테스트 자동화 서비스 장치.The method of claim 8,
The operation of providing the report,
classifying a result of performing the at least some of the actions into one of a plurality of types based on a predetermined classification criterion; and
And an operation of providing a report further including the classification result in the form of a predefined table.
상기 분류하는 동작은,
상기 적어도 일부의 액션이 정상적으로 수행되고, 상기 적어도 일부의 액션에 대한 수행 결과가 예상 결과와 일치하는 경우, 상기 적어도 일부의 액션에 대한 수행 결과를 제1 유형으로 분류하는 동작;
상기 적어도 일부의 액션이 정상적으로 수행되고, 상기 적어도 일부의 액션에 대한 수행 결과가 예상 결과와 상이한 경우, 상기 적어도 일부의 액션에 대한 수행 결과를 제2 유형으로 분류하는 동작;
내부 요인에 의해 상기 적어도 일부의 액션의 수행이 불가하다고 판단된 경우, 상기 적어도 일부의 액션에 대한 수행 결과를 제3 유형으로 분류하는 동작; 및
외부 요인에 의해 상기 적어도 일부의 액션의 수행이 비정상적으로 중단된 경우, 상기 적어도 일부의 액션에 대한 수행 결과를 제4 유형으로 분류하는 동작을 포함하는, 테스트 자동화 서비스 장치.The method of claim 11,
The classification operation,
classifying results of performing the at least some actions as a first type when the at least some actions are normally performed and the results of performing the at least some actions match expected results;
classifying results of performing the at least some actions as a second type when the at least some actions are normally performed and the results of performing the at least some actions are different from expected results;
classifying results of performing the at least some actions into a third type when it is determined that the at least some actions cannot be performed due to internal factors; and
and classifying a result of performing the at least some of the actions into a fourth type when the execution of the at least some of the actions is abnormally stopped due to an external factor.
상기 리포트를 제공하는 동작은,
상기 적어도 일부의 액션에 대한 수행 성공률을 더 포함하는 리포트를 제공하는, 테스트 자동화 서비스 장치.The method of claim 8,
The operation of providing the report,
A test automation service device that provides a report further including an execution success rate for the at least some of the actions.
상기 리포트를 제공하는 동작은,
상기 획득한 적어도 하나의 테스트 스크립트에 따른 테스트의 수행 중 상기 테스트 대상 단말의 화면에 출력되는 적어도 일부의 이미지 또는 동영상을 더 포함하는 리포트를 제공하는, 테스트 자동화 서비스 장치.The method of claim 8,
The operation of providing the report,
The test automation service device that provides a report further including at least some images or videos output on the screen of the test target terminal while the test according to the at least one acquired test script is performed.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200137889A KR102481527B1 (en) | 2020-10-22 | 2020-10-22 | Apparatus and method for test automation service |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200137889A KR102481527B1 (en) | 2020-10-22 | 2020-10-22 | Apparatus and method for test automation service |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20220053432A KR20220053432A (en) | 2022-04-29 |
KR102481527B1 true KR102481527B1 (en) | 2022-12-26 |
Family
ID=81428716
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200137889A KR102481527B1 (en) | 2020-10-22 | 2020-10-22 | Apparatus and method for test automation service |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102481527B1 (en) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150026665A1 (en) * | 2013-07-17 | 2015-01-22 | Ebay Inc. | Automated test on applications or websites in mobile devices |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101196522B1 (en) | 2010-11-03 | 2012-11-01 | 주식회사 엔씨소프트 | Stress test system for online game server based on script and method thereof |
KR20140110520A (en) * | 2013-03-08 | 2014-09-17 | 주식회사 인프라웨어테크놀러지 | Method for automatic verification for samrt applications by automatic execution control of test terminals, and computer-readable recording medium for the same |
KR101698029B1 (en) * | 2015-02-13 | 2017-01-20 | 어니컴 주식회사 | System and method for automatic application test using script |
-
2020
- 2020-10-22 KR KR1020200137889A patent/KR102481527B1/en active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150026665A1 (en) * | 2013-07-17 | 2015-01-22 | Ebay Inc. | Automated test on applications or websites in mobile devices |
Also Published As
Publication number | Publication date |
---|---|
KR20220053432A (en) | 2022-04-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11074087B2 (en) | System and method for identifying, indexing, and navigating to deep states of mobile applications | |
CN107025165B (en) | Game automation test method and related device | |
CN108845930B (en) | Interface operation test method and device, storage medium and electronic device | |
US9459994B2 (en) | Mobile application testing systems and methods | |
US20170160883A1 (en) | Implementing application jumps | |
Lou | A comparison of Android native app architecture MVC, MVP and MVVM | |
US11665183B2 (en) | Secure incident investigation event capture | |
KR20150032163A (en) | apparatus AND method for PROCESSING SCREENshot | |
CN110013672B (en) | Method, device, apparatus and computer-readable storage medium for automated testing of machine-run games | |
CN104598380A (en) | Method and system for automatic testing based on control | |
CN108292231A (en) | It generates and applies from data | |
CN104040946A (en) | Methods and systems for collaborative remote application sharing and conferencing | |
CN111124867A (en) | OpenStack testing method and device | |
CN109062807B (en) | Method and device for testing application program, storage medium and electronic device | |
Xu et al. | Guider: Gui structure and vision co-guided test script repair for android apps | |
WO2021061185A1 (en) | Test automation of application | |
CN115525563A (en) | Test method, test device, computer equipment and storage medium | |
JP6861880B1 (en) | Generation device, generation method and generation program | |
KR102481527B1 (en) | Apparatus and method for test automation service | |
CA3055859A1 (en) | Method and system for operating a software application on a processor of a mobile device | |
KR102481254B1 (en) | Apparatus and method for test automation service | |
KR102481502B1 (en) | Apparatus and method for test automation service | |
KR102481249B1 (en) | Apparatus and method for test automation service | |
CN113360199B (en) | Method, apparatus and computer readable storage medium for preloading a scenario for a game | |
CN112559338B (en) | Verification method, device, equipment and storage medium of application program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |