KR20160070410A - System for testing an application use for a smart device and method therefor - Google Patents

System for testing an application use for a smart device and method therefor Download PDF

Info

Publication number
KR20160070410A
KR20160070410A KR1020140177311A KR20140177311A KR20160070410A KR 20160070410 A KR20160070410 A KR 20160070410A KR 1020140177311 A KR1020140177311 A KR 1020140177311A KR 20140177311 A KR20140177311 A KR 20140177311A KR 20160070410 A KR20160070410 A KR 20160070410A
Authority
KR
South Korea
Prior art keywords
application
scene
information
test
event
Prior art date
Application number
KR1020140177311A
Other languages
Korean (ko)
Other versions
KR101637371B1 (en
Inventor
김영수
이재경
김철재
Original Assignee
(주)파이온닷컴
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)파이온닷컴 filed Critical (주)파이온닷컴
Priority to KR1020140177311A priority Critical patent/KR101637371B1/en
Publication of KR20160070410A publication Critical patent/KR20160070410A/en
Application granted granted Critical
Publication of KR101637371B1 publication Critical patent/KR101637371B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3604Software analysis for verifying properties of programs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3604Software analysis for verifying properties of programs
    • G06F11/3608Software analysis for verifying properties of programs using formal methods, e.g. model checking, abstract interpretation

Abstract

The present invention relates to a system for testing an application for a smart device and a method thereof. More specifically, the present invention relates to a system for testing an application for a smart device and a method thereof, wherein the system for testing an application for a smart device comprises: a document object model extraction unit for extracting document object model information of an application executed on a user terminal connected through communication networks, collecting event information of the corresponding application based on the extracted document object model information, and storing the event information in a database; a scenario generation unit for displaying scene images when executing an event in a tree structure based on the collected event information; a test executing unit for generating a scenario for testing the application by selecting the scene images when executing an event in a tree structure, and executing a test for the application according to the generated scenario; a test management unit for executing a rule-based engine in which a preset test scenario is automatically provided for a user so that the user can select; and a result creation unit for creating a test result executed by the test executing unit and displayed the test result on the user terminal. Thereby, the system for testing an application for a smart device allows a user to write a test scenario and execute a test.

Description

스마트기기용 어플리케이션의 테스트 시스템 및 그 방법{System for testing an application use for a smart device and method therefor}[0001] The present invention relates to a test system for a smart device, and more particularly,

본 발명은 스마트기기용 어플리케이션 프로그램의 테스트 시스템 및 그 방법에 관한 것으로서, 보다 상세하게는, 통신망을 통하여 접속한 사용자단말기에서 실행되는 어플리케이션의 문서객체모델정보를 추출하고 추출된 문서객체모델 정보에 기초하여 해당 어플리케이션의 이벤트 정보를 수집하고 이를 데이터베이스에 저장하는 문서객체모델 추출부와, 수집된 이벤트 정보에 기초하여 이벤트 실행시의 장면 이미지들을 트리 구조로 표시하는 시나리오 생성부와, 상기 트리 구조로 표시된 이벤트 실행시의 장면 이미지들을 선택하여 어플리케이션의 테스트를 위한 시나리오를 생성하고 생성된 시나리오에 따라서 어플리케이션의 테스트를 수행하는 테스트 수행부를 포함하여 구성되는 스마트기기용 어플리케이션의 테스트 시스템과 이를 사용하여 스마트기기용 어플리케이션을 테스트하는 방법에 관한 것이다.The present invention relates to a test system and method for an application program for a smart device, and more particularly, to a test system and method for an application program for a smart device, which extracts document object model information of an application executed in a user terminal connected via a communication network, A scenario generation unit for displaying scene images at the time of event execution in a tree structure based on the collected event information; A test system for a smart device application configured by selecting scene images at the time of event execution and generating a scenario for testing the application and testing the application in accordance with the generated scenario; And more particularly to a method of testing an application for a smart device.

일반적으로, 스마트폰(smart phone), 테블릿PC(tablet PC), PDA(Personal Digital Assistant, 개인휴대단말) 등의 스마트기기(smart device)는 특정한 목적과 기능을 가진 어플리케이션 프로그램(application program, 응용프로그램, 이하, 본 발명 명세서에서 '어플리케이션'으로 약칭함)을 기기에 인스톨하여 실행시킬 수 있는 것이 특징이다.Generally, a smart device such as a smart phone, a tablet PC, a personal digital assistant (PDA), or the like is an application program having a specific purpose and function Program, hereinafter abbreviated as "application" in the specification of the present invention) can be installed and executed in the device.

그런데, 어플리케이션을 개발하여 그 성능을 테스트할 경우, 종래에는 단말별 또는 OS(Operating System) 별로 수십대의 단말에 대하여 성능을 테스트하는 것은 물론, 해당 어플리케이션이 구동할 수 있는 많은 시나리오들을 하나씩 일일히 테스트하여야 하는 과정을 거쳐야 하기 때문에 어플리케이션의 테스트에 시간과 비용이 크게 소요되는 문제점이 있었다.[0003] However, when developing an application and testing its performance, conventionally, performance of several tens of terminals per terminal or OS (Operating System) has been tested and many scenarios that the application can run have been tested one by one There is a problem in that it takes much time and cost to test the application.

또한, 어플리케이션의 테스트를 자동적으로 수행할 수 있는 툴(tool)의 개발도 쉽지 않은 실정인데 그 이유는 테스트를 위한 스크립트(script) 작성이 어려울 뿐만 아니라 테스트를 위하여 모든 시나리오에 대하여 개별적인 스크립트를 일일히 작성하여야 하는 제약사항 때문이다. In addition, it is not easy to develop a tool that can automatically test an application because it is difficult to write a script for testing, and for each test scenario, This is due to the constraints that must be written.

또한, 테스트를 위한 개별적인 스크립트는 발생 가능한 모든 유형의 예외 처리가 반영되어 있지 않고, 사용자가 원하는 반복 테스트를 위해서는 추가적인 스크립트를 작성하여야 하는 문제점이 있다. Also, there is a problem in that an individual script for testing does not reflect all possible types of exception processing, and that additional scripts must be written for a desired repetitive test.

또한, 어플리케이션의 특성상 출시후에도 지속적으로 업데이트가 이루어지기 때문에 그때마다 스크립트를 수정해가면서 테스트를 수행하기가 쉽지 않다. Also, due to the nature of the application, it is not always easy to carry out the test while modifying the script, because it is continuously updated after the release.

또한, 모든 예외사항이 반영되어 있지 않기 때문에 어플리케이션에 예상치 못한 오류가 있을 경우 테스트가 중단되고, 이 경우 스크립트를 다시 수정해가면서 테스트를 진행해야 하므로 테스트 시간이 많이 소요되는 단점이 있다.In addition, because all exceptions are not reflected, if there is an unexpected error in the application, the test is interrupted. In this case, the test needs to be performed while the script is modified again.

나아가, 모든 시나리오에 대해 개별적으로 스크립트를 작성해야 하기 때문에 테스트의 품질이 스크립트 개발자의 역량에 의존하는 경향이 있으며, 테스트 개발자 이외에 다른 사용자는 스크립트 수정이 용이하지 않다는 문제점도 있다.Furthermore, because scripts must be written individually for all scenarios, the quality of the test tends to depend on the capabilities of the script developer, and other users besides the test developer are not easy to modify the script.

한편, 상기와 같이 어플리케이션의 테스트를 위한 선행기술로서 대한민국특허공개 제 2014-2815 호의 안드로이드 애플리케이션 지유아이 테스트 자동화 방법, 대한민국특허공개 제 2012-40419 호의 유저인터페이스 자동 분석을 통한 테스트 케이스 생성 방법이 공지되어 있다. On the other hand, as a prior art for testing an application as described above, a method of automating the Android application JiUi test of Korean Patent Laid-Open Publication No. 2014-2815 and a test case generation method of automatically analyzing the user interface of Korean Patent Application No. 2012-40419 are known have.

본 발명에서는 어플리케이션의 문서객체모델의 정보를 이용하여 어플리케이션의 모든 이벤트들의 장면 이미지가 트리 구조로 표시되며 사용자가 트리 구조화된 이벤트들의 장면 이미지들을 선택 및 편집하여 테스트를 위한 시나리오를 작성할 수 있기 때문에, 모든 발생가능한 시나리오에 대하여 일일히 스크립트를 작성하지 않고도 사용자가 용이하게 테스트 시나리오를 작성하고 테스트를 수행할 수 있도록 하는 어플리케이션 테스트 시스템 및 그 방법을 제공한다.In the present invention, a scene image of all events of an application is displayed in a tree structure using information of a document object model of an application, and a user can create scenarios for testing by selecting and editing scene images of tree-structured events, The present invention provides an application test system and method for enabling a user to easily create a test scenario and perform a test without writing a script for every possible scenario.

상기와 같은 기술적 과제를 달성하기 위한 본 발명은 일 측면에서 스마트기기용 어플리케이션의 테스트 시스템으로, 본 발명의 시스템에 접속한 사용자단말에서 실행되는 어플리케이션의 문서객체모델 정보를 추출하고 추출된 문서객체모델 정보에 기초하여 해당 어플리케이션의 이벤트 정보를 수집하고 이를 데이터베이스에 저장하는 문서객체모델 추출부와, 수집된 이벤트 정보에 기초하여 이벤트 실행시의 장면 이미지들을 트리(tree) 구조로 표시하는 시나리오 생성부와, 상기 트리 구조로 표시된 이벤트 실행시의 장면 이미지들에 대한 사용자의 입력을 수신하여 어플리케이션의 테스트를 위한 시나리오를 생성하고 생성된 시나리오에 따라서 어플리케이션의 테스트를 수행하는 테스트 수행부와, 상기 테스트 수행부에 의하여 수행된 테스트의 결과를 생성하여 사용자단말에 표시하는 결과 생성부를 포함하여 구성되는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a test system for an application for a smart device, which extracts document object model information of an application executed in a user terminal connected to the system of the present invention, A document object model extracting unit for collecting event information of the application based on the information and storing the event information in a database, a scenario generating unit for displaying scene images at the time of event execution in a tree structure based on the collected event information, A test execution unit configured to receive a user input of scene images at the time of execution of an event indicated by the tree structure to generate a scenario for testing the application and to test the application according to the generated scenario, Of the test performed by Generate and to is characterized in that comprises a generator for displaying the results in a user terminal.

바람직하게는 상기 문서객체모델추출부는, 어플리케이션에 새로운 장면이 추가되거나 어플리케이션의 실행시 표시되는 각 장면의 이미지가 새로운 이미지로 변경되면, 이러한 변경에 따라서 스크립트도 자동적으로 생성 및 변경되는 즉시 반응형 스크립트에 의하여 구현된다.Preferably, the document object model extracting unit extracts the document object model from the script image when the new scene is added to the application, or when the image of each scene displayed at the time of execution of the application is changed to a new image, Lt; / RTI >

또한, 바람직하게는 상기 테스트 수행부는, 상기 트리 구조로 표시된 이벤트 실행시의 장면 이미지들의 선택시 드래그 앤 드롭(drag & drop) 방식으로 장면 이미지를 선택하도록 하여 사용자의 선택을 입력받아 처리한다.Preferably, the test execution unit receives a selection of a user by selecting a scene image by a drag and drop method when selecting scene images at the time of execution of an event displayed in the tree structure.

나아가, 바람직하게는 상기 테스트 수행부는, 사용자가 해당 이벤트의 시작 장면과 종료 장면만 선택하는 경우, 사용자가 선택한 시작 장면과 종료 장면 사이의 테스트 가능한 모든 시나리오가 조회될 수 있도록 한다.In addition, preferably, the test execution unit allows all testable scenarios between the start scene and the end scene selected by the user to be inquired when the user selects only the start scene and the end scene of the event.

아울러, 상기 테스트 수행부는, 사용자가 해당 이벤트의 시작 장면, 중간 장면, 종료 장면을 선택하는 경우, 시작 장면에 해당하는 이벤트 장면의 앞과 뒤 장면이 점멸 표시되게 함으로써 해당 시작 장면과 다른 장면과의 연결을 직관적으로 확인할 수 있도록 한다In addition, when the user selects a start scene, an intermediate scene, and an end scene of the event, the test execution unit causes the front and back scenes of the event scene corresponding to the start scene to be blinked, Make connections intuitive

여기서, 사용자가 선택할 수 있도록 기 설정된 테스트 시나리오를 사용자에게 자동적으로 제공하는 룰 기반 엔진(rule-based engine)이 작동되는 테스트 관리부를 더 포함하여, 상기 테스트 관리부의 롤 기반 엔진은, 어플리케이션의 이벤트 정보를 생성하는 이벤트정보추출기; 상기 이벤트정보추출기를 통하여 이를 통하여 수집된 이벤트 정보에 기초하여 해당 어플리케이션의 선택가능한 기 설정된 테스트 시나리오를 제공하는 테스트 시나리오 생성기; 상기 이벤트의 정보를 토대로 테스트 시나리오 생성시 시나리오에 알맞은 어플리케이션의 이벤트 장면을 찾아서 상기 테스트시나리오생성기로 제공하는 장면상황정보제공자;를 포함하여 구성된다.      The test management unit may further include a test management unit that operates a rule-based engine that automatically provides a predetermined test scenario to the user so that the user can select the role-based engine. The role- An event information extractor for generating an event information; A test scenario generator for providing a predetermined test scenario selectable by the application based on event information collected through the event information extractor; And a scene situation information provider for finding an event scene of an application suitable for the scenario when generating the test scenario based on the information of the event and providing the event scene to the test scenario generator.

다른 측면에서 본 발명은, 통신망(200)을 통하여 어플리케이션 테스트 서버에 접속한 사용자단말(100)에서 실행되는 어플리케이션의 테스트 방법으로, 상기 어플리케이션 테스트 서버가 사용자단말(100)에서 실행되는 어플리케이션의 문서객체모델 정보를 추출하는 단계(S 300); 추출된 문서객체모델 정보에 따라서 해당 어플리케이션의 이벤트 정보를 수집하고 이를 데이터베이스에 저장하는 단계(S 301); 수집된 이벤트 정보에 기초하여 이벤트 실행시의 장면 이미지들을 트리 구조로 표시하는 단계(S 302); 상기 트리 구조로 표시된 이벤트 실행시의 장면 이미지들을 선택하여 어플리케이션의 테스트를 위한 테스트 시나리오를 생성하는 단계(S 303); 생성된 테스트 시나리오에 따라서 어플리케이션의 테스트를 수행하는 단계(S 304); 상기 어플리케이션의 테스트 수행 결과를 상기 사용자 단말기(100)에 표시하는 단계(S 305); 를 포함하는 것을 특징으로 한다.In another aspect of the present invention, there is provided a method of testing an application executed in a user terminal (100) connected to an application test server through a communication network (200) Extracting model information (S 300); Collecting event information of the application according to the extracted document object model information and storing the event information in a database (S 301); (S 302) displaying scene images at the time of event execution in a tree structure based on the collected event information; Selecting a scene image at the time of execution of the event indicated by the tree structure to generate a test scenario for testing the application (S 303); Performing a test of the application in accordance with the generated test scenario (S 304); (S 305) displaying a test execution result of the application on the user terminal 100; And a control unit.

상기와 같은 구성을 가지는 본 발명의 어플리케이션 테스트 시스템 및 그 방법은 다음과 같은 효과를 발현한다,The application test system and method of the present invention having the above-described configuration exhibit the following effects.

첫째, 본 발명의 문서객체모델 추출기와 데이터베이스를 이용하여 사전에 시나리오 및 스크립트를 자동적으로 생성할 수 있기 때문에, 스크립트 작성 시간을 획기적으로 단축시킬 수 있으며, 스크립트 작성에 개발자가 필요하지 않기 때문에 개발 인력에 투입되는 비용을 감소시킬 수 있다. First, scenarios and scripts can be automatically generated in advance by using the document object model extractor and the database of the present invention. Therefore, it is possible to dramatically shorten the script creation time, and since the developer is not required for the script creation, It is possible to reduce the cost of inputting the data.

둘째, 종래 어플리케이션의 업데이트시마다 개발자가 스크립트를 수정하여야 하지만, 본 발명은 문서객체모델 추출기가 주기적으로 변경 정보를 자동적으로 수집하여 시나리오를 변경하기 때문에, 별도의 스크립트 변경 없이 재테스트가 가능하고 이에 따른 유지보수 비용도 최소화시킬 수 있다.Second, the developer must modify the script at every update of the conventional application. However, since the document object model extractor periodically collects the change information automatically to change the scenario, it is possible to re-test without changing the script. Maintenance costs can also be minimized.

셋째, 데이터베이스에 어플리케이션 실행시 발생 가능한 다양한 패턴과 속성들이 저장되어 있기 때문에 장시간동안 안정적인 테스트가 가능한 효과가 있다. Third, since various patterns and attributes that can be generated when an application is executed are stored in the database, it is possible to perform stable testing for a long time.

넷째, 스크립트의 작성이 개발자에 의하여 이루어지지 않고 사용자에 의하여시나리오가 작성된 즉시 어플리케이션의 테스트가 가능하기 때문에 원격에서 자기진단(self-test)이 가능하여지는 효과가 발현될 수 있는 매우 진보한 발명인 것이다. Fourth, since the script is not written by the developer, and the application can be tested immediately after the scenario is written by the user, it is a very advanced invention that enables the self-test to be performed remotely .

도 1 은 본 발명 어플리케이션 테스트 시스템의 블럭다이어그램,
도 2 는 본 발명 어플리케이션 테스트 시스템의 문서객체모델 추출부의 제어의 플로우챠트,
도 3 은 본 발명 어플리케이션 테스트 시스템의 테스트 시나리오 생성기의 실행화면의 일례를 나타내는 도면,
도 4 는 본 발명 어플리케이션 테스트 시스템의 테스트 관리부의 구성도,
도 5 는 본 발명의 테스트 관리부의 롤 기반 엔진의 제어의 플로우챠트,
도 6 은 본 발명의 어플리케이션 테스트 방법의 순서도이다.
1 is a block diagram of an inventive application test system,
2 is a flow chart of control of the document object model extracting unit of the application test system of the present invention,
3 is a diagram showing an example of an execution screen of a test scenario generator of the application test system of the present invention,
4 is a configuration diagram of a test management unit of the application test system according to the present invention,
5 is a flow chart of control of the roll-based engine of the test management unit of the present invention,
6 is a flowchart of an application test method of the present invention.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. 또한 상세한 설명을 생략하여도 본 기술분야의 당업자가 쉽게 이해할 수 있는 부분의 설명은 생략하였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification. And a detailed description thereof will be omitted to omit descriptions of portions that can be readily understood by those skilled in the art.

명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. Throughout the specification and claims, where a section includes a constituent, it does not exclude other elements unless specifically stated otherwise, but may include other elements.

이하, 첨부 도면에 의거하여 본 발명 어플리케이션 테스트 시스템 및 그 방법의 구성을 상세하게 설명한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, an application test system and method according to the present invention will be described in detail with reference to the accompanying drawings.

도 1 은 본 발명 어플리케이션 테스트 시스템의 블럭다이어그램이다.1 is a block diagram of an inventive application test system.

도면을 참조하면, 본 발명의 어플리케이션 테스트 시스템(1)은, 통신망(200)을 통하여 본 발명의 시스템(1)에 접속한 사용자단말(100)에서 실행되는 어플리케이션의 문서객체모델(Document Object Model, DOM) 정보를 추출하고 추출된 문서객체모델 정보에 기초하여 해당 어플리케이션의 이벤트 정보를 수집하고 이를 데이터베이스(50)에 저장하는 문서객체모델 추출부(10)와, 수집된 이벤트 정보에 기초하여 이벤트 실행시의 장면 이미지들을 트리(tree) 구조로 표시하는 시나리오 생성부(20)와, 상기 트리 구조로 표시된 이벤트 실행시의 장면 이미지들에 대한 사용자의 입력을 수신하여 어플리케이션의 테스트를 위한 시나리오를 생성하고 생성된 시나리오에 따라서 어플리케이션의 테스트를 수행하는 테스트 수행부(30)와, 상기 테스트 수행부(30)에 의하여 수행된 테스트의 결과를 생성하여 사용자단말(100)에 표시하는 결과 생성부(60)를 포함하여 구성된다.Referring to the drawings, an application test system 1 of the present invention includes a document object model of an application executed in a user terminal 100 connected to the system 1 of the present invention via a communication network 200, A document object model extraction unit 10 for extracting DOM information, collecting event information of the application based on the extracted document object model information, and storing the collected event information in a database 50, A scenario generation unit 20 for displaying scene images of a city in a tree structure and a user for inputting scene images at the time of execution of an event indicated by the tree structure to generate a scenario for testing an application A test execution unit 30 for performing an application test according to the generated scenario, And a result generation unit 60 for generating a result of the test result and displaying the result on the user terminal 100.

또한 이에 부가하여, 사용자가 선택할 수 있도록 기 설정된 테스트 시나리오를 사용자에게 자동적으로 제공하는 룰 기반 엔진(rule-based engine)(41)이 구동되는 테스트 관리부(40)를 더 포함하여 구성될 수도 있다. In addition, the test management unit 40 may further include a rule-based engine 41 for automatically providing a predetermined test scenario to the user so that the rule-based engine 41 can be selected by the user.

여기서, 상기 사용자단말(100)은 어플리케이션의 테스트를 소망하는 사용자가 가진 스마트폰(smart phone), 테블릿PC(tablet PC), PDA(Personal Digital Assistant, 개인휴대단말) 등의 스마트기기(smart device)이다.
Here, the user terminal 100 may be a smart device such as a smart phone, a tablet PC, a personal digital assistant (PDA) )to be.

이하, 상기와 같이 이루어지는 본 발명의 어플리케이션 테스트 시스템의 구성을 보다 상세하게 개조식으로 설명한다.
Hereinafter, the configuration of the application test system of the present invention as described above will be described in more detail in a refinement manner.

1) 문서객체모델(Document Object Model) 추출부(10)1) a document object model (Document Object Model)

어플리케이션의 문서객체모델(Document Object Model, DOM) 정보를 추출하고, 추출된 문서객체모델 정보로부터 이벤트 정보를 수집하고 이를 데이터베이스(50)에 저장하는 부분이다.Extracts document object model (DOM) information of the application, collects event information from the extracted document object model information, and stores it in the database 50.

상기의 문서객체모델이란 프로그램의 모든 요소들을 자바(JAVA) 스크립트와 같은 언어에 의해 조정할 수 있도록 규격화시킨 모델을 가리키며, 어플리케이션의 문서객체모델(Document Object Model)을 분석하면 해당 어플리케이션의 모든 이벤트와 이벤트 간 연결 정보와 이벤트 간 흐름 정보를 수집할 수 있게 된다.The document object model refers to a model in which all elements of a program are standardized so that they can be controlled by a language such as a Java script. When a document object model of an application is analyzed, all events and events Inter-connection information and inter-event flow information.

본 명세서에 있어서, 상기 어플리케이션의 이벤트 정보는 이벤트의 속성 정보와 이벤트의 순번 정보 및 이벤트의 순번에 따른 전체 시나리오 정보 등 이벤트 간 연결정보 및 이벤트 간 흐름정보를 의미한다.In this specification, the event information of the application refers to event-related information and event-to-event flow information such as event attribute information, event sequence information, and overall scenario information according to the order of events.

이때, 본 발명의 시스템의 문서객체모델 추출부(10)는 문서객체모델 정보로부터 이벤트 정보를 수집하기 위하여 프로그램의 구문을 해석하여 각 요소들을 분리하는 파싱(parsing) 기법을 이용한다. At this time, the document object model extraction unit 10 of the system of the present invention analyzes the syntax of the program to collect event information from the document object model information, and uses a parsing technique to separate each element.

상술한 바와 같이, 어플리케이션의 문서객체모델의 정보를 추출하여 이벤트 정보를 수집하는 작동을 본 발명 명세서에서 문서객체모델의 크롤링(crawling)이라 지칭한다.As described above, the operation of extracting the information of the document object model of the application and collecting the event information is referred to as the crawling of the document object model in the present invention.

문서객체모델의 크롤링에 의하여 어플리케이션의 이벤트 정보로서 사용자에 의하여 수행되는 이벤트를 처리하기 위한 엘리먼트들과 그 속성이 추출되며,문서객체모델(Document Object Model) 추출부(10)는 크롤링시 각 이벤트의 실행에 의하여 표시되는 장면을 구성하는 각 장면 이미지를 별도로 캡쳐하여 장면 정보로서 이벤트 정보에 포함시키거나, 이벤트 정보와 연관하여 저장한다.  The document object model extraction unit 10 extracts elements and their attributes for processing an event performed by the user as event information of the application by crawling the document object model, Each scene image constituting a scene displayed by execution is separately captured and included in event information as scene information, or stored in association with event information.

이에 따라 상기 문서객체모델추출부(10)를 통하여 수집된 어플리케이션의 이벤트 정보는 해당 어플리케이션의 실행시 표시되는 각 장면의 이미지들과 함께 데이터베이스(50)에 저장된다. Accordingly, the event information of the application collected through the document object model extraction unit 10 is stored in the database 50 together with the images of each scene displayed when the corresponding application is executed.

하기 [표1]은 문서객체모델추출부(10)에 의하여 파싱된 속성의 예시이며, 모바일 앱의 DOM에는 사용자에 의하여 수행되는 이벤트를 처리하기 위한 각종 엘리먼트와 그 속성들이 포함되어 있으며, 문서객체모델추출부(10)의 문서객체모델의 크롤링(crawling)에 의하여 문서객체모델(Document Object Model)이 하기 [표1]과 같이 각 이벤트를 처리하기 위한 엘리먼트들과 그 속성들로서 트리구조를 가지는 형태로 구조화된다.[Table 1] is an example of attributes parsed by the document object model extracting unit 10, and the DOM of the mobile application includes various elements for processing an event performed by the user and their attributes, The crawling of the document object model of the model extracting unit 10 allows the document object model to have an element for processing each event as shown in Table 1 below and a form having a tree structure as its attributes .

문서객체모델추출부(10)는 어플리케이션의 초기 장면부터 시작하여 마지막 장면까지의 모든 장면에 대해 순차적으로 크롤링하여 해당 장면에 대한 이벤트 속성이나 이벤트 연결 정보 등의 이벤트 정보를 추출하고 추출된 이벤트 정보를 데이터베이스(50)에 저장한다. The document object model extraction unit 10 sequentially crawls all the scenes starting from the initial scene of the application to the last scene and extracting event information such as event attributes and event connection information for the scene, And stores it in the database 50.

Figure pat00001
Figure pat00001

나아가, 본 발명의 바람직한 실시예에 의하면, 상기 데이데이터 베이스에 저장된 장면별 이벤트 정보와 더불어 이와 연관되어 저장된 시나리오 생성부(20)에서 작성된 시나리오가 연관되어 저장되어, 이를 기반으로 상기 문서객체모델추출부(10)는 어플리케이션에 새로운 장면이 추가되거나 어플리케이션의 실행시 표시되는 각 장면의 이미지가 새로운 이미지로 변경되면, 이러한 변경에 따라서 스크립트도 자동적으로 생성 및 변경되는 즉시 반응형 스크립트 생성기법으로 구현될 수 있다. 이 경우 기 작성 또는 설정된 시나리오의 제공은 사용자가 선택할 수 있도록 기 설정된 테스트 시나리오를 사용자에게 자동적으로 제공하는 룰 기반 엔진(rule-based engine)(41)이 구동시켜 제공하며, 이는 테스트 관리부(40)와 관련하여 상세히 설명한다. In addition, according to a preferred embodiment of the present invention, the scenes generated by the scenario generator 20 stored in association with the scene-specific event information stored in the database are stored in association with each other, When a new scene is added to an application or when an image of each scene displayed at the time of execution of an application is changed to a new image, the script is also automatically generated and changed according to the change, . In this case, the rule-based engine 41, which is provided by the rule-based engine 41, automatically provides the user with a predetermined test scenario so that the user can select the scenario or the prepared scenario, Will be described in detail.

아울러, 문서객체모델추출부(10)는 어플리케이션의 실행시 오류가 발생하는 즉, 애플리케이션 오류 및 사용자단말기의 모바일 운영환경에 의한 오류가 발생하경우 이러한 어플리케이션의 오류에 대하여 오류가 발생한 어플리케이션의 해당 이벤트에서 발생된 오류 장면들로 분류하여 추출된 문서객체모델 정보를 데이터베이스(50)에 별도로 저장하여 추후 누적 관리함으로써 해당 정보를 활용하여, 예컨데 룰 기반 엔진(rule-based engine)(41)에서 기계적 학습방법 등에 의하여 자동적으로 테스트 시나리오를 선택하여 제공시 기초 정보로 활용하여, 예기치 못한 오류 상황을 미리 대처하도록 하는 구성될 수도 있다.In addition, when an error occurs in execution of the application, that is, when an application error and an error due to the mobile operating environment of the user terminal occur, the document object model extracting unit 10 extracts the document object model from the corresponding event Based on the information, the document object model information extracted and classified by the generated error scenes is stored separately in the database 50 and is cumulatively managed afterwards, for example, in a rule-based engine 41, Or the like to automatically select a test scenario and use it as basic information when providing it, so as to cope with an unexpected error situation in advance.

상술한 바와 같이 본 발명의 문서객체모델 추출부(10)에 의한 어플리케이션의 이벤트 정보를 수집하는 과정을 도 2 에 도시하였다. The process of collecting the event information of the application by the document object model extraction unit 10 of the present invention as described above is shown in FIG.

먼저, 통신망(200)을 통하여 본 발명 시스템(1)에 접속한 사용자단말기(100)로부터 테스트를 소망하는 어플리케이션의 등록 요청을 수신받는다(S 100).First, a registration request of an application desired to be tested is received from the user terminal 100 connected to the inventive system 1 through the communication network 200 (S 100).

상기의 등록 요청에 따라서 테스트 관리부(40)는 요청받은 어플리케이션이 데이터베이스(50)에 기저장된 어플리케이션인지 판단하고(S 101), 데이터베이스(50)에 기 저장된 어플리케이션이면 문서객체모델 추출부(10)의 수행을 중단시키고(S 102), 데이터베이스(50)에 기저장되어 있지 않아 등록이 필요한 어플리케이션이면 사용자단말기(100)에 해당 어플리케이션이 인스톨되어 있는지 확인한다(S 103). In accordance with the registration request, the test management unit 40 determines whether the requested application is an application previously stored in the database 50 (S 101). If the application is stored in the database 50, (S 102). If the application is not stored in the database 50 and is required to be registered, it is determined whether the corresponding application is installed in the user terminal 100 (S 103).

확인결과, 해당 어플리케이션이 인스톨되어 있지 아니하면 상기 사용자단말기(100)에 해당 어플리케이션을 인스톨하도록 요청한다(S 104).If it is determined that the application is not installed, the user terminal 100 is requested to install the application (S 104).

해당 어플리케이션이 사용자단말기(100)에 인스톨되어 있으면, 어플리케이션의 테스트를 요청한 사용자단말기(100)의 단말기 정보를 가져온다(S 105). 가져오는 단말기 정보는 단말기의 메모리 용량, 전력 정보, CPU 정보, OS 의 버전 정보, 단말기의 브랜드 정보 등이다. If the application is installed in the user terminal 100, terminal information of the user terminal 100 requesting the application test is obtained (S 105). The fetched terminal information includes memory capacity of the terminal, power information, CPU information, version information of the OS, and brand information of the terminal.

그리고, 사용자단말기(100)에서 해당 어플리케이션을 구동시켜줄 것을 사용자단말기(100)에 요청하여 해당 어플리케이션을 사용자단말기(100)에서 구동시킨다(S 106).Then, the user terminal 100 requests the user terminal 100 to activate the corresponding application and drives the corresponding application in the user terminal 100 (S 106).

이어서, 상기 문서객체모델 추출부(10)는 문서객체모델 정보로부터 파싱 기법에 의한 문서객체모델의 크롤링(crawling)을 수행하여 해당 어플리케이션의 이벤트 정보를 모두 획득한다(S 107).Then, the document object model extraction unit 10 performs crawling of the document object model by the parsing method from the document object model information to obtain all the event information of the application (S 107).

이때, 상기 문서객체모델 추출부(10)는 어플리케이션의 이벤트 정보 획득시 어플리케이션의 초기 장면부터 시작하여 마지막 장면까지의 모든 장면에 대해 순차적으로 해당 장면에 대한 이벤트 속성이나 이벤트 연결 정보 등의 이벤트 정보를 추출하고 추출된 이벤트 정보를 데이터베이스(50)에 저장한다. 이때, 각 해당 장면들을 캡쳐하여 동시에 캡쳐된 장면 이미지를 연관된 이벤트의 장면 정보로서 이벤트 정보에 포함시키거나, 이벤트 정보와 연관시켜 데이터베이스(50)에 저장한다. At this time, when acquiring event information of the application, the document object model extracting unit 10 sequentially extracts event information such as event attributes, event connection information, and the like for all scenes starting from the initial scene of the application to the last scene And stores the extracted and extracted event information in the database 50. At this time, the captured scenes are captured and simultaneously captured scene images are included in the event information as scene information of an associated event, or are stored in the database 50 in association with the event information.

여기서, 상기 이벤트 정보의 추출시 이벤트가 가능한 것과 불가능한 것을 각각 구분하여 데이터베이스(50)에 저장하며(S 108), 각각의 이벤트 장면들의 이미지들을 트리(tree) 구조로 조합하여 데이터베이스(50)에 저장하고(S 109), 이벤트 장면이 종료되었거나 문서객체모델 기반 이벤트 정보의 추출이 완료되었는지 판단하여(S 110), 완료되면 문서객체모델 추출부(10)에 의한 이벤트 정보의 획득이 종료된다. 완료되지 않았으면 계속하여 해당 어플리케이션의 다음 이벤트의 이벤트 정보를 획득한다(S 111).When extracting the event information, each of the events that are possible or impossible is classified and stored in the database 50 (S 108). The images of the respective event scenes are combined into a tree structure and stored in the database 50 (S 109). If the event scene is terminated or the extraction of the document object model based event information is completed (S 110), the acquisition of the event information by the document object model extraction unit 10 is terminated. If not completed, the event information of the next event of the application is acquired (S 111).

2) 시나리오 생성부(20)2) The scenario generating unit 20,

상기 문서객체모델추출부(10)에 의하여 수집되어 데이터베이스(50)에 저장된 이벤트 정보를 어플리케이션 프로그램의 모든 이벤트에 대하여 사용자가 그래픽유저인터페이스(GUI)에서 편집하여 테스트 시나리오의 구성이 가능하도록 각 이벤트의 장면 정보 즉, 장면 이미지와 연관하여 트리(tree) 구조로 이벤트 정보를 그래픽유저인터페이스(GUI)를 통하여 사용자단말기(100)에 표시한다.The event information collected by the document object model extracting unit 10 and stored in the database 50 is edited by a user in a graphical user interface (GUI) for all events of the application program so that a test scenario can be configured. The event information is displayed on the user terminal 100 through a graphical user interface (GUI) in a tree structure in association with scene information, that is, a scene image.

상기의 이벤트의 표시 구조는 문서객체모델에 존재하는 어플리케이션의 각 장면별 이벤트와 이벤트 흐름 정보가 해당 이벤트가 속하는 장면과 각각 매핑(mapping)되어 해당 어플리케이션의 초기 화면부터 종단 화면까지 해당 장면 이미지와 그 연결관계 및 흐름 정보를 시각적으로 표시하는 트리(tree) 구조 즉, GUI tree 구조를 갖는다. The display structure of the above event maps each scene-specific event and event flow information of the application existing in the document object model to the scene to which the corresponding event belongs, A tree structure for visually displaying connection relationships and flow information, that is, a GUI tree structure.

사용자단말기(100)에 해당 어플리케이션의 이벤트들이 트리 구조로 표시됨으로써, 후술할 테스트 수행부(30)에서의 사용자의 드래그 앤 드롭(Drag & Drop) 방식의 테스트를 위한 시나리오 작성이 용이하게 수행될 수 있게 된다.The events of the application in the user terminal 100 are displayed in a tree structure so that a scenario for drag and drop test of the user in the test execution unit 30 to be described later can be easily performed .

상기 시나리오 생성부(20)에서 작성된 시나리오는 데이터베이스(50)에 저장된다.The scenario created by the scenario generation unit 20 is stored in the database 50. [

이러한 트리 구조의 그래픽유저인터페이스(GUI)에는 중요 상황 정보가 포함되어 표시될 수 있으며, 이러한 중요한 상황 정보로서는, 어플리케이션의 이벤트의 각 장면끼리의 전후 연관성, 다른 장면과의 연결 노드가 많은 장면에 대한 중요성 정보, 사용자단말기(100)로부터 입력되는 데이터가 필요한 장면의 정보 등이 있을 수 있다.The important situation information can be displayed in the graphical user interface (GUI) of such a tree structure. As the important situation information, it is possible to display the relation between the scenes of each event of the application, Importance information, information of a scene requiring data input from the user terminal 100, and the like.

3) 테스트 수행부(30)3) The test execution unit 30

상기 시나리오 생성부(20)에서 상기 트리 구조로 표시된 이벤트 실행시의 장면 이미지들에 대한 사용자의 입력을 수신하여 어플리케이션의 테스트를 위한 시나리오를 생성하고 생성된 시나리오에 따라서 어플리케이션의 테스트를 수행한다.The scenario generating unit 20 receives a user input of scene images at the time of execution of the event indicated by the tree structure, generates a scenario for testing the application, and tests the application according to the generated scenario.

이때, 사용자는 상기 시나리오 작성시 그래픽유저인터페이스(GUI)에는 이벤트들이 해당 장면 이미지와 이들의 연결관계를 표시하는 트리 구조로 표시되어 있으므로, 이벤트들의 장면 이미지에 대하여 드래그 앤 드롭(drag & drop) 방식으로 선택하여 시나리오를 작성하는 것이 가능하다. At this time, since the event is displayed in a graphical user interface (GUI) at the time of creating the scenario in a tree structure in which the scene image and the connection relationship between them are displayed, a drag and drop method It is possible to create a scenario.

예를 들어, 대한민국 소재 포탈 사이트인 네이버(naver)의 N드라이브 어플리케이션의 경우, 사진 올리기 시나리오에 대하여 로컬 단말에서 선택하여 올리기, 검색 후 결과 사진 선택 후 올리기 등 다양한 시나리오를 조합함으로써 사용자가 원하는 테스트 시나리오를 완성할 수 있게 된다. For example, in the case of N-drive application of Naver (naver), a portal site in South Korea, various scenarios such as selecting and uploading a photo upload scenario from a local terminal, . ≪ / RTI >

이후, 생성된 테스트 시나리오의 흐름에 따라서 순차적으로 이벤트 스크립트가 실행되면서 어플리케이션의 테스트가 자동적으로 수행된다.Thereafter, the event script is sequentially executed according to the flow of the generated test scenario, and the application is automatically tested.

도 3 은 본 발명의 테스트 시나리오를 생성하기 위하여 사용자단말기(100)에 표시되는 테스트 수행부(30)의 실행 화면으로서의 그래픽유저인터페이스(GUI)를 나타낸 것이다. 3 is a graphical user interface (GUI) as an execution screen of the test execution unit 30 displayed on the user terminal 100 to generate the test scenario of the present invention.

도시된 바와 같이, 화면 상단의 GUI 네비게이션 영역(31), 룰셋 리스트 영역(32), 시나리오 편집영역(33), 시나리오 저장 버튼 영역(34) 등으로 구성되고, 기타 시나리오 실행시 테스트 소요시간, 메모리량, 파워소비량 등을 파악할 수 있도록 표시있는 영역, 선택된 시나리오가 엑셀파일 등으로 EXPORT시키는 명령 입력영역 등을 추가로 갖는다.As shown in the figure, it is composed of a GUI navigation area 31 at the top of the screen, a ruleset list area 32, a scenario editing area 33, a scenario storage button area 34, And a command input area for exposing the selected scenario to an excel file or the like in order to grasp the amount of power consumption, the amount of power consumption, and the like.

화면 상단의 GUI 네비게이션 영역(31)에서는 해당 어플리케이션의 각 이벤트에 따른 장면과 해당 장면의 이벤트 흐름이 화살표로서 표시되고, 해당 장면에 대한 사용자의 입력을 수신한다. 입력은 드래그 앤 드롭 방식으로 화면 하단의 룰셋 리스트 영역(32)으로 선택된 이벤트의 장면 이미지를 이동하는 방식으로 수행된다. In the GUI navigation area 31 at the top of the screen, a scene corresponding to each event of the application and an event flow of the scene are displayed as arrows, and the user's input on the scene is received. The input is performed in a drag-and-drop manner by moving the scene image of the event selected in the ruleset list area 32 at the bottom of the screen.

화면 하단의 룰셋 리스트 영역(32)에서는 화면 상단의 GUI 네비게이션 영역(31)으로부터 드래그 앤 드롭 방식으로 이동된 각 이벤트의 장면들을 묶어 룰셋(Scene set1, Scene set2....)이 구성되고, 상기 완성된 룰셋은 드래그 앤 드롭 방식으로 시나리오 편집영역(33)으로 이동되어 상기 시나리오 편집영역(33)에서 이들을 조합하고 반복 횟수 등 옵션사항을 입력받아, 테스트 시나리오를 간단하게 작성하여 완성할 수 있게 된다.In the rule set list area 32 at the bottom of the screen, rules sets (Scene set 1, Scene set 2 ....) are constituted by grouping scenes of each event moved from the GUI navigation area 31 at the top of the screen by the drag and drop method, The completed ruleset is moved to the scenario editing area 33 in a drag-and-drop manner and is combined with these in the scenario editing area 33, and the options such as the number of repetitions are input, and a test scenario can be easily created and completed .

시나리오 편집영역(33)에서 작성된 테스트 시나리오는 화면 하단의 '시나리오 저장' 버튼(34)을 클릭하여 해당 테스트 시나리오를 저장시킬 수 있다.The test scenario created in the scenario editing area 33 can be saved by clicking the 'Save scenario' button 34 at the bottom of the screen.

여기서, GUI 네비게이션 영역(31)은 DOM crawler에 의해 수집된 앱의 이벤트 관련 정보를 장면 정보와 연계하여 GUI tree 형태로 사용자에게 제공하며, GUI tree 형태를 통해 ① 앱 장면끼리의 전·후 연관성 및 ② 특정 장면의 중요성(타 장면과 연결 노드(NODE)가 많은 장면들 (즉, 장면 HUB), ③ 다른 노드(NODE)에 있는 장면과의 연결성, ④ 입력 데이터가 필요한 장면 등으로 전체 장면 구조를 한눈에 파악할 수 있도록 하여 사용자는 서로 연결된 장면을 시각적으로 확인하며 사용자의 의도된 테스트를 위한 시나리오를 직관적으로 쉽게 구성할 수 있도록 구성된다. 또한 이를 통해, 테스트 시나리오의 작성에 있어, 장면들 간의 흐름 통제 및 설계, 장면들 간의 새로운 그룹핑, 장면 흐름을 장면을 중심으로 세분화, 장면들 간의 조합 등이 용이해 진다. Here, the GUI navigation area 31 provides event information related to the app collected by the DOM crawler to the user in the form of a GUI tree in connection with the scene information. Through the GUI tree form, (2) the importance of a particular scene, (3) the connectivity with scenes in other nodes (NODE), (4) scenes with input nodes, etc. So that the user can visually check the scenes connected to each other and can easily configure the scenarios for the intended test of the user in an easy and intuitive way. Control and design, new grouping of scenes, segmentation of scene flow around scenes, and combinations of scenes.

또한, GUI네비게이션 영역(31)은 소정 이벤트 장면을 시작 장면으로 설정할 경우, 시작 장면에 해당하는 이벤트 장면의 앞과 뒤 장면이 상기 화면 상단(31) 영역에서 점멸 표시되게 함으로써 해당 시작 장면과 다른 장면과의 연결을 직관적으로 확인할 수 있게 구성되며, 중간에 몇 개의 장면으로 분기되었다가 하나의 장면으로 합쳐져, 분기된 장면 중에 하나를 선택해야 할 경우에도 해당되는 장면들이 점멸 표시되거나, 룰셋들을 조합하여 전체 시나리오를 구성할 때, 각 룰셋들이 서로 연결가능한지 여부도 확인할 수 있고 서로 연결이 불가능할 경우, 룰셋들의 위치를 표시하여 연결이 끊겨있음을 알려주도록 구성될 수도 있다. In addition, when the predetermined event scene is set as the start scene, the GUI navigation area 31 causes the front and back scenes of the event scene corresponding to the start scene to be displayed in a blinking manner in the upper area 31 of the screen, In addition, when a scene is divided into several scenes and merged into a scene, even if one of the scenes is to be selected, the corresponding scenes are blinked, or the rulesets are combined When configuring the entire scenario, it may be configured to indicate whether or not each rule set is connectable to each other and, if not possible, indicate the location of the rulesets to indicate that the connection is broken.

룰셋 리스트 영역(32)은 사용자가 네비게이션 영역(31)에서 각 이벤트의 장면들을 묶어 룰셋의 형성시 선택한 장면에 시간, 반복 등 옵션을 추가하여 테스트에 적합하도록 더욱 구체화할 수 있다. The ruleset list area 32 may further specify the user to suit the test by adding scenes of each event in the navigation area 31 and adding options such as time, repetition, etc. to the scene selected at the time of forming the ruleset.

시나리오 구성 영역(33)에서는 네비게이션 영역(31)과 룰셋 리스트 영역(32)에서 작업한 내용들을 바탕으로 전체 시나리오를 구성하는 부분이다. 상기 옵션 등이 추가되어 구체화된 룰셋이 드래그 앤 드롭 방식으로 이동되며, 이동된 다수의 룰셋을 룰셋들을 서로 연결되며, 이후, 시나리오 구성 영역(34)의 반복, 연결, 뒤로가기 등 옵션 버튼을 클릭하여, 이동된 복수의 룰셋들이 묶여 반복 실행되거나, 룰셋들의 연결을 위해 뒤로가기거나 하는 연결관계가 정의되어 시나리오가 완성된다. 시나리오 구성 영역(33)을 통해 이렇게 완성된 시나리오의 총 예상 소요시간을 확인할 수도 있다. The scenario configuration area 33 is a part that constitutes the entire scenario based on contents that have been worked on in the navigation area 31 and the ruleset list area 32. [ The above-described options are added to move the specified ruleset in a drag-and-drop manner, and the moved rulesets are connected to the rulesets. Then, the user clicks the option button such as the iteration, connection and backward of the scenario configuration area 34 The scenario is completed when a plurality of rulesets that have been moved are tied and repeatedly executed or a connection relationship in which the rulesets go back for connection of the rulesets are defined. The scenario composition area 33 may also be used to check the total estimated time required for this completed scenario.

도 3의 테스트 수행부(30)의 그래픽유저인터페이스(GUI)의 GUI 네비게이션 영역(31)을 사용하여 룰셋을 저장하는 과정을 사용자의 관점에서 예시적으로 설명하면, 1) 사용자가 해당 이벤트의 시작 장면, 중간 장면, 종료 장면을 선택하는 경우, 한 장면을 시작점으로 설정할 경우, 시작점에 해당하는 장면의 앞과 뒤 장면이 네비게이션 영역(31)에서 깜빡이며 표시된다. 이 표시를 통해 다른 장면과의 연결을 사용자는 시각적으로 확인할 수 있다. 종료점을 시작점과 서로 멀리 떨어져 있는 장면으로 선택할 경우, 시작점에서 종료점으로 연결되는 경로가 화면에 표시된다. 만약 경로에서 중간에 몇 개의 장면으로 분기되었다가 하나의 장면으로 합쳐져, 분기된 장면 중에 하나를 선택해야 할 경우에도 해당되는 장면들이 깜빡이며 표시된다. 이러한 과정을 통해서 사용자는 원하는 장면 이미지를 장면들을 모으고 경로를 설정하여 하나의 룰셋을 만들 수 있다. The process of storing a rule set using the GUI navigation area 31 of the graphical user interface (GUI) of the test execution unit 30 of FIG. 3 will be described as an example from the user's point of view. 1) In the case of selecting a scene, an intermediate scene, and an ending scene, when a scene is set as a starting point, the scene before and after the scene corresponding to the starting point flickers in the navigation area 31. This display allows the user to visually check the connection with other scenes. If you select an end point as a scene that is far from the starting point, the path from the start point to the end point is displayed on the screen. If a scene is split into several scenes in the middle of the path, the scenes are blinked and displayed even if one of the scenes is to be selected. Through this process, the user can create a rule set by collecting the desired scene image and setting the path.

사용자가 해당 이벤트의 시작 장면과 종료 장면만 선택하는 경우로서, 사용자가 네비케이션 영역(31)에서 전체 장면 구조를 확인한 후에 사용자가 원하는 테스트 시나리오를 설계하기 위해서는 먼저 사용자는 테스트가 시작할 장면을 선택하고, 종료할 장면을 클릭하여 해당 장면들의 속성 및 정보를 확인하여 장면간 흐름을 파악한다. 시작 장면과 종료 장면을 클릭할 때 나타난 해당 장면의 메뉴를 클릭하여, 시나리오의 시작점과 종료점을 설정하며, 이에 따라, 룰셋 리스트 영역(32)에 사용자가 선택한 시작과 종료 장면을 기준으로 테스트 가능한 모든 시나리오가 조회된다. 이때 각 시나리오별 예상 테스트 시간 등의 정보도 함께 조회되어 사용자에 의하여 선택되어, 그대로 테스트 시나리오로 저장되거나, 그 전부 또는 일부가 드래그 앤 드롭 방식으로 시나리오 편집영역(33)으로 이동되어 상술한 바와 같이 시나리오 편집영역(33)에서 이들을 조합하고 반복 횟수 등 옵션사항을 입력받아, 테스트 시나리오를 간단하게 작성하여 완성할 수 있게 된다. In the case where the user selects only the start scene and the end scene of the event, in order to design the test scenario desired by the user after the user confirms the entire scene structure in the navigation area 31, the user first selects a scene to start the test , And clicks the scene to be terminated to confirm the attributes and information of the scenes to grasp the flow between scenes. The starting and ending points of the scenario are set by clicking on the menu of the scene corresponding to the start scene and the ending scene of the ending scene. Thus, in the rule set list area 32, all testable The scenario is retrieved. At this time, information such as an expected test time for each scenario is also inquired and selected by the user and stored as a test scenario as it is, or all or a part of the test scenario is moved to the scenario editing area 33 in a drag and drop manner, It is possible to combine them in the scenario editing area 33 and to input optional items such as the number of repetitions and to simply create and complete a test scenario.

이 경우는 테스트 시나리오 작성시 사용자가 선택할 수 있도록 기 설정된 테스트 시나리오를 사용자에게 자동적으로 제공하는 룰 기반 엔진(rule-based engine)(41)이 작동되는 테스트 관리부(40)가 부가되는 경우에 가능한 방식이다.   In this case, when a test management unit 40 is operated in which a rule-based engine 41 that automatically provides a user with a preset test scenario so that the user can select a test scenario, to be.

4) 테스트 관리부(40)4) The test management unit 40

상기 테스트 관리부(40)는 상기 테스트 수행부(30)에 의한 어플리케이션의 테스트 시나리오 작성시 사용자가 선택할 수 있도록 기 설정된 테스트 시나리오를 사용자에게 자동적으로 제공하는 룰 기반 엔진(rule-based engine)(41)이 작동되는 부분이다. 테스트 시나리오의 제공에는 기본적으로 기계적 학습방식이 사용되어 구현된다.The test management unit 40 includes a rule-based engine 41 that automatically provides a predetermined test scenario to a user so that the user can select a test scenario when the test scenario is created by the test execution unit 30, . The provision of test scenarios is fundamentally implemented using a mechanical learning approach.

이러한 룰 기반 엔진에 의한 자동적인 테스트 시나리오의 제공은, 정상적인 상황의 테스트 시나리오부터 예외적인 상황을 기반으로 하는 테스트 시나리오까지 다양한 상황의 테스트 시나리오를 제공하여 줄 수 있다. Providing automatic test scenarios with these rule-based engines can provide test scenarios in various situations, from test scenarios in normal situations to test scenarios based on exceptional circumstances.

또한, 사용자에게 적절한 테스트 시나리오만을 제공하여 줄 수 있어 테스트에 소요되는 시간을 절약할 수 있다. In addition, it is possible to provide only the appropriate test scenarios to the user, thereby saving time for the test.

도 4 는 본 발명 어플리케이션 테스트 시스템의 테스트 관리부(40)의 구성도이다. 4 is a configuration diagram of the test management unit 40 of the application test system of the present invention.

상기 테스트 관리부(40)의 룰 기반 엔진(41)은 전술한 바와 같이 어플리케이션의 이벤트 정보 및 장면 정보를 생성하는 이벤트정보추출기(42), 상기 이벤트정보추출기(42)를 통하여 이를 통하여 수집된 이벤트 정보 및 장면 정보에 기초하여 해당 어플리케이션의 선택가능한 기 설정된 테스트 시나리오를 제공하는 테스트 시나리오 생성기(43), 상기 이벤트 정보 및 장면를 토대로 테스트 시나리오 생성시 시나리오에 알맞은 어플리케이션의 이벤트 장면을 찾아 상기 테스트시나리오생성기(43)로 제공하는 장면상황 정보제공자(44)로 구성된다.The rule-based engine 41 of the test management unit 40 includes an event information extractor 42 for generating event information and scene information of the application as described above, A test scenario generator 43 for providing a predetermined test scenario that can be selected by the application based on the scene information, an event scene of an application suitable for the scenario at the time of generating the test scenario based on the event information and the scene, And a scene situation information provider 44 for providing the scene situation information to the user.

보다 상세하게는, 상기 이벤트정보추출기(42)는 어플리케이션을 구동시켜 문서객체모델(DOM)의 크롤링(crawling)을 수행하고, 수행결과 생성되는 이벤트 정보 및 이벤트의 장면 정보를 상기 장면상황 정보제공자(44)로 전달한다.More specifically, the event information extractor 42 drives the application to perform crawling of the document object model (DOM), and transmits event information and event scene information generated as a result of the execution to the scene situation information provider 44).

이 경우, 이벤트 정보 및 이벤트의 장면 정보로서 각 장면의 엘리먼트와 그 속성정보가 전달되며, 사용자단말인 스마트기기의 리소스 정보가 함께 전달될 수 있으며, 스마트 기기의 리소스 정보는 스마트 기기의 메모리, CPU 버전, 배터리 잔량 및 소모량, WiFi의 IP 및 신호세기 등의 정보가 이벤트 정보 및 이벤트 장면 정보와 함께 전달된다. 또한, 에러 유발을 통한 예외 장면의 이벤트 정보 및 장면 정보가 별도로 포함되어 전달될 수 있다.In this case, the elements of each scene and the attribute information thereof are transmitted as scene information of the event information and the event, and the resource information of the smart device as the user terminal can be transmitted together. The resource information of the smart device is stored in the memory of the smart device, Version, battery remaining amount and consumption amount, IP of WiFi, and signal strength are transmitted together with event information and event scene information. In addition, event information and scene information of an exception scene through error induction may be separately transmitted.

상기 이벤트정보추출기(42)로부터 이벤트 정보 및 이벤트의 장면 정보를 전달받은 장면상황 정보제공자(44)는 전달받은 이벤트 정보 및 이벤트의 장면 정보들과 데이터베이스(50)에 기저장된 장면 상황정보 모델에 따라 장면의 흐름 추론과정을 거쳐서 해당 이벤트의 각 장면들의 전후 흐름을 연결하는 어플리케이션 블루프린트(blue print, 청사진) 정보를 생성하며, 상기 블루프린트 정보를 기초로 어플리케이션 테스트 케이스로서 적용가능한 테스트 시나리오를 결정한다.The scene information provider 44 receiving the event information and the scene information of the event from the event information extractor 42 receives the scene information of the event information and the event and the scene information model previously stored in the database 50 Generates blueprint information for connecting forward and backward streams of respective scenes of the event through flow inference process of the scene, and determines a test scenario applicable as an application test case based on the blueprint information .

상기 테스트 시나리오생성기(43)는 사용자에게 추천될 해당 어플리케이션의 테스트 케이스가 결정되면 해당 테스트에 관한 테스트 시나리오의 정보를 룰기반 엔진(41)으로부터 가져와서 사용자의 사용자단말기(100)에 표시한다.When the test case of the application to be recommended to the user is determined, the test scenario generator 43 fetches the information of the test scenario related to the test from the rule-based engine 41 and displays the information on the user terminal 100 of the user.

상기와 같은 구성을 가지는 본 발명의 테스트 관리부(40)의 롤 기반 엔진(41)의 제어 과정을 도 5 를 참조하여 상세하게 개조식으로 설명한다.The control process of the roll-based engine 41 of the test management unit 40 having the above-described configuration will be described in detail with reference to FIG.

가. 어플리케이션 정보 수집 단계(S 200)end. The application information collection step (S 200)

해당 어플리케이션의 문서객체정보(DOM)를 크롤링하여 어플리케이션의 이벤트 정보를 수집하고 수집된 이벤트 정보를 룰 기반 엔진(41)으로 로드한다.The event information of the application is collected by crawling the document object information (DOM) of the application, and the collected event information is loaded into the rule-based engine 41.

또한, 상기 이벤트 정보 수집시 장면 흐름에 따른 장면상황정보 및 장면의 라이프사이클정보도 상기 롤 기반 엔진(41)으로 함께 로드한다. Also, scene information and scene life cycle information according to a scene flow at the time of event information collection are loaded together with the role-based engine 41. [

나. 장면상황정보 전처리 단계(S 201)I. The scene condition information preprocessing step (S 201)

상기 어플리케이션 정보 수집 단계에서 획득된 이벤트의 장면 흐름에 따른 장면상황정보를 획득하고 이를 롤 기반 엔진에서 사용 가능한 형태로 변환하여 데이터베이스(50)에 저장하는 과정이다.Acquiring scene information according to a scene flow of an event acquired in the application information collection step, converting the scene state information into a usable form in the role-based engine, and storing the scene state information in the database 50.

다. 장면상황정보 추론 단계(S 202)All. The scene situation information inference step (S 202)

상기 이벤트 장면상황정보 전처리 과정에서 변환되어 데이터베이스(50)에 저장된 이벤트의 장면 상황정보들에 기초하여 상기 롤 기반 엔진(41)에 기설정된 장면상황 정보별 모델을 기반으로 하는 추론이 수행되어 다음 장면의 상황정보를 추론하는 단계이다. Based on the scene-state information set in the role-based engine 41 based on the scene situation information of the event that is converted in the event scene situation information preprocessing and stored in the database 50, Inferring the context information of the user.

또한, 장면의 상황정보의 추론을 통하여 의도되지 않은 장면이나 불확실한 장면에 대응하도록 수행될 수도 있다. Also, it may be performed to infer an unintended scene or an uncertain scene through inference of scene context information.

이러한 롤 기반 엔진(41)의 추론을 바탕으로 하여 생성되는 이벤트의 다음 장면의 상황정보는 사용자에게 제공될 기 설정된 테스트 시나리오를 생성하는 기본 정보를 이루게 된다. The context information of the next scene of the event generated based on the speculation of the role-based engine 41 forms basic information for generating a preset test scenario to be provided to the user.

여기서, 상기 룰 기반 엔진(41)에 기설정된 장면상황 정보별 모델은 일반적으로 IF A Then B (A 이면 B 를 수행한다)와 같은 규칙적인 패턴을 이용하는 논리적 프로그램을 기반으로 하는 추론 모델로서, 전 장면 추론과 후 장면 추론을 통해 규칙성을 반복적으로 적용하여 장면 흐름을 추론하게 된다.Here, the scene-specific information model preset in the rule-based engine 41 is a reasoning model based on a logical program using a regular pattern such as IF A Then B (A, B is performed) The scene flow is inferred by repeatedly applying regularity through scene inference and after scene inference.

라. 블루프린트 추출 단계(S 203)la. The blueprint extraction step (S 203)

상기 장면상황정보 추론 단계에서 추론된 다음 장면의 상황정보를 바탕으로 제공 가능한 테스트 케이스를 상기 롤 기반 엔진(41)에 로드하여 테스트 시나리오의 작성을 위한 블루프린트를 상기 블루프린트 정보를 기초로 어플리케이션 테스트 케이스로서 적용가능한 테스트 시나리오를 결정하여 제공하는 단계이다.Based on the context information of the next scene inferred in the scene situation information inference step, a test case that can be provided based on the context information is loaded into the role-based engine 41, and a blueprint for creating a test scenario is tested based on the blueprint information This is a step of determining and providing an applicable test scenario as a case.

따라서, 모든 이벤트를 위한 모든 장면들을 제공하는 것에 비하여 롤 기반 엔진(41)이 제공하는 적절한 테스트 시나리오만 로드되므로 테스트에 소요되는 자원과 시간을 절약할 수 있게 된다. Therefore, only the appropriate test scenarios provided by the role-based engine 41 are loaded, as compared with providing all the scenes for all the events, thereby saving resources and time required for the test.

마. 테스트 시나리오의 제공 및 실행 단계(S 204)hemp. Providing and executing the test scenario (S 204)

상기 블루프린트 추출 단계에서 제공되는 테스트 시나리오를 선택하여 어플리케이션을 테스트하는 단계이다.And selecting the test scenario provided in the blueprint extraction step to test the application.

바. 어플리케이션의 오류 처리bar. Handling errors in applications

어플리케이션은 실행시 미처 예상하지 못한 오류(에러 상황)를 일으킬 수 있다. An application can cause unexpected errors (error conditions) at runtime.

이러한 어플리케이션의 오류는 해당 이벤트의 한 장면에서 다음 장면으로 이동하는 도중의 기간 동안 통신 장애, 서버에서의 불특정 푸시(PUSH) 서비스, 장면의 멈춤현상 등 예기치 못한 애플리케이션 오류 및 사용자단말기의 모바일 운영환경에 의한 오류가 발생할 수 있다.Such an application error may cause an unexpected application error such as a communication failure, an unspecified push (PUSH) service from the server, a stoppage of a scene, or an unexpected application error during the moving from one scene of the event to the next, Errors may occur.

이러한 어플리케이션의 오류에 대하여 완전하게 파악하는 것은 불가능하기 때문에 이러한 해당 이벤트에서 발생된 오류 장면들을 분류하여 데이터베이스(50)에 저장하여 룰 기반 엔진(41)에 의하여 누적 관리함으로써 예기치 못한 오류 상황을 미리 대처할 수 있게 한다. Since it is impossible to completely grasp the errors of these applications, the error scenes generated in such events are classified and stored in the database 50 and cumulatively managed by the rule-based engine 41 to cope with an unexpected error situation in advance I will.

한편, 결과 생성부(60)는 상기 테스트 수행부(30)에 의하여 수행된 테스트의 결과를 생성하여 사용자단말(100)에 표시하는 부분으로서, 결과 리포트를 사용자단말기(100)로 이메일 또는 SMS(단문 메세지 서비스)로 전송할 수 있다.The result generation unit 60 generates a result of the test performed by the test execution unit 30 and displays the result of the test on the user terminal 100. The result report unit 60 transmits the result report to the user terminal 100 via e-mail or SMS Short message service).

다음으로, 상기와 같이 구성되는 본 발명의 시스템을 이용한 스마트기기용 어플리케이션의 테스트 방법을 설명한다.Next, a test method for an application for a smart device using the system of the present invention configured as described above will be described.

도 6 은 본 발명의 어플리케이션 테스트 방법의 순서도이다.6 is a flowchart of an application test method of the present invention.

도면을 참조하면, 본 발명의 어플리케이션 테스트 방법은, 통신망(200)을 통하여 접속한 사용자단말(100)에서 실행되는 어플리케이션의 테스트를 수행하는 어플리케이션 테스트 서버에 의하여 수행되는 테스트 방법이다.Referring to the drawings, an application testing method of the present invention is a testing method performed by an application testing server that performs testing of an application executed in a user terminal 100 connected via a communication network 200.

본 발명의 테스트 방법은, 상기 어플리케이션 테스트 서버가 사용자단말(100)에서 실행되는 어플리케이션의 문서객체모델(Document Object Model, DOM) 정보를 추출하는 단계(S 300); 추출된 문서객체모델 정보에 따라서 해당 어플리케이션의 이벤트 정보를 수집하고 이를 데이터베이스에 저장하는 단계(S 301); 수집된 이벤트 정보에 기초하여 이벤트 실행시의 장면 이미지들을 트리 구조로 표시하는 단계(S 302); 상기 트리 구조로 표시된 이벤트 실행시의 장면 이미지들에 대한 사용자의 사용자의 입력을 수신하여 어플리케이션의 테스트를 위한 테스트 시나리오를 생성하는 단계(S 303); 생성된 테스트 시나리오에 따라서 어플리케이션의 테스트를 수행하는 단계(S 304); 상기 어플리케이션의 테스트 수행 결과를 상기 사용자단말(100)에 표시하는 단계(S 305); 를 포함하여 구성되는 것을 특징으로 한다.The test method of the present invention may include: extracting Document Object Model (DOM) information of an application executed by the application test server in the user terminal 100 (S 300); Collecting event information of the application according to the extracted document object model information and storing the event information in a database (S 301); (S 302) displaying scene images at the time of event execution in a tree structure based on the collected event information; A step (S303) of receiving a user input of a user for scene images at the time of execution of the event indicated by the tree structure and generating a test scenario for testing the application; Performing a test of the application in accordance with the generated test scenario (S 304); Displaying (S 305) a test execution result of the application on the user terminal (100); And a control unit.

상기 문서객체모델 정보를 추출하는 단계(S 300)는, 상기 문서객체모델 추출부(10)에 의한 어플리케이션의 이벤트 정보를 수집하는 과정에서 도 2를 참조하여 설명된 바와 같이, 통신망(200)을 통하여 사용자단말기(100)로부터 테스트를 소망하는 어플리케이션의 등록 요청을 수신받는 단계(S 100); 상기의 등록 요청에 따라서 테스트 서버가 요청받은 어플리케이션이 데이터베이스에 기저장된 어플리케이션인지 판단하고(S 101), 데이터베이스에 기저장된 어플리케이션이면 문서객체모델 추출의 수행을 중단시키고(S 102), 데이터베이스에 기저장되어 있지 않은 어플리케이션이면 사용자단말기(100)에 해당 어플리케이션이 인스톨된 상태인지 확인하는 단계(S 103); 해당 어플리케이션이 사용자단말기(100)에 인스톨되어 있으면, 상기 사용자단말기(100)의 단말기 정보를 가져오는 단계(S 105); 상기 사용자단말기(100)에서 해당 어플리케이션이 구동되는 단계(S 106); 상기 테스트 서버가 문서객체모델의 크롤링(crawling)을 수행하여 해당 어플리케이션의 이벤트 정보를 획득하는 단계(S 107); 상기 테스트 서버는 이벤트가 가능한 것과 불가능한 것을 각각 구분하여 데이터베이스에 저장하며(S 108), 각각의 이벤트 장면들의 이미지들을 트리(tree) 구조로 조합하여 데이터베이스에 저장하고(S 109), 이벤트 장면이 종료되었거나 문서객체모델 기반 이벤트 정보의 추출이 완료되었는지 판단하여(S 110), 완료되면 이벤트 정보의 획득을 종료하는 단계; 를 포함하여 수행된다.In the process of collecting the event information of the application by the document object model extracting unit 10, the step of extracting the document object model information (S 300) (S100) receiving a registration request of an application desired to be tested from the user terminal (100); If the application requested by the test server according to the registration request is an application pre-stored in the database (S 101), if the application is stored in the database, the execution of the document object model extraction is interrupted (S 102) (S 103) whether the application is installed in the user terminal (100) if the application is not installed; If the application is installed in the user terminal 100, fetching terminal information of the user terminal 100 (S 105); A step (S 106) in which the corresponding application is executed in the user terminal (100); Performing a crawling of the document object model by the test server to obtain event information of the application (S 107); The test server classifies the events that are possible and impossible into the database (S 108), combines the images of the respective event scenes into a tree structure and stores them in the database (S 109) Determining whether the extraction of the event information based on the document object model is completed (S110), and terminating the acquisition of the event information when the event information is completed; .

상기 테스트 서버는, 상술한 바와 같이, 테스트 시스템의 구성요소로서 정의 된 테스트 관리부(40)를 포함하여, 상기 테스트 수행부(30)에 의한 어플리케이션의 테스트 시나리오 작성시 사용자가 선택할 수 있도록 기 설정된 테스트 시나리오를 사용자에게 자동적으로 제공하는 룰 기반 엔진(rule-based engine)(41)이 작동되도록 구성될 수 있으며, 이 경우, 상기 테스트 서버는 룰 기반 엔진(rule-based engine)(41)을 작동하여 상기 데이터베이스(50)에 저장된 이벤트의 장면 상황정보들에 기초하여 기설정된 장면상황 정보별 모델을 기반으로 하는 추론을 롤 기반 엔진(41)에 의하여 수행하여 다음 장면의 상황정보를 추론함으로써 장면 이미지들을 트리 구조로 표시한다. 여기서, 어플리케이션 실행시 발생되는 오류 장면들을 분류하여 데이터베이스(50)에 저장하여 룰 기반 엔진(41)에 의하여 누적 관리되며, 기설정된 장면상황 정보별 모델은, 규칙적인 패턴을 이용하는 논리적 프로그램을 기반으로 하여 전 장면 추론과 후 장면 추론을 통해 규칙성을 반복적으로 적용하여 장면 흐름을 추론하는 모델이다. 상기 장면의 추론에는 데이터베이스(50)에 누적 저장된 데이터의 기계적 학습방법에 의하여 구현된다. As described above, the test server includes a test management unit 40 defined as a component of the test system. The test server 30 includes a test server 30, A rule-based engine 41, which automatically provides scenarios to the user, may be configured to operate, in which case the test server operates a rule-based engine 41 Based on the scene-state information of the event stored in the database 50, the inference based on the scene-based information model is performed by the role-based engine 41 to deduce the scene information of the next scene, Tree structure. Here, the error scenes generated when the application is executed are classified and stored in the database 50 and cumulatively managed by the rule-based engine 41. The model for each scene situation information is based on a logical program using a regular pattern And it is a model that infer scene flow by repeatedly applying regularity through previous scene inference and after scene inference. The inference of the scene is implemented by a mechanical learning method of the data accumulated in the database 50.

상기 롤 기반 엔진(41)을, 해당 어플리케이션의 문서객체정보(DOM)를 크롤링하여 어플리케이션의 이벤트 정보를 수집하고 수집된 이벤트 정보를 룰 기반 엔진(41)으로 로드하는 어플리케이션 정보 수집 단계(S 200); 상기 어플리케이션 정보 수집 단계에서 획득된 이벤트의 장면 흐름에 따른 장면상황정보를 획득하고 이를 롤 기반 엔진에서 사용 가능한 형태로 변환하여 데이터베이스(50)에 저장하는 장면상황정보 전처리 단계(S 201); 상기 이벤트 장면상황정보 전처리 과정에서 변환되어 데이터베이스(50)에 저장된 이벤트의 장면 상황정보들에 기초하여 상기 롤 기반 엔진(41)에 기설정된 장면상황 정보별 모델을 기반으로 하는 추론이 수행되어 다음 장면의 상황정보를 추론하는 장면상황정보 추론 단계(S 202); 상기 장면상황정보 추론 단계에서 추론된 다음 장면의 상황정보를 바탕으로 제공 가능한 테스트 케이스를 상기 롤 기반 엔진(41)에 로드하여 테스트 시나리오의 작성을 위한 블루프린트를 생성하고 상기 블루프린트 정보를 기초로 어플리케이션 테스트 케이스로서 적용가능한 테스트 시나리오를 결정하여 제공하는 블루프린트 추출 단계(S 203); 상기 블루프린트 추출 단계에서 제공되는 테스트 시나리오에 대한 선택을 입력받아 어플리케이션을 테스트하는 테스트 시나리오의 제공 및 실행 단계(S 204); 를 수행하도록 제어하여, 테스트 시나리오의 작성을 위한 블루프린트를 테스트 시나리오의 예시로서 제공하여 사용자에게 적합한 테스트 시나리오를 선택도록 하여 어플리케이션을 테스트하는 테스트 시나리오를 제공할 수도 있다. Based on the role-based engine 41, an application information collection step (S 200) of collecting event information of the application by crawling document object information (DOM) of the application and loading the collected event information into the rule-based engine 41, ; A scene situation information preprocessing step (S 201) of acquiring scene situation information according to a scene flow of an event acquired in the application information collection step, converting the acquired scene situation information into a usable form in a role based engine, and storing the scene state information in a database (50); Based on the scene-state information set in the role-based engine 41 based on the scene situation information of the event that is converted in the event scene situation information preprocessing and stored in the database 50, A scene situation information inferring step (S 202) of inferring the situation information of the scene information; Based on the context information of the next scene inferred in the scene context information inference step, a test case that can be provided based on the context information of the next scene is loaded into the role-based engine 41 to generate a blueprint for creation of a test scenario, A blueprint extraction step (S 203) for determining and providing a test scenario applicable as an application test case; Providing and executing a test scenario (S 204) for receiving a selection of a test scenario provided in the blueprint extraction step and testing the application; To provide a test scenario for testing an application by providing a blueprint for creating a test scenario as an example of a test scenario and selecting a test scenario suitable for the user.

한편, 상기와 같은 본 발명의 어플리케이션의 테스트 방법은 그의 프로그램이 수록된 컴팩트 디스크(Compact Disc) 등의 기록매체의 형태로 실시가능하다.
Meanwhile, the method of testing an application of the present invention as described above can be performed in the form of a recording medium such as a compact disc containing the program.

이상의 설명에서 본 발명의 스마트기기용 어플리케이션의 테스트 시스템 및 그 방법을 첨부 도면에 의거하여 상세하게 설명하였으나, 본 발명은 당업자에 의하여 다양한 수정, 변경 및 치환이 가능하고, 이러한 수정, 변경 및 치환은 본 발명의 보호범위에 속하는 것으로 해석되어야 한다.
While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it should be understood that various changes, substitutions, and alterations can be made hereto without departing from the spirit and scope of the invention. And should be construed as falling within the scope of protection of the present invention.

* 도면의 주요 부분에 대한 부호의 설명 *
1; 본 발명 시스템 10; 문서객체모델 추출부
20; 시나리오 생성부 30; 테스트 수행부
40; 테스트 관리부 50; 데이터베이스
60; 결과 생성부 100; 사용자 단말기
Description of the Related Art [0002]
One; The present invention system 10; The document object model extraction unit
20; A scenario generation unit 30; The test execution unit
40; A test management unit 50; Database
60; A result generating unit 100; User terminal

Claims (15)

사용자단말기(100)에서 실행되는 어플리케이션의 테스트를 위한 시스템에 있어서,
사용자단말기(100)에서 실행되는 어플리케이션의 문서객체모델 정보를 추출하고 추출된 문서객체모델 정보에 기초하여 해당 어플리케이션의 이벤트 정보를 수집하여 데이터베이스(50)에 저장하는 문서객체모델 추출부(10);
수집된 이벤트 정보에 기초하여 이벤트 실행시의 장면 이미지들을 트리 구조로 표시하는 시나리오 생성부(20);
상기 트리 구조로 표시된 이벤트 실행시의 장면 이미지들에 대한 사용자의 입력을 수신하여 어플리케이션의 테스트를 위한 시나리오를 생성하고 생성된 시나리오에 따라서 어플리케이션의 테스트를 수행하는 테스트 수행부(30); 및
상기 테스트 수행부(30)에 의하여 수행된 테스트의 결과를 생성하여 사용자단말(100)에 표시하는 결과 생성부(60); 를 포함하여 구성되는 것을 특징으로 하는 어플리케이션의 테스트 시스템.
1. A system for testing an application executed in a user terminal (100)
A document object model extracting unit 10 for extracting document object model information of an application executed in the user terminal 100, collecting event information of the application based on the extracted document object model information, and storing the collected information in the database 50;
A scenario generation unit (20) for displaying scene images at the time of event execution in a tree structure based on the collected event information;
A test execution unit (30) for receiving a user input of scene images at the time of execution of an event indicated by the tree structure to generate a scenario for testing an application and performing an application test according to the generated scenario; And
A result generating unit 60 for generating a result of the test performed by the test performing unit 30 and displaying the result of the test on the user terminal 100; And a control unit configured to control the operation of the application.
제 1 항에 있어서,
상기 문서객체모델 추출부(10)는,
수집된 어플리케이션의 이벤트 정보는 해당 어플리케이션의 실행시 표시되는 각 장면의 이미지들과 함께 데이터베이스(50)에 저장되는 것을 특징으로 하는 어플리케이션의 테스트 시스템.
The method according to claim 1,
The document object model extraction unit 10 extracts,
And the event information of the collected application is stored in the database (50) together with the images of each scene displayed when the corresponding application is executed.
제 1 항에 있어서, 상기 문서객체모델추출부(10)는,
어플리케이션에 새로운 장면이 추가되거나 어플리케이션의 실행시 표시되는 각 장면의 이미지가 새로운 이미지로 변경되면, 이러한 변경에 따라서 스크립트도 자동적으로 생성 및 변경되는 즉시 반응형 스크립트에 의하여 구현되는 것을 특징으로 하는 어플리케이션의 테스트 시스템.
The document object model extracting unit (10) according to claim 1,
A script is automatically generated and changed according to the change when a new scene is added to an application or an image of each scene displayed when the application is executed is changed to a new image. Test system.
제 1 항에 있어서, 상기 테스트 수행부(30)는,
상기 트리 구조로 표시된 이벤트 실행시의 장면 이미지들의 선택시 드래그 앤 드롭(drag & drop) 방식으로 장면 이미지를 선택하는 것을 특징으로 하는 어플리케이션의 테스트 시스템.
2. The apparatus of claim 1, wherein the test execution unit (30)
Wherein a scene image is selected by a drag and drop method when selecting scene images at the time of execution of an event indicated by the tree structure.
제 1 항에 있어서, 상기 테스트 수행부(30)는,
사용자가 해당 이벤트의 시작 장면과 종료 장면만 선택하는 경우,
사용자가 선택한 시작 장면과 종료 장면 사이의 테스트 가능한 모든 시나리오가 조회되는 것을 특징으로 하는 어플리케이션의 테스트 시스템.
2. The apparatus of claim 1, wherein the test execution unit (30)
If the user selects only the start and end scenes of the event,
Wherein all testable scenarios between the start and end scenes selected by the user are displayed.
제 1 항에 있어서, 상기 테스트 수행부(30)는,
사용자가 해당 이벤트의 시작 장면, 중간 장면, 종료 장면을 선택하는 경우, 시작 장면에 해당하는 이벤트 장면의 앞과 뒤 장면이 점멸 표시되게 함으로써 해당 시작 장면과 다른 장면과의 연결을 직관적으로 확인할 수 있게 하는 것을 특징으로 하는 어플리케이션의 테스트 시스템.
2. The apparatus of claim 1, wherein the test execution unit (30)
When the user selects a start scene, an intermediate scene, and an end scene of the event, the front and back scenes of the event scene corresponding to the start scene are displayed in a blinking manner so that the connection between the start scene and another scene can be intuitively confirmed The test system comprising:
제 1 항에 있어서,
사용자가 선택할 수 있도록 기 설정된 테스트 시나리오를 사용자에게 자동적으로 제공하는 룰 기반 엔진(rule-based engine)(41)이 작동되는 테스트 관리부(40)를 더 포함하여, 상기 테스트 관리부(40)의 롤 기반 엔진(41)은,
어플리케이션의 이벤트 정보를 생성하는 이벤트정보추출기(42);
상기 이벤트정보추출기(42)를 통하여 이를 통하여 수집된 이벤트 정보에 기초하여 해당 어플리케이션의 선택가능한 기 설정된 테스트 시나리오를 제공하는 테스트 시나리오 생성기(43);
상기 이벤트의 정보를 토대로 테스트 시나리오 생성시 시나리오에 알맞은 어플리케이션의 이벤트 장면을 찾아서 상기 테스트시나리오생성기(43)로 제공하는 장면상황 정보제공자(44); 를 포함하여 구성되는 것을 특징으로 하는 어플리케이션의 테스트 시스템.
The method according to claim 1,
Based test engine 40 that operates a rule-based engine 41 that automatically provides a predetermined test scenario to the user so that the user can select the test scenario, The engine 41,
An event information extractor 42 for generating event information of an application;
A test scenario generator 43 for providing a preset test scenario selectable by the application based on the event information collected through the event information extractor 42;
A scene situation information provider (44) for finding an event scene of an application suitable for a scenario when generating a test scenario based on the information of the event and providing the event scene to the test scenario generator (43); And a control unit configured to control the operation of the application.
제 7 항에 있어서,
상기 결과 생성부(60)는 결과 리포트를 사용자단말기(100)에 이메일 또는 SMS로 전송하는 구성을 특징으로 하는 어플리케이션의 테스트 시스템.
8. The method of claim 7,
And the result generating unit (60) transmits the result report to the user terminal (100) by e-mail or SMS.
통신망(200)을 통하여 어플리케이션 테스트 서버에 접속한 사용자단말(100)에서 실행되는 어플리케이션의 테스트 방법에 있어서,
상기 어플리케이션 테스트 서버가 사용자단말(100)에서 실행되는 어플리케이션의 문서객체모델 정보를 추출하는 단계(S 300);
추출된 문서객체모델 정보에 따라서 해당 어플리케이션의 이벤트 정보를 수집하고 이를 데이터베이스에 저장하는 단계(S 301);
수집된 이벤트 정보에 기초하여 이벤트 실행시의 장면 이미지들을 트리 구조로 표시하는 단계(S 302);
상기 트리 구조로 표시된 이벤트 실행시의 장면 이미지들을 선택하여 어플리케이션의 테스트를 위한 테스트 시나리오를 생성하는 단계(S 303);
생성된 테스트 시나리오에 따라서 어플리케이션의 테스트를 수행하는 단계(S 304);
상기 어플리케이션의 테스트 수행 결과를 상기 사용자 단말기(100)에 표시하는 단계(S 305); 를 포함하여 구성되는 것을 특징으로 하는 어플리케이션의 테스트 방법.
In a method of testing an application executed in a user terminal (100) connected to an application test server through a communication network (200)
Extracting document object model information of an application executed by the application test server in the user terminal 100 (S 300);
Collecting event information of the application according to the extracted document object model information and storing the event information in a database (S 301);
(S 302) displaying scene images at the time of event execution in a tree structure based on the collected event information;
Selecting a scene image at the time of execution of the event indicated by the tree structure to generate a test scenario for testing the application (S 303);
Performing a test of the application in accordance with the generated test scenario (S 304);
(S 305) displaying a test execution result of the application on the user terminal 100; The method comprising the steps of:
제 9 항에 있어서, 상기 문서객체모델 정보를 추출하는 단계(S 300)는,
상기 통신망(200)을 통하여 사용자단말기(100)로부터 테스트를 소망하는 어플리케이션의 등록 요청을 수신받는 단계(S 100);
상기의 등록 요청에 따라서 테스트 서버가 요청받은 어플리케이션이 데이터베이스에 기저장된 어플리케이션인지 판단하고(S 101), 데이터베이스에 기저장된 어플리케이션이면 문서객체모델 추출의 수행을 중단시키고(S 102), 데이터베이스에 기저장되어 있지 않은 어플리케이션이면 사용자단말기(100)에 해당 어플리케이션이 인스톨된 상태인지 확인하는 단계(S 103);
해당 어플리케이션이 사용자단말기(100)에 인스톨되어 있으면, 상기 사용자단말기(100)의 단말기 정보를 가져오는 단계(S 105);
상기 사용자단말기(100)에서 해당 어플리케이션이 구동되는 단계(S 106);
상기 테스트 서버가 문서객체모델의 크롤링(crawling)을 수행하여 해당 어플리케이션의 이벤트 정보를 획득하는 단계(S 107);
상기 테스트 서버는 이벤트가 가능한 것과 불가능한 것을 각각 구분하여 데이터베이스에 저장하며(S 108), 각각의 이벤트 장면들의 이미지들을 트리(tree) 구조로 조합하여 데이터베이스에 저장하고(S 109), 이벤트 장면이 종료되었거나 문서객체모델 기반 이벤트 정보의 추출이 완료되었는지 판단하여(S 110), 완료되면 이벤트 정보의 획득을 종료하는 단계; 를 포함하여 수행되는 것을 특징으로 하는 어플리케이션의 테스트 방법.
The method of claim 9, wherein extracting the document object model information (S 300)
Receiving (S100) a registration request of an application desired to be tested from the user terminal (100) through the communication network (200);
If the application requested by the test server according to the registration request is an application pre-stored in the database (S 101), if the application is stored in the database, the execution of the document object model extraction is interrupted (S 102) (S 103) whether the application is installed in the user terminal (100) if the application is not installed;
If the application is installed in the user terminal 100, fetching terminal information of the user terminal 100 (S 105);
A step (S 106) in which the corresponding application is executed in the user terminal (100);
Performing a crawling of the document object model by the test server to obtain event information of the application (S 107);
The test server classifies the events that are possible and impossible into the database (S 108), combines the images of the respective event scenes into a tree structure and stores them in the database (S 109) Determining whether the extraction of the event information based on the document object model is completed (S110), and terminating the acquisition of the event information when the event information is completed; The method comprising the steps < RTI ID = 0.0 > of: < / RTI >
제 9 항에 있어서, 상기 테스트 서버는,
상기 데이터베이스(50)에 저장된 이벤트의 장면 상황정보들에 기초하여 기설정된 장면상황 정보별 모델을 기반으로 하는 추론이 롤 기반 엔진(41)에 의하여 수행되어 다음 장면의 상황정보를 추론함으로써 장면 이미지들을 트리 구조로 표시하는 것을 특징으로 하는 어플리케이션의 테스트 방법.
10. The method of claim 9,
Based on scene context information of an event stored in the database 50, a reasoning based on a predetermined scene context information model is performed by the role based engine 41 to deduce scene information of the next scene, And displaying the data in a tree structure.
제 9 항에 있어서, 상기 테스트 서버는,
어플리케이션 실행시 발생되는 오류 장면들을 분류하여 데이터베이스(50)에 저장하여 룰 기반 엔진(41)에 의하여 누적 관리하는 것을 특징으로 하는 어플리케이션의 테스트 방법.
10. The method of claim 9,
And the error scenes generated when the application is executed are classified and stored in the database (50), and cumulatively managed by the rule-based engine (41).
제 11 항에 있어서, 상기 롤 기반 엔진(41)은,
해당 어플리케이션의 문서객체정보(DOM)를 크롤링하여 어플리케이션의 이벤트 정보를 수집하고 수집된 이벤트 정보를 룰 기반 엔진(41)으로 로드하는 어플리케이션 정보 수집 단계(S 200);
상기 어플리케이션 정보 수집 단계에서 획득된 이벤트의 장면 흐름에 따른 장면상황정보를 획득하고 이를 롤 기반 엔진에서 사용 가능한 형태로 변환하여 데이터베이스(50)에 저장하는 장면상황정보 전처리 단계(S 201);
상기 이벤트 장면상황정보 전처리 과정에서 변환되어 데이터베이스(50)에 저장된 이벤트의 장면 상황정보들에 기초하여 상기 롤 기반 엔진(41)에 기설정된 장면상황 정보별 모델을 기반으로 하는 추론이 수행되어 다음 장면의 상황정보를 추론하는 장면상황정보 추론 단계(S 202);
상기 장면상황정보 추론 단계에서 추론된 다음 장면의 상황정보를 바탕으로 제공 가능한 테스트 케이스를 상기 롤 기반 엔진(41)에 로드하여 테스트 시나리오의 작성을 위한 블루프린트를 생성하고, 상기 블루프린트 정보를 기초로 어플리케이션 테스트 케이스로서 적용가능한 테스트 시나리오를 결정하여 제공하는 블루프린트 추출 단계(S 203); 상기 블루프린트 추출 단계에서 제공되는 테스트 시나리오에 대한 선택을 입력받아 선택된 테스트 시나리오를 이용하여 어플리케이션을 테스트하는 테스트 시나리오의 제공 및 실행 단계(S 204);의 일련의 과정으로 제어되는 것을 특징으로 하는 어플리케이션의 테스트 방법.
12. The system of claim 11, wherein the roll-based engine (41)
An application information collection step (S 200) of collecting event information of the application by crawling document object information (DOM) of the application and loading the collected event information into the rule-based engine (41);
A scene situation information preprocessing step (S 201) of acquiring scene situation information according to a scene flow of an event acquired in the application information collection step, converting the acquired scene situation information into a usable form in a role based engine, and storing the scene state information in a database (50);
Based on the scene-state information set in the role-based engine 41 based on the scene situation information of the event that is converted in the event scene situation information preprocessing and stored in the database 50, A scene situation information inferring step (S 202) of inferring the situation information of the scene information;
Based on the context information of the next scene inferred in the scene context information inference step, a test case that can be provided based on the context information of the next scene is loaded into the role-based engine 41 to generate a blueprint for creating a test scenario, A blueprint extraction step (S 203) for determining and providing a test scenario applicable as an application test case; And providing and executing a test scenario (S 204) of receiving a selection of a test scenario provided in the blueprint extraction step and testing the application using the selected test scenario. Of the test method.
제 13 항에 있어서, 상기 룰 기반 엔진(41)에 기설정된 장면상황 정보별 모델은,
규칙적인 패턴을 이용하는 논리적 프로그램을 기반으로 하여 전 장면 추론과 후 장면 추론을 통해 규칙성을 반복적으로 적용하여 장면 흐름을 추론하는 모델인 것을 특징으로 하는 어플리케이션의 테스트 방법.
14. The system according to claim 13, wherein the scene-specific information model preset in the rule-based engine (41)
A method for testing an application, the method comprising the steps of: applying a regularity to a scene based on a logical program using a regular pattern;
제 9 항 내지 제 14 항중 어느 한 항의 어플리케이션의 테스트 방법의 프로그램이 수록된 기록매체. A recording medium containing a program of a method of testing an application according to any one of claims 9 to 14.
KR1020140177311A 2014-12-10 2014-12-10 System for testing an application use for a smart device and method therefor KR101637371B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140177311A KR101637371B1 (en) 2014-12-10 2014-12-10 System for testing an application use for a smart device and method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140177311A KR101637371B1 (en) 2014-12-10 2014-12-10 System for testing an application use for a smart device and method therefor

Publications (2)

Publication Number Publication Date
KR20160070410A true KR20160070410A (en) 2016-06-20
KR101637371B1 KR101637371B1 (en) 2016-07-07

Family

ID=56354263

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140177311A KR101637371B1 (en) 2014-12-10 2014-12-10 System for testing an application use for a smart device and method therefor

Country Status (1)

Country Link
KR (1) KR101637371B1 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107818045A (en) * 2017-09-29 2018-03-20 安徽四创电子股份有限公司 A kind of method for testing software of safe city
KR20180038385A (en) * 2016-10-06 2018-04-16 세종대학교산학협력단 Apparatus and method for testing machine to machine application
WO2018097345A1 (en) * 2016-11-23 2018-05-31 주식회사 비디 Distributed computing-based application object analysis method, application object analysis server for performing same, and recording medium for storing same
KR20180125817A (en) * 2017-05-16 2018-11-26 주식회사 케이티 Server and multi-media service device for detecting update of target site
CN111782549A (en) * 2020-07-31 2020-10-16 北京字节跳动网络技术有限公司 Test method and device and electronic equipment
CN112148623A (en) * 2020-10-19 2020-12-29 青岛鹏海软件有限公司 LIMS-based intelligent complete set of scene testing method
CN112327768A (en) * 2020-10-27 2021-02-05 深圳Tcl新技术有限公司 Intelligent scene building system, method and computer readable storage medium
KR102343477B1 (en) * 2020-12-28 2021-12-28 주식회사 앱테스트에이아이 System And Method For User Interface Autonomous Testing

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102023424B1 (en) 2017-11-07 2019-09-23 엔에이치엔 주식회사 Method for setting configuration of application and testing method using thereof
KR102005718B1 (en) * 2018-08-14 2019-07-31 알서포트 주식회사 Situation information indexing type actual operation based script generation method for mobile device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100877727B1 (en) * 2008-03-07 2009-01-08 주식회사 엠네스 Function and application verification apparatus for mobile terminal
KR20100056337A (en) * 2008-11-19 2010-05-27 (주)링크제니시스 Device for generating a script for menu test, menu test automatic system having the same, and method thereof
KR20140122414A (en) * 2013-04-10 2014-10-20 에스케이플래닛 주식회사 Management system and method for certifying process

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100877727B1 (en) * 2008-03-07 2009-01-08 주식회사 엠네스 Function and application verification apparatus for mobile terminal
KR20100056337A (en) * 2008-11-19 2010-05-27 (주)링크제니시스 Device for generating a script for menu test, menu test automatic system having the same, and method thereof
KR20140122414A (en) * 2013-04-10 2014-10-20 에스케이플래닛 주식회사 Management system and method for certifying process

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180038385A (en) * 2016-10-06 2018-04-16 세종대학교산학협력단 Apparatus and method for testing machine to machine application
WO2018097345A1 (en) * 2016-11-23 2018-05-31 주식회사 비디 Distributed computing-based application object analysis method, application object analysis server for performing same, and recording medium for storing same
KR20180125817A (en) * 2017-05-16 2018-11-26 주식회사 케이티 Server and multi-media service device for detecting update of target site
CN107818045A (en) * 2017-09-29 2018-03-20 安徽四创电子股份有限公司 A kind of method for testing software of safe city
CN111782549A (en) * 2020-07-31 2020-10-16 北京字节跳动网络技术有限公司 Test method and device and electronic equipment
CN112148623A (en) * 2020-10-19 2020-12-29 青岛鹏海软件有限公司 LIMS-based intelligent complete set of scene testing method
CN112327768A (en) * 2020-10-27 2021-02-05 深圳Tcl新技术有限公司 Intelligent scene building system, method and computer readable storage medium
CN112327768B (en) * 2020-10-27 2023-09-19 深圳Tcl新技术有限公司 Intelligent scene building system, method and computer readable storage medium
KR102343477B1 (en) * 2020-12-28 2021-12-28 주식회사 앱테스트에이아이 System And Method For User Interface Autonomous Testing
US11567858B2 (en) 2020-12-28 2023-01-31 Apptest.Ai System and method for user interface autonomous testing

Also Published As

Publication number Publication date
KR101637371B1 (en) 2016-07-07

Similar Documents

Publication Publication Date Title
KR101637371B1 (en) System for testing an application use for a smart device and method therefor
CN107704392B (en) Test case processing method and server
EP2778929B1 (en) Test script generation system
CN105094783B (en) method and device for testing stability of android application
CN108491331A (en) Method for testing software, device, equipment and computer storage media
CN110764753A (en) Business logic code generation method, device, equipment and storage medium
CN111443940A (en) Complete software life cycle management method and platform based on DevOps
US10678666B1 (en) Method and system for implementing automated test and retest procedures in a virtual test environment
CN109189469B (en) Reflection-based android application micro-servitization method and system
CN109614391B (en) Database diagnosis system, database diagnosis method, and non-transitory machine-readable medium
CN109189374B (en) Object structure code generation method and system based on object reference chain
CN104679488A (en) Flow path customized development platform and method
CN110941467A (en) Data processing method, device and system
Marchetto et al. Reajax: a reverse engineering tool for ajax web applications
CN109240666B (en) Function calling code generation method and system based on call stack and dependent path
CN101887392A (en) Method and device for testing software system operation stability
US10657023B1 (en) Techniques for collecting and reporting build metrics using a shared build mechanism
CN111782317A (en) Page testing method and device, storage medium and electronic device
CN115794106A (en) Method and system for analyzing configuration of binary protocol data of rail transit
CN114003451B (en) Interface testing method, device, system and medium
CN108399122A (en) Test script operation method and system
KR20210036167A (en) Test automation of application
CN104317580A (en) Integrated development environment for virtual test application (APP)
US10042638B2 (en) Evaluating documentation coverage
CN109902013B (en) Payload testing method and system based on configuration testing sequence

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant