KR101753314B1

KR101753314B1 - Method for testing application of using learning image matching and apparatus for executing the method

Info

Publication number: KR101753314B1
Application number: KR1020170016824A
Authority: KR
Inventors: 김승준
Original assignee: 주식회사 시메이션
Priority date: 2017-02-07
Filing date: 2017-02-07
Publication date: 2017-06-30

Abstract

이미지 매칭 학습을 이용한 어플리케이션 테스트 방법 및 이를 수행하기 위한 장치가 개시된다. 본 발명의 일 실시예에 따른 컴퓨팅 장치는, 하나 이상의 프로세서들, 메모리, 및 하나 이상의 프로그램들을 포함하고, 테스트 대상인 어플리케이션이 설치되는 제1 단말 및 적어도 하나의 제2 단말이 각각 연결되는 컴퓨팅 장치로서, 하나 이상의 프로그램들은 메모리에 저장되고, 하나 이상의 프로세서들에 의해 실행되도록 구성되며, 하나 이상의 프로그램들은, 제1 단말의 어플리케이션이 제공하는 화면에서 소정 오브젝트가 실행되는지 여부를 확인하기 위한 명령, 제1 단말에서 오브젝트가 실행되는 경우, 제2 단말에 대해 기 저장된 이미지 스케일 비율이 존재하는지 여부를 확인하기 위한 명령, 기 저장된 이미지 스케일 비율이 존재하는 경우, 기 저장된 이미지 스케일 비율을 기반으로 제2 단말의 화면에서 제1 단말의 오브젝트와 대응하는 오브젝트를 검출하기 위한 명령, 및 검출된 오브젝트를 실행하도록 제2 단말을 제어하기 위한 명령을 포함한다.An application testing method using image matching learning and an apparatus for performing the same are disclosed. A computing apparatus according to an embodiment of the present invention is a computing apparatus that includes one or more processors, a memory, and one or more programs, and is connected to a first terminal in which an application to be tested is installed and at least one second terminal One or more programs are stored in a memory and are configured to be executed by one or more processors, and the one or more programs include a command for confirming whether or not a predetermined object is executed on a screen provided by an application of the first terminal, A command for confirming whether a pre-stored image scale ratio exists for the second terminal when the object is executed in the terminal, and a pre-stored image scale ratio for the second terminal, The object corresponding to the object of the first terminal on the screen To execute the command, and the detected object for detecting includes a command for controlling the second terminal.

Description

TECHNICAL FIELD [0001] The present invention relates to an application testing method using image matching learning, and an apparatus for performing the same.

본 발명의 실시예는 어플리케이션 테스트를 위한 기술과 관련된다. Embodiments of the invention relate to techniques for application testing.

일반적으로, 스마트 폰(Smart Phone), 태블릿 PC(Tablet PC), 스마트 워치(Smart Watch) 등과 같은 기기는 특정 기능을 수행할 수 있는 어플리케이션 프로그램(Application Program)(이하, 어플리케이션으로 약칭할 수 있음)을 해당 기기에 인스톨하여 실행시키게 된다. 2. Description of the Related Art Generally, devices such as a smart phone, a tablet PC, a smart watch, etc. have application programs (hereinafter abbreviated as applications) Is installed in the device and is executed.

어플리케이션을 개발하여 테스트를 수행하는 경우, 해당 어플리케이션의 각 기능 및 동작들에 대해 여러 종류의 단말기에 대해 테스트를 일일이 진행하여야 하는 바, 하나의 어플리케이션을 테스트하기 위해 많은 시간과 비용이 소요된다는 문제점이 있다. In the case of developing an application and performing a test, it is necessary to conduct tests for various types of terminals for each function and operation of the application, so that it takes a lot of time and cost to test one application have.

한국공개특허공보 제10-2016-0070410호(2016.06.20)Korean Patent Publication No. 10-2016-0070410 (June 26, 2016)

본 발명의 실시예는 이미지 매칭 학습을 통해 복수 개의 단말기들을 이용하여 어플리케이션을 동시에 테스트 할 수 있는 어플리케이션 테스트 방법 및 이를 수행하기 위한 장치를 제공하기 위한 것이다.An embodiment of the present invention is to provide an application testing method and an apparatus for performing an application test simultaneously using a plurality of terminals through image matching learning.

본 발명의 실시예는 테스트 수행 시간을 줄일 수 있는 어플리케이션 테스트 방법 및 이를 수행하기 위한 장치를 제공하기 위한 것이다.An embodiment of the present invention is to provide an application test method capable of reducing the test execution time and an apparatus for performing the method.

개시되는 일 실시예에 따른 컴퓨팅 장치는, 하나 이상의 프로세서들; 메모리; 및 하나 이상의 프로그램들을 포함하고, 테스트 대상인 어플리케이션이 설치되는 제1 단말 및 적어도 하나의 제2 단말이 각각 연결되는 컴퓨팅 장치로서, 상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며, 상기 하나 이상의 프로그램들은, 상기 제1 단말의 상기 어플리케이션이 제공하는 화면에서 소정 오브젝트가 실행되는지 여부를 확인하기 위한 명령; 상기 제1 단말에서 상기 오브젝트가 실행되는 경우, 상기 제2 단말에 대해 기 저장된 이미지 스케일 비율이 있는지 여부를 확인하기 위한 명령; 상기 기 저장된 이미지 스케일 비율이 있는 경우, 상기 기 저장된 이미지 스케일 비율을 기반으로 상기 제2 단말의 화면에서 상기 제1 단말의 오브젝트와 대응하는 오브젝트를 검출하기 위한 명령; 및 상기 검출된 오브젝트를 실행하도록 상기 제2 단말을 제어하기 위한 명령을 포함한다.A computing device according to one disclosed embodiment includes: one or more processors; Memory; And a computing device including one or more programs, wherein a first terminal on which an application to be tested is installed and at least one second terminal are respectively connected, wherein the one or more programs are stored in the memory, and the one or more processors Wherein the one or more programs include a command for confirming whether or not a predetermined object is executed on a screen provided by the application of the first terminal; A command for confirming whether or not there is a pre-stored image scale ratio for the second terminal when the object is executed in the first terminal; If the pre-stored image scale ratio is present, detecting an object corresponding to an object of the first terminal on the screen of the second terminal based on the pre-stored image scale ratio; And instructions for controlling the second terminal to execute the detected object.

상기 오브젝트를 검출하기 위한 명령은, 상기 제1 단말의 오브젝트의 이미지를 상기 기 저장된 이미지 스케일 비율에 따라 스케일링 하기 위한 명령; 및 상기 제2 단말의 화면에서 상기 스케일링 된 오브젝트의 이미지와 매칭되는 오브젝트를 검출하기 위한 명령을 포함할 수 있다.The instructions for detecting the object include instructions for: scaling an image of an object of the first terminal according to the pre-stored image scale ratio; And an instruction to detect an object matching the image of the scaled object on the screen of the second terminal.

상기 하나 이상의 프로그램들은, 상기 기 저장된 이미지 스케일 비율이 없는 경우, 상기 제1 단말의 오브젝트의 이미지를 기 설정된 단위의 비율로 확대 또는 축소하여 스케일링하기 위한 명령; 상기 제2 단말의 화면에서 상기 스케일링 된 오브젝트의 이미지와 매칭되는 오브젝트가 검출되는지 여부를 확인하기 위한 명령; 및 상기 오브젝트가 검출되는 경우, 상기 제2 단말에 대해 상기 스케일링 된 오브젝트의 이미지의 이미지 스케일 비율을 저장하기 위한 명령을 더 포함할 수 있다.Wherein the one or more programs include: an instruction to enlarge or reduce an image of an object of the first terminal at a predetermined ratio when the pre-stored image scale ratio is absent; Determining whether an object matching the image of the scaled object is detected on the screen of the second terminal; And if the object is detected, storing an image scale ratio of the image of the scaled object to the second terminal.

상기 이미지 스케일 비율을 저장하기 위한 명령은, 상기 이미지 스케일 비율을 상기 제2 단말 별로 기 설정된 크기의 큐(Queue)에 저장하기 위한 명령을 포함할 수 있다.The instructions for storing the image scale ratio may include instructions for storing the image scale ratio in a queue of a predetermined size for each second terminal.

상기 오브젝트를 검출하기 위한 명령은, 상기 제2 단말에 대해 기 저장된 이미지 스케일 비율 중 서로 다른 이미지 스케일 비율이 있는지 여부를 확인하기 위한 명령; 상기 서로 다른 이미지 스케일 비율이 있는 경우, 상기 서로 다른 이미지 스케일 비율 중 매칭 횟수가 가장 높은 이미지 스케일 비율을 추출하기 위한 명령; 및 상기 제1 단말의 오브젝트의 이미지를 상기 추출한 이미지 스케일 비율에 따라 스케일링 하기 위한 명령을 포함할 수 있다.Wherein the instructions for detecting the object include: instructions for determining whether there are different image scale ratios among pre-stored image scale ratios for the second terminal; And if the different image scale ratios are present, extracting an image scale ratio having a highest matching frequency among the different image scale ratios; And an instruction to scale the image of the object of the first terminal according to the extracted image scale ratio.

상기 하나 이상의 프로그램들은, 상기 컴퓨팅 장치에 신규한 제2 단말이 연결되는지 여부를 확인하기 위한 명령; 상기 기 연결된 제2 단말 중 상기 신규 연결된 제2 단말의 해상도와 가장 유사한 제2 단말을 추출하기 위한 명령; 및 상기 신규 연결된 제2 단말에 대해 상기 추출한 제2 단말의 기 저장된 이미지 스케일 비율을 적용하여 상기 제1 단말의 오브젝트와 대응하는 오브젝트를 검출하기 위한 명령을 더 포함할 수 있다.Wherein the one or more programs include: instructions for determining whether a second terminal is connected to the computing device; Extracting a second terminal most similar to the resolution of the newly connected second terminal among the second terminals connected to the first terminal; And an instruction to detect an object corresponding to an object of the first terminal by applying a previously stored image scale ratio of the extracted second terminal to the newly connected second terminal.

개시되는 다른 실시예에 따른 컴퓨팅 장치는, 하나 이상의 프로세서들; 메모리; 및 하나 이상의 프로그램들을 포함하고, 테스트 대상인 어플리케이션이 설치되는 제1 단말 및 적어도 하나의 제2 단말이 각각 연결되는 컴퓨팅 장치로서, 상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며, 상기 하나 이상의 프로그램들은, 상기 제1 단말의 상기 어플리케이션이 제공하는 화면에서 오브젝트를 캡쳐하여 스크립트를 작성하기 위한 명령; 상기 제1 단말에서 상기 스크립트가 작성된 오브젝트가 실행되는 경우, 상기 제2 단말의 상기 오브젝트에 대해 기 저장된 이미지 스케일 비율이 있는지 여부를 확인하기 위한 명령; 상기 기 저장된 이미지 스케일 비율이 있는 경우, 상기 기 저장된 이미지 스케일 비율을 기반으로 상기 제2 단말의 화면에서 상기 제1 단말의 오브젝트와 대응하는 오브젝트를 검출하기 위한 명령; 및 상기 검출된 오브젝트를 실행하도록 상기 제2 단말을 제어하기 위한 명령을 포함한다.A computing device according to another disclosed embodiment includes: one or more processors; Memory; And a computing device including one or more programs, wherein a first terminal on which an application to be tested is installed and at least one second terminal are respectively connected, wherein the one or more programs are stored in the memory, and the one or more processors Wherein the one or more programs are instructions for creating a script by capturing an object on a screen provided by the application of the first terminal; A command for confirming whether or not the pre-stored image scale ratio is present for the object of the second terminal when the scripted object is executed in the first terminal; If the pre-stored image scale ratio is present, detecting an object corresponding to an object of the first terminal on the screen of the second terminal based on the pre-stored image scale ratio; And instructions for controlling the second terminal to execute the detected object.

개시되는 일 실시예에 따른 어플리케이션 테스트 방법은, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비하며, 테스트 대상인 어플리케이션이 설치되는 제1 단말 및 적어도 하나의 제2 단말이 각각 연결되는 컴퓨팅 장치에서 수행되는 방법으로서, 상기 제1 단말의 상기 어플리케이션이 제공하는 화면에서 소정 오브젝트가 실행되는지 여부를 확인하기 위한 단계; 상기 제1 단말에서 상기 오브젝트가 실행되는 경우, 상기 제2 단말에 대해 기 저장된 이미지 스케일 비율이 있는지 여부를 확인하기 위한 단계; 상기 기 저장된 이미지 스케일 비율이 있는 경우, 상기 기 저장된 이미지 스케일 비율을 기반으로 상기 제2 단말의 화면에서 상기 제1 단말의 오브젝트와 대응하는 오브젝트를 검출하기 위한 단계; 및 상기 검출된 오브젝트를 실행하도록 상기 제2 단말을 제어하기 위한 단계를 포함한다.A method for testing an application according to an embodiment disclosed comprises a memory for storing one or more processors and one or more programs to be executed by the one or more processors, The method comprising the steps of: determining whether a predetermined object is executed on a screen provided by the application of the first terminal; Determining whether there is a pre-stored image scale ratio for the second terminal when the object is executed in the first terminal; Detecting an object corresponding to an object of the first terminal on the screen of the second terminal based on the previously stored image scale ratio when the pre-stored image scale ratio exists; And controlling the second terminal to execute the detected object.

상기 오브젝트를 검출하기 위한 단계는, 상기 제1 단말의 오브젝트의 이미지를 상기 기 저장된 이미지 스케일 비율에 따라 스케일링 하기 위한 단계; 및 상기 제2 단말의 화면에서 상기 스케일링 된 오브젝트의 이미지와 매칭되는 오브젝트를 검출하기 위한 단계를 포함할 수 있다.Wherein the step of detecting the object comprises the steps of: scaling an image of an object of the first terminal according to the pre-stored image scale ratio; And an object matching the image of the scaled object on the screen of the second terminal.

상기 어플리케이션 테스트 방법은, 상기 기 저장된 이미지 스케일 비율이 없는 경우, 상기 제1 단말의 오브젝트의 이미지를 기 설정된 단위의 비율로 확대 또는 축소하여 스케일링하기 위한 단계; 상기 제2 단말의 화면에서 상기 스케일링 된 오브젝트의 이미지와 매칭되는 오브젝트가 검출되는지 여부를 확인하기 위한 단계; 및 상기 오브젝트가 검출되는 경우, 상기 제2 단말에 대해 상기 스케일링 된 오브젝트의 이미지의 이미지 스케일 비율을 저장하기 위한 단계를 더 포함할 수 있다.Wherein the application test method comprises the steps of: scaling an image of an object of the first terminal by enlarging or reducing a ratio of a predetermined unit when the pre-stored image scale ratio does not exist; Determining whether an object matching the image of the scaled object is detected on the screen of the second terminal; And if the object is detected, storing the image scale ratio of the image of the scaled object to the second terminal.

상기 이미지 스케일 비율을 저장하기 위한 단계는, 상기 이미지 스케일 비율을 상기 제2 단말 별로 기 설정된 크기의 큐(Queue)에 저장하기 위한 단계를 포함할 수 있다.The step of storing the image scale ratio may include storing the image scale ratio in a queue of a predetermined size for each second terminal.

상기 오브젝트를 검출하기 위한 단계는, 상기 제2 단말에 대해 기 저장된 이미지 스케일 비율 중 서로 다른 이미지 스케일 비율이 있는지 여부를 확인하기 위한 단계; 상기 서로 다른 이미지 스케일 비율이 있는 경우, 상기 서로 다른 이미지 스케일 비율 중 매칭 횟수가 가장 높은 이미지 스케일 비율을 추출하기 위한 단계; 및 상기 제1 단말의 오브젝트의 이미지를 상기 추출한 이미지 스케일 비율에 따라 스케일링 하기 위한 단계를 포함할 수 있다.Wherein the step of detecting the object comprises: checking whether there is a different image scale ratio among the previously stored image scale ratios for the second terminal; Extracting an image scale ratio having a highest matching frequency among the different image scale ratios when the different image scale ratios are present; And scaling the image of the object of the first terminal according to the extracted image scale ratio.

상기 어플리케이션 테스트 방법은, 상기 컴퓨팅 장치에 신규한 제2 단말이 연결되는지 여부를 확인하기 위한 단계; 상기 기 연결된 제2 단말 중 상기 신규 연결된 제2 단말의 해상도와 가장 유사한 제2 단말을 추출하기 위한 단계; 및 상기 신규 연결된 제2 단말에 대해 상기 추출한 제2 단말의 기 저장된 이미지 스케일 비율을 적용하여 상기 제1 단말의 오브젝트와 대응하는 오브젝트를 검출하기 위한 단계를 더 포함할 수 있다.The application testing method includes: checking whether a new second terminal is connected to the computing device; Extracting a second terminal most similar to the resolution of the newly connected second terminal among the second terminals connected to the first terminal; And detecting an object corresponding to the object of the first terminal by applying a previously stored image scale ratio of the extracted second terminal to the newly connected second terminal.

개시되는 다른 실시예에 따른 어플리케이션 테스트 방법은, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비하며, 테스트 대상인 어플리케이션이 설치되는 제1 단말 및 적어도 하나의 제2 단말이 각각 연결되는 컴퓨팅 장치에서 수행되는 방법으로서, 상기 제1 단말의 상기 어플리케이션이 제공하는 화면에서 오브젝트를 캡쳐하여 스크립트를 작성하기 위한 단계; 상기 제1 단말에서 상기 스크립트가 작성된 오브젝트가 실행되는 경우, 상기 제2 단말의 상기 오브젝트에 대해 기 저장된 이미지 스케일 비율이 있는지 여부를 확인하기 위한 단계; 상기 기 저장된 이미지 스케일 비율이 있는 경우, 상기 기 저장된 이미지 스케일 비율을 기반으로 상기 제2 단말의 화면에서 상기 제1 단말의 오브젝트와 대응하는 오브젝트를 검출하기 위한 단계; 및 상기 검출된 오브젝트를 실행하도록 상기 제2 단말을 제어하기 위한 단계를 포함한다.A method for testing an application according to another disclosed embodiment includes a first terminal having an application to be tested and at least one first application having a memory storing one or more processors and one or more programs executed by the one or more processors, The method comprising the steps of: capturing an object on a screen provided by the application of the first terminal to create a script; Determining whether there is an image scale ratio pre-stored in the object of the second terminal when the scripted object is executed in the first terminal; Detecting an object corresponding to an object of the first terminal on the screen of the second terminal based on the previously stored image scale ratio when the pre-stored image scale ratio exists; And controlling the second terminal to execute the detected object.

본 발명의 실시예에 의하면, 어플리케이션의 테스트를 위한 단말 별로 매칭되는 이미지 스케일 비율을 저장한 후 이를 우선적으로 적용함으로써, 제1 단말의 우선 실행 오브젝트와 제2 단말의 종속 실행 오브젝트 간 매칭 작업에 소요되는 시간을 줄일 수 있고, 어플리케이션의 테스트를 동시에 수행할 수 있는 단말의 개수를 증가시킬 수 있게 된다.According to the embodiment of the present invention, an image scale ratio matching for each terminal for testing an application is stored and then applied to it. Thus, matching operation between a priority execution object of the first terminal and a dependent object of the second terminal And the number of terminals that can simultaneously perform application testing can be increased.

도 1은 본 발명의 일 실시예에 따른 어플리케이션 테스트 시스템의 구성을 나타낸 도면
도 2 내지 도 5는 본 발명의 일 실시예에 따른 어플리케이션 테스트 과정을 설명하기 위한 도면
도 6은 본 발명의 일 실시예에 따른 테스트 제어 장치에서 오브젝트 별로 스크립트를 작성하는 상태를 나타낸 도면
도 7 내지 도 8은 일 실시예에 따른 테스트 제어 장치에서 각 오브젝트의 스크립트를 실행한 경우를 나타낸 도면
도 9는 본 발명의 일 실시예에 따른 테스트 제어 장치에서 오브젝트 별 이미지 스케일 비율이 저장되는 상태를 나타낸 도면
도 10은 본 발명의 일 실시예에 따른 어플리케이션 테스트 방법을 설명하기 위한 흐름도
도 11은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도1 is a diagram illustrating a configuration of an application test system according to an embodiment of the present invention;
2 to 5 are views for explaining an application testing process according to an embodiment of the present invention
6 is a diagram illustrating a state in which a script is created for each object in a test control apparatus according to an embodiment of the present invention
7 to 8 are diagrams showing a case where a script of each object is executed in the test control apparatus according to the embodiment
9 is a diagram illustrating a state in which an object-based image scale ratio is stored in a test control apparatus according to an embodiment of the present invention.
10 is a flowchart illustrating a method of testing an application according to an embodiment of the present invention.
11 is a block diagram illustrating and illustrating a computing environment including a computing device suitable for use in the exemplary embodiments.

이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.Hereinafter, specific embodiments of the present invention will be described with reference to the drawings. The following detailed description is provided to provide a comprehensive understanding of the methods, apparatus, and / or systems described herein. However, this is merely an example and the present invention is not limited thereto.

본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail. The following terms are defined in consideration of the functions of the present invention, and may be changed according to the intention or custom of the user, the operator, and the like. Therefore, the definition should be based on the contents throughout this specification. The terms used in the detailed description are intended only to describe embodiments of the invention and should in no way be limiting. Unless specifically stated otherwise, the singular form of a term includes plural forms of meaning. In this description, the expressions "comprising" or "comprising" are intended to indicate certain features, numbers, steps, operations, elements, parts or combinations thereof, Should not be construed to preclude the presence or possibility of other features, numbers, steps, operations, elements, portions or combinations thereof.

이하의 설명에 있어서, 신호 또는 정보의 "전송", "통신", "송신", "수신" 기타 이와 유사한 의미의 용어는 일 구성요소에서 다른 구성요소로 신호 또는 정보가 직접 전달되는 것뿐만이 아니라 다른 구성요소를 거쳐 전달되는 것도 포함한다. 특히 신호 또는 정보를 일 구성요소로 "전송" 또는 "송신"한다는 것은 그 신호 또는 정보의 최종 목적지를 지시하는 것이고 직접적인 목적지를 의미하는 것이 아니다. 이는 신호 또는 정보의 "수신"에 있어서도 동일하다. 또한 본 명세서에 있어서, 2 이상의 데이터 또는 정보가 "관련"된다는 것은 하나의 데이터(또는 정보)를 획득하면, 그에 기초하여 다른 데이터(또는 정보)의 적어도 일부를 획득할 수 있음을 의미한다. In the following description, terms such as " transmission ", "transmission "," transmission ", "reception ", and the like, of a signal or information refer not only to the direct transmission of signals or information from one component to another But also through other components. In particular, "transmitting" or "transmitting" a signal or information to an element is indicative of the final destination of the signal or information and not a direct destination. This is the same for "reception" of a signal or information. Also, in this specification, the fact that two or more pieces of data or information are "related" means that when one piece of data (or information) is acquired, at least a part of the other data (or information) can be obtained based thereon.

또한, 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.Also, the terms first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The terms may be used for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.

도 1은 본 발명의 일 실시예에 따른 이미지 매칭 학습을 이용한 어플리케이션 테스트 시스템의 구성을 나타낸 도면이다. 1 is a diagram illustrating a configuration of an application test system using image matching learning according to an embodiment of the present invention.

도 1을 참조하면, 어플리케이션 테스트 시스템(100)은 제1 단말(102), 제2 단말(104), 및 테스트 제어 장치(106)를 포함할 수 있다. 제1 단말(102) 및 제2 단말(104)은 테스트 제어 장치(106)와 통신 가능하게 연결된다. Referring to FIG. 1, an application test system 100 may include a first terminal 102, a second terminal 104, and a test control device 106. The first terminal 102 and the second terminal 104 are communicatively coupled to the test control device 106.

제1 단말(102) 및 제2 단말(104)에는 테스트 대상인 어플리케이션이 설치된다. 제1 단말(102) 및 제2 단말(104)은 프로세서 및 그 프로세서에 의해 액세스 가능한 메모리와 같은 컴퓨터 판독 가능 저장 매체를 포함할 수 있다. 어플리케이션은 제1 단말(102) 및 제2 단말(104)의 컴퓨터 판독 가능 저장 매체에 저장될 수 있다. 어플리케이션은 프로세서에 의해 실행 가능한 명령어의 소정의 집합을 포함한다. 제1 단말(102) 및 제2 단말(104)은 스마트 폰, 태블릿 PC, PDA(Personal Digital Assistant), 노트북, 데스크 탑, 디지털 카메라, 스마트 TV 등 어플리케이션이 설치되고 실행될 수 있는 모든 형태의 디지털 기기를 포함할 수 있다.An application to be tested is installed in the first terminal 102 and the second terminal 104. The first terminal 102 and the second terminal 104 may comprise a computer readable storage medium, such as a processor and a memory accessible by the processor. The application may be stored in the computer-readable storage medium of the first terminal 102 and the second terminal 104. [ The application includes a predetermined set of instructions executable by the processor. The first terminal 102 and the second terminal 104 may be any type of digital device in which applications such as a smart phone, a tablet PC, a PDA (Personal Digital Assistant), a notebook, a desktop, a digital camera, . &Lt; / RTI >

제1 단말(102) 및 제2 단말(104)은 어플리케이션의 테스트를 위한 단말이다. 제1 단말(102)은 테스트 제어 장치(106) 또는 사용자에 의해 어플리케이션의 테스트를 위한 동작이 우선적으로 이루어지는 단말일 수 있다. 여기서, 어플리케이션의 테스트를 위한 동작은 어플리케이션이 제공하는 화면에서 오브젝트(예를 들어, 아이콘, 메뉴, 컨텐츠 등)의 선택에 따른 동작일 수 있다. The first terminal 102 and the second terminal 104 are terminals for testing applications. The first terminal 102 may be a test control device 106 or a terminal in which an operation for testing an application is preferentially performed by a user. Here, the operation for testing the application may be an operation according to the selection of an object (e.g., an icon, a menu, a content, etc.) on a screen provided by the application.

제2 단말(104)은 제1 단말(102)의 동작에 종속되어 제1 단말(102)과 동일 또는 유사한 동작을 수행함으로써, 제2 단말(104)에 설치된 어플리케이션의 테스트를 수행하는 단말일 수 있다. 제2 단말(104)은 적어도 하나가 테스트 제어 장치(104)와 통신 가능하게 연결될 수 있다. 제2 단말(104)은 테스트 제어 장치(106)에 의해 제1 단말(102)의 동작에 대응하는 동작을 수행할 수 있다. The second terminal 104 may be a terminal that performs a test of an application installed in the second terminal 104 by performing the same or similar operation as the first terminal 102 depending on the operation of the first terminal 102 have. At least one of the second terminals 104 may be communicatively coupled to the test control device 104. The second terminal 104 may perform an operation corresponding to the operation of the first terminal 102 by the test control device 106. [

제2 단말(104)은 제1 단말(102)과는 다른 종류의 단말일 수 있다. 즉, 제2 단말(104)은 제1 단말(102)과 기기 분류, 화면 크기, 해상도, 모델, 형태, 운영체제(Operating System), 및 성능 중 적어도 하나가 상이한 단말일 수 있다. 또한, 제2 단말(104)이 복수 개인 경우, 복수 개의 제2 단말(104)은 기기 분류, 화면 크기, 해상도, 모델, 형태, 운영체제(Operating System), 및 성능 중 적어도 하나가 서로 상이한 단말일 수 있다.The second terminal 104 may be a terminal of a different type from the first terminal 102. That is, the second terminal 104 may be a terminal having at least one of device classification, screen size, resolution, model, type, operating system, and performance with respect to the first terminal 102. When there are a plurality of second terminals 104, the plurality of second terminals 104 may be a terminal having different at least one of device classification, screen size, resolution, model, type, operating system, .

테스트 제어 장치(106)는 어플리케이션의 테스트를 위해 제1 단말(102) 및 제2 단말(104)을 제어할 수 있다. 예시적인 실시예에서, 테스트 제어 장치(106)는 제1 단말(102) 및 제2 단말(104)로부터 각각 화면을 수신할 수 있다. 테스트 제어 장치(106)는 미러링(Mirroring) 기술을 기반으로 제1 단말(102) 및 제2 단말(104)로부터 각각 화면을 수신할 수 있다. 테스트 제어 장치(106)는 제1 단말(102)의 화면 및 제2 단말(104)의 화면을 기반으로 어플리케이션의 테스트를 수행할 수 있다. The test control device 106 may control the first terminal 102 and the second terminal 104 for testing of the application. In an exemplary embodiment, the test control device 106 may receive screens from the first terminal 102 and the second terminal 104, respectively. The test control device 106 may receive screens from the first terminal 102 and the second terminal 104, respectively, based on the mirroring technology. The test control device 106 may perform an application test based on the screen of the first terminal 102 and the screen of the second terminal 104. [

구체적으로, 테스트 제어 장치(106)는 제1 단말(102)의 어플리케이션이 제공하는 화면에서 소정 오브젝트를 선택하여 제1 단말(102)이 해당 오브젝트의 선택에 따른 동작을 수행하도록 할 수 있다. 이때, 테스트 제어 장치(106)는 기 설정된 테스트 시나리오에 따라 제1 단말(102)의 화면에서 소정 오브젝트를 선택할 수 있다. 다음으로, 테스트 제어 장치(106)는 이미지 매칭 기술을 기반으로 제2 단말(104)의 각 화면에서 제1 단말(102)에서 선택된 오브젝트와 대응하는 오브젝트를 검출하고, 검출된 오브젝트를 실행하도록 각 제2 단말(104)을 제어할 수 있다. 이때, 테스트 제어 장치(106)는 제1 단말(102)의 화면에서 선택된 오브젝트(이하, ?우?? 실행 오브젝트??? 지칭할 수 있음)의 이미지를 확인한 후, 제2 단말(104)의 화면에서 우선 실행 오브젝트의 이미지와 매칭되는 오브젝트(이하, ?종?? 실행 오브젝트??? 지칭할 수 있음)를 검출할 수 있다. Specifically, the test control device 106 may select a predetermined object from a screen provided by the application of the first terminal 102, and cause the first terminal 102 to perform an operation corresponding to the selected object. At this time, the test control device 106 can select a predetermined object on the screen of the first terminal 102 according to a preset test scenario. Next, the test control device 106 detects an object corresponding to the object selected in the first terminal 102 on each screen of the second terminal 104 based on the image matching technique, The second terminal 104 can be controlled. At this time, the test control device 106 confirms the image of the selected object on the screen of the first terminal 102 (hereinafter referred to as? It is possible to detect an object matching the image of the first execution object (hereinafter referred to as? Execution object ???) on the screen.

한편, 제2 단말(104)의 해상도가 제1 단말(102)의 해상도와 다른 경우, 테스트 제어 장치(106)는 제2 단말(104)의 화면에서 우선 실행 오브젝트의 이미지와 매칭되는 오브젝트를 검출하기 위해, 우선 실행 오브젝트의 이미지를 스케일링(Scaling) 하여야 한다. 예를 들어, 우선 실행 오브젝트의 이미지의 크기를 100이라고 하는 경우, 테스트 제어 장치(106)는 우선 실행 오브젝트의 이미지를 일정 비율로 확장 또는 축소하면서 우선 실행 오브젝트의 이미지와 매칭되는 오브젝트를 검출할 수 있다. 우선 실행 오브젝트의 이미지를 1 %씩 확장하여 최대 15%까지 확장하고, 우선 실행 오브젝트의 이미지를 1 %씩 축소하여 최대 15%까지 축소하는 경우, 테스트 제어 장치(106)는 85% 크기의 우선 실행 오브젝트 이미지에서 115%크기의 우선 실행 오브젝트 이미지까지 총 31개의 이미지를 생성한 후, 제2 단말(104)의 화면에서 상기 생성한 이미지들과 각각 비교하는 작업을 수행하여야 한다. On the other hand, when the resolution of the second terminal 104 is different from the resolution of the first terminal 102, the test control device 106 detects an object matched with the image of the first execution object on the screen of the second terminal 104 The image of the execution object must first be scaled. For example, in the case where the size of the image of the execution object is 100, the test control device 106 may first expand or contract the image of the execution object at a certain rate to detect an object matched with the image of the execution object have. The test control device 106 first executes an 85% size priority operation when the image of the first execution object is expanded by 1% to 15%, and the image of the first execution object is reduced by 1% A total of 31 images from the object image to the 115% priority object image are generated and then the images are compared with the generated images on the screen of the second terminal 104.

이때, 비교 작업에 소요되는 시간을 줄이기 위해서는, 테스트 제어 장치(106)에서 스케일링된 이미지들과 제2 단말(104)의 화면을 각각 비교하는 작업을 동시에 처리하여야 한다. 즉, 테스트 제어 장치(106)에서 스케일링된 이미지의 개수만큼 스레드(Thread)를 생성한 후, 생성한 스레드들을 병렬적으로 처리하여 비교 작업을 동시에 처리하여야 한다. At this time, in order to reduce the time required for the comparison operation, the test control device 106 must simultaneously process the scaled images and the screen of the second terminal 104, respectively. That is, after generating threads corresponding to the number of images scaled by the test control device 106, the generated threads must be processed in parallel to simultaneously process the comparison operations.

그러나, 스레드들을 병렬적으로 처리하면, 테스트 제어 장치(106)의 CPU(Central Processing Unit) 점유율이 높아지기 때문에, 테스트 제어 장치(106)가 핸들링(Handling) 할 수 있는 제2 단말(104)의 개수에 제한이 생기게 된다. 즉, 어플리케이션의 테스트를 수행할 수 있는 단말의 개수에 제한이 생기게 된다.However, if the threads are processed in parallel, the test control device 106 increases the share of the CPU (Central Processing Unit) of the test control device 106. Therefore, the number of the second terminals 104 that can be handled by the test control device 106 . That is, there is a limit to the number of terminals that can perform application testing.

이에 개시되는 실시예에서는, 테스트 제어 장치(106)에서 제2 단말(104) 별로 매칭되는 이미지 스케일 비율을 저장한 후, 다음 번 매칭 작업 시에는 이전에 매칭되었던 이미지 스케일 비율을 우선적으로 적용함으로써, 우선 실행 오브젝트와 종속 실행 오브젝트 간 매칭 작업에 소요되는 시간을 줄일 수 있고, 어플리케이션의 테스트를 수행할 수 있는 단말의 개수를 증가시킬 수 있게 된다. 즉, 이미지 매칭 작업 시 CPU의 점유율을 낮출 수 있기 때문에, 보다 많은 개수의 단말을 사용하여 동시에 어플리케이션의 테스트를 수행할 수 있게 된다. In the disclosed embodiment, the test controller 106 stores an image scale ratio that is matched to each of the second terminals 104, and then applies a previously matched image scale ratio at the next matching operation, The time required for the matching operation between the execution object and the dependent execution object can be reduced and the number of terminals that can perform the application test can be increased. That is, since the occupancy rate of the CPU can be lowered during the image matching operation, the application can be tested simultaneously using a larger number of terminals.

구체적으로, 테스트 제어 장치(106)는 제1 단말(102)의 화면에서 어플리케이션이 제공하는 소정 오브젝트를 선택하여 실행시킨 경우, 우선 실행 오브젝트의 이미지를 1 %씩 최대 15%까지 확장하고, 우선 실행 오브젝트의 이미지를 1 %씩 최대 15%까지 축소하여 총 31개의 서로 다른 크기의 우선 실행 오브젝트 이미지를 각 제2 단말(104)의 화면과 비교하여 우선 실행 오브젝트와 매칭되는 종속 실행 오브젝트를 검출할 수 있다. 이때, 테스트 제어 장치(106)는 각 제2 단말(104) 별로 매칭되는 이미지 스케일 비율을 저장할 수 있다. Specifically, when a predetermined object provided by the application is selected and executed on the screen of the first terminal 102, the test control device 106 firstly extends the image of the executed object by 1% up to 15% The image of the object is reduced by 1% up to 15%, and a total of 31 different priority sized object images of different sizes are compared with the screen of each second terminal 104 to detect a dependent execution object matched with the priority object have. At this time, the test control device 106 may store the image scale ratio that is matched for each second terminal 104.

테스트 제어 장치(106)는 각 제2 단말(104) 별로 매칭되는 이미지 스케일 비율을 소정 크기를 갖는 큐(Queue)(예를 들어, 이미지 스케일 비율에 대한 데이터를 20개 저장할 수 있는 크기를 갖는 큐)에 저장할 수 있다. 그러면, 이미지 매칭 작업을 할 때마다 매칭되는 이미지 스케일 비율이 큐에 순차적으로 저장되게 된다. 이미지 스케일 비율이 큐에 모두 저장된 경우(즉, 큐에 20개의 이미지 스케일 비율이 저장된 경우), 새로운 이미지 스케일 비율이 입력되면, 먼저 저장된 순서대로 이미지 스케일 비율이 삭제되면서 새로운 이미지 스케일 비율이 순차적으로 큐에 저장되게 된다. 이 경우, 테스트 제어 장치(106)는 각 제2 단말(104)에 대해 최근에 매칭되는 이미지 스케일 비율을 이용하여 우선 실행 오브젝트와 종속 실행 오브젝트 간 매칭 작업을 수행할 수 있게 된다.The test control device 106 compares the image scale ratio matched for each second terminal 104 with a queue having a predetermined size (for example, a queue having a size capable of storing 20 pieces of data on the image scale ratio) ). &Lt; / RTI > Then, each time image matching operation is performed, the matching image scale ratio is sequentially stored in the queue. When a new image scale ratio is input, the image scale ratio is firstly deleted in the stored order, and a new image scale ratio is sequentially stored in the queue (i.e., when the image scale ratio is stored in the queue) . In this case, the test control device 106 can perform a matching operation between the priority execution object and the dependent execution object using the image scale ratio that is recently matched to each second terminal 104. [

또한, 테스트 제어 장치(106)는 이미지 스케일 비율이 저장된 큐에서 빈도 수가 높은 이미지 스케일 비율의 순서대로 우선 실행 오브젝트와 종속 실행 오브젝트 간 매칭 작업을 수행할 수 있다. 예를 들어, 이미지 스케일 비율이 저장된 큐에서 이미지 스케일 비율이 110인 경우가 12회이고, 이미지 스케일 비율이 112인 경우가 6회이며, 이미지 스케일 비율이 113인 경우가 2회인 경우, 테스트 제어 장치(106)는 이미지 스케일 비율을 110 → 112 → 113의 순서로 하여 매칭 작업을 수행할 수 있다. Also, the test control device 106 can perform the matching operation between the priority execution object and the dependent execution object in the order of the image scale ratio with high frequency in the queue where the image scale ratio is stored. For example, in the case where the image scale ratio in the queue where the image scale ratio is stored is 110, the image scale ratio is 112, the image scale ratio is 112, and the image scale ratio is 113, The image processing unit 106 can perform the matching operation in the order of 110? 112? 113.

이와 같이, 각 제2 단말(104)에 대해 매칭된 이미지 스케일 비율을 학습 형태로 저장하게 되면, 다음 매칭 작업 시 매칭 확률이 높은 이미지 스케일 비율 표가 생성될 수 있게 된다.By storing the image scale ratio matched to each second terminal 104 in the learning form, an image scale ratio table having a high matching probability at the next matching operation can be generated.

테스트 제어 장치(106)는 제1 단말(102) 및 제2 단말(104) 별로 각 오브젝트를 수행함에 따른 응답 시간(예를 들어, 평균 응답 시간 또는 최대 응답 시간 등), 단말의 CPU 점유 정보, 단말의 메모리 사용 정보, 및 오류 건수 등을 모니터링 할 수 있다.The test control device 106 determines the response time (for example, the average response time or the maximum response time) according to each object performed by the first terminal 102 and the second terminal 104, the CPU occupation information of the terminal, The memory usage information of the terminal, and the number of errors can be monitored.

본 발명의 실시예에 의하면, 어플리케이션의 테스트를 위한 단말 별로 매칭되는 이미지 스케일 비율을 저장한 후 이를 우선적으로 적용함으로써, 제1 단말(102)의 우선 실행 오브젝트와 제2 단말(104)의 종속 실행 오브젝트 간 매칭 작업에 소요되는 시간을 줄일 수 있고, 어플리케이션의 테스트를 수행할 수 있는 단말의 개수를 증가시킬 수 있게 된다.According to the embodiment of the present invention, by storing the image scale ratio matched for each terminal for testing the application and preferentially applying the image scale ratio, the priority execution object of the first terminal 102 and the dependent execution of the second terminal 104 It is possible to reduce the time required for the matching operation between the objects and to increase the number of terminals capable of performing application testing.

한편, 테스트 제어 장치(106)에 새로운 제2 단말(104)이 추가로 연결되는 경우, 테스트 제어 장치(106)는 새로 추가된 제2 단말(104)의 해상도와 가장 유사한 해상도를 가지는 제2 단말(104)의 이미지 스케일 비율을 새로 추가된 제2 단말(104)에 대해 적용할 수 있다.When the test control device 106 is further connected to the new second terminal 104, the test control device 106 transmits the second terminal 104 with the resolution most similar to the resolution of the newly added second terminal 104, The image scale ratio of the second terminal 104 can be applied to the newly added second terminal 104.

구체적으로, 테스트 제어 장치(106)는 새로운 제2 단말(104)이 추가로 연결되는 경우, 추가된 제2 단말(104)의 해상도 및 디바이스 모델명을 획득할 수 있다. 테스트 제어 장치(106)는 추가된 제2 단말(104)의 해상도 및 디바이스 모델명을 기반으로 기존의 제2 단말(104)들 중 추가된 제2 단말(104)과 가장 유사한 단말의 이미지 스케일 비율표를 추출할 수 있다. 테스트 제어 장치(106)는 추출한 이미지 스케일 비율표를 기반으로 추가된 제2 단말(104)의 이미지 스케일 비율표를 생성할 수 있다. 테스트 제어 장치(106)는 기존의 제2 단말(104)들 중 추가된 제2 단말(104)과 가장 유사한 단말을 추출할 때, 해상도 및 디바이스 모델명 별로 가중치를 부여할 수 있으며, 디바이스 모델명보다 해상도의 유사성에 보다 높은 가중치를 부여할 수 있다. Specifically, when the new second terminal 104 is additionally connected, the test control device 106 can acquire the resolution and the device model name of the added second terminal 104. The test control device 106 displays an image scale ratio table of the terminal most similar to the added second terminal 104 among the existing second terminals 104 based on the resolution of the added second terminal 104 and the device model name Can be extracted. The test control device 106 may generate an image scale ratio table of the added second terminal 104 based on the extracted image scale ratio table. When extracting the terminal most similar to the added second terminal 104 among the existing second terminals 104, the test control device 106 may assign a weight to each resolution and device model name, It is possible to give a higher weight to the similarity of < RTI ID = 0.0 >

이와 같이, 각 제2 단말(104)에 대해 유효한 이미지 스케일 비율표를 저장함으로써, 새로 추가되는 제2 단말(104)에 대해서도 기존 제2 단말(104)의 이미지 스케일 비율표를 이용하여 유효한 이미지 스케일 비율을 용이하게 찾을 수 있게 된다.Thus, by storing a valid image scale ratio table for each second terminal 104, it is possible to obtain a valid image scale using the image scale ratio table of the existing second terminal 104 for the newly added second terminal 104 The ratio can be easily found.

또한, 제1 단말(102)의 해상도 및 제2 단말(104)의 해상도 차이를 기반으로 새로 추가되는 제2 단말(104)의 이미지 스케일 비율을 유추할 수도 있다. 즉, 제1 단말(102) 및 새로 추가되는 제2 단말(104)의 해상도 차이와 가장 유사한 해상도 차이(즉, 제1 단말(102)과의 해상도 차이)를 가지는 제2 단말(104)을 추출하고, 추출한 제2 단말(104)에 기 저장된 이미지 스케일 비율을 새로 추가되는 제2 단말(104)에 대해 적용할 수도 있다.It is also possible to infer the image scale ratio of the newly added second terminal 104 based on the resolution of the first terminal 102 and the resolution difference of the second terminal 104. That is, the second terminal 104 having the resolution difference most similar to the resolution difference between the first terminal 102 and the newly added second terminal 104 (i.e., the difference in resolution from the first terminal 102) And the image scale ratio previously stored in the extracted second terminal 104 may be applied to the newly added second terminal 104.

도 2 내지 도 5는 본 발명의 일 실시예에 따른 이미지 매칭 학습을 이용한 어플리케이션 테스트 과정을 설명하기 위한 도면이다. 2 to 5 are diagrams for explaining an application testing process using image matching learning according to an embodiment of the present invention.

도 2를 참조하면, 테스트 제어 장치(106)에는 테스트하고자 하는 어플리케이션이 설치된 단말(102, 104)들이 연결된다. 테스트 제어 장치(106)는 테스트 제어 장치(106)에 연결된 단말(102, 104)들의 정보(예를 들어, 디바이스 ID, 모델명, 브랜드명, 해상도 등)를 화면에 표시할 수 있다. 여기서, 사용자는 어플리케이션의 테스트를 위해 제어할 단말(102, 104)들을 선택할 수 있다. Referring to FIG. 2, terminals 102 and 104 having an application to be tested are connected to the test control device 106. The test control device 106 can display information (e.g., device ID, model name, brand name, resolution, etc.) of the terminals 102 and 104 connected to the test control device 106 on the screen. Here, the user may select the terminals 102, 104 to control for testing of the application.

도 3을 참조하면, 테스트 제어 장치(106)는 제1 단말(102)의 화면(A) 및 복수 개의 제2 단말(104)의 화면(B-1 ~ B-8)을 표시할 수 있다. 즉, 테스트 제어 장치(106)는 미러링(Mirroring) 기술을 기반으로 제1 단말(102) 및 제2 단말(104)로부터 각각 화면을 수신하여 표시할 수 있다.Referring to FIG. 3, the test control device 106 may display a screen A of the first terminal 102 and screens B-1 to B-8 of the plurality of second terminals 104. That is, the test control device 106 can receive and display a screen from the first terminal 102 and the second terminal 104 based on the mirroring technology, respectively.

여기서, 사용자가 제1 단말(102)의 화면(A)에서 메뉴(A-a)를 클릭하는 경우, 테스트 제어 장치(106)는 복수 개의 제2 단말(104)의 화면(B-1 ~ B-8)에서 메뉴(A-a)와 매칭되는 오브젝트를 검출하고, 검출된 오브젝트를 실행하도록 복수 개의 제2 단말(104)을 제어한다. 이때, 복수 개의 제2 단말(104)의 화면(B-1 ~ B-8)에서 메뉴(A-a)와 매칭되는 오브젝트를 검출하는 과정은 위에서 설명한 바와 같다. 그러면, 도 4에 도시된 바와 같이, 제1 단말(102)의 화면(A)에서 메뉴(A-a)를 클릭하는 것만으로 복수 개의 제2 단말(104)을 동시에 제어하여 동일한 동작을 수행하도록 할 수 있게 된다. Here, when the user clicks the menu Aa on the screen A of the first terminal 102, the test control device 106 displays screens B-1 to B-8 of the plurality of second terminals 104 Detects the object matched with the menu Aa, and controls the plurality of second terminals 104 to execute the detected object. At this time, the process of detecting an object matched with the menu A-a on the screens B-1 to B-8 of the plurality of second terminals 104 is as described above. 4, a plurality of second terminals 104 may be simultaneously controlled by simply clicking a menu Aa on the screen A of the first terminal 102 to perform the same operation .

도 5를 참조하면, 테스트 제어 장치(106)는 각 제2 단말(104) 별로 제1 단말(102)의 메뉴(A-a) 이미지와 매칭되는 이미지 스케일 비율을 각각 저장할 수 있다. Referring to FIG. 5, the test controller 106 may store image scale ratios matching the image of the menu A-a of the first terminal 102 for each second terminal 104, respectively.

한편, 테스트 제어 장치(106)는 제1 단말(102)의 화면에서 실행시킬 오브젝트를 캡쳐하고, 캡쳐된 오브젝트에 대해 스크립트를 작성하여 제2 단말(104)들을 제어할 수도 있다. 즉, 테스트 제어 장치(106)는 어플리케이션이 제공하는 화면에서 오브젝트 별로 스크립트를 작성한 후, 오브젝트 별로 매칭되는 이미지 스케일 비율을 저장할 수 있다. 그러면, 테스트 제어 장치(106)는 어플리케이션의 테스트 수행 시 소정 오브젝트가 반복적으로 선택되어 실행되는 경우에도 해당 오브젝트의 기 저장된 이미지 스케일 비율을 우선적으로 적용하여 이미지 매칭 작업에 소요되는 시간을 줄일 수 있고, CPU 점유율을 최소화 할 수 있게 된다.Meanwhile, the test control device 106 may capture the object to be executed on the screen of the first terminal 102, and may control the second terminals 104 by creating a script for the captured object. That is, the test control device 106 may generate a script for each object on the screen provided by the application, and then store the image scale ratio matched for each object. Then, even when a predetermined object is repeatedly selected and executed at the time of test execution of the application, the test control device 106 can reduce the time required for the image matching operation by preferentially applying the previously stored image scale ratio of the object, The CPU occupancy rate can be minimized.

도 6은 본 발명의 일 실시예에 따른 테스트 제어 장치에서 오브젝트 별로 스크립트를 작성하는 상태를 나타낸 도면이다. 6 is a diagram illustrating a state in which a script is created for each object in the test control apparatus according to an embodiment of the present invention.

도 6을 참조하면, 테스트 제어 장치(106)는 제1 단말(102)의 화면에서 각 오브젝트들을 캡쳐하고, 캡쳐된 각 오브젝트(도 6에서는 홈 클릭, 검색 검증, adb 키보드 인증, 검색어 입력, 검색 버튼 클릭, 상품까지 스와이프, 상품 이미지 검증, 이전, 베스트 메뉴 검증, 베스트 메뉴 클릭, 뷰티 메뉴 검증, 의류 메뉴 클릭 등을 포함)에 대해 스크립트(C)를 작성할 수 있다. 테스트 제어 장치(106)는 캡쳐한 각 오브젝트의 이미지를 해당 스크립트와 매칭하여 저장할 수 있다. 테스트 제어 장치(106)는 스크립트를 작성한 오브젝트들의 리스트(D)를 관리할 수 있다.6, the test control device 106 captures each object on the screen of the first terminal 102 and displays each captured object (e.g., home click, search verification, adb keyboard authentication, Button C, swipe to product, product image verification, previous, best menu verification, best menu click, beauty menu verification, clothing menu click, etc.). The test control device 106 may match images of captured objects with corresponding scripts and store them. The test control device 106 can manage the list D of the scripts that created the script.

도 7 내지 도 8은 테스트 제어 장치(106)에서 각 오브젝트의 스크립트를 실행한 경우를 나타낸 도면이다. 7 to 8 are diagrams showing a case where the script of each object is executed by the test control device 106. Fig.

도 7을 참조하면, 관리자에 의해 홈 클릭(E)에 대한 스크립트 실행이 선택되는 경우, 테스트 제어 장치(106)는 복수 개의 제2 단말(104)의 화면(B-1 ~ B-6)에서 홈 클릭의 이미지와 매칭되는 오브젝트를 검출한 후, 해당 오브젝트를 실행하도록 복수 개의 제2 단말(104)을 제어할 수 있다. 7, when the execution of the script for the home click (E) is selected by the administrator, the test control device 106 judges whether the script execution is performed on the screens B-1 to B-6 of the plurality of second terminals 104 After detecting an object matched with the image of the home click, the plurality of second terminals 104 can be controlled to execute the object.

도 8을 참조하면, 관리자에 의해 검색어 입력(F)에 대한 스크립트 실행이 선택되는 경우, 테스트 제어 장치(106)는 복수 개의 제2 단말(104)의 화면(B-1 ~ B-6)에서 검색어 입력의 이미지와 매칭되는 오브젝트를 검출한 후, 해당 오브젝트를 실행하도록 복수 개의 제2 단말(104)을 제어할 수 있다.8, when the execution of the script for the input of the query word F is selected by the administrator, the test control device 106 determines whether the execution of the script on the screens B-1 to B-6 of the plurality of second terminals 104 It is possible to control a plurality of second terminals 104 so as to detect an object matched with an image of a keyword input and to execute the object.

이와 같이, 테스트하고자 하는 어플리케이션이 제공하는 오브젝트 별로 스크립트를 작성한 후, 제2 단말(104) 별로 그와 매칭되는 이미지 스케일 비율을 저장하면, 어플리케이션의 테스트 수행 시 소정 오브젝트가 반복적으로 수행되는 경우, 해당 오브젝트에 대해 기 저장된 이미지 스케일 비율을 우선적으로 적용하여 이미지 매칭 작업에 소요되는 시간을 줄일 수 있게 된다. In this manner, if a script is created for each object provided by an application to be tested and then an image scale ratio matching the second terminal 104 is stored for each second terminal 104, It is possible to reduce the time required for the image matching operation by preferentially applying the pre-stored image scale ratio to the object.

도 9는 본 발명의 일 실시예에 따른 테스트 제어 장치(106)에서 오브젝트 별 이미지 스케일 비율이 저장되는 상태를 나타낸 도면이다. FIG. 9 is a diagram illustrating a state in which an object-by-object image scale ratio is stored in the test control device 106 according to an embodiment of the present invention.

도 9를 참조하면, 테스트 제어 장치(106)는 제2 단말(104)들에 대해 각 오브젝트 별 이미지 스케일 비율을 데이터베이스화 할 수 있다. 데이터베이스에는 오브젝트 식별 정보(도 9에서는 ITEM_KEY)가 기재되는 필드(G1), 해당 오브젝트의 이미지 식별 정보(도 9에서는 IMG_KEY)가 기재되는 필드(G2), 제1 단말(102)의 식별 정보(도 9에서는 DEVICEID_TMPL)가 기재되는 필드(G3), 제2 단말(104)의 식별 정보(도 9에서는 DEVICEID_TRGT)가 기재되는 필드(G4), 및 이미지 스케일 비율(도 9에서는 SCALE_MAT)이 기재되는 필드(G5)를 포함할 수 있다. 여기서, 동일한 오브젝트라 하더라도 해당 오브젝트를 캡쳐한 시기 또는 해당 오브젝트를 캡쳐한 크기 등에 따라 서로 다른 이미지 식별 정보를 가질 수 있다. Referring to FIG. 9, the test control device 106 may database the image scale ratios of respective objects with respect to the second terminals 104. The database includes a field G1 for describing object identification information (ITEM_KEY in Fig. 9), a field G2 for describing image identification information (IMG_KEY in Fig. 9) of the object, A field G4 in which identification information (DEVICEID_TRGT in FIG. 9) of the second terminal 104 is described, and a field G4 in which an image scale ratio (SCALE_MAT in FIG. 9) G5). Here, even if they are the same object, they can have different image identification information according to the time of capturing the object, the size of capturing the object, and the like.

도 10은 본 발명의 일 실시예에 따른 이미지 매칭 학습을 이용한 어플리케이션 테스트 방법을 설명하기 위한 흐름도이다. 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.10 is a flowchart illustrating an application testing method using image matching learning according to an embodiment of the present invention. In the illustrated flow chart, the method is described as being divided into a plurality of steps, but at least some of the steps may be performed in reverse order, combined with other steps, performed together, omitted, divided into detailed steps, One or more steps may be added and performed.

도 10을 참조하면, 테스트 제어 장치(106)는 제1 단말(102)의 화면에서 소정 오브젝트가 실행되는지 여부를 확인한다(S 101). 단계 S 101의 확인 결과, 제1 단말(102)의 화면에서 소정 오브젝트(우선 실행 오브젝트)가 실행되는 경우, 테스트 제어 장치(106)는 제2 단말(104)에 대해 이미지 스케일 비율 관련 정보가 저장되어 있는지 여부를 확인한다(S 103). 여기서, 이미지 스케일 비율 관련 정보는 제1 단말(102)의 식별 정보, 제2 단말(104)의 식별 정보, 제2 단말(104)의 해상도 정보, 및 이미지 스케일 비율이 포함될 수 있다. Referring to FIG. 10, the test control device 106 determines whether a predetermined object is executed on the screen of the first terminal 102 (S 101). When a predetermined object (priority execution object) is executed on the screen of the first terminal 102 as a result of the check in step S 101, the test control device 106 stores information about the image scale ratio to the second terminal 104 (S 103). Here, the image scale ratio related information may include identification information of the first terminal 102, identification information of the second terminal 104, resolution information of the second terminal 104, and image scale ratio.

단계 S 103의 확인 결과, 제2 단말(104)에 대해 이미지 스케일 비율 관련 정보가 저장되어 있지 않은 경우, 테스트 제어 장치(106)는 제2 단말(104)의 화면에서 우선 실행 오브젝트에 대해 이미지 스케일 비율을 기 설정된 단위로 확대 및 축소하면서 우선 실행 오브젝트와 종속 실행 오브젝트 간 매칭 작업을 수행한다(S 105). As a result of the check in step S103, if the image scale ratio related information is not stored in the second terminal 104, the test control device 106 displays, on the screen of the second terminal 104, The matching operation between the priority execution object and the dependent execution object is performed while expanding and reducing the ratio in a predetermined unit (S 105).

단계 S 103의 확인 결과, 제2 단말(104)에 대해 이미지 스케일 비율 관련 정보가 저장되어 있는 경우, 테스트 제어 장치(106)는 이미지 스케일 비율 관련 정보에서 서로 다른 이미지 스케일 비율이 있는지 여부를 확인한다(S 107). As a result of the check in step S103, if the image scale ratio related information is stored in the second terminal 104, the test control device 106 checks whether there is a different image scale ratio in the image scale ratio related information (S 107).

단계 S 107의 확인 결과, 이미지 스케일 비율 관련 정보에서 서로 다른 이미지 스케일 비율이 없는 경우, 테스트 제어 장치(106)는 이미지 스케일 비율 관련 정보의 이미지 스케일 비율에 따라 우선 실행 오브젝트의 이미지를 스케일링 한 후, 제2 단말(104)의 화면에서 스케일링 한 우선 실행 오브젝트와 매칭되는 종속 실행 오브젝트가 검출되는지 여부를 확인한다(S 109).If it is determined in step S 107 that there is no different image scale ratio in the image scale ratio related information, the test control device 106 scales the image of the priority execution object according to the image scale ratio of the image scale ratio related information, It is checked whether a dependent object matching with the scrambled prioritized object on the screen of the second terminal 104 is detected (S 109).

단계 S 109의 확인 결과, 제2 단말(104)의 화면에서 스케일링 한 우선 실행 오브젝트와 매칭되는 종속 실행 오브젝트가 검출되는 경우, 테스트 제어 장치(106)는 제2 단말(104)의 이미지 스케일 비율 관련 정보에 매칭된 이미지 스케일 비율을 저장한다(S 111). 이때, 테스트 제어 장치(106)는 검출된 종속 실행 오브젝트를 실행하도록 제2 단말(104)을 제어할 수 있다.As a result of the check in step S 109, when the dependent execution object matching with the scaled priority execution object on the screen of the second terminal 104 is detected, the test control device 106 determines the image scale ratio of the second terminal 104 The image scale ratio matched with the information is stored (S 111). At this time, the test control device 106 may control the second terminal 104 to execute the detected dependent execution object.

단계 S 109의 확인 결과, 제2 단말(104)의 화면에서 스케일링 한 우선 실행 오브젝트와 매칭되는 종속 실행 오브젝트가 검출되지 않는 경우, 테스트 제어 장치(106)는 이미지 스케일 비율 관련 정보에 포함된 이미지 스케일 비율을 제외한 이미지 스케일 비율을 적용하여 스케일링 한 후, 제2 단말(104)의 화면에서 우선 실행 오브젝트와 종속 실행 오브젝트 간 매칭 작업을 수행한다(S 113). As a result of the check in step S 109, if the dependent execution object matched with the scaled priority execution object on the screen of the second terminal 104 is not detected, the test control device 106 displays the image scale (S113). In step S113, a matching operation is performed between the priority execution object and the dependent execution object on the screen of the second terminal (104).

즉, 테스트 제어 장치(106)는 우선 실행 오브젝트에 대해 이미지 스케일 비율을 기 설정된 단위로 확대 및 축소하면서 스케일링 한 후 매칭 작업을 수행하되, 이미지 스케일 비율 관련 정보에 포함된 이미지 스케일 비율은 제외시킬 수 있다. That is, the test control device 106 performs a matching operation after first scaling the image scale ratio of the execution object by enlarging and reducing the image scale ratio in a preset unit, and excluding the image scale ratio included in the image scale ratio-related information have.

단계 S 107의 확인 결과, 이미지 스케일 비율 관련 정보에서 서로 다른 이미지 스케일 비율이 있는 경우, 테스트 제어 장치(106)는 이미지 스케일 비율 중 매칭 횟수가 높은 순서대로 우선 실행 오브젝트에 이미지 스케일 비율을 적용하여 스케일링 한 후, 제2 단말(104)의 화면에서 스케일링 한 우선 실행 오브젝트와 매칭되는 종속 실행 오브젝트가 검출되는지 여부를 확인한다(S 115).As a result of checking in step S 107, if there are different image scale ratios in the image scale ratio related information, the test control device 106 applies the image scale ratio to the priority executing object in the order of the highest matching number among the image scale ratios, Then, it is checked whether a dependent execution object matched with the priority execution object scaled on the screen of the second terminal 104 is detected (S 115).

단계 S 115의 확인 결과, 제2 단말(104)의 화면에서 스케일링 한 우선 실행 오브젝트와 매칭되는 종속 실행 오브젝트가 검출되는 경우, 테스트 제어 장치(106)는 제2 단말(104)의 이미지 스케일 비율 관련 정보에 매칭된 이미지 스케일 비율을 저장한다(S 117). 이때, 테스트 제어 장치(106)는 검출된 종속 실행 오브젝트를 실행하도록 제2 단말(104)을 제어할 수 있다.As a result of the check in step S115, when the dependent execution object that matches the scaled priority execution object is detected on the screen of the second terminal 104, the test control device 106 determines that the image scale ratio of the second terminal 104 The image scale ratio matched with the information is stored (S 117). At this time, the test control device 106 may control the second terminal 104 to execute the detected dependent execution object.

단계 S 115의 확인 결과, 제2 단말(104)의 화면에서 스케일링 한 우선 실행 오브젝트와 매칭되는 종속 실행 오브젝트가 검출되지 않는 경우, 테스트 제어 장치(106)는 우선 실행 오브젝트에 이미지 스케일 비율 관련 정보에 포함된 이미지 스케일 비율을 제외한 이미지 스케일 비율을 적용하여 스케일링 한 후, 제2 단말(104)의 화면에서 우선 실행 오브젝트와 종속 실행 오브젝트 간 매칭 작업을 수행한다(S 119). As a result of the check in step S115, if the dependent execution object matched with the priority execution object scaled on the screen of the second terminal 104 is not detected, the test control device 106 stores the image scale ratio- (S119). In step S119, a matching operation is performed between the priority execution object and the dependent execution object on the screen of the second terminal 104 after scaling by applying the image scale ratio excluding the image scale ratio included.

도 11은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술되는 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.11 is a block diagram illustrating and illustrating a computing environment 10 including a computing device suitable for use in the exemplary embodiments. In the illustrated embodiment, each of the components may have different functions and capabilities than those described below, and may include additional components in addition to those described below.

도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 테스트 제어를 위한 장치(예를 들어, 테스트 제어 장치(106))일 수 있다.The illustrated computing environment 10 includes a computing device 12. In one embodiment, computing device 12 may be a device (e.g., test control device 106) for test control.

컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.The computing device 12 includes at least one processor 14, a computer readable storage medium 16, The processor 14 may cause the computing device 12 to operate in accordance with the exemplary embodiment discussed above. For example, processor 14 may execute one or more programs stored on computer readable storage medium 16. The one or more programs may include one or more computer-executable instructions, which when executed by the processor 14 cause the computing device 12 to perform operations in accordance with the illustrative embodiment .

컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.The computer-readable storage medium 16 is configured to store computer-executable instructions or program code, program data, and / or other suitable forms of information. The program 20 stored in the computer-readable storage medium 16 includes a set of instructions executable by the processor 14. In one embodiment, the computer-readable storage medium 16 may be any type of storage medium such as a memory (volatile memory such as random access memory, non-volatile memory, or any suitable combination thereof), one or more magnetic disk storage devices, Memory devices, or any other form of storage medium that can be accessed by the computing device 12 and store the desired information, or any suitable combination thereof.

통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.Communication bus 18 interconnects various other components of computing device 12, including processor 14, computer readable storage medium 16.

컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.The computing device 12 may also include one or more input / output interfaces 22 and one or more network communication interfaces 26 that provide an interface for one or more input / output devices 24. The input / output interface 22 and the network communication interface 26 are connected to the communication bus 18. The input / output device 24 may be connected to other components of the computing device 12 via the input / output interface 22. The exemplary input and output device 24 may be any type of device, such as a pointing device (such as a mouse or trackpad), a keyboard, a touch input device (such as a touch pad or touch screen), a voice or sound input device, An input device, and / or an output device such as a display device, a printer, a speaker, and / or a network card. The exemplary input and output device 24 may be included within the computing device 12 as a component of the computing device 12 and may be coupled to the computing device 12 as a separate device distinct from the computing device 12 It is possible.

이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, . Therefore, the scope of the present invention should not be limited to the above-described embodiments, but should be determined by equivalents to the appended claims, as well as the appended claims.

10 : 컴퓨팅 환경
12 : 컴퓨팅 장치
14 : 프로세서
16 : 컴퓨터 판독 가능 저장 매체
18 : 통신 버스
20 : 프로그램
22 : 입출력 인터페이스
24 : 입출력 장치
26 : 네트워크 통신 인터페이스
100 : 어플리케이션 테스트 시스템
102 : 제1 단말
104 : 제2 단말
106 : 테스트 제어 장치10: Computing environment
12: computing device
14: Processor
16: Computer readable storage medium
18: Communication bus
20: Program
22: I / O interface
24: input / output device
26: Network communication interface
100: Application test system
102:
104:
106: test control device

Claims

One or more processors;
Memory; And
1. A computing device including one or more programs, wherein a first terminal on which an application to be tested is installed and at least one second terminal are connected,
Wherein the one or more programs are stored in the memory and configured to be executed by the one or more processors,
The one or more programs,
A command for confirming whether or not a predetermined object is executed on a screen provided by the application of the first terminal;
A command for confirming whether a pre-stored image scale ratio exists for the second terminal when the object is executed in the first terminal;
And scales the image of the object of the first terminal according to the pre-stored image scale ratio when the pre-stored image scale ratio exists, and detects an object matched with the image of the scaled object on the screen of the second terminal &Lt; / RTI >
And scales the image of the object of the first terminal by scaling up or down the ratio of the predetermined unit if the pre-stored image scale ratio does not exist, Instructions for determining whether an object is detected and for learning the image scale ratio by storing an image scale ratio of the image of the scaled object to the second terminal when the object is detected; And
And to control the second terminal to execute the detected object.

delete

The method according to claim 1,
Wherein the instructions for storing the image scale ratio comprise:
And sequentially storing the image scale ratio in a queue of a predetermined size for each of the second terminals.

The method according to claim 1,
Wherein the instruction for detecting the object comprises:
A command for confirming whether or not different image scale ratios among the pre-stored image scale ratios exist for the second terminal;
If the different image scale ratios are present, extracting an image scale ratio having a highest matching frequency among the different image scale ratios; And
And scaling the image of the object of the first terminal according to the extracted image scale ratio.

The method according to claim 1,
The one or more programs,
A command for confirming whether a new second terminal is connected to the computing device;
Extracting a second terminal most similar to the resolution of the newly connected second terminal among the second terminals connected to the first terminal; And
Further comprising instructions for detecting an object corresponding to an object of the first terminal by applying a pre-stored image scale ratio of the extracted second terminal to the newly connected second terminal.

One or more processors;
Memory; And
1. A computing device including one or more programs, wherein a first terminal on which an application to be tested is installed and at least one second terminal are connected,
Wherein the one or more programs are stored in the memory and configured to be executed by the one or more processors,
The one or more programs,
A command for capturing an object on a screen provided by the application of the first terminal to create a script;
A command for confirming whether a pre-stored image scale ratio exists for the object of the second terminal when the scripted object is executed in the first terminal;
And scales the image of the object of the first terminal according to the pre-stored image scale ratio when the pre-stored image scale ratio exists, and detects an object matched with the image of the scaled object on the screen of the second terminal &Lt; / RTI >
And scales the image of the object of the first terminal by scaling up or down the ratio of the predetermined unit if the pre-stored image scale ratio does not exist, Instructions for determining whether an object is detected and for learning the image scale ratio by storing an image scale ratio of the image of the scaled object to the second terminal when the object is detected; And
And to control the second terminal to execute the detected object.

One or more processors, and
And a memory for storing one or more programs executed by the one or more processors, the method comprising the steps of: a first terminal in which an application to be tested is installed; and a computing device connected to at least one second terminal,
Determining whether a predetermined object is executed on a screen provided by the application of the first terminal;
Determining whether a pre-stored image scale ratio exists for the second terminal when the object is executed in the first terminal;
And scales the image of the object of the first terminal according to the pre-stored image scale ratio when the pre-stored image scale ratio exists, and detects an object matched with the image of the scaled object on the screen of the second terminal ;
And scales the image of the object of the first terminal by scaling up or down the ratio of the predetermined unit if the pre-stored image scale ratio does not exist, Determining whether an object is detected and, if the object is detected, storing an image scale ratio of the image of the scaled object to the second terminal to learn an image scale ratio; And
And controlling the second terminal to execute the detected object.

delete

The method of claim 8,
Wherein the step of storing the image scale ratio comprises:
And sequentially storing the image scale ratio in a queue of a predetermined size for each of the second terminals.

The method of claim 8,
Wherein the step of detecting the object comprises:
Confirming whether there are different image scale ratios among pre-stored image scale ratios for the second terminal;
If the different image scale ratios exist, extracting an image scale ratio having a highest matching frequency among the different image scale ratios; And
And scaling the image of the object of the first terminal according to the extracted image scale ratio.

The method of claim 8,
The application test method includes:
Determining whether a new second terminal is connected to the computing device;
Extracting a second terminal most similar to the resolution of the newly connected second terminal among the second terminals connected to the first terminal; And
Further comprising the step of detecting an object corresponding to an object of the first terminal by applying a pre-stored image scale ratio of the extracted second terminal to the newly connected second terminal.

One or more processors, and
And a memory for storing one or more programs executed by the one or more processors, the method comprising the steps of: a first terminal in which an application to be tested is installed; and a computing device connected to at least one second terminal,
Capturing an object on a screen provided by the application of the first terminal to create a script;
Determining whether a pre-stored image scale ratio exists with respect to the object of the second terminal when the scripted object is executed in the first terminal;
And scales the image of the object of the first terminal according to the pre-stored image scale ratio when the pre-stored image scale ratio exists, and detects an object matched with the image of the scaled object on the screen of the second terminal ;
And scales the image of the object of the first terminal by scaling up or down the ratio of the predetermined unit if the pre-stored image scale ratio does not exist, Determining whether an object is detected and, if the object is detected, storing an image scale ratio of the image of the scaled object to the second terminal to learn an image scale ratio; And
And controlling the second terminal to execute the detected object.