KR20150048365A - 애플리케이션 자동 검증 시스템 및 방법 - Google Patents

애플리케이션 자동 검증 시스템 및 방법 Download PDF

Info

Publication number
KR20150048365A
KR20150048365A KR1020130128276A KR20130128276A KR20150048365A KR 20150048365 A KR20150048365 A KR 20150048365A KR 1020130128276 A KR1020130128276 A KR 1020130128276A KR 20130128276 A KR20130128276 A KR 20130128276A KR 20150048365 A KR20150048365 A KR 20150048365A
Authority
KR
South Korea
Prior art keywords
application
execution
manager
test
test case
Prior art date
Application number
KR1020130128276A
Other languages
English (en)
Inventor
심욱
Original Assignee
에스케이플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이플래닛 주식회사 filed Critical 에스케이플래닛 주식회사
Priority to KR1020130128276A priority Critical patent/KR20150048365A/ko
Publication of KR20150048365A publication Critical patent/KR20150048365A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3684—Test management for test design, e.g. generating new test cases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G06F9/44589—Program code verification, e.g. Java bytecode verification, proof-carrying code
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Debugging And Monitoring (AREA)

Abstract

본 발명은 애플리케이션 자동 검증 시스템 및 방법에 관한 것으로, 보다 상세하게는 사용자 입력 이벤트를 입력받는 입력부, 상기 입력부를 통해 입력된 사용자 입력 이벤트를 스크립트 생성 매니저로 전달하는 인터랙션 매니저, 사용자로부터 입력된 음성 정보를 텍스트로 변환하여 스크립트 생성 매니저로 전달하는 보이스 매니저, 애플리케이션 실행에 따라 상기 출력부에 표시되는 화면을 동영상으로 녹화하여 스크립트 생성 매니저로 전송하는 AV 생성 매니저, 상기 AV 생성 매니저로부터 전송된 동영상 데이터, 상기 인터렉션 매니저로부터 전송된 사용자 입력 이벤트, 상기 보이스 매니저로부터 전송된 텍스트 중 적어도 하나를 조합하여 테스트 케이스를 생성하는 스크립트 생성 매니저를 포함한다.

Description

애플리케이션 자동 검증 시스템 및 방법{SYSTEM AND METHOD FOR VERIFYING APPLICATION}
본 발명은 애플리케이션 자동 검증 시스템 및 방법에 관한 것으로, 보다 상세하게는 애플리케이션 실행에 따른 화면을 동영상으로 녹화함과 동시에 애플리케이션 실행 시 입력된 음성 정보를 텍스트로 변환하고, 동영상 데이터와 상기 변환된 텍스트를 조합하여 테스트 케이스를 생성하며, 생성된 테스트 케이스를 실행하면서 화면을 동영상으로 녹화하고, 녹화된 동영상 데이터를 기준 동영상 데이터와 비교하여 애플리케이션의 정상 동작 여부를 판단하는 애플리케이션 자동 검증 시스템 및 방법에 관한 것이다.
웹 기반으로 개발된 웹 애플리케이션은 웹 브라우저가 탑재된 다양한 환경에서 구동이 가능하다. 모바일용 웹 애플리케이션을 개발할 때는 고사양의 최신 단말을 위주로 개발하고, 저사양의 단말로 점차 테스트 단말의 범위를 넓혀 성능 테스트를 한다. 웹 애플리케이션의 장점이 다양한 환경에서 구동 가능하다는 점이라면 이를 위해서 테스트 범위도 넓어진다는 단점이 생기는 것이다. 이를 해결하기 위해 테스트를 자동화한다면 테스트 비용을 줄일 수 있을 것이다.
웹 애플리케이션 개발 시 테스트를 자동화하는 툴이 있다. 애플리케이션 검증 자동화 툴은 개발자 혹은 시험자가 애플리케이션을 조작한 결과를 기반으로 테스트 코드를 자동으로 생성하여 다수의 기기에 대한 자동 반복 실행이 가능하도록 해주는 솔루션이다. 복잡한 테스트 케이스에 대해 별도로 문서를 작성하지 않아도 되며, 다양한 모델의 단말을 단일한 테스트 케이스로 테스트할 수 있다. 이러한 자동화 툴을 이용할 경우 수작업에 의존하던 기존에 비해 검증 시간 및 인력을 대폭 단축시킬 수 있다
또한, 종래의 애플리케이션 검증 자동화 툴, 특히 UI(User Interface) 테스트 툴들은 검증자의 입력(예컨대, 마우스, 터치 등)을 스크립트 형태로, 그에 따른 결과를 화면 이미지 및 문서 데이터 형태로 저장하고, 자동화 테스트 수행 시 검증자와 동일한 입력을 가상으로 생성하고 그에 따른 결과를 기 저장된 결과값/이미지와 비교/분석하는 방식으로 테스트를 수행한다. 이러한 테스트 결과는 자동으로 분석되어 수치화/문서화되어 출력되며 테스트에 사용되는 스크립트의 경우 애플리케이션의 UI/기능 변경 등의 필요에 따라 수정이 가능하다.
그러나 종래의 애플리케이션 검증 자동화 툴의 경우 애플리케이션의 사소한 변경에도 테스트 케이스를 다시 생성해야하거나 스크립트의 복잡도가 지나치게 높아 이를 유지보수하는데 너무 많은 비용이 소요된다는 문제가 있다.
선행기술 1: 한국공개특허 제2013-0007763호(2013.01.21 공개)
본 발명은 상기한 문제점을 해결하기 위하여 안출된 것으로, 웹 애플리케이션에 대한 테스트를 자동화하는 애플리케이션 자동 검증 시스템 및 방법을 제공하는데 그 목적이 있다.
본 발명의 다른 목적은 영상 녹화와 음성 인식을 기반으로 동적인 테스트 케이스의 생성 및 편집 기능을 제공하는 애플리케이션 자동 검증 시스템 및 방법을 제공하는데 있다.
본 발명의 또 다른 목적은 음성/영상 녹화 데이터를 이용하여 테스트 케이스를 생성, 실행, 측정함으로써, 테스트 케이스 생성의 편의성 및 시험 결과 측정의 정확성을 향상시킬 수 있는 애플리케이션 자동 검증 시스템 및 방법을 제공하는데 있다.
상술한 과제를 해결하기 위한 본 발명의 일 측면에 따르면, 애플리케이션 실행 화면을 표시하는 출력부, 사용자 입력 이벤트를 입력받는 입력부, 상기 입력부를 통해 입력된 사용자 입력 이벤트를 스크립트 생성 매니저로 전달하는 인터랙션 매니저, 사용자로부터 입력된 음성 정보를 텍스트로 변환하여 스크립트 생성 매니저로 전달하는 보이스 매니저, 애플리케이션 실행에 따라 상기 출력부에 표시되는 화면을 동영상으로 녹화하여 스크립트 생성 매니저로 전송하는 AV 생성 매니저, 상기 AV 생성 매니저로부터 전송된 동영상 데이터, 상기 인터렉션 매니저로부터 전송된 사용자 입력 이벤트, 상기 보이스 매니저로부터 전송된 텍스트 중 적어도 하나를 조합하여 테스트 케이스를 생성하는 스크립트 생성 매니저를 포함하는 테스트 케이스 생성 장치가 제공된다.
상기 보이스 매니저는 음성으로 입력된 테스트 케이스의 기본 정보를 텍스트로 변환하여 상기 스크립트 생성 매니저로 전송하고, 상기 애플리케이션의 실행 중에 음성 코멘트가 입력된 경우, 상기 음성 코멘트를 텍스트로 변환하여 상기 스크립트 생성 매니저로 전송하며, 상기 스크립트 생성 매니저는 상기 기본 정보의 수행 순서에 따라 애플리케이션을 실행할 수 있다.
본 발명의 다른 측면에 따르면, 자동 검증을 위해 기 제작된 스크립트가 저장된 저장부, 애플리케이션의 실행 화면이 표시되는 출력부, 상기 저장부에 저장된 스크립트를 실행코드로 변환하고, 상기 변환된 실행코드를 실행하면서 상기 실행코드에 포함된 가상의 사용자 입력을 현재 실행중인 애플리케이션에 적용하여 상기 출력부에 애플리케이션의 실행 화면을 표시하는 스크립트 실행 매니저, 상기 출력부에 표시되는 애플리케이션의 실행화면을 동영상으로 녹화하는 AV 실행 매니저를 포함하는 테스트 실행 장치가 제공된다.
본 발명의 또 다른 측면에 따르면, 기준 동영상 데이터가 저장된 저장부, 각 테스트 실행 장치의 동영상 데이터를 수신하기 위한 통신부, 각 테스트 실행 장치의 동영상 데이터를 상기 저장부에 저장된 기준 동영상 데이터와 비교하고, 그 비교결과를 근거로 애플리케이션 정상 동작 여부를 판단하는 측정 매니저를 포함하는 테스트 측정 장치가 제공된다.
상기 측정 매니저는 각 테스트 실행 장치의 애플리케이션 정상 동작 여부를 판단하고, 그 판단결과를 통계 문서로 출력할 수 있다.
본 발명의 또 다른 측면에 따르면, 애플리케이션 실행에 따른 화면을 동영상으로 녹화함과 동시에 애플리케이션 실행 시 입력된 음성 정보를 텍스트로 변환하고, 상기 동영상 데이터와 상기 변환된 텍스트를 조합하여 테스트 케이스를 생성하는 테스트 케이스 생성 장치, 상기 테스트 케이스 생성 장치에서 생성된 테스트 케이스를 실행하면서 화면을 동영상으로 녹화하고, 녹화된 동영상 데이터를 테스트 측정 장치로 전송하는 테스트 실행 장치, 상기 테스트 실행 장치에서 녹화된 동영상 데이터를 상기 테스트 케이스 생성 장치에서 생성된 동영상 데이터와 비교하고, 그 비교결과에 따른 자동 검증 수행 결과를 출력하는 테스트 측정 장치를 포함하는 애플리케이션 자동 검증 시스템이 제공된다.
상기 테스트 케이스 생성 장치는 상기 테스트 케이스를 스크립트로 생성할 수 있다.
본 발명의 또 다른 측면에 따르면, 테스트 케이스 생성 장치가 애플리케이션 자동 검증을 위해 테스트 케이스를 생성하는 방법에 있어서, 테스트 케이스의 기본 정보를 음성으로 입력받고, 상기 음성으로 입력된 기본 정보를 텍스트로 변환하여 저장하는 단계, 상기 기본 정보의 수행 순서에 따라 애플리케이션을 실행하는 단계, 상기 애플리케이션의 실행 화면을 동영상으로 녹화하면서 사용자로부터 필요한 코멘트를 음성으로 입력받아 녹음하는 단계, 상기 애플리케이션의 실행이 종료되어 녹화 작업이 완료되면, 상기 음성으로 녹음된 코멘트를 텍스트로 변환하여 저장하는 단계, 상기 녹화된 동영상 데이터와 상기 텍스트로 변환된 코멘트를 조합하여 테스트 케이스를 생성하는 단계를 포함하는 애플리케이션 자동 검증 방법이 제공된다.
본 발명의 또 다른 측면에 따르면, 테스트 케이스 생성 장치에 의해 실행될 때, 테스트 케이스의 기본 정보를 음성으로 입력받고, 상기 음성으로 입력된 기본 정보를 텍스트로 변환하여 저장하는 단계, 상기 기본 정보의 수행 순서에 따라 애플리케이션을 실행하는 단계, 상기 애플리케이션의 실행 화면을 동영상으로 녹화하면서 사용자로부터 필요한 코멘트를 음성으로 입력받아 녹음하는 단계, 상기 애플리케이션의 실행이 종료되어 녹화 작업이 완료되면, 상기 음성으로 녹음된 코멘트를 텍스트로 변환하여 저장하는 단계, 상기 녹화된 동영상 데이터와 상기 텍스트로 변환된 코멘트를 조합하여 테스트 케이스를 생성하는 단계를 포함하는 애플리케이션 자동 검증 방법을 실행하기 위한 프로그램이 수록된 컴퓨터로 판독 가능한 기록 매체가 제공된다.
본 발명의 또 다른 측면에 따르면, 테스트 실행 장치가 애플리케이션 자동 검증을 위해 테스트 케이스를 실행하는 방법에 있어서, 기 저장된 스크립트를 실행코드로 변환하는 단계, 상기 변환된 실행코드를 실행하면서 상기 실행코드에 포함된 가상의 사용자 입력을 현재 실행중인 애플리케이션에 적용하고, 출력부에 표시되는 실행화면을 동영상으로 녹화하는 단계를 포함하는 애플리케이션 자동 검증 방법이 제공된다.
본 발명의 또 다른 측면에 따르면, 테스트 실행 장치에 의해 실행될 때, 기 저장된 스크립트를 실행코드로 변환하는 단계, 상기 변환된 실행코드를 실행하면서 상기 실행코드에 포함된 가상의 사용자 입력을 현재 실행중인 애플리케이션에 적용하고, 출력부에 표시되는 실행화면을 동영상으로 녹화하는 단계를 포함하는 애플리케이션 자동 검증 방법을 실행하기 위한 프로그램이 수록된 컴퓨터로 판독 가능한 기록 매체가 제공된다.
본 발명에 따르면, 음성/영상 녹화 데이터를 이용하여 테스트 케이스를 생성, 실행, 측정함으로써, 테스트 케이스 생성의 편의성 및 시험 결과 측정의 정확성을 향상시킬 수 있다.
또한, 동영상 녹화/편집 방식에 음성 인식 기술을 결합한 테스트 케이스 생성 기술로 테스트 케이스의 생성/추가/변경이 용이하고, 문서화 및 유지보수에 소요되는 리소스를 절약할 수 있다.
또한, 이미지가 아닌 동영상으로 촬영된 시험 데이터를 활용함으로써 보다 정밀한 오류 검출이 가능하다.
또한, 영상 되감기(Rewind)를 통해 특정 시점으로 이동하면 해당 시점부터 재녹화가 가능하고, 테스트 애플리케이션의 상태 역시 기 생성된 스크립트를 통해 해당 시점의 상태로 복원이 가능하므로, 테스트 케이스 생성 중 오작동이 발생하거나 시험자가 실수를 할 경우 처음부터 테스트 케이스를 다시 생성하지 않아도 된다.
또한, 기 생성된 테스트 케이스 사이에 새로운 테스트 케이스를 추가하고 싶은 경우에도 종래처럼 복잡한 문서와 스크립트를 편집하는 방식이 아니라, 테스트 케이스 수정 메뉴 혹은 되감기 기능을 이용하여 원하는 시점의 영상을 찾은 후 다시 녹화를 하면 된다.
도 1은 본 발명의 애플리케이션 자동 검증 시스템을 나타낸 도면.
도 2는 본 발명의 실시예에 따른 테스트 케이스 생성 장치의 구성을 개략적으로 나타낸 블럭도.
도 3은 본 발명의 실시예에 따른 테스트 실행 장치의 구성을 개략적으로 나타낸 블럭도.
도 4는 본 발명의 실시예에 따른 테스트 측정 장치의 구성을 개략적으로 나타낸 블럭도.
도 5는 본 발명의 실시예에 따른 애플리케이션 자동 검증 방법을 나타낸 흐름도.
도 6은 본 발명의 실시예에 따른 테스트 케이스 생성 방법을 나타낸 흐름도.
도 7은 본 발명의 실시예에 따른 애플리케이션 자동 검증을 위한 사용자 인터페이스 화면의 예시도.
본 발명의 전술한 목적과 기술적 구성 및 그에 따른 작용 효과에 관한 자세한 사항은 본 발명의 명세서에 첨부된 도면에 의거한 이하 상세한 설명에 의해 보다 명확하게 이해될 것이다.
도 1은 본 발명의 애플리케이션 자동 검증 시스템을 나타낸 도면이다.
도 1을 참조하면, 애플리케이션 자동 검증 시스템은 테스트 케이스 생성 장치(100), 테스트 실행 장치(200), 테스트 측정 장치(300), 데이터베이스(400)를 포함한다.
테스트 케이스 생성 장치(100)는 애플리케이션 실행에 따른 화면을 동영상으로 녹화함과 동시에 애플리케이션 실행 시 입력된 음성 정보를 텍스트로 변환하여 동영상 녹화 정보와 함께 저장하여 테스트 케이스를 생성한다. 이때, 테스트 케이스 생성 장치(100)는 테스트 케이스를 스크립트로 생성할 수 있다. 스크립트란 애플리케이션을 테스트하기 위한 일련의 테스트 시나리오를 컴퓨터 혹은 검증 기기에 의해 실행 가능한 코드 형태로 작성한 것으로서, 스크립트는 사용자가 임의로 작성하여 생성하거나 기존에 생성되어 있던 스크립트를 타 서버로부터 다운로드(수신)하여 이용할 수 있다. 스크립트는 테스트용 명령어들의 집합으로 이루어지며, 본 발명에 따른 애플리케이션 테스트는 스크립트에 포함된 검증 시나리오에 따라 이루어진다.
테스트 케이스 생성 장치(100)에 대한 상세한 설명은 도 2를 참조하기로 한다.
테스트 실행 장치(200)는 테스트 케이스 생성 장치(100)에서 생성된 테스트 케이스를 실행하면서 화면을 동영상으로 녹화하고, 녹화된 동영상 데이터를 테스트 측정 장치로 전송한다. 이때, 테스트 실행 장치(200)는 화면을 동영상 등의 형태로 녹화할 수 있다.
테스트 실행 장치(200)에 대한 상세한 설명은 도 3을 참조하기로 한다.
테스트 측정 장치(300)는 테스트 실행 장치(200)에서 녹화된 동영상 데이터를 기 저장된 동영상 데이터와 비교하고, 그 비교결과에 따른 자동 검증 수행 결과를 출력한다.
테스트 측정 장치(300)는 자동 검증 수행 결과에 대한 비교 분석을 통해 애플리케이션의 오류 여부 등을 확인하여 자동으로 리포팅하는 기능을 수행한다.
테스트 측정 장치(300)에 대한 상세한 설명은 도 4를 참조하기로 한다.
데이터베이스(400)에는 개별 테스트 케이스 항목 및 관련 데이터, 동영상 및 음성 정보, 테스트 스크립트, 자동 검증 수행 결과 등이 저장되어 있다.
여기에서는 테스트 케이스 생성 장치(100), 테스트 실행 장치(200), 테스트 측정 장치(300), 데이터베이스(400)를 별개의 구성으로 하여 설명하였으나, 테스트 케이스 생성 장치(100), 테스트 실행 장치(200), 테스트 측정 장치(300), 데이터베이스(400)는 하나의 장치에 포함될 수도 있다.
도 2는 본 발명의 실시예에 따른 테스트 케이스 생성 장치의 구성을 개략적으로 나타낸 블럭도이다.
도 2를 참조하면, 테스트 케이스 생성 장치(100)는 입력부(110), 출력부(120), 저장부(130), 인터랙션 매니저(140), 보이스 매니저(150), AV 생성 매니저(160), 스크립트 생성 매니저(170)를 포함한다.
입력부(110)는 테스트 케이스 생성 장치(100)의 동작 제어를 위한 사용자 요청을 입력받기 위한 수단으로서, 사용자의 조작에 따라서 사용자의 요청을 전기 신호로 변환한다. 입력부(110)는 사용자로부터 문자, 숫자, 텍스트, 음성, 움직임, 촉각, 시각 등을 입력받는 입력 수단으로 예컨대, 입력 수단은 키보드, 키패드, 터치 스크린, 시각 감지 수단, 촉각 감지 수단, 움직임 감지 수단, 음성 입력 수단 등 다양한 형태로 구현될 수 있다.
사용자는 입력부(110)를 통해 사용자 입력 이벤트를 입력하고, 입력부(110)는 사용자 입력 이벤트를 현재 실행중인 애플리케이션으로 전달한다. 여기서, 사용자 입력 이벤트는 애플리케이션이 외부 사용자로부터 명령을 입력받아 컨텐츠 상의 변화가 생긴 모든 경우를 일컫는 용어로서, 특히 사용자가 애플리케이션이 실행되고 있는 장치상에 의도하고자 하는 동작을 수행하기 위해 애플리케이션을 조작하는 모든 행위를 장치가 입력으로서 인지하여 일련의 명령으로 인식한 것을 일컫는다. 대표적인 예로서, 사용자가 음성으로 코멘트를 입력한 경우, 장치가 음성 코멘트 입력 행위를 소프트웨어 명령으로 인식한 것을 하나의 이벤트로 정의할 수 있다.
출력부(120)는 애플리케이션의 실행 화면을 표시한다. 출력부(120)는 시각적으로 확인 가능한 디스플레이의 형태가 될 수도 있고, 스피커 등 청각적으로 확인 가능한 형태일 수도 있으며, 그 밖에 스크립트 실행 결과를 확인할 수 있는 모든 형태를 포함한다.
저장부(130)는 테스트 케이스 생성 장치(100)의 동작 제어 시 필요한 프로그램과, 그 프로그램 수행 중에 발생되는 데이터를 저장한다.
인터랙션 매니저(140)는 입력부(110)를 통해 입력된 사용자 입력 이벤트를 스크립트 생성 매니저(170)로 전달한다. 인터랙션 매니저(140)는 사용자 입력을 담당하는 모듈로, 테스트 케이스 생성을 위한 영상 녹화 시 시험자의 입력(예컨대, 마우스, 키보드, 터치 등)을 저장하고 이를 스크립트 생성 매니저(170)로 전송한다.
보이스 매니저(150)는 사용자로부터 입력된 음성 정보를 텍스트로 변환하여 스크립트 생성 매니저(170)로 전달한다. 즉, 보이스 매니저(150)는 음성으로 입력된 테스트 케이스의 기본 정보를 텍스트로 변환하여 스크립트 생성 매니저(170)로 전송하고, 애플리케이션 실행 중에 음성 코멘트가 입력된 경우, 음성 코멘트를 텍스트로 변환하여 스크립트 생성 매니저(170)로 전송한다. 여기서, 테스트 케이스의 기본 정보는 이름, 수행 순서, 예상되는 결과 등을 포함할 수 있다.
AV 생성 매니저(160)는 애플리케이션 실행에 따라 출력부(120)에 표시되는 화면을 동영상으로 녹화하여 스크립트 생성 매니저(170)로 전송한다.
AV 생성 매니저(160)는 동영상의 녹화, 삽입, 편집 등을 수행할 수 있다. 즉, 영상 되감기(Rewind)를 통해 특정 시점으로 이동하면, AV 생성 매니저(160)는 해당 시점부터 출력부(120)에 표시되는 화면을 재녹화한다. 그러면, 스크립트 생성 매니저(170)는 기 생성된 스크립트를 해당 시점의 상태로 복원하므로, 테스트 케이스 생성 중 오작동이 발생하거나 시험자가 실수를 할 경우 처음부터 테스트 케이스를 다시 생성하지 않아도 된다. 또한, 기 생성된 테스트 케이스 사이에 새로운 테스트 케이스를 추가하고 싶은 경우에도 종래처럼 복잡한 문서와 스크립트를 편집하는 방식이 아니라, 테스트 케이스 수정 메뉴 혹은 되감기 기능을 이용하여 원하는 시점의 영상을 찾은 후 다시 녹화를 하면 된다.
스크립트 생성 매니저(160)는 AV 생성 매니저(160)로부터 전송된 동영상 데이터, 인터렉션 매니저(140)로부터 전송된 사용자 입력 이벤트, 보이스 매니저(150)로부터 전송된 텍스트를 조합하여 테스트 케이스를 생성한다. 이때, 생성된 테스트 케이스는 스크립트일 수 있다. 여기서, 스크립트는 테스트용 명령어들의 집합으로 이루어지며, 본 발명에 따른 애플리케이션 테스트는 스크립트에 포함된 검증 시나리오에 따라 이루어진다.
테스트 케이스 생성 장치(100)는 스크립트 생성 매니저(170)에서 생성된 테스트 케이스를 테스트 실행 장치 또는 테스트 측정 장치로 전송하기 위한 통신부(미도시)를 포함할 수 있다.
이러한 테스트 케이스 생성 장치(100)는 영상/음성 녹화를 이용하여 자동으로 테스트 케이스를 생성하므로, 테스트 케이스의 유지보수가 편리하고, 담당자가 변경될 경우에도 기존 시험자의 영상/음성 녹화 자료를 확인하는 방식으로 인수인계를 간단하게 할 수 있다. 또한, 시험자는 별도의 문서작업 없이 동영상을 녹화하듯 자연스럽게 테스트 케이스를 생성할 수 있다.
도 3은 본 발명의 실시예에 따른 테스트 실행 장치의 구성을 개략적으로 나타낸 블럭도이다.
도 3을 참조하면, 테스트 실행 장치(200)는 저장부(210), 출력부(220), 스크립트 실행 매니저(230), AV 실행 매니저(240)를 포함한다.
저장부(210)에는 자동 검증을 위해 기 제작된 스크립트가 저장되어 있다.
출력부(220)는 애플리케이션의 실행 화면이 표시된다.
스크립트 실행 매니저(230)는 저장부(210)에 저장된 스크립트를 실행코드로 변환하고, 변환된 실행코드를 실행하면서 실행코드에 포함된 가상의 사용자 입력을 현재 실행중인 애플리케이션에 적용하여 출력부(220)에 애플리케이션의 실행 화면을 표시한다.
AV 실행 매니저(230)는 출력부(220)에 표시되는 애플리케이션의 실행화면을 동영상으로 녹화한다.
AV 실행 매니저(230)는 녹화된 동영상 데이터를 테스트 측정 장치로 전송한다. AV 실행 매니저(160)는 동영상의 녹화, 삽입, 편집 등을 수행할 수 있다.
이러한 테스트 실행 장치(200)는 통신부(미도시), 입력부(미도시) 등을 포함할 수 있다.
테스트 실행 장치(200)는 스크립트를 이용하여 테스트 대상 애플리케이션의 실행 및 제어를 자동화함으로써 시험자의 수작업을 대체하는 기능을 수행한다. 즉, 테스트 실행 장치(200)는 테스트 케이스 목록과 스크립트에 따라 자동으로 테스트 애플리케이션을 실행하고 가상의 사용자 입력을 발생시키면서 출력부(220)에 표시되는 실행화면을 동영상으로 녹화한다.
도 4는 본 발명의 실시예에 따른 테스트 측정 장치의 구성을 개략적으로 나타낸 블럭도이다.
도 4를 참조하면, 테스트 측정 장치(300)는 통신부(310), 저장부(320), 출력부(330), 측정 매니저(340)를 포함한다.
통신부(310)는 각 테스트 실행 장치의 동영상 데이터를 수신한다.
저장부(320)에는 기준 동영상 데이터가 저장되어 있다. 기준 동영상 데이터는 테스트 케이스 생성 장치에서 데이터일 수 있다.
출력부(330)는 테스트 측정 결과를 출력한다.
측정 매니저(340)는 각 테스트 실행 장치의 동영상 데이터를 저장부(320)에 저장된 기준 동영상 데이터와 비교하고, 그 비교결과를 근거로 애플리케이션의 정상 동작 여부를 판단한다. 즉, 측정 매니저(340)는 테스트 실행 장치의 동영상 데이터를 기준 동영상 데이터와 비교하여 동일 여부를 판단하고, 동일한 경우 애플리케이션이 정상 동작하는 것으로 판단하고, 동일하지 않은 경우 애플리케이션이 비정상 동작하는 것으로 판단할 수 있다. 이때, 측정 매니저(340)는 정상적인 실행 결과이더라도 화면의 출력 이미지가 테스트 실행 장치의 모델, OS, 웹브라우저의 종류, 기기의 해상도 등에 따라 달라지는 경우가 빈번하므로, 영상 비교 시에 이러한 차이를 고려하여 정상 수행 여부를 판단하는 기능을 제공한다.
측정 매니저(340)는 테스트 실행 장치의 애플리케이션 정상 동작 여부에 대한 판결 결과를 통계 문서로 출력할 수 있다.
이러한 구성의 테스트 측정 장치는 테스트 결과를 이미지가 아닌 영상 데이터와 비교하는 방식으로 검증하므로, 종래보다 다양한 영역을 보다 상세히 검증할 수 있다. 즉, 이미지 비교 방식의 경우 테스트 케이스가 완료된 시점이나 스크립트로 검출이 가능한 오류 발생 시점에 한해 이미지가 저장되는 데 비해, 본 발명에서는 전체의 검증 진행 상황을 동영상으로 저장하므로 오류 발생의 인과관계 파악이나 스크립트로 검출이 어려운 오류의 확인 등이 용이하며 기존의 이미지 비교 방식으로 검출이 어려웠던 UI상의 미세한 차이, 로딩 속도 등의 성능 문제, 화면 깜빡임이나 일그러짐 등의 문제 역시 파악할 수 있다.
도 5는 본 발명의 실시예에 따른 애플리케이션 자동 검증 방법을 나타낸 흐름도이다.
도 5를 참조하면, 애플리케이션 자동 검증 시스템은 애플리케이션을 실행하면서 테스트 케이스를 생성한다(S502). 애플리케이션 자동 검증 시스템이 테스트 케이스를 생성하는 방법에 대한 상세한 설명은 도 6을 참조하기로 한다.
애플리케이션 자동 검증 시스템은 생성된 테스트 케이스를 실행하여 동영상 데이터를 녹화하고(S504), 녹화된 동영상 데이터를 기준 동영상 데이터와 비교하여 애플리케이션의 정상 동작 여부를 판단한다(S506).
즉, 애플리케이션 자동 검증 시스템은 테스트 케이스 목록과 스크립트에 따라 자동으로 테스트 애플리케이션을 실행하고, 애플리케이션이 실행되는 동안 표시되는 화면을 동영상으로 녹화한다.
그런 후, 애플리케이션 자동 검증 시스템은 녹화된 동영상 데이터를 기준 동영상 데이터와 비교하고, 그 비결결과를 근거로 애플리케이션 정상 동작 여부를 판단한다.
도 6은 본 발명의 실시예에 따른 테스트 케이스 생성 방법을 나타낸 흐름도, 도 7은 본 발명의 실시예에 따른 애플리케이션 자동 검증을 위한 사용자 인터페이스 화면의 예시도이다.
도 6을 참조하면, 테스트 케이스 생성 장치는 테스트 케이스 생성 명령이 입력되면(S602), 테스트 케이스의 기본 정보를 음성으로 입력받는다(S604). 즉, 시험자는 테스트 케이스 생성 버튼을 누른 후, 테스트 프로그램의 안내에 따라 음성으로 테스트 케이스의 이름, 수행 순서, 예상되는 결과 등을 포함하는 기본 정보를 말한다. 그러면, 테스트 케이스 생성 장치는 음성을 보이스 매니저를 통해 자동으로 텍스트로 변환하여 문서로 저장한다.
테스트 케이스 생성 장치는 음성 형태의 기본 정보를 텍스트로 변환하여 저장한다(S606).
그런 후, 화면 녹화 명령이 입력되면(S608), 테스트 케이스 생성 장치는 기본 정보의 수행 순서에 따라 애플리케이션을 실행한다(S610). 즉, 도 7과 같은 인터페이스 화면(700)에서 시험자가 화면 하단의 녹화 버튼(732)을 누르면, 테스트 케이스 생성 장치는 녹음된 수행 순서에 맞춰 적절한 작업을 수행한다. 이 작업의 화면은 동영상으로 녹화되며 필요한 코멘트 역시 음성으로 녹음된다.
사용자 인터페이스 화면(700)에 대해 도 7을 참조하면, 화면 상단에는 테스트 케이스의 생성(Generation), 실행(Execution), 측정(Measurement)을 위한 메뉴들(710)이 있고, 중앙에는 테스트 중인 기기의 화면 혹은 테스트 결과로 녹화된 영상을 볼 수 있는 영역(720)이 있으며, 하단에는 테스트 진행상황 확인 및 이동을 위한 타임라인, 영상 녹화 및 제어를 위한 녹화/재생/중지 버튼들, 각종 알림을 위한 Notification 영역(730)이 있다.
테스트 케이스 생성 장치는 애플리케이션 실행 화면을 동영상으로 녹화하면서 사용자로부터 필요한 코멘트를 음성으로 입력받는다(S612).
애플리케이션 실행이 종료되어 녹화 작업이 완료되면(S614), 테스트 케이스 생성 장치는 음성으로 녹음된 코멘트를 텍스트로 변환하여 저장한다(S616). 상기와 같은 작업이 완료되면 사용자는 결과값에 대한 코멘트를 음성으로 삽입할 수 있고, 해당 음성은 보이스 매니저를 통해 텍스트로 변환되어 문서로 저장된다.
그러면, 테스트 케이스 생성 장치는 녹화된 동영상 데이터와 코멘트를 조합하여 테스트 케이스를 생성하게 된다(S618). 테스트 케이스 생성 장치는 생성된 테스트 케이스를 스크립트로 생성할 수 있다.
상기와 같은 과정을 반복하면 시험자는 별도의 문서작업 없이 동영상을 녹화하듯 자연스럽게 테스트 케이스를 생성할 수 있다. 테스트 케이스 생성 중 오작동이 발생하거나 시험자가 실수를 할 경우, 영상 되감기(Rewind)를 통해 특정 시점으로 이동하면 해당 시점부터 재녹화가 가능하고, 애플리케이션의 상태 역시 기 생성된 스크립트를 통해 해당 시점의 상태로 복원이 가능하므로, 처음부터 테스트 케이스를 다시 생성하지 않아도 된다. 또한, 기 생성된 테스트 케이스 사이에 새로운 테스트 케이스를 추가하고 싶은 경우, 테스트 케이스 수정 메뉴 혹은 되감기 기능을 이용하여 원하는 시점의 영상을 찾은 후 다시 녹화를 하면 된다.
한편, 본 발명의 다른 측면에 따르면, 테스트 케이스 생성 장치에 의해 실행될 때, 테스트 케이스의 기본 정보를 음성으로 입력받고, 상기 음성으로 입력된 기본 정보를 텍스트로 변환하여 저장하는 단계, 상기 기본 정보의 수행 순서에 따라 애플리케이션을 실행하는 단계, 상기 애플리케이션의 실행 화면을 동영상으로 녹화하면서 사용자로부터 필요한 코멘트를 음성으로 입력받아 녹음하는 단계, 상기 애플리케이션의 실행이 종료되어 녹화 작업이 완료되면, 상기 음성으로 녹음된 코멘트를 텍스트로 변환하여 저장하는 단계, 상기 녹화된 동영상 데이터와 상기 텍스트로 변환된 코멘트를 조합하여 테스트 케이스를 생성하는 단계를 포함하는 애플리케이션 자동 검증 방법을 실행하기 위한 프로그램이 수록된 컴퓨터로 판독 가능한 기록 매체가 제공된다.
또한, 본 발명의 다른 측면에 따르면, 테스트 실행 장치에 의해 실행될 때, 기 저장된 스크립트를 실행코드로 변환하는 단계, 상기 변환된 실행코드를 실행하면서 상기 실행코드에 포함된 가상의 사용자 입력을 현재 실행중인 애플리케이션에 적용하고, 출력부에 표시되는 실행화면을 동영상으로 녹화하는 단계를 포함하는 애플리케이션 자동 검증 방법을 실행하기 위한 프로그램이 수록된 컴퓨터로 판독 가능한 기록 매체가 제공된다.
이러한 애플리케이션 자동 검증 방법은 프로그램으로 작성 가능하며, 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 애플리케이션 자동 검증 방법에 관한 프로그램은 전자장치가 읽을 수 있는 정보저장매체(Readable Media)에 저장되고, 전자장치에 의하여 읽혀지고 실행될 수 있다.
이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
본 발명은 애플리케이션 자동 검증 시스템 및 방법을 제공함으로써, 동영상 녹화/편집 방식에 음성 인식 기술을 결합한 테스트 케이스 생성 기술로 테스트 케이스의 생성/추가/변경이 용이하고, 문서화 및 유지보수에 소요되는 리소스를 절약할 수 있다.
100 : 테스트 케이스 생성 장치 110 : 입력부
120, 220, 330 : 출력부 130, 210, 320 : 저장부
140 : 인터랙션 매니저 150 : 보이스 매니저
160 : AV 생성 매니저 170 : 스크립트 생성 매니저
200 : 테스트 실행 장치 230 : 스크립트 실행 매니저
240 : AV 실행 매니저 300 : 테스트 측정 장치
310 : 통신부 340 : 측정 매니저
400 : 데이터베이스

Claims (11)

  1. 애플리케이션 실행 화면을 표시하는 출력부;
    사용자 입력 이벤트를 입력받는 입력부;
    상기 입력부를 통해 입력된 사용자 입력 이벤트를 스크립트 생성 매니저로 전달하는 인터랙션 매니저;
    사용자로부터 입력된 음성 정보를 텍스트로 변환하여 스크립트 생성 매니저로 전달하는 보이스 매니저;
    애플리케이션 실행에 따라 상기 출력부에 표시되는 화면을 동영상으로 녹화하여 스크립트 생성 매니저로 전송하는 AV 생성 매니저; 및
    상기 AV 생성 매니저로부터 전송된 동영상 데이터, 상기 인터랙션 매니저로부터 전송된 사용자 입력 이벤트, 상기 보이스 매니저로부터 전송된 텍스트 중 적어도 하나를 조합하여 테스트 케이스를 생성하는 스크립트 생성 매니저;
    를 포함하는 테스트 케이스 생성 장치.
  2. 제1항에 있어서,
    상기 보이스 매니저는 음성으로 입력된 테스트 케이스의 기본 정보를 텍스트로 변환하여 상기 스크립트 생성 매니저로 전송하고, 상기 애플리케이션의 실행 중에 음성 코멘트가 입력된 경우, 상기 음성 코멘트를 텍스트로 변환하여 상기 스크립트 생성 매니저로 전송하며,
    상기 스크립트 생성 매니저는 상기 기본 정보의 수행 순서에 따라 애플리케이션을 실행하는 것을 특징으로 하는 테스트 케이스 생성 장치.
  3. 자동 검증을 위해 제작된 스크립트가 저장된 저장부;
    애플리케이션의 실행 화면이 표시되는 출력부; 및
    상기 저장부에 저장된 스크립트를 실행코드로 변환하고, 상기 변환된 실행코드를 실행하면서 상기 실행코드에 포함된 가상의 사용자 입력을 현재 실행중인 애플리케이션에 적용하여 상기 출력부에 애플리케이션의 실행 화면을 표시하는 스크립트 실행 매니저;
    상기 출력부에 표시되는 애플리케이션의 실행화면을 동영상으로 녹화하는 AV 실행 매니저;
    를 포함하는 테스트 실행 장치.
  4. 기준 동영상 데이터가 저장된 저장부;
    각 테스트 실행 장치의 동영상 데이터를 수신하기 위한 통신부; 및
    각 테스트 실행 장치의 동영상 데이터를 상기 저장부에 저장된 기준 동영상 데이터와 비교하고, 그 비교결과를 근거로 애플리케이션 정상 동작 여부를 판단하는 측정 매니저;
    를 포함하는 테스트 측정 장치.
  5. 제4항에 있어서,
    상기 측정 매니저는 각 테스트 실행 장치의 애플리케이션 정상 동작 여부를 판단하고, 그 판단결과를 통계 문서로 출력하는 것을 특징으로 하는 테스트 측정 장치.
  6. 애플리케이션 실행에 따른 화면을 동영상으로 녹화함과 동시에 애플리케이션 실행 시 입력된 음성 정보를 텍스트로 변환하고, 상기 동영상 데이터와 상기 변환된 텍스트를 조합하여 테스트 케이스를 생성하는 테스트 케이스 생성 장치;
    상기 테스트 케이스 생성 장치에서 생성된 테스트 케이스를 실행하면서 화면을 동영상으로 녹화하고, 녹화된 동영상 데이터를 테스트 측정 장치로 전송하는 테스트 실행 장치; 및
    상기 테스트 실행 장치에서 녹화된 동영상 데이터를 상기 테스트 케이스 생성 장치에서 생성된 동영상 데이터와 비교하고, 그 비교결과에 따른 자동 검증 수행 결과를 출력하는 테스트 측정 장치;
    를 포함하는 애플리케이션 자동 검증 시스템.
  7. 제6항에 있어서,
    상기 테스트 케이스 생성 장치는 상기 테스트 케이스를 스크립트로 생성하는 것을 특징으로 하는 애플리케이션 자동 검증 시스템.
  8. 테스트 케이스 생성 장치가 애플리케이션 자동 검증을 위해 테스트 케이스를 생성하는 방법에 있어서,
    테스트 케이스의 기본 정보를 음성으로 입력받고, 상기 음성으로 입력된 기본 정보를 텍스트로 변환하여 저장하는 단계;
    상기 기본 정보의 수행 순서에 따라 애플리케이션을 실행하는 단계;
    상기 애플리케이션의 실행 화면을 동영상으로 녹화하면서 사용자로부터 필요한 코멘트를 음성으로 입력받아 녹음하는 단계;
    상기 애플리케이션의 실행이 종료되어 녹화 작업이 완료되면, 상기 음성으로 녹음된 코멘트를 텍스트로 변환하여 저장하는 단계; 및
    상기 녹화된 동영상 데이터와 상기 텍스트로 변환된 코멘트를 조합하여 테스트 케이스를 생성하는 단계;
    를 포함하는 애플리케이션 자동 검증 방법.
  9. 테스트 케이스 생성 장치에 의해 실행될 때,
    테스트 케이스의 기본 정보를 음성으로 입력받고, 상기 음성으로 입력된 기본 정보를 텍스트로 변환하여 저장하는 단계;
    상기 기본 정보의 수행 순서에 따라 애플리케이션을 실행하는 단계;
    상기 애플리케이션의 실행 화면을 동영상으로 녹화하면서 사용자로부터 필요한 코멘트를 음성으로 입력받아 녹음하는 단계;
    상기 애플리케이션의 실행이 종료되어 녹화 작업이 완료되면, 상기 음성으로 녹음된 코멘트를 텍스트로 변환하여 저장하는 단계; 및
    상기 녹화된 동영상 데이터와 상기 텍스트로 변환된 코멘트를 조합하여 테스트 케이스를 생성하는 단계;를 포함하는 애플리케이션 자동 검증 방법을 실행하기 위한 프로그램이 수록된 컴퓨터로 판독 가능한 기록 매체.
  10. 테스트 실행 장치가 애플리케이션 자동 검증을 위해 테스트 케이스를 실행하는 방법에 있어서,
    기 저장된 스크립트를 실행코드로 변환하는 단계; 및
    상기 변환된 실행코드를 실행하면서 상기 실행코드에 포함된 가상의 사용자 입력을 현재 실행중인 애플리케이션에 적용하고, 출력부에 표시되는 실행화면을 동영상으로 녹화하는 단계;
    를 포함하는 애플리케이션 자동 검증 방법.
  11. 테스트 실행 장치에 의해 실행될 때,
    기 저장된 스크립트를 실행코드로 변환하는 단계; 및
    상기 변환된 실행코드를 실행하면서 상기 실행코드에 포함된 가상의 사용자 입력을 현재 실행중인 애플리케이션에 적용하고, 출력부에 표시되는 실행화면을 동영상으로 녹화하는 단계를 포함하는 애플리케이션 자동 검증 방법을 실행하기 위한 프로그램이 수록된 컴퓨터로 판독 가능한 기록 매체.
KR1020130128276A 2013-10-28 2013-10-28 애플리케이션 자동 검증 시스템 및 방법 KR20150048365A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130128276A KR20150048365A (ko) 2013-10-28 2013-10-28 애플리케이션 자동 검증 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130128276A KR20150048365A (ko) 2013-10-28 2013-10-28 애플리케이션 자동 검증 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20150048365A true KR20150048365A (ko) 2015-05-07

Family

ID=53386874

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130128276A KR20150048365A (ko) 2013-10-28 2013-10-28 애플리케이션 자동 검증 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20150048365A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106874207A (zh) * 2017-02-27 2017-06-20 税友软件集团股份有限公司 一种web页面的自动化测试方法及装置
CN108399131A (zh) * 2018-03-13 2018-08-14 百度在线网络技术（北京）有限公司 自动化测试用例生成方法和装置
CN113312259A (zh) * 2021-05-26 2021-08-27 深圳前海微众银行股份有限公司 一种接口测试方法及装置
US11914502B2 (en) * 2017-01-24 2024-02-27 Transform Sr Brands Llc Performance utilities for mobile applications

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11914502B2 (en) * 2017-01-24 2024-02-27 Transform Sr Brands Llc Performance utilities for mobile applications
CN106874207A (zh) * 2017-02-27 2017-06-20 税友软件集团股份有限公司 一种web页面的自动化测试方法及装置
CN108399131A (zh) * 2018-03-13 2018-08-14 百度在线网络技术（北京）有限公司 自动化测试用例生成方法和装置
CN113312259A (zh) * 2021-05-26 2021-08-27 深圳前海微众银行股份有限公司 一种接口测试方法及装置
CN113312259B (zh) * 2021-05-26 2023-12-29 深圳前海微众银行股份有限公司 一种接口测试方法及装置

Similar Documents

Publication Publication Date Title
US10268350B2 (en) Automatically capturing user interactions and evaluating user interfaces in software programs using field testing
CN103810089B (zh) 自动测试基于姿态的应用
WO2019144680A1 (zh) 自动化测试方法及装置、存储介质、电子设备
US9459994B2 (en) Mobile application testing systems and methods
US8645912B2 (en) System and method for use in replaying software application events
US9703694B2 (en) Techniques for testing software
US20170147480A1 (en) Test script generation
US20140019937A1 (en) Updating product documentation using automated test scripts
US20160034383A1 (en) Application test across platforms
US9298594B2 (en) Testing apparatus and testing method
US11074162B2 (en) System and a method for automated script generation for application testing
US10275341B2 (en) Mobile application usability testing
EP3227785B1 (en) Playback and automatic execution of a process to control a computer system
EP2951697A1 (en) Generating software test script from video
US20180196742A1 (en) System and method for end to end performance response time measurement based on graphic recognition
TW201740275A (zh) 錄製與重播滑鼠行為之系統及方法、記錄媒體及程式產品
JP2012103786A (ja) テスト支援装置、制御方法、及びプログラム
KR20150048365A (ko) 애플리케이션 자동 검증 시스템 및 방법
US10649634B2 (en) Indexing and annotating a usability test recording
US20160162398A1 (en) Automated test generation and execution for testing a process to control a computer system
US9378109B1 (en) Testing tools for devices
CN104991857B (zh) 跟踪调试方法及装置
KR102106618B1 (ko) 애플리케이션 성능 테스트를 위한 시스템, 단말장치, 검증장치, 방법 및 컴퓨터로 판독 가능한 기록 매체
KR101999321B1 (ko) 프로그램 검증 시스템 및 검증 방법
US20160162168A1 (en) Interaction sensing and recording of a process to control a computer system

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application