KR20220082496A - 테스트 자동화 서비스 장치 및 방법 - Google Patents

테스트 자동화 서비스 장치 및 방법 Download PDF

Info

Publication number
KR20220082496A
KR20220082496A KR1020200172449A KR20200172449A KR20220082496A KR 20220082496 A KR20220082496 A KR 20220082496A KR 1020200172449 A KR1020200172449 A KR 1020200172449A KR 20200172449 A KR20200172449 A KR 20200172449A KR 20220082496 A KR20220082496 A KR 20220082496A
Authority
KR
South Korea
Prior art keywords
test
snapshot
report
target terminals
server
Prior art date
Application number
KR1020200172449A
Other languages
English (en)
Other versions
KR102481254B1 (ko
Inventor
김종원
김경문
김기범
김문기
오현석
윤서현
이재영
홍상영
황연택
Original Assignee
주식회사 엔씨소프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엔씨소프트 filed Critical 주식회사 엔씨소프트
Priority to KR1020200172449A priority Critical patent/KR102481254B1/ko
Publication of KR20220082496A publication Critical patent/KR20220082496A/ko
Application granted granted Critical
Publication of KR102481254B1 publication Critical patent/KR102481254B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3696—Methods or tools to render software testable
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/33—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections
    • A63F13/332—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections using wireless networks, e.g. cellular phone networks
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70—Game security or game management aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3688—Test management for test execution, e.g. scheduling of test suites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3692—Test management for test results analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/177—Editing, e.g. inserting or deleting of tables; using ruled lines

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • Computer Security & Cryptography (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Debugging And Monitoring (AREA)

Abstract

테스트 자동화 서비스 장치 및 방법이 개시된다. 일 실시예에 따른 테스트 자동화 서비스 방법은, 하나 이상의 테스트 스크립트가 등록되는 서버로부터, 사용자가 선택한 테스트 옵션에 대응되는 테스트 스크립트를 획득하는 동작; 하나 이상의 테스트 대상 단말과 연결된 서버에 획득한 테스트 스크립트를 포함하는 테스트 요청을 전송하는 동작; 하나 이상의 테스트 대상 단말에서 수행된 테스트에 대한 스냅샷을 획득하는 동작; 및 사용자에게 테스트에 대한 스냅샷을 포함하는 리포트를 제공하는 동작을 포함한다.

Description

테스트 자동화 서비스 장치 및 방법{APPARATUS AND METHOD FOR TEST AUTOMATION SERVICE}
개시되는 실시예들은 테스트 자동화 서비스를 제공하는 기술에 관한 것이다.
온라인 게임을 비롯한 대부분의 소프트웨어들은 수많은 사용자들에게 배포 및 이용되기 때문에, 사용자들의 다양한 요구를 충족시킬 수 있도록 우수한 품질로 제작되어야 한다.
이를 위해, 소프트웨어를 배포하거나 소프트웨어를 배포한 이후 새 버전(version)을 업데이트하기 전에, 기능성, 신뢰성, 사용성, 효율성, 유지보수성, 이식성 등 여러 품질 특성의 측면에서 소프트웨어를 테스트할 필요가 있다.
그러나, 종래에는 소프트웨어를 테스트하더라도 테스트 결과에 대한 로그를 그대로 제공하거나 단순히 테스트의 성공 여부에 대한 데이터만을 제공하는 데 그쳐, 사용자가 직관적으로 상세한 테스트 결과를 파악하기 쉽지 않다는 한계가 있었다.
대한민국 등록특허공보 제10-1196522호(2012.10.25. 등록)
개시되는 실시예들은 스냅샷을 통해 사용자에게 보다 직관적인 소프트웨어 테스트 결과를 제공하기 위한 것이다.
개시되는 일 실시예에 따른 테스트 자동화 서비스 방법은, 하나 이상의 테스트 스크립트가 등록되는 서버로부터, 사용자가 선택한 테스트 옵션에 대응되는 테스트 스크립트를 획득하는 동작; 하나 이상의 테스트 대상 단말과 연결된 서버에 테스트 스크립트를 포함하는 테스트 요청을 전송하는 동작; 하나 이상의 테스트 대상 단말에서 수행된 테스트에 대한 스냅샷을 획득하는 동작; 및 사용자에게 테스트에 대한 스냅샷을 포함하는 리포트를 제공하는 동작을 포함한다.
스냅샷을 획득하는 동작은, 테스트가 수행됨에 따라 하나 이상의 테스트 대상 단말 각각에서 출력되는 게임 화면에 대한 스냅샷을 획득할 수 있다.
스냅샷을 획득하는 동작은, 테스트 스크립트에 따라 하나 이상의 테스트 대상 단말 각각에서 수행된 하나 이상의 액션 별 스냅샷을 획득할 수 있다.
리포트를 제공하는 동작은, 하나 이상의 테스트 대상 단말 각각 별로 테스트가 수행된 순서에 따라 스냅샷이 정렬된 리포트를 제공할 수 있다.
리포트를 제공하는 동작은, 하나 이상의 테스트 대상 단말 각각에 대한 식별 정보가 행 또는 열로 설정되고, 테스트가 수행된 순서가 나머지 행 또는 열로 설정된 테이블에 스냅샷이 정렬된 리포트를 제공할 수 있다.
리포트를 제공하는 동작은, 하나 이상의 테스트 대상 단말에 대한 식별 정보, 하나 이상의 테스트 대상 단말 각각에 게임 서비스를 제공하는 서버의 명칭, 하나 이상의 테스트 대상 단말 각각에서 수행된 하나 이상의 액션에 대한 식별 정보 중 적어도 하나를 더 포함하는 리포트를 제공할 수 있다.
개시되는 일 실시예에 따른 테스트 자동화 서비스 장치는, 하나 이상의 프로세서; 및 하나 이상의 프로세서에 의해 실행되도록 구성되는 하나 이상의 프로그램을 저장하는 메모리를 포함하는 장치로서, 프로그램은, 하나 이상의 테스트 스크립트가 등록되는 서버로부터, 사용자가 선택한 테스트 옵션에 대응되는 테스트 스크립트를 획득하는 동작; 하나 이상의 테스트 대상 단말과 연결된 서버에 테스트 스크립트를 포함하는 테스트 요청을 전송하는 동작; 하나 이상의 테스트 대상 단말에서 수행된 테스트에 대한 스냅샷을 획득하는 동작; 및 사용자에게 테스트에 대한 스냅샷을 포함하는 리포트를 제공하는 동작을 실행하기 위한 명령어들을 포함한다.
스냅샷을 획득하는 동작은, 테스트가 수행됨에 따라 하나 이상의 테스트 대상 단말 각각에서 출력되는 게임 화면에 대한 스냅샷을 획득할 수 있다.
스냅샷을 획득하는 동작은, 테스트 스크립트에 따라 하나 이상의 테스트 대상 단말 각각에서 수행된 하나 이상의 액션 별 스냅샷을 획득할 수 있다.
리포트를 제공하는 동작은, 하나 이상의 테스트 대상 단말 각각 별로 테스트가 수행된 순서에 따라 스냅샷이 정렬된 리포트를 제공할 수 있다.
리포트를 제공하는 동작은, 하나 이상의 테스트 대상 단말 각각에 대한 식별 정보가 행 또는 열로 설정되고, 테스트가 수행된 순서가 나머지 행 또는 열로 설정된 테이블에 스냅샷이 정렬된 리포트를 제공할 수 있다.
리포트를 제공하는 동작은, 하나 이상의 테스트 대상 단말에 대한 식별 정보, 하나 이상의 테스트 대상 단말 각각에 게임 서비스를 제공하는 서버의 명칭, 하나 이상의 테스트 대상 단말 각각에서 수행된 하나 이상의 액션에 대한 식별 정보 중 적어도 하나를 더 포함하는 리포트를 제공할 수 있다.
개시되는 실시예들에 따르면, 테스트 스크립트에 따라 수행된 액션에 대한 수행 결과를 스냅샷으로 제공함으로써, 사용자로 하여금 테스트 결과를 직관적으로 인지하도록 할 수 있다.
또한 개시되는 실시예들에 따르면, 스냅샷을 테스트 대상 단말, 수행된 액션 등을 기준으로 정렬하여 테이블 형태로 제공함으로써, 사용자로 하여금 문제가 발생한 테스트 대상 단말 또는 액션이 무엇인지 신속하게 파악하도록 할 수 있다.
도 1은 일 실시예에 따른 테스트 자동화 서비스 시스템을 설명하기 위한 블록도
도 2는 일 실시예에 따른 테스트 자동화 서비스 장치를 설명하기 위한 블록도
도 3은 일 실시예에 따른 테스트 자동화 서비스 화면을 나타낸 예시도
도 4는 일 실시예에 따른 리포트가 제공되는 화면을 나타낸 예시도
도 5는 일 실시예에 따른 테스트 자동화 서비스 방법을 설명하기 위한 흐름도
도 6은 일 실시예에 따른 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
이하, 도면을 참조하여 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 개시되는 실시예들은 이에 제한되지 않는다.
실시예들을 설명함에 있어서, 관련된 공지기술에 대한 구체적인 설명이 개시되는 실시예들의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 개시되는 실시예들에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
도 1은 일 실시예에 따른 테스트 자동화 서비스 시스템을 설명하기 위한 블록도이다.
도시된 바와 같이, 일 실시예에 따른 테스트 자동화 서비스 시스템은 제1 서버(1), 제2 서버(2), 제3 서버(3), 테스트 후보 단말(4) 및 테스트 자동화 서비스 장치(100)를 포함한다.
이하의 실시예들에서, '테스트'는 소프트웨어가 일정 수준의 품질을 가질 수 있도록 소프트웨어의 개발 단계, 양산 단계 또는 배포 후 단계에서 검수하는 행위를 의미한다. 즉 다시 말하면, '테스트'는 소프트웨어에 대한 품질 보증(QA; Quality Assurance) 활동 및 품질 관리(QC; Quality Control) 활동을 포함하는 개념이다.
구체적으로, '테스트'는 소프트웨어에 잔존한 결함을 발견하거나, 비효율적으로 구성된 부분을 개선하거나, 소프트웨어가 소프트웨어 개발 명세서 상의 요구사항을 준수하였는지 확인하거나, 사용자의 요구를 충족하는지 확인하거나, 기 설정된 구동 환경 하에서 적절히 동작하는지 확인하는 등의 다양한 목적을 갖고 수행될 수 있다.
제1 서버(1) 및 제2 서버(2)는 소프트웨어 테스트를 수행하기 위해 필요한 파일들이 등록되는 장치로서, 테스트 자동화 서비스 장치(100)로부터 특정 파일들에 대한 접근 요청을 수신하여 테스트 자동화 서비스 장치(100)로 요청 받은 파일들의 원본 또는 사본을 송신할 수 있다.
한편, 도 1에서 제1 서버(1) 및 제2 서버(2)는 따로 도시되어 있으며, 이는 각 서버에 등록되는 파일의 종류가 상이하다는 점에서 각 서버를 기능적으로 구분하기 위한 것이다. 즉, 제1 서버(1) 및 제2 서버(2)는 실제로 서로 다른 컴퓨팅 장치일 수 있으나, 반드시 이에 한정되는 것은 아니며, 동일한 컴퓨팅 장치를 기능적으로 구분한 것에 불과할 수도 있다.
제3 서버(3)는 테스트 후보 단말(4)과 연결되어 테스트 자동화 서비스 장치(100)로부터 받은 요청에 따라 테스트 후보 단말(4) 중 적어도 일부의 테스트 대상 단말에 소프트웨어 테스트 수행을 위한 정보를 송신하는 장치이다. 즉, 이하의 실시예들에서 '테스트 대상 단말과 연결된 서버'는 제3 서버(3)를 지칭하는 것으로 해석한다.
구체적으로, 제3 서버(3)는 사용자가 테스트하고자 하는 소프트웨어를 테스트 후보 단말(4)에 제공하는 서버로서, 예를 들어 사용자가 A라는 특정 게임에 대해 테스트하고자 하는 경우, 제3 서버(3)는 테스트 후보 단말(4)에 게임 A를 서비스하는 서버를 의미한다.
이때, '게임'이란 한 명 또는 그 이상의 게이머들이 게이밍 디바이스에 탑재되거나 연결된 입력장치를 이용하여 즐길 수 있는 소프트웨어를 의미한다. 통상 플레이어 캐릭터를 직접 조작하거나, 게임 내 오브젝트의 움직임을 조작하는 등의 방식으로 진행되며, 롤플레잉, 어드벤쳐, 아케이드 등으로 장르가 구분되기도 한다.
또한, '게이밍 디바이스'는 게임 소프트웨어를 실행하되 입력장치를 통한 사용자의 입력에 따라 연산을 수행하며, 출력장치를 통해 결과를 출력하는 하드웨어로서, 예를 들어 스마트폰(Smart Phone), 태블릿 PC(Tablet PC), 스마트 워치(Smart Watch), 스마트 밴드(Smart Band) 또는 개인용 컴퓨터(Personal Computer) 등의 형태일 수 있다. 이외에도 상술한 정의를 만족하는 장치라면 게이밍 디바이스에 속하는 것으로 해석된다.
테스트 후보 단말(4)은 제3 서버(3)와 연결된 단말로서, 테스트 대상 단말을 포함하고, 테스트 대상 단말은 테스트 자동화 서비스 장치(100)로부터 제3 서버(3)로 전송되는 요청에 따라 자동화된 소프트웨어 테스트가 수행되는 장치를 의미한다.
실효성 있는 소프트웨어 테스트를 위해서는, 테스트 대상 단말은 테스트하고자 하는 소프트웨어를 지원 가능한 최대한 많은 종류의 단말을 포함해야 한다. 예를 들어, B라는 모바일 게임을 테스트하고자 하는 경우, 테스트 대상 단말은 모바일 게임 B를 지원하는 최대한 많은 종류의 모바일 디바이스를 포함해야 한다.
도 1에서는 예시적으로 테스트 후보 단말(4)을 총 N개의 단말(4-1, 4-2, ..., 4-N)들의 집합으로 도시하였으나, 이는 하나 이상의 단말이 제3 서버(3)에 연결될 수 있음을 나타낸 것이며, 테스트 후보 단말(4)은 제3 서버(3)의 소켓(socket) 또는 트래픽(traffic) 등을 고려하여 기 설정된 한도 내에서 연결될 수 있음에 유의해야 한다.
도 1을 참조하여 상술한 실시예들에서, 제1 서버(1), 제2 서버(2), 제3 서버(3), 테스트 후보 단말(4) 및 테스트 자동화 서비스 장치(100)가 주고받는 일련의 정보들은 통신 네트워크를 통해 전송될 수 있으며, 이때 통신 네트워크는 인터넷, 하나 이상의 로컬 영역 네트워크(local area networks), 광역 네트워크(wire area networks), 셀룰러 네트워크, 모바일 네트워크, 그 밖에 다른 종류의 네트워크들, 또는 이러한 네트워크들의 조합을 포함할 수 있다.
도 2는 일 실시예에 따른 테스트 자동화 서비스 장치(100)를 설명하기 위한 블록도이다.
도시된 바와 같이, 일 실시예에 따른 테스트 자동화 서비스 장치(100)는 테스트 스크립트 획득부(110), 테스트 요청부(120), 스냅샷 획득부(130) 및 리포트 제공부(140)를 포함한다.
테스트 스크립트 획득부(110)는 하나 이상의 테스트 스크립트가 등록되는 서버로부터, 사용자가 선택한 테스트 옵션에 대응되는 테스트 스크립트를 획득한다.
이하의 실시예들에서, '테스트 스크립트'는 개발자가 소프트웨어 테스트를 수행하기 위해 필요한 하나 이상의 액션(action)을 코드 형태로 기술한 파일을 의미한다.
아울러, 이하의 실시예들에서, '테스트 옵션'은 소프트웨어 테스트와 관련하여 사용자들이 테스트 스크립트나 그에 따른 액션 등을 선택할 수 있도록 사용자에게 제공되는 선택 가능한 세부 사항을 의미한다.
테스트 요청부(120)는 하나 이상의 테스트 대상 단말과 연결된 서버에 획득된 테스트 스크립트를 포함하는 테스트 요청을 전송한다.
스냅샷 획득부(130)는 하나 이상의 테스트 대상 단말에서 수행된 테스트에 대한 스냅샷을 획득한다.
일 실시예에 따르면, 스냅샷 획득부(130)는 테스트에 대한 스냅샷을 테스트 대상 단말 각각으로부터 직접 획득할 수도 있고, 테스트 요청부(120)가 테스트 요청을 전송한 서버를 통해 획득할 수도 있다. 그러나, 스냅샷 획득부(130)가 스냅샷을 획득하는 경로는 이에 한정되지 않으며, 실시예에 따라서 스냅샷 획득부(130)는 테스트 대상 단말 각각이 연결된 별도의 서버(예를 들어, 클라우드 서비스를 제공하는 서버)에 접근하여 테스트에 대한 스냅샷을 획득할 수도 있다.
일 실시예에 따르면, 스냅샷 획득부(130)는 테스트가 수행됨에 따라 하나 이상의 테스트 대상 단말 각각에서 출력되는 게임 화면에 대한 스냅샷을 획득할 수 있다.
구체적으로, 스냅샷 획득부(130)가 획득하는 스냅샷은 게임 애플리케이션 실행 화면, 게임 로그인 화면, 게임 플레이 화면, 게임 이벤트 화면, 게임 스토리 송출 화면, 게임 로그아웃 화면, 게임 종료 화면 등 게임 애플리케이션을 실행하면서부터 종료할 때까지 테스트 대상 단말 상에 출력될 수 있는 임의의 화면에 대한 스냅샷을 포함할 수 있다.
일 실시예에 따르면, 스냅샷 획득부(130)는 테스트 스크립트에 따라 하나 이상의 테스트 대상 단말 각각에서 수행된 하나 이상의 액션 별 스냅샷을 획득할 수 있다.
일 실시예에 따르면, 스냅샷 획득부(130)는 하나 이상의 테스트 대상 단말 각각에서 테스트 스크립트에 따른 명령이 실행된 후, 기 설정된 시간이 경과한 이후 캡처된 스냅샷을 획득할 수 있다.
리포트 제공부(140)는 사용자에게 테스트에 대한 스냅샷을 포함하는 리포트를 제공한다.
구체적으로, 테스트 스크립트에는 테스트가 수행됨에 따라 출력되는 게임 화면을 캡처(capture) 하는 명령어가 포함될 수 있고, 해당 명령어가 호출될 경우 리포트 제공부(140)는 해당 명령어에 의해 캡처되는 스냅샷을 리포트에 포함하여 사용자에게 제공할 수 있다.
일 실시예에 따르면, 리포트 제공부(140)는 하나 이상의 테스트 대상 단말 각각 별로 테스트가 수행된 순서에 따라 스냅샷이 정렬된 리포트를 제공할 수 있다.
구체적으로, 리포트 제공부(140)가 제공하는 리포트에는 상술한 스냅샷이 기 설정된 포맷의 테이블에 정렬될 수 있다. 예를 들어, 스냅샷이 정렬되는 테이블의 행 또는 열은 하나 이상의 테스트 대상 단말 각각에 대한 식별 정보로 설정되고, 나머지 행 또는 열은 테스트가 수행된 순서로 설정될 수 있다.
이를 통해, 리포트를 제공받는 사용자는 정렬된 스냅샷을 보는 것만으로 각 테스트 대상 단말의 종류 별로 테스트가 수행됨에 따라 테스트의 액션이 성공적으로 실행되었는지를 직관적으로 인지할 수 있다.
일 실시예에 따르면, 리포트 제공부(140)는 하나 이상의 테스트 대상 단말 각각에서 수행된 하나 이상의 액션 중, 실행에 실패한 액션에 대응되는 스냅샷이 별도로 정렬된 리포트를 사용자에게 제공할 수 있다.
일 실시예에 따르면, 리포트 제공부(140)는 하나 이상의 테스트 대상 단말에 대한 식별 정보, 하나 이상의 테스트 대상 단말 각각에 게임 서비스를 제공하는 서버의 명칭, 하나 이상의 테스트 대상 단말 각각에서 수행된 하나 이상의 액션에 대한 식별 정보 중 적어도 하나를 더 포함하는 리포트를 제공할 수 있다.
구체적으로, '게임 서비스를 제공하는 서버'는 도 1에서 상술한 제1 서버(1), 제2 서버(2) 및 제3 서버(3)와 별도의 서버로서, 테스트 대상 단말 각각에 구비된 게임 애플리케이션을 통해 테스트 대상 단말 각각에 게임 구동을 위해 필요한 일련의 정보를 전송하고, 테스트 대상 단말로 들어오는 입력에 기초하여 테스트 대상 단말로 응답을 전송할 수 있다.
도 3은 일 실시예에 따른 테스트 자동화 서비스 화면을 나타낸 예시도이다.
도 3을 참조하면, 화면 좌측에는 '테스트 옵션 편집 페이지'가, 화면 우측 상단에는 '빌드 등록 페이지'가, 화면 우측 하단에는 '테스트 스크립트 관리 페이지'가 도시된다.
먼저, '테스트 옵션 편집 페이지'는 사용자가 테스트 옵션을 선택할 수 있도록 사용자에게 제공되는 그래픽 유저 인터페이스(GUI; Graphical User Interface)로서, '이름', '설명', '테스트 자원', '기기', '결과 수신자', '자동 실행' 등의 항목을 포함한다.
'이름'은 소프트웨어 테스트를 구별하기 위해 사용자가 임의로 입력 가능한 항목이며, '설명'은 해당 소프트웨어 테스트에 대해 사용자가 주석(comment)을 기재하는 항목이다.
한편, '테스트 자원'은 소프트웨어 테스트의 수행에 사용될 파일 및 테스트 시나리오 등을 선택할 수 있는 항목이다.
구체적으로, 사용자는 안드로이드(Android) 운영체제 또는 iOS 운영체제 중 하나를 선택하여 해당 운영체제 하에서의 테스트 가상 환경을 선택할 수 있다. 이를 위해, '테스트 자원' 항목에는 안드로이드 운영체제 하의 테스트 가상 환경 파일의 목록을 제공하는 그래픽 객체(301)와, iOS 운영체제 하의 테스트 가상 환경 파일의 목록을 제공하는 그래픽 객체(302)가 포함된다.
아울러, '테스트 자원' 항목에는 사용자가 원하는 테스트 시나리오를 선택할 수 있도록 기 정의된 하나 이상의 테스트 시나리오의 목록을 제공하는 그래픽 객체(303)가 포함된다.
또한, 사용자는 제2 서버(2)에 등록된 테스트 스크립트 외에도, 자신이 원하는 테스트 스크립트를 직접 업로드하여 테스트 대상 단말에 적용되도록 할 수 있는데, 이를 위해 '테스트 자원' 항목에는 사용자가 클릭을 통해 사용자의 컴퓨팅 장치 내 저장 공간에 저장된 테스트 스크립트를 업로드할 수 있는 '파일 선택' 그래픽 객체(305)가 포함된다.
'기기'는 사용자가 테스트 후보 단말(4) 중에 테스트 대상 단말을 선택할 수 있는 항목으로서, 이를 위해 '기기' 항목에는 '기기 선택' 그래픽 객체(306)가 포함된다.
'결과 수신자'는 사용자가 테스트 결과를 수신 받을 대상을 지정할 수 있는 항목이며, 이를 위해 '결과 수신자' 항목에는 수신자 입력란(307)이 마련된다. 또한, 테스트가 전부 수행된 이후에만 아니라 테스트가 수행되는 중간에도 사용자가 중간 결과를 확인할 수 있도록, '결과 수신자' 항목에는 '중간 결과 받기' 체크 버튼(308)이 마련된다.
'자동 실행'은 제1 서버(1)에 신규 빌드 파일이 등록된 경우 사용자의 테스트 옵션 선택을 통한 개입 없이 자동으로 소프트웨어 테스트가 수행되도록, 자동 실행 여부를 결정하는 체크 버튼 및 경과 시간 조건에 대한 입력란이 마련된다.
한편, '빌드 등록 페이지'는 제1 서버(1)에 등록된 빌드 파일의 목록을 사용자에게 제공하는 GUI로서, 서로 연관된 빌드 파일들을 상위 빌드 집합(빌드 1, 빌드 2 등) 아래에 나열하여 표시한다(빌드 1-1, 1-2, 1-3, 2-1, 2-2, 2-3 등).
이때, 빌드 파일을 제1 서버(1)에 등록하고자 하는 제3자는 '빌드 등록 페이지'에 로그인하여 빌드 파일을 등록할 수 있고, 등록을 마친 이후에는 '로그아웃' 그래픽 객체(309)를 클릭함으로써 '빌드 등록 페이지'에서 로그아웃할 수 있다.
뿐만 아니라, '빌드 등록 페이지'의 이용자는 각 상위 빌드 집합 옆에 도시된 '다운로드' 그래픽 객체(310, 311)를 클릭함으로써 연관된 빌드 파일들을 손쉽게 다운로드 받을 수 있다.
이때, '빌드 파일'은 개발자가 작성한 소스 코드(source code) 파일이 컴퓨팅 장치에서 실행 가능한 소프트웨어 산출물의 형태로 구현된 파일을 의미한다.
한편, '테스트 스크립트 관리 페이지'는 제2 서버(2)에 등록된 테스트 스크립트의 목록을 사용자에게 제공하는 GUI로서, 사용자 정보 표시(312)를 통해 현재 '테스트 스크립트 관리 페이지'를 이용 중인 사용자의 정보를 표시한다.
또한, '테스트 스크립트명' 항목(313)을 통해 등록된 각 테스트 스크립트의 명칭을 제공하고, '최근 commit' 항목(314)을 통해 최근에 각 테스트 스크립트를 수정한 내용에 대한 설명을 제공하고, '최근 등록' 항목(315)을 통해 최근에 각 테스트 스크립트를 등록한 일자를 제공한다.
이상의 도 3에 도시된 각 항목, 그래픽 객체, 체크 버튼, 입력란 등은 예시적인 것으로, 이외에도 추가적인 구성이 '테스트 옵션 편집 페이지', '빌드 등록 페이지' 또는 '테스트 스크립트 관리 페이지'에 포함될 수 있음은 자명하다.
이하에서는, 도 4를 참조하여 테스트 수행 결과로서 제공되는 리포트를 예시적으로 설명하기로 한다.
도 4는 일 실시예에 따른 리포트가 제공되는 화면을 나타낸 예시도이다.
구체적으로 도 4에서는, 복수의 테스트 대상 단말 각각에서 액션이 수행됨에 따라 출력되는 게임 화면의 스냅샷이 기 정의된 테이블 형태로 정렬된 리포트 페이지가 도시된다.
우선, 8개의 행과 6개의 열로 이루어진 테이블의 48칸에 배치된 스냅샷(401)은 테스트 대상 단말 각각에서 액션이 수행됨에 따라 단말 각각의 출력 장치 또는 단말에 연결된 외부 출력 장치를 통해 출력되는 게임 화면의 스냅샷을 나타낸다.
이때, 테이블의 6개의 열은 테스트가 수행되는 테스트 대상 단말 각각의 종류에 따라 구분되고, 8개의 행은 테스트 대상 단말 각각에서 수행되는 테스트의 순서에 따라 구분된다.
즉 다시 말하면, 테이블의 6개의 열은 총 6개의 테스트 대상 단말(406)을 나타내는 것으로, 1열부터 4열은 각기 다른 'Galaxy Note8' 기종의 테스트 대상 단말이며, 5열 및 6열은 구동되는 'Nox' 서비스가 구동되는 각기 다른 테스트 대상 단말을 나타낸다. 또한 부가적으로, 실시예에 따라서 테이블의 6개의 열은 각 테스트 대상 단말이 접속한 게임 내 서버의 명칭(데포로쥬01, 켄라우헬01, 판도라01, 데스나이트01, 듀크데필01, 안타라스01)을 더 나타낼 수 있다.
또한, 테이블의 8개의 열은 총 8단계의 테스트 순서를 나타내는 것으로, 각 단계는 테스트 대상 단말에서 수행되는 액션에 대응된다. 도 4에 도시된 대로, 각 액션의 종류를 나타내는 명칭인 '테스트 케이스(402)'를 기준으로 살펴보면, 테스트가 수행되는 순서는 게임 애플리케이션이 설치 후 실행되는 'test_설치_실행' 단계, 게임 계정으로 게임에 접속을 시도하는 'test_로그인' 단계, 게임 내에서 송수신되는 우편을 확인하는 'test_우편' 단계를 거침을 알 수 있다.
한편, 테이블의 48칸에 배치된 스냅샷들 중 두번째 행, 다섯 번째 열의 스냅샷 및 두번째 행, 여섯 번째 열의 스냅샷(4011)은 테스트 대상 단말에서 비밀번호를 입력하지 않아서 게임 로그인에 실패할 경우 출력되는 게임 화면의 스냅샷으로, '서버 접속 중 에러가 발생했음'을 알리는 팝업 창이 출력되는 게임 화면의 스냅샷에 해당한다.
아울러, 테이블의 48칸에 배치된 스냅샷들 중 세번째 행, 다섯 번째 열의 스냅샷 및 세번째 행, 여섯 번째 열의 스냅샷(4012)은 테스트 대상 단말에서 비밀번호를 잘못 입력해서 게임 로그인에 실패할 경우 출력되는 게임 화면의 스냅샷으로, 마찬가지로 '서버 접속 중 에러가 발생했음'을 알리는 팝업 창이 출력되는 게임 화면의 스냅샷에 해당한다.
이를 통해, 사용자는 48칸에 배치된 스냅샷들 중 다른 스냅샷들과 외관 상의 차이가 뚜렷한 스냅샷들(4011, 4012)을 보고, 즉각적으로 해당하는 테스트 대상 단말('Nox[21]', 'Nox[22]'로 식별되는 단말)의 테스트 순서(2번째 및 3번째 순서)에서 문제가 발생했음을 인지할 수 있다.
덧붙여, 테이블의 열에 해당하는 테스트 순서를 명확히 나타내기 위하여, 리포트에는 각 액션의 종류를 나타내는 명칭인 '테스트 케이스(402)' 이외에도 게임 상에서 각 액션의 기능을 나타내는 '영역(403)', 액션에 대한 설명을 나타내는 '항목(404)', 각 액션을 더욱 세부적으로 설명하는 '단계(405)' 등의 요소가 더 포함될 수 있으나, 리포트에 포함될 수 있는 요소들은 반드시 이에 한정되는 것은 아니다.
일 실시예에 따르면, 리포트 제공부(140)는 사용자가 테스트 자동화 서비스 장치(100)의 입출력 장치를 통해 '스크린 샷(408)' 탭을 선택하는 경우, 스냅샷이 정렬된 리포트를 제공할 수 있으며, '전체 결과(407)' 탭을 선택하는 경우, 스냅샷은 물론 테스트 스크립트에 따른 전반적인 테스트 결과를 제공할 수 있다. 뿐만 아니라, 리포트 제공부(140)는 사용자가 '실패 항목(409)' 탭을 선택하는 경우에는, 실패한 액션에 대한 스냅샷을 별도로 정렬하여 사용자에게 제공할 수도 있다.
일 실시예에 따르면, 리포트 제공부(140)는 사용자가 테스트 자동화 서비스 장치(100)의 입출력 장치를 통해 '열 너비 조정(410)' 버튼을 선택하는 경우, 스냅샷이 정렬된 테이블의 열 너비를 조정할 수 있다. 이때, 열 너비의 조정은 버튼이 선택됨에 따라 자동적으로 기 설정된 너비에 맞게 조정될 수도 있으나, 실시예에 따라서는 별도의 창이 팝업된 후, 해당 창에서 사용자가 설정한 값에 따라 조정될 수도 있다.
일 실시예에 따르면, 리포트 제공부(140)는 사용자가 테스트 자동화 서비스 장치(100)의 입출력 장치를 통해 'CSV 파일로 내보내기(411)' 버튼을 선택하는 경우, 사용자에게 스냅샷이 포함된 리포트를 CSV(Comma-Separated Values) 확장자를 갖는 파일의 형태로 제공할 수 있다.
도 5는 일 실시예에 따른 테스트 자동화 서비스 방법을 설명하기 위한 흐름도이다.
도 5에 도시된 방법은 예를 들어, 상술한 테스트 자동화 서비스 장치(100)에 의해 수행될 수 있다.
우선, 테스트 자동화 서비스 장치(100)는 하나 이상의 테스트 스크립트가 등록되는 서버로부터, 사용자가 선택한 테스트 옵션에 대응되는 테스트 스크립트를 획득한다(510).
이후, 테스트 자동화 서비스 장치(100)는 하나 이상의 테스트 대상 단말과 연결된 서버에 획득된 테스트 스크립트를 포함하는 테스트 요청을 전송한다(520).
이후, 테스트 자동화 서비스 장치(100)는 하나 이상의 테스트 대상 단말에서 수행된 테스트에 대한 스냅샷을 획득한다(530).
이후, 테스트 자동화 서비스 장치(100)는 사용자에게 수행된 테스트에 대한 스냅샷을 포함하는 리포트를 제공한다(540).
도시된 흐름도에서는 상기 동작을 복수 개의 동작으로 나누어 기재하였으나, 적어도 일부의 동작들은 순서를 바꾸어 수행되거나, 다른 동작과 결합되어 함께 수행되거나, 생략되거나, 세부 동작들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 동작이 부가되어 수행될 수 있다.
도 6은 일 실시예에 따른 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술된 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 테스트 자동화 서비스 장치(100)일 수 있다.
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.
한편, 본 발명의 실시예는 본 명세서에서 기술한 방법들을 컴퓨터상에서 수행하기 위한 프로그램, 및 상기 프로그램을 포함하는 컴퓨터 판독 가능 기록매체를 포함할 수 있다. 상기 컴퓨터 판독 가능 기록매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나, 또는 컴퓨터 소프트웨어 분야에서 통상적으로 사용 가능한 것일 수 있다. 컴퓨터 판독 가능 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광 기록 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 프로그램의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 청구범위뿐만 아니라 이 청구범위와 균등한 것들에 의해 정해져야 한다.
1: 제1 서버
2: 제2 서버
3: 제3 서버
4(4-1, 4-2, ..., 4-N): 테스트 후보 단말
10: 컴퓨팅 환경
12: 컴퓨팅 장치
14: 프로세서
16: 컴퓨터 판독 가능 저장 매체
18: 통신 버스
20: 프로그램
22: 입출력 인터페이스
24: 입출력 장치
26: 네트워크 통신 인터페이스
100: 테스트 자동화 서비스 장치
110: 테스트 스크립트 획득부
120: 테스트 요청부
130: 스냅샷 획득부
140: 리포트 제공부

Claims (12)

  1. 하나 이상의 테스트 스크립트가 등록되는 서버로부터, 사용자가 선택한 테스트 옵션에 대응되는 테스트 스크립트를 획득하는 동작;
    하나 이상의 테스트 대상 단말과 연결된 서버에 상기 획득한 테스트 스크립트를 포함하는 테스트 요청을 전송하는 동작;
    상기 하나 이상의 테스트 대상 단말에서 수행된 테스트에 대한 스냅샷을 획득하는 동작; 및
    상기 사용자에게 상기 테스트에 대한 스냅샷을 포함하는 리포트를 제공하는 동작을 포함하는, 테스트 자동화 서비스 방법.
  2. 청구항 1항에 있어서,
    상기 스냅샷을 획득하는 동작은,
    상기 테스트가 수행됨에 따라 상기 하나 이상의 테스트 대상 단말 각각에서 출력되는 게임 화면에 대한 스냅샷을 획득하는, 테스트 자동화 서비스 방법.
  3. 청구항 1항에 있어서,
    상기 스냅샷을 획득하는 동작은,
    상기 획득한 테스트 스크립트에 따라 상기 하나 이상의 테스트 대상 단말 각각에서 수행된 하나 이상의 액션 별 스냅샷을 획득하는, 테스트 자동화 서비스 방법.
  4. 청구항 1항에 있어서,
    상기 리포트를 제공하는 동작은,
    상기 하나 이상의 테스트 대상 단말 각각 별로 상기 테스트가 수행된 순서에 따라 상기 스냅샷이 정렬된 리포트를 제공하는, 테스트 자동화 서비스 방법.
  5. 청구항 4항에 있어서,
    상기 리포트를 제공하는 동작은,
    상기 하나 이상의 테스트 대상 단말 각각에 대한 식별 정보가 행 또는 열로 설정되고, 상기 테스트가 수행된 순서가 나머지 행 또는 열로 설정된 테이블에 상기 스냅샷이 정렬된 리포트를 제공하는, 테스트 자동화 서비스 방법.
  6. 청구항 1항에 있어서,
    상기 리포트를 제공하는 동작은,
    상기 하나 이상의 테스트 대상 단말에 대한 식별 정보, 상기 하나 이상의 테스트 대상 단말 각각에 게임 서비스를 제공하는 서버의 명칭, 상기 하나 이상의 테스트 대상 단말 각각에서 수행된 하나 이상의 액션에 대한 식별 정보 중 적어도 하나를 더 포함하는 리포트를 제공하는, 테스트 자동화 서비스 방법.
  7. 하나 이상의 프로세서; 및
    상기 하나 이상의 프로세서에 의해 실행되도록 구성되는 하나 이상의 프로그램을 저장하는 메모리를 포함하는 장치로서,
    상기 프로그램은,
    하나 이상의 테스트 스크립트가 등록되는 서버로부터, 사용자가 선택한 테스트 옵션에 대응되는 테스트 스크립트를 획득하는 동작;
    하나 이상의 테스트 대상 단말과 연결된 서버에 상기 획득한 테스트 스크립트를 포함하는 테스트 요청을 전송하는 동작;
    상기 하나 이상의 테스트 대상 단말에서 수행된 테스트에 대한 스냅샷을 획득하는 동작; 및
    상기 사용자에게 상기 테스트에 대한 스냅샷을 포함하는 리포트를 제공하는 동작을 실행하기 위한 명령어들을 포함하는, 테스트 자동화 서비스 장치.
  8. 청구항 7항에 있어서,
    상기 스냅샷을 획득하는 동작은,
    상기 테스트가 수행됨에 따라 상기 하나 이상의 테스트 대상 단말 각각에서 출력되는 게임 화면에 대한 스냅샷을 획득하는, 테스트 자동화 서비스 장치.
  9. 청구항 7항에 있어서,
    상기 스냅샷을 획득하는 동작은,
    상기 획득한 테스트 스크립트에 따라 상기 하나 이상의 테스트 대상 단말 각각에서 수행된 하나 이상의 액션 별 스냅샷을 획득하는, 테스트 자동화 서비스 장치.
  10. 청구항 7항에 있어서,
    상기 리포트를 제공하는 동작은,
    상기 하나 이상의 테스트 대상 단말 각각 별로 상기 테스트가 수행된 순서에 따라 상기 스냅샷이 정렬된 리포트를 제공하는, 테스트 자동화 서비스 장치.
  11. 청구항 10항에 있어서,
    상기 리포트를 제공하는 동작은,
    상기 하나 이상의 테스트 대상 단말 각각에 대한 식별 정보가 행 또는 열로 설정되고, 상기 테스트가 수행된 순서가 나머지 행 또는 열로 설정된 테이블에 상기 스냅샷이 정렬된 리포트를 제공하는, 테스트 자동화 서비스 장치.
  12. 청구항 7항에 있어서,
    상기 리포트를 제공하는 동작은,
    상기 하나 이상의 테스트 대상 단말에 대한 식별 정보, 상기 하나 이상의 테스트 대상 단말 각각에 게임 서비스를 제공하는 서버의 명칭, 상기 하나 이상의 테스트 대상 단말 각각에서 수행된 하나 이상의 액션에 대한 식별 정보 중 적어도 하나를 더 포함하는 리포트를 제공하는, 테스트 자동화 서비스 장치.
KR1020200172449A 2020-12-10 2020-12-10 테스트 자동화 서비스 장치 및 방법 KR102481254B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200172449A KR102481254B1 (ko) 2020-12-10 2020-12-10 테스트 자동화 서비스 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200172449A KR102481254B1 (ko) 2020-12-10 2020-12-10 테스트 자동화 서비스 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20220082496A true KR20220082496A (ko) 2022-06-17
KR102481254B1 KR102481254B1 (ko) 2022-12-26

Family

ID=82268906

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200172449A KR102481254B1 (ko) 2020-12-10 2020-12-10 테스트 자동화 서비스 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102481254B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101196522B1 (ko) 2010-11-03 2012-11-01 주식회사 엔씨소프트 스크립트를 이용한 온라인 게임 서버의 스트레스 테스트 시스템 및 그 방법
KR20150027865A (ko) * 2013-08-29 2015-03-13 에스케이플래닛 주식회사 애플리케이션의 자동 검증을 위한 단말장치, 검증결과 제공 장치, 자동 검증 시스템, 자동 검증 방법 및 컴퓨터로 판독 가능한 기록 매체
KR20160100094A (ko) * 2015-02-13 2016-08-23 어니컴 주식회사 스크립트를 이용한 자동 테스트 방법 및 시스템
KR101881804B1 (ko) * 2017-08-16 2018-07-25 넷마블 주식회사 게임 테스트 자동화 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101196522B1 (ko) 2010-11-03 2012-11-01 주식회사 엔씨소프트 스크립트를 이용한 온라인 게임 서버의 스트레스 테스트 시스템 및 그 방법
KR20150027865A (ko) * 2013-08-29 2015-03-13 에스케이플래닛 주식회사 애플리케이션의 자동 검증을 위한 단말장치, 검증결과 제공 장치, 자동 검증 시스템, 자동 검증 방법 및 컴퓨터로 판독 가능한 기록 매체
KR20160100094A (ko) * 2015-02-13 2016-08-23 어니컴 주식회사 스크립트를 이용한 자동 테스트 방법 및 시스템
KR101881804B1 (ko) * 2017-08-16 2018-07-25 넷마블 주식회사 게임 테스트 자동화 장치 및 방법

Also Published As

Publication number Publication date
KR102481254B1 (ko) 2022-12-26

Similar Documents

Publication Publication Date Title
US10628294B2 (en) Mock services for software infrastructures
US10853232B2 (en) Adaptive system for mobile device testing
US10296563B2 (en) Automated testing of perceptible web page elements
US9720799B1 (en) Validating applications using object level hierarchy analysis
US9164870B2 (en) Integrated fuzzing
US11762717B2 (en) Automatically generating testing code for a software application
US10157121B2 (en) Method of, and apparatus for, testing computer hardware and software
AU2019203361A1 (en) Application management platform
US20140237451A1 (en) Exposing method related data calls during testing in an event driven, multichannel architecture
US11507496B2 (en) Method of, and apparatus for, testing computer hardware and software
CN110013672B (zh) 用于机器运行的游戏的自动化测试的方法、设备、装置以及计算机可读存储介质
US11507494B2 (en) Method of, and apparatus for, testing computer hardware and software
US11237948B2 (en) Rendering engine component abstraction system
US20150254169A1 (en) Method and system for creating reference data
KR20190113050A (ko) 모바일 어플리케이션 환경설정을 시험하기 위한 시험 항목 자동 생성 방법 및 시스템
US9658933B2 (en) Automatically modifying a test for a program on multiple electronic devices
US20230236851A1 (en) Multi-session automation windows for robotic process automation using same credentials
US20220012167A1 (en) Machine Learning Based Test Coverage In A Production Environment
US12056042B2 (en) System and method for serverless application testing
CN105453033A (zh) 程序测试服务
KR102481527B1 (ko) 테스트 자동화 서비스 장치 및 방법
KR102481254B1 (ko) 테스트 자동화 서비스 장치 및 방법
CN112559338B (zh) 应用程序的校验方法、装置、设备及存储介质
US9990274B2 (en) Testing integrated business systems
KR102481249B1 (ko) 테스트 자동화 서비스 장치 및 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant