KR102307871B1 - A compuer program for language quality assurance test automation - Google Patents

A compuer program for language quality assurance test automation Download PDF

Info

Publication number
KR102307871B1
KR102307871B1 KR1020190076458A KR20190076458A KR102307871B1 KR 102307871 B1 KR102307871 B1 KR 102307871B1 KR 1020190076458 A KR1020190076458 A KR 1020190076458A KR 20190076458 A KR20190076458 A KR 20190076458A KR 102307871 B1 KR102307871 B1 KR 102307871B1
Authority
KR
South Korea
Prior art keywords
test
information
texts
lqa
text
Prior art date
Application number
KR1020190076458A
Other languages
Korean (ko)
Other versions
KR20210001038A (en
Inventor
신평호
서일환
김기훈
임지원
천정필
한규학
Original Assignee
넷마블 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 넷마블 주식회사 filed Critical 넷마블 주식회사
Priority to KR1020190076458A priority Critical patent/KR102307871B1/en
Publication of KR20210001038A publication Critical patent/KR20210001038A/en
Application granted granted Critical
Publication of KR102307871B1 publication Critical patent/KR102307871B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Prevention of errors by analysis, debugging or testing of software
    • G06F11/3668Testing of software
    • G06F11/3672Test management
    • G06F11/3688Test management for test execution, e.g. scheduling of test suites
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Prevention of errors by analysis, debugging or testing of software
    • G06F11/3668Testing of software
    • G06F11/3696Methods or tools to render software testable
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/205Parsing
    • G06F40/226Validation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Debugging And Monitoring (AREA)

Abstract

전술한 과제를 해결하기 위한 본 개시의 일 실시예에, 하나 이상의 프로세서들에 의해 실행 가능한 컴퓨터 판독가능 매체에 저장된 컴퓨터 프로그램이 개시된다. 상기 컴퓨터 프로그램은 하나 이상의 프로세서들로 하여금 LQA 테스트 자동화를 위한 동작들을 수행하도록 하며 상기 동작들은: 테스트 프로시저(test procedure) 정보를 클라이언트 단말로 전송하여 어플리케이션을 구동하도록 야기시키는 동작, 상기 클라이언트 단말의 상기 어플리케이션 실행 기록에 기초하여 획득된 LQA 테스트 정보를 수신하는 동작 및 상기 LQA 테스트 정보를 하나 이상의 테스트 케이스 각각에 기초하여 정상 동작 여부를 판단하여 테스트 리포트(test report)를 생성하는 동작을 포함할 수 있다. In one embodiment of the present disclosure for solving the above problems, a computer program stored in a computer readable medium executable by one or more processors is disclosed. The computer program causes one or more processors to perform operations for LQA test automation, the operations comprising: sending test procedure information to a client terminal to cause an application to run; It may include receiving the LQA test information obtained based on the application execution record and generating a test report by determining whether the LQA test information is operating normally based on each of one or more test cases. have.

Description

LQA 테스트 자동화를 위한 컴퓨터 프로그램{A COMPUER PROGRAM FOR LANGUAGE QUALITY ASSURANCE TEST AUTOMATION}A COMPUER PROGRAM FOR LANGUAGE QUALITY ASSURANCE TEST AUTOMATION

본 개시는 테스트 자동화에 관한 것으로, 보다 구체적으로 텍스트 품질 평가 테스트 자동화를 위한 컴퓨터 프로그램에 관한 것이다.The present disclosure relates to test automation, and more particularly, to a computer program for text quality evaluation test automation.

국내의 스마트폰 보급률은 85%에 달한다. 뿐만 아니라, 세계적으로 스마트폰 보급률이 지속적으로 증폭되는 추세이다. 이러한 추세에 따라, 스마트 폰에서 제공 가능한 다양한 서비스 관련 어플리케이션이 등장하고 있다. 또한, 통신의 발전으로 전세계를 기반으로 하는 서비스 관련 어플리케이션이 개발되고 있다.Smartphone penetration in Korea is 85%. In addition, the global smartphone penetration rate is continuously increasing. According to this trend, various service-related applications that can be provided by smart phones are emerging. In addition, with the development of communication, service-related applications based around the world are being developed.

이러한, 어플리케이션의 세계화(internationalization)는 프로그램을 여러 나라에서 사용할 수 있도록 하는 과정이다. 이 과정에서 각 나라의 언어와 문화적인 요소(시간 표기법 등) 등의 사용자 환경을 locale이라고 한다. 어플리케이션들은 많은 세트의 locale들을 지원하는데, 각각의 locale에 맞도록 번역하는 과정을 지역화(localization)라고 한다.This globalization of applications is a process of allowing programs to be used in various countries. In this process, the user environment such as language and cultural factors (time notation, etc.) of each country is called locale. Applications support many sets of locales, and the process of translating to fit each locale is called localization.

구체적으로, 어플리케이션을 개발함에 있어 글로벌 원빌드-단일 바이너리를 배포하여 다양한 국가로 서비스함으로써 각각의 locale에 대응하는 지역화를 수행할 수 있다. 즉, 어플리케이션을 글로벌 원빌드로 서비스함에 따라 서비스에 표시되는 언어를 환경에 따라 다르게 노출시킬 수 있다. 다시 말해, 지정된 로컬에 대응하는 언어를 로드하여 해당 서비스에 노출시킬 수 있다. Specifically, in developing an application, global one-build-single binary is distributed and serviced to various countries, so that localization corresponding to each locale can be performed. That is, as the application is serviced as a global one-build, the language displayed in the service can be exposed differently depending on the environment. In other words, a language corresponding to a specified local can be loaded and exposed to the corresponding service.

다만, 새로운 언어셋이 추가될 때마다 텍스트가 정상 노출되는지 여부에 대한 테스트 수행이 필요하다. 구체적으로, 다수의 인적자원이 투입되어 어플리케이션을 통해 제공되는 서비스에 표시되는 텍스트들의 품질을 판단하는 테스트 과정이 요구될 수 있다.However, whenever a new language set is added, it is necessary to test whether the text is normally exposed. Specifically, a test process in which a large number of human resources are input to determine the quality of texts displayed in a service provided through an application may be required.

이에 따라, 다수의 인적자원이 투입되는 텍스트 품질에 관련된 테스트를 효율적으로 수행할 수 있는 자동화 방안에 대한 필요성이 당 업계에 존재할 수 있다.Accordingly, there may be a need in the art for an automated method capable of efficiently performing a test related to text quality in which a large number of human resources are input.

한국 등록 특허 제2003-0016564호Korean Registered Patent No. 2003-0016564

본 개시는 전술한 배경기술에 대응하여 안출된 것으로, 텍스트 품질 평가 테스트 자동화를 위한 컴퓨터 프로그램을 제공하기 위한 것이다.The present disclosure has been made in response to the above-described background art, and is intended to provide a computer program for text quality evaluation test automation.

전술한 과제를 해결하기 위한 본 개시의 일 실시예에, 하나 이상의 프로세서들에 의해 실행 가능한 컴퓨터 판독가능 매체에 저장된 컴퓨터 프로그램이 개시된다. 상기 컴퓨터 프로그램은 하나 이상의 프로세서들로 하여금 LQA(Language Quality Assurance) 테스트 자동화를 위한 동작들을 수행하도록 하며 상기 동작들은: 테스트 프로시저(test procedure) 정보를 클라이언트 단말로 전송하여 어플리케이션을 구동하도록 야기시키는 동작, 상기 클라이언트 단말의 상기 어플리케이션 실행 기록에 기초하여 획득된 LQA 테스트 정보를 수신하는 동작 및 상기 LQA 테스트 정보를 하나 이상의 테스트 케이스 각각에 기초하여 정상 동작 여부를 판단하여 테스트 리포트(test report)를 생성하는 동작을 포함할 수 있다.In one embodiment of the present disclosure for solving the above problems, a computer program stored in a computer readable medium executable by one or more processors is disclosed. The computer program causes one or more processors to perform operations for Language Quality Assurance (LQA) test automation, and the operations include: sending test procedure information to a client terminal to cause an application to run , an operation of receiving the LQA test information obtained based on the application execution record of the client terminal and determining whether the LQA test information is operating normally based on each of one or more test cases to generate a test report It can include actions.

대안적으로, 상기 테스트 프로시저 정보는, 상기 어플리케이션에 관련된 서비스에 포함된 복수의 텍스트 각각을 로딩하기 위한 테스트 시나리오 정보를 포함하는 하나 이상의 스크립트 및 상기 하나 이상의 스크립트 각각에 대한 실행 순서 정보를 포함할 수 있다. Alternatively, the test procedure information may include one or more scripts including test scenario information for loading each of a plurality of texts included in the service related to the application, and execution order information for each of the one or more scripts. can

대안적으로, 상기 LQA 테스트 정보는, 상기 어플리케이션에 관련된 서비스에 복수의 텍스트 각각을 로딩시키기 위한 정보들을 포함하며, 상기 복수의 텍스트 각각에 대응하는 유니코드 정보, 크기 정보, 폰트 정보, 텍스트 컨테이너 정보 및 위치 식별 정보 중 적어도 하나를 포함할 수 있다.Alternatively, the LQA test information includes information for loading each of a plurality of texts into a service related to the application, and Unicode information, size information, font information, and text container information corresponding to each of the plurality of texts. and at least one of location identification information.

대안적으로, 상기 하나 이상의 테스트 케이스는, 제 1 테스트 케이스를 포함하며, 상기 제 1 테스트 케이스는, 상기 어플리케이션에 관련된 서비스에 포함된 복수의 텍스트 중 타겟 언어 이외의 타 언어가 포함되어 있는지 여부를 식별하기 위한 테스트를 포함하고, 그리고 상기 LQA 테스트 정보를 하나 이상의 테스트 케이스 각각에 기초하여 정상 동작 여부를 판단하여 테스트 리포트를 생성하는 동작은, 상기 LQA 테스트 정보를 상기 제 1 테스트 케이스에 기초하여 정상 동작 여부를 판단하여 테스트 리포트를 생성하는 동작을 포함할 수 있다. Alternatively, the one or more test cases include a first test case, and the first test case determines whether a language other than a target language is included among a plurality of texts included in the service related to the application. The operation of generating a test report by determining whether the LQA test information is operating normally based on each of the one or more test cases, including a test for identifying the LQA test information based on the first test case It may include an operation of generating a test report by determining whether the operation is performed.

대안적으로, 상기 LQA 테스트 정보를 상기 제 1 테스트 케이스에 기초하여 정상 동작 여부를 판단하여 테스트 리포트를 생성하는 동작은, 상기 LQA 테스트 정보에 기초하여 상기 복수의 텍스트 각각의 유니코드가 상기 타겟 언어의 유니코드에 사전 맵핑된 언어 그룹에 포함되는지 여부를 식별하는 동작 및 상기 복수의 텍스트 각각의 유니코드 중 적어도 하나가 상기 언어 그룹에 포함되지 않는 경우, 해당 텍스트가 상기 제 1 테스트 케이스에 관련된 비정상 동작이라는 노티를 포함하는 테스트 리포트를 생성하는 동작을 포함할 수 있다. Alternatively, the operation of generating a test report by determining whether the LQA test information is operating normally based on the first test case may include: Unicode of each of the plurality of texts based on the LQA test information is the target language an operation of identifying whether or not to be included in a language group pre-mapped to Unicode of It may include an action of generating a test report including a notice called action.

대안적으로, 상기 하나 이상의 테스트 케이스는, 제 2 테스트 케이스를 포함하며, 상기 어플리케이션에 관련된 서비스에 포함된 복수의 텍스트가 타겟 폰트 이외의 타 폰트로 표시되는지 여부를 식별하기 위한 테스트를 포함하고, 그리고 상기 LQA 테스트 정보를 하나 이상의 테스트 케이스 각각에 기초하여 정상 동작 여부를 판단하여 테스트 리포트를 생성하는 동작은, 상기 LQA 테스트 정보를 상기 제 2 테스트 케이스에 기초하여 정상 동작 여부를 판단하여 테스트 리포트를 생성하는 동작을 포함할 수 있다.Alternatively, the one or more test cases include a second test case, and include a test for identifying whether a plurality of texts included in a service related to the application are displayed in a font other than a target font, The operation of generating a test report by determining whether the LQA test information operates normally based on each of the one or more test cases includes determining whether the LQA test information operates normally based on the second test case to generate a test report. It may include an action to create.

대안적으로, 상기 LQA 테스트 정보를 상기 제 2 테스트 케이스에 기초하여 정상 동작 여부를 판단하여 테스트 리포트를 생성하는 동작은, 상기 LQA 테스트 정보에 기초하여 상기 복수의 텍스트 각각의 폰트 정보를 식별하는 동작 및 상기 복수의 텍스트 각각의 폰트 정보에 기초하여 상기 복수의 텍스트 중 적어도 하나가 사전 결정된 폰트 정보와 상이함을 식별한 경우, 해당 텍스트가 상기 제 2 테스트 케이스에 관련된 비정상 동작이라는 노티를 포함하는 테스트 리포트를 생성하는 동작을 포함할 수 있다.Alternatively, the operation of generating a test report by determining whether the LQA test information operates normally based on the second test case is an operation of identifying font information of each of the plurality of texts based on the LQA test information and when it is identified that at least one of the plurality of texts is different from the predetermined font information based on the font information of each of the plurality of texts, a notification that the corresponding text is an abnormal operation related to the second test case; It may include the operation of generating a report.

대안적으로, 상기 하나 이상의 테스트 케이스는, 제 3 테스트 케이스를 포함하며, 상기 제 3 테스트 케이스는, 상기 어플리케이션에 관련된 서비스에 포함된 복수의 텍스트 각각의 가독성의 문제 유무를 판별하기 위한 테스트를 포함하고, 그리고 상기 LQA 테스트 정보를 하나 이상의 테스트 케이스 각각에 기초하여 정상 동작 여부를 판단하여 테스트 리포트를 생성하는 동작은, 상기 LQA 테스트 정보를 상기 제 3 테스트 케이스에 기초하여 정상 동작 여부를 판단하여 테스트 리포트를 생성하는 동작을 포함할 수 있다.Alternatively, the one or more test cases include a third test case, and the third test case includes a test for determining whether there is a problem with the readability of each of a plurality of texts included in the service related to the application and the operation of generating a test report by determining whether the LQA test information operates normally based on each of the one or more test cases includes determining whether the LQA test information operates normally based on the third test case and testing It may include the operation of generating a report.

대안적으로, 상기 LQA 테스트 정보를 상기 제 3 테스트 케이스에 기초하여 정상 동작 여부를 판단하여 테스트 리포트를 생성하는 동작은, 상기 LQA 테스트 정보에 기초하여 상기 복수의 텍스트 각각의 크기 정보를 식별하는 동작 및 상기 복수의 텍스트 각각의 크기 정보에 기초하여 상기 복수의 텍스트 중 적어도 하나가 사전 결정된 텍스트 크기 이하임을 식별하는 경우, 해당 텍스트가 상기 제 3 테스트 케이스에 관련된 비정상 동작이라는 노티를 포함하는 테스트 리포트를 생성하는 동작을 포함할 수 있다. Alternatively, the operation of generating a test report by determining whether the LQA test information is operating normally based on the third test case is an operation of identifying size information of each of the plurality of texts based on the LQA test information and when it is identified that at least one of the plurality of texts is smaller than or equal to a predetermined text size based on the size information of each of the plurality of texts, a test report including a notification that the corresponding text is an abnormal operation related to the third test case It may include an action to create.

대안적으로, 상기 하나 이상의 테스트 케이스는, 제 4 테스트 케이스를 포함하며, 상기 제 4 테스트 케이스는, 상기 어플리케이션에 관련된 서비스에 포함된 복수의 텍스트 각각이 상기 복수의 텍스트 각각에 대응하는 표시 영역을 벗어나는지 여부를 판별하기 위한 테스트를 포함하고, 그리고 상기 LQA 테스트 정보를 하나 이상의 테스트 케이스 각각에 기초하여 정상 동작 여부를 판단하여 테스트 리포트를 생성하는 동작은, 상기 LQA 테스트 정보를 상기 제 4 테스트 케이스에 기초하여 정상 동작 여부를 판단하여 테스트 리포트를 생성하는 동작을 포함할 수 있다.Alternatively, the one or more test cases may include a fourth test case, wherein the fourth test case includes a display area in which each of a plurality of texts included in the service related to the application corresponds to each of the plurality of texts. The operation of generating a test report by determining whether the LQA test information operates normally based on each of the one or more test cases, including a test for determining whether or not the It may include an operation of generating a test report by determining whether a normal operation is performed based on the .

대안적으로, 상기 LQA 테스트 정보를 상기 제 4 테스트 케이스에 기초하여 정상 동작 여부를 판단하여 테스트 리포트를 생성하는 동작은, 상기 LQA 테스트 정보에 기초하여 상기 복수의 텍스트 각각의 크기 정보 및 상기 복수의 텍스트 각각에 대응하는 텍스트 컨테이너 정보를 식별하는 동작, 상기 복수의 텍스트 각각의 크기 정보 및 상기 복수의 텍스트 각각에 대응하는 텍스트 컨테이너 정보에 기초하여 상기 복수의 텍스트 각각이 상기 복수의 텍스트 각각에 대응하는 텍스트 컨테이너를 벗어나는지 여부를 판별하는 동작 및 상기 복수의 텍스트 중 적어도 하나가 상기 복수의 텍스트 각각에 대응하는 텍스트 컨테이너를 벗어남을 판별한 경우, 해당 텍스트가 상기 제 4 테스트 케이스에 관련된 비정상 동작이라는 노티를 포함하는 테스트 리포트를 생성하는 동작을 포함할 수 있다. Alternatively, the operation of generating a test report by determining whether the LQA test information is operating normally based on the fourth test case may include size information of each of the plurality of texts and the plurality of texts based on the LQA test information. identifying text container information corresponding to each text, each of the plurality of texts corresponding to each of the plurality of texts based on size information of each of the plurality of texts and text container information corresponding to each of the plurality of texts When it is determined whether or not the text is out of the text container and it is determined that at least one of the plurality of texts is out of the text container corresponding to each of the plurality of texts, a notice indicating that the corresponding text is an abnormal operation related to the fourth test case It may include an operation of generating a test report including

대안적으로, 상기 하나 이상의 테스트 케이스는, 제 5 테스트 케이스를 포함하며, 상기 제 5 테스트 케이스는, 상기 어플리케이션에 관련된 서비스에 포함된 복수의 텍스트 각각의 겹침 여부를 판별하기 위한 테스트를 포함하고, 그리고 상기 LQA 테스트 정보를 하나 이상의 테스트 케이스 각각에 기초하여 정상 동작 여부를 판단하여 테스트 리포트를 생성하는 동작은, 상기 LQA 테스트 정보를 상기 제 5 테스트 케이스에 기초하여 정상 동작 여부를 판단하여 테스트 리포트를 생성하는 동작을 포함할 수 있다.Alternatively, the one or more test cases include a fifth test case, wherein the fifth test case includes a test for determining whether each of a plurality of texts included in a service related to the application overlaps, The operation of generating a test report by determining whether the LQA test information operates normally based on each of the one or more test cases includes determining whether the LQA test information operates normally based on the fifth test case to generate a test report. It may include an action to create.

대안적으로, 상기 LQA 테스트 정보를 상기 제 5 테스트 케이스에 기초하여 정상 동작 여부를 판단하여 테스트 리포트를 생성하는 동작은, 상기 LQA 테스트 정보에 기초하여 상기 복수의 텍스트 각각의 위치 식별 정보를 획득하는 동작, 상기 복수의 텍스트 각각의 위치 식별 정보에 기초하여 상기 복수의 텍스트 중 적어도 두개 이상의 텍스트가 동일 위치로 로딩됨을 판별하는 동작 및 상기 복수의 텍스트 중 적어도 두개 이상의 텍스트가 동일 위치로 로딩됨을 판별하는 경우, 해당 텍스트가 상기 제 5 테스트 케이스에 관련된 비정상 동작이라는 노티를 포함하는 테스트 리포트 정보를 생성하는 동작을 포함할 수 있다. Alternatively, the operation of generating a test report by determining whether the LQA test information is operating normally based on the fifth test case includes obtaining location identification information of each of the plurality of texts based on the LQA test information operation, determining that at least two or more texts among the plurality of texts are loaded at the same location based on the location identification information of each of the plurality of texts, and determining that at least two or more texts of the plurality of texts are loaded at the same location In this case, the operation may include generating test report information including a notice that the corresponding text is an abnormal operation related to the fifth test case.

대안적으로, 상기 테스트 프로시저 정보에 기초하여 구동된 어플리케이션과 관련된 서비스에 포함된 복수의 텍스트 각각에 대한 스크린 샷 이미지를 획득하는 동작, 상기 스크린 샷 이미지에 대한 OCR(Optical character recognition)을 통해 상기 복수의 텍스트 각각의 언어 종류 식별 정보, 크기 정보, 폰트 정보, 텍스트 컨테이너 정보 및 위치 식별 정보 중 적어도 하나를 포함하는 텍스트 품질 정보를 획득하는 동작 및 상기 텍스트 품질 정보와 사전 결정된 기준 텍스트 품질 정보의 비교에 기초하여 상기 테스트 리포트를 생성하는 동작을 더 포함할 수 있다.Alternatively, through an operation of obtaining a screen shot image for each of a plurality of texts included in a service related to an application driven based on the test procedure information, and OCR (Optical Character Recognition) for the screen shot image, the Obtaining text quality information including at least one of language type identification information, size information, font information, text container information, and position identification information of each of a plurality of texts, and comparing the text quality information with predetermined reference text quality information The method may further include generating the test report based on .

대안적으로, 상기 테스트 리포트는, 테스트를 수행하고자 하는 사용자로 하여금 상기 어플리케이션을 통해 구동되는 서비스에 포함된 복수의 텍스트 각각의 품질이 사전 결정된 기준 품질 이하임을 인식시키기 위한 정보로, 상기 하나 이상의 테스트 케이스 각각에 관련한 오류 정보 및 상기 오류 정보 각각에 대응하는 오류 위치 식별 정보를 포함할 수 있다Alternatively, the test report is information for allowing a user to perform a test to recognize that the quality of each of a plurality of texts included in a service driven through the application is less than or equal to a predetermined reference quality, and the one or more tests It may include error information related to each case and error location identification information corresponding to each of the error information.

본 개시의 다른 실시예에서 LQA 테스트 자동화를 수행하기 위한 방법이 개시된다. 상기 방법은, 테스트 프로시저(test procedure) 정보를 클라이언트 단말로 전송하여 어플리케이션을 구동하도록 야기시키는 단계, 상기 클라이언트 단말의 상기 어플리케이션 실행 기록에 기초하여 획득된 LQA 테스트 정보를 수신하는 단계 및 상기 LQA 테스트 정보를 하나 이상의 테스트 케이스 각각에 기초하여 정상 동작 여부를 판단하여 테스트 리포트(test report)를 생성하는 단계를 포함할 수 있다.In another embodiment of the present disclosure a method for performing LQA test automation is disclosed. The method includes the steps of sending test procedure information to a client terminal to cause an application to run, receiving LQA test information obtained based on the application execution record of the client terminal, and the LQA test The method may include generating a test report by determining whether the information is operating normally based on each of one or more test cases.

본 개시의 또 다른 실시예에서 LQA 테스트 자동화를 수행하기 위한 서버가 개시된다. 상기 서버는, 하나 이상의 코어를 포함하는 프로세서, 상기 프로세서에 의해 실행가능한 프로그램 코드들을 저장하는 메모리 및 클라이언트 단말과 데이터를 송수신하는 네트워크부를 포함하고, 상기 프로세서는, 테스트 프로시저(test procedure) 정보를 클라이언트 단말로 전송하여 어플리케이션을 구동하도록 야기시키고, 상기 클라이언트 단말의 상기 어플리케이션 실행 기록에 기초하여 획득된 LQA 테스트 정보를 수신하고, 그리고 상기 LQA 테스트 정보를 하나 이상의 테스트 케이스 각각에 기초하여 정상 동작 여부를 판단하여 테스트 리포트(test report)를 생성할 수 있다.In another embodiment of the present disclosure, a server for performing LQA test automation is disclosed. The server includes a processor including one or more cores, a memory for storing program codes executable by the processor, and a network unit for transmitting and receiving data to and from a client terminal, wherein the processor receives test procedure information send to the client terminal to cause the application to run, receive the LQA test information obtained based on the application execution record of the client terminal, and determine whether the LQA test information operates normally based on each of one or more test cases A test report may be generated by judging.

본 개시는 텍스트 품질 평가 테스트 자동화를 위한 컴퓨터 프로그램을 제공할 수 있다.The present disclosure may provide a computer program for automating text quality assessment tests.

다양한 양상들이 이제 도면들을 참조로 기재되며, 여기서 유사한 참조 번호들은 총괄적으로 유사한 구성요소들을 지칭하는데 이용된다. 이하의 실시예에서, 설명 목적을 위해, 다수의 특정 세부사항들이 하나 이상의 양상들의 총체적 이해를 제공하기 위해 제시된다. 그러나, 그러한 양상(들)이 이러한 구체적인 세부사항들 없이 실시될 수 있음은 명백할 것이다.
도 1은 본 개시의 일 실시예에 따른 LQA 테스트 자동화를 위한 시스템에 대한 개략도를 도시한다.
도 2는 본 개시의 일 실시예와 관련된 LQA 테스트 자동화를 위한 서버의 블록 구성도를 도시한다.
도 3은 본 개시의 일 실시예와 관련된 LQA 테스트 자동화를 위한 예시적인 순서도를 도시한다.
도 4는 본 개시의 일 실시예에 따른 제 1 테스트 케이스에 기초하여 정상 동작 여부를 판단하기 위한 과정을 설명하기 위한 예시도를 도시한다.
도 5는 본 개시의 일 실시예에 따른 제 2 테스트 케이스에 기초하여 정상 동작 여부를 판단하기 위한 과정을 설명하기 위한 예시도를 도시한다.
도 6은 본 개시의 일 실시예에 따른 제 3 테스트 케이스에 기초하여 정상 동작 여부를 판단하기 위한 과정을 설명하기 위한 예시도를 도시한다.
도 7은 본 개시의 일 실시예에 따른 제 4 테스트 케이스에 기초하여 정상 동작 여부를 판단하기 위한 과정을 설명하기 위한 예시도를 도시한다.
도 8은 본 개시의 일 실시예에 따른 제 5 테스트 케이스에 기초하여 정상 동작 여부를 판단하기 위한 과정을 설명하기 위한 예시도를 도시한다.
도 9는 본 개시의 일 실시예와 관련된 LQA 테스트 자동화를 위한 방법을 구현하기 위한 모듈을 도시한다.
도 10은 본 개시의 일 실시예와 관련된 본 개시의 일 실시예들이 구현될 수 있는 예시적인 컴퓨팅 환경에 대한 간략하고 일반적인 개략도를 도시한다.
Various aspects are now described with reference to the drawings, in which like reference numbers are used to refer to like elements collectively. In the following examples, for purposes of explanation, numerous specific details are set forth in order to provide a thorough understanding of one or more aspects. It will be evident, however, that such aspect(s) may be practiced without these specific details.
1 shows a schematic diagram of a system for LQA test automation according to an embodiment of the present disclosure;
2 shows a block diagram of a server for LQA test automation related to an embodiment of the present disclosure.
3 shows an exemplary flow chart for LQA test automation in accordance with an embodiment of the present disclosure.
4 is an exemplary diagram illustrating a process for determining whether a normal operation is performed based on a first test case according to an embodiment of the present disclosure.
5 is a diagram illustrating a process for determining whether a normal operation is performed based on a second test case according to an embodiment of the present disclosure;
6 is a diagram illustrating a process for determining whether a normal operation is performed based on a third test case according to an embodiment of the present disclosure;
7 is a diagram illustrating a process for determining whether a normal operation is performed based on a fourth test case according to an embodiment of the present disclosure;
8 is a diagram illustrating a process for determining whether a normal operation is performed based on a fifth test case according to an embodiment of the present disclosure;
9 illustrates a module for implementing a method for LQA test automation related to an embodiment of the present disclosure.
10 depicts a simplified, general schematic diagram of an exemplary computing environment in which one embodiment of the present disclosure may be implemented, in conjunction with one embodiment of the present disclosure.

다양한 실시예들이 이제 도면을 참조하여 설명된다. 본 명세서에서, 다양한 설명들이 본 개시의 이해를 제공하기 위해서 제시된다. 그러나, 이러한 실시예들은 이러한 구체적인 설명 없이도 실행될 수 있음이 명백하다.Various embodiments are now described with reference to the drawings. In this specification, various descriptions are presented to provide an understanding of the present disclosure. However, it is apparent that these embodiments may be practiced without these specific descriptions.

본 명세서에서 사용되는 용어 "컴포넌트", "모듈", "시스템" 등은 컴퓨터-관련 엔티티, 하드웨어, 펌웨어, 소프트웨어, 소프트웨어 및 하드웨어의 조합, 또는 소프트웨어의 실행을 지칭한다. 예를 들어, 컴포넌트는 프로세서상에서 실행되는 처리과정(procedure), 프로세서, 객체, 실행 스레드, 프로그램, 및/또는 컴퓨터일 수 있지만, 이들로 제한되는 것은 아니다. 예를 들어, 컴퓨팅 장치에서 실행되는 애플리케이션 및 컴퓨팅 장치 모두 컴포넌트일 수 있다. 하나 이상의 컴포넌트는 프로세서 및/또는 실행 스레드 내에 상주할 수 있다. 일 컴포넌트는 하나의 컴퓨터 내에 로컬화 될 수 있다. 일 컴포넌트는 2개 이상의 컴퓨터들 사이에 분배될 수 있다. 또한, 이러한 컴포넌트들은 그 내부에 저장된 다양한 데이터 구조들을 갖는 다양한 컴퓨터 판독가능한 매체로부터 실행할 수 있다. 컴포넌트들은 예를 들어 하나 이상의 데이터 패킷들을 갖는 신호(예를 들면, 로컬 시스템, 분산 시스템에서 다른 컴포넌트와 상호작용하는 하나의 컴포넌트로부터의 데이터 및/또는 신호를 통해 다른 시스템과 인터넷과 같은 네트워크를 통해 전송되는 데이터)에 따라 로컬 및/또는 원격 처리들을 통해 통신할 수 있다.The terms “component,” “module,” “system,” and the like, as used herein, refer to a computer-related entity, hardware, firmware, software, a combination of software and hardware, or execution of software. For example, a component can be, but is not limited to being, a process running on a processor, a processor, an object, a thread of execution, a program, and/or a computer. For example, both an application running on a computing device and the computing device may be a component. One or more components may reside within a processor and/or thread of execution. A component may be localized within one computer. A component may be distributed between two or more computers. In addition, these components can execute from various computer readable media having various data structures stored therein. Components may communicate via a network such as the Internet with another system, for example via a signal having one or more data packets (eg, data and/or signals from one component interacting with another component in a local system, distributed system, etc.) may communicate via local and/or remote processes depending on the data being transmitted).

더불어, 용어 "또는"은 배타적 "또는"이 아니라 내포적 "또는"을 의미하는 것으로 의도된다. 즉, 달리 특정되지 않거나 문맥상 명확하지 않은 경우에, "X는 A 또는 B를 이용한다"는 자연적인 내포적 치환 중 하나를 의미하는 것으로 의도된다. 즉, X가 A를 이용하거나; X가 B를 이용하거나; 또는 X가 A 및 B 모두를 이용하는 경우, "X는 A 또는 B를 이용한다"가 이들 경우들 어느 것으로도 적용될 수 있다. 또한, 본 명세서에 사용된 "및/또는"이라는 용어는 열거된 관련 아이템들 중 하나 이상의 아이템의 가능한 모든 조합을 지칭하고 포함하는 것으로 이해되어야 한다.In addition, the term “or” is intended to mean an inclusive “or” rather than an exclusive “or.” That is, unless otherwise specified or clear from context, "X employs A or B" is intended to mean one of the natural implicit substitutions. That is, X employs A; X employs B; or when X employs both A and B, "X employs A or B" may apply to either of these cases. It should also be understood that the term “and/or” as used herein refers to and includes all possible combinations of one or more of the listed related items.

또한, "포함한다" 및/또는 "포함하는"이라는 용어는, 해당 특징 및/또는 구성요소가 존재함을 의미하는 것으로 이해되어야 한다. 다만, "포함한다" 및/또는 "포함하는"이라는 용어는, 하나 이상의 다른 특징, 구성요소 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는 것으로 이해되어야 한다. 또한, 달리 특정되지 않거나 단수 형태를 지시하는 것으로 문맥상 명확하지 않은 경우에, 본 명세서와 청구범위에서 단수는 일반적으로 "하나 또는 그 이상"을 의미하는 것으로 해석되어야 한다.Also, the terms "comprises" and/or "comprising" should be understood to mean that the feature and/or element in question is present. However, it should be understood that the terms "comprises" and/or "comprising" do not exclude the presence or addition of one or more other features, elements and/or groups thereof. Also, unless otherwise specified or unless the context is clear as to designating a singular form, the singular in the specification and claims should generally be construed to mean "one or more."

당업자들은 추가적으로 여기서 개시된 실시예들과 관련되어 설명된 다양한 예시 적 논리적 블록들, 구성들, 모듈들, 회로들, 수단들, 로직들, 및 알고리즘 단계들이 전자 하드웨어, 컴퓨터 소프트웨어, 또는 양쪽 모두의 조합들로 구현될 수 있음을 인식해야 한다. 하드웨어 및 소프트웨어의 상호교환성을 명백하게 예시하기 위해, 다양한 예시 적 컴포넌트들, 블록들, 구성들, 수단들, 로직들, 모듈들, 회로들, 및 단계들은 그들의 기능성 측면에서 일반적으로 위에서 설명되었다. 그러한 기능성이 하드웨어로 또는 소프트웨어로서 구현되는지 여부는 전반적인 시스템에 부과된 특정 어플리케이션(application) 및 설계 제한들에 달려 있다. 숙련된 기술자들은 각각의 특정 어플리케이션들을 위해 다양한 방법들로 설명된 기능성을 구현할 수 있다. 다만, 그러한 구현의 결정들이 본 개시내용의 영역을 벗어나게 하는 것으로 해석되어서는 안된다.Those skilled in the art will further appreciate that the various illustrative logical blocks, configurations, modules, circuits, means, logics, and algorithm steps described in connection with the embodiments disclosed herein may be implemented in electronic hardware, computer software, or combinations of both. It should be recognized that they can be implemented with To clearly illustrate this interchangeability of hardware and software, various illustrative components, blocks, configurations, means, logics, modules, circuits, and steps have been described above generally in terms of their functionality. Whether such functionality is implemented as hardware or software depends upon the particular application and design constraints imposed on the overall system. Skilled artisans may implement the described functionality in varying ways for each particular application. However, such implementation decisions should not be interpreted as causing a departure from the scope of the present disclosure.

본 개시내용의 청구범위에서의 동작들에 대한 권리범위는, 각 동작들에 기재된 기능 및 특징들에 의해 발생되는 것이지, 각각의 동작에서 그 순서의 선후관계를 명시하지 않는 이상, 청구범위에서의 각 동작들의 기재 순서에 영향을 받지 않는다. 예를 들어, A동작 및 B동작를 포함하는 동작으로 기재된 청구범위에서, A동작이 B동작 보다 먼저 기재되었다고 하더라도, A동작이 B동작에 선행되어야 한다는 것으로 권리범위가 제한되지는 않는다.The scope of the actions in the claims of the present disclosure is generated by the functions and features described in the respective actions, and unless a precedence of the order in each action is specified, the claims are The order of description of each operation is not affected. For example, in a claim described as an action including action A and action B, even if action A is described before action B, the scope of rights is not limited to that action A must precede action B.

도 1은 본 개시의 일 실시예에 따른 LQA 테스트 자동화를 위한 시스템에 대한 개략도를 도시한다.1 shows a schematic diagram of a system for LQA test automation according to an embodiment of the present disclosure;

도 1에 도시되는 바와 같이, LQA 테스트 자동화를 위한 시스템은 테스트 서버(100), 서비스 서버(200), 클라이언트 단말(10) 및 통신 네트워크(300)를 포함할 수 있다. 도 1에서 도시되는 컴포넌트들은 예시적인 것으로서, 추가적인 컴포넌트들이 존재하거나 또는 도 1에서 도시되는 컴포넌트들 중 일부는 생략될 수 있다. As shown in FIG. 1 , the system for LQA test automation may include a test server 100 , a service server 200 , a client terminal 10 , and a communication network 300 . The components illustrated in FIG. 1 are exemplary, and additional components may be present or some of the components illustrated in FIG. 1 may be omitted.

도 1에서의 클라이언트 단말(10)은 어플리케이션을 통해 서비스 서버(200) 및 테스트 서버(100)에 엑세스하여 상기 서비스 서버(200)가 제공하는 서비스에 관련한 동작들을 수행할 수 있다.The client terminal 10 in FIG. 1 may access the service server 200 and the test server 100 through an application to perform operations related to the service provided by the service server 200 .

본 개시에서의 클라이언트 단말(10)은 사용자가 서비스를 이용하도록 하는 적어도 하나의 단말일 수 있다. 또한, 클라이언트 단말(10)은 서비스 서버(200)에서 전송되는 신호에 기초하여 서비스 화면을 디스플레이 하거나, 서비스 화면에 관련한 텍스트 등을 디스플레이 할 수 있다. The client terminal 10 in the present disclosure may be at least one terminal that allows a user to use a service. Also, the client terminal 10 may display a service screen based on a signal transmitted from the service server 200 or may display text related to the service screen.

클라이언트 단말(10)은 서비스 서버(200) 및 테스트 서버(100)와 통신을 위한 메커니즘을 갖는 시스템에서의 임의의 형태의 엔티티(들)를 의미할 수 있다. 예를 들어, 이러한 클라이언트 단말(10)은 PC(personal computer), 노트북(note book), 모바일 단말기(mobile terminal), 스마트 폰(smart phone), 태블릿 PC(tablet pc) 및 웨어러블 디바이스(wearable device) 등을 포함할 수 있으며, 유/무선 네트워크에 접속할 수 있는 모든 종류의 단말을 포함할 수 있다. 또한, 클라이언트 단말(10)은 에이전트, API(Application Programming Interface) 및 플러그-인(Plug-in) 중 적어도 하나에 의해 구현되는 임의의 서버를 포함할 수도 있다. 또한, 클라이언트 단말(10)은 애플리케이션 소스 및/또는 클라이언트 애플리케이션을 포함할 수 있다.The client terminal 10 may refer to any type of entity(s) in a system having a mechanism for communication with the service server 200 and the test server 100 . For example, such a client terminal 10 is a personal computer (PC), a notebook (note book), a mobile terminal (mobile terminal), a smart phone (smart phone), a tablet PC (tablet pc), and a wearable device (wearable device) and the like, and may include all types of terminals capable of accessing a wired/wireless network. In addition, the client terminal 10 may include an arbitrary server implemented by at least one of an agent, an application programming interface (API), and a plug-in. In addition, the client terminal 10 may include an application source and/or a client application.

클라이언트 단말(10)은 서비스 서버(200)에 접속하여 서비스 서버(200)가 제공하는 서비스를 수행할 수 있으며, 사용자의 서비스 선택 입력에 대응하는 화면 및 음향 효과를 출력할 수 있다. 본 명세서에서의 서비스 서버(200)는 게임을 제공하는 게임 서버를 포함할 수 있으며, 상기 게임 서버를 통해 제공되는 게임은, 모바일 게임, 웹 게임, VR 게임, P2P 게임, 온라인/오프라인 게임 등 임의의 형태의 게임을 포함할 수 있다. The client terminal 10 may access the service server 200 to perform a service provided by the service server 200 , and may output a screen and sound effect corresponding to a user's service selection input. The service server 200 in the present specification may include a game server that provides a game, and the game provided through the game server is arbitrary, such as a mobile game, a web game, a VR game, a P2P game, an online/offline game, etc. may include games in the form of

클라이언트 단말(10)은 디스플레이를 구비하고 있어서, 서비스 서버(200)가 제공하는 서비스에 관련한 사용자의 입력을 수신하고, 사용자에게 임의의 형태의 출력을 제공할 수 있다. 또한, 클라이언트 단말(10)은 음향출력부를 구비하고 있어서, 서비스에 관련한 임의의 형태의 출력을 제공할 수 있다. Since the client terminal 10 has a display, it can receive a user's input related to a service provided by the service server 200 and provide an output in any form to the user. In addition, the client terminal 10 is provided with a sound output unit, it can provide any type of output related to the service.

본 개시의 일 실시예에 따르면, 서비스 서버(200) 및 테스트 서버(100)는 예를 들어, 마이크로프로세서, 메인프레임 컴퓨터, 디지털 프로세서, 휴대용 디바이스 및 디바이스 제어기 등과 같은 임의의 타입의 컴퓨터 시스템 또는 컴퓨터 디바이스를 포함할 수 있다. 도 1에서 도시되지는 않았지만 이러한 서비스 서버(200) 및 테스트 서버(100)는 메모리 및 프로세서를 포함할 수 있다. According to an embodiment of the present disclosure, the service server 200 and the test server 100 are any type of computer system or computer, such as, for example, microprocessors, mainframe computers, digital processors, portable devices and device controllers, and the like. It may include a device. Although not shown in FIG. 1 , the service server 200 and the test server 100 may include a memory and a processor.

서비스 서버(200)는 클라이언트 단말(10)로 하여금 서비스에 관련한 동작들의 수행을 허용할 수 있다. 또한, 서비스 서버(200)는 서비스에 관련한 어플리케이션을 클라이언트 단말(10)로 배포할 수 있으며, 클라이언트 단말(10)은 상기 어플리케이션 통해 서비스 서버(200)와 상호작용하여 서비스를 제공받을 수 있다. 테스트 서버(100)는 클라이언트 단말(10)이 서비스 서버(200)에 접속하여 서비스에 관련한 동작들을 수행하도록 야기시킬 수 있다. 또한, 테스트 서버(100)는 클라이언트 단말(10)의 서비스 서버(200)에 대한 실행 기록에 기초하여 획득된 정보들을 통해 서비스 서버(200)가 제공하는 서비스에 포함된 텍스트 품질과 관련한 테스트 리포트를 생성할 수 있다.The service server 200 may allow the client terminal 10 to perform service-related operations. In addition, the service server 200 may distribute a service-related application to the client terminal 10 , and the client terminal 10 may interact with the service server 200 through the application to receive a service. The test server 100 may cause the client terminal 10 to access the service server 200 to perform service-related operations. In addition, the test server 100 provides a test report related to the text quality included in the service provided by the service server 200 through information obtained based on the execution record of the service server 200 of the client terminal 10 . can create

도 1에서 서비스 서버(200) 및 테스트 서버(100)가 별도의 엔티티로서 분리되어 표현되었지만, 본 개시내용의 실시예에 따라서 테스트 서버(100)가 서비스 서버(200) 내에 포함되어, 서비스 수행 기능 및 서비스에 포함된 복수의 텍스트 각각의 텍스트 품질과 관련한 테스트 기능을 통합 서버에서 수행할 수도 있다. 또한, 테스트 서버(100)와 서비스 서버(200)가 분리된 경우, 테스트 서버(100)는 외부에 존재하는 서비스 서버(200)에 접속하여 서비스를 수행한 클라이언트 단말(10)의 서비스 수행 이력에 기초하여 서비스 내 텍스트 품질에 관련한 테스트 수행을 구현할 수 있다. Although the service server 200 and the test server 100 are represented separately as separate entities in FIG. 1 , the test server 100 is included in the service server 200 according to an embodiment of the present disclosure to perform a service function and a test function related to the text quality of each of a plurality of texts included in the service may be performed by the integration server. In addition, when the test server 100 and the service server 200 are separated, the test server 100 connects to the service server 200 existing outside and performs the service in the service performance history of the client terminal 10 . Based on this, it is possible to implement tests related to text quality in the service.

본 개시의 일 실시예에 따르면, 통신 네트워크(300)는 공중전화 교환망(PSTN:Public Switched Telephone Network), xDSL(x Digital Subscriber Line), RADSL(Rate Adaptive DSL), MDSL(Multi Rate DSL), VDSL(Very High Speed DSL), UADSL(Universal Asymmetric DSL), HDSL(High Bit Rate DSL) 및 근거리 통신망(LAN) 등과 같은 다양한 유선 통신 시스템들을 사용할 수 있다.According to an embodiment of the present disclosure, the communication network 300 is a Public Switched Telephone Network (PSTN), x Digital Subscriber Line (xDSL), Rate Adaptive DSL (RADSL), Multi Rate DSL (MDSL), VDSL Various wired communication systems such as (Very High Speed DSL), Universal Asymmetric DSL (UADSL), High Bit Rate DSL (HDSL), and Local Area Network (LAN) can be used.

또한, 본 개시내용에서 제시되는 통신 네트워크(300)는 CDMA(Code Division Multi Access), TDMA(Time Division Multi Access), FDMA(Frequency Division Multi Access), OFDMA(Orthogonal Frequency Division Multi Access), SC-FDMA(Single Carrier-FDMA) 및 다른 시스템들과 같은 다양한 무선 통신 시스템들을 사용할 수 있다. 본 개시내용에서 설명된 기술들은 위에서 언급된 네트워크들뿐만 아니라, 임의의 형태의 다른 통신 네트워크들에서도 사용될 수 있다. In addition, the communication network 300 presented in the present disclosure is CDMA (Code Division Multi Access), TDMA (Time Division Multi Access), FDMA (Frequency Division Multi Access), OFDMA (Orthogonal Frequency Division Multi Access), SC-FDMA A variety of wireless communication systems may be used, such as (Single Carrier-FDMA) and other systems. The techniques described in this disclosure may be used in the networks mentioned above, as well as in any form of other communication networks.

이하 도 2를 참조하여, 테스트 서버(100)가 클라이언트 단말(10)로 하여금 서비스 서버(200)에 접속하여 서비스에 관련한 동작들을 수행하도록 야기시키는 방법 및 클라이언트 단말(10)의 서비스 서버(200)에 대한 서비스 실행 기록에 기초하여 획득된 정보를 통해 텍스트 품질과 관련된 테스트 리포트를 생성하는 방법을 자세히 후술하도록 한다.2, the test server 100 causes the client terminal 10 to connect to the service server 200 to perform service-related operations and the service server 200 of the client terminal 10 A method of generating a test report related to text quality through the information obtained based on the service execution record for .

도 2는 본 개시의 일 실시예와 관련된 LQA 테스트 자동화를 위한 서버의 블록 구성도를 도시한다.2 shows a block diagram of a server for LQA test automation related to an embodiment of the present disclosure.

도 2에서 도시되는 바와 같이, 테스트 서버(100)는 네트워크부(110), 메모리(120) 및 프로세서(130)를 포함할 수 있다. 전술한 컴포넌트들은 예시적인 것으로서 본 개시내용의 권리범위가 전술한 컴포넌트들로 제한되지 않는다. 즉, 본 개시내용의 실시예들에 대한 구현 양태에 따라서 추가적인 컴포넌트들이 포함되거나 또는 전술한 컴포넌트들 중 일부가 생략될 수 있다.As shown in FIG. 2 , the test server 100 may include a network unit 110 , a memory 120 , and a processor 130 . The above-described components are exemplary, and the scope of the present disclosure is not limited to the above-described components. That is, additional components may be included or some of the above-described components may be omitted depending on implementation aspects for the embodiments of the present disclosure.

본 개시의 일 실시예에 따르면, 테스트 서버(100)는 클라이언트 단말(10)과 서비스에 포함된 복수의 텍스트 각각의 품질을 평가하기 위한 데이터를 송수신하는 네트워크부(110)를 포함할 수 있다.According to an embodiment of the present disclosure, the test server 100 may include the client terminal 10 and the network unit 110 for transmitting and receiving data for evaluating the quality of each of a plurality of texts included in the service.

본 개시의 일 실시예에 따른 네트워크부(110)는 공중전화 교환망(PSTN: Public Switched Telephone Network), xDSL(x Digital Subscriber Line), RADSL(Rate Adaptive DSL), MDSL(Multi Rate DSL), VDSL(Very High Speed DSL), UADSL(Universal Asymmetric DSL), HDSL(High Bit Rate DSL) 및 근거리 통신망(LAN) 등과 같은 다양한 유선 통신 시스템들을 사용할 수 있다.The network unit 110 according to an embodiment of the present disclosure includes a Public Switched Telephone Network (PSTN), x Digital Subscriber Line (xDSL), Rate Adaptive DSL (RADSL), Multi Rate DSL (MDSL), VDSL ( A variety of wired communication systems such as Very High Speed DSL), Universal Asymmetric DSL (UADSL), High Bit Rate DSL (HDSL), and Local Area Network (LAN) can be used.

또한, 본 명세서에서 제시되는 네트워크부(110)는 CDMA(Code Division Multi Access), TDMA(Time Division Multi Access), FDMA(Frequency Division Multi Access), OFDMA(Orthogonal Frequency Division Multi Access), SC-FDMA(Single Carrier-FDMA) 및 다른 시스템들과 같은 다양한 무선 통신 시스템들을 사용할 수 있다.In addition, the network unit 110 presented herein is CDMA (Code Division Multi Access), TDMA (Time Division Multi Access), FDMA (Frequency Division Multi Access), OFDMA (Orthogonal Frequency Division Multi Access), SC-FDMA ( A variety of wireless communication systems may be used, such as Single Carrier-FDMA) and other systems.

본 개시에서 네트워크부(110)는 유선 및 무선 등과 같은 그 통신 양태를 가리지 않고 구성될 수 있으며, 단거리 통신망(PAN: Personal Area Network), 근거리 통신망(WAN: Wide Area Network) 등 다양한 통신망으로 구성될 수 있다. 또한, 상기 네트워크는 공지의 월드와이드웹(WWW: World Wide Web)일 수 있으며, 적외선(IrDA: Infrared Data Association) 또는 블루투스(Bluetooth)와 같이 단거리 통신에 이용되는 무선 전송 기술을 이용할 수도 있다.In the present disclosure, the network unit 110 may be configured regardless of its communication mode, such as wired and wireless, and may be configured with various communication networks such as a personal area network (PAN) and a wide area network (WAN). can In addition, the network may be a well-known World Wide Web (WWW), and may use a wireless transmission technology used for short-range communication, such as infrared (IrDA) or Bluetooth (Bluetooth).

본 명세서에서 설명된 기술들은 위에서 언급된 네트워크들뿐만 아니라, 다른 네트워크들에서도 사용될 수 있다.The techniques described herein may be used in the networks mentioned above, as well as in other networks.

본 개시의 일 실시예에 따르면, 메모리(120)는 프로세서(130)가 생성하거나 결정한 임의의 형태의 정보 및 네트워크부(110)가 수신한 임의의 형태의 정보를 저장할 수 있다.According to an embodiment of the present disclosure, the memory 120 may store any type of information generated or determined by the processor 130 and any type of information received by the network unit 110 .

본 개시의 일 실시예에 따르면, 메모리(120)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 테스트 서버(100)는 인터넷(internet) 상에서 상기 메모리(120)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다. 전술한 메모리에 대한 기재는 예시일 뿐, 본 개시는 이에 제한되지 않는다.According to an embodiment of the present disclosure, the memory 120 is a flash memory type, a hard disk type, a multimedia card micro type, or a card type memory (eg, SD or XD memory, etc.), Random Access Memory (RAM), Static Random Access Memory (SRAM), Read-Only Memory (ROM), Electrically Erasable Programmable Read-Only Memory (EEPROM), Programmable Read (PROM) -Only Memory), a magnetic memory, a magnetic disk, and an optical disk may include at least one type of storage medium. The test server 100 may operate in relation to a web storage that performs a storage function of the memory 120 on the Internet. The description of the above-described memory is only an example, and the present disclosure is not limited thereto.

프로세서(130)는 메모리(120)에 저장된 컴퓨터 프로그램을 판독하여 본 개시의 일 실시예에 따른 서비스에 포함된 복수의 텍스트 각각의 텍스트 품질과 관련한 테스트 리포트를 생성할 수 있다.The processor 130 may read the computer program stored in the memory 120 and generate a test report related to the text quality of each of a plurality of texts included in the service according to an embodiment of the present disclosure.

본 개시의 일 실시예에 따르면, 프로세서(130)는 통상적으로 테스트 서버(100)의 전반적인 동작을 처리할 수 있다. 프로세서(130)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(120)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는, 기능을 제공하거나 처리할 수 있다.According to an embodiment of the present disclosure, the processor 130 may typically process the overall operation of the test server 100 . The processor 130 may provide or process appropriate information or functions to the user by processing signals, data, information, etc. input or output through the above-described components or by driving an application program stored in the memory 120 . .

본 개시의 일 실시예에 따르면, 프로세서(130)는 테스트 프로시저 정보를 클라이언트 단말(10)로 전송하여 어플리케이션을 구동하도록 야기시킬 수 있다. 어플리케이션은 서비스 서버(200)에서 제공하는 서비스와 관련한 것일 수 있다.According to an embodiment of the present disclosure, the processor 130 may cause the application to be driven by transmitting the test procedure information to the client terminal 10 . The application may be related to a service provided by the service server 200 .

테스트 프로시저 정보는, 어플리케이션에 관련된 서비스에 포함된 복수의 텍스트 각각을 로딩하기 위한 테스트 시나리오 정보를 포함하는 하나 이상의 스크립트 및 상기 하나 이상의 스크립트 각각에 대한 실행 순서 정보를 포함할 수 있다. The test procedure information may include one or more scripts including test scenario information for loading each of a plurality of texts included in an application-related service, and execution order information for each of the one or more scripts.

하나 이상의 스크립트는, 어플리케이션에 관련된 서비스 내 복수의 서비스 항목과 관련하여 수행가능한 동작 정보를 포함할 수 있다. 서비스 내 포함된 복수의 서비스 항목은, 서비스 내에서 사용자가 수행할 수 있는 다양한 콘텐츠를 의미하며, 예를 들어, 서비스에 존재하는 다양한 서비스 동작들을 수행 목적, 수행 효과, 수행 방법, 수행 과정 및 수행 결과 중 적어도 하나를 기준으로 하여 분류될 수 있다. 구체적인 예를 들어, 클라이언트 단말(10)이 구동하는 어플리케이션이 게임 서비스와 관련된 경우, 하나 이상의 스크립트 각각은 게임에 포함된 복수의 콘텐츠 중 특정 콘텐츠(예컨대, 상점 진입)를 플레이하도록 하는 플레이 정보를 포함할 수 있으며, 게임 내 존재하는 복수의 캐릭터 중 특정 캐릭터를 플레이하도록 하는 플레이 정보를 포함할 수도 있다. 다른 예를 들어, 클라이언트 단말(10)이 구동하는 어플리케이션이 상품 구매 서비스와 관련된 경우, 하나 이상의 스크립트 각각은 상품 구매 서비스에 포함된 복수의 콘텐츠 중 특정 콘텐츠(예컨대, 구매 결정)를 수행하도록 하는 수행 정보를 포함할 수 있다. 전술한 하나 이상의 스크립트에 대한 구체적인 기재들은 예시일 뿐, 본 개시는 이에 제한되지 않는다.The one or more scripts may include information on operations that can be performed in relation to a plurality of service items in a service related to an application. The plurality of service items included in the service means various contents that a user can perform within the service, for example, the purpose of performing various service operations existing in the service, performance effect, execution method, execution process, and execution. It may be classified based on at least one of the results. For a specific example, when the application driven by the client terminal 10 is related to a game service, each of the one or more scripts includes play information for playing a specific content (eg, entering a store) among a plurality of content included in the game. and may include play information for playing a specific character among a plurality of characters existing in the game. For another example, when the application driven by the client terminal 10 is related to a product purchase service, each of one or more scripts performs specific contents (eg, purchase decision) among a plurality of contents included in the product purchase service may contain information. Specific descriptions of one or more scripts described above are merely examples, and the present disclosure is not limited thereto.

즉, 프로세서(130)는 어플리케이션에 관련된 서비스에 포함된 복수의 텍스트들을 로딩시키기 위한 테스트 프로시저 정보를 클라이언트 단말(10)로 전송함으로써, 상기 클라이언트 단말(10)로 하여금 대상 어플리케이션을 구동하도록 야기시킬 수 있다. 다시 말해, 클라이언트 단말(10)은 프로세서(130)로부터 텍스트 프로시저 정보를 수신하는 경우, 상기 텍스트 프로시저 정보에 포함된 하나 이상의 스크립트 및 상기 하나 이상의 스크립트 각각에 대한 실행 순서 정보에 기초하여 어플리케이션을 구동시키고, 그리고 상기 어플리케이션을 통해 해당 서비스에 관련된 복수의 텍스트들을 로딩시킬 수 있다.That is, the processor 130 transmits test procedure information for loading a plurality of texts included in the service related to the application to the client terminal 10, thereby causing the client terminal 10 to drive the target application. can In other words, when receiving the text procedure information from the processor 130, the client terminal 10 executes an application based on one or more scripts included in the text procedure information and execution order information for each of the one or more scripts. and a plurality of texts related to the corresponding service may be loaded through the application.

따라서, 프로세서(130)는 클라이언트 단말(10)로 테스트 프로시저 정보를 전송함으로써, 어플리케이션에 관련한 서비스 내의 복수의 텍스트에 대한 품질을 평가하기 위한 테스트를 자동으로 수행하도록 야기시킬 수 있다.Accordingly, the processor 130 may cause to automatically perform a test for evaluating the quality of a plurality of texts in an application-related service by transmitting the test procedure information to the client terminal 10 .

본 개시의 일 실시예에 따르면, 프로세서(130)는 클라이언트 단말(10)의 어플리케이션 실행 기록에 기초하여 획득된 LQA 테스트 정보를 수신할 수 있다. LQA 테스트 정보는, 어플리케이션에 관련된 서비스에 포함된 복수의 텍스트 각각을 로딩시키기 위한 정보들을 포함할 수 있다. LQA 테스트 정보는, 클라이언트 단말(10)이 프로세서(130)로부터 수신한 테스트 프로시저 정보에 대응하는 서비스에 관련한 동작들을 수행하기 위해 대상 어플리케이션으로 발행하는 프로그램 코드들에 대한 정보에 대응하는 것일 수 있다. 예를 들어, LQA 테스트 정보는 어플리케이션에 관련된 서비스에 포함된 복수의 텍스트 각각에 대응하는 유니코드 정보, 크기 정보, 폰트 정보, 텍스트 컨테이너 정보 및 위치 식별 정보 중 적어도 하나를 포함할 수 있다.According to an embodiment of the present disclosure, the processor 130 may receive the LQA test information obtained based on the application execution record of the client terminal 10 . The LQA test information may include information for loading each of a plurality of texts included in an application-related service. The LQA test information may correspond to information about program codes issued by the client terminal 10 to a target application to perform service-related operations corresponding to the test procedure information received from the processor 130 . . For example, the LQA test information may include at least one of Unicode information, size information, font information, text container information, and location identification information corresponding to each of a plurality of texts included in an application-related service.

구체적으로, 프로세서(130)는 클라이언트 단말(10)로 테스트 프로시저 정보를 전송하여 상기 클라이언트 단말(10)이 어플리케이션을 구동하도록 야기시킬 수 있으며, 프로세서(130)는 상기 클라이언트 단말(10)이 테스트 프로시저 정보에 기초하여 서비스에 포함된 복수의 서비스 항목과 관련한 동작을 수행하기 위해 대상 어플리케이션으로 발행하는 코드와 관련한 정보에 대응하는 LQA 테스트 정보를 수신할 수 있다.Specifically, the processor 130 may transmit the test procedure information to the client terminal 10 to cause the client terminal 10 to run the application, and the processor 130 may cause the client terminal 10 to run the test. LQA test information corresponding to information related to a code issued to a target application to perform an operation related to a plurality of service items included in the service based on the procedure information may be received.

예를 들어, 테스트하고자 하는 서비스(즉, 대상 어플리케이션)가 게임 서비스와 관련되며, 프로세서(130)가 클라이언트 단말(10)로 테스트 프로시저 정보를 전송하여 상기 클라이언트 단말(10)이 대상 어플리케이션에 관련된 서비스 중 상점 진입에 대한 서비스를 수행하도록 야기시키고자 하는 경우, 클라이언트 단말(10)은 상점에 진입함에 따라 해당 게임 빌드에 관련한 텍스트들이 로딩되도록 하는 제 1 프로그램 코드를 대상 어플리케이션으로 발행할 수 있다. 이 경우, 프로세서(130)는 상기 제 1 프로그램 코드에 대응하는 LQA 테스트 정보를 수신할 수 있으며, LQA 테스트 정보는, 하기와 같은 정보들을 포함할 수 있다. For example, a service to be tested (ie, a target application) is related to a game service, and the processor 130 transmits test procedure information to the client terminal 10 so that the client terminal 10 is related to the target application. In the case of causing the service to be performed for entering the store during the service, the client terminal 10 may issue a first program code for loading texts related to the game build as the store enters to the target application. In this case, the processor 130 may receive LQA test information corresponding to the first program code, and the LQA test information may include the following information.

“position:[0.07968745,0.9166667], text:어서 오세요 , font:Arial, fonttype:system, font size:50” “position:[0.07968745,0.9166667], text:welcome, font:Arial, fonttype:system, font size:50”

이 경우, 'position:[0.07968745,0.9166667]'은 텍스트의 위치 정보를 의미할 수 있으며, 'text:어서 오세요'는 표시되는 텍스트를 의미할 수 있고, 'font:Arial'은 해당 텍스트의 폰트가 'Arial'로 표시됨을 의미할 수 있고, 'fonttype:system'은 해당 폰트가 시스템 폰트를 사용하여 표시됨을 의미할 수 있고, 그리고 'font size:50'는 해당 텍스트가 50의 폰트 사이즈로 표시됨을 의미할 수 있다. 전술한 제 1 프로그램 코드에 대응하는 LQA 테스트 정보에 대한 구체적인 기재는 예시일 뿐, 본 개시는 상술한 정보 이외의 텍스트에 관련한 추가적인 정보를 더 포함할 수 있다. In this case, 'position:[0.07968745,0.9166667]' may mean position information of the text, 'text:Welcome' may mean displayed text, and 'font:Arial' indicates the font of the text. It may mean displayed as 'Arial', 'fonttype:system' may mean that the corresponding font is displayed using the system font, and 'font size:50' indicates that the text is displayed with a font size of 50. can mean The detailed description of the LQA test information corresponding to the above-described first program code is only an example, and the present disclosure may further include additional information related to text other than the above-described information.

즉, 프로세서(130)는 클라이언트 단말(10)이 테스트 프로시저 정보에 대응하여 서비스에 포함된 복수의 컨텐츠 각각에 대응하여 동작함에 따라 표시되는 텍스트들에 관련한 LQA 텍스트 정보를 수신할 수 있다. That is, the processor 130 may receive LQA text information related to texts displayed as the client terminal 10 operates in response to each of the plurality of contents included in the service in response to the test procedure information.

본 개시의 일 실시예에 따르면, 프로세서(130)는 LQA 테스트 정보에 기초하여 정상 동작 여부를 판단하여 테스트 리포트를 생성할 수 있다. 구체적으로, 프로세서(130)는 LQA 테스트 정보를 하나 이상의 테스트 케이스 각각에 기초하여 정상 동작 여부를 판단하여 테스트 리포트를 생성할 수 있다. 하나 이상의 테스트 케이스는, 제 1 테스트 케이스, 제 2 테스트 케이스, 제 3 테스트 케이스, 제 4 테스트 케이스 및 제 5 테스트 케이스 중 적어도 하나를 포함할 수 있다.According to an embodiment of the present disclosure, the processor 130 may generate a test report by determining whether a normal operation is performed based on the LQA test information. Specifically, the processor 130 may generate a test report by determining whether the LQA test information is operating normally based on each of one or more test cases. The one or more test cases may include at least one of a first test case, a second test case, a third test case, a fourth test case, and a fifth test case.

테스트 리포트는, 테스트를 수행하고자 하는 사용자(예컨대, 개발자)로 하여금 어플리케이션을 통해 구동되는 서비스에 포함된 복수의 텍스트 각각의 품질이 사전 결정된 기준 품질 이하임을 인식시키기 위한 정보일 수 있다. 또한, 테스트 리포트는, 하나 이상의 테스트 케이스 각각에 관련한 오류 정보 및 상기 오류 정보 각각에 대응하는 오류 위치 식별 정보를 포함할 수 있다. 하나 이상의 테스트 케이스 각각에 대응하는 오류 위치 식별 정보는, 특정 텍스트의 품질이 사전 결정된 기준 품질 이하인 경우, 대상 어플리케이션에 관련한 서비스에 포함된 복수의 서비스 항목 중 해당 텍스트가 포함된 서비스 항목과 관련한 정보일 수 있다. 예를 들어, 대상 어플리케이션이 게임과 관련한 서비스를 포함하는 경우, 게임 서비스에서 제 1 퀘스트를 수행하는 과정에서 제 1 NPC와의 연계 플레이에서 표시되는 텍스트의 품질이 사전 결정된 기준 텍스트 품질 이하인 경우, 오류 위치 식별 정보는, '제 1 NPC와의 연계 플레이에서 표시되는 대화창'이라는 식별 정보를 포함할 수 있다. 즉, 오류 위치 식별 정보는 게임 서비스 내 포함된 복수의 콘텐츠 중 텍스트의 오류가 발견된 특정 콘텐츠에 관한 정보를 포함할 수 있다. 이에 따라, 테스트를 수행하고자 하는 사용자는 테스트 리포트를 통해 서비스 내 포함된 특정 텍스트의 품질이 사전 결정된 이하임을 인지할 수 있으며, 해당 텍스트(즉, 오류가 발견된 텍스트)가 위치하는 서비스 항목에 대응하는 구간을 식별할 수 있다. 전술한 오류 위치 식별 정보에 대한 구체적인 기재는 예시일 뿐, 본 개시는 이에 제한되지 않는다.The test report may be information for allowing a user (eg, a developer) to perform a test to recognize that the quality of each of a plurality of texts included in a service driven through an application is less than or equal to a predetermined reference quality. In addition, the test report may include error information related to each of one or more test cases and error location identification information corresponding to each of the error information. The error location identification information corresponding to each of the one or more test cases is information related to a service item including the text among a plurality of service items included in the service related to the target application when the quality of the specific text is less than or equal to the predetermined reference quality can For example, if the target application includes a game-related service, the quality of the text displayed in the linked play with the first NPC in the process of performing the first quest in the game service is less than or equal to the predetermined reference text quality, the error location The identification information may include identification information such as 'a dialog window displayed in linked play with the first NPC'. That is, the error location identification information may include information about a specific content in which a text error is found among a plurality of content included in the game service. Accordingly, the user who wants to perform the test can recognize that the quality of the specific text included in the service is below a predetermined level through the test report, and respond to the service item in which the corresponding text (that is, the text in which the error is found) is located. section can be identified. The detailed description of the above-described error location identification information is only an example, and the present disclosure is not limited thereto.

프로세서(130)는 LQA 테스트 정보를 제 1 테스트 케이스에 기초하여 정상 동작 여부를 판단하여 테스트 리포트를 생성할 수 있다. 제 1 테스트 케이스는, 어플리케이션에 관련된 서비스에 포함된 복수의 텍스트 중 타겟 언어 이외의 타 언어가 포함되어 있는지 여부를 식별하기 위한 테스트를 포함할 수 있다. 구체적으로, 어플리케이션에 관련된 서비스는 다양한 국가로 제공될 수 있으며, 각각의 국가로 제공되는 경우, 서비스에 포함된 복수의 텍스트에 대한 번역이 필요할 수 있다. 어플리케이션에 관련된 서비스가 다양한 국가로 제공되는 과정에서, 해당 서비스에 포함된 복수의 텍스트 중 일부 텍스트에 대한 번역 요청이 누락되거나, 각 국가별 언어에 대한 사용자(예컨대, 개발자)의 취합 실수가 발생하는 경우, 일부의 텍스트가 의도하는 언어(즉, 타켓 언어) 이외의 다른 언어로 표시되거나 또는, 번역되지 않은 기존 언어로 표시될 수 있다. 즉, 제 1 테스트 케이스는 상술한 바와 같은 상황에서 서비스에 포함된 복수의 텍스트 중 미번역된 텍스트가 존재하는지 여부 및 번역을 수행하고자 하는 타겟 언어와 상이한 언어에 대한 텍스트가 서비스에 노출되는지 여부를 판별하기 위한 테스트일 수 있다. The processor 130 may generate a test report by determining whether the LQA test information is operating normally based on the first test case. The first test case may include a test for identifying whether a language other than the target language is included among a plurality of texts included in the service related to the application. Specifically, the service related to the application may be provided in various countries, and when provided to each country, it may be necessary to translate a plurality of texts included in the service. In the process of providing an application-related service to various countries, a translation request for some texts among a plurality of texts included in the service is omitted, or a user (eg, a developer) mistake in the language of each country occurs. In this case, some texts may be displayed in a language other than the intended language (ie, the target language), or may be displayed in an existing untranslated language. That is, the first test case determines whether there is an untranslated text among a plurality of texts included in the service in the above-described situation and whether texts for a language different from the target language to be translated are exposed to the service. It may be a test for

구체적인 예를 들어, 도 4를 참조하면, 대상 어플리케이션은 게임과 관련한 서비스를 포함할 수 있으며, 일본 로컬의 사용자들에게 서비스를 제공하기 위해 해당 게임 서비스는 일본어로 번역된 복수의 텍스트를 포함할 수 있다. 도 4에 도시되는 바와 같이, 텍스트가 표시되는 텍스트 컨테이너 영역(400)에는 복수의 텍스트가 노출될 수 있으며, 상기 복수의 텍스트는 3개의 텍스트 문자열(제 1 텍스트 문자열(410), 제 2 텍스트 문자열(430) 및 제 3 텍스트 문자열(420))을 포함할 수 있다. 이 경우, 제 1 텍스트 문자열(410) 및 제 3 텍스트 문자열(420)은 타겟 언어(즉, 일본어)와 동일한 언어일 수 있으며, 제 2 텍스트 문자열(430)은 타겟 언어(즉, 일본어)와 상이한 언어인 중국어일 수 있다. 즉, 제 1 테스트 케이스는 상술한 예시와 같이, 서비스에 포함된 복수의 텍스트 중 타겟 언어와 상이한 언어로 표시된 텍스트가 존재하는지 여부를 식별하기 위한 테스트일 수 있다. 전술한, 어플리케이션을 통해 노출되는 복수의 텍스트에 관한 구체적인 기재는 예시일 뿐, 본 개시는 이에 제한되지 않는다. For a specific example, referring to FIG. 4 , a target application may include a service related to a game, and in order to provide a service to users in Japan, the game service may include a plurality of texts translated into Japanese. have. As shown in FIG. 4 , a plurality of texts may be exposed in the text container area 400 in which text is displayed, and the plurality of texts includes three text strings (a first text string 410 and a second text string). 430 and a third text string 420). In this case, the first text string 410 and the third text string 420 may be in the same language as the target language (ie, Japanese), and the second text string 430 may be different from the target language (ie, Japanese). The language may be Chinese. That is, the first test case may be a test for identifying whether a text displayed in a language different from the target language among a plurality of texts included in the service exists, as in the above-described example. The above-described detailed description of a plurality of texts exposed through an application is merely an example, and the present disclosure is not limited thereto.

자세히 설명하면, 프로세서(130)는 클라이언트 단말(10)에 테스트 프로시저 정보를 전송하여 대상 어플리케이션이 구동되도록 야기시킬 수 있다. 또한, 클라이언트 단말(10)이 테스트 프로시저 정보에 대응하여 서비스에 관련한 동작(즉, 서비스에 포함된 복수의 텍스트 각각을 로딩시키기 위한 동작)들을 수행하고자 대상 어플리케이션으로 프로그램 코드를 전송할 수 있다. 이 경우, 프로세서(130)는 해당 프로그램 코드에 대응하는 LQA 테스트 정보를 수신할 수 있으며, 상기 LQA 테스트 정보는 대상 어플리케이션에 관련한 서비스에 포함된 복수의 텍스트 각각에 관련한 정보를 포함할 수 있다.In more detail, the processor 130 may cause the target application to be driven by transmitting the test procedure information to the client terminal 10 . Also, the client terminal 10 may transmit a program code to a target application to perform service-related operations (ie, an operation for loading each of a plurality of texts included in the service) in response to the test procedure information. In this case, the processor 130 may receive LQA test information corresponding to the corresponding program code, and the LQA test information may include information related to each of a plurality of texts included in a service related to a target application.

또한, 프로세서(130)는 LQA 테스트 정보에 기초하여 복수의 텍스트 각각의 유니코드가 타겟 언어의 유니코드에 사전 맵핑된 언어 그룹에 포함되는지 여부를 식별할 수 있다. 구체적으로, 어플리케이션에 관련된 서비스가 제공되는 다양한 국가에 대응하는 복수의 텍스트 각각의 유니코드들은 상기 다양한 국가 각각에 대응하는 언어 그룹으로 사전 맵핑될 수 있다. LQA 테스트 정보를 수신하는 경우, 프로세서(130)는 해당 LQA 테스트 정보에 포함된 텍스트의 유니코드가 타겟 언어의 유니코드에 사전 맵핑된 언어 그룹에 포함되는지 여부를 식별할 수 있다.In addition, the processor 130 may identify whether the Unicode of each of the plurality of texts is included in the language group pre-mapped to the Unicode of the target language based on the LQA test information. Specifically, Unicode of each of a plurality of texts corresponding to various countries in which application-related services are provided may be pre-mapped to a language group corresponding to each of the various countries. When receiving the LQA test information, the processor 130 may identify whether the Unicode of the text included in the corresponding LQA test information is included in the language group pre-mapped to the Unicode of the target language.

또한, 프로세서(130)는 LQA 테스트 정보에 포함된 텍스트의 유니코드 중 적어도 하나가 타겟 언어의 유니코드가 사전 맵핑된 언어 그룹에 포함되지 않는 경우, 해당 텍스트가 제 1 테스트 케이스에 관련된 비정상 동작이라는 노티를 포함하는 테스트 리포트를 생성할 수 있다. 이 경우, 테스트 리포트는 상기 제 1 테스트 케이스에 관련하여 비정상 동작이 식별된 서비스 항목에 대한 위치 식별 정보를 포함할 수 있다. 즉, 테스트 리포트는 서비스에 포함된 복수의 서비스 항목 중 비정상 동작(즉, 타겟 언어와 상이한 언어가 노출)이 식별된 서비스 항목에 대한 위치 식별 정보를 포함할 수 있다.In addition, when at least one Unicode of the text included in the LQA test information is not included in the language group to which the Unicode of the target language is pre-mapped, the processor 130 determines that the text is an abnormal operation related to the first test case. You can create test reports that include notifications. In this case, the test report may include location identification information for a service item in which an abnormal operation is identified in relation to the first test case. That is, the test report may include location identification information for a service item in which an abnormal operation (ie, a language different from the target language is exposed) among a plurality of service items included in the service is identified.

예를 들어, 타겟 언어의 유니코드가 제 1 언어 그룹(영어)으로 사전 맵핑되어 있으며, LQA 테스트 정보에 포함된 제 1 텍스트 대응하는 유니코드가 상기 제 1 언어 그룹에 포함됨을 식별한 경우, 프로세서(130)는 상기 제 1 텍스트가 적정한 것(즉, 정상 동작)으로 판단할 수 있다. For example, when it is identified that the Unicode of the target language is pre-mapped to the first language group (English) and the Unicode corresponding to the first text included in the LQA test information is included in the first language group, the processor Reference numeral 130 may determine that the first text is appropriate (ie, normal operation).

다른 예를 들어, 타겟 언어의 유니코드가 제 2 언어 그룹(일본어)으로 사전 맵핑되어 있으며, LQA 테스트 정보에 포함된 제 2 텍스트에 대응하는 유니코드가 상기 제 2 언어 그룹에 포함되지 않음을 식별한 경우, 프로세서(130)는 상기 제 2 텍스트에 대한 번역이 적정하지 않은 것으로 판단하여 상기 제 2 텍스트가 제 1 테스트 케이스에 관련된 비정상 동작이라는 노티를 포함하는 테스트 리포트를 생성할 수 있다. 전술한, 타겟 언어가 포함된 언어 그룹 및 LQA 테스트 정보에 포함된 텍스트의 유니코드에 관한 구체적인 기재는 예시일 뿐, 본 개시는 이에 제한되지 않는다.As another example, it is identified that the Unicode of the target language is pre-mapped to the second language group (Japanese), and the Unicode corresponding to the second text included in the LQA test information is not included in the second language group. In one case, the processor 130 may determine that the translation of the second text is not appropriate, and may generate a test report including a notification that the second text is an abnormal operation related to the first test case. The above-described specific description of the language group including the target language and the Unicode of the text included in the LQA test information is merely an example, and the present disclosure is not limited thereto.

프로세서(130)는 LQA 테스트 정보를 제 2 테스트 케이스에 기초하여 정상 동작 여부를 판단하여 테스트 리포트를 생성할 수 있다. 제 2 테스트 케이스는, 어플리케이션에 관련된 서비스에 포함된 복수의 텍스트가 타겟 폰트 이외의 타 폰트로 표시되는지 여부를 식별하기 위한 테스트를 포함할 수 있다. 구체적으로, 어플리케이션에 관련된 서비스는 다양한 국가로 제공될 수 있으며, 각각의 국가로 제공되는 경우, 서비스에 포함된 복수의 텍스트에 대한 번역이 필요할 수 있다. 어플리케이션에 관련된 서비스가 다양한 국가로 제공되는 과정에서, 해당 서비스에 포함된 복수의 텍스트에 대한 번역 텍스트에 원빌드 폰트를 적용하는 경우, 일부 언어 종류에 대응하는 텍스트들(예컨대, 한자인 중문간체, 번체, 일본 신체 등)은 각각의 형상이 다소 상이할 수 있다. 동일한 텍스트에 대응하는 형상이 다소 상이함에 따라, 해당 텍스트들에 대한 메인 폰트와 함께 서브 폰트를 제공하여 해당 텍스트의 폰트에 대한 통일성을 보장할 수 있다. 다만, 개발자가 다양한 언어 각각에 대응하는 폰트(메인 폰트 및 서브 폰트)를 누락하거나, 또는 오 구현하는 경우, 텍스트가 의도한 폰트와 상이한 폰트로 처리되어 노출될 수 있다. 즉, 제 2 테스트 케이스는 상술한 바와 같은 상황에서 서비스에 포함된 복수의 텍스트 중 의도하지 않은 폰트가 사용되고 있는지 여부를 판별하기 위한 테스트일 수 있다.The processor 130 may generate a test report by determining whether the LQA test information is operating normally based on the second test case. The second test case may include a test for identifying whether a plurality of texts included in a service related to an application are displayed in a font other than the target font. Specifically, the service related to the application may be provided in various countries, and when provided to each country, it may be necessary to translate a plurality of texts included in the service. When a one-build font is applied to the translated text for a plurality of texts included in the service in the process of providing an application-related service to various countries, texts corresponding to some language types (eg, Chinese characters, simplified Chinese characters, Traditional, Japanese body, etc.) may have slightly different shapes. As the shapes corresponding to the same text are somewhat different, the unity of the fonts of the corresponding texts can be guaranteed by providing the sub fonts together with the main fonts for the corresponding texts. However, if the developer omits the fonts (main font and sub font) corresponding to each of the various languages or implements it incorrectly, the text may be processed and exposed as a font different from the intended font. That is, the second test case may be a test for determining whether an unintended font among a plurality of texts included in the service is used in the above-described situation.

구체적인 예를 들어, 도 5을 참조하면, 대상 어플리케이션은 게임과 관련한 서비스를 포함할 수 있으며, 한국 로컬의 사용자들에게 서비스를 제공하기 위해 해당 게임 서비스는 한국어로 번역된 복수의 텍스트를 포함할 수 있다. 도 5에 도시되는 바와 같이, 텍스트가 표시되는 텍스트 컨테이너 영역(500)에는 복수의 텍스트 노출될 수 있으며, 상기 복수의 텍스트는 3개의 텍스트 문자열(제 1 텍스트 문자열(510), 제 2 텍스트 문자열(520) 및 제 3 텍스트 문자열(530))을 포함할 수 있다. 이 경우, 제 1 텍스트 문자열(510) 및 제 2 텍스트 문자열(520)은 타겟 폰트와 동일한 폰트일 수 있으며, 제 3 텍스트 문자열(530)은 타겟 폰트와 상이한 폰트일 수 있다. 즉, 제 2 테스트 케이스는 상술한 예시와 같이, 서비스에 포함된 복수의 텍스트 중 타겟 폰트와 상이한 폰트로 표시된 텍스트 존재하는지 여부를 식별하기 위한 테스트일 수 있다. 전술한, 어플리케이션을 통해 노출되는 복수의 텍스트에 관한 구체적인 기재는 예시일 뿐, 본 개시는 이에 제한되지 않는다. For a specific example, referring to FIG. 5 , a target application may include a service related to a game, and in order to provide a service to local users in Korea, the game service may include a plurality of texts translated into Korean. have. As shown in FIG. 5 , a plurality of texts may be exposed in the text container area 500 in which text is displayed, and the plurality of texts includes three text strings (a first text string 510 and a second text string ( 520) and a third text string 530). In this case, the first text string 510 and the second text string 520 may be the same font as the target font, and the third text string 530 may be a font different from the target font. That is, as in the above-described example, the second test case may be a test for identifying whether there is a text displayed in a font different from the target font among a plurality of texts included in the service. The above-described detailed description of a plurality of texts exposed through an application is merely an example, and the present disclosure is not limited thereto.

자세히 설명하면, 프로세서(130)는 클라이언트 단말(10)에 테스트 프로시저 정보를 전송하여 대상 어플리케이션이 구동되도록 야기시킬 수 있다. 또한, 클라이언트 단말(10)이 테스트 프로시저 정보에 대응하여 서비스에 관련한 동작(즉, 서비스에 포함된 복수의 텍스트 각각을 로딩시키기 위한 동작)들을 수행하고자 대상 어플리케이션으로 프로그램 코드를 전송할 수 있다. 이 경우, 프로세서(130)는 해당 프로그램 코드에 대응하는 LQA 테스트 정보를 수신할 수 있으며, 상기 LQA 테스트 정보는 대상 어플리케이션에 관련한 서비스에 포함된 복수의 텍스트 각각에 관련한 정보를 포함할 수 있다.In more detail, the processor 130 may cause the target application to be driven by transmitting the test procedure information to the client terminal 10 . Also, the client terminal 10 may transmit a program code to a target application to perform service-related operations (ie, an operation for loading each of a plurality of texts included in the service) in response to the test procedure information. In this case, the processor 130 may receive LQA test information corresponding to the corresponding program code, and the LQA test information may include information related to each of a plurality of texts included in a service related to a target application.

또한, 프로세서(130)는 LQA 테스트 정보에 기초하여 상기 복수의 텍스트 각각의 폰트 정보를 식별할 수 있다. 프로세서(130)는 복수의 텍스트 각각의 폰트 정보에 기초하여 상기 복수의 텍스트 중 적어도 하나가 사전 결정된 폰트 정보와 상이함을 식별하는 경우, 해당 텍스트가 상기 제 2 테스트 케이스에 관련된 비정상 동작이라는 노티를 포함하는 테스트 리포트를 생성할 수 있다. Also, the processor 130 may identify font information of each of the plurality of texts based on the LQA test information. When the processor 130 identifies that at least one of the plurality of texts is different from the predetermined font information based on the font information of each of the plurality of texts, the processor 130 notifies that the corresponding text is an abnormal operation related to the second test case. You can create a test report that includes

예를 들어, 타겟 폰트가 제 1 폰트이며, LQA 테스트 정보에 포함된 제 1 텍스트의 폰트가 제 1 폰트인 경우, 프로세서(130)는 타겟 폰트와 LQA 테스트 정보를 통해 식별된 폰트가 동일한 것을 식별하여 상기 제 1 텍스트가 적정한 것(즉, 정상 동작)으로 판단할 수 있다. For example, if the target font is the first font and the font of the first text included in the LQA test information is the first font, the processor 130 identifies that the target font and the font identified through the LQA test information are the same Accordingly, it can be determined that the first text is appropriate (ie, a normal operation).

다른 예를 들어, 타겟 폰트의 제 2 폰트이며, LQA 테스트 정보에 포함된 제 2 텍스트의 폰트가 제 3 폰트인 경우, 프로세서(130)는 타겟 폰트와 LQA 테스트 정보를 통해 식별된 폰트가 서로 상이한 것을 식별하여 상기 제 2 텍스트가 적정하지 않은 것으로 판단하여 상기 제 2 텍스트가 제 2 테스트 케이스에 관련된 비정상 동작이라는 노티를 포함하는 테스트 리포트를 생성할 수 있다. 전술한, 타겟 폰트 및 LQA 테스트 정보에 포함된 텍스트의 폰트에 대한 구체적인 기재는 예시일 뿐, 본 개시는 이에 제한되지 않는다. For another example, if it is the second font of the target font and the font of the second text included in the LQA test information is the third font, the processor 130 determines that the target font and the font identified through the LQA test information are different from each other. It is possible to generate a test report including a notice that the second text is an abnormal operation related to the second test case by identifying that the second text is not appropriate. The above-described specific description of the target font and the font of the text included in the LQA test information is merely an example, and the present disclosure is not limited thereto.

프로세서(130)는 LQA 테스트 정보를 제 3 테스트 케이스에 기초하여 정상 동작 여부를 판단하여 테스트 리포트를 생성할 수 있다. 제 3 테스트 케이스는, 어플리케이션에 관련된 서비스에 포함된 복수의 테스트 각각의 가독성의 문제 유무를 판별하기 위한 테스트를 포함할 수 있다. 구체적으로, 어플리케이션에 관련된 서비스는 다양한 국가로 제공될 수 있으며, 각각의 국가로 제공되는 경우, 서비스에 포함된 복수의 텍스트에 대한 번역이 필요할 수 있다. 어플리케이션에 관련된 서비스가 다양한 국가로 제공되는 과정에서, 해당 서비스에 포함된 복수의 텍스트에 대한 번역이 수행되는 경우, 띄어쓰기가 존재하지 않은 일부 언어 종류(예컨대, 중문간체, 대만번체, 일본어, 태국어 등)에 대응하는 텍스트들은 텍스트 자동 조절 기능에 의해 매우 작아질 수 있다. 텍스트 자동 조절 기능은, 복수의 텍스트들에 대한 번역이 수행되는 경우, 각각의 언어 종류에 따라 문장이 길어짐에 따라 텍스트가 텍스트 컨테이너를 벗어나는 것을 방지하기 위해 문자열 사이의 공백을 기준으로 자동 줄 바꿈을 수행하거나 텍스트의 크기를 줄이는 동작과 관련된 기능일 수 있다. 다시 말해, 일부 언어 종류에 대응하는 텍스트들은 띄어쓰기가 존재하지 않아 텍스트 자동 조절 기능에 따라 매우 작은 크기로 노출(즉, 공백에 따른 줄 바꿈이 수행되지 않고, 텍스트 크기만 작아짐)될 수 있다. 즉, 제 3 테스트 케이스는 상술한 바와 같은 상황에서 서비스에 포함된 복수의 텍스트가 텍스트 자동 조절 기능을 통해 매우 작아져 해당 텍스트에 대한 가독성에 대한 문제가 발생하는지 여부를 식별하기 위한 테스트일 수 있다. The processor 130 may generate a test report by determining whether the LQA test information is operating normally based on the third test case. The third test case may include a test for determining whether there is a readability problem in each of a plurality of tests included in an application-related service. Specifically, the service related to the application may be provided in various countries, and when provided to each country, it may be necessary to translate a plurality of texts included in the service. In the process of providing application-related services to various countries, when translation of a plurality of texts included in the service is performed, some language types without spaces (e.g., Simplified Chinese, Traditional Taiwanese, Japanese, Thai, etc.) ) can be made very small by the automatic text adjustment function. The text auto-adjustment function automatically adjusts line breaks based on the space between strings to prevent text from leaving the text container as the sentence lengthens according to each language type when a plurality of texts are translated. It may be a function related to an action to perform or reduce the size of the text. In other words, since there is no space in texts corresponding to some language types, the text may be exposed in a very small size according to the automatic text adjustment function (ie, line breaks according to spaces are not performed, and only the text size is reduced). That is, the third test case may be a test for identifying whether a plurality of texts included in the service become very small through the automatic text adjustment function in the situation as described above, and a problem with the readability of the corresponding text occurs. .

구체적인 예를 들어, 도 6을 참조하면, 대상 어플리케이션은 게임과 관련한 서비스를 포함할 수 있으며, 일본 로컬의 사용자들에게 서비스를 제공하기 위해 해당 게임 서비스는 일본어로 번역된 복수의 텍스트(610)를 포함할 수 있다. 도 6에 도시되는 바와 같이, 텍스트가 표시되는 텍스트 컨테이너 영역(600)에 복수의 텍스트가 노출될 수 있으며, 상기 복수의 텍스트(610)들은 띄어쓰기가 존재하지 않은 일본어로 번역됨에 따라, 자동 줄 바꿈이 수행되지 않아 크기가 매우 작아질 수 있다. 즉, 제 3 테스트 케이스는 상술한 예시와 같이, 서비스에 포함된 복수의 텍스트 중 사전 결정된 텍스트 크기 이하로 표시되어 가독성이 좋지 않은 텍스트를 식별하기 위한 테스트일 수 있다. 전술한, 어플리케이션을 통해 노출되는 복수의 텍스트에 관한 구체적인 기재는 예시일 뿐, 본 개시는 이에 제한되지 않는다. As a specific example, referring to FIG. 6 , the target application may include a service related to a game, and in order to provide a service to users in Japan, the game service provides a plurality of texts 610 translated into Japanese. may include As shown in FIG. 6 , a plurality of texts may be exposed in a text container area 600 in which text is displayed, and the plurality of texts 610 are translated into Japanese in which spaces do not exist, so line breaks are automatic. If this is not done, the size can be very small. That is, as in the example described above, the third test case may be a test for identifying text that is displayed with a text size smaller than a predetermined text size from among a plurality of texts included in the service and has poor readability. The above-described detailed description of a plurality of texts exposed through an application is merely an example, and the present disclosure is not limited thereto.

자세히 설명하면, 프로세서(130)는 클라이언트 단말(10)에 테스트 프로시저 정보를 전송하여 대상 어플리케이션이 구동되도록 야기시킬 수 있다. 또한, 클라이언트 단말(10)이 테스트 프로시저 정보에 대응하여 서비스에 관련한 동작(즉, 서비스에 포함된 복수의 텍스트 각각을 로딩시키기 위한 동작)들을 수행하고자 대상 어플리케이션으로 프로그램 코드를 전송할 수 있다. 이 경우, 프로세서(130)는 해당 프로그램 코드에 대응하는 LQA 테스트 정보를 수신할 수 있으며, 상기 LQA 테스트 정보는 대상 어플리케이션에 관련한 서비스에 포함된 복수의 텍스트 각각에 관련한 정보를 포함할 수 있다.In more detail, the processor 130 may cause the target application to be driven by transmitting the test procedure information to the client terminal 10 . Also, the client terminal 10 may transmit a program code to a target application to perform service-related operations (ie, an operation for loading each of a plurality of texts included in the service) in response to the test procedure information. In this case, the processor 130 may receive LQA test information corresponding to the corresponding program code, and the LQA test information may include information related to each of a plurality of texts included in a service related to a target application.

프로세서(130)는 LQA 테스트 정보에 기초하여 서비스에 포함된 복수의 텍스트 각각의 크기 정보를 식별할 수 있다. 또한, 프로세서(130)는 상기 복수의 텍스트 각각의 크기 정보에 기초하여 상기 복수의 텍스트 중 적어도 하나가 사전 결정된 텍스트 크기 이하임을 식별하는 경우, 해당 텍스트가 상기 제 3 테스트 케이스에 관련된 비정상 동작이라는 노티를 포함하는 테스트 리포트를 생성할 수 있다. The processor 130 may identify size information of each of the plurality of texts included in the service based on the LQA test information. Also, when the processor 130 identifies that at least one of the plurality of texts is smaller than or equal to a predetermined text size based on the size information of each of the plurality of texts, the processor 130 notifies that the corresponding text is an abnormal operation related to the third test case. You can create a test report that includes

예를 들어, 사전 결정된 텍스트 크기가 '10'이며, LQA 테스트 정보에 포함된 제 1 텍스트의 크기가 '11'인 경우, 프로세서(130)는 제 1 텍스트의 크기가 사전 결정된 텍스트 크기 보다 큰 것을 식별하여 상기 제 1 텍스트가 적정한 것(즉, 정상 동작)으로 판단할 수 있다. For example, when the predetermined text size is '10' and the size of the first text included in the LQA test information is '11', the processor 130 determines that the size of the first text is larger than the predetermined text size. By identifying it, it can be determined that the first text is appropriate (ie, normal operation).

다른 예를 들어, 사전 결정된 텍스트 크기가 '10'이며, LQA 테스트 정보에 포함된 제 2 텍스트의 크기가 '7'인 경우, 프로세서(130)는 제 2 텍스트의 크기가 사전 결정된 텍스트 크기 이하임을 식별하여 상기 제 2 텍스트가 제 3 테스트 케이스에 관련된 비정상 동작이라는 노티를 포함하는 테스트 리포트를 생성할 수 있다. 전술한 사전 결정된 텍스트 크기 및 LQA 테스트 정보에 포함된 텍스트 크기에 대한 구체적인 수치에 대한 기재는 예시일 뿐, 본 개시는 이에 제한되지 않는다.For another example, if the predetermined text size is '10' and the size of the second text included in the LQA test information is '7', the processor 130 determines that the size of the second text is less than or equal to the predetermined text size. By identifying, a test report including a notice that the second text is an abnormal operation related to the third test case may be generated. The above-described predetermined text size and description of specific numerical values for the text size included in the LQA test information are merely examples, and the present disclosure is not limited thereto.

프로세서(130)는 LQA 테스트 정보를 제 4 테스트 케이스에 기초하여 정상 동작 여부를 판단하여 테스트 리포트를 생성할 수 있다. 제 4 테스트 케이스는, 어플리케이션에 관련된 서비스에 포함된 복수의 텍스트 각각이 상기 복수의 텍스트 각각에 대응하는 텍스트 컨테이너 영역을 벗어나는지 여부를 판별하기 위한 테스트를 포함할 수 있다. 구체적으로, 어플리케이션에 관련된 서비스는 다양한 국가로 제공될 수 있으며, 각각의 국가로 제공되는 경우, 서비스에 포함된 복수의 텍스트에 대한 번역이 필요할 수 있다. 어플리케이션에 관련된 서비스가 다양한 국가로 제공되는 과정에서, 해당 서비스에 포함된 복수의 텍스트가 번역됨에 따라 텍스트의 길이가 기존 텍스트에 비해 길어지는 경우(예컨대, 한글 대비 영어의 단어 길이는 약 2배임에 따라 번역 시, 텍스트가 길어지는 경우), 복수의 텍스트가 상기 복수의 텍스트의 표시 영역인 텍스트 컨테이너를 벗어날 수 있다. 즉, 제 4 테스트 케이스는 상술한 바와 같은 상황에서 서비스에 포함된 복수의 텍스트가 상기 복수의 텍스트 각각에 대응하는 텍스트 컨테이너를 벗어나는지 여부를 판별하기 위한 테스트일 수 있다. The processor 130 may generate a test report by determining whether the LQA test information is operating normally based on the fourth test case. The fourth test case may include a test for determining whether each of a plurality of texts included in an application-related service is outside a text container area corresponding to each of the plurality of texts. Specifically, the service related to the application may be provided in various countries, and when provided to each country, it may be necessary to translate a plurality of texts included in the service. In the process of providing an application-related service to various countries, as a plurality of texts included in the service are translated, the length of the text becomes longer than that of the existing text (for example, the length of a word in English compared to Korean is about twice as long) Accordingly, when the text becomes long during translation), the plurality of texts may leave the text container that is the display area of the plurality of texts. That is, the fourth test case may be a test for determining whether a plurality of texts included in a service are out of a text container corresponding to each of the plurality of texts in the above-described situation.

구체적인 예를 들어, 도 7을 참조하면, 대상 어플리케이션을 게임과 관련된 서비스를 포함할 수 있으며, 미국 로컬의 사용자들에게 서비스를 제공하기 위해 해당 게임 서비스는 영어로 번역된 복수의 텍스트(710)를 포함할 수 있다. 도 7에 도시되는 바와 같이, 텍스트가 표시되는 텍스트 컨테이너 영역(700)에 복수의 텍스트가 노출될 수 있으며, 복수의 텍스트들에 대한 번역이 수행됨에 따라, 상기 복수의 텍스트의 길이가 길어져 텍스트 컨테이너 영역을 벗어날 수 있다. 즉, 제 4 테스트 케이스는 상술한 예시와 같이, 서비스에 포함된 복수의 텍스트 중 상기 복수의 텍스트 각각에 대응하는 텍스트 컨테이너를 벗어나는지 여부를 식별하기 위한 테스트일 수 있다. As a specific example, referring to FIG. 7 , a target application may include a service related to a game, and in order to provide a service to local users in the United States, the game service provides a plurality of texts 710 translated into English. may include As shown in FIG. 7 , a plurality of texts may be exposed in a text container area 700 in which text is displayed, and as translation of the plurality of texts is performed, the lengths of the plurality of texts become longer and thus the text container. can leave the area. That is, as in the above example, the fourth test case may be a test for identifying whether or not the text container corresponding to each of the plurality of texts among the plurality of texts included in the service is out of the text container.

자세히 설명하면, 프로세서(130)는 클라이언트 단말(10)에 테스트 프로시저 정보를 전송하여 대상 어플리케이션이 구동되도록 야기시킬 수 있다. 또한, 클라이언트 단말(10)이 테스트 프로시저 정보에 대응하여 서비스에 관련한 동작(즉, 서비스에 포함된 복수의 텍스트 각각을 로딩시키기 위한 동작)들을 수행하고자 대상 어플리케이션으로 프로그램 코드를 전송할 수 있다. 이 경우, 프로세서(130)는 해당 프로그램 코드에 대응하는 LQA 테스트 정보를 수신할 수 있으며, 상기 LQA 테스트 정보는 대상 어플리케이션에 관련한 서비스에 포함된 복수의 텍스트 각각에 관련한 정보를 포함할 수 있다.In more detail, the processor 130 may cause the target application to be driven by transmitting the test procedure information to the client terminal 10 . Also, the client terminal 10 may transmit a program code to a target application to perform service-related operations (ie, an operation for loading each of a plurality of texts included in the service) in response to the test procedure information. In this case, the processor 130 may receive LQA test information corresponding to the corresponding program code, and the LQA test information may include information related to each of a plurality of texts included in a service related to a target application.

프로세서(130)는 LQA 테스트 정보에 기초하여 복수의 텍스트 각각의 크기 정보 및 복수의 텍스트 각각에 대응하는 텍스트 컨테이너 정보를 식별할 수 있다. 또한, 프로세서(130)는 복수의 텍스트 각각의 크기 정보 및 복수의 텍스트 각각에 대응하는 텍스트 컨테이너 정보에 기초하여 복수의 텍스트 각각이 복수의 텍스트 각각에 대응하는 텍스트 컨테이너를 벗어나는지 여부를 판별할 수 있다. 예를 들어, 프로세서(130)는 복수의 텍스트 각각의 문자열의 길이와 상기 복수의 텍스트 각각에 대응하는 텍스트 컨테이너의 가로/세로 값을 대조하여 복수의 텍스트가 상기 복수의 텍스트 각각에 대응하는 텍스트 컨테이너를 벗어나는지 여부를 판별할 수 있다. The processor 130 may identify size information of each of the plurality of texts and text container information corresponding to each of the plurality of texts based on the LQA test information. In addition, the processor 130 may determine whether each of the plurality of texts is out of a text container corresponding to each of the plurality of texts based on the size information of each of the plurality of texts and the text container information corresponding to each of the plurality of texts. have. For example, the processor 130 compares the length of each string of a plurality of texts with horizontal/vertical values of a text container corresponding to each of the plurality of texts so that a plurality of texts is a text container corresponding to each of the plurality of texts. It can be determined whether or not

또한, 프로세서(130)는 상기 복수의 텍스트 중 적어도 하나가 상기 복수의 텍스트 각각에 대응하는 텍스트 컨테이너를 벗어남을 판별한 경우, 해당 텍스트가 상기 제 4 테스트 케이스에 관련된 비정상 동작이라는 노티를 포함하는 테스트 리포트를 생성할 수 있다.In addition, when the processor 130 determines that at least one of the plurality of texts is out of a text container corresponding to each of the plurality of texts, the test including a notification that the corresponding text is an abnormal operation related to the fourth test case You can create a report.

예를 들어, 제 1 텍스트 문자열의 길이가 '10'이며, LQA 테스트 정보가 제 1 텍스트 문자열에 대응하는 제 1 텍스트 컨테이너의 가로 길이가 '12'라는 정보를 포함하는 경우, 프로세서(130)는 제 1 텍스트 문자열이 제 1 텍스트 컨테이너를 벗어나지 않은 것 판별(즉, 정상 동작)할 수 있다. For example, if the length of the first text string is '10' and the LQA test information includes information that the horizontal length of the first text container corresponding to the first text string is '12', the processor 130 may It may be determined that the first text string does not leave the first text container (ie, normal operation).

다른 예를 들어, 제 2 텍스트 문자열의 길이가 '18'이며, LQA 테스트 정보가 제 2 텍스트 문자열에 대응하는 제 2 텍스트 컨테이너의 가로 길이가 '12'라는 정보를 포함하는 경우, 프로세서(130)는 제 2 텍스트 문자열이 제 2 텍스트 컨테이너를 벗어나는 것으로 판별하여 상기 제 2 텍스트 문자열이 제 4 테스트 케이스에 관련된 비정상 동작이라는 노티를 포함하는 테스트 리포트를 생성할 수 있다. 전술한 텍스트 문자열의 길이 및 텍스트 컨테이너의 길이의 구체적인 수치에 대한 기재는 예시일 뿐, 본 개시는 이에 제한되지 않는다. As another example, when the length of the second text string is '18' and the LQA test information includes information that the horizontal length of the second text container corresponding to the second text string is '12', the processor 130 may determine that the second text string is out of the second text container and generate a test report including a notification that the second text string is an abnormal operation related to the fourth test case. Description of the above-described specific values of the length of the text string and the length of the text container is only an example, and the present disclosure is not limited thereto.

프로세서(130)는 LQA 테스트 정보를 제 5 테스트 케이스에 기초하여 정상 동작 여부를 판단하여 테스트 리포트를 생성할 수 있다. 제 5 테스트 케이스는, 어플리케이션에 관련된 서비스에 포함된 복수의 텍스트 각각의 겹침 여부를 판별하기 위한 테스트를 포함할 수 있다. 구체적으로, 어플리케이션에 관련된 서비스는 다양한 국가로 제공될 수 있으며, 각각의 국가로 제공되는 경우, 서비스에 포함된 복수의 텍스트에 대한 번역이 필요할 수 있다. 어플리케이션에 관련된 서비스가 다양한 국가로 제공되는 과정에서, 해당 서비스에 포함된 복수의 텍스트가 번역됨에 따라 상기 복수의 텍스트의 길이 및 크기가 변경될 수 있으며, 복수의 텍스트의 길이 및 크기가 변경됨에 따라 각각의 텍스트들이 겹침 상태로 노출될 수 있다.The processor 130 may generate a test report by determining whether the LQA test information is operating normally based on the fifth test case. The fifth test case may include a test for determining whether each of a plurality of texts included in an application-related service overlaps. Specifically, the service related to the application may be provided in various countries, and when provided to each country, it may be necessary to translate a plurality of texts included in the service. In the process of providing an application-related service to various countries, as a plurality of texts included in the service are translated, the length and size of the plurality of texts may change, and as the length and size of the plurality of texts change Each text may be exposed in an overlapping state.

구체적인 예를 들어, 도 8을 참조하면, 대상 어플리케이션은 게임과 관련된 서비스를 포함할 수 있으며, 일본 로컬의 사용자들에게 서비스를 제공하기 위해 해당 게임 서비스는 일본어로 번역된 복수의 텍스트(810)를 포함할 수 있다. 도 8에 도시되는 바와 같이, 텍스트가 표시되는 텍스트 컨테이너 영역(800)에 복수의 텍스트(810)가 노출될 수 있으며, 복수의 텍스트들이 번역됨에 따라, 상기 복수의 텍스트의 길이 또는 크기가 변경되어 각각의 텍스트가 겹쳐져서 노출될 수 있다. 즉, 제 5 테스트 케이스는 상술한 예시와 같이, 서비스에 포함된 복수의 텍스트 각각에 겹침 여부를 판별하기 위한 테스트일 수 있다.As a specific example, referring to FIG. 8 , a target application may include a service related to a game, and in order to provide a service to users in Japan, the game service provides a plurality of texts 810 translated into Japanese. may include As shown in FIG. 8 , a plurality of texts 810 may be exposed in the text container area 800 in which text is displayed, and as the plurality of texts are translated, the length or size of the plurality of texts is changed. Each text may be overlapped and exposed. That is, the fifth test case may be a test for determining whether or not each of the plurality of texts included in the service overlaps, as in the above-described example.

자세히 설명하면, 프로세서(130)는 클라이언트 단말(10)에 테스트 프로시저 정보를 전송하여 대상 어플리케이션이 구동되도록 야기시킬 수 있다. 또한, 클라이언트 단말(10)이 테스트 프로시저 정보에 대응하여 서비스에 관련한 동작(즉, 서비스에 포함된 복수의 텍스트 각각을 로딩시키기 위한 동작)들을 수행하고자 대상 어플리케이션으로 프로그램 코드를 전송할 수 있다. 이 경우, 프로세서(130)는 해당 프로그램 코드에 대응하는 LQA 테스트 정보를 수신할 수 있으며, 상기 LQA 테스트 정보는 대상 어플리케이션에 관련한 서비스에 포함된 복수의 텍스트 각각에 관련한 정보를 포함할 수 있다.In more detail, the processor 130 may cause the target application to be driven by transmitting the test procedure information to the client terminal 10 . Also, the client terminal 10 may transmit a program code to a target application to perform service-related operations (ie, an operation for loading each of a plurality of texts included in the service) in response to the test procedure information. In this case, the processor 130 may receive LQA test information corresponding to the corresponding program code, and the LQA test information may include information related to each of a plurality of texts included in a service related to a target application.

프로세서(130)는 LQA 테스트 정보에 기초하여 상기 복수의 텍스트 각각의 위치 식별 정보를 획득할 수 있다. 또한, 프로세서(130)는 복수의 텍스트 각각의 위치 식별 정보에 기초하여 상기 복수의 텍스트 중 적어도 두개 이상의 텍스트가 동일 위치로 로딩됨을 판별할 수 있다. 다시 말해, 프로세서(130)는 복수의 텍스트 각각의 위치 식별 정보에 기초하여 적어도 두개 이상의 텍스트 문자열이 중복된 위치에 존재하는지 여부를 판별할 수 있다.The processor 130 may obtain location identification information of each of the plurality of texts based on the LQA test information. Also, the processor 130 may determine that at least two texts among the plurality of texts are loaded to the same location based on the location identification information of each of the plurality of texts. In other words, the processor 130 may determine whether at least two or more text strings exist in overlapping positions based on the position identification information of each of the plurality of texts.

또한, 프로세서(130)는 상기 복수의 텍스트 중 적어도 두개 이상의 텍스트가 동일 위치로 로딩됨을 판별하는 경우, 해당 텍스트가 상기 제 5 테스트 케이스에 관련된 비정상 동작이라는 노티를 포함하는 테스트 리포트 정보를 생성할 수 있다. In addition, when the processor 130 determines that at least two texts among the plurality of texts are loaded to the same location, the processor 130 may generate test report information including a notice that the text is an abnormal operation related to the fifth test case. have.

예를 들어, 도 8에 도시되는 바와 같이, 제 1 텍스트 문자열(811) 및 제 2 텍스트 문자열(812) 각각의 위치 식별 정보에 중복 구간이 존재하는 경우, 프로세서(130)는 제 1 텍스트 문자열(811) 및 제 2 텍스트 문자열(812)이 겹쳐지는 것으로 판별하여 제 5 테스트 케이스에 관련된 비정상 동작이라는 노티를 포함하는 테스트 리포트를 생성할 수 있다. 전술한 텍스트 문자열의 구체적인 수치에 대한 기재는 예시일 뿐, 본 개시는 이에 제한되지 않는다. For example, as shown in FIG. 8 , when a duplicate section exists in the location identification information of each of the first text string 811 and the second text string 812 , the processor 130 generates the first text string ( 811) and the second text string 812 are determined to overlap, and a test report including a notice of abnormal operation related to the fifth test case may be generated. Description of the specific numerical values of the above-described text string is merely an example, and the present disclosure is not limited thereto.

즉, 프로세서(130)는 클라이언트 단말(10)로 테스트 프로시저 정보를 전송함으로써, 어플리케이션에 관련한 서비스 내의 복수의 텍스트에 대한 품질을 평가하기 위한 동작들을 자동으로 수행하도록 야기시킬 수 있다. That is, the processor 130 may cause to automatically perform operations for evaluating the quality of a plurality of texts in an application-related service by transmitting the test procedure information to the client terminal 10 .

또한, 프로세서(130)는 클라이언트 단말(10)이 테스트 프로시저 정보에 대응하여 복수의 텍스트에 대한 품질을 평가하기 위한 동작들을 수행함에 따라 수신하는 LQA 테스트 정보를 하나 이상의 테스트 케이스(즉, 제 1 테스트 케이스 내지 제 5 테스트 케이스) 각각에 기초하여 정상 동작 여부를 판단함으로써, 테스트 리포트를 생성할 수 있다.In addition, the processor 130 receives the LQA test information received as the client terminal 10 performs operations for evaluating the quality of a plurality of texts in response to the test procedure information in one or more test cases (ie, the first A test report may be generated by determining whether a normal operation is performed based on each of the test cases to the fifth test case).

따라서, 테스트 관련 동작에 대한 자동화를 통해 사용자에게 LQA 테스트 작업에 대한 높은 효율을 제공할 수 있다. 또한, 서비스에 포함된 텍스트의 품질을 검증하기 위한 다수의 인원을 필수적으로 요구하지 않아, 인력 비용 대거 감소로 인해 LQA 테스트 비용의 절감을 초래할 수 있다. 이와 더불어, 서비스에 포함된 다량의 텍스트를 테스트 수행 인원이 육안으로 확인하는 반복 과정에서 발생하는 휴먼 에러를 개선함으로써, LQA 테스트에 대한 보다 높은 정확성을 확보할 수 있다. Therefore, it is possible to provide users with high efficiency for LQA test tasks through automation of test-related operations. In addition, since it does not necessarily require a large number of personnel to verify the quality of the text included in the service, the cost of LQA testing may be reduced due to a significant reduction in manpower costs. In addition, it is possible to secure higher accuracy of the LQA test by improving the human error that occurs in the iterative process of visually checking a large amount of text included in the service by test performers.

본 개시의 다른 실시예에 따르면, 프로세서(130)는 테스트 프로시저 정보에 기초하여 구동된 어플리케이션과 관련된 서비스에 포함된 복수의 텍스트 각각에 대한 스크린 샷 이미지를 획득할 수 있다. 구체적으로, 프로세서(130)는 테스트 프로시저 정보를 클라이언트 단말(10)로 전송하여 대상 어플리케이션이 구동되도록 야기시킬 수 있다. 또한, 클라이언트 단말(10)이 대상 어플리케이션을 통해 테스트 프로시저 정보에 대응하는 서비스에 관련한 동작들(즉, 서비스에 포함된 복수의 텍스트 각각을 로딩시키기 위한 동작)을 수행하는 경우, 상기 대상 어플리케이션으로부터 수행된 동작에 관련한 스크린 샷 이미지를 획득할 수 있다. 이 경우, 스크린 샷 이미지는 적어도 하나의 텍스트를 포함할 수 있다.According to another embodiment of the present disclosure, the processor 130 may acquire a screen shot image for each of a plurality of texts included in a service related to a run application based on the test procedure information. Specifically, the processor 130 may cause the target application to be driven by transmitting the test procedure information to the client terminal 10 . In addition, when the client terminal 10 performs service-related operations corresponding to the test procedure information through the target application (that is, an operation for loading each of a plurality of texts included in the service), the target application A screen shot image related to the performed operation may be acquired. In this case, the screen shot image may include at least one text.

예를 들어, 대상 어플리케이션이 제공하는 서비스가 게임에 관련되며, 클라이언트 단말(10)이 테스트 프로시저 정보에 대응하여 보관함에 진입 동작을 수행함에 따라 제 1 텍스트('물건을 맡기시겠어요?')가 로딩된 경우, 제 1 텍스트가 포함된 화면에 대한 스크린 샷 이미지를 획득할 수 있다.For example, the service provided by the target application is related to the game, and as the client terminal 10 performs an entry operation into the locker in response to the test procedure information, the first text ('Would you like to leave the item?') When loaded, a screen shot image of the screen including the first text may be obtained.

다른 예를 들어, 대상 어플리케이션이 제공하는 서비스가 상품 구매에 관련되며, 클라이언트 단말(10)이 테스트 프로시저 정보에 대응하여 상품 결제 동작을 수행하여 제 2 텍스트('결제가 완료되었습니다!')가 로딩된 경우, 제 2 텍스트가 포함된 화면에 대한 스크린 샷 이미지를 획득할 수 있다. 전술한 어플리케이션에 관련한 서비스 및 텍스트에 대한 구체적인 기재는 예시일 뿐, 본 개시는 이에 제한되지 않는다. As another example, the service provided by the target application is related to product purchase, and the client terminal 10 performs a product payment operation in response to the test procedure information so that the second text ('Payment is complete!') is displayed. When loaded, a screen shot image of the screen including the second text may be obtained. The detailed description of the service and text related to the above-described application is only an example, and the present disclosure is not limited thereto.

또한, 프로세서(130)는 스크린 샷 이미지에 기초하여 텍스트 품질 정보를 생성할 수 있다. 구체적으로, 프로세서(130)는 스크린 샷 이미지에 대한 OCR(Optical Character Reader)을 통해 복수의 텍스트 각각의 언어 종류 식별 정보, 크기 정보, 폰트 정보, 텍스트 컨테이너 정보 및 위치 식별 정보 중 적어도 하나를 포함하는 텍스트 품질 정보를 생성할 수 있다. 텍스트 품질 정보는 어플리케이션에 관련된 서비스에 포함된 복수의 텍스트 각각의 품질을 판단하기 위한 기초가 되는 정보일 수 있다.Also, the processor 130 may generate text quality information based on the screen shot image. Specifically, the processor 130 includes at least one of language type identification information, size information, font information, text container information, and location identification information of each of a plurality of texts through an OCR (Optical Character Reader) for the screen shot image. You can generate text quality information. The text quality information may be information serving as a basis for determining the quality of each of a plurality of texts included in an application-related service.

예를 들어, 클라이언트 단말(10)이 테스트 프로시저 정보에 대응하여 제 1 동작을 수행함에 따라 제 1 텍스트가 로딩될 수 있으며, 해당 제 1 텍스트가 포함된 화면에 대한 스크린 샷 이미지를 획득한 경우, 해당 스크린 샷 이미지에 대한 OCR을 통해 제 1 텍스트에 대한 언어 종류가 한국어임을 식별할 수 있으며, 상기 제 1 텍스트의 크기 '10'인 것을 식별하고, 그리고 폰트가 '고딕'인 것을 식별할 수 있다. 또한, OCR을 통해 제 1 텍스트를 포함하는 텍스트 컨테이너의 크기를 식별할 수 있으며, 그리고 상기 제 1 텍스트가 제 1 콘텐츠에 포함됨을 식별할 수 있다. 이 경우, 프로세서(130)는 상술한 정보들을 포함하는 텍스트 품질 정보를 생성할 수 있다. 전술한 스크린 샷 이미지에 대한 OCR에 기초하여 획득/또는 식별하는 정보들에 대한 구체적인 기재는 예시일 뿐, 본 개시는 이에 제한되지 않는다. For example, when the client terminal 10 performs the first operation in response to the test procedure information, the first text may be loaded, and a screen shot image of the screen including the first text is obtained. , it is possible to identify that the language type for the first text is Korean through OCR for the corresponding screenshot image, identify that the size of the first text is '10', and identify that the font is 'Gothic' have. In addition, the size of the text container including the first text may be identified through OCR, and it may be identified that the first text is included in the first content. In this case, the processor 130 may generate text quality information including the above-described information. Specific description of information to be acquired/or identified based on the OCR of the above-described screen shot image is merely an example, and the present disclosure is not limited thereto.

또한, 프로세서(130)는 텍스트 품질 정보와 사전 결정된 기준 텍스트 품질 정보의 비교에 기초하여 테스트 리포트를 생성할 수 있다. 사전 결정된 기준 텍스트 품질 정보는 대상 어플리케이션의 개발자가 의도한 텍스트 품질과 관련한 정보를 포함할 수 있다. 구체적으로, 프로세서(130)는 텍스트 품질 정보에 포함된 하나 이상의 정보와 사전 결정된 기준 텍스트 품질 정보에 포함된 하나 이상의 정보 각각을 비교하여 서로 상이한 경우, 해당 상이한 정보들을 기준으로 오류 정보를 생성할 수 있다. 또한, 프로세서(130)는 상기 오류 정보 및 상기 오류 정보에 대응하는 오류 위치 식별 정보에 기초하여 테스트 리포트를 생성할 수 있다. Also, the processor 130 may generate a test report based on the comparison of the text quality information with the predetermined reference text quality information. The predetermined reference text quality information may include information related to text quality intended by a developer of a target application. Specifically, the processor 130 compares one or more pieces of information included in the text quality information with one or more pieces of information included in the predetermined reference text quality information, and when they are different from each other, generate error information based on the different pieces of information. have. Also, the processor 130 may generate a test report based on the error information and error location identification information corresponding to the error information.

구체적인 예를 들어, 텍스트 품질 정보에 포함된 하나 이상의 정보가 제 1 동작에 관련하여 표시되는 텍스트가 한국어로 표시되어 있다는 정보, 해당 텍스트의 크기가 '10'이라는 정보 및 해당 텍스트의 폰트가 고딕이라는 정보를 포함하며, 이와 대응되는 사전 결정된 텍스트 품질 정보에 포함된 하나 이상의 정보가 텍스트가 표시가 한국어라는 정보, 해당 텍스트의 크기가 '12'라는 정보 및 해당 텍스트의 폰트가 바탕체하는 정보를 포함하는 경우, 프로세서(130)는 각 대응하는 정보들을 비교하여 텍스트의 크기 및 폰트에 대한 오류 정보 및 해당 오류 정보가 제 1 동작에 관련하여 발생한 것이라는 오류 위치 식별 정보에 기초하여 테스트 리포트를 생성할 수 있다.As a specific example, one or more pieces of information included in the text quality information indicate that the text displayed in relation to the first operation is displayed in Korean, that the size of the text is '10', and that the font of the text is Gothic. one or more pieces of information included in the predetermined text quality information corresponding to In this case, the processor 130 may generate a test report based on error information about the size and font of the text and error location identification information indicating that the error information occurred in relation to the first operation by comparing the corresponding pieces of information. .

즉, 프로세서(130)가 생성한 테스트 리포트 정보는 제 1 동작에 관련하여 텍스트의 크기가 사전 결정된 크기보다 작게 노출되었다는 정보 및 상기 텍스트의 폰트가 사전 결정된 폰트와 상이하게 노출되었다는 정보를 포함할 수 있다. 전술한 텍스트 품질 정보에 포함된 하나 이상의 정보에 대한 구체적인 기재는 예시일 뿐, 본 개시는 이에 제한되지 않는다.That is, the test report information generated by the processor 130 may include information that the size of the text is exposed smaller than the predetermined size in relation to the first operation and information that the font of the text is exposed differently from the predetermined font. have. Specific description of one or more pieces of information included in the text quality information described above is only an example, and the present disclosure is not limited thereto.

도 3은 본 개시의 일 실시예와 관련된 LQA 테스트 자동화를 위한 예시적인 순서도를 도시한다.3 shows an exemplary flow chart for LQA test automation in accordance with an embodiment of the present disclosure.

본 개시의 일 실시예에 따르면, 테스트 서버(100)는 테스트 프로시저 정보를 클라이언트 단말로 전송하여 어플리케이션을 구동하도록 야기시킬 수 있다(310).According to an embodiment of the present disclosure, the test server 100 may cause the application to be driven by transmitting the test procedure information to the client terminal ( 310 ).

본 개시의 일 실시예에 따르면, 테스트 서버(100)는 클라이언트 단말의 어플리케이션 실행 기록에 기초하여 획득된 LQA 테스트 정보를 수신할 수 있다(320).According to an embodiment of the present disclosure, the test server 100 may receive LQA test information obtained based on the application execution record of the client terminal ( 320 ).

본 개시의 일 실시예에 따르면, 테스트 서버(100)는 LQA 테스트 정보를 하나 이상의 테스트 케이스 각각에 기초하여 정상 동작 여부를 판단하여 테스트 리포트를 생성할 수 있다(330).According to an embodiment of the present disclosure, the test server 100 may generate a test report by determining whether the LQA test information is operating normally based on each of one or more test cases ( 330 ).

전술한 도 3에 도시된 단계들은 필요에 의해 순서가 변경될 수 있으며, 적어도 하나 이상의 단계가 생략 또는 추가될 수 있다. 즉, 전술한 단계는 본 개시의 일 실시예에 불과할 뿐, 본 개시의 권리 범위는 이에 제한되지 않는다.The order of the steps illustrated in FIG. 3 described above may be changed if necessary, and at least one or more steps may be omitted or added. That is, the above-described steps are merely an embodiment of the present disclosure, and the scope of the present disclosure is not limited thereto.

도 9는 본 개시의 일 실시예와 관련된 LQA 테스트 자동화를 위한 방법을 구현하기 위한 모듈을 도시한다.9 illustrates a module for implementing a method for LQA test automation related to an embodiment of the present disclosure.

본 개시의 일 실시예에 따르면, 컴퓨터 프로그램은 다음과 같은 모듈에 의해 구현될 수 있다.According to an embodiment of the present disclosure, a computer program may be implemented by the following modules.

본 개시의 일 실시예에 따르면, 상기 컴퓨터 프로그램은, 테스트 프로시저 정보를 클라이언트 단말로 전송하여 어플리케이션을 구동하도록 야기시키기 위한 모듈(910), 클라이언트 단말의 어플리케이션 실행 기록에 기초하여 획득된 LQA 테스트 정보를 수신하기 위한 모듈(920) 및 LQA 테스트 정보를 하나 이상의 테스트 케이스 각각에 기초하여 정상 동작 여부를 판단하여 테스트 리포트를 생성하기 위한 모듈(930)을 포함할 수 있다. According to an embodiment of the present disclosure, the computer program transmits test procedure information to the client terminal to cause the application to be driven ( 910 ), LQA test information obtained based on the application execution record of the client terminal It may include a module 920 for receiving , and a module 930 for generating a test report by determining whether the LQA test information is operating normally based on each of one or more test cases.

대안적으로, 상기 테스트 프로시저 정보는, 상기 어플리케이션에 관련된 서비스에 포함된 복수의 텍스트 각각을 로딩하기 위한 테스트 시나리오 정보를 포함하는 하나 이상의 스크립트 및 상기 하나 이상의 스크립트 각각에 대한 실행 순서 정보를 포함할 수 있다.Alternatively, the test procedure information may include one or more scripts including test scenario information for loading each of a plurality of texts included in the service related to the application, and execution order information for each of the one or more scripts. can

대안적으로, 상기 LQA 테스트 정보는, 상기 어플리케이션에 관련된 서비스에 복수의 텍스트 각각을 로딩시키기 위한 정보들을 포함하며, 상기 복수의 텍스트 각각에 대응하는 유니코드 정보, 크기 정보, 폰트 정보, 텍스트 컨테이너 정보 및 위치 식별 정보 중 적어도 하나를 포함할 수 있다.Alternatively, the LQA test information includes information for loading each of a plurality of texts into a service related to the application, and Unicode information, size information, font information, and text container information corresponding to each of the plurality of texts. and at least one of location identification information.

대안적으로, 상기 하나 이상의 테스트 케이스는, 제 1 테스트 케이스를 포함하며, 상기 제 1 테스트 케이스는, 상기 어플리케이션에 관련된 서비스에 포함된 복수의 텍스트 중 타겟 언어 이외의 타 언어가 포함되어 있는지 여부를 식별하기 위한 테스트를 포함하고, 그리고 상기 LQA 테스트 정보를 하나 이상의 테스트 케이스 각각에 기초하여 정상 동작 여부를 판단하여 테스트 리포트를 생성하기 위한 모듈은, 상기 LQA 테스트 정보를 상기 제 1 테스트 케이스에 기초하여 정상 동작 여부를 판단하여 테스트 리포트를 생성하기 위한 모듈을 포함할 수 있다.Alternatively, the one or more test cases include a first test case, and the first test case determines whether a language other than a target language is included among a plurality of texts included in the service related to the application. A module for generating a test report by determining whether the LQA test information is operating normally based on each of the one or more test cases, comprising a test for identifying the LQA test information based on the first test case A module for generating a test report by determining whether a normal operation is performed may be included.

대안적으로, 상기 LQA 테스트 정보를 상기 제 1 테스트 케이스에 기초하여 정상 동작 여부를 판단하여 테스트 리포트를 생성하기 위한 모듈은, 상기 LQA 테스트 정보에 기초하여 상기 복수의 텍스트 각각의 유니코드가 상기 타겟 언어의 유니코드에 사전 맵핑된 언어 그룹에 포함되는지 여부를 식별하기 위한 모듈 및 상기 복수의 텍스트 각각의 유니코드 중 적어도 하나가 상기 언어 그룹에 포함되지 않는 경우, 해당 텍스트가 상기 제 1 테스트 케이스에 관련된 비정상 동작이라는 노티를 포함하는 테스트 리포트를 생성하기 위한 모듈을 포함할 수 있다. Alternatively, the module for generating a test report by determining whether the LQA test information operates normally based on the first test case may include: Unicode of each of the plurality of texts based on the LQA test information A module for identifying whether or not to be included in the language group pre-mapped to the Unicode of the language, and if at least one of the Unicode of each of the plurality of texts is not included in the language group, the corresponding text is added to the first test case It may include a module for generating a test report including a notification of related abnormal behavior.

대안적으로, 상기 하나 이상의 테스트 케이스는, 제 2 테스트 케이스를 포함하며, 상기 어플리케이션에 관련된 서비스에 포함된 복수의 텍스트가 타겟 폰트 이외의 타 폰트로 표시되는지 여부를 식별하기 위한 테스트를 포함하고, 그리고 상기 LQA 테스트 정보를 하나 이상의 테스트 케이스 각각에 기초하여 정상 동작 여부를 판단하여 테스트 리포트를 생성하기 위한 모듈은, 상기 LQA 테스트 정보를 상기 제 2 테스트 케이스에 기초하여 정상 동작 여부를 판단하여 테스트 리포트를 생성하기 위한 모듈을 포함할 수 있다.Alternatively, the one or more test cases include a second test case, and include a test for identifying whether a plurality of texts included in a service related to the application are displayed in a font other than a target font, and a module for generating a test report by determining whether the LQA test information operates normally based on each of the one or more test cases, determines whether the LQA test information operates normally based on the second test case, and provides a test report It may include a module for creating

대안적으로, 상기 LQA 테스트 정보를 상기 제 2 테스트 케이스에 기초하여 정상 동작 여부를 판단하여 테스트 리포트를 생성하기 위한 모듈은, 상기 LQA 테스트 정보에 기초하여 상기 복수의 텍스트 각각의 폰트 정보를 식별하기 위한 모듈 및 상기 복수의 텍스트 각각의 폰트 정보에 기초하여 상기 복수의 텍스트 중 적어도 하나가 사전 결정된 폰트 정보와 상이함을 식별한 경우, 해당 텍스트가 상기 제 2 테스트 케이스에 관련된 비정상 동작이라는 노티를 포함하는 테스트 리포트를 생성하기 위한 모듈을 포함할 수 있다.Alternatively, the module for generating a test report by determining whether the LQA test information operates normally based on the second test case is configured to identify font information of each of the plurality of texts based on the LQA test information When it is identified that at least one of the plurality of texts is different from the predetermined font information based on the module and font information of each of the plurality of texts, the text includes a notice that the text is an abnormal operation related to the second test case. It may include a module for generating a test report.

대안적으로, 상기 하나 이상의 테스트 케이스는, 제 3 테스트 케이스를 포함하며, 상기 제 3 테스트 케이스는, 상기 어플리케이션에 관련된 서비스에 포함된 복수의 텍스트 각각의 가독성의 문제 유무를 판별하기 위한 테스트를 포함하고, 그리고 상기 LQA 테스트 정보를 하나 이상의 테스트 케이스 각각에 기초하여 정상 동작 여부를 판단하여 테스트 리포트를 생성하기 위한 모듈은, 상기 LQA 테스트 정보를 상기 제 3 테스트 케이스에 기초하여 정상 동작 여부를 판단하여 테스트 리포트를 생성하기 위한 모듈을 포함할 수 있다.Alternatively, the one or more test cases include a third test case, and the third test case includes a test for determining whether there is a problem with the readability of each of a plurality of texts included in the service related to the application and a module for generating a test report by determining whether the LQA test information is operating normally based on each of the one or more test cases, determining whether the LQA test information is operating normally based on the third test case, It may include a module for generating a test report.

대안적으로, 상기 LQA 테스트 정보를 상기 제 3 테스트 케이스에 기초하여 정상 동작 여부를 판단하여 테스트 리포트를 생성하기 위한 모듈은, 상기 LQA 테스트 정보에 기초하여 상기 복수의 텍스트 각각의 크기 정보를 식별하기 위한 모듈 및 상기 복수의 텍스트 각각의 크기 정보에 기초하여 상기 복수의 텍스트 중 적어도 하나가 사전 결정된 텍스트 크기 이하임을 식별하는 경우, 해당 텍스트가 상기 제 3 테스트 케이스에 관련된 비정상 동작이라는 노티를 포함하는 테스트 리포트를 생성하기 위한 모듈을 포함할 수 있다. Alternatively, the module for generating a test report by determining whether the LQA test information operates normally based on the third test case is configured to identify size information of each of the plurality of texts based on the LQA test information When it is identified that at least one of the plurality of texts is smaller than or equal to a predetermined text size based on a module for and the size information of each of the plurality of texts, the test including a notification that the text is an abnormal operation related to the third test case It may include a module for generating a report.

대안적으로, 상기 하나 이상의 테스트 케이스는, 제 4 테스트 케이스를 포함하며, 상기 제 4 테스트 케이스는, 상기 어플리케이션에 관련된 서비스에 포함된 복수의 텍스트 각각이 상기 복수의 텍스트 각각에 대응하는 표시 영역을 벗어나는지 여부를 판별하기 위한 테스트를 포함하고, 그리고 상기 LQA 테스트 정보를 하나 이상의 테스트 케이스 각각에 기초하여 정상 동작 여부를 판단하여 테스트 리포트를 생성하기 위한 모듈은, 상기 LQA 테스트 정보를 상기 제 4 테스트 케이스에 기초하여 정상 동작 여부를 판단하여 테스트 리포트를 생성하기 위한 모듈을 포함할 수 있다.Alternatively, the one or more test cases may include a fourth test case, wherein the fourth test case includes a display area in which each of a plurality of texts included in the service related to the application corresponds to each of the plurality of texts. A module for generating a test report by judging whether the LQA test information is operating normally based on each of the one or more test cases, including a test for determining whether the A module for generating a test report by determining whether a normal operation is performed based on a case may be included.

대안적으로, 상기 LQA 테스트 정보를 상기 제 4 테스트 케이스에 기초하여 정상 동작 여부를 판단하여 테스트 리포트를 생성하기 위한 모듈은, 상기 LQA 테스트 정보에 기초하여 상기 복수의 텍스트 각각의 크기 정보 및 상기 복수의 텍스트 각각에 대응하는 텍스트 컨테이너 정보를 식별하기 위한 모듈, 상기 복수의 텍스트 각각의 크기 정보 및 상기 복수의 텍스트 각각에 대응하는 텍스트 컨테이너 정보에 기초하여 상기 복수의 텍스트 각각이 상기 복수의 텍스트 각각에 대응하는 텍스트 컨테이너를 벗어나는지 여부를 판별하기 위한 모듈 및 상기 복수의 텍스트 중 적어도 하나가 상기 복수의 텍스트 각각에 대응하는 텍스트 컨테이너를 벗어남을 판별한 경우, 해당 텍스트가 상기 제 4 테스트 케이스에 관련된 비정상 동작이라는 노티를 포함하는 테스트 리포트를 생성하기 위한 모듈을 포함할 수 있다. Alternatively, the module for generating a test report by determining whether the LQA test information operates normally based on the fourth test case may include: size information of each of the plurality of texts and the plurality of texts based on the LQA test information a module for identifying text container information corresponding to each text of a module for determining whether or not the text is out of a corresponding text container, and when it is determined that at least one of the plurality of texts is out of the text container corresponding to each of the plurality of texts, the text is abnormal related to the fourth test case It may include a module for generating a test report containing a notice of action.

대안적으로, 상기 하나 이상의 테스트 케이스는, 제 5 테스트 케이스를 포함하며, 상기 제 5 테스트 케이스는, 상기 어플리케이션에 관련된 서비스에 포함된 복수의 텍스트 각각의 겹침 여부를 판별하기 위한 테스트를 포함하고, 그리고 상기 LQA 테스트 정보를 하나 이상의 테스트 케이스 각각에 기초하여 정상 동작 여부를 판단하여 테스트 리포트를 생성하기 위한 모듈은, 상기 LQA 테스트 정보를 상기 제 5 테스트 케이스에 기초하여 정상 동작 여부를 판단하여 테스트 리포트를 생성하기 위한 모듈을 포함할 수 있다.Alternatively, the one or more test cases include a fifth test case, wherein the fifth test case includes a test for determining whether each of a plurality of texts included in a service related to the application overlaps, and a module for generating a test report by determining whether the LQA test information is operating normally based on each of the one or more test cases, determines whether the LQA test information is operating normally based on the fifth test case, and provides a test report It may include a module for creating

대안적으로, 상기 LQA 테스트 정보를 상기 제 5 테스트 케이스에 기초하여 정상 동작 여부를 판단하여 테스트 리포트를 생성하기 위한 모듈은, 상기 LQA 테스트 정보에 기초하여 상기 복수의 텍스트 각각의 위치 식별 정보를 획득하기 위한 모듈, 상기 복수의 텍스트 각각의 위치 식별 정보에 기초하여 상기 복수의 텍스트 중 적어도 두개 이상의 텍스트가 동일 위치로 로딩됨을 판별하기 위한 모듈 및 상기 복수의 텍스트 중 적어도 두개 이상의 텍스트가 동일 위치로 로딩됨을 판별하는 경우, 해당 텍스트가 상기 제 5 테스트 케이스에 관련된 비정상 동작이라는 노티를 포함하는 테스트 리포트 정보를 생성하기 위한 모듈을 포함할 수 있다. Alternatively, the module for generating a test report by determining whether the LQA test information is operating normally based on the fifth test case obtains location identification information of each of the plurality of texts based on the LQA test information a module for determining that at least two or more of the plurality of texts are loaded at the same location based on the location identification information of each of the plurality of texts, and a module for determining that at least two or more of the plurality of texts are loaded at the same location If it is determined that the corresponding text is an abnormal operation related to the fifth test case, a module for generating test report information including a notice may be included.

대안적으로, 상기 테스트 프로시저 정보에 기초하여 구동된 어플리케이션과 관련된 서비스에 포함된 복수의 텍스트 각각에 대한 스크린 샷 이미지를 획득하기 위한 모듈, 상기 스크린 샷 이미지에 대한 OCR(Optical character recognition)을 통해 상기 복수의 텍스트 각각의 언어 종류 식별 정보, 크기 정보, 폰트 정보, 텍스트 컨테이너 정보 및 위치 식별 정보 중 적어도 하나를 포함하는 텍스트 품질 정보를 획득하기 위한 모듈 및 상기 텍스트 품질 정보와 사전 결정된 기준 텍스트 품질 정보의 비교에 기초하여 상기 테스트 리포트를 생성하기 위한 모듈을 더 포함할 수 있다.Alternatively, through a module for acquiring a screen shot image for each of a plurality of texts included in a service related to an application driven based on the test procedure information, OCR (Optical Character Recognition) for the screen shot image a module for obtaining text quality information including at least one of language type identification information, size information, font information, text container information, and position identification information of each of the plurality of texts, and the text quality information and predetermined reference text quality information It may further include a module for generating the test report based on the comparison of.

대안적으로, 상기 테스트 리포트는, 테스트를 수행하고자 하는 사용자로 하여금 상기 어플리케이션을 통해 구동되는 서비스에 포함된 복수의 텍스트 각각의 품질이 사전 결정된 기준 품질 이하임을 인식시키기 위한 정보로, 상기 하나 이상의 테스트 케이스 각각에 관련한 오류 정보 및 상기 오류 정보 각각에 대응하는 오류 위치 식별 정보를 포함할 수 있다Alternatively, the test report is information for allowing a user to perform a test to recognize that the quality of each of a plurality of texts included in a service driven through the application is less than or equal to a predetermined reference quality, and the one or more tests It may include error information related to each case and error location identification information corresponding to each of the error information.

본 개시의 일 실시예에 따르면 게임 내 플레이 상황에 대응하는 음성 데이터를 생성하는 방법을 구현하기 위한 모듈은 컴퓨팅 프로그램을 구현하기 위한 수단, 회로 또는 로직에 의하여 구현될 수도 있다.According to an embodiment of the present disclosure, a module for implementing a method for generating voice data corresponding to an in-game play situation may be implemented by means, circuits or logic for implementing a computing program.

당업자들은 추가적으로 여기서 개시된 실시예들과 관련되어 설명된 다양한 예시적 논리적 블록들, 구성들, 모듈들, 회로들, 수단들, 로직들 및 알고리즘 단계들이 전자 하드웨어, 컴퓨터 소프트웨어, 또는 양쪽 모두의 조합들로 구현될 수 있음을 인식해야 한다. 하드웨어 및 소프트웨어의 상호교환성을 명백하게 예시하기 위해, 다양한 예시적 컴포넌트들, 블록들, 구성들, 수단들, 로직들, 모듈들, 회로들, 및 단계들은 그들의 기능성 측면에서 일반적으로 위에서 설명되었다. 그러한 기능성이 하드웨어로 또는 소프트웨어로서 구현되는지 여부는 전반적인 시스템에 부과된 특정 어플리케이션(application) 및 설계 제한들에 달려 있다. 숙련된 기술자들은 각각의 특정 어플리케이션들을 위해 다양한 방법들로 설명된 기능성을 구현할 수 있으나, 그러한 구현의 결정들이 본 개시내용의 영역을 벗어나게 하는 것으로 해석되어서는 안된다.Those skilled in the art will further appreciate that the various illustrative logical blocks, configurations, modules, circuits, means, logics, and algorithm steps described in connection with the embodiments disclosed herein may be combined with electronic hardware, computer software, or combinations of both. It should be recognized that it can be implemented as To clearly illustrate this interchangeability of hardware and software, various illustrative components, blocks, configurations, means, logics, modules, circuits, and steps have been described above generally in terms of their functionality. Whether such functionality is implemented as hardware or software depends upon the particular application and design constraints imposed on the overall system. Skilled artisans may implement the described functionality in varying ways for each particular application, but such implementation decisions should not be interpreted as causing a departure from the scope of the present disclosure.

도 10은 본 개시의 일 실시예와 관련된 본 개시의 일 실시예들이 구현될 수 있는 예시적인 컴퓨팅 환경에 대한 간략하고 일반적인 개략도를 도시한다.10 depicts a simplified, general schematic diagram of an exemplary computing environment in which one embodiment of the present disclosure may be implemented, in conjunction with one embodiment of the present disclosure.

본 개시가 일반적으로 하나 이상의 컴퓨터 상에서 실행될 수 있는 컴퓨터 실행가능 명령어와 관련하여 전술되었지만, 당업자라면 본 개시가 기타 프로그램 모듈들과 결합되어 및/또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다는 것을 잘 알 것이다.Although the present disclosure has been described above generally in the context of computer-executable instructions that may be executed on one or more computers, those skilled in the art will appreciate that the present disclosure may be implemented in combination with other program modules and/or in a combination of hardware and software. will be.

일반적으로, 프로그램 모듈은 특정의 태스크를 수행하거나 특정의 추상 데이터 유형을 구현하는 루틴, 프로시져, 프로그램, 컴포넌트, 데이터 구조, 기타 등등을 포함한다. 또한, 당업자라면 본 개시의 방법이 단일-프로세서 또는 멀티프로세서 컴퓨터 시스템, 미니컴퓨터, 메인프레임 컴퓨터는 물론 퍼스널 컴퓨터, 핸드헬드 컴퓨팅 장치, 마이크로프로세서-기반 또는 프로그램가능 가전 제품, 기타 등등(이들 각각은 하나 이상의 연관된 장치와 연결되어 동작할 수 있음)을 비롯한 다른 컴퓨터 시스템 구성으로 실시될 수 있다는 것을 잘 알 것이다.Generally, program modules include routines, procedures, programs, components, data structures, etc. that perform particular tasks or implement particular abstract data types. In addition, those skilled in the art will appreciate that the methods of the present disclosure are suitable for single-processor or multiprocessor computer systems, minicomputers, mainframe computers as well as personal computers, handheld computing devices, microprocessor-based or programmable consumer electronics, etc. (each of which is It will be appreciated that other computer system configurations may be implemented, including those that may operate in connection with one or more associated devices.

본 개시의 설명된 실시예들은 또한 어떤 태스크들이 통신 네트워크를 통해 연결되어 있는 원격 처리 장치들에 의해 수행되는 분산 컴퓨팅 환경에서 실시될 수 있다. 분산 컴퓨팅 환경에서, 프로그램 모듈은 로컬 및 원격 메모리 저장 장치 둘다에 위치할 수 있다.The described embodiments of the present disclosure may also be practiced in distributed computing environments where certain tasks are performed by remote processing devices that are linked through a communications network. In a distributed computing environment, program modules may be located in both local and remote memory storage devices.

컴퓨터는 통상적으로 다양한 컴퓨터 판독가능 매체를 포함한다. 컴퓨터에 의해 액세스 가능한 매체는 그 어떤 것이든지 컴퓨터 판독가능 매체가 될 수 있고, 컴퓨터 판독가능 매체는 컴퓨터 판독가능 저장 매체 및 컴퓨터 판독가능 전송 매체를 포함할 수 있다. 이러한 컴퓨터 판독가능 저장 매체는 휘발성 및 비휘발성 매체, 이동식 및 비-이동식 매체를 포함한다. 컴퓨터 판독가능 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보를 저장하는 임의의 방법 또는 기술로 구현되는 휘발성 및 비휘발성 매체, 이동식 및 비이동식 매체를 포함한다. 컴퓨터 판독가능 저장 매체는 RAM, ROM, EEPROM, 플래시 메모리 또는 기타 메모리 기술, CD-ROM, DVD(digital video disk) 또는 기타 광 디스크 저장 장치, 자기 카세트, 자기 테이프, 자기 디스크 저장 장치 또는 기타 자기 저장 장치, 또는 컴퓨터에 의해 액세스될 수 있고 원하는 정보를 저장하는 데 사용될 수 있는 임의의 기타 매체를 포함하지만, 이에 한정되지 않는다.Computers typically include a variety of computer-readable media. Any medium accessible by a computer may be a computer-readable medium, and the computer-readable medium may include a computer-readable storage medium and a computer-readable transmission medium. Such computer-readable storage media includes volatile and nonvolatile media, removable and non-removable media. Computer readable storage media includes volatile and nonvolatile media, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data. A computer-readable storage medium may be RAM, ROM, EEPROM, flash memory or other memory technology, CD-ROM, digital video disk (DVD) or other optical disk storage device, magnetic cassette, magnetic tape, magnetic disk storage device, or other magnetic storage device. device, or any other medium that can be accessed by a computer and used to store the desired information.

컴퓨터 판독가능 전송 매체는 통상적으로 반송파(carrier wave) 또는 기타 전송 메커니즘(transport mechanism)과 같은 피변조 데이터 신호(modulated data signal)에 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터등을 구현하는 정보 전달 매체를 포함한다. 피변조 데이터 신호라는 용어는 신호 내에 정보를 인코딩하도록 그 신호의 특성들 중 하나 이상을 설정 또는 변경시킨 신호를 의미한다. 제한이 아닌 예로서, 컴퓨터 판독가능 전송 매체는 유선 네트워크 또는 직접 배선 접속(direct-wired connection)과 같은 유선 매체, 그리고 음향, RF, 적외선, 기타 무선 매체와 같은 무선 매체를 포함한다. 상술된 매체들 중 임의의 것의 조합도 역시 컴퓨터 판독가능 전송 매체의 범위 안에 포함되는 것으로 한다.Computer-readable transmission media typically embody computer-readable instructions, data structures, program modules, or other data in a modulated data signal, such as a carrier wave or other transport mechanism. information delivery media. The term modulated data signal means a signal in which one or more of the characteristics of the signal is set or changed so as to encode information in the signal. By way of example, and not limitation, computer-readable transmission media includes wired media such as a wired network or direct-wired connection, and wireless media such as acoustic, RF, infrared, and other wireless media. Combinations of any of the above are also intended to be included within the scope of computer-readable transmission media.

컴퓨터(1102)를 포함하는 본 개시의 여러가지 측면들을 구현하는 예시적인 환경(1100)이 나타내어져 있으며, 컴퓨터(1102)는 처리 장치(1104), 시스템 메모리(1106) 및 시스템 버스(1108)를 포함한다. 시스템 버스(1108)는 시스템 메모리(1106)(이에 한정되지 않음)를 비롯한 시스템 컴포넌트들을 처리 장치(1104)에 연결시킨다. 처리 장치(1104)는 다양한 상용 프로세서들 중 임의의 프로세서일 수 있다. 듀얼 프로세서 및 기타 멀티프로세서 아키텍처도 역시 처리 장치(1104)로서 이용될 수 있다.An example environment 1100 implementing various aspects of the disclosure is shown including a computer 1102 , the computer 1102 including a processing unit 1104 , a system memory 1106 , and a system bus 1108 . do. The system bus 1108 couples system components, including but not limited to system memory 1106 , to the processing device 1104 . The processing device 1104 may be any of a variety of commercially available processors. Dual processor and other multiprocessor architectures may also be used as processing unit 1104 .

시스템 버스(1108)는 메모리 버스, 주변장치 버스, 및 다양한 상용 버스 아키텍처 중 임의의 것을 사용하는 로컬 버스에 추가적으로 상호 연결될 수 있는 몇가지 유형의 버스 구조 중 임의의 것일 수 있다. 시스템 메모리(1106)는 판독 전용 메모리(ROM)(1110) 및 랜덤 액세스 메모리(RAM)(1112)를 포함한다. 기본 입/출력 시스템(BIOS)은 ROM, EPROM, EEPROM 등의 비휘발성 메모리(1110)에 저장되며, 이 BIOS는 시동 중과 같은 때에 컴퓨터(1102) 내의 구성요소들 간에 정보를 전송하는 일을 돕는 기본적인 루틴을 포함한다. RAM(1112)은 또한 데이터를 캐싱하기 위한 정적 RAM 등의 고속 RAM을 포함할 수 있다.The system bus 1108 may be any of several types of bus structures that may further be interconnected to a memory bus, a peripheral bus, and a local bus using any of a variety of commercial bus architectures. System memory 1106 includes read only memory (ROM) 1110 and random access memory (RAM) 1112 . A basic input/output system (BIOS) is stored in non-volatile memory 1110, such as ROM, EPROM, EEPROM, etc., which is the basic input/output system (BIOS) that helps transfer information between components within computer 1102, such as during startup. contains routines. RAM 1112 may also include high-speed RAM, such as static RAM, for caching data.

컴퓨터(1102)는 또한 내장형 하드 디스크 드라이브(HDD)(1114)(예를 들어, EIDE, SATA)―이 내장형 하드 디스크 드라이브(1114)는 또한 적당한 섀시(도시 생략) 내에서 외장형 용도로 구성될 수 있음―, 자기 플로피 디스크 드라이브(FDD)(1116)(예를 들어, 이동식 디스켓(1118)으로부터 판독을 하거나 그에 기록을 하기 위한 것임), 및 광 디스크 드라이브(1120)(예를 들어, CD-ROM 디스크(1122)를 판독하거나 DVD 등의 기타 고용량 광 매체로부터 판독을 하거나 그에 기록을 하기 위한 것임)를 포함한다. 하드 디스크 드라이브(1114), 자기 디스크 드라이브(1116) 및 광 디스크 드라이브(1120)는 각각 하드 디스크 드라이브 인터페이스(1124), 자기 디스크 드라이브 인터페이스(1126) 및 광 드라이브 인터페이스(1128)에 의해 시스템 버스(1108)에 연결될 수 있다. 외장형 드라이브 구현을 위한 인터페이스(1124)는 USB(Universal Serial Bus) 및 IEEE 1394 인터페이스 기술 중 적어도 하나 또는 그 둘다를 포함한다.The computer 1102 may also be configured with an internal hard disk drive (HDD) 1114 (eg, EIDE, SATA) - this internal hard disk drive 1114 may also be configured for external use within a suitable chassis (not shown). Yes—a magnetic floppy disk drive (FDD) 1116 (eg, for reading from or writing to removable diskette 1118), and an optical disk drive 1120 (eg, a CD-ROM) for reading from, or writing to, disk 1122, or other high capacity optical media such as DVD. The hard disk drive 1114 , the magnetic disk drive 1116 , and the optical disk drive 1120 are connected to the system bus 1108 by the hard disk drive interface 1124 , the magnetic disk drive interface 1126 , and the optical drive interface 1128 , respectively. ) can be connected to The interface 1124 for implementing an external drive includes at least one or both of Universal Serial Bus (USB) and IEEE 1394 interface technologies.

이들 드라이브 및 그와 연관된 컴퓨터 판독가능 매체는 데이터, 데이터 구조, 컴퓨터 실행가능 명령어, 기타 등등의 비휘발성 저장을 제공한다. 컴퓨터(1102)의 경우, 드라이브 및 매체는 임의의 데이터를 적당한 디지털 형식으로 저장하는 것에 대응한다. 상기에서의 컴퓨터 판독가능 매체에 대한 설명이 HDD, 이동식 자기 디스크, 및 CD 또는 DVD 등의 이동식 광 매체를 언급하고 있지만, 당업자라면 집 드라이브(zip drive), 자기 카세트, 플래쉬 메모리 카드, 카트리지, 기타 등등의 컴퓨터에 의해 판독가능한 다른 유형의 매체도 역시 예시적인 운영 환경에서 사용될 수 있으며 또 임의의 이러한 매체가 본 개시의 방법들을 수행하기 위한 컴퓨터 실행가능 명령어를 포함할 수 있다는 것을 잘 알 것이다.These drives and their associated computer-readable media provide non-volatile storage of data, data structures, computer-executable instructions, and the like. In the case of computer 1102, drives and media correspond to storing any data in a suitable digital format. Although the description of computer readable media above refers to HDDs, removable magnetic disks, and removable optical media such as CDs or DVDs, those skilled in the art will use zip drives, magnetic cassettes, flash memory cards, cartridges, etc. It will be appreciated that other tangible computer-readable media such as etc. may also be used in the exemplary operating environment and any such media may include computer-executable instructions for performing the methods of the present disclosure.

운영 체제(1130), 하나 이상의 애플리케이션 프로그램(1132), 기타 프로그램 모듈(1134) 및 프로그램 데이터(1136)를 비롯한 다수의 프로그램 모듈이 드라이브 및 RAM(1112)에 저장될 수 있다. 운영 체제, 애플리케이션, 모듈 및/또는 데이터의 전부 또는 그 일부분이 또한 RAM(1112)에 캐싱될 수 있다. 본 개시가 여러가지 상업적으로 이용가능한 운영 체제 또는 운영 체제들의 조합에서 구현될 수 있다는 것을 잘 알 것이다.A number of program modules may be stored in the drive and RAM 1112 , including an operating system 1130 , one or more application programs 1132 , other program modules 1134 , and program data 1136 . All or portions of the operating system, applications, modules, and/or data may also be cached in RAM 1112 . It will be appreciated that the present disclosure may be implemented in various commercially available operating systems or combinations of operating systems.

사용자는 하나 이상의 유선/무선 입력 장치, 예를 들어, 키보드(1138) 및 마우스(1140) 등의 포인팅 장치를 통해 컴퓨터(1102)에 명령 및 정보를 입력할 수 있다. 기타 입력 장치(도시 생략)로는 마이크, IR 리모콘, 조이스틱, 게임 패드, 스타일러스 펜, 터치 스크린, 기타 등등이 있을 수 있다. 이들 및 기타 입력 장치가 종종 시스템 버스(1108)에 연결되어 있는 입력 장치 인터페이스(1142)를 통해 처리 장치(1104)에 연결되지만, 병렬 포트, IEEE 1394 직렬 포트, 게임 포트, USB 포트, IR 인터페이스, 기타 등등의 기타 인터페이스에 의해 연결될 수 있다.A user may enter commands and information into the computer 1102 via one or more wired/wireless input devices, for example, a pointing device such as a keyboard 1138 and a mouse 1140 . Other input devices (not shown) may include a microphone, IR remote control, joystick, game pad, stylus pen, touch screen, and the like. Although these and other input devices are often connected to the processing unit 1104 through an input device interface 1142 that is connected to the system bus 1108, parallel ports, IEEE 1394 serial ports, game ports, USB ports, IR interfaces, It may be connected by other interfaces, etc.

모니터(1144) 또는 다른 유형의 디스플레이 장치도 역시 비디오 어댑터(1146) 등의 인터페이스를 통해 시스템 버스(1108)에 연결된다. 모니터(1144)에 부가하여, 컴퓨터는 일반적으로 스피커, 프린터, 기타 등등의 기타 주변 출력 장치(도시 생략)를 포함한다.A monitor 1144 or other type of display device is also coupled to the system bus 1108 via an interface, such as a video adapter 1146 . In addition to the monitor 1144, the computer typically includes other peripheral output devices (not shown), such as speakers, printers, and the like.

컴퓨터(1102)는 유선 및/또는 무선 통신을 통한 원격 컴퓨터(들)(1148) 등의 하나 이상의 원격 컴퓨터로의 논리적 연결을 사용하여 네트워크화된 환경에서 동작할 수 있다. 원격 컴퓨터(들)(1148)는 워크스테이션, 서버 컴퓨터, 라우터, 퍼스널 컴퓨터, 휴대용 컴퓨터, 마이크로프로세서-기반 오락 기기, 피어 장치 또는 기타 통상의 네트워크 노드일 수 있으며, 일반적으로 컴퓨터(1102)에 대해 기술된 구성요소들 중 다수 또는 그 전부를 포함하지만, 간략함을 위해, 메모리 저장 장치(1150)만이 도시되어 있다. 도시되어 있는 논리적 연결은 근거리 통신망(LAN)(1152) 및/또는 더 큰 네트워크, 예를 들어, 원거리 통신망(WAN)(1154)에의 유선/무선 연결을 포함한다. 이러한 LAN 및 WAN 네트워킹 환경은 사무실 및 회사에서 일반적인 것이며, 인트라넷 등의 전사적 컴퓨터 네트워크(enterprise-wide computer network)를 용이하게 해주며, 이들 모두는 전세계 컴퓨터 네트워크, 예를 들어, 인터넷에 연결될 수 있다.Computer 1102 may operate in a networked environment using logical connections to one or more remote computers, such as remote computer(s) 1148 via wired and/or wireless communications. Remote computer(s) 1148 may be workstations, server computers, routers, personal computers, portable computers, microprocessor-based entertainment devices, peer devices, or other common network nodes, and are generally Although including many or all of the components described, only memory storage device 1150 is shown for simplicity. The logical connections shown include wired/wireless connections to a local area network (LAN) 1152 and/or a larger network, eg, a wide area network (WAN) 1154 . Such LAN and WAN networking environments are common in offices and companies, and facilitate enterprise-wide computer networks, such as intranets, all of which can be connected to a worldwide computer network, for example, the Internet.

LAN 네트워킹 환경에서 사용될 때, 컴퓨터(1102)는 유선 및/또는 무선 통신 네트워크 인터페이스 또는 어댑터(1156)를 통해 로컬 네트워크(1152)에 연결된다. 어댑터(1156)는 LAN(1152)에의 유선 또는 무선 통신을 용이하게 해줄 수 있으며, 이 LAN(1152)은 또한 무선 어댑터(1156)와 통신하기 위해 그에 설치되어 있는 무선 액세스 포인트를 포함하고 있다. WAN 네트워킹 환경에서 사용될 때, 컴퓨터(1102)는 모뎀(1158)을 포함할 수 있거나, WAN(1154) 상의 통신 서버에 연결되거나, 또는 인터넷을 통하는 등, WAN(1154)을 통해 통신을 설정하는 기타 수단을 갖는다. 내장형 또는 외장형 및 유선 또는 무선 장치일 수 있는 모뎀(1158)은 직렬 포트 인터페이스(1142)를 통해 시스템 버스(1108)에 연결된다. 네트워크화된 환경에서, 컴퓨터(1102)에 대해 설명된 프로그램 모듈들 또는 그의 일부분이 원격 메모리/저장 장치(1150)에 저장될 수 있다. 도시된 네트워크 연결이 예시적인 것이며 컴퓨터들 사이에 통신 링크를 설정하는 기타 수단이 사용될 수 있다는 것을 잘 알 것이다.When used in a LAN networking environment, the computer 1102 is connected to the local network 1152 through a wired and/or wireless communication network interface or adapter 1156 . Adapter 1156 may facilitate wired or wireless communication to LAN 1152 , which also includes a wireless access point installed therein for communicating with wireless adapter 1156 . When used in a WAN networking environment, the computer 1102 may include a modem 1158 , connected to a communication server on the WAN 1154 , or otherwise establishing communications over the WAN 1154 , such as over the Internet. have the means A modem 1158 , which may be internal or external and a wired or wireless device, is coupled to the system bus 1108 via a serial port interface 1142 . In a networked environment, program modules described for computer 1102 , or portions thereof, may be stored in remote memory/storage device 1150 . It will be appreciated that the network connections shown are exemplary and other means of establishing a communication link between the computers may be used.

컴퓨터(1102)는 무선 통신으로 배치되어 동작하는 임의의 무선 장치 또는 개체, 예를 들어, 프린터, 스캐너, 데스크톱 및/또는 휴대용 컴퓨터, PDA(portable data assistant), 통신 위성, 무선 검출가능 태그와 연관된 임의의 장비 또는 장소, 및 전화와 통신을 하는 동작을 한다. 이것은 적어도 Wi-Fi 및 블루투스 무선 기술을 포함한다. 따라서, 통신은 종래의 네트워크에서와 같이 미리 정의된 구조이거나 단순하게 적어도 2개의 장치 사이의 애드혹 통신(ad hoc communication)일 수 있다.Computer 1102 may be associated with any wireless device or object that is deployed and operates in wireless communication, for example, printers, scanners, desktop and/or portable computers, portable data assistants (PDAs), communications satellites, wireless detectable tags. It operates to communicate with any device or place, and phone. This includes at least Wi-Fi and Bluetooth wireless technologies. Accordingly, the communication may be a predefined structure as in a conventional network or may simply be an ad hoc communication between at least two devices.

Wi-Fi(Wireless Fidelity)는 유선 없이도 인터넷 등으로의 연결을 가능하게 해준다. Wi-Fi는 이러한 장치, 예를 들어, 컴퓨터가 실내에서 및 실외에서, 즉 기지국의 통화권 내의 아무 곳에서나 데이터를 전송 및 수신할 수 있게 해주는 셀 전화와 같은 무선 기술이다. Wi-Fi 네트워크는 안전하고 신뢰성있으며 고속인 무선 연결을 제공하기 위해 IEEE 802.11(a,b,g, 기타)이라고 하는 무선 기술을 사용한다. 컴퓨터를 서로에, 인터넷에 및 유선 네트워크(IEEE 802.3 또는 이더넷을 사용함)에 연결시키기 위해 Wi-Fi가 사용될 수 있다. Wi-Fi 네트워크는 비인가 2.4 및 5 GHz 무선 대역에서, 예를 들어, 11Mbps(802.11a) 또는 54 Mbps(802.11b) 데이터 레이트로 동작하거나, 양 대역(듀얼 대역)을 포함하는 제품에서 동작할 수 있다.Wi-Fi (Wireless Fidelity) makes it possible to connect to the Internet, etc. without a wire. Wi-Fi is a wireless technology such as cell phones that allows these devices, eg, computers, to transmit and receive data indoors and outdoors, ie anywhere within range of a base station. Wi-Fi networks use a radio technology called IEEE 802.11 (a, b, g, etc.) to provide secure, reliable, and high-speed wireless connections. Wi-Fi can be used to connect computers to each other, to the Internet, and to wired networks (using IEEE 802.3 or Ethernet). Wi-Fi networks may operate in unlicensed 2.4 and 5 GHz radio bands, for example, at 11 Mbps (802.11a) or 54 Mbps (802.11b) data rates, or in products that include both bands (dual band). have.

본 개시의 기술 분야에서 통상의 지식을 가진 자는 여기에 개시된 실시예들과 관련하여 설명된 다양한 예시적인 논리 블록들, 모듈들, 프로세서들, 수단들, 회로들 및 알고리즘 단계들이 전자 하드웨어, (편의를 위해, 여기에서 "소프트웨어"로 지칭되는) 다양한 형태들의 프로그램 또는 설계 코드 또는 이들 모두의 결합에 의해 구현될 수 있다는 것을 이해할 것이다. 하드웨어 및 소프트웨어의 이러한 상호 호환성을 명확하게 설명하기 위해, 다양한 예시적인 컴포넌트들, 블록들, 모듈들, 회로들 및 단계들이 이들의 기능과 관련하여 위에서 일반적으로 설명되었다. 이러한 기능이 하드웨어 또는 소프트웨어로서 구현되는지 여부는 특정한 애플리케이션 및 전체 시스템에 대하여 부과되는 설계 제약들에 따라 좌우된다. 본 개시의 기술 분야에서 통상의 지식을 가진 자는 각각의 특정한 애플리케이션에 대하여 다양한 방식들로 설명된 기능을 구현할 수 있으나, 이러한 구현 결정들은 본 개시의 범위를 벗어나는 것으로 해석되어서는 안 될 것이다.Those of ordinary skill in the art of the present disclosure will recognize that the various illustrative logical blocks, modules, processors, means, circuits, and algorithm steps described in connection with the embodiments disclosed herein include electronic hardware, (convenience For this purpose, it will be understood that it may be implemented by various forms of program or design code (referred to herein as "software") or a combination of both. To clearly illustrate this interchangeability of hardware and software, various illustrative components, blocks, modules, circuits, and steps have been described above generally in terms of their functionality. Whether such functionality is implemented as hardware or software depends upon the particular application and design constraints imposed on the overall system. A person skilled in the art of the present disclosure may implement the described functionality in various ways for each specific application, but such implementation decisions should not be interpreted as a departure from the scope of the present disclosure.

여기서 제시된 다양한 실시예들은 방법, 장치, 또는 표준 프로그래밍 및/또는 엔지니어링 기술을 사용한 제조 물품(article)으로 구현될 수 있다. 용어 "제조 물품"은 임의의 컴퓨터-판독가능 장치로부터 액세스 가능한 컴퓨터 프로그램, 캐리어, 또는 매체(media)를 포함한다. 예를 들어, 컴퓨터-판독가능 매체는 자기 저장 장치(예를 들면, 하드 디스크, 플로피 디스크, 자기 스트립, 등), 광학 디스크(예를 들면, CD, DVD, 등), 스마트 카드, 및 플래쉬 메모리 장치(예를 들면, EEPROM, 카드, 스틱, 키 드라이브, 등)를 포함하지만, 이들로 제한되는 것은 아니다. 또한, 여기서 제시되는 다양한 저장 매체는 정보를 저장하기 위한 하나 이상의 장치 및/또는 다른 기계-판독가능한 매체를 포함한다. 용어 "기계-판독가능 매체"는 명령(들) 및/또는 데이터를 저장, 보유, 및/또는 전달할 수 있는 무선 채널 및 다양한 다른 매체를 포함하지만, 이들로 제한되는 것은 아니다. The various embodiments presented herein may be implemented as methods, apparatus, or articles of manufacture using standard programming and/or engineering techniques. The term “article of manufacture” includes a computer program, carrier, or media accessible from any computer-readable device. For example, computer-readable media include magnetic storage devices (eg, hard disks, floppy disks, magnetic strips, etc.), optical disks (eg, CDs, DVDs, etc.), smart cards, and flash memory. devices (eg, EEPROMs, cards, sticks, key drives, etc.). Also, various storage media presented herein include one or more devices and/or other machine-readable media for storing information. The term “machine-readable medium” includes, but is not limited to, wireless channels and various other media capable of storing, retaining, and/or carrying instruction(s) and/or data.

제시된 프로세스들에 있는 단계들의 특정한 순서 또는 계층 구조는 예시적인 접근들의 일례임을 이해하도록 한다. 설계 우선순위들에 기반하여, 본 개시의 범위 내에서 프로세스들에 있는 단계들의 특정한 순서 또는 계층 구조가 재배열될 수 있다는 것을 이해하도록 한다. 첨부된 방법 청구항들은 샘플 순서로 다양한 단계들의 엘리먼트들을 제공하지만 제시된 특정한 순서 또는 계층 구조에 한정되는 것을 의미하지는 않는다.It is understood that the specific order or hierarchy of steps in the presented processes is an example of exemplary approaches. Based on design priorities, it is understood that the specific order or hierarchy of steps in the processes may be rearranged within the scope of the present disclosure. The appended method claims present elements of the various steps in a sample order, but are not meant to be limited to the specific order or hierarchy presented.

제시된 실시예들에 대한 설명은 임의의 본 개시의 기술 분야에서 통상의 지식을 가진 자가 본 개시를 이용하거나 또는 실시할 수 있도록 제공된다. 이러한 실시예들에 대한 다양한 변형들은 본 개시의 기술 분야에서 통상의 지식을 가진 자에게 명백할 것이며, 여기에 정의된 일반적인 원리들은 본 개시의 범위를 벗어남이 없이 다른 실시예들에 적용될 수 있다. 그리하여, 본 개시는 여기에 제시된 실시예들로 한정되는 것이 아니라, 여기에 제시된 원리들 및 신규한 특징들과 일관되는 최광의의 범위에서 해석되어야 할 것이다. The description of the presented embodiments is provided to enable any person skilled in the art to make or use the present disclosure. Various modifications to these embodiments will be readily apparent to those skilled in the art, and the generic principles defined herein may be applied to other embodiments without departing from the scope of the present disclosure. Thus, the present disclosure is not intended to be limited to the embodiments presented herein, but is to be construed in the widest scope consistent with the principles and novel features presented herein.

Claims (17)

컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 하나 이상의 프로세서에서 실행되는 경우, 상기 하나 이상의 프로세서들로 하여금 LQA(Language Quality Assurance) 테스트 자동화를 위한 이하의 동작들을 수행하도록 하며, 상기 동작들은:
테스트 프로시저(test procedure) 정보를 클라이언트 단말로 전송하여 어플리케이션을 구동하도록 야기시키는 동작;
상기 클라이언트 단말의 상기 어플리케이션 실행 기록에 기초하여 획득된 LQA 테스트 정보를 수신하는 동작; 및
상기 LQA 테스트 정보를 하나 이상의 테스트 케이스 각각에 기초하여 정상 동작 여부를 판단하여 테스트 리포트(test report)를 생성하는 동작;
을 포함하고, 그리고
상기 하나 이상의 테스트 케이스는,
상기 어플리케이션에 관련된 서비스에 포함된 복수의 텍스트 중 타겟 언어 이외의 타 언어가 포함되어 있는지 여부를 식별하여 번역 여부를 판단하기 위한 테스트를 포함하는 제 1 테스트 케이스를 포함하고,
상기 타겟 언어는,
상기 서비스가 제공된 국가와 관련된 언어이고, 그리고
상기 복수의 텍스트 중 타겟 언어 이외의 타 언어가 포함되어 있는지 여부를 식별하여 번역 여부를 판단하기 위한 테스트는,
상기 복수의 텍스트 각각의 유니코드가 상기 타겟 언어의 유니코드에 사전 맵핑된 언어 그룹에 포함되어 있는 경우 상기 복수의 텍스트에 상기 타 언어가 포함되지 않는 것으로 식별하기 위한 테스트인,
컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
A computer program stored in a computer-readable storage medium, wherein the computer program, when executed on one or more processors, causes the one or more processors to perform the following operations for language quality assurance (LQA) test automation, the operation heard:
transmitting test procedure information to the client terminal to cause the application to run;
receiving LQA test information obtained based on the application execution record of the client terminal; and
generating a test report by determining whether the LQA test information is operating normally based on each of one or more test cases;
including, and
The one or more test cases,
and a first test case including a test for determining whether to translate by identifying whether a language other than a target language is included among a plurality of texts included in the service related to the application,
The target language is
the language associated with the country in which the service was provided; and
A test for determining whether to translate by identifying whether a language other than the target language is included among the plurality of texts,
When the Unicode of each of the plurality of texts is included in a language group pre-mapped to the Unicode of the target language, it is a test for identifying that the other languages are not included in the plurality of texts,
A computer program stored on a computer-readable storage medium.
제 1 항에 있어서,
상기 테스트 프로시저 정보는,
상기 어플리케이션에 관련된 서비스에 포함된 복수의 텍스트 각각을 로딩하기 위한 테스트 시나리오 정보를 포함하는 하나 이상의 스크립트 및 상기 하나 이상의 스크립트 각각에 대한 실행 순서 정보를 포함하는,
컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
The method of claim 1,
The test procedure information is
One or more scripts including test scenario information for loading each of a plurality of texts included in the service related to the application and execution order information for each of the one or more scripts,
A computer program stored on a computer-readable storage medium.
제 1 항에 있어서,
상기 LQA 테스트 정보는,
상기 어플리케이션에 관련된 서비스에 복수의 텍스트 각각을 로딩시키기 위한 정보들을 포함하며, 상기 복수의 텍스트 각각에 대응하는 유니코드 정보, 크기 정보, 폰트 정보, 텍스트 컨테이너 정보 및 위치 식별 정보 중 적어도 하나를 포함하는,
컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
The method of claim 1,
The LQA test information is,
It includes information for loading each of a plurality of texts in the service related to the application, and includes at least one of Unicode information, size information, font information, text container information, and location identification information corresponding to each of the plurality of texts. ,
A computer program stored on a computer-readable storage medium.
제 1 항에 있어서,
상기 LQA 테스트 정보를 하나 이상의 테스트 케이스 각각에 기초하여 정상 동작 여부를 판단하여 테스트 리포트를 생성하는 동작은,
상기 LQA 테스트 정보를 상기 제 1 테스트 케이스에 기초하여 정상 동작 여부를 판단하여 테스트 리포트를 생성하는 동작;
을 포함하는,
컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
The method of claim 1,
The operation of generating a test report by determining whether the LQA test information is operating normally based on each of one or more test cases includes:
generating a test report by determining whether the LQA test information is operating normally based on the first test case;
comprising,
A computer program stored on a computer-readable storage medium.
제 4 항에 있어서,
상기 LQA 테스트 정보를 상기 제 1 테스트 케이스에 기초하여 정상 동작 여부를 판단하여 테스트 리포트를 생성하는 동작은,
상기 LQA 테스트 정보에 기초하여 상기 복수의 텍스트 각각의 유니코드가 상기 타겟 언어의 유니코드에 사전 맵핑된 언어 그룹에 포함되는지 여부를 식별하는 동작; 및
상기 복수의 텍스트 각각의 유니코드 중 적어도 하나가 상기 언어 그룹에 포함되지 않는 경우, 해당 텍스트가 상기 제 1 테스트 케이스에 관련된 비정상 동작이라는 노티를 포함하는 테스트 리포트를 생성하는 동작;
을 포함하는,
컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
5. The method of claim 4,
The operation of generating a test report by determining whether the LQA test information is operating normally based on the first test case,
identifying whether Unicode of each of the plurality of texts is included in a language group pre-mapped to Unicode of the target language based on the LQA test information; and
generating a test report including a notification that the corresponding text is an abnormal operation related to the first test case when at least one Unicode of each of the plurality of texts is not included in the language group;
comprising,
A computer program stored on a computer-readable storage medium.
제 1 항에 있어서,
상기 하나 이상의 테스트 케이스는,
제 2 테스트 케이스를 포함하며,
상기 제 2 테스트 케이스는,
상기 어플리케이션에 관련된 서비스에 포함된 복수의 텍스트가 타겟 폰트 이외의 타 폰트로 표시되는지 여부를 식별하기 위한 테스트를 포함하고, 그리고
상기 LQA 테스트 정보를 하나 이상의 테스트 케이스 각각에 기초하여 정상 동작 여부를 판단하여 테스트 리포트를 생성하는 동작은,
상기 LQA 테스트 정보를 상기 제 2 테스트 케이스에 기초하여 정상 동작 여부를 판단하여 테스트 리포트를 생성하는 동작;
을 포함하고, 그리고
상기 타겟 폰트는,
상기 어플리케이션의 개발자에 의해 사전 결정되고, 상기 복수의 텍스트의 폰트에 대한 통일성을 보장하기 위해 상기 타겟 언어 중 사전 결정된 일부 타겟 언어에 대해서 메인 폰트 및 서브 폰트를 포함하는,
컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
The method of claim 1,
The one or more test cases,
a second test case;
The second test case is
a test for identifying whether a plurality of texts included in the service related to the application are displayed in other fonts than the target font, and
The operation of generating a test report by determining whether the LQA test information is operating normally based on each of one or more test cases includes:
generating a test report by determining whether the LQA test information is operating normally based on the second test case;
including, and
The target font is
Pre-determined by the developer of the application, and including a main font and a sub-font for some predetermined target languages among the target languages in order to ensure uniformity of the fonts of the plurality of texts,
A computer program stored on a computer-readable storage medium.
제 6 항에 있어서,
상기 LQA 테스트 정보를 상기 제 2 테스트 케이스에 기초하여 정상 동작 여부를 판단하여 테스트 리포트를 생성하는 동작은,
상기 LQA 테스트 정보에 기초하여 상기 복수의 텍스트 각각의 폰트 정보를 식별하는 동작; 및
상기 복수의 텍스트 각각의 폰트 정보에 기초하여 상기 복수의 텍스트 중 적어도 하나가 사전 결정된 폰트 정보와 상이함을 식별한 경우, 해당 텍스트가 상기 제 2 테스트 케이스에 관련된 비정상 동작이라는 노티를 포함하는 테스트 리포트를 생성하는 동작;
을 포함하는,
컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
7. The method of claim 6,
The operation of generating a test report by determining whether the LQA test information is operating normally based on the second test case includes:
identifying font information of each of the plurality of texts based on the LQA test information; and
When it is identified that at least one of the plurality of texts is different from the predetermined font information based on the font information of each of the plurality of texts, a test report including a notification that the corresponding text is an abnormal operation related to the second test case creating an action;
comprising,
A computer program stored on a computer-readable storage medium.
제 1 항에 있어서,
상기 하나 이상의 테스트 케이스는,
제 3 테스트 케이스를 포함하며,
상기 제 3 테스트 케이스는,
상기 어플리케이션에 관련된 서비스에 포함된 복수의 텍스트 각각의 가독성의 문제 유무를 판별하기 위한 테스트를 포함하고, 그리고
상기 LQA 테스트 정보를 하나 이상의 테스트 케이스 각각에 기초하여 정상 동작 여부를 판단하여 테스트 리포트를 생성하는 동작은,
상기 LQA 테스트 정보를 상기 제 3 테스트 케이스에 기초하여 정상 동작 여부를 판단하여 테스트 리포트를 생성하는 동작;
을 포함하는,
컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
The method of claim 1,
The one or more test cases,
a third test case;
The third test case is
a test for determining whether there is a problem with the readability of each of a plurality of texts included in the service related to the application; and
The operation of generating a test report by determining whether the LQA test information is operating normally based on each of one or more test cases includes:
generating a test report by determining whether the LQA test information is operating normally based on the third test case;
comprising,
A computer program stored on a computer-readable storage medium.
제 8 항에 있어서,
상기 LQA 테스트 정보를 상기 제 3 테스트 케이스에 기초하여 정상 동작 여부를 판단하여 테스트 리포트를 생성하는 동작은,
상기 LQA 테스트 정보에 기초하여 상기 복수의 텍스트 각각의 크기 정보를 식별하는 동작; 및
상기 복수의 텍스트 각각의 크기 정보에 기초하여 상기 복수의 텍스트 중 적어도 하나가 사전 결정된 텍스트 크기 이하임을 식별하는 경우, 해당 텍스트가 상기 제 3 테스트 케이스에 관련된 비정상 동작이라는 노티를 포함하는 테스트 리포트를 생성하는 동작;
을 포함하는,
컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
9. The method of claim 8,
The operation of generating a test report by determining whether the LQA test information is operating normally based on the third test case includes:
identifying size information of each of the plurality of texts based on the LQA test information; and
When it is identified that at least one of the plurality of texts is smaller than or equal to a predetermined text size based on the size information of each of the plurality of texts, a test report including a notice that the corresponding text is an abnormal operation related to the third test case is generated action to do;
comprising,
A computer program stored on a computer-readable storage medium.
제 1 항에 있어서,
상기 하나 이상의 테스트 케이스는,
제 4 테스트 케이스를 포함하며,
상기 제 4 테스트 케이스는,
상기 어플리케이션에 관련된 서비스에 포함된 복수의 텍스트 각각이 상기 복수의 텍스트 각각에 대응하는 표시 영역을 벗어나는지 여부를 판별하기 위한 테스트를 포함하고, 그리고
상기 LQA 테스트 정보를 하나 이상의 테스트 케이스 각각에 기초하여 정상 동작 여부를 판단하여 테스트 리포트를 생성하는 동작은,
상기 LQA 테스트 정보를 상기 제 4 테스트 케이스에 기초하여 정상 동작 여부를 판단하여 테스트 리포트를 생성하는 동작;
을 포함하는,
컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
The method of claim 1,
The one or more test cases,
a fourth test case;
The fourth test case is
a test for determining whether each of a plurality of texts included in the service related to the application is out of a display area corresponding to each of the plurality of texts; and
The operation of generating a test report by determining whether the LQA test information is operating normally based on each of one or more test cases includes:
generating a test report by determining whether the LQA test information is operating normally based on the fourth test case;
comprising,
A computer program stored on a computer-readable storage medium.
제 10 항에 있어서,
상기 LQA 테스트 정보를 상기 제 4 테스트 케이스에 기초하여 정상 동작 여부를 판단하여 테스트 리포트를 생성하는 동작은,
상기 LQA 테스트 정보에 기초하여 상기 복수의 텍스트 각각의 크기 정보 및 상기 복수의 텍스트 각각에 대응하는 텍스트 컨테이너 정보를 식별하는 동작;
상기 복수의 텍스트 각각의 크기 정보 및 상기 복수의 텍스트 각각에 대응하는 텍스트 컨테이너 정보에 기초하여 상기 복수의 텍스트 각각이 상기 복수의 텍스트 각각에 대응하는 텍스트 컨테이너를 벗어나는지 여부를 판별하는 동작; 및
상기 복수의 텍스트 중 적어도 하나가 상기 복수의 텍스트 각각에 대응하는 텍스트 컨테이너를 벗어남을 판별한 경우, 해당 텍스트가 상기 제 4 테스트 케이스에 관련된 비정상 동작이라는 노티를 포함하는 테스트 리포트를 생성하는 동작;
을 포함하는,
컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
11. The method of claim 10,
The operation of generating a test report by determining whether the LQA test information is operating normally based on the fourth test case includes:
identifying size information of each of the plurality of texts and text container information corresponding to each of the plurality of texts based on the LQA test information;
determining whether each of the plurality of texts leaves a text container corresponding to each of the plurality of texts based on size information of each of the plurality of texts and text container information corresponding to each of the plurality of texts; and
generating a test report including a notification that the corresponding text is an abnormal operation related to the fourth test case when it is determined that at least one of the plurality of texts is out of a text container corresponding to each of the plurality of texts;
comprising,
A computer program stored on a computer-readable storage medium.
제 1 항에 있어서,
상기 하나 이상의 테스트 케이스는,
제 5 테스트 케이스를 포함하며,
상기 제 5 테스트 케이스는,
상기 어플리케이션에 관련된 서비스에 포함된 복수의 텍스트 각각의 겹침 여부를 판별하기 위한 테스트를 포함하고, 그리고
상기 LQA 테스트 정보를 하나 이상의 테스트 케이스 각각에 기초하여 정상 동작 여부를 판단하여 테스트 리포트를 생성하는 동작은,
상기 LQA 테스트 정보를 상기 제 5 테스트 케이스에 기초하여 정상 동작 여부를 판단하여 테스트 리포트를 생성하는 동작;
을 포함하는,
컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
The method of claim 1,
The one or more test cases,
comprising a fifth test case,
The fifth test case is
a test for determining whether each of a plurality of texts included in the service related to the application overlaps, and
The operation of generating a test report by determining whether the LQA test information is operating normally based on each of one or more test cases includes:
generating a test report by determining whether the LQA test information is operating normally based on the fifth test case;
comprising,
A computer program stored on a computer-readable storage medium.
제 12 항에 있어서,
상기 LQA 테스트 정보를 상기 제 5 테스트 케이스에 기초하여 정상 동작 여부를 판단하여 테스트 리포트를 생성하는 동작은,
상기 LQA 테스트 정보에 기초하여 상기 복수의 텍스트 각각의 위치 식별 정보를 획득하는 동작;
상기 복수의 텍스트 각각의 위치 식별 정보에 기초하여 상기 복수의 텍스트 중 적어도 두개 이상의 텍스트가 동일 위치로 로딩됨을 판별하는 동작; 및
상기 복수의 텍스트 중 적어도 두개 이상의 텍스트가 동일 위치로 로딩됨을 판별하는 경우, 해당 텍스트가 상기 제 5 테스트 케이스에 관련된 비정상 동작이라는 노티를 포함하는 테스트 리포트 정보를 생성하는 동작;
을 포함하는,
컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
13. The method of claim 12,
The operation of generating a test report by determining whether the LQA test information is operating normally based on the fifth test case includes:
obtaining location identification information of each of the plurality of texts based on the LQA test information;
determining that at least two texts among the plurality of texts are loaded to the same location based on the location identification information of each of the plurality of texts; and
generating test report information including a notice that the text is an abnormal operation related to the fifth test case when it is determined that at least two texts among the plurality of texts are loaded into the same location;
comprising,
A computer program stored on a computer-readable storage medium.
제 1 항에 있어서,
상기 테스트 프로시저 정보에 기초하여 구동된 어플리케이션과 관련된 서비스에 포함된 복수의 텍스트 각각에 대한 스크린 샷 이미지를 획득하는 동작;
상기 스크린 샷 이미지에 대한 OCR(Optical character recognition)을 통해 상기 복수의 텍스트 각각의 언어 종류 식별 정보, 크기 정보, 폰트 정보, 텍스트 컨테이너 정보 및 위치 식별 정보 중 적어도 하나를 포함하는 텍스트 품질 정보를 획득하는 동작; 및
상기 텍스트 품질 정보와 사전 결정된 기준 텍스트 품질 정보의 비교에 기초하여 상기 테스트 리포트를 생성하는 동작;
을 더 포함하는,
컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
The method of claim 1,
obtaining a screen shot image for each of a plurality of texts included in a service related to an application driven based on the test procedure information;
Obtaining text quality information including at least one of language type identification information, size information, font information, text container information, and location identification information of each of the plurality of texts through OCR (Optical Character Recognition) for the screenshot image movement; and
generating the test report based on a comparison of the text quality information with predetermined reference text quality information;
further comprising,
A computer program stored on a computer-readable storage medium.
제 1 항에 있어서,
상기 테스트 리포트는,
테스트를 수행하고자 하는 사용자로 하여금 상기 어플리케이션을 통해 구동되는 서비스에 포함된 복수의 텍스트 각각의 품질이 사전 결정된 기준 품질 이하임을 인식시키기 위한 정보로, 상기 하나 이상의 테스트 케이스 각각에 관련한 오류 정보 및 상기 오류 정보 각각에 대응하는 오류 위치 식별 정보를 포함하는,
컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
The method of claim 1,
The test report is
Information for allowing a user to perform a test to recognize that the quality of each of a plurality of texts included in a service driven through the application is less than or equal to a predetermined reference quality, and error information related to each of the one or more test cases and the error including error location identification information corresponding to each of the information;
A computer program stored on a computer-readable storage medium.
LQA 테스트 자동화를 수행하기 위한 방법으로,
테스트 프로시저(test procedure) 정보를 클라이언트 단말로 전송하여 어플리케이션을 구동하도록 야기시키는 단계;
상기 클라이언트 단말의 상기 어플리케이션 실행 기록에 기초하여 획득된 LQA 테스트 정보를 수신하는 단계; 및
상기 LQA 테스트 정보를 하나 이상의 테스트 케이스 각각에 기초하여 정상 동작 여부를 판단하여 테스트 리포트(test report)를 생성하는 단계;
를 포함하고, 그리고
상기 하나 이상의 테스트 케이스는,
상기 어플리케이션에 관련된 서비스에 포함된 복수의 텍스트 중 타겟 언어 이외의 타 언어가 포함되어 있는지 여부를 식별하여 번역 여부를 판단하기 위한 테스트를 포함하는 제 1 테스트 케이스를 포함하고,
상기 타겟 언어는,
상기 서비스가 제공된 국가와 관련된 언어이고, 그리고
상기 복수의 텍스트 중 타겟 언어 이외의 타 언어가 포함되어 있는지 여부를 식별하여 번역 여부를 판단하기 위한 테스트는,
상기 복수의 텍스트 각각의 유니코드가 상기 타겟 언어의 유니코드에 사전 맵핑된 언어 그룹에 포함되어 있는 경우 상기 복수의 텍스트에 상기 타 언어가 포함되지 않는 것으로 식별하기 위한 테스트인,
LQA 테스트 자동화를 수행하기 위한 방법.
As a method for performing LQA test automation,
sending test procedure information to the client terminal to cause the application to run;
receiving LQA test information obtained based on the application execution record of the client terminal; and
generating a test report by determining whether the LQA test information is operating normally based on one or more test cases;
including, and
The one or more test cases,
and a first test case including a test for determining whether to translate by identifying whether a language other than a target language is included among a plurality of texts included in the service related to the application,
The target language is
the language associated with the country in which the service was provided; and
A test for determining whether to translate by identifying whether a language other than the target language is included among the plurality of texts,
When the Unicode of each of the plurality of texts is included in a language group pre-mapped to the Unicode of the target language, it is a test for identifying that the other languages are not included in the plurality of texts,
A method for performing LQA test automation.
LQA 테스트 자동화를 수행하기 위한 서버로서,
하나 이상의 코어를 포함하는 프로세서;
상기 프로세서에서 실행가능한 프로그램 코드들을 저장하는 메모리; 및
클라이언트 단말과 데이터를 송수신하는 네트워크부;
를 포함하고,
상기 프로세서는,
테스트 프로시저(test procedure) 정보를 상기 클라이언트 단말로 전송하여 어플리케이션을 구동하도록 야기시키고,
상기 클라이언트 단말의 상기 어플리케이션 실행 기록에 기초하여 획득된 LQA 테스트 정보를 수신하고,
상기 LQA 테스트 정보를 하나 이상의 테스트 케이스 각각에 기초하여 정상 동작 여부를 판단하여 테스트 리포트(test report)를 생성하고, 그리고
상기 하나 이상의 테스트 케이스는,
상기 어플리케이션에 관련된 서비스에 포함된 복수의 텍스트 중 타겟 언어 이외의 타 언어가 포함되어 있는지 여부를 식별하여 번역 여부를 판단하기 위한 테스트를 포함하는 제 1 테스트 케이스를 포함하고,
상기 타겟 언어는,
상기 서비스가 제공된 국가와 관련된 언어이고, 그리고
상기 복수의 텍스트 중 타겟 언어 이외의 타 언어가 포함되어 있는지 여부를 식별하여 번역 여부를 판단하기 위한 테스트는,
상기 복수의 텍스트 각각의 유니코드가 상기 타겟 언어의 유니코드에 사전 맵핑된 언어 그룹에 포함되어 있는 경우 상기 복수의 텍스트에 상기 타 언어가 포함되지 않는 것으로 식별하기 위한 테스트인,
LQA 테스트 자동화를 수행하기 위한 서버.
A server for performing LQA test automation, comprising:
a processor including one or more cores;
a memory storing program codes executable by the processor; and
a network unit for transmitting and receiving data to and from the client terminal;
including,
The processor is
Transmitting test procedure information to the client terminal to cause the application to run,
Receive the LQA test information obtained based on the application execution record of the client terminal,
Generating a test report by determining whether the LQA test information is operating normally based on each of one or more test cases, and
The one or more test cases,
A first test case including a test for determining whether to translate by identifying whether a language other than the target language is included among a plurality of texts included in the service related to the application;
The target language is
the language associated with the country in which the service was provided; and
A test for determining whether to translate by identifying whether a language other than the target language is included among the plurality of texts,
When the Unicode of each of the plurality of texts is included in a language group pre-mapped to the Unicode of the target language, it is a test for identifying that the other languages are not included in the plurality of texts,
Server for performing LQA test automation.
KR1020190076458A 2019-06-26 2019-06-26 A compuer program for language quality assurance test automation KR102307871B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190076458A KR102307871B1 (en) 2019-06-26 2019-06-26 A compuer program for language quality assurance test automation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190076458A KR102307871B1 (en) 2019-06-26 2019-06-26 A compuer program for language quality assurance test automation

Publications (2)

Publication Number Publication Date
KR20210001038A KR20210001038A (en) 2021-01-06
KR102307871B1 true KR102307871B1 (en) 2021-09-30

Family

ID=74128592

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190076458A KR102307871B1 (en) 2019-06-26 2019-06-26 A compuer program for language quality assurance test automation

Country Status (1)

Country Link
KR (1) KR102307871B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008065794A (en) 2006-09-11 2008-03-21 Internatl Business Mach Corp <Ibm> Internationalization software test method using resource file for test and font for test, device, program and data structure for font for test
US20130290075A1 (en) * 2012-04-30 2013-10-31 Infosys Limited Localization quality assurance of localized software
KR101588027B1 (en) 2014-10-10 2016-01-25 (주)씽크포비엘 Method and apparatus for generating test case to support localization of software
US20170098140A1 (en) 2015-10-06 2017-04-06 Adobe Systems Incorporated Font Recognition using Text Localization
KR101987330B1 (en) 2018-12-18 2019-06-11 넷마블 주식회사 Method for monitoring a content service and a server performing the method

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030016564A (en) 2001-08-21 2003-03-03 현대자동차주식회사 Main resonator for vehicles
KR101543295B1 (en) * 2014-01-14 2015-08-10 에스케이플래닛 주식회사 Application error detection method for cloud streaming service, apparatus and system therefor
US20150332482A1 (en) * 2014-05-16 2015-11-19 Microsoft Corporation Detecting conformance of graphical output data from an application to a convention

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008065794A (en) 2006-09-11 2008-03-21 Internatl Business Mach Corp <Ibm> Internationalization software test method using resource file for test and font for test, device, program and data structure for font for test
US20130290075A1 (en) * 2012-04-30 2013-10-31 Infosys Limited Localization quality assurance of localized software
KR101588027B1 (en) 2014-10-10 2016-01-25 (주)씽크포비엘 Method and apparatus for generating test case to support localization of software
US20170098140A1 (en) 2015-10-06 2017-04-06 Adobe Systems Incorporated Font Recognition using Text Localization
KR101987330B1 (en) 2018-12-18 2019-06-11 넷마블 주식회사 Method for monitoring a content service and a server performing the method

Also Published As

Publication number Publication date
KR20210001038A (en) 2021-01-06

Similar Documents

Publication Publication Date Title
US10963645B2 (en) Bi-directional contextualized text description
US20180217921A1 (en) System and method for generating and executing automated test cases
US20120131387A1 (en) Managing automated and manual application testing
US10289397B2 (en) Silent installation of software with dependencies
US10802952B2 (en) Streamlined creation of integration tests
US10769057B2 (en) Identifying potential errors in code using machine learning
US10216617B2 (en) Automatically complete a specific software task using hidden tags
US10095608B2 (en) Application test automation transmitting data via phone/voice calls
KR20110128632A (en) Method and device for detecting malicious action of application program for smartphone
US20190121717A1 (en) Dynamic, crowd-sourced error and crash resolution for computer programs
US20170103673A1 (en) Secure computer-implemented execution and evaluation of programming assignments for on demand courses
US20200117707A1 (en) Tracking and managing emoji annotations
US20220269498A1 (en) System and method using natural language processing to synthesize and build infrastructure platforms
US11562139B2 (en) Text data protection against automated analysis
KR102307871B1 (en) A compuer program for language quality assurance test automation
US20200184109A1 (en) Certified information verification services
KR102245783B1 (en) Computer programs for performing in-game balace tests
US9697018B2 (en) Synthesizing inputs to preserve functionality
US11036837B2 (en) Verifying a user of a computer system
KR102158544B1 (en) Method and system for supporting spell checking within input interface of mobile device
US20240330165A1 (en) Quality assurance for digital technologies using large language models
US9473440B1 (en) Hyperlink validation
KR102669800B1 (en) Method and apparatus for providing step by step in solving mathematical problem
KR102481254B1 (en) Apparatus and method for test automation service
US20170213147A1 (en) Generating description text for applications

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant