KR101941418B1

KR101941418B1 - Crowding testing platform

Info

Publication number: KR101941418B1
Application number: KR1020180093810A
Authority: KR
Inventors: 김희선
Original assignee: 김희선
Priority date: 2018-08-10
Filing date: 2018-08-10
Publication date: 2019-04-12

Abstract

The present invention relates to a crowd testing platform which is able to connect a software company, which needs testing of a project, to a tester, who will perform the testing. According to the present invention, the crowd testing platform comprises: a project registration module which receives a registration of a project, which needs testing, from a company; a tester registration module which receives an application of a tester, who will test a project, and registers the tester; a tester selection module which selects a tester to test the project registered on the project registration module among the testers registered on the tester registration module; a project distribution module which distributes the project to be tested to the tester selected by the tester selection module; a monitoring module which monitors the progress of the project being tested in real-time and, if a defect is found, notifies about the defect to the company; a result report module which reports a result of the testing of the project to the company; and a compensation module which pays a reward for the testing to the tester who has completed the testing. According to the present invention, the crowd testing platform is able to efficiently connect a customized tester, who will perform the optimal testing for the relevant project, to a software company which needs the testing of the project.

Description

[0001] CROWDING TESTING PLATFORM [0002]

본 발명은 크라우드 테스팅 장치에 관한 것으로, 더욱 상세하게는 프로젝트의 테스팅이 필요한 소프트웨어 업체와 테스팅을 수행할 테스터를 연계시켜줄 수 있도록 구현한 크라우드 테스팅 장치에 관한 것이다.The present invention relates to a crow testing apparatus, and more particularly, to a crow testing apparatus implemented to link a software company that requires testing of a project and a tester to perform testing.

스마트 기기(예를 들어, 스마트 폰, 테블릿 PC 또는 노트 등)의 애플리케이션 프로그램이 처음 등장한 이후 경쟁이 심해지고 있으며, 애플리케이션 프로그램의 성공 요소는 아이디어뿐만 아니라 기능이 완벽해야 하고 사용하기도 편리해야만하는 시대가 되었다.Competition is worsening since the first appearance of application programs on smart devices (eg, smartphones, tablet PCs, or notebooks), and the success factors of application programs are not only ideas, but also features that must be functional and easy to use .

즉, 현재 애플리케이션 프로그램의 경우, 좋은 아이디어만 가지고는 성공하기 어렵고, 추가적으로 홍보도 잘 해야하며, 기능도 완벽하면서도 사용이 편리하게 제작되어야 성공할 수 있다.In other words, in the case of the current application program, it is difficult to succeed with only a good idea, additional publicity is required, and the function can be accomplished only if the function is perfect and is made easy to use.

따라서, 현재 또는 향후에는 개발된 애플리케이션 프로그램을 철저하게 검증한 후에 시장에 출시해야 하는 상황이 되었으며, 이를 위해서는 품질 검사(QA: Quality Assurance) 과정이 중요한 역할을 담당한다.Therefore, it is necessary to thoroughly verify the application program developed now or in the future, and then release it to the market. Quality assurance (QA) process plays an important role in this.

그러나, 대다수 앱 개발 회사나 개인들은, 앱 시험을 위한 체계와 기술을 갖추지 못할 뿐만 아니라 비용 때문에 자체 품질 검사 팀과 시험 장비를 갖추어 운영하기가 불가능한 단점이 있다.However, most app developers and individuals do not have the system and skills to test apps, and because of the cost, they are unable to operate their own quality inspection team and test equipment.

그래서, 애플리케이션을 개발하는 회사의 입장에서는, 프로토타입을 개발하고도 상용화를 위해 수정 보완해야 하는데, 개발 기간의 2 내지 3배이상이 소요될 수밖에 없어 기간의 연장과 개발비의 초과로 이어져 매우 부담스러운 상황이다.Therefore, from the perspective of a company developing an application, even if a prototype is developed, it needs to be corrected and supplemented for commercialization. However, it takes more than two to three times of the development period, to be.

따라서, 저렴한 비용뿐만 아니라 실제 앱을 사용할 실사용자의 의견을 반영함으로 앱의 품질을 향상하는데 획기적인 방법으로서, 시험이 필요한 시점에 단기간 활용할 수 있는 앱 시험 팀을 실시간으로 구성하고 그 팀을 활용하여 시험을 완료한 후 팀을 해체하는 방법을 사용하고 있다.Therefore, it is a great way to improve the quality of the app by reflecting the opinions of actual users who use actual apps as well as the low cost. We can organize the application test team that can be used for a short time at the time of test, And then dismantling the team.

그러나, 이러한 일반인을 활용한 크라우드 테스팅을 시행하는 방법의 경우에는, 여러 시도가 이루어지고 있지만 다음과 같은 문제가 있다.However, in the case of the crowd testing method using the public, various attempts have been made, but there are the following problems.

첫째, 시험을 의뢰하는 의뢰자가 시험자 그룹을 선정하는 하는데 너무 오랜 시간이 소요될 뿐만 아니라, 시험자가 구체적으로 누구인지 모르고 시험을 의뢰해야 하는 경우가 대다수이다.First, not only does it take too long for the requester to select a group of testers, but most of the time the examiner does not know who he / she is specifically.

둘째는, 의뢰자와 시험자가 소통하는 방식이 E-MAIL로 되어 있기 때문에 시험하는 기기 정보가 실제 의뢰자가 원하는 기기와 다를 수가 많아, 원하는 기종에서 시험했는지 확인할 수 있는 방법이 없다는 점이다.The second is that there is no way to verify that the device information to be tested is different from the actual device requested by the requester and that it has been tested on the desired model since the method by which the requester and the tester communicate is E-MAIL.

그리고, 세 번째는, 의뢰자와 시험자 간에 실시간으로 대화하는 방식으로 시험하는 것이 거의 불가능하다는 점이다.And third, it is almost impossible to test in a real-time manner between the requester and the tester.

한국공개특허 제10-2001-0095374호Korean Patent Publication No. 10-2001-0095374 한국공개특허 제10-2015-0024972호Korean Patent Publication No. 10-2015-0024972

본 발명의 일측면은 프로젝트의 테스팅이 필요한 소프트웨어 업체와 해당 프로젝트에 최적의 테스팅을 수행할 맞춤형 테스터를 효율적으로 연계시켜줄 수 있도록 구현한 크라우드 테스팅 장치을 제공한다.One aspect of the present invention provides a crowd testing apparatus implemented to efficiently link a software company that requires project testing and a customized tester to perform optimal testing for the project.

본 발명의 일 실시예에 따른 크라우드 테스팅 장치은, 업체로부터 테스팅이 필요한 프로젝트를 등록받는 프로젝트 등록 모듈; 및 프로젝트를 테스팅할 테스터를 지원받아 등록해 두는 테스터 등록 모듈;를 포함한다.A crow testing device according to an embodiment of the present invention includes a project registration module for registering a project requiring testing from a vendor; And a tester registration module for registering and registering a tester for testing the project.

크라우드 테스팅 장치은 상기 테스터 등록 모듈에 등록된 테스터 중에서 상기 프로젝트 등록 모듈에 등록된 프로젝트를 테스팅할 테스터를 선택하는 테스터 선택 모듈; 상기 테스터 선택 모듈에 의해 선택된 테스터에게 테스팅할 프로젝트를 분배하는 프로젝트 분배 모듈; 테스팅 중인 프로젝트의 진행 사항을 실시간으로 모니터링하며, 결함이 발생될 경우 업체에게 통지하는 모니터링 모듈; 프로젝트의 테스팅 결과를 업체에게 리포트하는 결과 리포트 모듈; 및 테스팅을 완료한 테스터에게 테스팅에 대한 보상을 지급하는 보상 모듈을 더 포함하고, 상기 테스터 등록 모듈에 등록된 테스터 중에서 상기 프로젝트 등록 모듈에 등록된 프로젝트를 테스팅할 테스터를 선택하는 테스터 선택 모듈; 상기 테스터 선택 모듈에 의해 선택된 테스터에게 테스팅할 프로젝트를 분배하는 프로젝트 분배 모듈; 테스팅 중인 프로젝트의 진행 사항을 실시간으로 모니터링하며, 결함이 발생될 경우 업체에게 통지하는 모니터링 모듈; 프로젝트의 테스팅 결과를 업체에게 리포트하는 결과 리포트 모듈; 및 테스팅을 완료한 테스터에게 테스팅에 대한 보상을 지급하는 보상 모듈을 포함한다.Wherein the crow testing device comprises: a tester selection module for selecting a tester for testing a project registered in the project registration module among testers registered in the tester registration module; A project distribution module for distributing a project to be tested to a tester selected by the tester selection module; A monitoring module that monitors the progress of a project under test in real time and notifies a vendor when a defect occurs; A result report module that reports the results of the testing of the project to the vendor; A tester selection module for selecting a tester for testing a project registered in the project registration module among the tester registered in the tester registration module; and a compensation module for compensating a tester for which testing has been completed, A project distribution module for distributing a project to be tested to a tester selected by the tester selection module; A monitoring module that monitors the progress of a project under test in real time and notifies a vendor when a defect occurs; A result report module that reports the results of the testing of the project to the vendor; And a compensation module that provides compensation for testing to the tester that has completed the testing.

일 실시예에서, 상기 프로젝트 등록 모듈은, 등록받는 프로젝트 별로 등급을 매기며 해당 등급에 따라 테스팅에 대한 보상을 차등 지급하며, 테스터가 자신에게 주어진 프로젝트를 올바르게 수행하는 지를 검증할 수 있도록 업체로부터 등록되는 프로젝트에 테스터에게 공지하지 아니할 검증용 결함을 포함시키며, 상기 테스터 등록 모듈은, 참여하였던 관련 분야의 프로젝트의 수행에 따라 수여받은 등급 포인트 또는 프로젝트의 분야와 관련하여 취득한 자격증의 소유 여부, 학위 수여 여부 및 업계 경력 여부 중 적어도 하나의 취득 자격에 따른 등급 포인트에 따라 지원하는 테스터를 프로젝트의 분야 별로 전문 테스터 또는 일반 테스터로 구분하여 등록하며, 상기 프로젝트 분배 모듈은, 특정 업체로부터 등록되는 프로젝트의 테스팅에 기 설정된 횟수 이상의 테스팅을 분배 받은 경험이 있는 테스터의 경우 해당 업체로부터 등록되는 이미 참여하였던 분야의 프로젝트를 자동으로 분배 받도록 하며, 업체가 해당 테스터로의 자동 분배에 동의하지 않거나 해당 테스터로부터 거절의 의사가 있는 경우 테스팅의 자동 분배를 수행하지 아니하고, 차후 업체로부터 등록되는 프로젝트의 자동 분배에서 해당 테스터를 제외하며, 상기 보상 모듈은, 업체로부터 부여되는 평가, 테스팅의 수행 기간 조건 만족 여부, 프로젝트에 포함된 결함을 판독한 횟수, 프로젝트를 등록한 업체의 만족도, 프로젝트를 등록한 업체로부터의 선택 횟수, 전문 테스터 또는 일반 테스터 여부, 검증용 결함의 발견 여부 및 등급 포인트의 누적 포인트 중 적어도 하나의 조건을 고려하여 해당 프로젝트를 수행한 테스터에게 부여될 보상 정도를 결정하며, 상기 테스팅의 수행 기간 조건에 따른 수행 기간을 단축시킨 정도에 따라 보상의 정도를 달리 결정할 수 있다.In one embodiment, the project registration module assigns ratings to the projects to be registered, differentially compensates for the testing according to the rating, and registers with the vendor so that the tester can verify whether the project is correctly performed by the tester. The tester registration module includes a verification point that is not notified to the tester by the project, and the tester registration module is used for the evaluation of the grade points awarded according to the performance of the project in the related field in which the participant participated, Whether it is a professional tester or a general tester. The project distribution module registers the tester according to the grade point according to at least one of the qualifications of the project, Preset number of times For testers who have received more than a few tests, they should be automatically distributed to the projects that have already been registered from the vendor. If the vendor does not consent to automatic distribution to the testers or is willing to reject them In the case where the automatic distribution of testing is not performed, the tester is excluded from the automatic distribution of a project registered from a subsequent company, and the compensation module determines whether the evaluation given by the vendor, the satisfaction of the execution period condition of the testing, Considering the condition of at least one of the number of readings of the project, the satisfaction of the company registered the project, the number of selection from the company registered with the project, whether it is a professional tester or general tester, To be given to the tester who Determining the degree and, depending on the degree that the speed of the Period Period conditions of the testing may determine different degrees of compensation.

일 실시예에서, 상기 테스터 등록 모듈은, 키워드 분석을 통해 상기 프로젝트 등록 모듈로 등록되는 프로젝트로부터 획득한 키워드를 SNS 상에서 해시태그(Hashtag) 검색을 통해 검색하여 해당 해시태그를 기재한 포스팅을 탐색하며, 탐색된 포스팅에 해시태그를 기재한 사용자의 팔로워 또는 친구 수가 기 설정된 인원수 이상인 경우 해당 사용자를 테스팅을 수행할 테스터 자격이 주어지는 프로젝트 분배 후보군으로 등록하며, 상기 프로젝트 분배 후보군에 최초 포함된 후보자들을 기준 후보자로 설정하고, 기준 후보자의 포스팅을 인용, 해시태그, 좋아요 또는 추천의 의사를 표시하여 기준 후보자로부터 파생된 후보자를 제1 파생 후보자로 설정하여 상기 프로젝트 분배 후보군으로 추가 등록하고, 제1 파생 후보자로부터 파생된 후보자를 제2 파생 후보자로 설정하여 상기 프로젝트 분배 후보군으로 추가 등록하여 차순위 파생 후보자의 순차적 파생에 의한 프로젝트 분배 후보군의 인원수 추가를 진행하며, 최초 프로젝트 분배 후보군에 등록된 기준 후보자로부터 후보자의 파생으로 기 설정된 인원의 상기 프로젝트 분배 후보군이 생성되면 후보자의 파생을 종료하며, 후보자 파생 과정에 의해 이미 프로젝트 분배 후보군에 포함된 후보자가 파생 후보자로 다시 선택받는 횟수에 따라 프로젝트 분배 후보군에서의 순위를 결정하며, 선순위 후보자로부터 순위에 따라 프로젝트의 테스팅에 참여 의사를 문의하며, 선순위에 위치한 후보자가 참여를 거부한 경우 해당 거부자의 지위를 차순위의 후보자에게 부여할 수 있다.In one embodiment, the tester registration module searches a hash tag (Hashtag) search on the SNS for a keyword obtained from a project registered in the project registration module through keyword analysis, And registering the user as a project distribution candidate group that is entitled to perform a test if the number of the followers or friends of the user who list the hash tags in the found posting is equal to or greater than a predetermined number, Quot ;, a hash tag, a likeness, or a recommendation of recommendation is displayed so that a candidate derived from the reference candidate is set as a first derivative candidate and additionally registered as the project distribution candidate group, and the first derivative candidate The second derivative candidate And additionally registers as the project distribution candidate group to proceed with the addition of the number of candidates for the project distribution candidate by sequential derivation of the subordinate derivative candidates. The project distribution of the predetermined number of persons set as the derivation of the candidates from the standard candidate registered in the first project distribution candidate group When the candidate group is created, the derivation of the candidate is terminated. In accordance with the number of times the candidate included in the project distribution candidate group is again selected as the derivative candidate by the candidate derivation process, the ranking is determined in the project distribution candidate group. If the candidate in the senior position refuses to participate, the status of the objectioner can be given to the next-level candidate.

상술한 본 발명의 일측면에 따르면, 테스터 모집부터 결과 리포트까지의 기간을 단기간에 수행함으로써 프로젝트의 출시 지연으로 인해 업체에 발생할 수 있는 불필요한 비용의 발생을 방지할 수 있다.According to an aspect of the present invention, the period from the tester recruitment to the result report is performed in a short period of time, thereby preventing the occurrence of unnecessary expenses that may occur in the business due to the delay in the release of the project.

이에 따라, 업체로서는, 결함의 발생을 실시간으로 모니터링하여 제공 받음으로써 프로젝트의 진행과 동시에 버그를 수정할 수 있을 뿐만 아니라, 프로젝트 테스팅의 수행을 테스터가 보유한 개인 장비를 활용함으로써 테스팅 소요 비용뿐만 아니라 소요 시간 역시 줄일 수 있다.As a result, companies are able to fix bugs at the same time as the project progresses by monitoring the occurrence of defects in real time and receiving them. In addition, by utilizing the personal equipment possessed by the testers to perform project testing, You can also reduce it.

그리고, 테스터로서는, 크라우드 소싱(Crowd Sourcing) 방식의 테스터 모집 시스템을 통해 수행 가능한 프로젝트에 쉽고 빠르게 참여할 수 있고, 보유한 기기, 프로젝트 기간, 테스터 경험 등 원하는 조건으로 프로젝트에 지원하고 테스팅을 수행할 수 있으며, 언제 어디서나 테스팅을 수행하고 수행 결과에 따라 추가 보상을 얻을 수 있다.And as a tester, you can easily participate in projects that can be performed through a Crowd Sourcing tester recruitment system, and you can support and test projects with your desired conditions such as equipment, project period, and tester experience. , You can perform testing anytime and anywhere and get additional rewards based on the results.

도 1은 본 발명의 일 실시예에 따른 크라우드 테스팅 장치의 개략적인 구성이 도시된 도면이다.
도 2는 업체측의 관점에서 진행되는 크라우드 테스팅 장치을 이용한 테스팅 방법을 설명하는 순서도이다.
도 3은 테스터측의 관점에서 진행되는 크라우드 테스팅 장치을 이용한 테스팅 방법을 설명하는 순서도이다.
도 4는 본 발명의 다른 실시예에 따른 크라우드 테스팅 장치의 개략적인 구성이 도시된 도면이다.1 is a diagram illustrating a schematic configuration of a crow testing apparatus according to an embodiment of the present invention.
FIG. 2 is a flowchart for explaining a testing method using a crow testing device from the viewpoint of a vendor.
3 is a flowchart for explaining a testing method using a crow testing apparatus from the perspective of a tester.
4 is a diagram showing a schematic configuration of a crow testing apparatus according to another embodiment of the present invention.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조 부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.The following detailed description of the invention refers to the accompanying drawings, which illustrate, by way of illustration, specific embodiments in which the invention may be practiced. These embodiments are described in sufficient detail to enable those skilled in the art to practice the invention. It should be understood that the various embodiments of the present invention are different, but need not be mutually exclusive. For example, certain features, structures, and characteristics described herein may be implemented in other embodiments without departing from the spirit and scope of the invention in connection with an embodiment. It is also to be understood that the position or arrangement of the individual components within each disclosed embodiment may be varied without departing from the spirit and scope of the invention. The following detailed description is, therefore, not to be taken in a limiting sense, and the scope of the present invention is to be limited only by the appended claims, along with the full scope of equivalents to which such claims are entitled, if properly explained. In the drawings, like reference numerals refer to the same or similar functions throughout the several views.

이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in more detail with reference to the drawings.

도 1은 본 발명의 일 실시예에 따른 크라우드 테스팅 장치의 개략적인 구성이 도시된 도면이다.1 is a diagram illustrating a schematic configuration of a crow testing apparatus according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 크라우드 테스팅 장치(10)은, 프로젝트 등록 모듈(100), 테스터 등록 모듈(200), 테스터 선택 모듈(300), 프로젝트 분배 모듈(400), 모니터링 모듈(500), 결과 리포트 모듈(600) 및 보상 모듈(700)을 포함한다.1, a crow testing apparatus 10 according to an exemplary embodiment of the present invention includes a project registration module 100, a tester registration module 200, a tester selection module 300, a project distribution module 400, A monitoring module 500, a result report module 600, and a compensation module 700.

프로젝트 등록 모듈(100)은, 업체로부터 테스팅이 필요한 프로젝트를 등록받는다.The project registration module 100 registers a project requiring testing from a vendor.

여기서, 프로젝트라 함은, 게임, 문서 편집 프로그램, 쇼핑몰의 웹 홈페이지 또는 스마트폰용 애플리케이션 프로그램 등과 같이 소프트웨어로 제작되는 모든 형태의 결과물로서, 이에 상응하는 프로그램은 그 명칭에 구애됨이 없이 적용이 가능하다.Here, the term "project" refers to any type of product produced by software, such as a game, a document editing program, a web homepage of a shopping mall, or an application program for a smart phone, and the corresponding program can be applied without being limited to the name .

그리고, 테스팅이라 함은, 상술한 소프트웨어 프로토타입의 출시 전에 발생할 수 있는 버그 등과 같은 오류를 찾아내는 작업을 지칭하는 것으로, 예를 들어, 신작 게임을 출시하기 전에 제한된 유저들을 베타 테스터로서 활용하여 오류를 발견하여 출시 전에 수정하는 과정 등이 이에 해당할 수 있다.The term " testing " refers to a task of finding an error such as a bug that may occur before the above-described software prototype is launched. For example, when a new game is released, limited users are utilized as a beta tester This may be the process of finding and modifying it before it is released.

일 실시예에서, 프로젝트 등록 모듈(100)은, 등록받는 프로젝트 별로 등급을 매기며 해당 등급에 따라 테스팅에 대한 보상을 차등 지급할 수 있다.In one embodiment, the project registration module 100 grades each project to be registered, and can pay compensation for testing according to the corresponding grade.

예를 들어, 프로젝트의 난이도에 따라 상, 중 또는 하로 구분한 후, 난이도 상의 프로젝트의 테스팅을 수행한 테스터에게 가장 많은 보상을 하고, 난이도 중의 프로젝트의 테스팅을 수행한 테스터에게 중간 정도의 보상을 하고, 난이도 하의 프로젝트의 테스팅을 수행한 테스터에게 가장 적은 보상을 하는 등이 이에 해당할 수 있다.For example, after dividing into upper, middle, or lower according to the degree of difficulty of the project, the tester who performed the testing of the project on the degree of difficulty makes the most compensation and the middle compensates the tester , And the smallest reward for a tester who has tested a project under difficulty.

더 나아가, 프로젝트 등록 모듈(100)은, 테스터가 자신에게 주어진 프로젝트를 올바르게 수행하는 지를 검증할 수 있도록, 업체로부터 등록되는 프로젝트에 테스터에게 공지하지 아니할 검증용 결함을 포함시킨 후, 테스터로 하여금 테스팅을 수행하도록 할 수 있다.Further, the project registration module 100 may include a verification defect that will not be notified to the tester by a project registered by the vendor, so that the tester can verify whether the project is correctly performed by the tester, . &Lt; / RTI >

의뢰한 업체로서는, 테스팅을 수행하는 테스터에 대한 신뢰가 쌓이기 전에는 테스팅의 정확도에 대한 확신을 가지기 힘든 바, 아직 신뢰가 쌓이기 전의 테스터에게 배당될 프로젝트에 업체로부터 의뢰받았거나 또는 임의의 검증용 결함을 포함시킨 채로 테스터에게 분배한 후, 해당 테스터가 검증용 결함을 찾아내는 지를 확임함으로써 테스터의 테스팅 수행 능력을 판가름하는 도구로 활용할 수 있다.It is difficult for the vendor to have confidence in the accuracy of the testing before the confidence of the tester performing the testing is met. It is difficult for the vendor to make sure that the tester, After distributing it to the tester, it can be used as a tool to judge the testing performance of the tester by ensuring that the tester finds defects for verification.

예를 들어, 게임 소프트웨어의 베타 이의 경우에 있어, 특정 캐릭터의 동작이 정상적으로 구현되지 아니하도록 검증용 결함을 심어 놓고, 해당 검증용 결함을 테스터가 찾아내는 지를 확인하게 된다.For example, in the case of a beta game software, a verification defect is embedded so that the operation of a specific character is not normally realized, and a check is made to see if the verification defect is detected by the tester.

테스터 등록 모듈(200)은, 프로젝트를 테스팅할 테스터를 지원받아 등록해 둔다.The tester registration module 200 registers the tester to be tested with the support of the tester.

즉, 테스터 등록 모듈(200)은, 크라우드소싱(Crowd Sourcing, 대중들의 참여로 해결책을 얻는 방법) 방식으로 테스터를 모을 수 있다.That is, the tester registration module 200 can collect testers in a crowd sourcing (crowd sourcing) manner.

여기서, 크라우드소싱이라 함은, 대중(crowd)와 아웃소싱(outsourcing)의 합성어로, 기업 활동 일부 과정에 대중을 참여시키는 것을 의미하며, 물건을 새로 만들 때나 서비스 개선 등의 분야에 대중들을 참여시킴으로써 기업 입장에서는 참신한 아이디어와 실질적인 의견을 들을 수 있고, 대중들은 피드백 참여에 관한 보수를 받을 수 있다.Here, crowd sourcing is a combination of crowd and outsourcing. It means engaging the public in some of the business activities. By engaging the public in creating new things and improving services, From the standpoint, innovative ideas and practical opinions can be heard, and the public can receive compensation for feedback participation.

크라우드소싱을 이용하면, 외부 전문업체에 맡겨서 직접 물건을 만들거나 서비스를 하는 것보다 대중들이 직접 참여하여 원하는 결과물을 이끌어내면 개발 비용도 저렴하게 들고, 잠재 고객도 얻을 수 있다는 장점을 가질 수 있다.Using crowd sourcing can have the advantage of lowering development costs and attracting potential customers by directing the desired results to the public, rather than making or servicing them directly to an external professional.

일 실시예에서, 테스터 등록 모듈(200)은, 참여하였던 관련 분야의 프로젝트의 수행에 따라 수여받은 등급 포인트 또는 프로젝트의 분야와 관련하여 취득한 자격증의 소유 여부, 학위 수여 여부 및 업계 경력 여부 중 적어도 하나의 취득 자격에 따른 등급 포인트에 따라 지원하는 테스터를 프로젝트의 분야 별로 전문 테스터 또는 일반 테스터로 구분하여 등록할 수 있다.In one embodiment, the tester registration module 200 may determine whether or not to acquire the credentials acquired in accordance with the performance of the project in the relevant field in which it participates, or in relation to the field of the project, whether or not the degree has been awarded, The tester can be classified as a professional tester or a general tester according to the field of the project.

즉, 테스터 등록 모듈(200)에 등록되는 지원자들을, 전문 테스터 또는 일반 테스터로 구분하여 등록시킴으로써, 업체로서는 좀더 전문적인 테스팅이 필요로 하는 프로젝트의 경우에는 전문 테스터에게 분배함으로써 전문성을 보장받거나, 비용을 절약하고자 하는 경우에는 보상이 적은 일반 테스터에게 분해할 수 있고, 테스터로서는 자신의 능력에 합당한 프로젝트를 수행함으로써 전문성을 기르는 한편 능력은 한계를 벗어난 프로젝트의 수행으로 인해 테스팅의 신뢰도가 저하되는 것을 방지할 수 있게 된다.In other words, by registering the applicants registered in the tester registration module 200 as a professional tester or a general tester, in the case of a project requiring more specialized testing, the company can be guaranteed professionalism by distributing it to a professional tester, If you want to save money, you can disassemble it to a general tester with little compensation. As a tester, you can raise your expertise by carrying out a project that suits your abilities, while the ability to prevent the reliability of your testing from being degraded .

일 실시예에서, 테스터 등록 모듈(200)은, 키워드 분석을 통해 프로젝트 등록 모듈(100)로 등록되는 프로젝트로부터 획득한 키워드를 SNS(예를 들어, 인스타그램, 페이스북, 카카오스토리 또는 네이버 밴드 등) 상에서 해시태그(Hashtag) 검색을 통해 검색하여 해당 해시태그를 기재한 포스팅을 탐색할 수 있다.In one embodiment, the tester registration module 200 may provide a keyword obtained from a project registered with the project registration module 100 through keyword analysis to an SNS (e.g., Instagram, Facebook, Cacao Story or Naver Band Etc.) through a hashtag search and search for a post describing the hashtag.

키워드 분석을 위해 테스터 등록 모듈(200)은, 프로젝트의 분야 별로 키워드를 데이터베이스화시켜 미리 저장해 둘 수 있다.For the keyword analysis, the tester registration module 200 may store the keyword in advance in a database for each field of the project.

예를 들어, 프로젝트 등록 모듈(100)로 등록되는 프로젝트가 “컴퓨터 홈쇼핑”의 홈페이지 테스팅이라고 할 경우, 컴퓨터와 관련된 키워드로서 제조사, 프로세서, 메모리, HDD 또는 노트북 등의 키워드가 이에 해당할 수 있다.For example, if the project registered in the project registration module 100 is a homepage testing of "computer home shopping", the keywords related to the computer may correspond to keywords such as manufacturer, processor, memory, HDD or notebook.

이때, 테스터 등록 모듈(200)은, 탐색된 포스팅에 해시태그를 기재한 사용자의 팔로워 또는 친구 수가 기 설정된 인원수(예를 들어, 30명 내지 50 명 등) 이상인 경우 해당 사용자를 테스팅을 수행할 테스터 자격이 주어지는 후보들로 구성되는 프로젝트 분배 후보군으로 등록할 수 있다.At this time, if the number of the followers or friends of the user who wrote the hash tags in the found posting is equal to or greater than the predetermined number (for example, 30 to 50), the tester registration module 200 transmits the tester You can register as a project distribution candidate consisting of qualified candidates.

여기서, 팔로워 또는 친구 수가 일정 수 이상인 경우에 한하여 후보군으로 등록하는 것은, 충분하고 양질의 정보를 포함한 포스팅을 가지고 있는 사용자의 경우에는 해당 분야에 관심을 가지고 있는 대중의 집중적인 관심을 받을 것이고, 이는 자연스럽게 해당 사용자를 팔로우 하거나 친구 신청을 하게 될 고도의 개연성을 가질 것이기 때문이다.Here, registering as a candidate only if the number of followers or friends is more than a certain number will receive intensive attention of the public who are interested in the field in the case of a user having a post with sufficient and high-quality information, Because they will have a high likelihood of naturally following the user or applying for a friend.

그리고, 프로젝트 분배 후보군에 최초 포함된 후보자들을 기준 후보자로 설정하고, 기준 후보자의 포스팅을 인용, 해시태그, 좋아요 또는 추천의 의사를 표시하여 기준 후보자로부터 파생된 후보자를 제1 파생 후보자로 설정하여 프로젝트 분배 후보군으로 추가 등록하고, 제1 파생 후보자로부터 파생된 후보자를 제2 파생 후보자로 설정하여 프로젝트 분배 후보군으로 추가 등록하는 과정을 반복하여 차순위 파생 후보자의 순차적 파생에 의한 프로젝트 분배 후보군의 인원수 추가를 진행할 수 있다.Then, candidates initially included in the project distribution candidate group are set as standard candidates, quotations of the standard candidates are quoted, hash tags, likes, or recommendations are displayed, and candidates derived from the standard candidates are set as the first derivative candidates The candidate who is derived from the first derivative candidate is set as the second derivative candidate, and the process of additionally registering the candidate as the project distribution candidate group is repeated to proceed with the addition of the number of candidates for the project distribution candidate by sequential derivation of the subordinate derivative candidate .

예를 들어, 1) 최초로 프로젝트 분배 후보군으로 등록된 기준 후보자가 A와 B이고, 2) A로부터 파생된 제1 파생 후보자가 C, D 및 E이고, 3) C로부터 다시 파생된 제2 파생 후보자가 F 및 G인 경우를 설명하기로 한다.For example, 1) the candidates for project distribution candidates for the first time are A and B, 2) the first derivative candidates derived from A are C, D and E, and 3) the second derivative candidate Quot; F " and " G " will be described.

제1 파생 후보자인 D로부터 파생된 제2 파생 후보자에 1) 기존에 후보자로 등록되지 아니한 H가 있을 수 있는 반면, 2) 이미 기준 후보자로 등록된 A와 동일한 제1 후보자로 등록된 E가 다시 D로부터 파생될 수 있는 경우가 발생할 수 있으며, 3) 제2 파생 후보자인 F로부터 파생되는 후보자의 경우에도 동일한 과정이 반복될 수 있다.A second derivative candidate derived from the first derivative candidate D may 1) have H not previously registered as a candidate, while 2) E registered as a first candidate, which is already registered as a standard candidate, D, and 3) the same process can be repeated for candidates derived from the second derivative candidate F.

상술한 바와 같은 후보자 파생의 과정에 의해 프로젝트 분배 후보군의 인원수가 최초 프로젝트 분배 후보군에 등록된 기준 후보자로부터 후보자의 파생으로 기 설정된 인원(예를 들어, 100명 내지 200명 등)의 프로젝트 분배 후보군이 생성되면 후보자의 파생을 종료함으로써, 후보자 등록의 무한 반복을 방지하게 된다.The project distribution candidate group of the number of persons (for example, 100 to 200 persons) whose number of the project distribution candidate group is preset as the derivation of the candidate from the standard candidate registered in the first project distribution candidate group by the above process of the candidate distribution Once created, the derivation of the candidate is terminated, thereby preventing infinite repetition of candidate registration.

일 실시예에서, 테스터 등록 모듈(200)은, 후보자 파생 과정에 의해 이미 프로젝트 분배 후보군에 포함된 후보자가 파생 후보자로 다시 선택받는 횟수에 따라 프로젝트 분배 후보군에서의 순위를 결정할 수 있다.In one embodiment, the tester registration module 200 may determine the ranking in the project distribution candidate group according to the number of times the candidate already included in the project distribution candidate group is selected again as the derivative candidate by the candidate derivation process.

즉, 상술한 바와 같이 A 등은 기준 후보자에 해당할 뿐만 아니라 제2 파생 후보자 등의 지위를 중복하여 가지게 되는데, 이는 해당 키워드에 대하여 여러 번 언급된다는 것을 의미하는 것으로, 이에 따라 해당 키워드와 관련하여 보다 많은 포스팅을 하였거나 보다 많은 자료를 구비하였다는 고도의 개연성이 있는 것으로, 프로젝트 분배 후보군에서 높은 순위를 부여함으로써 테스팅에 보다 적당한 테스터로서 활용할 수 있다.That is, as described above, A and the like are not only standard candidates but also have a status of a second derivative candidate, which means that the keyword is referred to several times for the keyword. Accordingly, There is a high probability that they have more postings or more data, and they can be used as a more suitable tester for testing by assigning a higher ranking in the project distribution candidates.

다만, 본 발명에 의해 임의로 선택된 SNS 사용자에게 테스팅을 강요할 수 없는 바, 일단 선순위 후보자로부터 순위에 따라 프로젝트의 테스팅에 참여 의사를 문의한 후, 선순위에 위치한 후보자가 참여를 거부한 경우 해당 테스팅에서 배제시키며, 해당 거부자의 지위를 차순위의 후보자에게 부여한 후 테스팅 참여 여부를 차례로 문의하여, 테스팅에 참여할 SNS 사용자로 구성된 테스터 리스트를 생성할 수 있다.However, since it is impossible to force the SNS user arbitrarily selected by the present invention to test, once the candidates who are in the senior position refuse to participate after inquiring of the senior candidates to participate in the testing of the project according to the ranking, And the list of the respondents is given to the candidate of the next rank, and then inquiry about whether or not to participate in testing is made, and a list of testers composed of SNS users to participate in the testing can be generated.

테스터 선택 모듈(300)은, 테스터 등록 모듈(200)에 등록된 테스터 중에서 프로젝트 등록 모듈(100)에 등록된 프로젝트를 테스팅할 테스터를 선택한다.The tester selection module 300 selects a tester for testing the project registered in the project registration module 100 among the tester registered in the tester registration module 200.

일 실시예에서, 테스터 선택 모듈(300)은, 업체로부터 직접 선택 받거나, 테스터 등록 모듈(200)에 등록된 상술한 프로젝트 분배 후보군 중 순위에 따라 프로젝트를 테스팅할 테스터를 임의로 선택할 수 있다.In one embodiment, the tester selection module 300 may select directly from a vendor, or may optionally select a tester to test the project based on the ranking of the above-described project distribution candidates registered in the tester registration module 200.

프로젝트 분배 모듈(400)은, 테스터 선택 모듈(300)에 의해 선택된 테스터에게 테스팅할 프로젝트를 분배한다.The project distribution module 400 distributes the project to be tested to the tester selected by the tester selection module 300.

일 실시예에서, 프로젝트 분배 모듈(400)은, 특정 업체로부터 등록되는 프로젝트의 테스팅에 기 설정된 횟수(예를 들어, 5회 내지 10회 등) 이상의 테스팅을 분배 받은 경험이 있는 테스터의 경우, 해당 업체로부터 등록되는 이미 참여하였던 분야의 프로젝트를 자동으로 분배 받도록 함으로써, 수 차례의 테스팅으로 업체와 신뢰도가 쌓인 테스터에게 우선권을 부여함으로써 테스팅 분배에 소요되는 과정을 축소시켜 조기에 테스팅이 완료될 수 있도록 할 수 있다.In one embodiment, the project distribution module 400 may be used for testing of a project registered by a particular vendor, in the case of a tester who has been distributed testing for a predetermined number of times (e.g., five to ten, etc.) By automatically distributing the projects that have already been registered by the vendor, the priority is given to the testers who have accumulated trust with the company through several tests so that the process of distribution of the testing is reduced so that the testing can be completed early. can do.

다만, 이 경우에도, 업체가 해당 테스터로의 자동 분배에 동의하지 않거나 해당 테스터로부터 거절의 의사가 있는 경우, 테스팅의 자동 분배를 수행하지 아니하고, 차후 업체로부터 등록되는 프로젝트의 자동 분배에서 해당 테스터를 제외함이 바람직하다.In this case, however, if the vendor does not agree with the automatic distribution to the tester or if there is an intention to reject the tester from the tester, the automatic distribution of the testing is not performed. Excluded is preferred.

모니터링 모듈(500)은, 테스팅 중인 프로젝트의 진행 사항을 실시간으로 모니터링하며, 결함이 발생될 경우 업체에게 통지함으로써, 업체로 하여금 신속한 결함의 수정이 수행되도록 할 수 있다.The monitoring module 500 monitors the progress of the project under test in real time and informs the vendor when a defect occurs so that the vendor can quickly correct the defect.

결과 리포트 모듈(600)은, 프로젝트의 테스팅 결과를 업체에게 리포트 한다.The result report module 600 reports the test result of the project to the vendor.

보상 모듈(700)은, 테스팅을 완료한 테스터에게 테스팅에 대한 보상을 지급한다.The compensation module 700 pays for the testing to the tester that has completed the testing.

여기서, 보상이라 함은, 상품권, 쿠폰 또는 현금 등과 같은 금전적 이득에 한정되는 것은 아니며, 특정 게임의 참여 기회, 업체의 입사 기회 등과 같은 비금전적 이득을 포함하는 것으로, 테스터에게 제공될 수 있는 여하의 모든 혜택이 그 명칭에 구애됨이 없이 적용 가능할 것이다.Here, the reward is not limited to a monetary gain such as a gift certificate, a coupon or cash, but includes a non-monetary gain such as an opportunity for participating in a specific game, an opportunity for entering a business, and the like. All benefits will be applicable without regard to the name.

일 실시예에서, 보상 모듈(700)은, 업체로부터 부여되는 평가, 테스팅의 수행 기간 조건 만족 여부, 프로젝트에 포함된 결함을 판독한 횟수, 프로젝트를 등록한 업체의 만족도, 프로젝트를 등록한 업체로부터의 선택 횟수, 전문 테스터 또는 일반 테스터 여부, 검증용 결함의 발견 여부 및 등급 포인트의 누적 포인트 중 적어도 하나의 조건을 고려하여 해당 프로젝트를 수행한 테스터에게 부여될 보상 정도를 결정할 수 있다.In one embodiment, the compensation module 700 is configured to determine whether the evaluation provided by the vendor, the satisfaction of the performance period condition of the test, the number of defects contained in the project, the satisfaction of the firm that registered the project, The degree of compensation to be awarded to the tester who has performed the project in consideration of at least one of the number of times, the number of the specialist tester or the general tester, whether or not the verification defect is found, and the accumulation point of the grade point.

또한, 보상 모듈(700)은, 테스팅의 수행 기간 조건에 따른 수행 기간을 단축시킨 정도에 따라 보상의 정도를 달리 결정할 수 있다.Also, the compensation module 700 may determine the degree of compensation according to the degree of shortening the execution period according to the execution period condition of the test.

예를 들어, 수행 기간으로 주어진 수행 기간 조건이 10인 경우, 1) 10일 내에 완료된 경우 제공되는 보상을 10이라고 할 경우, 2) 7일 내에 완료된 경우 13의 보상을 제공하고, 3) 5일 내에 완료된 경우 15의 보상을 제공하는 등의 경우가 이에 해당할 수 있다.For example, if the performance period given for the performance period is 10, 1) if the compensation is completed within 10 days, 10) 2) if compensation is completed within 7 days, provide compensation of 13, and 3) And if it is completed within 15 days, the compensation may be provided.

도 2는 본 발명의 일 실시예에 따른 크라우드 테스팅 장치(10)의 업체측의 관점에서 진행되는 크라우드 테스팅 장치을 이용한 테스팅 방법을 설명하는 순서도이다.FIG. 2 is a flowchart illustrating a testing method using a crow testing apparatus in view of the vendor side of the crow testing apparatus 10 according to an exemplary embodiment of the present invention.

도 2를 참조하면, 크라우드 테스팅 장치을 이용한 테스팅 방법은, 우선, 업체로부터 업체 정보 등의 기재 사항을 입력받은 후 회원가입 과정은 진행한다(S101).Referring to FIG. 2, in a testing method using a crow testing device, a registration process such as business information is input from a vendor, and then a membership process is performed (S101).

상술한 단계 S101에서 회원가입이 완료되면, 업체로부터 프로젝트의 개설을 신청받는다(S102).When the membership is completed in the above-described step S101, the company is requested to open a project (S102).

일 실시예에서, 프로젝트 개설 신청 단계(S102)는, 1) 기업의 테스팅 대상 프로젝트에 대한 설명을 기입 받고, 2) 원하는 테스팅 내용을 기입, 3) 모집할 테스터 인원 명시, 4) 테스팅 수행 기간, 모집기간 및 리워드(보상) 등의 내용 기입 및 5) 테스터 요구사항을 명시 받을 수 있다.In one embodiment, the project opening application step (S102) includes: 1) a description of the company's testing target project; 2) a description of the desired testing content; 3) a description of the tester personnel to recruit; (5) Tester requirements can be specified.

상술한 단계 S102에서 프로젝트 개설 신청이 완료되면, 업체로 하여금 프로젝트 개설 내용을 확인시킨다(S103).When the application for opening a project is completed in the above-described step S102, the company confirms the contents of the project establishment (S103).

이때, 업체로서는, 1) 대기 중인 프로젝트 목록에서 확인이 가능하며, 2) 마이 페이지에서 상태 정보 확인이 가능하다.At this time, as a company, it is possible to check 1) a list of waiting projects, 2) check status information on my page.

상술한 단계 S103에서 프로젝트 개설 내용이 확인되며, 1 내지 3일 정도의 관리자의 심사 및 승인 과정이 진행된다(S104).In step S103, the content of the project is confirmed, and the review and approval process of the administrator for about one to three days is performed (S104).

상술한 단계 S104에서 심사 및 승인 과정이 완료되면, 테스터 수행을 위한 배포 자료 준비 및 테스터 모집이 진행된다(S105).When the examination and approval process is completed in the above-described step S104, preparation of a distribution data for tester execution and tester recruitment are performed (S105).

상술한 단계 S105에서 테스터 모집이 완료되면, 모집기간 종료 후 테스터 확정 및 추가 모집 또는 프로젝트 시작 여부 결정하여 테스터를 확정한다(S106).When the tester recruitment is completed in the above-described step S105, the tester is determined after the completion of the recruitment period by determining whether the tester is confirmed and whether additional recruitment or project start is to be performed (S106).

상술한 단계 S106에서 테스터가 확정되면, 프로젝트 시작 전 테스팅 수행에 필요한 문서, 안내 메일 및 문자를 테스터에게 발송한다(S107).If the tester is confirmed in step S106, the document, the guidance mail, and the characters necessary for performing the test before the start of the project are sent to the tester (S107).

상술한 단계 S107에서 테스팅 수행 안내가 완료되면, 테스팅 시작 후 테스터들의 테스팅의 수행 확인 및 관리를 수행한다(S108).When the test execution guide is completed in step S107, the test execution of the testers is confirmed and managed after the test is started (S108).

상술한 단계 S108에서 테스팅 수행 관리가 완료되면, 테스팅 수행 중 테스팅 결과를 확인하고 수집하게 된다(S109).When the test execution management is completed in step S108, the test result is confirmed and collected during the execution of the test (S109).

상술한 단계 S109에서 테스팅 결과 수집이 완료되면, 테스팅 종료 및 리워드가 있을 경우 테스터들에게 보상을 지급하게 된다(S110).When the test results are collected in step S109, the testers are compensated when testing ends and the reward is present (S110).

상술한 단계 S110에서 테스팅이 종료되면, 종료된 테스팅 확인 후 업체 담당자의 결과 확인 및 평가가 진행된다(S111).After completion of the testing in step S110, the result of the testing is checked and evaluated by the vendor representative (S111).

도 3은 본 발명의 일 실시예에 따른 크라우드 테스팅 장치(10)의 테스터측의 관점에서 진행되는 크라우드 테스팅 장치을 이용한 테스팅 방법을 설명하는 순서도이다. FIG. 3 is a flowchart illustrating a testing method using a crow testing apparatus in view of the tester side of the crow testing apparatus 10 according to an embodiment of the present invention.

도 3을 참조하면, 크라우드 테스팅 장치을 이용한 테스팅 방법은, 우선, 테스터로부터 개인 정보 등의 기재사항 입력받아 회원가입을 진행한다(S201).Referring to FIG. 3, in a testing method using a crow testing device, a list item such as personal information is input from a tester (S201).

상술한 단계 S201에서 회원가입이 완료되면, 테스터에게 모집 중인 테스팅 프로젝트 요구 사항을 통지하여 프로젝트를 확인시킨다(S202).When the subscription is completed in step S201, the tester is notified of the testing project requirement being sought to confirm the project (S202).

상술한 단계 S202에서 프로젝트가 확인되면, 프로젝트를 확인한 테스터로부터 자신이 수행하고자 하는 수행 가능한 프로젝트의 참여 신청을 받는다(S203).If the project is confirmed in the above-described step S202, the tester confirming the project receives the participation application of the feasible project to be performed by the tester (S203).

상술한 단계 S203에서 프로젝트의 참여 신청이 있는 경우, 참여 신청한 프로젝트의 모집기간 종료 후 참여 가능 여부를 해당 프로젝트를 등록한 업체로부터 확정 받는다(S204).If there is an application for participating in the project at the above-described step S203, whether or not participation is possible after the end of the offer period of the project for participation is confirmed from the company that has registered the project (S204).

상술한 단계 S204에서 프로젝트가 확정되면, 테스팅을 진행할 프로젝트 수행을 참여 신청한 테스터로 하여금 진행시킨다(S205).When the project is determined in the above-described step S204, the tester who has made the participation application requests the project execution to proceed with the testing (S205).

상술한 단계 S205에서 테스팅이 진행된 후, 테스팅 진행 중 결함이 발생되면 테스터로부터 해당 결함을 업데이트 받고, 이를 업체에게 리포팅한다(S206).If a defect occurs during the testing process in step S205, the defect is updated from the tester and the defect is reported to the vendor (S206).

상술한 단계들이 모두 종료되면, 테스팅을 종료하고, 해당 프로젝트의 테스팅을 수행한 테스터에게 리워드가 있는 경우 보상을 실시한다(S207).When all of the above steps are completed, the testing is terminated. If there is a reward in the tester that has performed the testing of the project, compensation is performed (S207).

소프트웨어(Software)는, 다양한 환경에서 주어진 기능이 원하는 성능으로 문제없이 동작하는지 엄격한 테스팅이 필요한데, 기업에서 직접 테스팅을 진행하기 위해선 테스팅을 위한 환경 구축, 테스터 선별, 테스팅 관리 등 많은 비용과 시간 투자가 필요로 하는 것이 현실이다.Software requires rigorous testing to ensure that a given function performs satisfactorily with a desired performance in various environments. In order to conduct testing directly in the enterprise, many companies have invested a lot of time and money, such as building an environment for testing, screening testers, and managing testing What is needed is reality.

이에 따라, 상술한 바와 같은 구성을 가지는 크라우드 테스팅 장치(10)은, 다양한 경험과 전문 지식을 가진 다수의 테스터와 일반 사용자의 빈틈없는 테스팅을 통해 기업의 제품(예를 들어, Software, App, WEB 또는 IOT 등)을 강하고 튼튼하게 만들도록 보조할 수 있다. Accordingly, the crowd testing apparatus 10 having the above-described configuration can be applied to a company's products (for example, software, App, WEB, etc.) through a plurality of testers having various experiences and expertise, Or IOT, etc.) to be strong and robust.

또한, 상술한 바와 같은 구성을 가지는 크라우드 테스팅 장치(10)은, 테스터 모집부터 결과 리포트까지의 기간을 단기간에 수행함으로써 프로젝트의 출시 지연으로 인해 업체에 발생할 수 있는 불필요한 비용의 발생을 방지할 수 있다.In addition, the crow testing device 10 having the above-described configuration can prevent the occurrence of unnecessary expenses that may occur in the business due to the delay in the launch of the project by performing the period from the tester recruitment to the result report in a short period of time .

그리고, 테스터로서는, 크라우드 소싱 방식의 테스터 모집 시스템을 통해 수행 가능한 프로젝트에 쉽고 빠르게 참여할 수 있고, 보유한 기기, 프로젝트 기간, 테스터 경험 등 원하는 조건으로 프로젝트에 지원하고 테스팅을 수행할 수 있으며, 언제 어디서나 테스팅을 수행하고 수행 결과에 따라 추가 보상을 얻을 수 있다.As a tester, you can easily and quickly participate in projects that can be performed through the crowd sourcing tester recruitment system. You can support and test the project with your desired conditions such as the equipment, the project period and the tester experience. And you can get additional compensation depending on the results.

상술한 바와 같은 구성을 가지는 크라우드 테스팅 장치(10)은, 운영체제(Operation System; OS), 즉 시스템을 기반으로 다양한 소프트웨어를 실행하거나 제작할 수 있다. 상기 운영체제는 소프트웨어가 장치의 하드웨어를 사용할 수 있도록 하기 위한 시스템 프로그램으로서, 안드로이드 OS, iOS, 윈도우 모바일 OS, 바다 OS, 심비안 OS, 블랙베리 OS 등 모바일 컴퓨터 운영체제 및 윈도우 계열, 리눅스 계열, 유닉스 계열, MAC, AIX, HP-UX 등 컴퓨터 운영체제를 모두 포함할 수 있다.The crow testing device 10 having the above-described configuration can execute or produce various software based on an operating system (OS), i.e., a system. The operating system is a system program for allowing software to use the hardware of a device. The operating system includes a mobile computer operating system such as Android OS, iOS, Windows Mobile OS, Sea OS, Symbian OS, Blackberry OS, MAC, AIX, and HP-UX.

상술한 바와 같은 구성을 가지는 크라우드 테스팅 장치(10)은, 가상 서버 관리 시스템(설명의 편의상 도면에는 도시하지 않음) 상에서 구현될 수 있다.The crow testing device 10 having the above-described configuration may be implemented on a virtual server management system (not shown in the drawings for convenience of explanation).

가상 서버 관리 시스템은, 복수의 가상 서버, 가상 서버 관리 장치 및 저장소를 포함할 수 있다.The virtual server management system may include a plurality of virtual servers, a virtual server management apparatus, and a storage.

가상 서버는, 물리 서버에 할당된 복수의 가상 머신에 의해 구동되는 서버를 의미한다.A virtual server means a server driven by a plurality of virtual machines assigned to a physical server.

물리 서버는, 가상 서버가 동작하기 위한 장치이며, 컴퓨터 하드웨어 및 하이퍼바이저 등의 가상 서버 관리 소프트웨어를 구비한다.The physical server is a device for the virtual server to operate, and has virtual server management software such as computer hardware and a hypervisor.

가상 서버 상에서는, 하나 이상의 애플리케이션이 동작한다.On the virtual server, one or more applications are running.

다른 업무를 행하는 가상 서버가 복수 조합되어 물리 서버 상에 배치되는 경우도 있으며, 동일한 업무를 행하는 복수의 가상 서버가 다른 물리 서버 상에 배치되는 경우도 있다.There are cases where a plurality of virtual servers performing different tasks are combined and arranged on the physical server or a plurality of virtual servers performing the same task are arranged on different physical servers.

구체적으로, 가상 서버는, 물리 서버에 구비된 호스트 운영 체제(OS; Operating System) 위에 가상화된 별도의 운영 체제 및 별도의 운영 체제 상에서 구동되는 애플리케이션을 포함한다.Specifically, the virtual server includes a separate operating system virtualized on a host operating system (OS) provided in the physical server, and an application running on a separate operating system.

가상 서버의 데이터는, 물리 서버에 직접 접속된 디스크 장치에 저장될 수 있다.The data of the virtual server may be stored in a disk device directly connected to the physical server.

이와 달리, 가상 서버의 데이터는, 물리 서버와 별도로 존재하여, 네트워크 또는 직접 결선에 의해 접속된 저장소에 저장될 수도 있다.Alternatively, the data of the virtual server may exist separately from the physical server, and may be stored in a network or a storage connected by a direct connection.

가상 서버 관리 장치는, 물리 서버에 복수의 가상 머신을 할당하고, 가상 머신에 의해 동작하는 복수의 가상 서버를 관리할 수 있다.The virtual server management apparatus can allocate a plurality of virtual machines to the physical server and manage a plurality of virtual servers operated by the virtual machine.

예를 들어, 가상 서버 관리 장치는 복수의 가상 서버 각각에 할당된 가상 머신을 관리할 수 있다.For example, the virtual server management apparatus can manage a virtual machine assigned to each of a plurality of virtual servers.

가상 서버 관리 장치는, 복수의 가상 서버로부터 리소스 정보를 수신하고, 복수의 가상 서버의 리소스를 관리할 수 있다.The virtual server management apparatus can receive resource information from a plurality of virtual servers and manage resources of a plurality of virtual servers.

가상 서버 관리 장치는, 복수의 가상 서버 각각의 장애에 관한 정보를 모니터링하여 복수의 가상 서버 각각의 장애를 예측할 수 있다.The virtual server management apparatus monitors the information about the failure of each of the plurality of virtual servers and can predict the failure of each of the plurality of virtual servers.

가상 서버 관리 장치는, 장애에 관한 정보에 기초하여 복수의 가상 서버의 절체 프로세스 및 백업 프로세스를 수행할 수 있다.The virtual server management apparatus can perform a switching process and a backup process of a plurality of virtual servers based on the information on the failure.

여기서, 절체 프로세서란, 어느 한 물리 서버에 할당된 가상 머신을 다른 물리 서버로 이동하는 프로세서로서, 마이그레이션(Migration)이라고도 불린다.Here, the transfer processor is a processor that moves a virtual machine assigned to a physical server to another physical server, which is also referred to as a migration.

저장소는, 가상 서버의 데이터를 저장하는 것으로서, 예를 들어, SAN(Storage Area Network), NFS(Network File System), iSCSI(Internet Small Computer System Interface) 등을 포함할 수 있으나, 저장소의 종류에 대해서는 한정하지 않는다.The storage may store data of a virtual server, for example, a storage area network (SAN), a network file system (NFS), or an Internet Small Computer System Interface (iSCSI) Not limited.

가상 서버 관리 장치는, 리소스 관리부, 장애 관리부 및 가상 머신 제어부를 포함할 수 있다.The virtual server management apparatus may include a resource management section, a failure management section, and a virtual machine control section.

여기서, 장애 관리부는, 제1 장애 예측부, 제2 장애 예측부, 제3 장애 예측부 및 절체 물리 서버 결정부를 포함할 수 있다.Here, the failure management unit may include a first failure prediction unit, a second failure prediction unit, a third failure prediction unit, and a switching physical server determination unit.

또한, 가상 머신 제어부는, 가상 머신 그룹핑부, 가상 머신 백업부, 절체 수행부 및 절체 반복수행부을 포함할 수 있다.In addition, the virtual machine control unit may include a virtual machine grouping unit, a virtual machine backup unit, a transfer performing unit, and a transfer iteration performing unit.

리소스 관리부는, 복수의 가상 서버로부터 리소스 정보를 수신하고, 복수의 가상 서버의 리소스를 관리할 수 있다.The resource management unit can receive resource information from a plurality of virtual servers and manage resources of a plurality of virtual servers.

가상 머신 그룹핑부는, 복수의 물리 서버 각각의 성능, 복수의 가상 머신 각각에 대응하는 운영 체제의 특성 및 복수의 가상 머신 각각에 대응하는 평균 클라이언트의 수에 기초하여 복수의 가상 머신을 저 위험 그룹, 중 위험 그룹 및 고 위험 그룹으로 분류할 수 있다.The virtual machine grouping unit groups the plurality of virtual machines into a low-risk group, a low-risk group, and a low-risk group based on the performance of each of the plurality of physical servers, the characteristics of the operating system corresponding to each of the plurality of virtual machines, Risk group and high-risk group.

여기서, 물리 서버의 성능은, 메모리 크기, 프로세서의 용량, VGA 카드의 종류 및 LAN 카드의 종류를 포함할 수 있다.Here, the performance of the physical server may include memory size, processor capacity, VGA card type, and LAN card type.

물리 서버의 성능이 좋지 않을수록 고 위험 그룹으로 분류될 확률이 높다.The worse the performance of a physical server is, the higher the probability of being classified as a high-risk group.

운영 체제의 특성은 운영 체제의 종류, 예컨대, 윈도우, 안드로이드, iOS, 리눅스 등의 특성을 의미하는 것으로서, 예를 들어, 멀티태스킹 성능, 입출력 제어 성능, 메모리 제어 성능, 네트워크 성능, 보안 성능을 포함할 수 있다.The nature of the operating system refers to the nature of the operating system, such as Windows, Android, iOS, Linux, etc., including, for example, multitasking performance, I / O control performance, memory control performance, network performance, can do.

또한, 가상 서버는 가상 머신 상의 애플리케이션을 통해 클라이언트에게 서비스를 제공하는데, 이 경우의 평균 클라이언트의 수가 고려될 수 있다.In addition, the virtual server provides services to clients via applications on the virtual machine, in which case the number of average clients can be considered.

클라이언트의 수가 많을 경우, 고 위험 그룹으로 분류될 확률이 높다. (가상 서버에 장애가 발생할 경우, 불편을 겪는 클라이언트가 많기 때문)When the number of clients is large, the probability of being classified as a high-risk group is high. (Because many clients are experiencing inconveniences if the virtual server fails)

가상 머신 그룹핑부는, 복수의 가상 머신을 분류함에 있어서, 복수의 물리 서버 각각의 성능에 제1 가중치를 할당하고, 복수의 가상 머신 각각에 대응하는 운영 체제의 특성에 제2 가중치를 할당하고, 복수의 가상 서버 각각에 대응하는 평균 클라이언트의 수에 제3 가중치를 할당할 수 있다.The virtual machine grouping unit classifies the plurality of virtual machines by assigning a first weight to the performance of each of the plurality of physical servers, assigning a second weight to the characteristics of the operating system corresponding to each of the plurality of virtual machines, A third weight may be assigned to the average number of clients corresponding to each of the virtual servers of the virtual server.

가상 머신 그룹핑부는, 복수의 가상 머신 각각에서 구동되는 애플리케이션의 종류에 기초하여 제1 가중치, 제2 가중치 및 제3 가중치를 가변할 수 있다.The virtual machine grouping unit may vary the first weight, the second weight, and the third weight based on the type of application that is run in each of the plurality of virtual machines.

예를 들어, 가상 머신 그룹핑부는 복수의 애플리케이션을 연속성의 보장이 100% 요구되는 제1 유형의 애플리케이션(예컨대, 온라인 게임 애플리케이션, 메신저 서비스 애플리케이션), 연속성의 보장이 50% ~ 100% 정도로 요구되는 제2 유형의 애플리케이션(보안 서비스 애플리케이션), 연속성의 보장이 0% ~ 50% 정도로 요구되는 제3 유형의 애플리케이션 및 연속성의 보장이 요구되지 않는 제3 유형의 애플리케이션(데이터베이스 서비스 애플리케이션)으로 분류한 애플리케이션 유형 테이블을 생성하고, 이를 저장할 수 있다.For example, the virtual machine grouping unit may classify a plurality of applications into a first type of application (e.g., an online game application, a messenger service application) requiring 100% of continuity, a second type of application A second type of application (security service application), a third type of application requiring a guarantee of continuity of 0% to 50%, and an application type classified as a third type of application (database service application) You can create a table and store it.

예를 들어, 연속성의 보장이 100% 요구되는 애플리케이션의 경우, 제1 가중치의 비중을 높임으로써, 복수의 가상 머신을 분류함에 있어서, 물리 서버의 성능을 많은 비중으로 고려할 수 있다.For example, in the case of an application in which the guarantee of continuity is required 100%, the performance of the physical server can be considered as a large proportion in classifying a plurality of virtual machines by increasing the weight of the first weight.

다른 예를 들어, 연속성의 보장이 50% ~ 100% 정도로 요구되는 제2 유형의 애플리케이션의 경우, 제3 가중치의 비중을 높임으로써, 복수의 가상 머신을 분류함에 있어서, 가상 서버에 대응하는 평균 클라이언트의 수를 많은 비중으로 고려할 수 있다(즉, 연속성이 반드시 보장될 필요는 없지만 클라이언트의 수가 많을 경우에는 고 위험 그룹 또는 중 위험 그룹으로 분류될 수 있음).In another example, in the case of a second type of application in which the guarantee of continuity is required to be about 50% to 100%, by classifying a plurality of virtual machines by increasing the weight of the third weight, (Ie, continuity is not necessarily guaranteed, but can be classified as a high-risk group or a medium-risk group if the number of clients is large).

다른 예를 들어, 연속성의 보장이 요구되지 않는 제3 유형의 애플리케이션의 경우, 제2 가중치의 비중을 높임으로써, 복수의 가상 머신을 분류함에 있어서, 가상 머신에 대응하는 운영 체제의 특성을 많은 비중으로 고려할 수 있다.For another example, in the case of a third type of application in which the guarantee of continuity is not required, by classifying a plurality of virtual machines by increasing the weight of the second weights, a large proportion of the characteristics of the operating system corresponding to the virtual machine .

가상 머신 백업부는, 저 위험 그룹에 포함되는 제1 가상 머신의 경우, 제1 가상 머신에 의해 해당 가상 서버가 구동되기 위한 필수 데이터만을 저장소에 저장할 수 있다. 저 위험 그룹에 포함되는 제1 가상 머신의 경우, 다소 오랜 시간에 걸쳐 장애를 복구해도 무방하기 때문에, 필수 데이터만을 저장하고, 장애가 발생할 경우, 이를 이용하여 가상 머신을 재구성한다.In the case of the first virtual machine included in the low risk group, the virtual machine backup unit can store only the essential data required for the corresponding virtual server to be driven by the first virtual machine in the storage. In case of the first virtual machine included in the low risk group, since it is possible to recover the failure over a rather long time, only necessary data is stored, and when a failure occurs, the virtual machine is reconfigured using the failure.

가상 머신 백업부는, 중 위험 그룹에 포함되는 제2 가상 머신의 경우, 제2 가상 머신을 저장소에 백업할 수 있다. 제2 가상 머신에 장애가 발생할 경우, 저장소의 백업 데이터를 통해 제2 가상 머신이 복원된다.The virtual machine backup unit can back up the second virtual machine to the storage in the case of the second virtual machine included in the medium risk group. When the second virtual machine fails, the second virtual machine is restored through the backup data of the storage.

가상 머신 백업부는, 고 위험 그룹에 포함되는 제3 가상 머신의 경우, 제3 가상 머신을 저장소에 백업과 동시에 제3 가상 머신을 다른 물리 서버에 실시간으로 복제한다.In the case of the third virtual machine included in the high-risk group, the virtual machine backup unit replicates the third virtual machine to another physical server in real time while simultaneously backing up the third virtual machine to the storage.

제1 장애 예측부는, 복수의 가상 머신 각각의 과거 운영 데이터를 수집하여 클라이언트로부터 전송된 날짜별, 요일별 및 시간별 평균 패킷의 개수를 분석하여 날짜별, 요일별 및 시간별 평균 패킷 개수를 포함하는 평균 패킷 개수 테이블을 생성하고, 평균 패킷 테이블을 저장할 수 있다.The first failure predicting unit collects past operational data of each of a plurality of virtual machines and analyzes the number of packets averaged by date, day of the week, and time transmitted from the client, and calculates an average number of packets including an average number of packets by date, You can create a table and store the average packet table.

제1 장애 예측부는, 평균 패킷 테이블에 저장된 평균 패킷의 개수 중 현재 날짜, 현재 요일 및 현재 시간에 대응하는 평균 패킷의 개수와 현재 패킷의 개수를 비교하여 복수의 가상 서버 각각의 장애 여부를 예측할 수 있다.The first failure predicting unit compares the number of average packets corresponding to the current date, the current day, and the current time among the average number of packets stored in the average packet table with the number of the current packets to predict the failure of each of the plurality of virtual servers have.

예를 들어, 제1 장애 예측부는, 현재 날짜, 현재 요일 및 현재 시간에 대응하는 평균 패킷의 개수가 평균 패킷 테이블에 저장된 대응하는 평균 패킷의 개수의 70% 미만인 경우, 해당 가상 머신에 대한 장애 발생 예측을 주의 단계로 설정할 수 있다.For example, when the number of average packets corresponding to the current date, the current day and the current time is less than 70% of the number of corresponding average packets stored in the average packet table, The prediction can be set as an attention step.

제1 장애 예측부는, 현재 날짜, 현재 요일 및 현재 시간에 대응하는 평균 패킷의 개수가 평균 패킷 테이블에 저장된 대응하는 평균 패킷의 개수의 50% 미만인 경우, 해당 가상 머신에 대한 장애 발생 예측을 위험 단계로 설정할 수 있다.If the number of average packets corresponding to the current date, the current day, and the current time is less than 50% of the number of corresponding average packets stored in the average packet table, the first failure predicting unit predicts failure occurrence prediction for the virtual machine, .

제1 장애 예측부는, 현재 날짜, 현재 요일 및 현재 시간에 대응하는 평균 패킷의 개수가 평균 패킷 테이블에 저장된 대응하는 평균 패킷의 개수의 30% 미만인 경우, 해당 가상 머신에 대한 장애 발생 예측을 장애 발생 단계로 설정할 수 있다.If the number of average packets corresponding to the current date, the current day, and the current time is less than 30% of the number of corresponding average packets stored in the average packet table, the first failure predicting unit predicts failure occurrence prediction for the corresponding virtual machine Step can be set.

절체 수행부는, 저 위험 그룹에 속한 가상 머신의 경우, 장애 발생 단계에서 다른 물리 서버로의 절체를 수행할 수 있다. 이에 반해, 절체 수행부는 중 위험 그룹에 속한 가상 머신의 경우, 위험 단계에서 다른 물리 서버로의 절체를 수행할 수 있다.In the case of the virtual machine belonging to the low risk group, the transfer performing unit can perform the transfer from the failure occurrence step to another physical server. In contrast, in the case of the virtual machine belonging to the medium risk group, the transfer performing unit can perform the transfer from the dangerous phase to another physical server.

또한, 절체 수행부는, 고 위험 그룹에 속한 가상 머신의 경우, 주의 단계에서 다른 물리 서버로의 절체를 수행할 수 있다.Further, in the case of the virtual machine belonging to the high-risk group, the transfer performing unit can perform the transfer to the other physical server in the attention step.

또한, 제1 장애 예측부는, 복수의 물리 서버에 부착된 온도 센서 및 진동 센서로부터 온도값 및 진동값을 주기적으로 수신할 수 있다.The first failure predicting unit may periodically receive the temperature value and the vibration value from a temperature sensor and a vibration sensor attached to a plurality of physical servers.

제1 장애 예측부는, 온도 센서 및 진동 센서로부터 수신한 온도값 및 진동값을 모니터링하여 온도값 및 진동값의 변화를 추적할 수 있다.The first error predicting unit may track the temperature value and the vibration value by monitoring the temperature value and the vibration value received from the temperature sensor and the vibration sensor.

제1 장애 예측부는, 온도값 및 진동값이 기 설정된 시간동안 기 설정된 범위만큼 급격히 증가한 경우, 해당 가상 서버가 장애가 발생했다고 판단할 수 있다.The first failure predicting unit may determine that a failure has occurred in the virtual server when the temperature value and the vibration value rapidly increase by a predetermined range for a preset time.

또한, 제1 장애 예측부는, 모니터링한 온도값 및 진동값에 대한 정보를 해당 가상 서버의 담당자의 휴대 단말로 알람을 전송할 수 있다. 이에 따라 해당 가상 서버의 담당자는 해당 가상 서버의 장애 유무를 육안으로 확인할 수 있다.In addition, the first failure predicting unit may transmit an alarm to the portable terminal of the person in charge of the virtual server, the information about the monitored temperature value and the vibration value. Accordingly, the person in charge of the virtual server can visually confirm whether or not the corresponding virtual server is faulty.

제2 장애 예측부는, 전력 회사의 서버로부터 복수의 물리 서버 각각이 위치한 지역의 전력 예비율에 대한 정보를 수신하고, 전력 예비율에 기초하여 복수의 가상 서버 각각의 장애 여부를 예측할 수 있다.The second failure predicting unit can receive information on the power reserve ratio in the area where each of the plurality of physical servers is located from the server of the power company and predict the failure of each of the plurality of virtual servers based on the power reserve ratio.

일반적으로, 전력 예비율이 10% 미만인 경우, 블랙 아웃(대정전)을 막고자 급전 지시가 발동되는데, 급전 지시가 발동되고 나서도 전력 예비율이 높아지지 않을 경우, 블랙 아웃이 발생한다. 이 경우, 해당 지역의 전력 공급이 중단된다.Generally, when the power reserve ratio is less than 10%, a power supply instruction is issued to prevent blackout (large power outage). However, if the power reserve ratio is not increased even after the power supply instruction is issued, blackout occurs. In this case, power supply to the area is stopped.

본 발명에서는, 전력 예비율이 급전 지시가 발동되는 10% 미만인 경우, 해당 지역에 위치한 복수의 물리 서버에 해당하는 복수의 가상 서버가 장애가 발생할 것임을 예측할 수 있다.In the present invention, it is possible to predict that a plurality of virtual servers corresponding to a plurality of physical servers located in a corresponding region will fail if the power reserve ratio is less than 10% of the power supply instruction being issued.

제3 장애 예측부는, 물리 서버에 할당된 가상 머신과 해당 물리 서버의 호환성을 판단하여 가상 서버의 장애를 예측할 수 있다.The third failure predicting unit can predict the failure of the virtual server by judging compatibility between the virtual machine allocated to the physical server and the physical server.

예를 들어, 제3 장애 예측부는 장애가 자주 발생하는 원인이 가상 머신의 알고리즘 문제인지 또는 가상 머신과 물리 서버의 호환성의 문제인지 판단할 수 있다.For example, the third failure predicting unit can determine whether the frequent occurrence of the failure is an algorithm problem of the virtual machine or a compatibility problem between the virtual machine and the physical server.

가상 머신은, 애플리케이션을 통해 클라이언트에게 서비스를 제공하는데, 물리 서버에 설치된 하드웨어에 따라 원활하게 동작하거나 원활하게 동작하지 않을 수 있다.The virtual machine provides the service to the client through the application, but may not operate smoothly or smoothly depending on the hardware installed in the physical server.

즉, 가상 머신의 하이퍼바이저는, 특정 물리 서버에 설치된 CPU, GPU, 메모리, 스토리지 등과 리소스를 효율적으로 이용하지 못하여 특정 물리 서버와 호환성이 낮을 수 있다.That is, the hypervisor of the virtual machine can not efficiently utilize resources such as a CPU, a GPU, a memory, a storage, and the like installed in a specific physical server, so that compatibility with a specific physical server may be low.

구체적으로, 제3 장애 예측부는, 각각의 가상 머신에 대하여 실제 장애가 발생된 빈도를 저장하는 장애 기록 테이블을 생성하고, 각각의 가상 머신의 장애 빈도를 장애 기록 테이블에 저장할 수 있다.Specifically, the third failure predicting unit may generate a failure log table storing the frequency of occurrence of the actual failure for each virtual machine, and store the failure frequency of each virtual machine in the failure log table.

제3 장애 예측부는, 가상 머신이 복수의 물리 서버에 할당되었을 때에 각각의 물리 서버에서 발생된 장애 발생 빈도의 범위가 소정 범위 이내에 해당하는 경우, 가상 머신과 물리 서버와의 호환성 높은 것으로 예측할 수 있다.The third failure predicting unit can predict that the compatibility of the virtual machine and the physical server is high when the range of the frequency of occurrence of the failure in each physical server falls within a predetermined range when the virtual machine is allocated to the plurality of physical servers .

이 경우, 제3 장애 예측부는, 가상 머신의 알고리즘 자체에 오류가 발생한 것으로 담당자에게 알려주어 담당자가 하이퍼바이저 등의 알고리즘을 미리 유지, 보수하도록 유도할 수 있는 효과가 있다.In this case, the third failure predicting unit has the effect of informing the person in charge that an error has occurred in the algorithm of the virtual machine itself, and guiding the person in charge to maintain and repair the algorithm such as the hypervisor in advance.

제3 장애 예측부는, 가상 머신이 특정 물리 서버에 할당되었을 때에 장애 발생 빈도의 범위가 소정 범위를 벗어나는 경우, 가상 머신과 특정 물리 서버의 호환성이 낮은 것으로 예측할 수 있다.The third failure predicting unit can predict that the compatibility of the virtual machine and the specific physical server is low when the range of the frequency of occurrence of the failure is out of a predetermined range when the virtual machine is allocated to the specific physical server.

따라서, 제3 장애 예측부는, 가상 머신이 호환성이 낮은 물리 서버에 할당된 경우 현재 가상 서버에 장애가 발생하지 않은 경우에도 추후 장애가 발생할 확률이 높은 것으로 예측할 수 있다.Therefore, when the virtual machine is allocated to the low-compatibility physical server, the third failure predicting unit can be predicted to have a higher probability of occurrence of a failure even if the failure does not occur in the current virtual server.

이에 더해, 가상 서버 관리 장치는, 가상 머신과 물리 서버의 호환성을 높여 가상 머신이 물리 서버에서 원활하게 작동하도록 담당자에게 정보를 제공할 수 있는 효과가 있다.In addition, the virtual server management apparatus has the effect of enhancing the compatibility between the virtual machine and the physical server and providing the information to the person in charge so that the virtual machine can smoothly operate on the physical server.

이때, 절체 수행부는, 해당 가상 머신의 다른 물리 서버로의 절체를 수행할 수 있다.At this time, the transfer performing unit can perform transfer to another physical server of the corresponding virtual machine.

절체 수행부는, 절체를 수행할 때 제3 장애 예측부에 의해 호환성이 낮은 물리 서버로 절체를 수행하는 것이 제한될 수 있다.The transfer performing unit may be restricted from performing the transfer to the low compatibility physical server by the third failure predicting unit when performing the transfer.

절체 수행부는, 제3 장애 예측부의 예측 결과를 기초로, 호환성이 낮은 물리 서버보다 호환성이 높은 물리 서버에 우선적으로 가상 머신의 절체를 수행할 수 있다.Based on the prediction result of the third failure predicting unit, the transfer performing unit can preferentially transfer the virtual machine to the physical server having higher compatibility than the low compatibility physical server.

특히, 절체 수행부는, 호환성이 높은 물리 서버에 우선적으로 가상 머신을 이동한 뒤, 더 이상 호환성이 높은 물리 서버가 남지 않은 경우 호환성이 낮은 물리 서버로 가상 머신을 이동할 수 있다.Particularly, the transfer performing unit may move the virtual machine to a highly compatible physical server, and then move the virtual machine to a less compatible physical server if no more highly compatible physical server remains.

또한, 절체 수행부는, 호환성이 낮은 물리 서버에 가상 머신의 절체를 수행하는 경우, 가상 머신 그룹핑부에 의해 복수의 물리 서버 각각의 성능에 따라 할당된 제1 가중치를 고려할 수 있다.In addition, when the switching of the virtual machine to the low-compatibility physical server is performed, the switching performing unit may consider the first weight assigned according to the performance of each of the plurality of physical servers by the virtual machine grouping unit.

즉, 절체 수행부는, 연속성의 보장이 100% 요구되는 애플리케이션이 수행되는 도중 장애가 발생되는 경우, 호환성이 낮은 물리 서버의 성능이 미리 지정된 성능보다 좋은 경우에 가상 머신의 절체를 수행할 수 있다.That is, the transfer performing unit can perform the switching of the virtual machine when a failure occurs during execution of an application requiring 100% of continuity guarantee, and when the performance of the low compatibility physical server is better than the predetermined performance.

절체 수행부는 호환성이 낮은 물리 서버의 성능이 미리 지정된 성능보다 좋지 않은 경우, 절체 수행부는 담당자의 휴대 단말로부터 절체 허가가 승인된 이후 절체를 수행할 수 있다.When the performance of the physical server having low compatibility is not better than the predetermined performance, the transfer performing unit may perform the transfer after the transfer permission is approved from the portable terminal of the contact person.

이에 따라, 본 발명에 따른 크라우드 테스팅 장치(10)에 장애가 발생한 경우 가상 머신을 호환성이 낮은 물리 서버로 이동시켜 호환성에 의해 재차 장애가 발생하는 것을 미리 방지할 수 있는 장점이 있다.Accordingly, when a failure occurs in the crow testing device 10 according to the present invention, the virtual machine is moved to a low-compatibility physical server, which prevents an obstacle from occurring again due to compatibility.

절체 물리 서버 결정부는 복수의 물리 서버 각각의 성능, 복수의 가상 머신 각각에 대응하는 운영 체제의 특성 및 복수의 가상 머신 각각에서 구동되는 애플리케이션의 종류에 기초하여 복수의 가상 머신 각각이 절체될 복수의 절체 후보 물리 서버의 리스트를 결정할 수 있다.The switching physical server determination section determines, based on the performance of each of the plurality of physical servers, the characteristics of the operating system corresponding to each of the plurality of virtual machines, and the type of application driven in each of the plurality of virtual machines, A list of transfer candidate physical servers can be determined.

절체 물리 서버 결정부는, 복수의 가상 서버 중 어느 하나의 장애가 예측되는 경우, 복수의 절체 후보 물리 서버 각각의 리소스 현황, 할당된 가상 머신의 수, 구동되고 있었던 시간 및 비구동되고 있었던 시간에 기초하여 상기 복수의 절체 후보 물리 서버 중 하나를 절체될 물리 서버로 결정할 수 있다.When a failure of any one of the plurality of virtual servers is predicted, the switching physical server determination unit determines, based on the resource status of each of the plurality of transfer candidate physical servers, the number of allocated virtual machines, the time of being driven, One of the plurality of transfer candidate physical servers may be determined as a physical server to be transferred.

이때, 절체 수행부는, 장애가 예측된 복수의 가상 서버 중 어느 하나에 할당된 복수의 가상 머신 각각의 결정된 절체 후보 물리 서버 중 하나로의 절체를 수행할 수 있다.At this time, the transfer performing unit may perform transfer to one of the determined transfer candidate physical servers of each of the plurality of virtual machines assigned to any one of the plurality of virtual servers whose failure is predicted.

절체 반복수행부는, 가상 머신에 장애가 발생하지 않아도 다른 물리 서버로의 절체를 수행할 수 있다.The transfer repetition performing unit can perform the transfer to another physical server even if a failure occurs in the virtual machine.

절체가 수행된 가상 머신의 경우 재차 서버에 장애가 발생될 확률이 높기 때문에, 절체 반복수행부는 이미 절체가 수행된 가상 머신에 대해 장애가 발생되기 전에 다시 절체를 수행할 수 있다.In the case of the virtual machine in which the transfer is performed, since the probability of occurrence of the failure in the server is high again, the transfer iterative execution unit can perform the transfer again before the failure occurs in the virtual machine in which the transfer has already been performed.

절체 반복수행부는 미리 설정된 시간에 따라 정기적으로 절체를 수행할 수 있다.The switching repetition unit may periodically perform switching according to a preset time.

또한, 절체 반복수행부는, 상기 제1 장애 예측부 내지 제3 장애 예측부가 장애를 더욱 민감하게 예측하도록 예측 기준을 변경할 수도 있다.Also, the switching repetition unit may change the prediction reference so that the first to third error predicting units may more sensitively predict a fault.

예를 들어, 제1 장애 예측부의 온도값 및 진동값이 기 설정된 시간동안 기 설정된 범위만큼 급격히 증가한 경우 해당 가상 서버가 장애가 발생했다고 판단하는데, 절체 반복수행부는 기 설정된 시간을 줄이고 및 기 설정된 범위를 좁혀 예측 기준을 변경할 수 있다.For example, when the temperature value and the vibration value of the first failure predicting unit are rapidly increased by a preset range for a preset time, the virtual server determines that a failure has occurred. The switching repetition unit reduces the preset time, The prediction criterion can be changed.

이때, 절체 반복수행부는, 이전에 절체가 수행될 때의 장애 정도에 비례하여 예측 기준을 변경할 수도 있다.At this time, the transfer iteration performing unit may change the prediction standard in proportion to the degree of obstacle when the transfer is performed before.

이에 따라, 본 발명에 따른 크라우드 테스팅 장치(10)에 장애가 발생되기 전에 미리 절체를 수행하여 서버를 안정한 상태로 유지 및 관리할 수 있는 장점이 있다.Thus, there is an advantage that the server can be maintained and managed in a stable state by performing switching in advance before a failure occurs in the crow testing apparatus 10 according to the present invention.

도 4는 본 발명의 다른 실시예에 따른 크라우드 테스팅 장치의 개략적인 구성이 도시된 도면이다.4 is a diagram showing a schematic configuration of a crow testing apparatus according to another embodiment of the present invention.

도 4를 참조하면, 본 발명의 다른 실시예에 따른 크라우드 테스팅 장치(20)은, 프로젝트 등록 모듈(100), 테스터 등록 모듈(200), 테스터 선택 모듈(300), 프로젝트 분배 모듈(400), 모니터링 모듈(500), 결과 리포트 모듈(600), 보상 모듈(700) 및 랜섬웨어 차단 모듈(800)을 포함한다. 여기서, 프로젝트 등록 모듈(100), 테스터 등록 모듈(200), 테스터 선택 모듈(300), 프로젝트 분배 모듈(400), 모니터링 모듈(500), 결과 리포트 모듈(600) 및 보상 모듈(700)은, 도 1의 구성요소와 동일하므로 그 설명을 생략한다.4, a crow testing apparatus 20 according to another embodiment of the present invention includes a project registration module 100, a tester registration module 200, a tester selection module 300, a project distribution module 400, A monitoring module 500, a result report module 600, a compensation module 700, and a Raman- Here, the project registration module 100, the tester registration module 200, the tester selection module 300, the project distribution module 400, the monitoring module 500, the result report module 600 and the compensation module 700, Are the same as those of the constituent elements in Fig. 1, and the description thereof will be omitted.

랜섬웨어 차단 모듈(800)은, 랜섬웨어의 침입이 감지되면, 크라우드 테스팅 장치(20)이 구현되는 단말기의 CPU의 클럭 수를 비정상적으로 저하(예를 들어, 정상 클럭의 1 내지 3% 등)시켜 크라우드 테스팅 장치(20)이 구현되는 단말기의 CPU의 연산 속도를 비정상적으로 줄임으로써, 랜섬웨어의 설치 및 확인 속도를 저하시킬 수 있다.When the intrusion of the random software is detected, the random access blocking module 800 abnormally decreases the number of clocks of the CPU of the terminal in which the crow testing device 20 is implemented (for example, 1 to 3% of the normal clock) The operation speed of the CPU of the terminal in which the crow testing device 20 is implemented is abnormally reduced, thereby lowering the installation and verification speed of the random software.

이때, 동기화를 위한 크라우드 테스팅 장치(20)의 자원은 미리 독립적으로 확보해 두었다가, 랜섬웨어의 침입이 감지되면, 다른 자원과는 별도로 활용하여 클럭 수의 저하에도 지장 없이 동기화를 수행하도록 함이 바람직하다.At this time, the resources of the crowd testing apparatus 20 for synchronization are secured independently in advance, and when the intrusion of the random software is detected, the synchronization is performed without any hindrance to the lowering of the number of clocks Do.

예를 들어, 랜섬웨어 차단 모듈(800)은, 관리자로부터 미리 지정을 받은 순서에 따라 저장소에 데이터를 저장하거나, 랜섬웨어로부터 데이터를 보호하기 위해 용량이 적은 데이터로부터 저장소에 업로드 하거나, 관리자로부터 지정 받은 전체 데이터를 일괄하여 업로드 하기 위해 전체 데이터에 대한 압축 데이터를 생성한 후 한 번에 업로드를 시도할 수 있다.For example, the RAN webware blocking module 800 may store data in the storage according to a predetermined order received from the administrator, upload the data from the data having a small capacity to the storage to protect the data from the RAN webware, In order to collectively upload the entire data received, it is possible to generate compressed data for all the data and then upload at a time.

여기서, 관리자는, 크라우드 테스팅 장치(20) 관리 장치의 관리자를 의미한다.Here, the administrator refers to the manager of the crowd testing apparatus 20 management apparatus.

랜섬웨어 차단 모듈(800)은, 애플리케이션의 필수 데이터의 용량, 관리자로부터 지정된 데이터인지 여부 및 애플리케이션의 클라이언트의 개수에 기초하여 저장소에 업로드 하는 순서를 결정할 수 있다.The RAN firmware block 800 may determine the order of uploading to the repository based on the capacity of the application's required data, whether it is data designated by the administrator, and the number of clients of the application.

예를 들어, 특정 애플리케이션의 클라이언트의 개수가 상대적으로 많다면, 이용 이력에 따른 누적 데이터도 많게 되어 해당 애플리케이션의 필수 데이터의 용량이 큼은 자명하다.For example, if the number of clients of a specific application is relatively large, it is obvious that the cumulative data according to the usage history is large and the capacity of the essential data of the application is large.

랜섬웨어 차단 모듈(800)은, 애플리케이션의 데이터를 크기별로 10개의 그룹으로 분류한다.The RAN webware blocking module 800 classifies the application data into ten groups by size.

랜섬웨어 차단 모듈(800)은, 용량의 크기가 가장 작은 데이터들이 속한 그룹을 그룹 1로 정의하고, 용량의 크기가 두번째로 작은 데이터들이 속한 그룹을 그룹 2로 정의하고, 용량의 크기가 세번째로 작은 데이터들이 속한 그룹을 그룹 3으로 정의하고, 용량의 크기가 네번째로 작은 데이터들이 속한 그룹을 그룹 4로 정의하고, 용량의 크기가 다섯 번째로 작은 데이터들이 속한 그룹을 그룹 5로 정의하고, 용량의 크기가 여섯 번째로 작은 데이터들이 속한 그룹을 그룹 6으로 정의하고, 용량의 크기가 일곱 번째로 작은 데이터들이 속한 그룹을 그룹 7로 정의하고, 용량의 크기가 여덟 번째로 작은 데이터들이 속한 그룹을 그룹 8로 정의하고, 용량의 크기가 아홉 번째로 작은 데이터들이 속한 그룹을 그룹 9로 정의하고, 용량의 크기가 열 번째로 작은 데이터들이 속한 그룹을 그룹 10으로 정의한다.The random access memory module 800 defines a group to which data having the smallest capacity belongs as group 1, a group to which data having the second smallest capacity belongs as group 2, A group to which small data belongs is defined as a group 3, a group to which data having a fourth smallest capacity belongs is defined as a group 4, a group to which data having a fifth smallest capacity belongs is defined as a group 5, Is defined as group 6, the group to which the data with the smallest capacity is the seventh group is defined as group 7, and the group to which the data having the smallest capacity is the group with the smallest data Group 8, a group to which the data having the smallest capacity is included in the ninth group is defined as the group 9, and the capacity is defined as the tenth data Define the group to which it belongs as group 10.

그리고, 그룹 1에는 10점, 그룹2 에는 9점, 그룹 3에는 8점, 그룹 4에는 7점, 그룹 5에는 6점, 그룹 6에는 5점, 그룹 7에는 4점, 그룹 8에는 3점, 그룹 9에는 2점 그룹 10에는 1점을 부여한다.10 points for group 1, 9 points for group 2, 8 points for group 3, 7 points for group 4, 5 points for group 6, 4 points for group 7, 3 points for group 8, In Group 9, one point is assigned to the two-point group 10.

짧은 시간에 최대한 많은 데이터들이 보호하기 위해 용량이 작은 데이터들이 더 큰 점수를 부여할 수 있다.To protect as much data as possible in a short period of time, small amounts of data can give a higher score.

랜섬웨어 차단 모듈(800)은, 관리자가 지정한 데이터들에 5점을 부여하고, 그렇지 않은 데이터에는 0점을 부여한다.The RAN firmware block module 800 gives five points to the data specified by the administrator, and gives 0 points to the data that is not specified.

즉, 관리자가 중요시한 데이터를 빨리 업로드 할 수 있도록 더 큰 점수를 부여할 수 있다.In other words, a higher score can be given so that the administrator can quickly upload important data.

따라서, 크라우드 테스팅 장치(20)에 저장되어 있는 모든 데이터를 저장소에 업로드 하기 해서는 많은 시간이 걸리기 때문에 랜섬웨어로부터 데이터들을 보호하기 어려운 바, 관리자는 랜섬웨어의 침입에 대비하여 최소한의 중요 데이터를 미리 선택하여 지정해 둠이 바람직하다.Therefore, since it takes a long time to upload all the data stored in the crow testing device 20 to the repository, it is difficult to protect the data from the Ransomware. Therefore, It is desirable to select and specify.

또한, 랜섬웨어 차단 모듈(800)은, 랜섬웨어의 침입이 감지된 시점으로부터 1달 이내에 확인된 횟수에 기초하여 데이터를 10개의 그룹으로 분류한다.Also, the Raman-webware blocking module 800 classifies the data into ten groups based on the number of times of confirmation within one month from the time when the intrusion of the Raman software is detected.

관리자가 데이터를 확인한다는 것은, 의도적으로 특정 데이터에 접근하여 데이터에 포함된 내용을 확인했다는 것이다.The fact that the administrator confirms the data is that he intentionally accesses the specific data and confirms the contents contained in the data.

특별히 지정한 것은 아니지만, 여러 이유로 특정 데이터를 확인했다는 것은 중요하게 관리될 필요가 있는 데이터일 수 있다.Although not specially specified, verifying specific data for a variety of reasons may be data that needs to be managed significantly.

랜섬웨어 차단 모듈(800)은, 확인된 횟수가 가장 많은 데이터가 속한 그룹을 그룹 1로 정의하고, 확인된 횟수가 두번째로 많은 데이터가 속한 그룹을 그룹 2로 정의하고, 확인된 횟수가 세번째로 많은 데이터가 속한 그룹을 그룹 3으로 정의하고, 확인된 횟수가 네번째로 많은 데이터가 속한 그룹을 그룹 4로 정의하고, 확인된 횟수가 다섯 번째로 많은 데이터가 속한 그룹을 그룹 5로 정의하고, 확인된 횟수가 여섯 번째로 많은 데이터가 속한 그룹을 그룹 6으로 정의하고, 확인된 횟수가 일곱 번째로 많은 데이터가 속한 그룹을 그룹 7로 정의하고, 확인된 횟수가 여덟 번째로 많은 데이터가 속한 그룹을 그룹 8로 정의하고, 확인된 횟수가 아홉 번째로 많은 데이터가 속한 그룹을 그룹 9로 정의하고, 확인된 횟수가 가장 적은 데이터가 속한 그룹을 그룹 10로 정의한다.The random access memory module 800 defines the group to which the data having the highest number of times of confirmation belongs as the group 1, defines the group to which the data having the second highest number of confirmed times belongs as the group 2, A group to which a large number of data belongs is defined as a group 3, a group to which a fourth number of confirmed data belongs is defined as a group 4, a group to which data having a fifth number of confirmed times belongs is defined as a group 5, The group to which the sixth largest number of data belongs is defined as group 6, the group to which the data having the seventh largest number of confirmed times belongs is defined as group 7, and the group in which the number of confirmed times is the seventh Define group 8, define the group to which the data with the 9th most confirmed number belongs as group 9, define the group to which the data with the smallest number of confirmed data belongs as group 10 And.

확인된 횟수에 따라 구분된 그룹 1내지10은 용량의 크기에 따라 구분된 그룹과 상이함은 자명하다.It is obvious that the groups 1 to 10 classified according to the number of times identified are different from the groups classified according to the size of the capacity.

그리고, 확인된 횟수에 따라 구분된 그룹 1 내지 10에 대하여, 그룹 1에는 10점, 그룹2 에는 9점, 그룹 3에는 8점, 그룹 4에는 7점, 그룹 5에는 6점, 그룹 6에는 5점, 그룹 7에는 4점, 그룹 8에는 3점, 그룹 9에는 2점 그룹 10에는 1점을 부여한다.10 points for group 1, 9 points for group 2, 8 points for group 3, 7 points for group 4, 6 points for group 5, and 5 points for group 6 for groups 1 to 10 classified according to the confirmed number of times 4 points for group 7, 3 points for group 8, and 1 point for two points group 10 in group 9.

관리자가 지정하지 않았더라도, 확인된 횟수가 많다는 것은 관리자가 필요로 하는 데이터인 것으로 추정하여 확인 횟수가 많은 데이터에 더 큰 점수를 부여한다.Even if the administrator does not designate it, the fact that the number of times of confirmation is high means that it is assumed that the data is needed by the manager, and a larger score is given to the data with a large number of times of confirmation.

또한, 랜섬웨어 차단 모듈(800)은, 데이터의 용량, 관리자로부터 지정된 데이터인지 여부 및 관리자가 데이터를 확인한 횟수에 따라 부여된 점수를 합산하여 합산된 점수가 높은 순으로 데이터를 저장소로 업로드한다.Also, the Raman-webware blocking module 800 adds up the scores given according to the capacity of the data, whether the data is designated by the administrator, and the number of times the administrator confirms the data, and uploads the data to the storage in descending order of the accumulated score.

랜섬웨어 차단 모듈(800)은, 데이터의 용량, 관리자로부터 지정된 데이터인지 여부 및 관리자가 데이터를 확인한 횟수에 더 나아가, 데이터의 최초 취득 날짜 및 필수 데이터인지 여부를 더 고려하여 저장소로 업로드 하는 순서를 결정한다.The Raman software interception module 800 considers the order of uploading the data to the repository considering the data capacity, whether the data is designated by the administrator, the number of times the administrator checks the data, .

랜섬웨어 차단 모듈(800)은, 데이터를 최초 취득 날짜별로 4개의 그룹으로 분류한다.The RAN webware blocking module 800 classifies the data into four groups according to the initial acquisition date.

각각의 그룹에 포함된 데이터의 개수는 모든 데이터의 개수를 그룹수로 나눈 값과 동일하다.The number of data contained in each group is equal to the number of all data divided by the number of groups.

즉 데이터가 1000개라면, 그룹의 개수는 4개이기 때문에 각 그룹에는 250개의 데이터가 포함된다.That is, if the number of data is 1000, since the number of groups is 4, each group includes 250 pieces of data.

랜섬웨어 차단 모듈(800)은, 최초 취득 날짜가 가장 늦은 데이터들이 속한 그룹을 그룹 1로 정의하고, 최초 취득 날짜가 두번째로 늦은 데이터들이 속한 그룹을 그룹 2로 정의하고, 최초 취득 날짜가 세번째로 늦은 데이터들이 속한 그룹을 그룹 3으로 정의하고, 최초 취득 날짜가 네번째로 늦은 데이터들이 속한 그룹을 그룹 4로 정의한다.The RAN firmware block module 800 defines a group to which the data with the earliest acquisition date belongs as group 1, a group to which the data with the second acquisition date last belongs as the group 2, Define the group to which the late data belongs as group 3, and define the group to which the data with the first acquisition date as the fourth belongs to group 4.

그리고, 그룹 1에는 10점, 그룹2 에는 9점, 그룹 3에는 8점, 그룹 4에는 7점을 부여한다.10 points for group 1, 9 points for group 2, 8 points for group 3, and 7 points for group 4 are given.

최초 취득 날짜에 따라 구분된 그룹 1내지4는 전술한 그룹들과 상이함은 자명하다.Groups 1 to 4, which are distinguished by their initial acquisition date, are obviously different from the above groups.

랜섬웨어 차단 모듈(800)은, 최근에 취득된 데이터일수록 신규한 데이터이기 때문에 최초 취득 날짜가 늦은 데이터일수록 더 높은 점수를 부여한다.Since the latest data obtained from the random access memory module 800 is new data, data with a later date of acquisition is given a higher score.

또한, 랜섬웨어 차단 모듈(800)은, 데이터가 우수 데이터인지 여부를 판단하여, 우수 데이터인 경우에는 5점을 부여하고, 비우수 데이터인 경우에는 0점을 부여한다.The random access memory module 800 determines whether the data is excellent data. If the data is excellent data, it gives five points. If the data is abnormal data, it gives zero points.

우수 데이터가 손상된 경우에는, 다시 비용을 지불하고 데이터를 구입해야 하는 만큼 우수 데이터에 더 큰 점수를 부여한다.In the event that the storm data is damaged, it will pay a higher price for the storm data as well as the cost of the data.

우수 데이터인지 여부는, 클라이언트가 접근하는 횟수가 기준치 이상인 지에 따라 결정된다.Whether or not the data is excellent depends on whether the number of times the client accesses is equal to or greater than the reference value.

랜섬웨어 차단 모듈(800)은, 클라이언트의 개수, 관리자로부터 지정된 데이터인지 여부 및 관리자가 데이터를 확인한 횟수, 데이터의 최초 취득 날짜 및 우수 데이터인지 여부에 따라 부여된 점수를 모두 합산하여 점수가 높은 순으로 데이터를 저장소에 업로드한다.The RAN firmware block module 800 adds up the scores given according to the number of clients, whether the data is designated by an administrator, the number of times the administrator checks data, the date of acquisition of the data, and whether it is excellent data, To upload data to the repository.

또한, 랜섬웨어 차단 모듈(800)은, 크라우드 테스팅 장치(20)의 데이터들을 주기적(예를 들어, 하루 또는 격일 등)으로 백업하여 별도로 형성되는 저장장치 등에 저장해 두며, 랜섬웨어의 침입이 감지되면 상술한 바와 같이 크라우드 테스팅 장치(20)의 성능을 조절하여 랜섬웨어의 설치 및 확인 속도를 저하시킨 후 크라우드 테스팅 장치(20)의 모든 데이터를 일시에 삭제하며, 침입한 랜섬웨어의 치료가 완료된 후 백업해 둔 자료를 이용하여 랜섬웨어의 침입 이전 시기의 상태로 롤백(Roll Back, 현재의 데이터가 유효하지 않거나 망가졌을 때 기존 데이터로 되돌리는 행위)할 수 있다.In addition, the Raman-webware blocking module 800 backs up the data of the crow testing device 20 periodically (for example, day or every other day) and stores it in a separately formed storage device or the like. When the intrusion of the Raman- After the performance of the crow testing device 20 is adjusted as described above to lower the speed of installation and verification of the random software, all the data of the crow testing device 20 is deleted at once, Using the backed up data, Roll Back can be rolled back to the state before the intrusion of Ransomware (returning the existing data when the current data is invalid or broken).

예를 들어, 랜섬웨어 차단 모듈(800)은, 크라우드 테스팅 장치(20)에 저장된 데이터를 주기적으로 저장소에 업로드 하되, 데이터의 용량, 관리자로부터 지정된 데이터인지 여부 및 관리자가 데이터를 확인한 횟수, 데이터의 최초 취득 날짜 및 우수 데이터인지 여부에 따라 부여된 점수가 낮은 순서로 저장소에 우선적으로 업로드한다.For example, the risk management module 800 periodically uploads the data stored in the crow testing device 20 to the repository, and determines whether the data capacity, the data designated by the administrator, the number of times the administrator checks the data, Priority is uploaded to the repository in descending order of the number of points awarded, depending on whether they were first acquired date and excellent data.

랜섬웨어가 침입되면, 점수가 높은 순서로 저장소에 업로드 되기 때문에, 랜섬웨어가 침입되기 이전에는 주기적으로 데이터를 업로드 하되, 점수가 낮은 순서로 업로드한다.When Ransomware is intruded, the scores are uploaded to the repositories in the order of the highest score. Therefore, before Ransomware is invaded, periodically upload data, but upload it in descending order of score.

이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the present invention as defined by the following claims. You will understand.

10, 20: 크라우드 테스팅 장치
100: 프로젝트 등록 모듈
200: 테스터 등록 모듈
300: 테스터 선택 모듈
400: 프로젝트 분배 모듈
500: 모니터링 모듈
600: 결과 리포트 모듈
700: 보상 모듈
800: 랜섬웨어 차단모듈10, 20: crowd testing device
100: Project registration module
200: Tester registration module
300: Tester Selection Module
400: Project Distribution Module
500: Monitoring module
600: Result Report Module
700: Compensation module
800: Ransomware blocking module

Claims

A project registration module for registering a project requiring testing from a vendor; And
A tester registering module for registering a tester for testing the project,
A tester selection module for selecting a tester for testing a project registered in the project registration module among the tester registered in the tester registration module;
A project distribution module for distributing a project to be tested to a tester selected by the tester selection module;
A monitoring module that monitors the progress of a project under test in real time and notifies a vendor when a defect occurs;
A result report module that reports the results of the testing of the project to the vendor; And
Further comprising a compensation module that provides compensation for testing to a tester that has completed testing,
The project registration module assigns a rating to each registered project, dispenses the compensation for testing according to the corresponding rating, and provides a tester with a project registered from a company so as to verify whether the tester performs the given project correctly Include verification defects that are not known,
The tester registration module is a module for registering a grade point according to the degree of acquisition of at least one of the grade point awarded in accordance with the performance of the project in the relevant field in which the participant participated or the status of the project, The tester which is supported according to the project is divided into the professional tester or the general tester according to the field of the project,
In the case of a tester having experience of distributing testing more than a predetermined number of times to the testing of a project registered from a specific company, the project distribution module automatically distributes a project of a field that has already been registered from the relevant company, If you do not agree with the automatic distribution to the tester or if you are willing to refuse from the tester, do not perform the automatic distribution of the test, and exclude the tester from the automatic distribution of the project registered from the next company,
The compensation module may include at least one of a rating given by a vendor, a satisfaction rate of a test period, a number of readings of a defect included in the project, satisfaction of a company registered with the project, The degree of compensation to be given to the tester that has performed the corresponding project in consideration of at least one of the condition of the inspection point, whether or not the inspection defect is found, and the accumulation point of the grade point, The degree of compensation is determined according to the degree,
Further comprising a random access protection module,
When the intrusion of the RAN firmware is detected, the RAN webware blocking module reduces the number of clocks of the CPU of the PC to 1 to 3% of the normal clock,
The Raman-webware blocking module classifies application data into 10 groups by size, and the Raman-webware blocking module defines a group to which data having the smallest capacity belongs as group 1, The group to which the data belongs is defined as group 2, the group to which the data with the third smallest capacity belongs is defined as group 3, the group to which the data with the fourth smallest capacity belongs is defined as group 4, The group to which the fifth smallest data belongs is defined as the group 5, the group to which the sixth smallest capacity data belongs is defined as the group 6, and the group to which the seventh smallest capacity data belongs is defined as the group 7 , The group to which the data with the smallest capacity is the eighth group is defined as the group 8, and the size of the capacity is defined as the ninth The group to which the data belongs is defined as group 9, and the group to which the data having the smallest capacity is included belongs to group 10, and 10 points for group 1, 9 points for group 2, 8 points for group 3, 4, 7, 5, 6, 5, 4, 3, and 10, respectively,
The Rangumware blocking module assigns 5 points to the file specified by the administrator and 0 points to the file that is not specified by the administrator,
The Raman-webware blocking module classifies data into ten groups based on the number of times of confirmation within one month from the time when the intrusion of the Raman software is detected, and defines a group to which the data having the largest number of confirmed times belongs as group 1 A group to which the data having the second highest number of confirmed times belongs to the group 2, a group to which the data having the third highest number of confirmed times belongs to the group 3, and a group to which the data having the confirmed number of times the fourth largest number belongs to the group 4, defining the group to which the data having the fifth highest number of confirmed times belongs as group 5, defining the group to which the sixth highest number of confirmed data belongs as group 6, and the confirmed number is defined as the seventh The group to which a large number of data belongs is defined as group 7, the group in which the number of confirmed data is the eighth largest is defined as group 8, The group to which a large number of data belongs is defined as a group 9, the data accelerated group with the smallest number of confirmed data is defined as a group 10, the group 1 to 10 are grouped according to the number of times confirmed, 9 points for group 2, 8 points for group 3, 7 points for group 4, 6 points for group 5, 5 points for group 6, 4 points for group 7, 3 points for group 8, 1 point,
Wherein the Raman-software interception module adds the scores given according to the capacity of the data, whether the data is designated by the administrator, and the number of times the administrator confirms the data, and uploads the data to the repository in descending order of the cumulative score.

delete