KR102506055B1 - Method, apparatus and computer program for task assignment and gathering work results for gig workers qa platform worker - Google Patents
Method, apparatus and computer program for task assignment and gathering work results for gig workers qa platform worker Download PDFInfo
- Publication number
- KR102506055B1 KR102506055B1 KR1020220143620A KR20220143620A KR102506055B1 KR 102506055 B1 KR102506055 B1 KR 102506055B1 KR 1020220143620 A KR1020220143620 A KR 1020220143620A KR 20220143620 A KR20220143620 A KR 20220143620A KR 102506055 B1 KR102506055 B1 KR 102506055B1
- Authority
- KR
- South Korea
- Prior art keywords
- work
- worker
- workers
- gig
- platform
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000004590 computer program Methods 0.000 title claims description 11
- 238000000275 quality assurance Methods 0.000 claims abstract description 128
- 238000012360 testing method Methods 0.000 claims description 109
- 238000007689 inspection Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 11
- 238000011990 functional testing Methods 0.000 claims description 2
- 206010037660 Pyrexia Diseases 0.000 claims 1
- 238000013528 artificial neural network Methods 0.000 description 59
- 230000006870 function Effects 0.000 description 26
- 238000004891 communication Methods 0.000 description 17
- 238000012545 processing Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 12
- 238000012544 monitoring process Methods 0.000 description 8
- 241000282326 Felis catus Species 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000012958 reprocessing Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000415 inactivating effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000013021 overheating Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06311—Scheduling, planning or task assignment for a person or group
- G06Q10/063112—Skill-based matching of a person or a group to a task
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/70—Software maintenance or management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0633—Workflow analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/105—Human resources
Landscapes
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Engineering & Computer Science (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Theoretical Computer Science (AREA)
- Economics (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- Marketing (AREA)
- Educational Administration (AREA)
- Game Theory and Decision Science (AREA)
- Development Economics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
본 발명은 긱 워커 QA 플랫폼 작업자를 위한 QA 업무 할당 및 작업 결과물 취합 방법에 관한 것으로서, 구체적으로, 긱 워커 QA 플랫폼에 등록된 복수의 작업자가 보유한 디바이스의 환경을 고려하여 QA 업무를 할당하고, 그 결과물을 취합하는 방법에 관한 것이다.The present invention relates to a method for allocating QA tasks and collecting work results for gig worker QA platform workers. It is about how to assemble the results.
품질보증(Quality Assurance, QA)은 게임 및 소프트웨어가 일정 수준의 품질(Quality)을 가질 수 있도록 출시 이전에 각종 테스트 및 검수 작업을 수행하는 것을 말한다. 이러한 품질보증은 초기 게임 및 소프트웨어를 만들기 위한 기획 단계에서부터 시작하여 개발, 운영, 유지보수 등 전체 라이프 사이클에 걸쳐 지속적으로 이루어진다.Quality Assurance (QA) refers to performing various tests and inspections prior to release so that games and software can have a certain level of quality. This quality assurance is continuously carried out throughout the entire life cycle, starting from the planning stage for making early games and software, and including development, operation, and maintenance.
게임 및 소프트웨어 개발 과정에서 의도치 않게 생성되는 오류와 여러가지 조건에 가려져 숨어 있는 치명적인 장애는 단 한 개라도 프로젝트 성공과 실패를 바꿔 놓을 수 있다. 이에 따라, 품질보증 업무는 게임 및 소프트웨어 공급에 있어서 상당히 중요한 업무이며, 이를 전문적으로 처리하는 업체가 증가하고 있다.In the course of game and software development, errors that are unintentionally created and fatal failures hidden behind various conditions can change the success or failure of a project. Accordingly, quality assurance work is a very important task in the supply of games and software, and an increasing number of companies specialize in this task.
한편, 품질보증 업무는 업무의 특성상 단순 테스트 및 단순 반복을 요하는 업무가 많아, 모든 품질보증 업무에 전문 인력을 투입하는 것은 비효율적일 수 있다.On the other hand, due to the nature of the work, quality assurance work involves many tasks that require simple tests and simple repetitions, so it may be inefficient to use specialized personnel for all quality assurance work.
따라서, 품질보증 업무를 효율적으로 처리 가능한 플랫폼에 대한 수요가 당업계에 존재한다.Therefore, there is a demand for a platform capable of efficiently processing quality assurance tasks in the art.
게임 및 소프트웨어의 품질보증 업무 방법과 관련하여 공개특허공보 제10-2019-0019009호는 게임 테스트 자동화 장치 및 방법에 관하여 개시한다.Regarding a method for quality assurance of games and software, Patent Publication No. 10-2019-0019009 discloses a game test automation device and method.
본 발명은 전술한 배경기술에 대응하여 안출된 것으로, 긱 워커 QA 플랫폼 작업자를 위한 QA 업무 할당 및 작업 결과물 취합 방법을 제공하고자 하는 것이다.The present invention has been made in response to the above background art, and is intended to provide a QA task assignment and work result collection method for gig worker QA platform workers.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The technical problems of the present invention are not limited to the technical problems mentioned above, and other technical problems not mentioned will be clearly understood by those skilled in the art from the following description.
전술한 바와 같은 과제를 해결하기 위한 본 발명의 일 실시예에 따라, 긱 워커 QA 플랫폼 작업자를 위한 QA 업무 할당 및 작업 결과물 취합 방법이 개시된다. 상기 방법은: 상기 긱 워커 QA 플랫폼에 사전 등록된 복수의 작업자를 디바이스 환경 별로 분류하는 단계; 품질보증 대상 작업물을 분할한 복수의 분할 작업물을 상기 디바이스 환경 별 복수의 작업자에게 할당하는 단계; 및 상기 디바이스 환경 별 상기 복수의 작업자로부터 상기 복수의 분할 작업물에 대한 복수의 작업 결과물을 획득하는 경우, 상이한 디바이스 환경에서 처리된 작업 결과물들을 하나의 결과물로 취합하는 단계;를 포함하고, 상기 상이한 디바이스 환경에서 처리된 작업 결과물들을 하나의 결과물로 취합하는 단계는, 특정 분할 작업물에 대해 제1 디바이스 환경 및 제2 디바이스 환경 각각에서 특정 테스트 케이스가 수행된 경우, 상기 제1 디바이스 환경에서 수행된 작업 결과물에 제1 태그를 추가하고, 상기 제2 디바이스 환경에서 수행된 작업 결과물에 제2 태그를 추가하는 단계; 및 상기 제1 태그 및 상기 제2 태그 각각이 추가된 작업 결과물을 취합하여 상기 특정 분할 작업물의 작업 결과물로 생성하는 단계;를 포함할 수 있다.According to one embodiment of the present invention for solving the above problems, a QA task assignment and work result collection method for gig worker QA platform workers is disclosed. The method includes: classifying a plurality of workers pre-registered in the gig worker QA platform by device environment; Allocating a plurality of divided work pieces obtained by dividing the quality assurance target work to a plurality of workers for each device environment; And when obtaining a plurality of work results for the plurality of divided workpieces from the plurality of workers for each device environment, collecting work results processed in different device environments into one result; The step of assembling the work products processed in the device environment into one product may include, when a specific test case is performed in each of the first device environment and the second device environment for a specific divided work, the test case performed in the first device environment. adding a first tag to a work result and adding a second tag to a work result performed in the second device environment; and collecting work products to which the first tag and the second tag are respectively added and generating the work product of the specific division work object.
대안적인 실시예에서, 상기 긱 워커 QA 플랫폼은, 상기 복수의 작업자 각각이 상기 플랫폼에 등록할 때, 상기 복수의 작업자 각각이 보유한 디바이스의 환경에 대한 정보를 획득하고, 상기 디바이스의 환경에 대한 정보는, 디바이스의 타입, 디바이스의 제조사, 상기 디바이스에 설치된 OS의 타입, 상기 디바이스에 설치된 OS의 버전, 상기 디바이스의 CPU, 상기 디바이스의 여유 저장 용량, 상기 디바이스의 RAM의 용량 및 상기 디바이스에서 지원하는 네트워크 망 중 적어도 하나를 포함할 수 있다.In an alternative embodiment, the gig worker QA platform obtains information about the environment of a device possessed by each of the plurality of workers when each of the plurality of workers registers on the platform, and information about the environment of the device is the type of device, the manufacturer of the device, the type of OS installed on the device, the version of the OS installed on the device, the CPU of the device, the free storage capacity of the device, the amount of RAM of the device, and the device supported by It may include at least one of networks.
대안적인 실시예에서, 상기 상이한 디바이스 환경에서 처리된 작업 결과물들을 하나의 결과물로 취합하는 단계는, 상기 상이한 디바이스 환경에서 동일한 테스트 케이스(Test Case)로 수행된 작업 결과물들을 모아서 상기 테스트 케이스의 단위로 취합하는 단계;를 더 포함할 수 있다.In an alternative embodiment, the step of collecting the work results processed in the different device environments into one result, the work results performed in the different device environments as the same test case (Test Case) are collected and formed as a unit of the test case. Collecting; may further include.
대안적인 실시예에서, 상기 상이한 디바이스 환경에서 처리된 작업 결과물들을 하나의 결과물로 취합하는 단계는, 상기 상이한 디바이스 환경에서 처리된 작업 결과물들을 사전 분류된 테스트 타입의 단위로 취합하는 단계;를 더 포함하고, 상기 사전 분류된 테스트 타입은, 기능 테스트 타입, 로컬 테스트 타입, 호환성 테스트 타입, 검수 및 피처드 테스트 타입, 로딩 시간 테스트 타입 및 발열 테스트 타입 중 적어도 하나를 포함할 수 있다.In an alternative embodiment, the step of assembling the work products processed in the different device environments into one product further includes collecting the work products processed in the different device environments in units of pre-classified test types. The pre-classified test types may include at least one of a function test type, a local test type, a compatibility test type, an inspection and featured test type, a loading time test type, and an exothermic test type.
대안적인 실시예에서, 상기 품질보증 대상 작업물을 분할한 복수의 분할 작업물을 상기 디바이스 환경 별 복수의 작업자에게 할당하는 단계는, 상기 품질보증 대상 작업물을 전문 작업물 및 단순 작업물로 분류하는 단계; 상기 단순 작업물을 분할하여 상기 복수의 분할 작업물을 획득하는 단계; 및 상기 복수의 분할 작업물을 상이한 환경의 디바이스를 보유한 작업자 각각에게 할당하는 단계;를 포함할 수 있다.In an alternative embodiment, the step of assigning a plurality of divided work pieces obtained by dividing the quality assurance target work to a plurality of workers for each device environment, classifying the quality assurance target work into specialized work and simple work. doing; Dividing the simple workpiece to obtain the plurality of divided workpieces; It may include; and allocating the plurality of divided work to each worker having a device in a different environment.
대안적인 실시예에서, 상기 품질보증 대상 작업물을 전문 작업물 및 단순 작업물로 분류하는 단계는, 상기 품질보증 대상 작업물에 기초하여, 테스트 케이스(Test Case)를 생성하는 단계; 및 상기 테스트 케이스의 수행 시간이 기 설정된 시간을 초과하거나, 기 설정된 단계 수를 초과하는 경우 상기 전문 작업물로 분류하고, 상기 테스트 케이스의 수행 시간이 상기 기 설정된 시간 이하이거나 상기 기 설정된 단계 수 이하인 경우 상기 단순 작업물로 분류하는 단계;를 포함할 수 있다.In an alternative embodiment, the step of classifying the quality assurance target work into a specialized work and a simple work may include generating a test case based on the quality assurance target work; and when the execution time of the test case exceeds a preset time or exceeds a preset number of steps, it is classified as the specialized work, and the execution time of the test case is equal to or less than the preset time or equal to or less than the preset number of steps. In this case, classifying the simple work item; may include.
대안적인 실시예에서, 상기 단순 작업물을 분할하여 복수의 분할 작업물을 획득하는 단계는, 사전 학습된 업무 분할 모델에 상기 단순 작업물을 입력하여, 테스트 케이스의 타입 별로 분할된 상기 복수의 분할 작업물을 획득하는 단계;를 포함하고, 상기 업무 분할 모델은, 학습용 작업물과 상기 학습용 작업물에 라벨링된 테스트 케이스의 타입을 포함하는 학습 데이터로 사전 학습될 수 있다.In an alternative embodiment, the step of dividing the simple workpiece to obtain a plurality of divided workpieces may include inputting the simple workpiece to a pre-learned task division model, and dividing the plurality of divided workpieces by type of test case. Acquiring a workpiece; and the task division model may be pre-trained with training data including a workpiece for learning and a type of test case labeled in the workpiece for learning.
대안적인 실시예에서, 상기 복수의 분할 작업물을 상이한 환경의 디바이스를 보유한 작업자 각각에게 할당하는 단계는, 상기 긱 워커 QA 플랫폼에 사전 등록된 복수의 작업자를 디바이스 환경 별로 분류하는 단계에서 분류된 디바이스 환경의 개수를 인식하는 단계; 상기 복수의 분할 작업물 각각이 상이한 디바이스 환경에서 모두 수행되도록 동일한 작업물을 상기 디바이스 환경의 개수만큼 복사하는 단계; 및 상기 동일한 작업물을 상기 상이한 환경의 디바이스를 보유한 작업자 각각에게 할당하는 단계;를 포함할 수 있다.In an alternative embodiment, the step of allocating the plurality of divided work to each worker having a device in a different environment is a device classified in the step of classifying a plurality of workers pre-registered in the gig worker QA platform by device environment recognizing the number of environments; copying the same work as many times as the number of device environments so that each of the plurality of divided work is performed in different device environments; and allocating the same workpiece to each worker having the device in the different environment.
대안적인 실시예에서, 상기 방법은, 상기 복수의 분할 작업물을 상기 디바이스 환경 별 복수의 작업자에게 할당한 후, 상기 복수의 분할 작업물 중 할당이 거절된 적어도 하나의 거절 작업물을 인식하는 단계; 상기 분할 작업물의 할당을 거절한 거절 작업자로부터 거절 사유를 획득하는 단계; 및 상기 거절 사유에 기초하여, 상기 적어도 하나의 거절 작업물을 다른 작업자에게 할당하는 단계;를 더 포함할 수 있다.In an alternative embodiment, the method may include allocating the plurality of divided workpieces to a plurality of workers for each device environment, and then recognizing at least one rejected workpiece of which assignment is rejected among the plurality of divided workpieces. ; Obtaining a reason for refusal from a refusal worker who rejected the assignment of the division work; and allocating the at least one rejected work to another worker based on the reason for rejection.
대안적인 실시예에서, 상기 거절 사유에 기초하여, 상기 적어도 하나의 거절 작업물을 다른 작업자에게 할당하는 단계는, 상기 거절 사유가 단순 거절인 경우, 상기 추가 리워드 없이 다른 작업자에게 할당하는 단계; 및 상기 거절 작업자에게 작업물 할당이 기설정된 횟수만큼 제한되는 패널티를 부여하는 단계;를 포함할 수 있다.In an alternative embodiment, assigning the at least one rejected work to another worker based on the reason for rejection may include: assigning the at least one rejected work to another worker without the additional reward when the reason for rejection is a simple rejection; and granting the rejected worker a penalty that is limited to a predetermined number of work assignments.
대안적인 실시예에서, 상기 거절 사유에 기초하여, 상기 적어도 하나의 거절 작업물을 다른 작업자에게 할당하는 단계는, 상기 거절 사유가 단순 거절이 아닌 경우, 상기 적어도 하나의 거절 작업물에 대한 작업 난이도를 결정하는 단계; 상기 적어도 하나의 거절 작업물에 상기 작업 난이도에 대응하는 상기 추가 리워드를 부여하는 단계; 및 상기 추가 리워드가 부여된 상기 적어도 하나의 거절 작업물을 상기 긱 워커 QA 플랫폼에 공지하여, 상기 적어도 하나의 거절 작업물의 처리를 희망하는 다른 작업자에게 할당하는 단계;를 포함할 수 있다.In an alternative embodiment, the assigning of the at least one rejected work to another worker based on the reason for rejection may include, when the reason for rejection is not a simple rejection, the task difficulty for the at least one rejected work determining; granting the additional reward corresponding to the difficulty of the task to the at least one rejected work; and notifying the gig worker QA platform of the at least one rejected work to which the additional reward has been granted, and allocating the at least one rejected work to another worker desiring to process the at least one rejected work.
상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따라, 하나 이상의 인스트럭션을 저장하는 메모리; 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고, 상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 상술한 방법들을 수행하는 장치가 개시된다.According to one embodiment of the present invention for solving the above problems, a memory for storing one or more instructions; and a processor that executes the one or more instructions stored in the memory, wherein the processor executes the one or more instructions, thereby performing the methods described above.
상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따라, 하드웨어인 컴퓨터와 결합되어, 상술한 방법들을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된 컴퓨터프로그램이 개시된다.According to one embodiment of the present invention for solving the above problems, a computer program stored in a computer-readable recording medium to perform the above methods by being combined with a computer as hardware is disclosed.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.Other specific details of the invention are included in the detailed description and drawings.
본 발명의 긱 워커 QA 플랫폼 작업자를 위한 QA 업무 할당 및 작업 결과물 취합 방법은, 효율적인 품질보증 업무를 지원할 수 있다.The method of assigning QA tasks and collecting work results for gig worker QA platform workers of the present invention can support efficient quality assurance tasks.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description below.
도 1은 본 발명의 일 실시예에 따른 시스템을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 서버의 하드웨어 구성도이다.
도 3은 본 발명의 일 실시예에 따른 네트워크 함수를 나타낸 개략도이다.
도 4, 도 5, 도 6 및 도 7은 긱 워커 QA 플랫폼 작업자를 위한 QA 업무 할당 및 모니터링 방법의 일례를 설명하기 위한 도면이다.
도 8 및 도 9는 긱 워커 QA 플랫폼 작업자의 업무 퀄리티 검수 및 보상 산정 방법의 일례를 설명하기 위한 도면이다.
도 10 및 도 11은 긱 워커 QA 플랫폼 작업자를 위한 QA 업무 할당 및 작업 결과물 취합 방법의 일례를 설명하기 위한 도면이다.1 is a diagram illustrating a system according to an embodiment of the present invention.
2 is a hardware configuration diagram of a server according to an embodiment of the present invention.
3 is a schematic diagram showing a network function according to an embodiment of the present invention.
4, 5, 6 and 7 are diagrams for explaining an example of a QA task allocation and monitoring method for a gig worker QA platform worker.
8 and 9 are diagrams for explaining an example of a method for checking the work quality of a gig worker QA platform worker and calculating compensation.
10 and 11 are diagrams for explaining an example of a method of assigning QA tasks and collecting work results for gig worker QA platform workers.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.Advantages and features of the present invention, and methods of achieving them, will become clear with reference to the detailed description of the following embodiments taken in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, only these embodiments are intended to complete the disclosure of the present invention, and are common in the art to which the present invention belongs. It is provided to fully inform the person skilled in the art of the scope of the invention, and the invention is only defined by the scope of the claims.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제 1", "제 2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제 1 구성요소는 본 발명의 기술적 사상 내에서 제 2 구성요소일 수도 있음은 물론이다.Terminology used herein is for describing the embodiments and is not intended to limit the present invention. In this specification, singular forms also include plural forms unless specifically stated otherwise in a phrase. As used herein, "comprises" and/or "comprising" does not exclude the presence or addition of one or more other elements other than the recited elements. Like reference numerals throughout the specification refer to like elements, and “and/or” includes each and every combination of one or more of the recited elements. Although "first", "second", etc. are used to describe various components, these components are not limited by these terms, of course. These terms are only used to distinguish one component from another. Accordingly, it goes without saying that the first element mentioned below may also be the second element within the technical spirit of the present invention.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used in this specification may be used with meanings commonly understood by those skilled in the art to which the present invention belongs. In addition, terms defined in commonly used dictionaries are not interpreted ideally or excessively unless explicitly specifically defined.
명세서에서 사용되는 "부" 또는 “모듈”이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 “모듈”은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 “모듈”은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 “모듈”은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 “모듈”은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 “모듈”들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 “모듈”들로 결합되거나 추가적인 구성요소들과 "부" 또는 “모듈”들로 더 분리될 수 있다.The term "unit" or "module" used in the specification means a hardware component such as software, FPGA or ASIC, and "unit" or "module" performs certain roles. However, "unit" or "module" is not meant to be limited to software or hardware. A “unit” or “module” may be configured to reside in an addressable storage medium and may be configured to reproduce one or more processors. Thus, as an example, a “unit” or “module” may refer to components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, procedures, subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays and variables. Functions provided within components and "units" or "modules" may be combined into smaller numbers of components and "units" or "modules" or may be combined into additional components and "units" or "modules". can be further separated.
본 명세서에서, 컴퓨터는 적어도 하나의 프로세서를 포함하는 모든 종류의 하드웨어 장치를 의미하는 것이고, 실시 예에 따라 해당 하드웨어 장치에서 동작하는 소프트웨어적 구성도 포괄하는 의미로서 이해될 수 있다. 예를 들어, 컴퓨터는 스마트폰, 태블릿 PC, 데스크톱, 노트북 및 각 장치에서 구동되는 사용자 클라이언트 및 애플리케이션을 모두 포함하는 의미로서 이해될 수 있으며, 또한 이에 제한되는 것은 아니다.In this specification, a computer means any kind of hardware device including at least one processor, and may be understood as encompassing a software configuration operating in a corresponding hardware device according to an embodiment. For example, a computer may be understood as including a smartphone, a tablet PC, a desktop computer, a laptop computer, and user clients and applications running on each device, but is not limited thereto.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
본 명세서에서 설명되는 각 단계들은 컴퓨터에 의하여 수행되는 것으로 설명되나, 각 단계의 주체는 이에 제한되는 것은 아니며, 실시 예에 따라 각 단계들의 적어도 일부가 서로 다른 장치에서 수행될 수도 있다.Although each step described in this specification is described as being performed by a computer, the subject of each step is not limited thereto, and at least a part of each step may be performed in different devices according to embodiments.
도 1은 본 발명의 일 실시예에 따른 시스템을 도시한 도면이다.1 is a diagram illustrating a system according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 일 실시예에 따른 시스템은 컴퓨팅 장치(100), 작업자 단말(200) 및 의뢰자 서버(300)를 포함할 수 있다.Referring to FIG. 1 , a system according to an embodiment of the present invention may include a
여기서, 도 1에 도시된 시스템은 일 실시예에 따른 것이고, 그 구성 요소가 도 1에 도시된 실시예에 한정되는 것은 아니며, 필요에 따라 부가, 변경 또는 삭제될 수 있다.Here, the system shown in FIG. 1 is according to an embodiment, and its components are not limited to the embodiment shown in FIG. 1, and may be added, changed, or deleted as necessary.
일 실시예에서, 컴퓨팅 장치(100)는 긱 워커 QA 플랫폼 서비스를 제공할 수 있다. 여기서, 긱 워커는 상기 긱 워커 QA 플랫폼을 통해 단기로 계약을 맺고 일회성 일을 맡는 등 초단기 노동을 제공하는 작업자를 의미한다.In one embodiment, the
이하의 설명에서 사용되는 용어 "품질보증" 및 "QA(Quality Assurance)"는 명세서 작성의 용이함만이 고려되어 혼용되는 것으로서 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.The terms "quality assurance" and "QA (Quality Assurance)" used in the following description are used interchangeably in consideration of only the ease of writing the specification, and do not have a meaning or role that is distinct from each other by themselves.
본 발명의 긱 워커 QA 플랫폼 서비스는 품질보증 업무의 일부를 긱 워커에게 할당하고, 긱 워커가 처리한 업무를 취합 및 결과물을 의뢰자에게 제공하는 서비스를 포함할 수 있다.The gig worker QA platform service of the present invention may include a service that allocates a part of the quality assurance task to a gig worker, collects tasks processed by the gig worker, and provides the result to the requester.
일 실시예에서, 컴퓨팅 장치(100)는 긱 워커 QA 플랫폼 작업자를 위해 QA 업무를 할당할 수 있다.In one embodiment,
구체적으로, 컴퓨팅 장치(100)는 QA 업무를 할당할 때, 품질보증 대상 작업물(예를 들어, 게임 또는 소프트웨어)을 분할하고, 분할된 작업물을 복수의 작업자 각각에게 할당할 수 있다.Specifically, when assigning QA tasks, the
좀더 구체적으로, 컴퓨팅 장치(100)는 작업물을 분할할 때, 사전 학습된 사전 학습된 업무 분할 모델을 이용할 수 있다. 여기서, 업무 분할 모델은 학습용 작업물과 상기 학습용 작업물에 라벨링된 테스트 케이스의 타입을 포함하는 학습 데이터로 사전 학습될 수 있으나 이에 한정되는 것은 아니다. 이하, 업무 분할 모델을 구성하는 네트워크 함수에 관한 설명은 도 3을 참조하여 후술한다.More specifically, the
일 실시예에서, 컴퓨팅 장치(100)는 긱 워커 QA 플랫폼 작업자에게 할당된 작업물의 처리 상태를 모니터링할 수 있다. 그리고, 컴퓨팅 장치(100)는 모니터링 리포트를 긱 워커 QA 플랫폼의 대시보드에 출력할 수 있다. 여기서, 모니터링 리포트는 진행사항, 특이사항, 확인요청 사항 및 QA 의견을 포함하는 요약 영역, 상기 진행사항의 상세한 내용을 포함하는 상세 영역을 포함할 수 있다.In one embodiment, the
일 실시예에서, 컴퓨팅 장치(100)는 긱 워커 QA 플랫폼 작업자의 업무 퀄리티를 검수할 수 있다.In one embodiment, the
구체적으로, 컴퓨팅 장치(100)는 작업자의 업무 퀄리티를 검수할 때, 사전 학습된 퀄리티 레벨 결정 모델에서 출력되는 레벨과 다른 작업자가 처리한 레벨을 이용하여 작업자의 업무 퀄리티를 결정할 수 있다. 여기서, 퀄리티 레벨 결정 모델은 복수의 클래스 각각에 대한 스코어 값을 출력하는 다중 분류 모델일 수 있으나 이에 한정되는 것은 아니다. 이하, 퀄리티 레벨 결정 모델을 구성하는 네트워크 함수에 관한 설명은 도 3을 참조하여 후술한다.Specifically, when inspecting the worker's work quality, the
일 실시예에서, 컴퓨팅 장치(100)는 작업 결과물에 대한 보상을 산정하고, 작업자에게 보상을 제공할 수 있다. 구체적으로, 컴퓨팅 장치(100)는 작업자가 처리한 작업물의 퀄리티 레벨 및 작업자의 등급을 고려하여 리워드를 제공할 수 있다.In one embodiment, the
일 실시예에서, 컴퓨팅 장치(100)는 복수의 작업자 각각이 처리한 작업 결과물을 취합할 수 있다. 여기서, 복수의 작업자 각각은 상이한 환경의 디바이스를 보유한 작업자일 수 있다.In one embodiment, the
구체적으로, 컴퓨팅 장치(100)는 상이한 디바이스 환경에서 처리된 작업 결과물들을 하나의 결과물로 취합할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 특정 분할 작업물에 대해 제1 디바이스 환경 및 제2 디바이스 환경 각각에서 특정 테이스 케이스가 수행된 경우, 제1 디바이스 환경에서 수행된 작업 결과물에 제1 태그를 추가하고, 제2 디바이스 환경에서 수행된 작업 결과물에 제2 태그를 추가할 수 있다. 그리고, 컴퓨팅 장치(100)는 제1 태그 및 제2 태그 각각이 추가된 작업 결과물을 취합하여 특정 분할 작업물의 작업 결과물로 생성할 수 있다.Specifically, the
이하, 컴퓨팅 장치(100)가 긱 워커 QA 플랫폼을 통해 수행하는 다양한 방법들에 대한 설명은 도 4 내지 도 11을 참조하여 후술한다.Hereinafter, descriptions of various methods performed by the
일 실시예에서, 컴퓨팅 장치(100)는 네트워크(400)를 통해 작업자 단말(200)과 연결될 수 있고, 작업자 단말(200)로 QA 업무를 제공하기 위한 긱 워커 QA 플랫폼을 제공할 수 있으며, 상기 긱 워커 QA 플랫폼을 통해 작업자 단말(200)로부터 작업 결과물을 수신하거나, 작업자에게 리워드를 제공할 수 있다.In one embodiment, the
다양한 실시예에서, 컴퓨팅 장치(100)는 웹(Web) 또는 애플리케이션(Application) 기반의 서비스를 제공할 수 있다. 그러나, 이에 한정되지 않는다.In various embodiments, the
구체적으로, 컴퓨팅 장치(100)는 작업자 단말(200)에서 접속 가능한 긱 워커 QA 플랫폼 웹 또는 긱 워커 QA 플랫폼 애플리케이션을 제공할 수 있다. 여기서, 작업자 단말(200)은 예를 들어, 컴퓨터는 스마트폰, 태블릿 PC, 데스크톱, 노트북과 같은 다양한 단말 장치를 의미할 수 있다.Specifically, the
작업자 단말(200)은 작업자 단말(200)의 적어도 일부분에 디스플레이를 포함하며, 컴퓨팅 장치(100)로부터 제공되는 애플리케이션 혹은 확장 프로그램 기반의 서비스 구동을 위한 운영체제를 포함할 수 있다. 예를 들어, 작업자 단말(200)은 스마트폰(Smart-phone)일 수 있으나, 이에 한정되지 않고, 작업자 단말(200)은, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트 패드(Smartpad), 타블렛PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.The
네트워크(400)는 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미할 수 있다. 예를 들어, 네트워크(400)는 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷(WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다.The
무선 데이터 통신망은 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), 5GPP(5th Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), RF(Radio Frequency), 블루투스(Bluetooth) 네트워크, NFC(Near-Field Communication) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.Wireless data communication networks include 3G, 4G, 5G, 3GPP (3rd Generation Partnership Project), 5GPP (5th Generation Partnership Project), LTE (Long Term Evolution), WIMAX (World Interoperability for Microwave Access), Wi-Fi, Internet (Internet), LAN (Local Area Network), Wireless LAN (Wireless Local Area Network), WAN (Wide Area Network), PAN (Personal Area Network), RF (Radio Frequency), Bluetooth (Bluetooth) network, NFC (Near- Field Communication) network, satellite broadcasting network, analog broadcasting network, DMB (Digital Multimedia Broadcasting) network, etc. are included, but are not limited thereto.
일 실시예에서, 의뢰자 서버(300)는 네트워크(400)를 통해 컴퓨팅 장치(100)와 연결될 수 있으며, 컴퓨팅 장치(100)가 품질보증 업무 대행 서비스를 제공하기 위하여 필요한 각종 정보/데이터를 송수신 할 수 있고, 컴퓨팅 장치(100)가 서비스를 제공함에 따라 생성되는 각종 정보/데이터를 저장 및 관리할 수 있다.In one embodiment, the
예를 들어, 의뢰자 서버(300)는 게임 개발사 또는 소프트웨어 개발사의 서버일 수 있다. 즉, 의뢰자 서버(300)는 본 발명의 품질보증 처리 서비스를 의뢰하는 업체의 서버이며, 긱 워커 QA 플랫폼에 품질보증 대상 작업물을 제공할 수 있다.For example, the
이하, 도 2를 참조하여, 컴퓨팅 장치(100)의 하드웨어 구성에 대해 설명하도록 한다.Hereinafter, with reference to FIG. 2 , the hardware configuration of the
도 2는 본 발명의 일 실시예에 따른 서버의 하드웨어 구성도이다.2 is a hardware configuration diagram of a server according to an embodiment of the present invention.
도 2를 참조하면, 본 발명의 일 실시예에 따른 컴퓨팅 장치(100)는 하나 이상의 프로세서(110), 프로세서(110)에 의하여 수행되는 컴퓨터 프로그램(151)을 로드(Load)하는 메모리(120), 버스(130), 통신 인터페이스(140) 및 컴퓨터 프로그램(151)을 저장하는 스토리지(150)를 포함할 수 있다. 여기서, 도 2에는 본 발명의 실시예와 관련 있는 구성요소들만 도시되어 있다. 따라서, 본 발명이 속한 기술분야의 통상의 기술자라면 도 2에 도시된 구성요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 알 수 있다.Referring to FIG. 2, a
프로세서(110)는 컴퓨팅 장치(100)의 각 구성의 전반적인 동작을 제어한다. 프로세서(110)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 발명의 기술 분야에 잘 알려진 임의의 형태의 프로세서를 포함하여 구성될 수 있다.The
또한, 프로세서(110)는 본 발명의 실시예들에 따른 방법을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있으며, 컴퓨팅 장치(100)는 하나 이상의 프로세서를 구비할 수 있다.Also, the
다양한 실시예에서, 프로세서(110)는 프로세서(110) 내부에서 처리되는 신호(또는, 데이터)를 일시적 및/또는 영구적으로 저장하는 램(RAM: Random Access Memory, 미도시) 및 롬(ROM: Read-Only Memory, 미도시)을 더 포함할 수 있다. 또한, 프로세서(110)는 그래픽 처리부, 램 및 롬 중 적어도 하나를 포함하는 시스템온칩(SoC: system on chip) 형태로 구현될 수 있다.In various embodiments, the
메모리(120)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(120)는 본 발명의 다양한 실시예에 따른 방법/동작을 실행하기 위하여 스토리지(150)로부터 컴퓨터 프로그램(151)을 로드할 수 있다. 메모리(120)에 컴퓨터 프로그램(151)이 로드되면, 프로세서(110)는 컴퓨터 프로그램(151)을 구성하는 하나 이상의 인스트럭션들을 실행함으로써 상기 방법/동작을 수행할 수 있다. 메모리(120)는 RAM과 같은 휘발성 메모리로 구현될 수 있을 것이나, 본 발명의 기술적 범위가 이에 한정되는 것은 아니다.
버스(130)는 컴퓨팅 장치(100)의 구성 요소 간 통신 기능을 제공한다. 버스(130)는 주소 버스(address Bus), 데이터 버스(Data Bus) 및 제어 버스(Control Bus) 등 다양한 형태의 버스로 구현될 수 있다.The
통신 인터페이스(140)는 컴퓨팅 장치(100)의 유무선 인터넷 통신을 지원한다. 또한, 통신 인터페이스(140)는 인터넷 통신 외의 다양한 통신 방식을 지원할 수도 있다. 이를 위해, 통신 인터페이스(140)는 본 발명의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다. 몇몇 실시예에서, 통신 인터페이스(140)는 생략될 수도 있다.The
스토리지(150)는 컴퓨터 프로그램(151)을 비 임시적으로 저장할 수 있다. 컴퓨팅 장치(100)를 통해 정밀 진단 모듈 제안 프로세스를 수행하는 경우, 스토리지(150)는 개시된 실시 예에 따른 분석을 수행하기 위하여 필요한 각종 정보를 저장할 수 있다.The
스토리지(150)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.The
컴퓨터 프로그램(151)은 메모리(120)에 로드될 때 프로세서(110)로 하여금 본 발명의 다양한 실시예에 따른 방법/동작을 수행하도록 하는 하나 이상의 인스트럭션들을 포함할 수 있다. 즉, 프로세서(110)는 상기 하나 이상의 인스트럭션들을 실행함으로써, 본 발명의 다양한 실시예에 따른 상기 방법/동작을 수행할 수 있다.
일 실시예에서, 컴퓨터 프로그램(151)은 긱 워커 QA 플랫폼 서비스와 관련된 다양한 방법들을 수행하도록 하는 하나 이상의 인스트럭션을 포함할 수 있다.In one embodiment,
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.Steps of a method or algorithm described in connection with an embodiment of the present invention may be implemented directly in hardware, implemented in a software module executed by hardware, or implemented by a combination thereof. A software module may include random access memory (RAM), read only memory (ROM), erasable programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), flash memory, hard disk, removable disk, CD-ROM, or It may reside in any form of computer readable recording medium well known in the art to which the present invention pertains.
본 발명의 구성 요소들은 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 애플리케이션)으로 구현되어 매체에 저장될 수 있다. 본 발명의 구성 요소들은 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있으며, 이와 유사하게, 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다.Components of the present invention may be implemented as a program (or application) to be executed in combination with a computer, which is hardware, and stored in a medium. Components of the present invention may be implemented as software programming or software elements, and similarly, embodiments may include various algorithms implemented as data structures, processes, routines, or combinations of other programming constructs, such as C, C++ , Java (Java), can be implemented in a programming or scripting language such as assembler (assembler). Functional aspects may be implemented in an algorithm running on one or more processors.
이하에서는, 본 발명에 따른 다양한 실시 예들을 각각 설명한다.Hereinafter, various embodiments according to the present invention will be described respectively.
도 3은 본 발명의 일 실시예에 따른 네트워크 함수를 나타낸 개략도이다.3 is a schematic diagram showing a network function according to an embodiment of the present invention.
본 명세서에 걸쳐, 연산 모델, 신경망, 네트워크 함수, 뉴럴 네트워크(neural network)는 상호 교환 가능한 의미로 사용될 수 있다. 신경망은 일반적으로 노드라 지칭될 수 있는 상호 연결된 계산 단위들의 집합으로 구성될 수 있다. 이러한 노드들은 뉴런(neuron)들로 지칭될 수도 있다. 신경망은 적어도 하나 이상의 노드들을 포함하여 구성된다. 신경망들을 구성하는 노드(또는 뉴런)들은 하나 이상의 링크에 의해 상호 연결될 수 있다.Throughout this specification, the terms computational model, neural network, network function, and neural network may be used interchangeably. A neural network may consist of a set of interconnected computational units, which may generally be referred to as nodes. These nodes may also be referred to as neurons. A neural network includes one or more nodes. Nodes (or neurons) constituting neural networks may be interconnected by one or more links.
신경망 내에서, 링크를 통해 연결된 하나 이상의 노드들은 상대적으로 입력 노드 및 출력 노드의 관계를 형성할 수 있다. 입력 노드 및 출력 노드의 개념은 상대적인 것으로서, 하나의 노드에 대하여 출력 노드 관계에 있는 임의의 노드는 다른 노드와의 관계에서 입력 노드 관계에 있을 수 있으며, 그 역도 성립할 수 있다. 상술한 바와 같이, 입력 노드 대 출력 노드 관계는 링크를 중심으로 생성될 수 있다. 하나의 입력 노드에 하나 이상의 출력 노드가 링크를 통해 연결될 수 있으며, 그 역도 성립할 수 있다.In a neural network, one or more nodes connected through a link may form a relative relationship of an input node and an output node. The concept of an input node and an output node is relative, and any node in an output node relationship with one node may have an input node relationship with another node, and vice versa. As described above, an input node to output node relationship may be created around a link. More than one output node can be connected to one input node through a link, and vice versa.
하나의 링크를 통해 연결된 입력 노드 및 출력 노드 관계에서, 출력 노드의 데이터는 입력 노드에 입력된 데이터에 기초하여 그 값이 결정될 수 있다. 여기서 입력 노드와 출력 노드를 상호 연결하는 링크는 가중치(weight)를 가질 수 있다. 가중치는 가변적일 수 있으며, 신경망이 원하는 기능을 수행하기 위해, 사용자 또는 알고리즘에 의해 가변 될 수 있다. 예를 들어, 하나의 출력 노드에 하나 이상의 입력 노드가 각각의 링크에 의해 상호 연결된 경우, 출력 노드는 상기 출력 노드와 연결된 입력 노드들에 입력된 값들 및 각각의 입력 노드들에 대응하는 링크에 설정된 가중치에 기초하여 출력 노드 값을 결정할 수 있다.In a relationship between an input node and an output node connected through one link, the value of data of the output node may be determined based on data input to the input node. Here, a link interconnecting an input node and an output node may have a weight. The weight may be variable, and may be changed by a user or an algorithm in order to perform a function desired by the neural network. For example, when one or more input nodes are interconnected by respective links to one output node, the output node is set to a link corresponding to values input to input nodes connected to the output node and respective input nodes. An output node value may be determined based on the weight.
상술한 바와 같이, 신경망은 하나 이상의 노드들이 하나 이상의 링크를 통해 상호 연결되어 신경망 내에서 입력 노드 및 출력 노드 관계를 형성한다. 신경망 내에서 노드들과 링크들의 개수 및 노드들과 링크들 사이의 연관관계, 링크들 각각에 부여된 가중치의 값에 따라, 신경망의 특성이 결정될 수 있다. 예를 들어, 동일한 개수의 노드 및 링크들이 존재하고, 링크들의 가중치 값이 상이한 두 신경망이 존재하는 경우, 두 개의 신경망들은 서로 상이한 것으로 인식될 수 있다.As described above, in the neural network, one or more nodes are interconnected through one or more links to form an input node and output node relationship in the neural network. Characteristics of the neural network may be determined according to the number of nodes and links in the neural network, an association between the nodes and links, and a weight value assigned to each link. For example, when there are two neural networks having the same number of nodes and links and different weight values of the links, the two neural networks may be recognized as different from each other.
신경망은 하나 이상의 노드들의 집합으로 구성될 수 있다. 신경망을 구성하는 노드들의 부분 집합은 레이어(layer)를 구성할 수 있다. 신경망을 구성하는 노드들 중 일부는, 최초 입력 노드로부터의 거리들에 기초하여, 하나의 레이어(layer)를 구성할 수 있다. 예를 들어, 최초 입력 노드로부터 거리가 n인 노드들의 집합은, n 레이어를 구성할 수 있다. 최초 입력 노드로부터 거리는, 최초 입력 노드로부터 해당 노드까지 도달하기 위해 거쳐야 하는 링크들의 최소 개수에 의해 정의될 수 있다. 그러나, 이러한 레이어의 정의는 설명을 위한 임의적인 것으로서, 신경망 내에서 레이어의 차수는 상술한 것과 상이한 방법으로 정의될 수 있다. 예를 들어, 노드들의 레이어는 최종 출력 노드로부터 거리에 의해 정의될 수도 있다.A neural network may be composed of a set of one or more nodes. A subset of nodes constituting a neural network may constitute a layer. Some of the nodes constituting the neural network may form one layer based on distances from the first input node. For example, a set of nodes having a distance of n from the first input node may constitute n layers. The distance from the first input node may be defined by the minimum number of links that must be passed through to reach the corresponding node from the first input node. However, the definition of such a layer is arbitrary for explanation, and the order of a layer in a neural network may be defined in a method different from the above. For example, a layer of nodes may be defined by a distance from a final output node.
최초 입력 노드는 신경망 내의 노드들 중 다른 노드들과의 관계에서 링크를 거치지 않고 데이터가 직접 입력되는 하나 이상의 노드들을 의미할 수 있다. 또는, 신경망 네트워크 내에서, 링크를 기준으로 한 노드 간의 관계에 있어서, 링크로 연결된 다른 입력 노드들을 가지지 않는 노드들을 의미할 수 있다. 이와 유사하게, 최종 출력 노드는 신경망 내의 노드들 중 다른 노드들과의 관계에서, 출력 노드를 가지지 않는 하나 이상의 노드들을 의미할 수 있다. 또한, 히든 노드는 최초 입력 노드 및 최후 출력 노드가 아닌 신경망을 구성하는 노드들을 의미할 수 있다.An initial input node may refer to one or more nodes to which data is directly input without going through a link in relation to other nodes among nodes in the neural network. Alternatively, in a relationship between nodes based on a link in a neural network, it may mean nodes that do not have other input nodes connected by a link. Similarly, the final output node may refer to one or more nodes that do not have an output node in relation to other nodes among nodes in the neural network. Also, the hidden node may refer to nodes constituting the neural network other than the first input node and the last output node.
본 발명의 일 실시예에 따른 신경망은 입력 레이어의 노드의 개수가 출력 레이어의 노드의 개수와 동일할 수 있으며, 입력 레이어에서 히든 레이어로 진행됨에 따라 노드의 수가 감소하다가 다시 증가하는 형태의 신경망일 수 있다. 또한, 본 발명의 다른 일 실시예에 따른 신경망은 입력 레이어의 노드의 개수가 출력 레이어의 노드의 개수 보다 적을 수 있으며, 입력 레이어에서 히든 레이어로 진행됨에 따라 노드의 수가 감소하는 형태의 신경망일 수 있다. 또한, 본 발명의 또 다른 일 실시예에 따른 신경망은 입력 레이어의 노드의 개수가 출력 레이어의 노드의 개수보다 많을 수 있으며, 입력 레이어에서 히든 레이어로 진행됨에 따라 노드의 수가 증가하는 형태의 신경망일 수 있다. 본 발명의 또 다른 일 실시예에 따른 신경망은 상술한 신경망들의 조합된 형태의 신경망일 수 있다.In the neural network according to an embodiment of the present invention, the number of nodes in the input layer may be the same as the number of nodes in the output layer, and the number of nodes decreases and then increases again as the number of nodes progresses from the input layer to the hidden layer. can In addition, the neural network according to another embodiment of the present invention may be a neural network in which the number of nodes of the input layer may be less than the number of nodes of the output layer, and the number of nodes decreases as the number of nodes increases from the input layer to the hidden layer. there is. In addition, the neural network according to another embodiment of the present invention is a type of neural network in which the number of nodes in the input layer may be greater than the number of nodes in the output layer, and the number of nodes increases as the number of nodes progresses from the input layer to the hidden layer. can A neural network according to another embodiment of the present invention may be a neural network in the form of a combination of the aforementioned neural networks.
딥 뉴럴 네트워크(DNN: deep neural network, 심층신경망)는 입력 레이어와 출력 레이어 외에 복수의 히든 레이어를 포함하는 신경망을 의미할 수 있다. 딥 뉴럴 네트워크를 이용하면 데이터의 잠재적인 구조(latent structures)를 파악할 수 있다. 즉, 사진, 글, 비디오, 음성, 음악의 잠재적인 구조(예를 들어, 어떤 물체가 사진에 있는지, 글의 내용과 감정이 무엇인지, 음성의 내용과 감정이 무엇인지 등)를 파악할 수 있다. 딥 뉴럴 네트워크는 컨볼루션 뉴럴 네트워크(CNN: convolutional neural network), 리커런트 뉴럴 네트워크(RNN: recurrent neural network), 오토 인코더(auto encoder), GAN(Generative Adversarial Networks), 제한 볼츠만 머신(RBM: restricted boltzmann machine), 심층 신뢰 네트워크(DBN: deep belief network), Q 네트워크, U 네트워크, 샴 네트워크, 적대적 생성 네트워크(GAN: Generative Adversarial Network) 등을 포함할 수 있다. 전술한 딥 뉴럴 네트워크의 기재는 예시일 뿐이며 본 발명은 이에 제한되지 않는다.A deep neural network (DNN) may refer to a neural network including a plurality of hidden layers in addition to an input layer and an output layer. Deep neural networks can reveal latent structures in data. In other words, it can identify the latent structure of a photo, text, video, sound, or music (e.g., what objects are in the photo, what the content and emotion of the text are, what the content and emotion of the audio are, etc.). . Deep neural networks include convolutional neural networks (CNNs), recurrent neural networks (RNNs), auto encoders, generative adversarial networks (GANs), and restricted boltzmann machines (RBMs). machine), a deep belief network (DBN), a Q network, a U network, a Siamese network, a Generative Adversarial Network (GAN), and the like. The description of the deep neural network described above is only an example, and the present invention is not limited thereto.
본 발명의 일 실시예에서 네트워크 함수는 오토 인코더(autoencoder)를 포함할 수도 있다. 오토 인코더는 입력 데이터와 유사한 출력 데이터를 출력하기 위한 인공 신경망의 일종일 수 있다. 오토 인코더는 적어도 하나의 히든 레이어를 포함할 수 있으며, 홀수 개의 히든 레이어가 입출력 레이어 사이에 배치될 수 있다. 각각의 레이어의 노드의 수는 입력 레이어의 노드의 수에서 병목 레이어(인코딩)라는 중간 레이어로 축소되었다가, 병목 레이어에서 출력 레이어(입력 레이어와 대칭)로 축소와 대칭되어 확장될 수도 있다. 오토 인코더는 비선형 차원 감소를 수행할 수 있다. 입력 레이어 및 출력 레이어의 수는 입력 데이터의 전처리 이후에 차원과 대응될 수 있다. 오토 인코더 구조에서 인코더에 포함된 히든 레이어의 노드의 수는 입력 레이어에서 멀어질수록 감소하는 구조를 가질 수 있다. 병목 레이어(인코더와 디코더 사이에 위치하는 가장 적은 노드를 가진 레이어)의 노드의 수는 너무 작은 경우 충분한 양의 정보가 전달되지 않을 수 있으므로, 특정 수 이상(예를 들어, 입력 레이어의 절반 이상 등)으로 유지될 수도 있다.In one embodiment of the present invention, the network function may include an autoencoder. An autoencoder may be a type of artificial neural network for outputting output data similar to input data. An auto-encoder may include at least one hidden layer, and an odd number of hidden layers may be disposed between input and output layers. The number of nodes of each layer may be reduced from the number of nodes of the input layer to an intermediate layer called the bottleneck layer (encoding), and then expanded symmetrically with the reduction from the bottleneck layer to the output layer (symmetrical to the input layer). Autoencoders can perform non-linear dimensionality reduction. The number of input layers and output layers may correspond to dimensions after preprocessing of input data. In the auto-encoder structure, the number of hidden layer nodes included in the encoder may decrease as the distance from the input layer increases. If the number of nodes in the bottleneck layer (the layer with the fewest nodes located between the encoder and decoder) is too small, a sufficient amount of information may not be conveyed, so more than a certain number (e.g., more than half of the input layer, etc.) ) may be maintained.
뉴럴 네트워크는 교사 학습(supervised learning), 비교사 학습(unsupervised learning), 반교사학습(semi supervised learning), 또는 강화학습(reinforcement learning) 중 적어도 하나의 방식으로 학습될 수 있다. 뉴럴 네트워크의 학습은 뉴럴 네트워크가 특정한 동작을 수행하기 위한 지식을 뉴럴 네트워크에 적용하는 과정일 수 있다. The neural network may be trained using at least one of supervised learning, unsupervised learning, semi-supervised learning, and reinforcement learning. Learning of the neural network may be a process of applying knowledge for the neural network to perform a specific operation to the neural network.
뉴럴 네트워크는 출력의 오류를 최소화하는 방향으로 학습될 수 있다. 뉴럴 네트워크의 학습에서 반복적으로 학습 데이터를 뉴럴 네트워크에 입력시키고 학습 데이터에 대한 뉴럴 네트워크의 출력과 타겟의 에러를 계산하고, 에러를 줄이기 위한 방향으로 뉴럴 네트워크의 에러를 뉴럴 네트워크의 출력 레이어에서부터 입력 레이어 방향으로 역전파(backpropagation)하여 뉴럴 네트워크의 각 노드의 가중치를 업데이트 하는 과정이다. 교사 학습의 경우 각각의 학습 데이터에 정답이 라벨링되어있는 학습 데이터를 사용하며(즉, 라벨링된 학습 데이터), 비교사 학습의 경우는 각각의 학습 데이터에 정답이 라벨링되어 있지 않을 수 있다. 즉, 예를 들어 데이터 분류에 관한 교사 학습의 경우의 학습 데이터는 학습 데이터 각각에 카테고리가 라벨링 된 데이터 일 수 있다. 라벨링된 학습 데이터가 뉴럴 네트워크에 입력되고, 뉴럴 네트워크의 출력(카테고리)과 학습 데이터의 라벨을 비교함으로써 오류(error)가 계산될 수 있다. 다른 예로, 데이터 분류에 관한 비교사 학습의 경우 입력인 학습 데이터가 뉴럴 네트워크 출력과 비교됨으로써 오류가 계산될 수 있다. 계산된 오류는 뉴럴 네트워크에서 역방향(즉, 출력 레이어에서 입력 레이어 방향)으로 역전파 되며, 역전파에 따라 뉴럴 네트워크의 각 레이어의 각 노드들의 연결 가중치가 업데이트 될 수 있다. 업데이트 되는 각 노드의 연결 가중치는 학습률(learning rate)에 따라 변화량이 결정될 수 있다. 입력 데이터에 대한 뉴럴 네트워크의 계산과 에러의 역전파는 학습 사이클(epoch)을 구성할 수 있다. 학습률은 뉴럴 네트워크의 학습 사이클의 반복 횟수에 따라 상이하게 적용될 수 있다. 예를 들어, 뉴럴 네트워크의 학습 초기에는 높은 학습률을 사용하여 뉴럴 네트워크가 빠르게 일정 수준의 성능을 확보하도록 하여 효율성을 높이고, 학습 후기에는 낮은 학습률을 사용하여 정확도를 높일 수 있다.A neural network can be trained in a way that minimizes output errors. In the learning of the neural network, the learning data is repeatedly input into the neural network, the output of the neural network for the training data and the error of the target are calculated, and the error of the neural network is transferred from the output layer of the neural network to the input layer in the direction of reducing the error. It is a process of updating the weight of each node of the neural network by backpropagating in the same direction. In the case of teacher learning, the learning data in which the correct answer is labeled is used for each learning data (ie, the labeled learning data), and in the case of comparative teacher learning, the correct answer may not be labeled in each learning data. That is, for example, learning data in the case of teacher learning regarding data classification may be data in which each learning data is labeled with a category. Labeled training data is input to a neural network, and an error may be calculated by comparing an output (category) of the neural network and a label of the training data. As another example, in the case of comparative history learning for data classification, an error may be calculated by comparing input learning data with a neural network output. The calculated error is back-propagated in a reverse direction (ie, from the output layer to the input layer) in the neural network, and the connection weight of each node of each layer of the neural network may be updated according to the back-propagation. The amount of change in the connection weight of each updated node may be determined according to a learning rate. The neural network's computation of input data and backpropagation of errors can constitute a learning cycle (epoch). The learning rate may be applied differently according to the number of iterations of the learning cycle of the neural network. For example, a high learning rate may be used in the early stage of neural network training to increase efficiency by allowing the neural network to quickly obtain a certain level of performance, and a low learning rate may be used in the late stage to increase accuracy.
뉴럴 네트워크의 학습에서 일반적으로 학습 데이터는 실제 데이터(즉, 학습된 뉴럴 네트워크를 이용하여 처리하고자 하는 데이터)의 부분집합일 수 있으며, 따라서, 학습 데이터에 대한 오류는 감소하나 실제 데이터에 대해서는 오류가 증가하는 학습 사이클이 존재할 수 있다. 과적합(overfitting)은 이와 같이 학습 데이터에 과하게 학습하여 실제 데이터에 대한 오류가 증가하는 현상이다. 예를 들어, 노란색 고양이를 보여 고양이를 학습한 뉴럴 네트워크가 노란색 이외의 고양이를 보고는 고양이임을 인식하지 못하는 현상이 과적합의 일종일 수 있다. 과적합은 머신러닝 알고리즘의 오류를 증가시키는 원인으로 작용할 수 있다. 이러한 과적합을 막기 위하여 다양한 최적화 방법이 사용될 수 있다. 과적합을 막기 위해서는 학습 데이터를 증가시키거나, 레귤라이제이션(regularization), 학습의 과정에서 네트워크의 노드 일부를 비활성화하는 드롭아웃(dropout), 배치 정규화 레이어(batch normalization layer)의 활용 등의 방법이 적용될 수 있다.In neural network learning, generally, training data can be a subset of real data (ie, data to be processed using the trained neural network), and therefore, errors for training data are reduced, but errors for real data are reduced. There may be incremental learning cycles. Overfitting is a phenomenon in which errors for actual data increase due to excessive learning on training data. For example, a phenomenon in which a neural network that has learned a cat by showing a yellow cat does not recognize that it is a cat when it sees a cat other than yellow may be a type of overfitting. Overfitting can act as a cause of increasing the error of machine learning algorithms. Various optimization methods can be used to prevent such overfitting. To prevent overfitting, methods such as increasing the training data, regularization, inactivating some nodes in the network during learning, and using a batch normalization layer should be applied. can
도 4, 도 5, 도 6 및 도 7은 긱 워커 QA 플랫폼 작업자를 위한 QA 업무 할당 및 모니터링 방법의 일례를 설명하기 위한 도면이다.4, 5, 6 and 7 are diagrams for explaining an example of a QA task allocation and monitoring method for a gig worker QA platform worker.
본 발명의 일 실시예에 따르면, 컴퓨팅 장치(100)의 프로세서(110)는 긱 워커 QA 플랫폼 작업자를 위한 QA 업무를 할당하고, 작업자들을 모니터링할 수 있다.According to one embodiment of the present invention, the
도 4를 참조하면, 컴퓨팅 장치(100)는 품질보증 대상 작업물을 분할하여 긱 워커 QA 플랫폼에 사전 등록된 복수의 작업자에게 할당할 수 있다(S110). 여기서, 긱 워커 QA 플랫폼에 사전 등록된 복수의 작업자는 상기 플랫폼으로부터 QA 업무를 할당 받아 자신이 보유한 디바이스에서 QA 업무를 수행하고, 일정 리워드를 제공받고자 하는 사용자일 수 있다.Referring to FIG. 4 , the
구체적으로, 도 5를 참조하면, 컴퓨팅 장치(100)는 품질보증 대상 작업물을 전문 작업물 및 단순 작업물로 분류할 수 있다(S111). 여기서, 전문 작업물은 QA 전문가가 처리하기 위한 작업물이고, 단순 작업물은 긱 워커 QA 플랫폼에 사전 등록된 복수의 작업자에게 할당하기 위한 작업물을 의미할 수 있다.Specifically, referring to FIG. 5 , the
일례로, 컴퓨팅 장치(100)는 품질보증 대상 작업물과 관련된 테스트 케이스(Test Case) 각각이 사전 분류된 업무기능 레벨 테이블을 이용하여, 품질보증 대상 작업물에 포함된 세부 작업물들 각각이 어느 구간에 해당하는지 여부에 따라 전문 작업물 및 단순 작업물로 분류할 수 있다. 여기서, 테스트 케이스는 게임 또는 소프트웨어의 품질을 보증하기 위한 테스트 절차를 의미한다.For example, the
예를 들어, 도6을 참조하면, 업무기능 레벨 테이블(10)은 업무기능 1레벨(11), 업무기능 2레벨(12), 업무기능 3레벨(13) 및 업무기능 4레벨(14)로 복수의 테스트 케이스를 분류한 테이블일 수 있다.For example, referring to FIG. 6, the business function level table 10 is divided into business function level 1 (11), business function level 2 (12), business function level 3 (13), and business function level 4 (14). It may be a table in which a plurality of test cases are classified.
컴퓨팅 장치(100)는 상기 업무기능 레벨 테이블(10)을 이용해, 품질보증 대상 작업물과 관련된 테스트 케이스 중 업무기능 1레벨(11) 및 업무기능 2레벨(12)에 해당하는 작업물을 단순 작업물(15)로 분류하고, 업무기능 3레벨(13) 및 업무기능 4레벨(14)에 해당하는 작업물을 전문 작업물(16)로 분류할 수 있다.The
다시 도 5를 참조하면, 다른 일례로, 컴퓨팅 장치(100)는 품질보증 대상 작업물에 기초하여, 테스트 케이스를 생성할 수 있다. 그리고, 컴퓨팅 장치(100)는 테스트 케이스의 수행 시간이 기 설정된 시간을 초과하거나, 기 설정된 단계 수를 초과하는 경우 전문 작업물로 분류하고, 테스트 케이스의 수행 시간이 기 설정된 시간 이하이거나 기 설정된 단계 수 이하인 경우 단순 작업물로 분류할 수 있다.Referring back to FIG. 5 , as another example, the
예를 들어, 컴퓨팅 장치(100)는 테스트 케이스의 수행 시간이 30분을 초과하거나, 30단계를 초과하는 경우, 해당 테스트 케이스의 작업물은 전문 작업물로 분류할 수 있다. 한편, 컴퓨팅 장치(100)는 테스트 케이스의 수행 시간이 30분 이하 거나, 30단계 이하인 경우, 해당 테스트 케이스의 작업물은 단순 작업물로 분류할 수 있다.For example, if the execution time of the test case exceeds 30 minutes or exceeds 30 steps, the
추가적인 실시예에서, 컴퓨팅 장치(100)는 테스트 케이스를 설명하기 위한 문장들 중 특정 키워드가 포함된 테스트 케이스와 관련된 작업물을 전문 작업물로 분류할 수 있다.In an additional embodiment, the
여기서, 특정 키워드는 기 설정된 기간 동안 작업자에게 할당되었다가 작업자로부터 거절된 거절 작업물의 테스트 케이스에 포함된 문장에 포함된 단어들 중 기 설정된 횟수 이상 포함된 단어일 수 있다. 예를 들어, 특정 키워드는 최근 한달 동안 거절된 작업물의 테스트 케이스에 30회이상 포함된 단어일 수 있다.Here, the specific keyword may be a word included a predetermined number of times or more among words included in a sentence included in a test case of a rejected work that was assigned to a worker for a predetermined period of time and then rejected by the worker. For example, a specific keyword may be a word included more than 30 times in test cases of rejected work in the last month.
컴퓨팅 장치(100)는 품질보증 대상 작업물을 전문 작업물과 단순 작업물로 분류한 경우, 단순 작업물을 분할하여 복수의 분할 작업물을 획득할 수 있다(S112).When the quality assurance target work is classified into a specialized work and a simple work, the
구체적으로, 컴퓨팅 장치(100)는 사전 학습된 업무 분할 모델에 단순 작업물을 입력하여, 테스트 케이스의 타입 별로 분할된 복수의 분할 작업물을 획득할 수 있다. 여기서, 업무 분할 모델은 학습용 작업물과 학습용 작업물에 라벨링된 테스트 케이스의 타입을 포함하는 학습 데이터로 사전 학습될 수 있다.Specifically, the
테스트 케이스의 타입은 기능 테스트 타입, 로컬 테스트 타입, 호환성 테스트 타입, 검수 및 피처드 테스트 타입, 로딩 시간 테스트 타입 및 발열 테스트 타입 중 적어도 하나를 포함할 수 있다.The test case type may include at least one of a functional test type, a local test type, a compatibility test type, an inspection and featured test type, a loading time test type, and an overheating test type.
또한, 컴퓨팅 장치(100)는 복수의 작업자 각각의 업무 부하, 선호 업무 및 숙련 업무 중 적어도 하나에 기초하여, 복수의 분할 작업물을 상기 복수의 작업자 각각에게 할당할 수 있다(S113).In addition, the
구체적으로, 컴퓨팅 장치(100)는 복수의 작업자 각각의 현재 작업량을 인식할 수 있다. 그리고, 컴퓨팅 장치(100)는 복수의 작업자 각각의 현재 작업량 및 복수의 작업자 각각의 업무 처리 히스토리에 기초하여, 복수의 분할 작업물을 복수의 작업자 각각에 할당할 수 있다.Specifically, the
예를 들어, 컴퓨팅 장치(100)는 복수의 작업자 각각의 현재 작업량에 기초하여, 복수의 작업자 중 업무 할당이 가능한 제1 작업자를 인식할 수 있다. 또한, 컴퓨팅 장치(100)는 제1 작업자의 업무 처리 히스토리에서 검증 결과 스코어가 가장 높은 테스트 케이스의 제1 타입을 인식할 수 있다. 그리고, 컴퓨팅 장치(100)는 복수의 분할 작업물 중 제1 타입의 분할 작업물을 제1 작업자에게 할당할 수 있다.For example, the
다른 예를 들어, 컴퓨팅 장치(100)는 복수의 작업자 각각의 현재 작업량에 기초하여, 복수의 작업자 중 업무 할당이 가능한 제2 작업자를 인식할 수 있다. 또한, 컴퓨팅 장치(100)는 제2 작업자의 선호 업무 및 숙련 업무 중 적어도 하나에 대응하는 테스트 케이스의 제2 타입을 인식할 수 있다. 그리고, 컴퓨팅 장치(100)는 복수의 분할 작업물 중 제2 타입의 분할 작업물을 제2 작업자에게 할당할 수 있다. 여기서, 제2 작업자의 선호 업무 및 숙련 업무에 대한 정보는 제2 작업자가 긱 워커 QA 플랫폼에 등록할 때 입력한 정보일 수 있다.For another example, the
즉, 본 발명의 컴퓨팅 장치(100)는 QA의 전문성이 요구되지 않는 단순 작업물은 긱 워커 QA 플랫폼 작업자에게 할당하여, QA 업무의 효율성을 높일 수 있다.That is, the
다시 도 4를 참조하면, 컴퓨팅 장치(100)는 복수의 작업자 각각에게 할당된 복수의 분할 작업물의 처리 상태를 모니터링하고, 모니터링 리포트를 대시보드에 출력할 수 있다(S120). 또한, 컴퓨팅 장치(100)는 복수의 작업자 각각으로부터 복수의 분할 작업물에 대한 복수의 작업 결과물을 획득하는 경우, 리포트를 업데이트할 수 있다(S130).Referring back to FIG. 4 , the
구체적으로, 컴퓨팅 장치(100)는 기 설정된 시간 주기 마다 복수의 작업자 단말 각각으로 처리 상태 확인 요청 메시지를 전송하여, 현재 처리 상태에 대한 정보를 획득할 수 있다. 또한, 컴퓨팅 장치(100)는 복수의 작업자 단말 각각에서 복수의 분할 작업물의 개별 작업이 완료됨에 따라 복수의 작업자 단말 각각으로부터 개별 작업 완료 메시지를 수신할 수 있다. 그리고, 컴퓨팅 장치(100)는 현재 처리 상태에 대한 정보를 획득하거나, 개별 작업 완료 메시지를 수신한 경우, 리포트를 업데이트하여 대시보드에 출력할 수 있다.Specifically, the
여기서, 대시보드는 품질보증 대상 작업물을 의뢰한 의뢰자에게 제공하는 테스트 결과 보고서 출력 기능을 포함할 수 있다. 그리고, 모니터링 리포트는 진행사항, 특이사항, 확인요청 사항 및 QA 의견을 포함하는 요약 영역, 상기 진행사항의 상세한 내용을 포함하는 상세 영역을 포함할 수 있다.Here, the dashboard may include a test result report output function provided to a requester who has requested a work subject to quality assurance. In addition, the monitoring report may include a summary area including progress, unusual matters, confirmation request items, and QA opinions, and a detailed area including detailed contents of the progress.
예를 들어, 도 7을 참조하면, 대시보드의 예시 화면(20)을 도시하였다. 대시보드 화면(20)에는 모니터링 리포트가 포함될 수 있으며, 모니터링 리포트는 요약 영역(21) 및 상세 영역(22)을 포함할 수 있다.For example, referring to FIG. 7 , an
요약 영역(21)에는 진행사항, 특이사항, 확인요청 사항 QA 의견 등이 텍스트로 표시될 수 있으나 이에 한정되는 것은 아니다.In the
상세 영역(22)에는 테스트 진행 상황을 그래프로 나타낸 이미지, 진행률, 성공률, 테스트 진행 상세 내용 테이블 등이 표시될 수 있으나 이에 한정되는 것은 아니다. In the
대시보드 화면(20)에는 테스트 구분별 빠른 보기 버튼들(23)이 표시될 수 있다. 사용자는 확인하고자 하는 테스트를 선택하는 경우, 해당 테스트에 대한 요약 및 상세 내용을 확인할 수 있다.
대시보드 화면(20)에는 테스트 결과 보고서를 출력하기 위한 버튼(24)을 포함할 수 있다. 사용자가 상기 버튼(24)을 클릭하는 경우, 사용자 단말에 테스트 결과 보고서 파일이 다운로드 될 수 있다.The
대시보드 화면(20)은 도 7에 도시된 바와 같이, 상술한 기능 외에도 다양한 기능들이 포함될 수 있다.As shown in FIG. 7 , the
즉, 본 발명의 컴퓨팅 장치(100)는 긱 워커 QA 플랫폼 작업자들의 업무 현황을 직관적으로 확인할 수 있는 대시보드를 제공하여, QA 작업자, QA 관리자 및 QA 의뢰자 각각에게 편의성을 제공할 수 있다.That is, the
다양한 실시예에서, 컴퓨팅 장치(100)는 복수의 작업자 각각으로부터 복수의 분할 작업물에 대한 복수의 작업 결과물을 획득하는 경우, 복수의 작업 결과물 각각이 이슈에 해당하는지 여부를 결정할 수 있다. 그리고, 컴퓨팅 장치(100)는 복수의 작업 결과물 중 어느 하나의 작업 결과물이 이슈에 해당하는 것으로 결정된 경우, 이슈 추적 및 수정을 위한 외부 소프트웨어에 이슈를 업로드할 수 있다.In various embodiments, the
즉, 본 발명의 컴퓨팅 장치(100)는 QA 작업 중 이슈가 발생되었을 때 이슈 추적 및 수정을 위한 외부 소프트웨어에 공유함으로써, 이슈에 대해 유연하고 빠른 대응을 야기할 수 있다.That is, when an issue occurs during QA work, the
다양한 실시예에서, 컴퓨팅 장치(100)는 복수의 분할 작업물을 복수의 작업자 각각에게 할당한 후, 복수의 분할 작업물 중 할당이 거절된 적어도 하나의 거절 작업물을 인식할 수 있다. 컴퓨팅 장치(100)는 분할 작업물의 할당을 거절한 거절 작업자로부터 거절 사유를 획득할 수 있다. 그리고, 컴퓨팅 장치(100)는 거절 사유에 기초하여, 적어도 하나의 거절 작업물을 다른 작업자에게 할당할 수 있다.In various embodiments, the
구체적으로, 컴퓨팅 장치(100)는 적어도 하나의 거절 작업물을 다른 작업자에게 할당할 때, 거절 사유가 단순 거절인 경우, 추가 리워드 없이 다른 작업자에게 할당할 수 있다. 그리고, 컴퓨팅 장치(100)는 거절 작업자에게 작업물 할당이 기설정된 횟수만큼 제한되는 패널티를 부여할 수 있다. 또한, 컴퓨팅 장치(100)는 거절 사유가 단순 거절인 경우, 추가 리워드 없이 다른 작업자에게 할당할 수 있다.Specifically, when allocating at least one rejected work to another worker, the
한편, 컴퓨팅 장치(100)는 적어도 하나의 거절 작업물을 다른 작업자에게 할당할 때, 거절 사유가 단순 거절이 아닌 경우, 적어도 하나의 거절 작업물에 대한 작업 난이도를 결정할 수 있다. 또한, 컴퓨팅 장치(100)는 적어도 하나의 거절 작업물에 작업 난이도에 대응하는 추가 리워드를 부여할 수 있다. 그리고, 컴퓨팅 장치(100)는 추가 리워드가 부여된 적어도 하나의 거절 작업물을 긱 워커 QA 플랫폼에 공지하여, 적어도 하나의 거절 작업물의 처리를 희망하는 다른 작업자에게 할당할 수 있다.Meanwhile, when allocating at least one rejected work to another worker, the
즉, 본 발명의 컴퓨팅 장치(100)는 분할 작업물이 거절되더라도, 다양한 방식(예를 들어, 재할당 또는 추가 리워드 제공)을 통해 거절 작업물을 다른 작업자에게 할당하여 QA 업무를 처리할 수 있어, QA 업무지속성을 보장할 수 있다.That is, even if the divided work is rejected, the
추가적인 실시예에서, 컴퓨팅 장치(100)는 거절 사유가 단순 거절이 아닌 경우, 적어도 하나의 거절 작업물과 관련된 테스트 케이스의 문장에 포함된 하나 이상의 단어를 추출할 수 있다. 그리고, 컴퓨팅 장치(100)는 기 설정된 기간 동안 거절 작업물의 테스트 케이스에 포함된 문장에 포함된 단어들 중 기 설정된 횟수 이상 출현한 단어를 전문 작업물로 분류하기 위한 키워드로 결정할 수 있다.In an additional embodiment, the
예를 들어, 컴퓨팅 장치(100)는 품질보증 대상 작업물을 전문 작업물 및 단순 작업물로 분류할 때, 테스트 케이스를 설명하기 위한 문장들 중 특정 키워드가 포함된 테스트 케이스와 관련된 작업물을 전문 작업물로 분류할 수 있다.For example, when the
따라서, 본 발명의 컴퓨팅 장치(100)는 단순 작업물과 전문 작업물을 분류하는 방식을 다양화하고, 거절 빈도가 높은 테스트 케이스의 작업은 단순 작업물에서 제외시켜, 보다 원활하게 QA 업무를 할당할 수 있다.Therefore, the
도 8 및 도 9는 긱 워커 QA 플랫폼 작업자의 업무 퀄리티 검수 및 보상 산정 방법의 일례를 설명하기 위한 도면이다.8 and 9 are diagrams for explaining an example of a method for checking the work quality of a gig worker QA platform worker and calculating compensation.
본 발명의 일 실시예에 따르면, 컴퓨팅 장치(100)의 프로세서(110)는 긱 워커 QA 플랫폼 작업자의 업무 퀄리티를 검수하고, 작업자의 리워드를 산정할 수 있다.According to one embodiment of the present invention, the
도 8을 참조하면, 컴퓨팅 장치(100)는 긱 워커 QA 플랫폼에 사전 등록된 복수의 작업자 중 적어도 하나의 작업자로부터 수신된 적어도 하나의 작업 결과물의 퀄리티 레벨을 결정할 수 있다(S210). 여기서, 퀄리티 레벨은 작업 결과물의 완성도를 수치화 한 것으로, 작업자에게 리워드를 제공하거나, 작업 결과물의 완료 여부를 결정하는데 이용될 수 있다.Referring to FIG. 8 , the
구체적으로, 도 9를 참조하면, 컴퓨팅 장치(100)는 사전 학습된 퀄리티 레벨 결정 모델을 이용하여 적어도 하나의 작업 결과물과 관련된 제1 레벨을 획득할 수 있다(S211). 또한, 컴퓨팅 장치(100)는 다른 작업자에게 검수 작업을 할당하여 적어도 하나의 작업 결과물과 관련된 제2 레벨을 획득할 수 있다(S212). 그리고, 컴퓨팅 장치(100)는 제1 레벨 및 제2 레벨 중 적어도 하나에 기초하여 퀄리티 레벨을 결정할 수 있다(S213).Specifically, referring to FIG. 9 , the
좀더 구체적으로, 컴퓨팅 장치(100)는, 제1 레벨을 획득하는 경우 다중 분류 모델인 퀄리티 레벨 결정 모델에 작업 결과물을 입력하여, 복수의 클래스 각각에 대한 스코어 값을 획득할 수 있다. 컴퓨팅 장치(100)는 스코어 값이 가장 높은 특정 클래스를 인식할 수 있다. 그리고, 컴퓨팅 장치(100)는 특정 클래스에 대응하는 제1 레벨을 결정할 수 있다.More specifically, when obtaining the first level, the
예를 들어, 퀄리티 레벨 결정 모델은 제1 클래스에 대한 스코어를 0.2, 제2 클래스에 대한 스코어를 0.1 그리고, 제3 클래스에 대한 스코어를 0.8로 출력할 수 있다. 이 경우, 컴퓨팅 장치(100)는 제3 클래스에 대응하는 레벨을 제1 레벨로 결정할 수 있다.For example, the quality level determination model may output a score of 0.2 for the first class, a score of 0.1 for the second class, and a score of 0.8 for the third class. In this case, the
컴퓨팅 장치(100)는, 제2 레벨을 획득하는 경우 적어도 하나의 작업 결과물과 동일한 테스트 케이스 타입이 할당된 다른 작업자에게 적어도 하나의 작업 결과물에 대한 검수 작업을 할당할 수 있다. 그리고, 컴퓨팅 장치(100)는 다른 작업자로부터 적어도 하나의 작업 결과물에 대한 제2 레벨을 획득할 수 있다.When obtaining the second level, the
즉, 컴퓨팅 장치(100)는 동일한 테스트를 수행한 다른 작업자에게 검수 작업을 할당하여, 검수 작업의 효율성을 향상시킬 수 있다.That is, the
컴퓨팅 장치(100)는 제1 레벨 및 제2 레벨을 획득한 경우, 제1 레벨 및 제2 레벨 중 적어도 하나에 기초하여 퀄리티 레벨을 결정할 수 있다.When the first level and the second level are obtained, the
예를 들어, 컴퓨팅 장치(100)는 제1 레벨 및 상기 제2 레벨의 레벨 값의 차이가 1 이하인 경우 제1 레벨 및 제2 레벨 중 높은 레벨 값으로 퀄리티 레벨을 결정할 수 있다. 여기서, 레벨 값은 높을수록 퀄리티가 양호한 것을 의미할 수 있다. 자세히 예를 들어, 컴퓨팅 장치(100)는 제1 레벨이 7이고, 제2 레벨이 8인 경우, 퀄리티 레벨을 8로 결정할 수 있다.For example, the
한편, 컴퓨팅 장치(100)는 제1 레벨 및 제2 레벨의 레벨 값의 차이가 1 초과인 경우, 제1 레벨 및 제2 레벨 각각을 다시 획득할 수 있다. 자세히 예를 들어, 컴퓨팅 장치(100)는 제1 레벨이 5이고, 제2 레벨이 8인 경우, 제1 레벨 및 제2 레벨 각각을 다시 획득할 수 있다.Meanwhile, the
컴퓨팅 장치(100)는 다시 획득된 제1 레벨 및 제2 레벨을 이용해 상기와 같은 방법으로 퀄리티 레벨을 결정할 수 있다.The
다양한 실시예에서, 컴퓨팅 장치(100)는 다시 획득된 제1 레벨 및 제2 레벨의 레벨 값의 차이가 1 초과인 경우, 적어도 하나의 작업 결과물과 동일한 테스트 케이스 타입이 할당된 또 다른 작업자에게 적어도 하나의 작업 결과물에 대한 검수 작업을 할당할 수 있다. 그리고, 컴퓨팅 장치(100)는 또 다른 작업자로부터 적어도 하나의 작업 결과물에 대한 제3 레벨을 획득하고, 제1 레벨, 제2 레벨 및 제3 레벨의 평균 값을 퀄리티 레벨로 결정할 수 있다.In various embodiments, when the difference between the level values of the first level and the second level obtained again is greater than 1, the
즉, 본 발명의 컴퓨팅 장치(100)는 퀄리티 레벨 결정 모델에서 획득되는 레벨과 동일한 테스트를 수행하는 다른 작업자의 검수 결과를 이용해 작업 결과물에 대한 퀄리티 레벨을 결정하여, 퀄리티에 대한 더블체크가 가능하며, 보다 정확한 퀄리티 검수를 수행할 수 있다.That is, the
다시 도 8을 참조하면, 컴퓨팅 장치(100)는 퀄리티 레벨이 기 설정된 레벨 값 이상인 경우, 퀄리티 레벨에 대응하는 리워드를 적어도 하나의 작업자에게 제공할 수 있다(S220). 여기서, 퀄리티 레벨이 기 설정된 레벨 값 미만인 경우, 적어도 하나의 작업 결과물을 반려할 수 있다.Referring back to FIG. 8 , the
구체적으로, 컴퓨팅 장치(100)는 퀄리티 레벨이 기 설정된 레벨 값 이상인 경우 적어도 하나의 작업 결과물이 완료된 것으로 결정하고, 퀄리티 레벨이 기 설정된 레벨 값 미만인 경우 적어도 하나의 작업 결과물이 미완료된 것으로 결정할 수 있다.Specifically, the
컴퓨팅 장치(100)는 적어도 하나의 작업 결과물이 미완료된 것으로 결정한 경우, 적어도 하나의 작업자에게 적어도 하나의 작업에 대한 재처리를 요청할 수 있다. 추가적으로, 컴퓨팅 장치(100)는 적어도 하나의 작업 결과물과 동일한 테스트 케이스 타입이 할당된 다른 작업자에게 적어도 하나의 작업을 할당할 수 있다.When the
즉, 컴퓨팅 장치(100)는 제1 작업자의 처리가 미비한 경우, 제1 작업자에게 재처리를 요청함과 동시에 제2 작업자에게도 동일한 작업물을 할당하여, 작업 결과물에 대한 퀄리티 저하를 방지할 수 있다.That is, when the first worker's processing is insufficient, the
다양한 실시예에서, 컴퓨팅 장치(100)는 작업자의 등급에 따라 가중치를 부여하여 리워드를 제공할 수 있다.In various embodiments, the
구체적으로, 컴퓨팅 장치(100)는 퀄리티 레벨이 기 설정된 레벨 값 이상인 경우, 퀄리티 레벨에 대응하는 리워드를 적어도 하나의 작업자에게 제공할 때, 퀄리티 레벨에 대응하는 리워드에 적어도 하나의 작업자의 등급에 대응하는 가중치를 부여하여 제공할 수 있다.Specifically, when the quality level is greater than or equal to a preset level value, the
좀더 구체적으로, 퀄리티 레벨에 대응하는 리워드 값에 상기 작업자의 등급에 대응하는 가중치를 곱한 크기의 리워드를 적어도 하나의 작업자에게 제공할 수 있다. 여기서, 등급에 따라 리워드에 부여되는 가중치는 높을수록 높은 가중치가 부여되고, 낮을수록 낮은 가중치가 부여될 수 있다. 또한, 작업자의 등급에 대응하는 가중치는 사전 설정되어, 긱 워커 QA 플랫폼 상에 표시될 수 있다. 그리고, 작업자의 등급은 긱 워커 QA 플랫폼을 통해 처리한 작업에 따라 결정될 수 있다.More specifically, a reward having a size obtained by multiplying a reward value corresponding to a quality level by a weight corresponding to the grade of the worker may be provided to at least one worker. Here, the higher the weight assigned to the reward according to the grade, the higher the weight is assigned, and the lower the weight is assigned, the lower the weight may be assigned. In addition, the weight corresponding to the worker's grade may be preset and displayed on the gig worker QA platform. And, the worker's grade may be determined according to the work processed through the gig worker QA platform.
작업자의 등급은 긱 워커 QA 플랫폼을 통해 최초로 업무를 수행하는 경우 중간 등급으로 초기 값이 적용될 수 있다. 또한, 작업자의 등급은 작업물을 완료로 처리한 횟수가 기 설정된 횟수 이상이 거나, 결과물의 퀄리티 레벨이 최상위 레벨로 결정된 횟수가 기 설정된 횟수 이상인 경우, 상기 작업자의 등급이 올라갈 수 있다. 또한, 작업자의 등급은 작업물을 미완료로 처리하여 재처리한 횟수가 기 설정된 횟수 이상이 거나, 할당된 작업을 거절한 횟수가 기 설정된 횟수 이상인 경우 상기 작업자의 등급이 내려갈 수 있다.The initial value may be applied to the worker's grade as an intermediate grade when performing work for the first time through the gig worker QA platform. In addition, the worker's grade may be raised when the number of times that the work is completed is equal to or greater than a preset number of times, or when the number of times that the quality level of the result is determined to be the highest level is equal to or greater than a preset number of times. In addition, the worker's grade may be lowered when the number of reprocessing by processing the work as incomplete is equal to or greater than a preset number of times, or when the number of times of rejecting an assigned task is equal to or greater than a preset number of times.
즉, 본 발명의 컴퓨팅 장치(100)는 작업자의 등급이 올라갈수록 더 큰 리워드를 부여하여, 작업자의 사기를 증진하고, 결과물의 퀄리티를 높일 수 있다. 이 경우, QA 업무의 생산성이 높아질 수 있다.That is, the
다양한 실시예에서, 컴퓨팅 장치(100)는 작업자에게 두 개 이상의 작업물을 할당한 경우, 두 개 이상의 작업물이 모두 완료되는 시점에 작업물에 대한 리워드를 제공할 수 있다.In various embodiments, when two or more work tasks are assigned to a worker, the
구체적으로, 컴퓨팅 장치(100)는 긱 워커 QA 플랫폼에 사전 등록된 복수의 작업자 중 제1 작업물 및 제2 작업물을 할당 받은 특정 작업자로부터 제1 작업물에 대한 작업 결과물을 수신한 경우, 제1 작업물과 관련된 리워드의 절반만 상기 특정 작업자에게 제공할 수 있다. 그리고, 컴퓨팅 장치(100)는 제1 작업물에 대한 리워드의 절반만 특정 작업자에게 제공한 이후에 특정 작업자로부터 제2 작업물에 대한 작업 결과물을 수신한 경우, 제1 작업물과 관련된 리워드의 나머지 절반과 제2 작업물과 관련된 리워드를 특정 작업자에게 제공할 수 있다.Specifically, when the
즉, 본 발명의 컴퓨팅 장치(100)는 모든 작업물이 완료되는 시점에 리워드를 제공하여, 작업의 연속성을 보장하고, 작업이 미완료되는 상황을 방지할 수 있다.That is, the
다양한 실시예에서, 컴퓨팅 장치(100)는 작업자들의 작업 처리 랭킹을 대시보드에 표시하고, 랭킹에 따른 리워드를 추가로 제공할 수 있다.In various embodiments, the
구체적으로, 컴퓨팅 장치(100)는 복수의 작업자 각각에게 할당된 복수의 분할 작업물의 처리 상태와 복수의 작업자 각각의 처리 속도 랭킹 및 퀄리티 레벨 랭킹을 대시보드에 출력할 수 있다. 그리고, 컴퓨팅 장치(100)는 기 설정된 랭킹 순위 내에 포함되는 작업자의 경우, 랭킹에 대한 리워드를 추가로 제공할 수 있다.Specifically, the
즉, 본 발명의 컴퓨팅 장치(100)는 QA 업무에 엔터테인먼트적 요소를 결합하여, 작업자의 사기를 증진하고, QA 업무의 생산성을 높일 수 있다.That is, the
다양한 실시예에서, 컴퓨팅 장치(100)는 작업자가 QA 업무를 수행함에 따라, 소프트웨어에 대한 이슈가 발생된 것으로 판단되는 경우, 이슈 발생에 따른 보상을 작업자에게 제공할 수 있다. 이때, 컴퓨팅 장치(100)는 작업자가 수행한 QA 업무가 작업자가 접 작성한 테스트 케이스에 따라 테스트를 수행하는 QA 업무인 경우, 즉, 작업자가 직접 생성한 테스트 케이스에 따라 테스트 대상을 테스트함에 따라 소프트웨어에 대한 이슈를 발생시킨 경우, 작업자에게 이슈 발생에 따른 보상 이외에 추가적인 보상을 지급할 수 있다.In various embodiments, the
도 10 및 도 11은 긱 워커 QA 플랫폼 작업자를 위한 QA 업무 할당 및 작업 결과물 취합 방법의 일례를 설명하기 위한 도면이다.10 and 11 are diagrams for explaining an example of a method of assigning QA tasks and collecting work results for gig worker QA platform workers.
본 발명의 일 실시예에 따르면, 컴퓨팅 장치(100)의 프로세서(110)는 긱 워커 QA 플랫폼 작업자의 업무를 할당하고, 작업자의 작업 결과물을 취합할 수 있다.According to one embodiment of the present invention, the
도 10을 참조하면, 컴퓨팅 장치(100)는 긱 워커 QA 플랫폼에 사전 등록된 복수의 작업자를 디바이스 환경 별로 분류할 수 있다(S310). 여기서, 긱 워커 QA 플랫폼은 복수의 작업자 각각이 상기 플랫폼에 등록할 때, 복수의 작업자 각각이 보유한 디바이스의 환경에 대한 정보를 획득할 수 있다.Referring to FIG. 10 , the
디바이스의 환경에 대한 정보는 디바이스의 타입, 디바이스의 제조사, 상기 디바이스에 설치된 OS의 타입, 상기 디바이스에 설치된 OS의 버전, 상기 디바이스의 CPU, 상기 디바이스의 여유 저장 용량, 상기 디바이스의 RAM의 용량 및 상기 디바이스에서 지원하는 네트워크 망 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다.Information on the environment of the device is the type of device, the manufacturer of the device, the type of OS installed on the device, the version of the OS installed on the device, the device's CPU, the device's free storage capacity, the device's RAM capacity, and It may include at least one of networks supported by the device, but is not limited thereto.
컴퓨팅 장치(100)는 품질보증 대상 작업물을 분할한 복수의 분할 작업물을 디바이스 환경 별 복수의 작업자에게 할당할 수 있다(S320).The
구체적으로, 컴퓨팅 장치(100)는 작업자들이 보유한 디바이스 환경 각각에서 테스트가 수행되도록, 분할 작업물을 디바이스 환경 별 복수의 작업자에게 할당할 수 있다.Specifically, the
한편, 컴퓨팅 장치(100)는 분할 작업물을 디바이스 환경 별 복수의 작업자에게 할당하기 전에 품질보증 대상 작업물을 전문 작업물 및 단순 작업물로 분류할 수 있다.Meanwhile, the
예를 들어, 컴퓨팅 장치(100)는 품질보증 대상 작업물에 기초하여, 테스트 케이스를 생성할 수 있다. 그리고, 컴퓨팅 장치(100)는 테스트 케이스의 수행 시간이 기 설정된 시간을 초과하거나, 기 설정된 단계 수를 초과하는 경우 전문 작업물로 분류하고, 테스트 케이스의 수행 시간이 기 설정된 시간 이하이거나 기 설정된 단계 수 이하인 경우 단순 작업물로 분류할 수 있다.For example, the
이하, 품질보증 대상 작업물을 전문 작업물 및 단순 작업물로 분류하는 방법에 대한 더 구체적인 설명은 상술한 도 4 및 도 5의 설명을 참조한다.Hereinafter, reference is made to the descriptions of FIGS. 4 and 5 described above for a detailed description of a method of classifying work to be guaranteed as a specialized work and a simple work.
컴퓨팅 장치(100)는 품질보증 대상 작업물을 전문 작업물 및 단순 작업물로 분류한 경우, 단순 작업물을 분할하여 복수의 분할 작업물을 획득할 수 있다.When the quality assurance target work is classified into a specialized work and a simple work, the
예를 들어, 컴퓨팅 장치(100)는 사전 학습된 업무 분할 모델에 상기 단순 작업물을 입력하여, 테스트 케이스의 타입 별로 분할된 상기 복수의 분할 작업물을 획득할 수 있으나 이에 한정되는 것은 아니다.For example, the
컴퓨팅 장치(100)는 복수의 분할 작업물을 획득한 경우, 복수의 분할 작업물을 상이한 환경의 디바이스를 보유한 작업자 각각에게 할당할 수 있다.When obtaining a plurality of divided work pieces, the
구체적으로, 컴퓨팅 장치(100)는 긱 워커 QA 플랫폼에 사전 등록된 복수의 작업자를 디바이스 환경 별로 분류하는 단계에서 분류된 디바이스 환경의 개수를 인식할 수 있다. 또한, 컴퓨팅 장치(100)는 복수의 분할 작업물 각각이 상이한 디바이스 환경에서 모두 수행되도록 동일한 작업물을 디바이스 환경의 개수만큼 복사할 수 있다. 그리고, 컴퓨팅 장치(100)는 동일한 작업물을 상이한 환경의 디바이스를 보유한 작업자 각각에게 할당할 수 있다.Specifically, the
예를 들어, 제1 환경의 디바이스를 보유한 제1 작업자와 제2 환경의 디바이스를 보유한 제2 작업자가 존재한다고 가정하면, 품질보증 대상 소프트웨어에 로그인 하는 테스트 케이스를 수행하는 동일한 분할 작업물을 제1 작업자 및 제2 작업자 각각에게 할당할 수 있다. 이 경우, 제1 환경의 디바이스 및 제2 환경의 디바이스 각각에서 품질보증 대상 소프트웨어에 로그인이 정상적으로 수행되는지에 관한 QA 업무를 진행할 수 있다.For example, assuming that a first worker holding a device of the first environment and a second worker holding a device of the second environment exist, the same division work that performs a test case of logging in to the software subject to quality assurance is performed by the first worker. It can be assigned to each of the worker and the second worker. In this case, a QA task may be performed on whether or not login is normally performed in the software subject to quality assurance in each of the device of the first environment and the device of the second environment.
즉, 본 발명의 컴퓨팅 장치(100)는 다양한 환경의 디바이스 환경에서 QA를 수행하도록 업무를 할당하여, QA의 적용 범위를 확장할 수 있다. 또한, 다양한 환경에서의 QA를 통해 품질보증 대상물의 퀄리티를 보장할 수 있다.That is, the
컴퓨팅 장치(100)는 디바이스 환경 별 복수의 작업자로부터 복수의 분할 작업물에 대한 복수의 작업 결과물을 획득하는 경우, 상이한 디바이스 환경에서 처리된 작업 결과물들을 하나의 결과물로 취합할 수 있다(S330).When obtaining a plurality of work results for a plurality of divided workpieces from a plurality of workers for each device environment, the
구체적으로, 도 11을 참조하면, 컴퓨팅 장치(100)는 특정 분할 작업물에 대해 제1 디바이스 환경 및 제2 디바이스 환경 각각에서 특정 테스트 케이스가 수행된 경우, 제1 디바이스 환경에서 수행된 작업 결과물에 제1 태그를 추가하고, 제2 디바이스 환경에서 수행된 작업 결과물에 제2 태그를 추가할 수 있다(S331). 그리고, 컴퓨팅 장치(100)는 제1 태그 및 제2 태그 각각이 추가된 작업 결과물을 취합하여 특정 분할 작업물의 작업 결과물로 생성할 수 있다(332).Specifically, referring to FIG. 11 , when a specific test case is performed in each of the first device environment and the second device environment for a specific division work, the
다시 도 10을 참조하면, 단계(S330)에서, 일례로, 컴퓨팅 장치(100)는 상이한 디바이스 환경에서 동일한 테스트 케이스(Test Case)로 수행된 작업 결과물들을 모아서 상기 테스트 케이스의 단위로 취합할 수 있다.Referring back to FIG. 10 , in step S330, for example, the
다른 일례로, 컴퓨팅 장치(100)는 상이한 디바이스 환경에서 처리된 작업 결과물들을 사전 분류된 테스트 타입의 단위로 취합할 수 있다. 여기서, 사전 분류된 테스트 타입은 기능 테스트 타입, 로컬 테스트 타입, 호환성 테스트 타입, 검수 및 피처드 테스트 타입, 로딩 시간 테스트 타입 및 발열 테스트 타입 중 적어도 하나를 포함할 수 있다.As another example, the
다양한 실시예에서, 컴퓨팅 장치(100)는 복수의 분할 작업물을 디바이스 환경 별 복수의 작업자에게 할당한 후, 복수의 분할 작업물 중 할당이 거절된 적어도 하나의 거절 작업물을 인식할 수 있다. 또한, 컴퓨팅 장치(100)는 분할 작업물의 할당을 거절한 거절 작업자로부터 거절 사유를 획득할 수 있다. 그리고, 컴퓨팅 장치(100)는 거절 사유에 기초하여, 적어도 하나의 거절 작업물을 다른 작업자에게 할당할 수 있다.In various embodiments, the
일례로, 컴퓨팅 장치(100)는 거절 사유가 단순 거절인 경우, 추가 리워드 없이 다른 작업자에게 할당할 수 있다. 그리고, 컴퓨팅 장치(100)는 거절 작업자에게 작업물 할당이 기설정된 횟수만큼 제한되는 패널티를 부여할 수 있다.For example, when the reason for rejection is simple rejection, the
다른 일례로, 컴퓨팅 장치(100)는 거절 사유가 단순 거절이 아닌 경우, 적어도 하나의 거절 작업물에 대한 작업 난이도를 결정할 수 있다. 또한, 컴퓨팅 장치(100)는 적어도 하나의 거절 작업물에 작업 난이도에 대응하는 추가 리워드를 부여할 수 있다. 그리고, 컴퓨팅 장치(100)는 추가 리워드가 부여된 적어도 하나의 거절 작업물을 긱 워커 QA 플랫폼에 공지하여, 적어도 하나의 거절 작업물의 처리를 희망하는 다른 작업자에게 할당할 수 있다.As another example, if the reason for rejection is not simple rejection, the
추가적인 실시예에서, 컴퓨팅 장치(100)는 거절 사유가 단순 거절이 아닌 경우, 적어도 하나의 거절 작업물과 관련된 테스트 케이스의 문장에 포함된 하나 이상의 단어를 추출할 수 있다. 그리고, 컴퓨팅 장치(100)는 기 설정된 기간 동안 거절 작업물의 테스트 케이스에 포함된 문장에 포함된 단어들 중 기 설정된 횟수 이상 출현한 단어를 전문 작업물로 분류하기 위한 키워드로 결정할 수 있다.In an additional embodiment, the
예를 들어, 컴퓨팅 장치(100)는 품질보증 대상 작업물을 전문 작업물 및 단순 작업물로 분류할 때, 테스트 케이스를 설명하기 위한 문장들 중 특정 키워드가 포함된 테스트 케이스와 관련된 작업물을 전문 작업물로 분류할 수 있다. 여기서, 특정 키워드는 기 설정된 기간 동안 작업자에게 할당되었다가 작업자로부터 거절된 거절 작업물의 테스트 케이스에 포함된 문장에 포함된 단어들 중 기 설정된 횟수 이상 포함된 단어일 수 있다. 예를 들어, 특정 키워드는 최근 한달 동안 거절된 작업물의 테스트 케이스에 30회이상 포함된 단어일 수 있다.For example, when the
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.Although the embodiments of the present invention have been described with reference to the accompanying drawings, those skilled in the art to which the present invention pertains can be implemented in other specific forms without changing the technical spirit or essential features of the present invention. you will be able to understand Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive.
Claims (13)
상기 긱 워커 QA 플랫폼에 사전 등록된 복수의 작업자를 디바이스 환경 - 상기 디바이스 환경은, 디바이스의 타입, 디바이스의 제조사, 상기 디바이스에 설치된 OS의 타입, 상기 디바이스에 설치된 OS의 버전, 상기 디바이스의 CPU, 상기 디바이스의 여유 저장 용량, 상기 디바이스의 RAM의 용량 및 상기 디바이스에서 지원하는 네트워크 망 중 적어도 하나를 포함함 - 별로 분류하는 단계;
품질보증 대상 작업물을 분할한 복수의 분할 작업물을 상기 디바이스 환경 별 복수의 작업자에게 할당하는 단계; 및
상기 디바이스 환경 별 상기 복수의 작업자로부터 상기 복수의 분할 작업물에 대한 복수의 작업 결과물을 획득하는 경우, 상이한 디바이스 환경에서 처리된 작업 결과물들을 하나의 결과물로 취합하는 단계;
를 포함하고,
상기 상이한 디바이스 환경에서 처리된 작업 결과물들을 하나의 결과물로 취합하는 단계는,
특정 분할 작업물에 대해 제1 디바이스 환경 및 제2 디바이스 환경 각각에서 특정 테스트 케이스가 수행된 경우, 상기 제1 디바이스 환경에서 수행된 작업 결과물에 제1 태그를 추가하고, 상기 제2 디바이스 환경에서 수행된 작업 결과물에 제2 태그를 추가하는 단계; 및
상기 제1 태그 및 상기 제2 태그 각각이 추가된 작업 결과물을 취합하여 상기 특정 분할 작업물의 작업 결과물로 생성하는 단계;
를 포함하고,
상기 긱 워커 QA 플랫폼은,
상기 복수의 작업자 각각이 상기 플랫폼에 등록할 때, 상기 복수의 작업자 각각이 보유한 디바이스의 환경에 대한 정보를 획득하고,
상기 복수의 분할 작업물을 상기 디바이스 환경 별 복수의 작업자에게 할당하는 단계는,
상기 긱 워커 QA 플랫폼에 사전 등록된 복수의 작업자를 디바이스 환경 별로 분류하는 단계에서 분류된 디바이스 환경의 개수를 인식하는 단계;
상기 복수의 분할 작업물 각각이 상이한 디바이스 환경에서 모두 수행되도록 동일한 작업물을 상기 디바이스 환경의 개수만큼 복사하는 단계; 및
상기 동일한 작업물을 상기 상이한 환경의 디바이스를 보유한 작업자 각각에게 할당하는 단계;
를 포함하고,
상기 상이한 디바이스 환경에서 처리된 작업 결과물들을 하나의 결과물로 취합하는 단계는,
상기 상이한 디바이스 환경에서 처리된 작업 결과물들을 사전 분류된 테스트 타입의 단위로 취합하는 단계;
를 더 포함하고,
상기 사전 분류된 테스트 타입은,
기능 테스트 타입, 로컬 테스트 타입, 호환성 테스트 타입, 검수 및 피처드 테스트 타입, 로딩 시간 테스트 타입 및 발열 테스트 타입 중 적어도 하나를 포함하는,
긱 워커 QA 플랫폼 작업자를 위한 QA 업무 할당 및 작업 결과물 취합 방법.
In the method of assigning QA tasks and collecting work results for gig worker QA platform workers performed by a computing device including at least one processor,
Device environment for a plurality of workers pre-registered in the gig worker QA platform - The device environment includes the type of device, the manufacturer of the device, the type of OS installed on the device, the version of the OS installed on the device, the CPU of the device, including at least one of a spare storage capacity of the device, a RAM capacity of the device, and a network supported by the device - classifying by star;
Allocating a plurality of divided work pieces obtained by dividing the quality assurance target work to a plurality of workers for each device environment; and
When obtaining a plurality of work results for the plurality of divided workpieces from the plurality of workers for each device environment, collecting work results processed in different device environments into one result;
including,
The step of collecting work results processed in the different device environments into one result,
When a specific test case is performed in each of the first device environment and the second device environment for a specific division work, a first tag is added to a work result performed in the first device environment and performed in the second device environment. adding a second tag to the resulting work; and
collecting work products to which the first tag and the second tag are respectively added and generating the work product as the work product of the specific division work;
including,
The gig worker QA platform,
When each of the plurality of workers registers on the platform, obtaining information about an environment of a device possessed by each of the plurality of workers,
The step of allocating the plurality of divided work to the plurality of workers for each device environment,
Recognizing the number of device environments classified in the step of classifying a plurality of workers pre-registered in the gig worker QA platform for each device environment;
copying the same work as many times as the number of device environments so that each of the plurality of divided work is performed in different device environments; and
allocating the same workpiece to each worker having the device in the different environment;
including,
The step of combining the work results processed in the different device environments into one result,
collecting work results processed in the different device environments in units of pre-classified test types;
Including more,
The pre-classified test type,
Including at least one of a functional test type, a local test type, a compatibility test type, an inspection and featured test type, a loading time test type, and a fever test type,
How to assign QA tasks and collect work products for gig worker QA platform workers.
상기 상이한 디바이스 환경에서 처리된 작업 결과물들을 하나의 결과물로 취합하는 단계는,
상기 상이한 디바이스 환경에서 동일한 테스트 케이스(Test Case)로 수행된 작업 결과물들을 모아서 상기 테스트 케이스의 단위로 취합하는 단계;
를 더 포함하는,
긱 워커 QA 플랫폼 작업자를 위한 QA 업무 할당 및 작업 결과물 취합 방법.
According to claim 1,
The step of collecting work results processed in the different device environments into one result,
Collecting work results performed in the same test case in the different device environments and assembling them as a unit of the test case;
Including more,
How to assign QA tasks and collect work products for gig worker QA platform workers.
상기 품질보증 대상 작업물을 분할한 복수의 분할 작업물을 상기 디바이스 환경 별 복수의 작업자에게 할당하는 단계는,
상기 품질보증 대상 작업물을 전문 작업물 및 단순 작업물로 분류하는 단계;
상기 단순 작업물을 분할하여 상기 복수의 분할 작업물을 획득하는 단계; 및
상기 복수의 분할 작업물을 상이한 환경의 디바이스를 보유한 작업자 각각에게 할당하는 단계;
를 포함하는,
긱 워커 QA 플랫폼 작업자를 위한 QA 업무 할당 및 작업 결과물 취합 방법.
According to claim 1,
The step of allocating a plurality of divided work pieces obtained by dividing the quality assurance target work to a plurality of workers for each device environment,
classifying the work to be guaranteed as a specialized work and a simple work;
Dividing the simple workpiece to obtain the plurality of divided workpieces; and
Allocating the plurality of divided work to each worker having a device in a different environment;
including,
How to assign QA tasks and collect work products for gig worker QA platform workers.
상기 품질보증 대상 작업물을 전문 작업물 및 단순 작업물로 분류하는 단계는,
상기 품질보증 대상 작업물에 기초하여, 테스트 케이스(Test Case)를 생성하는 단계; 및
상기 테스트 케이스의 수행 시간이 기 설정된 시간을 초과하거나, 기 설정된 단계 수를 초과하는 경우 상기 전문 작업물로 분류하고, 상기 테스트 케이스의 수행 시간이 상기 기 설정된 시간 이하이거나 상기 기 설정된 단계 수 이하인 경우 상기 단순 작업물로 분류하는 단계;
를 포함하는,
긱 워커 QA 플랫폼 작업자를 위한 QA 업무 할당 및 작업 결과물 취합 방법.
According to claim 5,
The step of classifying the quality assurance target work into a professional work and a simple work,
Generating a test case based on the quality assurance target work; and
When the execution time of the test case exceeds the preset time or the preset number of steps, it is classified as the specialized work, and the test case execution time is less than the preset time or the preset number of steps. classifying the simple work;
including,
How to assign QA tasks and collect work products for gig worker QA platform workers.
상기 단순 작업물을 분할하여 복수의 분할 작업물을 획득하는 단계는,
사전 학습된 업무 분할 모델에 상기 단순 작업물을 입력하여, 테스트 케이스의 타입 별로 분할된 상기 복수의 분할 작업물을 획득하는 단계;
를 포함하고,
상기 업무 분할 모델은,
학습용 작업물과 상기 학습용 작업물에 라벨링된 테스트 케이스의 타입을 포함하는 학습 데이터로 사전 학습되는,
긱 워커 QA 플랫폼 작업자를 위한 QA 업무 할당 및 작업 결과물 취합 방법.
According to claim 5,
Dividing the simple workpiece to obtain a plurality of divided workpieces,
inputting the simple workpiece into a pre-learned task division model and obtaining the plurality of divided workpieces divided according to test case types;
including,
The work division model,
Pre-learning with training data including a learning workpiece and a type of test case labeled in the learning workpiece,
How to assign QA tasks and collect work products for gig worker QA platform workers.
상기 복수의 분할 작업물을 상기 디바이스 환경 별 복수의 작업자에게 할당한 후, 상기 복수의 분할 작업물 중 할당이 거절된 적어도 하나의 거절 작업물을 인식하는 단계;
상기 분할 작업물의 할당을 거절한 거절 작업자로부터 거절 사유를 획득하는 단계; 및
상기 거절 사유에 기초하여, 상기 적어도 하나의 거절 작업물을 다른 작업자에게 할당하는 단계;
를 더 포함하는,
긱 워커 QA 플랫폼 작업자를 위한 QA 업무 할당 및 작업 결과물 취합 방법.
According to claim 1,
After allocating the plurality of divided workpieces to a plurality of workers for each device environment, recognizing at least one rejected workpiece of which assignment is rejected among the plurality of divided workpieces;
Obtaining a reason for refusal from a refusal worker who rejected the assignment of the division work; and
allocating the at least one rejected job to another worker based on the rejection reason;
Including more,
How to assign QA tasks and collect work products for gig worker QA platform workers.
상기 거절 사유에 기초하여, 상기 적어도 하나의 거절 작업물을 다른 작업자에게 할당하는 단계는,
상기 거절 사유가 단순 거절인 경우, 상기 추가 리워드 없이 다른 작업자에게 할당하는 단계; 및
상기 거절 작업자에게 작업물 할당이 기설정된 횟수만큼 제한되는 패널티를 부여하는 단계;
를 포함하는,
긱 워커 QA 플랫폼 작업자를 위한 QA 업무 할당 및 작업 결과물 취합 방법.
According to claim 9,
Allocating the at least one rejected work to another worker based on the reason for rejection includes:
allocating to another worker without the additional reward when the reason for the rejection is simple rejection; and
assigning a penalty limited to a predetermined number of work assignments to the rejected worker;
including,
How to assign QA tasks and collect work products for gig worker QA platform workers.
상기 거절 사유에 기초하여, 상기 적어도 하나의 거절 작업물을 다른 작업자에게 할당하는 단계는,
상기 거절 사유가 단순 거절이 아닌 경우, 상기 적어도 하나의 거절 작업물에 대한 작업 난이도를 결정하는 단계;
상기 적어도 하나의 거절 작업물에 상기 작업 난이도에 대응하는 상기 추가 리워드를 부여하는 단계; 및
상기 추가 리워드가 부여된 상기 적어도 하나의 거절 작업물을 상기 긱 워커 QA 플랫폼에 공지하여, 상기 적어도 하나의 거절 작업물의 처리를 희망하는 다른 작업자에게 할당하는 단계;
를 포함하는,
긱 워커 QA 플랫폼 작업자를 위한 QA 업무 할당 및 작업 결과물 취합 방법.
According to claim 9,
Allocating the at least one rejected work to another worker based on the reason for rejection includes:
determining a difficulty level of the at least one rejected work when the reason for rejection is not a simple rejection;
granting the additional reward corresponding to the difficulty of the task to the at least one rejected work; and
notifying the gig worker QA platform of the at least one rejected work to which the additional reward has been granted, and allocating the at least one rejected work to another worker desiring to process the at least one rejected work;
including,
How to assign QA tasks and collect work products for gig worker QA platform workers.
상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서;
를 포함하고,
상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
제 1 항의 방법을 수행하는, 장치.
a memory that stores one or more instructions; and
a processor that executes the one or more instructions stored in the memory;
including,
By executing the one or more instructions, the processor:
An apparatus that performs the method of claim 1 .
A computer program stored in a computer-readable recording medium to be combined with a computer, which is hardware, to perform the method of claim 1.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020220143620A KR102506055B1 (en) | 2022-11-01 | 2022-11-01 | Method, apparatus and computer program for task assignment and gathering work results for gig workers qa platform worker |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020220143620A KR102506055B1 (en) | 2022-11-01 | 2022-11-01 | Method, apparatus and computer program for task assignment and gathering work results for gig workers qa platform worker |
Publications (1)
Publication Number | Publication Date |
---|---|
KR102506055B1 true KR102506055B1 (en) | 2023-03-06 |
Family
ID=85509885
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020220143620A KR102506055B1 (en) | 2022-11-01 | 2022-11-01 | Method, apparatus and computer program for task assignment and gathering work results for gig workers qa platform worker |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102506055B1 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102244697B1 (en) * | 2020-05-18 | 2021-04-26 | 주식회사 크라우드웍스 | Project curation method considering worker’s tendency of crowdsourcing based projects for artificial intelligence training data generation |
KR20210150962A (en) * | 2020-06-03 | 2021-12-13 | 주식회사 크라우드웍스 | Method for distributing functional element unit work of crowdsourcing based project for artificial intelligence training data generation |
-
2022
- 2022-11-01 KR KR1020220143620A patent/KR102506055B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102244697B1 (en) * | 2020-05-18 | 2021-04-26 | 주식회사 크라우드웍스 | Project curation method considering worker’s tendency of crowdsourcing based projects for artificial intelligence training data generation |
KR20210150962A (en) * | 2020-06-03 | 2021-12-13 | 주식회사 크라우드웍스 | Method for distributing functional element unit work of crowdsourcing based project for artificial intelligence training data generation |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11062240B2 (en) | Determining optimal workforce types to fulfill occupational roles in an organization based on occupational attributes | |
Kunduru | Recommendations to advance the cloud data analytics and chatbots by using machine learning technology | |
CN104182378A (en) | Information processing apparatus, information processing method, and program | |
KR102484694B1 (en) | Method, apparatus and computer program for inspecting work quality of gig workers qa platform worker and calculating rewards | |
US20240193520A1 (en) | Decision flowchart-based environmental modeling method and apparatus, and electronic device | |
WO2016057001A1 (en) | A computer implemented method and system for automatically modelling a problem and orchestrating candidate algorithms to solve the problem | |
Vera-Rivera et al. | Microservices backlog-a model of granularity specification and microservice identification | |
WO2023050143A1 (en) | Recommendation model training method and apparatus | |
KR20240072100A (en) | Method, server, and computer program for providing project schedule management service using summary extracted from message analysis | |
Jahan et al. | A novel approach for software requirement prioritization | |
KR102506055B1 (en) | Method, apparatus and computer program for task assignment and gathering work results for gig workers qa platform worker | |
KR102505411B1 (en) | Method, apparatus and computer program for task assignment and monitoring for gig workers qa platform worker | |
KR102500433B1 (en) | Method, apparatus and computer program for automatically generating test case for software quality assurance | |
US11797161B2 (en) | Systems for generating sequential supporting answer reports | |
US11803464B2 (en) | System for automatic identification and selection of optimization metrics and accompanying models in experimentation platforms | |
CN114510405B (en) | Index data evaluation method, apparatus, device, storage medium, and program product | |
US11556864B2 (en) | User-notification scheduling | |
KR102496337B1 (en) | Method, apparatus and computer program for assigning test tasks for software quality assurance | |
KR102536392B1 (en) | Method, apparatus and computer program for providing guide to create user customized test case for software quality assurance | |
Kılınç et al. | Could Mobile Applications' Success be Increased via Machine Learning and Business Intelligence Methods? | |
KR102613915B1 (en) | Method, apparatus and program for automatically changing names of functions and parameters | |
Austin et al. | Using Bayesian networks to validate technology readiness assessments of systems | |
Summer et al. | A Methodology for Intelligent Offloading Decision in Mobile Cloud Computing Environments | |
KR102637198B1 (en) | Method, computing device and computer program for sharing, renting and selling artificial intelligence model through artificial intelligence model production platform | |
US20240177063A1 (en) | Information processing apparatus, information processing method, and non-transitory recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |