KR102319811B1 - 온라인 기반 잡 프로세스의 처리자 선정 방법 및 장치 - Google Patents

온라인 기반 잡 프로세스의 처리자 선정 방법 및 장치 Download PDF

Info

Publication number
KR102319811B1
KR102319811B1 KR1020210080850A KR20210080850A KR102319811B1 KR 102319811 B1 KR102319811 B1 KR 102319811B1 KR 1020210080850 A KR1020210080850 A KR 1020210080850A KR 20210080850 A KR20210080850 A KR 20210080850A KR 102319811 B1 KR102319811 B1 KR 102319811B1
Authority
KR
South Korea
Prior art keywords
processor
information
time
job process
job
Prior art date
Application number
KR1020210080850A
Other languages
English (en)
Inventor
박민우
오진성
김창엽
유상재
박태상
Original Assignee
주식회사 크라우드웍스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 크라우드웍스 filed Critical 주식회사 크라우드웍스
Priority to KR1020210080850A priority Critical patent/KR102319811B1/ko
Application granted granted Critical
Publication of KR102319811B1 publication Critical patent/KR102319811B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311—Scheduling, planning or task assignment for a person or group
    • G06Q10/063114—Status monitoring or status determination for a person or group
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311—Scheduling, planning or task assignment for a person or group
    • G06Q10/063112—Skill-based matching of a person or a group to a task
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0637—Strategic management or analysis, e.g. setting a goal or target of an organisation; Planning actions based on goals; Analysis or evaluation of effectiveness of goals
    • G06Q10/06375—Prediction of business process outcome or impact based on a proposed change
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06398—Performance of employee with respect to a job function
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/105—Human resources

Landscapes

  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Engineering & Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Theoretical Computer Science (AREA)
  • Educational Administration (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

본 발명은 온라인 기반 잡 프로세스의 처리자 선정 방법 및 장치에 관한 것이다. 본 발명의 일 실시예에 따른 온라인 기반 잡 프로세스의 처리자 선정 방법에 있어서, 기 수행된 적어도 하나의 잡 프로세스 별로 투입된 각 처리자의 수행정보 및 로그정보를 기반으로 처리자 프로파일을 생성하는 단계; 오픈된 잡 프로세스 정보가 입력되면, 상기 오픈된 잡 프로세스 정보를 처리자 검출조건을 생성하는 단계; 상기 처리자 프로파일을 기반으로 상기 각 처리자 중에서 상기 검출조건에 만족되는 적어도 하나의 처리자를 검출하는 단계; 및 상기 검출된 적어도 하나의 처리자를 상기 오픈된 잡 프로세스의 처리자로 선정하는 단계;를 포함하고, 상기 처리자 프로파일은, 상기 각 처리자의 인적사항 정보, 소개 정보, 숙련도 정보 및 예상 접속 시간 정보를 포함하며, 상기 숙련도 정보 및 상기 예상 접속 시간 정보는 각각의 머신러닝 모델을 이용하여 추출된 추출값을 포함하고, 상기 처리자 검출조건은 상기 숙련도 정보 및 상기 예상 접속 시간 정보를 기반으로 생성할 수 있다.

Description

온라인 기반 잡 프로세스의 처리자 선정 방법 및 장치{METHOD AND APPARATUS FOR SELECTING WORKER OF JOB PROCESS BASED ON ONLINE}
본 발명은 온라인 기반 잡 프로세스의 처리자 선정 방법 및 장치에 관한 것으로, 보다 상세하게는 처리자의 숙련도 및 예상 접속 시간에 기반하여 잡 프로세스에 투입할 처리자를 선정할 수 있도록 하는 온라인 기반 잡 프로세스의 처리자 선정 방법 및 장치에 관한 것이다.
최근, 기업 활동의 일부 과정에 일반 대중을 참여시키는 크라우드소싱 기반으로 많은 양의 데이터를 수집 및 가공하는 기업들이 늘고 있다. 즉, 기업은 하나의 잡 프로세스를 오픈하여 일반 대중, 즉 처리자가 해당 잡 프로세스에 참여하게 함으로써, 처리자에 의해 완료된 작업 결과를 통해 필요한 정보를 수집하게 된다.
이때, 기업은 보다 신뢰도가 높은 정보를 수집하기 위해, 처리자에 의해 완료된 작업 결과를 검수자에게 배정하여 검수 작업을 수행하도록 한다.
구체적으로, 하나의 잡 프로세스가 오픈되면, 복수의 처리자 각각에게 복수의 작업이 배정된다. 각각의 처리자는 배정받은 복수의 작업을 수행하고, 작업 결과를 제공한다. 이후, 복수의 검수자 각각에게 작업 결과에 대한 복수의 검수 작업이 배정되고, 각각의 검수자는 배정받은 복수의 검수 작업을 수행하게 된다.
한편, 잡 프로세스를 진행함에 있어서, 처리자는 검수자에 의해 작업이 반려될 경우, 재작업을 수행하여 다시 제출하여 검수자에게 재검수를 받아야 한다. 하지만 성실하게 작업을 하고 싶은 처리자에게 불성실한 검수자가 배정될 경우, 금방 완료될 수 있는 작업이 완료되지 못하여 처리자의 동기 부여가 낮아지게 된다.
마찬가지로, 성실히 검수를 수행하고 싶은 검수자에게 불성실한 처리자가 배정될 경우, 반려 사유가 발생하여 반려하였음에도 불구하고 재작업이 제출되지 않아 해당 검수를 완료하지 못해 검수자의 동기 부여 역시 꺾이게 된다.
이는 결국 처리자와 검수자의 수입 문제로 이어지게 되어, 성실 처리자 및 성실 검수자의 잡 프로세스 이탈을 발생시키게 되며, 전체 잡 프로세스의 진행 속도와 품질을 저하시키는 문제를 가져오게 된다.
또한, 잡 프로세스 진행 중인 상황에서 특정 처리자에 대한 반려율이 높은 경우나 진행 속도가 더뎌진 경우에 다른 처리자를 투입 또는 대체하기 위해 해당 잡 프로세스에 보다 적합한 처리자를 찾아야 할 필요가 있다.
따라서, 잡 프로세스 작업이 원활하게 진행될 수 있도록 하기 위해 해당 잡 프로세스에 참여할 처리자를 선정할 시, 관리자가 별도의 검색 작업을 수행할 필요없이 복수의 처리자들 중 최적의 처리자를 매칭하여 선정해줄 수 있도록 하는 기술이 개발될 필요가 있다.
한국등록특허공보 제10-2232859호 (등록일: 2021년 03월 22일)
본 발명은 상기한 바와 같은 문제점을 해결하기 위하여 제안된 것으로, 온라인 기반 잡 프로세스가 원활하게 진행될 수 있도록 하기 위해 해당 잡 프로세스에 참여할 처리자를 선정할 시, 관리자가 별도의 검색 작업을 수행할 필요없이 복수의 처리자들 중 최적의 처리자를 매칭하여 선정해줄 수 있도록 하는 온라인 기반 잡 프로세스의 처리자 선정 방법 및 장치를 제공함에 있다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 온라인 기반 잡 프로세스의 처리자 선정 방법은, 기 수행된 적어도 하나의 잡 프로세스 별로 투입된 각 처리자의 수행정보 및 로그정보를 기반으로 처리자 프로파일을 생성하는 단계; 오픈된 잡 프로세스 정보가 입력되면, 상기 오픈된 잡 프로세스 정보를 처리자 검출조건을 생성하는 단계; 상기 처리자 프로파일을 기반으로 상기 각 처리자 중에서 상기 검출조건에 만족되는 적어도 하나의 처리자를 검출하는 단계; 및 상기 검출된 적어도 하나의 처리자를 상기 오픈된 잡 프로세스의 처리자로 선정하는 단계;를 포함하고, 상기 처리자 프로파일은 상기 각 처리자의 인적사항 정보, 소개 정보, 숙련도 정보 및 예상 접속 시간 정보를 포함하며, 상기 숙련도 정보 및 상기 예상 접속 시간 정보는 각각의 머신러닝 모델을 이용하여 추출된 추출값을 포함하고, 상기 처리자 검출조건은 상기 숙련도 정보 및 상기 예상 접속 시간 정보를 기반으로 생성할 수 있다.
한편, 본 발명의 일 실시예에 따른 온라인 기반 잡 프로세스의 처리자 선정 장치는, 통신모듈; 오픈된 잡 프로세스 정보와, 기 수행된 적어도 하나의 잡 프로세스 별로 투입된 각 처리자의 수행정보 및 로그정보를 저장하고, 처리자를 선정하기 위해 필요한 적어도 하나의 프로세스를 저장하는 저장모듈; 복수개의 추출모듈로 구성되며, 상기 오픈된 잡 프로세스 정보 및 상기 기 수행된 적어도 하나의 잡 프로세스 정보를 이용하여 각각 정보들을 추출하는 추출모듈; 상기 오픈된 잡 프로세스 정보를 기반으로 처리자의 검출조건을 생성하는 검출모듈; 및 상기 프로세스에 따라 동작하는 제어모듈;을 포함하며, 상기 제어모듈은, 상기 프로세스를 기반으로, 상기 기 수행된 적어도 하나의 잡 프로세스 별로 투입된 각 처리자의 수행정보 및 로그정보를 기반으로 처리자 프로파일을 생성하고, 오픈된 잡 프로세스 정보가 입력되면, 상기 오픈된 잡 프로세스 정보를 기반으로 처리자 검출조건을 생성하고, 상기 처리자 프로파일을 기반으로 상기 각 처리자 중에서 상기 검출조건에 만족되는 적어도 하나의 처리자를 검출하고, 상기 검출된 적어도 하나의 처리자를 상기 오픈된 잡 프로세스의 처리자로 선정하며, 상기 처리자 프로파일은 상기 각 처리자의 인적사항 정보, 소개 정보, 숙련도 정보 및 예상 접속 시간 정보를 포함하며, 상기 숙련도 정보 및 상기 예상 접속 시간 정보는 상기 복수개의 추출모듈에 각각 구비된 머신러닝 모델을 이용하여 추출된 추출값을 포함하고, 상기 처리자 검출조건은 상기 숙련도 정보 및 상기 예상 접속 시간 정보를 기반으로 생성할 수 있다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명에 의하면, 온라인 기반 잡 프로세스가 원활하게 진행될 수 있도록 하기 위해 해당 잡 프로세스에 참여할 처리자를 선정할 시, 관리자가 별도의 검색 작업을 수행할 필요없이 복수의 처리자들 중 최적의 처리자를 매칭하여 선정해줄 수 있도록 하는 온라인 기반 잡 프로세스의 처리자 선정 방법 및 장치를 제공함에 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 온라인 기반 잡 프로세스의 처리자를 선정하기 위한 시스템의 구조를 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 온라인 기반 잡 프로세스의 진행 프로세스를 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 온라인 기반 잡 프로세스의 처리자 선정 장치의 구성을 나타내는 블록도이다.
도 4는 본 발명의 일 실시예에 따른 처리자 선정 장치에서 오픈된 잡 프로세스의 처리자를 선정하기 위한 데이터 처리 흐름을 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른 처리자 선정 장치의 처리자 선정 방법을 나타내는 순서도이다.
도 6은 본 발명의 일 실시예에 따른 처리자 선정 장치의 제1 모듈에서 숙련도 정보를 생성하는 과정을 나타내는 순서도이다.
도 7은 본 발명의 일 실시예에 따른 처리자 선정 장치의 제2 모듈에서 예상 접속 시간 정보를 생성하는 과정을 나타내는 순서도이다.
도 8은 본 발명의 일 실시예에 따른 처리자 선정 장치의 제3 추출모듈에서 처리자 검출조건을 생성하는 과정을 나타내는 순서도이다.
도 9는 본 발명의 일 실시예에 따른 처리자 선정 장치의 검출모듈에서 처리자를 선정하는 과정을 나타내는 순서도이다.
도 10은 본 발명의 일 실시예에 따른 제1 추출모듈에서 제1 머신러닝 모듈을 이용하여 숙련도값을 추출하는 일 예를 나타내는 도면이다.
도 11은 본 발명의 일 실시예에 따른 제2 추출모듈에서 제2 머신러닝 모듈을 이용하여 예상 접속 시간값을 추출하는 일 예를 나타내는 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.
명세서에서 사용되는 "부" 또는 "모듈"이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 "모듈"은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 "모듈"은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 "모듈"은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 "모듈"은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 "모듈"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 "모듈"들로 결합되거나 추가적인 구성요소들과 "부" 또는 "모듈"들로 더 분리될 수 있다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
본 명세서에서 잡 프로세스는 기업 활동 일부 과정에 대중을 참여시키는 크라우드소싱(Crowd Sourcing)을 기반으로 수행되는 프로젝트에 해당하는 것으로, 하위 동작의 집합으로서 태스크를 더 포함할 수도 있다.
본 명세서에서 평가 함수 및/또는 평가 점수는 잡 프로세스의 수행 결과(결과물, 작업물 등)를 평가하는 방법 및 평가를 통하여 도출되는 출력 점수를 의미할 수 있다.
온라인 기반 잡 프로세스를 작업하기 위해서는 이를 작업할 수 있는 처리자를 선정하여 작업을 배정해야 하는데, 그 처리자들을 선정하는 과정 역시 적지 않은 비용과 시간이 소요된다.
이러한 문제를 해소하기 위하여 해당 잡 프로세스와 유사한 잡 프로세스를 선별하고, 유사한 잡 프로세스에 참여한 처리자들을 해당 잡 프로세스의 작업에 배정하는 방법이 고려될 수 있다.
유사한 잡 프로세스에 해당하는지 여부를 판단하는 중요한 일 요소로는 잡 프로세스를 수행하는데 필요한 기능요소가 있다. 예를 들어, 사진 수집과 같은 잡 프로세스의 경우 '촬영'이라는 기능요소를 통해 잡 프로세스가 수행되는데, 이전 수행된 잡 프로세스의 기능요소에 '촬영'이 포함되어 있고, 새로 오픈할 잡 프로세스 역시 '촬영' 기능요소가 포함되어 있는 경우 유사한 잡 프로세스로 판단할 수 있다.
하지만, 잡 프로세스의 기능요소만으로 서로 유사하다고 단정짓기에는 무리가 있다. 왜냐하면, 각 잡 프로세스는 서로 다른 난이도를 갖고 있으며, 위 '촬영' 예시의 경우만을 보더라도 '어떤 사진'을 수집해야 하느냐에 따라서 잡 프로세스 간 난이도는 많은 차이가 있다.
또한, 잡 프로세스의 기능요소만을 기준으로 유사한 잡 프로세스라 판단할 경우 너무나도 많은 잡 프로세스가 서로 유사한 잡 프로세스로 취급될 수 있다. 특히, 이러한 문제는 잡 프로세스를 수행하는 온라인 작업 공간 상의 화면에 단순한 기능요소만을 포함하는 단순한 잡 프로세스일수록 더욱 문제가 된다. 한편, 유사한 잡 프로세스에 참여한 이력이 있는 처리자들 간에도 숙련도에 차이가 있고, 작업이 가능한 시간이 상이하기 때문에 해당 잡 프로세스를 기한 이내에 처리하기 위해서는 이러한 다양한 요소들이 고려되어야 할 필요가 있다.
따라서, 잡 프로세스의 기능요소와 더불어 처리자의 숙련도, 작업 가능 시간 등을 선택적으로 고려하여 처리자 프로파일을 생성하고, 그 생성된 처리자 프로파일을 기반으로 해당 잡 프로세스에 참여시키기 위한 처리자를 선정할 수 있도록 하는 기술이 필요하다.
본 발명은 처리자의 숙련도, 작업 가능 시간 등을 고려한 처리자 프로파일 기반으로 온라인 기반 잡 프로세스의 특성에 따라 처리자를 인적자원으로 선정하기 위한 온라인 기반 잡 프로세스의 처리자 선정 장치 및 방법에 관한 것으로서, 이하에서 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다. 다만, 설명의 편의를 위하여 처리자로 한정하였으나, 이는 작업자 및 검수자는 물론 그 외 인적자원에 해당하는 다른 대상이 될 수도 있다.
도 1은 본 발명의 일 실시예에 따른 온라인 기반 잡 프로세스의 처리자를 선정하기 위한 시스템의 구조를 나타내는 도면이다.
도 1을 참조하면, 온라인 기반 잡 프로세스의 처리자를 선정하기 위한 시스템은 처리자 선정 장치(100), 의뢰 서버(200) 및 처리자 단말(300)로 구성되어 수행되며, 이때, 처리자 단말(300)은 복수의 처리자를 포함하여 구성될 수 있으며, 여기서, 처리자는 작업자(제1 처리자) 및/또는 검수자(제2 처리자)일 수 있다. 다만, 설명의 편의를 위하여 필요에 따라 처리자로 통칭하여 설명하지만, 그 인력자원의 대상이 이에 한정되는 것은 아니다.
처리자 선정 장치(100)는 온라인 기반 잡 프로세스의 처리자를 선정하기 위한 기업(업체)의 장치 또는 단말을 의미한다.
이 처리자 선정 장치(100)는 의뢰 서버(200)로부터 제품 또는 서비스에 대한 잡 프로세스를 의뢰받으면 그 의뢰된 잡 프로세스를 플랫폼 상에 오픈하고, 의뢰 서버(200)의 의뢰 조건(처리자 요건)에 따라 오픈된 잡 프로세스에 적합한 적어도 하나의 처리자(제1 처리자 및/또는 제2 처리자)를 검출하여 작업을 수행할 처리자로서 선정한다.
한편, 처리자 선정 장치(100)는 그 선정된 처리자의 단말인 처리자 단말(300)에 각각 작업을 배정하고, 그 선정된 적어도 하나의 처리자 단말(300)로부터 작업 결과가 수신되면, 그 각각의 작업 결과를 기반으로 하는 최종 산출물을 의뢰 서버(200)로 송신한다.
이후, 처리자 선정 장치(100)는 오픈된 잡 프로세스를 플랫폼 상에서 종료하고, 그에 대한 적어도 하나의 처리자 각각에 대한 초종 수행정보를 저장하여 추후 다른 잡 프로세스에 대한 처리자를 선정하기 위한 데이터베이스 정보로서 관리한다.
의뢰 서버(200)는 잡 프로세스를 의뢰하는 기업이나 개인, 즉, 의뢰자의 장치를 의미한다.
그 의뢰자는 의뢰 서버(200)를 통해 인공지능 학습데이터의 생성을 위한 소스데이터의 수집 또는 데이터 어노테이션 등을 목적으로 잡 프로세스를 의뢰한다. 잡 프로세스를 통해서 생성된 데이터는 지도 학습, 비지도 학습, 강화 학습 등의 임의의 기계 학습의 학습데이터로 활용될 수 있다. 소스데이터의 수집은 녹음된 음성 수집, 사진 수집 등 가공되지 않은 데이터를 수집하는 것을 의미한다. 데이터 어노테이션은 텍스트, 사진, 비디오 등의 소스 데이터에 관련 주석데이터를 입력하는 것을 의미한다. 예들 들어, 데이터 어노테이션은 주어진 지문에서 개체를 찾는 것, 유사한 문장을 찾는 것 등이 있을 수 있으나 이에 제한되지 않는다. 한편, 전술한 잡 프로세스의 종류는 일 실시예에 불과하며, 의뢰자의 설계에 따라 다양한 잡 프로세스가 본 발명에서 취급될 수 있다.
의뢰 서버(200)는 적어도 하나의 잡 프로세스(잡 프로세스 A, 잡 프로세스 B, ?? )를 의뢰하기 위해 각 잡 프로세스의 작업 데이터와 그 작업 데이터의 종류, 작업 대상(객체), 작업 대상 조건, 작업 형태, 작업 완료 기한, 의뢰자 및 처리자 요건 중 적어도 하나를 포함하는 작업 요청 정보를 함께 송신한다. 이때, 작업 데이터는 사진, 동영상과 같은 이미지나, 문서와 같은 텍스트일 수 있고, 작업 요청 정보는 정형화되어 있는 이미지 문서 또는 전자 문서이거나 정형화되어 있지 않은 텍스트 문서일 수 있다. 또한, 작업 형태는 바운딩(Bounding), 세그멘테이션(Segmentation), 센티멘트(Sentiment), OCR(Optical Character Recognition), 랜드마크, 라벨링(Labeling), 속성 분류, 태깅(Tagging), 구간 추출, 특성 평가 등일 수 있다.
처리자 단말(300)은 플랫폼 상에 오픈된 잡 프로세스에 투입하기 위한 처리자로 선정된 일반 대중의 단말을 의미한다. 그 선정된 처리자는 처리자 단말(300), 즉, 소정의 단말을 이용하여 작업을 수행한다. 여기서, 처리자 단말(300)은 복수개로 구성될 수 있으며, 그 개수는 한정되지 않지만 설명의 편의를 위하여 작업자(제1 처리자)의 단말인 제1 처리자 단말(301) 및 검수자(제2 처리자)의 단말인 제2 처리자 단말(302)을 포함하는 것으로 한정하였다. 제1 처리자 단말(301) 및 제2 처리자 단말(302)은 처리자 선정 장치(100)가 제공하는 애플리케이션 또는 웹사이트 등을 통해 플랫폼 상에 오픈된 잡 프로세스에 참여할 수 있다.
제1 처리자 단말(301) 및 제2 처리자 단말(302)은 처리자 선정 장치(100)로부터 플랫폼 상에 오픈된 잡 프로세스에 작업 요청이 수신되면, 그 잡 프로세스에 대한 작업 참여 여부를 결정하여 알린다.
작업 참여 시, 제1 처리자 단말(301)은 소스 데이터의 수집 또는 데이터 어노테이션 등의 작업을 수행하고, 그 작업 결과를 플랫폼 상에 송신한다.
한편, 제2 처리자 단말(302)은 제1 처리자 단말(301)에 의해 수행된 작업 결과에 대한 검수를 수행한다. 제2 처리자 단말(302)은 검수 수행 결과로서, 통과 처리 또는 반려 처리를 할 수 있고, 반려 처리시 반려 사유를 입력할 수 있다. 통과 처리 시, 재작업과 이로 인한 재검수가 필요하지 않으므로 검수 완료와 동일한 의미를 가진다.
한편, 제1 처리자 단말(301) 및 제2 처리자 단말(302)은 각각 이동 단말기, 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 데스크탑 컴퓨터(desktop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라 북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display) 등과 같은 컴퓨터 장치 또는 전기 통신 장치일 수 있으나, 이에 한정되는 것은 아니다.
도 2는 본 발명의 일 실시예에 따른 온라인 기반 잡 프로세스의 진행 프로세스를 설명하기 위한 흐름도이다.
의뢰 서버(200)는 적어도 하나의 잡 프로세스에 대한 정보를 포함하는 잡 프로세스 정보를 처리자 선정 장치(100)로 송신함으로써 작업을 의뢰한다(S201). 이때, 잡 프로세스 정보는 오픈된 잡 프로세스의 작업 데이터 및 그 작업 데이터를 작업하기 위한 작업 요청 정보를 포함한다. 여기서, 작업 요청 정보는 작업 데이터의 종류, 작업 대상, 작업 대상 조건, 작업 형태, 작업 완료 기한, 의뢰자 및 처리자 요건 중 적어도 하나를 포함한다.
적어도 하나의 잡 프로세스 각각의 데이터 종류, 작업 형태, 작업 요소, 작업 완료 기한, 의뢰자, 처리자 요건(의뢰 조건, 자격 조건, 검출 조건 등)에 대한 정보 중 적어도 하나를 포함할 수 있다.
처리자 선정 장치(100)는 의뢰 서버(200)로부터 잡 프로세스 정보가 수신되면, 잡 프로세스 정보를 기반으로 의뢰된 적어도 하나의 잡 프로세스를 플랫폼 상에 오픈하고(S203), 기 수행된 잡 프로세스 별로 투입된 각 처리자에 대한 정보를 기반으로 처리자 프로파일을 생성(갱신)한다(S205). 이때, 처리자 프로파일은 새로이 생성될 수도 있지만, 기 생성되어 있을 수 있다. 처리자 프로파일은 각 처리자의 수행정보 및/또는 로그정보가 변경될 때 마다 그 변경된 정보가 고려(추가)되어 갱신될 수 있기 때문에, 기 생성된 처리자 프로파일이 존재하는 경우에는 가장 최근 갱신된 처리자 프로파일을 기반으로 다시 한번 갱신을 수행한다.
이후, 처리자 선정 장치(100)는 잡 프로세스 정보에 포함된 처리자 요건을 기반으로 해당 잡 프로세스에 적합한 처리자를 검출하기 위한 처리자 검출조건을 생성하고(S207), 처리자 프로파일에서 그 생성된 처리자 검출조건을 만족하는 처리자를 검출하여 매칭함으로써 처리자를 선정한다(S209).
이때, 처리자 요건은 처리자의 성별, 나이, 거주지 국가, 숙련도, 작업 가능 시간, 기 완료된 잡 프로세스 중 오픈된 잡 프로세스와 유사한 잡 프로세스에 투입된 횟수 및 작업 소요 시간 등을 포함할 수 있으며, 이는 의뢰자에 의해 선택적으로 고려될 수 있다. 즉, 처리자 선정 장치(100)는 의뢰자에 의해 선택 또는 입력된 처리자 요건을 고려하여 처리자 검출조건을 생성(설정)하고, 처리자 프로파일에서 그 처리자 검출조건을 만족하는 처리자를 검출하여 매칭함으로써 처리자를 선정한다.
한편, 앞서 설명한 바와 같이, 처리자 프로파일은 각 처리자의 수행정보 및/또는 로그정보가 변경될 때 마다 그 변경된 정보가 고려되어 갱신되는 것으로, S205 단계 내지 S209 단계는 반복되어 수행될 수 있다.
앞서 설명한 바에 따르면, S203 단계에서 잡 프로세스를 오픈한 이후에 S205 단계 내지 S209 단계를 수행하여 처리자를 선정하였으나, 이는 일 실시예에 해당할 뿐, S205 단계 내지 S209 단계를 수행하여 처리자를 선정한 이후에 S203 단계를 수행하여 잡 프로세스를 오픈할 수도 있다. 즉, 그 동작의 순서는 필요(설정)에 따라 변경 가능하며, 이를 한정하지 않는다.
한편, S209 단계 이후, 처리자 선정 장치(100)는 그 선정된 처리자 중 제1 처리자(작업자)에게 작업을 배정하기 위해 제1 처리자 단말(301)로 작업을 요청한다(S211). 그 요청 시에 제1 처리자가 수행해야 하는 작업 데이터 및 그 작업 데이터를 작업하기 위한 작업 요청 정보들을 포함하여 함께 송신할 수 있다.
이후, 제1 처리자는 제1 처리자 단말(301)을 통해 자신에게 배정된 작업에 대한 수행 여부를 결정하고, 작업을 수행하고자 하는 경우, 그 배정된 작업을 수행한 후(SS213), 그 작업 결과를 처리자 선정 장치(100)로 제공(송신)한다(S215).
그 선정된 처리자 중 제1 처리자(작업자)에게 작업을 배정하기 위해처리자 선정 장치(100)는 제1 처리자 단말(301)로부터 작업 결과가 수신되면, 앞서 선정된 처리자 중 제2 처리자(검수자)에게 해당 작업 결과에 대한 검수를 배정하기 위해 제2 처리자 단말(302)로 검수를 요청한다(S217). 이때, 처리자 선정 장치(100)는 잡 프로세스의 난이도에 따라 설정된 등급 또는 제2 처리자의 자격 요건에 따라 수행 중인 전체 잡 프로세스 중 적합한 잡 프로세스만 제2 처리자에게 노출되도록 할 수 있다.
이후, 제2 처리자는 제2 처리자 단말(302)을 통해 자신에게 배정된 작업 결과에 대한 검수를 수행하여 그 검수 결과를 처리자 선정 장치(100)로 제공(송신)한다(S221). 이때, 제2 처리자는 작업 결과로서 검수 통과 또는 반려 여부를 전달할 수 있으며, 제1 처리자에 의해 작업이 적합하게 수행된 것으로 판단하면 검수 통과(완료) 처리하고, 제1 처리자에 의해 작업이 잘못 수행된 것으로 판단하면 반려 처리한다. 반려 처리 시, 제2 처리자는 어떤 이유로 작업이 잘못된 것으로 판단했는지에 대한 반려 사유를 함께 입력하여 제공할 수 있다.
만약, S211 단계를 통해 처리자 선정 장치(100)가 제2 처리자 단말(302)로부터 검수 결과로서 통과 처리가 수신된 경우, 처리자 선정 장치(100)는 잡 프로세스의 작업 기간이 종료되거나 충분한 유효 데이터를 확보하게 되면 해당 잡 프로세스를 종료 처리하고(S223), 검수 완료된 작업 결과를 유효한 데이터로 사용하여 잡 프로세스의 최종 결과(물)를 생성한 후, 이를 의뢰 서버(200)로 제공(송신)한다(S225).
이때, 잡 프로세스 종료 전, 처리자 선정 장치(100)는 각 처리자의 수행 결과를 평가하고, 그 평가에 따라 작업 비용 및 검수 비용을 산출하여 각 처리자에게 지급할 수 있다.
만약, S211 단계를 통해 처리자 선정 장치(100)가 제2 처리자 단말(302)로부터 검수 결과로서 반려 처리가 수신된 경우, 처리자 선정 장치(100)는 내부적으로 작업 또는 검수를 다시 수행하거나, 해당 제1 처리자 또는 다른 제1 처리자에게 다시 작업을 요청하여 재작업을 수행하도록 할 수도 있다.
한편, 도 2에는 도시하지 않았으나, 제1 처리자 단말(301) 및 제2 처리자 단말(302)은 각각 S211 단계 및 S219 단계에서 처리자 선정 장치(100)로부터 요청된 작업 수행이 불가한 경우, 작업 수행이 불가함을 처리자 선정 장치(100)에 알릴 수도 있다. 이때, 작업 불가 사유를 입력하여 어떤 이유에 의해 작업이 불가한지를 함께 알릴 수도 있다.
도 1 및 도 2에서는 단순히 처리자 선정 장치(100), 의뢰 서버(200) 및 처리자 단말(300)로 표현하였으나, 이들은 각 의뢰자, 처리자, 관리자, 참여자 등에 의해서 운용되는 스마트폰, 태블릿, PDA, 랩톱, 데스크톱, 서버 등과 같은 컴퓨터 장치 또는 전기 통신 장치를 의미한다.
도 3은 본 발명의 일 실시예에 따른 온라인 기반 잡 프로세스의 처리자 선정 장치의 구성을 나타내는 블록도이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 온라인 기반 잡 프로세스의 처리자 선정 장치(100)는 통신모듈(110), 저장모듈(130), 추출모듈(150), 검출모듈(170) 및 제어모듈(190)을 포함한다.
통신모듈(110)은 처리자를 선정하기 위해 필요한 정보 또는 데이터들을 의뢰 서버(200), 제1 처리자 단말(301) 및/또는 제2 처리자 단말(302)와 송수신한다. 즉, 이 통신모듈(110)은 의뢰 서버(200), 제1 처리자 단말(301) 및/또는 제2 처리자 단말(302), 그외 다른 장치들과의 통신을 수행하기 위한 것으로, 무선 인터넷 기술들에 따른 통신망에서 무선 신호를 송수신하도록 한다.
무선 인터넷 기술로는, 예를 들어 WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), WiBro(Wireless Broadband), WiMAX(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등이 있으며, 식사 모니터링 장치(100)는 앞에서 나열되지 않은 인터넷 기술까지 포함한 범위에서 적어도 하나의 무선 인터넷 기술에 따라 데이터를 송수신하게 된다.
근거리 통신(Short range communication)을 위한 것으로서, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다. 이러한, 근거리 무선 통신망(Wireless Area Networks)을 식사 모니터링 장치(100)와 이용자 단말(200) 간 무선 통신을 지원할 수 있다. 이때, 근거리 무선 통신망은 근거리 무선 개인 통신망(Wireless Personal Area Networks)일 수 있다.
저장모듈(130)은 오픈된 잡 프로세스 정보, 기 수행된 적어도 하나의 잡 프로세스 정보를 저장하고, 처리자를 선정하기 위해 필요한 적어도 하나의 프로세스를 저장한다.
추출모듈(150)은 처리자 프로파일을 생성하기 위한 정보들을 추출하기 위한 것으로, 그 정보들을 각각 추출하기 위해 복수개의 추출모듈을 포함하여 구성될 수 있다. 도 3에서는 제1 추출모듈(151) 내지 제3 추출모듈(153)을 포함하는 구성으로 한정하여 도시하였으나, 이는 일 실시예일 뿐, 그 개수는 한정하지 않는다.
구체적으로, 추출모듈(150)은 제1 추출모듈(151), 제2 추출모듈(152) 및 제3 추출모듈(153)을 포함하여 구성될 수 있다.
제1 추출모듈(151)은 기 수행된 잡 프로세스 별 투입된 각 처리자의 수행정보로부터 숙련도 정보를 생성한다. 이때, 제1 추출모듈(151)은 제1 머신러닝 모델을 이용하여 숙련도 값을 추출하고, 그 추출된 숙련도 값을 포함하는 숙련도 정보를 생성한다. 여기서, 제1 머신러닝 모델은 다중 분류 모델(Multi-classification model)일 수 있으며, 다중 분류 모델로서 다중 출력 모델(Multi-output model)을 이용할 수 있다.
이때, 기 수행된 잡 프로세스 별 투입된 각 처리자의 수행정보로서 숙련도 값을 산출하기 위한 데이터로서 작업 형태, 작업 횟수, 작업 소요 시간 및 평가 점수 중 적어도 하나를 추출하여 이용할 수 있다. 또한, 기 수행된 잡 프로세스 전체에 대한 수행정보를 이용하지 않고, 그 중 오픈된 잡 프로세스와 유사한 잡 프로세스에 대한 수행정보만을 이용할 수 있다.
한편, 제2 추출모듈(152)은 기 수행된 잡 프로세스 별 투입된 각 처리자의 로그정보로부터 예상 접속 시간 정보를 생성한다. 이때, 제2 추출모듈(152)은 제2 머신러닝 모델을 이용하여 예상 접속 시간값을 추출하고, 그 추출된 예상 접속 시간값을 포함하는 예상 접속 시간 정보를 생성한다. 여기서, 제2 머신러닝 모델은 LSTM(Long-Short Term Memory)일 수 있으며, 각 요일 별 총 7개의 값이 입력되어 예상 접속 시간값을 추출한다. 이때, 예상 접속 시간값은 각 요일 별 예측 접속 시간대를 포함할 수 있다. 이를 위해 시계열 데이터 분석을 위한 연산식으로서 하기와 같은 <수학식 1>을 이용할 수 있다.
Figure 112021071846092-pat00001
Figure 112021071846092-pat00002
Figure 112021071846092-pat00003
Figure 112021071846092-pat00004
이를 통해 볼 때, LSTM 모델은 it와 gt를 통해 현재 예측 시점 t에 처리자가 로그인 한 시점의 데이터와 그 바로 이전 시점에 처리자가 로그인한 데이터의 은닉 정보 중 일부 데이터를 선택하여 학습이 진행된다. 이때, ft를 통해 선택되지 않은 데이터는 삭제된다. Ct에서는 it, gt 및 ft를 반영하여 데이터를 정하게 되고, 이러한 과정을 반복하여 최종적으로 ot와 ht를 통해 결과값을 도출할 수 있다. 결과적으로, 이러한 수학식들을 통해 처리자의 과거 로그인 시간에 대한 정보를 이용하여 그 처리자의 다음 로그인 시간을 예측할 수 있는 것이다. 이때, LSTM 모델은 각 요일별로 한개씩 총 일곱개의 모델을 구비할 수 있으며, 각 LSTM 모델들은 특정 처리자가 어떤 요일의 어떤 시간대에 다시 로그인을 할 것인지를 예측한다.
한편, 제3 추출모듈(153)은 의뢰 서버(200)로부터 수신된 작업 요청 정보로부터 오픈된 잡 프로세스에 대한 키워드를 추출한다. 이때, 제3 추출모듈(153)은 제3 머신러닝 모델을 이용하여 키워드를 추출하고, 그 추출된 키워드를 포함하는 처리자 검출조건을 생성한다. 이와 같이, 처리자 선정 장치(100)로 수신된 작업 요청 정보를 통해 자동으로 키워드를 추출함으로써, 관리자가 그 작업 요청 정보에 따라 처리자 검출조건을 수동으로 입력할 필요가 없다.
제1 추출모듈(151) 내지 제3 추출모듈(153)을 통해 생성한 각각의 정보 또는 조건은 저장모듈(130)에 저장된다.
검출모듈(170)은 처리자 프로파일에서 제3 추출모듈(153)을 통해 생성한 처리자 검출조건을 이용하여 오픈된 잡 프로세스에 적합한 적어도 하나의 처리자를 검출하여 그 오픈된 잡 프로세스에 매칭함으로써 처리자를 선정한다. 이때, 선정된 처리자는 리스트의 형태로 제공될 수 있으며, 이때, 그 처리자 리스트는 기 설정된 우선순위를 기반으로 정렬될 수 있다. 예를 들어, 우선순위는 해당 잡 프로세스의 참여 횟수, 숙련도, 작업 반려 횟수 및 평가 점수 중 적어도 하나에 대한 순위를 포함할 수 있다.
제어모듈(190)은 제1 추출모듈(151) 및 제2 추출모듈(152)을 통해 생성한 두 정보를 고려하여 처리자 프로파일을 생성하거나, 기 처리자 프로파일이 존재한다면 이를 갱신(업데이트)한다. 또한, 그 처리자 프로파일에서 제3 추출모듈(153)을 통해 생성한 처리자 검출조건을 이용하여 오픈된 잡 프로세스에 적합한 적어도 하나의 처리자를 매칭함으로써 처리자를 선정한다.
제어모듈(190)는 저장모듈(130)에 저장된 프로세스를 기반으로 동작한다. 구체적으로, 의뢰 서버(200)로부터 잡 프로세스에 대한 의뢰가 수신되면 그 잡 프로세스를 오픈하고, 오픈된 잡 프로세스에 투입시킬 처리자를 선정하기 위해서 기 수행된 적어도 하나의 잡 프로세스 별로 투입된 각 처리자의 수행정보 및 로그 정보를 획득한다. 이를 기반으로 처리자 프로파일을 생성하고, 오픈된 잡 프로세스의 작업 요청 정보를 기반으로 처리자의 검출조건을 생성하여 앞서 생성된 처리자 프로파일을 기반으로 그 검출조건에 만족되는 적어도 하나의 처리자를 검출한다. 이렇게 검출된 적어도 하나의 처리자와 그 오픈된 잡 프로세스를 매칭함으로써, 처리자로 선정하도록 한다.
도 4는 본 발명의 일 실시예에 따른 처리자 선정 장치에서 오픈된 잡 프로세스의 처리자를 선정하기 위한 각 데이터 처리 흐름을 나타내는 도면이다.
앞서 도 3에 대해 설명한 바와 같이, 기 수행된 잡 프로세스 별로 투입된 처리자의 수행정보가 획득되면, 제1 추출모듈(151)은 제1 머신러닝 모델을 이용하여 숙련도 값을 추출하여 숙련도 정보를 생성하고, 그 생성된 숙련도 정보 저장 모듈(130)에 저장한다.
또한, 기 수행된 잡 프로세스 별로 투입된 처리자의 로그정보가 획득되면, 제2 추출모듈(152)은 제2 머신러닝 모델을 이용하여 예상 접속 시간값을 추출하여 예상 접속 시간 정보를 생성하고, 그 생성된 예상 접속 시간 정보를 저장 모듈(130)에 저장한다.
이후, 저장 모듈(130)에 저장된 숙련도 정보 및 예상 접속 시간 정보는 처리자 프로파일을 생성 또는 갱신하기 위한 정보로서 이용된다. 즉, 복수의 처리자에 대한 정보를 포함하는 처리자 프로파일에 숙련도 정보 및 예상 접속 시간 정보가 새로이 추가되거나 갱신된다.
한편, 의뢰 서버(200)로부터 잡 프로세스 정보를 수신함으로써 작업 의뢰가 요청되면, 제3 추출모듈(153)이 그 잡 프로세스 정보에 포함된 작업 요청 정보로부터 키워드를 추출하고, 그 추출된 키워드를 기반으로 처리자 검색조건을 생성하여 저장 모듈(130)에 저장한다.
상기에서 설명한 제1 추출모듈(151) 내지 제3 추출모듈(153)에서의 동작들은 모두 동시에 수행될 수도 있으며, 각 소스 데이터에 변경이 있는 경우에 갱신을 위해 개별적으로 수행될 수도 있다.
한편, 처리자 프로파일의 생성 또는 갱신이 완료되고, 작업 요청 정보를 기반으로 하는 키워드 추출 또한 완료되면, 검출모듈(170)이 제4 머신러닝 모델을 기반으로 처리자 프로파일에서 추출된 키워드에 매칭되는 처리자를 검출하고, 이로써 매칭되는 처리자를 오픈된 잡 프로세스를 작업하기 위한 처리자로서 선정한다. 그 검출 결과로서 처리자는 리스트 형태로 제공될 수 있으며, 그 처리자 리스트에는 각 처리자에 대한 숙련도 정보 및 예상 접속 시간 정보가 함께 포함될 수도 있다.
도 5는 본 발명의 일 실시예에 따른 처리자 선정 장치의 처리자 선정 방법을 나타내는 순서도이다.
제어모듈(190)은 기 수행된 잡 프로세스 별 각 처리자의 수행정보 및 로그정보를 획득하고(S201), 그 획득된 수행정보 및 로그정보를 기반으로 처리자 프로파일을 생성하여 저장모듈(130)에 저장한다(S203).
이후, 제어모듈(190)이 의뢰 서버(200)로부터 잡 프로세스 정보를 수신함으로써 잡 프로세스에 대한 작업을 의뢰받으면(S205), 그 잡 프로세스를 오픈하고(S207), 그 요청과 함께 앞서 잡 프로세스 정보에 포함되어 수신된 작업 요청 정보를 기반으로 처리자 검출조건을 생성한다(S209).
이후, 제어모듈(190)은 S203 단계에서 생성된 처리자 프로파일에 포함된 복수의 처리자 정보 중 S209 단계서 생성된 처리자 검출조건을 만족하는 적어도 하나의 처리자를 검출한다(S211). 이때, 처리자 검출조건에는 오픈된 잡 프로세스의 작업 유형과 연관된 키워드를 더 포함할 수 있는데, 제어모듈(190)은 처리자를 검출할 시, 오픈된 잡 프로세스 정보 내에 키워드의 존재 여부를 확인하고, 키워드가 존재하는 경우에는 처리자 프로파일에서 이 키워드를 포함하는 처리자 정보를 검색함으로써 처리자를 검출할 수 있다. 즉, 해당 키워드를 포함하는 적어도 하나의 처리자 정보를 확인하고, 해당 처리자를(들을) 처리자로서 검출한다.
이렇게 검출된 처리자를 오픈된 잡 프로세스와 매칭하여 그 오픈된 잡 프로세스의 처리자로 선정한다(S213).
추가적으로, 제어모듈(190)은 선정된 처리자의 수가 기 설정된 처리자의 수보다 많은 경우에는 하기의 두가지 방식을 통해 추가적으로 필터링 되는 절차가 수행될 수 있다. 첫번째 방식은, 제어모듈(190)이 선정된 처리자 중 각 최우선순위를 갖는 처리자를 최종 처리자로서 선정하는 것이고, 두번째 방식은 제어모듈(190)이 선정된 처리자를 리스트 형태로 의뢰 서버(200)로 전달하여 의뢰자가 직접 그 리스트에서 원하는 처리자를 선정(선택)하도록 하는 것이다.
앞서 설명한 바와 같이, 처리자 검출조건은 정형화되어 있는 이미지문서, 전자문서 또는 텍스트 등의 형태로 제공될 수 있다.
만약, 처리자 검출조건이 정형화되어 있는 이미지문서의 형태로 제공되는 경우, 제어모듈(190)은 해당 문서에 대하여 OCR을 통해 잡 프로세스의 유형을 알 수 있는 정보를 추출한다. OCR은 이미지 데이터로부터 해당 이미지 데이터에 있는 글자를 추출해내는 알고리즘이며, 텍스트 검출 파트와 텍스트 인식 파트로 이루어져있는데, 텍스트 검출 파트에서는 CNN based layer를 통해 전체 이미지에서 글자가 있는 위치를 검출해내는 역할을 하고, 텍스트 인식 파트에서는 위치가 검출된 글자를 다시 CNN based layer를 통해 그 글자가 어떤 글자인지를 출력해내도록 한다.
한편, 처리자 검출조건이 정형화되어 있지만 전자문서의 형태로 제공되는 경우, 제어모듈(190)은 해당 전자문서에 대하여 크롤링을 실시한다. 이때, 크롤링은 HTML 문서를 파이썬(Python)의 bs4 API를 통해 다운 받은 뒤에 잡 프로세스를 묘사하는 데이터에 접근하여 그 값을 출력하는 방식으로 이루어질 수 있다.
또한, 처리자 검출조건이 정형화되어 있지 않은 긴 텍스트 파일의 형태로 제공되는 경우, 제어모듈(190)은 해당 문서의 핵심 키워드를 추출하기 위하여 LDA(Latent Dirichlet Allocation) 알고리즘을 사용할 수 있다. 이때, LDA는 주어진 문서가 어떠한 주제를 가지고 있는지를 예측하는 토픽 모델링 방식의 하나로 다음과 같은 과정을 거쳐 해당 문서에 대한 주제를 예측한다.
다시 말해, LDA는 각 문서가 잠재적인 확률적 모형을 가지고 있다는 가정을 두고 그 확률 모형을 추론하고, 추론된 잠재적 확률 모형과 다른 문서가 가지고 있는 잠재적 확률 모형을 서로 비교하여 해당 문서가 가지고 있는 주제를 추론하는 방식이다.
도 6은 본 발명의 일 실시예에 따른 처리자 선정 장치의 제1 모듈에서 숙련도 정보를 생성하는 과정을 나타내는 순서도로서, 도 4의 S203 단계 중 일부를 보다 구체적으로 설명하기 위한 것이다.
도 6을 참조하면, 제1 추출모듈(151)은 기 수행된 적어도 하나의 잡 프로세스 별로 투입된 각 처리자의 수행정보를 획득하면(S2011), 그 수행정보로부터 제1 머신러닝 모델을 이용하여 숙련도 값을 추출한다(S2013). 이후, 그 추출된 숙련도 값을 포함하는 숙련도 정보를 생성하여 저장모듈(130)에 저장한다(S2015).
예를 들어, 숙련도 값은 각 처리자가 잡 프로세스에 대한 참여 횟수, 작업 소요 시간 및 작업 반려 횟수 등을 기반으로 추출할 수 있다.
도 7은 본 발명의 일 실시예에 따른 처리자 선정 장치의 제2 모듈에서 예상 접속 시간 정보를 생성하는 과정을 나타내는 순서도로서, 도 4의 S203 단계 중 일부를 보다 구체적으로 설명하기 위한 것이다.
도 7을 참조하면, 제2 추출모듈(152)은 기 수행된 적어도 하나의 잡 프로세스 별로 투입된 각 처리자의 로그정보를 획득하면(S2021), 그 로그정보로부터 제2 머신러닝 모델을 이용하여 예상 접속 시간값을 추출한다(S2023). 이후, 그 추출된 예상 접속 시간값을 포함하는 에상 접속 시간 정보 생성하여 저장모듈(130)에 저장한다(S2025).
도 8은 본 발명의 일 실시예에 따른 처리자 선정 장치의 제3 모듈에서 처리자 검출조건을 생성하는 과정을 나타내는 순서도로서, 도 4의 S209 단계를 보다 구체적으로 설명하기 위한 것이다.
도 8을 참조하면, 제3 추출모듈(153)은 의뢰 서버(200)로부터 잡 프로세스 정보를 수신하면, 그 잡 프로세스 정보에 포함된 작업 요청 정보를 제3 머신러닝 모델에 입력하고(S2091), 제3 머신러닝 모델을 이용하여 그 작업 요청 정보로부터 키워드를 추출한다(S2093). 이후, 그 추출된 키워드를 포함하는 처리자 검출조건을 생성하여 저장모듈(130)에 저장한다(S2095).
도 9는 본 발명의 일 실시예에 따른 처리자 선정 장치의 검출모듈에서 처리자를 선정하는 과정을 나타내는 순서도이다.
도 9를 참조하면, 검출모듈(170)은 제4 머신러닝 모델을 이용하여 처리자 프로파일에 포함된 처리자 정보에 제3 추출모듈(153)에 의해 추출된 키워드가 존재하는지 여부를 확인한다. 즉, 처리자 프로파일 및 추출된 키워드를 상호 매칭하고(S2111), 그 매칭 결과에 따라 적어도 하나의 처리자를 검출한다(S2113). 이후, 그 검출된 적어도 하나의 처리자를 기반으로 오픈된 잡 프로세스의 처리자를 선정한다(S2115).
그러나, 이는 일 실시예일 뿐, 검출모듈(170)이 제3 추출모듈(153)에 의해 추출된 키워드를 단어 수준으로 벡터화하고, 그 획득된 벡터들 간의 유사도를 분석한 후, 처리자 프로파일에 키워드와 일정 수준 이상의 유사도를 갖는 처리자 정보를 확인하도록 할 수도 있다. 즉, 처리자 프로파일 및 추출된 키워드를 상호 매칭하는 방식은 한정되지 않으며, 앞서 설명한 방식 외에 다른 방식이 적용될 수도 있다.
도 10은 본 발명의 일 실시예에 따른 제1 추출모듈에서 제1 머신러닝 모듈을 이용하여 숙련도값을 추출하는 과정을 나타내는 순서도로서, 도 6의 각 단계를 보다 구체적으로 설명하기 위한 것이다.
제1 추출모듈(151)은 기 수행된 적어도 하나의 잡 프로세스 별로 투입된 각 처리자의 수행정보를 획득하면(S2041), 그 수행정보를 기반으로 각 처리자가 투입된 각 잡 프로세스 별 라벨링 값을 산출한다(S2042). 그 산출된 각 잡 프로세스 별 라벨링 값을 취합하여 라벨링 셋을 생성하고(S2043), 생성된 라벨링 셋을 각 처리자 별로 다중 출력 모듈에 입력하여(S2044), 각 처리자에 대한 숙련도 값을 추출한다(S2045).
이후, 그 추출된 숙련도 값을 포함하는 숙련도 정보를 생성한 후(S2046), 그 생성된 숙련도 정보를 이용하여 처리자 프로파일을 생성 또는 갱신한다(S2047).
예를 들어, 기 수행된 적어도 하나의 잡 프로세스 별로 참여한 횟수를 바탕으로 그 평가 점수를 라벨링 하는데, 만약, 처리자 A가 이미지 데이터에 대한 바운딩 작업을 수행하도록 하는 잡 프로세스(이미지 바운딩 잡 프로세스)에 20번 정도 참여하였고, OCR(Optical Character Recognition) 작업에 2번 참여하였다면, 처리자 A에 대한 라벨링은 이미지 바운딩 잡 프로세스 = 5, OCR 잡 프로세스 = 1로 한다. 이때, 데이터 셋에는 처리자 아이디 이외에 또 다른 정보가 더 포함될 수 있다.
각 라벨링은 기본적으로 해당 처리자의 잡 프로세스 참여 횟수를 기반으로 하며, 잡 프로세스 참여 횟수를 X라고 할 때, 0<x<4 = 1, 4<x<8 = 2, 8<x<12 = 3, 12<x<16 = 4, 16<x = 5로 각각의 잡 프로세스 별로 라벨링을 진행한다. 이때, x에 대한 범위는 조건(예를 들어, 잡 프로세스 수)에 따라 변할 수 있다.
한편, 이 데이터는 사용자 아이디(예를 들어, 처리자 1)에 대해 (잡 프로세스 타입 A : 5 / 잡 프로세스 타입 B : 3 , ... , / 잡 프로세스 타입 N : 1)로 정의된 데이터 셋을 멀티-분류 모델의 입력 데이터로 활용할 수 있다. 이때, 사용되는 멀티-분류 모델은 멀티-출력 모델로, 이는 하나의 라벨링 셋(여기서, 잡 프로세스 타입)이 아닌 N개의 라벨링 셋이 주어졌을 때 각 라벨링 셋에 대하여 각각의 분류 네트워크로 분류를 진행하고 결과 값들을 출력 레이어에서 합치도록 하는 분류 알고리즘일 수 있다.
한편, 사용자 아이디에 대하여 각 잡 프로세스 타입 별로 부여된 점수들로 이루어진 데이터 셋이 멀티-출력 알고리즘의 입력 데이터로 들어가게 되면, 이 데이터 셋이 잡 프로세스 타입 A에 대한 하나의 서브-분류 모델의 각 레이어를 거쳐 가면서 처리자 1이 잡 프로세스 타입 A에 대하여 각 숙련도 별로 그 숙련도를 가질 확률이 출력되게 된다. 이때, 모델은 가장 높은 확률을 가지고 있는 숙련도 점수를 반환하게 되고 최종적으로 처리자 1이 잡 프로세스 A에 5라는 숙련도를 가지고 있다는 결과가 도출된다.
동일한 방식으로 라벨링 셋이 총 N개이므로, N개의 서브-분류 모델을 통해 최종적으로 처리자 1이 N개의 잡 프로세스에 대하여 얼만큼의 숙련도를 가지는지가 출력되고, 이 정보가 처리자 프로파일에 추가 또는 갱신된다.
도 11은 본 발명의 일 실시예에 따른 제2 추출모듈에서 제2 머신러닝 모듈을 이용하여 예상 접속 시간값을 추출하는 일 예를 나타내는 도면이다.
LSTM 모델은 현재 예측 시점을 t 시점이라고 하였을 때, 처리자의 로그정보로부터 t+1, t+2, t+3, ... , t+6 시점에서 그 처리자가 로그인 할 시간을 각각 예측한다. 이때, 예측 시점의 주기는 요일을 기반으로 설정된 것으로, 예를 들어, 현재 예측 시점(t)이 화요일인 경우, 그 다음 시점인 수요일(t+1), 목요일(t+2), ... , 월요일(t+6)까지의 예상 접속 시간값을 추출한다.
이후, 그 다음 예측 시점인 t+1 시점에서 새로운 로그인 정보들(t 시점과 t+1 시점 사이에 변경된 처리자의 로그정보)을 가져와 t+2, t+3, t+4, ... , t+6 시점에서 그 처리자가 로그인 할 시간을 각각 예측한다. 이때, 만일 처리자의 새로운 로그인 정보가 없을 경우, 기존 정보를 이용하여 로그인 할 시간을 예측한다.
한편, 처리자가 특정 잡 프로세스에 참여 중일 경우, LSTM 모델은 처리자의 다음 로그인 시간 예측과 처리자의 작업 속도 및 작업량 등의 정보를 이용하여 처리자가 해당 잡 프로세스를 완료할 시점을 예측하도록 할 수 있다. 처리자가 특정 잡 프로세스를 완료하면, 다시 t+1, t+2, t+3, ... , t+6 시점에서 그 처리자가 로그인 할 시간을 각각 예측한다.
추가적으로, 특정 처리자의 작업 속도 및 작업 처리량에 대한 정보만 있으면 머신러닝 모델을 이용하여 다음 시점에 해당 처리자가 얼만큼의 작업을 할 것인지 또한 예측 가능하다. 만약, 충분한 정보가 없으면 파이썬(Python) 코드로 처리하도록 할 수 있다.
한편, 처리자 프로파일을 기반으로 선정된 처리자 중 현재 다른 잡 프로세스에 투입된 처리자가 존재하는 경우, 그 처리자가 투입된 프로젝트에 대해 할당받은 작업량(P)과 기저장된 처리자의 작업 정보들을 기반으로 해당 작업을 완료하는 작업 완료 시점을 예측하여, 예측된 작업 완료 시점 이후에 그 처리자를 오픈된 프로젝트에 투입하도록 할 수도 있다.
이때, 그 처리자가 현재 참여한 프로젝트에서 할당 받은 프로젝트 수행량을 P라고 하고 P_t를 t 시점에 유저가 처리 가능한 작업량이라고 한다면,　P는 하기 <수학식 2>로 나타낼 수 있다. 이때, 처리자가 총 2n번 로그인 한다고 가정한다.
Figure 112021071846092-pat00005
앞서 예상 접속 시간 정보를 추출할 때와 마찬가지로 LSTM 모델을 적용하면, 입력 데이터는　{P_t-n, P_t-(n-1), ... , P_t}이 되고, 출력 데이터는 {P_t+1, P_t+2, ... P_t+n}이 된다.
즉, 처리자의 t 시점과 그 이전의 작업량에 대한 데이터를 가지고 다음 작업량을 예측할 수 있다.
구체적으로, 처리자의 다음 로그인 시점인 t+1 시점과 그 시점에 처리자가 처리할 것이라 예측되는 작업량(P_t+1)을 알고있기 때문에, 이를 t 시점을 기점으로 서로 매칭하다보면 처리자가 현재 투입된 프로젝트에 대해 할당받은 작업량을 완료하는 작업 완료 시점인 t+n 시점을 알 수 있고, 그렇게 된다면 그 처리자가 오픈된 프로젝트에 투입될 수 있는 시점인 (t+(n+1))을 예측할 수 있는 것이다.
또한, 다른 실시예로서 처리자 프로파일에서 현재 다른 잡 프로세스에 투입된 처리자는 제외하여 필터링된 처리자 프로파일을 제공할 수도 있다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.
100: 처리자 선정 장치 200: 의뢰 서버
300: 처리자 단말 301: 제1 처리자 단말
302: 제2 처리자 단말 110: 통신모듈
130: 저장모듈 150: 추출모듈
151: 제1 추출모듈 152: 제2 추출모듈
153: 제3 추출모듈 170: 검출모듈
190: 제어모듈

Claims (25)

  1. 온라인 기반 잡 프로세스의 처리자 선정 장치에 의해 수행되는, 온라인 기반 잡 프로세스의 처리자 선정 방법에 있어서,
    기 수행된 적어도 하나의 잡 프로세스 별로 투입된 각 처리자의 수행정보 및 로그정보를 기반으로 처리자 프로파일을 생성하는 단계;
    오픈된 잡 프로세스 정보가 입력되면, 상기 오픈된 잡 프로세스 정보를 기반으로 처리자 검출조건을 생성하는 단계;
    상기 처리자 프로파일을 기반으로 상기 각 처리자 중에서 상기 검출조건에 만족되는 적어도 하나의 처리자를 검출하는 단계; 및
    상기 검출된 적어도 하나의 처리자를 상기 오픈된 잡 프로세스의 처리자로 선정하는 단계;를 포함하고,
    상기 처리자 프로파일은,
    상기 각 처리자의 인적사항 정보, 소개 정보, 숙련도 정보 및 예상 접속 시간 정보를 포함하며,
    상기 숙련도 정보 및 상기 예상 접속 시간 정보는, 각각의 머신러닝 모델을 이용하여 추출된 추출값을 포함하고,
    상기 처리자 검출조건은, 상기 숙련도 정보 및 상기 예상 접속 시간 정보를 기반으로 생성하며,
    상기 처리자 프로파일을 생성하는 단계는,
    상기 각 처리자의 수행정보 및 로그정보를 획득하는 단계; 및
    제1 머신러닝 모델을 이용하여 상기 획득된 수행정보로부터 상기 각 처리자에 대한 숙련도 추출값을 추출하고, 상기 추출된 숙련도 추출값을 포함하는 숙련도 정보를 생성하는 단계; 및
    제2 머신러닝 모델을 이용하여 상기 획득된 로그정보로부터 상기 각 처리자에 대한 예상 접속 시간값을 추출하고, 상기 추출된 예상 접속 시간값을 포함하는 예상 접속 시간 정보를 생성하는 단계를 포함하며,
    상기 제2 머신러닝 모델은, 상기 각 요일 별로 한개씩 총 일곱개의 LSTM(Long-Short Term Memory) 모델들로 구성되며,
    상기 일곱개의 LSTM 모델들 각각은,
    현재 예측 시점인 t 시점에 상기 각 처리자가 로그인한 시점의 데이터 및 상기 t 시점의 바로 이전 시점에 상기 각 처리자가 로그인한 데이터의 은닉 정보 중 일부 데이터를 선택하여 각각 학습하고,
    상기 각 처리자의 과거 로그인 시간을 입력으로 하여 상기 각 처리자가 각 요일의 다시 로그인할 시간대를 예측하여 출력하고,
    상기 t 시점 및 연속되는 복수의 다음 예측 시점들인 t+1, t+2, t+3, t+4, t+5 및 t+6 시점 각각에 상기 각 처리자가 다시 로그인할 시간대를 예측하되, 상기 t, t+1, t+2, t+3, t+4, t+5 및 t+6 시점은 각각의 요일을 나타내고,
    상기 t 시점 이후, 상기 t+1 시점에서 변경된 로그정보가 있는 경우, 상기 변경된 로그정보로 상기 t+2, t+3, t+4, t+5 및 t+6 시점 각각에 상기 각 처리자가 다시 로그인할 시간대를 예측하여 출력하고,
    상기 t 시점 이후, 상기 t+1 시점에서 변경된 로그정보가 없는 경우, 기존 정보만을 이용하여 상기 t+2, t+3, t+4, t+5 및 t+6 시점 각각에 상기 각 처리자가 다시 로그인할 시간대를 예측하여 출력하는 것을 특징으로 하는,
    처리자 선정 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 획득된 수행정보는, 상기 각 처리자의 인적사항 정보 및 소개 정보와, 상기 각 처리자의 상기 잡 프로세스 별 투입 횟수, 작업 소요 시간, 반려 횟수 및 평가 점수를 포함하고,
    상기 획득된 로그정보는, 상기 각 처리자의 접속 시간 정보를 포함하는 것을 특징으로 하는,
    처리자 선정 방법.
  4. 제3항에 있어서,
    상기 예상 접속 시간 정보는,
    상기 각 처리자의 접속 시간 정보를 상기 제2 머신러닝 모델에 입력하여 예측한 시간값으로서 요일 별 접속 시간대를 포함하는 것을 특징으로 하는,
    처리자 선정 방법.
  5. 삭제
  6. 제1항에 있어서,
    상기 숙련도 정보를 생성하는 단계는,
    상기 획득된 수행정보를 기반으로 상기 기 수행된 적어도 하나의 잡 프로세스 별 라벨링 값을 산출하는 단계;
    상기 산출된 각 잡 프로세스 별 라벨링 값을 취합하여 라벨링 셋을 생성하는 단계;
    상기 생성된 라벨링 셋을 상기 제1 머신러닝 모델에 입력하여 각 처리자에 대한 숙련도 값을 추출하는 단계;
    상기 추출된 숙련도 값을 포함하는 숙련도 정보를 생성하는 단계; 및
    상기 생성된 숙련도 정보를 상기 처리자 프로파일에 추가 또는 갱신하는 단계;를 포함하는 것을 특징으로 하는,
    처리자 선정 방법.
  7. 제1항에 있어서,
    상기 오픈된 잡 프로세스 정보는, 상기 오픈된 잡 프로세스의 작업 데이터 및 상기 작업 데이터를 작업하기 위한 작업 요청 정보를 포함하며,
    상기 작업 요청 정보는, 작업 데이터의 종류, 작업 대상, 작업 대상 조건, 작업 형태, 작업 완료 기한, 의뢰자 및 처리자 요건 중 적어도 하나를 포함하는 것을 특징으로 하는,
    처리자 선정 방법.
  8. 제7항에 있어서,
    상기 처리자의 검출조건을 생성하는 단계는,
    상기 작업 요청 정보를 입력받는 단계;
    제3 머신러닝 모델을 이용하여 상기 작업 요청 정보로부터 키워드를 추출하는 단계; 및
    상기 추출된 키워드를 기반으로 상기 처리자 검출조건을 생성하는 단계;를 포함하는 것을 특징으로 하는,
    처리자 선정 방법.
  9. 제8항에 있어서,
    상기 적어도 하나의 처리자를 검출하는 단계는,
    상기 처리자 프로파일에 포함된 처리자 정보들 중 상기 추출된 키워드가 존재하는지 여부를 확인하고, 상기 추출된 키워드가 존재하는 처리자 정보에 대응하는 처리자를 적어도 하나 이상 검출하는 것임을 특징으로 하는,
    처리자 선정 방법.
  10. 제8항에 있어서,
    상기 적어도 하나의 처리자를 검출하는 단계는,
    상기 추출된 키워드를 단어 수준으로 벡터화하고, 획득된 벡터들 간이 유사도를 분석하여 상기 처리자 프로파일에서 미리 설정된 수준 이상의 유사도를 갖는 처리자 정보를 확인한 후, 상기 확인된 처리자 정보에 대응하는 처리자를 적어도 하나 이상 검출하는 것임을 특징으로 하는,
    처리자 선정 방법.
  11. 제1항에 있어서,
    적어도 하나의 처리자를 검출하는 단계에서,
    상기 검출된 적어도 하나의 처리자 중 현재 다른 잡 프로세스에 투입 중인 처리자가 존재하는 경우,
    상기 다른 잡 프로세스에 투입 중인 처리자가 상기 다른 잡 프로세스에 대해 할당받은 작업량을 확인하고, 상기 할당받은 작업량을 완료하는 시점을 예측하여 상기 오픈된 프로젝트에 투입할 시점을 결정하는 단계를 더 포함하는 것을 특징으로 하는,
    처리자 선정 방법.
  12. 온라인 기반 잡 프로세스의 처리자 선정 장치에 있어서,
    통신모듈;
    오픈된 잡 프로세스 정보와, 기 수행된 적어도 하나의 잡 프로세스 별로 투입된 각 처리자의 수행정보 및 로그정보를 저장하고, 처리자를 선정하기 위해 필요한 적어도 하나의 프로세스를 저장하는 저장모듈;
    복수개의 추출모듈로 구성되며, 상기 오픈된 잡 프로세스 정보 및 상기 기 수행된 적어도 하나의 잡 프로세스 정보를 이용하여 각각 정보들을 추출하는 추출모듈;
    상기 오픈된 잡 프로세스 정보를 기반으로 처리자의 검출조건을 생성하는 검출모듈; 및
    상기 프로세스에 따라 동작하는 제어모듈;을 포함하며,
    상기 제어모듈은, 상기 프로세스를 기반으로,
    상기 기 수행된 적어도 하나의 잡 프로세스 별로 투입된 각 처리자의 수행정보 및 로그정보를 기반으로 처리자 프로파일을 생성하고,
    오픈된 잡 프로세스 정보가 입력되면, 상기 오픈된 잡 프로세스 정보를 기반으로 처리자 검출조건을 생성하고,
    상기 처리자 프로파일을 기반으로 상기 각 처리자 중에서 상기 검출조건에 만족되는 적어도 하나의 처리자를 검출하고,
    상기 검출된 적어도 하나의 처리자를 상기 오픈된 잡 프로세스의 처리자로 선정하며,
    상기 처리자 프로파일은,
    상기 각 처리자의 인적사항 정보, 소개 정보, 숙련도 정보 및 예상 접속 시간 정보를 포함하며,
    상기 숙련도 정보 및 상기 예상 접속 시간 정보는, 상기 복수개의 추출모듈에 각각 구비된 머신러닝 모델을 이용하여 추출된 추출값을 포함하고,
    상기 처리자 검출조건은, 상기 숙련도 정보 및 상기 예상 접속 시간 정보를 기반으로 생성하며,
    상기 복수개의 추출모듈은,
    상기 수행정보를 기반으로 각 처리자의 숙련도 정보를 생성하는 제1 추출모듈;
    상기 로그정보를 기반으로 각 처리자의 예상 접속 시간 정보를 생성하는 제2 추출모듈; 및
    상기 오픈된 잡 프로세스 정보를 기반으로 잡 프로세스에 대한 요구사항과 관련된 키워드를 추출하는 제3 모듈을 포함하고,
    상기 제1 추출모듈은,
    제1 머신러닝 모델을 이용하여 상기 수행정보로부터 상기 각 처리자에 대한 숙련도 추출값을 추출한 후, 상기 추출된 숙련도 추출값을 포함하며,
    상기 제2 추출모듈은,
    제2 머신러닝 모델을 이용하여 상기 로그정보로부터 상기 각 처리자에 대한 예상 접속 시간값을 추출한 후, 상기 추출된 예상 접속 시간값을 포함하며,
    상기 제2 머신러닝 모델은, 상기 각 요일 별로 한개씩 총 일곱개의 LSTM(Long-Short Term Memory) 모델들로 구성되며,
    상기 일곱개의 LSTM 모델들 각각은,
    현재 예측 시점인 t 시점에 상기 각 처리자가 로그인한 시점의 데이터 및 상기 t 시점의 바로 이전 시점에 상기 각 처리자가 로그인한 데이터의 은닉 정보 중 일부 데이터를 선택하여 각각 학습하고,
    상기 각 처리자의 과거 로그인 시간을 입력으로 하여 상기 각 처리자가 각 요일의 다시 로그인할 시간대를 예측하여 출력하고,
    상기 t 시점 및 연속되는 복수의 다음 예측 시점들인 t+1, t+2, t+3, t+4, t+5 및 t+6 시점 각각에 상기 각 처리자가 다시 로그인할 시간대를 예측하되, 상기 t, t+1, t+2, t+3, t+4, t+5 및 t+6 시점은 각각의 요일을 나타내고,
    상기 t 시점 이후, 상기 t+1 시점에서 변경된 로그정보가 있는 경우, 상기 변경된 로그정보로 상기 t+2, t+3, t+4, t+5 및 t+6 시점 각각에 상기 각 처리자가 다시 로그인할 시간대를 예측하여 출력하고,
    상기 t 시점 이후, 상기 t+1 시점에서 변경된 로그정보가 없는 경우, 기존 정보만을 이용하여 상기 t+2, t+3, t+4, t+5 및 t+6 시점 각각에 상기 각 처리자가 다시 로그인할 시간대를 예측하여 출력하는 것을 특징으로 하는,
    처리자 선정 장치.
  13. 삭제
  14. 삭제
  15. 삭제
  16. 제12항에 있어서,
    상기 수행정보는, 상기 각 처리자의 인적사항 정보 및 소개 정보와, 상기 각 처리자의 상기 잡 프로세스 별 투입 횟수, 작업 소요 시간, 반려 횟수 및 평가 점수를 포함하고,
    상기 로그정보는, 상기 각 처리자의 접속 시간 정보를 포함하는 것을 특징으로 하는,
    처리자 선정 장치.
  17. 제16항에 있어서,
    상기 예상 접속 시간 정보는,
    상기 각 처리자의 접속 시간 정보를 상기 제2 머신러닝 모델에 입력하여 예측한 시간값으로서 요일 별 접속 시간대를 포함하는 것을 특징으로 하는,
    처리자 선정 장치.
  18. 삭제
  19. 제12항에 있어서,
    상기 제1 추출모듈은,
    상기 수행정보를 기반으로 상기 기 수행된 적어도 하나의 잡 프로세스 별 라벨링 값을 산출하고, 상기 산출된 각 잡 프로세스 별 라벨링 값을 취합하여 라벨링 셋을 생성한 후, 상기 생성된 라벨링 셋을 상기 제1 머신러닝 모델에 입력하여 각 처리자에 대한 숙련도 값을 추출하고, 상기 추출된 숙련도 값을 포함하는 숙련도 정보를 생성하며,
    상기 생성된 숙련도 정보는, 상기 처리자 프로파일에 추가 또는 갱신되는 것을 특징으로 하는,
    처리자 선정 장치.
  20. 제12항에 있어서,
    상기 오픈된 잡 프로세스 정보는, 상기 오픈된 잡 프로세스의 작업 데이터 및 상기 작업 데이터를 작업하기 위한 작업 요청 정보를 포함하며,
    상기 작업 요청 정보는, 작업 데이터의 종류, 작업 대상, 작업 대상 조건, 작업 형태, 작업 완료 기한, 의뢰자 및 처리자 요건 중 적어도 하나를 포함하는 것을 특징으로 하는,
    처리자 선정 장치.
  21. 제20항에 있어서,
    상기 검출모듈은,
    상기 처리자의 검출조건을 생성하고, 상기 작업 요청 정보가 입력되면 제3 머신러닝 모델을 이용하여 상기 작업 요청 정보로부터 키워드를 추출한 후, 상기 추출된 키워드를 기반으로 상기 처리자 검출조건을 생성하는 것을 특징으로 하는,
    처리자 선정 장치.
  22. 제21항에 있어서,
    상기 제어모듈은,
    상기 적어도 하나의 처리자를 검출할 시,
    상기 처리자 프로파일에 포함된 처리자 정보들 중 상기 추출된 키워드가 존재하는지 여부를 확인하고, 상기 추출된 키워드가 존재하는 처리자 정보에 대응하는 처리자를 적어도 하나 이상 검출하는 것임을 특징으로,
    처리자 선정 장치.
  23. 제21항에 있어서,
    상기 제어모듈은,
    상기 적어도 하나의 처리자를 검출할 시,
    상기 추출된 키워드를 단어 수준으로 벡터화하고, 획득된 벡터들 간이 유사도를 분석하여 상기 처리자 프로파일에서 미리 설정된 수준 이상의 유사도를 갖는 처리자 정보를 확인한 후, 상기 확인된 처리자 정보에 대응하는 처리자를 적어도 하나 이상 검출하는 것임을 특징으로 하는,
    처리자 선정 장치.
  24. 제12항에 있어서,
    상기 제어모듈은,
    적어도 하나의 처리자를 검출할 시,
    상기 검출된 적어도 하나의 처리자 중 현재 다른 잡 프로세스에 투입 중인 처리자가 존재하는 경우,
    상기 다른 잡 프로세스에 투입 중인 처리자가 상기 다른 잡 프로세스에 대해 할당받은 작업량을 확인하고, 상기 할당받은 작업량을 완료하는 시점을 예측하여 상기 오픈된 프로젝트에 투입할 시점을 결정하는 것을 특징으로 하는,
    처리자 선정 장치.
  25. 컴퓨터와 결합되어, 제1항, 제3항, 제4항, 제6항 내지 제11항 중 어느 하나에 따른 온라인 기반 잡 프로세스의 처리자 선정 방법을 실행시키기 위하여 컴퓨터 판독 가능 기록매체에 저장된 컴퓨터 프로그램.
KR1020210080850A 2021-06-22 2021-06-22 온라인 기반 잡 프로세스의 처리자 선정 방법 및 장치 KR102319811B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210080850A KR102319811B1 (ko) 2021-06-22 2021-06-22 온라인 기반 잡 프로세스의 처리자 선정 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210080850A KR102319811B1 (ko) 2021-06-22 2021-06-22 온라인 기반 잡 프로세스의 처리자 선정 방법 및 장치

Publications (1)

Publication Number Publication Date
KR102319811B1 true KR102319811B1 (ko) 2021-11-01

Family

ID=78519021

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210080850A KR102319811B1 (ko) 2021-06-22 2021-06-22 온라인 기반 잡 프로세스의 처리자 선정 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102319811B1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101292663B1 (ko) * 2012-02-06 2013-08-13 한국과학기술정보연구원 기업보유역량 기반의 잠재 유망기술-제품 포트폴리오 생성시스템과 생성방법
WO2018180743A1 (ja) * 2017-03-31 2018-10-04 日本電気株式会社 作業管理装置、作業管理方法およびプログラム記憶媒体
KR102030027B1 (ko) * 2019-05-09 2019-10-08 (주)엠폴시스템 라벨링 데이터 정제방법, 장치 및 프로그램
KR20200129878A (ko) * 2019-05-10 2020-11-18 주식회사 피앤피소프트 업무 추적기에 기반한 담당자 추천 시스템
KR102183836B1 (ko) * 2020-06-02 2020-11-30 주식회사 크라우드웍스 인공지능 학습 데이터 생성을 위한 크라우드소싱 기반 프로젝트의 작업 예상 소요시간에 기반한 자동 견적 산출 방법
KR102232859B1 (ko) 2020-05-12 2021-03-29 주식회사 크라우드웍스 인공지능 학습 데이터 생성을 위한 크라우드소싱 기반 프로젝트의 기능요소 및 난이도에 기반한 작업자 풀 자동 생성 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101292663B1 (ko) * 2012-02-06 2013-08-13 한국과학기술정보연구원 기업보유역량 기반의 잠재 유망기술-제품 포트폴리오 생성시스템과 생성방법
WO2018180743A1 (ja) * 2017-03-31 2018-10-04 日本電気株式会社 作業管理装置、作業管理方法およびプログラム記憶媒体
KR102030027B1 (ko) * 2019-05-09 2019-10-08 (주)엠폴시스템 라벨링 데이터 정제방법, 장치 및 프로그램
KR20200129878A (ko) * 2019-05-10 2020-11-18 주식회사 피앤피소프트 업무 추적기에 기반한 담당자 추천 시스템
KR102232859B1 (ko) 2020-05-12 2021-03-29 주식회사 크라우드웍스 인공지능 학습 데이터 생성을 위한 크라우드소싱 기반 프로젝트의 기능요소 및 난이도에 기반한 작업자 풀 자동 생성 방법
KR102183836B1 (ko) * 2020-06-02 2020-11-30 주식회사 크라우드웍스 인공지능 학습 데이터 생성을 위한 크라우드소싱 기반 프로젝트의 작업 예상 소요시간에 기반한 자동 견적 산출 방법

Similar Documents

Publication Publication Date Title
US11615341B2 (en) Customizable machine learning models
Schumann et al. We need fairness and explainability in algorithmic hiring
US11604980B2 (en) Targeted crowd sourcing for metadata management across data sets
KR102203320B1 (ko) 인공지능 기반의 학습데이터셋 제공 시스템
US20200193382A1 (en) Employment resource system, method and apparatus
CN105612517A (zh) 上下文洞察及探索
US10298663B2 (en) Method for associating previously created social media data with an individual or entity
US20190164109A1 (en) Similarity Learning System and Similarity Learning Method
KR102321007B1 (ko) 크라우드소싱 기반 프로젝트의 특성에 따른 라벨링 작업을 위한 머신러닝 모델 도입 여부 결정 방법 및 장치
US10885477B2 (en) Data processing for role assessment and course recommendation
CN113255340B (zh) 面向科技需求的主题提取方法、装置和存储介质
US10943697B2 (en) Determining information based on an analysis of images and video
US11182692B2 (en) Machine learning for ranking candidate subjects based on a training set
US20220019607A1 (en) Aggregate comment management from forwarded media content
US11514403B2 (en) Utilizing machine learning models for making predictions
KR102308244B1 (ko) 개발자 추천 ito 방법, 장치 및 시스템
CN113870998A (zh) 问诊方法、装置、电子设备和存储介质
US11501071B2 (en) Word and image relationships in combined vector space
KR102319811B1 (ko) 온라인 기반 잡 프로세스의 처리자 선정 방법 및 장치
KR102321650B1 (ko) 크라우드소싱 기반 프로젝트의 특성에 따른 머신러닝 모델의 학습 성능 개선 방법 및 장치
Garcia-Dominguez et al. UFOD: An AutoML framework for the construction, comparison, and combination of object detection models
KR102155854B1 (ko) 다양한 문장 수집을 위한 키워드 관리 방법 및 장치
US20210350178A1 (en) Information processing device, information processing method, and program
KR102315436B1 (ko) 크라우드소싱 기반 프로젝트의 특성에 따른 작업자 참여조건 자동 설정 방법 및 장치
Magnani et al. On the conditions for integrating deep learning into the study of visual politics

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant