KR102405298B1 - 인공지능을 이용한 크라우드 아웃소싱 작업 관리 장치 및 방법 - Google Patents

인공지능을 이용한 크라우드 아웃소싱 작업 관리 장치 및 방법 Download PDF

Info

Publication number
KR102405298B1
KR102405298B1 KR1020200020664A KR20200020664A KR102405298B1 KR 102405298 B1 KR102405298 B1 KR 102405298B1 KR 1020200020664 A KR1020200020664 A KR 1020200020664A KR 20200020664 A KR20200020664 A KR 20200020664A KR 102405298 B1 KR102405298 B1 KR 102405298B1
Authority
KR
South Korea
Prior art keywords
data
worker
work
artificial intelligence
workers
Prior art date
Application number
KR1020200020664A
Other languages
English (en)
Other versions
KR20210105770A (ko
Inventor
홍기섭
신윤식
Original Assignee
주식회사 에이모
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에이모 filed Critical 주식회사 에이모
Priority to KR1020200020664A priority Critical patent/KR102405298B1/ko
Publication of KR20210105770A publication Critical patent/KR20210105770A/ko
Application granted granted Critical
Publication of KR102405298B1 publication Critical patent/KR102405298B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311—Scheduling, planning or task assignment for a person or group
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06316—Sequencing of tasks or work
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0637—Strategic management or analysis, e.g. setting a goal or target of an organisation; Planning actions based on goals; Analysis or evaluation of effectiveness of goals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0633—Lists, e.g. purchase orders, compilation or processing

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Game Theory and Decision Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Accounting & Taxation (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Finance (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 일 실시예에 따른 인공지능을 이용한 크라우드 아웃소싱 작업 관리 장치는, 복수의 작업자 단말로 작업 데이터를 송신하고, 상기 복수의 작업자 단말로부터 완료 데이터를 수신하는 통신부, 상기 복수의 작업자 단말로 송신할 상기 작업 데이터를 생성하고, 상기 복수의 작업자 단말로부터 수신된 상기 완료 데이터들을 검수하는 연산을 수행하도록 구성된 프로세서, 및 상기 프로세서의 연산 동작을 제어하는 인공지능 모듈이 저장된 메모리를 포함하고, 상기 인공지능 모듈은 작업 대상 데이터의 작업 대상 영역을 설정하여 상기 작업 데이터를 생성하고, 상기 복수의 작업자 단말로부터 상기 작업 데이터에 대한 작업이 완료된 상기 완료 데이터가 수신되는 경우, 복수의 작업자별 작업에 대한 정확도, 성향 및 작업 난이도를 판단하고, 상기 복수의 작업자별 상기 정확도 및 상기 작업 난이도에 기초하여 상기 복수의 작업자별 반영률을 결정하고, 상기 반영률에 기초하여 상기 복수의 작업자별 상기 완료 데이터를 검수하기 위한 정답 데이터를 선택한다.

Description

인공지능을 이용한 크라우드 아웃소싱 작업 관리 장치 및 방법 {APPARATUS AND METHOD FOR CLOUD OUTSORCING TASK MANAGEMENT BY USING ARTIFICIAL INTELLIGENT}
본 발명은 인공지능을 이용한 크라우드 아웃소싱 작업 관리 장치 및 방법에 관한 것이다. 보다 상세하게는 아웃소싱 작업에 대한 효율적인 업무관리가 가능한 인공지능을 이용한 크라우드 아웃소싱 작업 관리 장치 및 방법에 관한 것이다.
최근 인공지능(Artificial Intelligence, AI) 기술이 발달함에 따라 이미지, 음성, 텍스트 등 디지털 형태의 컨텐츠에 포함된 특정 객체를 인식하는 인공지능에 대한 연구가 활발하게 진행되고 있다. 특히, 디지털 카메라를 통해 생성된 디지털 이미지 내에서 특정 객체를 인식하여 촬영된 지역의 상황을 판단하는 인공지능 기술은 감시카메라, 안면인식, 자율주행 자동차에 적용되는 등 다양한 산업분야에 활용되고 있다.
인공지능을 사용하여 디지털 컨텐츠 내의 특정 객체를 인식하기 위해서는 인식하고자 하는 객체가 포함된 다양한 학습 데이터들을 사용하여 인공지능을 미리 학습시켜야 한다.
학습 데이터는 인공지능으로 하여금 디지털 컨텐츠 내의 객체와 비객체를 구별할 수 있도록, 디지털 컨텐츠 내에 존재하는 객체의 윤곽, 영역 등을 표시하여 제공될 수 있다. 그러나, 객체와 비객체가 구별되어 있는 데이터는 존재하지 않으므로, 디지털 컨텐츠 내에서 객체의 윤곽, 영역 등을 표시하는 작업은 사람에 의해서 수행될 수밖에 없다.
인공지능은 다양하고 많은 학습 데이터를 학습할수록 인식 정확도가 향상되므로, 되도록 많은 학습 데이터를 학습시키는 것이 중요하다. 최근에는 학습 데이터를 용이하게 생성하도록 인터넷을 통해 다수의 작업자들을 모집하여 디지털 컨텐츠 내의 객체의 윤곽, 영역 등을 표시하는 작업을 의뢰하는 크라우드 아웃소싱 방식의 학습 데이터를 생성 방법이 사용되고 있다.
그러나, 작업자들마다 객체가 포함된 영역을 다르게 판단할 수 있으며, 작업자들이 성실하지 않게 작업을 진행하여 바람직하지 않은 학습 데이터가 생성되는 문제가 발생될 수 있다. 이 경우, 학습 데이터 생성 작업이 재대로 완료되었는지를 검수자가 개별로 검수를 해야하는 불편함이 존재하며, 바람직하지 못한 학습 데이터에 기반하여 학습된 인공지능이 실제 상황에서 객체를 재대로 인식하지 못하는 문제가 발생될 수 있다.
이에, 인공지능 학습을 효율적으로 수행할 수 있도록 크라우드 아웃소싱 방식의 작업을 관리할 수 있는 관리 기술에 대한 개발이 요구된다.
대한민국 등록특허 제10-1887415호 (2017.11.21.)
본 발명은 우수한 품질의 학습 데이터가 제공될 수 있도록 설계된 인공지능을 이용한 크라우드 아웃소싱 작업 관리 장치 및 방법을 제공한다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예에 따른 인공지능을 이용한 크라우드 아웃소싱 작업 관리 장치는, 복수의 작업자 단말로 작업 데이터를 송신하고, 상기 복수의 작업자 단말로부터 완료 데이터를 수신하는 통신부, 상기 복수의 작업자 단말로 송신할 상기 작업 데이터를 생성하고, 상기 복수의 작업자 단말로부터 수신된 상기 완료 데이터들을 검수하는 연산을 수행하도록 구성된 프로세서, 및 상기 프로세서의 연산 동작을 제어하는 인공지능 모듈이 저장된 메모리를 포함하고, 상기 인공지능 모듈은 작업 대상 데이터의 작업 대상 영역을 설정하여 상기 작업 데이터를 생성하고, 상기 복수의 작업자 단말로부터 상기 작업 데이터에 대한 작업이 완료된 상기 완료 데이터가 수신되는 경우, 복수의 작업자별 작업에 대한 정확도, 성향 및 작업 난이도를 판단하고, 상기 복수의 작업자별 상기 정확도 및 상기 작업 난이도에 기초하여 상기 복수의 작업자별 반영률을 결정하고, 상기 반영률에 기초하여 상기 복수의 작업자별 상기 완료 데이터를 검수하기 위한 정답 데이터를 선택한다.
상기 인공지능 모듈은, 상기 작업 대상 데이터 중 제1 작업 대상 데이터에 대하여 작업 대상 영역을 설정함으로써, 상기 복수의 작업자 단말로 송신할 제1 작업 데이터를 생성하고, 상기 복수의 작업자 단말로부터 상기 제1 작업 데이터에 대한 작업이 완료된 제1 완료 데이터가 수신되는 경우, 상기 제1 완료 데이터를 학습하고, 상기 제1 완료 데이터로 학습된 상기 인공지능 모듈을 통해 상기 작업 대상 데이터 중 제2 작업 대상 데이터에 대하여 작업 대상 영역을 설정함으로써, 상기 복수의 작업자 단말로 송신할 제2 작업 데이터를 생성할 수 있다.
상기 인공지능 모듈은, 상기 복수의 작업자별 상기 완료 데이터로부터 상기 복수의 작업자별 마스크를 생성하고, 상기 복수의 작업자별 마스크를 병합하여 Trimap 을 생성하고, 상기 복수의 작업자 중 대상 작업자의 마스크와 상기 Trimap의 유사도를 산출함으로써, 상기 대상 작업자의 상기 정확도를 결정할 수 있다.
상기 인공지능 모듈은, 상기 Trimap 에서의 상기 대상 작업자의 마스크에 대응되는 영역에 대한 평균을 산출함으로써, 상기 대상 작업자의 작업 성향을 결정할 수 있다.
상기 인공지능 모듈은, 특정 작업에 대한 상기 복수의 작업자별 마스크의 편차로부터 상기 특정 작업에 대한 상기 작업 난이도를 결정할 수 있다.
상기 인공지능 모듈은, 상기 복수의 작업자 중 상기 정확도가 미리 설정된 임계값 이상인 우수 작업자의 상기 완료 데이터를 추출하고, 품질 체크 작업에 대하여 상기 품질 체크 작업에 대한 정답 데이터와 상기 우수 작업자의 상기 완료 데이터 사이의 유사도를 산출하여 상기 우수 작업자의 IOU(Intersection over union)를 결정하고, 상기 품질 체크 작업에 대한 상기 작업 난이도에 대한 상기 우수 작업자의 IOU의 비율로부터 상기 우수 작업자의 품질점수를 산출하고, 상기 품질점수에 기초하여 상기 우수 작업자의 반영률을 결정할 수 있다.
상기 인공지능 모듈은, 상기 우수 작업자의 상기 품질점수에 기간에 따른 가중치를 적용하여 상기 우수 작업자의 반영률을 결정할 수 있다.
상기 인공지능 모듈은, 상기 특정 작업에 대한 작업 완료일이 현재 시점으로부터 가까울 수록 상기 기간에 대한 가중치를 높게 적용할 수 있다.
상기 작업 데이터는 이미지 내의 대상 사물에 대한 경계 영역 지정에 관련될 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예에 따른 인공지능을 이용한 크라우드 아웃소싱 작업 관리 방법은, 작업 대상 데이터의 작업 대상 영역을 설정하여 상기 작업 데이터를 생성하는 단계, 상기 작업 데이터를 인터넷에 접속된 복수의 작업자 단말로 송신하는 단계, 상기 복수의 작업자 단말로부터 상기 작업 데이터에 대한 작업이 완료된 상기 완료 데이터가 수신되는 경우, 복수의 작업자별 작업에 대한 정확도, 성향 및 작업 난이도를 판단하는 단계, 상기 복수의 작업자별 상기 정확도 및 상기 작업 난이도에 기초하여 상기 복수의 작업자별 반영률을 결정하는 단계, 및 상기 반영률에 기초하여 상기 복수의 작업자별 상기 완료 데이터를 검수하기 위한 정답 데이터를 선택하는 단계를 포함한다.
본 발명의 실시예에 따르면, 인공지능 모듈을 사용하여 복수의 불특정 작업자들의 작업 결과를 효과적으로 검수할 수 있는 인공지능을 이용한 크라우드 아웃소싱 작업 관리 장치 및 방법이 제공될 수 있다.
본 발명의 실시예에 따르면, 인공지능 모듈을 통해 작업 대상 데이터를 전처리하고, 전처리된 작업 데이터를 복수의 작업자들에게 송신하므로, 복수의 작업자들의 업무 부담을 효율적으로 저감시켜 줄 수 있다.
본 발명의 실시예에 따르면, 우수한 작업 정확도를 갖는 우수 작업자에게 높은 반영률을 적용하여 검수를 수행하므로, 완료 데이터에 대한 검수 신뢰도가 더욱 향상될 수 있다.
본 발명의 실시예에 따르면, 작업자별 반영률 산출시 기간에 따른 가중치를 적용함으로써, 반영률의 신뢰도가 향상되며, 완료 데이터에 대한 검수가 더욱 정확하게 수행될 수 있다.
도 1은 본 발명의 일 실시예에 따른 인공지능을 이용한 크라우드 아웃소싱 작업 관리 장치를 나타낸 블럭도이다.
도 2는 본 발명의 일 실시예에 따른 인공지능을 이용한 크라우드 아웃소싱 작업 관리 장치를 사용한 작업 관리 방법을 설명하기 위한 흐름도이다.
도 3은 도 2의 인공지능을 이용한 크라우드 아웃소싱 작업 관리 방법에서 작업 데이터가 생성되는 과정을 설명하기 위한 흐름도이다.
도 4 내지 도 9는 도 2의 인공지능을 이용한 크라우드 아웃소싱 작업 관리 방법에서 작업자별 정확도, 성향 및 작업 난이도를 판단하는 일 예를 설명하기 위한 예시도들이다.
도 10은 도 2의 인공지능을 이용한 크라우드 아웃소싱 작업 관리 방법에서 작업자별 반영률을 결정하고, 정답 데이터를 선택하는 일 예를 설명하기 위한 예시도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 문서의 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media))에 저장된 명령어를 포함하는 소프트웨어(예: 프로그램)로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 전자 장치(예: 서버)를 포함할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중개 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
본 명세서에서 “정보 또는 데이터를 송신, 수신, 수집, 추출, 업로드 또는 갱신한다”는 의미는 정보 또는 데이터를 직접 송신, 수신, 수집, 추출, 업로드 또는 갱신하거나 다른 중계 서버를 통해 간접적으로 송신, 수신, 수집, 추출, 업로드 또는 갱신한다는 의미를 포함한다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 인공지능을 이용한 크라우드 아웃소싱 작업 관리 장치를 나타낸 블럭도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 크라우드 아웃소싱 작업 관리 장치(400)는 인공지능 모듈을 학습시키기 위한 학습 데이터를 생성하는 데이터 전처리 작업들을 관리하는 시스템의 장치를 의미한다. 구체적으로, 크라우드 아웃소싱 작업 관리 장치(400)는 복수의 작업자 단말들(100, 200, 300)로 작업 데이터를 송신하고, 복수의 작업자 단말들(100, 200, 300)로부터 작업에 대한 완료 데이터가 수신되는 경우, 완료 데이터의 일부를 검수하여 바람직한 학습 데이터를 생성하며, 검수가 어려운 나머지 완료 데이터를 검수자 단말(500)로 송신하여 전문 검수자의 검수가 수행되도록 학습 데이터 생성 작업을 관리하는 장치일 수 있다.
크라우드 아웃소싱 작업 관리 장치(400)는 네트워크 서버, 웹 서버, 파일 서버, 슈퍼컴퓨터, 데스크탑 컴퓨터 등과 같은 컴퓨팅 장치들의 임의의 유형 또는 유형들의 조합일 수 있다.
크라우드 아웃소싱 작업 관리 장치(400)는 통신부(410), 프로세서(420), 메모리(430)를 포함한다.
통신부(410)는 복수의 작업자 단말들(100, 200, 300)로 작업 데이터를 송신하고, 작업 데이터에 대한 작업이 완료된 경우, 복수의 작업자 단말들(100, 200, 300)로부터 완료 데이터를 수신하도록 구성된다.
통신부(410)는 인터넷에 접속되어 인터넷을 통해 작업자 단말들(100, 200, 300) 및 검수자 단말(500)과 데이터를 송수신할 수 있는 네트워크 어댑터로 구성될 수 있다. 통신부(410)는 유선 (LAN 또는 WAN) 또는 무선 (블루투스, WiFi, IrDA(Infrared data association) 방식을 통해 인터넷에 접속되도록 구성될 수 있다.
프로세서(420)는 복수의 작업자 단말들(100, 200, 300)로 송신할 작업 데이터를 생성하고, 복수의 작업자 단말들(100, 200, 300)로부터 수신된 완료 데이터를 검수하는 연산을 수행하도록 구성될 수 있다.
프로세서(420)는 상술한 연산 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU, GPU(graphical processing units), 싱글 코어 프로세서, 멀티 코어 프로세서, ASIC(application specific integrated circuits) 등), 또는 커뮤니케이션 프로세서(communication processor) (CP) 중 하나 또는 그 이상을 포함할 수 있다.
메모리(430)는 프로세서(420)의 연산 동작을 제어하는 인공지능 모듈이 저장된 장치로서, 예를 들어, SSD(solid state drive), 하드디스크(hard disk drive), 카드 타입의 메모리(SD 또는 XD 메모리 등), 램(random access memory, RAM), SRAM(static random access memory), 롬(read-only memory, ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체 및 이에 대한 식별 가능한 물리적 위치 정보를 저장할 수 있는 다양한 저장매체로 구현될 수 있다. 도 1에서는 메모리(430)가 크라우드 아웃소싱 작업 관리 장치(400) 내에 위치된 것으로 도시되어 있으나, 몇몇 실시예에서, 메모리(430)는 크라우드 아웃소싱 작업 관리 장치(400)와 물리적으로 분리된 별도의 장치로 구성될 수 있다. 이 경우, 메모리(430)와 크라우드 아웃소싱 작업 관리 장치(400)는 네트워크를 통해 연결될 수 있다.
인공지능 모듈은 크라우드 아웃소싱 작업 관리 장치(400)의 동작을 제어하기 위한 명령어들의 집합으로서, 임의의 적절한 프로그래밍 언어로 기술되어 전술한 다양한 기능을 수행하는 컴퓨터- 또는 머신- 실행가능 명령어를 포함할 수 있다.
인공지능 모듈은 작업 대상 데이터의 작업 대상 영역을 설정하여 작업 데이터를 생성하고, 복수의 작업자 단말들(100, 200, 300)로부터 작업 데이터에 대한 작업이 완료된 완료 데이터가 수신되는 경우, 복수의 작업자별 작업에 대한 정확도, 성향 및 작업 난이도를 판단하고, 복수의 작업자별 정확도 및 작업 난이도에 기초하여 복수의 작업자별 반영률을 결정하고, 반영률에 기초하여 복수의 작업자별 완료 데이터 검수를 위한 정답 데이터를 결정하도록 구성된다. 인공지능 모듈의 동작들에 대해서는 도 2 내지 도 8을 참조하여 좀더 자세히 설명하기로 한다.
한편, 작업자 단말들(100, 200, 300)은 작업자들이 사용하는 단말로서, 작업 데이터를 처리하여 완료 데이터를 생성하기 위한 컴퓨팅 장치로 구현될 수 있다. 또한, 검수자 단말(500)은 검수자가 사용하는 단말로서, 완료 데이터들 중 전문 검수가 필요한 완료 데이터에 대한 검수를 수행하기 위한 컴퓨팅 장치로 구현될 수 있다. 예를 들어, 작업자 단말들(100, 200, 300) 및 검수자 단말(500)은 스마트폰, 태블릿 PC, 이동 전화기, 영상 전화기, 전자책 리더기, 데스크탑 PC, 랩탑 PC, 넷북 컴퓨터, 워크스테이션, 서버, PDA, PMP, MP3 플레이어, 모바일 의료기기, 카메라, 또는 웨어러블 장치 중 적어도 하나로 구현될 수 있다.
도 2는 본 발명의 일 실시예에 따른 인공지능을 이용한 크라우드 아웃소싱 작업 관리 장치를 사용한 작업 관리 방법을 설명하기 위한 흐름도이다.
도 2를 참조하면, 먼저, 크라우드 아웃소싱 작업 관리 장치는 작업 대상 데이터의 작업 대상 영역을 설정하여 작업 데이터를 생성(S210)한다.
“작업 대상 데이터”는 작업자 단말(100)로 송신할 작업 데이터의 원본 데이터를 의미하며, 작업 대상 데이터는 디지털 이미지, 텍스트, 음향 등 다양한 형태의 데이터로 구성될 수 있다. 크라우드 아웃소싱 작업 관리 장치(400)는 작업 대상 데이터를 인공지능 모듈을 사용하여 전처리함으로써, 작업 데이터를 생성한다. 보다 상세한 설명을 위해 도 3을 함께 참조한다.
도 3은 도 2의 인공지능을 이용한 크라우드 아웃소싱 작업 관리 방법에서 작업 데이터가 생성되는 과정을 설명하기 위한 흐름도이다.
도 3을 참조하면, 크라우드 아웃소싱 작업 관리 장치의 인공지능 모듈은 제1 작업 대상 데이터에 대하여 작업 영역을 설정하여 제1 작업 데이터를 생성(S211)한다.
앞서 언급한 바와 같이, 작업 대상 데이터는 인공지능 모듈이 학습해야 할 객체가 포함된 디지털 컨텐츠로서, 이미지, 텍스트, 음향 등 다양한 형태의 데이터로 구성될 수 있다. 설명의 편의를 위해 이하에서는 작업 대상 데이터가 이미지 데이터로 구성된 경우를 예를 들어 설명하기로 한다.
인공지능 모듈은 먼저 모든 작업 대상 데이터 중에서 제1 작업 대상 데이터를 임으로 선택하고, 제1 작업 대상 데이터에서 인공지능 모듈이 학습해야 할 객체가 위치하는 작업 대상 영역을 다른 영역과 구분되도록 설정함으로써, 제1 작업 대상 데이터를 생성한다. 예를 들어, 학습해야할 객체가 “강아지”라면, 인공지능 모듈은 “강아지”를 포함하는 제1 작업 대상 데이터에서 “강아지”가 위치하는 영역의 경계선을 표시함으로써, 제1 작업 데이터를 생성할 수 있다.
이후, 크라우드 아웃소싱 작업 관리 장치는 작업자 단말(100)로부터 제1 작업 데이터에 대한 제1 완료 데이터를 수신(S212)한다.
제1 완료 데이터는 작업자가 작업자 단말(100)을 통해 제1 작업 데이터에 대한 작업을 완료한 데이터를 의미한다. 예를 들어, 인공지능 모듈이 학습해야 할 객체가 “강아지”인 경우, 제1 작업 데이터에 대한 작업은 “강아지” 윤곽을 표시하는 작업일 수 있다. 작업자는 “강아지”가 위치된 영역의 경계선이 개략적으로 표시된 제1 작업 데이터에서 경계선을 “강아지” 윤곽에 맞도록 정밀하게 편집함으로써, 제1 완료 데이터를 생성할 수 있다.
작업자 단말로부터 제1 완료 데이터가 수신되는 경우, 크라우드 아웃소싱 작업 관리 장치는 제1 완료 데이터에 기초하여 인공지능 모듈을 학습(S213) 시킨다.
제1 작업 데이터에는 “강아지”에 대한 경계선이 계략적으로 표시되어 있지만, 사람에 의해 작업된 제1 완료 데이터에는 “강아지”에 대한 경계선이 보다 정밀하게 표시되어 있을 것이다. 인공지능 모듈은 제1 완료 데이터에 기반하여 학습되며, 학습이 완료된 인공지능 모듈을 사용하는 경우, “강아지”를 포함하는 다른 이미지에 대하여 보다 정확하고 정밀하게 “강아지”에 대한 작업 영역이 설정될 수 있다.
이후, 크라우드 아웃소싱 작업 관리 장치는 학습된 인공지능 모듈에 기초하여 제2 작업 대상 데이터에 대하여 작업 영역을 설정하여 제2 작업 데이터를 생성(S214)한다.
제2 작업 대상 데이터는 제1 작업 대상 데이터를 제외한 나머지 작업 대상 데이터 중 선택된 작업 대상 데이터일 수 있다. 예를 들어, 작업 대상 데이터가 “강아지”가 포함된 100개의 이미지 데이터로 구성된 경우, 제1 작업 대상 데이터는 “강아지”가 포함된 10개의 이미지로 구성될 수 있다. 인공지능 모듈은 10개의 제1 작업 대상 데이터에서 “강아지”가 포함된 영역을 표시함으로써, 제1 작업 데이터를 생성하고, 작업자 단말로부터 10개의 제1 작업 데이터에 대한 작업이 완료된 제1 완료 데이터가 수신되는 경우, 제1 완료 데이터에 기반하여 학습될 수 있다. 학습이 완료된 인공지능 모듈은 다른 10개의 이미지로 구성된 제2 작업 대상 데이터에 대해 “강아지”가 포함된 영역을 좀더 정밀하게 표시할 수 있으며, 인공지능 모듈을 통해 제2 작업 데이터가 생성된다. 이후, 제2 작업 데이터가 복수의 작업자 단말로 송신되고, 작업자 단말로부터 제2 작업 데이터에 대한 작업이 완료된 제2 완료 데이터가 수신되는 경우, 제2 완료 데이터에 기초하여 인공지능 모듈이 학습된다. 마찬가지 방법으로 인공지능 모듈을 통해 또 다른 10개의 이미지로 구성된 제3 작업 대상 데이터에 대하여 “강아지”가 포함된 영역을 설정하여 제3 작업 데이터가 생성된다. 이 경우, 학습된 인공지능 모듈은 제2 작업 대상 데이터를 처리하는 경우보다 더욱 정밀하게 제3 작업 대상 데이터에 대하여 “강아지”가 포함된 영역을 표시할 수 있다. 동일한 방법으로 작업 대상 데이터에 대한 작업이 완료될 때까지 인공지능 모듈은 주기적으로 학습되며, 인공지능 모듈을 통해 생성되는 작업 데이터의 정밀도는 학습이 거듭될수록 향상될 수 있다.
몇몇 실시예에서, 인공지능 모듈의 학습은 제1 완료 데이터에 기반하지 않고, 검수가 완료된 제1 정답 데이터에 기반하여 수행될 수 있다. 즉, 인공지능 모듈은 제2 작업 대상 데이터를 처리하기에 앞서, 제1 완료 데이터에 대한 검수가 완료되어 확정된 제1 정답 데이터에 기반하여 학습될 수 있고, 학습된 인공지능 모듈을 통해 제2 작업 대상 데이터가 처리되어 제2 작업 데이터가 생성될 수 있다. 이 경우, 제1 정답 데이터는 이하에서 후술하는 완료 데이터의 검수 방법에 따라 검수가 완료되어 최종적으로 정답이라고 추론된 데이터에 대응될 수 있다.
다시 도 2를 참조하면, 크라우드 아웃소싱 작업 관리 장치는 작업자 단말로부터 작업 데이터에 대한 작업이 완료된 완료 데이터가 수신되는 경우, 복수의 작업자별 작업에 대한 정확도, 성향 및 작업 난이도를 판단(S220)한다.
본 발명의 일 실시예에 따른 크라우드 아웃소싱 작업 관리 장치(400)는 인공지능 모듈을 사용하여 복수의 작업자들에 대한 작업 정확도, 성향, 및 작업에 대한 난이도를 판단하고, 이를 바탕으로, 다른 작업에 대한 작업자들의 완료 데이터를 검수하며, 작업자들의 작업 성과 등을 관리하는 특징이 있다. 이하에서는 도 4 내지 도 9를 함께 참조하여, 복수의 작업자별 작업 정확도, 성향 및 작업에 대한 난이도를 판단하는 방법을 상세히 설명하기로 한다.
먼저, 크라우드 아웃소싱 작업 관리 장치(400)는 작업자 단말(100)로부터 완료 데이터가 수신되는 경우, 복수의 작업자별 마스크를 생성한다.
도 4를 참조하면, 복수의 작업자별 마스크(OM1, OM2, OM3)는 작업 대상에서 특정 객체에 대한 영역을 표시한 마스크일 수 있다. 예를 들어, 작업 대상이 디지털 이미지에 대응되고, 디지털 이미지 내의 특정 객체를 정의하는 작업인 경우, 복수의 작업자들은 각자의 기준에 따라 디지털 이미지 내에서 특정 객체의 윤곽을 표시함으로써, 특정 객체를 정의할 수 있다. 이 경우, 작업자 단말(100)로부터 수신된 완료 데이터는 특정 객체의 윤곽이 표시된 디지털 이미지에 대한 데이터일 수 있고, 복수의 작업자별 마스크(OM1, OM2, OM3)은 특정 객체의 윤곽으로 정의된 영역에 대한 마스크일 수 있다.
이후, 인공지능 모듈은 복수의 작업자별 마스크(OM1, OM2, OM3)를 병합하여 Trimap을 생성한다.
복수의 작업자들은 각자의 기준에 따라 디지털 이미지 내에서 특정 객체의 윤곽을 표시하므로, 각 작업자들의 마스크(OM1, OM2, OM3)는 서로 상이한 형태를 갖는다. 인공지능 모듈은 복수의 작업자별 마스크(OM1, OM2, OM3)를 중첩하여 Trimap(TM)을 생성한다. 구체적으로, 복수의 작업자별 마스크(OM1, OM2, OM3)의 선택 영역 픽셀들의 픽셀값들을 합산하여 하나의 병합된 마스크가 생성된다.
여기서, 복수의 작업자별 마스크(OM1, OM2, OM3)의 픽셀들은 마스크(OM1, OM2, OM3)의 엘리먼트들을 의미한다. 즉, 복수의 작업자별 마스크는 n*n개의 엘리먼트들로 구성될 수 있으며, 픽셀은 각 엘리먼트를 지칭하는 것으로 이해될 수 있다. 또한, 픽셀값은 각 엘리먼트들의 데이터 값을 의미한다. 예를 들어, 복수의 작업자가 특정 객체를 정의하기 위해 특정 영역을 설정한 경우, 해당 영역에 대응되는 엘리먼트들의 데이터 값이 1로 정의될 수 있고, 해당 영역을 제외한 나머지 영역에 대응되는 엘리먼트들의 데이터 값이 0으로 정의될 수 있다. 이 경우, 해당 영역의 픽셀값은 1로 결정되며, 나머지 영역의 픽셀값은 0으로 결정된다.
제1 작업자의 마스크(OM1)의 표시 영역과 제2 작업자의 마스크(OM2)의 표시 영역과 제3 작업자의 마스크(OM3)의 표시 영역이 모두 중첩되는 픽셀에서의 픽셀값은 제1 작업자의 마스크(OM1)의 픽셀값, 제2 작업자의 마스크(OM2)의 픽셀값 및 제3 작업자의 마스크(OM3)의 픽셀값의 정규화된 합으로 표시될 수 있다. 예를 들어, 마스크 표시 영역의 픽셀값이 1로 정의되고, 비표시 영역의 픽셀값이 0으로 정의된다면, 제1 작업자의 마스크(OM1), 제2 작업자의 마스크(OM2) 및 제3 작업자의 마스크(OM3)의 표시 영역이 모두 중첩되는 픽셀에서는 픽셀값의 합은 3으로 정의되며, 이를 1/n (단, n = 마스크 개수)으로 정의되는 Opacity로 나눔으로써, 정규화될 수 있다. 따라서, 상기 픽셀값의 합은 3* 1/3 = 1 로 정규화될 수 있다. 마찬가지 방법으로 통합된 마스크의 각 픽셀값들은 제1 작업자의 마스크(OM1), 제2 작업자의 마스크(OM2) 및 제3 작업자의 마스크(OM3)의 대응되는 픽셀값들의 정규화된 합으로 산출될 수 있다.
도 4에서, Trimap이 2차원 매트릭스 형태로 형성되는 예가 도시되어 있으나, Trimap은 완료 데이터의 형태에 따라 1차원 벡터 형태로 형성될 수도 있다. 예를 들어, 완료 데이터가 음성 데이터에 대응된다면, 특정 객체의 음성이 표시된 영역에 대해 작업자별 마스크가 생성될 수 있고, 작업자별 마스크를 병합하여 1차원 벡터 형태의 Trimap이 생성될 수 있다.
한편, 상술한 Trimap은 동일한 작업 데이터에 대하여 생성된 복수의 작업자별 완료 데이터에 기초하여 생성된다. 즉, 동일한 디지털 이미지 내에서 특정 객체를 정의하는 작업의 경우, 동일한 디지털 이미지에 대한 복수의 작업자별 완료 데이터를 수신하고, 복수의 작업자별 마스크를 중첩함으로써, Trimap이 생성될 수 있다.
이후, 인공지능 모듈은 복수의 작업자들 중 대상 작업자의 마스크와 Trimap에 기초하여 대상 작업자의 작업 성향, 작업 정확도 및 작업의 난이도를 결정한다.
구체적으로, 하기 [수학식 1]에 기초하여 대상 작업자의 작업 성향을 판단한다.
Figure 112020017914200-pat00001
여기서, OMS (Opacity Mask Score)는 작업자별 작업 성향을 파악하기 위한 지표로서, 작업자의 특정 작업결과에 대한 나머지 작업자들의 작업 결과들과의 일치도를 나타낸 지수일 수 있다. 상기 [수학식 1]에서 TM(t)은 특정 작업(즉, 완료 데이터)(t)에 대한 Trimap의 픽셀값이며, BM(t, i)는 대상 작업자(i)의 특정 작업(t)에 대한 마스크의 픽셀값을 의미한다. 즉, OMS는 대상 작업자(i)의 특정 작업(t)에 대한 마스크 영역의 Trimap에 대한 픽셀값 평균을 의미한다.
OMS가 높은 작업자의 경우, Trimap 내에서 높은 픽셀값을 갖는 픽셀들을 대부분 선택한 것이므로, 해당 작업자가 선택한 영역은 다른 작업자들도 선택한 영역과 중첩된다고 볼 수 있다. 또한, OMS가 높은 작업자의 경우, Trimap 내에서 낮은 픽셀값을 갖는 픽셀들을 대부분 선택하지 않은 것으로 볼 수 있다. 따라서, OMS가 높은 작업자는 특정 객체의 윤곽선을 다른 작업자들에 비해 과소하게 표시하는 경향임을 알 수 있다.
반면, OMS가 낮은 작업자의 경우, Trimap 내에서 높은 픽셀값을 갖는 픽셀들과 낮은 픽셀값을 갖는 픽셀들을 모두 선택한 것이므로, 해당 작업자가 선택한 영역은 대부분의 작업자들이 선택한 영역과 대부분의 작업자들이 잘 선택하지 않은 영역을 모두 포함할 수 있다. 이에, OMS가 낮은 작업자는 특정 객체의 윤곽선을 다른 작업자들에 비해 과대하게 표시하는 경향임을 알 수 있다.
도5의 (a)는 OMS가 낮은 작업자의 마스크(511)와 Trimap의 마스크(513)를 나타내며, (b)는 OMS가 높은 작업자의 마스크(515)와 Trimap의 마스크(513)를 나타낸다. 설명의 편의를 위해 도 5에는 각 마스크의 경계선만 표시되어 있다.
도 5의 (a)에 도시된 바와 같이, OMS가 낮은 작업자의 마스크(511)는 Trimap 마스크(513)의 내측에 위치된 것을 확인할 수 있으며, 이를 통해 OMS가 낮은 작업자는 특정 객체의 정의를 다른 작업자들에 비해 과소하게 표시함을 알 수 있다.
반면, 도 5의 (b)에 도시된 바와 같이, OMS가 높은 작업자의 마스크(515)는 Trimap 마스크(613)의 외측에 위치된 것을 확인할 수 있으며, 이를 통해 OMS가 높은 작업자는 특정 객체의 정의를 다른 작업자들에 비해 과도하게 표시함을 알 수 있다.
또한, 인공지능 모듈은 하기 [수학식 2]에 기초하여 복수의 작업자별 작업 정확도를 판단한다.
Figure 112020017914200-pat00002
여기서, TWS(Task-Worker Similarity)는 작업자의 작업 정확도를 나타내는 지표로서, 특정 작업자의 작업 결과와 나머지 작업자들의 작업 결과 사이의 코사인 유사도(Cosine Similarity)를 의미한다. 상기 [수학식 2]에서, Vt는 특정 작업(t)의 Trimap의 1차원 벡터를 의미하며, Vt,i는 특정 작업자(i)의 특정 작업(t)의 작업자 마스크의 1차원 벡터를 의미한다.
도 6은 TWS의 계산 과정의 일 예를 설명하기 위한 도면이다. 도 6을 참조하면, 특정 작업(t)에 대한 2차원 매트릭스 형태의 Trimap(TM)은 Flatten 함수를 적용하여 1차원 벡터화(Vt)될 수 있으며, 특정 작업(t)에 대한 특정 작업자(i)의 작업자 마스크(OM)도 Flatten 함수를 적용하여 1차원 벡터화(Vt,i)될 수 있다. 이후, Vt-Vt,i를 산출함으로써, 특정 작업자(i)를 제외한 나머지 작업자들의 작업 결과들에 대한 1차원 벡터가 산출되며, Vt-Vt,i와 Vt,i 사이의 코사인 유사도를 산출함으로써, 특정 작업자(i)와 특정 작업자(i)를 제외한 나머지 작업자들의 작업 결과들 사이의 코사인 유사도가 산출된다.
도 7은 특정 작업자의 작업 결과에 따른 TWS계산 결과를 나타낸 도면이다. 도 7을 참조하면, 특정 작업자의 마스크를 1차원 벡터화하고, Trimap을 1차원 벡터화한 후 상기 [수학식 2]에 기초하여 TWS를 계산한 결과, 특정 작업자의 TWS는 0.936으로 산출되었다. 이를 통해 특정 작업자의 작업 결과(711)는 Trimap의 결과(713) 대비 0.936 정도의 유사도를 갖는 것을 알 수 있다. 특정 작업자의 작업 결과(711)가 Trimap의 결과(713) 대비 유사도가 떨어지는 경우, TWS 값은 낮아질 수 있다.
몇몇 실시예에서, 인공지능 모듈은 작업자의 TWS의 직관성을 향상시키기 위해, 하기 [수학식 3]에 기초하여 TMS(Trimap score)를 더 산출할 수 있다.
Figure 112020017914200-pat00003
여기서, TMS(t,i)는 특정 작업(t)에 대한 특정 작업자(i)의 Trimap score로서, 특정 작업자(i)의 작업 결과 중 다른 작업자들의 작업 결과들과 일치되는 부분에 대한 분산을 최소화하여 특정 작업자(i)의 작업 결과에 대한 정확도 지표를 극대화한 지표라고 설명될 수 있다. 상기 [수학식 3]에서, TM(t)은 특정 작업(t)에 대한 Trimap의 픽셀값을 의미하며, BM(t,i)는 특정 작업(t)에 대한 특정 작업자(i)의 작업 마스크의 픽셀값을 의미한다. 한편, n은 Trimap에서 픽셀값이 0을 초과하는 픽셀의 개수를 의미한다.
도 8은 특정 작업(t)에 대한 특정 작업자(i)의 TMS(t,i)의 계산 과정을 나타낸 도면이다. 도 8을 참조하면, 특정 작업(t)에 대한 작업 결과가 3*3 = 9개의 픽셀로 구성된 마스크로 표현되는 경우, │TM(t)-BM(t-i)│의 합은 도 8에 도시된 바와 같이, 2로 계산되며, 상기 [수학식 3]에 따라 TMS(t,i)를 계산하면, TMS(t,i)는 0.77로 계산된다.
한편, 인공지능 모듈은 특정 작업에 대한 복수의 작업자별 마스크의 편차로부터 특정 작업에 대한 작업 난이도를 결정한다.
구체적으로, 특정 작업에 대한 작업 난이도는 하기 [수학식 4]에 기초하여 결정될 수 있다.
Figure 112020017914200-pat00004
여기서, ICS(t)는 특정 작업(t)에 대한 작업 난이도를 나타내는 지표로서, 작업이 모호하지 않고, 얼마나 명확한지에 대한 지표로 설명될 수 있다. 상기 [수학식 4]에서 TM(t)는 특정 작업(t)에 대한 Trimap의 픽셀값을 의미하며, n은 픽셀값이 0을 초과하는 유효 픽셀의 개수를 의미한다. 작업의 명확할수록 작업자들의 작업 결과는 비슷할 것이며, 작업 마스크들의 중첩 영역이 넓으므로, 상기 [수학식 4]에서 ICS(t)는 크게 산출될 수 있다.
도 9는 실제 작업들에 대한 ICS(t) 산출 결과를 나타낸 도면들이다. 도 9에 도시된 바와 같이, 객체의 형태가 단순하여 비교적 명확하게 정의될 수 있는 이미지에 대해서 ICS가 높게 측정된 것을 알 수 있다.
다시 도 2를 참조하면, 크라우드 아웃소싱 작업 관리 장치는 복수의 작업자별 정확도 및 작업 난이도에 기초하여 완료 데이터의 대상 작업들에 대하여 반영률이 산출 가능한 작업인지 판단(S230)한다.
여기서, 반영률(Voting Power)은 특정 작업의 정답 데이터를 선택하는데 적용될 작업자의 가중치 내지는 기여율로 설명될 수 있다. 본 발명의 일 실시예에 따른 크라우드 아웃소싱 작업 관리 장치는 특정 작업에 대한 검수를 위해 필요한 정답 데이터를 확정하는 과정에서 특정 작업을 정확하게 수행한 작업자에게 높은 반영률을 부여하여 정답 데이터의 신뢰도를 향상시키도록 구성된다.
한편, 특정 작업이 작업 자체가 모호하고 난이도가 지나치게 높은 경우, 해당 작업을 충분히 정확하게 수행한 작업자가 존재하지 않을 수 있다. 또한, 특정 작업을 수행한 복수의 작업자들이 모두 작업을 충실히 수행하지 못한 경우, 해당 작업에 대해서는 불량 작업자들의 완료 데이터만 존재하므로, 이에 대해 반영률을 부여하고, 정답 데이터를 선택하는 경우, 정답 데이터의 신뢰성이 낮아질 수 있다.
이에, 본 발명의 일 실시예에 따른 크라우드 아웃소싱 작업 관리 장치는 인공지능 모듈을 통해 작업자별 반영률을 산출하기 앞서, 해당 작업이 반영률을 산출하기에 적합한 작업인지 여부를 먼저 필터링할 수 있다.
예를 들어, 인공지능 모듈은 복수의 작업자들로부터 수신된 완료 데이터들의 TWS의 최대값이 정확도 임계값을 초과하고, ICS가 난이도 임계값을 초과하는지 여부를 검토한다. TWS는 상기 [수학식 2]에 기초하여 산출될 수 있으며, 판단 대상 작업에 대한 TWS값중 가장 높은 최대값이 정확도 임계값을 초과하는지 여부로 판단할 수 있다. 앞서 언급한 바와 같이, TWS는 작업자의 작업 정확도를 나타내는 지표이므로, TWS의 최대값이 높다는 것은 본 작업을 수행한 작업자들 중 높은 정확도로 작업을 수행한 우수 작업자가 포함되어 있다는 것을 의미할 수 있다.
또한, 완료 데이터들의 ICS는 상기 [수학식 4]에 기초하여 산출될 수 있다. 앞서 언급한 바와 같이, ICS가 높을수록 작업의 난이도가 낮고 작업이 명확하다는 것이므로, 특정 작업에 대한 ICS가 난이도 임계값을 초과한다는 것은 특정 작업이 적절한 명확도를 갖는다는 것을 의미할 수 있다.
만약, 특정 작업에 대한 완료 데이터들의 최대 TWS가 정확도 임계값 이하이고, 특정 작업에 대한 ICS가 난이도 임계값 이하인 경우에는 적업 자체의 난이도가 너무 높으며, 높은 정확도를 갖는 우수 작업자의 완료 데이터가 없다고 볼 수 있으므로, 반영률 산출이 불가능한 모호한 작업으로 판단될 수 있다. 이 경우, 크라우드 아웃소싱 작업 관리 장치(400)는 모호한 작업에 대한 완료 데이터들을 검수자 단말(500)로 송신하고, 검수자 단말(500)을 통해 모호한 작업에 대한 전문가 검수가 수행(S255)될 수 있다.
반면, 특정 작업에 대한 완료 데이터들의 최대 TWS가 정확도 임계값을 초과하고, 특정 작업에 대한 ICS가 난이도 임계값을 초과하는 경우에는 해당 작업에는 우수 작업자의 완료 데이터가 포함되어 있으며, 작업 자체의 명확도가 적절한 수준인 것이므로, 우수 작업자를 선별할 수 있는 대상 적격을 갖는다고 볼 수 있다.
이에, 크라우드 아웃소싱 작업 관리 장치는 해당 작업에 대하여 반영률 산출의 대상 적격이 있다고 판단하여, 복수의 작업자별 정확도 및 작업 난이도에 기초하여 복수의 작업자별 반영률을 결정(S240)한다.
구체적으로, 본 발명의 일 실시예에 따른 크라우드 아웃소싱 작업 관리 장치(400)는 인공지능 모듈을 통해 작업자별 반영률을 산출하기 앞서, 복수의 작업자 중 정확도가 미리 설정된 임계값 이상인 우수 작업자의 완료 데이터를 추출한다.
구체적으로, 인공지능 모듈은 상술한 조건을 만족하는 작업들에 대하여 복수의 작업자별 TWS를 산출하고, TWS가 제1 임계값을 초과하는지 여부를 판단한다. TWS가 높을수록 작업자의 작업 결과는 다른 작업자의 작업 결과와 일치도가 높다고 볼 수 있으므로, 정답 데이터에 근접할 가능성이 높다. 이에, 인공지능 모듈은 작업 정확도가 미리 설정된 제1 임계값 이상인 작업자들의 완료 데이터만을 필터링한다. 제1 임계값 미만인 작업자들의 완료 데이터는 정확도가 낮은 작업결과들에 해당된다. 한편, 상기 [수학식 2]의 TWS정의에서 알 수 있듯이, 복수의 작업자별 TWS는 특정 작업자의 완료 데이터와 Trimap 즉, 복수의 작업자들의 완료 데이터를 중첩함으로써 생성된 Trimap의 코사인 유사도로서 정의되므로, 정확도가 지나치게 낮은 불량 작업자들이 존재할 경우, Trimap 자체의 정확도가 낮아질 수 있으며, 해당 작업에 대한 선의의 작업자들에 대한 TWS 를 낮추는 효과를 준다고 볼 수 있다.
따라서, 본 발명의 일 실시예에 따른 크라우드 아웃소싱 작업 관리 장치의 인공지능 모듈은 복수의 작업자들의 완료 데이터들 중 TWS가 제1 임계값 미만인 완료 데이터를 제거하고, TWS가 제1 임계값 이상인 완료 데이터만을 선별하여 다시 Trimap을 생성하고, 다시 생성된 Trimap에 기초하여 특정 작업에 대한 복수의 작업자별 TWS를 다시 산출한다.
이후, 인공지능 모듈은 선별된 복수의 작업자들의 완료 데이터에 기초하여 다시 산출된 TWS가 제2 임계값을 초과하는지 여부를 검토하고, 제2 임계값을 초과하는 TWS를 갖는 특정 작업자들의 완료 데이터를 우수 작업자의 완료 데이터로 선택한다.
상기 정확도 임계값, 난이도 임계값, 제1 임계값 및 제2 임계값은 요구되는 학습 데이터의 정확도에 따라 다양하게 결정될 수 있다. 예를 들어, 사람의 안면 인식에 적용되는 인공지능의 경우, 객체의 특징을 정확하게 인식할 필요가 있으므로, 정확한 학습 데이터에 기반한 학습이 필요할 수 있다. 이 경우, 상술한 임계값을 높게 설정함으로써, 학습 데이터의 정확도를 향상시킬 수 있다.
이후, 인공지능 모듈은 품질 체크 작업에 대하여 품질 체크 작업에 대한 정답 데이터와 우수 작업자의 완료 데이터 사이의 유사도를 산출하여 우수 작업자의 IOU(Intersection over union)을 결정한다.
구체적으로, 인공지능 모듈은 우수 작업자의 작업들 중 품질 체크 작업에 대한 완료 데이터를 선택할 수 있다. 여기서 품질 체크 작업은 우수 작업자별 반영률을 결정하기 위해 사전에 정답 데이터(Ground Truth)를 확보해 놓은 작업을 의미하며, 정답 데이터가 존재하는 품질 체크 작업에 대해 우수 작업자별 IOU를 산출함으로써, 우수 작업자별 반영률이 결정될 수 있다.
IOU는 두 영역(A, B)의 교차영역의 넓이를 합영역의 값으로 나눈 값을 의미하며, 하기 [수학식 5]로 정의되는 자카드 계수(Jaccard index)를 의미한다.
Figure 112020017914200-pat00005
우수 작업자들의 경우, 작업 정확도가 높으므로, 품질 체크 작업에 대한 완료 데이터와 정답 데이터 사이의 IOU는 높게 나타날 수 있다.
이후, 인공지능 모듈은 품질 체크 작업에 대한 작업 난이도에 대한 우수 작업자의 IOU의 비율로부터 우수 작업자의 품질점수를 산출한다.
구체적으로, 품질점수는 하기 [수학식 6]을 통해 산출될 수 있다.
Figure 112020017914200-pat00006
여기서 QScore는 품질 체크 작업(QcT)에 대한 특정 우수 작업자의 품질 점수를 의미한다. 한편, 상기 [수학식 6]에서 QcTw,i는 특정 우수 작업자(w)의 최근 i번째 품질 체크 작업(QcT)에 대한 완료 데이터를 의미한다. 또한, QcTgt,i는 최근 i번째 품질 체크 작업(QcT)에 대한 정답 데이터를 의미한다.
상기 [수학식 6]에서 알 수 있듯이, 인공지능 모듈은 어려운 작업에 대해서 우수한 정확도를 갖는 우수 작업자(w)에 대하여 더 높은 품질점수를 부여할 수 있다.
이후, 인공지능 모듈은 품질점수에 기초하여 우수 작업자의 반영률을 결정한다.
구체적으로, 인공지능 모듈은 특정 우수 작업자의 품질점수에 기간에 따른 가중치를 적용하여 특정 우수 작업자의 반영률을 결정한다. 예를 들어, 하기 [수학식 7]과 같이, 특정 우수 작업자의 품질점수(QScore)에 기간에 대한 가중치(DecayWeight)를 적용하고, 반영률 산출에 적용할 품질 체크 작업(QcT)의 개수를 나눔으로써, 특정 우수 작업자의 영향력 점수(IP)가 산출될 수 있다.
Figure 112020017914200-pat00007
여기서, IP는 검수를 수행할 특정 작업에 대하여 검수 기준 데이터(즉, 정답 데이터)를 결정하는데 반영되는 특정 우수 작업자의 영향력 정도를 나타내는 지표를 의미한다. QcT Range는 IP 산출에 적용할 품질 체크 작업(QcT)의 개수를 의미하며, QcT Range가 높을수록 IP의 신뢰성이 향상될 수 있다. DecayWeight는 기간에 대한 가중치로서, 현재 시점으로부터 가까울수록 큰 값을 갖는 요소일 수 있으며, 하기 [수학식 8]로 정의된다.
Figure 112020017914200-pat00008
여기서, Weight는 가중치를 의미하며, t는 QcT Range를 의미한다. i는 1부터 t-1까지의 정수를 의미한다. 한편, 가중치의 구체적인 값은 작업 난이도, 종류 등에 따라 다양하게 결정될 수 있다.
예를 들어, 특정 우수 작업자(i)의 영향력 점수(IP)가 산출되는 과정을 설명하면, 다음과 같을 수 있다. 만약, 5개의 품질 체크 작업(QcT)을 기준으로 영향력 점수(IP)가 산출된다면, 먼저, 인공지능 모듈은 특정 우수 작업자(i)의 완료 데이터에 기초하여 5개의 품질 체크 작업(QcT)에 대한 IOU를 산출하고, 상기 품질 체크 작업(QcT)의 작업 난이도(ICS)를 산출한 후, 상기 [수학식 6]에 기초하여 3명의 우수 작업자들에 대한 품질점수(QScore)를 산출할 수 있다. 구체적으로, 5개의 품질 체크 작업(QcT)에 대한 IOU는 상기 [수학식 5]에 기초하여 산출될 수 있으며, ICS는 상기 [수학식 4]에 기초하여 산출될 수 있다. 어느 특정 우수 작업자(i)의 5개의 품질 체크 작업(QcT)에 대한 IOU 및 ICS의 산출 예시가 하기 [표 1]과 같다.
구분 IOU ICS
QcT1 0.9 0.8
QcT2 0.8 0.9
QcT3 0.8 0.7
QcT4 0.9 0.9
QcT5 0.7 0.8
이 경우, 상기 [수학식 6]에 따라, 특정 우수 작업자(i)의 품질점수(Qscore)가 다음과 같이 산출된다.
QScore = [1.12, 0.88, 1.14, 1.00, 0.87]
또한, 가중치가 0.9인 경우, 5개의 품질 체크 작업(QcT)의 기간에 따른 가중치(DecayWeight)는 상기 [수학식 8]에 따라 다음과 같이 산출될 수 있다.
DecayWeight(0.9, 5)= 0.9i = [1.0, 0.9, 0.81, 0.73, 0.65]
따라서, 특정 우수 작업자(i)에 대한 영향력 점수(IP)는 다음과 같이 산출될 수 있다.
Figure 112020017914200-pat00009
Figure 112020017914200-pat00010
이후, 인공지능 모듈은 모든 우수 작업자의 영향력 점수(IP)의 합이 1이 되도록 영향력 점수(IP)를 정규화하여 반영률(Voting Power; VP)를 산출한다.
예를 들어, 3명의 우수 작업자가 존재하고, 3명의 우수 작업자에 대한 영향력 점수(IP)가 하기 [표 2]와 같다면, 3명의 우수 작업자에 대한 영향력 점수(IP)의 합이 1이 되도록 정규화되어 반영률(VP)이 하기 [표 3]과 같이 산출될 수 있다.
Worker w1 w2 w3
Impact Point 1 0.9 0.8
Worker w1 w2 w3
Impact Point 1/2.7 0.9/2.7 0.8/2.7
다시 도 2를 참조하면, 인공지능 모듈은 산출된 반영률에 기초하여 복수의 작업자별 완료 데이터를 검수하기 위한 정답 데이터를 선택(S240)한다.
완료 데이터의 검수는 복수의 작업자별 완료 데이터들 중 정답(ground truth)인 완료 데이터를 선택하는 단계일 수 있다.
구체적으로, 인공지능 모듈은 복수의 작업자별 반영률(VP)에 기초하여 Trimap 형성시 적용되는 Opacity를 조절하고, 조절된 Opacity에 기초하여 Trimap을 보정함으로써, 정답 데이터를 선택할 수 있다.
도 10은 3명의 작업자에 대한 반영률을 산출하고, 반영률에 기초하여 검수과정이 수행되는 예를 설명하기 위한 도면이다.
도 10을 참조하면, 3명의 작업자(w1, w2, w3)에 대한 반영률(VP)이 각각 도 10과 같이 산출될 수 있다. 즉, 3명의 작업자(w1, w2, w3)에 대한 품질점수(Qscore)를 산출하고, 품질점수(Qscore)에 기간에 따른 가중치(DecayWeight)를 적용하여 3명의 작업자(w1, w2, w3)에 대한 영향력 점수(IP)가 산출될 수 있다. 이후, 영향력 점수(IP)의 합이 1이 되도록 정규화됨으로써, 3명의 작업자(w1, w2, w3)에 대한 반영률(VP)이 산출될 수 있다.
이후, 인공지능 모듈은 3명의 작업자(w1, w2, w3)의 완료 데이터에 상기 3명의 작업자(w1, w2, w3)의 반영률(VP)을 Opacity로 적용하여 3명의 작업자(w1, w2, w3)의 Opacity 마스크(OM1, OM2, OM3)를 생성하고, Opacity 마스크를 중첩함으로써, 정답 Trimap을 생성할 수 있다.
정답 Trimap은 3명의 작업자(w1, w2, w3)의 반영률(VP)이 적용되어 생성된 마스크이므로, 반영률(VP)이 높은 우수 작업자(w1)의 작업 결과가 다른 작업자들(w2, w3)의 작업 결과보다 더 큰 영향력을 미치게 된다. 이에, 정답 Trimap의 신뢰도가 더욱 향상될 수 있다.
이후, 인공지능 모듈은 정답 Trimap과의 일치도가 미리 설정된 임계치 이상인 완료 데이터를 정답 처리함으로서, 작업자(w1, w2, w3)의 완료 데이터를 검수한다.
몇몇 실시예에서, 인공지능 모듈을 통한 완료 데이터의 검수는 작업 결과의 유형에 따라 다양한 방식으로 수행될 수 있다.
구체적으로, 완료 데이터의 변수 형태가 범주형 변수(Categorical data)인 경우, 완료 데이터의 평균값을 취하는 방식을 적용할 수 없으므로, 우수 작업자들 중 가장 높은 반영률을 갖는 최우수 작업자의 완료 데이터와 동일한 완료 데이터들을 정답 데이터로 선택하는 방식으로 검수가 수행될 수 있다.
예를 들어, 복수의 작업자들에게 분배된 작업이 이미지 내의 특정 객체에 대한 라벨링 작업에 해당되는 경우, 해당 작업의 완료 데이터의 변수 형태는 범주형 변수일 수 있다. 즉, 객체가 “고양이”인 경우, 라벨이 “001”로 표시되고, 객체가 “강아지”인 경우, 라벨이 “002”로 표시되며, 객체가 “원숭이”인 경우, 라벨이 “003”으로 정의될 수 있으며, 이 경우, 완료 데이터의 변수 형태는 “001, 002, 003”이라는 범주형 변수로 정의될 수 있다. 만약, “고양이” 객체에 대한 작업에 대해 80명의 작업자가 “001”로 라벨링하고, 20명의 작업자가 “002”로 라벨링한 경우, 해당 작업에 대한 완료 데이터에 대한 평균값은 001.2 등과 같이 결정될 수 있다. 따라서, 완료 데이터를 통계적으로 분석하여 정답 데이터를 추론하는 모델은 범주형 변수에 대해서는 적용될 수 없다.
본 발명의 일 실시예에 따른 크라우드 아웃소싱 작업 관리 장치(400)의 인공지능 모듈은 범주형 변수에 대해서는 가장 반영률(VP)이 높은 최우수 작업자의 완료 데이터를 정답 데이터로 결정하고, 최우수 작업자의 완료 데이터와 동일한 결과를 나타낸 작업자들의 완료 데이터만을 정답 처리하는 방식으로, 작업자들의 완료 데이터를 검수할 수 있다.
한편, 완료 데이터의 변수 형태가 연속형 변수(Continuous data)인 경우, 완료 데이터의 통계학적 접근이 가능하다고 볼 수 있다. 이 경우, 인공지능 모듈은 우수 작업자들의 완료 데이터에 적합한 추론모델을 적용하여 정답 데이터를 결정한다.
예를 들어, 이미지 내에서 특정 객체를 정의하는 작업의 경우, 완료 데이터는 특정 객체가 포함된 영역을 선택하는 마스크를 정의하는 방식으로 진행될 수 있으며, 완료 데이터는 연속형 변수 형태로 나타날 수 있다. 이 경우, 인공지능 모듈은 도 10에 도시된 바와 같이, 작업자들(w1, w2, w3)의 반영률(VP)을 각 작업자들(w1, w2, w3)의 완료 데이터에 Opacity로 적용하여 각 작업자별 Opacity mask (OM1, OM2, OM3)를 생성하고, 이를 중첩함으로써, 정답 Trimap(TM)을 생성하고, 형성된 정답 Trimap(TM)과의 일치도가 특정 임계값 이상인 완료 데이터를 정답 처리하는 방식으로 작업자들의 완료 데이터를 검수 할 수 있다.
그러나, 완료 데이터의 검수 방법이 이에 한정되는 것은 아니며, 인공지능 모듈은 작업자들의 반영률이 적용된 완료 데이터들의 평균값, 중간값 등 다양한 통계값들을 적용하는 방식 또는 알파-매팅(Alpha matting) 알고리즘을 적용하는 방식 등으로 정답 데이터를 결정할 수 있다.
몇몇 실시예에서, 인공지능 모듈은 완료 데이터가 연속형 변수 형태이더라도, 통계적 추론 모델을 적용하지 않고, 선택형 추론 모델을 적용할 수 있다. 즉, 완료 데이터가 0~1 사이의 연속적인 데이터 값을 갖더라도, 작업의 특성상 정답 데이터를 0 또는 1로 결정할 필요가 있는 경우, 선택형 추론 모델을 적용하여 가장 반영률이 높은 최우수 작업자의 완료 데이터를 정답 데이터로 설정할 수 있다.
이후, 본 발명의 일 실시예에 따른 크라우드 아웃소싱 작업 관리 장치(400)는 산출된 작업자별 반영률(VP)에 기초하여 기존의 작업자별 반영률(VP)을 조정한다. 즉, 검수를 통해 완료 데이터 중 정답 데이터가 많은 것으로 판별된 작업자에 대해서는 반영률(VP)이 높아지도록 조정되고, 완료 데이터 중 정답 데이터가 적은 것으로 판별된 작업자에 대해서는 반영률(VP)이 낮아지도록 조정될 수 있다.
본 발명의 일 실시예에 따른 크라우드 아웃소싱 작업 관리 장치(400)는 결정된 작업 데이터에 기초하여 작업자들의 완료 데이터를 검수하고, 정답으로 처리된 완료 데이터를 학습 데이터로 선택한다. 인공지능은 검수가 완료된 학습 데이터에 기초하여 학습될 수 있으므로, 인공지능의 학습 효율은 증가될 수 있으며, 인공지능의 성능은 고도화될 수 있다.
상술한 바와 같이, 본 발명의 일 실시예에 따른 인공지능을 이용한 크라우드 아웃소싱 작업 관리 장치(400)는 인터넷을 통해 불특정 작업자들에게 인공지능의 학습을 위한 학습 데이터를 생성하는 작업을 분배할 수 있다. 특히, 작업 대상 데이터에 대하여 인공지능 모듈을 통해 전처리를 수행하고, 전처리된 작업 데이터를 불특정 작업자들에게 전송함으로써, 작업자들의 작업이 보다 용이하게 진행될 수 있도록 할 수 있다. 즉, 인공지능 모듈은 작업 대상 데이터에서 작업 대상 영역을 설정하는 전처리를 수행하여 작업 데이터를 생성하고, 생성된 작업 데이터를 복수의 작업자들에게 송신할 수 있으므로, 작업자들은 보다 수월하게 학습 데이터 생성 작업을 수행할 수 있다.
더불어, 인공지능 모듈은 작업 데이터를 생성하는 과정에서 일부 제1 작업 데이터에 대한 작업이 완료된 제1 완료 데이터를 학습하도록 구성되므로, 작업 데이터를 생성하는 과정에서 점차적으로 학습될 수 있고, 제1 작업 데이터를 분배한 이후, 제2, 제3 작업 데이터를 생성하는 과정에서는 좀더 고도화된 방법으로 작업 영역을 설정할 수 있으며, 이로 인해, 고도로 전처리된 작업 데이터가 생성되어 작업자들에게 분배될 수 있다. 따라서, 복수의 작업자들의 업무 부하(load)가 더욱 감소될 수 있으며, 종국적으로는 학습 데이터의 생성 작업 자체가 인공지능 모듈에 의해 수행되도록 구성될 수도 있다.
또한, 본 발명의 일 실시예에 따른 인공지능을 이용한 크라우드 아웃소싱 작업 관리 장치(400)는 작업 난이도 및 해당 작업을 수행한 작업자들의 정확도를 산출하고, 작업 난이도가 충분히 낮으며, 복수의 작업자들의 정확도가 충분히 높은 경우, 해당 작업에 대해 인공지능 모듈을 통해 검수를 수행하도록 구성된다. 또한, 작업 난이도가 너무 높거나 복수의 작업자들의 정확도가 너무 낮아 인공지능 모듈을 통한 검수가 불분명한 경우, 해당 작업에 대해 전문가 검수를 수행하도록 구성된다. 즉, 전문가들은 일부 모호한 작업에 대해서만 검수를 수행하면 되고, 대부분의 검수는 인공지능 모듈을 통해 수행되므로, 전문가들의 업무 부하가 충분히 감소될 수 있으며, 크라우드 아웃소싱 작업의 효율성이 향상될 수 있다.
이 경우, 본 발명의 일 실시예에 따른 인공지능을 이용한 크라우드 아웃소싱 작업 관리 장치(400)는 복수의 작업자별 정확도, 성향, 작업 난이도를 판단하고, 복수의 작업자별 정확도 및 난이도에 기초하여 반영률을 결정하고, 반영률에 기초하여 복수의 작업자별 완료 데이터 검수를 위한 정답 데이터를 결정하도록 구성된다. 즉, 정확도가 우수한 작업자에게는 높은 반영률을 부여하고, 정답 데이터를 결정함에 있어서, 우수한 작업자의 완료 데이터를 높은 비율로 반영한다. 따라서, 정확도가 낮은 다수의 작업자들의 작업 결과에 의해 정답 데이터의 신뢰성이 낮아지는 문제를 최소화할 수 있으며, 인공지능 모듈에 의한 검수의 신뢰성이 더욱 향상될 수 있다.
특히, 본 발명의 일 실시예에 따른 인공지능을 이용한 크라우드 아웃소싱 작업 관리 장치(400)는 복수의 작업자별 반영률을 결정함에 있어서 기간에 따른 가중치를 적용한다. 우수한 작업자라 하여도 다양한 요인에 의해 최근 작업 정확도가 떨어질 수도 있다. 본 발명의 일 실시예에 따른 크라우드 아웃소싱 작업 관리 장치(400)는 각 작업자별 품질점수에 기간에 따른 가중치를 적용하여 반영률을 결정하도록 구성되어 있으므로, 최근 작업 정확도가 떨어진 우수 작업자의 작업 결과가 정답 데이터를 결정하는데 영향이 미치지 못하도록 할 수 있으며, 이를 통해 정답 데이터의 신뢰성을 향상시킬 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (10)

  1. 복수의 작업자 단말로 작업 데이터를 송신하고, 상기 복수의 작업자 단말로부터 완료 데이터를 수신하는 통신부;
    상기 복수의 작업자 단말로 송신할 상기 작업 데이터를 생성하고, 상기 복수의 작업자 단말로부터 수신된 상기 완료 데이터들을 검수하는 연산을 수행하도록 구성된 프로세서; 및
    상기 프로세서의 연산 동작을 제어하는 인공지능 모듈이 저장된 메모리를 포함하고,
    상기 인공지능 모듈은,
    작업 대상 데이터의 작업 대상 영역을 설정하여 상기 작업 데이터를 생성하고,
    상기 복수의 작업자 단말로부터 상기 작업 데이터에 대한 작업이 완료된 상기 완료 데이터가 수신되는 경우, 복수의 작업자별 작업에 대한 정확도, 성향 및 작업 난이도를 판단하고,
    상기 복수의 작업자별 상기 완료 데이터로부터 상기 복수의 작업자별 마스크를 생성하고, 상기 복수의 작업자별 마스크를 병합하여 Trimap을 생성하고, 상기 복수의 작업자 중 대상 작업자의 마스크와 상기 Trimap의 유사도를 산출함으로써, 상기 대상 작업자의 상기 정확도를 결정하며,
    상기 복수의 작업자별 상기 정확도 및 상기 작업 난이도에 기초하여 상기 복수의 작업자별 반영률을 결정하고,
    상기 반영률에 기초하여 상기 복수의 작업자별 상기 완료 데이터를 검수하기 위한 정답 데이터를 선택하는, 인공지능을 이용한 크라우드 아웃소싱 작업 관리 장치.
  2. 제1항에 있어서,
    상기 인공지능 모듈은,
    상기 작업 대상 데이터 중 제1 작업 대상 데이터에 대하여 작업 대상 영역을 설정함으로써, 상기 복수의 작업자 단말로 송신할 제1 작업 데이터를 생성하고,
    상기 복수의 작업자 단말로부터 상기 제1 작업 데이터에 대한 작업이 완료된 제1 완료 데이터가 수신되는 경우, 상기 제1 완료 데이터를 학습하고,
    상기 제1 완료 데이터로 학습된 상기 인공지능 모듈을 통해 상기 작업 대상 데이터 중 제2 작업 대상 데이터에 대하여 작업 대상 영역을 설정함으로써, 상기 복수의 작업자 단말로 송신할 제2 작업 데이터를 생성하는, 인공지능을 이용한 크라우드 아웃소싱 작업 관리 장치.
  3. 삭제
  4. 제1항에 있어서,
    상기 인공지능 모듈은,
    상기 Trimap 에서의 상기 대상 작업자의 마스크에 대응되는 영역에 대한 평균을 산출함으로써, 상기 대상 작업자의 작업 성향을 결정하는, 인공지능을 이용한 크라우드 아웃소싱 작업 관리 장치.
  5. 제1항에 있어서,
    상기 인공지능 모듈은,
    특정 작업에 대한 상기 복수의 작업자별 마스크의 편차로부터 상기 특정 작업에 대한 상기 작업 난이도를 결정하는, 인공지능을 이용한 크라우드 아웃소싱 작업 관리 장치.
  6. 제1항에 있어서,
    상기 인공지능 모듈은,
    상기 복수의 작업자 중 상기 정확도가 미리 설정된 임계값 이상인 우수 작업자의 상기 완료 데이터를 추출하고,
    품질 체크 작업에 대하여 상기 품질 체크 작업에 대한 정답 데이터와 상기 우수 작업자의 상기 완료 데이터 사이의 유사도를 산출하여 상기 우수 작업자의 IOU(Intersection over union)를 결정하고,
    상기 품질 체크 작업에 대한 상기 작업 난이도에 대한 상기 우수 작업자의 IOU의 비율로부터 상기 우수 작업자의 품질점수를 산출하고,
    상기 품질점수에 기초하여 상기 우수 작업자의 반영률을 결정하는, 인공지능을 이용한 크라우드 아웃소싱 작업 관리 장치.
  7. 제6항에 있어서,
    상기 인공지능 모듈은,
    상기 우수 작업자의 상기 품질점수에 기간에 따른 가중치를 적용하여 상기 우수 작업자의 반영률을 결정하는, 인공지능을 이용한 크라우드 아웃소싱 작업 관리 장치.
  8. 제7항에 있어서,
    상기 인공지능 모듈은,
    특정 작업에 대한 작업 완료일이 현재 시점으로부터 가까울 수록 상기 기간에 대한 가중치를 높게 적용하는, 인공지능을 이용한 크라우드 아웃소싱 작업 관리 장치.
  9. 제1항에 있어서,
    상기 작업 데이터는 이미지 내의 대상 사물에 대한 경계 영역 지정에 관련된, 인공지능을 이용한 크라우드 아웃소싱 작업 관리 장치.
  10. 프로세서가 작업 대상 데이터의 작업 대상 영역을 설정하여 작업 데이터를 생성하는 단계;
    통신부가 상기 작업 데이터를 인터넷에 접속된 복수의 작업자 단말로 송신하는 단계;
    상기 통신부에 상기 복수의 작업자 단말로부터 상기 작업 데이터에 대한 작업이 완료된 완료 데이터가 수신되는 경우, 상기 프로세서가 복수의 작업자별 작업에 대한 정확도, 성향 및 작업 난이도를 판단하는 단계;
    상기 프로세서가 상기 복수의 작업자별 상기 정확도 및 상기 작업 난이도에 기초하여 상기 복수의 작업자별 반영률을 결정하는 단계; 및
    상기 프로세서가 상기 반영률에 기초하여 상기 복수의 작업자별 상기 완료 데이터를 검수하기 위한 정답 데이터를 선택하는 단계를 포함하고,
    상기 복수의 작업자별 반영률을 결정하는 단계는,
    상기 복수의 작업자별 상기 완료 데이터로부터 상기 복수의 작업자별 마스크를 생성하고, 상기 복수의 작업자별 마스크를 병합하여 Trimap을 생성하고, 상기 복수의 작업자 중 대상 작업자의 마스크와 상기 Trimap의 유사도를 산출함으로써, 상기 대상 작업자의 상기 정확도를 결정하는,
    인공지능을 이용한 크라우드 아웃소싱 작업 관리 방법.
KR1020200020664A 2020-02-19 2020-02-19 인공지능을 이용한 크라우드 아웃소싱 작업 관리 장치 및 방법 KR102405298B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200020664A KR102405298B1 (ko) 2020-02-19 2020-02-19 인공지능을 이용한 크라우드 아웃소싱 작업 관리 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200020664A KR102405298B1 (ko) 2020-02-19 2020-02-19 인공지능을 이용한 크라우드 아웃소싱 작업 관리 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20210105770A KR20210105770A (ko) 2021-08-27
KR102405298B1 true KR102405298B1 (ko) 2022-06-07

Family

ID=77504594

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200020664A KR102405298B1 (ko) 2020-02-19 2020-02-19 인공지능을 이용한 크라우드 아웃소싱 작업 관리 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102405298B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015041254A (ja) * 2013-08-22 2015-03-02 大日本印刷株式会社 Ｔｒｉｍａｐ生成装置、Ｔｒｉｍａｐ生成方法、及びプログラム
JP2019022477A (ja) * 2017-07-19 2019-02-14 タタ コンサルタンシー サービシズ リミテッドＴＡＴＡ Ｃｏｎｓｕｌｔａｎｃｙ Ｓｅｒｖｉｃｅｓ Ｌｉｍｉｔｅｄ 染色体のクラウドソーシングおよびディープラーニングベースの分断化ならびに核型分析

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101772199B1 (ko) * 2015-10-30 2017-09-01 (주)유미테크 크라우드 소싱 기반 지식 검증 시스템
KR101908431B1 (ko) * 2016-12-07 2018-10-16 (주)씽크포비엘 적합한 업무 담당자를 자동으로 할당하는 방법 및 장치
KR101887415B1 (ko) 2017-11-21 2018-08-10 주식회사 크라우드웍스 데이터 라벨링 작업 검수방법 및 프로그램
KR102171658B1 (ko) * 2018-06-28 2020-10-29 (주) 엠티콤 크라우드전사장치 및 그 동작 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015041254A (ja) * 2013-08-22 2015-03-02 大日本印刷株式会社 Ｔｒｉｍａｐ生成装置、Ｔｒｉｍａｐ生成方法、及びプログラム
JP2019022477A (ja) * 2017-07-19 2019-02-14 タタ コンサルタンシー サービシズ リミテッドＴＡＴＡ Ｃｏｎｓｕｌｔａｎｃｙ Ｓｅｒｖｉｃｅｓ Ｌｉｍｉｔｅｄ 染色体のクラウドソーシングおよびディープラーニングベースの分断化ならびに核型分析

Also Published As

Publication number Publication date
KR20210105770A (ko) 2021-08-27

Similar Documents

Publication Publication Date Title
CN110569837B (zh) 优化损伤检测结果的方法及装置
US20230011257A1 (en) Method for distinguishing a real three-dimensional object from a two-dimensional spoof of the real object
CN110349147B (zh) 模型的训练方法、眼底黄斑区病变识别方法、装置及设备
CN110264444B (zh) 基于弱分割的损伤检测方法及装置
CN110634116B (zh) 一种面部图像评分方法及摄像机
US11004204B2 (en) Segmentation-based damage detection
KR20200023029A (ko) 진단 보조 시스템 및 그 제어 방법
CN110991220B (zh) 禽蛋检测、图像处理方法，装置、电子设备及存储介质
CN111415336B (zh) 一种图像篡改识别方法、装置、服务器及存储介质
KR20210108622A (ko) 인공지능 기반의 면접자 직무역량 판단 시스템 및 방법
JP2021149446A (ja) 注視物体認識システム及び方法
KR102243259B1 (ko) 시선 추적 기술을 기반으로 하는 작업자의 작업을 학습 및 평가하기 위한 장치 및 그 방법
KR102405297B1 (ko) 인공지능을 이용한 크라우드 아웃소싱 작업 검수 대상 샘플링 방법 및 장치
KR102481583B1 (ko) 인공지능을 이용한 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 방법 및 그 장치
KR102470856B1 (ko) 인공지능을 이용한 크라우드 아웃소싱 작업 검수 방법 및 그 장치
CN114219936A (zh) 目标检测方法、电子设备、存储介质和计算机程序产品
KR102405298B1 (ko) 인공지능을 이용한 크라우드 아웃소싱 작업 관리 장치 및 방법
CN112085223A (zh) 一种用于机械维修的诱导系统及方法
KR102480575B1 (ko) 인공지능을 이용한 크라우드 아웃소싱 작업 분배 방법 및 장치
US20230135258A1 (en) Prediction of geographic-atrophy progression using segmentation and feature evaluation
CN115205956A (zh) 左右眼检测模型训练方法、识别左右眼的方法及装置
CN115115600A (zh) 镀膜镜片瑕疵检测方法、装置、设备及存储介质
Iraldi et al. Damage classification on roads using machine learning
CN114764948A (zh) 活体检测方法、装置、设备及存储介质
Omeiza A step towards exposing bias in trained deep convolutional neural network models

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant