KR102481583B1 - 인공지능을 이용한 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 방법 및 그 장치 - Google Patents

인공지능을 이용한 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 방법 및 그 장치 Download PDF

Info

Publication number
KR102481583B1
KR102481583B1 KR1020200020699A KR20200020699A KR102481583B1 KR 102481583 B1 KR102481583 B1 KR 102481583B1 KR 1020200020699 A KR1020200020699 A KR 1020200020699A KR 20200020699 A KR20200020699 A KR 20200020699A KR 102481583 B1 KR102481583 B1 KR 102481583B1
Authority
KR
South Korea
Prior art keywords
data
worker
work
artificial intelligence
reflection rate
Prior art date
Application number
KR1020200020699A
Other languages
English (en)
Other versions
KR20210105779A (ko
Inventor
홍기섭
신윤식
Original Assignee
주식회사 에이모
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에이모 filed Critical 주식회사 에이모
Priority to KR1020200020699A priority Critical patent/KR102481583B1/ko
Publication of KR20210105779A publication Critical patent/KR20210105779A/ko
Application granted granted Critical
Publication of KR102481583B1 publication Critical patent/KR102481583B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311—Scheduling, planning or task assignment for a person or group
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06316—Sequencing of tasks or work
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0633—Workflow analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0637—Strategic management or analysis, e.g. setting a goal or target of an organisation; Planning actions based on goals; Analysis or evaluation of effectiveness of goals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Operations Research (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • General Factory Administration (AREA)

Abstract

본 발명의 일 실시예에 따른 인공지능을 이용한 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 방법은, 복수의 작업자 단말로부터 작업 데이터에 대한 작업이 완료된 완료 데이터를 수신하는 완료 데이터 수신 단계; 인공지능 모듈에 의해 제어되는 프로세서가 각 작업자에 대하여 상기 작업자의 신뢰도인 반영률을 결정하는 반영률 결정 단계; 및 상기 반영률에 기초하여 상기 완료 데이터의 검수를 위한 검수 기준 데이터를 결정하는 가중치에 따른 검수 기준 데이터 형성 단계를 포함한다.

Description

인공지능을 이용한 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 방법 및 그 장치 {METHOD AND APPARATUS FOR FORMING INSPECTION CRITERIA DATA WITH CLOUD OUTSORCING WORK BY USING ARTIFICIAL INTELLIGENT}
본 발명은 인공지능을 이용한 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 방법 및 그 장치에 관한 것이다. 보다 상세하게는 아웃소싱 작업 결과물과 작업자 및 작업결과물의 평가를 기초로 작업 결과물 검수를 위한 검수 기준 데이터를 형성하는 인공지능을 이용한 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 방법 및 그 장치에 관한 것이다.
최근 인공지능(Artificial Intelligence, AI) 기술이 발달함에 따라 이미지, 음성, 텍스트 등 디지털 형태의 컨텐츠에 포함된 특정 객체를 인식하는 인공지능에 대한 연구가 활발하게 진행되고 있다. 특히, 디지털 카메라를 통해 생성된 디지털 이미지 내에서 특정 객체를 인식하여 촬영된 지역의 상황을 판단하는 인공지능 기술은 감시카메라, 자율주행 자동차에 적용되는 등 다양한 산업분야에 활용되고 있다.
인공지능을 사용하여 디지털 컨텐츠 내의 특정 객체를 인식하기 위해서는 인식하고자 하는 객체가 포함된 다양한 학습 데이터들을 사용하여 인공지능을 미리 학습시켜야 한다.
학습 데이터는 인공지능으로 하여금 디지털 컨텐츠 내의 객체와 비객체를 구별할 수 있도록, 디지털 컨텐츠 내에 존재하는 객체의 윤곽, 영역 등을 표시하여 제공될 수 있다. 그러나, 객체와 비객체가 구별되어 있는 데이터는 존재하지 않으므로, 디지털 컨텐츠 내에서 객체의 윤곽, 영역 등을 표시하는 작업은 사람에 의해서 수행될 수밖에 없다.
인공지능은 다양하고 많은 학습 데이터를 학습할수록 인식 정확도가 향상되므로, 되도록 많은 학습 데이터를 학습시키는 것이 중요하다. 최근에는 학습 데이터를 용이하게 생성하도록 인터넷을 통해 다수의 작업자들을 모집하여 디지털 컨텐츠 내의 객체의 윤곽, 영역 등을 표시하는 작업을 의뢰하는 크라우드 아웃소싱 방식의 학습 데이터를 생성 방법이 사용되고 있다.
이때, 작업자들마다 객체가 포함된 영역을 다르게 판단할 수 있으며, 작업자들이 성실하지 않게 작업을 진행하여 바람직하지 않은 학습 데이터가 생성되는 문제가 발생될 수 있다. 이 경우, 학습 데이터의 품질과 관계없이 학습 데이터를 학습시키는 경우 바람직하지 못한 학습 데이터에 기반하여 학습된 인공지능이 실제 상황에서 객체를 제대로 인식하지 못하는 문제가 발생될 수 있다. 따라서, 학습 데이터의 품질을 확인하는 검수기능이 중요하며, 이를 기계적으로 수행하기 위해서는 검수 기준 데이터를 생성하는 작업이 필요하다. 검수 기준 데이터란 생성된 학습 데이터의 품질을 확인하는 채점표로서, 정답표에 대응된다. 모든 학습 데이터에 대하여 정답이 미리 특정되어 있지 않으므로, 가능한한 정답에 가까운 값을 임의로 특정하여 나머지 학습 데이터의 품질을 검수하는 것이다.
이에, 인공지능 학습을 효율적으로 수행할 수 있도록 크라우드 아웃소싱 방식의 작업 결과물을 그 작업자 또는 작업 결과물을 평가하고 그 평가를 기초로 학습 데이터를 검수하기 위한 검수 기준 데이터를 형성하는 방법에 대한 개발이 요구된다.
대한민국 등록특허 제10-1887415호 (2017.11.21.)
본 발명은 다수의 아웃소싱 완료 데이터를 검수하기 위한 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 방법 및 그 장치를 제공한다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예에 따른 인공지능을 이용한 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 방법은, 복수의 작업자 단말로부터 작업 데이터에 대한 작업이 완료된 완료 데이터를 수신하는 완료 데이터 수신 단계, 인공지능 모듈에 의해 제어되는 프로세서가 각 작업자에 대하여 상기 작업자의 신뢰도인 반영률을 결정하는 반영률 결정 단계 및 상기 반영률에 기초하여 상기 완료 데이터의 검수를 위한 검수 기준 데이터를 결정하는 검수 기준 데이터 형성 단계를 포함할 수 있다.
상기 반영률 결정 단계는 상기 복수의 작업자 단말별 상기 완료 데이터로부터 상기 복수의 작업자 단말별 마스크를 생성하는 단계, 상기 복수의 작업자 단말별 마스크를 병합하여 Trimap을 생성하는 단계, 상기 Trimap에 기초하여 상기 완료 데이터의 정확도를 결정하는 정확도 결정 단계 및 상기 정확도에 기초하여 작업자별 상기 반영률을 결정하는 반영률 생성 단계를 포함할 수 있다.
상기 정확도 결정 단계는 상기 복수의 작업자 단말 중 대상 작업자 단말의 마스크와 상기 Trimap의 유사도를 산출하고 상기 유사도를 정확도로 생성할 수 있다.
상기 정확도 결정단계는 상기 Trimap에 기초하여 작업 난이도를 추가로 결정하는 단계 및 상기 유사도와 상기 작업 난이도를 기초로 기준 미만의 상기 작업 데이터를 필터링 데이터로 선정하고 작업을 종료하는 필터링 단계를 더 포함할 수 있다.
상기 필터링 단계는 모든 작업자의 상기 유사도가 정확도 임계값 이하이고, 상기 작업 난이도가 난이도 임계값 이상인 경우 상기 필터링 데이터로 선정할 수 있다.
상기 반영률 결정 단계는 상기 복수의 작업자 단말 중 반영 대상 작업자 단말의 상기 완료 데이터를 추출하고 상기 작업 데이터에 대하여 기 설정된 정답 데이터와 상기 반영 대상 작업자 단말의 상기 완료 데이터 사이의 유사도로서, 상기 반영 대상 작업자 단말의 IOU(Intersection over union)를 결정하는 단계 및 상기 IOU에 기초하여 상기 작업자별 반영률을 결정하는 반영률 생성 단계를 포함할 수 있다.
상기 반영률 생성 단계는 상기 반영 대상 작업자 단말의 IOU의 비율에 작업별로 난이도를 비례상수로 적용하여, 상기 반영 대상 작업자 단말의 품질점수를 산출하고 상기 품질점수를 상기 반영 대상 작업자 단말의 반영률로 결정할 수 있다.
상기 반영률 생성 단계는 상기 IOU에 작업 완료일이 현재 시점으로부터 가까울수록 높은 가중치를 적용하여 상기 반영 대상 작업자 단말의 품질점수를 산출하고 상기 품질점수를 상기 반영 대상 작업자 단말의 반영률로 결정할 수 있다.
상기 반영률 생성 단계는 상기 복수의 작업자 단말 전체의 상기 반영률의 총합으로 상기 반영 대상 작업자 단말의 상기 반영률을 나눈 정규 반영률을 상기 반영 대상 작업자 단말에 배정할 수 있다.
상기 검수 기준 데이터 생성 단계는 상기 완료 데이터가 범주형 변수인 경우 상기 완료 데이터 중 상기 반영률이 최대값인 상기 완료 데이터를 상기 검수 기준 데이터로 생성할 수 있다.
상기 검수 기준 데이터 생성 단계는 상기 완료 데이터가 연속형 변수인 경우 상기 완료 데이터에 상기 반영률을 반영하여 선형 합산한 데이터를 상기 검수 기준 데이터로 생성할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예에 따른 인공지능을 이용한 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 장치는 복수의 작업자 단말로부터 작업 데이터에 대한 작업이 완료된 완료 데이터를 수신하는 통신부; 상기 복수의 작업자 단말로부터 수신된 상기 완료 데이터들을 검수하는 연산을 수행하도록 구성된 프로세서; 및 상기 프로세서의 연산 동작을 제어하는 인공지능 모듈이 저장된 메모리를 포함하고, 상기 인공지능 모듈은, 상기 완료 데이터 별로 반영률을 생성하고 작업 결과로 검수 기준 데이터를 생성할 수 있다.
본 발명의 실시예에 따르면, 다수의 완료 데이터로부터 그 자신의 품질을 검수할 수 있는 검수 기준 데이터가 형성될 수 있으며, 정답이 없는 작업 데이터에 대하여도 전문 검수자의 작업을 대체할 수 있다.
본 발명의 일 실시예에 따르면, 불량한 완료 데이터를 자동으로 필터링하여 검수 작업의 효율성을 향상시킬 수 있다.
본 발명의 일 실시예에 따르면, 정확도가 낮은 다수의 작업자들의 작업 결과에 의해 정답 데이터의 신뢰성이 낮아지는 문제를 최소화할 수 있으며, 인공지능 모듈에 의한 검수의 신뢰성이 더욱 향상될 수 있다.
도 1은 본 발명의 일 실시예에 따른 인공지능을 이용한 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 장치를 나타낸 블럭도이다.
도 2는 본 발명의 일 실시예에 따른 인공지능을 이용한 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 장치를 사용한 작업 관리 방법을 설명하기 위한 흐름도이다.
도 3은 도 2의 인공지능을 이용한 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 장치에서 데이터를 처리하는 방법을 설명하기 위한 흐름도이다.
도 4는 도 2 및 3의 인공지능을 이용한 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 방법에서 작업 데이터를 생성하고 분배되는 과정을 설명하기 위한 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 작업자별 성향 등 결정 단계를 설명하기 위한 흐름도이다.
도 6 내지 도 11은 도 2의 인공지능을 이용한 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 방법에서 작업자별 정확도, 성향 및 작업 난이도를 판단하는 일 예를 설명하기 위한 예시도들이다.
도 12는 도 2의 인공지능을 이용한 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 방법에서 작업자별 반영률을 결정하고, 검수 기준 데이터를 형성하는 과정을 설명하기 위한 흐름도이다.
도 13은 도 2의 인공지능을 이용한 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 방법에서 작업자별 반영률을 결정하는 일 예를 설명하기 위한 예시도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 문서의 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media))에 저장된 명령어를 포함하는 소프트웨어(예: 프로그램)로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 전자 장치(예: 서버)를 포함할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중개 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
본 명세서에서 “정보 또는 데이터를 송신, 수신, 수집, 추출, 업로드 또는 갱신한다”는 의미는 정보 또는 데이터를 직접 송신, 수신, 수집, 추출, 업로드 또는 갱신하거나 다른 중계 서버를 통해 간접적으로 송신, 수신, 수집, 추출, 업로드 또는 갱신한다는 의미를 포함한다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
본 발명은 인공지능을 이용한 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 장치로서, 인공지능을 이용한 크라우드 아웃소싱 작업 관리 장치에 활용될 수 있다. 본 명세서에서는 본 발명의 실제 활용 모습을 보이기 위해 크라우드 아웃소싱 작업 관리 장치 및 방법 전체를 개략적으로 설명하면서, 크라우드 아웃소싱 완료 데이터로부터 학습데이터를 형성하는 과정을 구체적으로 설명한다.
크라우드 아웃소싱 작업 관리 방법은 크라우드 아웃소싱 작업 데이터를 생성하고 작업자에게 분배한 후 그 작업의 완료 데이터를 취합하는 단계, 취합된 완료 데이터를 검수하는 단계, 검수된 완료 데이터를 필터링 한 후 그 가치에 따라 가중치를 두어 검수 기준 데이터를 형성하는 단계로 나누어 파악할 수 있다. 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 방법은 그 중 마지막 단계에 해당한다. 다만, 검수 단계에서 각 완료 데이터의 질이 판단되므로, 판단된 질을 가중치로 활용하여 직접 검수 기준 데이터를 형성할 수도 있다.
크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 장치는 크라우드 아웃소싱 작업 관리 장치와 동일한 프로세서를 사용하므로, 이들은 실질적으로 동일한 개체를 지칭할 수 있다. 본 명세서에서는 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 장치로 통칭하며, 해당 장치가 크라우드 아웃소싱 작업 관리 기능을 더 할 수 있는 것으로 기술한다.
도 1은 본 발명의 일 실시예에 따른 인공지능을 이용한 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 장치를 나타낸 블럭도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 인공지능을 이용한 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 장치(400)는 인공지능 모듈을 학습시키기 위한 학습 데이터를 생성하는 데이터 전처리 작업들을 관리하는 시스템의 장치를 의미할 수 있다. 구체적으로, 인공지능을 이용한 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 장치(400)는 복수의 작업자 단말들(100, 200, 300)로부터 작업에 대한 완료 데이터가 수신되는 경우, 완료 데이터의 일부를 검수하여 바람직한 학습 데이터를 생성하며, 검수가 어려운 나머지 완료 데이터를 검수자 단말(500)로 송신하여 전문 검수자의 검수가 수행되도록 학습 데이터 생성 작업을 관리하는 장치일 수 있다. 그러나, 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 장치(400)는 완료된 작업 데이터만을 대상으로 검수작업 및 검수 기준 데이터 형성작업만 수행할 수 있으므로, 본 데이터 전처리 작업 및 데이터 송신 기능은 없어도 무방하다.
크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 장치(400)는 네트워크 서버, 웹 서버, 파일 서버, 슈퍼컴퓨터, 데스크탑 컴퓨터 등과 같은 컴퓨팅 장치들의 임의의 유형 또는 유형들의 조합일 수 있다.
크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 장치(400)는 통신부(410), 프로세서(420), 메모리(430)를 포함한다.
통신부(410)는 복수의 작업자 단말들(100, 200, 300)로 작업 데이터를 송신할 수 있으며, 작업 데이터에 대한 작업이 완료된 경우, 복수의 작업자 단말들(100, 200, 300)로부터 완료 데이터를 수신하도록 구성된다. 이때, 작업 데이터는 복수의 작업자 단말들(100, 200, 300)의 일부씩 그룹을 지어서 순차적으로 송신할 수 있으며, 완료 데이터 역시 완료되는 순서에 따라 순차적으로 수신할 수 있다. 또한, 송신과 수신은 동시에 이루어질 수 있다. 다만, 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 장치(400)가 검수 기준 데이터를 형성하는 작업만을 수행할 경우 복수의 작업자 단말들(100, 200, 300)로 데이터를 송신하는 기능이 없어도 무방하다.
통신부(410)는 인터넷에 접속되어 인터넷을 통해 작업자 단말들(100, 200, 300) 및 검수자 단말(500)과 데이터를 송수신할 수 있는 네트워크 어댑터로 구성될 수 있다. 통신부(410)는 유선 (LAN 또는 WAN) 또는 무선 (블루투스, WiFi, IrDA(Infrared data association) 방식을 통해 인터넷에 접속되도록 구성될 수 있다.
프로세서(420)는 복수의 작업자 단말들(100, 200, 300)로 송신할 작업 데이터를 생성할 수 있으며, 복수의 작업자 단말들(100, 200, 300)로부터 수신된 완료 데이터를 검수하는 연산을 수행하도록 구성될 수 있다.
프로세서(420)는 상술한 연산 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU, GPU(graphical processing units), 싱글 코어 프로세서, 멀티 코어 프로세서, ASIC(application specific integrated circuits) 등), 또는 커뮤니케이션 프로세서(communication processor) (CP) 중 하나 또는 그 이상을 포함할 수 있다.
메모리(430)는 프로세서(420)의 연산 동작을 제어하는 인공지능 모듈이 저장된 장치로서, 예를 들어, SSD(solid state drive), 하드디스크(hard disk drive), 카드 타입의 메모리(SD 또는 XD 메모리 등), 램(random access memory, RAM), SRAM(static random access memory), 롬(read-only memory, ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체 및 이에 대한 식별 가능한 물리적 위치 정보를 저장할 수 있는 다양한 저장매체로 구현될 수 있다. 도 1에서는 메모리(430)가 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 장치(400) 내에 위치된 것으로 도시되어 있으나, 몇몇 실시예에서, 메모리(430)는 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 장치(400)와 물리적으로 분리된 별도의 장치로 구성될 수 있다. 이 경우, 메모리(430)와 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 장치(400)는 네트워크를 통해 연결될 수 있다.
인공지능 모듈은 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 장치(400)의 동작을 제어하기 위한 명령어들의 집합으로서, 임의의 적절한 프로그래밍 언어로 기술되어 전술한 다양한 기능을 수행하는 컴퓨터- 또는 머신- 실행가능 명령어를 포함할 수 있다.
통신부가 인터넷을 통해 복수의 작업자 단말들(100, 200, 300)로부터 작업 데이터에 대한 작업이 완료된 완료 데이터를 수신하는 경우, 인공지능 모듈에 의해 제어되는 프로세서가 완료 데이터를 중첩 가능한 데이터로 재구성한다.
또한, 인공지능 모듈에 의해 제어되는 프로세서는 복수의 작업자별 작업에 대한 정확도, 성향 및 작업 난이도를 판단하고, 복수의 작업자별 정확도 및 작업 난이도에 기초하여 복수의 작업자별 반영률을 결정하고, 반영률에 기초하여 복수의 작업자별 완료 데이터 검수를 위한 검수 기준 데이터를 결정하도록 구성된다. 인공지능 모듈의 동작들에 대해서는 도 2 내지 도 13을 참조하여 좀 더 자세히 설명하기로 한다.
한편, 작업자 단말들(100, 200, 300)은 작업자들이 사용하는 단말로서, 작업 데이터를 처리하여 완료 데이터를 생성하기 위한 컴퓨팅 장치로 구현될 수 있다. 또한, 검수자 단말(500)은 검수자가 사용하는 단말로서, 완료 데이터들 중 전문 검수가 필요한 완료 데이터에 대한 검수를 수행하기 위한 컴퓨팅 장치로 구현될 수 있다. 예를 들어, 작업자 단말들(100, 200, 300) 및 검수자 단말(500)은 스마트폰, 태블릿 PC, 이동 전화기, 영상 전화기, 전자책 리더기, 데스크탑 PC, 랩탑 PC, 넷북 컴퓨터, 워크스테이션, 서버, PDA, PMP, MP3 플레이어, 모바일 의료기기, 카메라, 또는 웨어러블 장치 중 적어도 하나로 구현될 수 있다.
도 2는 본 발명의 일 실시예에 따른 인공지능을 이용한 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 장치를 사용한 작업 관리 방법을 설명하기 위한 흐름도이며, 도 3은 도 2의 인공지능을 이용한 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 장치에서 데이터를 처리하는 방법을 설명하기 위한 흐름도이다.
도 2 및 3을 참조하면, 먼저, 크라우드 아웃소싱 검수 장치는 작업 대상 데이터의 작업 대상 영역을 설정하여 작업 데이터를 생성(S210)할 수 있다.
“작업 대상 데이터”는 작업자 단말(100)로 송신할 작업 데이터의 원본 데이터를 의미하며, 작업 대상 데이터는 디지털 이미지, 텍스트, 음향 등 다양한 형태의 데이터로 구성될 수 있다. 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 장치(400)는 작업 대상 데이터를 인공지능 모듈을 사용하여 전처리함으로써, 작업 데이터를 생성한다. 보다 상세한 설명을 위해 도 3을 함께 참조한다.
도 3은 도 2의 인공지능을 이용한 크라우드 아웃소싱 작업 관리 방법에서 작업 데이터가 생성되고 분배되는 과정을 설명하기 위한 흐름도이다.
인공지능을 이용한 크라우드 아웃소싱 작업 분배 방법은 인공지능 모듈에 의해 제어되는 프로세서가 작업이 필요한 작업 대상 데이터의 작업 대상 영역을 설정하여 작업 데이터를 생성하는 작업 데이터 생성 단계(S211), 통신부가 상기 작업 데이터를 인터넷에 접속된 복수의 작업자 단말 중 일부 작업자 단말에게 송신하는 송신 단계(S212) 및 상기 통신부로 상기 복수의 작업자 단말로부터 상기 작업 데이터에 대한 작업이 완료된 상기 완료 데이터가 수신되는 경우, 상기 완료 데이터에 기초하여 상기 인공지능 모듈을 학습시키는 수신 및 학습 단계(S213)를 포함하고, 작업 데이터 생성 단계, 송신 단계, 수신 및 학습 단계는 복수의 작업자 단말 중 기 설정된 수의 단말에게 송신할 때 또는 작업 대상 데이터에 대한 작업이 완료될 때까지 반복된다.
완료 데이터가 수신된 경우 완료 데이터를 검수할 수 있다. 완료 데이터를 검수하는 단계(S30)는 작업 데이터의 종류에 따라 작업 데이터를 중첩될 수 있는 데이터로 재구성하는 완료 데이터를 재구성하는 단계(S34) 및 완료 데이터를 분석하여 작업자의 정확도, 작업자의 작업 성향, 작업 난이도 등을 평가하는 작업자별 성향 등을 결정하는 단계(S220)를 포함한다. 이에 해당하는 구체적인 예는 도 5 내지 도 12를 참조하여 후술한다.
작업자별 성향 평가 데이터 및 완료 데이터를 기초로 작업자별로 능력을 평가하여 완료 데이터 검수 기준 데이터를 형성하는 단계(S55)를 추가로 수행할 수 있다. 완료 데이터 검수 기준 데이터를 형성하는 단계(S55)는 완료 데이터 검수 단계 이후 완료 데이터의 검수에 활용할 검수 기준을 생성하는 단계이다. S30에서 완료 데이터의 정확도가 산출되었으며, 정확도는 해당 완료 데이터의 품질 또는 신뢰도라 할 수 있다. 따라서, 필터링 단계(S230) 및 작업자별 반영률 결정 단계(S240)를 생략하고 산출된 정확도를 후술할 가중치로 활용하여 검수 기준 데이터를 직접 생성(S250)할 수도 있다. 그러나, 작업 데이터의 난이도 및 완료 데이터의 정확도에 따라 검수 기준을 기계적으로 생성하기 부적합한 작업이 있을 수 있으므로 해당 작업을 배제하는 필터링 단계(S230) 및 작업자별 능력을 미리 평가하여 활용하기 위한 작업자별 반영률 결정 단계(S240)를 추가로 수행하여 가중치에 따라 검수 기준 데이터를 생성(S250)하는 것이 바람직하다.(S55) 본 단계에 대한 구체적인 예는 도 12를 참조하여 후술한다.
도 4는 도 2 및 도 3의 S210에 해당하는 작업 데이터가 생성되고 분배되는 과정을 설명하기 위한 흐름도이다.
도 4를 참조하면, 인공지능을 이용한 크라우드 아웃소싱 작업 분배 방법은 인공지능 모듈에 의해 제어되는 프로세서가 작업이 필요한 작업 대상 데이터의 작업 대상 영역을 설정하여 작업 데이터를 생성하는 작업 데이터 생성 단계, 통신부가 상기 작업 데이터를 인터넷에 접속된 복수의 작업자 단말 중 일부 작업자 단말에게 송신하는 송신 단계 및 상기 통신부로 상기 복수의 작업자 단말로부터 상기 작업 데이터에 대한 작업이 완료된 상기 완료 데이터가 수신되는 경우, 상기 완료 데이터에 기초하여 상기 인공지능 모듈을 학습시키는 수신 및 학습 단계를 포함하는 작업 데이터 생성 및 분배 단계를 상기 복수의 작업자 단말 중 기 설정된 수의 단말에게 송신할 때 또는 상기 작업 대상 데이터에 대한 작업이 완료될 때까지 반복한다. 이하 각 단계를 예를 들어 상세히 설명한다.
크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 장치의 인공지능 모듈은 제1 작업 대상 데이터에 대하여 작업 영역을 설정하여 제1 작업 데이터를 생성(S214)한다.
앞서 언급한 바와 같이, 작업 대상 데이터는 인공지능 모듈이 학습해야 할 객체가 포함된 디지털 컨텐츠로서, 이미지, 텍스트, 음향 등 다양한 형태의 데이터로 구성될 수 있다.
설명의 편의를 위해 이하에서는 작업 대상 데이터가 이미지 데이터로 구성된 경우를 예를 들어 설명하기로 한다.
인공지능 모듈은 먼저 모든 작업 대상 데이터 중에서 제1 작업 대상 데이터를 임의로 선택하고, 제1 작업 대상 데이터에서 인공지능 모듈이 학습해야 할 객체가 위치하는 작업 대상 영역을 다른 영역과 구분되도록 설정함으로써, 제1 작업 대상 데이터를 생성한다. 예를 들어, 학습해야 할 객체가 “강아지”라면, 인공지능 모듈은 “강아지”를 포함하는 제1 작업 대상 데이터에서 “강아지”가 위치하는 영역의 경계선을 표시함으로써, 제1 작업 데이터를 생성할 수 있다.
이때, 인공지능 모듈이 “강아지”가 위치하는 영역의 경계선을 인식하는 방법은 후술할 Trimap을 이용할 수 있다. 다시 말해, 인공지능 모듈의 학습을 위한 자료로서, 복수의 작업자 단말별 완료 데이터로부터 학습에 활용되는 영역을 복수의 작업자 단말별 마스크로서 생성하고, 복수의 작업자 단말별 마스크를 병합하여 Trimap을 생성할 수 있으며, 이 Trimap에 포함되는 영역에서 기 설정된 수보다 높은 빈도로 학습에 활용되는 영역으로 표시된 부분을 작업 대상 영역으로 지정할 수 있다.
이후, 생성된 제1 작업 데이터를 인터넷에 접속된 복수의 작업자 단말 중 일부 작업자 단말에게 송신한다. 이때, 일부 작업자 단말은 작업 데이터를 우선 배정받으므로, 인공지능 모듈의 초기 학습 자료를 생성하게 된다. 인공지능 모듈이 향후 모든 작업 데이터 생산에 활용되므로, 인공지능 모듈의 초기 성능이 중요하며, 인공지능 모듈의 초기 성능을 좌우하는 초기 학습 자료의 질 역시 중요하다. 따라서, 초기 학습 자료의 질을 높이기 위하여, 제1 작업 데이터를 우선 수신받는 일부 작업자 단말은 우수한 능력을 가진 작업자 단말인 것이 유리하다. 이 우수 작업자 단말은 작업자의 경력, 전공분야 등 어떠한 기준으로 정해져도 무방하다. 다만, 인공지능을 이용한 크라우드 아웃소싱 검수 관리 장치는 각 단말기의 작업별 정확도를 평가하므로, 인공지능을 이용한 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 장치가 작업 데이터를 검수하는 과정에서 평가한 작업자의 정확도를 기준으로 일정 수준 이상의 작업자를 우수 작업자 단말로 지정할 수 있다.
이후, 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 장치는 작업자 단말(100)로부터 제1 작업 데이터에 대한 제1 완료 데이터를 수신(S215)한다.
제1 완료 데이터는 작업자가 작업자 단말(100)을 통해 제1 작업 데이터에 대한 작업을 완료한 데이터를 의미한다. 예를 들어, 인공지능 모듈이 학습해야 할 객체가 “강아지”인 경우, 제1 작업 데이터에 대한 작업은 “강아지” 윤곽을 표시하는 작업일 수 있다. 작업자는 “강아지”가 위치된 영역의 경계선이 개략적으로 표시된 제1 작업 데이터에서 경계선을 “강아지” 윤곽에 맞도록 정밀하게 편집함으로써, 제1 완료 데이터를 생성할 수 있다.
작업자 단말로부터 제1 완료 데이터가 수신되는 경우, 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 장치는 제1 완료 데이터에 기초하여 인공지능 모듈을 학습(S216) 시킨다.
제1 작업 데이터에는 “강아지”에 대한 경계선이 개략적으로 표시되어 있지만, 사람에 의해 작업된 제1 완료 데이터에는 “강아지”에 대한 경계선이 보다 정밀하게 표시되어 있을 것이다.
다수의 제1완료 데이터가 수신되었을 때, 이들 중 특정 작업자 단말의 정확도는 제1완료 데이터를 인공지능 모듈에 학습시키는 과정에서 산출된다. 완료 데이터들을 검수하고 평가하여 인공지능 모듈에 학습시키는 과정은 후술한다.
인공지능 모듈은 제1 완료 데이터에 기반하여 학습되며, 학습이 완료된 인공지능 모듈을 사용하는 경우, “강아지”를 포함하는 다른 이미지에 대하여 보다 정확하고 정밀하게 “강아지”에 대한 작업 영역이 설정될 수 있다.
이후, 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 장치는 학습된 인공지능 모듈에 기초하여 제2 작업 대상 데이터에 대하여 작업 영역을 설정하여 제2 작업 데이터를 생성(S217)한다.
제2 작업 대상 데이터는 제1 작업 대상 데이터를 제외한 나머지 작업 대상 데이터 중 선택된 작업 대상 데이터일 수 있다. 예를 들어, 작업 대상 데이터가 “강아지”가 포함된 100개의 이미지 데이터로 구성된 경우, 제1 작업 대상 데이터는 “강아지”가 포함된 10개의 이미지로 구성될 수 있다. 인공지능 모듈은 10개의 제1 작업 대상 데이터에서 “강아지”가 포함된 영역을 표시함으로써, 제1 작업 데이터를 생성하고, 작업자 단말로부터 10개의 제1 작업 대상 데이터에 대한 작업이 완료된 제1 완료 데이터가 수신되는 경우, 제1 완료 데이터에 기반하여 학습될 수 있다. 학습이 완료된 인공지능 모듈은 다른 10개의 이미지로 구성된 제2 작업 대상 데이터에 대해 “강아지”가 포함된 영역을 좀 더 정밀하게 표시할 수 있으며, 인공지능 모듈을 통해 제2 작업 데이터가 생성된다. 이후, 제2 작업 데이터가 복수의 작업자 단말로 송신되고, 작업자 단말로부터 제2 작업 데이터에 대한 작업이 완료된 제2 완료 데이터가 수신되는 경우, 제2 완료 데이터에 기초하여 인공지능 모듈이 학습된다. 마찬가지 방법으로 인공지능 모듈을 통해 또 다른 10개의 이미지로 구성된 제3 작업 대상 데이터에 대하여 “강아지”가 포함된 영역을 설정하여 제3 작업 데이터가 생성된다. 이 경우, 학습된 인공지능 모듈은 제2 작업 대상 데이터를 처리하는 경우보다 더욱 정밀하게 제3 작업 대상 데이터에 대하여 “강아지”가 포함된 영역을 표시할 수 있다. 동일한 방법으로 작업 대상 데이터에 대한 작업이 완료될 때까지 인공지능 모듈은 주기적으로 학습되며, 인공지능 모듈을 통해 생성되는 작업 데이터의 정밀도는 학습이 거듭될수록 향상될 수 있다.
다시 말해서, 인공지능 모듈이 작업 대상 데이터로부터 작업 데이터를 생성/송신하는 단계와 완료 데이터를 수신하여 인공지능 모듈을 학습시키는 단계가 반복하여 수행될 수 있다. 이 단계는 작업 대상 데이터에 대한 작업이 모두 분배될 때까지 반복될 수 있으며, 동일한 작업 대상 데이터에 대한 중복 작업인 경우 기 설정된 수의 작업자 단말에 작업 데이터를 생성하여 송부할 때까지 반복하여 수행될 수도 있다.
몇몇 실시예에서, 인공지능 모듈의 학습은 제1 완료 데이터에 기반하지 않고, 검수가 완료된 제1 정답 데이터에 기반하여 수행될 수 있다. 즉, 인공지능 모듈은 제2 작업 대상 데이터를 처리하기에 앞서, 제1 완료 데이터에 대한 검수가 완료되어 확정된 제1 정답 데이터에 기반하여 학습될 수 있고, 학습된 인공지능 모듈을 통해 제2 작업 대상 데이터가 처리되어 제2 작업 데이터가 생성될 수 있다. 이 경우, 제1 정답 데이터는 이하에서 후술하는 완료 데이터의 검수 방법에 따라 검수가 완료되어 최종적으로 정답이라고 추론된 데이터에 대응될 수 있다.
이상의 내용은 작업 데이터를 생성하고 분배하는 과정에 대한 내용으로 본 발명과 직접적인 관련은 없으나, 본 발명의 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 장치가 함께 할 수 있는 기능이므로 참고로 설명하였다.
완료 데이터가 수신된 경우, 이 완료 데이터를 검수하여 작업자에 대한 신뢰도인 반영률을 결정할 수 있다. 본 반영률 결정 단계는 학습 데이터를 형성하는 데에 필수적인 복수의 작업자별 작업에 대한 정확도 및 작업 난이도 중 적어도 어느 하나를 결정하는 단계가 포함된다. 이중 정확도는 수신되는 완료 데이터를 완료 데이터 간 비교를 통해 판단할 수 있으며, 완료 데이터 간 비교를 통해 산출된 값뿐만 아니라 기 설정된 값을 사용할 수도 있다.
본 반영률 결정단계는 완료 데이터들을 비교하여 분석하지 않고, 기 설정된 정답 데이터와 비교하여 분석하는 방법으로 정확도 등을 평가할 수도 있다. 이에 대하여는 도 12 및 13을 참조하여 후술한다.
다시 도 3을 참조하면, 크라우드 아웃소싱 작업 분배 장치는 작업자 단말로부터 작업 데이터에 대한 작업이 완료된 완료 데이터가 수신되는 경우, 완료 데이터를 검수(S30)할 수 있다.
완료 데이터 검수 단계(S30)는 완료 데이터 검수 단계(S30)의 세부 단계를 나타낸 도 5를 참조하여 설명한다.
우선, 완료 데이터를 중첩 가능한 데이터로 재구성(S34)한다. 예컨대 음향이나 텍스트의 경우 1차원 데이터이며, 이미지 등은 2차원 데이터이다. 각 데이터는 다수의 작업자에 의하여 작업된 결과물이 취합될 수 있는 것이 바람직하다. 따라서, 동일한 크기의 양에 대하여 중첩이 가능하도록, 1차원 데이터의 경우 벡터로, 2차원 데이터의 경우 메트리스로 재구성할 수 있다.
특히 2차원 데이터에 대하여 보다 구체적으로 설명하면, 이미지 데이터의 경우 이미지를 m X n 개의 면으로 분할된 매트리스일 수 있다. 또한, 2차원 데이터의 종류에 따라 해당면과 1:1 대응되는 m X n (단 m, n은 1 이상의 정수)의 2차원 매트리스로 전환할 수 있다. 이 매트리스의 값은 해당 면이 인식 대상이 포함되었는지 여부를 구분하기 위해 인식 대상이 포함된 경우 1을, 포함되지 않는 경우 0을 가질 수 있다.
재구성한 이후, 복수의 작업자별 작업에 대한 정확도, 성향 및 작업 난이도 적어도 어느 하나를 결정(S220)한다.
본 발명의 일 실시예에 따른 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 장치(400)는 인공지능 모듈을 사용하여 복수의 작업자들에 대한 작업 정확도, 성향, 및 학습 데이터 형성 작업에 대한 난이도 중 적어도 하나를 판단하고, 이를 바탕으로, 다른 작업에 대한 작업자들의 완료 데이터를 검수하는 특징이 있다. 이하에서는 도 6 내지 도 11을 함께 참조하여, 복수의 작업자별 작업 정확도, 성향 및 작업에 대한 난이도를 판단하는 방법을 상세히 설명하기로 한다.
도 6을 참조하여 복수의 작업자별 마스크를 생성(S223)하는 단계를 설명한다.
도 6을 참조하면, 복수의 작업자별 마스크(OM1, OM2, OM3)는 특정 개체에 대한 영역이 표시된 작업 대상에서 해당 표시가 매트리스 상에 기재된 마스크일 수 있다. 예를 들어, 작업 대상이 디지털 이미지에 대응되고, 디지털 이미지 내의 특정 객체를 정의하는 작업인 경우, 복수의 작업자들은 각자의 기준에 따라 디지털 이미지 내에서 특정 객체의 윤곽을 표시함으로써, 특정 객체를 정의할 수 있다. 이 경우, 작업자 단말(100)로부터 수신된 완료 데이터는 특정 객체의 윤곽이 표시된 디지털 이미지에 대한 데이터일 수 있다. 전술한 바와 같이 재구성한 데이터가 m X n개의 면으로 분할된 면과 1:1로 각 원소가 대응된 매트리스라면, 복수의 작업자별 마스크(OM1, OM2, OM3)는 완료 데이터에서 특정 객체의 형상으로 정의된 영역이 기 설정된 비율 이상인 분할된 면에 대응되는 원소값은 1로, 기 설정된 비율 이하인 분할된 면에 대응되는 원소값은 0으로 기재된 메트리스일 수 있다.
이후, 인공지능 모듈은 복수의 작업자별 마스크(OM1, OM2, OM3)를 병합하여 Trimap을 생성(S226)한다.
복수의 작업자들은 각자의 기준에 따라 디지털 이미지 내에서 특정 객체의 윤곽을 표시하므로, 각 작업자들의 결과 데이터 및 마스크(OM1, OM2, OM3)는 서로 상이한 형태를 갖는다. 인공지능 모듈은 복수의 작업자별 마스크(OM1, OM2, OM3)를 병합하여 Trimap(TM)을 생성한다. 구체적으로, 복수의 작업자별 마스크(OM1, OM2, OM3)의 대응되는 원소들의 원소값들을 합산하여 하나의 병합된 마스크가 생성된다. 이 경우, 제1 작업자의 마스크(OM1)의 표시 영역과 제2 작업자의 마스크(OM2)의 표시 영역과 제3 작업자의 마스크(OM3)의 표시 영역이 모두 중첩되는 면의 원소에서의 원소값은 제1 작업자의 마스크(OM1)의 원소값, 제2 작업자의 마스크(OM2)의 원소값 및 제3 작업자의 마스크(OM3)의 원소값의 정규화(normalize)된 합으로 표시될 수 있다. 예를 들어, 마스크 표시 영역의 원소값이 1로 정의되고, 비표시 영역의 원소값이 0으로 정의된다면, 제1 작업자의 마스크(OM1), 제2 작업자의 마스크(OM2) 및 제3 작업자의 마스크(OM3)의 표시 영역이 모두 중첩되는 면에 대응되는 원소에서는 원소값의 합은 3으로 정의되며, 이를 1/n (단, n = 마스크 개수)으로 정의되는 Opacity를 곱함으로써, 정규화될 수 있다. 따라서, 상기 원소값의 합은 3* 1/3 = 1 로 정규화될 수 있다. 마찬가지 방법으로 통합된 마스크의 각 원소값들은 제1 작업자의 마스크(OM1), 제2 작업자의 마스크(OM2) 및 제3 작업자의 마스크(OM3)의 대응되는 원소값들의 정규화된 합으로 산출될 수 있다. 따라서, Trimap은 매트리스로 표현된 각 마스크의 합을 마스크의 개수로 나눈 평균 매트리스로 나타낼 수 있다.
도 6에서, Trimap이 2차원 매트릭스 형태로 형성되는 예가 도시되어 있으나, Trimap은 완료 데이터의 형태에 따라 1차원 벡터 형태로 형성될 수도 있다. 예를 들어, 완료 데이터가 음성 데이터에 대응된다면, 특정 객체의 음성이 표시된 영역에 대해 작업자별 마스크가 생성될 수 있고, 작업자별 마스크를 병합하여 1차원 벡터 형태의 Trimap이 생성될 수 있다.
한편, 상술한 Trimap은 동일한 작업 데이터에 대하여 생성된 복수의 작업자별 완료 데이터에 기초하여 생성된다. 즉, 동일한 디지털 이미지 내에서 특정 객체를 정의하는 작업의 경우, 동일한 디지털 이미지에 대한 복수의 작업자별 완료 데이터를 수신하고, 복수의 작업자별 마스크를 중첩함으로써, Trimap이 생성될 수 있다.
이후, 인공지능 모듈은 복수의 작업자들 중 대상 작업자의 마스크와 Trimap에 기초하여 대상 작업자의 작업 성향, 작업 정확도 및 작업의 난이도를 결정(S299)할 수 있다.
구체적으로, 하기 [수학식 1]에 기초하여 대상 작업자의 작업 성향을 판단한다.
Figure 112020017930882-pat00001
여기서, OMS (Opacity Mask Score)는 작업자별 작업 성향을 파악하기 위한 지표로서, 작업자의 특정 작업결과에 대한 나머지 작업자들의 작업 결과들과의 일치도를 나타낸 지수일 수 있다. 상기 [수학식 1]에서 TM(t)은 특정 작업(즉, 완료 데이터)(t)에 대한 Trimap의 원소값이며, BM(t, i)는 대상 작업자(i)의 특정 작업(t)에 대한 마스크의 원소값을 의미한다. 즉, OMS는 대상 작업자(i)의 특정 작업(t)에 대한 마스크의 선택 영역의 Trimap에 대한 원소값 평균을 의미한다.
OMS가 높은 작업자의 경우, Trimap 내에서 높은 원소값을 갖는 원소들을 대부분 선택한 것이므로, 해당 작업자가 선택한 영역은 다른 작업자들도 선택한 영역과 중첩된다고 볼 수 있다. 이에, OMS가 높은 작업자는 특정 객체의 윤곽선을 다른 작업자들에 비해 과소하게 표시하는 경향임을 알 수 있다.
반면, OMS가 낮은 작업자의 경우, Trimap 내에서 낮은 원소값을 갖는 원소들을 많이 선택한 것이므로, 해당 작업자가 선택한 영역은 다른 작업자들이 선택하지 않은 영역에 대응될 수 있다. 이에, OMS가 낮은 작업자는 특정 객체의 윤곽선을 다른 작업자들에 비해 과대하게 표시하는 경향임을 알 수 있다.
도 7의 (a)는 OMS가 낮은 작업자의 마스크(511)와 Trimap의 마스크(713)를 나타내며, (b)는 OMS가 높은 작업자의 마스크(515)와 Trimap의 마스크(713)를 나타낸다. 설명의 편의를 위해 도 5에는 각 마스크의 경계선에 해당하는 원소만 실선으로 표시되어 있다.
도 7의 (a)에 도시된 바와 같이, OMS가 낮은 작업자의 마스크(711)는 Trimap 마스크(713)의 내측에 위치된 것을 확인할 수 있으며, 이를 통해 OMS가 낮은 작업자는 특정 객체의 정의를 다른 작업자들에 비해 과소하게 표시함을 알 수 있다.
반면, 도 7의 (b)에 도시된 바와 같이, OMS가 높은 작업자의 마스크(715)는 Trimap 마스크(713)의 외측에 위치된 것을 확인할 수 있으며, 이를 통해 OMS가 높은 작업자는 특정 객체의 정의를 다른 작업자들에 비해 과도하게 표시함을 알 수 있다.
인공지능 모듈은 복수의 작업자별 작업 정확도를 다른 작업자들의 작업 결과물과의 유사도를 기준으로 판단할 수 있다. 대부분의 작업 데이터는 작업자마다 상이한 정답을 제출하므로, 정답이라고 확신할 정확도 판단 기준이 없다. 따라서, 정답에 가까운 비교대상이 있어야 정확도를 측정할 수 있다. 다수의 작업자가 동일하게 판단한 영역일수록 정답에 가깝다고 추정할 수 있으므로, 다수의 작업자들의 작업 결과물과의 유사도를 정확도로 판단할 수 있다.
그러나, 기 설정된 정답 데이터가 있다면, 이를 이용하여 유사도를 기준으로 정확도를 판단하는 것이 바람직하다. 이에 대하여 품질 검증과정(Quality Control Task; QcT)을 추가로 수행하여 작업자별 신뢰도를 평가하는 과정을 더 수행할 수 있다. 이에 대해서는 후술한다.
다른 작업자들의 작업 결과물은 Trimap으로 통합되었으므로, 실질적으로 복수의 작업자별 작업 정확도는 Trimap과의 유사도를 기준으로 평가한다.
구체적으로 복수의 작업자별 작업 정확도는 하기 [수학식 2]에 기초하여 측정된다.
Figure 112020017930882-pat00002
여기서, TWS(Task-Worker Similarity)는 작업자의 작업 정확도를 나타내는 지표로서, 특정 작업자의 작업 결과와 나머지 작업자들의 작업 결과 사이의 코사인 유사도(Cosine Similarity)를 의미한다. 상기 [수학식 2]에서, Vt는 특정 작업(t)의 Trimap의 1차원 벡터를 의미하며, Vt,i는 특정 작업자(i)의 특정 작업(t)의 작업자 마스크의 1차원 벡터를 의미한다.
다시 말해서, 정확도를 계산하기 위한 유사도는 상기 대상 작업자 단말의 마스크 전체에 대하여 각 원소별로 계산된 코사인 유사도(cosine similarity)를 사용하며, 상기 코사인 유사도에 대입하는 일변수로 원소별 차를 사용하고, 다른 변수로 상기 대상 작업자 단말의 마스크에 표시된 인식으로 표시된 원소의 값을 사용한다.
도 8은 TWS의 계산 과정의 일 예를 설명하기 위한 도면이다. 도 6을 참조하면, 특정 작업(t)에 대한 2차원 매트릭스 형태의 Trimap(TM)은 Flatten 함수를 적용하여 1차원 벡터화(Vt)될 수 있으며, 특정 작업(t)에 대한 특정 작업자(i)의 작업자 마스크(OM)도 Flatten 함수를 적용하여 1차원 벡터화(Vt,i)될 수 있다. 이후, Vt-Vt,i를 산출함으로써, 특정 작업자(i)를 제외한 나머지 작업자들의 작업 결과들에 대한 1차원 벡터가 산출되며, Vt-Vt,i와 Vt,i 사이의 코사인 유사도를 산출함으로써, 특정 작업자(i)와 특정 작업자(i)를 제외한 나머지 작업자들의 작업 결과들 사이의 코사인 유사도가 산출된다.
도 9는 특정 작업자의 작업 결과에 따른 TWS계산 결과를 나타낸 도면이다. 도 9를 참조하면, 특정 작업자의 마스크를 1차원 벡터화하고, Trimap을 1차원 벡터화한 후 상기 [수학식 2]에 기초하여 TWS를 계산한 결과, 특정 작업자의 TWS는 0.936으로 산출되었다. 이를 통해 특정 작업자의 작업 결과(911)는 Trimap의 결과(913) 대비 0.936 정도의 유사도를 갖는 것을 알 수 있다. 특정 작업자의 작업 결과(911)가 Trimap의 결과(913) 대비 유사도가 떨어지는 경우, TWS 값은 낮아질 수 있다.
코사인 유사도는 유사도의 대소를 순서로 비교하기에는 유용하지만, 그 정량적인 차이를 직관적으로 나타내지 못하는 단점이 있다.
몇몇 실시예에서, 인공지능 모듈은 작업자의 TWS의 직관성을 향상시키기 위해, 작업의 허수라 할 수 있는 누구도 인식 영역으로 표시하지 않은 원소를 배제한 실 작업영역에 대하여 코사인 유사도 대신 원소별 차를 그대로 사용한 지표를 사용할 수 있다.
이 경우 하기 [수학식 3]에 기초한 TMS(Trimap score)를 TWS를 대신하여 사용할 수 있다.
Figure 112020017930882-pat00003
여기서, TMS(t,i)는 특정 작업(t)에 대한 특정 작업자(i)의 Trimap score로서, 특정 작업자(i)의 작업 결과 중 다른 작업자들의 작업 결과들과 일치되는 부분에 대한 분산을 최소화하여 특정 작업자(i)의 작업 결과에 대한 정확도 지표를 극대화한 지표라고 설명될 수 있다. 상기 [수학식 3]에서, TM(t)은 특정 작업(t)에 대한 Trimap의 원소값을 의미하며, BM(t,i)는 특정 작업(t)에 대한 특정 작업자(i)의 작업 마스크의 원소값을 의미한다. 한편, n은 Trimap에서 원소값이 0을 초과하는 원소의 개수를 의미한다.
도 10은 특정 작업(t)에 대한 특정 작업자(i)의 TMS(t,i)의 계산 과정을 나타낸 도면이다. 도 10을 참조하면, 특정 작업(t)에 대한 작업 결과가 3*3 = 9개의 픽셀로 구성된 마스크로 표현되는 경우, │TM(t)-BM(t-i)│의 합은 도 8에 도시된 바와 같이, 2로 계산되며, 상기 [수학식 3]에 따라 TMS(t,i)를 계산하면, TMS(t,i)는 0.77로 계산된다.
TWS와 TMS는 하나의 완료 데이터와 다른 완료 데이터 전체와의 유사도를 정확도로서 평가한다. 이후 가중치 산출 과정을 생략할 경우 이 정확도를 가중치로서 산출할 수 있다.
한편, 인공지능 모듈은 특정 작업에 대한 복수의 작업자별 마스크의 편차로부터 특정 작업에 대한 작업 난이도를 결정한다.
작업 난이도가 높다는 것은 판단에 어려움이 많은 것을 의미하고, 어려움이 많은 것은 같은 작업에 대하여 다양한 판단이 나타날 수 있다는 것을 뜻한다. 따라서, 복수의 작업자별 마스크의 편차가 크다는 것은 작업 난이도가 높음을 의미한다. 복수의 작업자별 마스크 간의 편차는 각 마스크별 면적을 계산하여 편차를 구하는 방식 등도 가능할 것이나, 보다 정확한 값을 계산하기 위하여 다음과 같은 방법으로 가늠되는 것이 바람직하다.
복수의 작업자별 마스크들에서 특정 원소에 대해 판단 값(1 또는 0)이 고르게 나타난다면, 해당 원소에 대한 판단이 어렵다고 판단할 수 있으며, 이러한 원소의 개수가 많다면 작업 난이도가 높다고 간주될 수 있다. 원소별 값이 다양하게 판단되었다면, 해당 원소의 평균값은 0.5에 수렴하게 될 것이다. 복수의 작업자별 마스크들에서 각 원소별 평균값을 TM에서 이미 계산하였으므로 이를 활용하여 계산할 수 있다.
구체적으로, 특정 작업에 대한 작업 난이도는 Trimap에서 표시된 원소의 값의 합을 원소의 값이 0보다 큰 원소의 수로 나눈 값으로 결정한다. 이를 수학식으로 나타낸, [수학식 4]에 기초하여 결정될 수 있다.
Figure 112020017930882-pat00004
여기서, ICS(t)는 특정 작업(t)에 대한 작업 난이도를 나타내는 지표로서, 작업이 모호하지 않고, 얼마나 명확한지에 대한 지표로 설명될 수 있다. 상기 [수학식 4]에서 TM(t)는 특정 작업(t)에 대한 Trimap의 원소값을 의미하며, n은 원소값이 0을 초과하는 유효 원소의 개수를 의미한다. 모든 작업자가 구분할 수 있는 영역(원소값이 0인 영역)은 작업량에서 허수에 해당하므로 이를 제외하고 측정하는 것을 예로 들었으나, 불성실한 작업자로 인하여 0인 원소의 개수가 지나치게 작다면, 0보다 큰 수로 특정하여도 무방하다. 작업의 명확할수록 작업자들의 작업 결과는 비슷할 것이며, 작업 마스크들의 중첩 영역이 넓으므로, 상기 [수학식 4]에서 ICS(t)는 크게 산출될 수 있다.
단순히, 각 Trimap의 각 원소별 정규분포를 구하고, 그 값이 중간(본 실시예에서는 0.5)에 가까운 원소의 빈도 또는 양을 기준으로 계산하는 것으로 대신할 수도 있다. 이 경우 수학식과 달리 ICS 값은 난이도에 비례한 값을 갖는다.
도 11은 실제 작업들에 대한 ICS(t) 산출 결과를 나타낸 도면들이다. 도 11에 도시된 바와 같이, 객체의 형태가 단순하여 비교적 명확하게 정의될 수 있는 이미지에 대해서 ICS가 높게 측정된 것을 알 수 있다.
전술한 바와 같이 작업 난이도는 완료 데이터 간 분석을 통해 산출될 수 있으나, 완료 데이터 자체와 무관하여도 작업 난이도와 관련 있는 기 설정된 값이 있다면 그대로 사용할 수 있다. 예컨대 작업자별 평균 작업 소요시간이나 작업자의 작업 참여도는 작업 난이도로 추정되어 사용될 수 있다.
완료 데이터를 검수하는 단계(S30) 이후에 필터링 단계(S230) 및 후술할 반영률을 산출하는 단계(S240)를 제외하거나, 반영률을 산출하는 단계(S240)를 제외하고, 검수 결과 산출된 정확도 및 작업 난이도를 직접 반영률로 활용하여, 완료 데이터 검수 기준 데이터를 형성(S55)할 수 있다. 이때는 정확도를 반영률로 보고, 해당 반영률에 작업 난이도를 반영하여 수정한 후, 반영률에 따른 검수 기준 데이터를 생성(S250)할 수 있다.
또는, 완료 데이터를 검수하는 단계(S30) 및 필터링 단계를 생략하고, 후술할 정답 데이터(Ground Truth)를 기준으로 반영률만을 결정(S240)하고 검수 기준데이터를 생성(S250)할 수도 있다.
어느 쪽도 무방하나, 검수를 하여 필터링 기준을 생성한 후, 필터링 및 반영률을 결정하는 경우, 불량한 완료 데이터를 필터링 할 수 있으므로 검수하는 단계(S30) 및 검수 기준 데이터를 형성하는 단계(S55)를 모두 수행하는 것이 바람직하다.
다시 도 2, 3 및 12를 참조하면, 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 장치는 복수의 작업자별 정확도 및 작업 난이도에 기초하여 완료 데이터의 대상 작업들에 대하여 반영률이 산출 가능한 작업인지 판단(S230)하고, 반영률이 산출 불가능한 작업인 경우 필터링(S230)한다.
여기서, 반영률(Voting Power)은 특정 작업의 Trimap 형성에 기여한 작업자의 가중치 내지는 기여율로 설명될 수 있다. 본 발명의 일 실시예에 따른 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 장치는 특정 작업에 대한 검수를 위해 필요한 검수 기준 데이터(즉, 정답 데이터)를 확정하는 과정에서 특정 작업을 정확하게 수행한 작업자에게 높은 반영률을 부여하여 검수 기준 데이터의 신뢰도를 향상시키도록 구성된다.
한편, 특정 작업이 작업 자체가 모호하고 난이도가 지나치게 높은 경우, 해당 작업을 충분히 정확하게 수행한 작업자가 존재하지 않을 수 있다. 또한, 특정 작업을 수행한 복수의 작업자들이 모두 작업을 충실히 수행하지 못한 경우, 해당 작업에 대해서는 불량 작업자들의 완료 데이터만 존재하므로, 이에 대해 반영률을 부여하고, 검수 기준 데이터를 선택하는 경우, 신뢰성이 낮은 검수 기준 데이터가 선택될 수도 있다.
이에, 본 발명의 일 실시예에 따른 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 장치는 인공지능 모듈을 통해 작업자별 반영률을 산출하기에 앞서, 해당 작업이 반영률을 산출하기에 적합한 작업인지 여부를 먼저 필터링(S230)할 수 있다.
예를 들어, 인공지능 모듈은 복수의 작업자들로부터 수신된 완료 데이터들의 TWS의 최댓값이 정확도 임계값을 초과하고, ICS가 난이도 임계값 초과인지 여부를 검토한다. TWS는 상기 [수학식 2]에 기초하여 산출될 수 있으며, 판단 대상 작업에 대한 TWS값중 가장 높은 최댓값이 정확도 임계값을 초과하는지 여부로 판단할 수 있다. 앞서 언급한 바와 같이, TWS는 작업자의 작업 정확도를 나타내는 지표이므로, TWS의 최댓값이 높다는 것은 본 작업을 수행한 작업자들 중 높은 정확도로 작업을 수행한 우수 작업자가 포함되어 있다는 것을 의미할 수 있다.
또한, 완료 데이터들의 ICS는 상기 [수학식 4]에 기초하여 산출될 수 있다. 앞서 언급한 바와 같이, ICS가 높을수록 작업의 난이도가 낮다는 것이므로, 특정 작업에 대한 ICS가 난이도 임계값을 초과한다는 것은 특정 작업이 적절한 난이도를 갖는다는 것을 의미할 수 있다.
만약, 특정 작업에 대한 완료 데이터들의 최대 TWS가 정확도 임계값 이하이고, 특정 작업에 대한 ICS가 난이도 임계값 이하인 경우에는 작업 자체의 난이도가 너무 높으며, 높은 정확도를 갖는 우수 작업자의 완료 데이터가 없다고 볼 수 있으므로, 반영률 산출이 불가능한 모호한 작업으로 판단될 수 있다. 이 경우, 크라우드 아웃소싱 작업 검수 장치(400)는 모호한 작업에 대한 완료 데이터들을 검수자 단말(500)로 송신하고, 검수자 단말(500)을 통해 모호한 작업에 대한 전문가 검수가 수행(S255)될 수 있다.
반면, 특정 작업에 대한 완료 데이터들의 최대 TWS가 정확도 임계값을 초과하고, 특정 작업에 대한 ICS가 난이도 임계값 초과인 경우에는 해당 작업에는 우수 작업자의 완료 데이터가 포함되어 있으며, 작업 자체의 난이도가 적절한 수준인 것이므로, 우수 작업자를 선별할 수 있는 대상 적격을 갖는다고 볼 수 있다.
이에, 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 장치는 해당 작업에 대하여 반영률 산출의 대상 적격이 있다고 판단하여, 복수의 작업자별 정확도 및 작업 난이도에 기초하여 복수의 작업자별 반영률을 결정(S240)한다.
구체적으로, 본 발명의 일 실시예에 따른 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 장치(400)는 인공지능 모듈을 통해 작업자별 반영률을 산출하기에 앞서, 복수의 작업자 중 정확도가 미리 설정된 임계값 이상인 우수 작업자의 완료 데이터를 추출한다.
구체적으로, 인공지능 모듈은 상술한 조건을 만족하는 작업들에 대하여 복수의 작업자별 TWS를 산출하고, TWS가 제1 임계값을 초과하는지 여부를 판단한다. TWS가 높을수록 작업자의 작업 결과는 다른 작업자의 작업 결과와 일치도가 높다고 볼 수 있으므로, 정답 데이터에 근접할 가능성이 높다. 이에, 인공지능 모듈은 작업 정확도가 미리 설정된 제1 임계값 이상인 작업자들의 완료 데이터만을 필터링한다. 제1 임계값 미만인 작업자들의 완료 데이터는 정확도가 낮은 작업결과들에 해당된다. 한편, 상기 [수학식 2]의 TWS정의에서 알 수 있듯이, 복수의 작업자별 TWS는 특정 작업자의 완료 데이터와 Trimap 즉, 복수의 작업자들의 완료 데이터를 중첩함으로써 생성된 Trimap의 코사인 유사도로서 정의되므로, 정확도가 지나치게 낮은 불량 작업자들이 존재할 경우, Trimap 자체의 정확도가 낮아질 수 있으며, 해당 작업에 대한 선의의 작업자들에 대한 TWS를 낮추는 효과를 준다고 볼 수 있다.
따라서, 본 발명의 일 실시예에 따른 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 장치의 인공지능 모듈은 복수의 작업자들의 완료 데이터들 중 TWS가 제1 임계값 미만인 완료 데이터를 제거하고, TWS가 제1 임계값 이상인 완료 데이터만을 선별하여 다시 Trimap을 생성하고, 다시 생성된 Trimap에 기초하여 특정 작업에 대한 복수의 작업자별 TWS를 다시 산출한다.
이후, 인공지능 모듈은 선별된 복수의 작업자들의 완료 데이터에 기초하여 다시 산출된 TWS가 제2 임계값을 초과하는지 여부를 검토하고, 제2 임계값을 초과하는 TWS를 갖는 특정 작업자들의 완료 데이터를 우수 작업자의 완료 데이터로 선택한다.
상기 정확도 임계값, 난이도 임계값, 제1 임계값 및 제2 임계값은 요구되는 학습 데이터의 정확도에 따라 다양하게 결정될 수 있다. 예를 들어, 자율주행 자동차에 적용되는 인공지능의 경우, 객체를 정확하게 인식할 필요가 있으므로, 정확한 학습 데이터에 기반한 학습이 필요할 수 있다. 이 경우, 상술한 임계값을 높게 설정함으로써, 학습 데이터의 정확도를 향상시킬 수 있다.
이후, 인공지능 모듈은 품질 체크 작업에 대하여 품질 체크 작업에 대한 정답 데이터와 우수 작업자의 완료 데이터 사이의 유사도를 산출하여 우수 작업자의 IOU(Intersection over union)을 결정(S243)한다.
구체적으로, 인공지능 모듈은 우수 작업자의 작업들 중 품질 체크 작업에 대한 완료 데이터를 선택할 수 있다. 여기서 품질 체크 작업은 우수 작업자별 반영률을 결정하기 위해 사전에 정답 데이터(Ground Truth)를 확보해 놓은 작업을 의미하며, 정답 데이터가 존재하는 품질 체크 작업에 대해 우수 작업자별 IOU를 산출함으로써, 우수 작업자별 반영률이 결정될 수 있다.
IOU는 두 영역(A, B)의 교차영역의 넓이를 합영역의 값으로 나눈 값을 의미하며, 하기 [수학식 5]로 정의되는 자카드 계수(Jaccard index)를 의미한다.
Figure 112020017930882-pat00005
우수 작업자들의 경우, 작업 정확도가 높으므로, 품질 체크 작업에 대한 완료 데이터와 정답 데이터 사이의 IOU는 높게 나타날 수 있다.
이후, 인공지능 모듈은 품질 체크 작업에 대한 작업 난이도에 대한 우수 작업자의 IOU의 비율로부터 우수 작업자의 품질점수를 산출한다.
구체적으로, 품질점수는 하기 [수학식 6]을 통해 산출될 수 있다.
Figure 112020017930882-pat00006
여기서 QScore는 품질 체크 작업(QcT)에 대한 특정 우수 작업자의 품질 점수를 의미한다. 한편, 상기 [수학식 6]에서 QcTw,i는 특정 우수 작업자(w)의 최근 i번째 품질 체크 작업(QcT)에 대한 완료 데이터를 의미한다. 또한, QcTgt,i는 최근 i번째 품질 체크 작업(QcT)에 대한 정답 데이터를 의미한다.
상기 [수학식 6]에서 알 수 있듯이, 인공지능 모듈은 어려운 작업(더 낮은 ICS값)에 대해서 우수한 정확도를 갖는 우수 작업자(w)에 대하여 더 높은 품질점수를 부여할 수 있다. ICS 값을 “해당 원소값의 평균이 0.5를 갖는 비율”과 같이 정의한 경우 난이도와 ICS값이 비례하므로 수학식 6과 달리 ICS는 분모가 아닌 비례상수로 계산된다.
이후, 인공지능 모듈은 품질점수에 기초하여 우수 작업자의 반영률을 결정(S246)한다.
구체적으로, 인공지능 모듈은 특정 우수 작업자의 품질점수에 기간에 따른 가중치를 적용하여 특정 우수 작업자의 반영률을 결정한다. 예를 들어, 하기 [수학식 7]과 같이, 특정 우수 작업자의 품질점수(QScore)에 기간에 대한 가중치(DecayWeight)를 적용하고, 반영률 산출에 적용할 품질 체크 작업(QcT)의 개수를 나눔으로써, 특정 우수 작업자의 영향력 점수(IP)가 산출될 수 있다.
Figure 112020017930882-pat00007
여기서, IP는 검수를 수행할 특정 작업에 대하여 검수 기준 데이터(즉, 정답 데이터)를 결정하는데 반영되는 특정 우수 작업자의 영향력 정도를 나타내는 지표를 의미한다. QcT Range는 IP 산출에 적용할 품질 체크 작업(QcT)의 개수를 의미하며, QcT Range가 높을수록 IP의 신뢰성이 향상될 수 있다. DecayWeight는 기간에 대한 가중치로서, 현재 시점으로부터 가까울수록 큰 값을 갖는 요소일 수 있으며, 하기 [수학식 8]로 정의된다.
Figure 112020017930882-pat00008
여기서, Weight는 가중치를 의미하며, t는 QcT Range를 의미한다. i는 1부터 t-1까지의 정수를 의미한다. 한편, 가중치의 구체적인 값은 작업 난이도, 종류 등에 따라 다양하게 결정될 수 있다.
예를 들어, 특정 우수 작업자(i)의 영향력 점수(IP)가 산출되는 과정을 설명하면, 다음과 같을 수 있다. 만약, 5개의 품질 체크 작업(QcT)을 기준으로 영향력 점수(IP)가 산출된다면, 먼저, 인공지능 모듈은 특정 우수 작업자(i)의 완료 데이터에 기초하여 5개의 품질 체크 작업(QcT)에 대한 IOU를 산출하고, 상기 품질 체크 작업(QcT)의 작업 난이도(ICS)를 산출한 후, 상기 [수학식 6]에 기초하여 3명의 우수 작업자들에 대한 품질점수(QScore)를 산출할 수 있다. 구체적으로, 5개의 품질 체크 작업(QcT)에 대한 IOU는 상기 [수학식 5]에 기초하여 산출될 수 있으며, ICS는 상기 [수학식 4]에 기초하여 산출될 수 있다. 어느 특정 우수 작업자(i)의 5개의 품질 체크 작업(QcT)에 대한 IOU 및 ICS의 산출 예시가 하기 [표 1]과 같다.
구분 IOU ICS
QcT1 0.9 0.8
QcT2 0.8 0.9
QcT3 0.8 0.7
QcT4 0.9 0.9
QcT5 0.7 0.8
이 경우, 상기 [수학식 6]에 따라, 특정 우수 작업자(i)의 품질점수(Qscore)가 다음과 같이 산출된다. QScore = [1.12, 0.88, 1.14, 1.00, 0.87]
또한, 가중치가 0.9인 경우, 5개의 품질 체크 작업(QcT)의 기간에 따른 가중치(DecayWeight)는 상기 [수학식 8]에 따라 다음과 같이 산출될 수 있다.
DecayWeight(0.9, 5)= 0.9i = [1.0, 0.9, 0.81, 0.73, 0.65]
따라서, 특정 우수 작업자(i)에 대한 영향력 점수(IP)는 다음과 같이 산출될 수 있다.
Figure 112020017930882-pat00009
Figure 112020017930882-pat00010
이후, 인공지능 모듈은 모든 우수 작업자의 영향력 점수(IP)의 합이 1이 되도록 영향력 점수(IP)를 정규화하여 반영률(Voting Power; VP)를 산출한다.
예를 들어, 3명의 우수 작업자가 존재하고, 3명의 우수 작업자에 대한 영향력 점수(IP)가 하기 [표 2]와 같다면, 3명의 우수 작업자에 대한 영향력 점수(IP)의 합이 1이 되도록 정규화되어 반영률(VP)이 하기 [표 3]과 같이 산출될 수 있다.
Worker w1 w2 w3
Impact Point 1 0.9 0.8
Worker w1 w2 w3
Voting Power 1/2.7 0.9/2.7 0.8/2.7
지금까지 반영률을 결정하기 위해, 완료 데이터의 IOU를 생성하고, 생성된 IOU에 작업 데이터의 작업 난이도, 작업 시점, 정규화를 모두 적용하여, 가장 정확한 반영률을 결정하는 방법을 설명하였다. 그러나, IOU를 더 정확하게 보정하기 위하여 작업 난이도 및 작업 시점을 반영하는 단계를 모두 수행하여야 하는 것은 아니다. 이들을 생략하고 IOU를 정규화하여 바로 반영률로 적용하거나 둘 중 하나만을 반영하여 반영률로 결정하여도 무방하다. 다시 도 2를 참조하면, 인공지능 모듈은 산출된 반영률에 기초하여 복수의 작업자별 완료 데이터 검수를 위한 검수 기준 데이터를 결정(S250)한다.
예를 들어, 반영률(VP)을 Trimap 형성시 적용되는 Opacity에 적용함으로써, 검수 기준 데이터(즉, 검수 기준 Trimap)를 결정할 수 있다.
도 13은 3명의 우수 작업자에 대한 반영률을 산출하고, 반영률에 기초하여 검수 기준 데이터가 결정되는 예를 설명하기 위한 도면이다.
도 13을 참조하면, 3명의 우수 작업자(w1, w2, w3)에 대한 반영률이 각각 도 13과 같이 산출되며, 반영률에 기초하여 검수 기준 데이터가 결정된다.
검수 기준 데이터의 결정은 작업 결과의 유형에 따라 선택된 특정 우수 작업자의 반영률에 기초하여 결정될 수 있다.
구체적으로, 완료 데이터의 변수 형태가 범주형 변수(Categorical data)인 경우, 완료 데이터의 평균값을 취하는 방식을 적용할 수 없으므로, 우수 작업자들 중 가장 높은 반영률을 갖는 최우수 작업자의 가장 높은 반영률을 갖는 완료 데이터를 검수 기준 데이터로 결정한다.
한편, 완료 데이터의 변수 형태가 연속형 변수(Continuous data)인 경우, 완료 데이터의 통계학적 접근이 가능하다고 볼 수 있다. 이 경우, 인공지능 모듈은 우수 작업자들의 완료 데이터에 적합한 추론모델을 적용하여 검수 기준 데이터를 결정한다. 즉, 반영률에 기초하여 완료 데이터들의 선형 합산한 데이터를 검수 기준 데이터로 결정할 수 있다.
예를 들어, 도 13에 도시된 바와 같이, 우수 작업자들의 반영률을 각 작업자들의 완료 데이터에 Opacity로 적용하여 각 작업자별 Opacity mask (OM1, OM2, OM3)를 생성하고, 이를 중첩함으로써, Trimap(TM)을 생성하고, 형성된 Trimap(TM)에서 특정 임계값을 초과하는 원소값을 갖는 원소들만을 선택하는 방식으로, 검수 기준 데이터를 결정할 수 있다.
그러나, 검수 기준 데이터의 결정방법이 이에 한정되는 것은 아니며, 인공지능 모듈은 우수 작업자들의 반영률이 적용된 완료 데이터들의 평균값, 중간값 등 다양한 통계값들을 선택하는 방식 또는 알파-매팅(Alpha matting) 알고리즘을 적용하여 검수 기준 데이터를 결정할 수 있다.
몇몇 실시예에서, 인공지능 모듈은 완료 데이터가 연속형 변수 형태이더라도, 통계적 추론 모델을 적용하지 않고, 선택형 추론 모델을 적용할 수 있다. 즉, 완료 데이터가 0~1 사이의 연속적인 데이터 값을 갖더라도, 작업의 특성상 정답 데이터를 0 또는 1로 결정할 필요가 있는 경우, 선택형 추론 모델을 적용하여 가장 반영률이 높은 최우수 작업자의 완료 데이터를 정답 데이터로 설정할 수 있다.
이후, 본 발명의 일 실시예에 따른 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 장치(400)는 산출된 작업자별 반영률(VP)에 기초하여 기존의 작업자별 반영률(VP)을 조정한다. 즉, 검수를 통해 완료 데이터 중 정답 데이터가 많은 것으로 판별된 작업자에 대해서는 반영률(VP)이 높아지도록 조정되고, 완료 데이터 중 정답 데이터가 적은 것으로 판별된 작업자에 대해서는 반영률(VP)이 낮아지도록 조정될 수 있다.
본 발명의 일 실시예에 따른 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 장치(400)는 결정된 작업 데이터에 기초하여 작업자들의 완료 데이터를 검수하고, 정답으로 처리된 완료 데이터를 학습 데이터로 선택한다. 인공지능은 검수가 완료된 학습 데이터에 기초하여 학습될 수 있으므로, 인공지능의 학습 효율은 증가될 수 있으며, 인공지능의 성능은 고도화될 수 있다.
상술한 바와 같이, 본 발명의 일 실시예에 따른 인공지능을 이용한 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 장치(400)는 인터넷을 통해 불특정 작업자들에게 인공지능의 학습을 위한 학습 데이터를 생성하는 작업을 분배할 수 있다. 특히, 작업 대상 데이터에 대하여 인공지능 모듈을 통해 전처리를 수행하고, 전처리된 작업 데이터를 불특정 작업자들에게 전송함으로써, 작업자들의 작업이 보다 용이하게 진행될 수 있도록 할 수 있다. 즉, 인공지능 모듈은 작업 대상 데이터에서 작업 대상 영역을 설정하는 전처리를 수행하여 작업 데이터를 생성하고, 생성된 작업 데이터를 복수의 작업자들에게 송신할 수 있으므로, 작업자들은 보다 수월하게 학습 데이터 생성 작업을 수행할 수 있다.
더불어, 인공지능 모듈은 작업 데이터를 생성하는 과정에서 일부 제1 작업 데이터에 대한 작업이 완료된 제1 완료 데이터를 학습하도록 구성되므로, 작업 데이터를 생성하는 과정에서 점차적으로 학습될 수 있고, 제1 작업 데이터를 분배한 이후, 제2, 제3 작업 데이터를 생성하는 과정에서는 좀 더 고도화된 방법으로 작업 영역을 설정할 수 있으며, 이로 인해, 고도로 전처리된 작업 데이터가 생성되어 작업자들에게 분배될 수 있다. 따라서, 복수의 작업자들의 업무 부하(load)가 더욱 감소될 수 있으며, 종국적으로는 학습 데이터의 생성 작업 자체가 인공지능 모듈에 의해 수행되도록 구성될 수도 있다.
또한, 본 발명의 일 실시예에 따른 인공지능을 이용한 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 장치(400)는 작업 난이도 및 해당 작업을 수행한 작업자들의 정확도를 산출하고, 작업 난이도가 충분히 낮으며, 복수의 작업자들의 정확도가 충분히 높은 경우, 해당 작업에 대해 인공지능 모듈을 통해 검수를 수행하도록 구성된다. 또한, 작업 난이도가 너무 높거나 복수의 작업자들의 정확도가 너무 낮아 인공지능 모듈을 통한 검수가 불분명한 경우, 해당 작업에 대해 전문가 검수를 수행하도록 구성된다. 즉, 전문가들은 일부 모호한 작업에 대해서만 검수를 수행하면 되고, 대부분의 검수는 인공지능 모듈을 통해 수행되므로, 전문가들의 업무 부하가 충분히 감소될 수 있으며, 크라우드 아웃소싱 작업의 효율성이 향상될 수 있다.
이 경우, 본 발명의 일 실시예에 따른 인공지능을 이용한 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 장치(400)는 복수의 작업자별 정확도, 성향, 작업 난이도를 판단하고, 복수의 작업자별 정확도 및 난이도에 기초하여 반영률을 결정하고, 반영률에 기초하여 복수의 작업자별 완료 데이터 검수를 위한 정답 데이터를 결정하도록 구성된다. 즉, 정확도가 우수한 작업자에게는 높은 반영률을 부여하고, 정답 데이터를 결정함에 있어서, 우수한 작업자의 완료 데이터를 높은 비율로 반영한다. 따라서, 정확도가 낮은 다수의 작업자들의 작업 결과에 의해 정답 데이터의 신뢰성이 낮아지는 문제를 최소화할 수 있으며, 인공지능 모듈에 의한 검수의 신뢰성이 더욱 향상될 수 있다.
특히, 본 발명의 일 실시예에 따른 인공지능을 이용한 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 장치(400)는 복수의 작업자별 반영률을 결정함에 있어서 기간에 따른 가중치를 적용한다. 우수한 작업자라 하여도 다양한 요인에 의해 최근 작업 정확도가 떨어질 수도 있다. 본 발명의 일 실시예에 따른 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 장치(400)는 각 작업자별 품질점수에 기간에 따른 가중치를 적용하여 반영률을 결정하도록 구성되어 있으므로, 최근 작업 정확도가 떨어진 우수 작업자의 작업 결과가 정답 데이터를 결정하는데 영향이 미치지 못하도록 할 수 있으며, 이를 통해 정답 데이터의 신뢰성을 향상시킬 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100, 200, 300: 작업자 단말
400: 크라우드 아웃소싱 작업 관리장치
500: 검수자 단말
410: 통신부
420: 프로세서
430: 메모리

Claims (12)

  1. 통신부가 복수의 작업자 단말로부터 작업 데이터에 대한 작업이 완료된 완료 데이터를 수신하는 완료 데이터 수신 단계;
    인공지능 모듈에 의해 제어되는 프로세서가 각 작업자에 대하여 상기 작업자의 신뢰도인 반영률을 결정하는 반영률 결정 단계; 및
    상기 프로세서가 상기 반영률에 기초하여 상기 완료 데이터의 검수를 위한 검수 기준 데이터를 결정하는 검수 기준 데이터 형성 단계를 포함하며,
    상기 검수 기준 데이터 형성 단계는,
    상기 완료 데이터에 상기 반영률을 반영하여 선형 합산한 데이터를 상기 검수 기준 데이터로 생성하는 단계이고,
    상기 반영률 결정 단계는,
    상기 복수의 작업자 단말 중 반영 대상 작업자 단말의 상기 완료 데이터를 추출하고,
    상기 작업 데이터에 대하여 기 설정된 정답 데이터와 상기 반영 대상 작업자 단말의 상기 완료 데이터 사이의 유사도로서, 상기 반영 대상 작업자 단말의 IOU(Intersection over union)를 결정하는 단계; 및
    상기 IOU에 기초하여 작업자별 상기 반영률을 결정하는 반영률 생성 단계를 포함하는,
    인공지능을 이용한 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 방법.
  2. 제1항에 있어서,
    상기 반영률 결정 단계는,
    상기 복수의 작업자 단말별 상기 완료 데이터로부터 상기 복수의 작업자 단말별 마스크를 생성하는 단계;
    상기 복수의 작업자 단말별 마스크를 병합하여 Trimap을 생성하는 단계;
    상기 Trimap에 기초하여 상기 완료 데이터의 정확도를 결정하는 정확도 결정 단계; 및
    상기 정확도에 기초하여 작업자별 상기 반영률을 결정하는 반영률 생성 단계를 포함하는,
    인공지능을 이용한 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 방법.
  3. 제2항에 있어서,
    상기 정확도 결정 단계는,
    상기 복수의 작업자 단말 중 대상 작업자 단말의 마스크와 상기 Trimap의 유사도를 산출하고 상기 유사도를 정확도로 생성하는,
    인공지능을 이용한 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 방법.
  4. 제3항에 있어서,
    상기 정확도 결정단계는,
    상기 Trimap에 기초하여 작업 난이도를 추가로 결정하는 단계; 및
    상기 유사도와 상기 작업 난이도를 기초로 기준 미만의 상기 작업 데이터를 필터링 데이터로 선정하고 작업을 종료하는 필터링 단계를 더 포함하는,
    인공지능을 이용한 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 방법.
  5. 제4항에 있어서,
    상기 필터링 단계는,
    모든 작업자의 상기 유사도가 정확도 임계값 이하이고, 상기 작업 난이도가 난이도 임계값 이상인 경우 상기 필터링 데이터로 선정하는,
    인공지능을 이용한 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 방법.
  6. 삭제
  7. 제1항에 있어서,
    상기 반영률 생성 단계는,
    상기 반영 대상 작업자 단말의 IOU의 비율에 작업별로 난이도를 비례상수로 적용하여, 상기 반영 대상 작업자 단말의 품질점수를 산출하고,
    상기 품질점수를 상기 반영 대상 작업자 단말의 반영률로 결정하는,
    인공지능을 이용한 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 방법.
  8. 제1항에 있어서,
    상기 반영률 생성 단계는,
    상기 IOU에 작업 완료일이 현재 시점으로부터 가까울수록 높은 가중치를 적용하여 상기 반영 대상 작업자 단말의 품질점수를 산출하고,
    상기 품질점수를 상기 반영 대상 작업자 단말의 반영률로 결정하는,
    인공지능을 이용한 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 방법.
  9. 제1항에 있어서,
    상기 반영률 생성 단계는,
    상기 복수의 작업자 단말 전체의 상기 반영률의 총합으로 상기 반영 대상 작업자 단말의 상기 반영률을 나눈 정규 반영률을 상기 반영 대상 작업자 단말에 배정하는,
    인공지능을 이용한 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 방법.
  10. 삭제
  11. 삭제
  12. 복수의 작업자 단말로부터 작업 데이터에 대한 작업이 완료된 완료 데이터를 수신하는 통신부;
    상기 복수의 작업자 단말로부터 수신된 상기 완료 데이터들을 검수하는 연산을 수행하도록 구성된 프로세서; 및
    상기 프로세서의 연산 동작을 제어하는 인공지능 모듈이 저장된 메모리를 포함하고,
    상기 인공지능 모듈에 의해 제어되는 상기 프로세서는,
    상기 완료 데이터 별로 정확도를 판단하여 반영률을 생성하고 상기 반영률이 반영된 검수 기준 데이터를 생성하고,
    상기 완료 데이터에 상기 반영률을 반영하여 선형 합산한 데이터를 상기 검수 기준 데이터로 생성하고,
    상기 인공지능 모듈에 의해 제어되는 상기 프로세서는,
    상기 복수의 작업자 단말 중 반영 대상 작업자 단말의 상기 완료 데이터를 추출하고,
    상기 작업 데이터에 대하여 기 설정된 정답 데이터와 상기 반영 대상 작업자 단말의 상기 완료 데이터 사이의 유사도로서, 상기 반영 대상 작업자 단말의 IOU(Intersection over union)를 결정하고,
    상기 IOU에 기초하여 작업자별 상기 반영률을 결정하는,
    인공지능을 이용한 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 장치.
KR1020200020699A 2020-02-19 2020-02-19 인공지능을 이용한 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 방법 및 그 장치 KR102481583B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200020699A KR102481583B1 (ko) 2020-02-19 2020-02-19 인공지능을 이용한 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200020699A KR102481583B1 (ko) 2020-02-19 2020-02-19 인공지능을 이용한 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20210105779A KR20210105779A (ko) 2021-08-27
KR102481583B1 true KR102481583B1 (ko) 2022-12-27

Family

ID=77504591

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200020699A KR102481583B1 (ko) 2020-02-19 2020-02-19 인공지능을 이용한 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR102481583B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102399425B1 (ko) * 2021-11-02 2022-05-18 (주)넥스트박스 데이터 라벨링 전처리, 분배 및 검수 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140039985A1 (en) * 2011-06-29 2014-02-06 CrowdFlower, Inc. Evaluating a worker in performing crowd sourced tasks and providing in-task training through programmatically generated test tasks
JP2015041254A (ja) * 2013-08-22 2015-03-02 大日本印刷株式会社 Ｔｒｉｍａｐ生成装置、Ｔｒｉｍａｐ生成方法、及びプログラム
JP2019022477A (ja) * 2017-07-19 2019-02-14 タタ コンサルタンシー サービシズ リミテッドＴＡＴＡ Ｃｏｎｓｕｌｔａｎｃｙ Ｓｅｒｖｉｃｅｓ Ｌｉｍｉｔｅｄ 染色体のクラウドソーシングおよびディープラーニングベースの分断化ならびに核型分析

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101772199B1 (ko) * 2015-10-30 2017-09-01 (주)유미테크 크라우드 소싱 기반 지식 검증 시스템
KR101887415B1 (ko) 2017-11-21 2018-08-10 주식회사 크라우드웍스 데이터 라벨링 작업 검수방법 및 프로그램
KR102171658B1 (ko) * 2018-06-28 2020-10-29 (주) 엠티콤 크라우드전사장치 및 그 동작 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140039985A1 (en) * 2011-06-29 2014-02-06 CrowdFlower, Inc. Evaluating a worker in performing crowd sourced tasks and providing in-task training through programmatically generated test tasks
JP2015041254A (ja) * 2013-08-22 2015-03-02 大日本印刷株式会社 Ｔｒｉｍａｐ生成装置、Ｔｒｉｍａｐ生成方法、及びプログラム
JP2019022477A (ja) * 2017-07-19 2019-02-14 タタ コンサルタンシー サービシズ リミテッドＴＡＴＡ Ｃｏｎｓｕｌｔａｎｃｙ Ｓｅｒｖｉｃｅｓ Ｌｉｍｉｔｅｄ 染色体のクラウドソーシングおよびディープラーニングベースの分断化ならびに核型分析

Also Published As

Publication number Publication date
KR20210105779A (ko) 2021-08-27

Similar Documents

Publication Publication Date Title
US11341626B2 (en) Method and apparatus for outputting information
CN112581430A (zh) 一种基于深度学习的航空发动机无损检测方法、装置、设备及存储介质
CN108475427B (zh) 对象扫描能力的实时检测
CN112116184A (zh) 使用历史检验数据的工厂风险估计
Conati et al. Further Results on Predicting Cognitive Abilities for Adaptive Visualizations.
RU2607977C1 (ru) Способ создания модели объекта
KR102481583B1 (ko) 인공지능을 이용한 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 방법 및 그 장치
KR102470856B1 (ko) 인공지능을 이용한 크라우드 아웃소싱 작업 검수 방법 및 그 장치
CN111860118A (zh) 一种基于人工智能的人体行为分析方法
JP2021149446A (ja) 注視物体認識システム及び方法
JP2021143884A (ja) 検査装置、検査方法、プログラム、学習装置、学習方法、および学習済みデータセット
KR102405297B1 (ko) 인공지능을 이용한 크라우드 아웃소싱 작업 검수 대상 샘플링 방법 및 장치
JP2019158684A (ja) 検査システム、識別システム、及び識別器評価装置
KR102480575B1 (ko) 인공지능을 이용한 크라우드 아웃소싱 작업 분배 방법 및 장치
CN112861743A (zh) 一种掌静脉图像防伪方法、装置和设备
CN112101438A (zh) 一种左右眼分类方法、装置、服务器和存储介质
KR102405298B1 (ko) 인공지능을 이용한 크라우드 아웃소싱 작업 관리 장치 및 방법
EP3696771A1 (en) System for processing an input instance, method, and medium
CN115969400A (zh) 眼球突出截面积测量装置
US20230135258A1 (en) Prediction of geographic-atrophy progression using segmentation and feature evaluation
CN113781056A (zh) 预测用户欺诈行为的方法及装置
CN114764948A (zh) 活体检测方法、装置、设备及存储介质
CN115357517B (zh) 机器视觉底层算法的开发优劣性的评测方法
CN116030385B (zh) 一种心肺复苏ai评价系统
CN114898155B (zh) 车辆定损方法、装置、设备及存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant