KR102405297B1 - 인공지능을 이용한 크라우드 아웃소싱 작업 검수 대상 샘플링 방법 및 장치 - Google Patents

인공지능을 이용한 크라우드 아웃소싱 작업 검수 대상 샘플링 방법 및 장치 Download PDF

Info

Publication number
KR102405297B1
KR102405297B1 KR1020200020685A KR20200020685A KR102405297B1 KR 102405297 B1 KR102405297 B1 KR 102405297B1 KR 1020200020685 A KR1020200020685 A KR 1020200020685A KR 20200020685 A KR20200020685 A KR 20200020685A KR 102405297 B1 KR102405297 B1 KR 102405297B1
Authority
KR
South Korea
Prior art keywords
data
sampling
accuracy
work
worker
Prior art date
Application number
KR1020200020685A
Other languages
English (en)
Other versions
KR20210105774A (ko
Inventor
홍기섭
신윤식
Original Assignee
주식회사 에이모
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에이모 filed Critical 주식회사 에이모
Priority to KR1020200020685A priority Critical patent/KR102405297B1/ko
Publication of KR20210105774A publication Critical patent/KR20210105774A/ko
Application granted granted Critical
Publication of KR102405297B1 publication Critical patent/KR102405297B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06316—Sequencing of tasks or work
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0633—Workflow analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0637—Strategic management or analysis, e.g. setting a goal or target of an organisation; Planning actions based on goals; Analysis or evaluation of effectiveness of goals

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Development Economics (AREA)
  • Quality & Reliability (AREA)
  • Game Theory and Decision Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

본 발명에 따른 일 실시예에 따른 인공지능을 이용한 크라우드 아웃소싱 작업 샘플링 방법은 복수의 작업자 단말로부터 작업 데이터에 대한 작업이 완료된 완료 데이터가 수신되는 경우, 인공지능 모듈에 의해 제어되는 프로세서가 상기 작업자 단말별 설정된 샘플링 비율에 따라 상기 완료 데이터 중 샘플링 데이터를 선정하는 샘플링 데이터 선정 단계, 인공지능 모듈에 의해 제어되는 프로세서가 선정된 상기 샘플링 데이터의 정확도를 평가하는 정확도 평가 단계 및 상기 인공지능 모듈에 의해 제어되는 프로세서가 상기 정확도에 따라 상기 샘플링 비율을 조정하는 셈플링 비율 재조정 단계를 포함한다.

Description

인공지능을 이용한 크라우드 아웃소싱 작업 검수 대상 샘플링 방법 및 장치 {METHOD AND APPARATUS FOR SAMPLING OF CLOUD OUTSORCING TASK FOR INSPECTION BY USING ARTIFICIAL INTELLIGENT}
본 발명은 인공지능을 이용한 크라우드 아웃소싱 작업 검수 대상 샘플링 방법 및 장치에 관한 것이다. 보다 상세하게는 신뢰할 수 있는 작업자의 데이터를 자동으로 검수 대상에서 제외하고 검수하는 크라우드 아웃소싱 작업 검수 대상 샘플링 방법 및 장치에 관한 것이다.
최근 인공지능(Artificial Intelligence, AI) 기술이 발달함에 따라 이미지, 음성, 텍스트 등 디지털 형태의 컨텐츠에 포함된 특정 객체를 인식하는 인공지능에 대한 연구가 활발하게 진행되고 있다. 특히, 디지털 카메라를 통해 생성된 디지털 이미지 내에서 특정 객체를 인식하여 촬영된 지역의 상황을 판단하는 인공지능 기술은 감시카메라, 자율주행 자동차에 적용되는 등 다양한 산업분야에 활용되고 있다.
인공지능을 사용하여 디지털 컨텐츠 내의 특정 객체를 인식하기 위해서는 인식하고자 하는 객체가 포함된 다양한 학습 데이터들을 사용하여 인공지능을 미리 학습시켜야 한다.
학습 데이터는 인공지능으로 하여금 디지털 컨텐츠 내의 객체와 비객체를 구별할 수 있도록, 디지털 컨텐츠 내에 존재하는 객체의 윤곽, 영역 등을 표시하여 제공될 수 있다. 그러나, 객체와 비객체가 구별되어 있는 데이터는 존재하지 않으므로, 디지털 컨텐츠 내에서 객체의 윤곽, 영역 등을 표시하는 작업은 사람에 의해서 수행될 수밖에 없다.
인공지능은 다양하고 많은 학습 데이터를 학습할수록 인식 정확도가 향상되므로, 되도록 많은 학습 데이터를 학습시키는 것이 중요하다. 최근에는 학습 데이터를 용이하게 생성하도록 인터넷을 통해 다수의 작업자들을 모집하여 디지털 컨텐츠 내의 객체의 윤곽, 영역 등을 표시하는 작업을 의뢰하는 크라우드 아웃소싱 방식의 학습 데이터를 생성 방법이 사용되고 있다.
이때, 신뢰성을 확보하기 위하여, 한가지 판단에 대하여 작업이 완료된 다수의 결과물을 취합하여 학습 데이터를 생성하는 것이 바람직하다. 따라서, 지금까지 작업 데이터는 동일한 디지털 컨텐츠에 대하여 동일한 작업을 다수의 작업자들에게 분배하여 결과물을 취합하여 사용하였다.
또한, 작업자들마다 객체가 포함된 영역을 다르게 판단할 수 있으며, 작업자들이 성실하지 않게 작업을 진행하여 바람직하지 않은 학습 데이터가 생성되는 문제가 발생될 수 있다. 이 경우, 학습 데이터 생성 작업이 제대로 완료되었는지를 검수자가 개별로 검수를 해야 하는 불편함이 존재한다.
다른 한편으로는 작업자들의 정확도에 큰 편차가 있으므로 검수의 필요성은 각 작업자별로 상이하다. 따라서, 작업자별로 능력에 따라 검수량을 상이하게 결정한다면 검수에 필요한 자원을 절약할 수 있으며, 이를 이용하여 검수량을 저감할 수 있는 기술에 대한 개발이 필요하다.
그러나, 시간에 따라 작업자의 정확도는 변동될 수 있다. 따라서, 시간에 따라 변화되는 작업자의 신뢰도를 반영하여 검수량이 조절되는 샘플링 방법 및 장치에 대한 기술 개발이 필요하다.
대한민국 등록특허 제10-1887415호 (2017.11.21.)
본 발명은 작업자에 따른 작업 결과물 검수 결과를 기반으로 다음 검수 데이터의 샘플링 비율을 결정하는 인공지능을 이용한 크라우드 아웃소싱 작업 샘플링 방법 및 장치을 제공한다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예에 따른 인공지능을 이용한 크라우드 아웃소싱 작업 검수 방법은, 복수의 작업자 단말로부터 작업 데이터에 대한 작업이 완료된 완료 데이터가 수신되는 경우, 인공지능 모듈에 의해 제어되는 프로세서가 상기 작업자 단말별 설정된 샘플링 비율에 따라 상기 완료 데이터 중 샘플링 데이터를 선정하는 샘플링 데이터 선정 단계, 인공지능 모듈에 의해 제어되는 프로세서가 선정된 상기 샘플링 데이터의 정확도를 평가하는 정확도 평가 단계 및 상기 인공지능 모듈에 의해 제어되는 프로세서가 상기 정확도에 따라 상기 샘플링 비율을 조정하는 샘플링 비율 재조정 단계를 포함한다.
상기 샘플링 데이터 선정 단계는 기 설정된 기간마다 상기 작업자 단말별 설정된 샘플링 비율과 관계없이 상기 작업자 단말의 완료 데이터 전체를 상기 샘플링 데이터로 선정할 수 있다.
상기 샘플링 비율 재조정 단계는 상기 작업자 단말의 상기 정확도가 기 설정된 값보다 큰 경우, 상기 작업자 단말의 상기 샘플링 비율을 기 설정된 비율만큼 낮추는 단계일 수 있다.
상기 샘플링 비율 재조정 단계는 상기 작업자 단말의 상기 정확도가 기 설정된 값보다 낮은 경우, 상기 작업자 단말의 상기 샘플링 비율을 기 설정된 비율만큼 높이는 단계일 수 있다.
상기 정확도 평가 단계는 상기 복수의 작업자 단말별 상기 샘플링 데이터로부터 상기 복수의 작업자 단말별 마스크를 생성하고, 상기 복수의 작업자 단말별 마스크를 병합하여 Trimap을 생성하는 Trimap 생성단계 및 상기 Trimap을 기준으로 상기 정확도를 평가하는 정확도 산출 단계를 포함할 수 있다.
상기 정확도 산출 단계는 상기 복수의 작업자 단말 중 대상 작업자 단말의 마스크와 상기 Trimap의 유사도를 산출함으로써, 상기 대상 작업자 단말의 상기 정확도를 결정하는 정확도 계산단계 및 상기 정확도에 작업 난이도를 고려한 가중치를 적용하여 보정한 정확도 보정 단계를 더 포함할 수 있다.
상기 정확도 보정 단계는 상기 Trimap에서 값이 0보다 큰 픽셀의 평균을 반비례 상수로 결정할 수 있다.
상기 정확도 보정 단계는 상기 Trimap에서 원소값이 0.5에 해당하는 원소의 수를 비례 상수로 결정할 수 있다.
상기 정확도 평가 단계는 상기 복수의 작업자 단말 중 대상 작업자 단말의 상기 샘플링 데이터를 추출하고, 품질 체크 작업용 기 설정된 정답 데이터와 상기 대상 작업자 단말의 상기 샘플링 데이터 사이의 유사도를 산출하여 상기 대상 작업자 단말의 IOU(Intersection over union)를 정확도로서 결정할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예에 따른 인공지능을 이용한 크라우드 아웃소싱 작업 샘플링 장치는 복수의 작업자 단말로부터 작업이 완료된 완료 데이터를 수신하는 통신부 상기 복수의 작업자 단말로부터 수신된 상기 완료 데이터들 중 정확도를 기준으로 유효성이 검증된 데이터에 대하여 검수하는 연산을 수행하도록 구성된 프로세서 및 상기 프로세서의 연산 동작을 제어하는 인공지능 모듈이 저장된 메모리를 포함하고, 상기 인공지능 모듈은, 상기 완료 데이터를 검수하는 연산에서 상기 작업자 단말 별로 완료 데이터의 상기 정확도를 평가하여 상기 정확도가 기 설정된 값보다 큰 상기 작업자 단말로부터 온 상기 완료 데이터에 대하여 일부만을 선정하여 상기 유효성을 검증할 수 있다.
본 발명의 실시예에 따르면, 검수가 필요 없을 정도의 우수한 작업자의 검수를 생략하여 검수 작업량을 저감할 수 있다.
본 발명의 일 실시예에 따르면, 작업자의 정확도에 따른 검수 필요성을 장기간에 걸쳐 검증하여 단기간의 정확도 변동에 따른 오판단을 줄이고, 검수 작업량을 저감할 수 있다.
본 발명의 실시예에 따르면, 일단 검증이 필요 없다고 판단된 작업자일지라도 주기적인 확인으로 이후의 정확도의 변동을 추적할 수 있으며, 이에, 검수가 생략된 작업자의 정확도 저감 위험을 회피할 수 있다.
도 1은 본 발명의 일 실시예에 따른 인공지능을 이용한 크라우드 아웃소싱 작업 샘플링 장치를 나타낸 블럭도이다.
도 2는 본 발명의 일 실시예에 따른 인공지능을 이용한 크라우드 아웃소싱 작업 샘플링 장치를 사용한 작업 관리 방법을 설명하기 위한 흐름도이다.
도 3은 도 2의 인공지능을 이용한 크라우드 아웃소싱 작업 샘플링 장치에서 데이터를 처리하는 방법을 설명하기 위한 흐름도이다.
도 4는 도 2 및 3의 인공지능을 이용한 크라우드 아웃소싱 작업 샘플링 방법에서 작업 데이터를 생성하고 분배되는 과정을 설명하기 위한 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 샘플링 비율 결정 및 검수 단계를 나타낸 흐름도이다.
도 6은 검수 방법을 설명하기 위한 흐름도이며, 도 7 내지 도 12은 도 2의 인공지능을 이용한 크라우드 아웃소싱 작업 샘플링 방법에서 작업자별 정확도, 성향 및 작업 난이도를 판단하는 일 예를 설명하기 위한 예시도들이다.
도 13는 도 2의 인공지능을 이용한 크라우드 아웃소싱 작업 샘플링 방법에서 작업자별 반영률을 결정하는 일 예를 설명하기 위한 예시도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 문서의 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media))에 저장된 명령어를 포함하는 소프트웨어(예: 프로그램)로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 전자 장치(예: 서버)를 포함할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중개 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
본 명세서에서 “정보 또는 데이터를 송신, 수신, 수집, 추출, 업로드 또는 갱신한다”는 의미는 정보 또는 데이터를 직접 송신, 수신, 수집, 추출, 업로드 또는 갱신하거나 다른 중계 서버를 통해 간접적으로 송신, 수신, 수집, 추출, 업로드 또는 갱신한다는 의미를 포함한다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
본 발명은 인공지능을 이용한 크라우드 아웃소싱 작업 관리 기능을 수행하기 위해 사용될 수 있는 인공지능을 이용한 크라우드 아웃소싱 작업 샘플링 방법 및 그 장치에 대한 발명이다. 크라우드 아웃소싱 작업 샘플링 방법은 크라우드 아웃소싱 작업 관리 장치와 동일한 장치로 수행한다. 다시 말해서, 크라우드 아웃소싱 작업 샘플링 장치는 완료 데이터를 추가로 처리하는 기능을 수행하여 크라우드 아웃소싱 작업 관리 기능을 더 수행할 수 있다. 이하 본 명세서에서는 크라우드 아웃소싱 작업 관리 장치는 크라우드 아웃소싱 작업 샘플링 장치로 통칭하며, 해당 장치가 크라우드 아웃소싱 작업 관리 기능을 더 수행할 수 있는 것으로 기술한다.
우선, 이해의 편의를 돕기 위하여 크라우드 아웃소싱 작업 관리 기능의 전체 동작을 먼저 소개하고, 그 초기 작업으로서 크라우드 아웃소싱 작업 샘플링 방법이 해당 기능을 수행하면서 어떻게 작업을 처리하는지 주로 도 3 내지 5를 참조하여 후술한다.
도 1은 본 발명의 일 실시예에 따른 인공지능을 이용한 크라우드 아웃소싱 작업 샘플링 장치를 나타낸 블럭도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 크라우드 아웃소싱 작업 샘플링 장치(400)는 인공지능 모듈을 학습시키기 위한 학습 데이터를 생성하는 데이터 전처리 작업들을 관리하는 시스템의 장치를 의미한다. 구체적으로, 크라우드 아웃소싱 작업 샘플링 장치(400)는 복수의 작업자 단말들(100, 200, 300)로 작업 데이터를 송신하고, 복수의 작업자 단말들(100, 200, 300)로부터 작업에 대한 완료 데이터가 수신되는 경우, 완료 데이터의 일부를 검수하여 바람직한 학습 데이터를 생성하며, 검수가 어려운 나머지 완료 데이터를 검수자 단말(500)로 송신하여 전문 검수자의 검수가 수행되도록 학습 데이터 생성 작업을 관리하는 장치일 수 있다.
크라우드 아웃소싱 작업 샘플링 장치(400)는 네트워크 서버, 웹 서버, 파일 서버, 슈퍼컴퓨터, 데스크탑 컴퓨터 등과 같은 컴퓨팅 장치들의 임의의 유형 또는 유형들의 조합일 수 있다.
크라우드 아웃소싱 작업 샘플링 장치(400)는 통신부(410), 프로세서(420), 메모리(430)를 포함한다.
통신부(410)는 복수의 작업자 단말들(100, 200, 300)로 작업 데이터를 송신하고, 작업 데이터에 대한 작업이 완료된 경우, 복수의 작업자 단말들(100, 200, 300)로부터 완료 데이터를 수신하도록 구성된다. 이때, 작업 데이터는 복수의 작업자 단말들(100, 200, 300)의 일부를 그룹으로 묶어서 그룹별로 순차적으로 송신할 수 있으며, 완료 데이터 역시 완료되는 순서에 따라 순차적으로 수신할 수 있다. 또한, 송신과 수신은 동시에 이루어질 수 있다.
통신부(410)는 인터넷에 접속되어 인터넷을 통해 작업자 단말들(100, 200, 300) 및 검수자 단말(500)과 데이터를 송수신할 수 있는 네트워크 어댑터로 구성될 수 있다. 통신부(410)는 유선 (LAN 또는 WAN) 또는 무선 (블루투스, WiFi, IrDA(Infrared data association) 방식을 통해 인터넷에 접속되도록 구성될 수 있다.
프로세서(420)는 복수의 작업자 단말들(100, 200, 300)로 송신할 작업 데이터를 생성하고, 복수의 작업자 단말들(100, 200, 300)로부터 수신된 완료 데이터를 검수하는 연산을 수행하도록 구성될 수 있다. 이때, 송신할 작업 데이터는 인공지능 모듈을 활용하여 작업이 필요한 데이터(디지털 컨텐츠 등)에서 작업이 필요한 작업 대상 영역을 설정한 선처리 자료일 수 있다. 이 경우 복수의 작업자 단말들(100, 200, 300)은 작업 영역이 한정되어 있으므로 디지털 컨텐츠 전체를 작업하는 것보다 수월하게 작업을 수행할 수 있다. 이때, 선처리를 수행하는 것이 인공지능 모듈이므로 인공지능 모듈의 수준이 높을수록 더 정밀하게 가공된 작업 데이터를 생성할 수 있다. 작업 데이터의 생성은 통신부(410)의 작업 데이터 송신 이전에만 완료되면 되고, 통신부(410)는 작업 데이터를 복수의 작업자 단말들(100, 200, 300)의 일부씩 순차적으로 송신할 수 있으므로, 완료 데이터를 수신하여 인공지능 모듈을 학습시키는 틈틈이 작업 데이터를 여러 차례 만들어 송부할 수 있다. 다시 말해서, 복수의 작업자 단말들(100, 200, 300)의 일부에 제1작업 데이터를 생성하여 송부하고, 복수의 작업자 단말들(100, 200, 300)로부터 기 설정된 양의 완료 데이터를 수신한 후 이를 학습시키고 다음 작업 데이터를 생성하여 송신할 수 있다.
프로세서(420)는 상술한 연산 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU, GPU(graphical processing units), 싱글 코어 프로세서, 멀티 코어 프로세서, ASIC(application specific integrated circuits) 등), 또는 커뮤니케이션 프로세서(communication processor) (CP) 중 하나 또는 그 이상을 포함할 수 있다.
메모리(430)는 프로세서(420)의 연산 동작을 제어하는 인공지능 모듈이 저장된 장치로서, 예를 들어, SSD(solid state drive), 하드디스크(hard disk drive), 카드 타입의 메모리(SD 또는 XD 메모리 등), 램(random access memory, RAM), SRAM(static random access memory), 롬(read-only memory, ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체 및 이에 대한 식별 가능한 물리적 위치 정보를 저장할 수 있는 다양한 저장매체로 구현될 수 있다. 도 1에서는 메모리(430)가 크라우드 아웃소싱 작업 샘플링 장치(400) 내에 위치된 것으로 도시되어 있으나, 몇몇 실시예에서, 메모리(430)는 크라우드 아웃소싱 작업 샘플링 장치(400)와 물리적으로 분리된 별도의 장치로 구성될 수 있다. 이 경우, 메모리(430)와 크라우드 아웃소싱 작업 샘플링 장치(400)는 네트워크를 통해 연결될 수 있다.
인공지능 모듈은 크라우드 아웃소싱 작업 샘플링 장치(400)의 동작을 제어하기 위한 명령어들의 집합으로서, 임의의 적절한 프로그래밍 언어로 기술되어 전술한 다양한 기능을 수행하는 컴퓨터- 또는 머신- 실행가능 명령어를 포함할 수 있다.
인공지능 모듈은 작업 대상 데이터의 작업 대상 영역을 설정하여 작업 데이터를 생성하고, 복수의 작업자 단말들(100, 200, 300)로부터 작업 데이터에 대한 작업이 완료된 작업 데이터가 수신되는 경우, 복수의 작업자별 작업에 대한 정확도, 성향 및 작업 난이도를 판단하고, 복수의 작업자별 정확도 및 작업 난이도에 기초하여 복수의 작업자별 반영률을 결정하고, 반영률에 기초하여 복수의 작업자별 완료 데이터 검수를 위한 검수 기준 데이터를 결정하도록 구성된다. 인공지능 모듈의 동작들에 대해서는 도 2 내지 도 13을 참조하여 좀더 자세히 설명하기로 한다.
한편, 작업자 단말들(100, 200, 300)은 작업자들이 사용하는 단말로서, 작업 데이터를 처리하여 완료 데이터를 생성하기 위한 컴퓨팅 장치로 구현될 수 있다. 또한, 검수자 단말(500)은 검수자가 사용하는 단말로서, 완료 데이터들 중 전문 검수가 필요한 완료 데이터에 대한 검수를 수행하기 위한 컴퓨팅 장치로 구현될 수 있다. 예를 들어, 작업자 단말들(100, 200, 300) 및 검수자 단말(500)은 스마트폰, 태블릿 PC, 이동 전화기, 영상 전화기, 전자책 리더기, 데스크탑 PC, 랩탑 PC, 넷북 컴퓨터, 워크스테이션, 서버, PDA, PMP, MP3 플레이어, 모바일 의료기기, 카메라, 또는 웨어러블 장치 중 적어도 하나로 구현될 수 있다.
도 2는 본 발명의 일 실시예에 따른 인공지능을 이용한 크라우드 아웃소싱 작업 샘플링 장치를 사용한 작업 관리 방법을 설명하기 위한 흐름도이며, 도 3은 도 2의 인공지능을 이용한 크라우드 아웃소싱 작업 샘플링 장치에서 데이터를 처리하는 방법을 설명하기 위한 흐름도이다.
도 2및 3을 참조하면, 먼저, 크라우드 아웃소싱 작업 샘플링 장치는 작업 대상 데이터의 작업 대상 영역을 설정하여 작업 데이터를 생성(S210)한다.
“작업 대상 데이터”는 작업자 단말(100)로 송신할 작업 데이터의 원본 데이터를 의미하며, 작업 대상 데이터는 디지털 이미지, 텍스트, 음향 등 다양한 형태의 데이터로 구성될 수 있다. 크라우드 아웃소싱 작업 샘플링 장치(400)는 작업 대상 데이터를 인공지능 모듈을 사용하여 전처리함으로써, 작업 데이터를 생성한다.
인공지능을 이용한 크라우드 아웃소싱 작업 샘플링 방법은 인공지능 모듈에 의해 제어되는 프로세서가 작업이 필요한 작업 대상 데이터의 작업 대상 영역을 설정하여 작업 데이터를 생성하는 작업 데이터 생성 단계(S211), 통신부가 상기 작업 데이터를 인터넷에 접속된 복수의 작업자 단말 중 일부 작업자 단말에게 송신하는 송신 단계(S212) 및 상기 통신부로 상기 복수의 작업자 단말로부터 상기 작업 데이터에 대한 작업이 완료된 상기 완료 데이터가 수신되는 경우, 상기 완료 데이터에 기초하여 상기 인공지능 모듈을 학습시키는 수신 및 학습 단계(S213)를 포함하고, 작업 데이터 생성 단계, 송신 단계, 수신 및 학습 단계는 복수의 작업자 단말 중 기 설정된 수의 단말에게 송신할 때 또는 상기 작업 대상 데이터에 대한 작업이 완료될 때까지 반복된다.
여기서, 작업 데이터를 최초로 생성하여 송신한 후에 수신된 초기 완료 데이터의 질에 따라 인공지능 모듈이 생성한 후속 작업 데이터의 질이 결정된다.
따라서, 지나치게 적은 완료 데이터에 대하여 인공지능 모듈을 학습시킨 후 작업 데이터를 생성한다면, 초기 완료 데이터의 질이 매우 나쁜 경우 저급한 작업 데이터를 생성하게 된다. 이를 회피하기 위하여, 수신 및 학습 단계가 최초로 생성되는 경우 완료 데이터가 기 설정된 양만큼 수신된 이후에 후속 작업 데이터를 생성하는 것이 바람직하다.
또한, 다수의 작업자가 수행한 동일한 작업내용은 다음 작업에도 동일하게 작업될 개연성이 크다. 따라서, 작업 데이터를 생성하는 방법으로서, 수신된 완료 데이터들에 작업된 영역을 복수의 작업자 단말별 마스크로서 생성하고, 복수의 작업자 단말별 마스크를 병합하여 Trimap을 생성하고, Trimap에 포함되는 영역에서 기 설정된 병합 농도 이상을 작업 대상 영역으로 지정할 경우 다수의 작업자가 수행한 동일한 작업내용을 특정할 수 있으며, 작업될 개연성이 큰 영역과 그렇지 않은 영역을 표시한 작업 데이터를 생성할 수 있다.
초기 학습 데이터의 수준이 높을수록 인공지능 모듈의 성능이 높아질 것이므로, 초기 학습 데이터를 생성하는 작업자는 우수한 작업자일수록 유리하다. 또한, 먼저 작업 데이터를 받을수록 먼저 완료 데이터를 제출할 가능성이 크므로 송신단계에서 우수 작업자의 우수도에 따라 순차적으로 작업 데이터를 송신하는 것이 바람직하다.
여기서 우수 작업자가 선택되는 방법은 다양할 것이나, 본 발명이 완료 데이터의 검수를 함께 한다면, 검수 과정에서 정확도가 산출될 것이므로, 정확도를 기준으로 우수도를 판단할 수 있다.
검수 과정에서 산출되는 정확도는 전체 타 작업자들의 완료 데이터와의 유사도를 기준으로 할 수 있으며, 작업 영역을 마스크로 생성하고 Trimap을 제작하였다면, Trimap과의 유사도를 기준으로 정확도를 결정할 수 있다. 이상의 정확도 판단을 위한 마스크 및 Trimap은 검수 단계에서 함께 후술한다.
인공지능 모듈에 제어되는 프로세서(420)는 완료 데이터가 기 설정된 숫자만큼 수신될 때마다 해당 완료 데이터를 인공지능 모듈에 학습시킬 수 있다.
그러나, 품질이 떨어지는 완료 데이터가 초기에 학습되는 것을 막기 위하여 완료 데이터를 미리 검수한 후 생성된 정답 데이터에 기초하여 학습할 수도 있다. 보다 상세한 설명은 도 4를 참조하여 후술한다.
도 3의 흐름도에는 마치 작업 데이터의 생성 및 분배(S210) 이후에 샘플링 및 검수 이하의 작업(S214 이후 작업)이 수행되는 것처럼 도시되어 있으나, 작업 데이터의 생성 및 분배가 완료 데이터의 수신이 진척됨에 따라 순차적으로 진행되므로, 기 수신된 완료 데이터에 대하여는 나머지 작업 데이터의 생성 및 분배가 수행되기 전에도 샘플링 및 검수 작업이 수행될 수 있다.
특정 작업자 단말로부터 기 설정된 수의 완료 데이터가 수신되었을 때, 해당 작업자의 샘플링 비율을 근거로 검수를 수행할지 여부를 판단(S214)한다.
해당 작업자의 샘플링 비율이 0이라면, 해당 작업자 단말은 신뢰할 수 있는 작업자로 판단한다. 따라서 해당 작업자 단말은 검수 작업을 생략하고, 모두 학습 데이터 또는 임의의 반영률을 설정하여 후술할 검수 기준 데이터로 사용할 수 있다.
반면에, 해당 작업자의 샘플링 비율이 0보다 크다면, 해당 작업자는 검수 등을 생략할 만큼 신뢰하기 어려운 작업자로 판단한다. 샘플링 비율은 해당 작업자에 대한 불신 비중으로 볼 수 있으며, 샘플링된 완료 데이터를 선정(S217) 및 검수(S30)하여 신뢰도를 재평가한다. 재평가된 신뢰도는 샘플링 비율을 재조정(S216)함으로써 반영된다.
이상의 샘플링 방법으로 작업자별 신뢰도를 지속적으로 평가하여 검수가 필요 없는 작업자에 대하여 검수 작업의 상당수를 생략할 수 있으며, 소수의 검수만으로도 충분한 작업자에 대하여는 샘플링 비율을 줄일 수 있다.
완료 데이터에서 샘플링 데이터가 선정된 경우 완료 데이터를 검수할 수 있다. 완료 데이터를 검수하는 단계(S30)는 작업 데이터의 종류에 따라 작업 데이터를 중첩될 수 있는 데이터로 재구성하는 완료 데이터를 재구성하는 단계(S34) 및 완료 데이터를 분석하여 작업자의 정확도, 작업자의 작업 성향, 작업 난이도 등을 평가하는 작업자별 성향 등을 결정하는 단계(S220)를 포함한다. 이에 해당하는 흐름도와 구체적인 예는 도 6 내지 도 12를 참조하여 후술한다.
작업자별 성향 평가 데이터 및 완료 데이터를 기초로 작업자별로 능력을 평가하여 완료 데이터 검수 기준 데이터를 형성하는 단계(S55)를 추가로 수행할 수 있다. 완료 데이터 검수 기준 데이터를 형성하는 단계(S55)는 완료 데이터 검수 단계 이후 완료 데이터의 검수에 활용할 검수 기준을 생성하는 단계이다. S30에서 완료 데이터의 정확도가 산출되었으므로 이를 후술할 가중치로 활용하여 검수 기준 데이터를 직접 생성할 수도 있으나, 작업 데이터의 난이도 및 완료 데이터의 정확도에 따라 검수 기준을 기계적으로 생성하기 부적합한 작업이 있을 수 있으므로 해당 작업을 배제하는 필터링 단계(S230) 및 작업자별 능력을 미리 평가하여 활용하기 위한 작업자별 반영률 결정 단계(S240)를 추가로 수행하여 가중치에 따라 검수 기준 데이터를 생성(S250)하는 것이 바람직하다.(S55) 본 단계에 대한 구체적인 예는 도 13을 참조하여 후술한다.
완료 데이터를 검수하는 단계(S30) 또는 검수 기준 데이터를 생성하는 단계(S55)를 거치며 생성된 정확도를 기준으로 샘플링 비율을 재조정할 수 있다. 정확도가 기 설정된 값보다 낮다면, 전체 완료 데이터를 검수해야 하며, 샘플링 비율을 기 설정된 값(예컨대 100%)만큼 높일 수 있다. 정확도가 기 설정된 값보다 높다면 해당 작업자는 신뢰할 수 있는 작업자로 판단되어 샘플링 비율을 기 설정된 값만큼 낮춘다. 기 설정된 값이 10%라면, 최초 100% 샘플링 비율이 설정된 작업자는 10회의 검수에서 모두 기 설정된 값보다 높은 정확도를 획득하여야 검수가 생략될 수 있다. 다시 말해서, 특정 작업자에 대하여 검수를 생략하기 위해서는 장기간 높은 수준의 작업결과가 전제되어야 한다. 작업자별 샘플링 비율 관리 및 검수 설정에 대한 내용은 도 5를 참조하여 후술한다.
도 4는 본 발명의 일 실시예에 따른 인공지능을 이용한 크라우드 아웃소싱 작업 샘플링 방법(S210)을 상세히 설명하기 위하여, 도 3의 S210이 2회 반복되어 작업량이 저감된 작업 데이터가 다시 생성될 때까지의 데이터 처리를 나타낸 흐름도이다.
크라우드 아웃소싱 작업 샘플링 장치의 인공지능 모듈은 제1 작업 대상 데이터에 대하여 작업 영역을 설정하여 제1 작업 데이터를 생성(S214)한다.
앞서 언급한 바와 같이, 작업 대상 데이터는 인공지능 모듈이 학습해야 할 객체가 포함된 디지털 컨텐츠로서, 이미지, 텍스트, 음향 등 다양한 형태의 데이터로 구성될 수 있다.
설명의 편의를 위해 이하에서는 작업 대상 데이터가 이미지 데이터로 구성된 경우를 예를 들어 설명하기로 한다.
인공지능 모듈은 먼저 모든 작업 대상 데이터 중에서 제1 작업 대상 데이터를 임의로 선택하고, 제1 작업 대상 데이터에서 인공지능 모듈이 학습해야 할 객체가 위치하는 작업 대상 영역을 다른 영역과 구분되도록 설정함으로써, 제1 작업 대상 데이터를 생성한다. 예를 들어, 학습해야 할 객체가 “강아지”라면, 인공지능 모듈은 “강아지”를 포함하는 제1 작업 대상 데이터에서 “강아지”가 위치하는 영역의 경계선을 표시함으로써, 제1 작업 데이터를 생성할 수 있다.
이후, 생성된 제1 작업 데이터를 인터넷에 접속된 복수의 작업자 단말 중 일부 작업자 단말에게 송신한다. 이때, 일부 작업자 단말은 작업 데이터를 우선 배정받으므로, 인공지능 모듈의 초기 학습 자료를 생성하게 된다. 이를 학습한 인공지능 모듈이 향후 모든 작업 데이터 생산에 활용되므로 인공지능 모듈의 초기 성능이 중요하다. 따라서, 인공지능 모듈의 초기 성능을 좌우하는 초기 학습 자료의 질 역시 중요하다. 초기 학습 자료의 질을 높이기 위하여, 제1 작업 데이터를 우선 수신받는 일부 작업자 단말은 우수한 능력을 가진 작업자인 것이 유리하다. 이 우수 작업자는 작업자의 경력, 전공분야 등 어떠한 기준으로 정해져도 무방하다. 다만, 인공지능을 이용한 크라우드 아웃소싱 작업 샘플링 장치는 각 단말기의 작업별 정확도를 평가하므로, 인공지능을 이용한 크라우드 아웃소싱 작업 샘플링 장치가 작업 데이터를 검수하는 과정에서 평가한 작업자의 정확도를 기준으로 작업자의 정확도가 일정 수준 이상의 작업자를 우수 작업자 로 지정할 수 있다.
이후, 크라우드 아웃소싱 작업 샘플링 장치는 작업자 단말(100)로부터 제1 작업 데이터에 대한 제1 완료 데이터를 수신(S215)한다.
제1 완료 데이터는 작업자가 작업자 단말(100)을 통해 제1 작업 데이터에 대한 작업을 완료한 데이터를 의미한다. 예를 들어, 인공지능 모듈이 학습해야 할 객체가 “강아지”인 경우, 제1 작업 데이터에 대한 작업은 “강아지” 윤곽을 표시하는 작업일 수 있다. 작업자는 “강아지”가 위치된 영역의 경계선이 개략적으로 표시된 제1 작업 데이터에서 경계선을 “강아지” 윤곽에 맞도록 정밀하게 편집함으로써, 제1 완료 데이터를 생성할 수 있다.
작업자 단말로부터 제1 완료 데이터가 수신되는 경우, 크라우드 아웃소싱 작업 샘플링 장치는 제1 완료 데이터에 기초하여 인공지능 모듈을 학습(S216) 시킨다.
제1 작업 데이터에는 “강아지”에 대한 경계선이 개략적으로 표시되어 있지만, 사람에 의해 작업된 제1 완료 데이터에는 “강아지”에 대한 경계선이 보다 정밀하게 표시되어 있을 것이다.
다수의 제1완료 데이터가 수신되었을 때, 이들 중 특정 작업자 단말의 정확도는 제1완료 데이터를 인공지능 모듈에 학습시키는 과정에서 산출된다. 완료 데이터들을 검수하고 평가하여 인공지능 모듈에 학습시키는 과정은 후술한다.
인공지능 모듈은 제1 완료 데이터에 기반하여 학습되며, 학습이 완료된 인공지능 모듈을 사용하는 경우, “강아지”를 포함하는 다른 이미지에 대하여 보다 정확하고 정밀하게 “강아지”에 대한 작업 영역이 설정될 수 있다.
이후, 크라우드 아웃소싱 작업 샘플링 장치는 학습된 인공지능 모듈에 기초하여 제2 작업 대상 데이터에 대하여 작업 영역을 설정하여 제2 작업 데이터를 생성(S217)한다.
제2 작업 대상 데이터는 제1 작업 대상 데이터를 제외한 나머지 작업 대상 데이터 중 선택된 작업 대상 데이터일 수 있다. 예를 들어, 작업 대상 데이터가 “강아지”가 포함된 100개의 이미지 데이터로 구성된 경우, 제1 작업 대상 데이터는 “강아지”가 포함된 10개의 이미지로 구성될 수 있다. 인공지능 모듈은 10개의 제1 작업 대상 데이터에서 “강아지”가 포함된 영역을 표시함으로써, 제1 작업 데이터를 생성하고, 작업자 단말로부터 10개의 제1 작업 대상 데이터에 대한 작업이 완료된 제1 완료 데이터가 수신되는 경우, 제1 완료 데이터에 기반하여 학습될 수 있다. 학습이 완료된 인공지능 모듈은 다른 10개의 이미지로 구성된 제2 작업 대상 데이터에 대해 “강아지”가 포함된 영역을 좀더 정밀하게 표시할 수 있으며, 인공지능 모듈을 통해 제2 작업 데이터가 생성된다. 이후, 제2 작업 데이터가 복수의 작업자 단말로 송신되고, 작업자 단말로부터 제2 작업 데이터에 대한 작업이 완료된 제2 완료 데이터가 수신되는 경우, 제2 완료 데이터에 기초하여 인공지능 모듈이 학습된다. 마찬가지 방법으로 인공지능 모듈을 통해 또 다른 10개의 이미지로 구성된 제3 작업 대상 데이터에 대하여 “강아지”가 포함된 영역을 설정하여 제3 작업 데이터가 생성된다. 이 경우, 학습된 인공지능 모듈은 제2 작업 대상 데이터를 처리하는 경우보다 더욱 정밀하게 제3 작업 대상 데이터에 대하여 “강아지”가 포함된 영역을 표시할 수 있다. 동일한 방법으로 작업 대상 데이터에 대한 작업이 완료될 때까지 인공지능 모듈은 주기적으로 학습되며, 인공지능 모듈을 통해 생성되는 작업 데이터의 정밀도는 학습이 거듭될수록 향상될 수 있다.
다시 말해서, 인공지능 모듈이 작업 대상 데이터로부터 작업 데이터를 생성/송신하는 단계와 완료 데이터를 수신하여 인공지능 모듈을 학습시키는 단계가 반복하여 수행될 수 있다. 이 단계는 작업 대상 데이터에 대한 작업이 모두 분배될 때까지 반복될 수 있으며, 동일한 작업 대상 데이터에 대한 중복 작업인 경우 기 설정된 수의 작업자 단말에 작업 데이터를 생성하여 송부할 때까지 반복하여 수행될 수도 있다. 작업 데이터의 생성을 인공지능 모듈의 학습과 병행함으로써, 나중에 생성된 작업 데이터일수록 더 많이 학습된 인공지능 모듈을 활용하여 작업 데이터를 생성하게 된다. 결과적으로 작업량을 줄이는 효과가 있다.
몇몇 실시예에서, 인공지능 모듈의 학습은 제1 완료 데이터에 기반하지 않고, 검수가 완료된 제1 정답 데이터에 기반하여 수행될 수 있다. 즉, 인공지능 모듈은 제2 작업 대상 데이터를 처리하기에 앞서, 제1 완료 데이터에 대한 검수가 완료되어 확정된 제1 정답 데이터에 기반하여 학습될 수 있고, 학습된 인공지능 모듈을 통해 제2 작업 대상 데이터가 처리되어 제2 작업 데이터가 생성될 수 있다. 이 경우, 제1 정답 데이터는 이하에서 후술하는 완료 데이터의 검수 방법에 따라 검수가 완료되어 최종적으로 정답이라고 추론된 데이터에 대응될 수 있다.
검수 및 학습 과정에서 정확도가 산출되는 과정에 대하여, 간략히 알아본다. 만일 다수의 작업 결과물을 정답으로 추정할 수 있다면, 복수의 작업자 단말별 완료 데이터로부터 복수의 작업자 단말별 마스크를 생성하고 복수의 작업자 단말별 마스크 전체와 대상 작업자 단말의 마스크와의 유사도를 산출하여 정확도를 결정할 수 있다.
여기서 복수의 작업자 단말별 마스크 전체와 대상 작업자 단말의 마스크와의 유사도는 복수의 작업자 단말별 마스크 각각과 대상 작업자 단말의 마스크와의 유사도의 평균 값과 같다. 다시 말해 복수의 작업자 단말별 마스크 전체와 대상 작업자 단말의 마스크와의 유사도는 복수의 작업자 단말별 마스크 각각과 대상 작업자 단말의 마스크와의 유사도의 선형합에 해당하므로, 복수의 작업자 단말별 마스크를 미리 병합하여 생성한 Trimap을 대상 작업자 단말의 마스크와 유사도를 계산하는 것으로 대체할 수 있다.
만일 작업 전에 정답이 이미 정해져 있는 작업 대상 데이터로 정확도를 측정하는 작업을 수행할 수 있다면, 더 신뢰할 수 있는 정확도를 결정할 수 있다.
다시 도 3 및 도 5를 참조하면, 본 발명의 일 실시예인 인공지능을 이용한 크라우드 아웃소싱 작업 샘플링 방법은 샘플링 측면에서 살펴보면, 크게 외부로부터 완료 데이터를 수신받기 위한 단계(S210), 완료 데이터로부터 샘플링 데이터를 선정하는 단계(S217), 정확도를 평가하는 단계(S50), 샘플링 비율을 재조정하는 단계(S216)로 나누어 파악할 수 있다.
전술한 바와 같이 샘플링 비율을 설정하여 검수를 생략하는 것은 장기간 작업자의 정확도가 높다는 것을 의미한다. 그러나, 검수를 생략한 후 작업자의 정확도에 변동이 있을 경우 이를 주기적으로 확인할 필요가 있다. 따라서, 완료 데이터가 수신된 경우 작업자의 완료 데이터 대하여 가장 마지막에 수행된 검수 일자를 확인하여 기 설정된 기간이 도과된 경우인지 여부를 확인(S10)한다. 기 설정된 기간이 지났다면 해당 작업자의 샘플링 비율과 관계없이 해당 작업자의 모든 완료 데이터에 대하여 검수(S18)하고, 검수 결과에 따라 샘플링 비율을 재조정(S216)한다. 정확도가 기 설정된 값보다 높은 경우 샘플링 비율에 변동이 없을 것이나 낮은 경우 샘플링 비율을 높일 수 있다. 또한 정확도가 기 설정된 값보다 높은 데이터에 대하여 학습 데이터로서 출력할 수 있다. 이때, 모든 데이터를 샘플링 하지만, 샘플링 비율은 바꾸지 않는다. 예컨대 샘플링 비율이 0%인 작업자가 전수 검사 기간에 들어간 경우, 완료 데이터를 모두(100%) 샘플링하여 전수 검사를 수행한다. 그러나 전수 검사 결과에 따라 샘플링 비율이 높아지지 않는다면 여전히 0%의 샘플링 비율을 갖는다.
최후 검수 일자를 확인하여 전수검사가 필요한지 여부를 확인(S10)하는 단계는 샘플링 비율이 0%인 작업자와 장기간 작업을 수행하지 않은 자에 한하여 적용될 수 있다.
전수검사 또는 샘플링 검수를 수행한 후 기 설정된 기간 이내인 작업자에 대하여 샘플링 비율을 적용하여 샘플링 데이터를 선정(S214, S217)한다.
샘플링 비율이 0이라면 검수 대상 데이터가 없다. 이러한 경우 대상 작업자는 장기간 우수한 정확도로 완료 데이터를 제출한 작업자이므로, 해당 작업자의 완료 데이터는 검수를 생략하고 전체 데이터를 학습 데이터 또는 검수 기준 데이터로서 출력(S215)한다.
그러나 샘플링 비율이 0보다 크다면 해당 비율대로 완료 데이터로부터 샘플링 데이터를 선정(S217)한다. 샘플링 데이터 선정 방법은 어떠한 방법도 무방하다. 그러나, 샘플링의 목적은 전체 데이터를 일부만 검수하여 확인하기 위함 이므로, 초기에 수신된 완료 데이터만 샘플링하는 등의 방법은 데이터의 편중이 일어날 수 있으므로 바람직하지 않다. 해당 작업자의 단말로부터 수신된 전체 데이터에 대하여 무작위로 선정하는 것이 바람직하다.
선정된 샘플링 데이터는 정확도를 평가(S14)한다. 후술할 검수 단계(S30), 검수 기준 데이터 생성 단계(S55)에서 정확도 또는 정확도로 활용될 수 있는 반영률이 평가된다. 따라서, 본 정확도 평가 단계(S14)는 검수 단계 및 검수 기준 데이터 생성단계(S50), 검수 단계(S30) 또는 검수 기준 데이터 생성 단계(S55) 중 어느 하나일 수 있다.
후술하겠으나, 검수 단계(S30)에서는 단말별 마스크를 생성하고 병합하여 Trimap을 만드는 방법으로 정확도를 판단하는 기준 데이터를 형성한다. 이 Trimap과 샘플링 데이터의 마스크의 유사도를 측정하여 이를 정확도로 산출할 수 있다. Trimap으로 단말별 마스크의 다양성을 판단할 수 있다. 쉬운 작업 데이터의 경우 누구나 정답을 고를 수 있지만, 어려운 작업 데이터의 경우 완료 데이터의 형태가 다양할 것이므로, 단말별 마스크가 다양한 값을 갖는다면 어려운 작업 데이터라고 판단할 수 있다. 다양한 값을 갖는지 여부는 Trimap의 0을 제외한 픽셀의 평균치 또는 0.5에 해당하는 픽셀 수의 역수를 기준으로 판단할 수 있으므로, 이를 통해 결정된 난이도를 정확도에 반영하여 작업자의 정확도를 보정할 수 있다.
Trimap의 구체적인 제작 방법과 유사도 측정 방법은 도 7을 참조하여 후술한다.
정확도는 검수뿐만 아니라 검수 기준 데이터 형성 과정에서도 산출될 수 있다. 작업 데이터에 대하여 정답 데이터를 먼저 설정하고, 정답 데이터와 샘플링 데이터의 IOU를 계산하여 정확도로서 결정할 수 있다. IOU 결정 방법 등은 도 13을 참조하여 후술한다.
정확도 측정 결과 샘플링 되지 않은 데이터에 대하여 검수를 생략해도 무방할 정도로 샘플링 데이터의 정확도가 높게 평가되었다면, 불필요한 검수를 수행한 것이다. 따라서, 이 경우 작업자에 대한 샘플링 비율을 기 설정된 값만큼 낮출 수 있다.
만일 샘플링 데이터의 정확도가 낮게 평가되었다면, 샘플링 되지 않은 데이터에 대하여도 검수가 필요한 것이다. 따라서, 이 경우 작업자의 전체 작업에 대하여 검수를 수행하여, 검수 결과 정확도가 기 설정된 값보다 높은 완료 데이터에 대하여 학습 데이터 또는 검수 기준 데이터로서 출력하고, 샘플링 비율을 기 설정된 값만큼 높인다.
이상의 샘플링 비율만큼 샘플링 하는 단계(S217), 샘플링 데이터의 정확도 평가(S14), 결과 값에 따른 샘플링 비율의 점진적 재조정(S216)을 반복함으로써, 작업자의 정확도에 따른 검수 필요성을 장기간에 걸쳐 검증할 수 있다. 또한, 이렇게 검증된 검수 필요성에 따른 검수량을 배정할 수 있다. 일단 검증이 필요 없다고 판단된 작업자일지라도 주기적인 확인으로 이후의 정확도의 변동을 추적할 수 있다. 결과적으로 전체 완료 데이터의 검수자에 따라 그 정확도에 차이가 있다는 점을 이용하여, 검수 데이터의 양을 최소화하면서도 검수의 질을 유지할 수 있다.
이하에서는 정확도를 평가(S14)하기 위한 방법으로서, 검수(S30) 및 검수 기준 데이터 형성(S55)에 대하여 설명한다. 검수(S30) 및 검수 기준 데이터 형성(S55)단계는 크라우드 아웃소싱 작업 샘플링 방법에서 정확도(S14)를 측정하는 것이 핵심적인 요소이므로 이를 중심으로 설명한다.
다시 도 2 및 도 3을 참조하면, 크라우드 아웃소싱 작업 샘플링 장치는 선정된 샘플링 데이터에 대하여 검수(S30)할 수 있다. 이때, 선정된 샘플링 데이터의 정확도를 평가할 수 있다.
우선, 샘플링 데이터를 중첩 가능한 데이터로 재구성(S34)한다. 예컨대 음향이나 텍스트의 경우 1차원 데이터이며, 이미지 등은 2차원 데이터이다. 각 데이터는 다수의 작업자에 의하여 작업된 결과물이 취합될 수 있는 것이 바람직하다. 따라서, 동일한 크기의 양에 대하여 중첩이 가능하도록, 1차원 데이터의 경우 벡터로, 2차원 데이터의 경우 메트리스로 재구성할 수 있다.
이후 복수의 작업자별 작업에 대한 정확도, 성향 및 작업 난이도를 판단(S220)한다.
본 발명의 일 실시예에 따른 크라우드 아웃소싱 작업 샘플링 장치(400)는 인공지능 모듈을 사용하여 복수의 작업자들에 대한 작업 정확도, 성향, 및 작업에 대한 난이도를 판단하고, 이를 바탕으로, 다른 작업에 대한 작업자들의 샘플링 데이터를 검수하며, 작업자들의 작업 성과 등을 관리하는 특징이 있다. 이하에서는 도 6 내지 도 12를 함께 참조하여, 복수의 작업자별 작업 정확도, 성향 및 작업에 대한 난이도를 판단하는 방법을 상세히 설명하기로 한다.
먼저, 크라우드 아웃소싱 작업 샘플링 장치(400)는 선정된 샘플링 데이터에 대하여, 복수의 작업자별 마스크를 생성(S223)한다.
도 7을 참조하면, 복수의 작업자별 마스크(OM1, OM2, OM3)는 작업 대상에서 특정 객체에 대한 영역을 표시한 마스크일 수 있다. 예를 들어, 작업 대상이 디지털 이미지에 대응되고, 디지털 이미지 내의 특정 객체를 정의하는 작업인 경우, 복수의 작업자들은 각자의 기준에 따라 디지털 이미지 내에서 특정 객체의 윤곽을 표시함으로써, 특정 객체를 정의할 수 있다. 이 경우, 작업자 단말(100)로부터 수신된 완료 데이터 및 이들 중 선정된 샘플링 데이터는 특정 객체의 윤곽이 표시된 디지털 이미지에 대한 데이터일 수 있다. 복수의 작업자별 마스크(OM1, OM2, OM3)은 특정 객체의 윤곽으로 정의된 영역에 대한 마스크일 수 있다.
이후, 인공지능 모듈은 복수의 작업자별 마스크(OM1, OM2, OM3)를 병합하여 Trimap을 생성한다.
복수의 작업자들은 각자의 기준에 따라 디지털 이미지 내에서 특정 객체의 윤곽을 표시하므로, 각 작업자들의 마스크(OM1, OM2, OM3)는 서로 상이한 형태를 갖는다. 인공지능 모듈은 복수의 작업자별 마스크(OM1, OM2, OM3)를 중첩하여 Trimap(TM)을 생성한다. 구체적으로, 복수의 작업자별 마스크(OM1, OM2, OM3)의 대응되는 픽셀들의 픽셀값들을 합산하여 하나의 병합된 마스크가 생성된다.
여기서, 복수의 작업자별 마스크(OM1, OM2, OM3)의 픽셀들은 마스크(OM1, OM2, OM3)의 엘리먼트들을 의미한다. 즉, 복수의 작업자별 마스크는 n*n개의 엘리먼트들로 구성될 수 있으며, 픽셀은 각 엘리먼트를 지칭하는 것으로 이해될 수 있다. 또한, 픽셀값은 각 엘리먼트들의 데이터 값을 의미한다. 예를 들어, 복수의 작업자가 특정 객체를 정의하기 위해 특정 영역을 설정한 경우, 해당 영역에 대응되는 엘리먼트들의 데이터 값이 1로 정의될 수 있고, 해당 영역을 제외한 나머지 영역에 대응되는 엘리먼트들의 데이터 값이 0으로 정의될 수 있다. 이 경우, 해당 영역의 픽셀값은 1로 결정되며, 나머지 영역의 픽셀값은 0으로 결정된다.
제1 작업자의 마스크(OM1)의 표시 영역과 제2 작업자의 마스크(OM2)의 표시 영역과 제3 작업자의 마스크(OM3)의 표시 영역이 모두 중첩되는 픽셀에서의 픽셀값은 제1 작업자의 마스크(OM1)의 픽셀값, 제2 작업자의 마스크(OM2)의 픽셀값 및 제3 작업자의 마스크(OM3)의 픽셀값의 정규화된 합으로 표시될 수 있다. 예를 들어, 마스크 표시 영역의 픽셀값이 1로 정의되고, 비표시 영역의 픽셀값이 0으로 정의된다면, 제1 작업자의 마스크(OM1), 제2 작업자의 마스크(OM2) 및 제3 작업자의 마스크(OM3)의 표시 영역이 모두 중첩되는 픽셀에서는 픽셀값의 합은 3으로 정의되며, 이를 1/n (단, n = 마스크 개수)으로 정의되는 Opacity로 나눔으로써, 정규화될 수 있다. 따라서, 상기 픽셀값의 합은 3* 1/3 = 1 로 정규화될 수 있다. 마찬가지 방법으로 통합된 마스크의 각 픽셀값들은 제1 작업자의 마스크(OM1), 제2 작업자의 마스크(OM2) 및 제3 작업자의 마스크(OM3)의 대응되는 픽셀값들의 정규화된 합으로 산출될 수 있다.
도 7에서, Trimap이 2차원 매트릭스 형태로 형성되는 예가 도시되어 있으나, Trimap은 완료 데이터의 형태에 따라 1차원 벡터 형태로 형성될 수도 있다. 예를 들어, 완료 데이터가 음성 데이터에 대응된다면, 특정 객체의 음성이 표시된 영역에 대해 작업자별 마스크가 생성될 수 있고, 작업자별 마스크를 병합하여 1차원 벡터 형태의 Trimap이 생성(S226)될 수 있다.
한편, 상술한 Trimap은 동일한 작업 데이터에 대하여 생성된 복수의 작업자별 완료 데이터에 기초하여 생성된다. 즉, 동일한 디지털 이미지 내에서 특정 객체를 정의하는 작업의 경우, 동일한 디지털 이미지에 대한 복수의 작업자별 완료 데이터를 수신하고, 복수의 작업자별 마스크를 중첩함으로써, Trimap이 생성될 수 있다.
이후, 인공지능 모듈은 복수의 작업자들 중 대상 작업자의 마스크와 Trimap에 기초하여 대상 작업자의 작업 성향, 작업 정확도 및 작업의 난이도를 결정(S229)한다.
구체적으로, 하기 [수학식 1]에 기초하여 대상 작업자의 작업 성향을 판단한다.
Figure 112020017925741-pat00001
여기서, OMS (Opacity Mask Score)는 작업자별 작업 성향을 파악하기 위한 지표로서, 작업자의 특정 작업결과에 대한 나머지 작업자들의 작업 결과들과의 일치도를 나타낸 지수일 수 있다. 상기 [수학식 1]에서 TM(t)은 특정 작업(즉, 완료 데이터)(t)에 대한 Trimap의 픽셀값이며, BM(t, i)는 대상 작업자(i)의 특정 작업(t)에 대한 마스크의 픽셀값을 의미한다. 즉, OMS는 대상 작업자(i)의 특정 작업(t)에 대한 마스크의 선택 영역의 Trimap에 대한 픽셀값 평균을 의미한다.
OMS가 높은 작업자의 경우, Trimap 내에서 높은 픽셀값을 갖는 픽셀들을 대부분 선택한 것이므로, 해당 작업자가 선택한 영역은 다른 작업자들도 선택한 영역과 중첩된다고 볼 수 있다. 이에, OMS가 높은 작업자는 특정 객체의 윤곽선을 다른 작업자들에 비해 과소하게 표시하는 경향임을 알 수 있다.
반면, OMS가 낮은 작업자의 경우, Trimap 내에서 낮은 픽셀값을 갖는 픽셀들을 많이 선택한 것이므로, 해당 작업자가 선택한 영역은 다른 작업자들이 선택하지 않은 영역에 대응될 수 있다. 이에, OMS가 낮은 작업자는 특정 객체의 윤곽선을 다른 작업자들에 비해 과대하게 표시하는 경향임을 알 수 있다.
도8의 (a)는 OMS가 낮은 작업자의 마스크(811)와 Trimap의 마스크(813)를 나타내며, (b)는 OMS가 높은 작업자의 마스크(815)와 Trimap의 마스크(813)를 나타낸다. 설명의 편의를 위해 도 9에는 각 마스크의 경계선만 표시되어 있다.
도 8의 (a)에 도시된 바와 같이, OMS가 낮은 작업자의 마스크(811)는 Trimap 마스크(813)의 내측에 위치된 것을 확인할 수 있으며, 이를 통해 OMS가 낮은 작업자는 특정 객체의 정의를 다른 작업자들에 비해 과소하게 표시함을 알 수 있다.
반면, 도 8의 (b)에 도시된 바와 같이, OMS가 높은 작업자의 마스크(815)는 Trimap 마스크(813)의 외측에 위치된 것을 확인할 수 있으며, 이를 통해 OMS가 높은 작업자는 특정 객체의 정의를 다른 작업자들에 비해 과도하게 표시함을 알 수 있다.
또한, 인공지능 모듈은 하기 [수학식 2]에 기초하여 복수의 작업자별 작업 정확도를 판단한다.
Figure 112020017925741-pat00002
여기서, TWS(Task-Worker Similarity)는 작업자의 작업 정확도를 나타내는 지표로서, 특정 작업자의 작업 결과와 나머지 작업자들의 작업 결과 사이의 코사인 유사도(Cosine Similarity)를 의미한다. 상기 [수학식 2]에서, Vt는 특정 작업(t)의 Trimap의 1차원 벡터를 의미하며, Vt,i는 특정 작업자(i)의 특정 작업(t)의 작업자 마스크의 1차원 벡터를 의미한다.
도 9는 TWS의 계산 과정의 일 예를 설명하기 위한 도면이다. 도 9를 참조하면, 특정 작업(t)에 대한 2차원 매트릭스 형태의 Trimap(TM)은 Flatten 함수를 적용하여 1차원 벡터화(Vt)될 수 있으며, 특정 작업(t)에 대한 특정 작업자(i)의 작업자 마스크(OM)도 Flatten 함수를 적용하여 1차원 벡터화(Vt,i)될 수 있다. 이후, Vt-Vt,i를 산출함으로써, 특정 작업자(i)를 제외한 나머지 작업자들의 작업 결과들에 대한 1차원 벡터가 산출되며, Vt-Vt,i와 Vt,i 사이의 코사인 유사도를 산출함으로써, 특정 작업자(i)와 특정 작업자(i)를 제외한 나머지 작업자들의 작업 결과들 사이의 코사인 유사도가 산출된다.
도 10은 특정 작업자의 작업 결과에 따른 TWS계산 결과를 나타낸 도면이다. 도 10을 참조하면, 특정 작업자의 마스크를 1차원 벡터화하고, Trimap을 1차원 벡터화한 후 상기 [수학식 2]에 기초하여 TWS를 계산한 결과, 특정 작업자의 TWS는 0.936으로 산출되었다. 이를 통해 특정 작업자의 작업 결과(911)는 Trimap의 결과(1013) 대비 0.936 정도의 유사도를 갖는 것을 알 수 있다. 특정 작업자의 작업 결과(1011)가 Trimap의 결과(1013) 대비 유사도가 떨어지는 경우, TWS 값은 낮아질 수 있다.
몇몇 실시예에서, 인공지능 모듈은 작업자의 TWS의 직관성을 향상시키기 위해, 하기 [수학식 3]에 기초하여 TMS(Trimap score)를 더 산출할 수 있다.
Figure 112020017925741-pat00003
여기서, TMS(t,i)는 특정 작업(t)에 대한 특정 작업자(i)의 Trimap score로서, 특정 작업자(i)의 작업 결과 중 다른 작업자들의 작업 결과들과 일치되는 부분에 대한 분산을 최소화하여 특정 작업자(i)의 작업 결과에 대한 정확도 지표를 극대화한 지표라고 설명될 수 있다. 상기 [수학식 3]에서, TM(t)은 특정 작업(t)에 대한 Trimap의 픽셀값을 의미하며, BM(t,i)는 특정 작업(t)에 대한 특정 작업자(i)의 작업 마스크의 픽셀값을 의미한다. 한편, n은 Trimap에서 픽셀값이 0을 초과하는 픽셀의 개수를 의미한다.
도 11은 특정 작업(t)에 대한 특정 작업자(i)의 TMS(t,i)의 계산 과정을 나타낸 도면이다. 도 11을 참조하면, 특정 작업(t)에 대한 작업 결과가 3*3 = 9개의 픽셀로 구성된 마스크로 표현되는 경우, │TM(t)-BM(t-i)│의 합은 도 10에 도시된 바와 같이, 2로 계산되며, 상기 [수학식 3]에 따라 TMS(t,i)를 계산하면, TMS(t,i)는 0.77로 계산된다.
지금까지 설명한 TWS와 TMS는 샘플링 데이터의 정확도를 나타내는 지수로 활용될 수 있다. 따라서, TWS나 TMS를 특정 작업자의 정확도로서 평가하고, 후술할 검수 기준 데이터 형성단계(S55)를 생략한 채 샘플링 비율 재조정 단계로 진행할 수 있다.
한편, 인공지능 모듈은 특정 작업에 대한 복수의 작업자별 마스크의 편차로부터 특정 작업에 대한 작업 난이도를 결정한다.
작업 난이도가 높다는 것은 판단에 어려움이 많은 것을 의마하고, 판단에 어려움이 많은 것은 같은 작업에 대하여 다양한 판단이 나타날 수 있다는 것을 뜻한다. 따라서, 복수의 작업자별 마스크의 편차가 크다는 것은 작업 난이도가 높음을 의미한다. 복수의 작업자별 마스크 간의 편차는 각 마스크별 면적을 계산하여 편차를 구하는 방식 등도 가능할 것이나, 보다 정확한 값을 계산하기 위하여 다음과 같은 방법으로 가늠되는 것이 바람직하다.
복수의 작업자별 마스크들에서 특정 픽셀에 대해 판단 값(1또는 0)이 고르게 나타난다면, 해당 픽셀에 대한 판단이 어렵다고 판단할 수 있으며, 이러한 픽셀의 개수가 많다면 작업 난이도가 높다고 간주될 수 있다. 픽셀별 값이 다양하게 판단되었다면, 해당 픽셀의 평균값은 0.5에 수렴하게 될 것이다. 복수의 작업자별 마스크들에서 각 픽셀별 평균값을 TM에서 이미 계산하였으므로 이를 활용하여 계산할 수 있다.
구체적으로, 특정 작업에 대한 작업 난이도는 Trimap에서 표시된 픽셀의 값의 합을 픽셀의 값이 0보다 큰 픽셀의 수로 나눈 값으로 결정한다. 이를 수학식으로 나타낸, [수학식 4]에 기초하여 결정될 수 있다.
Figure 112020017925741-pat00004
여기서, ICS(t)는 특정 작업(t)에 대한 작업 난이도를 나타내는 지표로서, 작업이 모호하지 않고, 얼마나 명확한지에 대한 지표로 설명될 수 있다. 상기 [수학식 4]에서 TM(t)는 특정 작업(t)에 대한 Trimap의 픽셀값을 의미하며, n은 픽셀값이 0을 초과하는 유효 픽셀의 개수를 의미한다. 모든 작업자가 구분할 수 있는 영역(픽셀값이 0)은 작업량에서 허수에 해당하므로 이를 제외하고 측정하는 것을 예로 들었으나, 불성실한 작업자로 인하여 0인 픽셀의 개수가 지나치게 작다면, 0보다 큰 어떤 수로 특정하여도 무방하다. 작업이 명확할수록 작업자들의 작업 결과는 비슷할 것이며, 작업 마스크들의 중첩 영역이 넓으므로, 상기 [수학식 4]에서 ICS(t)는 크게 산출될 수 있다.
단순히, 각 Trimap의 각 픽셀별 정규분포를 구하고, 그 값이 중간(본 실시예에서는 0.5)에 가까운 픽셀의 빈도 또는 양을 기준으로 계산하는 것으로 대신할 수도 있다. 이 경우 난이도가 높을수록 낮은 값을 갖는 [수학식 4]의 ICS와 달리 난이도에 비례한 값을 갖으므로, [수학식 4]와 경향성을 맞추기 위하여 픽셀 값이 0.5인 픽셀 수의 역수를 ICS 값으로 사용할 수 있다.
도 12는 실제 작업들에 대한 ICS(t) 산출 결과를 나타낸 도면들이다. 도 12에 도시된 바와 같이, 객체의 형태가 단순하여 비교적 명확하게 정의될 수 있는 이미지에 대해서 ICS가 높게 측정된 것을 알 수 있다.
TWS나 TMS를 특정 작업자의 정확도로서 평가하고, 후술할 검수 기준 데이터 형성단계(S55)를 생략한 채 샘플링 비율 재조정 단계로 진행할 경우 산출된 난이도를 가중치로 적용하여 정확도를 보정할 수 있다.
다시 도 2 및 도 3을 참조하면, 크라우드 아웃소싱 작업 샘플링 장치는 복수의 작업자별 정확도 및 작업 난이도에 기초하여 완료 데이터의 대상 작업들에 대하여 반영률이 산출 가능한 작업인지 판단(S230)한다.
여기서, 반영률(Voting Power)은 특정 작업의 Trimap 형성에 기여한 작업자의 가중치 내지는 기여율로 설명될 수 있다. 본 발명의 일 실시예에 따른 크라우드 아웃소싱 작업 샘플링 장치는 특정 작업에 대한 검수를 위해 필요한 검수 기준 데이터(즉, 정답 데이터)를 확정하는 과정에서 특정 작업을 정확하게 수행한 작업자에게 높은 반영률을 부여하여 검수 기준 데이터의 신뢰도를 향상시키도록 구성된다.
한편, 특정 작업이 작업 자체가 모호하고 난이도가 지나치게 높은 경우, 해당 작업을 충분히 정확하게 수행한 작업자가 존재하지 않을 수 있다. 또한, 특정 작업을 수행한 복수의 작업자들이 모두 작업을 충실히 수행하지 못한 경우, 해당 작업에 대해서는 불량 작업자들의 완료 데이터만 존재하므로, 이에 대해 반영률을 부여하고, 검수 기준 데이터를 선택하는 경우, 신뢰성이 낮은 검수 기준 데이터가 선택될 수도 있다.
이에, 본 발명의 일 실시예에 따른 크라우드 아웃소싱 작업 샘플링 장치는 인공지능 모듈을 통해 작업자별 반영률을 산출하기 앞서, 해당 작업이 반영률을 산출하기에 적합한 작업인지 여부를 먼저 필터링할 수 있다.
예를 들어, 인공지능 모듈은 복수의 작업자들로부터 수신된 완료 데이터들의 TWS의 최대값이 정확도 임계값을 초과하고, ICS가 난이도 임계값 초과인지 여부를 검토한다. TWS는 상기 [수학식 2]에 기초하여 산출될 수 있으며, 판단 대상 작업에 대한 TWS값중 가장 높은 최대값이 정확도 임계값을 초과하는지 여부로 판단할 수 있다. 앞서 언급한 바와 같이, TWS는 작업자의 작업 정확도를 나타내는 지표이므로, TWS의 최대값이 높다는 것은 본 작업을 수행한 작업자들 중 높은 정확도로 작업을 수행한 우수 작업자가 포함되어 있다는 것을 의미할 수 있다.
또한, 완료 데이터들의 ICS는 상기 [수학식 4]에 기초하여 산출될 수 있다. 앞서 언급한 바와 같이, ICS가 높을수록 작업의 난이도가 낮다는 것이므로, 특정 작업에 대한 ICS가 난이도 임계값을 초과한다는 것은 특정 작업이 적절한 난이도를 갖는다는 것을 의미할 수 있다.
만약, 특정 작업에 대한 완료 데이터들의 최대 TWS가 정확도 임계값 이하이고, 특정 작업에 대한 ICS가 난이도 임계값 이하인 경우에는 작업 자체의 난이도가 너무 높으며, 높은 정확도를 갖는 우수 작업자의 완료 데이터가 없다고 볼 수 있으므로, 반영률 산출이 불가능한 모호한 작업으로 판단될 수 있다. 이 경우, 크라우드 아웃소싱 작업 검수 장치(400)는 모호한 작업에 대한 완료 데이터들을 검수자 단말(500)로 송신하고, 검수자 단말(500)을 통해 모호한 작업에 대한 전문가 검수가 수행(S255)될 수 있다.
반면, 특정 작업에 대한 완료 데이터들의 최대 TWS가 정확도 임계값을 초과하고, 특정 작업에 대한 ICS가 난이도 임계값 초과인 경우에는 해당 작업에는 우수 작업자의 완료 데이터가 포함되어 있으며, 작업 자체의 난이도가 적절한 수준인 것이므로, 우수 작업자를 선별할 수 있는 대상 적격을 갖는다고 볼 수 있다.
이에, 크라우드 아웃소싱 작업 샘플링 장치는 해당 작업에 대하여 반영률 산출의 대상 적격이 있다고 판단하여, 복수의 작업자별 정확도 및 작업 난이도에 기초하여 복수의 작업자별 반영률을 결정(S240)한다.
구체적으로, 본 발명의 일 실시예에 따른 크라우드 아웃소싱 작업 샘플링 장치(400)는 인공지능 모듈을 통해 작업자별 반영률을 산출하기 앞서, 복수의 작업자 중 정확도가 미리 설정된 임계값 이상인 우수 작업자의 완료 데이터를 추출한다.
구체적으로, 인공지능 모듈은 상술한 조건을 만족하는 작업들에 대하여 복수의 작업자별 TWS를 산출하고, TWS가 제1 임계값을 초과하는 지 여부를 판단한다. TWS가 높을수록 작업자의 작업 결과는 다른 작업자의 작업 결과와 일치도가 높다고 볼 수 있으므로, 정답 데이터에 근접할 가능성이 높다. 이에, 인공지능 모듈은 작업 정확도가 미리 설정된 제1 임계값 이상인 작업자들의 완료 데이터만을 필터링한다. 제1 임계값 미만인 작업자들의 완료 데이터는 정확도가 낮은 작업결과 들에 해당된다. 한편, 상기 [수학식 2]의 TWS정의에서 알 수 있듯이, 복수의 작업자별 TWS는 특정 작업자의 완료 데이터와 Trimap 즉, 복수의 작업자들의 완료 데이터를 중첩함으로써 생성된 Trimap의 코사인 유사도로서 정의되므로, 정확도가 지나치게 낮은 불량 작업자들이 존재할 경우, Trimap 자체의 정확도가 낮아질 수 있으며, 해당 작업에 대한 선의의 작업자들에 대한 TWS를 낮추는 효과를 준다고 볼 수 있다.
따라서, 본 발명의 일 실시예에 따른 크라우드 아웃소싱 작업 샘플링 장치의 인공지능 모듈은 복수의 작업자들의 완료 데이터들 중 TWS가 제1 임계값 미만인 완료 데이터를 제거하고, TWS가 제1 임계값 이상인 완료 데이터만을 선별하여 다시 Trimap을 생성하고, 다시 생성된 Trimap에 기초하여 특정 작업에 대한 복수의 작업자별 TWS를 다시 산출한다.
이후, 인공지능 모듈은 선별된 복수의 작업자들의 완료 데이터에 기초하여 다시 산출된 TWS가 제2 임계값을 초과하는지 여부를 검토하고, 제2 임계값을 초과하는 TWS를 갖는 특정 작업자들의 완료 데이터를 우수 작업자의 완료 데이터로 선택한다.
상기 정확도 임계값, 난이도 임계값, 제1 임계값 및 제2 임계값은 요구되는 학습 데이터의 정확도에 따라 다양하게 결정될 수 있다. 예를 들어, 자율주행 자동차에 적용되는 인공지능의 경우, 객체를 정확하게 인식할 필요가 있으므로, 정확한 학습 데이터에 기반한 학습이 필요할 수 있다. 이 경우, 상술한 임계값을 높게 설정함으로써, 학습 데이터의 정확도를 향상시킬 수 있다.
이후, 인공지능 모듈은 품질 체크 작업에 대하여 품질 체크 작업에 대한 정답 데이터와 우수 작업자의 완료 데이터 사이의 유사도를 산출하여 우수 작업자의 IOU(Intersection over union)을 결정한다.
구체적으로, 인공지능 모듈은 우수 작업자의 작업들 중 품질 체크 작업에 대한 완료 데이터를 선택할 수 있다. 여기서 품질 체크 작업은 우수 작업자별 반영률을 결정하기 위해 사전에 정답 데이터(Ground Truth)를 확보해 놓은 작업을 의미하며, 정답 데이터가 존재하는 품질 체크 작업에 대해 우수 작업자별 IOU를 산출함으로써, 우수 작업자별 반영률이 결정될 수 있다.
IOU는 두 영역(A, B)의 교차영역의 넓이를 합영역의 값으로 나눈 값을 의미하며, 하기 [수학식 5]로 정의되는 자카드 계수(Jaccard index)를 의미한다.
Figure 112020017925741-pat00005
우수 작업자들의 경우, 작업 정확도가 높으므로, 품질 체크 작업에 대한 완료 데이터와 정답 데이터 사이의 IOU는 높게 나타날 수 있다.
이후, 인공지능 모듈은 품질 체크 작업에 대한 작업 난이도에 대한 우수 작업자의 IOU의 비율로부터 우수 작업자의 품질점수를 산출한다.
구체적으로, 품질점수는 하기 [수학식 6]을 통해 산출될 수 있다.
Figure 112020017925741-pat00006
여기서 QScore는 품질 체크 작업(QcT)에 대한 특정 우수 작업자의 품질 점수를 의미한다. 한편, 상기 [수학식 6]에서 QcTw,i는 특정 우수 작업자(w)의 최근 i번째 품질 체크 작업(QcT)에 대한 완료 데이터를 의미한다. 또한, QcTgt,i는 최근 i번째 품질 체크 작업(QcT)에 대한 정답 데이터를 의미한다.
상기 [수학식 6]에서 알 수 있듯이, 인공지능 모듈은 어려운 작업(낮은 ICS값)에 대해서 우수한 정확도를 갖는 우수 작업자(w)에 대하여 더 높은 품질점수를 부여할 수 있다.
전술한 바와 같이 난이도 값은 Trimap에서 원소값이 0.5에 해당하는 원소의 수로 정할 수도 있다. 이 경우 그 크기와 난이도가 비례하므로 [수학식 6]에서ICS로 나누지 않고, 난이도 값을 비례상수로 QScore를 계산할 수 있다.
이후, 인공지능 모듈은 품질점수에 기초하여 우수 작업자의 반영률을 결정한다.
구체적으로, 인공지능 모듈은 특정 우수 작업자의 품질점수에 기간에 따른 가중치를 적용하여 특정 우수 작업자의 반영률을 결정한다. 예를 들어, 하기 [수학식 7]과 같이, 특정 우수 작업자의 품질점수(QScore)에 기간에 대한 가중치(DecayWeight)를 적용하고, 반영률 산출에 적용할 품질 체크 작업(QcT)의 개수를 나눔으로써, 특정 우수 작업자의 영향력 점수(IP)가 산출될 수 있다.
Figure 112020017925741-pat00007
여기서, IP는 검수를 수행할 특정 작업에 대하여 검수 기준 데이터(즉, 정답 데이터)를 결정하는데 반영되는 특정 우수 작업자의 영향력 정도를 나타내는 지표를 의미한다. QcT Range는 IP 산출에 적용할 품질 체크 작업(QcT)의 개수를 의미하며, QcT Range가 높을수록 IP의 신뢰성이 향상될 수 있다. DecayWeight는 기간에 대한 가중치로서, 현재 시점으로부터 가까울수록 큰 값을 갖는 요소일 수 있으며, 하기 [수학식 8]로 정의된다.
Figure 112020017925741-pat00008
여기서, Weight는 가중치를 의미하며, t는 QcT Range를 의미한다. i는 1부터 t-1까지의 정수를 의미한다. 한편, 가중치의 구체적인 값은 작업 난이도, 종류 등에 따라 다양하게 결정될 수 있다.
예를 들어, 특정 우수 작업자(i)의 영향력 점수(IP)가 산출되는 과정을 설명하면, 다음과 같을 수 있다. 만약, 5개의 품질 체크 작업(QcT)을 기준으로 영향력 점수(IP)가 산출된다면, 먼저, 인공지능 모듈은 특정 우수 작업자(i)의 완료 데이터에 기초하여 5개의 품질 체크 작업(QcT)에 대한 IOU를 산출하고, 상기 품질 체크 작업(QcT)의 작업 난이도(ICS)를 산출한 후, 상기 [수학식 6]에 기초하여 3명의 우수 작업자들에 대한 품질점수(QScore)를 산출할 수 있다. 구체적으로, 5개의 품질 체크 작업(QcT)에 대한 IOU는 상기 [수학식 5]에 기초하여 산출될 수 있으며, ICS는 상기 [수학식 4]에 기초하여 산출될 수 있다. 어느 특정 우수 작업자(i)의 5개의 품질 체크 작업(QcT)에 대한 IOU 및 ICS의 산출 예시가 하기 [표 1]과 같다.
구분 IOU ICS
QcT1 0.9 0.8
QcT2 0.8 0.9
QcT3 0.8 0.7
QcT4 0.9 0.9
QcT5 0.7 0.8
이 경우, 상기 [수학식 6]에 따라, 특정 우수 작업자(i)의 품질점수(Qscore)가 다음과 같이 산출된다.
QScore = [1.12, 0.88, 1.14, 1.00, 0.87]
또한, 가중치가 0.9인 경우, 5개의 품질 체크 작업(QcT)의 기간에 따른 가중치(DecayWeight)는 상기 [수학식 8]에 따라 다음과 같이 산출될 수 있다.
DecayWeight(0.9, 5)= 0.9i = [1.0, 0.9, 0.81, 0.73, 0.65]
따라서, 특정 우수 작업자(i)에 대한 영향력 점수(IP)는 다음과 같이 산출될 수 있다.
Figure 112020017925741-pat00009
Figure 112020017925741-pat00010
이후, 인공지능 모듈은 모든 우수 작업자의 영향력 점수(IP)의 합이 1이 되도록 영향력 점수(IP)를 정규화하여 반영률(Voting Power; VP)를 산출한다.
예를 들어, 3명의 우수 작업자가 존재하고, 3명의 우수 작업자에 대한 영향력 점수(IP)가 하기 [표 2]와 같다면, 3명의 우수 작업자에 대한 영향력 점수(IP)의 합이 1이 되도록 정규화되어 반영률(VP)이 하기 [표 3]과 같이 산출될 수 있다.
Worker w1 w2 w3
Impact Point 1 0.9 0.8
Worker w1 w2 w3
Voting Power 1/2.7 0.9/2.7 0.8/2.7
다시 도 2를 참조하면, 인공지능 모듈은 산출된 반영률에 기초하여 복수의 작업자별 완료 데이터 검수를 위한 검수 기준 데이터를 결정(S240)한다. 예를 들어, 반영률(VP)을 Trimap 형성시 적용되는 Opacity에 적용함으로써, 검수 기준 데이터(즉, 검수 기준 Trimap)를 결정할 수 있다.
도 13은 3명의 우수 작업자에 대한 반영률을 산출하고, 반영률에 기초하여 검수 기준 데이터가 결정되는 예를 설명하기 위한 도면이다.
도 13은 참조하면, 3명의 우수 작업자(w1, w2, w3)에 대한 반영률이 각각 도 13과 같이 산출되며, 반영률에 기초하여 검수 기준 데이터가 결정된다.
검수 기준 데이터의 결정은 작업 결과의 유형에 따라 선택된 특정 우수 작업자의 반영률에 기초하여 결정될 수 있다.
구체적으로, 완료 데이터의 변수 형태가 범주형 변수(Categorical data)인 경우, 완료 데이터의 평균값을 취하는 방식을 적용할 수 없으므로, 우수 작업자들 중 가장 높은 반영률을 갖는 최우수 작업자의 가장 높은 반영률을 갖는 완료 데이터를 검수 기준 데이터로 결정한다.
한편, 완료 데이터의 변수 형태가 연속형 변수(Continuous data)인 경우, 완료 데이터의 통계학적 접근이 가능하다고 볼 수 있다. 이 경우, 인공지능 모듈은 우수 작업자들의 완료 데이터에 적합한 추론모델을 적용하여 검수 기준 데이터를 결정한다.
예를 들어, 도 13에 도시된 바와 같이, 우수 작업자들의 반영률을 각 작업자들의 완료 데이터에 Opacity로 적용하여 각 작업자별 Opacity mask (OM1, OM2, OM3)를 생성하고, 이를 중첩함으로써, Trimap(TM)을 생성하고, 형성된 Trimap(TM)에서 특정 임계값을 초과하는 픽셀값을 갖는 픽셀들만을 선택하는 방식으로, 검수 기준 데이터를 결정할 수 있다.
그러나, 검수 기준 데이터의 결정방법이 이에 한정되는 것은 아니며, 인공지능 모듈은 우수 작업자들의 반영률이 적용된 완료 데이터들의 평균값, 중간값 등 다양한 통계값들을 선택하는 방식 또는 알파-매팅(Alpha matting) 알고리즘을 적용하여 검수 기준 데이터를 결정할 수 있다.
또한, 이렇게 검수 기준 데이터를 결정하는 과정에서 산출된 반영률을 정확도로서 확인하여 작업자의 샘플링 비율을 재조정(S216)할 수 있다.
몇몇 실시예에서, 인공지능 모듈은 완료 데이터가 연속형 변수 형태이더라도, 통계적 추론 모델을 적용하지 않고, 선택형 추론 모델을 적용할 수 있다. 즉, 완료 데이터가 0~1 사이의 연속적인 데이터 값을 갖더라도, 작업의 특성상 정답 데이터를 0 또는 1로 결정할 필요가 있는 경우, 선택형 추론 모델을 적용하여 가장 반영률이 높은 최우수 작업자의 완료 데이터를 정답 데이터로 설정할 수 있다.
이후, 본 발명의 일 실시예에 따른 크라우드 아웃소싱 작업 관리 장치(400)는 산출된 작업자별 반영률(VP)에 기초하여 기존의 작업자별 반영률(VP)을 조정한다. 즉, 검수를 통해 완료 데이터 중 정답 데이터가 많은 것으로 판별된 작업자에 대해서는 반영률(VP)이 높아지도록 조정되고, 완료 데이터 중 정답 데이터가 적은 것으로 판별된 작업자에 대해서는 반영률(VP)이 낮아지도록 조정될 수 있다.
본 발명의 일 실시예에 따른 크라우드 아웃소싱 작업 샘플링 장치(400)는 결정된 작업 데이터에 기초하여 작업자들의 완료 데이터를 검수하고, 정답으로 처리된 완료 데이터를 학습 데이터로 선택한다. 인공지능은 검수가 완료된 학습 데이터에 기초하여 학습될 수 있으므로, 인공지능의 학습 효율은 증가될 수 있으며, 인공지능의 성능은 고도화될 수 있다.
상술한 바와 같이, 본 발명의 일 실시예에 따른 인공지능을 이용한 크라우드 아웃소싱 작업 샘플링 장치(400)는 인터넷을 통해 불특정 작업자들에게 인공지능의 학습을 위한 학습 데이터를 생성하는 작업을 분배할 수 있다. 특히, 작업 대상 데이터에 대하여 인공지능 모듈을 통해 전처리를 수행하고, 전처리된 작업 데이터를 불특정 작업자들에게 전송함으로써, 작업자들의 작업이 보다 용이하게 진행될 수 있도록 할 수 있다. 즉, 인공지능 모듈은 작업 대상 데이터에서 작업 대상 영역을 설정하는 전처리를 수행하여 작업 데이터를 생성하고, 생성된 작업 데이터를 복수의 작업자들에게 송신할 수 있으므로, 작업자들은 보다 수월하게 학습 데이터 생성 작업을 수행할 수 있다.
더불어, 인공지능 모듈은 작업 데이터를 생성하는 과정에서 일부 제1 작업 데이터에 대한 작업이 완료된 제1 완료 데이터를 학습하도록 구성되므로, 작업 데이터를 생성하는 과정에서 점차적으로 학습될 수 있고, 제1 작업 데이터를 분배한 이후, 제2, 제3 작업 데이터를 생성하는 과정에서는 좀더 고도화된 방법으로 작업 영역을 설정할 수 있으며, 이로 인해, 고도로 전처리된 작업 데이터가 생성되어 작업자들에게 분배될 수 있다. 따라서, 복수의 작업자들의 업무 부하(load)가 더욱 감소될 수 있으며, 종국적으로는 학습 데이터의 생성 작업 자체가 인공지능 모듈에 의해 수행되도록 구성될 수도 있다.
또한, 본 발명의 일 실시예에 따른 인공지능을 이용한 크라우드 아웃소싱 작업 샘플링 장치(400)는 작업 난이도 및 해당 작업을 수행한 작업자들의 정확도를 산출하고, 작업 난이도가 충분히 낮으며, 복수의 작업자들의 정확도가 충분히 높은 경우, 해당 작업에 대해 인공지능 모듈을 통해 검수를 수행하도록 구성된다. 또한, 작업 난이도가 너무 높거나 복수의 작업자들의 정확도가 너무 낮아 인공지능 모듈을 통한 검수가 불분명한 경우, 해당 작업에 대해 전문가 검수를 수행하도록 구성된다. 즉, 전문가들은 일부 모호한 작업에 대해서만 검수를 수행하면 되고, 대부분의 검수는 인공지능 모듈을 통해 수행되므로, 전문가들의 업무 부하가 충분히 감소될 수 있으며, 크라우드 아웃소싱 작업의 효율성이 향상될 수 있다.
이 경우, 본 발명의 일 실시예에 따른 인공지능을 이용한 크라우드 아웃소싱 작업 샘플링 장치(400)는 복수의 작업자별 정확도, 성향, 작업 난이도를 판단하고, 복수의 작업자별 정확도 및 난이도에 기초하여 반영률을 결정하고, 반영률에 기초하여 복수의 작업자별 완료 데이터 검수를 위한 정답 데이터를 결정하도록 구성된다. 즉, 정확도가 우수한 작업자에게는 높은 반영률을 부여하고, 정답 데이터를 결정함에 있어서, 우수한 작업자의 완료 데이터를 높은 비율로 반영한다. 따라서, 정확도가 낮은 다수의 작업자들의 작업 결과에 의해 정답 데이터의 신뢰성이 낮아지는 문제를 최소화할 수 있으며, 인공지능 모듈에 의한 검수의 신뢰성이 더욱 향상될 수 있다.
특히, 본 발명의 일 실시예에 따른 인공지능을 이용한 크라우드 아웃소싱 작업 샘플링 장치(400)는 복수의 작업자별 반영률을 결정함에 있어서 기간에 따른 가중치를 적용한다. 우수한 작업자라 하여도 다양한 요인에 의해 최근 작업 정확도가 떨어질 수도 있다. 본 발명의 일 실시예에 따른 크라우드 아웃소싱 작업 샘플링 장치(400)는 각 작업자별 품질점수에 기간에 따른 가중치를 적용하여 반영률을 결정하도록 구성되어 있으므로, 최근 작업 정확도가 떨어진 우수 작업자의 작업 결과가 정답 데이터를 결정하는데 영향이 미치지 못하도록 할 수 있으며, 이를 통해 정답 데이터의 신뢰성을 향상시킬 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100, 200, 300: 작업자 단말
400: 크라우드 아웃소싱 작업 관리장치
500: 검수자 단말
410: 통신부
420: 프로세서
430: 메모리

Claims (10)

  1. 복수의 작업자 단말로부터 작업 데이터에 대한 작업이 완료된 완료 데이터가 수신되는 경우, 인공지능 모듈에 의해 제어되는 프로세서가 상기 작업자 단말별 설정된 샘플링 비율에 따라 상기 완료 데이터 중 샘플링 데이터를 무작위로 선정하는 샘플링 데이터 선정 단계;
    인공지능 모듈에 의해 제어되는 프로세서가 선정된 상기 샘플링 데이터의 정확도를 평가하는 정확도 평가 단계; 및
    상기 인공지능 모듈에 의해 제어되는 프로세서가 상기 작업자 단말의 상기 샘플링 비율을 상기 정확도에 따라 조정하는 샘플링 비율 재조정 단계를 포함하는,
    인공지능을 이용한 크라우드 아웃소싱 작업 샘플링 방법.
  2. 제1항에 있어서,
    상기 샘플링 데이터 선정 단계는,
    기 설정된 기간마다 상기 작업자 단말별 설정된 샘플링 비율과 관계없이 상기 작업자 단말의 완료 데이터 전체를 상기 샘플링 데이터로 선정하는,
    인공지능을 이용한 크라우드 아웃소싱 작업 샘플링 방법.
  3. 제1항에 있어서,
    상기 샘플링 비율 재조정 단계는,
    상기 작업자 단말의 상기 정확도가 기 설정된 값보다 큰 경우,
    상기 작업자 단말의 상기 샘플링 비율을 기 설정된 비율만큼 낮추는 단계인,
    인공지능을 이용한 크라우드 아웃소싱 작업 샘플링 방법.
  4. 제1항에 있어서,
    상기 샘플링 비율 재조정 단계는,
    상기 작업자 단말의 상기 정확도가 기 설정된 값보다 낮은 경우, 상기 작업자 단말의 상기 샘플링 비율을 기 설정된 비율만큼 높이는 단계인,
    인공지능을 이용한 크라우드 아웃소싱 작업 샘플링 방법.
  5. 제1항에 있어서,
    상기 정확도 평가 단계는,
    상기 복수의 작업자 단말별 상기 샘플링 데이터로부터 상기 복수의 작업자 단말별 마스크를 생성하고, 상기 복수의 작업자 단말별 마스크를 병합하여 Trimap을 생성하는 Trimap 생성단계; 및
    상기 Trimap을 기준으로 상기 정확도를 평가하는 정확도 산출 단계를 포함하는,
    인공지능을 이용한 크라우드 아웃소싱 작업 샘플링 방법.
  6. 제5항에 있어서,
    상기 정확도 산출 단계는,
    상기 복수의 작업자 단말 중 대상 작업자 단말의 마스크와 상기 Trimap의 유사도를 산출함으로써, 상기 대상 작업자 단말의 상기 정확도를 결정하는 정확도 계산단계; 및
    상기 정확도에 작업 난이도를 고려한 가중치를 적용하여 보정한 정확도 보정 단계를 더 포함하는,
    인공지능을 이용한 크라우드 아웃소싱 작업 샘플링 방법.
  7. 제6항에 있어서,
    상기 정확도 보정 단계는,
    상기 Trimap에서 값이 0보다 큰 픽셀의 평균을 반비례 상수로 결정하는,
    인공지능을 이용한 크라우드 아웃소싱 작업 샘플링 방법.
  8. 제6항에 있어서,
    상기 정확도 보정 단계는,
    상기 Trimap에서 원소값이 0.5에 해당하는 원소의 수를 비례 상수로 결정하는,
    인공지능을 이용한 크라우드 아웃소싱 작업 샘플링 방법.
  9. 제1항에 있어서,
    상기 정확도 평가 단계는,
    상기 복수의 작업자 단말 중 대상 작업자 단말의 상기 샘플링 데이터를 추출하고,
    품질 체크 작업용 기 설정된 정답 데이터와 상기 대상 작업자 단말의 상기 샘플링 데이터 사이의 유사도를 산출하여 상기 대상 작업자 단말의 IOU(Intersection over union)를 정확도로서 결정하는,
    인공지능을 이용한 크라우드 아웃소싱 작업 샘플링 방법.
  10. 복수의 작업자 단말로부터 작업이 완료된 완료 데이터를 수신하는 통신부;
    상기 복수의 작업자 단말로부터 수신된 상기 완료 데이터들 중 샘플링 비율만큼 샘플링 데이터를 무작위로 선정하여 검수하는 연산을 수행하도록 구성된 프로세서; 및
    상기 프로세서의 연산 동작을 제어하는 인공지능 모듈이 저장된 메모리를 포함하고,
    상기 인공지능 모듈은,
    상기 완료 데이터를 검수하는 연산에서 상기 작업자 단말 별로 완료 데이터의 정확도를 평가하여 상기 정확도에 따라 상기 작업자 단말별로 상기 샘플링 비율을 조정하는,
    인공지능을 이용한 크라우드 아웃소싱 작업 샘플링 장치.
KR1020200020685A 2020-02-19 2020-02-19 인공지능을 이용한 크라우드 아웃소싱 작업 검수 대상 샘플링 방법 및 장치 KR102405297B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200020685A KR102405297B1 (ko) 2020-02-19 2020-02-19 인공지능을 이용한 크라우드 아웃소싱 작업 검수 대상 샘플링 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200020685A KR102405297B1 (ko) 2020-02-19 2020-02-19 인공지능을 이용한 크라우드 아웃소싱 작업 검수 대상 샘플링 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20210105774A KR20210105774A (ko) 2021-08-27
KR102405297B1 true KR102405297B1 (ko) 2022-06-07

Family

ID=77504590

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200020685A KR102405297B1 (ko) 2020-02-19 2020-02-19 인공지능을 이용한 크라우드 아웃소싱 작업 검수 대상 샘플링 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102405297B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102486983B1 (ko) * 2022-07-04 2023-01-10 주식회사 데이터메이커 인공지능 학습용 라벨 데이터에 대한 가변 샘플링 검수 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015041254A (ja) * 2013-08-22 2015-03-02 大日本印刷株式会社 Ｔｒｉｍａｐ生成装置、Ｔｒｉｍａｐ生成方法、及びプログラム
JP2019022477A (ja) * 2017-07-19 2019-02-14 タタ コンサルタンシー サービシズ リミテッドＴＡＴＡ Ｃｏｎｓｕｌｔａｎｃｙ Ｓｅｒｖｉｃｅｓ Ｌｉｍｉｔｅｄ 染色体のクラウドソーシングおよびディープラーニングベースの分断化ならびに核型分析
KR102015939B1 (ko) * 2018-09-27 2019-08-28 주식회사 크라우드웍스 인공지능 영상 학습을 위한 동영상의 학습 대상 프레임 이미지 샘플링 방법, 장치, 프로그램 및 그 영상 학습 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101908431B1 (ko) * 2016-12-07 2018-10-16 (주)씽크포비엘 적합한 업무 담당자를 자동으로 할당하는 방법 및 장치
KR101887415B1 (ko) 2017-11-21 2018-08-10 주식회사 크라우드웍스 데이터 라벨링 작업 검수방법 및 프로그램
KR102171658B1 (ko) * 2018-06-28 2020-10-29 (주) 엠티콤 크라우드전사장치 및 그 동작 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015041254A (ja) * 2013-08-22 2015-03-02 大日本印刷株式会社 Ｔｒｉｍａｐ生成装置、Ｔｒｉｍａｐ生成方法、及びプログラム
JP2019022477A (ja) * 2017-07-19 2019-02-14 タタ コンサルタンシー サービシズ リミテッドＴＡＴＡ Ｃｏｎｓｕｌｔａｎｃｙ Ｓｅｒｖｉｃｅｓ Ｌｉｍｉｔｅｄ 染色体のクラウドソーシングおよびディープラーニングベースの分断化ならびに核型分析
KR102015939B1 (ko) * 2018-09-27 2019-08-28 주식회사 크라우드웍스 인공지능 영상 학습을 위한 동영상의 학습 대상 프레임 이미지 샘플링 방법, 장치, 프로그램 및 그 영상 학습 방법

Also Published As

Publication number Publication date
KR20210105774A (ko) 2021-08-27

Similar Documents

Publication Publication Date Title
CN107633265B (zh) 用于优化信用评估模型的数据处理方法及装置
US11341626B2 (en) Method and apparatus for outputting information
CN110298321B (zh) 基于深度学习图像分类的道路阻断信息提取方法
CN113705478B (zh) 一种基于改进YOLOv5的红树林单木目标检测方法
CN108171203B (zh) 用于识别车辆的方法和装置
CN112116184A (zh) 使用历史检验数据的工厂风险估计
CN110634116B (zh) 一种面部图像评分方法及摄像机
KR20200023029A (ko) 진단 보조 시스템 및 그 제어 방법
Pan et al. RETRACTED: Artificial neural network for defect detection in CT images of wood
CN111340022A (zh) 身份证信息识别方法、装置、计算机设备及存储介质
CN111428572A (zh) 信息处理方法、装置、电子设备和介质
KR102405297B1 (ko) 인공지능을 이용한 크라우드 아웃소싱 작업 검수 대상 샘플링 방법 및 장치
CN112116185A (zh) 使用历史检验数据的检验风险估计
KR102481583B1 (ko) 인공지능을 이용한 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 방법 및 그 장치
CN106997590A (zh) 一种基于检测产品特性的图像处理与检测系统
KR102470856B1 (ko) 인공지능을 이용한 크라우드 아웃소싱 작업 검수 방법 및 그 장치
KR102405298B1 (ko) 인공지능을 이용한 크라우드 아웃소싱 작업 관리 장치 및 방법
KR102480575B1 (ko) 인공지능을 이용한 크라우드 아웃소싱 작업 분배 방법 및 장치
KR102244705B1 (ko) 학습데이터 생성을 위한 크라우드소싱 기반 유사 프로젝트의 작업 단가 역전 조정을 통한 작업자 유입 조절 방법
CN115496205A (zh) 检测模型训练、数据检测方法、装置、设备及存储介质
CN114092216A (zh) 企业信贷评级方法、装置、计算机设备和存储介质
Iraldi et al. Damage classification on roads using machine learning
US20230259440A1 (en) Dynamically Providing Real-Time Configuration of Data Research Control Limits
US20230154595A1 (en) Predicting geographic atrophy growth rate from fundus autofluorescence images using deep neural networks
CN116976408A (zh) 对二分类机器学习模型的预测分数进行校准的方法及装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant