KR102382030B1 - 인공지능(ai) 학습 및 검수 자동화 시스템 및 이의 제어 방법 - Google Patents

인공지능(ai) 학습 및 검수 자동화 시스템 및 이의 제어 방법 Download PDF

Info

Publication number
KR102382030B1
KR102382030B1 KR1020200162632A KR20200162632A KR102382030B1 KR 102382030 B1 KR102382030 B1 KR 102382030B1 KR 1020200162632 A KR1020200162632 A KR 1020200162632A KR 20200162632 A KR20200162632 A KR 20200162632A KR 102382030 B1 KR102382030 B1 KR 102382030B1
Authority
KR
South Korea
Prior art keywords
work
terminal
result
supply server
inspector
Prior art date
Application number
KR1020200162632A
Other languages
English (en)
Inventor
노대균
Original Assignee
노대균
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 노대균 filed Critical 노대균
Priority to KR1020200162632A priority Critical patent/KR102382030B1/ko
Application granted granted Critical
Publication of KR102382030B1 publication Critical patent/KR102382030B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G06N5/025—Extracting rules from data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

본 발명은인공지능(AI) 학습 및 검수 자동화 시스템 및 이의 제어 방법에 관한 것으로서, 효율적인 작업 및 검수를 통해 고품질의 데이터 라벨링을 구현할 수 있는 인공지능(AI) 학습 및 검수 자동화 시스템 및 이의 제어 방법에 관한 것이다.

Description

인공지능(AI) 학습 및 검수 자동화 시스템 및 이의 제어 방법{AI EDUCATION AND INSPECTION AUTOMATION SYSTEM AND CONTROL METHOD FOR THE SAME}
본 발명은 인공지능(AI) 학습 및 검수 자동화 시스템 및 이의 제어 방법에 관한 것이다.
최근, 인공 지능에 대한 관심이 높아지고 있는 추세이다. 인공 지능 기술의 개발에 있어서, 데이터를 수집하고 가공하는 일을 '데이터 라벨링'이라고 한다. 이러한 데이터 라벨링은 인공 지능 기술의 개발을 도모할 핵심 요소 중 하나일 수 있다.
데이터 라벨링은 인공 지능을 학습시키기 위한 학습 데이터로서 이용되므로, 고도의 인공 지능 기술의 개발을 위해서는 고품질의 데이터 라벨링이 요구된다.
인공 지능 기술의 개발에 참여하는 기업들은, 인공 지능을 충분히 학습시킬 수 있을 만큼의 데이터 라벨링을 기업의 조직 내부에서 해결하기에 인력, 비용 및 시간 등의 측면에서 어려움이 따른다. 이에 따라 기업들은 크라우드 소싱 기반 데이터 라벨링을 도입하는 실정이다.
기업들은, 온라인 플랫폼을 통해 일반 대중들을 데이터 라벨링 작업에 참여시킴으로써 별도의 기업 내부 인력을 채용하지 않으면서, 많은 인력들을 동원하여 데이터 라벨링 작업을 효율적으로 수행할 수 있다.
그런데, 크라우드 소싱 기반 데이터 라벨링은, 기업의 내부 인력이 아닌 일반 대중들이 데이터를 수집 및 가공하다보니, 기업의 데이터 라벨링 목적에 부적합하거나, 상대적으로 품질이 저하된 데이터 라벨링이 이루어지는 문제가 발생할 수 있다.
이에 따라 크라우드 소싱 기반 데이터 라벨링에 참여한 참여자들에게 작업에 대한 보상을 지급하기 전에, 검수 과정이 이루어져야할 필요가 있다.
데이터 라벨링에 대한 검수 과정은, 주로, 라벨링 작업을 수행한 작업자가 온라인 플랫폼으로 작업한 결과물을 송신한 다음, 온라인 플랫폼에서 검수 작업을 담당하는 검수자에게 작업자의 결과물을 송신한 후, 검수자가 상기 결과물을 통과, 반려 또는 코멘트 중 적어도 하나의 결과를 온라인 플랫폼으로 송신하고, 온라인 플랫폼에서 다시 작업자에게 결과를 송신하고, 작업자가 검수자의 결과에 대응하는 작업을 재수행하는 방식으로 이루어진다.
그러나, 이와 같은 검수 과정은, 작업자가 검수자의 결과를 반영하여 재작업을 수행한 다음, 다시 검수자에게 재작업물을 전달하고, 작업자가 재작업물에 대한 결과를 반영하여 또다시 재작업을 수행하는 방식으로 이루어지므로 작업의 효율성이 저하된다는 문제점이 있다.
한국등록특허 제10-2176443호
본 발명은 전술한 문제를 해결하기 위해 안출된 것으로서, 공급 서버, 작업자 및 검수자간의 불필요한 반복 과정이 생략된 효율적인 데이터 라벨링 작업을 통해 고품질의 데이터 라벨링을 구현할 수 있는 인공지능(AI) 학습 및 검수 자동화 시스템 및 이의 제어 방법을 제공하는 것을 목적으로 한다.
본 발명의 일 특징에 따른 인공지능(AI) 학습 및 검수 자동화 시스템 및 이의 제어 방법은, 공급 서버가 의뢰자 단말로부터 라벨링 작업물을 수신하는 단계; 상기 공급 서버가 상기 라벨링 작업물을 작업자 단말로 송신하는 단계; 상기 작업자 단말이 상기 라벨링 작업물을 수신하는 단계; 상기 작업자 단말이 상기 공급 서버로 작업 결과물을 송신하는 단계; 상기 공급 서버가 상기 작업 결과물을 수신하는 단계; 상기 공급 서버가 상기 작업 결과물을 검수자 단말로 송신하는 단계; 상기 검수자 단말이 상기 작업 결과물을 수신하는 단계; 상기 검수자 단말이 상기 작업 결과물에 대한 제1대응 결과를 획득하는 단계; 상기 검수자 단말이 상기 제1대응 결과를 상기 공급 서버로 송신하는 단계; 상기 공급 서버가 상기 검수자 단말로부터 상기 제1대응 결과를 수신하는 단계; 상기 공급 서버가 상기 제1대응 결과에 따라 상기 제1대응 결과를 송신한 검수자 단말을 변환 작업자로 인식하고, 상기 작업 결과물을 송신한 상기 작업자 단말을 변환 검수자로 인식하는 단계; 상기 공급 서버가 상기 제1대응 결과에 포함된 작업 결과물을 상기 변환 검수자로 인식된 작업자 단말로 송신하는 단계; 상기 변환 검수자로 인식된 작업자 단말이 상기 제1대응 결과에 포함된 작업 결과물을 수신하는 단계; 상기 변환 검수자로 인식된 작업자 단말이 상기 제1대응 결과에 포함된 작업 결과물에 대한 제2대응 결과를 획득하는 단계; 상기 변환 검수자로 인식된 작업 단말이 상기 제2대응 결과를 상기 공급 서버로 송신하는 단계; 및 상기 공급 서버가 상기 변환 검수자로 인식된 작업자 단말로부터 상기 제2대응 결과를 수신하는 단계를;를 포함하는 것을 특징으로 한다.
또한, 상기 공급 서버가 상기 의뢰자 단말로부터 샘플 가이드 정보를 수신하는 단계; 상기 공급 서버가 상기 샘플 가이드 정보에 기초해 샘플 모델을 학습시키는 단계; 상기 공급 서버가 상기 작업자 단말로부터 수신한 상기 작업 결과물과 학습된 상기 샘플 모델의 작업 결과물을 비교하는 단계; 상기 공급 서버가 상기 샘플 가이드 정보 대비 상기 작업 결과물의 정확도를 산출하는 단계; 상기 공급 서버가 상기 산출된 작업 결과물의 정확도를 상기 작업자 단말로 송신하는 단계; 및 상기 작업자 단말이 상기 작업 결과물의 정확도를 수신하는 단계;를 포함하는 것을 특징으로 한다.
또한, 상기 샘플 가이드 정보는 샘플 작업 문서 및 샘플 작업 과정을 녹화한 영상 중 적어도 하나를 포함하는 것을 특징으로 한다.
또한, 상기 공급 서버가 상기 의뢰자 단말로부터 샘플 검수 가이드 정보를 수신하는 단계; 및 상기 공급 서버가 상기 검수자 단말로 상기 샘플 검수 가이드 정보를 송신하는 단계;를 포함하고, 상기 검수자 단말은 상기 샘플 검수 가이드 정보에 기초해 상기 제1대응 결과를 획득하기 위한 과정을 수행하고, 상기 변환 검수자로 인식된 작업자 단말은 상기 샘플 검수 가이드 정보에 기초해 상기 제2대응 결과를 획득하기 위한 과정을 수행하는 것을 특징으로 한다.
본 발명의 다른 특징에 따른 인공지능(AI) 학습 및 검수 자동화 시스템은, 의뢰자 단말로부터 라벨링 작업물을 수신하고, 상기 라벨링 작업물을 작업자 단말로 송신하고, 상기 작업자 단말로부터 작업 결과물을 수신하고, 상기 작업 결과물을 검수자 단말로 송신하고, 상기 검수자 단말로부터 상기 작업 결과물에 대한 제1대응 결과를 수신하고, 상기 제1대응 결과에 따라 상기 제1대응 결과를 송신한 검수자 단말을 변환 작업자로 인식하고, 상기 작업 결과물을 송신한 상기 작업자 단말을 변환 검수자로 인식하고, 상기 제1대응 결과에 포함된 작업 결과물을 상기 변환 검수자로 인식된 작업자 단말로 송신하고, 상기 변환 검수자로 인식된 작업자 단말로부터 제2대응 결과를 수신하는 공급 서버; 상기 공급 서버로부터 상기 라벨링 작업물을 수신하고, 상기 공급 서버로 작업 결과물을 송신하고, 상기 공급 서버로부터 상기 제1대응 결과에 포함된 작업 결과물을 수신하고, 상기 제1대응 결과에 포함된 작업 결과물에 대한 제2대응 결과를 획득하고, 상기 제2대응 결과를 상기 공급 서버로 송신하는 작업자 단말; 및 상기 공급 서버로부터 상기 작업 결과물을 수신하고, 상기 작업 결과물에 대한 제1대응 결과를 획득하고, 상기 제1대응 결과를 상기 공급 서버로 송신하는 검수자 단말;을 포함하는 것을 특징으로 한다.
본 발명에 의한 인공지능(AI) 학습 및 검수 자동화 시스템 및 이의 제어 방법은, 특정 단계에서 검수자 및 작업자의 역할 변환을 통해 불필요한 반복 과정들을 생략함으로써 신속하고 효율성이 높은 데이터 라벨링 작업을 구현할 수 있다.
또한, 본 발명에 의한 인공지능(AI) 학습 및 검수 자동화 시스템 및 이의 제어 방법은, 검수자 및 작업자의 역할 변환을 통해 작업 결과물에 대한 더블 체크가 가능하여 고품질의 데이터 라벨링을 구현할 수 있다.
도 1은 본 발명의 바람직한 실시 예에 따른 AI학습용 쌍방향 데이터 라벨링 시스템의 개념도.
도 2는 본 발명의 바람직한 실시 예에 따른 AI학습용 쌍방향 데이터 라벨링 시스템을 구성하는 작업자 단말의 블록도.
도 3은 본 발명의 바람직한 실시 예에 따른 AI학습용 쌍방향 데이터 라벨링 시스템을 구성하는 공급 서버의 블록도.
도 4는 본 발명의 바람직한 실시 예에 따른 AI학습용 쌍방향 데이터 라벨링 시스템의 제어 방법의 흐름도.
도 5는 샘플 가이드 정보가 학습된 샘플 모델을 이용하여 작업 결과물의 정확도를 산출하는 과정의 흐름도.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.
본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에서 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.
본 명세서에서 사용한 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 본 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 명세서에 개시된 기술이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 나타낸다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않아야 한다.
본 명세서에서 사용되는 구성요소에 대한 접미사 "모듈(module)" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니며, 본 발명의 실시 예에 따른 방법을 수행하기 위한 하드웨어 또는 상기 하드웨어를 구동할 수 있는 소프트웨어의 기능적 또는 구조적 결합을 의미할 수 있다.
이하, 첨부된 도면을 참고하여 본 발명의 바람직한 실시 예에 따른 AI학습용 쌍방향 데이터 라벨링 시스템 및 이의 제어 방법을 설명한다.
도 1은 본 발명의 바람직한 실시 예에 따른 AI학습용 쌍방향 데이터 라벨링 시스템(1)의 개념도를 개략적으로 도시한 도이다.
도 1에 도시된 바와 같이, 공급 서버(2000)는, 의뢰자 단말(3000), 작업자 단말(1000) 및 검수자 단말(4000)과 네트워크를 통해서 연결될 수 있다.
의뢰자 단말(3000)은 크라우드 소싱 기반의 데이터 라벨링 작업(이하, '프로젝트'라고 함.)을 의뢰하는 기업 또는 개인이 소유한 단말을 의미할 수 있다.
공급 서버(2000)는 크라우드 소싱 서비스를 제공하는 일 예의 기업이 소유하는 서버일 수 있다. 공급 서버(2000)는, 의뢰자 단말(3000)로부터 의뢰받은 프로젝트에 포함된 라벨링 작업물을 수신하여 프로젝트를 오픈함으로써 작업자 단말(1000) 및 검수자 단말(4000)에게 크라우드 소싱 서비스를 제공할 수 있다.
공급 서버(2000)는 의뢰자 단말(3000)로부터 데이터 라벨링 작업을 의뢰받아 라벨링 작업 참여를 결정한 작업자 단말(1000)에 라벨링 작업물을 배정할 수 있다. 공급 서버(2000)는 작업자 단말(1000)로부터 작업 결과물을 수신할 수 있다. 공급 서버(2000)는 작업자 단말(1000)로부터 수신한 작업 결과물을 검수자 단말(4000)로 배정할 수 있다. 공급 서버(2000)는 작업자 단말(1000) 및 검수자 단말(4000)에서 수신한 작업 결과물을 저장하여 관리할 수 있다. 공급 서버(2000)는 최종 작업 결과물을 의뢰자 단말(3000)로 제공할 수 있다.
작업자 단말(1000)은, 공급 서버(2000)를 통해 오픈된 프로젝트 중 적어도 하나 이상의 프로젝트에 라벨링 작업 및 검수 과정의 참여를 결정한 작업자가 소유한 단말을 의미할 수 있다. 작업자 단말(1000)은 공급 서버(2000)에서 배정받은 라벨링 작업물에 대한 데이터 라벨링 작업을 수행할 수 있다. 작업자 단말(1000)은 작업 결과물을 공급 서버(2000)로 송신할 수 있다.
본 발명의 바람직한 실시 예에 따른 AI학습용 쌍방향 데이터 라벨링 시스템(1)에서, 작업자 단말(1000)은 라벨링 작업 수행 뿐만 아니라, 특정 단계(구체적으로, 제2대응 과정)를 수행할 경우, 검수자로서 역할이 변환되어 검수 작업을 수행할 수 있다.
검수자 단말(4000)은, 공급 서버(2000)를 통해 오픈된 프로젝트 중 적어도 하나 이상의 프로젝트에 라벨링 작업 및 검수 과정의 참여를 결정한 검수자가 소유한 단말을 의미할 수 있다. 검수자 단말(4000)은, 공급 서버(2000)로부터 작업자 단말(1000)에서 수행항 작업 결과물을 수신할 수 있다. 검수자 단말(4000)은 수신한 작업 결과물에 대한 검수 통과 또는 작업 수행을 포함하는 제1대응 과정을 수행할 수 있다.
본 발명의 바람직한 실시 예에 따른 AI학습용 쌍방향 데이터 라벨링 시스템(1)에서, 검수자 단말(4000)은 작업자 단말(1000)에서 작업한 작업 결과물에 대한 검수시, 검수 통과 입력 또는 검수 결과에 따른 직접 작업 수행을 수행할 수 있다. 검수자 단말(4000)은 특정 단계(구체적으로, 제1대응 과정)를 수행할 경우, 작업자로서 역할이 변환될 수 있다.
본 발명의 바람직한 실시 예에 따른 AI학습용 쌍방향 데이터 라벨링 시스템(1)은, 작업자 단말(1000) 및 검수자 단말(4000)이 특정 단계에서 역할이 변환되어 작업 결과물에 대한 더블 체크가 가능할 수 있다. 이로 인해 보다 고품질의 데이터 라벨링 작업이 이루어질 수 있다. 또한, 본 발명의 바람직한 실시 예에 따른 AI학습용 쌍방향 데이터 라벨링 시스템(1)은, 특정 단계에서의 작업자 단말(1000) 및 검수자 단말(4000)의 역할 변환을 통해 작업 수행 및 검수 작업에 직접 참여함으로써 데이터 라벨링 작업의 효율성이 향상될 수 있다.
도 2는 본 발명의 바람직한 실시 예에 따른 AI학습용 쌍방향 데이터 라벨링 시스템(1)을 구성하는 작업자 단말(1000)의 블록도를 도시한 도이다.
작업자 단말(1000)은, 디바이스, 전자기기 등으로 호칭될 수 있다. 작업자 단말(1000)은 스마트폰, 태블릿 PC, PC, 스마트 TV, 휴대폰, PDA(personal digital assistant), 랩톱, 미디어 플레이어, 마이크로 서버, GPS(global positioning system) 장치, 전자책 단말기, 디지털방송용 단말기, 네비게이션, 키오스크, MP3 플레이어, 디지털 카메라, 가전기기 및 기타 컴퓨팅 장치일 수 있으나, 이에 한정되는 것은 아니다.
본 발명의 일 실시 예에 따른 작업자 단말(1000)은, 메모리(1100), 출력부(1200), 통신부(1500) 및 프로세서(1300)를 포함할 수 있다. 또는, 본 발명의 일 실시 예에 따른 작업자 단말(1000)은, 메모리(1100), 출력부(1200), 프로세서(1300), 센싱부(1400), 통신부(1500), A/V입력부(1600) 및 사용자 입력부(1700) 중 적어도 하나를 포함할 수 있다.
*메모리(1100)
메모리(1100)는, 프로세서(1300)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 전자 장치(1000)로 입력되는 정보 또는 전자 장치(1000)로부터 출력되는 정보를 저장할 수도 있다.
메모리(1100)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
메모리(1100)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, UI 모듈(1110), 터치 스크린 모듈(1120), 알림 모듈(1130) 등으로 분류될 수 있다.
*출력부(1200)
출력부(1200)는, 오디오 신호 또는 비디오 신호 또는 진동 신호를 출력할 수 있으며, 출력부(1200)는 디스플레이부(1210), 음향 출력부(1220), 및 진동 모터(1230)를 포함할 수 있다.
디스플레이부(1210)는 전자 장치(1000)에서 처리되는 정보를 표시 출력한다. 구체적으로, 디스플레이부(1210)는 카메라(1610)에서 촬영된 이미지를 출력할 수 있다. 디스플레이부(1210)는, 사용자의 입력에 대한 응답으로, 응답에 관련된 동작을 실행하기 위한 사용자 인터페이스를 디스플레이할 수 있다.
음향 출력부(1220)는 통신부(1500)로부터 수신되거나 메모리(1100)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력부(1220)는 전자 장치(1000)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음, 알림음)과 관련된 음향 신호를 출력한다.
*프로세서(1300)
프로세서(1300)는, 통상적으로 전자 장치(1000)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(1300)는, 메모리(1100)에 저장된 프로그램들을 실행함으로써, 사용자 입력부(1700), 출력부(1200), 센싱부(1400), 통신부(1500), A/V 입력부(1700) 등을 전반적으로 제어할 수 있다.
*센싱부(1400)
센싱부(1400)는, 전자 장치(1000)의 상태 또는 전자 장치(1000) 주변의 상태를 감지하고, 감지된 정보를 프로세서(1300)로 전달할 수 있다.
센싱부(1400)는, 지자기 센서(Magnetic sensor)(1410), 가속도 센서(Acceleration sensor)(1420), 온/습도 센서(1430), 적외선 센서(1440), 자이로스코프 센서(1450), 위치 센서(예컨대, GPS)(1460), 기압 센서(1470), 근접 센서(1480), 및 RGB 센서(RGB sensor)(1490) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.
*통신부(1500)
통신부(1500)는, 전자 장치(1000)가 다른 장치(미도시) 및 서버(미도시)와 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 다른 장치(미도시)는 전자 장치(1000)와 같은 컴퓨팅 장치이거나, 센싱 장치일 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, 통신부(1500)는, 근거리 통신부(1510), 이동 통신부(1520), 방송 수신부(1530)를 포함할 수 있다.
*A/V(Audio/Video) 입력부(1600)
A/V(Audio/Video) 입력부(1600)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(1610)와 마이크로폰(1620) 등이 포함될 수 있다.
카메라(1610)는 화상 통화모드 또는 촬영 모드에서 이미지 센서를 통해 정지영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 이미지 센서를 통해 캡처된 이미지는 프로세서(1300) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다.
마이크로폰(1620)은, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크로폰(1620)은 외부 디바이스 또는 사용자로부터 음향 신호를 수신할 수 있다. 마이크로폰(1620)은 사용자의 음성 입력을 수신할 수 있다. 마이크로폰(1620)은 외부의 음향 신호를 입력 받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다.
*사용자 입력부(1700)
사용자 입력부(1700)는, 사용자가 전자 장치(1000)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(1700)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.
본 발명의 일 실시 예에 따른 검수자 단말(4000) 및 의뢰자 단말(3000)은, 메모리, 출력부, 프로세서, 센싱부, 통신부, A/V입력부 및 사용자 입력부 중 적어도 하나를 포함할 수 있다. 본 발명의 일 실시 예에 따른 검수자 단말(4000) 및 의뢰자 단말(3000)를 구성하는 각각의 구성요소에 대한 설명은 도 2를 참조하여 설명한 본 발명의 일 실시 예에 따른 작업자 단말(1000)의 메모리(1100), 출력부(1200), 프로세서(1300), 센싱부(1400), 통신부(1500), A/V입력부(1600) 및 사용자 입력부(1700)과 동일하므로 생략한다.
도 3은 본 발명의 일 실시 예에 따른 공급 서버(2000)의 블록도를 개략적으로 도시한 도이다. 도 3에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 공급 서버(2000)는, 메모리(2100), 출력부(2200), 프로세서(2300) 및 통신부(2500)를 포함할 수 있으며, 각각의 구성요소 대한 설명은 도 2를 참조하여 설명한 본 발명의 일 실시 예에 따른 작업자 단말(1000)의 메모리(1100), 출력부(1200), 프로세서(1300) 및 통신부(1500)와 동일하므로 생략한다.
도 4는 본 발명의 바람직한 실시 예에 따른 AI학습용 쌍방향 데이터 라벨링 시스템(1)의 흐름도를 도시한 도이다.
먼저, S1단계에서, 공급 서버(2000)는 의뢰자 단말(3000)로부터 데이터 라벨링을 위한 라벨링 작업물을 수신할 수 있다. 라벨링 작업물은 일 예로서, 특정 객체 또는 텍스트가 포함된 이미지, 텍스트, 음성 등 중 적어도 하나일 수 있다.
S2단계에서, 공급 서버(2000)는 프로젝트를 오픈할 수 있다. 공급 서버(2000)는 프로젝트 오픈 과정에 의해 작업자 단말(1000) 및 검수자 단말(4000)로부터 프로젝트에 대한 참여 결정을 입력받을 수 있다.
S3단계에서, 공급 서버(2000)는 참여 결정을 입력한 작업자 단말(1000)에 라벨링 작업물을 배정하고, 작업자 단말(1000)로 라벨링 작업물을 송신할 수 있다.
S4단계에서, 작업자 단말(1000)은 라벨링 작업물을 수신할 수 있다. 작업자 단말(1000)은 수신한 라벨링 작업물에 대한 작업 수행 여부를 입력할 수 있다. 작업 수행 여부는 일 예로서, 작업 수행 및 작업 불가로 구성될 수 있다. 작업자 단말(1000)은 라벨링 작업이 가능할 경우, 작업 수행을 입력할 수 있다. 한편, 작업자 단말(1000)은 라벨링 작업이 불가능할 경우, 작업 불가를 입력할 수 있다. 라벨링 작업이 불가능할 경우는, 예를 들어, 수신한 라벨링 작업물에 대한 이해도가 낮아 라벨링 작업 자체가 불가능한 경우일 수 있다.
작업자 단말(1000)은, 작업 수행을 입력할 경우, 일 예로서, 라벨링 작업물에 포함된 객체 또는 텍스트의 범위를 지정하고, 지정된 범위에 포함된 객체 또는 텍스트가 무엇인지 입력하는 라벨링 작업을 수행할 수 있다. 또 다른 라벨링 작업의 예로서, 작업자 단말(1000)은 복수의 문장으로 이루어진 단락에서 핵심 문장을 추출하는 작업을 수행할 수 있다. 이 경우, 핵심 문장은 한 개의 문장 혹은 여러 개의 문장에서 추출된 단어들의 집합일 수 있다.
S4단계에서 작업자 단말(1000)에 의해 라벨링 작업된 라벨링 작업물에 대한 작업 결과물은 최초 작업 결과물일 수 있다. 최초 작업 결과물은 작업자 단말(1000)을 통해 라벨링 작업물에 대한 라벨링 작업이 최초로 이루어짐으로써 형성된 작업 결과물일 수 있다.
S5단계에서, 작업자 단말(1000)은 공급 서버(2000)로 작업 결과물을 송신할 수 있다. 구체적으로, 작업자 단말(1000)은 공급 서버(2000)로 최초 작업 결과물을 송신할 수 있다.
S6단계에서, 공급 서버(2000)는 프로젝트 참여를 결정한 검수자 단말(4000)로 S5단계에 의해 수신한 작업 결과물을 배정할 수 있다. S6단계에서, 공급 서버(2000)는 최초 작업 결과물에 대한 최초 검수 작업을 수행하기 위해 검수자 단말(4000)별로 배정한 작업 결과물을 검수자 단말(4000)로 송신할 수 있다.
S7단계에서, 검수자 단말(4000)은 작업 결과물을 수신하고, 작업 결과물에 대한 제1대응 과정을 수행할 수 있다. 제1대응 과정은, 검수 통과 및 직접 작업 수행을 포함할 수 있다. 검수자 단말(4000)은 S7단계에서, 검수 통과 또는 직접 작업 수행 중 적어도 하나를 입력할 수 있다.
S7단계에서, 검수자 단말(4000)이 검수 통과를 입력할 경우, S8단계에서, 검수자 단말(4000)이 획득한 제1대응 결과는 공급 서버(2000)에서 수신한 상태를 유지한 작업 결과물일 수 있다.
이와는 달리, S7단계에서, 검수자 단말(4000)이 직접 작업 수행을 입력할 경우, 검수자 단말(4000)은 작업 결과물에 대한 수정 사항을 직접 작업하여 수정할 수 있다. 이 때, 검수자 단말(4000)은 작업자로서 역할이 변환될 수 있다. S7단계에서, 검수자 단말(4000)은 작업 결과물에 대한 수정 사항이 존재할 경우, 직접 라벨링 작업에 참여할 수 있다. 검수자 단말(4000)은 프로젝트에 검수자로서 참여를 결정하였으나, S7단계에서의 제1대응 과정의 직접 작업 수행을 입력할 경우, 작업자로서 역할이 변환될 수 있다. S7단계에서 검수자 단말(4000)은 작업 결과물에 대한 수정 사항을 직접 수정함으로써 검수 결과를 반영할 수 있다. 본 발명의 바람직한 실시 예에 따른 AI학습용 쌍방향 데이터 라벨링 시스템(1)은, S7단계에서 검수자 단말(4000)이 작업자로서 역할이 변환되어 직접 라벨링 작업에 참여함으로써, 검수 결과를 공급 서버(2000)를 통해 다시 작업자 단말(1000)로 전달하고, 작업자 단말(1000)에서 검수 결과에 따른 수정 사항이 반영되는 불필요한 단계를 생략할 수 있다. 본 발명의 바람직한 실시 예에 따른 AI학습용 쌍방향 데이터 라벨링 시스템(1)은, 검수 결과에 따른 수정 사항이 바로 반영된 작업 결과물이 형성할 수 있으므로, 라벨링 작업의 효율성 및 신속성이 향상될 수 있다.
S7단계에서, 검수자 단말(4000)이 직접 작업 수행을 입력할 경우, S8단계에서, 검수자 단말(4000)이 획득한 제1대응 결과는 검수 결과에 따른 수정 사항이 반영된 작업 결과물일 수 있다.
다시 말해, S8단계에서, 검수자 단말(4000)은, S7단계에서 수행하는 제1대응 과정(검수 통과 또는 직접 작업 수행)에 따라 제1대응 결과로서, 공급 서버(2000)에서 수신한 상태를 유지한 작업 결과물을 획득하거나, 검수 결과에 따른 수정 사항이 반영된 작업 결과물을 획득할 수 있다. 따라서, 제1대응 결과는 공급 서버(2000)에서 수신한 상태를 유지한 작업 결과물 및 검수 결과에 따른 수정 사항이 반영된 작업 결과물 중 적어도 하나를 포함할 수 있다.
S9단계에서, 검수자 단말(4000)은 제1대응 결과를 공급 서버(2000)로 송신할 수 있다.
S10단계에서, 공급 서버(2000)는 제1대응 결과를 수신할 수 있다.
S11단계에서, 공급 서버(2000)는 S10단계에서, 수신한 제1대응 결과에 따라 제1대응 결과를 송신한 검수자 단말(4000)을 변환 작업자로 인식하고, 작업 결과물(구체적으로, S4단계에서의 최초 작업 결과물)을 송신한 작업자 단말(1000)을 변환 검수자로 인식하는 과정을 수행할 수 있다.
상세히 설명하면, 공급 서버(2000)는 S10 단계에서, 제1대응 결과를 수신할 수 있다. 공급 서버(2000)는 제1대응 결과가 공급 서버(2000)에서 수신한 상태 그대로의 작업 결과물로서 수정 내용이 존재하지 않는 원상태의 작업 결과물일 경우, 해당 작업 결과물을 작업이 완료된 최종 작업 결과물로 분류하여 저장할 수 있다.
이와는 달리, 공급 서버(2000)는 제1대응 결과가 검수자 단말(4000)에 의한 수정 사항이 반영된 작업 결과물일 경우, 제1대응 결과를 송신한 검수자 단말(4000)을 변환 작업자로 구분하여 인식할 수 있다.
공급 서버(2000)는 S5단계에서, 수신한 작업 결과물을 기준으로 제1대응 결과를 판단할 수 있다. 구체적으로, 공급 서버(2000)는 S5단계에서 수신하여 임시 저장된 작업 결과물과, 제1대응 결과에 포함된 작업 결과물을 비교하여 임시 저장된 작업 결과물 대비 수정 내용이 존재하지 않을 경우, 최종 작업 결과물로 분류하여 저장할 수 있다.
또는 공급 서버(2000)는 임시 저장된 작업 결과물 대비 수정 내용이 존재할 경우, S11단계를 수행할 수 있다.
S11단계에서, 공급 서버(2000)는 수정 사항이 반영된 작업 결과물을 포함하는 제1대응 결과에 따라 제1대응 결과를 수신한 검수자 단말(4000)을 변환 작업자로 구분하여 인식할 수 있다. 또한, 공급 서버(2000)는 작업자 단말(1000)을 변환 검수자로 구분하여 인식할 수 있다. 이는 변환 작업자로 인식된 검수자 단말(4000)이 공급 서버(2000)로 송신한 작업 결과물을 작업자 단말(1000)을 통해 검수하는 과정을 수행하기 위함일 수 있다.
S12단계에서, 공급 서버(2000)는 제1대응 결과에 포함된 작업 결과물을 변환 검수자로 인식된 작업자 단말(1000)로 송신할 수 있다. 구체적으로, 공급 서버(2000)는 변환 작업자로 인식된 검수자 단말(4000)이 송신한 제1대응 결과의 작업 결과물을 검수하기 위해 변환 검수자로 인식된 작업자 단말(1000)로 배정하여 송신할 수 있다.
S13단계에서, 변환 검수자로 인식된 작업자 단말(1000)은 제2대응 과정을 수행할 수 있다. 제2대응 과정은 제1대응 결과의 작업 결과물에 대한 검수 통과 및 직접 작업 수행 중 적어도 하나를 수행하는 과정일 수 있다.
S13단계에서, 변환 검수자로 인식된 작업자 단말(1000)이 제1대응 결과의 작업 결과물에 대한 검수 통과를 입력할 경우, S14단계에서, 변환 검수자로 인식된 작업자 단말(1000)은, 수정 사항이 존재하지 않는 원상태의 제1대응 결과의 작업 결과물을 제2대응 결과로서 획득할 수 있다.
이와는 달리, S13단계에서, 변환 검수자로 인식된 작업자 단말(1000)이 제1대응 결과의 작업 결과물에 대한 직접 작업 수행을 입력할 경우, 검수 결과에 따른 수정 사항을 반영하는 과정이 수행될 수 있다. 이 때, 변환 검수자로 인식된 작업자 단말(1000)은 다시 작업자로서 역할이 변환될 수 있다.
S13단계에서, 변환 검수자로 인식된 작업자 단말(1000)이 직접 작업 수행을 입력할 경우, 변환 검수자로 인식된 작업자 단말(1000)은 S14단계에서, 검수 결과에 따른 수정 사항이 반영된 작업 결과물이 제2대응 결과로서 획득할 수 있다. 변환 검수자로 인식된 작업자 단말(1000)은 직접 작업 수행을 입력함으로써 다시 작업자로 역할이 변환되므로, 획득한 제2대응 결과를 작업자로서 S15단계에서 공급 서버(2000)로 송신할 수 있다.
다시 말해, S14단계에서, 변환 검수자로 인식된 작업자 단말(1000)은, S13단계에서 수행하는 제2대응 과정(검수 통과 또는 직접 작업 수행)에 따라, 제2대응 결과로서, 수정 사항이 존재하지 않는 원상태의 제1대응 결과의 작업 결과물을 획득하거나, 검수 결과에 따른 수정 사항이 반영된 작업 결과물을 획득할 수 있다. 따라서, 제2대응 결과는, 변환 작업자로 인식된 검수자 단말(4000)에서 공급 서버(2000)로 송신한 제1대응 결과의 작업 결과물 및 변환 검수자로 인식된 작업자 단말(1000)에서 검수한 결과에 따른 수정 사항이 반영된 작업 결과물 중 적어도 하나를 포함할 수 있다.
S15단계에서, 변환 검수자로 인식된 작업자 단말(1000)은, 제2대응 결과를 공급 서버(2000)로 송신할 수 있다.
S16단계에서, 공급 서버(2000)는 제2대응 결과를 수신할 수 있다. 공급 서버(2000)는 제2대응 결과에 따라 S11단계를 재수행하거나, S17단계의 프로젝트 종료 단계를 수행할 수 있다.
구체적으로, 공급 서버(2000)는 S16단계에서 제2대응 결과를 수신받은 다음, 제2대응 결과와, S10단계에서 수신한 제1대응 결과의 작업 결과물을 비교하는 과정을 수행할 수 있다. 이 때, 제1대응 결과의 작업 결과물은 공급 서버(2000)에 임시 저장된 상태일 수 있다.
공급 서버(2000)는 비교 과정에서 제2대응 결과와 제1대응 결과의 작업 결과물과 동일할 경우, 수정 사항이 존재하지 않는 원상태로 판단할 수 있다. 공급 서버(2000)는 원상태로 판단된 제1대응 결과의 작업 결과물, 즉, 제2대응 결과를 최종 작업 결과물로 분류하여 저장할 수 있다.
그런 다음, 공급 서버(2000)는 S17단계의 프로젝트 종료 단계 및 S18단계의 의뢰자 단말(3000)로 최종 작업 결과물을 송신하는 단계를 순차적으로 수행할 수 있다.
이와는 달리, 공급 서버(2000)는 비교 과정에서 임시 저장된 제1대응 결과의 작업 결과물 대비 제2대응 결과에 수정 사항이 존재할 경우, S11단계를 재수행할 수 있다. 공급 서버(2000)는 변환 검수자로 인식된 작업자 단말(1000)을 다시 작업자로서 구분하여 인식하고, 변환 작업자로서 인식된 검수자 단말(4000)을 다시 검수자로서 구분하여 인식할 수 있다.
본 발명의 바람직한 실시 예에 따른 AI학습용 쌍방향 데이터 라벨링 시스템(1)은, S16단계 이후 S11단계가 재수행되면, S6단계부터 이후 단계들을 순차적으로 재수행할 수 있다. 그런 다음, 제2대응 결과와, 제1대응 결과가 동일하다고 판단될 경우, 프로젝트 종료를 위한 단계를 순차적으로 수행하여 최종 작업 결과물을 저장 및 관리할 수 있다.
본 발명의 바람직한 실시 예에 따른 AI학습용 쌍방향 데이터 라벨링 시스템(1)은, 검수자 단말(4000)이 작업 결과물에 대한 반려, 통과 및 코멘트를 포함하는 단순 검수 작업에 그치지 않고, 직접 작업 결과물에 대한 수정 작업을 수행하여 검수 결과에 따른 수정 사항을 즉시 반영할 수 있다.
이로 인해 검수자 단말(4000)에서 작업 결과물에 대한 수정 사항이 발견되었을 경우, 수정 사항을 공급 서버(2000)를 통해 작업자 단말(1000)로 전달하고, 수정 사항을 반영한 작업 결과물을 공급 서버(2000)를 통해 다시 검수자 단말(4000)이 전달받는 불필요한 과정들을 생략할 수 있다. 이처럼 본 발명의 바람직한 실시 예에 따른 AI학습용 쌍방향 데이터 라벨링 시스템(1)은, 특정 단계에서 검수자 및 작업자의 역할 변환을 통해 데이터 라벨링 작업의 효율성을 저하시킬 수 있는 불필요한 과정들을 생략할 수 있으므로, 신속하고 높은 효율성을 갖는 데이터 라벨링 작업이 가능할 수 있다.
또한, 본 발명의 바람직한 실시 예에 따른 AI학습용 쌍방향 데이터 라벨링 시스템(1)은, 검수자 단말(4000)에서 검수 결과에 따른 수정 사항을 즉시 반영하는 작업이 이루어졌다고 하더라도, 검수자 단말(4000)에서 작업한 내용을 최종 작업 결과물로 판단하지 않고, 기존의 작업자 단말(1000)을 검수자로서 구분하여 인식할 수 있다. 그런 다음 검수자 단말(4000)에서 수정한 내용을 검수 작업이 필요한 작업 결과물로 구분하여 기존의 작업자 단말(1000)에 검수를 요청할 수 있다. 여기서 기존의 작업자 단말(1000)은, 공급 서버(2000)로부터 최초로 라벨링 작업물을 수신한 작업자 단말(1000)을 의미한다.
이로 인해, 본 발명의 바람직한 실시 예에 따른 AI학습용 쌍방향 데이터 라벨링 시스템(1)은 작업 결과물에 대한 수정 작업이 발생했을 경우, 검수자 단말(4000) 및 작업자 단말(1000)의 상호 간의 역할 변환을 통하여 작업 결과물에 대한 더블 체크가 가능할 수 있다. 이에 따라 본 발명의 바람직한 바람직한 실시 예에 따른 AI학습용 쌍방향 데이터 라벨링 시스템(1)은 고품질의 데이터 라벨링을 구현할 수 있게 된다.
본 발명의 바람직한 실시 예에 따른 AI학습용 쌍방향 데이터 라벨링 시스템(1)은, 양질의 라벨링 작업 및 검수 작업이 수행될 수 있도록 샘플 가이드 정보 및 샘플 검수 가이드 정보를 제공할 수 있다.
도 4를 참조하여 상세히 설명하면, S100 단계에서, 의뢰자 단말(3000)은 라벨링 작업물 중 일부 작업물에 대해 직접 라벨링 작업을 수행할 수 있다. 이와 같은 과정을 통해 샘플 가이드 정보가 생성될 수 있다.
샘플 가이드 정보는 일 예로서, 라벨링 작업물에 대한 데이터 라벨링 수행이 완료된 샘플 작업 문서 및 라벨링 작업물에 대한 데이터 라벨링 작업을 수행하는 샘플 작업 과정을 녹화한 영상 중 적어도 하나를 포함할 수 있다.
S101단계에서, 의뢰자 단말(3000)은, 공급 서버(2000)로 샘플 가이드 정보를 송신할 수 있다.
S102단계에서, 공급 서버(2000)는, 수신한 샘플 가이드 정보를 작업자 단말(1000)로 송신할 수 있다. S102단계는, 바람직하게는, 작업자 단말(1000)이 S4단계를 수행하기 전에 이루어질 수 있다. 작업자 단말(1000)은 S4단계의 라벨링 작업을 수행하기 전에 S102단계에서 송신한 샘플 가이드 정보를 수신받고, 샘플 가이드 정보를 참조하여 라벨링 작업을 수행할 수 있다.
S103단계에서, 공급 서버(2000)는 의뢰자 단말로부터 수신한 샘플 가이드 정보를 샘플 모델에 학습시킬 수 있다. 샘플 모델은 다수의 파라미터로 구성된 기계학습 모델로서, 샘플 모델이 주어진 데이터로 파라미터를 최적화하는 것을 학습이라고 한다.
공급 서버(2000)는 S103단계를 통해 샘플 가이드 정보가 학습된 샘플 모델을 구비할 수 있다.
본 발명의 바람직한 실시 예에 따른 AI학습용 쌍방향 데이터 라벨링 시스템(1)은, 샘플 가이드 정보가 학습된 샘플 모델을 이용하여 작업 결과물의 정확도를 산출할 수 있다.
도 5는 본 발명의 바람직한 실시 예에 따른 AI학습용 쌍방향 데이터 라벨링 시스템(1)이 샘플 가이드 정보가 학습된 샘플 모델을 이용하여 작업 결과물의 정확도를 산출하는 과정의 흐름도를 개략적으로 도시한 도이다.
도 5에 도시된 바와 같이, S300 단계에서, 공급 서버(2000)는, 의뢰자 단말(3000)로부터 수신한 샘플 가이드 정보에 기초해 샘플 모델을 학습시킬 수 있다.
예를 들어, 샘플 가이드 정보에 복수의 문장으로 이루어진 단락에서 핵심 문장이 추출된 문서가 포함될 수 있다. 일 예로서, 복수의 문장은 행정 기관의 게시판에 등록된 민원일 수 있다. 일 예로서, 게시판에 '안녕하세요. 저는 00구 00동에 거주하는 홍길동입니다. 00동 할인마트 앞의 가로등의 불이 몇 주째 들어오지 않습니다. 가로등을 교체해주세요.'와 같은 민원이 등록될 수 있다. 샘플 가이드 정보에는 다음과 같은 민원의 핵심 문장으로 '가로등을 교체해주세요'가 추출된 문서가 포함될 수 있다.
S301단계에서, 공급 서버(2000)는, 도 4의 S5단계에서 작업자 단말(1000)로부터 수신한 작업 결과물과 학습된 샘플 모델의 작업 결과물을 비교하는 과정을 수행할 수 있다.
샘플 모델은 샘플 가이드 정보를 학습한 상태일 수 있다. 이 때, 공급 서버(2000)는 작업자 단말(1000)로부터 작업 결과물을 수신할 수 있다. 일 예로서 작업 결과물에는 '불이 몇 주째 들어오지 않습니다.'가 핵심 문장으로 추출된 문서가 포함될 수 있다.
공급 서버(2000)는 작업자 단말(1000)의 작업 결과물과 학습된 샘플 모델의 작업 결과물을 비교하기 위해, 작업 결과물의 데이터 유사성, 정보 유사성을 비교할 수 있다. 일 예로, 작업 결과물이 문장이라면, 동일 단어의 개수, 전체 단어수, 문장의 길이, 문장의 구조 등을 대비할 수 있다.
S302단계에서, 공급 서버(2000)는 샘플 가이드 정보로 학습된 샘플 모델 대비 작업자 단말(1000)의 작업 결과물의 정확도를 산출할 수 있다. 일 예로서, 공급 서버(2000)는 샘플 모델을 통해 작업자 단말(1000)의 작업 결과물의 정확도가 85%임을 산출할 수 있다. 이처럼 공급 서버(2000)는 일 예로서 퍼센테이지로 정확도를 산출하여 제공할 수 있다.
또는 다른 예로서, 샘플 가이드 정보 대비할 수 있고, 샘플 가이드 정보 대비 가부 표시(pass or fail)를 제공할 수도 있다. 공급 서버(2000)는, 샘플 모델을 통해 작업자 단말(1000)의 작업 결과물이 부적합함을 'fail'로 추출하여 제공할 수 있다.
나아가 공급 서버(2000)는 작업자 단말(1000)의 작업 결과물을 이용하여 학습된 샘플 모델을 추가적으로 학습시킬 수 있다.
구체적으로, 샘플 모델은 샘플 가이드 정보가 학습된 상태일 수 있다. 이 때, 공급 서버(2000)가 작업자 단말(1000)로부터 작업 결과물을 수신하면, 샘플 모델은 실시간으로 작업자 단말(1000)로부터 수신된 작업 결과물을 학습할 수 있다. 샘플 모델은 샘플 가이드 정보가 학습된 상태이므로, 실시간으로 작업자 단말(1000)의 작업 결과물을 추가적으로 학습하여 작업 결과물에 대한 정확도를 높일 수 있다. 공급 서버(2000)는 작업자 단말(1000)의 작업 결과물에 대한 정확도가 기설정된 값보다 높은 작업 결과물만을 이용하여 학습된 샘플 모델을 추가적으로 학습시킬 수 있다.
S303단계에서, 공급 서버(2000)는 S302단계에서 산출된 작업 결과물의 정확도를 작업자 단말(1000)로 송신할 수 있다. 작업 결과물의 정확도는 작업자 단말(1000)이 작업한 작업 결과물의 작업 평가일 수 있다. 작업자 단말(1000)에서는 일 예로서 디스플레이부(1210)를 통해 작업 결과물의 정확도를 표시할 수 있다.
그런 다음, 다시 도 4를 참조하면, S104 단계에서 작업자 단말(1000)은 작업 결과물의 정확도를 포함하는 작업 평가를 수신할 수 있다. 작업자 단말(1000)은 작업 결과물의 정확도를 수신함으로써, 자신의 작업 결과물에 대한 작업 수준을 파악할 수 있다. 예를 들어, 작업자 단말(1000)은, 작업 결과물의 정확도가 낮을 경우, 해당 프로젝트의 종류에 있어서, 본인의 이해도가 낮고 정확한 작업이 어렵다는 것을 파악할 수 있다. 이를 통해 작업자 단말(1000)은 다음 프로젝트 오픈시 프로젝트의 참여 결정을 보다 신중히 고려하여 결정할 수 있다.
공급 서버(2000)는 작업자 단말(1000)별로 작업 정확도를 통계 처리하여 저장 및 관리할 수 있다. 이를 통해 공급 서버(2000)는 다음 프로젝트 오픈시 저장 및 관리되는 작업자 단말(1000)의 작업 정확도를 고려하여 라벨링 작업물을 배정할 수 있다. 공급 서버(2000)는 작업 정확도가 높은 작업자 단말(1000)에 라벨링 작업물을 우선적으로 배정할 수 있다. 이로 인해 보다 양질의 데이터 라벨링 작업이 이루어질 수 있다.
공급 서버(2000)는 높은 정확도를 갖는 라벨링 작업을 수행하는 작업자 단말(1000)에 대한 일정 보상을 제공할 수도 있다.
상세히 설명하면, 공급 서버(2000)는 작업자 단말(1000)의 작업 결과물 중 기준 정확도와 동일하거나, 기준 정확도를 초과하는 작업 결과물의 건수가 공급 서버(2000)에 기설정된 보상 제공 건수값을 초과하면, 초과하는 시점부터의 건수를 카운팅하여 일정 보상을 제공할 수 있다. 여기서 기준 정확도는, 공급 서버(2000)가 산출된 작업자 단말(1000)의 작업 결과물의 정확도에 기초해, 해당 작업 결과물의 정확도가 기준 정확도와 동일하거나, 기준 정확도를 초과하는지를 판단하기 위해 기설정될 수 있다.
일 예로서, 공급 서버(2000)에 기준 정확도가 90%로 설정되고, 보상 제공 건수값으로는 7,000이 설정될 수 있다. 작업자 단말(1000)의 작업 결과물의 건수는 10,000건일 수 있다. 이 경우, 공급 서버(2000)는 10,000건의 작업 결과물 중 정확도가 90%이상인 작업 결과물의 개수를 카운팅할 수 있다. 예를 들어, 정확도가 90%이상인 작업 결과물이 10,000건 중 8,000건일 수 있다. 이 때, 공급 서버(2000)는 작업자 단말(1000)의 기설정된 보상 제공 건수값인 7,000에 기초해 카운팅을 수행하여 작업 결과물 중 1,000건에 대한 일정 보상을 제공할 수 있다.
이처럼 본 발명의 바람직한 실시 예에 따른 AI학습용 쌍방향 데이터 라벨링 시스템(1)은 기준 정확도와 동일하거나, 기준 정확도를 초과하는 높은 정확도의 작업 결과물을 제공하는 작업자 단말(1000)에 대해 일정 보상을 제공할 수 있다. 이를 통해 본 발명의 바람직한 실시 예에 따른 AI학습용 쌍방향 데이터 라벨링 시스템(1)은, 작업자 단말(1000)에서 보다 양질의 라벨링 작업이 수행되도록 하여 프로젝트에 대한 작업 결과물 전체의 품질을 향상시킬 수 있다.
S200 단계에서, 공급 서버(2000)는 의뢰자 단말(3000)로부터 샘플 검수 가이드 정보를 수신할 수 있다. 샘플 검수 가이드 정보는 샘플 검수 작업 문서 및 샘플 검수 작업 과정을 녹화한 영상 중 적어도 하나를 포함할 수 있다. 본 발명의 바람직한 실시 예에 따른 AI학습용 쌍방향 데이터 라벨링 시스템(1)은, S7단계에서, 검수자 단말(4000)이 작업자로서 역할 변환이 이루어질 수 있다. 따라서, 샘플 검수 가이드 정보는, S101단계에서 작업자 단말(1000)로 제공되는 샘플 가이드 정보와 동일한 내용을 포함하고 있을 수도 있다.
S201단계에서, 공급 서버(2000)는 검수자 단말(4000)로 샘플 검수 가이드 정보를 송신할 수 있다.
검수자 단말(4000)은, S7단계의 제1대응 과정을 수행하기 전에 샘플 검수 가이드 정보를 수신할 수 있다. 검수자 단말(4000)은, 직접 작업을 수행함에 따라 작업자로서 역할이 변환될 경우, 샘플 검수 가이드 정보를 참조하여 보다 정확한 직접 작업을 수행할 수 있게 된다. 이로 인해 정확도가 높은 라벨링 작업이 수행될수 있고, 라벨링 작업의 효율 및 전체적인 데이터 라벨링 작업이 신속하게 이루어질 수 있다.
본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
1: AI학습용 쌍방향 데이터 라벨링 시스템
1000: 작업자 단말 2000: 공급 서버
3000: 의뢰자 단말 4000: 검수자 단말

Claims (5)

  1. 공급 서버가 의뢰자 단말로부터 라벨링 작업물을 수신하는 단계;
    상기 공급 서버가 상기 라벨링 작업물을 작업자 단말로 송신하는 단계;
    상기 작업자 단말이 상기 라벨링 작업물을 수신하는 단계;
    상기 공급 서버가 상기 의뢰자 단말로부터 샘플 가이드 정보를 수신하는 단계;
    상기 공급 서버가 상기 샘플 가이드 정보에 기초해 샘플 모델을 학습시키는 단계;
    상기 작업자 단말이 상기 공급 서버로 작업 결과물을 송신하는 단계;
    상기 공급 서버가 상기 작업 결과물을 수신하는 단계;
    상기 공급 서버가 상기 작업자 단말로부터 수신한 상기 작업 결과물과 학습된 상기 샘플 모델의 작업 결과물을 비교하는 단계;
    상기 공급 서버가 상기 샘플 가이드 정보 대비 상기 작업 결과물의 정확도를 산출하는 단계;
    상기 공급 서버가 상기 산출된 작업 결과물의 정확도를 상기 작업자 단말로 송신하는 단계;
    상기 작업자 단말이 상기 작업 결과물의 정확도를 수신하는 단계;
    상기 공급 서버가 상기 작업 결과물을 검수자 단말로 송신하는 단계;
    상기 검수자 단말이 상기 작업 결과물을 수신하는 단계;
    상기 검수자 단말이 상기 작업 결과물에 대한 제1대응 결과를 획득하는 단계;
    상기 검수자 단말이 상기 제1대응 결과를 상기 공급 서버로 송신하는 단계; 및
    상기 공급 서버가 상기 검수자 단말로부터 상기 제1대응 결과를 수신하는 단계;를 포함하고,
    상기 샘플 가이드 정보는 샘플 작업 문서 및 샘플 작업 과정을 녹화한 영상 중 적어도 하나를 포함하는 인공지능(AI) 학습 및 검수 자동화 시스템의 제어 방법.
  2. 제1항에 있어서,
    상기 공급 서버가 상기 제1대응 결과에 따라 상기 제1대응 결과를 송신한 검수자 단말을 변환 작업자로 인식하고, 상기 작업 결과물을 송신한 상기 작업자 단말을 변환 검수자로 인식하는 단계;
    상기 공급 서버가 상기 제1대응 결과에 포함된 작업 결과물을 상기 변환 검수자로 인식된 작업자 단말로 송신하는 단계;
    상기 변환 검수자로 인식된 작업자 단말이 상기 제1대응 결과에 포함된 작업 결과물을 수신하는 단계;
    상기 변환 검수자로 인식된 작업자 단말이 상기 제1대응 결과에 포함된 작업 결과물에 대한 제2대응 결과를 획득하는 단계;
    상기 변환 검수자로 인식된 작업자 단말이 상기 제2대응 결과를 상기 공급 서버로 송신하는 단계; 및
    상기 공급 서버가 상기 변환 검수자로 인식된 작업자 단말로부터 상기 제2대응 결과를 수신하는 단계;를 포함하는 인공지능(AI) 학습 및 검수 자동화 시스템의 제어 방법.
  3. 삭제
  4. 제1항에 있어서,
    상기 공급 서버가 상기 의뢰자 단말로부터 샘플 검수 가이드 정보를 수신하는 단계; 및
    상기 공급 서버가 상기 검수자 단말로 상기 샘플 검수 가이드 정보를 송신하는 단계;를 포함하고,
    상기 검수자 단말은 상기 샘플 검수 가이드 정보에 기초해 상기 제1대응 결과를 획득하기 위한 과정을 수행하는 인공지능(AI) 학습 및 검수 자동화 시스템의 제어 방법.
  5. 의뢰자 단말로부터 라벨링 작업물을 수신하고, 상기 라벨링 작업물을 작업자 단말로 송신하고, 상기 의뢰자 단말로부터 샘플 가이드 정보를 수신하고, 상기 샘플 가이드 정보에 기초해 샘플 모델을 학습시키고, 상기 작업자 단말로부터 작업 결과물을 수신하고, 상기 작업자 단말로부터 수신한 상기 작업 결과물과 학습된 상기 샘플 모델의 작업 결과물을 비교하고, 상기 샘플 가이드 정보 대비 상기 작업 결과물의 정확도를 산출하고, 상기 산출된 작업 결과물의 정확도를 상기 작업자 단말로 송신하고, 상기 작업 결과물을 검수자 단말로 송신하고, 상기 검수자 단말로부터 상기 작업 결과물에 대한 제1대응 결과를 수신하는 공급 서버;
    상기 공급 서버로부터 상기 라벨링 작업물을 수신하고, 상기 공급 서버로 작업 결과물을 송신하고, 상기 작업 결과물의 정확도를 수신하는 작업자 단말; 및
    상기 공급 서버로부터 상기 작업 결과물을 수신하고, 상기 작업 결과물에 대한 제1대응 결과를 획득하고, 상기 제1대응 결과를 상기 공급 서버로 송신하는 검수자 단말;을 포함하고,
    상기 샘플 가이드 정보는 샘플 작업 문서 및 샘플 작업 과정을 녹화한 영상 중 적어도 하나를 포함하는 인공지능(AI) 학습 및 검수 자동화 시스템.
KR1020200162632A 2020-11-27 2020-11-27 인공지능(ai) 학습 및 검수 자동화 시스템 및 이의 제어 방법 KR102382030B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200162632A KR102382030B1 (ko) 2020-11-27 2020-11-27 인공지능(ai) 학습 및 검수 자동화 시스템 및 이의 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200162632A KR102382030B1 (ko) 2020-11-27 2020-11-27 인공지능(ai) 학습 및 검수 자동화 시스템 및 이의 제어 방법

Publications (1)

Publication Number Publication Date
KR102382030B1 true KR102382030B1 (ko) 2022-03-31

Family

ID=80934733

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200162632A KR102382030B1 (ko) 2020-11-27 2020-11-27 인공지능(ai) 학습 및 검수 자동화 시스템 및 이의 제어 방법

Country Status (1)

Country Link
KR (1) KR102382030B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102484694B1 (ko) * 2022-11-01 2023-01-09 주식회사 큐로드 긱 워커 qa 플랫폼 작업자의 업무 퀄리티 검수 및 리워드 산정 방법, 장치 및 컴퓨터 프로그램

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101887415B1 (ko) * 2017-11-21 2018-08-10 주식회사 크라우드웍스 데이터 라벨링 작업 검수방법 및 프로그램
US20190114320A1 (en) * 2017-10-17 2019-04-18 Tata Consultancy Services Limited System and method for quality evaluation of collaborative text inputs
KR102156586B1 (ko) * 2020-05-08 2020-09-17 주식회사 크라우드웍스 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 작업 및 검수의 순차적인 배정 방법
KR102164837B1 (ko) * 2020-05-07 2020-10-14 주식회사 크라우드웍스 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 비용 효율적인 검수 품질 관리 방법
KR102176443B1 (ko) 2019-11-18 2020-11-09 셀렉트스타 주식회사 데이터 라벨링을 위한 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190114320A1 (en) * 2017-10-17 2019-04-18 Tata Consultancy Services Limited System and method for quality evaluation of collaborative text inputs
KR101887415B1 (ko) * 2017-11-21 2018-08-10 주식회사 크라우드웍스 데이터 라벨링 작업 검수방법 및 프로그램
KR102176443B1 (ko) 2019-11-18 2020-11-09 셀렉트스타 주식회사 데이터 라벨링을 위한 방법 및 장치
KR102164837B1 (ko) * 2020-05-07 2020-10-14 주식회사 크라우드웍스 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 비용 효율적인 검수 품질 관리 방법
KR102156586B1 (ko) * 2020-05-08 2020-09-17 주식회사 크라우드웍스 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 작업 및 검수의 순차적인 배정 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102484694B1 (ko) * 2022-11-01 2023-01-09 주식회사 큐로드 긱 워커 qa 플랫폼 작업자의 업무 퀄리티 검수 및 리워드 산정 방법, 장치 및 컴퓨터 프로그램

Similar Documents

Publication Publication Date Title
US12003585B2 (en) Session-based information exchange
CN109067893A (zh) 智能设备故障处理方法、装置、终端及服务器
KR102589256B1 (ko) 영상 통화 중 시설물 정보를 추출하여 제공하는 서버의 제어 방법, 및 시스템
CN111179935A (zh) 一种语音质检的方法和设备
CN111831875A (zh) 数据处理方法、装置、设备和存储介质
KR102382030B1 (ko) 인공지능(ai) 학습 및 검수 자동화 시스템 및 이의 제어 방법
CN112995690A (zh) 直播内容品类识别方法、装置、电子设备和可读存储介质
CN116822924A (zh) 工作流配置方法、装置、设备及存储介质
KR102234821B1 (ko) 빅 데이터 및 머신 러닝 모델을 이용한 제품의 가격 예측을 수행하는 전자장치 및 그 동작 방법
CN114008621A (zh) 确定关于会议中的主题的观察
KR102155793B1 (ko) 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 작업단가 관리 방법 및 장치
CN111428806B (zh) 图像标签确定方法、装置、电子设备及存储介质
CN117520497A (zh) 大模型交互处理方法、系统、终端、设备及介质
CN117520498A (zh) 基于虚拟数字人交互处理方法、系统、终端、设备及介质
CN104765686B (zh) 测试应用程序的方法及装置
CN116029673A (zh) 业务审批数据抽样评价方法、装置、设备及存储介质
CN114742522B (zh) 一种勘察设计图自动对比方法、系统、装置及存储介质
CN116415595A (zh) 对话意图识别方法、系统和存储介质
CN114844985A (zh) 数据质检方法、装置、设备及存储介质
CN115080418A (zh) 自动化测试方法、装置、电子设备和计算机可读存储介质
US20220109754A1 (en) Techniques for managing softphone repositories and establishing communication channels
US20200311741A1 (en) Methods and systems for validating order request
CN114782110A (zh) 基于逻辑回归二分类与jmts的需求挖掘方法及系统
CN113468541A (zh) 运行环境识别方法、装置、电子设备和存储介质
CN116057915A (zh) 用于意图消息传递的系统和方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant