KR102155869B1 - 봇 구별 테스트를 활용한 크라우드 소싱 기반의 데이터 수집 방법 - Google Patents

봇 구별 테스트를 활용한 크라우드 소싱 기반의 데이터 수집 방법 Download PDF

Info

Publication number
KR102155869B1
KR102155869B1 KR1020190111262A KR20190111262A KR102155869B1 KR 102155869 B1 KR102155869 B1 KR 102155869B1 KR 1020190111262 A KR1020190111262 A KR 1020190111262A KR 20190111262 A KR20190111262 A KR 20190111262A KR 102155869 B1 KR102155869 B1 KR 102155869B1
Authority
KR
South Korea
Prior art keywords
user
online service
bot
work
service server
Prior art date
Application number
KR1020190111262A
Other languages
English (en)
Inventor
박민우
이준호
Original Assignee
주식회사 크라우드웍스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 크라우드웍스 filed Critical 주식회사 크라우드웍스
Priority to KR1020190111262A priority Critical patent/KR102155869B1/ko
Priority to PCT/KR2020/010389 priority patent/WO2021049763A1/ko
Priority to JP2020149020A priority patent/JP6906093B2/ja
Application granted granted Critical
Publication of KR102155869B1 publication Critical patent/KR102155869B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Security & Cryptography (AREA)
  • Operations Research (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Quality & Reliability (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

봇 구별 테스트를 활용한 크라우드 소싱 기반의 데이터 수집 방법이 제공된다. 상기 방법은 스크립트 코드를 제공하되, 상기 스크립트 코드는 온라인 서비스 서버가 제공하는 소정의 온라인 서비스의 봇 구별 테스트가 필요한 특정 웹 페이지의 소스 코드에 삽입되어 위젯이 설치되도록 하는 것인, 스크립트 코드 제공 단계, 상기 온라인 서비스의 사용자가 상기 특정 웹 페이지에 접속 시 또는 상기 특정 웹 페이지에 설치된 위젯의 로딩 시, 상기 사용자의 고유키 값이 부여된 작업 셋을 상기 사용자에게 할당하고, 상기 위젯을 통해서 상기 작업 셋을 노출시키며, 상기 사용자의 고유키 값을 상기 온라인 서비스 서버에 전달하는, 작업 셋 할당 단계, 상기 사용자에 의해 수행된 작업 셋의 작업 결과를 수신하는 단계, 상기 작업 결과에 대한 검증을 수행하여 사용자의 봇 여부를 구별하는 단계, 검증 결과를 기반으로 인공지능 학습을 위한 데이터를 수집하는 단계, 상기 검증 결과를 상기 온라인 서비스 서버로 전달하여, 상기 온라인 서비스 서버가 상기 사용자의 상기 특정 웹 페이지에 대한 접속 승인 여부를 결정할 수 있도록 하는 단계 및 상기 온라인 서비스 서버로부터 상기 검증 결과를 기반으로 수익금을 요청받는 단계를 포함한다.

Description

봇 구별 테스트를 활용한 크라우드 소싱 기반의 데이터 수집 방법{METHOD FOR COLLECTING DATA BASED ON CROWD SOURCING USING BOT DISTINGUISHING TEST}
본 발명은 봇 구별 테스트를 활용한 크라우드 소싱 기반의 데이터 수집 방법에 관한 것이다.
사용자가 온라인 서비스를 이용하기 위해 웹사이트 또는 어플리케이션에 접속할 때, 서버는 캡차(Completely Automated Public Turing test to tell Computers and Humans Apart, CAPTCAHA)를 제공하여, 사용자가 봇인지 사람인지를 판단한다.
구체적으로, 사용자가 온라인 서비스를 이용하기 위해 웹사이트 또는 어플리케이션에 회원가입할 때, 또는 아이디/비밀번호를 찾을 때, 서버는 사용자에게 캡차 문제를 제공하여 사용자가 캡차 문제를 풀도록 한다. 사용자가 캡차 문제를 통과하면, 서버는 사용자가 사람인 것으로 판단하여 서비스를 이용할 수 있도록 한다.
사용자의 봇 여부를 판단하기 위해 사용자에게 제공하는 캡차 문제는 다양한 종류가 있다. 예를 들어, 사용자에게 왜곡된 텍스트를 캡차 문제로 제공하여 해당 텍스트가 나타내는 내용을 입력하게 할 수 있다. 또한, 사용자에게 특정 단어가 잡음에 섞인 오디오를 캡차 문제로 제공하여 사용자에게 들리는 단어를 입력하게 할 수 있다. 또한, 사용자에게 특정 사물의 이미지가 하나 이상 제시된 이미지를 캡차 문제로 제공하여 사용자에게 사물의 이름을 입력하게 할 수 있다.
캡차는 위에서 언급한 회원가입을 하거나 또는 아이디/비밀번호를 찾는 경우 이외에도, 다양한 상황에 적용된다. 예를 들어, 광고성 게시물을 방지하기 위해 캡차가 적용될 수 있고, 이메일 주소를 보호하기 위해 캡차가 적용될 수 있고, 온라인 투표 시에 캡차가 적용될 수 있고, 계정 해킹을 방지하기 위해 캡차가 적용될 수 있고, 또한 인공지능 개발을 위해 캡차가 적용될 수도 있다.
그러나, 캡차를 이용한 봇 여부 판단 시스템에 있어서, 사용자가 캡차 문제를 통과해도 이에 대한 보상이 없기 때문에, 사용자는 캡차 문제를 푸는 것에 귀찮음을 느껴 의욕적으로 문제를 풀려고 하지 않는다. 따라서, 사용자가 온라인 서비스를 이용함에 있어서 캡차가 장벽으로 작용한다는 문제점이 있다.
또한, 사용자에 의해 수행된 캡차 문제의 결과 데이터는 단지 사용자가 봇인지 사람인지를 판단하기 위해서만 사용되고 있다. 따라서, 캡차를 이용한 봇 여부 판단 시스템은 수많은 사용자에 의해 수행된 수많은 결과 데이터를 실용적이고 효율적으로 사용하고 있지 않다는 문제점이 있다.
한편, 종이책의 디지털화 과정에서 OCR 적용이 어려운 텍스트를 해독하기 위해 캡차가 적용되는데, 이를 리캡차(reCAPTCHA)라고 한다. 그러나, 리캡차 방식에 있어서, 캡차 문제를 제공하는 기업 측은 데이터 수집이라는 혜택을 가질 수 있지만, 캡차 문제를 풀어내는 사용자에게는 어떠한 보상도 제공되지 않는다는 문제점이 있다.
공개특허공보 제10-2014-0095956호, 2014.08.04.
본 발명이 해결하고자 하는 과제는 봇 구별 테스트를 활용한 크라우드 소싱 기반의 데이터 수집 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 봇 구별 테스트를 활용한 크라우드 소싱 기반의 데이터 수집 방법은, 스크립트 코드를 제공하되, 상기 스크립트 코드는 온라인 서비스 서버가 제공하는 소정의 온라인 서비스의 봇 구별 테스트가 필요한 특정 웹 페이지의 소스 코드에 삽입되어 위젯이 설치되도록 하는 것인, 스크립트 코드 제공 단계, 상기 온라인 서비스의 사용자가 상기 특정 웹 페이지에 접속 시 또는 상기 특정 웹 페이지에 설치된 위젯의 로딩 시, 상기 사용자의 고유키 값이 부여된 작업 셋을 상기 사용자에게 할당하고, 상기 위젯을 통해서 상기 작업 셋을 노출시키며, 상기 사용자의 고유키 값을 상기 온라인 서비스 서버에 전달하는, 작업 셋 할당 단계, 상기 사용자에 의해 수행된 작업 셋의 작업 결과를 수신하는 단계, 상기 작업 결과에 대한 검증을 수행하여 사용자의 봇 여부를 구별하는 단계, 검증 결과를 기반으로 인공지능 학습을 위한 데이터를 수집하는 단계, 상기 검증 결과를 상기 온라인 서비스 서버로 전달하여, 상기 온라인 서비스 서버가 상기 사용자의 상기 특정 웹 페이지에 대한 접속 승인 여부를 결정할 수 있도록 하는 단계, 및 상기 온라인 서비스 서버로부터 상기 검증 결과를 기반으로 수익금을 요청받는 단계를 포함한다.
본 발명의 일부 실시예에서, 상기 사용자의 고유키 값은 상기 작업 셋이 할당된 사용자의 식별 정보와 연계되어 상기 온라인 서비스 서버에 의해 저장될 수 있다.
본 발명의 일부 실시예에서, 상기 사용자의 고유키 값은 상기 작업 셋에 상응하는 상기 데이터의 식별 정보 및 상기 작업 셋에 대한 작업 단가 정보와 연계되어 상기 컴퓨터에 의해 저장될 수 있다.
본 발명의 일부 실시예에서, 상기 작업 셋은 n개(n은 5보다 큰 자연수)의 작업으로 구성되고, 상기 n개의 작업 중 m개(m은 2보다 큰 자연수)의 작업은 정답이 있는 함정 작업으로 미리 설정될 수 있다.
또한, 상기 작업 결과에 대한 검증을 수행하여 사용자의 봇 여부를 구별하는 단계는, 상기 사용자가 상기 m개의 함정 작업 중 적어도 하나를 소정 횟수 이상 실패하면, 상기 사용자를 봇으로 구별하는 단계를 포함하고, 상기 검증 결과를 기반으로 데이터를 수집하는 단계는, 상기 사용자가 봇으로 구별되면, 상기 사용자가 수행한 작업 결과를 모두 삭제하는 단계를 포함할 수 있다.
또한, 상기 작업 결과에 대한 검증을 수행하여 사용자의 봇 여부를 구별하는 단계는, 상기 사용자가 상기 m개의 함정 작업을 모두 통과하면, 상기 사용자를 사람으로 구별하는 단계를 포함하고, 상기 검증 결과를 기반으로 데이터를 수집하는 단계는, 상기 사용자가 사람으로 구별되면, 상기 사용자가 수행한 (n-m)개의 작업 결과를 검수 없이 데이터로 수집하는 단계를 포함할 수 있다.
본 발명의 일부 실시예에서, 상기 온라인 서비스 서버로부터 상기 검증 결과를 기반으로 수익금을 요청받는 단계는, 상기 온라인 서비스 서버로부터 특정 사용자의 식별 정보에 상응하는 특정 사용자의 고유키 값을 제공받는 단계, 및 상기 온라인 서비스 서버에게 상기 사용자의 고유키 값에 상응하는 작업 셋과 관련한 데이터의 식별 정보 및 상기 사용자의 고유키 값에 상응하는 작업 셋과 관련한 작업 단가 정보를 제공하는 단계를 포함할 수 있다.
본 발명의 일부 실시예에서, 상기 수익금 중 상기 온라인 서비스 서버에 의해 결정된 소정 비율의 금액은 상기 온라인 서비스 서버에 의해 해당 작업 셋을 수행한 사용자에게 보상으로 제공될 수 있다.
본 발명의 일부 실시예에서, 특정 사용자에게 작업 셋을 할당한 뒤 소정 시간이 지난 뒤에도 작업 결과가 수신되지 않는 경우, 상기 사용자에게 할당된 작업 셋을 취소하고, 이후에 상기 특정 웹 페이지에 접속한 다른 사용자에게 해당 작업 셋을 재할당할 수 있다.
상술한 과제를 해결하기 위한 본 발명의 다른 면에 따른 컴퓨터 프로그램은, 하드웨어인 컴퓨터와 결합되어, 상술한 봇 구별 테스트를 활용한 크라우드 소싱 기반의 데이터 수집 방법을 실행시키기 위하여 컴퓨터 판독가능 기록 매체에 저장된다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
상기와 같은 본 발명의 봇 구별 테스트를 활용한 크라우드 소싱 기반의 데이터 수집 방법에 따르면, 온라인 서비스 사용자에게 크라우드 소싱 기반의 작업을 제공하여 작업을 수행하게 하고, 사용자로부터 입력받은 작업 결과를 검증함으로써, 온라인 서비스 사용자의 봇 여부를 구별하는 동시에 크라우드 소싱 기반의 작업 결과를 통해서 목적하는 데이터를 수집할 수 있다.
또한, 봇 여부 테스트를 통과한 사용자에게 보상을 지급함으로써, 캡차 문제를 푸는 데 있어서 사용자에게 동기를 부여할 수 있고, 회원 가입 등에 장벽 요소를 제거할 수 있다.
또한, 봇 구별 테스트 목적으로 크라우드 소싱 기반의 작업을 제공함으로써 상기 작업에 참여 가능한 대중의 수가 현저하게 증가하여, 목적하는 데이터의 수집의 양을 증가시키고 품질을 개선시킬 수 있다.
또한, 봇 여부 테스트 결과를 크라우드 소싱 기반의 데이터로 활용함으로써, 보다 실용적으로 봇 여부를 판단하고, 보다 효율적으로 크라우드 소싱 기반의 데이터 수집할 수 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 크라우드 소싱 서비스의 개념도이다.
도 2는 본 발명의 일 실시예에 따른 크라우드 소싱 기반의 프로젝트의 진행 프로세스를 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 봇 구별 테스트를 활용한 크라우드 소싱 기반의 데이터 수집 시스템의 구성도이다.
도 4는 본 발명의 일 실시예에 따른 봇 구별 테스트를 활용한 크라우드 소싱 기반의 데이터 수집 시스템의 전체적인 프로세스를 설명하기 위한 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 봇 구별 테스트를 활용한 크라우드 소싱 기반의 데이터 수집 방법의 개략적인 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 캡차 대신 위젯 형태의 작업 셋이 제공되는 상황을 설명하기 위한 예시도이다.
도 7은 본 발명의 일 실시예에 따른 함정 작업을 포함하는 작업 셋을 설명하기 위한 예시도이다.
도 8은 본 발명의 일 실시예에 따른 각 사용자의 작업 성공에 따른 수익금 조회를 설명하기 위한 예시도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 크라우드 소싱 서비스의 개념도이다.
도 1을 참조하면, 크라우드 소싱 서비스는 의뢰자(10), 서비스 제공 업체(20) 및 대중(30)으로 구성되어 수행된다.
의뢰자(10)는 크라우드 소싱 기반의 프로젝트(이하, 프로젝트)를 의뢰하는 기업이나 개인을 의미한다.
의뢰자(10)는 소스 데이터의 수집 또는 데이터 어노테이션 등을 목적으로 프로젝트를 의뢰한다. 소스 데이터의 수집은 녹음된 음성 수집, 사진 수집 등 가공되지 않은 데이터를 수집하는 것을 의미한다. 데이터 어노테이션은 텍스트, 사진, 비디오 등의 소스 데이터에 관련 주석 데이터를 입력하는 것을 의미한다. 예들 들어, 데이터 어노테이션은 주어진 지문에서 개체를 찾는 것, 유사한 문장을 찾는 것 등이 있을 수 있으나 이에 제한되지 않는다.
서비스 제공 업체(20)는 크라우드 소싱 서비스를 제공하는 기업을 의미한다.
서비스 제공 업체(20)는 의뢰자(10)로부터 제품 또는 서비스에 대한 프로젝트를 의뢰 받으면, 해당 프로젝트에 대한 작업을 일반 대중(30)에게 배정하여 대중(30)으로부터 작업 결과를 제공받는다. 이후, 작업 결과를 기반으로 추출된 최종 산출물을 의뢰자(10)에게 제공한다.
이때, 서비스 제공 업체(20)는 크라우드 소싱 플랫폼(이하, 플랫폼)을 통해 의뢰자(10) 및 대중(30)에게 크라우드 소싱 서비스를 제공한다. 즉, 서비스 제공 업체(20)는 의뢰자(10)로부터 프로젝트를 의뢰 받으면, 플랫폼에 프로젝트를 오픈한다. 이후, 대중(30)으로부터 오픈된 프로젝트에 대한 작업 결과를 제공받으면, 해당 프로젝트를 플랫폼 상에서 종료하고, 최종 산출물을 추출하여 의뢰자(10)에게 제공할 수 있다.
대중(30)은 플랫폼에 오픈된 프로젝트에 참여하는 일반 대중을 의미한다. 여기서, 대중(30)은 서비스 제공 업체(20)가 제공하는 애플리케이션 또는 웹사이트 등을 통해 플랫폼에 오픈된 프로젝트에 참여할 수 있다.
대중(30)은 작업자(32) 및 검수자(34)로 구성된다.
작업자(32)는 플랫폼에 오픈된 복수의 프로젝트 중 특정 프로젝트에 참여를 결정한다. 이후, 작업자(32)는 소스 데이터의 수집 또는 데이터 어노테이션 등의 작업을 수행하고, 이를 플랫폼에 전송한다.
검수자(34)는 플랫폼에 오픈된 복수의 프로젝트 중 특정 프로젝트에 참여를 결정한다. 이후, 검수자(34)는 작업자(32)가 수행한 작업 결과에 대한 검수를 수행한다. 검수자(34)는 검수 수행 결과로서, 작업 통과 또는 반려를 할 수 있고, 작업 반려 시 반려 사유를 입력할 수 있다.
도 2는 본 발명의 일 실시예에 따른 크라우드 소싱 기반의 프로젝트의 진행 프로세스를 설명하기 위한 흐름도이다.
먼저, 의뢰자(10)가 서비스 제공 업체(20)로 프로젝트를 의뢰한다(S41).
이후, 서비스 제공 업체(20)는 의뢰된 프로젝트를 플랫폼 상에 오픈한다 (S42). 이때, 서비스 제공 업체(20)는 프로젝트 오픈 전에, 해당 프로젝트의 난이도 등을 고려하여 등급을 결정한다. 즉, 난이도에 따라 어떤 등급 이상의 대중(30)에게 해당 프로젝트를 노출시킬지를 결정한다. 이에 따라, 프로젝트의 작업 결과의 신뢰도를 높일 수 있게 된다.
이후, 서비스 제공 업체(20)는 프로젝트의 등급에 따라 해당 등급 이상의 작업자(32)에게 작업을 배정한다(S43).
이후, 작업자(32)는 배정된 작업을 수행하게 된다(S44). 이때, 작업자(32)는 어떤 이유에 의해 작업 자체가 불가능한 작업에 대해서는 작업을 수행하지 않고 작업 불가 사유를 입력할 수 있다.
이후, 서비스 제공 업체(20)는 작업자(32)로부터 작업 결과를 제공받고(S45), 해당 작업 결과에 대한 검수 작업을 검수자(34)에게 배정한다(S46).
이후, 검수자(34)는 배정된 검수를 수행하게 된다(S47). 이때, 검수자(34)는 작업이 제대로 수행된 것으로 판단하면 검수 통과를 결정하고, 검수 작업이 잘못된 것으로 판단하면 반려를 결정한다. 반려 결정 시, 검수자(34)는 어떤 이유로 작업이 잘못된 것으로 판단했는지에 대한 반려 사유를 입력한다.
이후, 서비스 제공 업체(20)는 검수자(34)로부터 검수 결과를 제공받는다(S48).
검수 결과가 통과인 경우, 서비스 제공 업체(20)는 해당 작업 결과를 유효한 데이터로 사용하여, 이를 기반으로 하여 프로젝트 종료 시 최종 산출물을 추출하게 된다.
검수 결과가 반려인 경우, 서비스 제공 업체(20)는 내부적으로 검수를 다시 수행하거나, 작업자(32)에게 다시 작업을 배정하여 작업을 수행하게 할 수도 있다.
이후, 서비스 제공 업체(20)는 프로젝트 기간이 종료되거나 충분한 유효 데이터를 확보하게 되면 해당 프로젝트를 종료하고(S49), 확보된 유효 데이터를 기반으로 최종 결과물을 산출하여 의뢰자(10)에게 제공한다(S50).
이때, 프로젝트 종료 전, 서비스 제공 업체(20)는 작업자(32) 및 검수자(34)의 수행 결과를 평가하고, 평가에 따라 작업 비용 및 검수 비용을 산출하여 작업자(32) 및 검수자(34)에게 지급한다.
도 1 및 도 2에서는 단순히 의뢰자, 서비스 제공 업체, 작업자, 검수자로 표현하였으나, 이들은 각 참여자에 의해서 운용되는 스마트폰, 태블릿, PDA, 랩톱, 데스크톱, 서버 등과 같은 컴퓨터 장치 또는 전기 통신 장치를 의미한다.
이하에서는, 캡차가 제공되어야 하는 상황에서 캡차 대신 크라우드 소싱 기반의 작업을 제공하여, 작업자가 봇인지 또는 사람인지 판단하고 동시에 크라우드 소싱 기반의 작업 데이터를 수집할 수 있는 시스템 및 방법에 대해서 설명하도록 한다.
도 3은 본 발명의 일 실시예에 따른 봇 구별 테스트를 활용한 크라우드 소싱 기반의 데이터 수집 시스템의 구성도이다.
도 3을 참조하면, 봇 구별 테스트를 활용한 크라우드 소싱 기반의 데이터 수집 시스템은 크라우드 소싱 서버(60), 온라인 서비스 서버(70) 및 사용자(80)를 포함한다.
크라우드 소싱 서버(60)는 서비스 제공 업체(20)에 의해 운영되는 서버를 의미한다.
서비스 제공 업체(20)가 사용자의 봇 구별 테스트를 필요로 하는 기업과 파트너십을 맺으면, 크라우드 소싱 서버(60)는 위젯 형태의 작업 셋을 사용자(80)에게 제공하여 작업을 수행하게 한다.
상세하게는, 봇 구별 테스트 목적의 작업 셋이 위젯을 통해서 제공된다. 위젯은 크라우드 소싱 서버(60)로부터 다운받은 스크립트 코드를 온라인 서비스 서버(70)가 제공하는 (봇 구별 테스트를 적용하고자 하는) 특정 웹 페이지의 소스 코드에 삽입함으로써 설치된다. 사용자(80)가 위젯이 설치된 특정 웹 페이지 접근시 또는 특정 웹 페이지에 설치된 위젯의 로딩시 상술한 작업 셋이 할당된다.
서비스 제공 업체(20)는 작업 결과를 이용하여 파트너십을 맺은 기업 대신 사용자의 봇 구별 테스트를 수행하고, 이에 대한 결과를 파트너십을 맺은 기업에게 제공한다.
이후, 크라우드 소싱 서버(60)는 온라인 서비스 서버(70)로부터 사용자(80)가 성공한 작업에 대한 수익금의 조회 또는 지급을 요청받는다.
또한, 크라우드 소싱 서버(60))는 봇 구별 테스트의 결과를 기반으로 데이터를 수집한다.
크라우드 소싱 서버(60)는 데이터베이스(62)(이하, DB라 한다)를 포함하여, 데이터 식별 정보, 사용자의 고유키 값, 작업 단가 정보를 저장하고 관리한다. 여기서, 데이터 식별 정보는 봇 구별 테스트 목적으로 사용자(80)에게 할당된 작업 셋을 통해서 사용자(80)로부터 획득한 데이터의 식별 정보이다. 사용자의 고유키 값은 사용자(80)에게 작업 셋을 할당할 때, 해당 작업 셋에 부여되는 것으로서, 해당 작업 셋을 수행한 사용자를 구별하기 위한 정보이다. 작업 단가 정보는 작업 셋에 포함되는 각 작업에 대한 단가를 나타낸다. 작업 셋마다 작업 단가는 프로젝트의 특성에 따라 다를 수 있기 때문이다.
온라인 서비스 서버(70)는 봇 구별 테스트가 필요한 소정의 온라인 서비스를 제공하며, 서비스 제공 업체(20)와 파트너십을 갖는 기업에 의해 운영되는 서버를 의미한다. 온라인 서비스 서버(70)를 운영하는 기업은 서비스 제공 업체(20)가 제공하는 서비스에 가입함으로써 서비스 제공 업체(20)와 파트너십을 가질 수 있다. 그리고, 온라인 서비스 서버(70)의 관리자는 크라우드 소싱 서버(60)로부터 상술한 스크립트 코드를 다운받을 수 있다.
온라인 서비스 서버(70)는 크라우드 소싱 서버(60)가 수행한 봇 구별 테스트의 결과를 기반으로 사용자에게 온라인 서비스 서버(70)가 제공하는 특정 웹 페이지(모바일 페이지를 포함한다)에 접속을 승인할지 또는 차단할지를 결정한다.
온라인 서비스 서버(70)는 봇 구별 테스트의 결과를 기반으로 성공한 작업에 대한 수익금을 확인하여 크라우드 소싱 서버(60)로 수익금 지급을 요청하고, 확인된 수익금 중 소정 금액은 성공한 작업을 수행한 사용자(80)에게 보상으로 제공한다.
온라인 서비스 서버(70)는 데이터베이스(72)(이하, DB라 한다)를 포함하여, 사용자 식별 정보 및 사용자의 고유키 값을 저장하고 관리한다. 여기서, 사용자 식별 정보는 온라인 서비스 서버(70)가 제공하는 온라인 서비스를 사용하는 사용자를 구별하기 위한 정보로서, 웹 페이지에 로그인하기 위한 아이디나 이메일 주소일 수 있고, 또는 휴대폰 번호, 성명, IMEI(International Mobile Equipment Identity), DUID, 단말모델정보, 단말OS정보, MAC 주소, 접속 IP 주소, 단말시리얼정보 등 임의의 사용자를 식별 가능한 정보를 의미한다. 사용자의 고유키 값은 상술한 바와 같이 작업 셋을 수행한 사용자를 구별하기 위한 정보이다. 사용자의 고유키 값은 크라우드 소싱 서버(60)의 DB(62)와 온라인 서비스 서버(70)의 DB(72) 간에 공유된다. 즉, 온라인 서비스 서버(70)는 사용자의 고유키 값을 이용하여 크라우드 소싱 서버(60)로부터 해당 사용자가 수행한 작업의 수익금을 확인할 수 있게 된다. 사용자의 고유키 값은 후술하는 작업 셋 할당 과정에서 크라우드 소싱 서버(60)로부터 온라인 서비스 서버(70)에게 전달될 수 있다.
사용자(80)는 온라인 서비스 서버(70)의 서비스를 이용하는 사용자로서, 사용자(80)는 온라인 서비스 서버(70)의 서비스를 이용하기 위해 크라우드 소싱 서버(60)로부터 작업 셋을 제공받아 작업을 수행하게 된다. 이 때 사용자(80)는 도 1 내지 도 2를 참고하여 설명한 작업자(32)의 역할을 수행하게 되는 것이다.
상세하게는, 사용자(80)가 온라인 서비스 서버(70)가 제공하는 특정 웹 페이지에 접속했을 때, 예를 들어, 회원 가입을 위한 웹 페이지 또는 아이디/비밀번호 찾기 위한 웹 페이지에 접속했을 때 캡차(CAPTCHA) 입력이 요구되는 상황에서, 크라우드 소싱 서버(60)로부터 캡차 대신 작업 셋을 제공받는다.
사용자(80)가 캡차 대신 작업 셋의 작업을 수행하면, 크라우드 소싱 서버(60)는 작업 셋의 작업 결과를 검증(봇 여부 테스트)하고, 검증 결과를 기반으로 데이터를 수집할 수 있다. 이때, 데이터는 인공지능 학습용으로 활용될 수 있다. 또한, 온라인 서비스 서버(70)는 검증 결과를 기반으로 사용자(80)의 특정 웹 페이지 접속을 허용하거나 차단할 수 있게 된다.
도 3에서는 단순히 사용자로 표현하였으나, 이는 각 사용자에 의해서 운용되는 스마트폰, 태블릿, PDA, 랩톱, 데스크톱, 서버 등과 같은 컴퓨터 장치 또는 전기 통신 장치를 의미한다. 이하에서도 편의를 위해 사용자로 표현하지만, 이는 마찬가지로 각 사용자에 의해서 운용되는 컴퓨터 장치 또는 전기 통신 장치를 의미한다.
도 4는 본 발명의 일 실시예에 따른 봇 구별 테스트를 활용한 크라우드 소싱 기반의 데이터 수집 시스템의 전체적인 프로세스를 설명하기 위한 흐름도이다.
도 4를 참조하면, 단계 S91에서, 크라우드 소싱 서버(60)가 스크립트 코드를 제공하고, 단계 S92에서, 온라인 서비스 서버(70)의 관리자는 크라우드 소싱 서버(60)로부터 제공받은 스크립트 코드를 다운받아 위젯을 설치한다. 상술한 바와 같이, 여기서, 스크립트 코드는 온라인 서비스 서버(70)가 제공하는 특정 웹 페이지의 소스 코드에 삽입되어 해당 웹 페이지에 위젯이 설치되도록 한다.
즉, 온라인 서비스 서버(70)는 사용자의 봇 구별 테스트가 필요한 웹 페이지의 소스 코드에 스크립트 코드를 삽입함으로써, 해당 웹 페이지에 위젯을 설치한다.
단계 S93에서, 사용자(80)가 웹 페이지에 접속하면 위젯이 로딩되고, 단계 S94에서, 크라우드 소싱 서버(60)는 위젯을 통해서 사용자(80)에게 작업 셋을 할당한다.
즉, 온라인 서비스 서버(70)는 봇 구별 테스트가 필요한 웹 페이지에 접속하는 사용자(80)에게 위젯 형태의 작업 셋을 노출시킨다.
예를 들어, 온라인 서비스 서버(70)는 온라인 서비스 서버(70)가 제공하는 서비스에 회원 가입을 요청하거나, 또는 로그인을 하기 위해 아이디/비밀번호 찾기를 요청하는 경우, 해당 사용자(80)가 봇인지 사람인지를 구별해야 한다. 이런 경우, 온라인 서비스 서버(70)는 회원 가입 페이지 또는 아이디/비밀번호 찾기 페이지에 사용자가 접속할 때, 해당 페이지에 위젯 형태의 작업 셋이 노출되도록 한다.
이때, 크라우드 소싱 서버(60)는 사용자(80)가 웹 페이지에 접속 시 또는 특정 웹 페이지에 설치된 위젯의 로딩 시, 사용자(80)에게 작업 셋을 할당하여, 사용자(80)의 화면에 위젯의 형태로 작업 셋이 표시되도록 한다.
단계 S95에서, 사용자(80)는 작업 셋의 작업을 수행하고, 단계 S96에서, 사용자(80)에 의해 수행된 작업 결과가 크라우드 소싱 서버(60)로 제공된다.
단계 S97에서, 크라우드 소싱 서버(60)는 제공된 작업 결과에 대한 검증을 수행한다. 즉, 크라우드 소싱 서버(60)는 작업 셋에 대한 작업 결과를 통해 사용자(80)의 봇 여부를 구별한다.
후술하는 바와 같이, 작업 셋은 복수의 작업으로 구성되며, 복수의 작업 중 적어도 두 개는 크라우드 소싱 서버(60)에 의해 함정 작업으로 설정되어 있다.
따라서, 크라우드 소싱 서버(60)는 복수의 작업 중 함정 작업의 성공 여부를 통해 해당 사용자(80)의 봇 여부를 구별할 수 있게 된다.
사용자(80)가 함정 작업을 성공하지 못하면 크라우드 소싱 서버(60)는 해당 사용자(80)가 수행한 작업 결과를 모두 삭제한다.
반면에, 사용자(80)가 함정 작업을 성공하면, 단계 S98에서, 크라우드 소싱 서버(60)는 해당 사용자(80)가 수행한 작업 결과 중 함정 작업 결과를 제외한 작업 결과를 데이터로 수집한다. 상술한 바와 같이, 여기서 데이터는 인공지능 학습용으로 활용될 수 있는 데이터이다.
단계 S99에서, 크라우드 소싱 서버(60)는 검증 결과를 온라인 서비스 서버(70)로 제공한다. 즉, 크라우드 소싱 서버(60)는 검증 결과를 통해 사용자(80)가 봇인지 사람인지를 구별한 후, 이를 온라인 서비스 서버(70)로 알린다.
이에 따라, 단계 S100에서, 온라인 서비스 서버(70)는 검증 결과를 기반으로 해당 사용자(80)의 특정 웹 페이지에 대한 접속 승인을 하거나 접속 차단을 한다. 즉, 크라우드 소싱 서버(60)로부터 사용자(80)가 사람인 것으로 구별되면, 온라인 서비스 서버(70)는 해당 사용자(80)가 웹 페이지에 접속할 수 있도록 하여 이후 절차를 진행할 수 있도록 한다. 반면에, 크라우드 소싱 서버(60)로부터 사용자(80)가 봇인 것으로 구별되면, 온라인 서비스 서버(70)는 해당 사용자(80)가 웹 페이지에 접속할 수 없도록 하여 이후 절차를 진행할 수 없도록 한다.
단계 S101에서, 온라인 서비스 서버(70)는 성공한 작업을 수행한 사용자(80)에게 보상을 제공한다.
명확하게 도시하지 않았으나, 이전에, 온라인 서비스 서버(70)는 크라우드 소싱 서버(60)가 제공하는 파트너십 기업 전용 페이지(또는 전용 API 등)를 통해 사용자(80)들의 작업 결과 정보를 조회한다. 즉, 전용 페이지에서 DB(72)에 저장된 사용자(80)의 고유키 값을 입력하여, 해당 사용자(80)의 작업 결과 정보와 성공한 작업에 대한 수익금 정보를 확인할 수 있다.
온라인 서비스 서버(70)는 확인된 수익금 중 소정 금액을 해당 작업을 성공한 사용자(80)에게 보상으로 제공할 수 있다. 이때, 보상은 적립금, 포인트, 사이버머니, 쿠폰 등 임의의 마일리지 형태로 제공될 수 있다. 기업은 수익금 100%를 사용자(80)의 보상을 위해 활용할 수도 있고, 운영 관련 비용을 차감한 나머지 금액을 보상으로 활용할 수 있다.
단계 S102에서, 온라인 서비스 서버(70)는 해당 수익금의 지급을 크라우드 소싱 서버(60)로 요청한다. 이후, 서비스 제공 업체(20)는 요청된 수익금에 대한 정산을 수행하여, 온라인 서비스 서버(70)를 운영하는 기업이 수익을 얻을 수 있도록 한다. 도 4에는 사후 정산 형태로 묘사되어 있지만, 실시예에 따라 사전 정산이 가능할 수 있다.
도 5는 본 발명의 일 실시예에 따른 봇 구별 테스트를 활용한 크라우드 소싱 기반의 데이터 수집 방법의 개략적인 흐름도이고, 도 6은 본 발명의 일 실시예에 따른 캡차 대신 위젯 형태의 작업 셋이 제공되는 상황을 설명하기 위한 예시도이고, 도 7은 본 발명의 일 실시예에 따른 함정 작업을 포함하는 작업 셋을 설명하기 위한 예시도이고, 도 8은 본 발명의 일 실시예에 따른 각 사용자의 작업 성공에 따른 수익금 조회를 설명하기 위한 예시도이다.
도 5를 참조하면, 단계 S210에서, 크라우드 소싱 서버(60)가 위젯 설치를 위한 스크립트 코드를 제공하고, 온라인 서비스 서버(70)는 스크립트 코드를 이용하여 특정 웹페이지에 위젯을 설치한다. 이는 도 4를 참조하여 상술한 바와 같다.
단계 S220에서, 크라우드 소싱 서버(60)는 특정 웹 페이지에 접속을 요청하거나 또는 웹 페이지에 설치된 위젯이 로딩될 때, 사용자(80)에게 해당 사용자의 고유키 값이 부여된 작업 셋을 할당한다. 따라서, 사용자(80)에게 할당된 작업 셋이 위젯으로 표시될 수 있도록 한다.
이때, 고유키 값은 작업 셋이 할당된 사용자(80)의 식별 정보와 연계되어 온라인 서비스 서버(70)의 DB(72)에 저장된다. 이에 따라, 이후에 온라인 서비스 서버(70)가 사용자(80)에게 보상을 제공할 때, 고유키 값을 이용하여 해당 사용자의 작업 수익금을 확인할 수 있고, 이와 연계되어 저장된 식별 정보를 통해 해당 사용자(80)에게 수익금 중 일부를 보상으로 제공할 수 있게 된다.
크라우드 소싱 서버(60)는 특정 사용자(80)에게 작업 셋을 할당한 뒤 소정 시간이 지난 뒤에도 작업 결과가 수신되지 않는 경우, 사용자(80)에게 할당된 작업 셋을 취소한다.
구체적으로, 사용자(80)가 할당된 작업 셋을 소정 시간(예를 들어, 10분)이 지나도 완료하지 못한 경우, 크라우드 소싱 서버(60)는 사용자(80)에게 "작업 시간이 초과되었습니다." 등의 메시지 창을 표시한다. 그리고, 소정 시간이 지난 후에 사용자(80)에게 새로운 작업 셋을 할당하고, 사용자(80)가 새로운 작업 셋을 수행할 수 있도록 한다. 만약, 시간 초과에 의해 작업 셋이 반복적으로 취소되게 되면, 크라우드 소싱 서버(60)는 해당 사용자(80)에게 서비스를 이용하는 데 제한을 줄 수 있다. 예를 들어, 소정 기간 동안은 해당 웹 페이지에 접속할 수 없도록 할 수 있다.
그리고 크라우드 소싱 서버(60)는 취소된 작업 셋에 대해서, 동일한 웹 사이트에 접속한 다른 사용자에게 해당 작업 셋을 재할당하여, 다른 사용자가 해당 작업 셋을 수행할 수 있도록 한다.
이는 작업 셋과 관련된 프로젝트의 처리 지연을 방지하기 위한 것이다. 즉, 병목 현상을 방지하기 위한 것이다.
도 6을 참조하면, 사용자(80)의 단말 장치에 로그인 화면이 제공된다. 사용자(80)는 서비스에 가입하기 위해 회원가입(300)을 클릭 또는 터치하거나, 또는 아이디나 비밀번호를 찾기 위해 아이디·비밀번호 찾기(300)를 클릭 또는 터치한다. 그러면, 사용자(80)의 단말 장치에는 캡차 화면 대신 작업 화면(400)이 위젯의 형태로 표시된다.
작업 셋은 복수의 작업으로 구성되어 있다. 도 6(a)에 도시된 바와 같이, 사용자(80)가 “다음”을 클릭 또는 터치하면, 다음 작업 화면으로 전환된다. 도 6(b)에 도시된 바와 같이, 사용자(80)가 맨 마지막 작업까지 모두 수행하면 “완료”를 클릭 또는 터치하여 작업을 끝낼 수 있고, 또는 “작업 더하기”를 클릭 또는 터치하여 할당된 작업 셋 이외의 추가적인 작업을 수행할 수 있게 된다.
다시 도 5를 참조하면, 단계 S230에서, 크라우드 소싱 서버(60)는 사용자(80)가 수행한 작업 결과를 제공받는다.
그리고, 단계 S240에서, 크라우드 소싱 서버(60)는 제공된 작업 결과에 대한 검증을 수행하여 사용자(80)의 봇 여부를 구별하고, 단계 S250에서, 크라우드 소싱 서버(60)는 검증 결과를 기반으로 데이터를 수집한다.
크라우드 소싱 서버(60)가 사용자(80)에게 제공하는 작업 셋은 n개(n은 5보다 큰 자연수)의 작업을 포함하고 있다. 크라우드 소싱 서버(60)는 n개의 작업 중 m개(m은 2보다 큰 자연수)의 작업을 정답이 정해져 있는 함정 작업으로 미리 설정하여 어뷰징(abusing)을 방지할 수 있도록 한다. 즉, 크라우드 소싱 서버(60)는 함정 작업을 미리 설정하여 사용자(80)가 작업을 제대로 수행하는지를 확인함으로써, 불량한 사용자(80)가 작업을 대충 수행하여 이익만 취하려 하는 것을 방지할 수 있다.
이때, m개의 함정 작업은 연속적으로 제공되지 못하도록, 또한 n개 중에서 첫번째 작업으로 노출되지 못하도록 크라우드 소싱 서버(60)에 의해 미리 설정 및 배치된다.
만약, 사용자(80)가 m개의 함정 작업 중 적어도 하나를 소정 횟수 이상 실패하면, 크라우드 소싱 서버(60)는 사용자(80)를 봇으로 구별하여, 해당 사용자(80)가 수행한 작업 결과를 모두 삭제한다. 즉, 해당 사용자(80)에게 할당된 작업 셋에 대하여 전체적으로 실패 처리한다.
예를 들어, 도 6에 도시된 작업 화면(400)이 함정 작업으로 설정된 경우, “오늘 내가 사랑하던 마음이가 하늘나라로 갔어. 마음이가 보고싶어”에 대한 감정의 정답은 “슬픔”으로 정해져 있다. 그런데, 사용자(80)가 해당 문제에 대한 답으로 “슬픔”이 아닌 다른 선택지를 소정 횟수 이상(예를 들어, 3번 이상) 선택하게 되면, 사용자(80)는 작업 실패한 것으로 판단된다. 여기서, 작업은 질문에 대한 답을 선택하는 유형으로 도시되었지만, 작업의 유형에는 제한이 없다.
도 7을 참조하면, 5개의 작업이 제공되고, 그 중 함정 작업이 2번 및 4번에 배치되어 있다. 이때, 함정 작업은 2번 및 5번에 제공될 수도 있고, 3번 및 5번에 제공될 수도 있다.
예를 들어, 사용자(80)가 4번에 배치된 함정 작업을 소정 횟수 이상 틀린 경우, 사용자(80)가 이전에 수행한 1번, 2번, 3번에 대한 작업 결과는 모두 삭제된다. 그리고, 크라우드 소싱 서버(60)는 해당 작업 셋을 실패 처리한다.
반면에, 사용자(80)가 m개의 함정 작업을 모두 통과하면, 크라우드 소싱 서버(80)는 사용자(80)를 사람으로 구별하여, 해당 사용자(80)가 수행한 (n-m)개의 작업 결과를 검수 없이 데이터로 수집한다.
즉, 사용자(80)가 5개의 작업 중에서 2개의 함정 작업을 모두 통과하면, 크라우드 소싱 서버(80)는 사용자(80)를 사람으로 구별하고, 해당 사용자(80)가 수행한 3개의 작업 결과를 추출하여 데이터로 수집한다. 이때, 크라우드 소싱 서버(80)는 3개의 작업 결과에 대한 검수를 진행하지 않고 바로 데이터로 활용한다. 사용자(80)가 작업 수행 시, 함정 작업까지 모두 통과한 것이기 때문에, 사용자(80)가 해당 작업을 올바르게 이해하여 작업을 완료한 것으로 판단되어 검수가 불필요하다.
이때, 크라우드 소싱 서버(60)는 사용자(80)가 수행한 작업 결과에 대한 검증을 수행하여 해당 사용자(80)가 사람인 것으로 구별되면, 해당 사용자(80)에게 할당된 작업 셋에 대해 성공으로 판단한다.
그리고, 크라우드 소싱 서버(60)는 성공으로 판단한 작업 셋에 대한 데이터 아이디, 작업 셋에 부여된 사용자(80)의 고유키 값 및 작업 셋에 대한 작업 단가 정보를 DB(62)에 저장한다.
한편, 크라우드 소싱 서버(60)는 성공 여부와 관계 없이 데이터 아이디, 작업 셋에 부여된 사용자(80)의 고유키 값 및 작업 셋에 대한 작업 단가 정보를 DB(62)에 저장하고, 추가적으로 작업의 성공 또는 실패 여부를 병기하여 저장할 수 있다.
다시 도 5를 참조하면, 단계 S260에서, 크라우드 소싱 서버(60)는 검증 결과를 온라인 서비스 서버(70)로 제공한다.
즉, 크라우드 소싱 서버(60)는 사용자(80)가 봇인지 사람인지를 구별하여 온라인 서비스 서버(70)에 알린다. 온라인 서비스 서버(70)는 사용자(80)가 봇인 것으로 구별되면, 해당 사용자(80)가 특정 웹 페이지에 접근하지 못하게 하여 온라인 서비스를 이용할 수 없도록 한다. 반면에, 온라인 서비스 서버(70)는 사용자(80)가 사람인 것으로 구별되면, 해당 사용자(80)가 특정 웹 페이지에 접근할 수 있게 하여 온라인 서비스를 이용할 수 있도록 한다.
단계 S270에서, 크라우드 소싱 서버(60)는 온라인 서비스 서버(70)로부터 작업 성공한 작업 셋에 대한 수익금 지급을 요청받는다.
상술한 바와 같이, 온라인 서비스 서버(70)는 복수의 사용자(80)가 성공한 작업에 대한 정보를 크라우드 소싱 서버(60)가 제공하는 전용 페이지를 통해 확인할 수 있다.
온라인 서비스 서버(70)는 전용 페이지에 접속하여 예를 들어 시간 순서대로 기록된 복수의 작업 결과 정보를 확인할 수 있다.
온라인 서비스 서버(70)는 DB(72) 내에 저장된 사용자의 고유키 값을 이용하여 개별 사용자의 작업 결과 정보를 확인할 수 있다.
도 8을 참조하면, 온라인 서비스 서버(70)는 특정 사용자(80)의 고유키 값을 전용 페이지에 입력하면, 해당 사용자(80)가 성공한 작업 셋의 데이터 식별 정보, 해당 작업 셋에 부여된 사용자 고유키 값 및 해당 작업 셋의 작업 단가를 확인할 수 있다. 이에 따라, 온라인 서비스 서버(70)는 특정 사용자(80)가 성공한 작업 셋에 대한 수익금을 확인할 수 있다.
온라인 서비스 서버(70)는 수익금 중 일부 금액을 해당 사용자(80)에게 보상으로 제공할 수 있다. 온라인 서비스 서버(70)는 해당 사용자(80)의 고유키 값과 연계되어 저장된 사용자 식별 정보를 확인하여, 해당 사용자(80)에게 자체 온라인 서비스 내에서 보상을 제공할 수 있다. 이때, 보상은 적립금, 포인트, 사이버머니, 쿠폰 등 임의의 마일리지 형태로 제공될 수 있다.
이후, 온라인 서비스 서버(70)는 해당 수익금을 크라우드 소싱 서버(60)로 요청한다. 즉, 온라인 서비스 서버(70)는 사용자(80)에게 수익금 중 일부를 보상으로 제공한 이후에, 크라우드 소싱 서버(60)로 해당 수익금의 지급을 요청할 수 있다.
이후, 서비스 제공 업체(20)는 요청된 수익금을 대한 정산을 주마다 또는 월마다 수행하여, 온라인 서비스 서버(70)를 운영하는 기업이 실제로 수익을 얻을 수 있도록 한다.
이상에서 전술한 본 발명의 일 실시예에 따른 봇 구별 테스트를 활용한 크라우드 소싱 기반의 데이터 수집 방법은, 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.
상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, Ruby, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.
상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.
10 : 의뢰자
20 : 서비스 제공 업체
30 : 대중
32 : 작업자
34 : 검수자
60 : 크라우드 소싱 서버
70 : 온라인 서비스 서버
80 : 사용자

Claims (10)

  1. 컴퓨터에 의해 수행되는,
    봇 구별 테스트를 활용한 크라우드 소싱 기반의 데이터 수집 방법으로서,
    스크립트 코드를 제공하되, 상기 스크립트 코드는 온라인 서비스 서버가 제공하는 소정의 온라인 서비스의 봇 구별 테스트가 필요한 특정 웹 페이지의 소스 코드에 삽입되어 위젯이 설치되도록 하는 것인, 스크립트 코드 제공 단계;
    상기 온라인 서비스의 사용자가 상기 특정 웹 페이지에 접속 시 또는 상기 특정 웹 페이지에 설치된 위젯의 로딩 시, 상기 사용자의 고유키 값이 부여된 작업 셋을 상기 사용자에게 할당하고, 상기 위젯을 통해서 상기 작업 셋을 노출시키며, 상기 사용자의 고유키 값을 상기 온라인 서비스 서버에 전달하는, 작업 셋 할당 단계;
    상기 사용자에 의해 수행된 작업 셋의 작업 결과를 수신하는 단계;
    상기 작업 결과에 대한 검증을 수행하여 사용자의 봇 여부를 구별하는 단계;
    검증 결과를 기반으로 상기 사용자가 수행한 작업 결과를 인공지능 학습을 위한 데이터로 수집하는 단계;
    상기 검증 결과를 상기 온라인 서비스 서버로 전달하여, 상기 온라인 서비스 서버가 상기 사용자의 상기 특정 웹 페이지에 대한 접속 승인 여부를 결정할 수 있도록 하는 단계; 및
    상기 온라인 서비스 서버로부터 상기 검증 결과를 기반으로 수익금을 요청받는 단계를 포함하되,
    상기 작업 셋은 n개(n은 5보다 큰 자연수)의 작업으로 구성되고, 상기 n개의 작업 중 m개(m은 2보다 큰 자연수)의 작업은 정답이 있는 함정 작업으로 미리 설정되는 것이고,
    상기 작업 결과에 대한 검증을 수행하여 사용자의 봇 여부를 구별하는 단계는,
    상기 사용자가 상기 m개의 함정 작업 중 적어도 하나를 소정 횟수 이상 실패하면, 상기 사용자를 봇으로 구별하는 단계; 및
    상기 사용자가 상기 m개의 함정 작업을 모두 통과하면, 상기 사용자를 사람으로 구별하는 단계를 포함하고,
    상기 검증 결과를 기반으로 데이터를 수집하는 단계는,
    상기 사용자가 봇으로 구별되면, 상기 사용자가 수행한 작업 결과를 모두 삭제하는 단계; 및
    상기 사용자가 사람으로 구별되면, 상기 사용자가 수행한 (n-m)개의 작업 결과를 검수 없이 인공지능 학습을 위한 데이터로 수집하는 단계를 포함하는,
    봇 구별 테스트를 활용한 크라우드 소싱 기반의 데이터 수집 방법.
  2. 제1항에 있어서,
    상기 사용자의 고유키 값은 상기 작업 셋이 할당된 사용자의 식별 정보와 연계되어 상기 온라인 서비스 서버에 의해 저장되는 것인,
    봇 구별 테스트를 활용한 크라우드 소싱 기반의 데이터 수집 방법.
  3. 제1항에 있어서,
    상기 사용자의 고유키 값은 상기 작업 셋에 상응하는 상기 데이터의 식별 정보 및 상기 작업 셋에 대한 작업 단가 정보와 연계되어 상기 컴퓨터에 의해 저장되는 것인,
    봇 구별 테스트를 활용한 크라우드 소싱 기반의 데이터 수집 방법.
  4. 삭제
  5. 삭제
  6. 삭제
  7. 제1항에 있어서,
    상기 온라인 서비스 서버로부터 상기 검증 결과를 기반으로 수익금을 요청받는 단계는,
    상기 온라인 서비스 서버로부터 특정 사용자의 식별 정보에 상응하는 특정 사용자의 고유키 값을 제공받는 단계; 및
    상기 온라인 서비스 서버에게 상기 사용자의 고유키 값에 상응하는 작업 셋과 관련한 데이터의 식별 정보 및 상기 사용자의 고유키 값에 상응하는 작업 셋과 관련한 작업 단가 정보를 제공하는 단계를 포함하는,
    봇 구별 테스트를 활용한 크라우드 소싱 기반의 데이터 수집 방법.
  8. 제1항에 있어서,
    상기 수익금 중 상기 온라인 서비스 서버에 의해 결정된 소정 비율의 금액은 상기 온라인 서비스 서버에 의해 해당 작업 셋을 수행한 사용자에게 보상으로 제공되는 것인,
    봇 구별 테스트를 활용한 크라우드 소싱 기반의 데이터 수집 방법.
  9. 제1항에 있어서,
    특정 사용자에게 작업 셋을 할당한 뒤 소정 시간이 지난 뒤에도 작업 결과가 수신되지 않는 경우, 상기 사용자에게 할당된 작업 셋을 취소하고, 이후에 상기 특정 웹 페이지에 접속한 다른 사용자에게 해당 작업 셋을 재할당하는,
    봇 구별 테스트를 활용한 크라우드 소싱 기반의 데이터 수집 방법.
  10. 하드웨어인 컴퓨터와 결합되어, 제1항, 제2항, 제3항, 제7항 내지 제9항 중 어느 하나의 항의 봇 구별 테스트를 활용한 크라우드 소싱 기반의 데이터 수집 방법을 실행시키기 위하여 컴퓨터 판독가능 기록매체에 저장된, 컴퓨터 프로그램.
KR1020190111262A 2019-09-09 2019-09-09 봇 구별 테스트를 활용한 크라우드 소싱 기반의 데이터 수집 방법 KR102155869B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020190111262A KR102155869B1 (ko) 2019-09-09 2019-09-09 봇 구별 테스트를 활용한 크라우드 소싱 기반의 데이터 수집 방법
PCT/KR2020/010389 WO2021049763A1 (ko) 2019-09-09 2020-08-06 봇 구별 테스트를 활용한 크라우드 소싱 기반의 데이터 수집 방법
JP2020149020A JP6906093B2 (ja) 2019-09-09 2020-09-04 ボット判別テストを活用したクラウドソーシング基盤のデータ収集方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190111262A KR102155869B1 (ko) 2019-09-09 2019-09-09 봇 구별 테스트를 활용한 크라우드 소싱 기반의 데이터 수집 방법

Publications (1)

Publication Number Publication Date
KR102155869B1 true KR102155869B1 (ko) 2020-09-14

Family

ID=72471324

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190111262A KR102155869B1 (ko) 2019-09-09 2019-09-09 봇 구별 테스트를 활용한 크라우드 소싱 기반의 데이터 수집 방법

Country Status (3)

Country Link
JP (1) JP6906093B2 (ko)
KR (1) KR102155869B1 (ko)
WO (1) WO2021049763A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220068833A (ko) * 2020-11-19 2022-05-26 주식회사 미션잇 데이터 수집을 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012203902A (ja) * 2011-03-23 2012-10-22 Internatl Business Mach Corp <Ibm> チャレンジ−レスポンス型テストを実装するためのコンピュータ実装方法、システム、プログラム
KR20140095956A (ko) 2013-01-25 2014-08-04 한국전자통신연구원 크라우드 소싱기반 영상 지식 콘텐츠 생성 시스템 및 방법
US20140304833A1 (en) * 2013-04-04 2014-10-09 Xerox Corporation Method and system for providing access to crowdsourcing tasks
KR101658039B1 (ko) * 2015-05-26 2016-09-20 고정봉 문자 조합을 이용한 캡차 및 광고 제공 시스템
US9519766B1 (en) * 2015-09-07 2016-12-13 Voicebox Technologies Corporation System and method of providing and validating enhanced CAPTCHAs

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070277224A1 (en) * 2006-05-24 2007-11-29 Osborn Steven L Methods and Systems for Graphical Image Authentication
US8117458B2 (en) * 2006-05-24 2012-02-14 Vidoop Llc Methods and systems for graphical image authentication
US20080133321A1 (en) * 2006-12-01 2008-06-05 Yahoo! Inc. System and method for measuring awareness of online advertising using captchas
US8315882B2 (en) * 2008-04-14 2012-11-20 International Business Machines Corporation Efficient, peer-to-peer CAPTCHA-based verification and demand management for online services
US9977892B2 (en) * 2015-12-08 2018-05-22 Google Llc Dynamically updating CAPTCHA challenges

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012203902A (ja) * 2011-03-23 2012-10-22 Internatl Business Mach Corp <Ibm> チャレンジ−レスポンス型テストを実装するためのコンピュータ実装方法、システム、プログラム
KR20140095956A (ko) 2013-01-25 2014-08-04 한국전자통신연구원 크라우드 소싱기반 영상 지식 콘텐츠 생성 시스템 및 방법
US20140304833A1 (en) * 2013-04-04 2014-10-09 Xerox Corporation Method and system for providing access to crowdsourcing tasks
KR101658039B1 (ko) * 2015-05-26 2016-09-20 고정봉 문자 조합을 이용한 캡차 및 광고 제공 시스템
US9519766B1 (en) * 2015-09-07 2016-12-13 Voicebox Technologies Corporation System and method of providing and validating enhanced CAPTCHAs
US20170068809A1 (en) * 2015-09-07 2017-03-09 Voicebox Technologies Corporation System and method of providing and validating enhanced captchas

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220068833A (ko) * 2020-11-19 2022-05-26 주식회사 미션잇 데이터 수집을 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR102432338B1 (ko) * 2020-11-19 2022-08-16 주식회사 미션잇 데이터 수집을 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체

Also Published As

Publication number Publication date
WO2021049763A1 (ko) 2021-03-18
JP2021043968A (ja) 2021-03-18
JP6906093B2 (ja) 2021-07-21

Similar Documents

Publication Publication Date Title
US11790062B2 (en) Processing authentication requests to secured information systems based on machine-learned user behavior profiles
US8010674B2 (en) Learning and community-based web aggregation techniques
US20150220933A1 (en) Methods and systems for making secure online payments
US9807085B2 (en) Systems and methods for automated detection of login sequence for web form-based authentication
KR102232866B1 (ko) 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 기능요소 단위 작업 분배 방법
KR102155790B1 (ko) 평균 반려율을 이용한 작업자 능숙도 측정 방법 및 장치
KR102156582B1 (ko) 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 성실 작업자 선별 및 검수 우선순위 부여 방법
KR102232859B1 (ko) 인공지능 학습 데이터 생성을 위한 크라우드소싱 기반 프로젝트의 기능요소 및 난이도에 기반한 작업자 풀 자동 생성 방법
KR102155869B1 (ko) 봇 구별 테스트를 활용한 크라우드 소싱 기반의 데이터 수집 방법
KR102232874B1 (ko) 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 검증용 작업 결과를 활용한 신규 검수자 평가 방법
CN112711640A (zh) 一种业务受理流程配置的方法及装置
KR102155749B1 (ko) 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 기준 작업 시간을 이용한 적정 단가 및 적정 작업량 결정 방법
KR102195606B1 (ko) 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 작업자의 선택적인 셀프 체크를 통한 신뢰도 향상 방법
KR102183812B1 (ko) 인공지능 학습 데이터 생성을 위한 크라우드소싱 기반 프로젝트의 검증용 작업 결과를 이용한 검수자별 시급제 기반 검수 비용 지급 방법
US20220414652A1 (en) Prioritizing Holds When Selecting Transactions for Transaction-Based Knowledge-Based Authentication
KR102155747B1 (ko) 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 반려된 오브젝트 수에 기반하여 최소 재작업 및 재검수 시간을 설정하는 방법
KR102164837B1 (ko) 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 비용 효율적인 검수 품질 관리 방법
KR102164852B1 (ko) 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 긴급도를 고려한 프로젝트 참여 제한 방법
KR102183837B1 (ko) 인공지능 학습 데이터 생성을 위한 크라우드소싱 기반 프로젝트의 검증용 작업을 이용한 작업자별 시급제 기반 작업 비용 지급 방법
KR102155746B1 (ko) 검수자 간 샘플 검수를 통한 검수자 검증 방법
CN113159788A (zh) 交易数据处理方法及装置、存储介质及电子设备
KR102155854B1 (ko) 다양한 문장 수집을 위한 키워드 관리 방법 및 장치
KR102155846B1 (ko) 이전 작업의 반려율을 활용한 샘플링 검수 방법 및 장치
US20230125814A1 (en) Credit score management apparatus, credit score management method, and computer readable recording medium
CN114115628A (zh) 应用于u盾测试的u盾显示信息获取方法、装置、设备、介质及程序产品

Legal Events

Date Code Title Description
GRNT Written decision to grant