KR20170050617A - 크라우드 소싱 기반 지식 검증 시스템 - Google Patents

크라우드 소싱 기반 지식 검증 시스템 Download PDF

Info

Publication number
KR20170050617A
KR20170050617A KR1020150152389A KR20150152389A KR20170050617A KR 20170050617 A KR20170050617 A KR 20170050617A KR 1020150152389 A KR1020150152389 A KR 1020150152389A KR 20150152389 A KR20150152389 A KR 20150152389A KR 20170050617 A KR20170050617 A KR 20170050617A
Authority
KR
South Korea
Prior art keywords
data
knowledge
reliability
evaluation
completion
Prior art date
Application number
KR1020150152389A
Other languages
English (en)
Other versions
KR101772199B1 (ko
Inventor
윤대일
Original Assignee
(주)유미테크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)유미테크 filed Critical (주)유미테크
Priority to KR1020150152389A priority Critical patent/KR101772199B1/ko
Publication of KR20170050617A publication Critical patent/KR20170050617A/ko
Application granted granted Critical
Publication of KR101772199B1 publication Critical patent/KR101772199B1/ko

Links

Images

Classifications

    • G06F17/30303—
    • G06F17/30289—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G06Q50/30—

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Primary Health Care (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Operations Research (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 크라우드 소싱을 기반으로 지식 데이터의 신뢰도를 판단하고, 그에 따라 지식 데이터베이스를 구축할 수 있는 크라우드 소싱 기반 지식 검증 시스템에 관한 것이다.
구체적으로는 지식 수집부를 통해 수집된 미결정 지식 데이터가 저장된 미결정 지식 데이터베이스와 검증된 정답 지식 데이터가 저장된 정답 지식 데이터베이스를 통해 지식 데이터를 추출하고, 상기 지식 데이터가 결합된 평가 세트를 생성하는 평가 세트 생성부; 평가 세트 제공 서버로 상기 평가 세트를 전송하는 평가 세트 전송부; 상기 평가 세트 제공 서버로부터 완료 세트를 수집하는 완료 세트 수집부; 상기 완료 세트의 신뢰도를 판단하는 완료 세트 판단부; 및 상기 완료 세트 검증부에서 전송된 상기 완료 세트의 신뢰도가 설정된 기준치를 만족할 경우 상기 완료 세트를 상기 정답 지식 데이터베이스로 전송하는 데이터 판단부;를 포함하는 것을 특징으로한다.
따라서, 본 발명은 상기 참여자가 상기 평가 세트 제공 서버를 통해 평가 세트를 평가하고 평가 완료된 완료 세트를 판단하여 검증된 데이터를 정답 지식 데이터베이스에 저장할 수 있는 시스템을 제공한다.

Description

크라우드 소싱 기반 지식 검증 시스템{SYSTEM FOR KNOWLEDGE VERIFICATION BASED ON CROWDSOURCING}
본 발명은 크라우드 소싱을 기반으로 지식 데이터의 신뢰도를 판단하고, 그에 따라 지식 데이터베이스를 구축할 수 있는 크라우드 소싱 기반 지식 검증 시스템에 관한 것이다.
구체적으로는 지식 수집부를 통해 수집된 미결정 지식 데이터가 저장된 미결정 지식 데이터베이스와 검증된 정답 지식 데이터가 저장된 정답 지식 데이터베이스를 통해 지식 데이터를 추출하고, 상기 지식 데이터가 결합된 평가 세트를 생성하는 평가 세트 생성부; 평가 세트 제공 서버로 상기 평가 세트를 전송하는 평가 세트 전송부; 상기 평가 세트 제공 서버로부터 완료 세트를 수집하는 완료 세트 수집부; 상기 완료 세트의 신뢰도를 판단하는 완료 세트 판단부; 및 상기 완료 세트 검증부에서 전송된 상기 완료 세트의 신뢰도가 설정된 기준치를 만족할 경우 상기 완료 세트를 상기 정답 지식 데이터베이스로 전송하는 데이터 판단부;를 포함하는 것을 특징으로한다.
따라서, 본 발명은 상기 참여자가 상기 평가 세트 제공 서버를 통해 평가 세트를 평가하고 평가 완료된 완료 세트를 판단하여 검증된 데이터를 정답 지식 데이터베이스에 저장할 수 있는 시스템을 제공한다.
일반적으로 지식 서비스는 인터넷상에 존재하는 각종 문서와 정보를 자연어 처리를 통해 지식 데이터를 만들고 이러한 지식 데이터를 지식 데이터베이스로 저장하여 지식 데이터베이스를 구축한다. 이러한 지식 데이터베이스를 기반으로 사용자는 필요한 지식 서비스를 제공받을 수 있다.
최근 다양한 분야의 지식들이 폭발적으로 증가하면서 지식 데이터베이스에 축적되는 지식 데이터의 양도 증가하고 있다. 특히, 지식 서비스를 사용하는 사용자들이 다양한 지식을 추구하고, 본인의 경험, 지혜, 노하우(know-how) 등의 비전문적인 지식들도 공유하고 싶어하는 욕구가 커지면서 위키(wiki) 시스템과 같이 사용자들이 직접 지식 데이터를 생성하고, 생성된 지식 데이터를 기반으로 하는 웹사이트들이 각광받고 있다.
그러나 위와 같이 생성된 지식 데이터들은 신뢰도를 판단하기 어렵기 때문에 사용자가 올바른 지식인지를 확인할 수 없는 실정이다. 따라서, 이러한 문제점을 해결하기 위해 공개특허공보 제10-2010-0066642호에는 전문가 집단을 통해 지식을 판단할 수 있는 질문과 답변에 의한 지식정보 제공 시스템 및 그 방법(이하, '선행기술 1')가 기재되어 있다.
선행기술 1은 질문과 답변을 게시판에 자동등록되게하고, 질문을 질문의 해당 카테고리 전문가에게 자동으로 메일, SMS, 메신저를 통해 보내고, 질문의 답변을 질문자에게 자동으로 메일, SMS, 메신저를 통해 보내어, 전문적이고 실용적인 답변을 유도하고, 특히 우수한 질문과 답변은 지식 정보로 데이터베이스화하도록 한 질문과 답변에 의한 지식정보 제공 시스템 및 그 방법에 관한 것을 기재하고 있다.
위의 기술은 전문가를 통해 지식(질문)의 정확도 및 신뢰도를 판단할 수 있으나, 방대한 양의 지식을 전문가가 모두 판단하기에는 한계가 있으며, 전문가가 틀린 답변을 질문자에게 전송하더라도 질문자가 그것을 확인할 수 없기 때문에 틀린 답변에 만족하여 시스템이 이를 데이터화 할 우려가 있다.
따라서, 방대한 양의 지식이 판단될 수 있도록 크라우드 소싱을 접목시킬 필요가 있다.
크라우드 소싱(crowd sourcing)이란 대중(crowd)와 외부발주(outsourcing)의 합성어로 생산, 서비스 등 기업활동의 일부 과정에 대중을 참여시키는 것을 뜻하며, 이러한 크라우드 소싱을 통해 많은 사용자들이 지식 데이터 신뢰도 판단에 참여함으로써 지식 데이터의 신뢰도를 검증받을 수 있다.
한편, 위와 같이 사용자의 참여를 통해 신뢰도를 판단하고, 판단된 지식 데이터를 지식 데이터베이스로 축적할 수 잇는 기술로, 등록특허공보 제10-0756382호에는 사용자 제작 콘텐츠 축적 방법 및 그 시스템(이하, '선행기술 2')을 기재하고 있다.
선행기술 2에서는 사용자 제작 콘텐츠를 데이터베이스에 기록하고 유지하는 단계와, 사용자 또는 운영자로부터 상기 사용자 제작 콘텐츠에 대한 수정 요청을 입력 받는 단계와, 상기 수정 요청에 따라 상기 사용자 제작 콘텐츠를 수정하는 단계와, 상기 수정된 사용자 제작 콘텐츠를 상기 데이터베이스에 기록하는 단계 및 상기 사용자의 수정 요청에 따라 수정된 사용자 제작 콘텐츠를 상기 수정 요청을 입력한 사용자에게 제공하고, 상기 운영자의 수정 요청에 따라 상기 수정된 사용자 제작 콘텐츠를 모든 사용자에게 제공하는 단계를 포함하는 것을 특징으로 하는 사용자 제작 콘텐츠 축적 방법을 제공하고 있다.
그러나 선행기술 2는 타인의 확인 및 판단에 의해서 수정 요청이 되어지고, 콘텐츠를 제작한 제작자가 다시 수정함으로써 수정되어질뿐, 수정된 사용자 제작 콘텐츠 또한 정확도 및 신뢰도를 판단할 수 없기 때문에 상기의 문제점을 해결할 수 없다.
따라서, 사용자가 생성한 지식의 정확도 및 신뢰도를 파악할 수 있고, 전문가의 판단 없이도 시스템 내부에서 생성된 지식을 검증할 수 있는 시스템의 개발이 필요하다.
나아가, 크라우드소싱을 통해 지식을 검증하고, 검증된 지식을 데이터화하여 지식 데이터베이스에 저장할 수 있는 기술의 개발이 요구된다.
공개특허공보 제10-2010-0066642호 (2010.06.18.) 등록특허공보 제10-0756382호 (2007.09.10.)
위와 같은 요구에 부응하기 위하여 안출된 것으로, 본 발명의 목적은 검증되지 않은 지식 데이터의 신뢰도를 판단하여 검증할 수 있는 크라우드 소싱 기반 지식 검증 시스템을 제공하는 데 있다.
본 발명의 다른 목적은 크라우드 소싱을 이용함으로써 방대한 양의 지식 데이터를 빠르게 판단하고, 이를 지식 데이터베이스로 구축할 수 있는 크라우드 소싱 기반 지식 검증 시스템을 제공하는 데 있다.
위와 같은 기술적 과제를 해결하기 위한 본 발명에 따른 크라우드 소싱 기반 지식 검증 시스템은,
지식 수집부를 통해 수집된 미결정 지식 데이터가 저장된 미결정 지식 데이터베이스; 검증된 정답 지식 데이터가 저장된 정답 지식 데이터베이스; 상기 미결정 지식 데이터와 정답 지식 데이터가 결합된 평가 세트를 생성하는 평가 세트 생성부; 평가 세트 제공 서버로 상기 평가 세트를 전송하는 평가 세트 전송부; 상기 평가 세트 제공 서버로부터 완료 세트를 수집하는 완료 세트 수집부; 상기 완료 세트의 신뢰도를 판단하는 완료 세트 판단부; 및 상기 완료 세트 검증부에서 전송된 상기 완료 세트의 신뢰도가 설정된 기준치를 만족할 경우 상기 완료 세트를 상기 정답 지식 데이터베이스로 전송하는 데이터 판단부;을 포함하는 것을 기술적 특징으로 한다.
본 발명에 따른 크라우드 소싱 기반 지식 검증 시스템은, 검증되지 않은 지식 데이터의 신뢰도를 판단하고, 이를 검증할 수 있는 현저한 효과를 보유한다.
또한 본 발명은, 크라우드 소싱을 이용하여 지식 데이터 판단 및 지식 데이터베이스 구축을 빠르게 수행할 수 있는 현저한 효과를 보유한다.
또한 본 발명은, 전문가 집단에 비해 빠르게 지식 데이터의 신뢰도를 판단할 수 있고, 신뢰도 산출에 높은 정확도를 갖는 현저한 효과를 보유한다.
도 1은 본 발명인 크라우드 소싱 기반 지식 검증 시스템의 구성을 나타낸 것이다.
도 2는 본 발명의 예시적 실시예에 따른 지식 데이터를 나타낸 것이다.
도 3은 본 발명의 예시적 실시예에 따른 평가 세트 및 완료 세트를 나타낸 것이다.
도 4는 본 발명의 평가 세트 검증부의 제1 실시예를 나타낸 것이다.
도 5은 본 발명의 평가 세트 검증부의 제2 실시예를 나타낸 것이다.
도 6은 본 발명의 예시적 실시예에 따른 난이도 결정 모듈의 난이도 판단의 일 예를 나타낸 것이다.
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 안되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
이하, 도면을 참조하여 설명하기에 앞서, 본 발명의 요지를 드러내기 위해서 필요하지 않은 사항 즉 통상의 지식을 가진 당업자가 자명하게 부가할 수 있는 공지 구성에 대해서는 도시하지 않거나, 구체적으로 기술하지 않았음을 밝혀둔다.
본 발명은 크라우드 소싱을 기반으로 지식 데이터의 신뢰도를 판단하고, 그에 따라 지식 데이터베이스를 구축할 수 있는 크라우드 소싱 기반 지식 검증 시스템에 관한 것이다.
이러한 크라우드 소싱 기반 지식 검증 시스템은 첨부된 도면의 도 1 내지 6을 통해 설명하도록 한다.
도 1은 본 발명인 크라우드 소싱 기반 지식 검증 시스템의 구성을 나타낸 것이며, 도 2는 본 발명의 예시적 실시예에 따른 지식 데이터를 나타낸 것이고, 도 3은 본 발명의 예시적 실시예에 따른 평가 세트 및 완료 세트를 나타낸 것이며, 도 4는 본 발명의 평가 세트 검증부의 제1 실시예를 나타낸 것이고, 도 5은 본 발명의 평가 세트 검증부의 제2 실시예를 나타낸 것이며, 도 6은 본 발명의 예시적 실시예에 따른 난이도 결정 모듈의 난이도 판단의 일 예를 나타낸 것이다.
지식 데이터베이스는 미결정 지식 데이터베이스(10)와 정답 지식 데이터베이스(20)로 나뉘어진다.
미결정 지식 데이터베이스(10)는 지식이 데이터화되어, 지식 데이터베이스에는 저장되었으나 검증되지 않은 미결정 지식 데이터(111)가 저장되어 있다(도 2의 (a) 참조).
이러한 미결정 지식 데이터베이스(10)는 지식 수집부(11)를 통해 지식 데이터를 수집하며, 지식 수집부(11)는 위키(wiki) 시스템을 이용하는 웹사이트 등과 연결되어, 검증되지 않은 미결정 지식 데이터(111)를 수집하게 된다.
위키(wiki)란 인터넷 접속이 가능한 기기의 웹 브라우저를 이용, 간단한 마크업 언어를 통해 사용자가 쉽게 내용을 추가하고, 수정 및 삭제를 할 수 있는 웹사이트를 뜻한다.
정답 지식 데이터베이스(20)는 상기 미결정 지식 데이터베이스(10)와는 대조되는 지식 데이터베이스로 미결정 지식 데이터베이스(10)는 정확도 및 신뢰도가 검증되지 않은 미결정 지식 데이터(111)가 저장된 반면, 정답 지식 데이터베이스(20)는 이미 검증되고, 정확도 및 신뢰도를 확인받은 정답 지식 데이터(112)가 저장되는 곳이다.
정답 지식 데이터(112)는 첨부된 도면의 도 2 중 (b)를 살펴보면 알 수 있듯이, 불변의 법칙이나 역사적으로 검증된 사실과 같이 최고치의 신뢰도 및 정확도를 갖는 지식 데이터들이 저장되어 있다. 또한, 추후에도 수정작업 및 업데이트가 예상되지 않는 지식 데이터들이 저장되어 있다.
평가 세트 제공 서버(30)는 후술될 평가 세트(113)를 다수의 참여자들에게 제공하고, 다수의 참여자들을 통해 평가된 완료 세트(121)를 수집하여 시스템으로 전송하는 역할을 한다.
본 발명인 크라우드 소싱 기반 지식 검증 시스템(100)은 평가 세트 생성부(110), 평가 세트 전송부(120), 완료 세트 수집부(130), 완료 세트 판단부(140) 및 데이터 판단부(150)를 포함하고 있다.
평가 세트 생성부(110)는 미결정 지식 데이터베이스(10)로부터 관리자가 정한 숫자 N개의 미결정 지식 데이터(111)를 추출하고, 같은 방법으로 정답 지식 데이터베이스(20)로부터 관리자가 정한 숫자 M개의 정답 지식 데이터(112)를 추출하여 상기 N개의 미결정 지식 데이터(111)와 M개의 정답 지식 데이터(112)를 결합한 평가 세트(113)를 생성한다. 생성된 평가 세트(113)는 평가 세트 전송부(120)로 전송한다. 이때, 추출되는 미결정 지식 데이터(111) 및 정답 지식 데이터(112)는 임의로 선택되어질 수 있다.
평가 세트 전송부(120)는 상기 평가 세트 생성부(110)에서 생성된 평가 세트(113)를 평가 세트 제공 서버(30)로 전송하여 참여자들이 평가 세트(113) 평가할 수 있도록 한다. 첨부된 도면 중 도 3의 (a)를 살펴보면 평가 세트(113)는 (M+N)개의 지식 데이터가 기재되어 있고, 각각의 지식 데이터를 판단할 수 있는 선택창(113a)를 구비하여 참여자가 선택창(113a)을 통해 (M+N)개의 지식 데이터가 참인지 거짓인지 판단할 수 있도록 한다.
이때, 도 3의 선택창(113a)은 두가지 형상의 원(○,●)으로 표시되며, 이들 중 하나만을 선택할 수 있고, 이 중 내부 공간이 채워진 원(●)은 참여자에 의해 평가(선택)받은 것을 표현한다.
상기 평가 세트 제공 서버(30)에서 다수의 참여자들에 의해 평가받은 평가 세트(113)는 (M+N)개의 지식 데이터가 모두 평가 받았을 경우, 평가가 완료되어 완료 세트(131)로 저장된다. 이러한 완료 세트(131)는 완료 세트 수집부(130)로 전송되어 수집된다.
첨부된 도면 중 도 3의 (b)를 살펴보면, 완료 세트(131)는 선택 결과 표시란(131a)을 통하여 (M+N)개의 지식 데이터가 참여자에 의해 참으로 판단 되었는지, 거짓으로 판단 되었는지를 확인할 수 있다.
위와 같은 완료 세트(131)는 완료 세트 수집부(130)에 수집되었다가, 신뢰도를 판단하기 위해 완료 세트 판단부(140)로 이동하게 된다.
완료 세트 판단부(140)는 상기 완료 세트(131)의 신뢰도를 판단하는 역할을 한다. 이러한 완료 세트 판단부(140)는 완료 세트 분리 모듈(141), 제1 신뢰도 판단 모듈(142) 및 제2 신뢰도 판단 모듈(143)을 포함하고 있다(도 4 참조).
완료 세트 분리 모듈(141)은 상기 완료 세트(141)에 포함된 (M+N)개의 지식 데이터를 제1 데이터와 제2 데이터로 분리한다.
제1 데이터는 정답 지식 데이터베이스(20)로부터 추출된 지식 데이터를 뜻하며, M개의 정답 지식 데이터(112)를 가지게 된다.
제2 데이터는 미결정 지식 데이터베이스(10)로부터 추출된 지식 데이터를 뜻하며, N개의 미결정 지식 데이터(111)를 가지게 된다.
이처럼 완료 세트(131)를 제1 데이터와 제2 데이터로 분리함으로써 신뢰도가 최고치에 도달한 정답 지식 데이터(112)를 통해 제1 데이터의 신뢰도를 판단할 수 있기 때문이다.
제1 신뢰도 판단 모듈(142)은 제1 데이터의 신뢰도를 판단하는 곳으로, 이는 참여자에 의해 참 또는 거짓이라고 평가한 결과를 이용한다.
제1 데이터는 정답 지식 데이터(112)이기 때문에 참여자가 '참'이라고 평가한 경우, 정답으로 처리하고, 참여자가 '거짓'이라고 평가한 경우 오답으로 처리한다.
따라서, 제1 데이터의 CA와 IA를 통해 제1 데이터의 신뢰도를 평가할 수 있는데 평가하는 방법은 다음과 같다.
Figure pat00001
이때, M은 제1 데이터의 개수를 뜻하고, CA(Correct Answer)는 정답으로 처리된 지식 데이터의 개수를 뜻하며, IA(Incorrect Answer)는 오답으로 처리된 지식 데이터의 개수를 뜻한다.
따라서, 제1 데이터의 신뢰도는 다음과 같다.
Figure pat00002
이때, S는 제1 데이터의 신뢰도를 뜻한다.
제2 신뢰도 판단 모듈(143)은 제2 데이터의 신뢰도를 판단하는 곳으로, 상기 제1 신뢰도 평가 모듈(142)을 통해 얻은 제1 데이터의 신뢰도 값을 제2 데이터에 적용시킨다.
이는 참여자가 평가한 제1 데이터를 통해 참여자가 어느 정도의 지식 검증 능력을 가지고 있는지 확인하고 이를 통해 신뢰도를 수학식 2를 통해 추정할 수 있기 때문에 제2 데이터 또한 제1 데이터의 신뢰도와 동일한 것으로 판단될 수 있다.
따라서, 제2 신뢰도 판단 모듈(143)을 통해 제2 데이터 즉, 미결정 지식 데이터(111)의 신뢰도 값을 판단할 수 있다.
이때, 같은 미결정 지식 데이터(111)는 여러 번의 평가가 이뤄질 수 있으며, 다수의 참여자에 의해 생겨난 다수개의 신뢰도는 모두 더하고, 총합에 대한 평균값을 해당 미결정 지식 데이터(11)에 대한 신뢰도로 정한다.
그러나 수학식 2를 통해 계산된 제1 데이터의 신뢰도를 제2 데이터의 신뢰도와 같다고 추정되더라도, 제1 데이터와 제2 데이터의 난이도가 상이하게 차이가 있을 경우 이를 통해 신뢰도를 판단하기에는 우려가 있다.
예를 들어, 상기 평가 세트 생성부(110)에서 난이도가 낮은 M개의 정답 지식 데이터(112)와 일반적으로 잘 알려지지 않고, 난이도가 높은 N개의 미결정 지식 데이터(111)를 결합하여 평가 세트(113)를 생성할 경우, 난이도가 낮은 M개의 정답 지식 데이터(112)에 대해서는 높은 정답률을 보여 높은 신뢰도를 갖게 되지만, 반면 난이도가 높은 N개의 미결정 지식 데이터(111)는 오답률이 높을 확률이 커 실제로는 신뢰도가 낮을 우려가 있다.
따라서, 완료 세트 판단부(140)에서는 다른 실시예로 수학식 2을 이용하는 제1 및 제2 신뢰도 판단모듈(132,133)을 통해 제2 데이터의 신뢰도를 판단하는 것이 아닌 제1 데이터의 난이도를 판단하고, 판단된 난이도에 따라 제2 데이터의 신뢰도를 판단할 수 있는 난이도 결정 모듈(144) 및 제3 신뢰도 판단모듈(135)을 대신 채용할 수 있다(도 5 참조).
난이도 결정 모듈(144)은 제1 데이터의 난이도를 판단하는 곳으로, 제1 난이도를 정답 또는 오답처리하여 얻은 CA값이 높을수록 난이도는 낮다고 판단한다. 이때, 난이도(이하, W)는 0보다 크거나 같고, 1보다 작거나 같은 범위내에 존재한며, 0에 가까울수록 쉬운 지식이며, 1에 가까울수록 어려운 지식에 해당한다. 이때, 제1 데이터 중 임의로 선택한 i번째 지식 데이터의 난이도는
Figure pat00003
로 표시한다.
이때, 제1 데이터의 난이도 합은 정답 처리된 제1 데이터의 난이도의 합과 오답 처리된 제1 데이터의 난이도의 합과 같게된다. 따라서, 제2 데이터에 대한 신뢰도 값은 다음과 같다.
Figure pat00004
이때, S는 제2 데이터의 신뢰도 값을 뜻하며,
Figure pat00005
는 정답 처리된 제1 데이터의 난이도의 합을 뜻하고,
Figure pat00006
는 제1 데이터의 난이도 합을 뜻한다.
따라서, 난이도를 고려하여 신뢰도를 평가함으로써 정확한 신뢰도 값을 산출해 낼 수 있다.
단, 위와 같은 상황에서 고려해야할 사항으로 임의로 선택한 i번째 지식이 평가된 횟수가 Z보다 작은 경우와 큰 경우에 대하여 고려한다. 이때, Z는 '미결정 지식 데이터에 대하여 타당성을 보장하기 위한 기준이 되는 선택 횟수'로 관리자가 임의로 설정할 수 있다. 즉, 참여자에 의해 평가 받은 횟수가 적은 지식 데이터일 수록 신뢰도는 부정확하기 때문이다.
따라서, i번째 지식에 대하여 평가된 횟수(이하, C)가 Z보다 작은 경우 지식에 대한 난이도를 평가할 수 없음으로 중간값인 0.5를 초기 난이도 값으로 설정하여 판단한다. 이러한 경우 판단되는 난이도 값은 수학식 4 및 5와 같다.
Figure pat00007
Figure pat00008
Figure pat00009
Figure pat00010
이때, W는 난이도를 나타내며, A는 특정 지식에 대하여 참이라고 판단한 횟수이고, B는 특정 지식에 대하여 거짓이라고 판단한 횟수이다.
데이터 판단부(150)는 상기 완료 세트 검증부(140)에서 전송된 제2 데이터의 신뢰도가 설정된 기준치를 만족할 경우 상기 제2 데이터를 정답 지식 데이터베이스(20)로 전송하는 역할을 한다.
이러한 과정을 통해 정답 지식 데이터(112) 및 정답 데이터베이스(20)를 증강시킬 수 있는 이점을 갖는다.
상기 기준치는 신뢰도를 기준으로 하는 제1 기준치와 평가에 참여한 참여자의 수를 기준으로 하는 제2 기준치를 포함하며, 제2 데이터가 정답 지식 데이터베이스(20)로 저장될 수 있는지를 판단할 수 있는 근거가 된다.
제1 및 제2 기준치는 관리자가 미리 설정할 수 있는데, 이에 따라 제1 기준치를 관리자가 결정하는 기준 신뢰도 값이 되고, 제2 기준치는 관리자가 결정하는 평가 참여자 수가 된다.
이때, 정답 지식 데이터베이스(20)로 이동하는 제2 데이터의 신뢰도 값은 '(제1 기준치) < (제2 데이터의 신뢰도 값) ≤ 1'의 범위를 갖게 되고, 제2 데이터를 판단하는데 참여한 참여자의 수는 제2 기준치보다 클 때에만 정답 지식 데이터베이스(20)로 이동될 수 있다.
한편, 기준치를 만족하지 못할 경우에는 다시 평가 세트 생성부(110)로 전송되어 새로운 평가 세트(113)로 생성되어진다. 이를 통해 제2 데이터가 많은 참여자에게 판단 받을 수 있도록 한다.
본 발명은 위와 같은 구성 및 실시예를 통해 검증되지 않은 지식 데이터의 신뢰도를 판단하고, 이를 검증할 수 있으며, 크라우드 소싱을 이용하여 지식 데이터 판단 및 지식 데이터베이스 구축을 빠르게 수행할 수 있는 현저한 효과를 보유한다.
또한 본 발명은, 전문가 집단에 비해 빠르게 지식 데이터의 신뢰도를 판단할 수 있고, 신뢰도 산출에 높은 정확도를 갖는 현저한 효과를 보유한다.
한편, 상기에서 도 1 내지 6을 이용하여 서술한 것은, 본 발명의 주요 사항만을 서술한 것으로, 그 기술적 범위내에서 다양한 설계가 가능한 만큼, 본 발명이 도 1 내지 6의 구성에 한정되는 것이 아님은 자명하다.
10: 미결정 지식 데이터베이스 11: 지식 수집부
20: 정답 데이터베이스 30: 평가 세트 제공 서버
100: 크라우드 소싱 기반 지식 검증 시스템
110: 평가 세트 생성부 111: 미결정 지식 데이터
112: 정답 지식 데이터 113: 평가 세트
113a: 선택창 120: 평가 세트 전송부
130: 완료 세트 수집부 131: 완료 세트
131a: 선택 결과 표시란 140: 완료 세트 판단부
141: 완료 세트 분리 모듈 142: 제1 신뢰도 판단 모듈
143: 제2 신뢰도 판단 모듈 144: 난이도 결정 모듈
145: 제3 신뢰도 판단 모듈 150: 데이터 판단부

Claims (7)

  1. 지식 수집부를 통해 수집된 미결정 지식 데이터가 저장된 미결정 지식 데이터베이스와 검증된 정답 지식 데이터가 저장된 정답 지식 데이터베이스를 통해 지식 데이터를 추출하고, 상기 지식 데이터가 결합된 평가 세트를 생성하는 평가 세트 생성부;
    평가 세트 제공 서버로 상기 평가 세트를 전송하는 평가 세트 전송부;
    상기 평가 세트 제공 서버로부터 완료 세트를 수집하는 완료 세트 수집부;
    상기 완료 세트의 신뢰도를 판단하는 완료 세트 판단부; 및
    상기 완료 세트 검증부에서 전송된 상기 완료 세트의 신뢰도가 설정된 기준치를 만족할 경우 상기 완료 세트를 상기 정답 지식 데이터베이스로 전송하는 데이터 판단부;를 포함하는 것을 특징으로 하는 크라우드 소싱 기반 지식 검증 시스템.
  2. 청구항 1에 있어서,
    상기 평가 세트 제공 서버는,
    참여자들에게 상기 평가 세트를 제공하고, 상기 참여자들로부터 평가가 완료된 상기 완료 세트를 상기 완료 세트 수집부로 전송하는 것을 특징으로 하는 크라우드 소싱 기반 지식 검증 시스템.
  3. 청구항 1에 있어서,
    상기 완료 세트 판단부는,
    상기 완료 세트를 제1 데이터와 제2 데이터로 분리하는 완료 세트 분리 모듈을 포함하되,
    상기 제1 데이터는 상기 정답 지식 데이터베이스로부터 추출된 것이고,
    상기 제2 데이터는 상기 미결정 지식 데이터베이스로부터 추출된 것을 특징으로 하는 크라우드 소싱 기반 지식 검증 시스템.
  4. 청구항 3에 있어서,
    상기 완료 세트 판단부는,
    상기 제1 데이터의 신뢰도를 판단하는 제1 신뢰도 판단 모듈; 및
    상기 제2 데이터의 신뢰도를 판단하는 제2 신뢰도 판단 모듈;을 포함하는 것을 특징으로 하는 크라우드 소싱 기반 지식 검증 시스템.
  5. 청구항 3에 있어서,
    상기 완료 세트 판단부는,
    상기 제1 데이터의 난이도를 판단하는 난이도 결정 모듈; 및
    상기 난이도를 이용하여 제2 데이터의 신뢰도를 판단하는 제3 신뢰도 판단 모듈;을 포함하는 것을 특징으로 한다.
  6. 청구항 1에 있어서,
    상기 기준치는,
    상기 신뢰도를 기준으로 하는 제1 기준치; 및
    상기 평가 세트를 평가한 참여자의 수를 기준으로 하는 제2 기준치;를 포함하는 것을 특징으로 하는 크라우드 소싱 기반 지식 검증 시스템.
  7. 청구항 1에 있어서,
    상기 데이터 판단부는,
    상기 완료 세트가 상기 기준치를 만족하지 못할 경우 상기 평가 세트 전송부로 전송하는 것을 특징으로 하는 크라우드 소싱 기반 지식 검증 시스템.
KR1020150152389A 2015-10-30 2015-10-30 크라우드 소싱 기반 지식 검증 시스템 KR101772199B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150152389A KR101772199B1 (ko) 2015-10-30 2015-10-30 크라우드 소싱 기반 지식 검증 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150152389A KR101772199B1 (ko) 2015-10-30 2015-10-30 크라우드 소싱 기반 지식 검증 시스템

Publications (2)

Publication Number Publication Date
KR20170050617A true KR20170050617A (ko) 2017-05-11
KR101772199B1 KR101772199B1 (ko) 2017-09-01

Family

ID=58741594

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150152389A KR101772199B1 (ko) 2015-10-30 2015-10-30 크라우드 소싱 기반 지식 검증 시스템

Country Status (1)

Country Link
KR (1) KR101772199B1 (ko)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111339231A (zh) * 2020-02-25 2020-06-26 合肥四维图新科技有限公司 众包更新结果的处理方法及装置
KR102138576B1 (ko) * 2019-03-25 2020-07-29 주식회사 크라우드웍스 크라우드 소싱 기반의 데이터를 수집하는 작업을 작업자에게 할당하는 방법 및 장치
KR102138574B1 (ko) * 2019-03-12 2020-08-12 주식회사 크라우드웍스 크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 평가 방법 및 장치
KR20200096402A (ko) * 2019-02-02 2020-08-12 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 커뮤니티 질의 응답 데이터의 검증 방법, 장치, 컴퓨터 기기 및 저장 매체
KR102155750B1 (ko) * 2020-02-17 2020-09-14 주식회사 크라우드웍스 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 반려된 작업 결과를 이용한 검수 품질 관리 방법
KR102155791B1 (ko) * 2020-03-17 2020-09-15 주식회사 크라우드웍스 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 부정 검수 추정 건에 대한 2차 검수 방법
KR20200106804A (ko) * 2019-03-05 2020-09-15 주식회사 엔비티 레거시 서비스를 이용한 데이터 라벨링 시스템 및 방법
KR102155746B1 (ko) * 2019-12-09 2020-09-17 주식회사 크라우드웍스 검수자 간 샘플 검수를 통한 검수자 검증 방법
KR102159574B1 (ko) * 2020-05-07 2020-09-24 주식회사 크라우드웍스 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 작업 결과의 정확도 추정 및 관리 방법
KR102183812B1 (ko) * 2020-06-02 2020-11-30 주식회사 크라우드웍스 인공지능 학습 데이터 생성을 위한 크라우드소싱 기반 프로젝트의 검증용 작업 결과를 이용한 검수자별 시급제 기반 검수 비용 지급 방법
KR102232874B1 (ko) * 2020-06-11 2021-03-29 주식회사 크라우드웍스 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 검증용 작업 결과를 활용한 신규 검수자 평가 방법
KR20210105770A (ko) * 2020-02-19 2021-08-27 주식회사 에이모 인공지능을 이용한 크라우드 아웃소싱 작업 관리 장치 및 방법
KR20210105771A (ko) * 2020-02-19 2021-08-27 주식회사 에이모 인공지능을 이용한 크라우드 아웃소싱 작업 분배 방법 및 장치
KR20210105779A (ko) * 2020-02-19 2021-08-27 주식회사 에이모 인공지능을 이용한 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 방법 및 그 장치

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102385294B1 (ko) * 2021-10-15 2022-04-11 셀렉트스타 주식회사 크라우드소싱을 통하여 전문가의 답변 없이 작업자 능력 테스트를 위한 샘플 작업 선택 및 그 정답을 얻는 자동화 방법, 시스템, 및 컴퓨터 판독가능 매체

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200096402A (ko) * 2019-02-02 2020-08-12 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 커뮤니티 질의 응답 데이터의 검증 방법, 장치, 컴퓨터 기기 및 저장 매체
US11372942B2 (en) 2019-02-02 2022-06-28 Beijing Baidu Netcom Science And Technology Co., Ltd. Method, apparatus, computer device and storage medium for verifying community question answer data
KR20200106804A (ko) * 2019-03-05 2020-09-15 주식회사 엔비티 레거시 서비스를 이용한 데이터 라벨링 시스템 및 방법
KR102138574B1 (ko) * 2019-03-12 2020-08-12 주식회사 크라우드웍스 크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 평가 방법 및 장치
KR102138576B1 (ko) * 2019-03-25 2020-07-29 주식회사 크라우드웍스 크라우드 소싱 기반의 데이터를 수집하는 작업을 작업자에게 할당하는 방법 및 장치
KR102155746B1 (ko) * 2019-12-09 2020-09-17 주식회사 크라우드웍스 검수자 간 샘플 검수를 통한 검수자 검증 방법
KR102155750B1 (ko) * 2020-02-17 2020-09-14 주식회사 크라우드웍스 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 반려된 작업 결과를 이용한 검수 품질 관리 방법
KR20210105771A (ko) * 2020-02-19 2021-08-27 주식회사 에이모 인공지능을 이용한 크라우드 아웃소싱 작업 분배 방법 및 장치
KR20210105770A (ko) * 2020-02-19 2021-08-27 주식회사 에이모 인공지능을 이용한 크라우드 아웃소싱 작업 관리 장치 및 방법
KR20210105779A (ko) * 2020-02-19 2021-08-27 주식회사 에이모 인공지능을 이용한 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 방법 및 그 장치
CN111339231A (zh) * 2020-02-25 2020-06-26 合肥四维图新科技有限公司 众包更新结果的处理方法及装置
CN111339231B (zh) * 2020-02-25 2024-04-09 合肥四维图新科技有限公司 众包更新结果的处理方法及装置
KR102155791B1 (ko) * 2020-03-17 2020-09-15 주식회사 크라우드웍스 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 부정 검수 추정 건에 대한 2차 검수 방법
KR102159574B1 (ko) * 2020-05-07 2020-09-24 주식회사 크라우드웍스 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 작업 결과의 정확도 추정 및 관리 방법
KR102183812B1 (ko) * 2020-06-02 2020-11-30 주식회사 크라우드웍스 인공지능 학습 데이터 생성을 위한 크라우드소싱 기반 프로젝트의 검증용 작업 결과를 이용한 검수자별 시급제 기반 검수 비용 지급 방법
KR102232874B1 (ko) * 2020-06-11 2021-03-29 주식회사 크라우드웍스 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 검증용 작업 결과를 활용한 신규 검수자 평가 방법

Also Published As

Publication number Publication date
KR101772199B1 (ko) 2017-09-01

Similar Documents

Publication Publication Date Title
KR101772199B1 (ko) 크라우드 소싱 기반 지식 검증 시스템
US10748194B2 (en) Collaboration group recommendations derived from request-action correlations
PH12020551830A1 (en) Computerized systems and methods for determining authenticity using micro expressions
US9418567B1 (en) Selecting questions for a challenge-response test
US20160134579A1 (en) Aligning content and social network audience using analytics and/or visualization
CN105468760B (zh) 对人脸图片进行标注的方法和装置
JP2017153078A5 (ja) 人工知能学習システム、返答中継システム、および人工知能学習方法
US9864855B2 (en) Verification data processing method and device and storage medium
CN111883140B (zh) 基于知识图谱和声纹识别的认证方法、装置、设备及介质
CN109089172B (zh) 一种弹幕显示方法、装置及电子设备
CN104899195B (zh) 一种个性化教育资源的推荐方法和装置
US11226991B2 (en) Interest tag determining method, computer device, and storage medium
CN107291775B (zh) 错误样本的修复语料生成方法和装置
CN111709244A (zh) 一种用于矛盾纠纷事件因果关系识别的深度学习方法
CN111223015B (zh) 课程推荐方法、装置及终端设备
Tofan et al. Capturing tacit architectural knowledge using the repertory grid technique (NIER track)
CN104852916A (zh) 一种基于社会工程学的网页验证码识别方法及系统
Maiti et al. Prioritizing non-functional requirements in agile software engineering
CN106921795A (zh) 一种联系人数据管理方法及其系统
US9317887B2 (en) Similarity calculating method and apparatus
Starbird Crowdwork, crisis and convergence: how the connected crowd organizes information during mass disruption events
CN113723477A (zh) 一种基于孤立森林的跨特征联邦异常数据检测方法
CN110390109B (zh) 分析多条群聊消息间关联关系的方法和装置
Albero Pomar et al. Understanding sprint velocity fluctuations for improved project plans with Scrum: a case study
García-Albacete et al. Opportunities and challenges of analysing Twitter content: A comparison of the occupation movements in Spain, Greece and the United States

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant