KR102365429B1 - 불성실응답자를 판별하는 인공지능을 이용한 온라인 모바일 설문조사 플랫폼 - Google Patents

불성실응답자를 판별하는 인공지능을 이용한 온라인 모바일 설문조사 플랫폼 Download PDF

Info

Publication number
KR102365429B1
KR102365429B1 KR1020210162854A KR20210162854A KR102365429B1 KR 102365429 B1 KR102365429 B1 KR 102365429B1 KR 1020210162854 A KR1020210162854 A KR 1020210162854A KR 20210162854 A KR20210162854 A KR 20210162854A KR 102365429 B1 KR102365429 B1 KR 102365429B1
Authority
KR
South Korea
Prior art keywords
data
questionnaire
online
area
survey
Prior art date
Application number
KR1020210162854A
Other languages
English (en)
Inventor
권민수
Original Assignee
주식회사 에스티리서치
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에스티리서치 filed Critical 주식회사 에스티리서치
Priority to KR1020210162854A priority Critical patent/KR102365429B1/ko
Application granted granted Critical
Publication of KR102365429B1 publication Critical patent/KR102365429B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G06Q30/0203—Market surveys; Market polls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명은 컴퓨터 또는 스마트폰을 통한 온라인 설문조사를 위한 온라인 설문지를 생성하고, 미리 학습된 인공지능을 이용하여 온라인 설문지를 통해 수집된 응답 데이터 중 불성실응답자를 판별하여 설문조사 결과의 신뢰성을 향상시킬 수 있는 불성실응답자를 판별하는 인공지능을 이용한 온라인 모바일 설문조사 플랫폼에 관한 것이다.

Description

불성실응답자를 판별하는 인공지능을 이용한 온라인 모바일 설문조사 플랫폼 {Online mobile survey platform using artificial intelligence to identify unfaithful respondents}
본 발명은 불성실응답자를 판별하는 인공지능을 이용한 온라인 모바일 설문조사 플랫폼에 관한 것으로, 더욱 상세하게는 컴퓨터 또는 스마트폰을 통한 온라인 설문조사를 위한 온라인 설문지를 생성하고, 미리 학습된 인공지능을 이용하여 온라인 설문지를 통해 수집된 응답 데이터 중 불성실응답자를 판별하여 설문조사 결과의 신뢰성을 향상시킬 수 있는 불성실응답자를 판별하는 인공지능을 이용한 온라인 모바일 설문조사 플랫폼에 관한 것이다.
설문조사(Survey)란 미리 구조화되어 있는 설문지나 면접을 통하여 사회현상에 관한 자료를 수집하고 분석하는 연구 방법이다. 이러한 설문조사의 목적은 어떤 모집단을 대표할 것이라고 추정되는 대규모 응답자들을 통하여 정보를 구하는데 있으며, 과거에는 종이에 인쇄된 설문지를 이용하였으나 최근에는 인터넷과 스마트폰 등의 정보통신기술 발전으로 온라인 설문조사 방법 또한 각광받고 있다.
한편, 설문조사를 통해 도출되는 설문 결과는 신뢰성을 보장받아야 되나 다양한 요인에 의해 신뢰성이 저하되며, 특히 결과 도출에 요구되는 데이터의 품질에 따라 크게 좌우된다. 예를 들어, 설문조사에 불성실하게 임하여 설문 내용과는 상관없는 답변을 하거나, 악의적인 목적으로 답변한 응답 데이터를 설문조사 결과에 반영하게 되면 정상적인 응답 데이터만으로 도출되는 결과를 왜곡시킬 수 있는 문제점이 있다.
따라서, 설문조사의 신뢰성과 타당성을 향상시키 위해 부정응답 데이터를 효과적으로 필터링 하는 과정은 매우 중요한 기술적 과제라 할 수 있다.
하지만, 종래에는 이러한 부정응답 설문지를 수작업으로 분류하고 있어 설문지 분류에 많은 시간이 소요될 뿐만 아니라 부정응답자의 판별 여부를 주관적인 관점에 의지하고 있다는 한계가 있다.
최근 4차 산업혁명의 도래와 함께 인공지능 기반의 데이터 분류 알고리즘 관련 기술이 급속도로 성장하고 있어, 이와 같은 인공기능 기반의 데이터 분류 알고리즘을 설문조사의 부정응답 데이터 추출에 이용하고자 하는 기술의 필요성이 대두되고 있는 실정이다.
한편, 전술한 배경 기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.
한국공개특허 제10-2013-0114881호 한국등록특허 제10-1301015호
본 발명의 일측면은 설문조사를 위한 설문지의 응답 데이터의 특징을 미리 구축된 인공지능 기반의 판별 프로그램의 입력값으로 입력하여, 이에 대한 결과값을 기초로 불성실응답자를 신뢰성 있게 판별할 수 있는 설문조사 부정 응답자 판별 AI 프로그램을 제공한다.
본 발명의 다른 측면은 실제 설문조사 데이터와 시뮬레이션된 설문조사 데이터를 이용하여 설문조사 불성실응답자 판별 AI 모델을 평가할 수 있는 설문 조사 시스템을 제공한다.
본 발명의 또 다른 측면은 간편한 방법으로 온라인 설문용 조사지를 생성할 수 있으며, 온라인 설문을 통한 응답 데이터를 통계화하여 분석할 수 있는 설문조사 시스템을 제공한다.
본 발명의 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 불성실응답자를 판별하는 인공지능을 이용한 온라인 모바일 설문조사 시스템은 컴퓨터 또는 스마트폰을 통한 온라인 설문조사를 위한 온라인 설문지를 생성하는 설문지 생성부를 포함한다.
상기 불성실응답자를 판별하는 인공지능을 이용한 온라인 모바일 설문조사 시스템은,
미리 학습된 인공지능을 이용하여 온라인 설문지를 통해 수집된 응답 데이터의 특징을 분석하고, 분석 결과에 따라 수신된 복수의 응답 데이터 중 불성실응답자에 의해 생성된 무효 데이터를 추출하는 데이터 분석부; 및
수신된 전체 응답 데이터 중 상기 무효 데이터를 제외한 유효 데이터에 기초하여 통계정보를 생성하는 데이터 통계부를 더 포함한다.
상기 데이터 분석부는,
상기 응답 데이터로부터 설문조사 진입시간부터 종료까지 소요된 시간 정보를 나타내는 응답 소요시간에 대한 제1 특징벡터, 온라인 설문지에 미리 설정된 필수 선택 문항을 선택하지 않은 횟수 정보를 나타내는 무응답 횟수에 대한 제2 특징벡터, 문항별 응답 값 평균에 대한 제3 특징벡터 및 문항별 응답 값 차이에 대한 제4 특징벡터를 생성하고, 생성된 상기 제1 특징벡터, 상기 제2 특징벡터, 상기 제3 특징벡터 및 상기 제4 특징벡터를 미리 학습된 인공지능 기반의 분류모델의 입력값으로 입력하여, 분류모델의 출력값에 기초하여 상기 응답 데이터를 정상 응답자로부터 수신된 응답 데이터인 유효 데이터 또는 불성실 응답자로부터 수신된 응답 데이터인 무효 데이터 중 어느 하나로 구분하는 불성실응답자 판별부;
상기 분류모델을 구축하기 위한 훈련용 데이터 및 상기 분류모델의 신뢰도를 평가하기 위한 평가용 데이터를 관리하는 학습부;를 포함하고,
상기 설문지 생성부는,
상기 설문지를 제작하기 위한 웹페이지를 출력하고, 상기 웹페이지에 설문에 사용될 문항 타입을 설정하기 위한 영역, 문항별 스타일 및 테마를 설정하기 위한 영역, 생성된 복수의 문항별 배치 순서를 드래그 앤 드롭 기능을 통해 변경시키는 영역 및 복수의 문항들이 조합된 설문지를 표시하는 미리보기 영역을 표시하고,
상기 미리보기 영역을 통해 어느 하나의 문항이 선택되면, 선택된 문항의 질문 내용을 설정하는 영역, 답변 종류를 설정하는 영역, 질문 내용 또는 답변 내용에 대한 이미지 또는 동영상을 입력받는 영역, 부가설명을 입력받는 영역을 표시하되,
이미지 추가 영역이 선택되면, 상기 설문지를 생성하는 관리자 단말에 미리 저장된 이미지를 업로드 받기 위한 객체를 소정 영역에 표시하고, 질문 내용에 대한 텍스트 중 적어도 하나의 키워드를 추출하고, 추출된 키워드에 대응되는 추천 이미지를 검색하여 상기 추천 이미지를 상기 소정 영역과 이웃하는 영역에 표시하는 것을 특징으로 한다.
상술한 본 발명의 일측면에 따르면, 온라인 설문조사를 위한 설문지의 응답 데이터의 특징을 미리 구축된 인공지능 기반의 판별 프로그램의 입력값으로 입력하여, 이에 대한 결과값을 기초로 불성실 응답자를 판별함으로써, 유의미한 응답 데이터만 분석에 활용할 수 있어 설문조사 결과의 신뢰성이 향상될 수 있다.
본 발명의 다른 측면은 실제 설문조사 데이터와 시뮬레이션된 설문조사 데이터를 이용하여 설문조사 부정 응답자 판별 AI 프로그램의 신뢰성을 평가할 수 있다.
또한, 간편한 방법으로 온라인 설문용 조사지를 생성할 수 있으며, 온라인 설문을 통한 응답 데이터를 간편하게 통계화하여 분석할 수 있다.
도 1은 본 발명의 일 실시예에 따른 불성실응답자를 판별하는 인공지능을 이용한 온라인 모바일 설문조사 시스템의 개략적인 구성이 도시된 도면이다.
도 2 내지 도 4는 도 1의 설문지 생성부에 의해 생성되는 온라인 설문지의 일 예가 도시된 도면이다.
도 5는 도 1의 데이터 분석부의 구체적인 구성이 도시된 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 불성실응답자를 판별하는 인공지능을 이용한 온라인 모바일 설문조사 시스템의 개략적인 구성이 도시된 도면이다.
본 발명에 따른 불성실응답자를 판별하는 인공지능을 이용한 온라인 모바일 설문조사 시스템은 컴퓨터 또는 스마트폰을 통한 온라인 설문조사를 위한 온라인 설문지를 생성하고, 미리 학습된 인공지능을 이용하여 온라인 설문지를 통해 수집된 응답 데이터 중 불성실응답자를 판별하여 설문조사 결과의 신뢰성을 향상시킬 수 있는 불성실응답자를 판별하기 위한 플랫폼을 제공한다.
이를 위해, 본 발명에 따른 불성실응답자를 판별하는 인공지능을 이용한 온라인 모바일 설문조사 시스템은 온라인 설문을 수행하는 조사기관에 구비된 조사기관 단말에 구현되거나, 조사기가관 단말과 통신하는 관리서버에 구현될 수 있다.
구체적으로, 본 발명의 일 실시예에 따른 불성실응답자를 판별하는 인공지능을 이용한 온라인 모바일 설문조사 시스템(1000)은 설문지 생성부(100), 데이터 분석부(200) 및 데이터 통계부(300)를 포함한다.
이때, 상술한 설문조사 시스템을 구성하는 각각의 구성 요소는 서로 다른 단말기에 의해 수행될 수도 있으며, 하나의 단말기가 설문조사 시스템을 구성하는 모든 구성이 수행하는 기능을 통합적으로 수행할 수 있다.
예컨대, 설문지 생성부(100)는 설문 조사를 진행하는 관리자 단말에 구현되고, 데이터 분석부(200) 및 데이터 통계부(300)는 관리 서버에 구현될 수 있다. 또는, 관리서버(혹은 관리자 단말)가 설문조사 시스템(1000)의 모든 기능을 통합적으로 수행할 수도 있다. 이하에서는 설명의 편의를 위해 본 발명에 따른 불성실응답자를 판별하는 인공지능을 이용한 온라인 모바일 설문조사 시스템(1000)이 관리자 단말에 의해 수행되는 것으로 가정하여 설명하기로 한다.
설문지 생성부(100)는 모바일 온라인 설문을 수행하기 위한 온라인 설문지를 생성한다.
이를 위해, 설문지 생성부(100)는 관리자 단말을 통해 입력되는 설정정보에 기초하여 설문 내용 및 설문 형식을 설정하여 온라인 설문지를 생성한다.
도 2 및 도 3은 설문지 생성부(100)에 의해 생성되는 온라인 설문지의 일 예가 도시된 도면이다.
도시된 바와 같이, 설문지 생성부(100)는 웹페이지를 통해 온라인 설문을 수행하기 위한 설문지를 생성하기 위한 플랫폼을 제공할 수 있다.
구체적으로, 설문지 생성부(100)는, 온라인 설문지를 제작하기 위한 웹페이지를 출력하고, 상기 웹페이지에 상에 온라인 설문에 사용될 문항 타입, 스타일 및 테마를 설정하기 위한 영역(우측 영역), 생성된 복수의 문항별 배치 순서를 드래그 앤 드롭 기능을 통해 변경시키는 영역(3) 및 복수의 문항들이 조합된 설문지를 표시하는 미리보기 영역(4)이 표시되도록 각각의 객체를 배열할 수 있다.
예컨대, 관리자(설문지 작성자)는 웹페이지의 우측 영역을 통해 질문 내용, 문항의 테마 및 스타일, 답변 내용 등에 대한 세부 설정을 수행할 수 있으며, 이때 문항 타입 선택을 위한 예시 문항을 미리 설정해 둠으로써 사용자가 클릭만으로도 질문 스타일을 간편하게 설정할 수 있도록 할 수 있다.
이러한 방법으로 복수의 문항들이 생성되면, 사용자는 좌측 영역에 표시된 문항별 영역을 드래그 앤 드롭 방식을 통해 문항의 배열 순서를 간편하게 수정할 수 있으며, 이러한 과정을 통해 작성되는 온라인 설문지는 웹페이지의 중앙 영역을 통해 미리 보여지게 된다.
한편, 설문지 생성부(100)는 미리보기 영역을 통해 어느 하나의 문항이 선택되면, 도 3에 도시된 바와 같이 선택된 문항의 질문 내용을 설정하는 영역, 답변 종류를 설정하는 영역, 질문 내용 또는 답변 내용에 대한 이미지 또는 동영상을 입력받는 영역, 부가설명을 입력받는 영역을 표시하게 된다.
이때, 설문지 생성부(100)는 이미지 추가 영역이 선택되면, 상기 온라인 설문지를 생성하는 관리자 단말에 미리 저장된 이미지를 업로드 받기 위한 객체를 소정 영역에 표시할 수 있다.
또한, 설문지 생성부(100)는 도 4에 도시된 바와 같이 문항별 폰트, 문항과 관련된 이미지 또는 동영상 삽입을 위한 영역을 추가적으로 웹페이지에 표시할 수 있다.
이와 동시에, 설문지 생성부(100)는 질문 내용에 대한 텍스트 중 적어도 하나의 키워드를 추출하고, 추출된 키워드에 대응되는 추천 이미지를 검색하여 상기 추천 이미지를 상기 소정 영역의 근처 영역에 표시할 수 있다.
예를 들어, 설문지 생성부(100) 도시된 바와 같은 질문 및 답변으로부터 손흥민, 2018, 챔피언스리그, 2호골 등과 같은 키워드를 추출하고, 추출된 키워드에 대응되는 이미지를 외부 서버로부터 검색하여 해당 답변에 대응되는 위치에 표시할 수 있다. 따라서, 사용자는 설문지의 이해를 돕기 위한 참고용 자료를 일일히 검색할 필요 없이 자동으로 추천받게 되어 설문지 작성의 편의성이 향상될 수 있다.
이 과정에서, 설문지 생성부(100)는 관리자 단말에 설정된 필수 응답 항목을 설정할 수 있다. 필수 응답 항목은 불성실응답자를 판별하기 위해 설문문항 중 필수적으로 선택해야되는 문항으로, 이와 관련된 구체적인 설명은 후술하기로 한다.
데이터 분석부(200)는 미리 학습된 인공지능을 이용하여 온라인 설문지를 통해 수집된 응답 데이터의 특징을 분석하고, 분석 결과에 따라 수신된 복수의 응답 데이터 중 불성실응답자에 의해 생성된 무효 데이터를 추출한다.
도 5는 이러한 데이터 분석부(200)의 구체적인 구성이 도시된 도면으로, 도시된 바와 같이 데이터 분석부(200)는 불성실 응답자 판별부(210) 및 학습부(220)를 포함한다.
불성실 응답자 판별부(210)는 설문지를 통해 수신되는 응답 정보에 기초하여 상기 온라인 설문지를 유효 데이터 또는 무효 데이터 중 어느 하나로 분류할 수 있다.
구체적으로, 불성실 응답자 판별부(210)는 설문조사를 위한 설문지의 응답 데이터의 특징을 요소별로 구분하고, 구분된 특징 데이터를 심층 신경망 기반의 설문조사 부정 응답자 판별 AI 프로그램의 입력값으로 입력하여, 출력되는 결과값을 기초로 상기 응답 데이터를 정상응답자에 의해 작성된 유효 데이터 또는 부정응답자에 의해 작성된 무효 데이터 중 어느 하나로 판별한다.
불성실 응답자 판별부(210)는 심층 신경망 기반의 불성실응답자 판별 AI 모델을 이용하여 응답 데이터를 정상 응답자로부터 수신된 응답 데이터인 유효 데이터(T) 또는 불성실 응답자로부터 수신된 응답 데이터인 무효 데이터(F) 중 어느 하나로 구분할 수 있다.
이를 위해, 불성실 응답자 판별부(210)는 불성실응답자 판별 AI 모델에 입력할 입력값을 생성할 수 있으며, 이러한 입력값은 응답 데이터로부터 추출할 수 있다.
예컨대, 불성실 응답자 판별부(210)는 응답 데이터로부터 설문조사 진입시간부터 종료까지 소요된 시간 정보를 나타내는 응답 소요시간을 검색하여 이를 제1 특징벡터로 변환하고, 온라인 설문지에 미리 설정된 필수 선택 문항을 선택하지 않은 횟수 정보를 나타내는 무응답 횟수를 검색하여 이를 제2 특징벡터로 변환하고, 문항별 응답 값의 평균을 산출하여 이를 제3 특징벡터로 변환하며, 문항별 응답 값 차이를 산출하여 이를 제4 특징벡터로 변환한다.
이후, 불성실 응답자 판별부(210)는 생성된 상기 제1 특징벡터, 상기 제2 특징벡터, 상기 제3 특징벡터 및 상기 제4 특징벡터를 미리 학습된 인공지능 기반의 분류모델의 입력값으로 입력하여, 분류모델의 출력값에 기초하여 상기 응답 데이터를 정상 응답자로부터 수신된 응답 데이터인 유효 데이터 또는 불성실 응답자로부터 수신된 응답 데이터인 무효 데이터 중 어느 하나로 구분한다.
즉, 불성실 응답자 판별부(210)는 입력 레이어에 입력된 입력값의 특징벡터가 히든 레이어를 거쳐 출력 레이어를 통해 출력된 출력값을 참조하여 응답정보(응답데이터)를 유효 데이터(T) 또는 무효 데이터(F) 중 어느 하나로 구분할 수 있다.
학습부(220)는 상기 온라인 설문지를 유효 데이터 또는 무효 데이터 중 어느 하나로 분류하기 위한 분류모델을 관리한다.
구체적으로, 상기 학습부(220)는, 미리 수집된 데이터 세트를 학습용 데이터 그룹 및 평가용 데이터 그룹으로 분류하고, 상기 학습용 데이터를 기초로 상기 온라인 설문지를 유효 데이터 또는 무효 데이터로 구분하기 위한 인공 신경망 기반의 분류모델을 생성하고, 상기 분류모델에 상기 평가용 데이터 그룹을 입력하여 상기 분류모델의 예측값에 기초하여 상기 분류모델의 신뢰도를 산출한 후, 상기 신뢰도에 기초하여 상기 분류모델을 보정할 수 있다.
여기서 분류모델을 보정하는 것은, 심층 신경망의 노드간 가중치값을 변경하는 것을 의미할 수 있으나, 이에 한정되는 것은 아니다.
이때, 학습부(220)는 실제 설문조사의 응답 데이터와, 시뮬레이션된 응답데이터를 이용하여 데이터 세트를 구축할 수 있다.
여기서, 시뮬레이션된 응답 데이터라 함은 의도적으로 조작된 응답 데이터를 의미하며, 시뮬레이션된 응답 데이터는 신뢰성 있는 타겟, 예컨대 10년이상 조사원을 통하여 대면조사 데이터, 전문가(교수, 교사, 5년이상 종사자, 석사,박사 등)들에게 조사 한 데이터, 자체 보유하고 있는 패널에게 조사 한 데이터를 포함할 수 있다.
예컨대, 학습부(220)는 불성실(False) 응답 166 사례와 성실(Ture) 응답 97 사례로 구성된 총 263개의 학습 데이터를 수집할 수 있다. 불성실 응답 사례는 온라인 설문에 부실하게 응답하는 패턴을 고려한 것으로서 동일한 숫자로 응답하거나, 연속적 번호를 입력하는 응답 등 성실히 응답할 수 없는 상황을 가정하여 불성실 응답 사례를 생성하였으며, 97명의 응답자가 설문내용에 충실하게 응답하는 사례로 만들었다.
학습부(220)는 도 6에 도시된 바와 같이 데이터 세트의 70%를 설문조사 부정 응답자 판별 AI 프로그램의 판별 알고리즘을 구축하기 위한 훈련용 데이터로 분류하고, 나머지 30%를 설문조사 불성실응답자 판별 AI 모델의 신뢰도를 평가하기 위한 평가용 데이터로 분류할 수 있다.
이때, 상기 신뢰도는 정분류율, 오분류율, 민감도, 특이도, 정확도 및 재현율에 기초하여 산출될 수 있다.
정분류율은 전체 관측치중 실제값과 예측치가 일치한 정도를 나타내는 지표이고, 오분류율은 모형이 제대로 예측하지 못한 관측치, 민감도는 실제값이 Ture인 관측치 중 예측치가 적중한 정도, 특이도는 실제값이 False인 관측치 중 예측치가 적중한 정도, 정확도는 Ture로 예측한 관측치 중 Ture인 정도를 나타내는 지표, 재현율은 실제값이 Ture인 관측치 중 예측치가 적중한 정도를 나타내는 민감도와 동일한 지표로 모형의 완전성을 평가하는 지표이다.
이러한 정분류율, 오분류율, 민감도, 특이도, 정확도 및 재현율은 기 공지되어 널리 활용되고 있는 지표이므로, 각 지표의 구체적인 산출 과정에 대한 설명은 생략하기로 한다.
이후, 학습부(220)는 실제 응답 데이터를 수집하여 상기 분류모델을 통해 상기 온라인 설문지가 무효 데이터로 분류되면, 무효 데이터로 분류된 온라인 설문지를 상기 데이터 세트에 포함시킬 수 있다.
데이터 통계부(300)는 상기 유효 데이터로 분류된 온라인 설문지에 포함된 응답 정보를 분석하여 통계 정보를 생성한다.
예컨대, 데이터 통계부(300)는 도 7에 도시된 바와 같이 수집된 응답 데이터를 정렬하여 표시하고, 수집된 응답 데이터의 특징에 따라 응답 데이터를 지역별, 연령별, 성별, 직업별로 구분한 통계 데이터를 제공할 수 있다. 또한, 데이터 통계부(300)는 교차분석, 보고서, 문항별 통계자료를 생성하여 웹페에지에 표시할 수 있다.
몇몇 다른 실시예에서, 본 발명에 따른 불성실응답자를 판별하는 인공지능을 이용한 온라인 모바일 설문조사 시스템은 온라인 설문지를 암호화하는 암호화부(미도시)를 더 포함할 수 있다.
암호화부는, 변환된 원본 이미지 데이터로부터 관심영역을 설정하고, 원본 이미지 데이터 및 관심영역의 히스토그램을 생성할 수 있다. 여기서, 암호화부는 미리 설정된 객체 추출 알고리즘을 이용하여 관심영역을 설정할 수 있으며, 원본 이미지로부터 특정 객체, 문항 등이 포함된 관심 영역을 설정할 수 있다.
이후, 암호화부는 원본 이미지 데이터에 대한 제1 히스토그램과, 관심영역에 대한 제2 히스토그램을 생성하고, 상기 제1 히스토그램을 분석하여 가장 빈도수가 높은 밝기값을 제1 변수로 설정하고, 상기 제2 히스토그램을 분석하여 가장 빈도수가 높은 밝기값을 제2 변수로 설정한다.
암호화부는 설정된 제1 변수와 가장 가까운 소수를 제1 소수로 설정하고, 설정된 제2 변수와 가장 가까운 소수를 제2 변수로 설정하여, 설정된 상기 제1 소수 및 상기 제2 소수를 이용하여 상기 개인 키 및 상기 공개 키를 생성한다. 이러한 개인 키-공개 키 생성 방법은 RSA 암호화 알고리즘을 이용한 것으로, RSA 암호화 알고리즘은 널리 공개된 기술이므로 구체적인 공개 키 생성 과정은 생략하기로 한다.
이후, 암호화부는 생성된 공개 키를 설문 시작 시 온라인 설문지와 함께 설문 대상자들이 소지한 사용자 단말로 전송함으로써, 사용자 단말은 암호화부로부터 수신된 공개 키를 이용하여 암호화된 온라인 설문지를 복호화할 수 있다.
즉, 사용자가 아닌 제3자가 설문지를 중간에서 획득하더라도, 이미지 데이터의 핵심적인 특징을 차지하는 관심영역 부분의 픽셀이 재배열되어 있어 원본 데이터의 확인이 어려우며, 개인 키 및 공개 키는 관심영역의 특징에 의해 매번 새롭게 생성되기 때문에 외부에서 개인 키 및 공개 키를 알아내기 어렵다는 장점이 있다.
몇몇 다른 실시예에서, 본 발명에 따른 설문 시스템(1000)은 수집 대상 데이터 소스 모듈, 수집 대상 키워드 및 수집 대상 기간 중 적어도 어느 하나의 수집 기준을 설정하는 수집 관리 모듈; 수집 관리 모듈로부터 설정 받은 데이터 수집 기준에 따라 해당 데이터 소스 모듈로부터 빅데이터를 수집하여 데이터베이스 모듈에 저장하는 데이터 수집 모듈; 데이터베이스 모듈에 저장된 빅데이터의 형태소를 분석하여 형태소 별로 구분하고 형태소 분석 데이터를 생성하는 형태소 분석 모듈; 및 형태소 분석 데이터를 분산 병렬 처리 기반의 통계분석 알고리즘으로 처리하여 통계값을 산출하고 통계값에 따라 악성코드를 출력하는 데이터 분석 모듈;을 포함하는 빅데이터 분석 기반의 비정상 데이터 도출 시스템(설명의 편의상 도면에는 도시하지 않음)을 이용하여 수신된 데이터에 악성코드가 포함되어 있는지를 자동으로 판단할 수 있다.
여기서, 데이터 수집부는 수신된 평가 데이터를 의미를 갖는 형태소별로 구분한 형태소 분석 데이터를 생성하고, 상기 형태소 분석 데이터를 저장하는 분산 파일 시스템; 상기 분산 파일 시스템에 존재하는 형태소 분석 데이터를 SQL(structured query language)을 기반으로 처리할 수 있도록 가상화 데이터베이스 인터페이스를 제공하는 데이터 처리부; 및 상기 데이터 처리부가 제공하는 가상화 데이터베이스 인터페이스를 통해 통계분석 알고리즘을 실행하여, 상기 형태소 분석 데이터로부터 연도별 출현빈도수(instance frequencies), 연도별 단어-단어 간 동시 출연 건수, 연도별 출현빈도수 및 연도별 단어-단어 간 동시 출현 건수로부터 가공된 값들 중 적어도 하나 이상을 산출하는 통계 분석부를 포함할 수 있다.
그리고, 상기 통계 분석부는, 상기 통계 분석부는 상기 연도별 출현건수(instance frequencies) 및 단어-단어간 동시 발생건수에 기초하여 단어 별 발생건수 증가율을 산출할 수 있다.
또한, 상기 통계 분석부는, 상기 연도별 출현건수(instance frequencies)를 연도별 문서수로 나누어 문서당 상기 단어들의 연도별 출현 빈도수를 표준화하여 상기 단어들에 대한 표준화된 단어 별 출현 빈도수 증가율을 산 출할 수 있다.
또한, 상기 통계 분석부는, 상기 단어-단어간 동시발생건수 매트릭스를 이용하여 단어 별 연결 정도 중심성 증가율을 산출하고, 상기 표준화된 단어 별 출현 빈도수 증가율 및 상기 연결 정도 중심성 증가율이 상위 일정 부분 이상인 단어 또는 하위 일정 부분 이하인 단어를 악성코드로 도출할 수 있다.
한편, 상기 데이터 수집 모듈은, 이미지, 동영상, 음성, 센서, GPS, GIS, M2M 데이터 중 적어도 어느 하나의 비정형 데이터를 포함하는 빅데이터를 수집할 수 있다.
이에 따라, 관리서버는 상술한 바와 같은 구성을 포함하는 비정상 데이터 도출 시스템을 통한 빅데이터 분석을 통해 악성코드가 포함된 응답 데이터를 사전에 필터링함으로써 보안성을 향상시킬 수 있다.
이와 같은, 불성실응답자를 판별하는 인공지능을 이용한 온라인 모바일 설문조사 시스템을 제공하는 기술은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 설문지 생성부
200: 데이터 분석부
300: 데이터 통계부

Claims (3)

  1. 컴퓨터 또는 스마트폰을 통한 온라인 설문조사를 위한 온라인 설문지를 생성하는 설문지 생성부;
    미리 학습된 인공지능을 이용하여 온라인 설문지를 통해 수집된 응답 데이터의 특징을 분석하고, 분석 결과에 따라 수신된 복수의 응답 데이터 중 불성실응답자에 의해 생성된 무효 데이터를 추출하는 데이터 분석부; 및
    수신된 전체 응답 데이터 중 상기 무효 데이터를 제외한 유효 데이터에 기초하여 통계정보를 생성하는 데이터 통계부를 포함하는 불성실응답자를 판별하는 인공지능을 이용한 온라인 모바일 설문조사 시스템에 있어서,
    상기 데이터 분석부는,
    상기 응답 데이터로부터 설문조사 진입시간부터 종료까지 소요된 시간 정보를 나타내는 응답 소요시간에 대한 제1 특징벡터, 온라인 설문지에 미리 설정된 필수 선택 문항을 선택하지 않은 횟수 정보를 나타내는 무응답 횟수에 대한 제2 특징벡터, 문항별 응답 값 평균에 대한 제3 특징벡터 및 문항별 응답 값 차이에 대한 제4 특징벡터를 생성하고, 생성된 상기 제1 특징벡터, 상기 제2 특징벡터, 상기 제3 특징벡터 및 상기 제4 특징벡터를 미리 학습된 인공지능 기반의 분류모델의 입력값으로 입력하여, 분류모델의 출력값에 기초하여 상기 응답 데이터를 정상 응답자로부터 수신된 응답 데이터인 유효 데이터 또는 불성실 응답자로부터 수신된 응답 데이터인 무효 데이터 중 어느 하나로 구분하는 불성실응답자 판별부;
    상기 분류모델을 구축하기 위한 훈련용 데이터 및 상기 분류모델의 신뢰도를 평가하기 위한 평가용 데이터를 관리하는 학습부;를 포함하고,
    상기 설문지 생성부는,
    상기 설문지를 제작하기 위한 웹페이지를 출력하고, 상기 웹페이지에 설문에 사용될 문항 타입을 설정하기 위한 영역, 문항별 스타일 및 테마를 설정하기 위한 영역, 생성된 복수의 문항별 배치 순서를 드래그 앤 드롭 기능을 통해 변경시키는 영역 및 복수의 문항들이 조합된 설문지를 표시하는 미리보기 영역을 표시하고,
    상기 미리보기 영역을 통해 어느 하나의 문항이 선택되면, 선택된 문항의 질문 내용을 설정하는 영역, 답변 종류를 설정하는 영역, 질문 내용 또는 답변 내용에 대한 이미지 또는 동영상을 입력받는 영역, 부가설명을 입력받는 영역을 표시하되,
    이미지 추가 영역이 선택되면, 상기 설문지를 생성하는 관리자 단말에 미리 저장된 이미지를 업로드 받기 위한 객체를 소정 영역에 표시하고, 질문 내용에 대한 텍스트 중 적어도 하나의 키워드를 추출하고, 추출된 키워드에 대응되는 추천 이미지를 검색하여 상기 추천 이미지를 상기 소정 영역과 이웃하는 영역에 표시하는 것을 특징으로 하고,
    상기 불성실응답자를 판별하는 인공지능을 이용한 온라인 모바일 설문조사 시스템은,
    상기 온라인 설문지를 암호화하는 암호화부를 더 포함하고,
    상기 암호화부는,
    온라인 설문지에 대한 원본 이미지 데이터로부터 관심영역을 설정하고, 원본 이미지 데이터에 대한 제1 히스토그램과, 관심영역에 대한 제2 히스토그램을 생성하고, 상기 제1 히스토그램을 분석하여 가장 빈도수가 높은 밝기값을 제1 변수로 설정하고, 상기 제2 히스토그램을 분석하여 가장 빈도수가 높은 밝기값을 제2 변수로 설정하고, 상기 제1 변수와 가장 가까운 소수를 제1 소수로 설정하고, 상기 제2 변수와 가장 가까운 소수를 제2 소수로 설정하며, 설정된 상기 제1 소수 및 상기 제2 소수를 이용하여 개인 키 및 공개 키를 생성하는, 불성실응답자를 판별하는 인공지능을 이용한 온라인 모바일 설문조사 시스템.
  2. 삭제
  3. 삭제
KR1020210162854A 2021-11-24 2021-11-24 불성실응답자를 판별하는 인공지능을 이용한 온라인 모바일 설문조사 플랫폼 KR102365429B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210162854A KR102365429B1 (ko) 2021-11-24 2021-11-24 불성실응답자를 판별하는 인공지능을 이용한 온라인 모바일 설문조사 플랫폼

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210162854A KR102365429B1 (ko) 2021-11-24 2021-11-24 불성실응답자를 판별하는 인공지능을 이용한 온라인 모바일 설문조사 플랫폼

Publications (1)

Publication Number Publication Date
KR102365429B1 true KR102365429B1 (ko) 2022-02-23

Family

ID=80495623

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210162854A KR102365429B1 (ko) 2021-11-24 2021-11-24 불성실응답자를 판별하는 인공지능을 이용한 온라인 모바일 설문조사 플랫폼

Country Status (1)

Country Link
KR (1) KR102365429B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130055726A (ko) * 2011-11-20 2013-05-29 최어빈 신뢰도 있는 설문응답을 추출하는 모바일 설문조사 시스템 및 그 방법
KR101301015B1 (ko) 2012-01-16 2013-08-28 주식회사 스피크옵 여론 및 설문조사 시스템 및 그 방법
KR20130114881A (ko) 2012-04-10 2013-10-21 삼성전자주식회사 설문조사 관리 서버, 설문조사 관제 단말기, 설문조사 단말기 및 그 제어 방법
KR102163718B1 (ko) * 2020-03-17 2020-10-08 주식회사 에스티리서치 설문조사 부정 응답자 판별 ai 프로그램
KR102226938B1 (ko) * 2020-08-13 2021-03-10 김성구 인공지능 모델을 이용하여 사용자 간의 최적화된 매칭을 위한 유효 데이터 추출 방법, 장치 및 컴퓨터프로그램

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130055726A (ko) * 2011-11-20 2013-05-29 최어빈 신뢰도 있는 설문응답을 추출하는 모바일 설문조사 시스템 및 그 방법
KR101301015B1 (ko) 2012-01-16 2013-08-28 주식회사 스피크옵 여론 및 설문조사 시스템 및 그 방법
KR20130114881A (ko) 2012-04-10 2013-10-21 삼성전자주식회사 설문조사 관리 서버, 설문조사 관제 단말기, 설문조사 단말기 및 그 제어 방법
KR102163718B1 (ko) * 2020-03-17 2020-10-08 주식회사 에스티리서치 설문조사 부정 응답자 판별 ai 프로그램
KR102226938B1 (ko) * 2020-08-13 2021-03-10 김성구 인공지능 모델을 이용하여 사용자 간의 최적화된 매칭을 위한 유효 데이터 추출 방법, 장치 및 컴퓨터프로그램

Similar Documents

Publication Publication Date Title
Pandey et al. Towards understanding human similarity perception in the analysis of large sets of scatter plots
Bosch et al. Scatterblogs2: Real-time monitoring of microblog messages through user-guided filtering
US10872166B2 (en) Systems and methods for secure prediction using an encrypted query executed based on encrypted data
US10692019B2 (en) Failure feedback system for enhancing machine learning accuracy by synthetic data generation
CN110163647B (zh) 一种数据处理方法及装置
US20190058719A1 (en) System and a method for detecting anomalous activities in a blockchain network
US20170004128A1 (en) Device and method for analyzing reputation for objects by data mining
Bendler et al. Taming uncertainty in big data: Evidence from social media in urban areas
KR102163718B1 (ko) 설문조사 부정 응답자 판별 ai 프로그램
KR102124846B1 (ko) 출처 분석 기반의 뉴스 신뢰성 평가 시스템 및 그 동작 방법
JP6779405B1 (ja) 侵害情報抽出システム、方法及びプログラム
KR20150059208A (ko) 소셜 웹 미디어의 이벤트 시공간 연관성 분석 장치 및 그 방법
Li et al. WeSeer: Visual analysis for better information cascade prediction of WeChat articles
KR20210148573A (ko) Sns 사용자 채널에 대한 공개 데이터를 수집하고, 수집된 공개 데이터를 기반으로 영향력을 측정하는 시스템 및 방법
Ji et al. RETRACTED ARTICLE: Evaluating and recognizing stressful periods and events of urban migrant children from microblog
Li et al. Moral machines or tyranny of the majority? A systematic review on predictive bias in education
Al-Rawahnaa et al. Data mining for Education Sector, a proposed concept
Mehmood et al. A study of sentiment and trend analysis techniques for social media content
KR102365429B1 (ko) 불성실응답자를 판별하는 인공지능을 이용한 온라인 모바일 설문조사 플랫폼
KR102126911B1 (ko) KeyplayerRank를 이용한 소셜 미디어상의 주제별 키플레이어 탐지 방법
KR101838089B1 (ko) 복지서비스 발굴을 위한 빅데이터 사례 기반 감성 오피니언 추출 및 평가 시스템 및 그 방법
CN111382343B (zh) 一种标签体系生成方法及装置
JP4176691B2 (ja) 問題作成プログラムおよび問題作成装置
Liang et al. Experimental evaluation of a machine learning approach to improve the reproducibility of network simulations
Stewart et al. Why is it difficult to detect sudden and unexpected epidemic outbreaks in Twitter?

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant