KR102163718B1 - 설문조사 부정 응답자 판별 ai 프로그램 - Google Patents

Abstract

본 설문조사를 위한 설문지의 응답 데이터의 특징을 요소별로 구분하고, 구분된 특징 데이터를 심층 신경망 기반의 설문조사 부정 응답자 판별 AI 프로그램의 입력값으로 입력하여, 출력되는 결과값을 기초로 상기 응답 데이터를 정상응답자에 의해 작성된 유효 데이터 또는 부정응답자에 의해 작성된 무효 데이터 중 어느 하나로 판별하는 설문조사 시스템에 관한 것이다.

Description

설문조사 부정 응답자 판별 AI 프로그램 {AI Program for Determining Survey Respondents}

본 발명은 설문조사 부정 응답자 판별 AI 프로그램에 관한 것으로, 더욱 상세하게는 설문조사를 위한 설문지의 응답 데이터의 특징을 미리 구축된 인공지능 기반의 판별 프로그램의 입력값으로 입력하여, 이에 대한 결과값을 기초로 부정 응답자를 신뢰성 있게 판별할 수 있는 설문조사 부정 응답자 판별 AI 프로그램에 관한 것이다.

설문조사(Survey)란 미리 구조화되어 있는 설문지나 면접을 통하여 사회현상에 관한 자료를 수집하고 분석하는 연구 방법이다. 이러한 설문조사의 목적은 어떤 모집단을 대표할 것이라고 추정되는 대규모 응답자들을 통하여 정보를 구하는데 있으며, 과거에는 종이에 인쇄된 설문지를 이용하였으나 최근에는 인터넷과 스마트폰 등의 정보통신기술 발전으로 온라인 설문조사 방법 또한 각광받고 있다.

한편, 설문조사를 통해 도출되는 설문 결과는 신뢰성을 보장받아야 되나 다양한 요인에 의해 신뢰성이 저하되며, 특히 결과 도출에 요구되는 데이터의 품질에 따라 크게 좌우된다. 예를 들어, 설문조사에 불성실하게 임하여 설문 내용과는 상관없는 답변을 하거나, 악의적인 목적으로 답변한 응답 데이터를 설문조사 결과에 반영하게 되면 정상적인 응답 데이터만으로 도출되는 결과를 왜곡시킬 수 있는 문제점이 있다.

따라서, 설문조사의 신뢰성과 타당성을 향상시키 위해 부정응답 데이터를 효과적으로 필터링 하는 과정은 매우 중요한 기술적 과제라 할 수 있다.

하지만, 종래에는 이러한 부정응답 설문지를 수작업으로 분류하고 있어 설문지 분류에 많은 시간이 소요될 뿐만 아니라 부정응답자의 판별 여부를 주관적인 관점에 의지하고 있다는 한계가 있다.

최근 4차 산업혁명의 도래와 함께 인공지능 기반의 데이터 분류 알고리즘 관련 기술이 급속도로 성장하고 있어, 이와 같은 인공기능 기반의 데이터 분류 알고리즘을 설문조사의 부정응답 데이터 추출에 이용하고자 하는 기술의 필요성이 대두되고 있는 실정이다.

한편, 전술한 배경 기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.

한국공개특허 제 10-2013-0114881 호 한국등록특허 제 10-1301015 호

본 발명의 일측면은 설문조사를 위한 설문지의 응답 데이터의 특징을 미리 구축된 인공지능 기반의 판별 프로그램의 입력값으로 입력하여, 이에 대한 결과값을 기초로 부정 응답자를 신뢰성 있게 판별할 수 있는 설문조사 부정 응답자 판별 AI 프로그램을 제공한다.

본 발명의 다른 측면은 실제 설문조사 데이터와 시뮬레이션된 설문조사 데이터를 이용하여 설문조사 부정 응답자 판별 AI 프로그램을 평가할 수 있는 설문 조사 시스템을 제공한다.

본 발명의 또 다른 측면은 간편한 방법으로 온라인 설문용 조사지를 생성할 수 있으며, 온라인 설문을 통한 응답 데이터를 통계화하여 분석할 수 있는 설문조사 시스템을 제공한다.

본 발명의 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

본 발명의 일 실시예에 따른 설문조사 시스템은, 설문조사를 위한 설문지의 응답 데이터의 특징을 요소별로 구분하고, 구분된 특징 데이터를 심층 신경망 기반의 설문조사 부정 응답자 판별 AI 프로그램의 입력값으로 입력하여, 출력되는 결과값을 기초로 상기 응답 데이터를 정상응답자에 의해 작성된 유효 데이터 또는 부정응답자에 의해 작성된 무효 데이터 중 어느 하나로 판별한다.

상기 설문조사 시스템은, 설문지를 통해 수신되는 응답정보에 기초하여 상기 온라인 설문지를 유효 데이터 또는 무효 데이터 중 어느 하나로 분류하는 판별부; 상기 응답정보를 유효 데이터 또는 무효 데이터 중 어느 하나로 분류하기 위한 설문조사 부정 응답자 판별 AI 프로그램의 분류모델을 관리하는 학습부; 상기 유효 데이터로 분류된 응답정보를 분석하여 통계 정보를 생성하는 분석부; 및 웹페이지를 통해 수신되는 설정정보에 기초하여 설문 내용 및 설문 형식을 설정하여 온라인 설문지를 생성하는 설문지 생성부를 포함한다.

상기 판별부는, 상기 응답정보로부터 전체 응답시간, 응답시점, 응답패턴, 문항별 응답시간, 무응답, 함정문항의 응답동일여부에 대한 정보를 추출하여 이를 설문조사 부정 응답자 판별 AI 프로그램의 입력값으로 설정한다.

상기 학습부는, 미리 수집된 데이터 세트를 학습용 데이터 그룹 및 평가용 데이터 그룹으로 분류하고, 상기 학습용 데이터를 기초로 상기 온라인 설문지를 유효 데이터 또는 무효 데이터로 구분하기 위한 인공 신경망 기반의 분류모델을 생성하고, 상기 분류모델에 상기 평가용 데이터 그룹을 입력하여 상기 분류모델의 예측값에 기초하여 상기 분류모델의 신뢰도를 산출한다.

상기 판별부는, 상기 신뢰도에 기초하여 상기 분류모델을 보정하는 것을 특징으로 하며, 상기 신뢰도는, 정분류율, 오분류율, 민감도, 특이도, 정확도 및 재현율에 기초하여 산출되는 것을 특징으로 한다.

상기 판별부는, 상기 분류모델을 통해 상기 온라인 설문지가 무효 데이터로 분류되면, 무효 데이터로 분류된 온라인 설문지를 상기 데이터 세트에 포함시키고,

상기 분석부는,

통계자료에 대한 데이터 시트를 생성하여 웹페이지의 제1 영역에 표시하는 데이터 시트 표시부;

상기 데이터 시트의 소정 영역에 대한 선택신호를 기초로 사용자에 의해 선택된 변량명의 종류를 구분하고, 선택된 적어도 하나의 변량명에 대응되는 변량들을 기초로 다이나믹 그래프를 생성하여 상기 웹페이지의 제2 영역에 표시하는 그래프 생성부; 및

상기 제2 영역에 표시된 다이나믹 그래프의 인쇄 또는 저장을 위하여, 상기 다이나믹 그래프를 상기 웹페이지의 제3 영역으로 이동시켜 표시하는 로그 표시부를 포함하고,

상기 그래프 생성부는, 순차적으로 입력되는 선택신호의 순서에 따라 상기 다이나믹 그래프의 가로축 및 세로축에 대한 변량의 종류를 자동으로 구분하고, 선택된 변량명에 소속된 변량들에 대한 그룹별 다이나믹 그래프를 생성한 후, 상기 다이나믹 그래프에 대한 통계적 의미를 나타내는 그래픽 정보를 상기 다이나믹 그래프 상에 표시하는 것을 특징으로 한다.

상기 설문지 생성부는,

상기 온라인 설문지를 제작하기 위한 웹페이지를 출력하고, 상기 웹페이지에 온라인 설문에 사용될 문항 타입을 설정하기 위한 영역, 문항별 스타일 및 테마를 설정하기 위한 영역, 생성된 복수의 문항별 배치 순서를 드래그 앤 드롭 기능을 통해 변경시키는 영역 및 복수의 문항들이 조합된 설문지를 표시하는 미리보기 영역을 표시하고,

상기 미리보기 영역을 통해 어느 하나의 문항이 선택되면, 선택된 문항의 질문 내용을 설정하는 영역, 답변 종류를 설정하는 영역, 질문 내용 또는 답변 내용에 대한 이미지 또는 동영상을 입력받는 영역, 부가설명을 입력받는 영역을 표시하되,

이미지 추가 영역이 선택되면, 상기 온라인 설문지를 생성하는 관리자 단말에 미리 저장된 이미지를 업로드 받기 위한 객체를 소정 영역에 표시하고, 질문 내용에 대한 텍스트 중 적어도 하나의 키워드를 추출하고, 추출된 키워드에 대응되는 추천 이미지를 검색하여 상기 추천 이미지를 상기 소정 영역과 이웃하는 영역에 표시하는 것을 특징으로 한다.

상기 설문조사 시스템은, 상기 온라인 설문지의 문항별 응답 데이터의 입력 패턴에 기초하여 상기 온라인 설문지를 암호화하는 암호화부를 더 포함하고,

상기 암호화부는,

상기 온라인 설문지를 이미지로 변환하여 변환된 이미지를 복수의 블록으로 분할하고,

상기 온라인 설문지를 구성하는 각각의 문항별 응답 데이터의 수신 시점을 정규화하여 상기 응답 데이터의 수신 시점에 대응되는 블록을 추출하고,

추출된 복수의 블록을 임의로 배열하여 상기 온라인 설문지를 추출된 블록이 배열된 이미지로 변환하여 상기 온라인 설문지를 암호화하는 것을 특징으로 할 수 있다.

상술한 본 발명의 일측면에 따르면, 설문조사를 위한 설문지의 응답 데이터의 특징을 미리 구축된 인공지능 기반의 판별 프로그램의 입력값으로 입력하여, 이에 대한 결과값을 기초로 부정 응답자를 판별함으로써, 유의미한 응답 데이터만 분석에 활용할 수 있어 설문조사 결과의 신뢰성이 향상될 수 있다.

본 발명의 다른 측면은 실제 설문조사 데이터와 시뮬레이션된 설문조사 데이터를 이용하여 설문조사 부정 응답자 판별 AI 프로그램의 신뢰성을 평가할 수 있다.

또한, 간편한 방법으로 온라인 설문용 조사지를 생성할 수 있으며, 온라인 설문을 통한 응답 데이터를 간편하게 통계화하여 분석할 수 있다.

도 1은 본 발명의 일 실시예에 따른 설문조사 시스템의 개략적인 구성이 도시된 도면이다.
도 2는 도 1의 판별부에 구축된 설문조사 부정 응답자 판별 AI 프로그램의 일 예가 도시된 도면이다.
도 3 내지 도 6은 설문조사 시스템의 구체적인 기능을 설명하기 위한 도면이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 설문조사 시스템의 개략적인 구성이 도시된 도면이다.

본 발명의 일 실시예에 따른 설문조사 시스템(1000)은 웹페이지를 통해 온라인 설문지를 생성하고, 생성된 온라인 설문지에 대한 응답 데이터를 분석하기 위한 목적으로 사용되는 기술로, 판별부(100), 학습부(200), 분석부(300), 설문지 생성부(400) 및 암호화부(500)를 포함한다.

이때, 상술한 설문조사 시스템을 구성하는 각각의 구성 요소가 서로 다른 단말기에 의해 수행될 수도 있으며, 하나의 단말기가 설문조사 시스템을 구성하는 모든 구성이 수행하는 기능을 통합적으로 수행할 수 있다.

예컨대, 설문지 생성부(400)는 설문 조사를 진행하는 관리자 단말기에 의해 구현될 수 있으며, 판별부(100), 분석부(300), 학습부(200) 및 암호화부(500)는 관리 서버에 의해 구현될 수 있다. 또는, 관리서버가 설문조사 시스템(1000)의 모든 기능을 통합적으로 수행할 수도 있다. 이하에서는 설명의 편의를 위해 설문조사 시스템(1000)이 관리자 단말에 의해 수행되는 것으로 가정하여 설명하기로 한다.

판별부(100)는 설문지를 통해 수신되는 응답 정보에 기초하여 상기 온라인 설문지를 유효 데이터 또는 무효 데이터 중 어느 하나로 분류할 수 있다.

구체적으로, 판별부(100)는 설문조사를 위한 설문지의 응답 데이터의 특징을 요소별로 구분하고, 구분된 특징 데이터를 심층 신경망 기반의 설문조사 부정 응답자 판별 AI 프로그램의 입력값으로 입력하여, 출력되는 결과값을 기초로 상기 응답 데이터를 정상응답자에 의해 작성된 유효 데이터 또는 부정응답자에 의해 작성된 무효 데이터 중 어느 하나로 판별한다.

도 2는 판별부(100)에 구축된 설문조사 부정 응답자 판별 AI 프로그램의 일 예가 도시된 도면이다.

도시된 바와 같이, 판별부(100)는 심층 신경망 기반의 부정 응답자 판별 AI 프로그램을 이용하여 응답정보(응답데이터)를 유효 데이터(T) 또는 무효 데이터(F) 중 어느 하나로 구분할 수 있다.

이를 위해, 판별부(100)는 부정 응답자 판별 AI 프로그램에 입력할 입력값을 생성할 수 있으며, 이러한 입력값은 응답정보로부터 추출할 수 있다.

예컨대, 판별부(100)는 모든 응답이 1번으로 기록된 설문지, 기 설정된 임계시간(예컨대 1분) 이내에 모든 응답이 작성된 설문지, 응답이 전혀 기록되지 않은 설문지, 함정문항(동일 한 문항을 응답지에 복수 개 추가하여 다르게 응답하는지 확인하기 위한 문항)에 서로 다른 응답이 기록된 설문지 등은 의미 없는 설문 데이터로 판단하여 통계 수립 과정에서 해당 설문지를 제외시키기 위해, 응답정보로부터 전체 응답시간, 응답시점, 응답패턴, 문항별 응답시간, 무응답, 함정문항의 응답동일여부에 대한 정보를 추출하여 이를 입력값으로 생성할 수 있다.

판별부(100)는 입력 레이어에 입력된 입력값의 특징벡터가 히든 레이어를 거쳐 출력 레이어를 통해 출력된 출력값을 참조하여 응답정보(응답데이터)를 유효 데이터(T) 또는 무효 데이터(F) 중 어느 하나로 구분할 수 있다.

학습부(200)는 상기 온라인 설문지를 유효 데이터 또는 무효 데이터 중 어느 하나로 분류하기 위한 분류모델을 관리한다.

구체적으로, 상기 학습부(200)는, 미리 수집된 데이터 세트를 학습용 데이터 그룹 및 평가용 데이터 그룹으로 분류하고, 상기 학습용 데이터를 기초로 상기 온라인 설문지를 유효 데이터 또는 무효 데이터로 구분하기 위한 인공 신경망 기반의 분류모델을 생성하고, 상기 분류모델에 상기 평가용 데이터 그룹을 입력하여 상기 분류모델의 예측값에 기초하여 상기 분류모델의 신뢰도를 산출한 후, 상기 신뢰도에 기초하여 상기 분류모델을 보정할 수 있다.

여기서 분류모델을 보정하는 것은, 심층 신경망의 노드간 가중치값을 변경하는 것을 의미할 수 있으나, 이에 한정되는 것은 아니다.

이때, 학습부(200)는 실제 설문조사의 응답 데이터와, 시뮬레이션된 응답데이터를 이용하여 데이터 세트를 구축할 수 있다.

여기서, 시뮬레이션된 응답 데이터라 함은 의도적으로 조작된 응답 데이터를 의미하며, 시뮬레이션된 응답 데이터는 신뢰성 있는 타겟, 예컨대 10년이상 조사원을 통하여 대면조사 데이터, 전문가(교수, 교사, 5년이상 종사자, 석사,박사 등)들에게 조사 한 데이터, 자체 보유하고 있는 패널에게 조사 한 데이터를 포함할 수 있다.

학습부(200)는 도 3에 도시된 바와 같이 데이터 세트의 70%를 설문조사 부정 응답자 판별 AI 프로그램의 판별 알고리즘을 구축하기 위한 훈련용 데이터로 분류하고, 나머지 30%를 설문조사 부정 응답자 판별 AI 프로그램의 신뢰도를 평가하기 위한 평가용 데이터로 분류할 수 있다.

이때, 상기 신뢰도는 정분류율, 오분류율, 민감도, 특이도, 정확도 및 재현율에 기초하여 산출될 수 있다.

정분류율은 전체 관측치중 실제값과 예측치가 일치한 정도를 나타내는 지표이고, 오분류율은 모형이 제대로 예측하지 못한 관측치, 민감도는 실제값이 Ture인 관측치 중 예측치가 적중한 정도, 특이도는 실제값이 False인 관측치 중 예측치가 적중한 정도, 정확도는 Ture로 예측한 관측치 중 Ture인 정도를 나타내는 지표, 재현율은 실제값이 Ture인 관측치 중 예??치가 적중한 정도를 나타내는 민감도와 동일한 지표로 모형의 완전성을 평가하는 지표이다.

이러한 정분류율, 오분류율, 민감도, 특이도, 정확도 및 재현율은 기 공지되어 널리 활용되고 있는 지표이므로, 각 지표의 구체적인 산출 과정에 대한 설명은 생략하기로 한다.

분석부(300)는 상기 유효 데이터로 분류된 온라인 설문지에 포함된 응답 정보를 분석하여 통계 정보를 생성한다.

상기 분석부(300)는, 통계자료에 대한 데이터 시트를 생성하여 웹페이지의 제1 영역에 표시하는 데이터 시트 표시부, 상기 데이터 시트의 소정 영역에 대한 선택신호를 기초로 사용자에 의해 선택된 변량명의 종류를 구분하고, 선택된 적어도 하나의 변량명에 대응되는 변량들을 기초로 다이나믹 그래프를 생성하여 상기 웹페이지의 제2 영역에 표시하는 그래프 생성부 및 상기 제2 영역에 표시된 다이나믹 그래프의 인쇄 또는 저장을 위하여, 상기 다이나믹 그래프를 상기 웹페이지의 제3 영역으로 이동시켜 표시하는 로그 표시부를 할 수 있다.

상기 그래프 생성부는, 순차적으로 입력되는 선택신호의 순서에 따라 상기 다이나믹 그래프의 가로축 및 세로축에 대한 변량의 종류를 자동으로 구분하고, 선택된 변량명에 소속된 변량들에 대한 그룹별 다이나믹 그래프를 생성한 후, 상기 다이나믹 그래프에 대한 통계적 의미를 나타내는 그래픽 정보를 상기 다이나믹 그래프 상에 표시하는 것을 특징으로 한다.

도 4를 함께 참조하면, 그래프 생성부는 데이터 시트를 표시하기 위한 제1 영역(11)과, 데이터 시트에 대한 그래프 생성 결과를 표시하기 위한 제2 영역(12)과, 저장 또는 인쇄될 그래프를 표시하기 위한 제3 영역(13)과, 본 발명에 따른 다이나믹 그래프를 이용한 통계자료 분석 방법에 따른 서비스를 이용하거나 제공받기 위한 서로 다른 기능들이 매칭된 아이콘들이 포함된 인터페이스 영역(14)을 포함할 수 있다.

통계자료는 원시자료 또는 원시자료를 도수분포의 형태로 요약한 요약자료를 포함할 수 있으며, CSV(Comma Separated Value)형식 또는 JSON 형식으로 생성되거나 저장될 수 있다.

이러한 통계자료는 다양한 방법으로 입력받을 수 있다. 일 예로, 통계자료는 웹페이지를 통해 직접 입력받을 수 있다. 관리서버는 복수의 셀이 행과 열로 구성된 데이터 시트 양식을 생성하여 웹페이지의 제1 영역에 표시할 수 있다. 사용자는 제1 영역에 표시된 데이터 시트의 공란, 즉 어느 하나의 셀에 통계 분석을 위한 변량들을 입력하여 통계자료를 생성할 수 있다. 관리서버는 사용자로부터 입력된 변량들을 기초로 데이터 시트에 변량을 기록한 결과를 제1 영역에 표시할 수 있다.

다른 예로, 관리서버는 웹페이지를 통해 파일 형태의 통계자료를 입력받을 수 있다. 사용자는 사용자 단말에 저장된 통계자료를 웹페이지를 통해 관리서버로 업로드할 수 있다. 관리서버는 수신된 통계자료에 포함된 변량들의 종류를 구분하여 자동으로 데이터 시트에 기록한 후 이를 제1 영역에 표시할 수 있다.

데이터 시트에 통계 자료가 기록된 후, 관리서버는 사용자로부터 선택되는 그래프의 종류에 대한 다이나믹 그래프를 생성하여 제2 영역상에 출력할 수 있다(120).

관리서버는 웹페이지(10)의 제1 영역(11)상의 소정 영역에 대한 선택신호를 수신하면, 데이터 시트에 기록된 모든 변량들 중에서 그래프를 생성하기 위한 변량들을 수집할 수 있다(121). 데이터 시트에는 변량들의 종류를 구분하기 위한 셀(이하, 변량명 영역)들이 배치될 수 있으며, 관리서버는 사용자가 어느 하나의 변량명 영역을 선택하면, 선택된 변량명 영역에 소속된 변량들을 수집할 수 있다.

이후, 관리서버는 웹페이지의 제4 영역인 인터페이스 영역(14) 상의 어느 하나의 아이콘에 대한 선택신호를 수신하면(122), 수집된 변량들 및 선택된 아이콘의 종류에 따른 다이나믹 그래프를 생성할 수 있다(123). 여기서, 그래프의 종류는 막대 그래프, 원 그래프, 띠 그래프, 꺾은선 그래프, 점 그래프, 히스토그램, 줄기 그래프, 상자 그래프 및 산점도 그래프를 포함할 수 있다. 관리서버에서 생성되는 그래프의 종류는 상술한 예시에 한정되지 않으며, 통계자료를 시각적으로 분석하기 위한 다양한 형태의 그래프 종류를 더 포함할 수 있다. 관리서버는 각각의 그래프의 종류에 대응되는 아이콘을 웹페이지(10)의 인터페이스 영역(14)에 배치시킬 수 있다. 이때, 상기 자료에 대한 통계적 의미를 나타내는 그래픽을 상기 다이나믹 그래프 상에 표시할 수 있다(124). 이와 관련된 구체적인 내용은 후술하기로 한다.

관리서버는 웹페이지(10)의 제2 영역 중 그래프를 저장하거나 인쇄하기 위한 영역 또는 UI에 대한 선택신호를 수신하면, 제2 영역(12)에 생성된 다이나믹 그래프를 제3 영역(13)으로 이동시켜, 제3 영역(13)에서 표시되도록 할 수 있다(130). 제3 영역(13)은 제2 영역(12)에서 사용자에 의해 선택된 적어도 하나의 그래프들이 정렬되어 표시되는 영역으로, 출력을 위한 규격에 적합하도록 배열될 수 있다.

이하에서는, 상술한 본 발명에 따른 다이나믹 그래프를 이용한 통계자료 분석 방법을 이용하여 다이나믹 그래프를 생성하는 과정을 더욱 구체적으로 설명하기로 한다.

도 6을 참조하면, 본 발명에 따른 다이나믹 그래프를 이용한 통계자료 분석 방법을 이용하여 통계자료에 대한 그래프를 생성하는 일 예가 도시된다.

사용자는 사용자 단말기를 이용하여 관리서버에서 제공하는 웹페이지(10)에 접속할 수 있다. 웹페이지(10)는 상술한 바와 같이 제1 영역(11), 제2 영역(12), 제3 영역(13) 및 제4 영역(인터페이스 영역, 14)으로 구성될 수 있다.

사용자는 통계 분석을 위한 자료를 입력할 수 있다. 변량을 직접 입력하는 경우, 사용자는 변량의 종류별로 구분하여 입력할 수 있다.

다른 예로, 사용자는 외부 프로그램, 예컨대 메모장이나 엑셀프로그램 등을 이용하여 통계자료를 생성하여 CSV 파일 형태 또는 JSON 형태로 저장하고, 이를 웹페이지를 통해 업로드 함으로써 통계 자료를 입력할 수 있다. 관리서버는 사용자로부터 입력되는 통계자료를 데이터 시트에 기록하여 제1 영역(11)에 표시할 수 있다.

이후, 사용자는 그래프 생성을 위한 변량들을 선택할 수 있다. 예를 들어, 사용자가 5학년 1반에 대한 성별 그래프를 얻고자 하는 경우, 데이터 시트의 가장 상단에 위치한 변량명 영역들 중 첫번째 셀인 '성별'과 두번째 셀인 '5-1반'을 순차적으로 선택한다. 관리서버는 사용자에 의해 선택된 변량명 영역의 종류를 제1 영역의 소정 위치(선택변량)에 순차적으로 표시할 수 있다.

관리서버는 사용자로부터 선택된 그래프의 종류에 대한 다이나믹 그래프를 생성할 수 있다. 이때, 관리서버는 제1 영역에 대한 선택신호의 순서에 따라 그래프를 생성할 수 있다. 예를 들어, 도 4에 도시된 바와 같이 사용자가 데이터 시트의 '성별'과 '5-1반' 변량명 영역을 순차적으로 선택하는 경우, 관리서버는 첫 번째로 선택된 성별 변량에 대한 남자와 여자의 도수에 대한 다이나믹 그래프를 생성할 수 있다. 즉, 사용자는 변량명을 나타내는 영역을 순차적으로 선택하는 것만으로도 분석 대상 변량의 종류에 대한 도수를 나타내는 그룹별 그래프를 용이하게 생성할 수 있다. 이후, 사용자가 동일한 변량들에 대하여 다른 형태의 다이나믹 그래프를 생성하고자 하는 경우, 웹페이지의 제4 영역인 인터페이스 영역에 표시된 그래프의 종류에 대응되는 아이콘 중 기 생성된 그래프 형태에 대한 아이콘을 제외한 다른 아이콘을 선택하면, 관리서버는 제1 형태의 다이나믹 그래프를 동일한 변량명에 대한 제2 형태의 다이나믹 그래프로 변환하여 웹페이지의 제2 영역에 표시할 수 있다.

이때, 관리서버는 제2 영역(12)에 생성된 다이나믹 그래프에 대한 통계적 의미를 나타내는 그래픽 정보를 생성하여 다이나믹 그래프 상에 표시할 수 있다. 예를 들어, 관리서버는 도 4b에 도시된 바와 같이 추가적인 그래픽 정보의 생성여부를 선택받기 위한 UI를 제2 영역(12)상에 표시할 수 있다. 도시된 실시예에서, 관리서버는 막대그래프에 대한 그래픽 정보로 각각의 막대 그래프에 대한 도수를 그래프상에 표시할 수 있다.

각각의 그룹에 대한 평균 및 표준편차에 대한 그래픽 정보를 생성하여 기 생성된 다이나믹 그래프상에 표시할 수 있다. 반면, 관리서버는 사용자에 의해 선택되어 생성된 산점도 그래프에 대해서는 회귀선에 대한 그래픽 정보를 생성할 수 있다. 이와 같이, 관리서버는 일률적인 그래픽 정보를 생성하는 대신 다이나믹 그래프의 종류에 적합한 그래픽 정보를 생성함으로써 생성된 그래프에 대한 효과적인 분석을 가능하게 한다. 하지만, 생성되는 그래픽 정보는 상술한 예시에 한정되지 않으며 사용환경과 설정 등에 따라 다양한 종류의 그래픽 정보를 다이나믹 그래프에 표시할 수도 있음은 물론이다.

한편, 관리서버는 사용자로부터 수신된 선택신호를 기초로 생성된 다이나믹 그래픽의 명칭을 자동을 생성할 수 있다. 구체적으로, 관리서버는 웹페이지상의 제1 영역에 대한 사용자의 선택신호의 선택 순서에 따라 그래프의 명칭을 순차적으로 결정할 수 있다. 예를 들어, 사용자가 신장에 대한 변량명 영역을 첫 번째로 선택하고, 체중에 대한 변량명 영역을 두 번째로 선택하는 경우, 관리서버는 '신장 : 체중의 산점도'와 같은 명칭을 생성할 수 있다.

한편, 관리서버는 다이나믹 그래프를 생성하는 과정에서 선택된 변량명에 포함된 변량이 문자인지 또는 숫자인지에 따라 생성 가능한 그래프를 종류를 사용자에게 알려줄 수 있다. 예를 들어, 관리서버는 '원시자료에서 두 개이상 선택된 변량의 종류에 대해서는 그래프 또는 표가 생성되지 않습니다.' 또는 '문자 형태의 변량은 선택하신 그래프를 생성할 수 없습니다.' 등과 같은 안내 메시지를 웹페이지의 팝업 형태로 출력할 수 있다.

또한, 관리서버는 통계 교육을 위한 다양한 기능들에 대한 아이콘을 인터페이스 영역(14)에 배치시킬 수 있다. 이때, 관리서버는 통계자료에 대한 다이나믹 그래프를 생성하는 기능 외에도 추가적인 기능을 수행할 수 있다.

예를 들어, 관리서버는 이항분포, 포아송분포, 기하분포, 초기하분포, 지수분포, 정규분포, t분포, 카이분포, F분포 등과 같은 확률분포함수를 학습하기 위한 링크 페이지를 제공할 수 있다.

또는, 관리서버는 모집단과 표본, 대수의 법칙, 중심극한정리, 신뢰구간 등과 같은 모집단과 표본에 대한 다이나믹 그래프를 생성하고, 이에 대한 그래픽정보를 변경할 수 있는 링크 페이지를 제공할 수 있다.

또는, 관리서버는 모평균 가설검정, 모분산 가설검정, 두 모평균 가설검정, 두 모분산 가설검정, 두 모비율 가설검정, 분산분석 및 독립성 검정 등과 같은 가설검정 기능을 제공할 수 있다.

이 밖에도, 관리서버는 상관계수 시뮬레이션 및 회귀분석 시뮬레이션 등과 같은 시뮬레이션 기능을 제공할 수 있다.

상기 판별부는, 상기 분류모델을 통해 상기 온라인 설문지가 무효 데이터로 분류되면, 무효 데이터로 분류된 온라인 설문지를 상기 데이터 세트에 포함시킬 수 있다.

설문지 생성부(400)는 웹페이지를 통해 수신되는 설정정보에 기초하여 설문 내용 및 설문 형식을 설정하여 온라인 설문지를 생성한다.

도 4 및 도 5는 설문지 생성부(400)에 의해 관리되는 웹페이지의 일 예가 도시된 도면이다.

도시된 바와 같이, 설문지 생성부(400)는 웹페이지를 통해 온라인 설문을 수행하기 위한 설문지를 생성하기 위한 플랫폼을 제공할 수 있다.

구체적으로, 설문지 생성부(400)는, 상기 온라인 설문지를 제작하기 위한 웹페이지를 출력하고, 상기 웹페이지에 상에 온라인 설문에 사용될 문항 타입을 설정하기 위한 영역, 문항별 스타일 및 테마를 설정하기 위한 영역(A), 생성된 복수의 문항별 배치 순서를 드래그 앤 드롭 기능을 통해 변경시키는 영역(B) 및 복수의 문항들이 조합된 설문지를 표시하는 미리보기 영역(C)이 표시되도록 각각의 객체를 배열할 수 있다.

예컨대, 관리자(설문지 작성자)는 A 영역을 통해 질문 내용, 문항의 테마 및 스타일, 답변 내용 등에 대한 세부 설정을 수행할 수 있으며, 이때 문항 타입 선택을 위한 예시 문항을 미리 설정해 둠으로써 사용자가 클릭만으로도 질문 스타일을 간편하게 설정할 수 있도록 할 수 있다.

이러한 방법으로 복수의 문항들이 생성되면, 사용자는 B 영역에 표시된 문항별 영역을 드래그 앤 드롭 방식을 통해 문항의 배열 순서를 간편하게 수정할 수 있으며, A, B 영역을 통해 작성되는 온라인 설문지는 C 영역을 통해 미리 보여지게 된다.

한편, 설문지 생성부(400)는 상기 미리보기 영역(C)을 통해 어느 하나의 문항이 선택되면, 도 3에 도시된 바와 같이 선택된 문항의 질문 내용을 설정하는 영역, 답변 종류를 설정하는 영역, 질문 내용 또는 답변 내용에 대한 이미지 또는 동영상을 입력받는 영역, 부가설명을 입력받는 영역을 표시하게 된다.

이때, 설문지 생성부(400)는 이미지 추가 영역이 선택되면, 상기 온라인 설문지를 생성하는 관리자 단말에 미리 저장된 이미지를 업로드 받기 위한 객체를 소정 영역(D1)에 표시할 수 있다.

이와 동시에, 설문지 생성부(400)는 질문 내용에 대한 텍스트 중 적어도 하나의 키워드를 추출하고, 추출된 키워드에 대응되는 추천 이미지를 검색하여 상기 추천 이미지를 상기 소정 영역의 근처 영역(D2)에 표시할 수 있다.

예를 들어, 설문지 생성부(400) 도시된 바와 같은 질문 및 답변으로부터 손흥민, 2018, 챔피언스리그, 2호골 등과 같은 키워드를 추출하고, 추출된 키워드에 대응되는 이미지를 외부 서버로부터 검색하여 해당 답변에 대응되는 위치에 표시할 수 있다. 따라서, 사용자는 설문지의 이해를 돕기 위한 참고용 자료를 일일히 검색할 필요 없이 자동으로 추천받게 되어 설문지 작성의 편의성이 향상될 수 있다.

상기 설문조사 시스템은, 상기 온라인 설문지의 문항별 응답 데이터의 입력 패턴에 기초하여 상기 온라인 설문지를 암호화하는 암호화부(500)를 더 포함할 수 있다.

상기 암호화부(500)는, 상기 온라인 설문지를 이미지로 변환하여 변환된 이미지를 복수의 블록으로 분할하고, 상기 온라인 설문지를 구성하는 각각의 문항별 응답 데이터의 수신 시점을 정규화하여 상기 응답 데이터의 수신 시점에 대응되는 블록을 추출하고, 추출된 복수의 블록을 임의로 배열하여 상기 온라인 설문지를 추출된 블록이 배열된 이미지로 변환하여 상기 온라인 설문지를 암호화하는 것을 특징으로 한다.

이와 같은, 설문조사 시스템을 제공하는 기술은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.

상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.

컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.

프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (2)

1. 관리자 단말기에 구현되며, 설문조사를 위한 설문지의 응답 데이터의 특징을 요소별로 구분하고, 구분된 특징 데이터를 심층 신경망 기반의 설문조사 부정 응답자 판별 AI 프로그램의 입력값으로 입력하여, 출력되는 결과값을 기초로 상기 응답 데이터를 정상응답자에 의해 작성된 유효 데이터 또는 부정응답자에 의해 작성된 무효 데이터 중 어느 하나로 판별하는 설문조사 시스템에 있어서,
   상기 설문조사 시스템은,
   상기 설문지를 통해 수신되는 응답정보에 기초하여 상기 설문지를 유효 데이터 또는 무효 데이터 중 어느 하나로 분류하는 판별부;
   상기 설문지를 유효 데이터 또는 무효 데이터 중 어느 하나로 분류하기 위한 설문조사 부정 응답자 판별 AI 프로그램의 분류모델을 관리하는 학습부;
   상기 유효 데이터로 분류된 응답정보를 분석하여 통계 정보를 생성하는 분석부; 및
   웹페이지를 통해 수신되는 설정정보에 기초하여 설문 내용 및 설문 형식을 설정하여 상기 설문지를 생성하는 설문지 생성부를 포함하고,
   상기 판별부는,
   상기 응답정보로부터 전체 응답시간, 응답시점, 응답패턴, 문항별 응답시간, 무응답 및 함정문항의 응답동일여부에 대한 정보를 추출하여 이를 설문조사 부정 응답자 판별 AI 프로그램의 입력값으로 설정하고,
   상기 학습부는,
   미리 수집된 데이터 세트를 학습용 데이터 그룹 및 평가용 데이터 그룹으로 분류하고,
   상기 학습용 데이터를 기초로 상기 설문지를 유효 데이터 또는 무효 데이터로 구분하기 위한 인공 신경망 기반의 분류모델을 생성하고,
   상기 분류모델에 상기 평가용 데이터 그룹을 입력하여 상기 분류모델의 예측값에 기초하여 상기 분류모델의 신뢰도를 산출하고,
   상기 신뢰도에 기초하여 상기 분류모델을 보정하는 것을 특징으로 하고,
   상기 신뢰도는, 정분류율, 오분류율, 민감도, 특이도, 정확도 및 재현율에 기초하여 산출되는 것을 특징으로 하고,
   상기 판별부는, 상기 분류모델을 통해 상기 설문지가 무효 데이터로 분류되면, 무효 데이터로 분류된 설문지를 상기 데이터 세트에 포함시키고,
   상기 분석부는,
   통계자료에 대한 데이터 시트를 생성하여 웹페이지의 제1 영역에 표시하는 데이터 시트 표시부;
   상기 데이터 시트의 소정 영역에 대한 선택신호를 기초로 사용자에 의해 선택된 변량명의 종류를 구분하고, 선택된 적어도 하나의 변량명에 대응되는 변량들을 기초로 다이나믹 그래프를 생성하여 상기 웹페이지의 제2 영역에 표시하는 그래프 생성부; 및
   상기 제2 영역에 표시된 다이나믹 그래프의 인쇄 또는 저장을 위하여, 상기 다이나믹 그래프를 상기 웹페이지의 제3 영역으로 이동시켜 표시하는 로그 표시부를 포함하고,
   상기 그래프 생성부는, 순차적으로 입력되는 선택신호의 순서에 따라 상기 다이나믹 그래프의 가로축 및 세로축에 대한 변량의 종류를 자동으로 구분하고, 선택된 변량명에 소속된 변량들에 대한 그룹별 다이나믹 그래프를 생성한 후, 상기 다이나믹 그래프에 대한 통계적 의미를 나타내는 그래픽 정보를 상기 다이나믹 그래프 상에 표시하는 것을 특징으로 하고,
   상기 설문지 생성부는,
   상기 설문지를 제작하기 위한 웹페이지를 출력하고, 상기 웹페이지에 설문에 사용될 문항 타입을 설정하기 위한 영역, 문항별 스타일 및 테마를 설정하기 위한 영역, 생성된 복수의 문항별 배치 순서를 드래그 앤 드롭 기능을 통해 변경시키는 영역 및 복수의 문항들이 조합된 설문지를 표시하는 미리보기 영역을 표시하고,
   상기 미리보기 영역을 통해 어느 하나의 문항이 선택되면, 선택된 문항의 질문 내용을 설정하는 영역, 답변 종류를 설정하는 영역, 질문 내용 또는 답변 내용에 대한 이미지 또는 동영상을 입력받는 영역, 부가설명을 입력받는 영역을 표시하되,
   이미지 추가 영역이 선택되면, 상기 설문지를 생성하는 관리자 단말에 미리 저장된 이미지를 업로드 받기 위한 객체를 소정 영역에 표시하고, 질문 내용에 대한 텍스트 중 적어도 하나의 키워드를 추출하고, 추출된 키워드에 대응되는 추천 이미지를 검색하여 상기 추천 이미지를 상기 소정 영역과 이웃하는 영역에 표시하는 것을 특징으로 하고,
   상기 설문조사 시스템은, 상기 설문지의 문항별 응답 데이터의 입력 패턴에 기초하여 상기 설문지를 암호화하는 암호화부를 더 포함하고,
   상기 암호화부는,
   상기 설문지를 이미지로 변환하여 변환된 이미지를 복수의 블록으로 분할하고,
   상기 설문지를 구성하는 각각의 문항별 응답 데이터의 수신 시점을 정규화하여 상기 응답 데이터의 수신 시점에 대응되는 블록을 추출하고,
   추출된 복수의 블록을 임의로 배열하여 상기 설문지를 추출된 블록이 배열된 이미지로 변환하여 상기 설문지를 암호화하는 것을 특징으로 하는, 설문조사 시스템.
2. 삭제

Images