KR102624636B1 - 자체 피드백 기반의 설문지 생성 시스템 - Google Patents

자체 피드백 기반의 설문지 생성 시스템 Download PDF

Info

Publication number
KR102624636B1
KR102624636B1 KR1020230057297A KR20230057297A KR102624636B1 KR 102624636 B1 KR102624636 B1 KR 102624636B1 KR 1020230057297 A KR1020230057297 A KR 1020230057297A KR 20230057297 A KR20230057297 A KR 20230057297A KR 102624636 B1 KR102624636 B1 KR 102624636B1
Authority
KR
South Korea
Prior art keywords
survey
questionnaire
face
data
feedback
Prior art date
Application number
KR1020230057297A
Other languages
English (en)
Inventor
권민수
심성현
Original Assignee
주식회사 에스티이노베이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에스티이노베이션 filed Critical 주식회사 에스티이노베이션
Priority to KR1020230057297A priority Critical patent/KR102624636B1/ko
Application granted granted Critical
Publication of KR102624636B1 publication Critical patent/KR102624636B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management

Abstract

본 발명은 미리 학습된 설문 생성 모형을 이용하여 설문 목적에 맞는 설문지를 자동으로 생성하고, 생성된 설문지의 적합도를 자체적으로 피드백하는, 자체 피드백 기반의 설문지 생성 시스템에 관한 것이다.

Description

자체 피드백 기반의 설문지 생성 시스템{Self-feedback based questionnaire creation system}
본 발명은 자체 피드백 기반의 설문지 생성 시스템에 관한 것으로, 더욱 상세하게는 미리 학습된 설문 생성 모형을 이용하여 설문 목적에 맞는 설문지를 자동으로 생성하고, 생성된 설문지의 적합도를 자체적으로 피드백할 수 있는 자체 피드백 기반의 설문지 생성 시스템에 관한 것이다.
설문조사(Survey)란 미리 구조화되어 있는 설문지나 면접을 통하여 사회현상에 관한 자료를 수집하고 분석하는 연구 방법이다. 이러한 설문조사의 목적은 어떤 모집단을 대표할 것이라고 추정되는 대규모 응답자들을 통하여 정보를 구하는데 있으며, 과거에는 종이에 인쇄된 설문지를 이용하였으나 최근에는 인터넷과 스마트폰 등의 정보통신기술 발전으로 온라인 설문조사 방법 또한 각광받고 있다.
한편, 설문조사를 통해 도출되는 설문 결과는 신뢰성을 보장받아야 되나 다양한 요인에 의해 신뢰성이 저하되며, 특히 결과 도출에 요구되는 데이터의 품질에 따라 크게 좌우된다. 예를 들어, 설문조사에 불성실하게 임하여 설문 내용과는 상관없는 답변을 하거나, 악의적인 목적으로 답변한 응답 데이터를 설문조사 결과에 반영하게 되면 정상적인 응답 데이터만으로 도출되는 결과를 왜곡시킬 수 있는 문제점이 있다.
따라서, 설문조사의 신뢰성과 타당성을 향상시키 위해 부정응답 데이터를 효과적으로 필터링 하는 과정은 매우 중요한 기술적 과제라 할 수 있다.
하지만, 종래에는 이러한 부정응답 설문지를 수작업으로 분류하고 있어 설문지 분류에 많은 시간이 소요될 뿐만 아니라 부정응답자의 판별 여부를 주관적인 관점에 의지하고 있다는 한계가 있다.
최근 4차 산업혁명의 도래와 함께 인공지능 기반의 데이터 분류 알고리즘 관련 기술이 급속도로 성장하고 있어, 이와 같은 인공기능 기반의 데이터 분류 알고리즘을 설문조사의 부정응답 데이터 추출에 이용하고자 하는 기술의 필요성이 대두되고 있는 실정이다.
한편, 전술한 배경 기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.
한국등록특허 제10-2163718호
본 발명의 일측면은 미리 학습된 설문 생성 모형을 이용하여 설문 목적에 맞는 설문지를 자동으로 생성하고, 생성된 설문지의 적합도를 자체적으로 피드백할 수 있는 자체 피드백 기반의 설문지 생성 시스템을 제공한다.
본 발명의 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 자체 피드백 기반의 설문지 생성 시스템은 미리 학습된 설문 생성 모형을 이용하여 설문 목적에 맞는 설문지를 자동으로 생성하고, 생성된 설문지의 적합도를 자체적으로 피드백하는 것을 목적으로 한다.
상기 자체 피드백 기반의 설문지 생성 시스템은,
BERT(Bidirectional Encoder Representations from Transformers) 모형 및 GPT(Generative Pre-trained Transformer) 모형을 이용하여 설문 생성 모델을 구축하고, 구축된 설문 생성 모델을 이용하여 비대면 설문조사를 위한 설문지를 생성하는 설문지 생성부; 및
상기 설문지 생성부에 의해 생성된 설문지를 구성하는 설문 항목별로 적합도를 판단하는 피드백 관리부를 포함한다.
상기 피드백 관리부는,
하기 수학식을 이용하여 설문 항목별 피드백 점수를 산출하여, 산출된 피드백 점수가 미리 설정된 기준값 이하인 설문 항목의 수정을 요청한다.
[수학식]
여기서, FS는 설문지 생성부에 의해 생성된 설문지에 포함된 특정 설문 항목에 대한 피드백 점수, vk는 설문지 생성부에 의해 생성된 설문지에 포함된 특정 설문 항목으로부터 추출된 키워드에 대한 임베딩 벡터, lk는 키워드별로 설정된 가중치 점수, nk는 특정 설문 항목으로부터 추출된 키워드의 총 개수, vj는 추출된 키워드의 바로 앞 단어와 바로 뒷 단어에 대한 임베딩 벡터, lj는 키워드의 바로 앞 단어와 바로 뒷 단어별로 설정된 가중치 점수이다.
상술한 본 발명의 일측면에 따르면 미리 학습된 설문 생성 모형을 이용하여 설문 목적에 맞는 설문지를 자동으로 생성할 수 있으며, 생성된 설문지의 적합도를 자체적으로 피드백함으로써 설문지의 품질 및 신뢰성이 향상될 수 있다.
도 1은 본 발명의 일 실시예에 따른 자체 피드백 기반의 설문지 생성 시스템의 개략적인 구성이 도시된 도면이다.
도 2는 도 1에 도시된 설문조사 관리서버의 구체적인 구성이 도시된 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 자체 피드백 기반의 설문지 생성 시스템의 개략적인 구성이 도시된 도면이다.
본 발명에 따른 자체 피드백 기반의 설문지 생성 시스템은 미리 학습된 설문 생성 모형을 이용하여 설문 목적에 맞는 설문지를 자동으로 생성할 수 있으며, 생성된 설문지의 적합도를 자체적으로 피드백함으로써 설문지의 품질 및 신뢰성을 향상시키는 것을 목적으로 한다.
구체적으로, 본 발명에 따른 자체 피드백 기반의 설문지 생성 시스템은 응답자 단말(100) 및 설문조사 관리서버(200)를 포함한다.
응답자 단말(100)은 비대면 설문조사에 참여하는 설문 참여자가 소지한 단말로, 유니폼 제작을 희망하는 사용자(소비자)가 소지한 단말기로, 외부 기기와 유무선 통신이 가능하며 정보의 입출력 및 처리가 가능한 스마트폰, PC, 노트북, 태블릿 PC, 웨어러블 디바이스 등과 같은 전자장치일 수 있다.
사용자는 응답자 단말(100)을 이용하여 설문조사 관리서버(200)에서 요청된 비대면 설문조사에 대한 응답 데이터를 작성하여 설문조사 관리서버(200) 로 전송한다.
설문조사 관리서버(200)는 비대면 설문조사를 위한 설문지를 생성하고, 비대면 설문조사 과정에서 발생된 응답 데이터를 수집하고, 수집된 응답 데이터를 분석하여 통계 정보를 생성할 수 있다.
도 2는 이러한 설문조사 관리서버(200)의 구체적인 구성이 도시된 도면이다.
도시된 바와 같이, 설문조사 관리서버(200)는 설문지 생성부(210) 및 피드백 관리부(220)를 포함한다.
설문지 생성부(210)는 미리 학습된 언어 모형을 이용하여 설문지를 구성하는 설문 항목을 자동으로 생성할 수 있다.
이를 위해, 설문지 생성부는 BERT(Bidirectional Encoder Representations from Transformers) 모형 및 GPT(Generative Pre-trained Transformer) 모형에 설문 데이터를 사전 학습하여 설문 생성에 최적화 된 언어 모형을 학습한다.
본 발명에 따른 언어 모형은 양방향 LSTM(Long Shot Term Memory network)로 구성된 구조를 사용하며, 학습 후 설문 생성을 위한 생성자인 Decoder network만 사용하여 설문지를 자동으로 생성한다.
피드백 관리부(220)는 자동으로 생성된 설문지가 적합한 형태로 생성되었는지 여부를 피드백할 수 있다.
일 실시예에서, 피드백 관리부는 하기 수학식 2를 이용하여 설문지 항목별로 피드백 점수를 산출할 수 있다.
[수학식 2]
여기서, FS는 설문지 생성부에 의해 생성된 설문지에 포함된 특정 설문 항목에 대한 피드백 점수, vk는 설문지 생성부에 의해 생성된 설문지에 포함된 특정 설문 항목으로부터 추출된 키워드에 대한 임베딩 벡터, lk는 키워드별로 설정된 가중치 점수, nk는 특정 설문 항목으로부터 추출된 키워드의 총 개수, vj는 추출된 키워드의 바로 앞 단어와 바로 뒷 단어에 대한 임베딩 벡터, lj는 키워드의 바로 앞 단어와 바로 뒷 단어별로 설정된 가중치 점수이다.
피드백 관리부는 산출된 피드백 점수가 미리 설정된 기준값 이하인 설문 항목의 수정을 설문지 생성부로 요청한다.
이와 같이, 설문지 생성부는 상술한 수학식을 이용하여 자동으로 생성된 설문지의 설문 항목을 자체적으로 피드백함으로써 자동 생성된 설문지의 신뢰성이 향상될 수 있다.
몇몇 다른 실시예에서, 본 발명에 다른 설문조사 관리서버는 도시되지는 않았지만 데이터 수집부, 데이터 가공부 및 데이터 통계부를 더 포함할 수 있다.
데이터 수집부는 비대면 설문조사에 대한 응답 데이터를 수집한다.
여기서, 응답 데이터는 응답자 단말(100)로부터 생성되며, 음성 데이터와 텍스트 데이터를 포함한다.
데이터 수집부는 상기 응답 데이터를 완전 응답 데이터와 중도 이탈자로부터 수집된 응답 데이터인 불완전 응답 데이터로 분류한다.
한편, 데이터 수집부는 분류된 불완전 응답 데이터 중 복원 가능한 응답 데이터를 선별하는 것을 특징으로 한다.
일 실시예에서, 데이터 수집부는 하기 수학식 2를 이용하여 불완전 응답 데이터의 복원 가능성 지수를 산출하고, 산출된 복원 가능성 지수가 미리 설정된 기준값 이상인 불완전 응답 데이터를 복원 가능한 응답 데이터로 판단할 수 있다.
[수학식 2]
여기서, r은 복원 가능성 지수, q는 설문지에 포함된 전체 설문 문항 수, a는 답변한 항목 수, di는 설문 문항별로 미리 설정된 답변 난이도 점수, ti는 설문 문항별로 미리 설정된 답변 예상 시간, q는 분산, n은 비대면 설문조사에 참여한 참여자 수이다.
데이터 가공부는 미리 학습된 인공 신경망을 이용하여 복원 가능한 응답 데이터에서 응답이 누락된 설문 항목을 복원한다.
예컨대, 데이터 가공부는 불완전 응답 데이터를 구성하는 응답 패턴을 미리 학습된 인공 신경망을 이용하여 설문조사 관리서버에 미리 저장된 성실 응답자의 응답 데이터와 비교하여 복수의 성실 응답자의 응답 데이터 중 어느 데이터와 가장 유사한지를 판단할 수 있다.
데이터 가공부는 가장 유사한 것으로 판단된 성실 응답자의 응답 데이터에 기초하여 불완전 응답 데이터에서 답변되지 않은 설문 항목에 대한 답변을 자동으로 생성하는 방식으로 응답이 누락된 설문 항목을 복원할 수 있다.
여기서, 인공 신경망은 입력층, 은닉층 및 출력층으로 구성된 심층 신경망의 형태일 수 있으며, 두 개의 인공 신경망으로 구성된 GAN(Generative Adversarial Network)을 이용하여 응답이 누락된 설문 항목을 복원한다.
즉, 도 3에 도시된 바와 같이, 데이터 가공부는 GAN의 생성자 모델이 응답이 누락된 설문 항목을 복원(생성)하면, GAN의 판별자 모델은 성실 응답자의 응답 데이터를 이용하여 복원(생성)된 데이터의 유효성을 판단할 수 있다. 즉, 생성자 모델은 자신이 생성한 데이터가 판별자 모델에 의해 진짜로 인식될 수 있도록 하는 모델을 구축하며, 판별자 모델은 성실 응답자의 응답 데이터를 기준으로 하여 입력된 데이터의 적절성 여부를 판단하게 된다.
또한, 데이터 가공부는 손실함수를 이용하여 생성자 모델과 판별자 모델을 학습하며, 여기서 손실함수는 모델의 추론 결과와 실제 정답 간의 차이값을 산출하는 함수를 의미한다.
데이터 통계부는 상기 데이터 수집부에 의해 분류된 완전 응답 데이터와, 상기 데이터 가공부에 의해 복원된 응답 데이터에 기초하여 통계정보를 생성한다.
예컨대, 데이터 통계부는 수집된 응답 데이터를 정렬하여 표시하고, 수집된 응답 데이터의 특징에 따라 응답 데이터를 지역별, 연령별, 성별, 직업별로 구분한 통계 데이터를 제공할 수 있다. 또한, 데이터 통계부(230)는 교차분석, 보고서, 문항별 통계자료를 생성할 수 있다.
또한, 수집 및 자동 통합된 설문 데이터를 이용하여 데이터의 형태에 따라 시각화, 통계분석, 회귀분석 등 다양한 통계분석이 자동으로 수행되고 그 결과를 자동으로 보고서화 할 수 있다.
또한, 통계분석 시 설문 데이터의 형태 (수치형, 범주형, 순서형 등)에 따라 수행 가능한 분석 방법들을 자동 수행하여, 유의미한 분석 결과를 자동으로 도출할 수 있다.
이 과정에서, 데이터 통계부는 상기 데이터 수집부에 의해 분류된 완전 응답 데이터와, 상기 데이터 가공부에 의해 복원된 응답 데이터 중 불성실 응답 데이터를 통계 산출 과정에서 제외시킬 수 있다.
예컨대, 데이터 통계부는 응답 데이터로부터 설문조사 진입시간부터 종료까지 소요된 시간 정보를 나타내는 응답 소요시간을 검색하여 이를 제1 특징벡터로 변환하고, 온라인 설문지에 미리 설정된 필수 선택 문항을 선택하지 않은 횟수 정보를 나타내는 무응답 횟수를 검색하여 이를 제2 특징벡터로 변환하고, 문항별 응답 값의 평균을 산출하여 이를 제3 특징벡터로 변환하며, 문항별 응답 값 차이를 산출하여 이를 제4 특징벡터로 변환한다.
이후, 데이터 통계부는 생성된 상기 제1 특징벡터, 상기 제2 특징벡터, 상기 제3 특징벡터 및 상기 제4 특징벡터를 미리 학습된 인공지능 기반의 분류모델의 입력값으로 입력하여, 분류모델의 출력값에 기초하여 상기 응답 데이터를 정상 응답 데이터인 유효 데이터 또는 불성실 응답 데이터인 무효 데이터 중 어느 하나로 구분한다.
데이터 통계부는 유효 데이터로 구분된 응답 데이터만을 이용하여 통계정보를 생성함으로써 설문조사 결과의 신뢰성이 향상될 수 있다.
몇몇 또 다른 실시예에서, 설문조사 관리서버(200)는 응답자 단말(100)로부터 수신되는 비대면 설문에 대한 리뷰 데이터를 분석하여 비대면 설문을 평가하는 설문 평가부(미도시)를 더 포함할 수 있다.
예를 들면, 설문 평가부는 입력 데이터에 대하여 문맥 정보를 추출하는 인공 신경망을 구축할 수 있다.
여기서, 입력 데이터는 비대면 설문조사에 대한 리뷰 데이터일 수 있다.
설문 평가부는 응답자 단말(100)로부터 수신하는 리뷰 데이터를 설문조사별로 분류하여 누적하여 저장할 수 있으며, 저장한 리뷰 데이터를 학습 데이터로 추출할 수 있다.
설문 평가부는 Word2Vec 알고리즘으로 학습 데이터를 학습하여 입력 데이터에 대하여 문맥 정보를 추출하는 신경망을 구축할 수 있다.
Word2Vec 알고리즘은 신경망 언어 모델(NNLM : Neural Network Language Model)을 포함할 수 있다. 신경망 언어 모델은 기본적으로 Input Layer, Projection Layer, Hidden Layer, Output Layer로 이루어진 Neural Network이다. 신경망 언어 모델은 단어를 벡터화하는 방법에 사용되는 것이다. 신경망 언어 모델은 공지된 기술이므로 보다 자세한 설명은 생략하기로 한다.
Word2vec 알고리즘은, 텍스트마이닝을 위한 것으로, 각 단어 간의 앞, 뒤 관계를 보고 근접도를 정하는 알고리즘이다. Word2vec 알고리즘은 비지도 학습 알고리즘이다. Word2vec 알고리즘은 이름이 나타내는 바와 같이 단어의 의미를 벡터형태로 표현하는 계량기법일 수 있다. Word2vec 알고리즘은 각 단어를 200차원 정도의 공간에서 백터로 표현할 수 있다. Word2vec 알고리즘을 이용하면, 각 단어마다 단어에 해당하는 벡터를 구할 수 있다.
Word2vec 알고리즘은 종래의 다른 알고리즘에 비해 자연어 처리 분야에서 비약적인 정밀도 향상을 가능하게 할 수 있다. Word2vec은 입력한 말뭉치의 문장에 있는 단어와 인접 단어의 관계를 이용해 단어의 의미를 학습할 수 있다. Word2vec 알고리즘은 인공 신경망에 근거한 것으로, 같은 맥락을 지닌 단어는 가까운 의미를 지니고 있다는 전제에서 출발한다. Word2vec 알고리즘은 텍스트 문서를 통해 학습을 진행하며, 한 단어에 대해 근처(전후 5 내지 10 단어 정도)에 출현하는 다른 단어들을 관련 단어로서 인공 신경망에 학습시킨다. 연관된 의미의 단어들은 문서상에서 가까운 곳에 출현할 가능성이 높기 때문에 학습을 반복해 나가는 과정에서 두 단어는 점차 가까운 벡터를 지닐 수 있다.
Word2vec 알고리즘의 학습 방법은 CBOW(Continuous Bag Of Words) 방식과 skip-gram 방식이 있다. CBOW 방식은 주변 단어가 만드는 맥락을 이용해 타겟 단어를 예측하는 것이다. skip-gram 방식은 한 단어를 기준으로 주변에 올 수 있는 단어를 예측하는 것이다. 대규모 데이터셋에서는 skip-gram 방식이 더 정확한 것으로 알려져 있다.
따라서, 본 발명의 실시 예에서는 skip-gram 방식을 이용한 Word2vec 알고리즘을 사용한다. 예컨대, Word2vec 알고리즘을 통해 학습이 잘 완료되면, 고차원 공간에서 비슷한 단어는 근처에 위치할 수 있다. 상술한 바와 같은 Word2vec 알고리즘에 따르면 학습 문서 내 주위 단어의 분포가 가까운 단어일수록 산출되는 벡터값은 유사해질 수 있으며, 산출된 벡터값이 비슷한 단어는 유사한 것으로 간주할 수 있다. Word2vec 알고리즘은 공지된 기술이므로 벡터값 계산과 관련한 보다 상세한 설명은 생략하기로 한다.
설문 평가부는 평점 단계를 복수 개로 나누고, 각 평점 단계에 해당하는 평가 기준 텍스트를 설정 할 수 있다. 예컨대, 설문 평가부는 리뷰 데이터에 기반한 평가 결과에 따라 전문가에 의해 평점이 부여된 외부 서버에 접속하여 복수의 평점 단계 별 평가 기준 텍스트를 획득할 수 있다.
설문 평가부는 신경망에 복수의 평점 단계 별 평가 기준 텍스트를 각각 입력하여, 평점 단계 별평가 기준 텍스트에 대한 문맥 정보를 나타내는 평점 단계 별 기준 벡터 값을 추출할 수 있다.
설문 평가부는 신경망에 응답자 단말(100)로부터 수신하는 리뷰 데이터에 대한 평가결과 텍스트를 입력하여 문맥 정보를 나타내는 평가 결과 벡터 값을 추출할 수 있다.
설문 평가부는 평가 결과 벡터 값과 복수의 기준 벡터 값 각각의 유사도를 산출하고, 복수의 기준벡터 값 중 평가 결과 벡터 값과의 유사도가 가장 높은 기준 벡터 값을 추출할 수 있다. 이때, 유사도 산출 방법에는 유클리디안 거리(Euclidean distance), 코사인 유사도(Cosine similarity), 타니모토 계수(Tanimoto coeffieient) 등이 채택될 수 있다.
설문 평가부는 평가 결과 벡터 값과의 유사도가 가장 높은 기준 벡터 값에 해당하는 평점 단계를 해당 설문조사의 평점으로 산출할 수 있다.
설문 평가부는 비대면 설문조사별로 산출한 평점을 매칭하여 저장할 수 있으며, 응답자 단말 또는 설문조사 관리서버에서 실행되는 어플리케이션을 통해 설문조사별 별 평점을 안내할 수 있다.
[수학식 3]
여기서, RS는 비대면 설문조사의 평점, kp는 비대면 설문조사에 대한 리뷰 데이터에 포함된 단어 중 미리 설정된 긍정 키워드 사전에 포함된 단어의 개수, kn은 비대면 설문조사에 대한 리뷰 데이터에 포함된 단어 중 미리 설정된 부정 키워드 사전에 포함된 단어의 개수, wp는 리뷰 데이터에 포함된 긍정 키워드의 길이, wn은 리뷰 데이터에 포함된 부정 키워드의 길이, wt는 리뷰 데이터의 총 단어 길이, δ은 응답자 단말로 설문 조사지를 전송한 날짜로부터 리뷰 데이터를 수신한 날짜까지 소요된 시간이다.
예컨대, 리뷰 데이터가 총 61개의 단어로 이루어져 있고, 이 중 긍정 키워드들의 총 단어 수가 17개, 부정 키워드의 총 단어 수가 11개인 경우, wt는 61, wp는 17, wn은 11이 된다.
이와 같이, 설문 평가부는 상술한 수학식을 이용하여 비대면 설문조사의 리뷰 데이터별 평점을 산출하고, 산출된 평점의 평균을 해당 비대면 설문조사의 평점으로 설정함으로써, 해당 설문조사가 유의미한 설문조사였는지를 나타낼 수 있다.
이와 같은, 본 발명에 따른 기술은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 공간으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
210: 설문지 생성부
220: 피드백 관리부

Claims (3)

  1. 미리 학습된 설문 생성 모형을 이용하여 설문 목적에 맞는 설문지를 자동으로 생성하고, 생성된 설문지의 적합도를 자체적으로 피드백하는, 자체 피드백 기반의 설문지 생성 시스템에 있어서,
    상기 자체 피드백 기반의 설문지 생성 시스템은,
    BERT(Bidirectional Encoder Representations from Transformers) 모형 및 GPT(Generative Pre-trained Transformer) 모형을 이용하여 설문 생성 모델을 구축하고, 구축된 설문 생성 모델을 이용하여 비대면 설문조사를 위한 설문지를 생성하는 설문지 생성부;
    응답자 단말로부터 비대면 설문조사에 대한 응답 데이터를 수집하는 데이터 수집부;
    상기 응답자 단말로부터 수신되는 비대면 설문에 대한 리뷰 데이터를 분석하여 비대면 설문을 평가하는 설문 평가부; 및
    상기 설문지 생성부에 의해 생성된 설문지를 구성하는 설문 항목별로 적합도를 판단하는 피드백 관리부를 포함하고,
    상기 피드백 관리부는,
    하기 수학식 1을 이용하여 설문 항목별 피드백 점수를 산출하여, 산출된 피드백 점수가 미리 설정된 기준값 이하인 설문 항목의 수정을 요청하고,
    상기 데이터 수집부는,
    하기 수학식 2를 이용하여 불완전 응답 데이터의 복원 가능성 지수를 산출하여, 산출된 복원 가능성 지수가 미리 설정된 기준값 이상인 불완전 응답 데이터를 복원 가능한 응답 데이터로 판단하고,
    상기 설문 평가부는,
    하기 수학식 3을 이용하여 설문조사별 별 평점을 산출하는, 자체 피드백 기반의 설문지 생성 시스템.

    [수학식 1]

    여기서, FS는 설문지 생성부에 의해 생성된 설문지에 포함된 특정 설문 항목에 대한 피드백 점수, vk는 설문지 생성부에 의해 생성된 설문지에 포함된 특정 설문 항목으로부터 추출된 키워드에 대한 임베딩 벡터, lk는 키워드별로 설정된 가중치 점수, nk는 특정 설문 항목으로부터 추출된 키워드의 총 개수, vj는 추출된 키워드의 바로 앞 단어와 바로 뒷 단어에 대한 임베딩 벡터, lj는 키워드의 바로 앞 단어와 바로 뒷 단어별로 설정된 가중치 점수이다.

    [수학식 2]

    여기서, r은 복원 가능성 지수, q는 설문지에 포함된 전체 설문 문항 수, a는 답변한 항목 수, di는 설문 문항별로 미리 설정된 답변 난이도 점수, ti는 설문 문항별로 미리 설정된 답변 예상 시간, q는 분산, n은 비대면 설문조사에 참여한 참여자 수이다.

    [수학식 3]

    여기서, RS는 비대면 설문조사의 평점, kp는 비대면 설문조사에 대한 리뷰 데이터에 포함된 단어 중 미리 설정된 긍정 키워드 사전에 포함된 단어의 개수, kn은 비대면 설문조사에 대한 리뷰 데이터에 포함된 단어 중 미리 설정된 부정 키워드 사전에 포함된 단어의 개수, wp는 리뷰 데이터에 포함된 긍정 키워드의 길이, wn은 리뷰 데이터에 포함된 부정 키워드의 길이, wt는 리뷰 데이터의 총 단어 길이, δ은 응답자 단말로 설문 조사지를 전송한 날짜로부터 리뷰 데이터를 수신한 날짜까지 소요된 시간이다.
  2. 삭제
  3. 삭제
KR1020230057297A 2023-05-02 2023-05-02 자체 피드백 기반의 설문지 생성 시스템 KR102624636B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230057297A KR102624636B1 (ko) 2023-05-02 2023-05-02 자체 피드백 기반의 설문지 생성 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230057297A KR102624636B1 (ko) 2023-05-02 2023-05-02 자체 피드백 기반의 설문지 생성 시스템

Publications (1)

Publication Number Publication Date
KR102624636B1 true KR102624636B1 (ko) 2024-01-12

Family

ID=89541489

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230057297A KR102624636B1 (ko) 2023-05-02 2023-05-02 자체 피드백 기반의 설문지 생성 시스템

Country Status (1)

Country Link
KR (1) KR102624636B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102163718B1 (ko) 2020-03-17 2020-10-08 주식회사 에스티리서치 설문조사 부정 응답자 판별 ai 프로그램
KR20220057422A (ko) * 2020-10-29 2022-05-09 주식회사 더캣코리아 컴퓨터기반 단계형 적응검사 수행 장치 및 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102163718B1 (ko) 2020-03-17 2020-10-08 주식회사 에스티리서치 설문조사 부정 응답자 판별 ai 프로그램
KR20220057422A (ko) * 2020-10-29 2022-05-09 주식회사 더캣코리아 컴퓨터기반 단계형 적응검사 수행 장치 및 시스템

Similar Documents

Publication Publication Date Title
US11669689B2 (en) Natural language generation using pinned text and multiple discriminators
US10846488B2 (en) Collating information from multiple sources to create actionable categories and associated suggested actions
Desai et al. Techniques for sentiment analysis of Twitter data: A comprehensive survey
US11907274B2 (en) Hyper-graph learner for natural language comprehension
US8346708B2 (en) Social network analysis with prior knowledge and non-negative tensor factorization
CN107908715A (zh) 基于Adaboost和分类器加权融合的微博情感极性判别方法
US20220230089A1 (en) Classifier assistance using domain-trained embedding
CN112307351A (zh) 用户行为的模型训练、推荐方法、装置和设备
US20200004820A1 (en) Content optimization for audiences
WO2020135642A1 (zh) 一种基于生成对抗网络的模型训练方法及设备
Liu et al. Correlation identification in multimodal weibo via back propagation neural network with genetic algorithm
Yamasaki et al. Prediction of user ratings of oral presentations using label relations
Yordanova et al. Automatic detection of everyday social behaviours and environments from verbatim transcripts of daily conversations
Wen et al. DesPrompt: Personality-descriptive prompt tuning for few-shot personality recognition
Sri et al. Depression Detection in Tweets from Urban Cities of Malaysia using Deep Learning
KR102624636B1 (ko) 자체 피드백 기반의 설문지 생성 시스템
KR102624634B1 (ko) 자가학습 기반 인공지능을 이용한 비대면 설문조사에서 중도이탈 응답 대체 시스템
Desai et al. A hybrid classification algorithm to classify engineering students' problems and perks
Sajinika et al. Twitter Sentiment Analysis and Topic Modeling for Online Learning
Alghalibi et al. Deep Tweets Analyzer Model for Twitter Mood Visualization and Prediction Based Deep Learning Approach
Showrov et al. Identification of users feature based on facebook snippets
Akber et al. Personality Prediction Based on Contextual Feature Embedding SBERT
Liu et al. Deep Learning Approach for Emotion Recognition Analysis in Text Streams
CN113158082B (zh) 一种基于人工智能的媒体内容真实度分析方法
Zech et al. Inferring# MeToo Experience Tweets using Classic and Neural Models [Inferring# MeToo Experience Tweets using Classic and Neural Models]

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant