WO2018088871A1 - 생체 데이터를 이용한 프로그램의 난이도 및 프로그래머의 수준 예측 분류 시스템 - Google Patents

생체 데이터를 이용한 프로그램의 난이도 및 프로그래머의 수준 예측 분류 시스템 Download PDF

Info

Publication number
WO2018088871A1
WO2018088871A1 PCT/KR2017/012867 KR2017012867W WO2018088871A1 WO 2018088871 A1 WO2018088871 A1 WO 2018088871A1 KR 2017012867 W KR2017012867 W KR 2017012867W WO 2018088871 A1 WO2018088871 A1 WO 2018088871A1
Authority
WO
WIPO (PCT)
Prior art keywords
biometric data
programmer
program
level
difficulty
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2017/012867
Other languages
English (en)
French (fr)
Inventor
임희석
이설화
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Korea University Research and Business Foundation
Original Assignee
Korea University Research and Business Foundation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Korea University Research and Business Foundation filed Critical Korea University Research and Business Foundation
Publication of WO2018088871A1 publication Critical patent/WO2018088871A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0637—Strategic management or analysis, e.g. setting a goal or target of an organisation; Planning actions based on goals; Analysis or evaluation of effectiveness of goals
    • G06Q10/06375—Prediction of business process outcome or impact based on a proposed change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/37—Intracranial electroencephalography [IC-EEG], e.g. electrocorticography [ECoG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A61B5/374—Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/378—Visual stimuli
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/10—Requirements analysis; Specification techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06398—Performance of employee with respect to a job function
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education

Definitions

  • Embodiments of the present invention relate to a system for predicting and classifying a program's difficulty and a programmer's level using biometric data detected by an EEG measuring apparatus and an eye tracking apparatus.
  • the possibility of generating an error in advance through the difficulty control of the program and the automatic feedback from the tutoring system may be excluded.
  • the difficulty of the program and the programmer using the biometric data to predict and classify the programming level of the programmer and the difficulty of the program used for programming Provide a level prediction classification system.
  • Difficulty of a program using a biometric data and a programmer's level prediction classification system for achieving the above object is the data relating to the EEG measurement of the programmer to perform programming using the EEG measurement device
  • a first biometric data detection unit for detecting biometric data a second biometric data detection unit for detecting second biometric data which is data related to gaze tracking of the programmer using a gaze tracking device, a feature element of EEG and a feature element of gaze
  • a data processor configured to repeatedly learn the patterns of the first biometric data and the second biometric data based on the extracted feature elements, and a programming level of a programmer previously classified the repeated learned results and the programming Compare with labels on the difficulty level of the program used As such, it includes a classification category to predict the programming level and degree of difficulty of the program of the user.
  • the biometric data detected through EEG measurement and eye tracking of a user may be analyzed to predict and classify a programming level of a programmer and a difficulty level of a program used for programming.
  • the biometric data since the biometric data is used, it may be more objective in evaluating the programming level and the program difficulty of the programmer, and the time cost may be reduced because the biometric data is classified through the machine learning method. .
  • This can be very effective from the point of view of a teacher who educate many students, especially since there are quite a few teachers who can provide programming education in Korea. You can save time by presenting accurate feedback to many students during the same time.
  • the present invention can be used in the recruitment process of a number of IT-related companies.
  • Many IT companies go through oral interviews and written tests when hiring employees, most of which use code-related questions as queries.
  • developers can be selected by satisfying needs more objectively.
  • FIGS. 1 and 2 are diagrams illustrating how a difficulty level of a program using biometric data and a level prediction system of a programmer are utilized according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating an overview of a difficulty level of a program using a biometric data and a programmer's level prediction system according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a difficulty of a program using biometric data and a process of a programmer's level prediction system according to an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating program code corresponding to an experimental stimulus, according to an exemplary embodiment.
  • FIG. 6 is a view showing an electrode provided in the EEG measuring apparatus according to an embodiment of the present invention.
  • FIG. 7 is a diagram illustrating a process of removing noise of detected biometric data according to one embodiment of the present invention.
  • FIG. 1 and 2 are diagrams illustrating the use of a difficulty level of a program using a biometric data and a level predictor classification system of a programmer according to an embodiment of the present invention
  • FIG. 3 is a diagram of a living body according to an embodiment of the present invention.
  • FIG. 4 illustrates a program's level of difficulty using a biometric data and a programmer's level prediction classification system according to an embodiment of the present invention.
  • EEG and eye trackers can be used. Specifically, as shown in Figure 1, attach the equipment for brain wave measurement equipment to the test subject and attach the eye tracker equipment to the monitor. EEG equipment used in the present invention is limited in mobility, but may be utilized as other compact EEG equipment as shown in FIG.
  • FIG. 6 is a diagram showing an electrode provided in an EEG measuring apparatus according to an embodiment of the present invention.
  • the eye tracker was attached to a 19-inch monitor, but experimented with 50-75cm away from the programmer's eyes.
  • the eye tracker may be provided with a fixed filter that classifies the eye movement based on the speed at which the eyeball of the programmer moves along the direction.
  • the present invention can implement two classifiers that can predict the difficulty of a program and the level of a programmer using an EEG and an eye tracker capable of measuring biometric data.
  • the data used in the present invention is intended for programmers with programming experience.
  • a preliminary survey should be used to classify the label as whether the subject is a good programmer or a poor programmer.
  • the reason for classifying the label is to use the machine learning technique to implement the classifier, because the classifier must be able to determine the classification accuracy of the model only if the correct set of labels is already present. Since there is no standard for judging the programmer's proficiency, the questionnaire should be constructed by referring to related studies.
  • a stimulus used to implement a classifier that predicts a program difficulty and a programmer's level may be program code.
  • the programming language used is not limited to a specific language and Java, C, Python, etc. may be used.
  • 5 is a diagram illustrating program code corresponding to an experimental stimulus according to an exemplary embodiment of the present invention.
  • the programmer solves a problem regarding a preset program.
  • the first biometric data which is the brain wave data of the user's brain wave measured by the brain wave measuring device
  • the eye tracking is performed.
  • the second biometric data which is the eye tracking data regarding the eyes of the user tracked through the device, is detected.
  • FIG. 7 is a diagram illustrating a process of removing noise of detected biometric data according to an embodiment of the present invention.
  • the ICA is implemented through an IIR filter with a low cutoff frequency of 1Hz, a high cutoff frequency of 120Hz and a notch filter with a 60Hz frequency, and an algorithm for eliminating eye blink.
  • FFT fast Fourier transform
  • a frequency band corresponding to 4-50 Hz can be obtained when performing FFT.
  • the band-specific data values included in the EEG measuring device are obtained for theta wave (4-8 Hz), alpha wave (8-13 Hz), beta wave (13-30 Hz), and gamma wave (30-50 Hz).
  • the feature elements of the EEG and the feature elements of the gaze may be extracted, and the patterns of the first biometric data and the second biometric data may be repeatedly learned based on the extracted feature elements.
  • the feature element may be largely composed of a feature that can be extracted from the gaze tracking device and a feature that can be extracted from the EEG measurement device, specifically, it may be configured as shown in Table 1.
  • eye tracking devices use elements that can be extracted from pupil diameter, eye saccade, and fixation.
  • the num_of_pupilsize variable is used based on previous researches that the pupil size expands to 0.5mm.
  • the gaze fixation point first stared after blinking eyes was removed.
  • the EEG measurement device uses a total of 13 channels except for the reference channel and 4 bands that can be extracted for each frequency band.
  • SVM Small Vector Machine
  • SVM is a supervised learning classification model that has the highest margin hyperplane and performs better than linear and nonlinear algorithms and has high accuracy in classifying biodata.
  • the classifier that predicts the programming level of the programmer extracts the data from the EEG measurement device and the eye tracking device to train the model by extracting the features of Table 1, and pre-labels the proficient or inexperienced person through a preliminary survey. Verify using the correct answer set. After training the model, evaluate how accurate the classification is.
  • the classifier that predicts the difficulty of the program is similar to the above, and the model is trained using the data from the EEG and gaze tracking device, and the post-program difficulty (divided into easy or difficult by using the Likert 5-point scale) after the experiment. Investigate and use it as the correct answer set to validate the model. For both classifiers, the accuracy verification verifies the model accuracy when using EEG and Eye Tracker respectively, and the model accuracy when using both instruments.

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Theoretical Computer Science (AREA)
  • Educational Administration (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • General Physics & Mathematics (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Psychiatry (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Psychology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Engineering & Computer Science (AREA)
  • Primary Health Care (AREA)
  • Educational Technology (AREA)
  • Neurosurgery (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

본 발명의 일 실시예에 따른 생체 데이터를 이용한 프로그램의 난이도 및 프로그래머의 수준 예측 분류 시스템은 뇌파 측정 장치를 이용하여 프로그래밍을 수행하는 프로그래머의 뇌파 측정에 관한 데이터인 제1 생체 데이터를 검출하는 제1 생체 데이터 검출부, 시선 추적 장치를 이용하여 상기 프로그래머의 시선 추적에 관한 데이터인 제2 생체 데이터를 검출하는 제2 생체 데이터 검출부, 뇌파의 특징 요소 및 시선의 특징 요소를 추출하고, 상기 추출된 각 특징 요소에 기초하여 상기 제1 생체 데이터 및 상기 제2 생체 데이터의 패턴을 반복 학습하는 데이터 처리부, 및 상기 반복 학습된 결과를 사전에 분류된 프로그래머의 프로그래밍 수준 및 상기 프로그래밍에 사용되는 프로그램의 난이도에 관한 레이블과 비교함으로써, 상기 사용자의 프로그래밍 수준 및 상기 프로그램의 난이도를 예측하여 분류하는 분류부를 포함하는 것을 특징으로 하는 생체 데이터를 이용한 프로그램의 난이도 및 프로그래머의 수준 예측 분류 시스템을 포함한다.

Description

생체 데이터를 이용한 프로그램의 난이도 및 프로그래머의 수준 예측 분류 시스템
본 발명의 실시예들은 뇌파 측정 장치 및 시선 추적 장치를 통해 검출된 생체 데이터를 이용하여 프로그램의 난이도 및 프로그래머의 수준을 예측하고 분류하는 시스템에 관한 것이다.
프로그래머들이 코딩을 할 때 발생하는 빈번한 실수는 많은 시간적 비용을 낭비할 수 있고, 작은 실수가 전체 코드에 치명적인 에러를 유발하기도 한다.
이러한 문제점은 프로그래머들의 전체적인 알고리즘 이해 여부와 이전 코드에 대한 이해력과 연관이 있다. 만약, 프로그래머들의 코드에 대한 이해력이 부족하다면 정교하고 간결한 코드를 작성하는데 무리가 있을 것이다.
기존에 프로그래머가 느끼는 프로그램 난이도와 프로그래머의 수준을 평가하는 방법에는 코드가 얼마나 어려웠는지에 대한 자가평가와 자신의 프로그래밍 실력이 어느 정도인지에 대한 자가평가를 통해 이루어져 왔다. 이러한 방법들은 주관적인 것으로서 보다 객관적인 평가가 필요하다.
따라서, 프로그래머가 느끼는 프로그램 난이도와 프로그래머의 수준을 생체 데이터를 이용하여 예측한다면 사전에 프로그램의 난이도 조절, 튜터링 시스템에서 자동적인 피드백 등을 통하여 사전에 에러를 발생할 수 있는 가능성을 배제할 수 있을 것이다.
관련 선행기술로는 공개특허공보 제10-2014-0049583호 "뇌파를 이용하여 사용자의 감정을 분류하는 방법 및 시스템" (공개일자: 2015년 11월 04일)가 있다.
본 발명의 일 실시예에서는 프로그래머의 뇌파 측정 및 시선 추적을 통해 검출된 생체 데이터를 분석하여 프로그래머의 프로그래밍 수준과 프로그래밍에 사용되는 프로그램의 난이도를 예측하여 분류하는 생체 데이터를 이용한 프로그램의 난이도 및 프로그래머의 수준 예측 분류 시스템을 제공한다.
본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제(들)로 제한되지 않으며, 언급되지 않은 또 다른 과제(들)은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 목적을 달성하기 위한 본 발명의 일 실시예에 따른 생체 데이터를 이용한 프로그램의 난이도 및 프로그래머의 수준 예측 분류 시스템은 뇌파 측정 장치를 이용하여 프로그래밍을 수행하는 프로그래머의 뇌파 측정에 관한 데이터인 제1 생체 데이터를 검출하는 제1 생체 데이터 검출부, 시선 추적 장치를 이용하여 상기 프로그래머의 시선 추적에 관한 데이터인 제2 생체 데이터를 검출하는 제2 생체 데이터 검출부, 뇌파의 특징 요소 및 시선의 특징 요소를 추출하고, 상기 추출된 각 특징 요소에 기초하여 상기 제1 생체 데이터 및 상기 제2 생체 데이터의 패턴을 반복 학습하는 데이터 처리부, 및 상기 반복 학습된 결과를 사전에 분류된 프로그래머의 프로그래밍 수준 및 상기 프로그래밍에 사용되는 프로그램의 난이도에 관한 레이블과 비교함으로써, 상기 사용자의 프로그래밍 수준 및 상기 프로그램의 난이도를 예측하여 분류하는 분류부를 포함한다.
본 발명의 일 실시예에 따르면, 사용자의 뇌파 측정 및 시선 추적을 통해 검출된 생체 데이터를 분석하여 프로그래머의 프로그래밍 수준과 프로그래밍에 사용되는 프로그램의 난이도를 예측하여 분류할 수 있다.
본 발명의 일 실시예에 따르면, 생체 데이터를 이용하기 때문에 프로그래머의 프로그래밍 수준과 프로그램 난이도를 평가하는데 있어서 보다 객관적일 수 있고, 기계학습기법을 통하여 생체 데이터를 분류하기 때문에 시간 비용을 절감할 수 있다. 이는 많은 학생들을 교육하는 교사의 입장에서도 매우 효율적일 수 있는데, 특히, 국내에는 프로그래밍 교육을 할 수 있는 교사의 수가 상당히 적으므로 학생들의 수준을 빠르고 효율적으로 판단함으로써 교사가 개인에게 알맞은 피드백을 바로 제공해줄 수 있어 동시간대에 많은 학생들에게 정확한 피드백을 제시하여 시간비용을 절감할 수 있다.
본 발명의 일 실시예에 따르면, 다수의 IT 관련 기업들의 인재 채용과정에서도 사용될 수 있다. 다수의 IT 관련 기업들이 사원을 뽑을 때 구술 면접, 필기시험 등을 거치는데, 대부분 코드와 관련된 문제들을 질의로 사용한다. 특히, 프로그램 개발직의 채용과정에서 보다 객관적으로 니즈를 만족하여 개발자를 뽑을 수 있다.
도 1 및 도 2는 본 발명의 일 실시예에 따른 생체 데이터를 이용한 프로그램의 난이도 및 프로그래머의 수준 예측 시스템이 활용되는 모습을 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 생체 데이터를 이용한 프로그램의 난이도 및 프로그래머의 수준 예측 시스템의 개요를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 생체 데이터를 이용한 프로그램의 난이도 및 프로그래머의 수준 예측 시스템의 처리 과정을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 있어서, 실험 자극에 해당하는 프로그램 코드를 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 있어서, 뇌파 측정 장치에 구비된 전극을 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 있어서, 검출된 생체 데이터의 잡음을 제거하는 과정을 나타낸 도면이다.
본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다.
이하에서는 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 한다.
도 1 및 도 2는 본 발명의 일 실시예에 따른 생체 데이터를 이용한 프로그램의 난이도 및 프로그래머의 수준 예측 분류 시스템이 활용되는 모습을 도시한 도면이고, 도 3은 본 발명의 일 실시예에 따른 생체 데이터를 이용한 프로그램의 난이도 및 프로그래머의 수준 예측 분류 시스템의 개요를 나타낸 도면이고, 도 4는 본 발명의 일 실시예에 따른 생체 데이터를 이용한 프로그램의 난이도 및 프로그래머의 수준 예측 분류 시스템의 처리 과정을 나타낸 도면이다.
도 1 및 도 2를 참조하면, 본 발명의 일 실시예에 따른 생체 데이터를 이용한 프로그램의 난이도 및 프로그래머의 수준 예측 분류 시스템을 구현하기 위해서는 사용자의 뇌파를 측정하고 사용자의 시선을 추적하여 생체 데이터를 습득하는 실험을 필요로 한다. 이를 위해, 뇌파 측정 장비(EEG)와 시선 추적기(아이 트래커)를 사용할 수 있다. 구체적으로, 도 1에 도시된 바와 같이, 실험 대상자에게 뇌파 측정을 위한 장비를 부착 키시고 모니터에 아이 트래커 장비를 부착시킨다. 본 발명에서 사용한 EEG 장비는 이동성에 제약이 있으나 도 2에서와 같은 컴팩트한 다른 EEG 장비로도 활용할 수 있다.
참고로, 본 실시예에서는, 뇌파 데이터를 습득하고 지속적으로 기록하기 위해 16 채널의 V-amp가 구비된 EEG 장비를 사용할 수 있다. 이때, 도 6에 도시된 바와 같이, 복수의 전극이 장비에 구비될 수 있는데, 특히 근육의 전기적 활성도를 기록하도록 장비의 좌측 꼭지 및 우측 꼭지에 전극이 각각 구비될 수 있다. (도 6의 M1, M2 참조) 여기서, 도 6은 본 발명의 일 실시예에 있어서, 뇌파 측정 장치에 구비된 전극을 나타낸 도면이다.
참고로, 본 실시예에서는, 아이 트래커를 19인치 모니터에 부착하되 프로그래머의 눈으로부터 50-75cm 가량 이격시킨 상태에서 실험하였다. 이때, 아이 트래커는 프로그래머의 안구가 방향에 따라 움직이는 속도에 기초하여 시선의 움직임을 분류하는 고정 필터가 구비될 수 있다.
이하에서는, 도 3 및 도 4를 참조하여, 본 발명의 일 실시예에 따른 생체 데이터를 이용한 프로그램의 난이도 및 프로그래머의 수준 예측 시스템이 구현되는 과정을 설명하고자 한다.
전술한 바와 같이, 본 발명에서는 생체 데이터를 측정할 수 있는 EEG와 아이 트래커를 사용하여 프로그램의 난이도와 프로그래머의 수준을 예측할 수 있는 두 가지 분류기를 구현할 수 있다.
상기 분류기를 구현하기 전, 데이터에 레이블을 부여하기 위해서 다음과 같은 과정이 필요하다. 본 발명에서 사용하는 데이터는 프로그래밍 경험이 있는 프로그래머를 대상으로 한다.
프로래머의 수준을 예측하여 분류하는 분류기를 구현하기 위해서는 사전 설문조사를 통해 실험대상자가 능숙한 프로그래머인지 비능숙한 프로그래머인지 레이블을 분류해야 한다. 레이블을 분류하는 이유는 분류기를 구현하기 위해 기계학습기법을 이용하는데, 분류기에는 미리 레이블이 완료된 정답셋이 존재해야 모델의 분류 정확도를 판단할 수 있기 때문이다. 프로그래머의 능숙도를 판단하기 위한 표준이 따로 존재하지 않으므로 관련 연구를 참조하여 설문지를 구성해야 한다.
프로그램의 난이도를 예측하여 분류하는 분류기를 구현하기 위해서는 프로그래머가 느끼기에 프로그램 코드가 얼마나 어려운 난이도였는지 레이블된 정답셋이 필요하다. 따라서, 모든 실험이 종료된 후 실험대상자 별로 프로그램의 난이도를 조사해야 한다.
참고로, 도 5에서와 같이, 프로그램의 난이도와 프로그래머의 수준을 예측하는 분류기를 구현하는데 사용되는 자극은 프로그램 코드가 될 수 있다. 사용되는 프로그래밍 언어는 특정 언어로 제한되지 않으며 자바, C, 파이썬 등이 사용될 수 있다. 여기서, 도 5는 본 발명의 일 실시예에 있어서, 실험 자극에 해당하는 프로그램 코드를 나타낸 도면이다.
실험대상자에 대한 사전 설문조사가 완료되면, 프로그래머는 미리 설정된 프로그램에 관한 문제를 풀게 되며, 이때, 뇌파 측정 장치를 통해 측정된 사용자의 뇌파에 관한 뇌파 데이터인 제1 생체 데이터를 검출하고, 시선 추적 장치를 통해 추적된 사용자의 시선에 관한 시선 추적 데이터인 제2 생체 데이터를 검출한다.
여기서, 검출된 데이터의 잡음을 제거하는 작업을 수행할 수 있다. 즉, 뇌파 데이터의 잡음을 제거하고 수치화하여 얻기 위해서 도 7과 같은 과정이 필요하다. 참고로, 도 7은 본 발명의 일 실시예에 있어서, 검출된 생체 데이터의 잡음을 제거하는 과정을 나타낸 도면이다.
예컨대, 검출된 데이터의 샘플링 주파수를 500Hz 에서 250Hz로 조정한 후에 low cutoff 주파수가 1Hz 이고, high cutoff 주파수가 120Hz 인 IIR 필터와 60Hz 주파수의 노치 필터를 거치고, 눈 깜박임 제거를 위한 알고리즘이 구현된 ICA 필터를 거치고, 고속 푸리에 변환(FFT)을 수행할 수 있다. 여기서, FFT 수행 시 4-50Hz에 해당하는 주파수대역을 얻을 수 있다. 세타파(4-8Hz), 알파파(8-13Hz), 베타파(13-30Hz), 감마파(30-50Hz) 별로 뇌파 측정 장치에 구비된 밴드 별 데이터 값을 얻는다. 모든 사람마다 각기 다른 두개골 두께를 갖기 때문에 실험 대상자 각각의 뇌파를 비교하기 위하여 각 밴드 별로 상대비율을 구하여 전처리를 진행하였다. 참고로, 알파파에 기초하여 밴드 별 데이터 값을 얻는 경우, 알파파의 상대파워는 수식 1과 같다.
[수식 1]
Figure PCTKR2017012867-appb-I000001
검출된 데이터의 잡음을 제거하고 나면, 뇌파의 특징 요소 및 시선의 특징 요소를 추출하고, 상기 추출된 각 특징 요소에 기초하여 제1 생체 데이터 및 제2 생체 데이터의 패턴을 반복 학습할 수 있다.
즉, 특징요소는 크게 시선 추적 장치에서 추출할 수 있는 특징과 뇌파 측정 장치에서 추출할 수 있는 특징으로 구성될 수 있는데, 구체적으로, 표 1에서와 같이 구성될 수 있다.
[표 1]
Figure PCTKR2017012867-appb-I000002
예를 들어, 시선 추적 장치에서는 동공 크기(pupil diameter), 안구 도약 운동(saccade), 고정응시(fixation)에서 추출할 수 있는 요소들을 사용한다. 어려운 과제를 수행할 시에는 동공의 크기가 0.5mm까지 확장한다는 이전 연구근거들을 토대로 num_of_pupilsize 변수를 사용한다. 또한, 눈을 감고 뜨기 전에는 동공의 크기가 커지기 때문에 눈을 깜박인 후에 처음 응시한 응시 고정 포인트는 제거하였다. 뇌파 측정 장치에서는 레퍼런스 채널을 제외한 총 13개의 채널과 각 주파수 대역 별로 뽑아낼 수 있는 4개의 밴드를 각 특징 요소로 사용한다.
또한, 특징 요소를 추출하여 생체 데이터의 패턴을 반복적으로 인식하는 기계학습을 수행할 수 있는데, 본 실시예에서는 기계학습 기법 중 지도학습(supervised learning) 알고리즘 중 하나인 SVM(Support Vector Machine)을 사용하였다. SVM은 지도학습분류 모델로 최대 마진 초평면을 갖는 알고리즘으로서 선형, 비선형 알고리즘보다 우수한 성능을 보이고, 생체데이터를 분류하는데 높은 정확성을 보인다. 프로그래머의 프로그래밍 수준을 예측하는 분류기는 뇌파 측정 장치와 시선 추적 장치를 통해 실험한 데이터를 상기 표 1의 특징요소를 추출하여 모델을 학습시키고, 사전 설문조사를 통해 능숙자 또는 비능숙자로 미리 레이블을 나눠놓은 정답셋을 이용하여 검증한다. 모델을 학습한 후에는 분류 정확도가 얼마나 나오는지 평가한다. 프로그램의 난이도를 예측하는 분류기도 위와 마찬가지로 뇌파 측정 장치와 시선 추적 장치를 통해 실험한 데이터를 이용하여 모델을 학습시키고 실험 후에 사후 프로그램 난이도(리커트 5점 척도를 이용하여 쉬움 또는 어려움으로 나눔)를 조사하여 정답셋으로 사용하고 이를 통해 모델을 검증한다. 두 분류기 모두 정확도 검증은 EEG, 아이트래커 각각 사용하였을 때의 모델 정확도와 두 장비 함께 사용하였을 때의 모델 정확도를 검증한다.
지금까지 본 발명에 따른 구체적인 실시예에 관하여 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서는 여러 가지 변형이 가능함은 물론이다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허 청구의 범위뿐 아니라 이 특허 청구의 범위와 균등한 것들에 의해 정해져야 한다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (1)

  1. 뇌파 측정 장치를 이용하여 프로그래밍을 수행하는 프로그래머의 뇌파 측정에 관한 데이터인 제1 생체 데이터를 검출하는 제1 생체 데이터 검출부;
    시선 추적 장치를 이용하여 상기 프로그래머의 시선 추적에 관한 데이터인 제2 생체 데이터를 검출하는 제2 생체 데이터 검출부;
    뇌파의 특징 요소 및 시선의 특징 요소를 추출하고, 상기 추출된 각 특징 요소에 기초하여 상기 제1 생체 데이터 및 상기 제2 생체 데이터의 패턴을 반복 학습하는 데이터 처리부; 및
    상기 반복 학습된 결과를 사전에 분류된 프로그래머의 프로그래밍 수준 및 상기 프로그래밍에 사용되는 프로그램의 난이도에 관한 레이블과 비교함으로써, 상기 사용자의 프로그래밍 수준 및 상기 프로그램의 난이도를 예측하여 분류하는 분류부
    를 포함하는 것을 특징으로 하는 생체 데이터를 이용한 프로그램의 난이도 및 프로그래머의 수준 예측 분류 시스템.
PCT/KR2017/012867 2016-11-14 2017-11-14 생체 데이터를 이용한 프로그램의 난이도 및 프로그래머의 수준 예측 분류 시스템 Ceased WO2018088871A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160150980A KR20180053882A (ko) 2016-11-14 2016-11-14 생체 데이터를 이용한 프로그램의 난이도 및 프로그래머의 수준 예측 분류 시스템
KR10-2016-0150980 2016-11-14

Publications (1)

Publication Number Publication Date
WO2018088871A1 true WO2018088871A1 (ko) 2018-05-17

Family

ID=62110244

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/012867 Ceased WO2018088871A1 (ko) 2016-11-14 2017-11-14 생체 데이터를 이용한 프로그램의 난이도 및 프로그래머의 수준 예측 분류 시스템

Country Status (2)

Country Link
KR (1) KR20180053882A (ko)
WO (1) WO2018088871A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109558466A (zh) * 2018-11-29 2019-04-02 成都天衡智造科技有限公司 一种制造业数据挖掘中的源数据配置管理方法
CN111603135A (zh) * 2020-05-11 2020-09-01 江南大学 一种基于主从支持向量机的低功耗癫痫检测电路
CN111714080A (zh) * 2020-06-30 2020-09-29 重庆大学 一种基于眼动信息的疾病分类系统
CN114217779A (zh) * 2021-12-08 2022-03-22 云南民族大学 一种基于深度学习眼动跟踪的编程自动反馈方法及系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20250160019A (ko) * 2024-05-03 2025-11-11 주식회사 휴이노 추론 모델을 이용하여 생체 신호 데이터에 대한 레이블링을 하기 위한 방법 및 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120124772A (ko) * 2011-05-04 2012-11-14 경북대학교 산학협력단 사용자 집중도 분석장치 및 방법
KR20130082839A (ko) * 2011-12-20 2013-07-22 두산동아 주식회사 사용자 맞춤형 콘텐츠 제공 장치 및 그 방법
KR20140029332A (ko) * 2012-08-30 2014-03-10 한국과학기술원 생체신호를 이용한 보안 서비스 제공 방법 및 장치
KR20150123423A (ko) * 2014-04-24 2015-11-04 세종대학교산학협력단 뇌파를 이용하여 사용자의 감정을 분류하는 방법 및 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120124772A (ko) * 2011-05-04 2012-11-14 경북대학교 산학협력단 사용자 집중도 분석장치 및 방법
KR20130082839A (ko) * 2011-12-20 2013-07-22 두산동아 주식회사 사용자 맞춤형 콘텐츠 제공 장치 및 그 방법
KR20140029332A (ko) * 2012-08-30 2014-03-10 한국과학기술원 생체신호를 이용한 보안 서비스 제공 방법 및 장치
KR20150123423A (ko) * 2014-04-24 2015-11-04 세종대학교산학협력단 뇌파를 이용하여 사용자의 감정을 분류하는 방법 및 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LEE, SEOL HWA ET AL.: "Mining Biometric Data to Predict Task Difficulty", PROCEEDINGS OF THE 28TH ANNUAL CONFERENCE ON HUMAN AND COGNITIVE LANGUAGE TECHNOLOGY, 7 October 2016 (2016-10-07), pages 231 - 234 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109558466A (zh) * 2018-11-29 2019-04-02 成都天衡智造科技有限公司 一种制造业数据挖掘中的源数据配置管理方法
CN111603135A (zh) * 2020-05-11 2020-09-01 江南大学 一种基于主从支持向量机的低功耗癫痫检测电路
CN111603135B (zh) * 2020-05-11 2021-09-28 江南大学 一种基于主从支持向量机的低功耗癫痫检测电路
CN111714080A (zh) * 2020-06-30 2020-09-29 重庆大学 一种基于眼动信息的疾病分类系统
CN114217779A (zh) * 2021-12-08 2022-03-22 云南民族大学 一种基于深度学习眼动跟踪的编程自动反馈方法及系统

Also Published As

Publication number Publication date
KR20180053882A (ko) 2018-05-24

Similar Documents

Publication Publication Date Title
Katona et al. Examining the learning efficiency by a brain-computer interface system
WO2018088871A1 (ko) 생체 데이터를 이용한 프로그램의 난이도 및 프로그래머의 수준 예측 분류 시스템
Huang et al. Virtual reality safety training using deep EEG-net and physiology data
Nourbakhsh et al. GSR and blink features for cognitive load classification
Spüler et al. Brain-computer interfaces for educational applications
Grosse-Wentrup et al. A review of performance variations in SMR-based Brain− Computer interfaces (BCIs)
Alimardani et al. Assessment of engagement and learning during child-robot interaction using EEG signals
US20190051201A1 (en) Learning situation determining method and apparatus for performing the method
Davey et al. Expert system approach to detection of epileptiform activity in the EEG
Hubbard et al. Enhancing learning through virtual reality and neurofeedback: A first step
Duraisingam et al. Cognitive task difficulty analysis using EEG and data mining
Peterson et al. Understanding student success in chemistry using gaze tracking and pupillometry
CN112168185B (zh) 视觉持续注意力测试装置和方法
CN112205985A (zh) 视觉持续注意力训练装置、训练与测试系统及其方法
Dey et al. Real-Time Learner Classification Using Cognitive Score.
Call et al. Utilizing electroencephalography measurements for comparison of task-specific neural efficiencies: Spatial intelligence tasks
Kim et al. Detection of tactile-based error-related potentials (ErrPs) in human-robot interaction
Walter EEG workload prediction in a closed-loop learning environment
Chowdhuri et al. Real-time classification of EEG signals using Machine Learning deployment
Chatterjee et al. Electroencephalogram-based cognitive performance evaluation for mental arithmetic task
Shatto et al. Present: Flexible neuroscience-and technology-driven frameworks for the study of classroom engagement
Šaloun et al. Using eyetracking to analyse how flowcharts are understood
KR102060863B1 (ko) 생리 심리 반응 정보 및 회상 자극 반응 정보를 이용한 인지 부하 측정 방법 및 인지 부하 측정 장치
Jinwoo et al. A Study on the Development of Adaptive Learning System through EEG-based Learning Achievement Prediction
Teixeira et al. Using brain computer interaction to evaluate problem solving abilities

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17868861

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17868861

Country of ref document: EP

Kind code of ref document: A1