WO2012115294A1 - 생체 감성 지표 및 상황 정보로부터 학습 집중도에 관련된 학습 감성 지표를 생성하기 위한 유비쿼터스-러닝용 미들웨어 장치 - Google Patents

생체 감성 지표 및 상황 정보로부터 학습 집중도에 관련된 학습 감성 지표를 생성하기 위한 유비쿼터스-러닝용 미들웨어 장치 Download PDF

Info

Publication number
WO2012115294A1
WO2012115294A1 PCT/KR2011/001314 KR2011001314W WO2012115294A1 WO 2012115294 A1 WO2012115294 A1 WO 2012115294A1 KR 2011001314 W KR2011001314 W KR 2011001314W WO 2012115294 A1 WO2012115294 A1 WO 2012115294A1
Authority
WO
WIPO (PCT)
Prior art keywords
learning
index
user
indicator
information
Prior art date
Application number
PCT/KR2011/001314
Other languages
English (en)
French (fr)
Inventor
기노일
김경실
최길준
Original Assignee
주식회사 메디오피아테크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 메디오피아테크 filed Critical 주식회사 메디오피아테크
Publication of WO2012115294A1 publication Critical patent/WO2012115294A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/448—Execution paradigms, e.g. implementations of programming paradigms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/448—Execution paradigms, e.g. implementations of programming paradigms
    • G06F9/4488—Object-oriented
    • G06F9/449—Object-oriented method invocation or resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Definitions

  • the present invention relates to the ubiquitous-learning industry, and particularly, generates a learning emotion index related to the concentration of the user who is currently learning from biometric indicators related to the user's physical condition and contextual information indicating the user's surroundings.
  • the present invention relates to a ubiquitous-learning middleware device for improving a learning effect by maintaining a user's concentration through a secondary environment change such as changing learning contents provided using a learning emotion index (SEI).
  • SEI learning emotion index
  • Ubiquitous-learning or u-learning means 'Ubiquitous Learning' and refers to an education system that can be learned anytime and anywhere using the Internet.
  • ubiquitous-learning is a concept created by the evolution of e-learning using the Internet. It refers to ubiquitous computing-based learning that can be connected to a network anytime and anywhere to study freely through the development of information and communication technology. do.
  • u-learning is gradually becoming a reality due to the operation of u-School pilot schools and digital textbooks provided by the Korea Education & Research Information Service.
  • the size of the ubiquitous-learning market is growing.
  • a concentration improvement program using brain waves is rapidly spreading.
  • the total amount of domestic e-learning users' spending on e-learning in 2009 was estimated at KRW955.4 billion, an increase of about 17.5% from KRW836.8 billion in 2008.
  • the total population of these countries is about 680 million people (2003), and at the same time Korea has about 48 million people, so the population ratio is about 14.
  • the foreign population involved in the ubiquitous-learning market is 14 times the domestic population.
  • the global u-learning market continues to grow at an annual average growth rate of 20%.
  • ubiquitous-learning has the advantage that the user can easily access the educational information, it is entirely dependent on the user, such as using the system itself or how concentrated the user is using the content.
  • the early effects of ubiquitous-learning are not so good.
  • Korean middle and high school students are ranked only 24th among 30 OECD countries (Korea Vocational Competency Development Institute, 2008). This suggests that it is far more effective to study in a smart way than just to study hard.
  • the ubiquitous system can induce efficient learning by utilizing emotional information based on individual biosignals in the learning process.
  • An object of the present invention is a middleware device for ubiquitous-learning, in particular, the emotion and situation information of a learner using information received from an emotion recognition module and a context recognition module capable of sensing biometric information and situation information such as a brain wave of a user It is to provide a middleware device that can be indexed.
  • the present invention relates to a middleware device for ubiquitous-learning (hereinafter referred to as 'u-learning') for generating a related learning emotion index (SEI).
  • the middleware device for ubiquitous-learning is a communication for receiving a biosensitivity indicator (BEI) and context information, respectively, from a emotion recognition module (SEAM) and a learning environment acknowledgment module (LEAM).
  • a module a standard information database storing standard index data representing a correlation between a biosensibility index (BEI) and a learning sensitivity index (SEI) obtained from an experiment conducted on a plurality of users, and a received biometric And an emotional / situation index analysis processing module for analyzing the emotional index (BEI) and the situation information with reference to the standard index data, and generating the learning emotional index (SEI) of the user based on the analysis result.
  • the communication module is configured to output at least one of the biosensitivity index BEI, the learning sensitivity index SEI, and the contextual information to the external learning apparatus.
  • the ubiquitous-learning middleware device monitors the biosensitivity indicators (BEI) and situation information of users in real time, and measures the sensitivity / situation indicator monitoring module for measuring the amount of change in the biosensitivity indicators (BEI) and situation information.
  • the emotional / situation indicator analysis processing module further analyzes the bio-sensitivity indicator (BEI) and the situation information with reference to the amount of change received from the emotional / situation indicator monitoring module, based on the analysis result of the user's learning emotional indicators Is adapted to generate (SEI).
  • the ubiquitous-learning middleware device is generated through a communication module as a learning adapter for identifying content currently provided to the user by an external learning device and detecting the learning state and events of the user in real time.
  • the emotional / situation indicator analysis processing module is adapted to generate at least one of concentration, distraction, and sleepiness as the learning emotional indicator (SEI).
  • the emotion recognition module SEAM is adapted to calculate a user's biometric indicator (BEI) using a biosignal including at least one of EEG, safety (EOG), and heart rate variability (HRV).
  • the biosensitivity indicator (BEI) includes at least one of concentration, relaxation, load, attention, left brain activity, right brain activity, and left and right brain imbalance.
  • the situation recognition module is adapted to measure at least one of temperature information, humidity information, user attitude information, and GPS location signal using a Ubiquitous Sensor Network (USN), and provide the measured information as situation information.
  • the external learning apparatus may display a bio-sensitivity index (BEI), a learning-sensitivity index (SEI), and context information received along with the learning content provided to the user, a bio-sensitivity index (BEI), and a learning emotion index (SEI), and determining and displaying the concentration of the user based on the situation information, and providing an alert message to the user or changing the learning content provided when the determined concentration is less than or equal to a predetermined threshold.
  • the learning effect enhancing apparatus for ubiquitous-learning may increase the learning effect by recommending content suitable for the user based on the learning sensitivity index (SEI) received from the middleware device according to the present invention.
  • SEI learning sensitivity index
  • the middleware device since the middleware device according to the present invention includes a communication unit which is commonly operated with various devices, it is necessary to determine what type of learning effect enhancement device for ubiquitous-learning or emotion recognition module and situation recognition module are used by the user. It can be applied to the learning effect improvement system for ubiquitous-learning that operates on various platforms regardless.
  • the development cost of the system for improving the learning effect for ubiquitous-learning using the middleware device according to the present invention can be reduced, and the middleware device according to the present invention can be applied to various application fields.
  • FIG. 1 is a diagram conceptually illustrating a configuration and operation of a learning support system in which a middleware device according to the present invention operates.
  • FIG. 2 is a block diagram conceptually illustrating a first embodiment of a learning support apparatus including a middleware apparatus according to the present invention.
  • FIG. 3 is a block diagram conceptually illustrating a second embodiment of a learning support apparatus including the middleware apparatus according to the present invention.
  • FIG. 4 is a view for explaining the operation of the learning support device including the middleware device according to the present invention.
  • FIG. 5 is a table illustrating bio sentiment indicators (BEIs), learning emotion indicators (SEIs), and contextual information used in the learning support apparatus according to the present invention.
  • FIG. 6 is a diagram illustrating an experiment result for obtaining standard indicator data.
  • FIG. 7 is a screen shot illustrating an execution screen for measuring a biosensibility index BEI and a learning sensitivity index SEI in the learning support system according to the present invention.
  • FIG. 1 is a diagram conceptually illustrating a configuration and operation of a learning support system in which a middleware device according to the present invention operates.
  • the user logs in to the learning support system via the web (step 1). Then, the learning support system transmits the learner information of the logged-in user to the middleware device (step 2).
  • the middleware device recognizes the learner device used by the logged-in user (step 3), and the learner device used by the user measures and transmits the biosensitivity indicator (BEI) and contextual information of the learner to the middleware device while the user learns ( Step 4).
  • the learner device may include a sensor module for performing this operation.
  • the bio-signal Emotion Index (BEI) indicates information related to the current physical state of the user who is learning, which will be described later in detail in the relevant part of the specification.
  • context information refers to characteristics of a situation, such as a person, a place, an object, an object, and a time, which affect the interaction between a user and another user, system, or application in relation to ubiquitous computing.
  • Such contextual information may be identified and collected through various sensing devices and applications and used to provide various application services, or may be used for inference to obtain a third conclusion by combining with other contextual information.
  • the contextual information herein may include personal static contextual information, such as a user's health status, identity information, learning level, grades, and the like, and dynamic contextual information about how well a user currently follows content provided. That is, the static contextual information relates to the personality and characteristics of the individual, and the dynamic contextual information relates to information obtained in real time from the user's state.
  • personal static contextual information such as a user's health status, identity information, learning level, grades, and the like
  • dynamic contextual information about how well a user currently follows content provided. That is, the static contextual information relates to the personality and characteristics of the individual, and the dynamic contextual information relates to information obtained in real time from the user's state.
  • a study emotion index indicates an index directly related to learning, such as a user's current concentration level.
  • the main operation of the middleware device according to the present invention is to measure the learning sensitivity indicator (SEI) according to the learning state of the user and to induce the user to actively change the service provided to the user based on this.
  • Specific examples of the learning sensitivity index (SEI) will be described later in detail in the corresponding part of the specification.
  • an emotional headset is used as a Student Emotion Acknowledgement Module (SEAM)
  • an environment sensor is used as a Learning Environment Acknowledge Module (LEAM).
  • the middleware device analyzes and processes the biosensitivity indicator (BEI) and the situation information received from the sensor module (step 5).
  • standard index data received from the database may be used (step 6).
  • 'standard indicator data' is data representing an average of relations between biometric information and concentration of various users. Therefore, the use of the standard indicator data has the advantage of easily and accurately measuring the user-specific learning emotion indicator (SEI) from the biosensitivity indicator (BEI).
  • SEI user-specific learning emotion indicator
  • FIG. 1 the standard indicator data is shown to include concentration, stability, immersion, pulse wave, stress, and situation information, but for convenience of description, it should be noted that the present invention is not limited thereto.
  • the middleware device calculates the learning emotion index (SEI) of the user individual using the standard indicator data (step 7)
  • the middleware device transmits the calculated learning emotion index (SEI) to the learning support agent (step 8).
  • the learning support agent may perform an operation such as changing the content provided to the user with reference to the received learning sensitivity index SEI.
  • the learning support system may prevent the concentration of the user from being reduced by referring to the biosensitivity index BEI of the current user who is learning, as well as the learning sensitivity index SEI.
  • a common emotional service may be used to provide a learning emotion index (SEI) providing service.
  • SEI learning emotion index
  • FIG. 2 is a block diagram conceptually illustrating a first embodiment of an external learning apparatus including a middleware apparatus according to the present invention.
  • the learning support apparatus 200 illustrated in FIG. 2 includes an emotion recognition module 210, a situation recognition module 230, a middleware module 250, a learning adapter 270, and a standard indicator database 290.
  • the learning adapter 270 is executed in the external learning device.
  • the learning adapter 270 communicates with the middleware module 250 to display the learning sensitivity indicator SEI on the external learning device. That is, the learning adapter 270 through the adapter can determine whether the learner is properly wearing the sensor devices, the state to start the emotional learning.
  • the signal transmitted through the learning adapter 270 is transferred to the emotion / situation index analysis processing module of the middleware module 250.
  • the external learning apparatus may refer to a content player that plays learning content.
  • the middleware module 250 receives various bio signals and situation information from the emotion recognition module 210 and the situation recognition module 230. Then, the middleware module 250 analyzes the received signals to generate a learning emotion indicator (SEI) and a situation indicator. In addition, the middleware module 250 may monitor in real time whether a change occurs in the biometrics indicator (BEI) and contextual information of the user during learning.
  • SEI learning emotion indicator
  • BEI biometrics indicator
  • Standard indicator data stored in the standard indicator database 290 may be used by the middleware module 250 to generate the learning emotional indicators (SEI).
  • Standard indicator data may include standard learning emotional indicator data and standard learning situation indicator data.
  • the middleware module 250 included in the learning support apparatus 200 illustrated in FIG. 2 is installed in a user terminal based on a user, and the standard learning indicators mapped to the extracted learner's emotion / situation information are ubiquitous through a communication module. It is delivered to the running system for use.
  • FIG. 3 is a block diagram conceptually illustrating a second embodiment of a learning support apparatus including the middleware apparatus according to the present invention.
  • the learning support apparatus 300 may include an emotion recognition module 310, a sensor set processor 320, an environment information processor 325, a situation recognition module 330, a middleware module 350, and a learning adapter ( 370 and standard indicator database 390.
  • the signals received from the emotion recognition module 310 and the situation recognition module 330 pass through the sensor set processor 320 and the environmental information processor 325, respectively, before being transmitted to the middleware module 350. Then, the sensor set processor 320 identifies the biometric signal for emotion recognition among the signals transmitted from the emotion recognition module 310. In addition, the environment information processor 325 processes the situation information indicating the current situation of the user from the signals received from the situation recognition module 330. The processed biosensitivity indicator (BEI) and contextual information are transmitted to the middleware module 350.
  • BEI biosensitivity indicator
  • the emotion recognition module 310 may generate 21 EEG channels from two EEG signals.
  • the sensor set processor 320 may generate seven biometric indicators (BEI) by using 21 EEG channels and transmit them to the middleware module 350.
  • the middleware module 350 may generate the learning sensitivity index SEI by using the received biosensitivity index BEI and contextual information.
  • the learning sensitivity index (SEI) may be converted to a 100-point scale, for example, when the 'sleepiness' index exceeds 60 points, it may be determined to be sleepy.
  • the biological emotional index (BEI) and contextual information are considered together.
  • the sleepiness index may be determined to be sleepy when the score exceeds 90. However, if it is determined that the user is lying down as a result of analyzing the posture information, even if the 'sleepiness' index exceeds 10 points, it may be determined to be sleepy.
  • 'concentration', 'distraction', and 'sleepiness' are used as the learning emotion index (SEI), but the present invention is not limited thereto.
  • the middleware module 350 may include a learning adapter communication module 351, an emotion / situation device communication module 352, an agent communication module 353, an emotion / situation indicator analysis processing module 355, a learning indicator generation module 357, And emotion / situation change detection module 359.
  • the learning adapter communication module 351 may communicate with the communication module of the learning adapter 370 in real time.
  • the emotion / situation device communication module 352 may communicate with the emotion recognition apparatuses 310 and 330 in a wired or wireless manner.
  • the wireless communication method may be Zigbee or Bluetooth.
  • the agent communication module 353 is in charge of communicating with the external learning support agent.
  • the agent communication module 353 may include modules of a client / server type, respectively.
  • the emotion / situation index analysis processing module 355 included in the middleware module 350 analyzes and processes the bio sentiment indicator BEI transmitted from the emotion recognition module 310 to generate the learning emotion index SEI.
  • the emotion / situation indicator analysis processing module 355 analyzes the situation information received from the situation recognition module 330 to generate a learning situation indicator. Then, at this time, whether the fluctuations in the biometrics indicator (BEI) and the situation information is monitored by the emotion / situation change detection module 359. The monitoring result may be transmitted to the emotion / situation index analysis processing module 355 or the external learning device.
  • the standard indicator database 390 stores situation and emotion standard information. More specifically, the standard indicator database 390 can include a database manager 395.
  • the database manager 395 standardizes stored emotion / situation indicators and classifies learners.
  • the database manager 395 may perform statistical verification of the extracted emotion / situation index and significant data extraction operation according to the analysis of the emotion / situation index. Through this, the database manager 395 may collect the learner's emotion / situation data.
  • the learning adapter 370 recognizes the learner information and the content information, detects a change in the learning state of the user, and transmits the changed state to the external learning device. In addition, the learning adapter 370 displays the emotion change state of the learner analyzed by the emotion recognition device in real time.
  • FIG. 4 is a view for explaining the operation of the learning support device including the middleware device according to the present invention.
  • the learning support apparatus 400 may include an emotion recognition module 410, a sensor set processor 420, a context information processor 425, a context recognition module 430, a middleware module 450, and a learning adapter ( 470 and standard indicator database 490.
  • the learning sensitivity index (SEI) obtained by the middleware module 450 is transmitted to the agent connector module 460 via the I / O module.
  • the signals received from the emotion recognition module 410 and the situation recognition module 430 are transmitted to the sensor set processor 420 and the situation information processor 425 through the I / O module, respectively.
  • the sensor set processor 420 extracts the learning emotion index SEI
  • the context information processor 425 extracts the context information.
  • the extracted information is transferred to the middleware module 450.
  • the learning adapter 470 monitors the learning progress after recognizing the learner information. If necessary, the learning adapter 470 may display the biosensitivity indicator (BEI) and the learning sensitivity indicator (SEI) in real time.
  • BEI biosensitivity indicator
  • SEI learning sensitivity indicator
  • the learning support apparatus 400 illustrated in FIG. 4 is different from FIG. 3 in that the emotion recognition module 410 and the context recognition module 430 are not included as components.
  • the sensor set processor 420 identifies the biosignal for emotion recognition from the signal transmitted from the emotion recognition module 410 and transmits the biosignal to the middleware module 450.
  • the contextual information processor 425 obtains contextual information indicating the current situation of the user from the signals received from the contextual recognition module 430, and transmits the contextual information to the middleware module 450.
  • the middleware module 450 includes an emotion / situation device communication module, a learning emotion / life indicator generation module, an emotion / situation indicator analysis processing module, and an emotion / situation change detection module.
  • the emotional / situation device communication module may communicate with the communication module of the learning adapter 470 in real time.
  • the emotion / situation device communication module may communicate with the emotion recognition devices 410 and 430 in a wired or wireless manner.
  • the wireless communication method may be Zigbee or Bluetooth.
  • the standard indicator database 490 stores situation and emotional standard information. More specifically, the standard indicator database 490 can include a database administrator (not shown). In addition, the standard learning index may be stored in the standard indicator database 490. As described above, this standard learning indicator may be used to convert the biosensitivity indicator (BEI) into the learning sensitivity indicator (SEI).
  • BEI biosensitivity indicator
  • SEI learning sensitivity indicator
  • the learning adapter 470 recognizes the learner information and the content information, detects a change in the learning state of the user, and transmits the changed state to the external learning device. In addition, the learning adapter 470 displays the emotion change state of the learner analyzed from the emotion recognition device in real time.
  • the middleware module 450 reads the raw signal data transmitted from the emotion / situation device, generates a learning standard indicator through mapping with the reference indicator collected / analyzed by the experiment, and delivers the learning standard indicator to the learning server.
  • the learning adapter module is applied to the web in the form of ActiveX, thereby transmitting the learning state of the learner to the middleware. Therefore, necessary information can be immediately displayed to the user during content playback.
  • the middleware device is installed on the user's computer, but the standard learning indicators are delivered to the external learning system through the agent server module.
  • FIG. 5 is a table illustrating bio sentiment indicators (BEIs), learning emotion indicators (SEIs), and contextual information used in the learning support apparatus according to the present invention.
  • 5A is a table illustrating biosignals that may be extracted from biometric information such as brain waves.
  • Cross-Line Mapping Cross-Correlation between each channel is represented by a line on the head surface.
  • Time-Frequency Analysis Analyze changes in power spectrum over time of biometric information.
  • Custom Analysis researchers can quickly and easily identify the characteristics of the EEG to be analyzed, saving a lot of time and energy. In other words, by combining the methods in the order desired by the developer, a new method can be created.
  • Multi-channel time series data analysis including wavelet analysis, principal component analysis, modeling analysis, and chaos analysis.
  • FIG. 5B is a table illustrating biosensitivity indicators (BEIs) that may be extracted from biometric information such as brain waves.
  • the biosensitivity index (BEI) as shown in FIG. 5B is extracted by using a raw biosignal and a biosignal analysis index. The content of each indicator, the information used in the analysis, and the respective data attributes are shown in Table 5b.
  • the biosensitivity indicator (BEI) illustrated in FIG. 5B has high reliability and importance as data for monitoring the learner's condition.
  • 5C is a table illustrating context information extracted by the context awareness module.
  • the temperature and humidity information is included as the learning situation indicator.
  • posture information and the current location of the user may be provided as the situation information.
  • the posture information may be measured using a situation recognition module worn on a user's forearm, waist, thigh, or the like. Then, it is determined whether the data measured by the situation recognition module worn by the learner is taking the correct posture to improve the learner's concentration.
  • the posture of the user may be determined in five steps as follows.
  • FIG. 5D is a table illustrating a learning emotion index (SEI) to be generated in the middleware device according to the present invention.
  • SEI learning emotion index
  • the difference between the biosensitivity indicator (BEI) and the learning emotion indicator (SEI) is that the biosensitivity indicator (BEI) is information obtained directly from the biometric information, whereas the learning emotion indicator (SEI) is the biosensitivity indicator (BEI). And information obtained from the context information, which may be directly related to the learning effect of the user. Therefore, by using the learning sensitivity indicator (SEI) rather than the biosensitivity indicator (BEI), it is possible to more accurately measure the concentration of the current user, thereby maximizing the learning effect.
  • the learning adapter of the external learning device may take into consideration the content provided in consideration of the received biosensitivity indicator (BEI), the learning emotion indicator (SEI), and contextual information. Change to improve the user's concentration.
  • a method of changing the content provided to the user is as follows.
  • the emotional / situation index analysis processing module determines the user's learning emotional index (SEI) in consideration of the bio emotional index (BEI) and context information.
  • SEI learning emotional index
  • BEI bio emotional index
  • the external learning device then provides new content as needed.
  • the external learning apparatus may directly generate learning content suitable for the corresponding user by using a plurality of content units stored in an external content database (not shown).
  • a content descriptor that is created by an indexing process and attached to the content unit when the content unit is generated may be used.
  • the content descriptor may include one or more tags with a hierarchical structure.
  • each tag constituting the content descriptor may have a hierarchical relationship with each other, and may have a parallel relationship with each other.
  • a tag refers to an object having a parent-child concept and selectable by a user.
  • a tag is an object of interest of a user, and a tag belonging to a higher level corresponds to a concept of collectively managing a tag belonging to a lower level.
  • a tag belonging to a lower level corresponds to a subset of tags belonging to a higher level.
  • Tags belonging to the same level have a parallel relationship with each other. In other words, the tags belonging to the lower level are gradually subdivided. For example, under the tag 'human', there may be 'man' and ' woman' tags, and the tag 'man' may have subtags broken down by age. That is, a tag belonging to a higher level may be understood as a category that aggregates lower concepts related to each other.
  • a 'high tag' means a tag belonging to a higher level
  • a 'low tag' means a tag belonging to a lower level.
  • the external learning apparatus directly modifies the content provided to the user, thereby providing a service suitable for the user's interest and level to maximize the learning effect.
  • tags Using a hierarchical structure of tags has the advantage of describing in detail the field in which the content unit is related. For example, if a content unit contains a tag of "difficulty 1," it may be revealed by resolving another tag included in the content descriptor of that content unit to which content unit corresponds to "difficulty 1" in that field. Can be. For example, if the content descriptor further includes tags called 'differentiation' and 'practice problem', then by interpreting these tags, the content unit is assigned to 'education / learning-higher-math-differential-practice problem-difficulty 1' You can see that it belongs to the field of.
  • the 'a-b' display indicates that the 'a' tag is a parent tag of the 'b' tag. If a user wishes to watch content related to the field ' Education / Learning-Higher-Math-Differential-Practice Problem-Difficulty 1', the tags 'Difficulty 1', 'Practice Problem', and 'Derivative' Content units having a read from the content base (not shown). Then, the content unit arrangement unit arranges the read units according to a predetermined generation rule to generate user-customized content.
  • the content unit reading unit does not necessarily read only the content unit having a content descriptor including only the same tag as the tag selected by the user. That is, the content unit reader may also read a content unit having a tag that is related to a tag selected by the user.
  • the content arrangement rules include user specific rules that apply only to specific users. For example, in the field of exercise, ⁇ high intensity exercise is avoided in patients with hypertension '', ⁇ cycle exercise is preferable to running in case of joint problems, '' ⁇ oxygen concentration in the body is particularly important if you have chronic respiratory disease '' Sports medical rules, and the like. In the field of learning, there are rules that are specific to each user, such as 'A is more wrong in polynomials than a set' and 'B is poorly understood in the field of probability statistics'. Using this information, after analyzing the static situation information of a user, if he is a hypertensive patient, high-intensity exercise is not preferable. Can be generated.
  • user specific rules may be applied with reference to the dynamic context information of the current user. For example, if the current user's blood pressure is excessively high (dynamic situation information), user-specific content is created for such a user so that he or she can stop the exercise immediately and organize it through a breathing exercise. In addition, if the user's breathing condition is monitored and the breathing is abnormal (dynamic situation information), the breathing content may be inserted.
  • FIG. 6 is a diagram illustrating an experiment result for obtaining standard indicator data.
  • the purpose of this experiment is to clarify the relationship between the learner's learning status and EEG. Classify the learning situation that learner learns into several and measure the brain wave of individual learner according to learning situation to grasp the difference of brain wave by individual learner and learning situation.
  • the purpose of the experiment is to clarify the correlation between EEG by individual learner and learning situation, focusing on the concentration determined to be closely related to learning among the various indicators that can be identified using EEG.
  • the learner After the game is judged to require concentration to verify the validity of the concentration among the EEG-related indicators, the learner records his concentration in the game. Then, the degree of concentration extracted from EEG and the degree of concentration determined by the learner are compared. As can be seen in FIG. 6, the concentration index obtained as the learning emotional index (SEI) has a pattern similar to the actual concentration, and as a result, the learning emotional index (SEI) can be used as a measure for determining the concentration of the user. It can be seen that.
  • SEI learning emotional index
  • the results of repeated experiments may show a slight difference for each learner in concentration, workload, left brain activity, right brain activity. While there are learners who show low concentrations in every experiment, students with concentrations above a certain level appear in each experiment. Therefore, in order to increase the accuracy of the experimental results, it is desirable to grasp the basic EEG information of the learner using the learning ability test. In particular, since there may be a difference depending on the learner's current state as a result of learning ability test results for each learner, it is preferable to set the default EEG value by executing the learning ability test for each experiment.
  • FIG. 7 is a screen shot illustrating an execution screen for measuring a biosensibility index BEI and a learning sensitivity index SEI in the learning support system according to the present invention.
  • the bio-signal analysis index (BAI) and the learning emotion index (SEI) are displayed in the left and right sections 710 and 720 of the 'emotional learning index', respectively.
  • the bioassay index BAI indicates biosignals extracted from an EEG signal, as illustrated in FIG. 5A.
  • the environmental indicator and attitude information of the situation information is displayed in the 'status signal' section 750, and the biosensitivity indicator (BEI) is displayed in the 'status bar' section 730.
  • the real-time change of the bioanalytical index is displayed in section 740, and temperature, humidity, gyro data, and the like among the contextual information is displayed in section 760.
  • the user may easily grasp various biometric information and situation information, as well as the biosensitivity index BEI and the learning sensitivity index SEI through the execution screen illustrated in FIG. 7.
  • the learning support system according to the present invention can be utilized for brain training to promote healthy brain activity. It can also be used for EEG analysis of EEG-related research institutes.
  • the method according to the present invention can be embodied as computer readable codes on a computer readable recording medium.
  • the computer-readable recording medium may include all kinds of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable recording media include ROMs, RAMs, CD-ROMs, magnetic tapes, floppy disks, optical data storage devices, and the like, and may also be implemented in the form of carrier waves (for example, transmission over the Internet). Include.
  • the computer readable recording medium can also store computer readable code that can be executed in a distributed fashion by a networked distributed computer system.
  • the present invention can be applied to a learning support system for ubiquitous-learning.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Medical Informatics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Public Health (AREA)
  • Strategic Management (AREA)
  • Educational Administration (AREA)
  • Child & Adolescent Psychology (AREA)
  • Educational Technology (AREA)
  • Epidemiology (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • General Engineering & Computer Science (AREA)
  • Developmental Disabilities (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

생체 감성 지표(BEI) 및 상황 정보로부터 학습 감성 지표(SEI)를 생성하기 위한 유비쿼터스-러닝용 미들웨어 장치가 제공된다. 유비쿼터스-러닝용 미들웨어 장치는 감성 인식 모듈(SEAM) 및 상황 인식 모듈(LEAM)로부터 생체 감성 지표(BEI) 및 상황 정보를 각각 수신하기 위한 통신 모듈, 복수의 사용자들에 대하여 실시된 실험으로부터 얻어진 생체 감성 지표(BEI) 및 학습 감성 지표(SEI) 간의 상관 관계를 나타내는 표준 지표 데이터를 저장하는 표준 정보 데이터베이스, 및 수신된 생체 감성 지표(BEI) 및 상황 정보를 표준 지표 데이터를 참조하여 분석하고, 분석 결과에 기반하여 사용자의 학습 감성 지표(SEI)를 생성하는 감성/상황 지표 분석 처리 모듈을 포함한다.

Description

생체 감성 지표 및 상황 정보로부터 학습 집중도에 관련된 학습 감성 지표를 생성하기 위한 유비쿼터스-러닝용 미들웨어 장치
본 발명은 유비쿼터스-러닝 산업 분야에 관련된 것으로서, 특히, 사용자의 신체 상태에 관련된 생체 감성 지표 및 사용자의 주변 환경을 나타내는 상황 정보로부터 현재 학습 중인 사용자의 집중도에 관련된 학습 감성 지표를 생성하고, 생성된 학습 감성 지표(SEI)를 이용하여 제공되는 학습 콘텐츠를 변경하는 등의 2차적인 환경 변화를 통하여 사용자의 집중도를 유지함으로써 학습 효과를 향상하기 위한 유비쿼터스-러닝용 미들웨어 장치에 관련된다.
유비쿼터스-러닝 또는 유-러닝이란, 'Ubiquitous Learning'을 의미하는 것으로서, 인터넷을 이용하여 언제 어디서나 학습할 수 있는 교육 시스템을 나타낸다. 특히, 유비쿼터스-러닝이란 인터넷을 이용한 이-러닝(e-learning)이 진화 발전되어 생겨난 개념으로, 정보통신기술의 발전에 힘입어 언제 어디서나 자유롭게 네트워크에 연결되어 공부할 수 있는 유비쿼터스 컴퓨팅 기반의 학습을 지칭한다. 특히, 한국교육학술정보원에서 추진하고 있는 u-School 시범 학교 운영과 디지털 교과서 제공 등으로 점차 유-러닝이 현실화되고 있다.
유비쿼터스-러닝 시장의 규모는 점점 커지고 있다. 특히, 고속 통신 기술의 발달에 힘입어 뇌파를 활용한 집중력 향상 프로그램이 급속히 보급되고 있는 상황이다. 예를 들어, 국내 개인 이러닝 이용자 전체가 2009년 한 해 동안 이러닝에 지출한 금액은 총 9,454억원으로 추정되며, 2008년 8,168억원 대비 1300억원 약 17.5% 증가한 것을 알 수 있다. 특히, 유비쿼터스-러닝이 신속히 보급될 것으로 기대되는 미국, 일본, 독일, 영국, 프랑스, 이탈리아 등의 나라만 고려하더라도, 이들이 국외 시장 규모를 결정한다고 가정할 수 있다. 그러면, 이들 나라의 총 인구 수는 대략 6억8천만 명(2003년) 수준이며, 비슷한 시기 한국의 인구는 4천8백만 명이므로 인구 비는 대략 14 정도가 된다. 즉, 유비쿼터스-러닝 시장에 관여하는 국외 인구가 국내 인구의 14배 수준이라는 것을 알 수 있다. 또한, 세계 유-러닝 시장은 연평균 성장률 20%대의 고성장을 지속하고 있으며, 2007년 295.9천억 원의 시장 규모로 성장하고 있다.
이러한 유비쿼터스-러닝의 발달에 힘입어, 다양한 콘텐츠에 다양한 플랫폼을 통하여 접근하는 것이 가능해졌다. 특히, 상대적으로 열악한 교육 환경에 노출되었던 사람들도 네트워크의 보급에 힘입어 양호한 교육 콘텐츠에 접근하는 것이 가능하다. 이러한 변화는 가히 교육 평등의 실현이라고 불릴만하다 할 것이다.
그런데, 이러한 장점들에도 불구하고 유비쿼터스-러닝에는 다음과 같은 몇 가지 단점이 존재한다.
우선, 직접 대면하여 강의를 진행하는 종래의 방식에 비하여 접근 용이성이 있는 반면에, 유비쿼터스-러닝의 소비자가 수업 도중에 일정한 집중도를 유지하는 것이 용이하지 않다. 즉, 학교에서는 교사와 직접 대면하여 수업을 받기 때문에 긴장하게 되나, 자신의 방의 컴퓨터 앞에서 공부하는 경우 집중하기 어려운 측면이 있다.
심지어, 유비쿼터스-러닝 시스템을 이용하는 것 자체에 커다란 노력이 필요할 수 있다. 즉, 유비쿼터스-러닝의 경우 사용자가 교육 정보에 용이하게 접근할 수 있다는 장점을 가지는 반면, 시스템 자체를 이용하는 지 또는 사용자가 얼마나 집중하여 콘텐츠를 이용하는지와 같은 것은 전적으로 사용자에게 의존한다. 그 결과, 유비쿼터스-러닝의 초기 효과는 그다지 좋지 않은 것이 사실이다. 심지어, 한국 중고생들의 학습 효율성은 OECD 30개국 중 24위에 지나지 않는다고 한다(한국직업능력개발원, 2008). 이것은 단지 열심히 공부하는 것보다 현명한 방식으로 공부하도록 하는 것이 훨씬 효과적이라는 것을 암시한다.
따라서, 유비쿼터스-러닝 시스템에서 사용자들이 일정한 집중도를 유지하도록 유지함으로써 결과적으로 학습 효과를 향상시키기 위한 기술이 절실히 요구된다. 이 과정에서, 본 발명에 의한 유비쿼터스 시스템은 학습 과정에서 개별적 생체 신호에 기반한 감성 정보를 활용하여 효율적인 학습을 유도할 수 있다.
더 나아가, 유비쿼터스 환경에서 동작하는 유-러닝의 장점을 살려 사용자의 현재 상황 정보를 참조하여 학습 콘텐츠를 제공하는 기술도 필요하다. 예를 들어, 사용자가 강의를 청취하는 동안 사용자의 강의 청취 자세를 모니터링할 수 있다고 가정한다. 그러면, 상황 정보를 분석한 결과 사용자가 졸린 상태라면 현재 진행 중인 콘텐츠 재생을 일시 정지할 수 있다.
그러므로, 생체 정보 뿐만 아니라 상황 정보를 더 이용하여 학습 중인 사용자의 학습 감성 지표(SEI)를 측정함으로써, 궁극적으로 사용자의 학습 효과를 극대화하기 위한 기술이 절실히 요구된다.
본 발명의 목적은 유비쿼터스-러닝용 미들웨어 장치로서, 특히, 사용자의 뇌파와 같은 생체 정보 및 상황 정보를 감지할 수 있는 감정 인식 모듈 및 상황 인식 모듈로부터 수신되는 정보를 이용하여 학습자의 감성 및 상황 정보를 지표화 할 수 있는 미들웨어 장치를 제공하는 것이다.
상기와 같은 목적들을 달성하기 위한 본 발명의 일면은, 사용자 신체 상태에 관련된 생체 감성 지표(Bio-signal Emotion Index, BEI) 및 사용자의 주변 상황에 관련된 상황 정보(context information)로부터 사용자의 학습 집중도에 관련된 학습 감성 지표(Study Emotion Index, SEI)를 생성하기 위한 유비쿼터스-러닝(이하 '유-러닝')용 미들웨어 장치에 관한 것이다. 본 발명에 의한 유비쿼터스-러닝용 미들웨어 장치는 감성 인식 모듈(Student Emotion Acknowledgement Module, SEAM) 및 상황 인식 모듈(Learning Environment Acknowledge Module, LEAM)로부터 생체 감성 지표(BEI) 및 상황 정보를 각각 수신하기 위한 통신 모듈, 복수의 사용자들에 대하여 실시된 실험으로부터 얻어진 생체 감성 지표(BEI) 및 학습 감성 지표(SEI) 간의 상관 관계를 나타내는 표준 지표 데이터(standard index data)를 저장하는 표준 정보 데이터베이스, 및 수신된 생체 감성 지표(BEI) 및 상황 정보를 표준 지표 데이터를 참조하여 분석하고, 분석 결과에 기반하여 사용자의 학습 감성 지표(SEI)를 생성하는 감성/상황 지표 분석 처리 모듈을 포함한다. 특히, 통신 모듈은 생체 감성 지표(BEI), 학습 감성 지표(SEI) 및 상황 정보 중 적어도 하나를 외부 학습 장치로 출력하도록 구성된다. 또한, 본 발명에 의한 유비쿼터스-러닝용 미들웨어 장치는 실시간으로 사용자들의 생체 감성 지표(BEI) 및 상황 정보를 모니터링하고, 생체 감성 지표(BEI) 및 상황 정보의 변화량을 측정하는 감성/상황 지표 모니터링 모듈을 더 포함하고, 감성/상황 지표 분석 처리 모듈은 감성/상황 지표 모니터링 모듈로부터 수신된 변화량을 더욱 참조하여 생체 감성 지표(BEI) 및 상황 정보를 분석하고, 분석 결과에 기반하여 사용자의 학습 감성 지표(SEI)를 생성하도록 적응된다. 더 나아가, 유비쿼터스-러닝용 미들웨어 장치는 외부 학습 장치에 의하여 사용자에게 현재 제공되는 콘텐츠를 식별하고, 사용자의 학습 상태 및 이벤트를 실시간으로 검출하기 위한 학습 어댑터(study adaptor)로 통신 모듈을 통하여 생성된 학습 감성 지표(SEI)를 송신함으로써, 학습 어댑터가 수신된 학습 감성 지표(SEI)에 기반하여 학습중인 콘텐츠를 수정 또는 변경하도록 야기하도록 적응된다. 특히, 감성/상황 지표 분석 처리 모듈은 집중도, 산만도, 및 졸림 정도 중 적어도 하나를 학습 감성 지표(SEI)로서 생성하도록 적응된다. 또한, 감성 인식 모듈(SEAM)은 뇌파(EEG), 안전도(EOG), 심박 변이도(HRV) 중 적어도 하나를 포함하는 생체 신호를 이용하여 사용자의 생체 감성 지표(BEI)를 연산하도록 적응되며, 생체 감성 지표(BEI)는 집중, 이완, 부하, 주의, 좌뇌 활성도, 우뇌 활성도, 및 좌우뇌 불균형도 중 적어도 하나를 포함한다. 또는, 상황 인식 모듈(LEAM)은 USN(Ubiquitous Sensor Network)을 이용하여 온도 정보, 습도 정보, 사용자 자세 정보 및 GPS 위치 신호 중 적어도 하나를 측정하고, 측정된 정보를 상황 정보로서 제공하도록 적응된다. 본 발명에 의한 외부 학습 장치는 사용자에게 제공되는 학습 콘텐츠와 함께 수신된 생체 감성 지표(BEI), 학습 감성 지표(SEI), 및 상황 정보를 표시하는 동작, 생체 감성 지표(BEI), 학습 감성 지표(SEI), 및 상황 정보에 기반하여 사용자의 집중도를 판단하여 표시하는 동작, 및 판단된 집중도가 소정 문턱치 이하일 경우 사용자에게 경고 메시지를 제공하거나 제공되는 학습 콘텐츠를 변경하는 동작을 수행하도록 적응된다.
본 발명에 의하여, 유비쿼터스-러닝용 학습 효과 향상 장치는 본 발명에 의한 미들웨어 장치로부터 수신되는 학습 감성 지표(SEI)에 기반하여 사용자에게 적합한 콘텐츠를 추천하여 학습 효과를 증대 시킬 수 있다.
또한, 본 발명에 의한 미들웨어 장치는 다양한 장치들과 공통적으로 동작되는 통신부를 포함하기 때문에, 사용자가 어떠한 타입의 유비쿼터스-러닝용 학습 효과 향상 장치를 이용하거나 감정 인식 모듈 및 상황 인식 모듈을 이용하는지와 무관하게 다양한 플랫폼에서 동작하는 유비쿼터스-러닝용 학습 효과 향상 시스템에 공통적으로 적용될 수 있다.
그러므로, 본 발명에 의한 미들웨어 장치를 이용하는 유비쿼터스-러닝용 학습 효과 향상 시스템의 개발 비용이 절감될 뿐만 아니라, 다양한 응용 분야에도 본 발명에 의한 미들웨어 장치가 적용될 수 있다.
도 1은 본 발명에 의한 미들웨어 장치가 동작하는 학습 지원 시스템의 구성 및 동작을 개념적으로 나타내는 도면이다.
도 2는 본 발명에 의한 미들웨어 장치를 포함하는 학습 지원 장치의 제1 실시예를 개념적으로 도시하는 블록도이다.
도 3은 본 발명에 의한 미들웨어 장치를 포함하는 학습 지원 장치의 제2 실시예를 개념적으로 도시하는 블록도이다.
도 4는 본 발명에 의한 미들웨어 장치를 포함하는 학습 지원 장치의 동작 과정을 설명하기 위한 도면이다.
도 5는 본 발명에 의한 학습 지원 장치에서 이용되는 생체 감성 지표(BEI), 학습 감성 지표(SEI), 및 상황 정보를 예시하는 표들이다.
도 6은 표준 지표 데이터를 구하기 위한 실험 결과를 예시하는 도면이다.
도 7은 본 발명에 의한 학습 지원 시스템에서 생체 감성 지표(BEI) 및 학습 감성 지표(SEI)를 측정하는 실행 화면을 예시하는 스크린 샷이다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로서, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈", "블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 1은 본 발명에 의한 미들웨어 장치가 동작하는 학습 지원 시스템의 구성 및 동작을 개념적으로 나타내는 도면이다.
도 1을 설명하면 다음과 같다. 우선, 사용자는 웹을 통하여 학습 지원 시스템에 로그인 한다(단계 1). 그러면, 학습 지원 시스템은 로그인한 사용자의 학습자 정보를 미들웨어 장치로 전달한다(단계 2).
미들웨어 장치는 로그인한 사용자가 이용하는 학습자 기기를 인식하고(단계 3), 사용자가 사용하는 학습자 기기는 사용자가 학습하는 동안 학습자의 생체 감성 지표(BEI) 및 상황 정보를 측정하여 미들웨어 장치로 전송한다(단계 4). 학습자 기기는 이러한 동작을 수행하기 위한 센서 모듈을 포함할 수 있다. 본 발명에서, 생체 감성 지표(Bio-signal Emotion Index, BEI)란 학습중인 사용자의 현재 신체 상태와 관련되는 정보를 나타내며, 이에 대해서는 명세서의 해당 부분에서 상세히 후술된다.
또한, 본 발명에서 상황 정보(context information)란 유비쿼터스 컴퓨팅과 관련하여 사용자와 다른 사용자, 시스템, 혹은 어플리케이션 간의 상호 작용에 영향을 미치는 사람, 장소, 사물, 개체, 시간 등 상황(situation)의 특징을 규정하는 정보를 가리킨다. 좀 더 구체적으로는 네트워크 연결 상태, 통신 대역폭과 같은 컴퓨팅 상황(computing situation), 사용자의 프로파일, 위치, 주변의 사람들을 비롯한 사용자 상황(user situation), 조명, 소음 레벨, 교통 상태, 온도 등 물리적 상황(physical situation), 시간, 주, 달, 계절 등 시간적 상황(time situation) 등이 모두 상황 정보에 포함된다. 이러한 상황 정보들은 다양한 감지 장치와 어플리케이션을 통해 파악되고 모아져 다양한 응용 서비스 제공에 이용되거나, 다른 상황 정보와 묶여 제3의 결론을 얻는 추론에 사용되기도 한다. 특히, 본 명세서에서 상황 정보란 사용자의 건강 상태, 신원 정보, 학습 수준, 성적 등과 같은 개인적인 정적 상황 정보 및 현재 사용자가 제공되는 콘텐츠를 얼마나 잘 따라하는지에 대한 동적 상황 정보를 포함할 수 있다. 즉, 정적 상황 정보는 개인의 개성과 특성에 관련되며, 동적 상황 정보는 사용자의 상태로부터 실시간으로 획득되는 정보에 관련된다.
또한, 본 명세서에서 학습 감성 지표(Study Emotion Index, SEI)란 사용자의 현재 집중도와 같이 학습과 직접 관련되는 지표를 나타낸다. 본 발명에 따르는 미들웨어 장치의 주된 동작은 사용자의 학습 상태에 따른 학습 감성 지표(SEI)를 측정하여 이에 기반하여 능동적으로 사용자에게 제공되는 서비스를 변경하도록 유도하는 것이다. 학습 감성 지표(SEI)에 대한 구체적 예에 대해서는 명세서의 해당 부분에서 상세히 후술된다.
다시 도 1을 참조하면, 감성 헤드셋이 감성 인식 모듈(Student Emotion Acknowledgement Module, SEAM)로서 이용되고, 환경 센서가 상황 인식 모듈(Learning Environment Acknowledge Module, LEAM)로서 이용된다.
그러면, 미들웨어 장치는 센서 모듈로부터 수신한 생체 감성 지표(BEI) 및 상황 정보를 분석하고 처리한다(단계 5). 이 이 과정에서 데이터베이스로부터 수신된 표준 지표 데이터(standard index data)가 이용될 수 있다(단계 6). 본 명세서에서 '표준 지표 데이터'란 여러 사용자의 생체 정보 및 집중도 간의 관련성에 대한 평균을 나타내는 데이터이다. 따라서, 표준 지표 데이터를 이용하면 생체 감성 지표(BEI)로부터 사용자별 학습 감성 지표(SEI)를 용이하고 정확하게 측정할 수 있는 장점을 가진다. 도 1에서, 표준 지표 데이터는 집중도, 안정도, 몰입도, 맥파, 스트레스, 및 상황 정보를 포함하는 것으로 도시되었으나, 이는 설명의 편의를 위한 것으로서, 본 발명을 한정하는 것이 아님에 주의하여야 한다.
미들웨어 장치가 표준 지표 데이터를 이용하여 사용자 개인의 학습 감성 지표(SEI)를 산출하면(단계 7), 미들웨어 장치는 산출된 학습 감성 지표(SEI)를 학습 지원 에이전트로 전송한다(단계 8). 그러면, 학습 지원 에이전트는 수신된 학습 감성 지표(SEI)를 참조하여 사용자에게 제공되는 콘텐츠를 변경하는 등의 동작을 수행할 수 있다.
이와 같이, 본 발명에 의한 학습 지원 시스템에서는 학습 중인 현재 사용자의 생체 감성 지표(BEI)는 물론, 학습 감성 지표(SEI)를 참조하여 해당 사용자의 집중도가 감소되는 것을 방지할 수 있다.
또한, 본 발명에 의하면 사용자가 이용하는 학습자 기기가 어떤 것이던지 무관하게 공통의 미들웨어 장치를 이용하여 학습 감성 지표(SEI) 제공 서비스를 제공할 수 있다.
도 2는 본 발명에 의한 미들웨어 장치를 포함하는 외부 학습 장치의 제1 실시예를 개념적으로 도시하는 블록도이다.
도 2에 도시된 학습 지원 장치(200)는 감정 인식 모듈(210), 상황 인식 모듈(230), 미들웨어 모듈(250), 학습 어댑터(270) 및 표준 지표 데이터베이스(290)를 포함한다.
우선, 사용자가 외부 학습 장치를 이용하여 학습을 시작하면, 학습 어댑터(270)가 외부 학습 장치에서 실행된다. 학습 어댑터(270)는 미들웨어 모듈(250)과 통신하여 학습 감성 지표(SEI)를 외부 학습 장치에 표시하는 역할을 수행한다. 즉, 학습 어댑터(270)를 어댑터를 통해 학습자가 센서 장치들을 제대로 착용하고 있는지, 감성 학습을 시작할 수 있는 상태인지를 파악할 수 있다. 학습 어댑터(270)를 통해 전달된 신호는 미들웨어 모듈(250)의 감성/상황 지표 분석 처리 모듈로 전달된다. 본 발명에서, 외부 학습 장치란 학습 콘텐츠를 재생하는 콘텐츠 플레이어를 나타낼 수 있다.
학습이 시작되면, 미들웨어 모듈(250)은 감정 인식 모듈(210) 및 상황 인식 모듈(230)로부터 다양한 생체 신호 및 상황 정보를 수신한다. 그러면, 미들웨어 모듈(250)은 수신된 신호들을 분석하여 학습 감성 지표(SEI) 및 상황 지표를 생성한다. 또한, 미들웨어 모듈(250)은 학습 도중에 사용자의 생체 감성 지표(BEI) 및 상황 정보에 변화가 발생하는지를 실시간으로 모니터링할 수 있다.
미들웨어 모듈(250)이 학습 감성 지표(SEI)를 생성하는 데에는 표준 지표 데이터베이스(290)에 저장된 표준 지표 데이터가 이용될 수 있다. 표준 지표 데이터에는 표준 학습 감성 지표 데이터 및 표준 학습 상황 지표 데이터가 포함될 수 있다.
도 2에 도시된 학습 지원 장치(200)에 포함되는 미들웨어 모듈(250)은 사용자 기반으로 사용자의 단말기에 설치되며, 추출된 학습자의 감성/상황 정보로 매핑된 표준 학습 지표는 통신 모듈을 통해 유비쿼터스 러닝 시스템으로 전달되어 활용된다.
도 3은 본 발명에 의한 미들웨어 장치를 포함하는 학습 지원 장치의 제2 실시예를 개념적으로 도시하는 블록도이다.
도 3을 참조하면, 학습 지원 장치(300)는 감정 인식 모듈(310), 센서셋 프로세서(320), 환경 정보 프로세서(325), 상황 인식 모듈(330), 미들웨어 모듈(350), 학습 어댑터(370) 및 표준 지표 데이터베이스(390)를 포함한다.
감정 인식 모듈(310) 및 상황 인식 모듈(330)로부터 수신된 신호들은 미들웨어 모듈(350)로 전달되기 이전에 각각 센서셋 프로세서(320) 및 환경 정보 프로세서(325)를 거친다. 그러면, 센서셋 프로세서(320)는 감정 인식 모듈(310)로부터 전달된 신호 중에서 감성 인식용 생체 신호를 식별한다. 또한, 환경 정보 프로세서(325)는 상황 인식 모듈(330)로부터 수신된 신호들로부터 사용자의 현재 상황을 나타내는 상황 정보를 처리한다. 처리된 생체 감성 지표(BEI) 및 상황 정보는 미들웨어 모듈(350)로 전송된다.
도 3에서, 감정 인식 모듈(310)은 2 개의 뇌파 신호로부터 21개의 뇌파 채널을 생성할 수 있다. 또한, 센서셋 프로세서(320)는 21개의 뇌파 채널을 이용하여 7개의 생체 감성 지표(BEI)를 생성하여 미들웨어 모듈(350)로 전달할 수 있다. 그러면, 미들웨어 모듈(350)은 수신된 생체 감성 지표(BEI) 및 상황 정보를 이용하여 학습 감성 지표(SEI)를 생성할 수 있다. 학습 감성 지표(SEI)는 100점 척도로 환산될 수 있으며, 예를 들어 '졸림' 지표가 60점이 넘을 경우 졸린 것으로 판단할 수 있다. 학습 감성 지표(SEI)를 결정하기 위하여 생체 감성 지표(BEI) 및 상황 정보가 함께 고려된다. 예를 들어, 자세 정보를 분석하여 사용자가 앉아있는 것으로 판단되면, '졸림' 지수가 90점이 넘어야 졸린 상태로 판단할 수 있다. 하지만, 자세 정보를 분석한 결과 사용자가 엎드려 있는 것으로 판단되면, '졸림' 지수가 10점만 넘더라도 졸린 상태로 판단할 수 있다. 도 3에서, 학습 감성 지표(SEI)로는 '집중', '산만', 및 '졸림'이 이용되지만, 본 발명은 이에 한정되는 것이 아니다.
미들웨어 모듈(350)은 학습 어댑터 통신 모듈(351), 감성/상황 기기 통신 모듈(352), 에이전트 통신 모듈(353), 감성/상황 지표 분석 처리 모듈(355), 학습 지표 생성 모듈(357), 및 감성/상황 변화 감지 모듈(359)을 포함한다. 학습 어댑터 통신 모듈(351)은 학습 어댑터(370)의 통신 모듈과 실시간으로 통신 가능하다. 또한, 감성/상황 기기 통신 모듈(352)은 감성 인식 장치(310, 330)와 유선 방식 또는 무선 방식으로 통신할 수 있다. 이 경우 무선 통신 방식은 Zigbee 또는 Bluetooth일 수 있다. 그리고, 에이전트 통신 모듈(353)은 외부 학습 지원 에이전트와의 통신을 담당한다. 이 경우, 에이전트 통신 모듈(353)은 클라이언트/서버 방식의 모듈들을 각각 포함할 수 있다.
미들웨어 모듈(350)에 포함되는 감성/상황 지표 분석 처리 모듈(355)은 감정 인식 모듈(310)로부터 전송된 생체 감성 지표(BEI)를 분석 처리하여 학습 감성 지표(SEI)를 생성한다. 또한, 감성/상황 지표 분석 처리 모듈(355)은 상황 인식 모듈(330)로부터 수신된 상황 정보를 분석하여 학습 상황 지표를 생성한다. 그러면, 이 때, 생체 감성 지표(BEI) 및 상황 정보에 변동이 발생하는지 여부는 감성/상황 변화 감지 모듈(359)에 의하여 모니터링된다. 모니터링 결과는 감성/상황 지표 분석 처리 모듈(355) 또는 외부 학습 장치로 전송될 수 있다.
도 3에서, 표준 지표 데이터베이스(390)는 상황 및 감성 표준 정보를 저장한다. 더 구체적으로는, 표준 지표 데이터베이스(390)는 데이터베이스 관리자(395)를 포함할 수 있다. 데이터베이스 관리자(395)는 저장된 감성/상황 지표를 표준화하고 학습자를 분류한다. 또한, 데이터베이스 관리자(395)는 추출된 감성/상황 지표의 통계 검증 동작과, 감성/상황 지표의 분석에 따른 유의미한 자료 추출 동작을 수행할 수 있다. 이를 통하여, 데이터베이스 관리자(395)는 학습자의 감성/상황 데이터를 수집할 수 있다.
학습 어댑터(370)는 학습자 정보 및 콘텐츠 정보를 인식하고, 사용자의 학습 상태 변화를 감지하여 외부 학습 장치에 변화된 상태를 전송한다. 또한, 학습 어댑터(370)는 감성 인식 장치로부터 분석한 학습자의 감성 변화 상태를 실시간으로 표시한다.
도 4는 본 발명에 의한 미들웨어 장치를 포함하는 학습 지원 장치의 동작 과정을 설명하기 위한 도면이다.
도 4를 참조하면, 학습 지원 장치(400)는 감정 인식 모듈(410), 센서셋 프로세서(420), 상황 정보 프로세서(425), 상황 인식 모듈(430), 미들웨어 모듈(450), 학습 어댑터(470) 및 표준 지표 데이터베이스(490)를 포함한다. 미들웨어 모듈(450)에서 얻어진 학습 감성 지표(SEI)는 I/O 모듈을 거쳐 에이전트 커넥터 모듈(460)로 전송된다.
감정 인식 모듈(410) 및 상황 인식 모듈(430)로부터 수신된 신호들은 각각 I/O 모듈을 거쳐 센서셋 프로세서(420) 및 상황 정보 프로세서(425)로 전달된다. 센서셋 프로세서(420)에서는 학습 감성 지표(SEI)를 추출하고, 상황 정보 프로세서(425)는 상황 정보를 추출한다. 그러면, 추출된 정보는 미들웨어 모듈(450)로 전달된다. 특히, 학습 어댑터(470)는 학습자 정보를 인식한 후 학습 진행 상태를 모니터링한다. 필요할 경우, 학습 어댑터(470)는 실시간으로 생체 감성 지표(BEI) 및 학습 감성 지표(SEI)를 표시하는 것이 가능하다. 도 4에 도시된 학습 지원 장치(400)에 포함된 미들웨어 모듈(450)의 구성 및 동작은 도 3에 도시된 미들웨어 모듈(350)의 그것과 유사하다. 그러므로, 명세서의 간략화를 위하여 중복된 설명이 생략된다.
도 4에 도시된 학습 지원 장치(400)에는 감정 인식 모듈(410) 및 상황 인식 모듈(430)이 구성 요소로서 포함되지 않는다는 점에서 도 3과 상이하다.
그러면, 센서 셋 프로세서(420)는 감정 인식 모듈(410)로부터 전달된 신호 중에서 감성 인식용 생체 신호를 식별하여 미들웨어 모듈(450)로 전달한다. 또한, 상황 정보 프로세서(425)는 상황 인식 모듈(430)로부터 수신된 신호들로부터 사용자의 현재 상황을 나타내는 상황 정보를 구하고, 구한 결과를 미들웨어 모듈(450)로 전달한다.
미들웨어 모듈(450)은 감성/상황 기기 통신 모듈, 학습 감성/생활 지표 생성 모듈, 감성/상황 지표 분석 처리 모듈, 및 감성/상황 변화 감지 모듈을 포함한다. 감성/상황 기기 통신 모듈은 학습 어댑터(470)의 통신 모듈과 실시간으로 통신 가능하다. 또한, 감성/상황 기기 통신 모듈은 감성 인식 장치(410, 430)와 유선 방식 또는 무선 방식으로 통신할 수 있다. 이 경우 무선 통신 방식은 Zigbee 또는 Bluetooth일 수 있다.
도 4에서, 표준 지표 데이터베이스(490)는 상황 및 감성 표준 정보를 저장한다. 더 구체적으로는, 표준 지표 데이터베이스(490)는 데이터베이스 관리자(미도시)를 포함할 수 있다. 또한, 표준 지표 데이터베이스(490)에는 표준 학습 지표가 저장될 수도 있다. 이러한 표준 학습 지표는 생체 감성 지표(BEI)를 학습 감성 지표(SEI)로 변환하기 위하여 이용될 수 있음은 전술된 바와 같다.
학습 어댑터(470)는 학습자 정보 및 콘텐츠 정보를 인식하고, 사용자의 학습 상태 변화를 감지하여 외부 학습 장치에 변화된 상태를 전송한다. 또한, 학습 어댑터(470)는 감성 인식 장치로부터 분석한 학습자의 감성 변화 상태를 실시간으로 표시한다.
미들웨어 모듈(450)은 감성/상황 기기로부터 전달된 원시 신호 데이터를 읽고, 그 결과를 실험에 의하여 수집/분석된 기준 지표와의 매핑을 통해 학습 표준 지표를 생성하여 학습 서버로 전달한다.
또한, 학습 어댑터 모듈은 ActiveX 형태로 웹에 적용됨으로써, 학습자의 학습 상태를 미들웨어로 전달할 수 있다. 그러므로 콘텐츠 재생 중 필요한 정보를 사용자에게 즉시 표시할 수 있다. 또한, 미들웨어 장치는 사용자 컴퓨터에 설치되지만, 표준 학습 지표는 에이전트 서버 모듈을 통해 외부 학습 시스템으로 전달된다.
도 5는 본 발명에 의한 학습 지원 장치에서 이용되는 생체 감성 지표(BEI), 학습 감성 지표(SEI), 및 상황 정보를 예시하는 표들이다.
도 5a는 뇌파와 같은 생체 정보로부터 추출될 수 있는 생체 신호들을 예시하는 표이다.
뇌파 및 생체 신호를 분석하기 위한 몇 가지 방법을 예시하면 다음과 같다.
1) 상호연결선 맵핑(Cross-Line Mapping) : 각 채널 사이의 상호상관도(Cross-Correlation)를 머리표면 위에 선으로 표현한다.
2) 뇌맵핑(3-D Brain Mapping) 분석 : 각 채널의 파형이나 결과 그래프를 각 해당 전극 위치에 표현할 수 있다.
3) 시간-주파수 분석(Time-Frequency Analysis) : 생체 정보의 시간에 따른 파워 스펙트럼의 변화를 분석할 수 있다.
4) 스펙트럼 분석(Spectrum Analysis) : 쎄타(Theta), 알파(Alpha), 베타(Beta), 감마(Gamma) 영역별 파워 값을 알기 쉽게 보여주는 파워 스펙트럼(Power Spectrum)이다.
5) 통계 분석(Statistics), 상관 분석(Correlation Analysis), 및 각종 필터링(Filtering)
6) 개별 분석(Custom Analysis) : 연구자들은 분석하고자 하는 뇌파의 특징을 쉽고 빠르게 파악할 수 있기 때문에, 연구에 소요되는 많은 시간과 에너지를 절약할 수 있다. 즉, 개발자가 원하는 순서대로 분석법을 조합함으로써 무궁무진한 새로운 분석법을 만들어 사용할 수 있다.
7) 다채널 시계열 데이터 분석 : 웨이블릿 분석(Wavelet Analysis), 주성분분석(Principal Component Analysis), 모델링 분석(Identification), 카오스분석(Chaos Analysis)을 포함한다.
이 외에 뇌파 및 생체 신호를 분석하기 위한 방법에 대해서는 대한민국특허청, 출원번호 10-2010-0024103호, '인간-기계 상호작용을 위한 인체 장착형 센서셋'을 참조한다.
도 5b는 뇌파와 같은 생체 정보로부터 추출될 수 있는 생체 감성 지표(BEI)들을 예시하는 표이다. 도 5b와 같은 생체 감성 지표(BEI)는 원시 생체 신호와 생체신호분석지표를 이용하여 추출한 것이다. 각 지표의 내용, 분석에 이용된 정보, 및 각각의 데이터 속성은 표 5b에 도시된 바와 같다. 도 5b에 도시된 생체 감성 지표(BEI)는 학습자의 상태를 모니터링할 수 있는 데이터로서 높은 신뢰도와 중요도를 가진다.
도 5c는 상황 인식 모듈에서 추출하는 상황 정보를 예시하는 표이다. 도 5c에서는 학습 상황 지표로서 온도 및 습도 정보만이 포함되었으나, 이 외에도 자세 정보 및 사용자의 현재 위치 등이 상황 정보로서 제공될 수 있음도 물론이다. 예를 들어, 자세 정보는 사용자의 팔뚝, 허리, 또는 허벅지 등에 착용된 상황 인식 모듈을 이용하여 측정될 수 있다. 그러면, 학습자가 착용한 상황 인식 모듈에서 측정한 데이터가 학습자의 집중력 향상을 위해 올바른 자세를 취하고 있는지를 결정한다. 예를 들어, 사용자의 자세는 다음과 같은 다섯 단계로 판단될 수 있다.
1) 학습자가 학습하기 위해 너무 곧은 자세
2) 학습자가 학습하기에는 무리는 없으나 곧은 자세
3) 학습자가 학습하기에 좋은 자세
4) 학습자가 학습하기에는 무리는 없으나 펴진(흐트러진)자세
5) 학습자가 학습하기 위해 너무 펴진(흐트러진) 자세
마지막으로, 도 5d는 본 발명에 의한 미들웨어 장치에서 생성해야 하는 학습 감성 지표(SEI)를 예시하는 표이다.
각각의 항목 별로 정의 및 판단 기준이 간략히 정리되어 있다.
본 명세서에서, 생체 감성 지표(BEI) 및 학습 감성 지표(SEI)의 차이점은 생체 감성 지표(BEI)는 생체 정보로부터 직접적으로 얻어지는 정보인데 반하여, 학습 감성 지표(SEI)는 생체 감성 지표(BEI) 및 상황 정보로부터 얻어지는 정보로서, 사용자의 학습 효과와 직접 관련될 수 있는 정보라는 점이다. 따라서, 생체 감성 지표(BEI)보다는 학습 감성 지표(SEI)를 이용함으로써, 현재 사용자의 집중도 등을 더욱 정확하게 측정할 수 있고, 이에 따라 학습 효과를 극대화할 수 있다.
본 발명에서, 학습 감성 지표(SEI)가 외부 학습 장치로 전달되면, 외부 학습 장치의 학습 어댑터는 수신된 생체 감성 지표(BEI), 학습 감성 지표(SEI) 및 상황 정보를 고려하여 제공되는 콘텐츠를 변경하여 사용자의 집중도를 향상시킨다. 이때, 사용자에게 제공되는 콘텐츠를 변경시키는 방법을 예를 들면 다음과 같다.
우선, 감성/상황 지표 분석 처리 모듈은 생체 감성 지표(BEI) 및 상황 정보를 고려하여 사용자의 학습 감성 지표(SEI)를 결정한다. 또한, 결정된 학습 감성 지표(SEI) 뿐만 아니라, 생체 감성 지표(BEI) 및 상황 정보 모두 외부 학습 장치로 송신된다. 그러면, 필요할 경우 외부 학습 장치는 새로운 콘텐츠를 제공한다. 이 때, 외부 학습 장치는 외부 콘텐츠 데이터베이스(미도시)에 저장된 복수 개의 콘텐츠 단위(unit)를 이용하여 직접 해당 사용자에게 적합한 학습 콘텐츠를 생성할 수 있다. 이 경우, 콘텐츠 단위가 생성될 때 색인 작업(indexing process)에 의하여 작성되어 콘텐츠 단위에 첨부되는 콘텐츠 기술자가 이용될 수 있다. 콘텐츠 기술자는 계층적 구조를 가지는 하나 이상의 태그를 포함할 수 있다. 예를 들어, 카메라의 동작 강좌에 대한 콘텐츠 단위가 생성되었다고 가정한다. 그러면, 콘텐츠 단위에는 카메라 기종 및 관련 강좌의 명칭이 태그로서 부여된다. 예를 들어, 'sx20is, 카메라 기능 설명' 이라는 태그가 부여된다. 또한, '카메라 기능 설명'이라는 태그는 하위 태그로서 '촬영 모드 설명' 및 '기본 동작 설명' 등과 같은 태그를 포함할 수 있다. 이와 같이, 콘텐츠 기술자를 구성하는 각각의 태그들은 서로 상하의 계층 관계를 가질 수도 있고, 서로 병렬적인 관계를 가질 수 있다. 본 명세서에서 태그란 상위-하위 개념을 가지며 사용자에 의하여 선택될 수 있는 객체를 의미한다. 즉, 태그란 사용자의 관심 대상으로서, 상위 레벨에 속하는 태그는 하위 레벨에 속하는 태그를 총괄하는 개념에 해당한다. 반면에, 하위 레벨에 속하는 태그는 상위 레벨에 속하는 태그의 부분 집합에 해당된다. 동일한 레벨에 속하는 태그는 서로 병렬적인 관련성을 가진다. 즉, 하위 레벨에 속하는 태그일수록 점점 세분화된다. 예를 들어, '인간' 이라는 태그 밑에는 '남자' 및 '여자' 라는 태그가 있을 수 있으며, '남자'라는 태그는 연령별로 세분화되는 하위 태그를 가질 수 있다. 즉, 상위 레벨에 속하는 태그란 서로 관련성을 가지는 하위 개념들을 총괄하는 범주(category)인 것으로 이해될 수 있다. 본 명세서에서 '상위 태그' 란 상위 레벨에 속하는 태그를 의미하고, '하위 태그'란 하위 레벨에 속하는 태그를 의미한다.
이와 같이, 외부 학습 장치는 직접적으로 사용자에게 제공되는 콘텐츠를 수정함으로써 사용자의 관심 사항과 레벨에 맞는 서비스를 제공하여 학습 효과를 극대화시킨다.
태그들의 계층적 구조를 이용하면 콘텐츠 단위가 관련되는 분야를 상세히 기술할 수 있는 장점을 가진다. 예를 들어, 어느 콘텐츠 단위가 '난이도 1'이라는 태그를 포함할 때, 해당 콘텐츠 단위가 어느 분야의 '난이도 1'에 해당하는지는 해당 콘텐츠 단위의 콘텐츠 기술자에 포함되는 다른 태그를 해석함으로써 밝혀질 수 있다. 예를 들어, 해당 콘텐츠 기술자가 '미분'과 '연습 문제'라는 태그들을 더 포함한다면, 이러한 태그들을 해석함으로써 해당 콘텐츠 단위가 '교육/학습 분야-고등-수학-미분-연습 문제-난이도 1'이라는 분야에 해당된다는 것을 알 수 있다. 여기서, 'a-b' 표시는 'a' 태그가 'b' 태그의 상위 태그라는 것을 나타낸다. 만일, 사용자가 '교육/학습 분야-고등-수학-미분-연습 문제-난이도 1' 이라는 분야에 관련된 콘텐츠를 시청하기를 희망하면, '난이도 1', '연습 문제', 및 '미분'이라는 태그를 가지는 콘텐츠 단위들이 콘텐츠 베이스(미도시)로부터 독출한다. 그러면, 콘텐츠 단위 배열부는 독출한 단위들을 소정의 생성 규칙에 따라서 배열하여 사용자 맞춤형 콘텐츠를 생성한다. 콘텐츠 단위 독출부가 반드시 사용자가 선택한 태그와 동일한 태그만을 포함하는 콘텐츠 기술자를 가지는 콘텐츠 단위만을 독출하는 것은 아니다. 즉, 콘텐츠 단위 독출부는 사용자가 선택한 태그와 관련성을 가지는 태그를 가지는 콘텐츠 단위도 독출할 수 있다.
또한, 콘텐츠 배열 규칙에는 특정 사용자에게만 적용되는 사용자 특이적 규칙이 포함된다. 예를 들어, 운동 분야의 경우 '고혈압 환자의 경우 고강도 운동을 피한다', '관절에 문제가 있을 경우 달리기보다는 사이클 운동이 바람직하다', '만성 호흡기 질환이 있는 경우 체내 산소 농도가 특히 중요하다' 등의 스포츠 의학적 규칙이 포함될 수 있다. 학습 분야의 경우에는 'A는 집합보다 다항식 문제를 많이 틀린다', 'B는 확률 통계 분야의 이해도가 떨어진다' 등과 같이 각 사용자에게만 해당되는 규칙들이 있다. 이러한 정보를 이용할 경우, 어느 사용자의 정적 상황 정보를 분석한 결과 그가 고혈압 환자라면, 고강도 운동이 바람직하지 않으므로 일반 규칙을 적용하는 경우에 비하여 난이도가 일괄적으로 낮은 콘텐츠 단위를 이용하여 사용자 맞춤형 콘텐츠를 생성할 수 있다. 이와 같이, 사용자 특이적 규칙은 현재 사용자의 동적 상황 정보를 참조하여 적용될 수도 있다. 예를 들어, 현재 사용자의 혈압이 과도하게 높다면(동적 상황 정보), 이러한 사용자에게는 운동을 당장 중지하고 호흡 운동을 통하여 정리할 수 있도록 사용자 맞춤형 콘텐츠가 생성된다. 또한, 사용자의 호흡 상태를 모니터링한 결과 호흡이 어느 이상이면(동적 상황 정보) 호흡 콘텐츠를 삽입할 수도 있다.
도 6은 표준 지표 데이터를 구하기 위한 실험 결과를 예시하는 도면이다.
이러한 실험의 목적은 학습자의 학습 상태와 뇌파의 상관 관계를 밝히는 것이다. 학습자가 학습하는 학습 상황을 몇 가지로 분류하여 학습 상황에 따른 개별 학습자의 뇌파를 측정하여 개별 학습자별, 학습상황별 뇌파의 차이를 파악한다. 특히 뇌파를 이용하여 파악할 수 있는 여러 지표 중에서 학습과 밀접한 관련성을 가질 수 있다고 판단한 집중도에 초점을 맞추어 개별 학습자별, 학습상황별 뇌파의 상관 관계를 밝히는 것이 실험 목적이다.
도 6을 참조하면, 뇌파 관련 지표 중에서 집중도의 타당성을 검증하기 위하여 집중이 요구된다고 판단된 게임을 진행한 후 학습자가 게임 중 자신의 집중도를 기록하게 한다. 그러면, 뇌파에서 추출한 집중도와 학습자가 판단한 집중도의 일치 여부를 비교한다. 도 6에서 알 수 있는 바와 같이, 학습 감성 지표(SEI)로서 구한 집중력 지수가 사실상의 집중도와 비슷한 패턴을 부이며, 그 결과 학습 감성 지표(SEI)가 사용자의 집중도를 판단하기 위한 척도로 이용될 수 있음을 알 수 있다.
물론, 반복실험 결과 집중도, 작업부하도, 좌뇌 활성도, 우뇌 활성도에서는 학습자별로 약간의 차이를 보일 수 있다. 매 실험에서 집중도가 항상 낮게 나오는 학습자가 있는 반면에 매 실험에서 일정기준 이상의 집중도를 가지는 학생도 나타난다. 따라서, 실험 결과의 정확도를 높이기 위해서는 학습 능력 검사를 이용하여 학습자의 기본 뇌파 정보를 파악하는 것이 바람직하다. 특히, 개별 학습자별로 학습 능력 검사 결과 학습자의 현 상태에 따라 차이가 존재할 수 있으므로 매 실험을 할 때마다 학습 능력 검사를 실행하여 기본 뇌파 값으로 설정하는 것이 바람직하다.
도 7은 본 발명에 의한 학습 지원 시스템에서 생체 감성 지표(BEI) 및 학습 감성 지표(SEI)를 측정하는 실행 화면을 예시하는 스크린 샷이다.
도 7을 참조하면, 생체 분석 지수(Bio-signal Analysis Index, BAI) 및 학습 감성 지표(SEI)는 각각 '감성 학습 지표'의 좌측 및 우측 섹션(710, 720)에 표시된다. 도 7에서 생체 분석 지수(BAI)는 뇌파 신호로부터 추출된 생체 신호들을 나타내며, 이에 대해서는 도 5a에 예시된 바와 같다.
상황 정보 중 환경 지표 및 자세 정보는 '상황 신호' 섹션(750)에 표시되고, 생체 감성 지표(BEI)는 '상태 표시줄' 섹션(730)에 표시된다. 생체 분석 지수의 실시간 변화는 섹션(740)에 표시되며, 상황 정보 중에서 온도, 습도 및 자이로 데이터 등은 섹션(760)에 표시된다. 이와 같이, 도 7에 도시된 실행 화면을 통하여 사용자는 다양한 생체 정보, 상황 정보는 물론 생체 감성 지표(BEI) 및 학습 감성 지표(SEI)를 용이하게 파악할 수 있다.
이와 같이, 본 발명에 의한 학습 지원 시스템은 건강한 뇌 활동을 증진시키기 위한 두뇌 트레이닝에 활용될 수 있으다. 또한, 뇌파 관련 연구 기관의 뇌파 분석용으로도 이용될 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
또한, 본 발명에 따르는 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함할 수 있다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 분산 컴퓨터 시스템에 의하여 분산 방식으로 실행될 수 있는 컴퓨터가 읽을 수 있는 코드를 저장할 수 있다.
따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
본 발명은 유비쿼터스-러닝용 학습 지원 시스템에 적용될 수 있다.

Claims (7)

  1. 사용자 신체 상태에 관련된 생체 감성 지표(Bio-signal Emotion Index, BEI) 및 사용자의 주변 상황에 관련된 상황 정보(context information)로부터 사용자의 학습 집중도에 관련된 학습 감성 지표(Study Emotion Index, SEI)를 생성하기 위한 유비쿼터스-러닝(이하 '유-러닝')용 미들웨어 장치에 있어서,
    감성 인식 모듈(Student Emotion Acknowledgement Module, SEAM) 및 상황 인식 모듈(Learning Environment Acknowledge Module, LEAM)로부터 상기 생체 감성 지표(BEI) 및 상기 상황 정보를 각각 수신하기 위한 통신 모듈;
    복수의 사용자들에 대하여 실시된 실험으로부터 얻어진 상기 생체 감성 지표(BEI) 및 학습 감성 지표(SEI) 간의 상관 관계를 나타내는 표준 지표 데이터(standard index data)를 저장하는 표준 정보 데이터베이스; 및
    수신된 상기 생체 감성 지표(BEI) 및 상기 상황 정보를 상기 표준 지표 데이터를 참조하여 분석하고, 분석 결과에 기반하여 상기 사용자의 학습 감성 지표(SEI)를 생성하는 감성/상황 지표 분석 처리 모듈을 포함하며,
    상기 통신 모듈은 상기 생체 감성 지표(BEI), 상기 학습 감성 지표(SEI) 및 상기 상황 정보 중 적어도 하나를 외부 학습 장치로 출력하도록 구성되는 것을 특징으로 하는 유비쿼터스-러닝용 미들웨어 장치.
  2. 제1항에 있어서, 상기 유비쿼터스-러닝용 미들웨어 장치는,
    실시간으로 상기 사용자들의 생체 감성 지표(BEI) 및 상황 정보를 모니터링하고, 상기 생체 감성 지표(BEI) 및 상황 정보의 변화량을 측정하는 감성/상황 지표 모니터링 모듈을 더 포함하고, 상기 감성/상황 지표 분석 처리 모듈은,
    상기 감성/상황 지표 모니터링 모듈로부터 수신된 변화량을 더욱 참조하여 상기 생체 감성 지표(BEI) 및 상황 정보를 분석하고, 분석 결과에 기반하여 상기 사용자의 학습 감성 지표(SEI)를 생성하도록 적응되는 것을 특징으로 하는 유비쿼터스-러닝용 미들웨어 장치.
  3. 제2항에 있어서, 상기 유비쿼터스-러닝용 미들웨어 장치는,
    상기 외부 학습 장치에 의하여 사용자에게 현재 제공되는 콘텐츠를 식별하고, 사용자의 학습 상태 및 이벤트를 실시간으로 검출하기 위한 학습 어댑터(study adaptor)로 상기 통신 모듈을 통하여 생성된 학습 감성 지표(SEI)를 송신함으로써, 상기 학습 어댑터가 수신된 학습 감성 지표(SEI)에 기반하여 학습중인 콘텐츠를 수정 또는 변경하도록 야기하도록 적응되는 것을 특징으로 하는 유비쿼터스-러닝용 미들웨어 장치.
  4. 제3항에 있어서, 상기 감성/상황 지표 분석 처리 모듈은,
    집중도, 산만도, 및 졸림 정도 중 적어도 하나를 상기 학습 감성 지표(SEI)로서 생성하도록 적응되는 것을 특징으로 하는 유비쿼터스-러닝용 미들웨어 장치.
  5. 제3항에 있어서, 상기 감성 인식 모듈(SEAM)은,
    뇌파(EEG), 안전도(EOG), 심박 변이도(HRV) 중 적어도 하나를 포함하는 생체 신호를 이용하여 상기 사용자의 생체 감성 지표(BEI)를 연산하도록 적응되며,
    상기 생체 감성 지표(BEI)는 집중, 이완, 부하, 주의, 좌뇌 활성도, 우뇌 활성도, 및 좌우뇌 불균형도 중 적어도 하나를 포함하는 것을 특징으로 하는 유비쿼터스-러닝용 미들웨어 장치.
  6. 제3항에 있어서, 상기 상황 인식 모듈(LEAM)은,
    USN(Ubiquitous Sensor Network)을 이용하여 온도 정보, 습도 정보, 사용자 자세 정보 및 GPS 위치 신호 중 적어도 하나를 측정하고, 측정된 정보를 상기 상황 정보로서 제공하도록 적응되는 것을 특징으로 하는 유비쿼터스-러닝용 미들웨어 장치.
  7. 제3항에 있어서, 상기 외부 학습 장치는,
    사용자에게 제공되는 학습 콘텐츠와 함께 수신된 생체 감성 지표(BEI), 학습 감성 지표(SEI), 및 상황 정보를 표시하는 동작,
    상기 생체 감성 지표(BEI), 학습 감성 지표(SEI), 및 상황 정보에 기반하여 상기 사용자의 집중도를 판단하여 표시하는 동작, 및
    판단된 집중도가 소정 문턱치 이하일 경우 사용자에게 경고 메시지를 제공하거나 제공되는 학습 콘텐츠를 변경하는 동작을 수행하도록 적응되는 것을 특징으로 하는 유비쿼터스-러닝용 미들웨어 장치.
PCT/KR2011/001314 2011-02-24 2011-02-25 생체 감성 지표 및 상황 정보로부터 학습 집중도에 관련된 학습 감성 지표를 생성하기 위한 유비쿼터스-러닝용 미들웨어 장치 WO2012115294A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2011-0016443 2011-02-24
KR1020110016443A KR101118276B1 (ko) 2011-02-24 2011-02-24 생체 감성 지표 및 상황 정보로부터 학습 집중도에 관련된 학습 감성 지표를 생성하기 위한 유비쿼터스-러닝용 미들웨어 장치

Publications (1)

Publication Number Publication Date
WO2012115294A1 true WO2012115294A1 (ko) 2012-08-30

Family

ID=46141322

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2011/001314 WO2012115294A1 (ko) 2011-02-24 2011-02-25 생체 감성 지표 및 상황 정보로부터 학습 집중도에 관련된 학습 감성 지표를 생성하기 위한 유비쿼터스-러닝용 미들웨어 장치

Country Status (2)

Country Link
KR (1) KR101118276B1 (ko)
WO (1) WO2012115294A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115357154A (zh) * 2022-10-21 2022-11-18 北京脑陆科技有限公司 脑电数据显示方法、装置、系统、计算机设备和存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101403329B1 (ko) * 2012-05-09 2014-06-09 한양대학교 산학협력단 감성 이벤트 온톨로지에 기반하여 학습 컨텐츠를 제공하는 장치 및 방법
KR101366932B1 (ko) 2012-05-23 2014-02-25 (주)대교씨엔에스 감성학습지표 기반의 학습상황 분석 방법
US10013892B2 (en) 2013-10-07 2018-07-03 Intel Corporation Adaptive learning environment driven by real-time identification of engagement level
KR102198806B1 (ko) * 2018-11-16 2021-01-05 연세대학교 산학협력단 게임 기반 온라인 인지 테스트 시스템 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100464821B1 (ko) * 2001-10-23 2005-01-17 임좌상 생리신호를 이용한 감성평가방법
KR20070087787A (ko) * 2005-11-29 2007-08-29 중앙대학교 산학협력단 생체신호를 통해 실시간으로 감정을 분류하는감정분류시스템과, 감정분류방법
KR20090000685A (ko) * 2007-03-21 2009-01-08 권순관 학습용 유비쿼터스 시스템
KR20100132592A (ko) * 2009-06-10 2010-12-20 연세대학교 산학협력단 감성인식장치의 개인별 최적화시스템 및 그 최적화 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100464821B1 (ko) * 2001-10-23 2005-01-17 임좌상 생리신호를 이용한 감성평가방법
KR20070087787A (ko) * 2005-11-29 2007-08-29 중앙대학교 산학협력단 생체신호를 통해 실시간으로 감정을 분류하는감정분류시스템과, 감정분류방법
KR20090000685A (ko) * 2007-03-21 2009-01-08 권순관 학습용 유비쿼터스 시스템
KR20100132592A (ko) * 2009-06-10 2010-12-20 연세대학교 산학협력단 감성인식장치의 개인별 최적화시스템 및 그 최적화 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115357154A (zh) * 2022-10-21 2022-11-18 北京脑陆科技有限公司 脑电数据显示方法、装置、系统、计算机设备和存储介质
CN115357154B (zh) * 2022-10-21 2023-01-03 北京脑陆科技有限公司 脑电数据显示方法、装置、系统、计算机设备和存储介质

Also Published As

Publication number Publication date
KR101118276B1 (ko) 2012-03-20

Similar Documents

Publication Publication Date Title
Yang et al. IoT structured long-term wearable social sensing for mental wellbeing
WO2012115294A1 (ko) 생체 감성 지표 및 상황 정보로부터 학습 집중도에 관련된 학습 감성 지표를 생성하기 위한 유비쿼터스-러닝용 미들웨어 장치
WO2012115295A1 (ko) 생체 감성 지표 및 상황 정보로부터 생성된 학습 감성 지표에 기반하여 사용자의 학습 효과를 향상시키기 위한 유비쿼터스-러닝용 학습 효과 향상 장치
WO2017200244A1 (ko) 시청각 콘텐츠와 생체신호 분석을 활용한 정신증상 평가 시스템
Duffy et al. Measuring emotions in medical education: Methodological and technological advances within authentic medical learning environments
CN109199410A (zh) 一种基于眼部运动的言语认知评估方法
Kadar et al. Affective computing to enhance emotional sustainability of students in dropout prevention
Edwards et al. Sensor-based methodological observations for studying online learning
Li et al. A learning attention monitoring system via photoplethysmogram using wearable wrist devices
Heinrich The causal influence of anxiety on academic achievement for students of differing intellectural ability
Alexander et al. Interfaces that adapt like humans
Davis et al. Mode of perception and frustration in reading
Daily et al. Understanding privacy and trust issues in a classroom affective computing system deployment
Mullick et al. IoT based smart system to detect mental health emergencies: A proposed model
JP2005102773A (ja) 学生の行動管理システム
WO2023068765A1 (ko) 코그니사이즈 콘텐츠 제공 장치
Strnad et al. Context management for self-adaptive user interfaces in the project myui
Wagner et al. Assessing play and exploratory behaviors of infants and toddlers
WO2024062935A1 (ja) 情報処理装置、システム、情報処理方法、およびプログラム
Besler Can HRV Training Make Us Happy: An Experimental Study on University Students.
WO2023175929A1 (ja) 指導支援装置、指導支援方法及びコンピュータ読み取り可能な記録媒体
Ji et al. Diagnostic and rehabilitation system for Alzheimer’s disease based on virtual reality technology in rehabilitation rooms
WO2023229191A1 (ko) 비대면 질환 진단 방법 및 장치
Lyons et al. Supporting empathy in online learning with artificial expressions
RU2671869C1 (ru) Способ и система для определения потенциала развития высших психических функций и навыков человека посредством нейрометрии

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11859420

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11859420

Country of ref document: EP

Kind code of ref document: A1