WO2024090830A1 - Cognitive training method and system based on eye tracking - Google Patents
Cognitive training method and system based on eye tracking Download PDFInfo
- Publication number
- WO2024090830A1 WO2024090830A1 PCT/KR2023/015195 KR2023015195W WO2024090830A1 WO 2024090830 A1 WO2024090830 A1 WO 2024090830A1 KR 2023015195 W KR2023015195 W KR 2023015195W WO 2024090830 A1 WO2024090830 A1 WO 2024090830A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- participant
- participants
- content
- instructor
- concentration
- Prior art date
Links
- 238000012549 training Methods 0.000 title claims abstract description 65
- 230000001149 cognitive effect Effects 0.000 title claims abstract description 60
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000012544 monitoring process Methods 0.000 claims abstract description 28
- 238000004891 communication Methods 0.000 claims description 14
- 230000004044 response Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 5
- 230000002452 interceptive effect Effects 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 8
- 230000007423 decrease Effects 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 230000004424 eye movement Effects 0.000 description 3
- 230000004397 blinking Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000010344 pupil dilation Effects 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000537 electroencephalography Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/168—Evaluating attention deficit, hyperactivity
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
- G09B5/12—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations different stations being capable of presenting different information simultaneously
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
- A61B2505/09—Rehabilitation or training
Definitions
- the present invention relates to a cognitive training method and system based on eye tracking. More specifically, in learning through virtual space, it relates to a method and system for calculating concentration by analyzing participant's gaze data and providing learning content based on the calculated concentration.
- Virtual reality is an interface that creates three-dimensional 3D content of a specific environment or situation through a computer so that people using the 3D content can experience it as if they are actually interacting with the surrounding situation or environment. collectively.
- HMDs head mounted displays
- a head-mounted display refers to a digital device that can be worn on the head like glasses to provide multimedia content.
- Korean Patent Publication No. 10-1988110 describes a method of conducting education by evaluating the concentration of users using content provided through a head-mounted display in real time or cumulatively and feeding back the evaluated concentration to the user. It is provided.
- this method does not provide configuration for an instructor who monitors the concentration of multiple participants and manages the learning process according to the concentration, so in an educational program in which multiple participants participate together, the instructor monitors the concentration of each participant and , there is still a need for technology that allows learning guidance to be conducted according to concentration.
- the present invention relates to a method and system for calculating concentration by analyzing gaze data of participants and providing learning content based on the calculated concentration in learning through virtual space.
- the cognitive training method based on eye tracking includes the steps of providing content including target stimuli and distracting stimuli to the virtual space of each of the plurality of participants, based on the eye tracking method, Monitoring the gaze of each of the plurality of participants with respect to the target stimulus and the distracting stimulus, calculating a degree of concentration on the content for each of the plurality of participants based on the monitoring result, and in the instructor's virtual space, It may include providing graphic objects classified for each of the plurality of participants and providing information about the concentration of each of the plurality of participants to the graphic object.
- the cognitive training method based on the instructor's input for the graphic object, at least some of the gaze data obtained as a result of the monitoring for the selected participant, the degree of concentration on the content, and the screen at the viewpoint of the selected participant. It may further include providing information through the instructor's virtual space.
- the cognitive training method may further include providing concentration-enhancing content that is different from the content through the virtual space of the selected participant in response to the instructor's input through the instructor's virtual space.
- calculating the degree of concentration for the content includes identifying a first position of the target stimulus and a second position of the distracting stimulus on the content, based on the monitoring result, the gaze of each of the plurality of participants. It may further include obtaining data, and calculating a degree of concentration on the content based on a comparison of the gaze data with the first location and the second location.
- providing the graphic object to the instructor's virtual space includes grouping the concentration of the plurality of participants into a plurality of groups based on a preset standard, and dividing the instructor's virtual space into a plurality of groups.
- the method may further include providing the graphic object including a visually distinguishable display according to the group.
- providing the content to the virtual space of each of the plurality of participants includes receiving an input for the content from among a plurality of content lists, a first object corresponding to the target stimulus, and a first object corresponding to the distracting stimulus.
- the method may further include arranging a second object on a screen corresponding to the selected content, and providing the content including the first object and the second object to the virtual space of each of the plurality of participants. there is.
- the cognitive training method includes receiving a learning evaluation for each of the plurality of participants from the instructor through the instructor's virtual space, and providing a report containing the gaze data and the learning evaluation of each of the plurality of participants. It may further include providing the virtual space to each of the plurality of participants.
- the cognitive training method includes acquiring biometric signals of the participant through the virtual space of the participant, and based on the obtained biosignals, calculating performance scores for tasks included in the content for each of the plurality of participants.
- the method may further include calculating, wherein the graphic object includes information about the concentration level and the performance score of each of the plurality of participants.
- the control unit of the cognitive training system provides content including target stimuli and distracting stimuli to the virtual space of each of the plurality of participants, and based on the eye tracking method, , Monitoring the gaze of each of the plurality of participants with respect to the target stimulus and the distracting stimulus, and based on the monitoring result, calculating the degree of concentration on the content for each of the plurality of participants, in the virtual space of the instructor, the plurality of participants.
- Graphic objects classified for each participant may be provided, and information on the concentration of each of the plurality of participants may be provided to the graphic objects.
- the program transmits content including a target stimulus and an obstacle stimulus to each of the plurality of participants' virtual providing a space, based on an eye tracking method, monitoring the gaze of each of the plurality of participants with respect to the target stimulus and the distracting stimulus, based on the monitoring result, determining the degree of concentration on the content among the plurality of participants.
- a cognitive training method and system based on eye tracking provides virtual reality educational content through a wearable device, obtains the concentration of each participant in real time by analyzing the concentration from the participant's gaze information, and It can be monitored.
- the cognitive training method and system based on eye tracking visually displays the concentration of each participant according to the concentration value, allowing the instructor to intuitively understand the real-time concentration of each participant. You can.
- the cognitive training method and system based on eye tracking prevents a decrease in the participant's concentration and prevents the participant's learning by providing customized feedback to the participant based on the instructor's concentration on learning. can be supported efficiently.
- FIG. 1 shows a cognitive training system based on eye tracking according to the present invention.
- Figure 2 is a conceptual diagram of a cognitive training system based on eye tracking according to the present invention.
- Figure 3 is a conceptual diagram of the database stored in the cognitive training system according to this outbreak.
- Figure 4 is a flowchart showing a cognitive training method based on eye tracking according to the present invention.
- Figure 5 shows a content design screen displayed through an instructor terminal according to the present invention.
- Figure 6 shows content displayed through a participant terminal according to the present invention.
- Figure 7a shows the monitoring results according to eye tracking of a participant's virtual space according to the present invention.
- Figure 7b is a flowchart showing a method of calculating the concentration of a participant based on eye tracking according to the present invention.
- Figure 8 shows a graphic object displayed through an instructor terminal according to the present invention.
- Figures 9a and 9b illustrate a configuration in which information related to participants according to the present invention is displayed through an instructor terminal.
- Figures 10a and 10b illustrate a configuration for providing content to improve concentration to participants based on an instructor's input according to the present invention.
- FIG. 1 shows a cognitive training system based on eye tracking according to the present invention.
- Figure 2 is a conceptual diagram of a cognitive training system based on eye tracking according to the present invention.
- Figure 3 is a conceptual diagram of the database stored in the cognitive training system according to this outbreak.
- the cognitive training system 100 (hereinafter referred to as the cognitive training system 100) based on eye tracking according to the present invention provides content 210 related to learning to the participant terminal 110.
- a graphic object 240 including information 220 (eg, eye tracking data) acquired through the participant terminal 110 may be provided to the instructor terminal 120.
- the participant terminal 110 and the instructor terminal 120 may be referred to as various types of electronic devices.
- the participant terminal 110 and the instructor terminal 120 may be referred to as at least one of a smartphone, tablet PC, e-book reader, desktop PC, laptop PC, home appliance device, or wearable device.
- the participant terminal 110 and the instructor terminal 120 are not limited to the above-mentioned examples, and any device that can provide a virtual space (or virtual reality) service to a user may be sufficient.
- HMD head mount display
- the instructor may access (or be connected to) the cognitive training system 100 through the instructor terminal 120. Additionally, a plurality of participants may access (or be connected to) the cognitive training system 100 at the same time through each participant terminal (110-1, 110-2, 110-3, 110-4).
- the cognitive training system 100 may include at least one of a communication unit 150, a storage unit 130, an input unit (not shown), and a control unit 140.
- the cognitive training system 100 may be implemented as an application or software.
- the cognitive training system 100 implemented as an application in this way is downloaded through a program that can download applications on an electronic device (e.g., Play Store, App Store), or is implemented through an initial installation program on an electronic device. It can be.
- the communication unit 150, storage unit 130, input unit, and control unit 140 according to the present invention can be used as components of an electronic device.
- the cognitive training system 100 may be provided through a web page accessed through the participant terminal 110 and the instructor terminal 120.
- the communication unit 150 may communicate with at least one of the participant terminal 110 and the instructor terminal 120 by wire or wirelessly.
- the communication unit 150 transmits the content 210 received from the instructor terminal 120 to the participant terminal 110 using wired or wireless communication, or transmits information obtained from the participant terminal 110 to the instructor terminal 120. Can be transmitted.
- the communication unit 150 may support various communication methods according to the communication standard of at least one of the communicating participant terminal 110 and the instructor terminal 120.
- the communication unit 150 supports wireless LAN (WLAN), wireless-fidelity (Wi-Fi), wireless fidelity (Wi-Fi) Direct, digital living network alliance (DLNA), wireless broadband (WiBro), and WiMAX ( World Interoperability for Microwave Access), HSDPA (High Speed Downlink Packet Access), HSUPA (High Speed Uplink Packet Access), LTE (Long Term Evolution), LTE-A (Long Term Evolution-Advanced), 5G (5th Generation Mobile Telecommunication) , BluetoothTM RFID (Radio Frequency Identification), Infrared Data Association (IrDA), UWB (Ultra-Wideband), ZigBee, NFC (Near Field Communication), Wi-Fi Direct, Wireless USB (Wireless Universal Serial Bus) ) may be configured to communicate with at least one of the participant terminal 110 and the instructor terminal 120 using at least one of the technologies.
- Wi-Fi wireless fidelity
- Wi-Fi wireless fidelity
- DLNA digital living network alliance
- WiBro wireless broadband
- WiMAX World Interoperability
- the storage unit 130 may be configured to store information related to the content 210 acquired from the instructor terminal 120. Additionally, the storage unit 130 may be configured to store user information and monitoring data (eg, eye tracking data) obtained from the participant terminal 110.
- user information and monitoring data eg, eye tracking data
- the storage unit 130 may be provided in the cognitive training system 100 itself. According to another embodiment, at least a portion of the storage unit 130 may be referred to at least one of a cloud server and a database of an external server. In other words, the storage unit 130 is referred to as a space where information related to cognitive training according to an embodiment is stored, and can be understood as having no restrictions on physical space.
- the cognitive training information 301 may include i) content information 310, and ii) user information 320.
- the content information 310 may include at least one of i) target stimulus location 311, ii) interference stimulus location 312, and iii) content information 313 included in the content.
- the user information 320 may include at least one of i) participant account information 321, ii) participant gaze data 322, iii) participant concentration data 323, and iv) participant learning data 324. there is.
- the cognitive training information 301 stored in the storage unit 130 is not limited to the above-mentioned example, and may be referred to as various information that is created or transformed during the participant's cognitive training.
- the input unit (not shown) according to the present invention is for inputting information from the manager, and the input unit can be a medium between the manager and the cognitive training system 100. More specifically, the input unit may mean an input means for receiving at least some of the cognitive training information 301 related to cognitive training from the manager.
- the input unit may be referred to as various types of input members.
- the input unit is a mechanical input means (or mechanical key, for example, a mouse, a joy stick, a physical button, a dome switch, a jog wheel, a jog switch) etc.) and a touch input means.
- the touch input means is referred to as a virtual key, soft key, or visual key displayed on the touch screen through software processing, or is referred to as a virtual key, soft key, or visual key other than the touch screen. It may be referred to as a touch key placed in the part of .
- the virtual key or visual key can be displayed on the touch screen in various forms, for example, graphic, text, icon, video or these. It can be made up of a combination of .
- control unit 140 may control the overall operation of the cognitive training system 100.
- the control unit 140 includes at least one of the target stimulus and obstacle stimulus setting unit 141, the user eye tracking unit 142, the user achievement determination unit 143, the screen processing unit 144, and the user feedback unit 145. may include.
- control unit 140 may process data related to the cognitive training information 301 input through the input unit or received through the communication unit 150. Additionally, the control unit 140 may store data acquired from the participant terminal 110 or the instructor terminal 120 in the storage unit 130.
- control unit 140 transmits data related to the cognitive training information 301 to the participant terminal 110 and/or the instructor terminal 120, thereby providing the information to the participant terminal 110 and/or the instructor terminal 120. Control can be performed so that information related to content is output through the displayed display.
- the control unit 140 may control the screen (or virtual space) displayed through the display provided on the participant terminal 110 and/or the instructor terminal 120 through the screen processing unit 144.
- the operation of the cognitive training system 100 will be described below as being controlled by the control unit 140.
- content 210 related to learning is provided to the participant terminal 110, and information 220 acquired through the participant terminal 110 is provided.
- the method of providing the graphic object 240 to the instructor terminal 120 will be described in more detail.
- Figure 4 is a flowchart showing a cognitive training method based on eye tracking according to the present invention.
- Figure 5 shows a content design screen displayed through an instructor terminal according to the present invention.
- Figure 6 shows content displayed through a participant terminal according to the present invention.
- Figure 7a shows the monitoring results according to eye tracking of a participant's virtual space according to the present invention.
- Figure 7b is a flowchart showing a method of calculating the concentration of a participant based on eye tracking according to the present invention.
- Figure 8 shows a graphic object displayed through an instructor terminal according to the present invention.
- Figures 9a and 9b illustrate a configuration in which information related to participants according to the present invention is displayed through an instructor terminal.
- Figures 10a and 10b illustrate a configuration for providing content to improve concentration to participants based on an instructor's input according to the present invention.
- the control unit 140 can set the positions of the target stimulus 501 and the interference stimulus 502 included in the content by controlling the target stimulus and interference stimulus setting unit 141.
- control unit 140 may provide an interface 500 for designing cognitive training content based on eye tracking through the instructor terminal 120.
- control unit 140 provides an interface 500 for creating content to be provided to the participant terminal 110 through the instructor terminal 120 by designing one content among the plurality of content lists 510. can be provided.
- the control unit 140 displays the screen 520 corresponding to the selected first training program 511 through the interface 500. ) can be displayed through.
- control unit 140 controls the target stimulus and interference stimulus setting unit 141 to create a first object 531 corresponding to the target stimulus 501 and a second object 532a corresponding to the interference stimulus 501. At least a portion of 532b and 532c may be placed on the screen 520 corresponding to the first training program 511.
- the control unit 140 selects at least some of the first object 531 corresponding to the target stimulus and the second object 532 corresponding to the distracting stimulus to the first object 532. It can be placed on the screen 520 corresponding to the training program 511.
- the control unit 140 in response to a preset object being identified from the screen 520 corresponding to the first training program 511, displays the first object 531 at the point where the identified object is placed.
- the second objects 532 may be arranged.
- control unit 1400 may set the position where the first object 531 is placed as the position of the target stimulus 501, and set the position where the second object 532 is placed as the position of the interference stimulus 502. .
- control unit 140 controls the target stimulus and obstruction stimulus setting unit 141 to set the target stimulus 501 and the obstruction stimulus ( 502) can be set.
- control unit 140 provides the above-described interface 500 through the instructor terminal 120, allowing the instructor to design content to be provided to the participant terminal 110.
- the interface 500 may include a graphic object 540 including a plurality of participant lists.
- the control unit 140 according to the present invention can provide information related to the learning situation of each participant through a graphic object 540 including a plurality of participant lists. However, a detailed explanation of this is provided below.
- the control unit 140 may provide content 620 including the target stimulus 501 and the distracting stimulus 502 to the virtual space of each of the plurality of participants (S401).
- control unit 140 controls content including a first object 531 corresponding to the target stimulus 501 and a second object 532 corresponding to the interference stimulus 502. (620) can be provided through each participant terminal (110-1, 110-2, 110-3, 110-4) of a plurality of participants.
- the control unit 140 uses the screen processing unit 144 to output the content 620 including the target stimulus 501 and the distracting stimulus 502 to the virtual space of the participant 611 through the participant terminal 110. You can control it.
- the content 620 provided in the participant's virtual space may include a background (or screen) such as a classroom, reading room, desk, blackboard, or conference room for learning, but is limited thereto. That is not the case.
- control unit 140 controls the content ( 620) can be provided through the participant terminal 110 of the participant 611.
- the controller 140 may control the first object 531 and the second object 532 not to be displayed through the participant terminal 110. That is, the first object ( Content 620 with at least part of 531 or the second object 532 removed may be provided through the participant terminal 110.
- each of the plurality of participants according to the present invention can perform learning using the content 620 provided through the participant terminal 110.
- the participant 611 memorizes the content included in the content 620 provided through the first participant terminal 110-1, solves a problem, or takes a lecture, and thus participates in the content 620. Learning can be done.
- the cognitive training system 100 provides learning-related content 620 through the participant terminal 110, so that the participant performs learning through the content 620 provided in the virtual space. You can do it.
- control unit 140 can monitor the gaze of each of the plurality of participants toward the target stimulus 501 and the distracting stimulus 502 based on the eye tracking method (S403).
- the control unit 140 uses the user eye tracking unit 142 to track a plurality of participants for content 620 including the target stimulus 501 and the distracting stimulus 502. Gaze data 770 (eg, participant gaze data 322 in FIG. 3) can be obtained by tracking each gaze.
- Gaze data 770 eg, participant gaze data 322 in FIG. 3
- control unit 140 acquires gaze data 770 by tracking and monitoring the gaze of the participant 611 in the participant's virtual space, and uses the acquired gaze data 770 as content 620. It can be displayed on the table.
- control unit 140 may store the gaze data 770 obtained as a result of gaze monitoring in the storage unit 130 without displaying it on the content 620. .
- control unit 140 tracks and monitors the gaze of the participant 611 in the participant virtual space through the user gaze tracking unit 142, thereby providing gaze data including the movement of the gaze, the position at which the gaze is fixed, or the time at which the gaze is fixed. 770 may be obtained, and a comparison may be performed between the gaze position and the positions of the target stimulus 501 and the distracting stimulus 502.
- control unit 140 can calculate the degree of concentration on the content 620 for each of the plurality of participants based on the monitoring results (S405).
- control unit 140 can calculate the participant's degree of concentration on the content 620 by controlling the user achievement determination unit 143 based on the participant's eye tracking results.
- control unit 140 inputs the gaze data 770 obtained as a result of monitoring the participant's gaze to the user achievement determination unit 143, thereby calculating the participant's degree of concentration on the content 620. .
- the control unit 140 obtains parameters related to the gaze and calculates the concentration of the participant 611 on the content 620 based on the obtained parameters. You can.
- control unit 140 can determine the position of the gaze of the participant 611 (S701).
- control unit 140 controls the participant 611 based on at least some of the eye (or iris) movement, the number of blinks, and the degree of pupil dilation of the participant 611 obtained through the participant terminal 110. ) can obtain data about the point they are looking at on the content 620.
- control unit 140 acquires the movement of the eye (or iris) of the participant 611 through the participant terminal 110, and based on the acquired eye movement, the participant 611 displays the content 620. ) You can identify the location of a point you are watching on the image.
- control unit 140 acquires the eye movements and blinking times of the participant 611 through the participant terminal 110, and based on the obtained information, the point at which the participant 611 is looking at the content 620 The location and gaze time can be identified.
- control unit 140 may determine whether the gaze position of the identified participant 611 is fixed (S703).
- control unit 140 acquires at least some of the eye movement, degree of pupil dilation, and number of blinks of the participant 611 through the participant terminal 110, and based on the obtained information, the participant 611 It can be determined whether the user is looking at a point on the content 620 for more than a preset time.
- control unit 140 determines that the participant 611 is looking at a point on the content 620 for more than a preset time, the control unit 140 determines that the gaze of the participant 611 is fixed on that point. You can.
- control unit 140 may again determine the position of the gaze of the participant 611 through step S701.
- control unit 140 may obtain at least one parameter related to the gaze (S705).
- At least one parameter related to the gaze of the participant 611 may be obtained.
- At this time, at least one parameter related to the gaze is: i) latency, ii) movement distance, iii) movement speed, iv) time fixed at a point after movement, v) target stimulus 501 It may include at least one of accuracy, and vi) gaze fixation ratio of the target stimulus 501 and the distractor stimulus 502.
- the latency period of the gaze may mean the time when the gaze begins to move.
- the accuracy of gaze with respect to the target stimulus 501 may mean the ratio of points included in the region of interest including the location of the target stimulus 501 among the points on which the gaze of the participant 611 is fixed.
- the fixation ratio of the target stimulus 501 and the distracting stimulus 502 includes the gaze of the participant 611 fixed on the area containing the distracting stimulus 502 and the location of the target stimulus 501. It may refer to the ratio of gaze fixed on the area of interest.
- parameters related to gaze are not limited to the above-mentioned examples, and can be understood as various parameters as data that can be obtained through monitoring the participant's gaze.
- control unit 140 can calculate the concentration of the participant 611 based on at least one obtained parameter (S707).
- control unit 140 adjusts the concentration of the participant 611 by comparing the position where the gaze of the participant 611 is fixed on the content 620 with the positions of the target stimulus 501 and the distracting stimulus 502. It can be calculated.
- control unit 140 controls the It can be judged that concentration has decreased.
- control unit 140 accumulates the gaze data of the participant 611 for a preset time, and determines the point where the participant's gaze is most often fixed, the distance from the target stimulus 501, and the interfering stimulus ( By comparing the distance with 502), the concentration of the participant 611 can be calculated.
- control unit 140 acquires the movement of the gaze of the participant 611 for a preset time, and determines whether the direction in which the gaze of the participant 611 is directed according to the movement is toward the target stimulus 501.
- the participant's (611) degree of concentration on the content (620) can be calculated depending on whether the direction is toward the interfering stimulus (502).
- control unit 140 calculates the average and standard deviation of the accuracy and/or gaze fixation ratio between the gaze fixation position and the target stimulus 501, and based on the calculated information, the participant 611 The concentration level for content 620 can be calculated.
- control unit 140 may calculate the concentration of the participant 611 based on the pattern of changes in the fixation position of the participant's gaze.
- control unit 140 determines the first time point when the relationship between the position where the gaze of the participant 611 is fixed and the position of the target stimulus 501 changes to more than a preset threshold, and for the first time after the first time point, A second point in time at which relevance decreases below a preset threshold may be determined. Additionally, the control unit 140 may determine a third time point at which the relevance increases above a preset threshold value for the first time after the second time point.
- control unit 140 calculates the first period between the first time point and the second time point and the second period between the second time point and the third time point, and determines the concentration based on the ratio of the first period and the second period. It can be calculated.
- control unit 140 may repeat the process of calculating the first period and the second period as described above while the participant 611 continues training. At this time, if each of the first period and the second period is repeated within a preset threshold range, the control unit 140 may determine a correction value for the concentration so that it is proportional to the cycle in which the first period and the second period are repeated. Through this, the control unit 140 can prevent the concentration level from being calculated to be relatively low due to the participant 611's habits or illness.
- control unit 140 may increase or decrease the correction value based on the ratio of the first period and the second period described above. For example, the control unit 140 may increase the correction value as the first period is larger than the second period, and may decrease the correction value as the first period is smaller than the second period.
- control unit 140 may group the concentration of the plurality of participants on the content 620 calculated into a plurality of groups based on a preset standard.
- control unit 140 can provide a graphic object that visually displays concentration information for each of the plurality of participants according to the group through the instructor's virtual space.
- concentration information for each of the plurality of participants according to the group through the instructor's virtual space.
- control unit 140 acquires the biological signals of the participant 611 through the participant terminal 110, and calculates the performance score for the task (or training) included in the content 620 based on the acquired biological signals. It can be calculated.
- control unit 140 acquires at least some of ground reaction force, photoplethysmogram (PPG), electrocardiogram (ECG), electroencephalography (EEG), and eye tracking data through the participant terminal 110, and based on the acquired data, , the performance result (or performance score) for the task included in the content 620 can be calculated. Additionally, the control unit 140 may calculate a performance score for each bodily function of the participant 611, based on the biosignals described above.
- the performance score may be calculated based on the performance accuracy, number of performance, or difficulty of the task included in the content 620.
- control unit 140 determines the recommended task difficulty level, task content, or number of task performance times based on the calculated performance score, and provides the information to the participant 611 through a virtual space displayed through the participant terminal 110. You can.
- control unit 140 may analyze the concentration and performance scores based on preset standards for each, and change the content provided to the participant 611 based on the analysis results.
- preset criteria may be set to different threshold values for each concentration and performance score.
- control unit 140 may determine that the content provided to the participant 611 is lower than the level of the participant 611 and increase the difficulty of the task. there is.
- the second preset threshold value for the performance score may be set lower than the first threshold value.
- the content provided to the participant 611 may be determined to be higher than the participant's level and the difficulty of the task may be lowered.
- the concentration of the participant 611 when the performance score is less than the second threshold and the concentration is less than the threshold, it is determined that the concentration of the participant 611 has decreased, and content that provides attention or relaxation content may be provided. .
- the cognitive training system 100 calculates the participant's learning degree (or task performance degree) based on the participant's gaze data and other biological signals, thereby providing a task suitable for the participant's learning degree.
- Content including can be provided through the participant's virtual space.
- control unit 140 can provide graphic objects divided by a plurality of participants in the instructor's virtual space and provide information about the concentration of each of the plurality of participants to the graphic object 240 ( S407).
- the control unit 140 may display information about the concentration (or learning achievement) of each of the plurality of participants through the graphic object 240. That is, depending on the degree of concentration, the visual appearance of the graphic object 240 may be configured differently. For example, the control unit 140 may display the graphic object 240 in different colors according to the concentration level or learning achievement level. Alternatively, the control unit 140 may include information (eg, text information) about the participant's concentration or learning achievement level in the graphic object 240.
- control unit 140 displays graphic objects that are visually distinguished according to the concentration calculated for each plurality of participants in the instructor's virtual space provided on the instructor terminal 120. (240) can be provided.
- control unit 140 may display participant 2, participant 5, participant 7, participant 9, participant 11, and participant 12 as having “normal” levels of concentration through the graphic object 240.
- the normal grade may be represented by a graphic object 240 having a first color (eg, green).
- control unit 140 can display through the graphic object 240 that Participant 1, Participant 6, and Participant 10 have concentration levels of “insufficient”, and Participant 3 and Participant 8 have concentration levels of “poor”. there is.
- the insufficient grade may be represented by a graphic object 240 having a second color (e.g., yellow), and the poor grade may be represented by a graphic object 240 having a third color (e.g., red).
- the control unit 140 can display the status of multiple participants in different visual appearances so that the instructor can understand them at a glance. That is, in the present invention, different visual features for a plurality of different grades may be matched and stored in the storage unit 130 as matching information. And, the control unit 140 can intuitively display information about the participant through the graphic object 240 that references this matching information.
- the classification according to the level of concentration displayed by the control unit 140 through the graphic object 240 and the display method according to the classification are not limited to the above-mentioned examples, and information related to the concentration obtained through monitoring of gaze It can be understood as a variety of means to provide.
- control unit 140 provides graphic objects 240 according to the concentration (or academic achievement) of a plurality of participants in the instructor's virtual space provided on the instructor terminal 120. This can be done in real time while the participants are using the content provided to each participant, or it can be done after the use of the content is completed.
- the cognitive training system 100 can determine the concentration of each participant based on the participant's eye tracking and display the concentration of each participant to the instructor through the instructor's virtual space.
- control unit 140 is based on the instructor's input on some of the graphic objects 240 divided by a plurality of participants, the gaze data obtained for the selected participant, the degree of concentration, and the screen at the selected participant's viewpoint. At least part of it can be provided through the instructor's virtual space.
- the participant's virtual space can be provided as the instructor's virtual space.
- the instructor can access (or visit) the participant's virtual space in a real-time situation where the participant is learning.
- the control unit 140 may connect the instructor's terminal 120 to the participant's virtual space.
- the participant's virtual space may be provided to the instructor's terminal 120.
- an avatar corresponding to the instructor may be added to each virtual space of the instructor terminal 120 and the participant's terminal.
- the instructor's access to the participant's virtual space may be accomplished at the request of at least one of the instructor or the participant.
- the instructor can access the participant virtual space by selecting the graphic object 240 corresponding to each participant, as seen above, through the instructor terminal.
- the control unit 140 may perform a series of controls to connect the instructor terminal to the participant's virtual space.
- control unit 140 may connect the instructor terminal to (or visit) the participant's virtual space.
- the participant terminal 110 may receive a command requesting the instructor's intervention from the participant 611.
- a command requesting the instructor's intervention may be a manipulation of an input means provided on the participant terminal 110, such as a physical button, or may be an input through a separately provided input means.
- a command requesting the instructor's intervention may correspond to gaze movement to a preset point in the virtual space provided to the participant 611.
- the instructor terminal may provide at least some of the gaze data, concentration, and screen at the selected participant's viewpoint to the content provided in the participant's virtual space. You can. Furthermore, the participant's learning content is provided to the instructor's terminal in the participant's virtual space, which allows the instructor to monitor the participant in real time.
- the control unit 140 collects gaze data 951, 952 of “Participant 3” based on the instructor’s input regarding “Participant 3” among the graphic objects 240;
- the concentration level 901 and the screen 930 from the perspective of “Participant 3” can be provided through the instructor’s virtual space provided on the instructor terminal 120.
- the control unit 140 controls the concentration level 901 and learning information 910 of the selected participant based on the instructor's input for some of the graphic objects 240.
- the screen 930 from the selected participant's viewpoint can be provided to the instructor's virtual space.
- the participant's gaze data 951 and 952 may overlap on the screen 930 from the participant's viewpoint and be provided to the instructor's virtual space.
- the concentration level 901 may be displayed to be visually distinguished according to the level of concentration, as shown in FIG. 8.
- the screen 930 of the participant's viewpoint provided in the instructor's virtual space may include gaze data 951 about the position or point where the participant's gaze rests, as shown in FIG. 9A.
- the control unit 140 may overlap the graphic object for the location or point where the user's gaze rests on content including graphic objects corresponding to the target stimulus and the distracting stimulus, respectively, and provide the information to the instructor as the participant's gaze data. Through this, the control unit 140 can intuitively recognize which stimulus the participant is paying attention to and which stimulus was interrupted.
- the screen 930 from the participant's viewpoint provided in the instructor's virtual space may include gaze data 952 about the order in which the participant's gaze stayed, as shown in FIG. 9B.
- the control unit 140 may detect a point (for example, a gaze point) where the participant's gaze remains for more than a preset time in the content provided to the participant.
- a point for example, a gaze point
- information about the order in which the plurality of gaze points stay can be displayed together with the plurality of gaze points.
- the control unit 140 can provide the eight gaze points to the instructor terminal by attaching a number according to the time order in which each gaze stopped. At this time, information about the gaze point including order information may be displayed overlapping content including graphic objects corresponding to the target stimulus and the distracting stimulus, respectively.
- the instructor can intuitively recognize the order in which participants look at the content and focus their attention on content containing graphic objects corresponding to target and distracting stimuli, respectively.
- the instructor can provide real-time feedback on the participant's learning in the participant's virtual space provided on the instructor terminal.
- the instructor and participant can access the participant's virtual space together, and the instructor can transmit real-time feedback commands about the participant's learning on the participant's virtual space through the instructor terminal. Through this, participants can receive learning guidance from the instructor in real time.
- control unit 140 according to the present invention can provide information related to the learning situation of each participant through a graphic object 540 including a plurality of participant lists. More specifically, the control unit 140 according to the present invention can display each of the plurality of participants to be visually distinguished according to the calculated concentration through a graphic object 540 including a list of the plurality of participants.
- learning information 910 may include the participant's i) learning level 902, ii) performance score 902, iii) turnaround time (“” and iv) heart rate 905; It is not limited and can be understood to include various types of information about the participant's learning level or biosignals.
- the control unit 140 can display the participant's gaze data to be visually distinguished according to the location of the gaze and the time or frequency at which the gaze is fixed at a certain location.
- the control unit 140 may display the participant's gaze to be visually distinguished through color turbidity, brightness, etc. depending on the time the participant's gaze is fixed on a specific location.
- control unit 140 may display the gaze data of the participant in quantification of the time or frequency that the gaze is fixed at a certain position according to the location of the gaze.
- control unit 140 may display the frequency (e.g., 3 times) with which the participant's gaze is fixed on a specific location in the instructor's virtual space.
- the cognitive training system 100 displays the concentration of each participant through a graphic object in the instructor's virtual space, allowing the instructor to monitor the concentration of each of a plurality of participants. Furthermore, the cognitive training system 100 according to the present invention responds to an input to a graphic object containing information on the concentration of each plurality of participants, and provides the learning situation of the selected participant to the instructor's virtual space, allowing the instructor to determine the concentration level of each participant. Accordingly, the learning situation of each learner can be checked.
- control unit 140 can use the user feedback unit 145 to provide feedback to improve the concentration of the participant 611 through the participant's 611 virtual space.
- control unit 140 may provide feedback that is distinct from the content 620 through the virtual space of the participant 611 based on the instructor's input.
- the control unit 140 responds to the instructor's input while displaying information related to a specific participant through the instructor terminal 120, as shown in FIG. 9A or 9B, and provides feedback through the virtual space of the participant. can do.
- control unit 140 may display a preset graphic object (for example, an arrow) through the participant's virtual space in response to the instructor's input through the instructor terminal 120.
- a preset graphic object for example, an arrow
- control unit 140 may respond to the instructor's input through the instructor terminal 120 and provide a pop-up window 1011 notifying the content change through the participant's virtual space. there is.
- the control unit 140 may provide preset concentration improvement content that is different from the previously provided content 620 through the participant's virtual space.
- the concentration improvement content can be understood as content in which the difficulty of the task (or training) included in the already provided content 620 has been lowered, concentration training content, concentration improvement content, learning method guidance content, or virtual space usage guidance content. You can.
- Concentration improvement content can be understood as content that includes images input by an instructor to improve the concentration of participants.
- the control unit 140 provides learning content according to learning (concentration, learning how to use, etc.) different from the current learning in a separate virtual space for both the instructor and the participant, or for the participant alone, as shown in FIG. 10A. can do.
- the control unit 140 may provide preset terminal usage guidance content that is different from the previously provided content 620 through the participant's virtual space.
- the terminal usage guide content may be content that teaches how to use the participant terminal 110.
- the control unit 140 may store the state of the virtual space currently being provided to the participant 611 in the storage unit 130 before the content provided to the participant 611 is switched. Through this, after the content provided to the participant 611 is converted and learning about the converted content is completed, the control unit 140 provides the previous content to the participant 611 again through the participant terminal 110. can do.
- a blinking or highlighting effect may be provided for the content 620 that is already being provided.
- control unit 140 may output the input voice 1012 through the participant terminal 110 based on the instructor's voice input through the instructor terminal 120. More specifically, the control unit 140 may record the instructor's voice through the instructor terminal 120 and output the recorded voice 1012 through the participant terminal 110 in response to the instructor's input.
- control unit 140 may output sound effects previously input through the participant terminal 110 in response to the instructor's input through the instructor terminal 120.
- control unit 140 responds to the instructor's input through the instructor terminal 120 and provides preset haptic feedback (e.g., vibration) through at least some of the participant terminals 110. ) can be provided.
- preset haptic feedback e.g., vibration
- control unit 140 can provide the above-described feedback through the virtual space of a plurality of participants whose concentration calculated through eye tracking is less than a preset threshold.
- control unit 140 may provide the above-described feedback through the virtual space of a participant whose concentration calculated through eye tracking decreases by more than a preset value over a preset period of time among a plurality of participants.
- the cognitive training system 100 can respond to a decrease in the participant's concentration by providing feedback to the participant's virtual space according to the instructor's input. Additionally, through this, the cognitive training system 100 can support efficient learning of participants.
- control unit 140 can receive learning evaluation input for each of the plurality of participants from the instructor through the instructor's virtual space.
- control unit 140 evaluates learning for each of the plurality of participants as a result of the instructor monitoring the learning situation and concentration of each of the plurality of participants through the instructor virtual space displayed on the instructor terminal 120. can be input.
- control unit 140 may generate a report including learning evaluation and gaze data input for each of the plurality of participants and provide the report through the virtual space of each of the plurality of participants.
- control unit 140 controls the user feedback unit 145 to generate a report containing at least some of the learning evaluation and gaze data for each of the plurality of participants, and to send the generated report through the virtual space of each participant. can be provided.
- computer-readable media includes all types of recording devices that store data that can be read by a computer system.
- Examples of computer-readable media include HDD (Hard Disk Drive), SSD (Solid State Disk), SDD (Silicon Disk Drive), ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc. There is.
- the computer-readable medium may be a server or cloud storage that includes storage and can be accessed by electronic devices through communication.
- the computer can download the program according to the present invention from a server or cloud storage through wired or wireless communication.
- the computer described above is an electronic device equipped with a processor, that is, a CPU (Central Processing Unit), and there is no particular limitation on its type.
- a processor that is, a CPU (Central Processing Unit)
- CPU Central Processing Unit
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Educational Technology (AREA)
- Developmental Disabilities (AREA)
- Heart & Thoracic Surgery (AREA)
- Biomedical Technology (AREA)
- Child & Adolescent Psychology (AREA)
- Veterinary Medicine (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Educational Administration (AREA)
- General Physics & Mathematics (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
A cognitive training method based on eye tracking according to the present invention may comprise the steps of: providing content including a target stimulus and a distractor stimulus to a virtual space of each of a plurality of participants; monitoring the eye of each of the plurality of participants with respect to the target stimulus and the distractor stimulus on the basis of an eye tracking method; on the basis of a result of the monitoring, calculating a concentration level for the content for each of the plurality of participants; and providing a graphic object classified for each of the plurality of participants to a virtual space of an instructor, and providing information on the concentration level of each of the plurality of participants to the graphic object.
Description
본 발명은 시선추적에 기반한 인지 훈련 방법 및 시스템에 관한 것이다. 보다 구체적으로, 가상 공간을 통한 학습에 있어서, 참여자의 시선 데이터를 분석함으로써 집중도를 산출하고, 산출된 집중도에 근거한 학습 콘텐츠를 제공하는 방법 및 시스템에 관한 것이다.The present invention relates to a cognitive training method and system based on eye tracking. More specifically, in learning through virtual space, it relates to a method and system for calculating concentration by analyzing participant's gaze data and providing learning content based on the calculated concentration.
가상 현실(virtual reality)이란 컴퓨터를 통해 어떤 특정한 환경이나 상황을 입체감 있는 3D 콘텐츠로 제작하여, 그 3D 콘텐츠를 사용하는 사람이 마치 실제 주변 상황, 환경과 상호작용하고 있는 것처럼 경험할 수 있도록 하는 인터페이스를 총칭한다.Virtual reality is an interface that creates three-dimensional 3D content of a specific environment or situation through a computer so that people using the 3D content can experience it as if they are actually interacting with the surrounding situation or environment. collectively.
가상 현실과 관련된 기술이 발달함에 따라, 이러한 가상 현실을 이용하여 교육을 진행하는 E-러닝 기술 또한 함께 발전하고 있다. 또한, 이와 같은 가상 현실 기술의 발전과 더불어, 더욱 몰입도 높은 가상 현실 서비스를 제공하기 위한 장치에 대한 개발이 다각적으로 요구되고 있다. 특히, 헤드 마운트 디스플레이(HMD, head mount display)를 비롯한 웨어러블 장치를 통해 제공되는 콘텐츠를 활용하여 교육을 진행하는 기술이 널리 활용되고 있다.As technology related to virtual reality develops, E-learning technology that conducts education using virtual reality is also developing. In addition, along with the development of virtual reality technology, there is a demand for the development of devices to provide more immersive virtual reality services. In particular, technology for conducting education using content provided through wearable devices, including head mounted displays (HMDs), is being widely used.
이 때, 헤드 마운트 디스플레이란 안경처럼 머리에 착용하여 멀티미디어 콘텐츠를 제공받을 수 있도록 하는 디지털 장치를 의미한다.In this case, a head-mounted display refers to a digital device that can be worn on the head like glasses to provide multimedia content.
따라서, 현재 전술한 가상 현실 기술을 교육 훈련 프로그램에 활용하고자 하는 수요가 높아지고 있다.Accordingly, there is currently a growing demand to utilize the aforementioned virtual reality technology in education and training programs.
예를 들어, 한국등록특허공보 제10-1988110호는, 헤드 마운트 디스플레이를 통해 제공되는 콘텐츠를 이용하는 사용자의 집중도를 실시간 또는 누적하여 평가하고, 평가된 집중도를 사용자에게 피드백 함으로써 교육을 진행하는 방법을 제공하고 있다.For example, Korean Patent Publication No. 10-1988110 describes a method of conducting education by evaluating the concentration of users using content provided through a head-mounted display in real time or cumulatively and feeding back the evaluated concentration to the user. It is provided.
다만, 이러한 방법은 복수의 참여자들의 집중도를 모니터링하고, 집중도에 따라 학습 과정을 관리하는 교수자에 대한 구성을 개시하지 않으므로, 복수의 참여자가 함께 참여하는 교육 프로그램에서 교수자가 각 참여자의 집중도를 모니터링하고, 집중도에 따른 학습 지도를 수행할 수 있도록 하는 기술에 대한 요구는 여전히 존재한다.However, this method does not provide configuration for an instructor who monitors the concentration of multiple participants and manages the learning process according to the concentration, so in an educational program in which multiple participants participate together, the instructor monitors the concentration of each participant and , there is still a need for technology that allows learning guidance to be conducted according to concentration.
본 발명은, 가상 공간을 통한 학습에 있어서, 참여자의 시선 데이터를 분석함으로써 집중도를 산출하고, 산출된 집중도에 근거한 학습 콘텐츠를 제공하는 방법 및 시스템에 관한 것이다.The present invention relates to a method and system for calculating concentration by analyzing gaze data of participants and providing learning content based on the calculated concentration in learning through virtual space.
위에서 살펴본 과제를 해결하기 위하여, 본 발명에 따른 시선추적에 기반한 인지 훈련 방법은, 목표 자극 및 방해 자극을 포함하는 콘텐츠를 복수의 참여자 각각의 가상 공간에 제공하는 단계, 시선 추적 방법에 기반하여, 상기 목표 자극 및 상기 방해 자극에 대한 상기 복수의 참여자 각각의 시선을 모니터링하는 단계, 상기 모니터링 결과에 기반하여, 상기 콘텐츠에 대한 집중도를 상기 복수의 참여자 별로 산출하는 단계, 및 교수자의 가상 공간에, 상기 복수의 참여자 별로 구분된 그래픽 객체를 제공하고, 상기 그래픽 객체에 상기 복수의 참여자 각각의 집중도에 대한 정보를 제공하는 단계를 포함할 수 있다.In order to solve the above-mentioned problems, the cognitive training method based on eye tracking according to the present invention includes the steps of providing content including target stimuli and distracting stimuli to the virtual space of each of the plurality of participants, based on the eye tracking method, Monitoring the gaze of each of the plurality of participants with respect to the target stimulus and the distracting stimulus, calculating a degree of concentration on the content for each of the plurality of participants based on the monitoring result, and in the instructor's virtual space, It may include providing graphic objects classified for each of the plurality of participants and providing information about the concentration of each of the plurality of participants to the graphic object.
나아가, 상기 인지 훈련 방법은, 상기 그래픽 객체에 대한 상기 교수자의 입력에 근거하여, 선택된 참여자에 대하여 상기 모니터링 결과로써 획득된 시선 데이터, 상기 콘텐츠에 대한 집중도 및 상기 선택된 참여자 시점의 화면 중 적어도 일부를 상기 교수자의 가상 공간을 통해 제공하는 단계를 더 포함할 수 있다.Furthermore, the cognitive training method, based on the instructor's input for the graphic object, at least some of the gaze data obtained as a result of the monitoring for the selected participant, the degree of concentration on the content, and the screen at the viewpoint of the selected participant. It may further include providing information through the instructor's virtual space.
나아가, 상기 인지 훈련 방법은, 상기 교수자의 가상 공간을 통한 상기 교수자의 입력에 응답하여, 상기 선택된 참여자의 가상 공간을 통해 상기 콘텐츠와 구분되는 집중 향상 콘텐츠를 제공하는 단계를 더 포함할 수 있다.Furthermore, the cognitive training method may further include providing concentration-enhancing content that is different from the content through the virtual space of the selected participant in response to the instructor's input through the instructor's virtual space.
나아가, 상기 콘텐츠에 대한 집중도를 산출하는 단계는, 상기 콘텐츠 상에서 상기 목표 자극의 제1 위치와 상기 방해 자극의 제2 위치를 식별하는 단계, 상기 모니터링 결과에 기반하여, 상기 복수의 참여자 각각의 시선 데이터를 획득하는 단계, 및 상기 시선 데이터와 상기 제1 위치 및 상기 제2 위치에 대한 비교에 근거하여, 상기 콘텐츠에 대한 집중도를 산출하는 단계를 더 포함할 수 있다.Furthermore, calculating the degree of concentration for the content includes identifying a first position of the target stimulus and a second position of the distracting stimulus on the content, based on the monitoring result, the gaze of each of the plurality of participants. It may further include obtaining data, and calculating a degree of concentration on the content based on a comparison of the gaze data with the first location and the second location.
나아가, 상기 교수자의 가상 공간에 상기 그래픽 객체를 제공하는 단계는, 상기 복수의 참여자에 대한 집중도를 기 설정된 기준에 근거하여, 복수의 그룹으로 그룹화(grouping)하는 단계, 및 상기 교수자의 가상 공간을 통해, 상기 그룹에 따라 시각적으로 구분되는 표시를 포함하는 상기 그래픽 객체를 제공하는 단계를 더 포함할 수 있다.Furthermore, providing the graphic object to the instructor's virtual space includes grouping the concentration of the plurality of participants into a plurality of groups based on a preset standard, and dividing the instructor's virtual space into a plurality of groups. The method may further include providing the graphic object including a visually distinguishable display according to the group.
나아가, 상기 콘텐츠를 상기 복수의 참여자 각각의 가상 공간에 제공하는 단계는, 복수의 콘텐츠 목록 중 상기 콘텐츠에 대한 입력을 수신하는 단계, 상기 목표 자극에 대응되는 제1 객체 및 상기 방해 자극에 대응되는 제2 객체를 상기 선택된 콘텐츠와 대응되는 화면 상에 배치하는 단계, 및 상기 제1 객체 및 상기 제2 객체를 포함하는 상기 콘텐츠를 상기 복수의 참여자 각각의 가상 공간에 제공하는 단계를 더 포함할 수 있다.Furthermore, providing the content to the virtual space of each of the plurality of participants includes receiving an input for the content from among a plurality of content lists, a first object corresponding to the target stimulus, and a first object corresponding to the distracting stimulus. The method may further include arranging a second object on a screen corresponding to the selected content, and providing the content including the first object and the second object to the virtual space of each of the plurality of participants. there is.
나아가, 상기 인지 훈련 방법은 상기 교수자로부터 상기 교수자의 가상 공간을 통해, 상기 복수의 참여자 각각에 대한 학습 평가를 입력 받는 단계, 및 상기 복수의 참여자 각각의 상기 시선 데이터 및 상기 학습 평가를 포함하는 리포트를 상기 복수의 참여자 각각의 가상 공간을 통해 제공하는 단계를 더 포함할 수 있다.Furthermore, the cognitive training method includes receiving a learning evaluation for each of the plurality of participants from the instructor through the instructor's virtual space, and providing a report containing the gaze data and the learning evaluation of each of the plurality of participants. It may further include providing the virtual space to each of the plurality of participants.
나아가, 상기 인지 훈련 방법은, 상기 참여자의 가상 공간을 통해 상기 참여자의 생체 신호를 획득하는 단계, 상기 획득한 생체 신호에 근거하여, 상기 콘텐츠에 포함된 과제에 대한 수행 점수를 상기 복수의 참여자 별로 산출하는 단계를 더 포함하고, 상기 그래픽 객체는, 상기 복수의 참여자 각각의 집중도 및 상기 수행 점수에 대한 정보를 포함하는 것을 특징으로 할 수 있다.Furthermore, the cognitive training method includes acquiring biometric signals of the participant through the virtual space of the participant, and based on the obtained biosignals, calculating performance scores for tasks included in the content for each of the plurality of participants. The method may further include calculating, wherein the graphic object includes information about the concentration level and the performance score of each of the plurality of participants.
한편, 본 발명에 따른 시선추적에 기반한 인지 훈련 시스템은, 상기 인지 훈련 시스템의 제어부는, 목표 자극 및 방해 자극을 포함하는 콘텐츠를 복수의 참여자 각각의 가상 공간에 제공하고, 시선 추적 방법에 기반하여, 상기 목표 자극 및 상기 방해 자극에 대한 상기 복수의 참여자 각각의 시선을 모니터링하고, 상기 모니터링 결과에 기반하여, 상기 콘텐츠에 대한 집중도를 상기 복수의 참여자 별로 산출하고, 교수자의 가상 공간에, 상기 복수의 참여자 별로 구분된 그래픽 객체를 제공하고, 상기 그래픽 객체에 상기 복수의 참여자 각각의 집중도에 대한 정보를 제공할 수 있다.Meanwhile, in the cognitive training system based on eye tracking according to the present invention, the control unit of the cognitive training system provides content including target stimuli and distracting stimuli to the virtual space of each of the plurality of participants, and based on the eye tracking method, , Monitoring the gaze of each of the plurality of participants with respect to the target stimulus and the distracting stimulus, and based on the monitoring result, calculating the degree of concentration on the content for each of the plurality of participants, in the virtual space of the instructor, the plurality of participants. Graphic objects classified for each participant may be provided, and information on the concentration of each of the plurality of participants may be provided to the graphic objects.
한편, 본 발명에 따른 전자기기에서 하나 이상의 프로세스에 의하여 실행되며, 컴퓨터로 판독될 수 있는 매체에 저장 가능한 프로그램으로서, 상기 프로그램은, 목표 자극 및 방해 자극을 포함하는 콘텐츠를 복수의 참여자 각각의 가상 공간에 제공하는 단계, 시선 추적 방법에 기반하여, 상기 목표 자극 및 상기 방해 자극에 대한 상기 복수의 참여자 각각의 시선을 모니터링하는 단계, 상기 모니터링 결과에 기반하여, 상기 콘텐츠에 대한 집중도를 상기 복수의 참여자 별로 산출하는 단계, 및 교수자의 가상 공간에, 상기 복수의 참여자 별로 구분된 그래픽 객체를 제공하고, 상기 그래픽 객체에 상기 복수의 참여자 각각의 집중도에 대한 정보를 제공하는 단계를 수행하는 명령어들을 포함할 수 있다.Meanwhile, it is a program that is executed by one or more processes in an electronic device according to the present invention and can be stored in a computer-readable medium, wherein the program transmits content including a target stimulus and an obstacle stimulus to each of the plurality of participants' virtual providing a space, based on an eye tracking method, monitoring the gaze of each of the plurality of participants with respect to the target stimulus and the distracting stimulus, based on the monitoring result, determining the degree of concentration on the content among the plurality of participants. Includes instructions for performing calculations for each participant, providing graphic objects classified for each of the plurality of participants in the instructor's virtual space, and providing information about the concentration of each of the plurality of participants to the graphic object. can do.
본 발명의 다양한 실시 예에 따르면, 시선추적에 기반한 인지 훈련 방법 및 시스템은, 웨어러블 디바이스를 통해 가상 현실 교육 콘텐츠를 제공하고, 참여자의 시선 정보로부터 집중도를 분석함으로써, 참여자별 집중도를 실시간으로 획득하고 모니터링 할 수 있다.According to various embodiments of the present invention, a cognitive training method and system based on eye tracking provides virtual reality educational content through a wearable device, obtains the concentration of each participant in real time by analyzing the concentration from the participant's gaze information, and It can be monitored.
또한, 본 발명의 다양한 실시 예에 따른 시선추적에 기반한 인지 훈련 방법 및 시스템은, 참여자 별 집중도를 집중도의 수치에 따라 시각적으로 구분되도록 표시함으로써, 교수자가 참여자 별 실시간 집중도를 직관적으로 파악할 수 있도록 할 수 있다.In addition, the cognitive training method and system based on eye tracking according to various embodiments of the present invention visually displays the concentration of each participant according to the concentration value, allowing the instructor to intuitively understand the real-time concentration of each participant. You can.
나아가, 본 발명의 다양한 실시 예에 따른 시선추적에 기반한 인지 훈련 방법 및 시스템은, 교수자가 참여자 별 학습에 대한 집중도에 근거하여 참여자 맞춤형 피드백을 제공함으로써, 참여자의 집중도 하락을 방지하고, 참여자의 학습을 효율적으로 지원할 수 있다.Furthermore, the cognitive training method and system based on eye tracking according to various embodiments of the present invention prevents a decrease in the participant's concentration and prevents the participant's learning by providing customized feedback to the participant based on the instructor's concentration on learning. can be supported efficiently.
도 1은 본 발명에 따른 시선추적에 기반한 인지 훈련 시스템을 도시한다.1 shows a cognitive training system based on eye tracking according to the present invention.
도 2는 본 발명에 따른 시선추적에 기반한 인지 훈련 시스템에 대한 개념도다.Figure 2 is a conceptual diagram of a cognitive training system based on eye tracking according to the present invention.
도 3은 본 발병에 따른 인지 훈련 시스템에 저장된 데이터베이스에 대한 개념도다.Figure 3 is a conceptual diagram of the database stored in the cognitive training system according to this outbreak.
도 4는 본 발명에 따른 시선추적에 기반한 인지 훈련 방법을 나타내는 흐름도다.Figure 4 is a flowchart showing a cognitive training method based on eye tracking according to the present invention.
도 5는 본 발명에 따른 교수자 단말을 통해 표시되는 콘텐츠 설계 화면을 도시한다.Figure 5 shows a content design screen displayed through an instructor terminal according to the present invention.
도 6은 본 발명의 따른 참여자 단말을 통해 표시되는 콘텐츠를 도시한다.Figure 6 shows content displayed through a participant terminal according to the present invention.
도 7a는 본 발명에 따른 참여자의 가상 공간에 대한 시선추적에 따른 모니터링 결과를 도시한다.Figure 7a shows the monitoring results according to eye tracking of a participant's virtual space according to the present invention.
도 7b는 본 발명에 따른 시선추적에 기반하여 참여자의 집중도를 산출하는 방법을 나타내는 흐름도다.Figure 7b is a flowchart showing a method of calculating the concentration of a participant based on eye tracking according to the present invention.
도 8은 본 발명에 따른 교수자 단말을 통해 표시되는 그래픽 객체를 도시한다.Figure 8 shows a graphic object displayed through an instructor terminal according to the present invention.
도 9a 및 도 9b는 본 발명에 따른 참여자와 관련된 정보가 교수자 단말을 통해 표시되는 구성을 도시한다.Figures 9a and 9b illustrate a configuration in which information related to participants according to the present invention is displayed through an instructor terminal.
도 10a 및 도 10b는 본 발명에 따른 교수자의 입력에 근거하여, 참여자에게 집중 향상을 위한 콘텐츠를 제공하는 구성을 도시한다.Figures 10a and 10b illustrate a configuration for providing content to improve concentration to participants based on an instructor's input according to the present invention.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소에는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Hereinafter, embodiments disclosed in the present specification will be described in detail with reference to the accompanying drawings. However, identical or similar components will be assigned the same reference numbers regardless of drawing symbols, and duplicate descriptions thereof will be omitted. The suffixes “module” and “part” for components used in the following description are given or used interchangeably only for the ease of preparing the specification, and do not have distinct meanings or roles in themselves. Additionally, in describing the embodiments disclosed in this specification, if it is determined that detailed descriptions of related known technologies may obscure the gist of the embodiments disclosed in this specification, the detailed descriptions will be omitted. In addition, the attached drawings are only for easy understanding of the embodiments disclosed in this specification, and the technical idea disclosed in this specification is not limited by the attached drawings, and all changes included in the spirit and technical scope of the present invention are not limited. , should be understood to include equivalents or substitutes.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Terms containing ordinal numbers, such as first, second, etc., may be used to describe various components, but the components are not limited by the terms. The above terms are used only for the purpose of distinguishing one component from another.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.When a component is said to be "connected" or "connected" to another component, it is understood that it may be directly connected to or connected to the other component, but that other components may exist in between. It should be. On the other hand, when it is mentioned that a component is “directly connected” or “directly connected” to another component, it should be understood that there are no other components in between.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.Singular expressions include plural expressions unless the context clearly dictates otherwise.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In this application, terms such as “comprise” or “have” are intended to designate the presence of features, numbers, steps, operations, components, parts, or combinations thereof described in the specification, but are not intended to indicate the presence of one or more other features. It should be understood that this does not exclude in advance the possibility of the existence or addition of elements, numbers, steps, operations, components, parts, or combinations thereof.
도 1은 본 발명에 따른 시선추적에 기반한 인지 훈련 시스템을 도시한다. 도 2는 본 발명에 따른 시선추적에 기반한 인지 훈련 시스템에 대한 개념도다. 도 3은 본 발병에 따른 인지 훈련 시스템에 저장된 데이터베이스에 대한 개념도다.1 shows a cognitive training system based on eye tracking according to the present invention. Figure 2 is a conceptual diagram of a cognitive training system based on eye tracking according to the present invention. Figure 3 is a conceptual diagram of the database stored in the cognitive training system according to this outbreak.
도 1 및 도 2를 함께 참조하면, 본 발명에 따른 시선추적에 기반한 인지 훈련 시스템(100)(이하, 인지 훈련 시스템(100))은 학습과 관련된 콘텐츠(210)를 참여자 단말(110)로 제공하고, 참여자 단말(110)을 통해 획득한 정보(220)(예를 들면, 시선추적 데이터)를 포함하는 그래픽 객체(240)를 교수자 단말(120)로 제공할 수 있다.Referring to FIGS. 1 and 2 together, the cognitive training system 100 (hereinafter referred to as the cognitive training system 100) based on eye tracking according to the present invention provides content 210 related to learning to the participant terminal 110. And, a graphic object 240 including information 220 (eg, eye tracking data) acquired through the participant terminal 110 may be provided to the instructor terminal 120.
이 때, 참여자 단말(110) 및 교수자 단말(120)은 다양한 형태의 전자 장치로 참조될 수 있다. 예를 들어, 참여자 단말(110) 및 교수자 단말(120)은 스마트폰, 태블릿 PC, 전자책 리더기, 데스크탑 PC, 랩탑 PC, 가전 장치, 또는 웨어러블(wearable) 장치 중 적어도 하나로 참조될 수 있다.At this time, the participant terminal 110 and the instructor terminal 120 may be referred to as various types of electronic devices. For example, the participant terminal 110 and the instructor terminal 120 may be referred to as at least one of a smartphone, tablet PC, e-book reader, desktop PC, laptop PC, home appliance device, or wearable device.
다만, 참여자 단말(110) 및 교수자 단말(120)은 상술한 예시에 한정되는 것은 아니며, 사용자에게 가상 공간(또는 가상 현실) 서비스를 제공할 수 있는 장치이면 족한 것으로 이해될 수 있다. 아래에서는 설명의 편의를 위해서 참여자 단말(110) 및 교수자 단말(120)은 헤드 마운트 디스플레이(HMD, head mount display)(이하, HMD)로 참조하여 설명한다.However, the participant terminal 110 and the instructor terminal 120 are not limited to the above-mentioned examples, and any device that can provide a virtual space (or virtual reality) service to a user may be sufficient. Below, for convenience of explanation, the participant terminal 110 and the instructor terminal 120 will be described with reference to a head mount display (HMD) (hereinafter, HMD).
교수자는 교수자 단말(120)을 통해 인지 훈련 시스템(100)에 접속(또는, 연결)할 수 있다. 또한, 복수의 참여자들은 각각의 참여자 단말(110-1, 110-2, 110-3, 110-4)을 통해 동시에 인지 훈련 시스템(100)에 접속(또는, 연결)할 수 있다.The instructor may access (or be connected to) the cognitive training system 100 through the instructor terminal 120. Additionally, a plurality of participants may access (or be connected to) the cognitive training system 100 at the same time through each participant terminal (110-1, 110-2, 110-3, 110-4).
한편, 본 발명에 따른 인지 훈련 시스템(100)은 통신부(150), 저장부(130), 입력부(미도시) 및 제어부(140) 중 적어도 하나를 포함할 수 있다.Meanwhile, the cognitive training system 100 according to the present invention may include at least one of a communication unit 150, a storage unit 130, an input unit (not shown), and a control unit 140.
한편, 본 발명에 따른 인지 훈련 시스템(100)은 애플리케이션 또는 소프트웨어로 구현될 수 있다. 이와 같이 애플리케이션으로 구현되는 인지 훈련 시스템(100)은 전자 기기 상에 애플리케이션을 다운받을 수 있는 프로그램(예를 들면, 플레이스토어, 앱스토어)을 통해 다운로드 되거나, 전자 기기 상에 초기 설치 프로그램을 통해 구현될 수 있다. 이 경우, 본 발명에 따른 통신부(150), 저장부(130), 입력부 및 제어부(140)는 전자 기기의 구성 요소로 활용될 수 있다.Meanwhile, the cognitive training system 100 according to the present invention may be implemented as an application or software. The cognitive training system 100 implemented as an application in this way is downloaded through a program that can download applications on an electronic device (e.g., Play Store, App Store), or is implemented through an initial installation program on an electronic device. It can be. In this case, the communication unit 150, storage unit 130, input unit, and control unit 140 according to the present invention can be used as components of an electronic device.
또한, 본 발명에 따른 인지 훈련 시스템(100)은 참여자 단말(110) 및 교수자 단말(120)을 통해 접근되는 웹페이지를 통하여 제공될 수 있다.Additionally, the cognitive training system 100 according to the present invention may be provided through a web page accessed through the participant terminal 110 and the instructor terminal 120.
본 발명에 따른, 통신부(150)는 참여자 단말(110) 및 교수자 단말(120) 중 적어도 하나와 유선 또는 무선으로 통신하도록 이루어질 수 있다. 통신부(150)는 유선 또는 무선 통신을 이용하여 교수자 단말(120)로부터 수신한 콘텐츠(210)를 참여자 단말(110)로 전송하거나, 참여자 단말(110)로부터 획득한 정보를 교수자 단말(120)로 전송할 수 있다.According to the present invention, the communication unit 150 may communicate with at least one of the participant terminal 110 and the instructor terminal 120 by wire or wirelessly. The communication unit 150 transmits the content 210 received from the instructor terminal 120 to the participant terminal 110 using wired or wireless communication, or transmits information obtained from the participant terminal 110 to the instructor terminal 120. Can be transmitted.
이 때, 통신부(150)는 통신하는 참여자 단말(110) 및 교수자 단말(120) 중 적어도 하나의 통신 규격에 따라 다양한 통신 방식을 지원할 수 있다.At this time, the communication unit 150 may support various communication methods according to the communication standard of at least one of the communicating participant terminal 110 and the instructor terminal 120.
예를 들어, 통신부(150)는, WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), WiBro(Wireless Broadband), WiMAX(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced), 5G(5th Generation Mobile Telecommunication ), 블루투스(Bluetooth™RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra-Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 참여자 단말(110) 및 교수자 단말(120) 중 적어도 하나와 통신하도록 구성될 수 있다.For example, the communication unit 150 supports wireless LAN (WLAN), wireless-fidelity (Wi-Fi), wireless fidelity (Wi-Fi) Direct, digital living network alliance (DLNA), wireless broadband (WiBro), and WiMAX ( World Interoperability for Microwave Access), HSDPA (High Speed Downlink Packet Access), HSUPA (High Speed Uplink Packet Access), LTE (Long Term Evolution), LTE-A (Long Term Evolution-Advanced), 5G (5th Generation Mobile Telecommunication) , Bluetooth™ RFID (Radio Frequency Identification), Infrared Data Association (IrDA), UWB (Ultra-Wideband), ZigBee, NFC (Near Field Communication), Wi-Fi Direct, Wireless USB (Wireless Universal Serial Bus) ) may be configured to communicate with at least one of the participant terminal 110 and the instructor terminal 120 using at least one of the technologies.
본 발명에 따른, 저장부(130)는 교수자 단말(120)로부터 획득한 콘텐츠(210)와 관련된 정보를 저장하도록 구성될 수 있다. 또한, 저장부(130)는 참여자 단말(110)로부터 획득한 사용자 정보 및 모니터링 데이터(예를 들면, 시선 추적 데이터)를 저장하도록 구성될 수 있다.According to the present invention, the storage unit 130 may be configured to store information related to the content 210 acquired from the instructor terminal 120. Additionally, the storage unit 130 may be configured to store user information and monitoring data (eg, eye tracking data) obtained from the participant terminal 110.
일 실시 예에 따른 저장부(130)는 인지 훈련 시스템(100) 자체에 구비될 수 있다. 다른 실시 예에 따르면, 저장부(130)의 적어도 일부는, 외부 서버의 클라우드 서버 및 데이터베이스 중 적어도 하나로 참조될 수 있다. 즉, 저장부(130)는 일 실시 예에 따른 인지 훈련과 관련된 정보가 저장되는 공간으로 참조되며, 물리적인 공간에 대한 제약은 없는 것으로 이해될 수 있다.The storage unit 130 according to one embodiment may be provided in the cognitive training system 100 itself. According to another embodiment, at least a portion of the storage unit 130 may be referred to at least one of a cloud server and a database of an external server. In other words, the storage unit 130 is referred to as a space where information related to cognitive training according to an embodiment is stored, and can be understood as having no restrictions on physical space.
이 때, 도 3에 도시된 것과 같이, 인지 훈련 정보(301)는, i) 콘텐츠 정보(310), 및 ii) 사용자 정보(320)를 포함할 수 있다.At this time, as shown in FIG. 3, the cognitive training information 301 may include i) content information 310, and ii) user information 320.
보다 구체적으로, 콘텐츠 정보(310)는 콘텐츠에 포함되는 i) 목표 자극 위치(311), ii) 방해 자극 위치(312) 및 iii) 콘텐츠의 내용 정보(313) 중 적어도 하나를 포함할 수 있다.More specifically, the content information 310 may include at least one of i) target stimulus location 311, ii) interference stimulus location 312, and iii) content information 313 included in the content.
또한, 사용자 정보(320)는 i) 참여자 계정 정보(321), ii) 참여자 시선 데이터(322), iii) 참여자 집중도 데이터(323) 및 iv) 참여자 학습 데이터(324) 중 적어도 하나를 포함할 수 있다.Additionally, the user information 320 may include at least one of i) participant account information 321, ii) participant gaze data 322, iii) participant concentration data 323, and iv) participant learning data 324. there is.
다만, 저장부(130)에 저장되는 인지 훈련 정보(301)는 상술한 예시에 한정되는 것은 아니며, 참여자가 인지 훈련을 진행하는 과정에서 생성 또는 변형되는 다양한 정보로 참조될 수 있다.However, the cognitive training information 301 stored in the storage unit 130 is not limited to the above-mentioned example, and may be referred to as various information that is created or transformed during the participant's cognitive training.
본 발명에 따른 입력부(미도시)는 관리자로부터 입력되는 정보의 입력을 위한 것으로서, 입력부는 관리자와 인지 훈련 시스템(100) 사이의 매개체가 될 수 있다. 보다 구체적으로, 입력부는 관리자로부터 인지 훈련과 관련된 인지 훈련 정보(301) 중 적어도 일부를 수신하는 입력 수단을 의미할 수 있다. The input unit (not shown) according to the present invention is for inputting information from the manager, and the input unit can be a medium between the manager and the cognitive training system 100. More specifically, the input unit may mean an input means for receiving at least some of the cognitive training information 301 related to cognitive training from the manager.
이때, 입력부는 다양한 종류의 입력 부재로 참조될 수 있다. 일 실시 예에 따른 입력부는 기계식 (mechanical) 입력수단(또는, 메커니컬 키, 예를 들어, 마우스(mouse), 조이스틱(joy stick), 물리적인 버튼, 돔 스위치 (dome switch), 조그 휠, 조그 스위치 등) 및 터치식 입력수단 중 적어도 하나로 참조될 수 있다. 다른 실시 예에 따른, 터치식 입력수단은, 소프트웨어적인 처리를 통해 터치스크린에 표시되는 가상 키(virtual key), 소프트 키(soft key) 또는 비주얼 키(visual key)로 참조되거나, 상기 터치스크린 이외의 부분에 배치되는 터치 키(touch key)로 참조될 수 있다. 한편, 상기 가상키 또는 비주얼 키는, 다양한 형태를 가지면서 터치스크린 상에 표시되는 것이 가능하며, 예를 들어, 그래픽(graphic), 텍스트(text), 아이콘(icon), 비디오(video) 또는 이들의 조합으로 이루어질 수 있다.At this time, the input unit may be referred to as various types of input members. The input unit according to one embodiment is a mechanical input means (or mechanical key, for example, a mouse, a joy stick, a physical button, a dome switch, a jog wheel, a jog switch) etc.) and a touch input means. According to another embodiment, the touch input means is referred to as a virtual key, soft key, or visual key displayed on the touch screen through software processing, or is referred to as a virtual key, soft key, or visual key other than the touch screen. It may be referred to as a touch key placed in the part of . Meanwhile, the virtual key or visual key can be displayed on the touch screen in various forms, for example, graphic, text, icon, video or these. It can be made up of a combination of .
다음으로, 제어부(140)는 인지 훈련 시스템(100)의 전반적인 동작을 제어할 수 있다. 이를 위해, 제어부(140)는 목표 자극 및 방해 자극 설정부(141), 사용자 시선 추적부(142), 사용자 성취도 판단부(143), 화면 처리부(144) 및 사용자 피드백부(145) 중 적어도 하나를 포함할 수 있다.Next, the control unit 140 may control the overall operation of the cognitive training system 100. To this end, the control unit 140 includes at least one of the target stimulus and obstacle stimulus setting unit 141, the user eye tracking unit 142, the user achievement determination unit 143, the screen processing unit 144, and the user feedback unit 145. may include.
일 실시 예에 따르면, 제어부(140)는 입력부를 통해 입력되거나 통신부(150)를 통해 수신되는 인지 훈련 정보(301)와 관련된 데이터를 처리할 수 있다. 또한, 제어부(140)는 참여자 단말(110) 또는 교수자 단말(120)로부터 획득한 데이터를 저장부(130)로 저장할 수 있다.According to one embodiment, the control unit 140 may process data related to the cognitive training information 301 input through the input unit or received through the communication unit 150. Additionally, the control unit 140 may store data acquired from the participant terminal 110 or the instructor terminal 120 in the storage unit 130.
또한, 제어부(140)는, 인지 훈련 정보(301)와 관련된 데이터를 참여자 단말(110) 및/또는 교수자 단말(120)로 전송함으로써, 참여자 단말(110) 및/또는 교수자 단말(120)에 구비된 디스플레이를 통해 콘텐츠와 관련된 정보가 출력되도록 제어를 수행할 수 있다. In addition, the control unit 140 transmits data related to the cognitive training information 301 to the participant terminal 110 and/or the instructor terminal 120, thereby providing the information to the participant terminal 110 and/or the instructor terminal 120. Control can be performed so that information related to content is output through the displayed display.
제어부(140)는 화면 처리부(144)를 통해, 참여자 단말(110) 및/또는 교수자 단말(120)에 구비된 디스플레이를 통해 표시되는 화면(또는 가상 공간)을 제어할 수 있다.The control unit 140 may control the screen (or virtual space) displayed through the display provided on the participant terminal 110 and/or the instructor terminal 120 through the screen processing unit 144.
이 때, 참여자 단말(110) 및/또는 교수자 단말(120)에 구비된 디스플레이의 종류에는 제한이 없다.At this time, there is no limitation on the type of display provided on the participant terminal 110 and/or the instructor terminal 120.
따라서, 아래에서는 설명의 편의를 위하여, 인지 훈련 시스템(100)의 동작은 제어부(140)에 의해서 제어되는 것으로 설명한다.Therefore, for convenience of explanation, the operation of the cognitive training system 100 will be described below as being controlled by the control unit 140.
이상에서 살펴본 인지 훈련 시스템(100)의 구성에 근거하여, 아래에서는 학습과 관련된 콘텐츠(210)를 참여자 단말(110)로 제공하고, 참여자 단말(110)을 통해 획득한 정보(220)를 포함하는 그래픽 객체(240)를 교수자 단말(120)로 제공하는 방법에 대해 보다 구체적으로 설명하도록 한다.Based on the configuration of the cognitive training system 100 discussed above, below, content 210 related to learning is provided to the participant terminal 110, and information 220 acquired through the participant terminal 110 is provided. The method of providing the graphic object 240 to the instructor terminal 120 will be described in more detail.
도 4는 본 발명에 따른 시선추적에 기반한 인지 훈련 방법을 나타내는 흐름도다. 도 5는 본 발명에 따른 교수자 단말을 통해 표시되는 콘텐츠 설계 화면을 도시한다. 도 6은 본 발명의 따른 참여자 단말을 통해 표시되는 콘텐츠를 도시한다. 도 7a는 본 발명에 따른 참여자의 가상 공간에 대한 시선추적에 따른 모니터링 결과를 도시한다. 도 7b는 본 발명에 따른 시선추적에 기반하여 참여자의 집중도를 산출하는 방법을 나타내는 흐름도다. 도 8은 본 발명에 따른 교수자 단말을 통해 표시되는 그래픽 객체를 도시한다. 도 9a 및 도 9b는 본 발명에 따른 참여자와 관련된 정보가 교수자 단말을 통해 표시되는 구성을 도시한다. 도 10a 및 도 10b는 본 발명에 따른 교수자의 입력에 근거하여, 참여자에게 집중 향상을 위한 콘텐츠를 제공하는 구성을 도시한다.Figure 4 is a flowchart showing a cognitive training method based on eye tracking according to the present invention. Figure 5 shows a content design screen displayed through an instructor terminal according to the present invention. Figure 6 shows content displayed through a participant terminal according to the present invention. Figure 7a shows the monitoring results according to eye tracking of a participant's virtual space according to the present invention. Figure 7b is a flowchart showing a method of calculating the concentration of a participant based on eye tracking according to the present invention. Figure 8 shows a graphic object displayed through an instructor terminal according to the present invention. Figures 9a and 9b illustrate a configuration in which information related to participants according to the present invention is displayed through an instructor terminal. Figures 10a and 10b illustrate a configuration for providing content to improve concentration to participants based on an instructor's input according to the present invention.
본 발명에 따른 제어부(140)는 목표 자극 및 방해 자극 설정부(141)를 제어함으로써, 콘텐츠에 포함되는 목표 자극(501) 및 방해 자극(502)의 위치를 설정할 수 있다.The control unit 140 according to the present invention can set the positions of the target stimulus 501 and the interference stimulus 502 included in the content by controlling the target stimulus and interference stimulus setting unit 141.
도 5에 도시된 것과 같이, 제어부(140)는 교수자 단말(120)을 통해, 시선추적에 기반한 인지 훈련 콘텐츠를 설계하기 위한 인터페이스(500)를 제공할 수 있다.As shown in FIG. 5, the control unit 140 may provide an interface 500 for designing cognitive training content based on eye tracking through the instructor terminal 120.
보다 구체적으로, 제어부(140)는 복수의 콘텐츠 목록(510) 중 하나의 콘텐츠에 대한 설계를 통해 참여자 단말(110)로 제공될 콘텐츠를 생성하기 위한 인터페이스(500)를 교수자 단말(120)을 통해 제공할 수 있다.More specifically, the control unit 140 provides an interface 500 for creating content to be provided to the participant terminal 110 through the instructor terminal 120 by designing one content among the plurality of content lists 510. can be provided.
우선, 제어부(140)는 복수의 콘텐츠 목록(510) 중 제1 훈련 프로그램(511)에 대한 교수자의 입력에 응답하여, 선택된 제1 훈련 프로그램(511)에 대응되는 화면(520)을 인터페이스(500)를 통해 표시할 수 있다.First, in response to the instructor's input for the first training program 511 among the plurality of content lists 510, the control unit 140 displays the screen 520 corresponding to the selected first training program 511 through the interface 500. ) can be displayed through.
나아가, 제어부(140)는 목표 자극 및 방해 자극 설정부(141)를 제어함으로써, 목표 자극(501)과 대응되는 제1 객체(531) 및 방해 자극(501)과 대응되는 제2 객체(532a, 532b, 532c) 중 적어도 일부를, 제1 훈련 프로그램(511)에 대응되는 화면(520) 상에 배치할 수 있다.Furthermore, the control unit 140 controls the target stimulus and interference stimulus setting unit 141 to create a first object 531 corresponding to the target stimulus 501 and a second object 532a corresponding to the interference stimulus 501. At least a portion of 532b and 532c may be placed on the screen 520 corresponding to the first training program 511.
예를 들어, 제어부(140)는 교수자의 가상 공간을 통한 드래그 입력에 근거하여, 목표 자극과 대응되는 제1 객체(531) 및 방해 자극과 대응되는 제2 객체(532) 중 적어도 일부를 제1 훈련 프로그램(511)에 대응되는 화면(520) 상에 배치할 수 있다.For example, based on the instructor's drag input through the virtual space, the control unit 140 selects at least some of the first object 531 corresponding to the target stimulus and the second object 532 corresponding to the distracting stimulus to the first object 532. It can be placed on the screen 520 corresponding to the training program 511.
다른 예를 들어, 제어부(140)는, 제1 훈련 프로그램(511)에 대응되는 화면(520)으로부터 기 설정된 객체가 식별되는 것에 응답하여, 식별된 객체가 배치된 지점에 제1 객체(531) 또는 제2 객체(532) 중 적어도 일부를 배치할 수 있다.For another example, in response to a preset object being identified from the screen 520 corresponding to the first training program 511, the control unit 140 displays the first object 531 at the point where the identified object is placed. Alternatively, at least some of the second objects 532 may be arranged.
나아가, 제어부(1400는 제1 객체(531)가 배치된 위치를 목표 자극(501)의 위치로 설정하고, 제2 객체(532)가 배치된 위치를 방해 자극(502)을 위치로 설정할 수 있다.Furthermore, the control unit 1400 may set the position where the first object 531 is placed as the position of the target stimulus 501, and set the position where the second object 532 is placed as the position of the interference stimulus 502. .
즉, 제어부(140)는 목표 자극 및 방해 자극 설정부(141)를 제어함으로써, 제1 객체(531) 및 제2 객체(532)의 배치 위치에 근거하여, 목표 자극(501) 및 방해 자극(502)의 위치를 설정할 수 있다.That is, the control unit 140 controls the target stimulus and obstruction stimulus setting unit 141 to set the target stimulus 501 and the obstruction stimulus ( 502) can be set.
상술한 구성을 통해, 본 발명에 따른 제어부(140)는 교수자 단말(120)을 통해 상술한 인터페이스(500)를 제공함으로써, 교수자가 참여자 단말(110)로 제공될 콘텐츠를 설계하도록 할 수 있다.Through the above-described configuration, the control unit 140 according to the present invention provides the above-described interface 500 through the instructor terminal 120, allowing the instructor to design content to be provided to the participant terminal 110.
나아가, 인터페이스(500)는 복수의 참여자 목록을 포함하는 그래픽 객체(540)를 포함할 수 있다. 본 발명에 따른 제어부(140)는 복수의 참여자 목록을 포함하는 그래픽 객체(540)를 통해, 각 참여자의 학습 상황과 관련된 정보를 제공할 수 있다. 단, 이에 대한 구체적인 설명은 아래에서 후술한다.Furthermore, the interface 500 may include a graphic object 540 including a plurality of participant lists. The control unit 140 according to the present invention can provide information related to the learning situation of each participant through a graphic object 540 including a plurality of participant lists. However, a detailed explanation of this is provided below.
본 발명에 따른 제어부(140)는 목표 자극(501) 및 방해 자극(502)을 포함하는 콘텐츠(620)를 복수의 참여자 각각의 가상 공간에 제공할 수 있다(S401).The control unit 140 according to the present invention may provide content 620 including the target stimulus 501 and the distracting stimulus 502 to the virtual space of each of the plurality of participants (S401).
보다 구체적으로, 도 6에 도시된 것과 같이, 제어부(140)는 목표 자극(501)과 대응되는 제1 객체(531) 및 방해 자극(502)과 대응되는 제2 객체(532)를 포함하는 콘텐츠(620)를 복수의 참여자 각각의 참여자 단말(110-1, 110-2, 110-3, 110-4)을 통해 제공할 수 있다.More specifically, as shown in FIG. 6, the control unit 140 controls content including a first object 531 corresponding to the target stimulus 501 and a second object 532 corresponding to the interference stimulus 502. (620) can be provided through each participant terminal (110-1, 110-2, 110-3, 110-4) of a plurality of participants.
제어부(140)는 화면 처리부(144)를 이용하여, 목표 자극(501) 및 방해 자극(502)을 포함하는 콘텐츠(620)가 참여자 단말(110)을 통해 참여자(611)의 가상 공간에 출력되도록 제어할 수 있다.The control unit 140 uses the screen processing unit 144 to output the content 620 including the target stimulus 501 and the distracting stimulus 502 to the virtual space of the participant 611 through the participant terminal 110. You can control it.
이 때, 예를 들어, 참여자의 가상 공간에 제공되는 콘텐츠(620)는 학습을 진행하기 위한 교실, 독서실, 책상, 칠판, 또는 회의실 등의 배경(또는 화면)을 포함할 수 있으나, 이에 한정되는 것은 아니다.At this time, for example, the content 620 provided in the participant's virtual space may include a background (or screen) such as a classroom, reading room, desk, blackboard, or conference room for learning, but is limited thereto. That is not the case.
또한, 제어부(140)는 제1 객체(531), 제2-1 객체(532a), 제2-2 객체(532b), 및 제2-3 객체(532c)가 각각 지정된 위치에 배치된 콘텐츠(620)를 참여자(611)의 참여자 단말(110)을 통해 제공할 수 있다.In addition, the control unit 140 controls the content ( 620) can be provided through the participant terminal 110 of the participant 611.
다만, 다른 실시 예(미도시)에 따르면, 제어부(140)는 제1 객체(531) 및 제2 객체(532)가 참여자 단말(110)을 통해 표시되지 않도록 제어할 수 있다. 즉, 목표 자극(501) 및 방해 자극(502)과 대응되는 위치에 배치되는 제1 객체(531) 또는 제2 객체(532) 중 적어도 일부가 참여자(611)에게 노출되지 않도록, 제1 객체(531) 또는 제2 객체(532) 중 적어도 일부를 제거한 콘텐츠(620)를 참여자 단말(110)을 통해 제공할 수 있다.However, according to another embodiment (not shown), the controller 140 may control the first object 531 and the second object 532 not to be displayed through the participant terminal 110. That is, the first object ( Content 620 with at least part of 531 or the second object 532 removed may be provided through the participant terminal 110.
이를 통해, 본 발명에 따른 복수의 참여자 각각은 참여자 단말(110)을 통해 제공된 콘텐츠(620)를 이용하여, 학습을 수행할 수 있다. 예를 들어, 참여자(611)는 제1 참여자 단말(110-1)을 통해 제공된 콘텐츠(620)에 포함된 내용을 암기하거나, 문제를 풀거나, 혹은 강의를 수강함으로써, 콘텐츠(620)를 통한 학습을 수행할 수 있다.Through this, each of the plurality of participants according to the present invention can perform learning using the content 620 provided through the participant terminal 110. For example, the participant 611 memorizes the content included in the content 620 provided through the first participant terminal 110-1, solves a problem, or takes a lecture, and thus participates in the content 620. Learning can be done.
상술한 구성에 따라, 본 발명에 따른 인지 훈련 시스템(100)은 참여자 단말(110)을 통해 학습과 관련된 콘텐츠(620)를 제공함으로써, 참여자가 가상 공간에서 제공된 콘텐츠(620)를 통해 학습을 수행하도록 할 수 있다.According to the above-described configuration, the cognitive training system 100 according to the present invention provides learning-related content 620 through the participant terminal 110, so that the participant performs learning through the content 620 provided in the virtual space. You can do it.
나아가, 본 발명에 따른 제어부(140)는 시선추적 방법에 기반하여, 목표 자극(501) 및 방해 자극(502)에 대한 복수의 참여자 각각의 시선을 모니터링 할 수 있다(S403).Furthermore, the control unit 140 according to the present invention can monitor the gaze of each of the plurality of participants toward the target stimulus 501 and the distracting stimulus 502 based on the eye tracking method (S403).
도 7a에 도시된 것과 같이, 본 발명에 따른 제어부(140)는 사용자 시선 추적부(142)를 이용하여 목표 자극(501) 및 방해 자극(502)을 포함하는 콘텐츠(620)에 대한 복수의 참여자 각각의 시선을 추적하여 시선 데이터(770)(예를 들면, 도 3의 참여자 시선 데이터(322))를 획득할 수 있다.As shown in FIG. 7A, the control unit 140 according to the present invention uses the user eye tracking unit 142 to track a plurality of participants for content 620 including the target stimulus 501 and the distracting stimulus 502. Gaze data 770 (eg, participant gaze data 322 in FIG. 3) can be obtained by tracking each gaze.
보다 구체적으로, 본 발명에 따른 제어부(140)는 참여자의 가상 공간에서 참여자(611)의 시선을 추적하여 모니터링 함으로써 시선 데이터(770)를 획득하고, 획득한 시선 데이터(770)를 콘텐츠(620) 상에 표시할 수 있다.More specifically, the control unit 140 according to the present invention acquires gaze data 770 by tracking and monitoring the gaze of the participant 611 in the participant's virtual space, and uses the acquired gaze data 770 as content 620. It can be displayed on the table.
다만, 다른 실시 예(미도시)에 따르면, 제어부(140)는 시선에 대한 모니터링 결과로 획득한 시선 데이터(770)를 콘텐츠(620) 상에 표시하지 않고, 저장부(130)에 저장할 수 있다.However, according to another embodiment (not shown), the control unit 140 may store the gaze data 770 obtained as a result of gaze monitoring in the storage unit 130 without displaying it on the content 620. .
나아가, 제어부(140)는 사용자 시선 추적부(142)를 통해 참여자 가상 공간에서 참여자(611)의 시선을 추적하여 모니터링 함으로써, 시선의 이동, 시선이 고정되는 위치 또는 고정되는 시간을 포함하는 시선 데이터(770)를 획득하고, 시선의 위치와 목표 자극(501) 및 방해 자극(502)의 위치 간의 비교를 수행할 수 있다.Furthermore, the control unit 140 tracks and monitors the gaze of the participant 611 in the participant virtual space through the user gaze tracking unit 142, thereby providing gaze data including the movement of the gaze, the position at which the gaze is fixed, or the time at which the gaze is fixed. 770 may be obtained, and a comparison may be performed between the gaze position and the positions of the target stimulus 501 and the distracting stimulus 502.
이를 통해, 본 발명에 따른 제어부(140)는 모니터링 결과에 기반하여, 콘텐츠(620)에 대한 집중도를 복수의 참여자 별로 산출할 수 있다(S405).Through this, the control unit 140 according to the present invention can calculate the degree of concentration on the content 620 for each of the plurality of participants based on the monitoring results (S405).
보다 구체적으로, 본 발명에 따른 제어부(140)는 참여자의 시선 추적 결과에 기반하여, 사용자 성취도 판단부(143)를 제어함으로써, 콘텐츠(620)에 대한 참여자의 집중도를 산출할 수 있다.More specifically, the control unit 140 according to the present invention can calculate the participant's degree of concentration on the content 620 by controlling the user achievement determination unit 143 based on the participant's eye tracking results.
예를 들어, 제어부(140)는 참여자의 시선에 대한 모니터링 결과로써 획득한 시선 데이터(770)를 사용자 성취도 판단부(143)에 입력함으로써, 콘텐츠(620)에 대한 참여자의 집중도를 산출할 수 있다.For example, the control unit 140 inputs the gaze data 770 obtained as a result of monitoring the participant's gaze to the user achievement determination unit 143, thereby calculating the participant's degree of concentration on the content 620. .
아래에서는 참여자의 시선에 대한 모니터링 결과에 기반하여, 참여자의 집중도를 산출하는 방법에 대해 보다 구체적으로 설명한다.Below, we will explain in more detail how to calculate the participant's concentration level based on the monitoring results of the participant's gaze.
도 7b에 도시된 것과 같이, 제어부(140)는 참여자의 시선이 고정된 경우, 시선과 관련된 파라미터를 획득하고, 획득한 파라미터에 기반하여 참여자(611)의 콘텐츠(620)에 대한 집중도를 산출할 수 있다.As shown in FIG. 7B, when the participant's gaze is fixed, the control unit 140 obtains parameters related to the gaze and calculates the concentration of the participant 611 on the content 620 based on the obtained parameters. You can.
우선, 제어부(140)는 참여자(611)의 시선의 위치를 파악할 수 있다(S701).First, the control unit 140 can determine the position of the gaze of the participant 611 (S701).
보다 구체적으로, 제어부(140)는, 참여자 단말(110)을 통해 획득한 참여자(611)의 안구(또는, 홍채)의 움직임, 깜빡임 횟수, 및 동공 확장 정도 중 적어도 일부에 근거하여, 참여자(611)가 콘텐츠(620) 상에서 주시하는 지점에 대한 데이터를 획득할 수 있다.More specifically, the control unit 140 controls the participant 611 based on at least some of the eye (or iris) movement, the number of blinks, and the degree of pupil dilation of the participant 611 obtained through the participant terminal 110. ) can obtain data about the point they are looking at on the content 620.
예를 들어, 제어부(140)는 참여자 단말(110)을 통해 참여자(611)의 안구(또는, 홍채)의 움직임을 획득하고, 획득한 안구의 움직임에 근거하여, 참여자(611)가 콘텐츠(620) 상에서 주시하는 일 지점의 위치를 식별할 수 있다.For example, the control unit 140 acquires the movement of the eye (or iris) of the participant 611 through the participant terminal 110, and based on the acquired eye movement, the participant 611 displays the content 620. ) You can identify the location of a point you are watching on the image.
나아가, 제어부(140)는 참여자 단말(110)을 통해 참여자(611)의 안구의 움직임 및 깜빡임 횟수를 획득하고, 획득한 정보에 근거하여, 참여자(611)가 콘텐츠(620) 상에서 주시하는 일 지점의 위치 및 주시 시간을 식별할 수 있다.Furthermore, the control unit 140 acquires the eye movements and blinking times of the participant 611 through the participant terminal 110, and based on the obtained information, the point at which the participant 611 is looking at the content 620 The location and gaze time can be identified.
나아가, 제어부(140)는 파악된 참여자(611)의 시선의 위치가 고정되었는지 여부를 판단할 수 있다(S703).Furthermore, the control unit 140 may determine whether the gaze position of the identified participant 611 is fixed (S703).
보다 구체적으로, 제어부(140)는 참여자 단말(110)을 통해 참여자(611)의 안구의 움직임, 동공 확장 정도, 및 깜빡임 횟수 중 적어도 일부를 획득하고, 획득한 정보에 근거하여, 참여자(611)가 콘텐츠(620) 상에서 일 지점에 대해 기 설정된 시간 이상 주시하고 있는지 여부를 판단할 수 있다.More specifically, the control unit 140 acquires at least some of the eye movement, degree of pupil dilation, and number of blinks of the participant 611 through the participant terminal 110, and based on the obtained information, the participant 611 It can be determined whether the user is looking at a point on the content 620 for more than a preset time.
예를 들어, 제어부(140)는 참여자(611)가 콘텐츠(620) 상에서 일 지점에 대해 기 설정된 시간 이상 주시하고 있는 것으로 판단된 경우, 참여자(611)의 시선이 해당 지점에 고정된 것으로 판단할 수 있다.For example, when the control unit 140 determines that the participant 611 is looking at a point on the content 620 for more than a preset time, the control unit 140 determines that the gaze of the participant 611 is fixed on that point. You can.
참여자(611)가 특정 지점에 대해 주시하지 않음으로 인해, 시선의 위치가 고정되지 않는 경우, 제어부(140)는 다시 단계 S701을 통해, 참여자(611) 시선의 위치를 파악할 수 있다.If the position of the gaze of the participant 611 is not fixed because the participant 611 is not looking at a specific point, the control unit 140 may again determine the position of the gaze of the participant 611 through step S701.
참여자(611)의 시선이 콘텐츠(620) 상의 일 지점에 대해 고정된 경우, 제어부(140)는 시선과 관련된 적어도 하나의 파라미터를 획득할 수 있다(S705).When the gaze of the participant 611 is fixed on a point on the content 620, the control unit 140 may obtain at least one parameter related to the gaze (S705).
보다 구체적으로, 참여자(611)가 콘텐츠(620) 상의 일 지점에 대해 기 설정된 시간 이상 주시하고 있는 경우, 참여자(611)의 시선과 관련된 적어도 하나의 파라미터를 획득할 수 있다.More specifically, when the participant 611 is looking at a point on the content 620 for more than a preset time, at least one parameter related to the gaze of the participant 611 may be obtained.
이 때, 시선과 관련된 적어도 하나의 파라미터는 시선의, i) 잠복기(latency), ii) 이동 거리, iii) 이동 속도, iv) 이동 후 일 지점에 고정된 시간, v) 목표 자극(501)에 대한 정확도(accuracy), 및 vi) 목표 자극(501)과 방해 자극(502)의 시선 고정 비율 중 적어도 하나를 포함할 수 있다.At this time, at least one parameter related to the gaze is: i) latency, ii) movement distance, iii) movement speed, iv) time fixed at a point after movement, v) target stimulus 501 It may include at least one of accuracy, and vi) gaze fixation ratio of the target stimulus 501 and the distractor stimulus 502.
이 때, 시선의 잠복기는 시선이 이동을 시작하는 시간을 의미할 수 있다. 또한, 시선의 목표 자극(501)에 대한 정확도는, 참여자(611)의 시선이 고정되는 지점들 중 목표 자극(501)의 위치를 포함하는 관심 영역에 포함되는 지점의 비율을 의미할 수 있다. 또한, 목표 자극(501)과 방해 자극(502)의 시선 고정 비율은, 참여자(611)의 시선이 방해 자극(502)을 포함하는 영역에 고정되는 시선과 목표 자극(501)의 위치를 포함하는 관심 영역에 고정되는 시선의 비율을 의미할 수 있다.At this time, the latency period of the gaze may mean the time when the gaze begins to move. In addition, the accuracy of gaze with respect to the target stimulus 501 may mean the ratio of points included in the region of interest including the location of the target stimulus 501 among the points on which the gaze of the participant 611 is fixed. In addition, the fixation ratio of the target stimulus 501 and the distracting stimulus 502 includes the gaze of the participant 611 fixed on the area containing the distracting stimulus 502 and the location of the target stimulus 501. It may refer to the ratio of gaze fixed on the area of interest.
다만, 시선과 관련된 파라미터는 상술한 예시에 한정되는 것은 아니며, 참여자의 시선에 대한 모니터링을 통해 획득할 수 있는 데이터로써 다양한 파라미터로 이해될 수 있다.However, parameters related to gaze are not limited to the above-mentioned examples, and can be understood as various parameters as data that can be obtained through monitoring the participant's gaze.
나아가, 본 발명에 따른 제어부(140)는 획득한 적어도 하나의 파라미터에 기반하여, 참여자(611)의 집중도를 산출할 수 있다(S707).Furthermore, the control unit 140 according to the present invention can calculate the concentration of the participant 611 based on at least one obtained parameter (S707).
보다 구체적으로, 제어부(140)는 참여자(611)의 시선이 콘텐츠(620) 상에서 고정되는 위치를, 목표 자극(501) 및 방해 자극(502)의 위치와 비교함으로써, 참여자(611)의 집중도를 산출할 수 있다.More specifically, the control unit 140 adjusts the concentration of the participant 611 by comparing the position where the gaze of the participant 611 is fixed on the content 620 with the positions of the target stimulus 501 and the distracting stimulus 502. It can be calculated.
예를 들어, 제어부(140)는 콘텐츠(620) 상에서 참여자(611)의 시선이 고정되는 위치와 목표 자극(501)의 위치 간의 관련성이 기 설정된 임계 값 미만으로 감소하는 경우, 참여자(611)의 집중도가 저하된 것으로 판단할 수 있다.For example, when the relationship between the position where the gaze of the participant 611 is fixed on the content 620 and the position of the target stimulus 501 decreases below a preset threshold, the control unit 140 controls the It can be judged that concentration has decreased.
다른 예를 들어, 제어부(140)는 기 설정된 시간동안 참여자(611)의 시선 데이터를 누적하여, 참여자의 시선이 고정되는 빈도가 가장 높은 지점과, 목표 자극(501)과의 거리 및 방해 자극(502)과의 거리를 비교함으로써, 참여자(611)의 집중도를 산출할 수 있다.For another example, the control unit 140 accumulates the gaze data of the participant 611 for a preset time, and determines the point where the participant's gaze is most often fixed, the distance from the target stimulus 501, and the interfering stimulus ( By comparing the distance with 502), the concentration of the participant 611 can be calculated.
또 다른 예를 들어, 제어부(140)는 기 설정된 시간 동안 참여자(611) 시선의 이동을 획득하고, 상기 이동에 따라 참여자(611)의 시선이 향하는 방향이 목표 자극(501)으로 향하는 방향인지, 방해 자극(502)으로 향하는 방향인지에 따라 참여자(611)의 콘텐츠(620)에 대한 집중도를 산출할 수 있다.For another example, the control unit 140 acquires the movement of the gaze of the participant 611 for a preset time, and determines whether the direction in which the gaze of the participant 611 is directed according to the movement is toward the target stimulus 501. The participant's (611) degree of concentration on the content (620) can be calculated depending on whether the direction is toward the interfering stimulus (502).
또 다른 예를 들어, 제어부(140)는 시선의 고정 위치와 목표 자극(501) 간의 정확도 및/또는 시선 고정 비율의 평균 및 표준 편차를 산출하고, 산출된 정보에 근거하여, 참여자(611)의 콘텐츠(620)에 대한 집중도를 산출할 수 있다.As another example, the control unit 140 calculates the average and standard deviation of the accuracy and/or gaze fixation ratio between the gaze fixation position and the target stimulus 501, and based on the calculated information, the participant 611 The concentration level for content 620 can be calculated.
한편, 제어부(140)는 참여자 시선의 고정 위치가 변화하는 패턴에 기초하여 참여자(611)의 집중도를 산출할 수 있다.Meanwhile, the control unit 140 may calculate the concentration of the participant 611 based on the pattern of changes in the fixation position of the participant's gaze.
예를 들어, 제어부(140)는 참여자(611)의 시선이 고정되는 위치와 목표 자극(501)의 위치 간의 관련성이 기 설정된 임계 값 이상으로 변화된 제1 시점과, 제1 시점 이후, 최초로 상기의 관련성이 기 설정된 임계 값 미만으로 감소하는 제2 시점을 결정할 수 있다. 또한, 제어부(140)는 제2 시점 이후, 최초로 상기의 관련성이 기 설정된 임계 값 이상으로 증가하는 제3 시점을 결정할 수 있다.For example, the control unit 140 determines the first time point when the relationship between the position where the gaze of the participant 611 is fixed and the position of the target stimulus 501 changes to more than a preset threshold, and for the first time after the first time point, A second point in time at which relevance decreases below a preset threshold may be determined. Additionally, the control unit 140 may determine a third time point at which the relevance increases above a preset threshold value for the first time after the second time point.
이에 따라, 제어부(140)는 제1 시점과 제2 시점 간의 제1 기간과, 제2 시점과 제3 시점 간의 제2 기간을 산출하고, 제1 기간과 제2 기간의 비율에 기초하여 집중도를 산출할 수 있다.Accordingly, the control unit 140 calculates the first period between the first time point and the second time point and the second period between the second time point and the third time point, and determines the concentration based on the ratio of the first period and the second period. It can be calculated.
다른 예를 들어, 제어부(140)는 참여자(611)가 훈련을 지속하는 동안, 상기와 같은 제1 기간 및 제2 기간을 산출하는 과정을 반복할 수 있다. 이때, 제어부(140)는 제1 기간 및 제2 기간 각각이 기 설정된 임계 범위 이내에서 반복되면, 제1 기간 및 제2 기간이 반복되는 주기에 비례하도록 집중도에 대한 보정치를 결정할 수 있다. 이를 통해, 제어부(140)는 참여자(611)의 습관 또는 질환 등에 의해 집중도가 비교적 낮게 산출되는 것을 방지할 수 있다.For another example, the control unit 140 may repeat the process of calculating the first period and the second period as described above while the participant 611 continues training. At this time, if each of the first period and the second period is repeated within a preset threshold range, the control unit 140 may determine a correction value for the concentration so that it is proportional to the cycle in which the first period and the second period are repeated. Through this, the control unit 140 can prevent the concentration level from being calculated to be relatively low due to the participant 611's habits or illness.
또 다른 예를 들어, 제어부(140)는 상기에서 설명한 제1 기간과 제2 기간의 비율에 기초하여 상기의 보정치 값을 증감할 수 있다. 예를 들어, 제어부(140)는 제1 기간이 제2 기간보다 클수록 보정치 값을 증가시키고, 제1 기간이 제2 기간보다 작을수록 보정치 값을 감소시킬 수 있다.As another example, the control unit 140 may increase or decrease the correction value based on the ratio of the first period and the second period described above. For example, the control unit 140 may increase the correction value as the first period is larger than the second period, and may decrease the correction value as the first period is smaller than the second period.
나아가, 제어부(140)는 복수의 참여자들에 대하여 산출된 콘텐츠(620)에 대한 집중도를 기 설정된 기준에 근거하여 복수의 그룹으로 그룹화(grouping)할 수 있다.Furthermore, the control unit 140 may group the concentration of the plurality of participants on the content 620 calculated into a plurality of groups based on a preset standard.
이를 통해, 제어부(140)는 교수자의 가상 공간을 통해, 복수의 참여자 각각에 대한 집중도 정보를 그룹에 따라 시각적으로 구분되도록 표시하는 그래픽 객체를 제공할 수 있다. 단, 이에 대한 구체적인 설명은 후술한다.Through this, the control unit 140 can provide a graphic object that visually displays concentration information for each of the plurality of participants according to the group through the instructor's virtual space. However, a detailed explanation of this will be provided later.
한편, 제어부(140)는 참여자 단말(110)을 통해 참여자(611)의 생체 신호를 획득하고, 획득한 생체 신호에 기반하여 콘텐츠(620)에 포함된 과제(또는, 훈련)에 대한 수행 점수를 산출할 수 있다.Meanwhile, the control unit 140 acquires the biological signals of the participant 611 through the participant terminal 110, and calculates the performance score for the task (or training) included in the content 620 based on the acquired biological signals. It can be calculated.
예를 들어, 제어부(140)는 참여자 단말(110)을 통해 지면 반력, PPG(photoplethysmogram), ECG(electrocardiogram), EEG(electroencephalography), 시선 추적 데이터 중 적어도 일부를 획득하고, 획득한 데이터에 근거하여, 콘텐츠(620)에 포함된 과제에 대한 수행 결과(또는, 수행 점수)를 산출할 수 있다. 또한, 제어부(140)는 상술한 생체 신호에 근거하여, 참여자(611)의 신체 기능 별로 수행 점수를 산출할 수 있다.For example, the control unit 140 acquires at least some of ground reaction force, photoplethysmogram (PPG), electrocardiogram (ECG), electroencephalography (EEG), and eye tracking data through the participant terminal 110, and based on the acquired data, , the performance result (or performance score) for the task included in the content 620 can be calculated. Additionally, the control unit 140 may calculate a performance score for each bodily function of the participant 611, based on the biosignals described above.
이 때, 수행 점수는 콘텐츠(620)에 포함된 과제에 대한 수행 정확도, 수행 횟수, 또는 난이도에 근거하여 산출될 수 있다.At this time, the performance score may be calculated based on the performance accuracy, number of performance, or difficulty of the task included in the content 620.
또한, 제어부(140)는 산출된 수행 점수에 근거하여, 추천하는 과제 난이도, 과제 내용 또는 과제 수행 횟수를 결정하고, 참여자 단말(110)을 통해 표시되는 가상 공간을 통해 참여자(611)에게 제공할 수 있다.In addition, the control unit 140 determines the recommended task difficulty level, task content, or number of task performance times based on the calculated performance score, and provides the information to the participant 611 through a virtual space displayed through the participant terminal 110. You can.
이와 관련하여, 제어부(140)는 집중도 및 수행 점수 각각에 대해 기 설정된 기준에 기반하여, 집중도와 수행 점수를 분석하고, 분석 결과에 기반하여 참여자(611)에게 제공되는 콘텐츠를 전환할 수 있다. 여기에서, 기 설정된 기준은 집중도 및 수행 점수 각각에 대해 서로 다른 임계 값으로 설정될 수 있다.In this regard, the control unit 140 may analyze the concentration and performance scores based on preset standards for each, and change the content provided to the participant 611 based on the analysis results. Here, the preset criteria may be set to different threshold values for each concentration and performance score.
예를 들어, 제어부(140)는 수행 점수가 제1 임계 값 이상이고, 집중도가 임계 값 미만인 경우, 참여자(611)에게 제공된 콘텐츠가 참여자(611)의 수준보다 낮은 것으로 판단하여 과제 난이도를 높일 수 있다.For example, if the performance score is above the first threshold and the concentration is below the threshold, the control unit 140 may determine that the content provided to the participant 611 is lower than the level of the participant 611 and increase the difficulty of the task. there is.
다른 예를 들어, 수행 점수가 제2 임계 값 이상이고, 집중도가 임계 값 미만인 경우, 참여자(611)가 참여자 단말(110)을 이용하는 점에 어려움을 느끼는 것으로 판단하여 참여자 단말(110)에 대한 사용법을 가르쳐주는 콘텐츠를 제공할 수 있다. 이때, 수행 점수에 대해 기 설정된 제2 임계 값은 제1 임계 값 보다 낮게 설정될 수 있다.For another example, when the performance score is above the second threshold and the concentration is below the threshold, it is determined that the participant 611 is having difficulty using the participant terminal 110 and a method of using the participant terminal 110 is determined. We can provide content that teaches. At this time, the second preset threshold value for the performance score may be set lower than the first threshold value.
또 다른 예를 들어, 수행 점수가 제2 임계 값 미만이고, 집중도가 임계 값 이상인 경우, 참여자(611)에게 제공된 콘텐츠가 참여자(611)의 수준보다 높은 것으로 판단하여 과제 난이도를 낮출 수 있다.For another example, if the performance score is less than the second threshold and the concentration is more than the threshold, the content provided to the participant 611 may be determined to be higher than the participant's level and the difficulty of the task may be lowered.
또 다른 예를 들어, 수행 점수가 제2 임계 값 미만이고, 집중도가 임계 값 미만인 경우, 참여자(611)의 집중도가 저하된 것으로 판단하여 주의를 주는 콘텐츠를 제공하거나, 휴식 콘텐츠를 제공할 수 있다.For another example, when the performance score is less than the second threshold and the concentration is less than the threshold, it is determined that the concentration of the participant 611 has decreased, and content that provides attention or relaxation content may be provided. .
상술한 구성을 통해, 본 발명에 따른 인지 훈련 시스템(100)은 참여자의 시선 데이터를 비롯한 생체 신호에 근거하여 참여자의 학습 정도(또는, 과제 수행 정도)를 산출함으로써, 참여자의 학습 정도에 적합한 과제를 포함하는 콘텐츠를 참여자의 가상 공간을 통해 제공할 수 있다.Through the above-described configuration, the cognitive training system 100 according to the present invention calculates the participant's learning degree (or task performance degree) based on the participant's gaze data and other biological signals, thereby providing a task suitable for the participant's learning degree. Content including can be provided through the participant's virtual space.
나아가, 본 발명에 따른 제어부(140)는 교수자의 가상 공간에, 복수의 참여자 별로 구분된 그래픽 객체를 제공하고, 그래픽 객체(240)에 복수의 참여자 각각의 집중도에 대한 정보를 제공할 수 있다(S407).Furthermore, the control unit 140 according to the present invention can provide graphic objects divided by a plurality of participants in the instructor's virtual space and provide information about the concentration of each of the plurality of participants to the graphic object 240 ( S407).
제어부(140)는 복수의 참여자 각각의 집중도(또는, 학습 성취도)에 대한 정보를 그래픽 객체(240)를 통하여 나타낼 수 있다. 즉, 집중도에 따라, 그래픽 객체(240)의 시각적 외관은 다르게 구성될 수 있다. 예를 들어, 제어부(140)는 집중도 등급 또는 학습 성취도 등급에 따라, 서로 다른 색상으로 그래픽 객체(240)를 나타낼 수 있다. 또는, 제어부(140)는 그래픽 객체(240)에 참여자에 대한 집중도 또는 학습 성취도에 대한 정보(예를 들면, 텍스트 정보)를 포함시킬 수 있다.The control unit 140 may display information about the concentration (or learning achievement) of each of the plurality of participants through the graphic object 240. That is, depending on the degree of concentration, the visual appearance of the graphic object 240 may be configured differently. For example, the control unit 140 may display the graphic object 240 in different colors according to the concentration level or learning achievement level. Alternatively, the control unit 140 may include information (eg, text information) about the participant's concentration or learning achievement level in the graphic object 240.
보다 구체적으로, 도 8에 도시된 것과 같이, 본 발명에 따른 제어부(140)는 교수자 단말(120)에 제공되는 교수자의 가상 공간에, 복수의 참여자 별로 산출된 집중도에 따라 시각적으로 구분되는 그래픽 객체(240)를 제공할 수 있다.More specifically, as shown in FIG. 8, the control unit 140 according to the present invention displays graphic objects that are visually distinguished according to the concentration calculated for each plurality of participants in the instructor's virtual space provided on the instructor terminal 120. (240) can be provided.
예를 들어, 제어부(140)는 그래픽 객체(240)를 통해 참여자 2, 참여자 5, 참여자 7, 참여자 9, 참여자 11, 및 참여자 12는 “정상” 등급의 집중도를 갖는 것으로 표시할 수 있다. 이때, 정상 등급은 제1 색상(예를 들면, 초록색)을 갖는 그래픽 객체(240)로 나타내어질 수 있다.For example, the control unit 140 may display participant 2, participant 5, participant 7, participant 9, participant 11, and participant 12 as having “normal” levels of concentration through the graphic object 240. At this time, the normal grade may be represented by a graphic object 240 having a first color (eg, green).
또한, 제어부(140)는 그래픽 객체(240)를 통해 참여자 1, 참여자 6 및 참여자 10은 “부족” 등급의 집중도를 갖고, 참여자 3 및 참여자 8은 “나쁨” 등급의 집중도를 갖는 것으로 표시할 수 있다. 이때, 부족 등급은 제2 색상(예를 들면, 노란색)을 갖는 그래픽 객체(240)로 나타내어지고, 나쁨 등급은 제3 색상(예를 들면, 빨간색)을 갖는 그래픽 객체(240)로 나타내어질 수 있다. 이와 같이, 제어부(140)는 복수의 참여자의 현황을 교수자가 한눈에 파악할 수 있도록, 서로 다른 시각적 외관으로 나타낼 수 있다. 즉, 본 발명에서는 서로 다른 복수의 등급 별로 서로 다른 시각적 특징이 각각 매칭되어 매칭 정보로서 저장부(130)에 저장되어 존재할 수 있다. 그리고, 제어부(140)는 이러한 매칭 정보를 참조한 그래픽 객체(240)를 통해 참여자에 대한 정보를 직관적으로 나타낼 수 있다.In addition, the control unit 140 can display through the graphic object 240 that Participant 1, Participant 6, and Participant 10 have concentration levels of “insufficient”, and Participant 3 and Participant 8 have concentration levels of “poor”. there is. At this time, the insufficient grade may be represented by a graphic object 240 having a second color (e.g., yellow), and the poor grade may be represented by a graphic object 240 having a third color (e.g., red). there is. In this way, the control unit 140 can display the status of multiple participants in different visual appearances so that the instructor can understand them at a glance. That is, in the present invention, different visual features for a plurality of different grades may be matched and stored in the storage unit 130 as matching information. And, the control unit 140 can intuitively display information about the participant through the graphic object 240 that references this matching information.
다만, 제어부(140)가 그래픽 객체(240)를 통해 표시하는 집중도의 등급에 따른 구분 및 구분에 따른 표시 방법은 상술한 예시에 한정되는 것은 아니며, 시선에 대한 모니터링을 통해 획득된 집중도에 관련된 정보를 제공하는 다양한 수단으로 이해될 수 있다.However, the classification according to the level of concentration displayed by the control unit 140 through the graphic object 240 and the display method according to the classification are not limited to the above-mentioned examples, and information related to the concentration obtained through monitoring of gaze It can be understood as a variety of means to provide.
또한, 상기와 같이, 제어부(140)가 교수자 단말(120)에 제공되는 교수자의 가상 공간에, 복수의 참여자에 대한 집중도(또는, 학업 성취도)에 따른 그래픽 객체(240)를 제공하는 것은, 복수의 참여자가 각 참여자에게 제공된 콘텐츠를 이용하는 중에 실시간으로 이루어지거나, 또는, 콘텐츠의 이용이 완료된 후에 이루어질 수 있다. 상술한 구성을 통해, 본 발명에 따른 인지 훈련 시스템(100)은 참여자의 시선 추적에 근거하여, 참여자 별 집중도를 파악하고, 교수자의 가상 공간을 통해 교수자에게 참여자 별 집중도를 표시할 수 있다.In addition, as described above, the control unit 140 provides graphic objects 240 according to the concentration (or academic achievement) of a plurality of participants in the instructor's virtual space provided on the instructor terminal 120. This can be done in real time while the participants are using the content provided to each participant, or it can be done after the use of the content is completed. Through the above-described configuration, the cognitive training system 100 according to the present invention can determine the concentration of each participant based on the participant's eye tracking and display the concentration of each participant to the instructor through the instructor's virtual space.
나아가, 본 발명에 따른 제어부(140)는 복수의 참여자 별로 구분된 그래픽 객체(240) 중 일부에 대한 교수자의 입력에 근거하여, 선택된 참여자에 대하여 획득된 시선 데이터, 집중도 및 선택된 참여자 시점의 화면 중 적어도 일부를 교수자의 가상 공간을 통해 제공할 수 있다.Furthermore, the control unit 140 according to the present invention is based on the instructor's input on some of the graphic objects 240 divided by a plurality of participants, the gaze data obtained for the selected participant, the degree of concentration, and the screen at the selected participant's viewpoint. At least part of it can be provided through the instructor's virtual space.
즉, 참여자의 가상 공간이 교수자의 가상 공간으로서 제공될 수 있다. 이때, 교수자는, 참여자가 학습을 진행하고 있는 실시간 상황에서, 참여자의 가상 공간에 접속(또는 방문)할 수 있다. 이를 위해, 제어부(140)는 교수자의 단말(120)을 참여자의 가상 공간에 접속시킬 수 있으며, 이 경우, 교수자의 단말(120)에는 참여자의 가상 공간이 제공될 수 있다. 이때, 교수자 단말(120)과 참여자의 단말 각각의 가상 공간에는 교수자에 해당하는 아바타가 더 추가될 수 있다.In other words, the participant's virtual space can be provided as the instructor's virtual space. At this time, the instructor can access (or visit) the participant's virtual space in a real-time situation where the participant is learning. To this end, the control unit 140 may connect the instructor's terminal 120 to the participant's virtual space. In this case, the participant's virtual space may be provided to the instructor's terminal 120. At this time, an avatar corresponding to the instructor may be added to each virtual space of the instructor terminal 120 and the participant's terminal.
참여자의 가상 공간에, 교수자가 접속하는 것은, 교수자 또는 참여자 중 적어도 하나의 요청에 의하여 이루어질 수 있다. 교수자는, 교수자 단말을 통해, 앞서 살펴본, 각 참여자에 대응되는 그래픽 객체(240)를 선택하는 것을 통해, 참여자 가상 공간에 접속할 수 있다. 제어부(140)는 교수자 단말로부터 그래픽 객체(240)가 선택되면, 교수자 단말을 참여자의 가상 공간에 접속시키기 위한 일련의 제어를 수행할 수 있다.The instructor's access to the participant's virtual space may be accomplished at the request of at least one of the instructor or the participant. The instructor can access the participant virtual space by selecting the graphic object 240 corresponding to each participant, as seen above, through the instructor terminal. When the graphic object 240 is selected from the instructor terminal, the control unit 140 may perform a series of controls to connect the instructor terminal to the participant's virtual space.
또한, 제어부(140)는 참여자 단말(110)로부터 교수자의 개입을 요청하는 명령이 전달되면, 교수자 단말을 참여자의 가상 공간에 접속(또는 방문)시킬 수 있다.Additionally, when a command requesting the instructor's intervention is transmitted from the participant terminal 110, the control unit 140 may connect the instructor terminal to (or visit) the participant's virtual space.
이를 위해, 참여자 단말(110)은 참여자(611)로부터 교수자의 개입을 요청하는 명령을 입력받을 수 있다. 예를 들어, 교수자의 개입을 요청하는 명령은 물리적 버튼 등 참여자 단말(110)에 마련된 입력 수단에 대한 조작이거나, 별도로 마련된 입력 수단을 통한 입력일 수 있다. 다른 예를 들어, 교수자의 개입을 요청하는 명령은 참여자(611)에게 제공되는 가상 공간 상에서, 미리 설정된 지점으로의 시선 이동에 대응될 수도 있다.To this end, the participant terminal 110 may receive a command requesting the instructor's intervention from the participant 611. For example, a command requesting the instructor's intervention may be a manipulation of an input means provided on the participant terminal 110, such as a physical button, or may be an input through a separately provided input means. For another example, a command requesting the instructor's intervention may correspond to gaze movement to a preset point in the virtual space provided to the participant 611.
한편, 교수자가 참여자의 가상 공간에 접속되는 경우, 교수자 단말에는, 참여자의 가상 공간에 제공되는 콘텐츠에, 교수자 단말이 접속된 참여자의 시선 데이터, 집중도 및 선택된 참여자 시점의 화면 중 적어도 일부를 제공할 수 있다. 나아가, 교수자 단말에는, 참여자의 가상 공간에서, 참여자의 학습 내용이 제공되며, 이를 통해 교수자는, 참여자에 대한 실시간 모니터링이 가능하다.Meanwhile, when the instructor is connected to the participant's virtual space, the instructor terminal may provide at least some of the gaze data, concentration, and screen at the selected participant's viewpoint to the content provided in the participant's virtual space. You can. Furthermore, the participant's learning content is provided to the instructor's terminal in the participant's virtual space, which allows the instructor to monitor the participant in real time.
도 8, 도 9a 및 도 9b를 함께 참조하면, 제어부(140)는 그래픽 객체(240) 중 “참여자 3”에 대한 교수자의 입력에 근거하여, “참여자 3”의 시선 데이터(951, 952), 집중도(901) 및 “참여자 3”시점의 화면(930)을 교수자 단말(120)에 제공되는 교수자의 가상 공간을 통해 제공할 수 있다.Referring to FIGS. 8, 9A, and 9B together, the control unit 140 collects gaze data 951, 952 of “Participant 3” based on the instructor’s input regarding “Participant 3” among the graphic objects 240; The concentration level 901 and the screen 930 from the perspective of “Participant 3” can be provided through the instructor’s virtual space provided on the instructor terminal 120.
도 9a 및 도 9b에 도시된 것과 같이, 본 발명에 따른 제어부(140)는 그래픽 객체(240) 중 일부에 대한 교수자의 입력에 근거하여, 선택된 참여자의 집중도(901) 및 학습 정보(910), 선택된 참여자 시점의 화면(930)을 교수자의 가상 공간에 제공할 수 있다. 이때, 참여자 시점의 화면(930)에는, 참여자의 시선 데이터(951, 952)가 오버랩되어, 교수자의 가상 공간에 제공될 수 있다. 한편, 앞서 설명한 것과 같이, 집중도(901)는 도 8에 도시된 바와 같이, 집중도의 등급에 따라 시각적으로 구분되도록 표시될 수 있다.As shown in FIGS. 9A and 9B, the control unit 140 according to the present invention controls the concentration level 901 and learning information 910 of the selected participant based on the instructor's input for some of the graphic objects 240. The screen 930 from the selected participant's viewpoint can be provided to the instructor's virtual space. At this time, the participant's gaze data 951 and 952 may overlap on the screen 930 from the participant's viewpoint and be provided to the instructor's virtual space. Meanwhile, as described above, the concentration level 901 may be displayed to be visually distinguished according to the level of concentration, as shown in FIG. 8.
예를 들어, 교수자의 가상 공간에 제공되는 참여자 시점의 화면(930)은, 도 9a에 도시된 것과 같이, 참여자의 시선이 머무른 위치 또는 지점에 대한 시선 데이터(951)를 포함할 수 있다. 제어부(140)는 목표 자극 및 방해 자극에 각각 대응되는 그래픽 객체를 포함한 콘텐츠에, 사용자의 시선이 머무른 위치 또는 지점에 대한 그래픽 객체를 오버랩하여, 교수자에게, 참여자의 시선데이터로서 제공할 수 있다. 이를 통해, 제어부(140)는 참여자가 어느 자극에 관심을 기울이고, 방해를 받았는지를 직관적으로 인지할 수 있다.For example, the screen 930 of the participant's viewpoint provided in the instructor's virtual space may include gaze data 951 about the position or point where the participant's gaze rests, as shown in FIG. 9A. The control unit 140 may overlap the graphic object for the location or point where the user's gaze rests on content including graphic objects corresponding to the target stimulus and the distracting stimulus, respectively, and provide the information to the instructor as the participant's gaze data. Through this, the control unit 140 can intuitively recognize which stimulus the participant is paying attention to and which stimulus was interrupted.
다른 예를 들어, 교수자의 가상 공간에 제공되는 참여자 시점의 화면(930)은, 도 9b에 도시된 것과 같이, 참여자의 시선이 머무른 순서에 대한 시선 데이터(952)를 포함할 수 있다. 제어부(140)는 참여자에게 제공되는 콘텐츠에서, 참여자의 시선이 기 설정된 시간 이상 머무른 지점(예를 들면, 시선 지점)을 검출할 수 있다. 그리고, 복수의 시선 지점이 검출된 경우, 복수의 시선 지점이 머무른 순서에 대한 정보를, 복수의 시선 지점과 함께 나타낼 수 있다. 도 9b에 도시된 것과 같이, 시선 지점이 8개검출된 경우, 제어부(140)는 8개의 시선 지점을, 각각의 시선이 멈춘 시간 순서에 따른 숫자를 붙여, 교수자 단말에 제공할 수 있다. 이때, 순서 정보를 포함하는 시선 지점에 대한 정보는, 목표 자극 및 방해 자극에 각각 대응되는 그래픽 객체를 포함한 콘텐츠에 오버랩되어 표시될 수 있다.For another example, the screen 930 from the participant's viewpoint provided in the instructor's virtual space may include gaze data 952 about the order in which the participant's gaze stayed, as shown in FIG. 9B. The control unit 140 may detect a point (for example, a gaze point) where the participant's gaze remains for more than a preset time in the content provided to the participant. In addition, when a plurality of gaze points are detected, information about the order in which the plurality of gaze points stay can be displayed together with the plurality of gaze points. As shown in FIG. 9B, when eight gaze points are detected, the control unit 140 can provide the eight gaze points to the instructor terminal by attaching a number according to the time order in which each gaze stopped. At this time, information about the gaze point including order information may be displayed overlapping content including graphic objects corresponding to the target stimulus and the distracting stimulus, respectively.
이를 통해, 교수자는 목표 자극 및 방해 자극에 각각 대응되는 그래픽 객체를 포함한 콘텐츠에서, 참여자가 어떤 순서로 콘텐츠를 바라보고, 관심이 집중되는지를 직관적으로 인지할 수 있다.Through this, the instructor can intuitively recognize the order in which participants look at the content and focus their attention on content containing graphic objects corresponding to target and distracting stimuli, respectively.
교수자는, 교수자 단말에 제공되는 참여자의 가상 공간 상에서, 참여자의 학습에 대한 실시간 피드백을 제공할 수 있다. 즉, 교수자와 참여자는 참여자의 가상 공간에 함께 접속할 수 있으며, 교수자는 교수자 단말을 통해, 참여자의 가상 공간 상에서, 참여자의 학습에 대한 실시간 피드백 명령을 전송할 수 있다. 이를 통해, 참여자는, 실시간으로 교수자를 통해 학습에 대한 지도를 받는 것이 가능하다.The instructor can provide real-time feedback on the participant's learning in the participant's virtual space provided on the instructor terminal. In other words, the instructor and participant can access the participant's virtual space together, and the instructor can transmit real-time feedback commands about the participant's learning on the participant's virtual space through the instructor terminal. Through this, participants can receive learning guidance from the instructor in real time.
나아가, 본 발명에 따른 제어부(140)는 복수의 참여자 목록을 포함하는 그래픽 객체(540)를 통해, 각 참여자의 학습 상황과 관련된 정보를 제공할 수 있다. 보다 구체적으로, 본 발명에 따른 제어부(140)는, 복수의 참여자 목록을 포함하는 그래픽 객체(540)를 통해, 복수의 참여자 각각이 산출된 집중도에 따라 시각적으로 구분되도록 표시할 수 있다.Furthermore, the control unit 140 according to the present invention can provide information related to the learning situation of each participant through a graphic object 540 including a plurality of participant lists. More specifically, the control unit 140 according to the present invention can display each of the plurality of participants to be visually distinguished according to the calculated concentration through a graphic object 540 including a list of the plurality of participants.
또한 예를 들어, 학습 정보(910)는 참여자의 i) 학습 수준(902), ii) 수행 점수(902), iii) 반환 시간(“”및 iv) 심박수(905)를 포함할 수 있으나, 이에 한정되는 것은 아니며 참여자의 학습 수준 또는 생체 신호에 관한 다양한 종류의 정보를 포함하는 것으로 이해될 수 있다.Also, for example, learning information 910 may include the participant's i) learning level 902, ii) performance score 902, iii) turnaround time (“” and iv) heart rate 905; It is not limited and can be understood to include various types of information about the participant's learning level or biosignals.
도 9a에 도시된 것과 같이, 제어부(140)는, 참여자의 시선 데이터가 시선이 향한 위치에 따라서, 시선이 일정한 위치에 고정된 시간 또는 빈도에 따라 시각적으로 구분되도록 표시할 수 있다. 예를 들어, 제어부(140)는 참여자의 시선이 특정 위치에 고정된 시간에 따라 색의 탁도, 명암 등을 통해 시각적으로 구분되도록 표시할 수 있다.As shown in FIG. 9A, the control unit 140 can display the participant's gaze data to be visually distinguished according to the location of the gaze and the time or frequency at which the gaze is fixed at a certain location. For example, the control unit 140 may display the participant's gaze to be visually distinguished through color turbidity, brightness, etc. depending on the time the participant's gaze is fixed on a specific location.
다른 실시 예에 따른 도 9b를 참조하면, 제어부(140)는, 참여자의 시선 데이터가 시선이 향한 위치에 따라서, 시선이 일정한 위치에 고정된 시간 또는 빈도를 수치화 하여 표시할 수 있다. 예를 들어, 제어부(140)는 참여자의 시선이 특정 위치에 고정된 빈도(예를 들면, 3회)를 교수자의 가상 공간에 표시할 수 있다.Referring to FIG. 9B according to another embodiment, the control unit 140 may display the gaze data of the participant in quantification of the time or frequency that the gaze is fixed at a certain position according to the location of the gaze. For example, the control unit 140 may display the frequency (e.g., 3 times) with which the participant's gaze is fixed on a specific location in the instructor's virtual space.
상술한 구성을 통해, 본 발명에 따른 인지 훈련 시스템(100)은 교수자의 가상 공간에 참여자 별 집중도를 그래픽 객체를 통해 표시함으로써 교수자가 복수의 참여자들 각각의 집중도를 모니터링하도록 할 수 있다. 나아가, 본 발명에 따른 인지 훈련 시스템(100)은 복수의 참여자별 집중도에 대한 정보를 포함하는 그래픽 객체에 대한 입력에 응답하여, 선택된 참여자의 학습 상황을 교수자의 가상 공간에 제공함으로써, 교수자가 집중도에 따라 각 학습자의 학습 상황을 점검하도록 할 수 있다.Through the above-described configuration, the cognitive training system 100 according to the present invention displays the concentration of each participant through a graphic object in the instructor's virtual space, allowing the instructor to monitor the concentration of each of a plurality of participants. Furthermore, the cognitive training system 100 according to the present invention responds to an input to a graphic object containing information on the concentration of each plurality of participants, and provides the learning situation of the selected participant to the instructor's virtual space, allowing the instructor to determine the concentration level of each participant. Accordingly, the learning situation of each learner can be checked.
나아가, 본 발명에 따른 제어부(140)는 사용자 피드백부(145)를 이용하여, 참여자(611)의 가상 공간을 통해 참여자(611)의 집중력을 향상시키기 위한 피드백을 제공할 수 있다.Furthermore, the control unit 140 according to the present invention can use the user feedback unit 145 to provide feedback to improve the concentration of the participant 611 through the participant's 611 virtual space.
보다 구체적으로, 도 10a 및 도 10b에 도시된 것과 같이, 제어부(140)는 교수자의 입력에 근거하여, 참여자(611)의 가상 공간을 통해 콘텐츠(620)와 구분되는 피드백을 제공할 수 있다.More specifically, as shown in FIGS. 10A and 10B, the control unit 140 may provide feedback that is distinct from the content 620 through the virtual space of the participant 611 based on the instructor's input.
본 발명에 따른 제어부(140)는 교수자 단말(120)을 통해 도 9a 또는 도 9b와 같이 특정 참여자와 관련된 정보를 표시하는 도중, 교수자의 입력에 응답하여, 해당 참여자의 가상 공간을 통해 피드백을 제공할 수 있다.The control unit 140 according to the present invention responds to the instructor's input while displaying information related to a specific participant through the instructor terminal 120, as shown in FIG. 9A or 9B, and provides feedback through the virtual space of the participant. can do.
일 실시 예에 따르면, 제어부(140)는 교수자 단말(120)을 통한 교수자의 입력에 응답하여, 참여자의 가상 공간을 통해 기 설정된 그래픽 객체(예를 들면, 화살표)를 표시할 수 있다.According to one embodiment, the control unit 140 may display a preset graphic object (for example, an arrow) through the participant's virtual space in response to the instructor's input through the instructor terminal 120.
예를 들어, 도 10a에 도시된 것과 같이, 제어부(140)는 교수자 단말(120)을 통한 교수자의 입력에 응답하여, 참여자의 가상 공간을 통해 콘텐츠 전환을 알리는 팝업 창(1011)을 제공할 수 있다.For example, as shown in FIG. 10A, the control unit 140 may respond to the instructor's input through the instructor terminal 120 and provide a pop-up window 1011 notifying the content change through the participant's virtual space. there is.
이에 따라, 제어부(140)는 기 제공된 콘텐츠(620)와 구분되는 기 설정된 집중 향상 콘텐츠를 참여자의 가상 공간을 통해 제공할 수 있다. 이 때, 집중 향상 콘텐츠는 기 제공된 콘텐츠(620)에 포함된 과제(또는 훈련)의 난이도가 하향 조정된 콘텐츠, 집중력 훈련 콘텐츠, 집중력 향상 콘텐츠, 학습 방법 안내 콘텐츠 또는 가상공간 사용법 안내 콘텐츠로 이해될 수 있다. 집중 향상 콘텐츠는, 참여자의 집중도 향상을 위해 교수자에 의해 입력된 영상을 포함하는 콘텐츠로 이해될 수 있다.Accordingly, the control unit 140 may provide preset concentration improvement content that is different from the previously provided content 620 through the participant's virtual space. At this time, the concentration improvement content can be understood as content in which the difficulty of the task (or training) included in the already provided content 620 has been lowered, concentration training content, concentration improvement content, learning method guidance content, or virtual space usage guidance content. You can. Concentration improvement content can be understood as content that includes images input by an instructor to improve the concentration of participants.
위에서 살펴본 참여자의 가상 공간을 통해 콘텐츠 전환은, 교수자 단말에서의 요청에 이루어질 수 있다. 참여자의 가상 공간에 접속한 교수자에 의해, 해당 참여자가, 별도의 가상 공간을 통해 현재 학습과 다른 학습(집중력, 사용법 학습 등)이 필요하다고 판단되는 경우, 교수자는, 참여자의 가상 공간 전환을 시스템에 요청할 수 있다. 이 경우, 제어부(140)는 교수자와 참여자 모두, 또는 참여자 단독으로, 도 10a에 도시된 것과 같이, 별도의 가상공간에, 현재 학습과 다른 학습(집중력, 사용법 학습 등)에 따른 학습 콘텐츠를 제공할 수 있다.Content conversion can be made upon request from the instructor's terminal through the participant's virtual space discussed above. If the instructor connected to the participant's virtual space determines that the participant needs learning (concentration, learning how to use, etc.) different from the current learning through a separate virtual space, the instructor will switch the participant's virtual space to the system. You can request it. In this case, the control unit 140 provides learning content according to learning (concentration, learning how to use, etc.) different from the current learning in a separate virtual space for both the instructor and the participant, or for the participant alone, as shown in FIG. 10A. can do.
예를 들어, 제어부(140)는 기 제공된 콘텐츠(620)와 구분되는 기 설정된 단말 사용법 안내 콘텐츠를 참여자의 가상 공간을 통해 제공할 수 있다. 이때, 단말 사용법 안내 콘텐츠는 참여자 단말(110)에 대한 사용법을 가르쳐주는 콘텐츠일 수 있다. 이러한 경우에, 제어부(140)는 참여자(611)에게 제공되는 콘텐츠가 전환되기 전에, 현재 참여자(611)에게 제공되고 있는 가상 공간의 상태를 저장부(130)에 저장할 수 있다. 이를 통해, 제어부(140)는 참여자(611)에게 제공되는 콘텐츠가 전환된 이후에, 전환된 콘텐츠에 대한 학습이 완료되면, 참여자 단말(110)을 통해, 참여자(611)에게 이전 콘텐츠를 다시 제공할 수 있다.For example, the control unit 140 may provide preset terminal usage guidance content that is different from the previously provided content 620 through the participant's virtual space. At this time, the terminal usage guide content may be content that teaches how to use the participant terminal 110. In this case, the control unit 140 may store the state of the virtual space currently being provided to the participant 611 in the storage unit 130 before the content provided to the participant 611 is switched. Through this, after the content provided to the participant 611 is converted and learning about the converted content is completed, the control unit 140 provides the previous content to the participant 611 again through the participant terminal 110. can do.
다른 예를 들어, 교수자 단말(120)을 통한 교수자의 입력에 응답하여, 기 제공 중인 콘텐츠(620)에 대한 깜빡임 또는 하이라이트 효과를 제공할 수 있다.For another example, in response to the instructor's input through the instructor terminal 120, a blinking or highlighting effect may be provided for the content 620 that is already being provided.
다른 실시 예에 따른 도 10b를 참조하면, 제어부(140)는 교수자 단말(120)을 통한 교수자의 음성 입력에 근거하여, 입력된 음성(1012)을 참여자 단말(110)을 통해 출력할 수 있다. 보다 구체적으로, 제어부(140)는 교수자의 입력에 응답하여, 교수자 단말(120)을 통해 교수자의 음성을 녹음하고, 녹음된 음성(1012)을 참여자 단말(110)을 통해 출력할 수 있다.Referring to FIG. 10B according to another embodiment, the control unit 140 may output the input voice 1012 through the participant terminal 110 based on the instructor's voice input through the instructor terminal 120. More specifically, the control unit 140 may record the instructor's voice through the instructor terminal 120 and output the recorded voice 1012 through the participant terminal 110 in response to the instructor's input.
또는, 제어부(140)는 교수자 단말(120)을 통한 교수자의 입력에 응답하여, 참여자 단말(110)을 통해 기 입력된 효과음을 출력할 수 있다.Alternatively, the control unit 140 may output sound effects previously input through the participant terminal 110 in response to the instructor's input through the instructor terminal 120.
또 다른 실시 예(미도시)에 따르면, 제어부(140)는 교수자 단말(120)을 통한 교수자의 입력에 응답하여, 참여자 단말(110) 중 적어도 일부를 통해 기 설정된 햅틱 피드백(예를 들면, 진동)을 제공할 수 있다.According to another embodiment (not shown), the control unit 140 responds to the instructor's input through the instructor terminal 120 and provides preset haptic feedback (e.g., vibration) through at least some of the participant terminals 110. ) can be provided.
반면, 본 발명에 따른 제어부(140)는 복수의 참여자 중 시선추적을 통해 산출된 집중도가 기 설정된 임계 값 미만인 참여자에 대하여, 해당 참여자의 가상 공간을 통해 상술한 피드백을 제공할 수 있다.On the other hand, the control unit 140 according to the present invention can provide the above-described feedback through the virtual space of a plurality of participants whose concentration calculated through eye tracking is less than a preset threshold.
또는, 제어부(140)는 복수의 참여자 중 시선추적을 통해 산출된 집중도가 기 설정된 기간동안 기 설정된 값 이상 감소하는 참여자에 대하여, 해당 참여자의 가상 공간을 통해 상술한 피드백을 제공할 수 있다.Alternatively, the control unit 140 may provide the above-described feedback through the virtual space of a participant whose concentration calculated through eye tracking decreases by more than a preset value over a preset period of time among a plurality of participants.
상술한 구성을 통해, 본 발명에 따른 인지 훈련 시스템(100)은 교수자의 입력에 따라 참여자의 가상 공간에 피드백을 제공함으로써, 참여자의 집중도 하락에 따른 대응을 수행할 수 있다. 또한, 이를 통해, 인지 훈련 시스템(100)은 참여자의 효율적인 학습을 지원할 수 있다.Through the above-described configuration, the cognitive training system 100 according to the present invention can respond to a decrease in the participant's concentration by providing feedback to the participant's virtual space according to the instructor's input. Additionally, through this, the cognitive training system 100 can support efficient learning of participants.
한편, 본 발명에 따른 제어부(140)는 교수자로부터 교수자의 가상 공간을 통해 복수의 참여자 각각에 대한 학습 평가를 입력 받을 수 있다.Meanwhile, the control unit 140 according to the present invention can receive learning evaluation input for each of the plurality of participants from the instructor through the instructor's virtual space.
보다 구체적으로, 본 발명에 따른 제어부(140)는 교수자가 교수자 단말(120)에 표시된 교수자 가상 공간을 통해 복수의 참여자 각각의 학습 상황 및 집중도를 모니터링한 결과로써, 복수의 참여자 각각에 대한 학습 평가를 입력 받을 수 있다.More specifically, the control unit 140 according to the present invention evaluates learning for each of the plurality of participants as a result of the instructor monitoring the learning situation and concentration of each of the plurality of participants through the instructor virtual space displayed on the instructor terminal 120. can be input.
나아가, 제어부(140)는 복수의 참여자 각각에 대해 입력된 학습 평가 및 시선 데이터를 포함하는 리포트를 생성하여 복수의 참여자 각각의 가상 공간을 통해 제공할 수 있다.Furthermore, the control unit 140 may generate a report including learning evaluation and gaze data input for each of the plurality of participants and provide the report through the virtual space of each of the plurality of participants.
즉, 제어부(140)는 사용자 피드백부(145)를 제어함으로써, 복수의 참여자 각각에 대한 학습 평가 및 시선 데이터 중 적어도 일부를 포함하는 리포트를 생성하고, 생성된 리포트를 각 참여자의 가상 공간을 통해 제공할 수 있다.That is, the control unit 140 controls the user feedback unit 145 to generate a report containing at least some of the learning evaluation and gaze data for each of the plurality of participants, and to send the generated report through the virtual space of each participant. can be provided.
한편, 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽힐 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. Meanwhile, computer-readable media includes all types of recording devices that store data that can be read by a computer system. Examples of computer-readable media include HDD (Hard Disk Drive), SSD (Solid State Disk), SDD (Silicon Disk Drive), ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc. There is.
나아가, 컴퓨터가 읽을 수 있는 매체는, 저장소를 포함하며 전자기기가 통신을 통하여 접근할 수 있는 서버 또는 클라우드 저장소일 수 있다. 이 경우, 컴퓨터는 유선 또는 무선 통신을 통하여, 서버 또는 클라우드 저장소로부터 본 발명에 따른 프로그램을 다운로드 받을 수 있다.Furthermore, the computer-readable medium may be a server or cloud storage that includes storage and can be accessed by electronic devices through communication. In this case, the computer can download the program according to the present invention from a server or cloud storage through wired or wireless communication.
나아가, 본 발명에서는 위에서 설명한 컴퓨터는 프로세서, 즉 CPU(Central Processing Unit, 중앙처리장치)가 탑재된 전자기기로서, 그 종류에 대하여 특별한 한정을 두지 않는다.Furthermore, in the present invention, the computer described above is an electronic device equipped with a processor, that is, a CPU (Central Processing Unit), and there is no particular limitation on its type.
한편, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.Meanwhile, the above detailed description should not be construed as restrictive in all respects and should be considered illustrative. The scope of the present invention should be determined by reasonable interpretation of the appended claims, and all changes within the equivalent scope of the present invention are included in the scope of the present invention.
Claims (10)
- 복수의 참여자 각각의 가상 공간에 목표 자극 및 방해 자극을 포함하는 콘텐츠를 제공하는 단계;Providing content including a target stimulus and a distracting stimulus to the virtual space of each of the plurality of participants;시선 추적 방법에 기반하여, 상기 목표 자극 및 상기 방해 자극에 대한 상기 복수의 참여자 각각의 시선을 모니터링하는 단계;Monitoring the gaze of each of the plurality of participants with respect to the target stimulus and the distracting stimulus based on an eye tracking method;상기 모니터링 결과에 기반하여, 상기 복수의 참여자 별로 상기 콘텐츠에 대한 집중도를 산출하는 단계; 및Based on the monitoring results, calculating a concentration level for the content for each of the plurality of participants; and교수자의 가상 공간에, 상기 복수의 참여자 별로 구분된 그래픽 객체를 제공하고, 상기 그래픽 객체에 상기 복수의 참여자 각각의 집중도에 대한 정보를 제공하는 단계를 포함하는, 시선추적에 기반한 인지 훈련 방법.A cognitive training method based on eye tracking, comprising providing graphic objects classified for each of the plurality of participants in an instructor's virtual space, and providing information about the concentration of each of the plurality of participants to the graphic objects.
- 제1항에 있어서,According to paragraph 1,상기 그래픽 객체에 대한 상기 교수자의 입력에 근거하여, 선택된 참여자에 대하여 상기 모니터링 결과로써 획득된 시선 데이터, 상기 콘텐츠에 대한 집중도 및 상기 선택된 참여자 시점의 화면 중 적어도 일부를 상기 교수자의 가상 공간을 통해 제공하는 단계를 더 포함하는, 시선추적에 기반한 인지 훈련 방법.Based on the instructor's input for the graphic object, gaze data obtained as a result of the monitoring for the selected participant, concentration on the content, and at least a portion of the screen at the selected participant's viewpoint are provided through the instructor's virtual space. A cognitive training method based on eye tracking, further comprising the step of:
- 제2항에 있어서,According to paragraph 2,상기 교수자의 가상 공간을 통한 상기 교수자의 입력에 응답하여, 상기 선택된 참여자의 가상 공간을 통해 상기 콘텐츠와 구분되는 집중 향상 콘텐츠를 제공하는 단계를 더 포함하는, 시선추적에 기반한 인지 훈련 방법.In response to the instructor's input through the instructor's virtual space, providing concentration-enhancing content that is distinct from the content through the selected participant's virtual space. A cognitive training method based on eye tracking.
- 제1항에 있어서,According to paragraph 1,상기 콘텐츠에 대한 집중도를 산출하는 단계는,The step of calculating the concentration level for the content is,상기 콘텐츠 상에서 상기 목표 자극의 제1 위치와 상기 방해 자극의 제2 위치를 식별하는 단계;identifying a first location of the target stimulus and a second location of the distracting stimulus on the content;상기 모니터링 결과에 기반하여, 상기 복수의 참여자 각각의 시선 데이터를 획득하는 단계; 및Based on the monitoring results, acquiring gaze data of each of the plurality of participants; and상기 시선 데이터와 상기 제1 위치 및 상기 제2 위치에 대한 비교에 근거하여, 상기 콘텐츠에 대한 집중도를 산출하는 단계를 더 포함하는 것을 특징으로 하는, 시선추적에 기반한 인지 훈련 방법.A cognitive training method based on eye tracking, further comprising calculating a degree of concentration on the content based on a comparison of the gaze data with the first location and the second location.
- 제4항에 있어서,According to paragraph 4,상기 시선 데이터와 상기 제1 위치 및 상기 제2 위치에 대한 비교에 근거하여, 콘텐츠에 대한 집중도를 산출하는 단계는,The step of calculating concentration on content based on comparison of the gaze data with the first location and the second location includes:상기 복수의 참여자 각각의 시선이 상기 제1 위치에 고정된 제1 시점을 결정하는 단계;determining a first viewpoint at which the gaze of each of the plurality of participants is fixed at the first position;상기 제1 시점이 결정된 이후 최초로, 상기 복수의 참여자 각각의 시선이 상기 제2 위치로 이동된 제2 시점을 결정하는 단계;For the first time after the first viewpoint is determined, determining a second viewpoint at which the gaze of each of the plurality of participants is moved to the second location;상기 제2 시점이 결정된 이후 최초로, 상기 복수의 참여자 각각의 시선이 상기 제1 위치로 고정된 제3 시점을 결정하는 단계;For the first time after the second viewpoint is determined, determining a third viewpoint at which the gaze of each of the plurality of participants is fixed to the first position;상기 제1 시점과 상기 제2 시점 간의 제1 기간과, 상기 제2 시점과 상기 제3 시점 간의 제2 기간을 산출하는 단계; 및calculating a first period between the first time point and the second time point and a second period between the second time point and the third time point; and상기 제1 기간과 상기 제2 기간의 비율에 기초하여 집중도를 산출하는 단계를 포함하는 것을 특징으로 하는, 시선추적에 기반한 인지 훈련 방법.A cognitive training method based on eye tracking, comprising the step of calculating concentration based on the ratio of the first period and the second period.
- 제1항에 있어서,According to paragraph 1,상기 교수자의 가상 공간에 상기 그래픽 객체를 제공하는 단계는,The step of providing the graphic object to the instructor's virtual space is:상기 복수의 참여자에 대한 집중도를 기 설정된 기준에 근거하여, 복수의 그룹으로 그룹화(grouping)하는 단계; 및Grouping the plurality of participants into a plurality of groups based on a preset standard; and상기 교수자의 가상 공간을 통해, 상기 그룹에 따라 시각적으로 구분되는 표시를 포함하는 상기 그래픽 객체를 제공하는 단계를 더 포함하는 것을 특징으로 하는, 시선추적에 기반한 인지 훈련 방법.A cognitive training method based on eye tracking, further comprising providing the graphic object including a visually distinguishable mark according to the group through the instructor's virtual space.
- 제1항에 있어서,According to paragraph 1,상기 참여자의 가상 공간을 통해 상기 참여자의 생체 신호를 획득하는 단계; 및Obtaining the participant's biological signals through the participant's virtual space; and상기 획득한 생체 신호에 근거하여, 상기 콘텐츠에 포함된 과제에 대한 수행 점수를 상기 복수의 참여자 별로 산출하는 단계를 더 포함하고,Based on the obtained biosignals, calculating a performance score for a task included in the content for each of the plurality of participants, further comprising:상기 그래픽 객체는,The graphic object is,상기 복수의 참여자 각각의 집중도 및 상기 수행 점수에 대한 정보를 포함하는 것을 특징으로 하는, 시선추적에 기반한 인지 훈련 방법.A cognitive training method based on eye tracking, comprising information on the concentration level and performance score of each of the plurality of participants.
- 제7항에 있어서,In clause 7,상기 집중도 및 상기 수행 점수 각각에 대해 기 설정된 기준에 기반하여, 상기 집중도와 상기 수행 점수를 분석하는 단계; 및Analyzing the concentration and the performance score based on preset standards for each of the concentration and the performance score; and분석 결과에 기반하여, 상기 참여자에게 제공되는 콘텐츠를 전환하는 단계를 더 포함하는 것을 특징으로 하는, 시선추적에 기반한 인지 훈련 방법.A cognitive training method based on eye tracking, further comprising the step of switching content provided to the participant based on the analysis results.
- 시선추적에 기반한 인지 훈련 시스템에 있어서,In a cognitive training system based on eye tracking,참여자 및 교수자와 통신하도록 이루어진 통신부; 및a communications department designed to communicate with participants and instructors; and복수의 참여자 각각의 가상 공간에 목표 자극 및 방해 자극을 포함하는 콘텐츠를 제공하는 제어부를 포함하고,A control unit providing content including a target stimulus and a distracting stimulus to the virtual space of each of the plurality of participants,상기 제어부는,The control unit,시선 추적 방법에 기반하여, 상기 목표 자극 및 상기 방해 자극에 대한 상기 복수의 참여자 각각의 시선을 모니터링하고,Based on an eye tracking method, monitor the gaze of each of the plurality of participants with respect to the target stimulus and the distracting stimulus,상기 모니터링 결과에 기반하여, 상기 복수의 참여자 별로 상기 콘텐츠에 대한 집중도를 산출하며,Based on the monitoring results, the degree of concentration on the content is calculated for each of the plurality of participants,교수자의 가상 공간에, 상기 복수의 참여자 별로 구분된 그래픽 객체를 제공하고, 상기 그래픽 객체에 상기 복수의 참여자 각각의 집중도에 대한 정보를 제공하는 것을 특징으로 하는, 인지 훈련 시스템.A cognitive training system, characterized in that: providing graphic objects classified for each of the plurality of participants in the instructor's virtual space, and providing information about the concentration of each of the plurality of participants to the graphic objects.
- 전자기기에서 하나 이상의 프로세스에 의하여 실행되며, 컴퓨터로 판독될 수 있는 매체에 저장 가능한 프로그램으로서,A program that is executed by one or more processes in an electronic device and can be stored in a computer-readable medium,상기 프로그램은,The above program is,복수의 참여자 각각의 가상 공간에 목표 자극 및 방해 자극을 포함하는 콘텐츠를 제공하는 단계;Providing content including a target stimulus and an interfering stimulus to the virtual space of each of the plurality of participants;시선 추적 방법에 기반하여, 상기 목표 자극 및 상기 방해 자극에 대한 상기 복수의 참여자 각각의 시선을 모니터링하는 단계;Monitoring the gaze of each of the plurality of participants with respect to the target stimulus and the distracting stimulus based on an eye tracking method;상기 모니터링 결과에 기반하여, 상기 복수의 참여자 별로 상기 콘텐츠에 대한 집중도를 산출하는 단계; 및Based on the monitoring results, calculating a concentration level for the content for each of the plurality of participants; and교수자의 가상 공간에, 상기 복수의 참여자 별로 구분된 그래픽 객체를 제공하고, 상기 그래픽 객체에 상기 복수의 참여자 각각의 집중도에 대한 정보를 제공하는 단계를 수행하는 명령어들을 포함하는 것을 특징으로 하는 컴퓨터로 판독될 수 있는 기록매체에 저장된 프로그램.A computer comprising instructions for providing graphic objects classified for each of the plurality of participants in the instructor's virtual space and providing information about the concentration of each of the plurality of participants to the graphic objects. A program stored on a readable recording medium.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2022-0140618 | 2022-10-27 | ||
KR1020220140618A KR20240059405A (en) | 2022-10-27 | 2022-10-27 | Cognitive training method and system based on eye tracking |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2024090830A1 true WO2024090830A1 (en) | 2024-05-02 |
Family
ID=90831123
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/KR2023/015195 WO2024090830A1 (en) | 2022-10-27 | 2023-10-04 | Cognitive training method and system based on eye tracking |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR20240059405A (en) |
WO (1) | WO2024090830A1 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20170135459A (en) * | 2016-05-31 | 2017-12-08 | 울산과학기술원 | Rehabilitation training apparatus for an arm |
KR20190004088A (en) * | 2017-07-03 | 2019-01-11 | 포항공과대학교 산학협력단 | Virtual Reality Education System and Method based on Bio Sensors |
KR102114207B1 (en) * | 2018-11-01 | 2020-05-22 | 유엔젤주식회사 | Learning Support System And Method Using Augmented Reality And Virtual reality based on Artificial Intelligence |
WO2020116181A1 (en) * | 2018-12-03 | 2020-06-11 | パナソニックIpマネジメント株式会社 | Concentration degree measurement device and concentration degree measurement method |
KR20220061384A (en) * | 2020-11-06 | 2022-05-13 | 주식회사 쉬모스랩 | Apparatus and method for detecting learners' participation in an untact online class |
-
2022
- 2022-10-27 KR KR1020220140618A patent/KR20240059405A/en unknown
-
2023
- 2023-10-04 WO PCT/KR2023/015195 patent/WO2024090830A1/en unknown
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20170135459A (en) * | 2016-05-31 | 2017-12-08 | 울산과학기술원 | Rehabilitation training apparatus for an arm |
KR20190004088A (en) * | 2017-07-03 | 2019-01-11 | 포항공과대학교 산학협력단 | Virtual Reality Education System and Method based on Bio Sensors |
KR102114207B1 (en) * | 2018-11-01 | 2020-05-22 | 유엔젤주식회사 | Learning Support System And Method Using Augmented Reality And Virtual reality based on Artificial Intelligence |
WO2020116181A1 (en) * | 2018-12-03 | 2020-06-11 | パナソニックIpマネジメント株式会社 | Concentration degree measurement device and concentration degree measurement method |
KR20220061384A (en) * | 2020-11-06 | 2022-05-13 | 주식회사 쉬모스랩 | Apparatus and method for detecting learners' participation in an untact online class |
Also Published As
Publication number | Publication date |
---|---|
KR20240059405A (en) | 2024-05-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2016105135A1 (en) | Wearable apparatus, management server, management system having the same, and method for controlling thereof | |
WO2019214445A1 (en) | Teaching method and apparatus for improving attention, and computer-readable storage medium | |
WO2018131914A1 (en) | Method and apparatus for providing guidance in a virtual environment | |
WO2013133618A1 (en) | Method of controlling at least one function of device by using eye action and device for performing the method | |
WO2016049906A1 (en) | Flight instructing method and device and aircraft | |
WO2011065653A2 (en) | User adaptive display apparatus and display method | |
WO2013133583A1 (en) | System and method for cognitive rehabilitation using tangible interaction | |
WO2018169330A1 (en) | Systems and methods for determining defects in visual field of a user | |
WO2018174507A1 (en) | Neurological disorder diagnosis device and method which use virtual reality | |
WO2015137673A1 (en) | Method for determining data source | |
WO2016182156A1 (en) | Mobile terminal for detecting abnormal activity and system including same | |
WO2023074980A1 (en) | Motion recognition-based interaction method and recording medium | |
US20210004132A1 (en) | Information processing device, information processing method, and program | |
WO2024101731A1 (en) | Method for performing customized consultation for each user type on basis of artificial intelligence | |
WO2014115990A1 (en) | System and method for supporting management of group members | |
WO2022139209A1 (en) | Electronic device providing fitness feedback, control method for same, and server | |
WO2024090830A1 (en) | Cognitive training method and system based on eye tracking | |
WO2014148714A1 (en) | Portable device and visual sensation detecting alarm control method thereof | |
WO2013062180A1 (en) | Terminal having the function of preventing dry eye syndrome, and method for controlling same | |
WO2020235730A1 (en) | Learning performance prediction method based on scan pattern of learner in video learning environment | |
WO2022075817A1 (en) | Remote robot coding education system | |
WO2024053989A1 (en) | System and method for recommending rehabilitation exercise on basis of living environment detection by using digital image recognition | |
WO2023224433A1 (en) | Information generation method and device | |
WO2023286937A1 (en) | Control method of lecture providing system using student terminal | |
WO2014104620A1 (en) | Method and apparatus for managing learning contents |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 23882937 Country of ref document: EP Kind code of ref document: A1 |