WO2022181104A1 - 分析装置、分析方法及び非一時的なコンピュータ可読媒体 - Google Patents

分析装置、分析方法及び非一時的なコンピュータ可読媒体 Download PDF

Info

Publication number
WO2022181104A1
WO2022181104A1 PCT/JP2022/001190 JP2022001190W WO2022181104A1 WO 2022181104 A1 WO2022181104 A1 WO 2022181104A1 JP 2022001190 W JP2022001190 W JP 2022001190W WO 2022181104 A1 WO2022181104 A1 WO 2022181104A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
content
analysis
learner
learning
Prior art date
Application number
PCT/JP2022/001190
Other languages
English (en)
French (fr)
Inventor
真 則枝
大生 原田
遥己 水谷
弘敬 前島
雅美 坂口
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2023502158A priority Critical patent/JPWO2022181104A5/ja
Publication of WO2022181104A1 publication Critical patent/WO2022181104A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations

Definitions

  • the present invention relates to an analysis device, an analysis method, and an analysis program.
  • Patent Document 1 it is possible to estimate changes in emotions from dynamic face image data of a person with high accuracy by a computer, and a learner using a learning support system represented by e-learning Disclosed is an emotion estimating system and a learning system using the emotion estimation system that can grasp the emotion of the user and provide learning materials that match the emotion with a higher degree of accuracy.
  • Patent Document 2 discloses an information processing device that supports learner's learning. This information processing device generates a new question according to the degree of understanding of the learner, or acquires it from the question database, and presents it to the learner's terminal.
  • the present disclosure has been made in view of such problems, and aims to provide an analysis device, an analysis method, and an analysis program capable of providing content suitable for learners.
  • the analysis device includes a content providing unit that provides content including test questions to learners; an acquisition unit that acquires emotion data for learning of the learner, whose emotion analysis is performed on the face image data of the learner who learns using the content; a reception unit that receives the learner's answer to the test question; a content control unit that controls subsequent content based on the acquired emotion data and the response result; Prepare.
  • An analysis method provides content including test questions to learners, Acquiring emotion data for learning of the learner whose face image data has been subjected to emotion analysis for learning using the content, Receiving the learner's answer to the test question, Subsequent content is controlled based on the obtained emotion data and the result of the answer.
  • An analysis program provides content including test questions to learners, Acquiring emotion data for learning of the learner whose face image data has been subjected to emotion analysis for learning using the content, Receiving the learner's answer to the test question, A computer is caused to control subsequent content based on the obtained emotion data and the result of the response.
  • an analysis device an analysis method, and an analysis program capable of providing content suitable for learners.
  • FIG. 1 is a block diagram showing the configuration of an analysis device according to Embodiment 1;
  • FIG. 4 is a flowchart showing an analysis method according to Embodiment 1;
  • FIG. 3 is a block diagram showing the configuration of an analysis device according to a second embodiment;
  • FIG. 6 is a flowchart showing an analysis method according to Embodiment 2;
  • FIG. 11 is a block diagram showing the configuration of an analysis system according to Embodiment 3;
  • FIG. 11 is a block diagram showing the configuration of an analysis device according to Embodiment 3; It is a figure which shows the example of the data which an analysis data production
  • FIG. 4 is a flowchart showing an analysis method according to Embodiment 1;
  • FIG. 3 is a block diagram showing the configuration of an analysis device according to a second embodiment;
  • FIG. 6 is a flowchart showing an analysis method according to Embodiment 2;
  • FIG. 11 is a block diagram showing the configuration of an emotion data generation device according to Embodiment 3; 10 is a flowchart showing an analysis method according to Embodiment 3; It is a figure which shows the example of analysis data.
  • FIG. 4 is a diagram showing an example of content data;
  • FIG. 1 is a block diagram showing the configuration of an analysis device 100 according to Embodiment 1.
  • the analysis device 100 is implemented by an information processing device such as a computer having a processor, memory, and the like.
  • the analysis device 100 is used to analyze a learner's emotions in online learning or learning such as an online test.
  • the analysis device 100 includes a content providing unit 115 that provides content including test questions to the learner, and a content providing unit 115 that provides content including test questions to the learner, and a learner who has undergone emotion analysis on the face image data of the learner studying using the content.
  • Acquisition unit 111 that acquires emotion data for learning, a reception unit 112 that receives the learner's answers to test questions, and content that controls subsequent content based on the acquired emotion data and the answer results and a control unit 114 .
  • FIG. 2 is a flow chart showing the analysis method according to the first embodiment.
  • the flowchart shown in FIG. 2 is started, for example, when the analysis device 100 receives a signal indicating the start of learning from the learning administration device.
  • the content providing unit 115 provides content including test questions to the learner (step S11).
  • the acquisition unit 111 acquires the emotion data for learning of the learner whose face image data has been subjected to emotion analysis for learning using the content (step S12).
  • the receiving unit 112 receives the learner's answers to the test questions (step S13).
  • the content control unit 114 controls subsequent content based on the obtained emotion data and the answer result (step S14).
  • FIG. 3 is a block diagram showing the configuration of the analysis device 100 according to the second embodiment.
  • the analysis device 100 acquires emotion data from face image information of a learner or examinee of online learning or an online test, generates analysis data related to the online learning or online test from the acquired emotion data, and generates analysis. Modify learning content based on data.
  • online learning refers to learning that is performed using one or more learning terminals that are communicatively connected to each other via a communication line. Online learning may be in a form in which class videos are distributed in real time, or in a form in which they are distributed on demand.
  • the number of learning terminals is not limited, for example, the number of students belonging to one class of school (for example, 20, 30 or any suitable number), the number of students corresponding to one grade of school (for example, 100 or any suitable number), the number of candidates for a qualification test (eg, 3000 or any suitable number), and the like.
  • the online learning used in this specification includes not only online classes (also called remote joint classes) held at schools and cram schools, but also online exams such as entrance exams, employment exams, selection exams, and final exams at schools, etc. Also called a remote joint test), etc.
  • the learning terminal used for online learning is any suitable terminal such as, for example, a personal computer, a smart phone, a tablet terminal, a mobile phone with a camera, and the like. Further, the learning terminal is not limited to the above devices as long as it has a camera for photographing the learner, a microphone for collecting the voice of the learner, and a communication function for transmitting and receiving image data and voice data. Also, online learning may be simply referred to as "learning" in the following description.
  • a learner of online learning refers to a person who is learning online through a learning terminal.
  • Learning administrators include learning organizers, learning teachers, test proctors, and the like.
  • the learner participates in learning in a state in which the learner's face image can be captured by a camera built into the learning terminal or connected to the learning terminal.
  • the analysis device 100 is communicably connected to an emotion data generation device that generates emotion data from a learner's face image, etc. in online learning and a learning management device that manages learning. Also, the analysis device 100 may be incorporated in a learning administration device. A terminal owned by an administrator who uses the analysis device 100 (administrator terminal) is communicably connected to the analysis device 100 . As shown in FIG. 3, the analysis device 100 has an emotion data acquisition unit 111, a reception unit 112, an analysis data generation unit 113, a content control unit 114, a content provision unit 115, and a storage unit 120 as main components.
  • the acquisition unit 111 acquires emotion data from the emotion data generation device.
  • the emotion data generation device generates emotion data from face image data of participants in online learning, and supplies the generated emotion data to the analysis device 100 .
  • Emotion data is data that serves as an indicator of the emotions that each learning participant has.
  • Emotional data includes multiple items such as concentration, confusion, happiness, anxiety and surprise. That is, the emotion data indicates how much the learner feels these emotions for each of the items described above.
  • the emotion data acquired by acquisition unit 111 is accompanied by time data.
  • the emotion data generation device generates emotion data for each predetermined period (for example, one second).
  • Acquisition unit 111 acquires emotion data at predetermined time intervals in accordance with progress time of learning. Acquisition unit 111 supplies the acquired emotion data to analysis data generation unit 113 after acquiring the emotion data.
  • the accepting unit 112 accepts answers to exam questions provided by the learner from the learning administration device via the learning terminal.
  • the learning administration device is, for example, a server device to which each learner connects via a learning terminal so as to be able to communicate therewith.
  • the learning administration device may be included in a learning terminal used by the learner.
  • Learning content data is data related to learning accompanied by time data. More specifically, the study content data includes study start and end times. The learning content data also includes times of breaks taken during the lesson.
  • the receiving unit 112 acquires learning content data including learning attribute data.
  • Learning attribute data may include information indicating the type of learning, such as online classes and online exams (more specifically, for example, selection exams, final exams, etc.).
  • the learner's attribute data may also include information about the school to which the learning participant belongs.
  • the learning attribute data may also include information about the subject of learning, the purpose of learning, and the like.
  • the receiving unit 112 supplies the acquired response data to the analysis data generating unit 113 and the content control unit 114 .
  • the analysis data generation unit 113 generates analysis data for learning from the received emotion data, response data, and data indicating chapters.
  • Analysis data is data derived from emotion data and response data, and is data extracted or calculated from items indicating a plurality of emotions.
  • the analytical data are preferably indicators that are useful in managing learning.
  • analytical data may include the degree of concentration and comprehension of learning.
  • the analysis data generation unit 113 generates analysis data corresponding to a plurality of preset analysis items. Thereby, the analysis apparatus 100 can generate analysis data from multiple viewpoints for efficient learning.
  • the analysis data generator 113 can generate analysis data for multiple learners.
  • the analysis data generation unit 113 compares the learning content data and the emotion data of the specific learner to obtain the analysis data of the specific learner (for example, transition of concentration, anxiety, and understanding of the learning content data). can be generated. For example, it is possible to analyze that a certain learner's degree of concentration is declining in a specific scene during class. However, with only one learner's analysis data, it is not possible to distinguish between the problem of the individual learner and the problem of the learning contents. Therefore, the analysis data generation unit according to the present embodiment can aggregate emotion data of a plurality of learners and statistically process a large amount of data.
  • the analysis data generator 113 further includes a distribution calculator 1131 .
  • the distribution calculation unit 1131 calculates a distribution regarding specific analysis data from specific analysis data (for example, degree of concentration) of each learner (that is, from total data). For example, in a scene in class, from the distribution of specific emotion data (eg, concentration), those exceeding a predetermined threshold (eg, standard deviation ⁇ , 2 ⁇ , 3 ⁇ , etc.) from the average are specified. This makes it possible to distinguish between the problem of the individual learner and the problem of the learning content data (for example, the teacher's teaching method). For example, in a specific scene during class, when almost all the learners are low in concentration, it may be determined that almost all the learners are taking notes.
  • specific analysis data for example, degree of concentration
  • a predetermined threshold eg, standard deviation ⁇ , 2 ⁇ , 3 ⁇ , etc.
  • the analysis data generation unit 113 can also statistically process the answer data received from the reception unit 112 to specific test questions of multiple learners. For example, if the correct answer rate of all learners in a class is less than a threshold value (eg, 30%) for a certain test question, the question can be determined to be a difficult question. On the other hand, if the correct answer rate of all learners in a class is equal to or greater than a threshold value (for example, 70%) for a certain test question, it can be determined that the question is easy.
  • a threshold value eg, 30%
  • the analysis data generation unit 113 may set the method of calculating analysis data according to the attribute data received from the reception unit 112 . That is, in this case, the analysis data generation unit 113 selects a method of calculating analysis data according to the attribute data received from the reception unit 112 (eg, online class, online test, subject). As a result, the analysis device 100 can calculate analysis data according to the attribute of learning. After generating the analysis data, the analysis data generation unit 113 supplies the generated analysis data to the content control unit 114 .
  • the content control unit 114 receives analysis data from the analysis data generation unit 113 and reads content data 121 from the storage unit 120 .
  • the content control unit 114 also receives learning content data from the receiving unit 112 .
  • the content control unit 114 selects corresponding content from the received analysis data and response data.
  • the content control unit 114 stores the selected content in the storage unit 120 so that it can be output.
  • the analysis data for example, distribution data of concentration
  • content that improves concentration is extracted, for example, the student can be played back on the learning terminal used by This encourages students to concentrate on the lesson.
  • analysis data for example, analysis data of anxiety level
  • an alert saying "There is a possibility that you are not keeping up with the lesson" may be extracted.
  • the sentiment data and response data it is determined from the sentiment data and response data that one or more students have significantly lower comprehension than other students and deviate significantly from the average.
  • the learning terminal used by the student may reproduce the content that explains more easily or the content that explains more slowly.
  • the content providing unit 115 provides the content stored in the storage unit 120 to the learning terminal based on the control signal from the content control unit 114.
  • an administrator for example, a study organizer, a teacher, an examination supervisor, etc.
  • the analysis device 100 can understand the content of the study content or the content of the test questions or the teacher. Or you can recognize what kind of feelings you had toward other students' remarks.
  • the administrator using the analysis device 100 perceives the alert or advice included in the analysis result, thereby recognizing what action the administrator should take for the next learning. Therefore, from the received analysis data, the administrator can perceive matters to be noted for learning to be held thereafter.
  • the storage unit 120 is a storage device including non-volatile memory such as SSD (Solid State Drive) or flash memory.
  • the storage unit 120 has content data 121 and an analysis result storage area 122 .
  • the content data 121 is data in which learner's emotion data and patterns of answer data to test questions are associated with learning content data.
  • the analysis result storage area 122 is an area for storing the analysis result generated by the analysis data generation unit 113 .
  • FIG. 4 is a flow chart showing an analysis method according to the second embodiment.
  • the flowchart shown in FIG. 4 is started, for example, when the analysis device 100 receives a signal indicating the start of learning from the learning administration device.
  • the content providing unit 115 provides content including test questions to a plurality of learners (step S21).
  • the acquisition unit 111 acquires a plurality of emotion data of a plurality of learners from the emotion data generation device (step S22).
  • Emotion data acquisition section 111 may acquire generated emotion data each time the emotion data generation device generates emotion data, or may collectively acquire emotion data at a plurality of different times.
  • the receiving unit 112 receives answer data from multiple learners to the test questions (step S23).
  • the receiving unit 112 may receive such answer data for each predetermined number of test questions (for example, 5 questions). Also, the receiving unit 112 may receive the answer data after one chapter of the learning content is completed.
  • the analysis data generation unit 113 generates analysis data for learning from the emotion data received from the emotion data acquisition unit 111 and the response data received from the reception unit 112 (step S23).
  • Emotion data from a plurality of learners can be relatively compared to generate analysis data identifying learners who behave abnormally, for example. It is also possible to relatively compare a plurality of answer data, identify the difficulty level of the question, and generate analysis data identifying learners with a low degree of understanding.
  • the content control unit 114 selects content corresponding to the analysis data from the content data 121 in the storage unit 120 (step S24). Further, the content control unit 114 causes the selected content to be stored in the analysis result storage area 122 of the storage unit 120 (step S25).
  • step S22 and step S23 may be executed in parallel.
  • step S22 and step S23 may be alternately executed every predetermined period.
  • the analysis device 100 acquires the learner's emotion data and response data in online learning, and generates analysis data for learning.
  • the analysis device 100 can then select and output content corresponding to the analysis data. This allows the learner to study with more optimal content.
  • this allows the administrator using the analysis device 100 to grasp the analysis result from the alert corresponding to the analysis data in the online learning. Therefore, according to this embodiment, it is possible to provide an analysis device, an analysis method, an analysis system, and a program for effectively managing online learning.
  • the analysis device 100 has a processor and a storage device (not shown).
  • the storage device of the analysis device 100 includes storage devices including non-volatile memory such as flash memory and SSD.
  • a storage device of the analysis apparatus 100 stores a computer program (hereinafter also simply referred to as a program) for executing the analysis method according to the present embodiment.
  • the processor also loads a computer program from the storage device into the memory and executes the program.
  • Each configuration of the analysis device 100 may be realized by dedicated hardware. Also, part or all of each component may be implemented by a general-purpose or dedicated circuit, processor, etc., or a combination thereof. These may be composed of a single chip, or may be composed of multiple chips connected via a bus. A part or all of each component of each device may be implemented by a combination of the above-described circuits and the like and programs. Moreover, CPU (Central Processing Unit), GPU (Graphics Processing Unit), FPGA (field-programmable gate array), etc. can be used as a processor.
  • CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • FPGA field-programmable gate array
  • the plurality of arithmetic devices, circuits, etc. may be centrally arranged or distributed.
  • arithmetic devices, circuits, and the like may be implemented as forms in which each is connected via a communication network, such as a client-server system, a cloud computing system, or the like.
  • the functions of the analysis device 100 may be provided in a SaaS (Software as a Service) format.
  • FIG. 5 is a block diagram showing the configuration of an analysis system according to a third embodiment;
  • Analysis system 10 shown in FIG. 5 includes learning administration device 400 including analysis device 100 and emotion data generation device 300 .
  • Learning administration device 400 and emotion data generation device 300 are connected via network N so as to be able to communicate with each other.
  • the learning management device 400 connects to the learning terminal group 90 via the network N and manages online learning.
  • the learning terminal group 90 includes a plurality of learning terminals (900A, 900B, . . . , 900N) and an administrator terminal 990.
  • FIG. 6 is a block diagram showing the configuration of the analysis device 100 according to the third embodiment.
  • the analysis device 100 according to the third embodiment differs from the analysis device 100 according to the second embodiment in that it has a person identification unit 116 and a chapter generation unit 117 .
  • Each configuration of the analysis device 100 according to the present embodiment will be described below, including the points that differ from the analysis device 100 .
  • the acquisition unit 111 acquires emotion data that numerically indicates a plurality of indexes that indicate the emotional state of the learner by using video analysis technology for images captured by the learner.
  • the acquisition unit 111 can also acquire the face image data of the learner from whom the emotion data has been acquired.
  • Analysis data generation unit 113 generates analysis data by calculating statistical values of emotion data for a predetermined period.
  • the emotion data acquisition unit 111 can acquire emotion data including identification information of the learning terminal. That is, in this case, the emotion data acquisition unit 111 can acquire the emotion data of each learner in a distinguishable manner.
  • the emotion data acquisition unit 111 can acquire emotion data accompanied by time data related to learning. Since the emotion data accompanies the time data, the emotion data acquisition unit 111 can acquire emotion data for generating analysis data for each chapter, for example, as will be described later.
  • the acquisition unit 111 further includes a motion analysis unit that analyzes the learner's motion from the learner's video.
  • the acquisition unit 111 can use FACS (Facial Action Coding System) theory that recognizes and encodes facial muscle movements and defines facial expressions and emotions.
  • the acquisition unit 111 can use remote PPG (Remote Photoplethysmography) to acquire results of estimating the heart rate and arousal level of the learner in front of the camera.
  • the receiving unit 112 receives the learner's answers (for example, correct or incorrect) to the learning content (for example, test questions) from the learning terminal.
  • the reception unit 112 acquires the learner's identification information and attribute data (for example, class, grade, etc.).
  • the reception unit 112 can measure the time from presentation of study content (for example, test questions) to input of answers.
  • the receiving unit 112 can identifiably acquire the answer result and answer time of each learner from a plurality of learning terminals.
  • the analysis data generation unit 113 generates analysis data for learning from the received emotion data, response results, and response time. Further, the analysis data generation unit 113 can generate analysis data for learning for each chapter from the data indicating the chapter received from the chapter generation unit 117 .
  • the analysis data generation unit 113 can analyze the learning situation of the learner using emotion data obtained by performing emotion analysis based on the face image of the learner (that is, using video analysis technology). For example, it is possible to grasp that the learner is not keeping up with the learning from the puzzled expression of the learner. Alternatively, it is possible to grasp a decrease in the degree of concentration from the movement of the learner's line of sight.
  • the analysis data generation unit 113 can recognize and code movements of facial muscles and use FACS (Facial Action Coding System) theory that defines facial movements and emotions.
  • FACS Joint Action Coding System
  • the analysis data generator 113 can use remote PPG (Remote Photoplethysmography) to estimate the learner's heart rate and wakefulness in front of the camera.
  • the analysis data generation unit 113 can grasp the time when the learner's line of sight in front of the camera is off the screen.
  • the analysis data generation unit 113 can further determine the degree of understanding of the learning content from the learner's answer result and answer time acquired from the reception unit 112 as information other than the video. For example, if the learner's answer is correct and the answer time is shorter than the threshold, it can be determined that the learner has a high degree of understanding of the content. On the other hand, if the learner's answer result is incorrect and the answer time is longer than the threshold, it can be determined that the learner's understanding of the content is low.
  • the analysis data generation unit 113 supplies the analysis data generated as described above to the content control unit 114 .
  • the analysis data generation unit 113 can generate analysis data including relative comparison results corresponding to the learning or learner attribute data from the learning or learner attribute data and the analysis history data 124 stored in the storage unit 120 . That is, the analysis data generation unit 113 extracts analysis data having attribute data corresponding to attribute data included in the learning data to be analyzed from the analysis history data 124, and generates a relative comparison result.
  • the analysis data generation unit 113 can also generate analysis data based on relative comparison of emotion data, response results, and response times for multiple learners.
  • the analysis data generator 113 may preferentially extract the most recent data from the analysis history data 124 . Further, the analysis data generation unit 113 may calculate the statistical value of the score of the analysis data in the corresponding attribute data from the analysis history data 124 and then perform relative comparison.
  • the analysis data generation unit 113 can generate analysis data for learning for each chapter when data indicating chapters for learning is generated.
  • the learning administration device 400 including the analysis device 100 can generate analysis data for each chapter and provide content corresponding to the generated analysis data.
  • the content control unit 114 can select content based on the analysis items. For example, if the analysis data includes scores for each of the analysis items of concentration, empathy, and understanding, the content control unit 114 can select content that matches the scores of concentration, empathy, and understanding. As a result, the analysis device 100 can provide detailed content to the learner.
  • the content control unit 114 can select content for which the analysis data falls within the threshold range. For example, the analysis data generation unit 113 generates a score for the analysis item “level of understanding” using a numerical value between zero and 100, and the larger the value, the higher the degree of understanding of the participant. It is also assumed that the content control unit 114 has set a threshold of 50 for the degree of comprehension. In this case, when the comprehension analysis data falls below 50, the content control unit 114 selects content for increasing the score from the content stored in the content data 121 (for example, for a learner with a low comprehension content that is easy to understand). For example, in this case, if the contents are exam questions, the contents data 121 stores questions with different degrees of difficulty. For a learner with a low degree of understanding, the content control unit 114 can select this low-difficulty test question as content.
  • the content data stores various online course content after the exam questions.
  • various online class contents include contents with various explanation methods, contents with different playback speeds, and the like.
  • the content control unit 114 selects content for increasing the score from the content stored in the content data 121 (for example, even for learners with low comprehension) Select content with a relatively slow playback speed that will be explained in an easy-to-understand manner. With such a configuration, the analysis device 100 can provide content for effective learning to the user.
  • the content control unit 114 selects content for each generated analysis data for each chapter. As a result, the analysis apparatus 100 can provide optimum content for each chapter.
  • the person identification unit 116 may have a function of extracting facial feature information of a person related to the face image from the face image data and estimating the category to which the person belongs according to the extracted information.
  • the category to which a person belongs indicates characteristics or attributes of the person, such as age or sex of the person.
  • the person identification unit 116 uses the function described above to identify the category to which the participant of the face image data received from the acquisition unit 111 belongs.
  • the person identification unit 116 supplies data relating to classification of persons to the analysis data generation unit 113 .
  • the person identification unit 116 may use the person attribute data 123 stored in the storage unit 120 to identify the category to which the identified participant belongs.
  • the person identification unit 116 associates the facial feature information extracted from the facial image with the person attribute data 123, and identifies the category of the participant corresponding to the facial feature information.
  • Classification of the participants in this case includes, for example, the school to which the learner belongs, the class within the school, and the like. With such a configuration, the analysis device 100 can extract data that can be used for analysis data while taking into account the learner's privacy.
  • the person identification unit 116 may identify a person whose face image is based on the face image data received from the reception unit 112 .
  • the person identification unit 116 associates the facial feature information extracted from the facial image with the personal attribute data 123 stored in the storage unit 120 to identify the participant corresponding to the facial feature information.
  • the person identification unit 116 can identify each participant of the study.
  • the analysis device 100 can generate analysis data associated with the specified participant. Therefore, analysis device 100 can perform detailed analysis on the specified participant.
  • the chapter generation unit 117 generates chapters for learning from the learning content data received from the content providing unit 115 .
  • the chapter generation unit 117 detects, for example, the time from the start of learning to the end of learning, further detects the time that matches a preset condition, and generates data indicating chapters with each time as a delimiter. do.
  • a learning chapter in the present disclosure is defined by whether a state that meets a predetermined condition is maintained in learning, or whether the predetermined condition has changed.
  • the chapter generation unit 117 may generate chapters based on exam questions included in the content, for example. More specifically, the chapter generator 117 may generate chapters according to the content switching timing after the test questions. Alternatively, a chapter may be generated for each multiple test questions (for example, every five questions).
  • the chapter generation unit 117 supplies data indicating the generated chapters to the analysis data generation unit 113 .
  • the storage unit 120 is a storage device including non-volatile memory such as SSD or flash memory. Storage unit 120 stores personal attribute data 123 and analysis history data 124 in addition to content data 121 and analysis result storage area 122 .
  • the person attribute data 123 is data in which a person's facial feature information is associated with information about a person's classification and attributes.
  • the information about the classification and attributes of the person is, for example, the person's name, sex, age, affiliated school, affiliated company, and occupation, but is not limited to these.
  • the analysis history data 124 is analysis data related to analyzes performed by the analysis device 100 in the past, that is, analysis data generated by the analysis data generation unit 113 of the analysis device 100 in the past.
  • the storage unit 120 stores, for example, a program for executing the analysis method according to the present embodiment.
  • FIG. 7 is a diagram illustrating an example of data processed by an analysis data generation unit; FIG. 7 shows an input data group received by the analysis data generation unit 113 and an output data group output by the analysis data generation unit 113.
  • Analysis data generation unit 113 receives emotion data as an input data group from emotion data generation device 300 .
  • the input data group includes, for example, indicators of concentration, confusion, contempt, disgust, fear, happiness, anxiety, empathy, surprise, and presence. These indexes are indicated by numerical values from 0 to 100 for each index, for example. For the index shown here, for example, the greater the value, the greater the reaction of the learner to that emotion.
  • the emotion data of the input data group may be obtained from face image data by using existing video analysis techniques, or may be generated and obtained by other methods.
  • the analysis data generator 113 includes a distribution calculator 1131 .
  • the distribution calculation unit 1131 calculates the distribution of specific emotion data from the emotion data of multiple learners.
  • FIG. 8 shows an example distribution of specific emotion data calculated from the emotion data of multiple learners.
  • the horizontal axis indicates the degree of concentration, and the vertical axis indicates the number of students.
  • the distribution calculator 1131 can specify a range exceeding a predetermined threshold value (for example, standard deviation ⁇ , 2 ⁇ , or 3 ⁇ ) from the average value.
  • the distribution calculator 1131 can identify an upper range (eg, above the standard deviation ⁇ ), a lower range (eg, below the standard deviation ⁇ ), or both.
  • analytical data may be generated that identifies students with low comprehension that fall within the lower bounds of the distribution.
  • Analytical data may also be generated that identify students with average comprehension that falls between the lower and upper bounds of the distribution. Additionally, analytical data may be generated that identifies students with high comprehension that fall within the upper bounds of the distribution. In this way, by statistically analyzing the emotion data of multiple learners, it is possible to identify learners who behave abnormally. Examples of abnormal behaviors include, but are not limited to, decreased concentration, inability to keep up with classes, and suspicion of cheating.
  • the number of learners refers to a number corresponding to at least one class (for example, 20 or more, 30 or more, 100 or more, or any suitable number or more), or a number corresponding to at least one grade (eg, 100 or more, 200 or more, or any suitable number or more).
  • the analysis data generation unit 113 can calculate the learner's accuracy rate for a certain question and determine the difficulty of the question. For example, even though the accuracy rate of all learners in a class exceeds 70% (i.e., an easy problem), if a learner gets the problem wrong, the learner will not be able to understand. can decide not to. On the other hand, for example, if the correct answer rate of all learners in one class is less than 30% (that is, a difficult problem), even if a learner gets the problem wrong, the learner cannot understand it. You don't have to judge
  • the analysis data generation unit 113 When the analysis data generation unit 113 receives the above-described input data group, it performs preset processing and generates an output data group using the input data group.
  • the output data group is data that the user using the analysis system 10 refers to for efficient learning.
  • the output data group includes, for example, concentration, empathy, and comprehension.
  • the analysis data generator 113 extracts a preset index from the input data group.
  • the analysis data generation unit 113 performs preset arithmetic processing on the values related to the extracted indices.
  • the analysis data generation unit 113 then generates the above-described output data group.
  • the degree of concentration shown as the output data group may be the same as or different from the degree of concentration included in the input data group.
  • the empathy level shown as the output data group may be the same as or different from the empathy level included in the input data group.
  • FIG. 9 is a block diagram showing the configuration of the emotion data generation device according to the third embodiment.
  • the emotion data generation device 300 has a learner data acquisition unit 311, an emotion data generation unit 312, and an emotion data output unit 313 as main components.
  • the learner data acquisition unit 311 acquires data on the learner from the learning administration device 400.
  • the data about the learner is face image data of the learner captured by the learning terminal.
  • Emotion data generation unit 312 generates emotion data from the face image data received by emotion data generation device 300 .
  • Emotion data output unit 313 outputs the emotion data generated by emotion data generation unit 312 to analysis apparatus 100 via network N.
  • the emotion data generation device 300 generates emotion data by performing predetermined image processing on the face image data of the learner. Predetermined image processing includes, for example, extraction of feature points (or feature amounts), matching of the extracted feature points with reference data, convolution processing of image data, processing using machine-learned teacher data, and deep-learning teacher data. processing using However, the method by which emotion data generation device 300 generates emotion data is not limited to the above-described processing.
  • the emotion data may be numerical values that are indicators of emotions, or may include image data used to generate the emotion data.
  • the learner data acquisition unit 311 may additionally acquire biological information such as heart rate and pulse from a wearable device (eg, smart watch) worn by the learner.
  • a wearable device eg, smart watch
  • the data on learners may include data for distinguishing between learners.
  • the data about the learner may include the identifier of the learning terminal that captured the face image data of the learner.
  • the emotion data generation unit 312 can generate emotion data in a state in which learners can be distinguished.
  • the emotion data output unit 313 generates emotion data corresponding to the learning terminals such that each learning terminal can be distinguished, and supplies the emotion data acquisition unit 111 with the generated emotion data.
  • the emotion data generation device 300 has a processor and a storage device (not shown).
  • a storage device of the emotion data generation device 300 stores a program for executing emotion data generation according to the present embodiment.
  • the processor also loads the program from the storage device into the memory and executes the program.
  • Each configuration of the emotion data generation device 300 may be realized by dedicated hardware. Also, part or all of each component may be realized by a general-purpose or dedicated circuit, processor, etc., or a combination thereof. These may be composed of a single chip, or may be composed of multiple chips connected via a bus. A part or all of each component of each device may be implemented by a combination of the above-described circuits and the like and programs. Moreover, CPU, GPU, FPGA, etc. can be used as a processor.
  • each component of the emotion data generation device 300 when a part or all of each component of the emotion data generation device 300 is implemented by a plurality of arithmetic devices, circuits, etc., the plurality of arithmetic devices, circuits, etc. may be centrally arranged or distributed. may be placed.
  • arithmetic devices, circuits, and the like may be implemented as forms in which each is connected via a communication network, such as a client-server system, a cloud computing system, or the like.
  • the functions of the emotion data generation device 300 may be provided in SaaS format.
  • FIG. 10 is a flow chart showing an analysis method according to the third embodiment.
  • the processing shown in FIG. 10 differs from the processing according to the second embodiment in that analysis data is output each time a new chapter is generated during learning.
  • the analysis device 100 determines whether online learning has started (step S31).
  • Analysis device 100 determines the start of learning (for example, a class or an exam) by receiving a signal indicating that learning has started from learning administration device 400 .
  • the content providing unit 115 provides learning content to one or more learning terminals in real time. If it is not determined that online learning has started (step S31: NO), the analyzer 100 repeats step S31. If it is determined that online learning has started (step S31: YES), the analysis device 100 proceeds to step S32.
  • step S32 the emotion data acquisition unit 111 starts acquiring emotion data of one or more learners from the emotion data generation device (step S32).
  • Emotion data acquisition section 111 may acquire generated emotion data each time the emotion data generation device generates emotion data, or may collectively acquire emotion data at a plurality of different times.
  • the accepting unit 112 accepts learning data relating to one or more learners' responses to test questions during online learning and response times (step S33).
  • the receiving unit 112 may receive such learning data for each predetermined number of questions, or may sequentially receive each test question.
  • step S34 determines whether or not a new chapter can be generated from the received learning data. If it is not determined that a new chapter can be generated (step S34: NO), the analyzer 100 returns to step S32. On the other hand, if it is determined that a new chapter can be generated (step S34: YES), the analysis device 100 proceeds to step S35.
  • step S25 the chapter generation unit 117 generates chapters from the learning data received from the reception unit 112 (step S35).
  • the analysis data generation unit 113 generates the emotion data received from the emotion data acquisition unit 111, the response result (after birth) and response time received from the reception unit 112, and the chapter data received from the chapter generation unit 117. , and the data received from the person identification unit 116, analysis data for the newly generated chapter is generated (step S36). It is also possible to generate analytical data identifying learners who behave abnormally based on the distribution of emotion data of multiple learners. For example, it is also possible to generate analysis data that identifies learners with a high degree of understanding, learners with an intermediate degree of understanding, and learners with a low degree of understanding.
  • the content control unit 114 selects content corresponding to the analysis data from the content data 121 in the storage unit 120 (step S37). Further, the content control unit 114 causes the analysis result including the selected content to be stored in the analysis result storage area 122 of the storage unit 120 so as to be output (step S38). For example, for learners with a high degree of understanding, the first content (for example, class content with a fast playback speed or exam questions with a high degree of difficulty), for learners with an intermediate degree of understanding, the second 2 content (e.g. medium-playback class content, or medium-difficulty exam questions), and for learners with low comprehension, third content (e.g., slow-playback speed) class content, or exam questions with a low degree of difficulty) are selected.
  • the first content for example, class content with a fast playback speed or exam questions with a high degree of difficulty
  • the second 2 content e.g. medium-playback class content, or medium-difficulty exam questions
  • third content e.g., slow-
  • step S39 the analysis device 100 determines whether or not learning has ended.
  • Analysis device 100 determines the end of learning by receiving a signal indicating that learning has ended from learning administration device 400 . If it is not determined that learning has ended (step S39: NO), the analyzer 100 returns to step S32 and continues the process. On the other hand, if it is determined that the online learning has ended (step S39: YES), the analysis device 100 ends the series of processes.
  • the analysis device 100 can generate analysis data for each generated chapter each time a new chapter is generated, and select content corresponding to the generated analysis data.
  • the learner using the analysis system 10 can effectively proceed with the learning by using the optimum content provided each time a new chapter is generated in the learning during playback.
  • FIG. 11 is a diagram showing an example of analysis data.
  • FIG. 11 shows a graph G11 showing analysis data in chronological order at the top.
  • a graph G11 shows the transition of the analysis data of a certain student.
  • the monitor screen data G12 corresponding to the time series is shown in the upper middle row.
  • the learning data shows a monitoring screen that captures the faces of the students in the class, and an administrator screen that captures the speaker (mainly the teacher) (can also be switched to a screen that captures textbooks, blackboards, or exam questions). ing.
  • analysis data G13 for each chapter corresponding to the graph G11 is shown. Chapters are generated each time the administrator presents the students with test questions to measure their comprehension of the lesson.
  • answer data G14 showing the answer results and answer times for the students' examination questions is shown.
  • the horizontal axis indicates time
  • the vertical axis indicates the score of analysis data.
  • the left end is time T10
  • the right end is time T15.
  • Time T10 is the learning start time
  • time T15 is the learning end time.
  • Time T11, T12, T13 and T14 between time T10 and time T15 indicate times corresponding to chapters described later.
  • the graph G11 plots the first analysis data L11 indicated by a solid line, the second analysis data L12 indicated by a dotted line, and the third analysis data L13 indicated by a two-dot chain line.
  • the first analysis data L11 indicates the degree of concentration in the analysis data.
  • the second analysis data L12 indicates the degree of empathy in the analysis data.
  • the third analysis data L13 indicates the degree of comprehension in the analysis data.
  • the learning data G12 data related to the learner monitoring screen during class and data related to the administrator screen are shown in chronological order. A certain student D's face image is displayed in the data regarding the learner monitoring screen. Further, in the learning data G12, the data regarding the administrator indicates that the administrator W1 (for example, the teacher or the test supervisor) was from time T10 to time T15.
  • the administrator W1 for example, the teacher or the test supervisor
  • the relationship between the monitoring screen and the administrator screen (for example, mainly the teacher) in the learning data G12 described above will be explained in chronological order. From time T10 to time T15, the face image of each student is displayed on the monitoring screen.
  • the learning data shown in FIG. 11 includes data on the period during which the screen data on the monitoring screen was displayed and data on the administrator screen indicating who the administrator was.
  • the chapter generation unit 117 generates chapters according to the data relating to the administrator screen among the learning data described above.
  • a chapter may also be generated at the timing when an administrator who is a teacher switches to a screen in which a textbook, a blackboard, or an exam question is photographed.
  • the analysis data G13 includes analysis data corresponding to each chapter.
  • Analysis data also called sentiment analysis data
  • the concentration level is 65
  • the empathy level is 50
  • the understanding level is 43 as analysis data corresponding to chapter C11.
  • the overall score is shown as 158 as the sum of these.
  • analysis data corresponding to chapter C12 indicates a concentration of 61, an empathy of 45, an understanding of 32, and a total score of 138.
  • analysis data indicated as analysis data G13 is the average value of the analysis data calculated for each predetermined period (for example, one minute) during the period of the corresponding chapter.
  • the answer data G14 indicates the answer result and answer time for a certain learner's test question.
  • the test question 1 of chapter C11 the answer is correct, and the response time is 15 seconds.
  • Question 2 of chapter C12 is incorrect and the response time is 26 seconds.
  • Question 3 of chapter C13 is incorrect, and the response time is 33 seconds.
  • the test question 4 of chapter C14 the answer is correct and the response time is 15 seconds.
  • Question 5 of chapter C15 is incorrect and the response time is 42 seconds.
  • the chapter generation unit 117 sets the timing at which the supervisor presents the test questions to the students as the chapter switching timing. Then, the analysis data generation unit 113 calculates analysis data from the start of learning to the end of learning for each chapter described above. As a result, the analysis system 10 can provide analysis data each time the learner's understanding of the test questions is confirmed.
  • the analysis system 10 calculates and plots analysis data for each predetermined period, as shown in the graph G11 described above. This allows the analysis system 10 to show detailed changes in analysis data during learning.
  • the analysis data generation unit 113 first calculates the statistic value (for example, average value) of the emotion data in the chapter after the chapter ends, and then calculates the analysis data may be calculated. For example, as shown in FIG. 8, it is possible to calculate the distribution in order to relatively compare each learner's emotion data. Also, from the distribution, it is possible to identify a range exceeding a predetermined threshold (for example, standard deviation ⁇ , 2 ⁇ , or 3 ⁇ ) from the average value.
  • a predetermined threshold for example, standard deviation ⁇ , 2 ⁇ , or 3 ⁇
  • FIG. 12 is a diagram showing an example of content data.
  • the table shown in FIG. 12 shows learning types, analysis items, scores, and alerts.
  • the learning type is an item included in the attribute data of learning and is used to classify learning into preset types.
  • Content data 121 shown in FIG. 12 indicates items of “online class” and “online examination” as learning types.
  • the learning type may include specific subjects such as “online mathematics class” and “online English test”, but is not limited to the above items.
  • the content data 121 shown in FIG. 12 indicates "degree of concentration” and “degree of empathy” as analysis items corresponding to "online class". This indicates that content is selected by focusing on the "concentration level” and “empathy level” among the analysis items included in the analysis data in learning classified as an online test.
  • the score "50-100” and the score "0-49” are shown on the right side of "concentration”. To the right of each score, the student's answers to the exam questions are shown. Corresponding content is shown to the right of each score and answer result. If the student's answer to the test question is "correct” with a score of "50-100", content 1 is continued. On the other hand, if the student's answer to the test question is "wrong” with a score of "0-49", the content is changed to content 2 that increases the degree of concentration.
  • “online exam” is shown in the column under the learning type "online class”.
  • the analysis item corresponding to the online test indicates “comprehension”.
  • the student's answers to the exam questions are shown for each "level of understanding”.
  • the score corresponding to the degree of comprehension is "80-100”, and if the student's answer to the exam question is "correct”, the question is changed to a question with a higher degree of difficulty.
  • the score corresponding to the degree of comprehension is "0-40”, and if the student's answer to the test question is "wrong”, the question is changed to a question with a lower difficulty level.
  • the content data 121 stores learning types, analysis items, analysis item scores, answer results, and content in association with each other.
  • the content control unit 114 collates the response data received from the reception unit 112, the analysis data received from the analysis data generation unit 113, and the content data 121, and selects the corresponding content. Therefore, the analysis device 100 can provide the learner with appropriately selected content according to the learning attribute data, the score of the analysis data, and the like.
  • the content data 121 may employ, for example, the subject of learning, the purpose of learning, or the like, in addition to the learning type, as learning attribute data.
  • the analysis system 10 is not limited to the configuration described above.
  • the content providing unit may adjust the timing of providing the content based on the Ebbinghaus forgetting curve.
  • the learner's proficiency level is estimated from the emotion data and the answer data, and when the learner's memory retention rate falls below a threshold value (for example, 20%), the content control unit restores the memory. select content. Then, the content providing unit can provide the selected content at an appropriate timing.
  • a learner's own forgetting curve may be estimated, and content may be provided at appropriate times according to this forgetting curve.
  • the timing of providing content can be set by referring to a theory that expresses the relationship between performance and tension, called the Yerkes-Dodson Law. For example, while the learner's degree of concentration is high, the content control section may select a question with a high degree of difficulty. In addition, when the learner's degree of concentration has decreased, the content control unit may select a question that the learner is good at. In order to prevent a decrease in motivation in online learning, it is possible to provide content with an appropriate sense of tension.
  • the content control unit may select content that alleviates visual pressure when the learner's degree of fatigue has decreased.
  • Methods to reduce visual pressure include adjusting contrast, eliminating corners in figures and tables, and increasing letter spacing.
  • Non-transitory computer-readable media include various types of tangible storage media.
  • Examples of non-transitory computer-readable media include magnetic recording media (e.g., flexible discs, magnetic tapes, hard disk drives), magneto-optical recording media (e.g., magneto-optical discs), CD-ROM (Read Only Memory) CD-R, CD - R/W, including semiconductor memory (eg Mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), Flash ROM, RAM (Random Access Memory)).
  • the program may also be delivered to the computer by various types of transitory computer readable media. Examples of transitory computer-readable media include electrical signals, optical signals, and electromagnetic waves. Transitory computer-readable media can deliver the program to the computer via wired channels, such as wires and optical fibers, or wireless channels.
  • (Appendix 1) a content providing unit that provides content including test questions to learners; an acquisition unit that acquires emotion data for learning of the learner, whose emotion analysis is performed on the face image data of the learner who learns using the content; a reception unit that receives the learner's answer to the test question; a content control unit that controls subsequent content based on the acquired emotion data and the response result;
  • An analysis device comprising: (Appendix 2) The reception unit acquires the learner's answer to the test question and the time required for the answer, The analysis device according to appendix 1, wherein the content control unit changes subsequent content based on the acquired emotion data, the response result, and the response time.
  • (Appendix 3) Further comprising a motion analysis unit that analyzes the learner's motion from the learner's video, 3.
  • the analysis device according to appendix 1 or 2, wherein the content control unit changes subsequent content based on the obtained emotion data, the response result, and the motion analysis result.
  • the content providing unit provides content to the plurality of learners,
  • the acquisition unit acquires emotion data for learning of each learner, in which emotion analysis is performed on face image data of each learner who learns using the content, Analysis data for aggregating the emotion data of the plurality of learners based on the emotion data of each learner, comparing the emotion data of the plurality of learners, and identifying the emotion data of one or more learners.
  • a generator 4.
  • the analyzer according to any one of appendices 1 to 3, wherein the content control unit changes subsequent content for the identified one or more learners.
  • the receiving unit receives the answer results of the plurality of learners to the test questions
  • the analysis data generation unit aggregates the emotion data and response data of each learner, compares the emotion data of the plurality of learners and the response results of the plurality of learners, and identifies the emotion data of one or more learners.
  • the analysis device according to appendix 4, wherein the content control unit controls the content of the identified one or more learners.
  • the analysis data generation unit calculates a distribution regarding a specific emotion and a distribution of specific response results from the emotion data and response data of a plurality of learners, and based on the distribution, one or more learners exceeding outliers identify the person
  • the analysis device according to appendix 5, wherein the content control unit controls the content of the identified one or more learners.
  • Appendix 7) 7.
  • the analyzer according to any one of appendices 1 to 6, wherein the content control unit selects content according to a learner's forgetting curve for specific content.
  • Appendix 8) 8.
  • the analysis device according to any one of attachments 1 to 7, wherein the content control unit selects content with different difficulty levels, content with different playback speeds, or content with different visual pressures.
  • (Appendix 9) Provide learners with content, including test questions, Acquiring emotion data for learning of the learner whose face image data has been subjected to emotion analysis for learning using the content, Receiving the learner's answer to the test question, An analysis method for controlling subsequent content based on the obtained emotion data and the result of the answer.
  • (Appendix 10) Provide learners with content, including test questions, Acquiring emotion data for learning of the learner whose face image data has been subjected to emotion analysis for learning using the content, Receiving the learner's answer to the test question, An analysis program that causes a computer to control subsequent content based on the obtained emotion data and the result of the response.
  • analysis system 90 study terminal group 100 analysis device 111 acquisition unit 112 reception unit 113 analysis data generation unit 1131 distribution calculation unit 114 content control unit 115 content provision unit 116 person identification unit 117 chapter generation unit 120 storage unit 121 content data 122 analysis result Storage area 123 Personal attribute data 124 Analysis history data 300 Emotion data generation device 311 Learner data acquisition unit 312 Emotion data generation unit 313 Emotion data output unit 400 Learning operation device 990 Administrator terminal N network

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Tourism & Hospitality (AREA)
  • Theoretical Computer Science (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

学習者に適したコンテンツを提供可能な分析装置等を提供する。分析装置（１００）は、学習者に対して、試験問題を含むコンテンツを提供するコンテンツ提供部（１１５）と、コンテンツを用いて学習する学習者の顔画像データに対して感情分析が実行された、当該学習者の学習に対する感情データを取得する取得部（１１１）と、試験問題に対する前記学習者の回答を受け付ける受け付け部（１１２）と、前記取得された感情データ、及び前記回答の結果に基づいて、後続するコンテンツを制御するコンテンツ制御部（１１４）と、を備える。

Description

分析装置、分析方法及び非一時的なコンピュータ可読媒体
　本発明は分析装置、分析方法及び分析プログラムに関する。
　情報通信技術の進展によりオンライン学習やオンライン試験が広く利用されるようになっている。オンライン学習中の学習者の状況を分析する技術が提案されている。
　例えば、特許文献１には、コンピュータによって人の動的な顔画像データから感情の変化を高い精度で推定することを可能とすると共に、ｅ－ラーニングに代表される学習支援システムを利用する学習者の感情をそれによって把握することでその感情に即した学習教材をより高い精度で提供することを可能とする感情推定システム及びそれを利用した学習システムが開示されている。
　また、特許文献２には、学習者の学習を支援する情報処理装置が開示されている。この情報処理装置は、学習者の理解度に応じた新たな問題を生成して、又は、問題データベースから取得して、学習者端末に提示する。
特開２０１１－０３９９３４号公報 国際公開第２０１９／１７６３７３号
　上記の特許文献１に係る学習システムでは、依然として、学習者に適した学習教材を精度良く提供することができない。また、上記の特許文献２に係る情報処理装置も、依然として、学習者に十分に適した学習教材を提供することができない。
　本開示はこのような課題を鑑みてなされたものであり、学習者に適したコンテンツを提供可能な分析装置、分析方法、および分析プログラムを提供することを目的とする。
　本開示の第１の態様にかかる分析装置は、
　学習者に対して、試験問題を含むコンテンツを提供するコンテンツ提供部と、
　前記コンテンツを用いて学習する学習者の顔画像データに対して感情分析が実行された、当該学習者の学習に対する感情データを取得する取得部と、
　当該試験問題に対する前記学習者の回答を受け付ける受け付け部と、
　前記取得された感情データ、及び前記回答の結果に基づいて、後続するコンテンツを制御するコンテンツ制御部と、
を備える。
　本開示の第２の態様にかかる分析方法は、学習者に対して、試験問題を含むコンテンツを提供し、
　前記コンテンツを用いて学習する学習者の顔画像データに対して感情分析が実行された、当該学習者の学習に対する感情データを取得し、
　当該試験問題に対する前記学習者の回答を受け付けて、
　前記取得された感情データ、及び前記回答の結果に基づいて、後続するコンテンツを制御する。
　本開示の第３の態様にかかる分析プログラムは、学習者に対して、試験問題を含むコンテンツを提供し、
　前記コンテンツを用いて学習する学習者の顔画像データに対して感情分析が実行された、当該学習者の学習に対する感情データを取得し、
　当該試験問題に対する前記学習者の回答を受け付けて、
　前記取得された感情データ、及び前記回答の結果に基づいて、後続するコンテンツを制御することを、コンピュータに実行させる。
　本開示によれば、学習者に適したコンテンツを提供可能な分析装置、分析方法および分析プログラムを提供することができる。
実施形態１にかかる分析装置の構成を示すブロック図である。 実施形態１にかかる分析方法を示すフローチャートである。 実施形態２にかかる分析装置の構成を示すブロック図である。 実施形態２にかかる分析方法を示すフローチャートである。 実施形態３にかかる分析システムの構成を示すブロック図である。 実施形態３にかかる分析装置の構成を示すブロック図である。 分析データ生成部が処理するデータの例を示す図である。 複数の学習者の感情データから算出された、特定の感情データについての分布の例を示す。 実施形態３にかかる感情データ生成装置の構成を示すブロック図である。 実施形態３にかかる分析方法を示すフローチャートである。 分析データの例を示す図である。 コンテンツデータの例を示す図である。
　以下では、本開示の実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。
　＜実施形態１＞
　図１は、実施形態１にかかる分析装置１００の構成を示すブロック図である。
　分析装置１００は、プロセッサ及びメモリなどを有するコンピュータなどの情報処理装置により実現される。分析装置１００は、オンライン学習又はオンライン試験等の学習において、学習者の感情を分析するために使用される。
　分析装置１００は、学習者に対して、試験問題を含むコンテンツを提供するコンテンツ提供部１１５と、コンテンツを用いて学習する学習者の顔画像データに対して感情分析が実行された、当該学習者の学習に対する感情データを取得する取得部１１１と、試験問題に対する前記学習者の回答を受け付ける受け付け部１１２と、前記取得された感情データ、及び前記回答結果に基づいて、後続するコンテンツを制御するコンテンツ制御部１１４と、を備える。
　図２は、実施形態１にかかる分析方法を示すフローチャートである。図２に示すフローチャートは、例えば分析装置１００が学習運営装置から学習の開始を示す信号を受け取ることにより開始する。
　コンテンツ提供部１１５は、学習者に対して、試験問題を含むコンテンツを提供する（ステップＳ１１）。取得部１１１は、コンテンツを用いて学習する学習者の顔画像データに対して感情分析が実行された、当該学習者の学習に対する感情データを取得する（ステップＳ１２）。受け付け部１１２は、試験問題に対する学習者の回答を受け付ける（ステップＳ１３）。コンテンツ制御部１１４は、取得された感情データ、及び前記回答結果に基づいて、後続するコンテンツを制御する（ステップＳ１４）。
　以上説明した本実施形態によれば、学習者の感情分析および回答結果に基づいて、学習者に適したコンテンツを提供可能な分析装置、および分析方法を提供することができる。
　＜実施形態２＞
　図３は、実施形態２にかかる分析装置１００の構成を示すブロック図である。分析装置１００は、オンライン学習又はオンライン試験の学習者又は受験者の顔画像情報から感情データを取得し、取得した感情データから当該オンライン学習又はオンライン試験にかかる分析データを生成して、生成した分析データに基づいて、学習コンテンツを変更する。
　本実施形態において、オンライン学習とは、通信回線を介して互いに通信可能に接続された１つ又は複数の学習端末を利用して行なわれる学習をいう。オンライン学習は、授業映像がリアルタイムに配信される形式でもよいし、オンデマンドで配信される形式でもよい。学習端末の数は、限定されないが、例えば、学校の１つのクラスに所属する生徒数（例えば、２０人、３０人又は任意の好適な数）、学校の１学年に対応する生徒数（例えば、１００名又は任意の好適な数）、資格試験の受験者数（例えば、３０００人又は任意の好適な数）などであってもよい。本明細書で使用されるオンライン学習には、学校や塾などで行われるオンライン授業（遠隔合同授業とも呼ばれる）だけでなく、入学試験、入社試験、選抜試験および学校等の期末試験などオンライン試験（遠隔合同試験とも呼ばれる）なども含むものとする。オンライン学習に使用する学習端末は、例えばパソコン、スマートフォン、タブレット端末、カメラ付き携帯電話等、任意の好適な端末である。また学習端末は、学習者を撮影するカメラ、学習者の発話を収音するマイクおよび画像データや音声データを送受信する通信機能を有する装置であれば上記のものに限られない。また以降の説明においてオンライン学習を、単に「学習」と称する場合がある。
　本実施形態においてオンライン学習の学習者とは、学習端末を通じてオンライン学習を行っている人物を指す。学習の管理者は、学習の主催者、学習の先生、試験監督などを含む。本実施形態において学習者は学習端末が内蔵するまたは学習端末に接続されたカメラにより学習者の顔画像が撮影可能な状態で学習に参加するものとする。
　分析装置１００は、オンライン学習における学習者の顔画像等から感情データを生成する感情データ生成装置および学習を運営する学習運営装置と通信可能にそれぞれ接続する。また分析装置１００は、学習運営装置に内蔵されてもよい。分析装置１００を利用する管理者が有する端末（管理者端末）は、分析装置１００と通信可能に接続する。図３に示すように、分析装置１００は主な構成として、感情データ取得部１１１、受け付け部１１２、分析データ生成部１１３、コンテンツ制御部１１４、コンテンツ提供部１１５および記憶部１２０を有する。
　取得部１１１は、感情データ生成装置から感情データを取得する。感情データ生成装置は、オンライン学習における学習の参加者の顔画像データから感情データを生成し、生成した感情データを分析装置１００に供給する。感情データは、学習の参加者がそれぞれ有する感情を示す指標となるデータである。
　感情データは、例えば、集中度、困惑度、幸福度、不安および驚きなど複数の項目を含む。すなわち感情データは、上述のそれぞれの項目ごとに、学習者がどの程度これらの感情を感じているかを示すものである。取得部１１１が取得する感情データは、時刻データを伴う。感情データ生成装置は、所定期間（例えば１秒間）毎の感情データを生成する。取得部１１１は、学習の進行時刻に沿った所定時間ごとの感情データを取得する。取得部１１１は、感情データを取得すると、取得した感情データを分析データ生成部１１３に供給する。
　受け付け部１１２は、学習端末を介して、学習者が学習運営装置から提供された試験問題に対する回答を受け付ける。学習運営装置は、例えば学習者のそれぞれが学習端末を介して通信可能に接続するサーバ装置である。いくつかの実施形態では、学習運営装置は、学習者が利用する学習端末に含まれるものであってもよい。学習コンテンツデータは、時刻データを伴う学習に関するデータである。より具体的には、学習コンテンツデータは、学習の開始時刻および終了時刻を含む。また学習コンテンツデータは、授業中に取られた休憩の時刻を含む。
　受け付け部１１２は、学習の属性データを含む学習コンテンツデータを取得する。学習の属性データとは、例えば、オンライン授業、オンライン試験（より具体的には、例えば、選抜試験、期末試験など）などの、学習の種別を示す情報を含み得る。また学習者の属性データとは、学習の参加者が所属する学校に関する情報を含み得る。また学習の属性データは、学習の科目、学習の目的等に関する情報を含み得る。受け付け部１１２は、取得した回答データを、分析データ生成部１１３およびコンテンツ制御部１１４に供給する。
　分析データ生成部１１３は、受け取った感情データ、回答データおよびチャプタを示すデータから、学習に対する分析データを生成する。分析データは、感情データ及び回答データから導出されるデータであって、複数の感情を示す項目から抽出または算出されるデータである。分析データは、学習の運営に役立つような指標であることが好ましい。例えば分析データは、学習に対する集中度、および理解度を含むものであってもよい。このように、分析データ生成部１１３は、予め設定された複数の分析項目に応じた分析データを生成する。これにより分析装置１００は、効率よく学習を行うための複数の観点から分析データを生成できる。分析データ生成部１１３は、複数の学習者についての分析データを生成することができる。
　分析データ生成部１１３は、学習コンテンツデータと、特定の学習者の感情データを比較することで、特定の学習者の分析データ（例えば、学習コンテンツデータに対する集中度、不安、および理解度の推移）を生成することができる。例えば、授業中の特定のシーンについて、ある学習者の集中度が低下していることを分析することができる。しかし、一人の学習者の分析データだけでは、学習者個人の問題なのか、学習コンテンツの問題なのかを区別することができない。そこで、本実施形態にかかる分析データ生成部は、複数の学習者の感情データを集計し、大量のデータを統計的に処理することができる。
　分析データ生成部１１３は、分布算出部１１３１を更に含む。分布算出部１１３１は、各学習者の特定の分析データ（例えば、集中度）から（すなわち、集計データから）、特定の分析データに関する分布を算出する。例えば、授業のあるシーンにおいて、特定の感情データ（例えば、集中度）の分布から、平均値から所定の閾値（例えば、標準偏差σ、２σ、３σなど）を超えたものを特定する。これにより、学習者個人の問題なのか、学習コンテンツデータ（例えば、先生の教え方）の問題なのかを区別することができる。例えば、授業中の特定のシーンにおいて、ほぼ学習者全員の集中度が低い場合、学習者のほぼ全員がノートを取っていると判定される場合がある。一方、学習者のほぼ全員が、集中度が低い場面で、一部の学習者の集中度が著しく高い場合は、異常行動を取っている（例えば、授業とは異なる事を行っている）と判定される場合もある。また、一部の学習者だけの集中度が著しく低い場合、当該一部の学習者は、授業についていけていないと判定される場合がある。
　オンライン試験の場合も、同じ問題を解いているときの、各受験者の感情データを統計的に処理し、異常行動を取る受験者を特定することができる。例えば、ある受験者の集中度が著しく低い場合、不正を行っていると判定される場合がある。
　分析データ生成部１１３は、受け付け部１１２から受け取った複数の学習者の、特定の試験問題に対する回答データを統計的に処理することもできる。例えば、ある試験問題に対して、１クラスの全学習者の正解率が閾値（例えば、３０％）未満の場合は、当該問題は、難しい問題であると判断することができる。一方、ある試験問題に対して、１クラスの全学習者の正解率が閾値（例えば、７０％）以上の場合は、当該問題は、易しい問題であると判断することができる。
　なお、分析データ生成部１１３は、受け付け部１１２から受け取った属性データに応じて、分析データの算出の方法を設定するものであってもよい。すなわちこの場合、分析データ生成部１１３は、受け付け部１１２から受け取った属性データ（例えば、オンライン授業、オンライン試験、科目）に応じて、分析データの算出方法を選択する。これにより、分析装置１００は、学習の属性に応じた分析データを算出できる。分析データ生成部１１３は、分析データを生成すると、生成した分析データをコンテンツ制御部１１４に供給する。
　コンテンツ制御部１１４は、分析データ生成部１１３から分析データを受け取ると共に、記憶部１２０からコンテンツデータ１２１を読み取る。またコンテンツ制御部１１４は、受け付け部１１２から学習コンテンツデータを受け取る。そしてコンテンツ制御部１１４は、受け取ったこれらの分析データおよび回答データから、対応するコンテンツを選択する。コンテンツ制御部１１４は、選択したコンテンツを出力可能に記憶部１２０に記憶させる。
　例えば、分析データ（例えば、集中度の分布データ）から、１人以上の生徒の集中度が著しく低く、平均値から大きく外れている場合、集中度を向上させるコンテンツを抽出し、例えば、当該生徒が使用する学習端末に再生させることができる。これにより、生徒は、授業に集中するようになる。
　あるいは、他の例において、例えば、分析データ（例えば、不安度の分析データ）から、他の生徒より不安を感じている生徒に対して、「授業についていけていない可能性があります」というアラートを抽出してもよい。
　あるいは、他の例において、例えば、オンライン試験中、他の生徒に比べ、１人以上の生徒の理解度が著しく低く、平均値から大きく外れていることが、感情データおよび回答データから判断される場合、難易度の低い問題を抽出し、当該生徒が使用する学習端末に提示することができる。また、この場合、より分かりやすく説明するコンテンツ、又はよりゆっくり説明するコンテンツを、当該生徒が使用する学習端末に再生させてもよい。
　コンテンツ提供部１１５は、コンテンツ制御部１１４からの制御信号に基づいて、記憶部１２０に格納されるコンテンツを学習端末に提供する。分析装置１００を利用する管理者（例えば、学習の主催者、先生、試験監督など）は、管理者端末が受け取った分析結果を知覚することにより、学習者が学習コンテンツ若しくは試験問題の内容または先生又は他の生徒の発言等に対してどのような感情を抱いていたかを認識できる。また分析装置１００を利用する管理者は、分析結果に含まれるアラートまたはアドバイスを知覚することにより、管理者が次の学習に向けてどのようなアクションを取れば良いかを認識できる。そのため、管理者は、受け取った分析データから、その後に開催される学習に対して、留意すべき事項等を知覚し得る。
　記憶部１２０は、ＳＳＤ（Solid State Drive）またはフラッシュメモリ等の不揮発メモリを含む記憶装置である。記憶部１２０は、コンテンツデータ１２１と分析結果格納領域１２２とを有する。コンテンツデータ１２１は、学習者の感情データおよび試験問題に対する回答データのパターンと学習コンテンツデータとが紐づけられたデータである。分析結果格納領域１２２は、分析データ生成部１１３が生成した分析結果を格納する領域である。
　次に、図４を参照して、実施形態１にかかる分析装置１００の処理について説明する。図４は、実施形態２にかかる分析方法を示すフローチャートである。図４に示すフローチャートは、例えば分析装置１００が学習運営装置から学習の開始を示す信号を受け取ることにより開始する。
　まず、コンテンツ提供部１１５は、複数の学習者に対して、試験問題を含むコンテンツを提供する（ステップＳ２１）。取得部１１１は、感情データ生成装置から複数の学習者の複数の感情データを取得する（ステップＳ２２）。感情データ取得部１１１は、感情データ生成装置が感情データを生成する都度、生成された感情データを取得してもよいし、複数の異なる時刻における感情データをまとめて取得してもよい。
　次に、受け付け部１１２は、試験問題に対する複数の学習者の回答データを受け付ける（ステップＳ２３）。受け付け部１１２はかかる回答データを、所定数の試験問題（例えば５問）毎に受け取ってもよい。また受け付け部１１２は回答データを、学習コンテンツの１つのチャプタが終了した後に受け取ってもよい。
　次に、分析データ生成部１１３は、感情データ取得部１１１から受け取った感情データと、受け付け部１１２から受け取った回答データとから、学習に対する分析データを生成する（ステップＳ２３）。複数の学習者からの感情データを相対比較し、例えば、異常行動をとる学習者を特定した分析データを生成することができる。また、複数の回答データを相対比較し、問題の難易度を特定した上で、理解度の低い学習者を特定した分析データを生成することもできる。
　次に、コンテンツ制御部１１４は、記憶部１２０のコンテンツデータ１２１から分析データに対応するコンテンツを選択する（ステップＳ２４）。さらに、コンテンツ制御部１１４は、選択したコンテンツを出力可能に記憶部１２０の分析結果格納領域１２２に記憶させる（ステップＳ２５）。
　以上、分析装置１００が行う処理について説明した。なお、上述の処理のうち、ステップＳ２２とステップＳ２３とは、順序を問わない。またステップＳ２２とステップＳ２３とは平行して実行されてもよい。あるいは、ステップＳ２２とステップＳ２３とは、所定期間ごとに交互に実行されてもよい。
　以上、説明した実施形態２にかかる分析装置１００は、オンライン学習における学習者の感情データおよび回答データを取得し、学習に対する分析データを生成する。そして分析装置１００は、分析データに対応したコンテンツを選択し、出力することができる。これにより、学習者は、より最適なコンテンツで学習することができる。また、これにより分析装置１００を利用する管理者は、オンライン学習における分析データに対応するアラートにより分析結果を把握できる。よって、本実施形態によれば、オンライン学習を効果的に運営するための分析装置、分析方法、分析システムおよびプログラムを提供することができる。
　尚、分析装置１００は、図示しない構成としてプロセッサ及び記憶装置を有するものである。分析装置１００が有する記憶装置は、フラッシュメモリやＳＳＤなどの不揮発性メモリを含む記憶装置を含む。分析装置１００が有する記憶装置には、本実施形態に係る分析方法を実行するためのコンピュータプログラム（以降、単にプログラムとも称する）が記憶されている。またプロセッサは、記憶装置からコンピュータプログラムをメモリへ読み込ませ、当該プログラムを実行する。
　分析装置１００が有する各構成は、それぞれが専用のハードウェアで実現されていてもよい。また、各構成要素の一部又は全部は、汎用または専用の回路（circuitry）、プロセッサ等やこれらの組合せによって実現されてもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。また、プロセッサとして、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（field-programmable gate array）等を用いることができる。
　また、分析装置１００の各構成要素の一部又は全部が複数の演算装置や回路等により実現される場合には、複数の演算装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、演算装置や回路等は、クライアントサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。また、分析装置１００の機能がＳａａＳ（Software as a Service）形式で提供されてもよい。
　＜実施形態３＞
　図５は、実施形態３にかかる分析システムの構成を示すブロック図である。図５に示す分析システム１０は、分析装置１００を含む学習運営装置４００と、感情データ生成装置３００とを含む。学習運営装置４００と感情データ生成装置３００とは、ネットワークＮを介して互いに通信可能に接続している。学習運営装置４００は、ネットワークＮを介して学習端末群９０に接続してオンライン学習を運営する。学習端末群９０は、複数の学習端末（９００Ａ、９００Ｂ、・・・、９００Ｎ）および管理者端末９９０を含む。
　次に、図６を参照して実施形態３にかかる分析装置について説明する。図６は、実施形態３にかかる分析装置１００の構成を示すブロック図である。実施形態３にかかる分析装置１００は、人物特定部１１６およびチャプタ生成部１１７を有する点が、実施形態２にかかる分析装置１００と異なる。以下に、本実施の形態にかかる分析装置１００の各構成について、分析装置１００と異なる点を含めて説明する。
　取得部１１１は、学習者を撮影した画像の映像分析技術を利用して、感情の状態を示す複数の指標を数値により示した感情データを取得する。取得部１１１は、感情データを取得した学習者の顔画像データも取得することができる。分析データ生成部１１３は、感情データの所定期間における統計値を算出することにより、分析データを生成する。なお、感情データ取得部１１１は、学習端末の識別情報を含んだ感情データを取得し得る。すなわちこの場合、感情データ取得部１１１は、学習者それぞれの感情データを区別可能に取得し得る。
　また感情データの取得部１１１は、学習に関する時刻データを伴う感情データを取得し得る。感情データが時刻データを伴うことにより、感情データ取得部１１１は、後述するように、例えばチャプタごとの分析データを生成するための感情データを取得できる。
　他の実施例においては、取得部１１１は、学習者の映像から、学習者のモーションを分析するモーション分析部を更に備える。また、他の実施例では、取得部１１１は、表情筋の動きを認識しコード化し、表情動作や感情を定義するＦＡＣＳ（Facial Action Coding System）理論を用いることができる。さらに、取得部１１１は、リモートPPG（Remote Photoplethysmography）を使用して、カメラの前の学習者の心拍数や覚醒度を推定した結果を取得することができる。
　受け付け部１１２は、学習端末から学習コンテンツ（例えば、試験問題）に対する、学習者の回答結果（例えば、正誤）を受け付ける。受け付け部１１２は、学習者の識別情報や属性データ（例えば、クラス、学年など）を取得する。また、受け付け部１１２は、学習コンテンツ（例えば、試験問題）を提示してから、回答入力までの時間を測定することができる。
　受け付け部１１２は、複数の学習端末から、各学習者の回答結果および回答時間を識別可能に取得することができる。
　分析データ生成部１１３は、受け取った感情データ、回答結果、及び回答時間から、学習に対する分析データを生成する。また分析データ生成部１１３は、チャプタ生成部１１７から受け取ったチャプタを示すデータから、学習に対する分析データをチャプタごとに生成し得る。
　また分析データ生成部１１３は、学習者の顔画像をもとに感情分析を行った感情データを用いて（すなわち、映像分析技術を用いて）、学習者の学習状況を分析することができる。例えば、学習者の困惑した表情から学習についていけていないことを把握することができる。あるいは、学習者の視線の動きなどから、集中度の低下を把握することができる。分析データ生成部１１３は、表情筋の動きを認識しコード化し、表情動作や感情を定義するＦＡＣＳ（Facial Action Coding System）理論を用いることができる。さらに、分析データ生成部１１３は、リモートPPG（Remote Photoplethysmography）を使用して、カメラの前の学習者の心拍数や覚醒度を推定することができる。さらに、分析データ生成部１１３は、カメラの前の学習者の視線が画面から外れた時間を把握することができる。
　また、分析データ生成部１１３は、更に、映像以外の情報として、受け付け部１１２から取得した、学習者の回答結果、及び回答時間から、学習コンテンツの理解度を判断することができる。例えば、学習者の回答結果が正しく、かつ回答時間が閾値より短い場合は、学習者は、コンテンツに対して理解度が高いと判断することができる。一方、学習者の回答結果が誤っており、かつ回答時間が閾値より長い場合は、学習者は、コンテンツに対して理解度が低いと判断することができる。分析データ生成部１１３は、上述のように生成した分析データを、コンテンツ制御部１１４に供給する。
　また分析データ生成部１１３は、学習又は学習者の属性データと記憶部１２０が記憶する分析履歴データ１２４とから、学習又は学習者の属性データに対応した相対比較結果を含む分析データを生成できる。すなわち、分析データ生成部１１３は、分析にかかる学習データに含まれる属性データに対応する属性データを有する分析データを、分析履歴データ１２４から抽出し、相対比較結果を生成する。
　また、分析データ生成部１１３は、複数の学習者についての感情データ、回答結果、および回答時間の相対比較に基づいた分析データを生成することもできる。分析データ生成部１１３は、分析履歴データ１２４から直近のデータを優先的に抽出してもよい。また分析データ生成部１１３は、分析履歴データ１２４から対応する属性データにおける分析データのスコアの統計値を算出したうえで相対比較してもよい。
　また分析データ生成部１１３は、学習に対してチャプタを示すデータが生成されている場合には、チャプタごとに学習に対する分析データを生成しうる。これにより、分析装置１００を備えた学習運営装置４００は、チャプタごとの分析データを生成し、生成した分析データに対応したコンテンツを提供できる。
　コンテンツ制御部１１４は、分析データ生成部１１３から受け取った分析データに、複数の分析項目が含まれている場合、分析項目に基づいたコンテンツを選択できる。例えば分析データに、集中度、共感度および理解度という分析項目それぞれに対するスコアが含まれる場合、コンテンツ制御部１１４は、集中度、共感度、および理解度のスコアに適合するコンテンツを選択できる。これにより分析装置１００は学習者に対してきめ細かいコンテンツを提供できる。
　コンテンツ制御部１１４は、分析データが予め設定された閾値の範囲を越えた場合に、分析データが閾値の範囲内に入るためのコンテンツを選択できる。例えば、分析データ生成部１１３が分析項目である「理解度」のスコアをゼロから１００の間の数値により生成するものであって、数値が大きい程、参加者の理解度が高いものとする。またコンテンツ制御部１１４は、理解度に対して閾値５０を設定しているものとする。この場合、コンテンツ制御部１１４は、理解度の分析データが５０を下回ると、コンテンツデータ１２１に記憶されているコンテンツから、スコアを５０より高くするためのコンテンツ（例えば、理解度の低い学習者にも理解しやすいコンテンツ）を選択する。例えば、この場合、コンテンツが試験問題である場合、コンテンツデータ１２１は、難易度の異なる問題が記憶されている。理解度の低い学習者に対して、コンテンツ制御部１１４はこの難易度の低い試験問題を、コンテンツとして選択することができる。
　また、試験問題を含むコンテンツがオンライン授業コンテンツである場合、コンテンツデータには、試験問題後の様々なオンライン授業コンテンツが記憶されている。例えば、様々なオンライン授業コンテンツは、様々な説明の仕方のコンテンツと、異なる再生速度のコンテンツなどを含む。例えば、コンテンツ制御部１１４は、理解度の分析データが５０を下回ると、コンテンツデータ１２１に記憶されているコンテンツから、スコアを５０より高くするためのコンテンツ（例えば、理解度の低い学習者にも理解しやすいように説明する再生速度の比較的遅いコンテンツ）を選択する。このような構成により、分析装置１００は、ユーザに対して効果的な学習を行うためのコンテンツを提供できる。
　またコンテンツ制御部１１４は、チャプタごとに分析データが生成されている場合には、生成されているチャプタごとの分析データのそれぞれに対してコンテンツを選択する。これにより、分析装置１００は、チャプタごとの最適なコンテンツを提供できる。
　人物特定部１１６は、顔画像データから顔画像にかかる人物の顔特徴情報を抽出し、抽出した情報に応じて、人物の属する区分を推定する機能を有し得る。人物の属する区分とは、例えば人物の年齢または性別など、人物の特徴ないし属性を示すものである。人物特定部１１６は、上述の機能を使って、取得部１１１から受け取った顔画像データにかかる参加者が属する区分を特定する。人物特定部１１６は、人物の区分に関するデータを、分析データ生成部１１３に供給する。
　また人物特定部１１６は、記憶部１２０が記憶する人物属性データ１２３を利用して、特定した参加者が属する区分を特定してもよい。この場合、人物特定部１１６は、顔画像から抽出した顔特徴情報と、人物属性データ１２３とを紐づけ、顔特徴情報に対応する参加者の区分を特定する。この場合における参加者の区分は、例えば学習者の所属する学校、学校内のクラスなどである。このような構成により、分析装置１００は、学習者のプライバシーに配慮しつつ、分析データに利用可能なデータを抽出できる。
　また人物特定部１１６は、受け付け部１１２から受け取った顔画像データから顔画像にかかる人物を特定するものであってもよい。この場合、人物特定部１１６は、顔画像から抽出した顔特徴情報と、記憶部１２０が記憶する人物属性データ１２３とを紐づけ、顔特徴情報に対応する参加者を特定する。これにより人物特定部１１６は学習の参加者それぞれを特定できる。学習の参加者を特定することにより、分析装置１００は特定された参加者に紐づいた分析データを生成できる。よって、分析装置１００は、特定した参加者における詳細な分析を行うことができる。
　チャプタ生成部１１７は、コンテンツ提供部１１５から受け取った学習コンテンツデータから、学習に対するチャプタを生成する。チャプタ生成部１１７は、例えば学習の開始から学習の終了までの時刻を検出し、さらに、予め設定された条件に合致する時刻を検出して、それぞれの時刻を区切りとして、チャプタを示すデータを生成する。本開示における学習のチャプタは、学習において所定の条件に合致する状態が維持されているか、あるいは所定の条件が変化したかにより定義される。チャプタ生成部１１７は、例えばコンテンツ内に含まれる試験問題に基づいてチャプタを生成してもよい。より具体的には、チャプタ生成部１１７は、試験問題後のコンテンツ切替えタイミングに応じてチャプタを生成してもよい。あるいは、複数の試験問題ごと（例えば、５問ごと）にチャプタを生成してもよい。チャプタ生成部１１７は、生成したチャプタを示すデータを、分析データ生成部１１３に供給する。
　記憶部１２０は、ＳＳＤまたはフラッシュメモリ等の不揮発メモリを含む記憶装置である。記憶部１２０は、コンテンツデータ１２１および分析結果格納領域１２２に加えて、人物属性データ１２３および分析履歴データ１２４を記憶する。
　人物属性データ１２３は、人物の顔特徴情報と、人物の区分や属性に関する情報とが紐づけられたデータである。人物の区分や属性に関する情報とは、例えば人物の氏名、性別、年齢、所属学校、所属会社、職種であるが、これらに限定されない。
　分析履歴データ１２４は、分析装置１００が過去に実行した分析にかかる分析データ、すなわち分析装置１００の分析データ生成部１１３が過去に生成した分析データである。なお、記憶部１２０は、上述のデータの他に、例えば本実施形態にかかる分析方法を実行させるためのプログラムなどを記憶する。
　図７を参照して、分析データ生成部１１３についてさらに詳細に説明する。図７は、分析データ生成部が処理するデータの例を示す図である。図７は、分析データ生成部１１３が受け取る入力データ群と、分析データ生成部１１３が出力する出力データ群とが示されている。分析データ生成部１１３は、感情データ生成装置３００から、入力データ群としての感情データを受け取る。入力データ群は例えば、集中度、困惑度、軽蔑度、嫌悪感、恐怖感、幸福度、不安、共感度、驚き、および存在感に関するそれぞれの指標を含む。これらの指標は例えばそれぞれの指標が０から１００までの数値により示される。ここで示す指標は、例えば値が大きい程その感情に対する学習者の反応が大きいことを示している。入力データ群の感情データは、顔画像データから既存の映像分析技術を用いて生成されたものが取得されてもよく、その他の方法により生成、取得されてもよい。
　更に、分析データ生成部１１３は、分布算出部１１３１を含む。分布算出部１１３１は、複数の学習者の感情データから、特定の感情データについての分布を算出する。図８は、複数の学習者の感情データから算出された、特定の感情データについての分布の例を示す。図８は、横軸が、集中度の大きさを示し、縦軸が、生徒数を示す。分布算出部１１３１は、平均値から所定の閾値（例えば、標準偏差σ、２σ、又は３σなど）を超えた範囲を特定することができる。分布算出部１１３１は、上限範囲（例えば、標準偏差σを超える）、下限範囲（例えば、標準偏差－σを下回る）、又はそれらの両方を特定することができる。例えば、分布の下限範囲内に入る、理解度が低い生徒を特定した分析データが生成される場合がある。また、分布の下限値から上限値までに入る、平均的な理解度を持つ生徒を特定した分析データが生成される場合もある。更に、分布の上限範囲内に入る、理解度が高い生徒を特定した分析データが生成される場合がある。このように、複数の学習者の感情データを統計的に分析することで、異常行動を取る学習者を特定することができる。異常行動とは、例えば、集中力が低下している、授業についていけていない、不正行為を行っている疑いがあるなどが挙げられるが、これらに限定されない。
　なお、複数の学習者の数とは、少なくとも１つのクラスに対応する数（例えば、２０人以上、３０人以上、１００人以上又は任意の好適な数以上）、又は少なくとも１学年に対応する数（例えば、１００人以上、２００人以上又は任意の好適な数以上）とすることができる。
　あるいは、分析データ生成部１１３は、ある問題に対する、学習者の正解率を算出し、当該問題の難易度を判定することができる。例えば、１クラスの全学習者の問題の正解率が７０％を超えているのにかかわらず（すなわち、易しい問題）、ある学習者が当該問題を間違っていた場合、学習者は、理解できていないと判断することができる。一方、例えば、１クラスの全学習者の問題の正解率が３０％未満（すなわち、難しい問題）である場合、ある学習者が当該問題を間違っていたとしても、学習者は、理解できていないと判断しなくてもよい。
　分析データ生成部１１３は、上述の入力データ群を受け取ると、予め設定された処理を行い、入力データ群を用いて出力データ群を生成する。出力データ群は、分析システム１０を利用するユーザが学習を効率良く行うために参照するデータである。出力データ群は例えば、集中度、共感度および理解度を含む。分析データ生成部１１３は、入力データ群から予め設定された指標を抽出する。また分析データ生成部１１３は、抽出した指標にかかる値に対して予め設定された演算処理を行う。そして分析データ生成部１１３は、上述の出力データ群を生成する。なお、出力データ群として示す集中度は、入力データ群に含まれる集中度と同じものであってもよいし、異なるものであってもよい。同様に、出力データ群として示す共感度は、入力データ群に含まれる共感度と同じものであってもよいし、異なるものであってもよい。
　図９は、実施形態３にかかる感情データ生成装置の構成を示すブロック図である。感情データ生成装置３００は、主な構成として、学習者データ取得部３１１、感情データ生成部３１２および感情データ出力部３１３を有している。
　学習者データ取得部３１１は、学習運営装置４００から学習者に関するデータを取得する。学習者に関するデータとは、学習端末が撮影した学習者の顔画像データである。感情データ生成部３１２は、感情データ生成装置３００が受け取った顔画像データから感情データを生成する。感情データ出力部３１３は、感情データ生成部３１２が生成した感情データを、ネットワークＮを介して分析装置１００に出力する。なお、感情データ生成装置３００は、学習者の顔画像データに対して所定の画像処理を施すことにより感情データを生成する。所定の画像処理とは例えば、特徴点（または特徴量）の抽出、抽出した特徴点に対する参照データとの照合、画像データの畳み込み処理および機械学習した教師データを利用した処理、ディープラーニングによる教師データを活用した処理等である。ただし、感情データ生成装置３００が感情データを生成する手法は、上述の処理に限られない。感情データは、感情を示す指標である数値であってもよいし、感情データを生成する際に利用した画像データを含むものであってもよい。
　学習者データ取得部３１１は、追加的に、学習者が着用するウェアラブルデバイス（例えば、スマートウォッチ）から心拍数、脈拍などの生体情報を取得してもよい。
　なお、学習者に関するデータには、学習者を区別するためのデータが含まれていてもよい。例えば、学習者に関するデータには、学習者の顔画像データを撮影した学習端末の識別子が含まれていてもよい。これにより、感情データ生成部３１２は、学習者を区別可能な状態で感情データ生成できる。そして感情データ出力部３１３は、学習端末に対応する感情データを、学習端末それぞれを区別可能に生成して感情データ取得部１１１に供給する。
　尚、感情データ生成装置３００は、図示しない構成としてプロセッサ及び記憶装置を有するものである。感情データ生成装置３００が有する記憶装置には、本実施形態に係る感情データ生成を実行するためのプログラムが記憶されている。またプロセッサは、記憶装置からプログラムをメモリへ読み込ませ、当該プログラムを実行する。
　感情データ生成装置３００が有する各構成は、それぞれが専用のハードウェアで実現されていてもよい。また、各構成要素の一部又は全部は、汎用または専用の回路、プロセッサ等やこれらの組合せによって実現されてもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。また、プロセッサとして、ＣＰＵ、ＧＰＵ、ＦＰＧＡ等を用いることができる。
　また、感情データ生成装置３００の各構成要素の一部又は全部が複数の演算装置や回路等により実現される場合には、複数の演算装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、演算装置や回路等は、クライアントサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。また、感情データ生成装置３００の機能がＳａａＳ形式で提供されてもよい。
　次に、図１０を参照して分析装置１００が実行する処理について説明する。図１０は、実施形態３にかかる分析方法を示すフローチャートである。図１０に示す処理は、学習において、新たなチャプタが生成される度に分析データを出力する点において、実施形態２にかかる処理と異なる。
　まず、分析装置１００は、オンライン学習が開始されたか否かを判定する（ステップＳ３１）。分析装置１００は、学習運営装置４００から学習が開始されたことを示す信号を受け取ることにより、学習（例えば、授業又は試験）の開始を判定する。コンテンツ提供部１１５は、１又は複数の学習端末に対して、リアルタイムで、学習コンテンツを提供する。オンライン学習が開始されたと判定しない場合（ステップＳ３１：ＮＯ）、分析装置１００は、ステップＳ３１を繰り返す。オンライン学習が開始されたと判定した場合（ステップＳ３１：ＹＥＳ）、分析装置１００は、ステップＳ３２に進む。
　ステップＳ３２において、感情データ取得部１１１は、感情データ生成装置から１人又は複数人の学習者の感情データの取得を開始する（ステップＳ３２）。感情データ取得部１１１は、感情データ生成装置が感情データを生成する都度、生成された感情データを取得してもよいし、複数の異なる時刻における感情データをまとめて取得してもよい。
　次に、受け付け部１１２は、オンライン学習中の試験問題に対する１人又は複数人の学習者の回答と回答時間に関する学習データを受け付ける（ステップＳ３３）。受け付け部１１２はかかる学習データを、所定数の問題ごとに受け取ってもよいし、試験問題ごとに逐次受け取ってもよい。
　次に、分析装置１００は、受け取った学習データから新しいチャプタを生成可能か否かについて判定する（ステップＳ３４）。新しいチャプタを生成可能と判定しない場合（ステップＳ３４：ＮＯ）、分析装置１００は、ステップＳ３２に戻る。一方、新しいチャプタを生成可能と判定した場合（ステップＳ３４：ＹＥＳ）、分析装置１００は、ステップＳ３５に進む。
　ステップＳ２５において、チャプタ生成部１１７は、受け付け部１１２から受け取った学習データからチャプタを生成する（ステップＳ３５）。
　次に、分析データ生成部１１３は、感情データ取得部１１１から受け取った感情データと、受け付け部１１２から受け取った回答結果（生後）及び回答時間と、チャプタ生成部１１７から受け取ったチャプタを示すデータと、人物特定部１１６から受け取ったデータとから、新しく生成したチャプタに対する分析データを生成する（ステップＳ３６）。複数の学習者の感情データの分布に基づき、異常行動を取る学習者を特定した分析データを生成することもできる。例えば、理解度が高い学習者、理解度が中程度の学習者、及び理解度が低い学習者をそれぞれ特定した分析データを生成することもできる。
　次に、コンテンツ制御部１１４は、記憶部１２０のコンテンツデータ１２１から分析データに対応するコンテンツを選択する（ステップＳ３７）。さらに、コンテンツ制御部１１４は、選択したコンテンツを含む分析結果を出力可能に記憶部１２０の分析結果格納領域１２２に記憶させる（ステップＳ３８）。例えば、理解度が高い学習者に対して、第１のコンテンツ（例えば、再生速度が早い授業コンテンツ、又は難易度の高い試験問題）を、理解度が中程度の学習者に対しては、第２のコンテンツ（例えば、再生速度が中程度の授業コンテンツ、又は難易度の中程度の試験問題）を、及び理解度が低い学習者に対しては、第３のコンテンツ（例えば、再生速度が遅い授業コンテンツ、又は難易度の低い試験問題）を選択される。
　次に、分析装置１００は、学習が終了したか否かを判定する（ステップＳ３９）。分析装置１００は、学習運営装置４００から学習が終了したことを示す信号を受け取ることにより、学習の終了を判定する。学習が終了したと判定しない場合（ステップＳ３９：ＮＯ）、分析装置１００は、ステップＳ３２に戻り、処理を続ける。一方、オンライン学習が終了したと判定した場合（ステップＳ３９：ＹＥＳ）、分析装置１００は、一連の処理を終了する。
　以上、実施形態３にかかる分析装置１００の処理について説明した。上述のフローチャートによれば、分析装置１００は、学習において、新しいチャプタが生成される度に生成されたチャプタに対する分析データを生成し、生成した分析データに対応したコンテンツを選択できる。これにより、分析システム１０を利用する学習者は、再生中の学習において、新しいチャプタが生成される度に提供される最適なコンテンツを利用して学習を効果的に進めることができる。
　次に、図１１を参照して、分析データ生成部１１３が生成する分析データの例について説明する。図１１は、分析データの例を示す図である。図１１は、最上段において分析データを時系列に沿って示したグラフＧ１１が示されている。グラフＧ１１は、ある生徒の分析データの推移を示している。また中上段において上記時系列に対応した監視画面データＧ１２が示されている。学習データは、クラスの生徒の顔を撮影した監視用画面と、発言者（主に先生）を撮影した管理者画面（教科書、黒板、又は試験問題等を撮影した画面にも切替可能）を示している。中下段において、上記グラフＧ１１に対応したチャプタごとの分析データＧ１３が示されている。チャプタは、管理者が生徒に、授業の理解度を測るための試験問題を提示するごとに、生成される。最下段において、生徒の試験問題に対する回答結果と回答時間を示した回答データＧ１４が示されている。
　グラフＧ１１は、横軸が時間を示し、縦軸が分析データのスコアを示している。横軸は左端が時刻Ｔ１０であり、右に進むほど時間が経過し、右端が時刻Ｔ１５となっている。時刻Ｔ１０は、学習の開始時刻であり、時刻Ｔ１５は学習の終了時刻である。時刻Ｔ１０と時刻Ｔ１５の間の時刻Ｔ１１、Ｔ１２、Ｔ１３およびＴ１４は、後述するチャプタに対応する時刻を示している。
　またグラフＧ１１は、実線により示された第１分析データＬ１１と、点線により示された第２分析データＬ１２と、二点鎖線により示された第３分析データＬ１３とがプロットされている。第１分析データＬ１１は、分析データの内の、集中度を示している。第２分析データＬ１２は、分析データの内の共感度を示している。第３分析データＬ１３は、分析データの内の理解度を示している。
　学習データＧ１２は、授業中の学習者監視用画面に関するデータと、管理者画面に関するデータとが時系列に沿って示されている。学習者監視用画面に関するデータには、ある生徒Ｄの顔画像が表示される。また学習データＧ１２において、管理者に関するデータには、時刻Ｔ１０から時刻Ｔ１５までが管理者Ｗ１（例えば、先生又は試験監督）であったことが示されている。
　上述の学習データＧ１２における監視用画面と管理者画面（例えば、主に先生、）との関係について、時系列に沿って説明する。時刻Ｔ１０から時刻Ｔ１５までの間は、監視用画面には、各生徒の顔画像が表示されている。
　上述のように、図１１に示す学習データは、監視用画面における画面データが表示されていた期間についてのデータと、管理者が誰であったかを示す管理者画面についてのデータが含まれる。チャプタ生成部１１７は、上述の学習データの内、管理者画面に関するデータに応じてチャプタを生成している。先生である管理者が教科書、黒板、又は試験問題等を撮影した画面に切替えたタイミングでもチャプタが生成されてもよい。
　図１１に示すように、分析データＧ１３には、それぞれのチャプタに対応する分析データが含まれる。分析データ（感情分析データとも呼ばれる）は、集中度、共感度、理解度およびこれらを合計した総合スコアが示されている。分析データＧ１３において、例えば、チャプタＣ１１に対応する分析データとして、集中度が６５、共感度が５０、理解度が４３と示されている。また総合スコアはこれらの合計として１５８と示されている。同様に、例えばチャプタＣ１２に対応する分析データとして、集中度が６１、共感度が４５、理解度が３２そして総合スコアが１３８と示されている。
　上記分析データは、グラフＧ１１においてそれぞれプロットされているデータに対応したものである。すなわち、分析データＧ１３として示されている分析データは、対応するチャプタの期間において所定期間（例えば１分間）毎に算出された分析データの平均値である。
　回答データＧ１４は、ある学習者の試験問題に対する回答結果と回答時間を示している。チャプタＣ１１の試験問題１については、正解であり、その回答時間は、１５秒である。チャプタＣ１２の試験問題２については、不正解であり、その回答時間は、２６秒である。チャプタＣ１３の試験問題３については、不正解であり、その回答時間は、３３秒である。チャプタＣ１４の試験問題４については、正解であり、その回答時間は、１５秒である。チャプタＣ１５の試験問題５については、不正解であり、その回答時間は、４２秒である。
　以上、分析データの例について説明した。図１１に示す例において、チャプタ生成部１１７は、監督者が生徒に試験問題を提示するタイミングを、チャプタの切替えタイミングに設定している。そして分析データ生成部１１３は、学習の開始から学習の終了までの間の分析データを、上述のチャプタごとに算出する。これにより、分析システム１０は、学習者の試験問題に対する理解度を確認する度の分析データを提供できる。
　図１１に示した例において、分析システム１０は、上述のグラフＧ１１に示すように、分析データを所定期間毎に算出してプロットしている。これにより、分析システム１０は、学習における分析データの詳細な変化を示すことができる。ただし、分析データ生成部１１３は、グラフＧ１１に示すように算出するのに代えて、チャプタが終了した後に、まず当該チャプタにおける感情データの統計値（例えば平均値）を算出し、その後に分析データを算出してもよい。例えば、図８で示したように各学習者の感情データを相対比較するため、分布を算出することもできる。また、分布から、平均値から所定の閾値（例えば、標準偏差σ、２σ、又は３σなど）を超えた範囲を特定することができる。
　次に図１２を参照して、コンテンツデータ１２１について説明する。図１２は、コンテンツデータの例を示す図である。図１２に示す表は、学習種別、分析項目、スコアおよびアラートがそれぞれ示されている。
　学習種別は、学習の属性データに含まれる項目であって、学習を予め設定された種別に分類するためのものである。図１２に示すコンテンツデータ１２１は学習種別として、「オンライン授業」および「オンライン試験」という項目が示されている。学習種別はこの他に、例えば、「数学のオンライン授業」、「英語のオンライン試験」など具体的な科目が含まれていてもよいが、上述の項目に限られない。
　図１２に示すコンテンツデータ１２１は、「オンライン授業」に対応する分析項目として、「集中度」および「共感度」が示されている。これは、学習種別がオンライン試験として分類される学習において、分析データに含まれる分析項目のうち、「集中度」と「共感度」に着目してコンテンツを選択することを示している。
　図１２に示す表において、「集中度」の右側にはスコア「５０－１００」およびスコア「０－４９」が示されている。またそれぞれのスコアの右側には、試験問題に対する生徒の回答結果を示している。またそれぞれのスコアおよび回答結果の右側には対応するコンテンツが示されている。スコア「５０－１００」で試験問題に対する生徒の回答「正解」であった場合、コンテンツ１を継続する。一方、スコア「０－４９」で試験問題に対する生徒の回答「不正解」であった場合、集中度を高めるコンテンツ２に変更する。
　また、先生に対する生徒の共感度が「２０－４０」であり、試験問題に対する生徒の回答「正解」であった場合、同一の先生が授業をするが、再生速度を速くしたコンテンツ３に変更する。一方、先生に対する生徒の共感度が「０－２０」であり、試験問題に対する生徒の回答「不正解」であった場合、変更した先生が授業を行うコンテンツ４に変更する。
　さらに、学習種別「オンライン授業」の下の欄には、「オンライン試験」が示されている。オンライン試験に対応する分析項目には、「理解度」が示されている。それぞれの「理解度」に対して、試験問題に対する生徒の回答結果が示されている。理解度に対応するスコアは「８０－１００」であり、試験問題に対する生徒の回答「正解」であった場合、難易度の高い問題に変更する。一方、理解度に対応するスコアは「０－４０」であり、試験問題に対する生徒の回答「不正解」であった場合、難易度の低い問題に変更する。
　以上、図１２に示す例において、コンテンツデータ１２１は、学習種別、分析項目、分析項目のスコア、回答結果およびコンテンツをそれぞれ紐づけて記憶している。コンテンツ制御部１１４は、受け付け部１１２から受け取った回答データと、分析データ生成部１１３から受け取った分析データと、コンテンツデータ１２１とを照合して、対応するコンテンツを選択する。よって、分析装置１００は、学習の属性データや分析データのスコア等に応じて、適宜選択されるコンテンツを学習者に提供できる。なお、コンテンツデータ１２１は、学習の属性データとして、学習種別の他に、例えば学習の科目、または学習の目的等を採用してもよい。
　以上、実施形態３について説明したが、実施形態３にかかる分析システム１０は上述の構成に限られない。例えば、コンテンツ提供部は、エビングハウスの忘却曲線に基づいて、コンテンツを提供するタイミングを調整してもよい。この場合、感情データおよび回答データから、学習者の習熟度を推定し、学習者の記憶保持率が閾値（例えば、２０％）以下になった場合に、コンテンツ制御部は、記憶を回復させるようなコンテンツを選択する。そして、コンテンツ提供部は、選択されたコンテンツを、適当なタイミングで提供することができる。学習者固有の忘却曲線を推定し、この忘却曲線にしたがって、適切なタイミングでコンテンツを提供してもよい。
　あるいは、ヤーキーズ・ドットソンの法則と呼ばれる、パフォーマンスと緊張の関係を表した理論を参考にして、コンテンツを提供するタイミングを設定してもよい。例えば、学習者の集中度が高いうちに、コンテンツ制御部は、難易度の高い問題を選択するようにしてもよい。また、学習者の集中度が低下してきた場合、コンテンツ制御部は、学習者が得意な問題を選択してもよい。オンライン学習におけるモチベーションの低下を防止するため、適当な緊張感のあるコンテンツを提供するようにしてもよい。
　また、コンテンツ制御部は、学習者の疲労度が低下してきた場合に、視覚的圧力を緩和するようなコンテンツを選択してもよい。視覚的圧力を緩和する方法としては、コントラストを調整する、図表の角をなくす、文字の間隔を広げるなどが挙げられる。
　なお、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
　なお、本発明は上記実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
　（付記１）
　学習者に対して、試験問題を含むコンテンツを提供するコンテンツ提供部と、
　前記コンテンツを用いて学習する学習者の顔画像データに対して感情分析が実行された、当該学習者の学習に対する感情データを取得する取得部と、
　当該試験問題に対する前記学習者の回答を受け付ける受け付け部と、
　前記取得された感情データ、及び前記回答の結果に基づいて、後続するコンテンツを制御するコンテンツ制御部と、
を備える、分析装置。
　　　（付記２）
　前記受け付け部は、当該試験問題に対する前記学習者の回答とともに、回答に要する時間を取得し、
　前記コンテンツ制御部は、前記取得された感情データ、前記回答の結果及び回答時間に基づいて、後続するコンテンツを変更する、付記１に記載の分析装置。
　　　（付記３）
　前記学習者の映像から、学習者のモーションを分析するモーション分析部を更に備え、
　前記コンテンツ制御部は、前記取得された感情データ、前記回答の結果及びモーション分析結果に基づいて、後続するコンテンツを変更する、付記１又は２に記載の分析装置。
　　　（付記４）
　前記コンテンツ提供部は、複数の前記学習者に対して、コンテンツを提供し、
　前記取得部は、前記コンテンツを用いて学習する各学習者の顔画像データに対して感情分析が実行された、各学習者の学習に対する感情データを取得し、
　各学習者の感情データを基づいて、前記複数の学習者に関する感情データを集計し、前記複数の学習者の感情データを比較して、１人以上の学習者の感情データを特定する、分析データ生成部を更に備え、
　前記コンテンツ制御部は、前記特定された１人以上の学習者に対して、後続するコンテンツを変更する、付記１～３のいずれか一項に記載の分析装置。
　　　（付記５）
　前記受け付け部は、当該試験問題に対する複数の前記学習者の回答結果を受け付け、
　前記分析データ生成部は、各学習者の感情データと回答データを集計し、前記複数の学習者の感情データ及び複数の回答結果を比較して、１人以上の学習者の感情データを特定し、
　前記コンテンツ制御部は、前記特定された１人以上の学習者のコンテンツを制御する、付記４に記載の分析装置。
　　　（付記６）
　前記分析データ生成部は、複数の学習者の感情データおよび回答データから、特定の感情に関する分布および特定の回答結果の分布を算出し、前記分布に基づいて、外れ値を超える１人以上の学習者を特定し、
　前記コンテンツ制御部は、前記特定された１人以上の学習者のコンテンツを制御する、付記５に記載の分析装置。
　　　（付記７）
　前記コンテンツ制御部は、学習者の特定のコンテンツに対する忘却曲線にしたがって、コンテンツを選択する、付記１～６のいずれか一項に記載の分析装置。
　　　（付記８）
　前記コンテンツ制御部は、難易度の異なるコンテンツ、再生速度の異なるコンテンツ、又は視覚的圧力の異なるコンテンツを選択する、付記１～７のいずれか一項に記載の分析装置。
　　　（付記９）
　学習者に対して、試験問題を含むコンテンツを提供し、
　前記コンテンツを用いて学習する学習者の顔画像データに対して感情分析が実行された、当該学習者の学習に対する感情データを取得し、
　当該試験問題に対する前記学習者の回答を受け付けて、
　前記取得された感情データ、及び前記回答の結果に基づいて、後続するコンテンツを制御する、分析方法。
　　　（付記１０）
　学習者に対して、試験問題を含むコンテンツを提供し、
　前記コンテンツを用いて学習する学習者の顔画像データに対して感情分析が実行された、当該学習者の学習に対する感情データを取得し、
　当該試験問題に対する前記学習者の回答を受け付けて、
　前記取得された感情データ、及び前記回答の結果に基づいて、後続するコンテンツを制御することを、コンピュータに実行させる、分析プログラム。
　以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０２１年２月２５日に出願された日本出願特願２０２１－０２９０３７号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　１０　分析システム
　９０　学習端末群
　１００　分析装置
　１１１　取得部
　１１２　受け付け部
　１１３　分析データ生成部
　１１３１　分布算出部
　１１４　コンテンツ制御部
　１１５　コンテンツ提供部
　１１６　人物特定部
　１１７　チャプタ生成部
　１２０　記憶部
　１２１　コンテンツデータ
　１２２　分析結果格納領域
　１２３　人物属性データ
　１２４　分析履歴データ
　３００　感情データ生成装置
　３１１　学習者データ取得部
　３１２　感情データ生成部
　３１３　感情データ出力部
　４００　学習運営装置
　９９０　管理者端末
　Ｎ　ネットワーク

Claims (10)

  1. 　学習者に対して、試験問題を含むコンテンツを提供するコンテンツ提供手段と、
    　前記コンテンツを用いて学習する学習者の顔画像データに対して感情分析が実行された、当該学習者の学習に対する感情データを取得する取得手段と、
    　当該試験問題に対する前記学習者の回答を受け付ける受け付け手段と、
    　前記取得された感情データ、及び前記回答の結果に基づいて、後続するコンテンツを制御するコンテンツ制御手段と、
    を備える、分析装置。
  2. 　前記受け付け手段は、当該試験問題に対する前記学習者の回答とともに、回答に要する時間を取得し、
    　前記コンテンツ制御手段は、前記取得された感情データ、前記回答の結果及び回答時間に基づいて、後続するコンテンツを変更する、請求項１に記載の分析装置。
  3. 　前記学習者の映像から、学習者のモーションを分析するモーション分析手段を更に備え、
    　前記コンテンツ制御手段は、前記取得された感情データ、前記回答の結果及びモーション分析結果に基づいて、後続するコンテンツを変更する、請求項１又は２に記載の分析装置。
  4. 　前記コンテンツ提供手段は、複数の前記学習者に対して、コンテンツを提供し、
    　前記取得手段は、前記コンテンツを用いて学習する各学習者の顔画像データに対して感情分析が実行された、各学習者の学習に対する感情データを取得し、
    　各学習者の感情データを基づいて、前記複数の学習者に関する感情データを集計し、前記複数の学習者の感情データを比較して、１人以上の学習者の感情データを特定する、分析データ生成手段を更に備え、
    　前記コンテンツ制御手段は、前記特定された１人以上の学習者に対して、後続するコンテンツを変更する、請求項１～３のいずれか一項に記載の分析装置。
  5. 　前記受け付け手段は、当該試験問題に対する複数の前記学習者の回答結果を受け付け、
    　前記分析データ生成手段は、各学習者の感情データと回答データを集計し、前記複数の学習者の感情データ及び複数の回答結果を比較して、１人以上の学習者の感情データを特定し、
    　前記コンテンツ制御手段は、前記特定された１人以上の学習者のコンテンツを制御する、請求項４に記載の分析装置。
  6. 　前記分析データ生成手段は、複数の学習者の感情データおよび回答データから、特定の感情に関する分布および特定の回答結果の分布を算出し、前記分布に基づいて、外れ値を超える１人以上の学習者を特定し、
    　前記コンテンツ制御手段は、前記特定された１人以上の学習者のコンテンツを制御する、請求項５に記載の分析装置。
  7. 　前記コンテンツ制御手段は、学習者の特定のコンテンツに対する忘却曲線にしたがって、コンテンツを選択する、請求項１～６のいずれか一項に記載の分析装置。
  8. 　前記コンテンツ制御手段は、難易度の異なるコンテンツ、再生速度の異なるコンテンツ、又は視覚的圧力の異なるコンテンツを選択する、請求項１～７のいずれか一項に記載の分析装置。
  9. 　学習者に対して、試験問題を含むコンテンツを提供し、
    　前記コンテンツを用いて学習する学習者の顔画像データに対して感情分析が実行された、当該学習者の学習に対する感情データを取得し、
    　当該試験問題に対する前記学習者の回答を受け付けて、
    　前記取得された感情データ、及び前記回答の結果に基づいて、後続するコンテンツを制御する、分析方法。
  10. 　学習者に対して、試験問題を含むコンテンツを提供し、
    　前記コンテンツを用いて学習する学習者の顔画像データに対して感情分析が実行された、当該学習者の学習に対する感情データを取得し、
    　当該試験問題に対する前記学習者の回答を受け付けて、
    　前記取得された感情データ、及び前記回答の結果に基づいて、後続するコンテンツを制御することを、コンピュータに実行させる、分析プログラムを格納した非一時的なコンピュータ可読媒体。
PCT/JP2022/001190 2021-02-25 2022-01-14 分析装置、分析方法及び非一時的なコンピュータ可読媒体 WO2022181104A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023502158A JPWO2022181104A5 (ja) 2022-01-14 分析装置、分析方法及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-029037 2021-02-25
JP2021029037 2021-02-25

Publications (1)

Publication Number Publication Date
WO2022181104A1 true WO2022181104A1 (ja) 2022-09-01

Family

ID=83048877

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/001190 WO2022181104A1 (ja) 2021-02-25 2022-01-14 分析装置、分析方法及び非一時的なコンピュータ可読媒体

Country Status (1)

Country Link
WO (1) WO2022181104A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015106257A (ja) * 2013-11-29 2015-06-08 Kddi株式会社 学習支援装置、学習支援方法、およびプログラム
JP2018205354A (ja) * 2017-05-30 2018-12-27 大日本印刷株式会社 学習支援装置、学習支援システム及びプログラム
US20190139428A1 (en) * 2017-10-26 2019-05-09 Science Applications International Corporation Emotional Artificial Intelligence Training
WO2019176373A1 (ja) * 2018-03-16 2019-09-19 京セラドキュメントソリューションズ株式会社 情報処理装置、及び情報処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015106257A (ja) * 2013-11-29 2015-06-08 Kddi株式会社 学習支援装置、学習支援方法、およびプログラム
JP2018205354A (ja) * 2017-05-30 2018-12-27 大日本印刷株式会社 学習支援装置、学習支援システム及びプログラム
US20190139428A1 (en) * 2017-10-26 2019-05-09 Science Applications International Corporation Emotional Artificial Intelligence Training
WO2019176373A1 (ja) * 2018-03-16 2019-09-19 京セラドキュメントソリューションズ株式会社 情報処理装置、及び情報処理方法

Also Published As

Publication number Publication date
JPWO2022181104A1 (ja) 2022-09-01

Similar Documents

Publication Publication Date Title
US20230360551A1 (en) Adaptive learning environment driven by real-time identification of engagement level
JP4631014B2 (ja) 電子教材学習支援装置と電子教材学習支援システム及び電子教材学習支援方法並びに電子学習支援プログラム
CN110729047A (zh) 基于人脸视频的心理生理分析与量表测试结合的装置及方法
Joshi et al. Affect-driven learning outcomes prediction in intelligent tutoring systems
KR20130099714A (ko) 인지 능력 증진 시스템 및 그를 이용한 인지 능력 훈련 방법
CN112819665A (zh) 课堂状态的评估方法和相关装置、设备
CN112085392A (zh) 一种学习参与度确定方法、装置及计算机设备
Pise et al. Estimation of learning affects experienced by learners: an approach using relational reasoning and adaptive mapping
TWI642026B (zh) 心理與行為狀態評量暨診斷方法及系統
WO2022181104A1 (ja) 分析装置、分析方法及び非一時的なコンピュータ可読媒体
JP7392259B2 (ja) 学習支援装置、学習支援方法およびプログラム
CN108039081B (zh) 机器人教学测评方法及装置
EP3664101A1 (en) A computer-implemented method and an apparatus for use in detecting malingering by a first subject in one or more physical and/or mental function tests
WO2022181105A1 (ja) 分析装置、分析方法及び非一時的なコンピュータ可読媒体
CN111611896B (zh) 一种考试防作弊的管理系统
Hirt et al. Measuring emotions during learning: lack of coherence between automated facial emotion recognition and emotional experience
CN112396114A (zh) 一种测评系统、测评方法及相关产品
WO2024062935A1 (ja) 情報処理装置、システム、情報処理方法、およびプログラム
JPWO2017064890A1 (ja) 情報処理装置、情報処理方法、およびプログラム
Lapierre et al. Looking “Under the hood” of learning computer programming: the emotional and cognitive differences between novices and beginners
US11935329B2 (en) Video analysis program
Khosravi et al. Employing a Wearable Eye-tracker to Observe Mind-wandering in Dynamic Stimuli
CN117708391B (zh) 一种数据处理方法、装置、设备及存储介质
CN117455126B (zh) 一种泛在实训教学和考评管理系统及方法
Swathi et al. Student Engagement Prediction in an E-Learning Platform

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22759147

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023502158

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22759147

Country of ref document: EP

Kind code of ref document: A1