WO2020082971A1 - 一种课堂实时监测与评估系统及其工作方法、创建方法 - Google Patents

一种课堂实时监测与评估系统及其工作方法、创建方法 Download PDF

Info

Publication number
WO2020082971A1
WO2020082971A1 PCT/CN2019/107886 CN2019107886W WO2020082971A1 WO 2020082971 A1 WO2020082971 A1 WO 2020082971A1 CN 2019107886 W CN2019107886 W CN 2019107886W WO 2020082971 A1 WO2020082971 A1 WO 2020082971A1
Authority
WO
WIPO (PCT)
Prior art keywords
classroom
module
real
network
time
Prior art date
Application number
PCT/CN2019/107886
Other languages
English (en)
French (fr)
Inventor
顾晓东
王士昭
Original Assignee
江苏君英天达人工智能研究院有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 江苏君英天达人工智能研究院有限公司 filed Critical 江苏君英天达人工智能研究院有限公司
Publication of WO2020082971A1 publication Critical patent/WO2020082971A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Definitions

  • the invention relates to the field of wisdom education, in particular to a classroom real-time monitoring and evaluation system and its working method and creation method.
  • classroom teaching is the most basic and most important part of theoretical knowledge transfer in the process of talent training, and its quality has a direct impact on the quality of talent training.
  • Practice shows that the monitoring and evaluation of classroom effects has a positive role in improving the quality of classroom teaching, evaluating teachers 'classroom teaching, helping teachers understand students' learning situation, updating teaching content, adjusting teaching programs, and improving teaching methods.
  • the common classroom effect evaluation is divided into on-site observation evaluation, monitoring monitoring evaluation, video evaluation, scale evaluation, etc. It is generally used to evaluate teachers; while teachers ’way of understanding students is mainly through homework or tests, lagging behind Sex is relatively large.
  • the purpose of the present invention is to provide a classroom real-time detection and evaluation system, which can display the student's performance in real time, help the teacher to grasp the situation of the student at any time, promptly remind the students who are absent from the lecture, change the teaching method, adjust the teaching plan, and effectively improve the teaching quality .
  • the present invention provides a real-time classroom monitoring and evaluation system.
  • the real-time classroom monitoring and evaluation system is an FPGA system, which includes a video acquisition module, a data scheduling module, an image analysis module, and a result statistics module connected in sequence;
  • the video collection module is used to collect video images in the classroom in real time, parse the collected video images into several frames, and then send them to the data scheduling module in sequence;
  • the data scheduling module includes at least one first memory and a first-in first-out queue sub-module.
  • the data scheduling module sends the received image frames to the first memory, and enters the image analysis module in turn through the first-in first-out queue to perform image analysis;
  • the image analysis module includes a behavioral expression analysis network model based on the YOLO network.
  • the behavioral expression analysis network model includes several network layers set in pipeline, two second memories for storing output results of each network layer, and YOLO output layer to output analysis results;
  • Each of the network layers includes a convolution layer and a pooling layer that are correspondingly set, and the output results of the convolution layer and the pooling layer are alternately written into two second memories to implement a ping-pong operation;
  • the start-up switching between the layers of the behavior expression analysis network model is determined by the handshake signal, that is, the convolutional layer and the pooling layer started by the handshake signal alternately read data from the two second memories, process and send To the next network layer;
  • the YOLO output layer is respectively connected to the last level network layer and the result statistics module to transmit the output results to the result statistics module;
  • the result statistics module receives the analysis result sent by the image analysis module, and performs statistical analysis on the abnormal behavior therein.
  • the first memory is a synchronous dynamic random access memory
  • the second memory is a static random access memory.
  • the pooling layer is the largest pooling layer.
  • an image adjustment module is provided between the data scheduling module and the image analysis module for receiving the image output by the data scheduling module, and after scaling, it is sent to two second memories for the network layer to call.
  • the behavior expression analysis network model further has a weight setting module, which is used to set the weight of the convolution kernel of the network layer.
  • the working method includes:
  • classroom performance includes both abnormal behavior and normal behavior
  • a warning is issued when the number of students responding to abnormal behavior at the same time is greater than a set number threshold.
  • the method further includes:
  • Classroom performance is scored on the behavioral expressions of students in each frame of images collected. Classroom performance below the set score is defined as abnormal behavior.
  • the method further includes:
  • ⁇ i is the weight that scores in each time period occupy when calculating the total score of teaching results
  • the method further includes:
  • the statistical analysis result of the result statistical module is sent to a designated client after the end of the class.
  • the invention also refers to a method for creating a classroom real-time monitoring and evaluation system.
  • the method for creating a classroom real-time monitoring and evaluation system includes:
  • S1 Collect students' behavior and expression images, and superimpose a standard facial expression database to create a classroom student behavior expression database;
  • step S3 According to the network parameters obtained in step S2, a real-time classroom monitoring and evaluation system is established.
  • FIG. 1 is a schematic structural diagram of a classroom real-time monitoring and evaluation system of the present invention.
  • FIG. 2 is a schematic diagram of the YOLO V3_tiny network structure of the present invention.
  • FIG. 3 is an architecture diagram of FPGA design and implementation of the target detection network of the present invention.
  • FIG. 4 is a schematic diagram of the working method of the classroom real-time monitoring and evaluation system of the present invention.
  • FIG. 5 is a schematic diagram of a method for creating a classroom real-time monitoring and evaluation system of the present invention.
  • the classroom real-time monitoring and evaluation system is an FPGA system, which includes a video acquisition module 10, a data scheduling module 20, an image analysis module 30, and result statistics connected in sequence The module 40 and a processor module (not shown in the figure) coordinating the normal operation of all modules.
  • the video collection module 10 is used to collect video images in the classroom in real time, parse the collected video images into several frames, and then send them to the data scheduling module 20 in sequence.
  • the data scheduling module 20 includes at least one first memory and a first-in first-out queue sub-module.
  • the data scheduling module 20 sends the received image frames to the first memory, and then enters the image analysis through the first-in first-out queue.
  • the module 30 performs image analysis.
  • the first memory is a synchronous dynamic random access memory.
  • the image analysis module 30 includes a behavioral expression analysis network model based on the YOLO network.
  • the behavioral expression analysis network model includes several network layers set in pipeline, two second memories for storing output results of each network layer, and YOLO output layer for outputting analysis results.
  • the second memory is a static random access memory.
  • the YOLO network used here is the YOLO V3_tiny network. Compared with the commonly used V1 network and V2 network, the V3 network has the characteristics of fast response and better performance. It is suitable for classroom analysis of this crowd with high density and behavioral expression characteristics Used in more occasions.
  • each of the network layers includes a convolution layer and a pooling layer that are correspondingly set, and the output results of the convolution layer and the pooling layer are alternately written into two second memories to implement a ping pong operation.
  • the pooling layer is the largest pooling layer.
  • the start-up switching between the layers of the behavior expression analysis network model is determined by the handshake signal, that is, the convolutional layer and the pooling layer started by the handshake signal alternately read data from the two second memories, process and send To the next network layer.
  • the YOLO output layer is respectively connected to the last-level network layer and the result statistics module 40 to transmit the output results to the result statistics module 40.
  • the result statistics module 40 receives the analysis result sent by the image analysis module 30 and performs statistical analysis on the abnormal behavior therein.
  • an image adjustment module is provided between the data scheduling module 20 and the image analysis module 30 for receiving the image output by the data scheduling module 20, and after scaling, it is sent to two second memories for the network layer to call.
  • the data adjustment module is used to scale the image frame output by the data scheduling module 20 and send it to the image analysis module 30, so that the image frame conforms to the reception standard of the image analysis module 30.
  • an image frame has a pixel ratio of 1920 * 1080, and is processed by an image adjustment module to be converted into an image with a pixel ratio of 288 * 288 to enter the image analysis module 30 for specific behavior expression analysis.
  • the behavioral expression analysis network model also has a weight setting module for setting the convolution kernel weight of the network layer.
  • the convolution kernel weight has no fixed value and needs to be set by the user according to actual needs.
  • the present invention also refers to a working method of the classroom real-time monitoring and evaluation system.
  • the working method includes:
  • the classroom performance includes two types of abnormal behavior and normal behavior, and the number of students responding to abnormal behavior at the same moment Once a number threshold is set, a warning is issued.
  • the classroom real-time monitoring and evaluation system also includes a warning module to issue a warning to remind teachers to pay attention to abnormal behaviors in the classroom in time.
  • the criteria for determining abnormal behavior can be set as follows:
  • Classroom performance is scored on the behavioral expressions of students in each frame of images collected. Classroom performance below the set score is defined as abnormal behavior.
  • students A ’s eyes are fixed on the teacher, they are sitting upright, they are raising their hands to answer questions, and the expression is happy, each scores one point, and student A ’s score is 4 points; student B ’s eyes are fixed on the teacher and the expression is happy, and each one Points, but the action is to lie on the table and deduct one point, and Student B scores 1 point. If the set score is 2 points, the behavior of student A is judged as normal behavior, and the behavior of student B is judged as abnormal behavior.
  • the result statistics module 40 calculates the total score of a class ’s teaching results.
  • the time factor can be taken into account to obtain a more objective and accurate judgment result.
  • the method further includes:
  • ⁇ i is the weight that scores in each time period occupy when calculating the total score of teaching results
  • the method also includes:
  • the statistical analysis result of the result statistical module 40 is sent to a designated client after the end of the class, such as the mobile phone of the corresponding teacher, the mobile phone of the staff responsible for evaluating the effect of the class, and so on.
  • the present invention also refers to a method for creating a classroom real-time monitoring and evaluation system.
  • the method for creating a classroom real-time monitoring and evaluation system includes:
  • S1 Collect students' behavior and expression images, superimpose a standard facial expression database to create a classroom student behavior expression database.
  • the method of creating a database of classroom student behavior expressions also includes: annotating the collected image data, not only annotating the area of the target face but also annotating its behavior and expression.
  • S2 In-depth network training is performed on the data in the classroom expression database of classroom students, and the network parameters are obtained after many cycles.
  • the deep network is trained by the BP algorithm, and the best network parameters are obtained through multiple cycles.
  • step S3 According to the network parameters obtained in step S2, a classroom real-time monitoring and evaluation system is established.
  • the classroom real-time monitoring and evaluation system is an FPGA system, and the data collected by the system does not need to be uploaded to the cloud to maximize the protection of the privacy of students and teachers.
  • the classroom behavior and expression database is based on the accumulated student data and the collected images to record student reading, taking notes, listening, raising hands and lying on the table, as well as expressions of happiness, disgust, daze, surprise, anger, etc.
  • classroom student expression database training network parameters.
  • the real-time display of the learning status of the students in the classroom is to capture the students 'facial expressions and behaviors, statistically analyze the students' classroom performance, and remind abnormal behaviors (such as the phenomenon of a large number of students sleeping in groups and playing mobile phones).

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种课堂实时监测与评估系统，包括依次连接的视频采集模块（10）、数据调度模块（20）、图像分析模块（30）、结果统计模块（40）；数据调度模块（20）包括第一存储器和一先入先出队列子模块；图像分析模块（30）包括一基于YOLO网络的行为表情分析网络模型，该行为表情分析网络模型包括若干个流水设置的网络层、用以存储每个网络层输出结果的两个第二存储器、以及YOLO输出层；YOLO输出层分别与最后一级网络层、结果统计模块连接，用以将输出结果传输至结果统计模块（40）；结果统计模块（40）对其中的异常行为进行统计分析。上述系统能够实时显示学生的听课表现，能帮助教师随时掌握学生的情况，及时提醒听课走神的学生、更改教学方式、调整教学方案，切实提高教学质量。

Description

一种课堂实时监测与评估系统及其工作方法、创建方法 技术领域
本发明涉及智慧教育领域，具体而言涉及一种课堂实时监测与评估系统及其工作方法、创建方法。
背景技术
课堂教学是人才培养过程中进行理论知识传授最基本、最重要的环节，其质量的优劣对人才培养的质量有着直接的影响。实践表明，课堂效果监测与评估对于提高课堂教学质量，评价教师课堂教学，辅助教师了解学生学习情况、更新教学内容、调整教学方案、改进教学方法有着积极的促进作用。
传统教学模式里，常见的课堂效果评价分为现场观察评价、监视监听评价、录像评价、量表评价等，一般用于对教师的评价；而教师了解学生的方式则主要通过作业或者测验，滞后性比较大。
发明内容
本发明目的在于提供一种课堂实时检测和评估系统，能够实时显示学生的听课表现，能帮助教师随时掌握学生的情况，及时提醒听课走神的学生、更改教学方式、调整教学方案，切实提高教学质量。
为达成上述目的，本发明提出一种课堂实时监测与评估系统，所述课堂实时监测与评估系统为一FPGA系统，包括依次连接的视频采集模块、数据调度模块、图像分析模块、结果统计模块；
所述视频采集模块用以实时采集教室内的视频图像，将采集的视频图像解析成若干帧后依次发送至数据调度模块；
所述数据调度模块包括至少一个第一存储器和一先入先出队列子模块，数据调度模块将接收到的图像帧发送至第一存储器，经过先入先出队列依次进入图像分析模块进行图像分析；
所述图像分析模块包括一基于YOLO网络的行为表情分析网络模型，该行为表情分析网络模型包括若干个流水设置的网络层、用以存储每个网络层输出结果的两个第二存储器、以及用以输出分析结果的YOLO输出层；
每个所述网络层包括对应设置的卷积层与池化层，卷积层和池化层的输出结果交替写入两个第二存储器中，以实现乒乓操作；
所述行为表情分析网络模型隔层之间的启动切换由握手信号决定，即：由握手信号启动的卷积层和池化层交替地从两个第二存储器中读取数据，进行处理后发送至下一级网络层；
所述YOLO输出层分别与最后一级网络层、结果统计模块连接，用以将输出结果传输至结果统计模块；
所述结果统计模块接收图像分析模块发送的分析结果，对其中的异常行为进行统计分析。
进一步的实施例中，所述第一存储器为同步动态随机存储器；
所述第二存储器为静态随机存取存储器。
进一步的实施例中，所述池化层为最大池化层。
进一步的实施例中，所述数据调度模块与图像分析模块之间设置有一图像调整模块，用以接收数据调度模块输出的图像，缩放后发送至两个第二存储器中供网络层调用。
进一步的实施例中，所述行为表情分析网络模型还具有一权重设置模块，用以设置网络层的卷积核权重。
基于前述课堂实时监测与评估系统，本发明还提及一种课堂实时监测与评估系统的工作方法，所述工作方法包括：
实时采集课堂上学生的行为和表情图像，将之导入课堂实时监测与评估系统进行课堂表现分析和统计，课堂表现包括异常行为和正常行为两种，以及
响应于同一时刻的异常行为的学生数量大于一设定数量阈值，发出警告。
进一步的实施例中，所述方法还包括：
对采集的每帧图像中的学生行为表情进行课堂表现评分，低于设定分值的课堂表现被定义成异常行为。
进一步的实施例中，所述方法还包括：
将一次课堂过程划分成若干个时间段t i，统计每个时间段中采集的所有图像中的学生行为表情的课堂表现的评分a i，i＝{1，2，...，n}，根据下述公式计算本次课堂的教学结果总评分S：
Figure PCTCN2019107886-appb-000001
其中，ω i是每个时间段评分在计算教学结果总评分时所占据的权重，
Figure PCTCN2019107886-appb-000002
进一步的实施例中，所述方法还包括：
将所述结果统计模块的统计分析结果在课堂结束后发送至一指定客户端。
本发明还提及一种课堂实时监测与评估系统的创建方法，所述课堂实时监测与评估系统的创建方法包括：
S1：采集学生的行为和表情图像，叠加标准的人脸表情数据库以创建课堂学生行为表情数据库；
S2：对课堂学生行为表情数据库中的数据进行深度网络训练，经多次循环以获取最佳的网络参数；
S3：根据步骤S2中获取的网络参数以建立课堂实时监测与评估系统。
以上本发明的技术方案，与现有相比，其显著的有益效果在于：
1)建立课堂学生行为和表情数据库，为课堂效果评估提供依据。
2)实时显示课堂学生的学习状况，通过捕捉学生的面部表情和行为举止，统计分析学生课堂表现，当出现异常行为时提醒教师。
3)系统的FPGA设计与实现，系统采集的数据无需上传云端，最大限度地保护学生和教师的隐私。
应当理解，前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构 思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。另外，所要求保护的主题的所有组合都被视为本公开的发明主题的一部分。
结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见，或通过根据本发明教导的具体实施方式的实践中得知。
附图说明
附图不意在按比例绘制。在附图中，在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见，在每个图中，并非每个组成部分均被标记。现在，将通过例子并参考附图来描述本发明的各个方面的实施例，其中：
图1是本发明的课堂实时监测与评估系统的结构示意图。
图2是本发明的YOLO V3_tiny网络结构的示意图。
图3是本发明的目标检测网络的FPGA设计与实现的架构图。
图4是本发明的课堂实时监测与评估系统的工作方法示意图。
图5是本发明的课堂实时监测与评估系统的创建方法示意图。
具体实施方式
为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。
在本公开中参照附图来描述本发明的各方面，附图中示出了许多说明的实施例。本公开的实施例不必定义在包括本发明的所有方面。应当理解，上面介绍的多种构思和实施例，以及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施，这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单独使用，或者与本发明公开的其他方面的任何适当组合来使用。
结合图1，本发明提出一种课堂实时监测与评估系统，所述课堂实时监测与评估系统为一FPGA系统，包括依次连接的视频采集模块10、数据调度模块20、图像分析模块30、结果统计模块40和一协调所有模块正常运行的处理器模块(图中未标识)。
所述视频采集模块10用以实时采集教室内的视频图像，将采集的视频图像解析成若干帧后依次发送至数据调度模块20。
结合图3，所述数据调度模块20包括至少一个第一存储器和一先入先出队列子模块，数据调度模块20将接收到的图像帧发送至第一存储器，经过先入先出队列依次进入图像分析模块30进行图像分析。优选的，所述第一存储器为同步动态随机存储器。
所述图像分析模块30包括一基于YOLO网络的行为表情分析网络模型，该行为表情分析网络模型包括若干个流水设置的网络层、用以存储每个网络层输出结果的两个第二存储器、以及用以输出分析结果的YOLO输出层。优选的，所述第二存储器为静态随机存取存储器。
此处的YOLO网络选用的是YOLO V3_tiny网络，对比常用的V1网络、V2网络，V3网络具有响应速度快、性能更优的特性，适合在课堂分析这种人群密集度较高、行为表情特征值较多的场合应用。
结合图2，每个所述网络层包括对应设置的卷积层与池化层，卷积层和池化层的输出结 果交替写入两个第二存储器中，以实现乒乓操作。
在本实施例中，所述池化层为最大池化层。
所述行为表情分析网络模型隔层之间的启动切换由握手信号决定，即：由握手信号启动的卷积层和池化层交替地从两个第二存储器中读取数据，进行处理后发送至下一级网络层。
所述YOLO输出层分别与最后一级网络层、结果统计模块40连接，用以将输出结果传输至结果统计模块40。
所述结果统计模块40接收图像分析模块30发送的分析结果，对其中的异常行为进行统计分析。
在一些例子中，所述数据调度模块20与图像分析模块30之间设置有一图像调整模块，用以接收数据调度模块20输出的图像，缩放后发送至两个第二存储器中供网络层调用，数据调整模块用以对数据调度模块20输出的图像帧进行缩放后发送至图像分析模块30，使图像帧符合图像分析模块30的接收标准。
例如，一幅图像帧的像素比为1920*1080，经图像调整模块处理后转换成像素比为288*288的图像进入图像分析模块30进行具体行为表情的分析。
进一步的实施例中，所述行为表情分析网络模型还具有一权重设置模块，用以设置网络层的卷积核权重，卷积核权重并无定值，需要使用者根据实际需求设定。
结合图4，基于前述课堂实时监测与评估系统，本发明还提及一种课堂实时监测与评估系统的工作方法，所述工作方法包括：
实时采集课堂上学生的行为和表情图像，将之导入课堂实时监测与评估系统进行课堂表现分析和统计，课堂表现包括异常行为和正常行为两种，以及响应于同一时刻的异常行为的学生数量大于一设定数量阈值，发出警告。
对应的，课堂实时监测与评估系统中还包括一警告模块，用以发出警告提醒教师及时注意课堂上的异常行为。
其中，异常行为的判定标准可以设置如下：
对采集的每帧图像中的学生行为表情进行课堂表现评分，低于设定分值的课堂表现被定义成异常行为。
例如，其中学生A的眼睛注视老师、坐姿端正、正在举手回答问题、表情为高兴，各记一分，学生A的得分为4分；学生B的眼睛注视老师、表情为高兴，各记一分，但其动作为趴桌子，扣一分，学生B的得分则为1分。如果设定分值为2分，则学生A的行为被判定为正常行为，学生B的行为则被判定为异常行为。
考虑到一次课堂过程中，临近课堂开始时学生的注意力较为集中，而课堂中段或者后段学生的注意力会因为疲劳而有所涣散，结果统计模块40在统计一次课堂的教学结果总评分时可以将时间因素考虑进去，以获取更为客观和精确的判定结果。
具体的，所述方法还包括：
将一次课堂过程划分成若干个时间段t i，统计每个时间段中采集的所有图像中的学生行为表情的课堂表现的评分a i，i＝{1，2，...，n}，根据下述公式计算本次课堂的教学结果总评分S：
Figure PCTCN2019107886-appb-000003
其中，ω i是每个时间段评分在计算教学结果总评分时所占据的权重，
Figure PCTCN2019107886-appb-000004
所述方法还包括：
将所述结果统计模块40的统计分析结果在课堂结束后发送至一指定客户端，例如对应老师的手机、负责评价课堂效果的工作人员的手机等等。
结合图5，本发明还提及一种课堂实时监测与评估系统的创建方法，所述课堂实时监测与评估系统的创建方法包括：
S1：采集学生的行为和表情图像，叠加标准的人脸表情数据库以创建课堂学生行为表情数据库。
具体的，创建课堂学生行为表情数据库的方法还包括：对采集的图像数据进行标注，不仅标注目标人脸的区域还需要标注其行为和表情。
S2：对课堂学生行为表情数据库中的数据进行深度网络训练，经多次循环以获取最佳的网络参数。例如，由BP算法训练深度网络，通过多次循环得到最佳的网络参数。
S3：根据步骤S2中获取的网络参数以建立课堂实时监测与评估系统，课堂实时监测与评估系统为一FPGA系统，系统采集的数据无需上传云端，最大限度地保护学生和教师的隐私。
所述的课堂行为和表情数据库是通过积累的学生资料加上采集的图像，记录学生阅读、记笔记、听讲、举手和趴桌子等行为以及高兴、反感、发呆、惊讶、愤怒等表情，建立课堂学生行为表情数据库，训练网络参数。
所述的实时显示课堂学生的学习状况，是通过捕捉学生的面部表情和行为举止，统计分析学生课堂表现，并对异常行为(如大批学生集体睡觉、玩手机等现象)进行提醒。
所述的实时嵌入式系统所有运算均由FPGA本地完成，无需上传云端，无需上传云端，保护学生和教师的隐私。系统的FPGA设计如图3所示。所述的统计输出结果在课堂结束后将结果发送至教师手机上。
虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (10)

  1. 一种课堂实时监测与评估系统，其特征在于，所述课堂实时监测与评估系统为一FPGA系统，包括依次连接的视频采集模块、数据调度模块、图像分析模块、结果统计模块；
    所述视频采集模块用以实时采集教室内的视频图像，将采集的视频图像解析成若干帧后依次发送至数据调度模块；
    所述数据调度模块包括至少一个第一存储器和一先入先出队列子模块，数据调度模块将接收到的图像帧发送至第一存储器，经过先入先出队列依次进入图像分析模块进行图像分析；
    所述图像分析模块包括一基于YOLO网络的行为表情分析网络模型，该行为表情分析网络模型包括若干个流水设置的网络层、用以存储每个网络层输出结果的两个第二存储器、以及用以输出分析结果的YOLO输出层；
    每个所述网络层包括对应设置的卷积层与池化层，卷积层和池化层的输出结果交替写入两个第二存储器中，以实现乒乓操作；
    所述行为表情分析网络模型隔层之间的启动切换由握手信号决定，即：由握手信号启动的卷积层和池化层交替地从两个第二存储器中读取数据，进行处理后发送至下一级网络层；
    所述YOLO输出层分别与最后一级网络层、结果统计模块连接，用以将输出结果传输至结果统计模块；
    所述结果统计模块接收图像分析模块发送的分析结果，对其中的异常行为进行统计分析。
  2. 根据权利要求1所述的课堂实时监测与评估系统，其特征在于，所述第一存储器为同步动态随机存储器；
    所述第二存储器为静态随机存取存储器。
  3. 根据权利要求1所述的课堂实时监测与评估系统，其特征在于，所述池化层为最大池化层。
  4. 根据权利要求1所述的课堂实时监测与评估系统，其特征在于，所述数据调度模块与图像分析模块之间设置有一图像调整模块，用以接收数据调度模块输出的图像，缩放后发送至两个第二存储器中供网络层调用。
  5. 根据权利要求1所述的课堂实时监测与评估系统，其特征在于，所述行为表情分析网络模型还具有一权重设置模块，用以设置网络层的卷积核权重。
  6. 一种基于权利要求1-5中任意一项所述的课堂实时监测与评估系统的工作方法，其特征在于，所述工作方法包括：
    实时采集课堂上学生的行为和表情图像，将之导入课堂实时监测与评估系统进行课堂表现分析和统计，课堂表现包括异常行为和正常行为两种，以及
    响应于同一时刻的异常行为的学生数量大于一设定数量阈值，发出警告。
  7. 根据权利要求6所述的课堂实时监测与评估方法，其特征在于，所述方法还包括：
    对采集的每帧图像中的学生行为表情进行课堂表现评分，低于设定分值的课堂表现被定义成异常行为。
  8. 根据权利要求6所述的课堂实时监测与评估方法，其特征在于，所述方法还包括：
    将一次课堂过程划分成若干个时间段t i，统计每个时间段中采集的所有图像中的学生行 为表情的课堂表现的评分a i，i＝(1，2，...，n}，根据下述公式计算本次课堂的教学结果总评分S：
    Figure PCTCN2019107886-appb-100001
    其中，ω i是每个时间段评分在计算教学结果总评分时所占据的权重，
    Figure PCTCN2019107886-appb-100002
  9. 根据权利要求6所述的课堂实时监测与评估方法，其特征在于，所述方法还包括：
    将所述结果统计模块的统计分析结果在课堂结束后发送至一指定客户端。
  10. 一种课堂实时监测与评估系统的创建方法，其特征在于，所述课堂实时监测与评估系统的创建方法包括：
    S1：采集学生的行为和表情图像，叠加标准的人脸表情数据库以创建课堂学生行为表情数据库；
    S2：对课堂学生行为表情数据库中的数据进行深度网络训练，经多次循环以获取最佳的网络参数；
    S3：根据步骤S2中获取的网络参数以建立课堂实时监测与评估系统。
PCT/CN2019/107886 2018-10-24 2019-09-25 一种课堂实时监测与评估系统及其工作方法、创建方法 WO2020082971A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811242461.4 2018-10-24
CN201811242461.4A CN109359606A (zh) 2018-10-24 2018-10-24 一种课堂实时监测与评估系统及其工作方法、创建方法

Publications (1)

Publication Number Publication Date
WO2020082971A1 true WO2020082971A1 (zh) 2020-04-30

Family

ID=65346517

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/107886 WO2020082971A1 (zh) 2018-10-24 2019-09-25 一种课堂实时监测与评估系统及其工作方法、创建方法

Country Status (2)

Country Link
CN (1) CN109359606A (zh)
WO (1) WO2020082971A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111538640A (zh) * 2020-06-09 2020-08-14 陈君宁 一种动态解析的数据链
CN111931598A (zh) * 2020-07-20 2020-11-13 湖北美和易思教育科技有限公司 一种基于人脸识别的课堂智能实时分析方法及系统
CN112116264A (zh) * 2020-09-24 2020-12-22 北京易华录信息技术股份有限公司 一种活跃度评估方法及装置
CN113065441A (zh) * 2021-03-25 2021-07-02 开放智能机器（上海）有限公司 一种基于边缘设备的图像处理系统及方法
CN113743250A (zh) * 2021-08-16 2021-12-03 华中师范大学 一种课堂教学行为事件描述模型的构建方法及系统
CN115130932A (zh) * 2022-08-31 2022-09-30 中国医学科学院阜外医院 一种课堂活动数字化评估方法
CN115810163A (zh) * 2022-11-17 2023-03-17 云启智慧科技有限公司 一种基于ai课堂行为识别的教学评估方法和系统
CN116611022A (zh) * 2023-04-21 2023-08-18 深圳乐行智慧产业有限公司 智慧校园教育大数据融合方法及平台
CN117557428A (zh) * 2024-01-11 2024-02-13 深圳市华视圣电子科技有限公司 一种基于ai视觉的教学辅助方法及系统

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109359606A (zh) * 2018-10-24 2019-02-19 江苏君英天达人工智能研究院有限公司 一种课堂实时监测与评估系统及其工作方法、创建方法
CN110334610B (zh) * 2019-06-14 2024-01-26 华中师范大学 一种基于计算机视觉的多维度课堂量化系统及方法
CN110598632B (zh) * 2019-09-12 2022-09-09 深圳市商汤科技有限公司 目标对象的监测方法及装置、电子设备和存储介质
CN111291613B (zh) * 2019-12-30 2024-04-23 新大陆数字技术股份有限公司 一种课堂表现评价方法及系统
CN111428686A (zh) * 2020-04-14 2020-07-17 北京易华录信息技术股份有限公司 一种学生兴趣偏好评估方法、装置及系统
CN111898492A (zh) * 2020-07-15 2020-11-06 西安石油大学 一种智能校园自习室监控管理系统
CN116051324A (zh) * 2022-12-31 2023-05-02 华中师范大学 一种基于姿态检测的学生课堂参与状态评价方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150044657A1 (en) * 2013-08-07 2015-02-12 Xerox Corporation Video-based teacher assistance
US20150092978A1 (en) * 2013-09-27 2015-04-02 Konica Minolta Laboratory U.S.A., Inc. Method and system for recognition of abnormal behavior
CN108073888A (zh) * 2017-08-07 2018-05-25 中国科学院深圳先进技术研究院 一种教学辅助方法及采用该方法的教学辅助系统
CN108537117A (zh) * 2018-03-06 2018-09-14 哈尔滨思派科技有限公司 一种基于深度学习的乘客检测方法和系统
CN108596037A (zh) * 2018-03-27 2018-09-28 康体佳智能科技（深圳）有限公司 基于神经网络的人脸识别系统及识别方法
CN109359606A (zh) * 2018-10-24 2019-02-19 江苏君英天达人工智能研究院有限公司 一种课堂实时监测与评估系统及其工作方法、创建方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105991973A (zh) * 2015-02-26 2016-10-05 开利公司 用于用反馈自动调试智能视频系统的系统和方法
CN107895244A (zh) * 2017-12-26 2018-04-10 重庆大争科技有限公司 课堂教学质量评估方法
CN108399376B (zh) * 2018-02-07 2020-11-06 华中师范大学 学生课堂学习兴趣智能分析方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150044657A1 (en) * 2013-08-07 2015-02-12 Xerox Corporation Video-based teacher assistance
US20150092978A1 (en) * 2013-09-27 2015-04-02 Konica Minolta Laboratory U.S.A., Inc. Method and system for recognition of abnormal behavior
CN108073888A (zh) * 2017-08-07 2018-05-25 中国科学院深圳先进技术研究院 一种教学辅助方法及采用该方法的教学辅助系统
CN108537117A (zh) * 2018-03-06 2018-09-14 哈尔滨思派科技有限公司 一种基于深度学习的乘客检测方法和系统
CN108596037A (zh) * 2018-03-27 2018-09-28 康体佳智能科技（深圳）有限公司 基于神经网络的人脸识别系统及识别方法
CN109359606A (zh) * 2018-10-24 2019-02-19 江苏君英天达人工智能研究院有限公司 一种课堂实时监测与评估系统及其工作方法、创建方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111538640A (zh) * 2020-06-09 2020-08-14 陈君宁 一种动态解析的数据链
CN111538640B (zh) * 2020-06-09 2023-05-16 陈君宁 一种动态解析的数据链
CN111931598A (zh) * 2020-07-20 2020-11-13 湖北美和易思教育科技有限公司 一种基于人脸识别的课堂智能实时分析方法及系统
CN111931598B (zh) * 2020-07-20 2024-05-17 武汉美和易思数字科技有限公司 一种基于人脸识别的课堂智能实时分析方法及系统
CN112116264A (zh) * 2020-09-24 2020-12-22 北京易华录信息技术股份有限公司 一种活跃度评估方法及装置
CN113065441A (zh) * 2021-03-25 2021-07-02 开放智能机器（上海）有限公司 一种基于边缘设备的图像处理系统及方法
CN113743250B (zh) * 2021-08-16 2024-02-13 华中师范大学 一种课堂教学行为事件描述模型的构建方法及系统
CN113743250A (zh) * 2021-08-16 2021-12-03 华中师范大学 一种课堂教学行为事件描述模型的构建方法及系统
CN115130932A (zh) * 2022-08-31 2022-09-30 中国医学科学院阜外医院 一种课堂活动数字化评估方法
CN115810163A (zh) * 2022-11-17 2023-03-17 云启智慧科技有限公司 一种基于ai课堂行为识别的教学评估方法和系统
CN115810163B (zh) * 2022-11-17 2023-09-05 云启智慧科技有限公司 一种基于ai课堂行为识别的教学评估方法和系统
CN116611022B (zh) * 2023-04-21 2024-04-26 深圳乐行智慧产业有限公司 智慧校园教育大数据融合方法及平台
CN116611022A (zh) * 2023-04-21 2023-08-18 深圳乐行智慧产业有限公司 智慧校园教育大数据融合方法及平台
CN117557428A (zh) * 2024-01-11 2024-02-13 深圳市华视圣电子科技有限公司 一种基于ai视觉的教学辅助方法及系统
CN117557428B (zh) * 2024-01-11 2024-05-07 深圳市华视圣电子科技有限公司 一种基于ai视觉的教学辅助方法及系统

Also Published As

Publication number Publication date
CN109359606A (zh) 2019-02-19

Similar Documents

Publication Publication Date Title
WO2020082971A1 (zh) 一种课堂实时监测与评估系统及其工作方法、创建方法
CN110334610B (zh) 一种基于计算机视觉的多维度课堂量化系统及方法
CN207965910U (zh) 基于人脸识别的教学管理系统
WO2019028592A1 (zh) 一种教学辅助方法及采用该方法的教学辅助系统
WO2021047185A1 (zh) 基于人脸识别的监测方法、装置、存储介质及计算机设备
CN107239801A (zh) 视频属性表示学习方法及视频文字描述自动生成方法
CN108777087B (zh) 一种基于云服务器的远程教育系统
CN109345156A (zh) 一种基于机器视觉的课堂教学质量评价系统
CN108171414A (zh) 教学质量评估系统
CN106898169A (zh) 一种中国计算机应用与国际互联网教学培训系统
CN108596041A (zh) 一种基于视频的人脸活体检测方法
CN110619460A (zh) 基于深度学习目标检测的教室课堂质量评估系统及方法
CN111275345A (zh) 一种基于深度学习的课堂信息化评价及管理的系统及方法
CN109889881A (zh) 一种教师课堂教学数据采集系统
CN107169900A (zh) 一种学生听课率检测方法
CN206557851U (zh) 一种教学听课情况采集装置
CN115830392A (zh) 基于改进的YOLOv5的学生行为识别方法
CN104112131B (zh) 一种用于人脸检测的训练样本的生成方法及装置
CN108304779B (zh) 一种学生教育管理的智能化调控方法
CN106779362A (zh) 一种数学学习调查方法及装置
CN107680423A (zh) 一种视频动态捕捉的在线课程进度系统
CN107958500A (zh) 一种用于教学实境信息实时采集的监控系统
CN205814303U (zh) 一种汉语标准失语症测评系统
CN108492231A (zh) 基于学生行为数据的课堂效果信息的监控系统
CN107644557B (zh) 一种基于眼球分析的课堂教学质量分析系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19876987

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19876987

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 19876987

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 13.01.2022)

122 Ep: pct application non-entry in european phase

Ref document number: 19876987

Country of ref document: EP

Kind code of ref document: A1