WO2023024155A1 - 一种教师非言语行为测量方法及系统 - Google Patents
一种教师非言语行为测量方法及系统 Download PDFInfo
- Publication number
- WO2023024155A1 WO2023024155A1 PCT/CN2021/116819 CN2021116819W WO2023024155A1 WO 2023024155 A1 WO2023024155 A1 WO 2023024155A1 CN 2021116819 W CN2021116819 W CN 2021116819W WO 2023024155 A1 WO2023024155 A1 WO 2023024155A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- teacher
- head
- teaching
- classroom
- behavior
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000001755 vocal effect Effects 0.000 title claims abstract description 26
- 230000004886 head movement Effects 0.000 claims abstract description 90
- 230000006399 behavior Effects 0.000 claims abstract description 72
- 239000006185 dispersion Substances 0.000 claims abstract description 15
- 238000000691 measurement method Methods 0.000 claims abstract description 3
- 238000004458 analytical method Methods 0.000 claims description 37
- 239000013598 vector Substances 0.000 claims description 35
- 238000004364 calculation method Methods 0.000 claims description 29
- 230000000007 visual effect Effects 0.000 claims description 15
- 238000004891 communication Methods 0.000 claims description 10
- 238000005259 measurement Methods 0.000 claims description 10
- 230000009471 action Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 7
- 238000012800 visualization Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 claims description 4
- 210000003128 head Anatomy 0.000 description 83
- 239000011159 matrix material Substances 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 3
- 238000001303 quality assessment method Methods 0.000 description 3
- 238000012552 review Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Definitions
- the teacher's head movement can also reflect the teacher's teaching style and teaching status.
- the teacher's head movement can convey rich information.
- the head movement plays an important role in expressing thoughts.
- the answer is affirmative, nodding is often used, and shaking the head is often used to express dissatisfaction with the student's answer. This way of expressing emotions with head movements is very euphemistic, and it is easier for students to accept and more expressive than direct expressions in words.
- the object of the present invention is to provide a method and system for measuring and analyzing teachers' non-verbal behaviors, aiming to complete the teacher's attention when teaching by analyzing the teacher's line of sight and head movements in the teaching video. Distribution analysis and evaluation.
- the teaching behaviors of nodding, shaking the head and looking around are teacher-student communication; the teaching behavior of turning back is teaching a course; The teaching behavior is to teach a course. If the eyes of the bowed head fall on the students, the teaching behavior of bowing the head is a teacher-student communication; otherwise, the teaching behavior of bowing the head is an invalid teaching behavior.
- the head Euler angle acquisition module is used to carry out three-dimensional modeling of the classroom to obtain a three-dimensional view of the classroom; through the teacher's face image of each frame in the teaching video, the teacher's head of each frame of video is calculated in the three-dimensional view of the classroom The three-dimensional coordinates of the head and the Euler angle of the teacher's head;
- the teaching behaviors of nodding, shaking the head and looking around are teacher-student exchanges; the teaching behavior of turning back is teaching courses; if the bowing of the head If the gaze falls on the teaching desk, the teaching behavior of bowing the head is teaching a course. If the gaze of bowing the head falls on the students, the teaching behavior of bowing the head is communication between teachers and students; It is an ineffective teaching behavior.
- the head pose estimation algorithm used in this embodiment is a head pose estimation method proposed by Nataniel Ruiz et al. This method determines the O pull angle.
- the vector from the teacher's face to the camera can be obtained from the camera position Then the teacher's visual direction vector can be obtained from the rotation matrix corresponding to the Euler angle
- the sight point calculation module includes a first vector calculation unit, a second vector calculation unit and a sight point calculation unit.
- the sight point visualization module draws the teacher's sight point on the three-dimensional map of the classroom.
- the plane where the teacher's line of sight is located is highlighted.
- the calculation method of the teacher's gaze dispersion is as follows: use the other five surfaces of the classroom except the classroom in front of the classroom as a two-dimensional coordinate system, determine the two-dimensional coordinates of each landing point, divide the mean value of the falling point coordinates by the standard deviation to get each Surface dispersion, and finally sum the dispersion of the five surfaces to obtain the total dispersion.
- the head movement detection module includes a grouping unit and a computing unit.
- the grouping unit groups the teaching video by every 5 frames, finds out the maximum value max and the minimum value min of the pitch angle of the Euler angle of the teacher's head in each group respectively; the maximum value max and the minimum value of the yaw angle min; the maximum value max and the minimum value min of the roll angle.
- the calculation unit sets the angle threshold standard. When at least one of the three Euler angles of the teacher's head in each group of teaching videos meets the difference between max and min greater than the standard, it is considered a head movement. , the value of standard in this embodiment is 10.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Educational Administration (AREA)
- Tourism & Hospitality (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Strategic Management (AREA)
- Educational Technology (AREA)
- Geometry (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
一种教师非言语行为测量方法及系统，其中，测量方法包括：对教室进行三维建模，并对教学视频的二维图像信息进行分析处理，计算每一帧视频中的教师头部三维坐标和头部欧拉角，得到教师视线落点数据，并将视线落点投射在三维建模的教室空间中，实现了教师视线落点的可视化。通过分析教师视线落点的离散度和覆盖率了解教师授课时的注意力分布情况；将教学视频按每5帧分组，通过教师头部欧拉角解析教师头部移动，识别连续头部移动对应的不同教学行为，从而了解教师的授课风格和课堂氛围。
Description
本发明属于教学质量评价与应用技术领域，更具体地，涉及一种教师非言语行为测量方法及系统。
随着课堂教学改革的不断深化和教学交流的日益频繁,拍摄教学视频逐渐成为展示教学特色、深入研究课堂教学的一种重要形式。图像和语音是教学视频中传达信息的两种主要途径，随着人工智能技术的发展，通过对教学视频进行分析，可以实现对教学质量的评估与审核。
目前常用的教学视频的质量评估与审核方法，主要是对教学视频的图像和语音进行分析，识别教学知识点，对教学内容的合理性进行评估并形成评估反馈报告。
除了教学知识点，教师的非语言行为也会直接影响到学生的听课体验，进而影响教学质量。非语言行为主要包括眼神和头部动作。优秀的教师善于运用眼神来组织课堂教学，眼神是一种非语言表达的艺术，是课堂教学中的一种无声语言，眼神的巧妙运用可以有效地传递信息和表达情意，可拉近师生之间的距离，可把控课堂的氛围和秩序，使教学收到事半功倍的效果。
教师的头部动作也可反映出教师的教学风格和教学状态，教师的头部动作可以传达丰富的信息，头部动作对于表达思想起着重要作用，当学生回答问题时，教师为了表示对学生回答给以肯定，常用点头，为了表示不满意学生的回答常用摇头等。这种用头部动作表示情感的方式很委婉，比用语言直接表达更易于学生的接受，更富于表现力。
教学质量评估是教学管理的重要环节，对于教学视频的质量评估，除 了教学内容的识别审核，还应当针对教师的视线落点和头部动作做出评估，通过教师视线落点和头部动作可以解析教师授课时的注意力，而教师注意力能反映出教师在课堂教学中关注学生、关注教学的能力。因此，有必要通过教学视频，对教师视线落点和头部动作进行有效的测量和解析。
【发明内容】
针对现有技术的缺陷，本发明的目的在于提供一种教师非言语行为测量分析方法及系统，旨在通过解析教学视频中教师的视线落点和头部动作，完成对教师授课时的注意力分布的分析与评价。
为实现上述目的，本发明提供了一种教师非言语行为测量方法，包括如下步骤：
对教室进行三维建模，得到教室三维立体图；通过教学视频中每一帧的教师面部图像，在所述教室三维立体图中计算得到每一帧视频的教师头部三维坐标和教师头部欧拉角；
根据所述教师头部欧拉角计算教师视线落点，检测教师头部移动；
将所述教师视线落点绘制在所述教室三维立体图上；计算所述教师视线落点的离散度和覆盖率；对所述教师头部移动的欧拉角的值进行解析，识别出对应的教学行为。
优选地，计算教师视线落点包括如下步骤：以教师头部为原点，得到教师脸部到摄像头的向量，根据所述向量和所述教师头部欧拉角，得到教师视觉方向向量；根据所述教师视觉方向向量和所述教师头部三维坐标，计算得到教师视线落点；
检测教师头部移动包括如下步骤：将所述教学视频按每5帧分组，分别找出每一组中教师头部欧拉角的俯仰角的最大值max，最小值min；偏航角的最大值max，最小值min；滚转角的最大值max，最小值min；设定角度阈值standard，当教师头部欧拉角的三个角中至少有一个角满足max与min的差值大于standard时，则认为是一个头部移动的发生。
优选地，当连续的所述教师头部移动的欧拉角的范围满足-12°≤α≤20°时，其对应的头部动作是点头；当0°≤α≤38°时，其对应的头部动作是低头；当-35°≤β≤35°时，其对应的头部动作是摇头；当0°≤β≤90°或-90°≤β≤0°时，其对应的头部动作是回头；当-35°≤β≤35°时，其对应的头部动作是环视四周。
优选地，所述点头、所述摇头和所述环视四周的教学行为是师生交流；所述回头的教学行为是讲授课程；若所述低头的视线落点在教桌，则所述低头的教学行为是讲授课程，若所述低头的视线落点在学生，则所述低头的教学行为是师生交流，否则，则所述低头的教学行为是无效教学行为。
本发明提供一种教师视线落点和头部动作的测量分析系统，包括：
头部欧拉角获取模块，用于对教室进行三维建模，得到教室三维立体图；通过教学视频中每一帧的教师面部图像，在所述教室三维立体图中计算得到每一帧视频的教师头部三维坐标和教师头部欧拉角；
视线落点计算模块，用于根据所述教师头部欧拉角计算教师视线落点；
头部移动检测模块，用于根据所述教师头部欧拉角检测教师头部移动；
视线落点可视化模块，用于将所述教师视线落点绘制在所述教室三维立体图上；
视线落点分析模块，用于计算所述教师视线落点的离散度和覆盖率；
头部移动分析模块，用于对所述教师头部移动的欧拉角的值进行解析，识别出该头部移动对应的教学行为。
优选地，所述视线落点计算模块包括：
第一向量计算单元，用于以教师头部为原点获得教师脸部到摄像头的向量，
第二向量计算单元，根据所述向量和所述教师头部欧拉角，得到教师视觉方向向量；
视线落点计算单元，根据所述教师视觉方向向量和所述教师头部三维坐标，计算得到教师视线落点。
所述头部移动检测模块包括：
分组单元，用于将所述教学视频按每5帧分组，分别找出每一组中教师头部欧拉角的俯仰角的最大值max，最小值min；偏航角的最大值max，最小值min；滚转角的最大值max，最小值min；
计算单元，用于设定角度阈值standard，当每一组教学视频中教师头部欧拉角的三个角中至少有一个角满足max与min的差值大于standard时，则认为是一个头部移动的发生。
优选地，所述头部移动分析模块包括：
点头动作分析单元，用于检测连续的所述教师头部移动的欧拉角，当所述欧拉角满足-12°≤α≤20°时，其对应的头部动作是点头；
低头动作分析单元，用于检测连续的所述教师头部移动的欧拉角，当0°≤α≤38°时，其对应的头部动作是低头；
摇头动作分析单元，用于检测连续的所述教师头部移动的欧拉角，当-35°≤β≤35°时，其对应的头部动作是摇头；
回头动作分析单元，用于检测连续的所述教师头部移动的欧拉角，当0°≤β≤90°或-90°≤β≤0°时，其对应的头部动作是回头；
环视四周动作分析单元，用于检测连续的所述教师头部移动的欧拉角，当-35°≤β≤35°时，其对应的头部动作是环视四周。
优选地，所述头部移动分析模块识别教学行为时，所述点头、所述摇头和所述环视四周的教学行为是师生交流；所述回头的教学行为是讲授课程；若所述低头的视线落点在教桌，则所述低头的教学行为是讲授课程，若所述低头的视线落点在学生，则所述低头的教学行为是师生交流，否则，则所述低头的教学行为是无效教学行为。
本发明提供一种教师非言语行为测量装置，包括存储器和处理器；所述存储器，用于存储计算机程序；所述处理器，用于当执行所述计算机程序时，实现所述教师非言语行为测量方法。
本发明提供一种计算机可读存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现所述教师非言语行为测量方法。
与现有技术相比，本发明对教学视频的二维图像信息进行分析处理，得到教师视线落点和头部动作数据，并将视线落点投射在三维建模的教室空间中，实现了教师视线落点的可视化；通过对视线落点和头部动作的解析，可以了解教师授课时的注意力分布情况，进而可以评价教师的教学风格和课堂气氛；此外，通过本发明对优秀教师的教学视频进行解析，可以得到优秀教师的非言语行为测量分析数据，可以为其他教师提供参考和学习的范本。
图1是本发明实施例提供的教师非言语行为测量方法的流程图；
图2是本发明实施例提供的教师非言语行为测量系统的结构图；
图3是本发明实施例提供的教室三维立体图；
图4是本发明实施例提供的教师视线落点的可视化图。
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，本实施例提供的教师非言语行为测量方法首先要对教室进行三维建模，得到教室三维立体图；对教室进行三维建模时，需要用户输入教室的长、宽、高，和课桌高度；建模效果如图3所示，教室是一个长方体，b边是教室的宽，a边是教室的长，c边是教室的高；教师授课时 面对学生，背对黑板；教室一共有6个面：黑板所在的面是教室前面，黑板对面的面是教室后面，摄像机所在的面是教室左面，摄像机对面的面是教室右面，教师头上方的面是教室上面，教师脚下方的面是教室下面。
以教师头部为原点建系，建立参考坐标轴xyz，其中，x轴与教室的b边平行，x轴向教室后面延伸的方向为x轴正方向；y轴与教室的a边平行，y轴向教室右面延伸的方向为y轴正方向；z轴与教室的c边平行，z轴向教室上面延伸的方向为z轴正方向。
以教室前面、教室左面和教室下面交汇的点为教室原点，建立刚体坐标轴XYZ，X轴正方向从教室原点沿b边延伸，Y轴正方向从教室原点沿a边延伸，Z轴正方向从教室原点沿c边延伸。
在教学视频中，教师头部的位置是以二维坐标(X，Y)呈现的，在教室三维立体图中，教师头部的位置是以三维坐标(X，Y，Z)呈现的，因此需要将被视频抹去的第三个维度还原出来，本实施例使用张正友标定法将教师头部的二维坐标转换为三维坐标。
张正友标定方法是经典的相机标定方法，相机标定是三维场景重构中必不可少的步骤，目的是提取出二维图像中包含的计量信息。使用张正友标定可以从二维图像中获取到场景的三维信息。此外，张正友标定法可以对另外两个维度(X，Y)进行验证。张正友标定法还可以得到畸变参数，故可以矫正图像畸变。
坐标转换完成之后，对教学视频中每一帧的教师面部图像，使用头部姿态估计算法得到教师头部相对于摄像机的欧拉角；欧拉角用于在三维空间中表示物体的旋转姿态：俯仰角pitch，围绕X轴旋转；偏航角yaw，围绕Y轴旋转；滚转角roll，围绕Z轴旋转。
本实施例所使用的头部姿态估计算法是Nataniel Ruiz等人提出的一种头部姿态估计方法，该方法通过在大型综合扩展数据集300W-LP上训练一个多重损失卷积神经网络来确定欧拉角。
以教师头部为原点，由摄像机位置可以得到教师脸部到摄像机的向量
再由欧拉角对应的旋转矩阵就可以得到教师的视觉方向向量
根据欧拉角的动态定义，最初，脸部朝向参考坐标轴xyz与刚体坐标轴XYZ重叠，依次让头部绕着z轴旋转γ角值，绕着x轴旋转β角值，绕着z轴旋转α角值，其中，α是滚转角roll，β是俯仰角pitch，γ是偏航角yaw；根据下列公式可得到视觉方向向量
其中，欧拉角可以用旋转矩阵表示：
根据教师视觉方向向量，计算得到教师视线落点，计算步骤如下：
x
f,y
f,z
f分别是教室X,Y,Z轴正方向的视觉方向向量；(U,V,W)为教师头部的三维坐标；x
r,y
r,z
r分别是教室在X,Y,Z轴上的长度；(x,y,z)为教师视线落点坐标。
令
视线落点可按以下算法计算：
当x
f≥0且y
f≥0时，
若0≤t
a(x
r-U)+V≤y
r且0≤t
b(x
r-U)+W≤z
r
则落点在教室右面，且
若0≤(y
r-Y)/t
a+U≤x
r且0≤t
c(y
r-V)+W≤z
r
则落点在教室上面，且
若0≤(z
r-W)/t
b+U≤x
r且0≤(z
r-U)/t
c+V≤y
r
则落点在教室前面，且
当x
f≥0且y
f≤0时，
若0≤t
a(x
r-U)+V≤y
r且0≤t
b(x
r-U)+W≤z
r
则落点在教室右面，且
若0≤(0-V)/t
a+U≤x
r且0≤t
c(0-V)+W≤z
r
则落点在教室下面，且
若0≤(z
r-W)/t
b+U≤x
r且0≤(z
r-U)/t
c+V≤y
r
则落点在教室前面，且
当x
f≤0且y
f≥0时，
若0≤t
a(0-U)+V≤y
r且0≤t
b(0-U)+W≤z
r
则落点在教室左面，且
若0≤(y
r-V)/t
a+U≤x
r且0≤t
c(y
r-V)+W≤z
r
则落点在教室上面，且
若0≤(z
r-W)/t
b+U≤x
r且0≤(z
r-U)/t
c+V≤y
r
则落点在教室前面，且
当x
f≤0且y
f≤0时，
若0≤t
a(0-U)+V≤y
r且0≤t
b(0-U)+W≤z
r
则落点在教室左面，且
若0≤(0-V)/t
a+U≤x
r且0≤t
c(0-V)+W≤z
r
则落点在教室下面，且
若0≤(z
r-W)/t
b+U≤x
r且0≤(z
r-U)/t
c+V≤y
r
则落点在教室前面，且
如图4所示，为了更直观的表现出教师视线落点在教室的分布情况，我们对教室进行了三维建模，得到教室三维立体图，并将教师视线落点绘制在教室三维立体图上。对教室进行三维建模时，需要用户输入教室的长、宽、高，和课桌高度；为了避免教师视线落点出现歧义，对教师视线落点所在平面进行了高亮处理。
教师在课堂教学时的注意力可以分为三大类，第一类是注意力在教学内容上，第二类是注意力在学生身上，第三类是非正常授课如发呆等。通过教师视线落点可以得到教师目光离散度和教师目光覆盖率，以此作为教师注意力的评价指标。
其中，教师目光离散度的计算方法为：将除教室前面的教室另外5个面分别作二维坐标系，确定每个落点的二维坐标，将落点坐标的均值除以标准差得到各个面的离散度，最后对所述5个面的离散度求和得出总的离散度。
教师目光覆盖率的计算方法为：将除教室前面的教室另外5个面分别进行切块操作，均匀地分为n×n个的小块，n为整数，其值由用户设定，本实施例中n的值为20；对于每个面，用大小为m×m的矩阵来存储各个小块的状态，m为整数，其值由用户设定，本实施例中m的值为20；所述各个小块的初始状态全为0，每当检测到有落点落在某一区域时，就将其对应的矩阵元素置为1；最后将值为1的元素总数除以总的元素数，得出覆盖率。
将教学视频按每5帧分组，分别找出每一组中教师头部欧拉角的俯仰角的最大值max，最小值min；偏航角的最大值max，最小值min；滚转角的最大值max，最小值min；因为希望得到比较连续且自然的教室头部动作输出序列，所以选定每5帧作为一个分组。
设定角度阈值standard，当教师头部欧拉角的三个角中至少有一个角满足max–min>standard时，则认为是一个头部移动的发生，本实施例中standard的值为10。
经过对教学视频和教师头部欧拉角的反复对比验证，可按下述规则识别头部动作：当连续的头部移动的欧拉角的范围满足-12°≤α≤20°时，其对应的头部动作是点头；当0°≤α≤38°时，其对应的头部动作是低头；当-35°≤β≤35°时，其对应的头部动作是摇头；当0°≤β≤90°或-90°≤β≤0°时， 其对应的头部动作是回头；当-35°≤β≤35°时，其对应的头部动作是环视四周。
根据教师注意力集中的位置不同，教学行为可分为三大类，第一类是讲授课程，此时教师注意力集中在课程内容上；第二类是师生甲流，此时教师注意力集中在学生身上；第三类是无效授课行为如发呆等。
上述点头、摇头和环视四周的教学行为是师生交流；回头的教学行为是讲授课程；若低头的视线落点在教桌，则低头的教学行为是讲授课程，若低头的视线落点在学生，则低头的教学行为是师生交流，否则，则低头的教学行为是无效教学行为。
识别出头部动作对应的教学行为之后，可对不同的教学行为进行数量统计，从而了解教师的授课风格以及课堂气氛。
如图2所示，本实施例提供的教师非言语行为测量分析系统包括6个模块，分别是：头部欧拉角获取模块、视线落点计算模块、头部移动检测模块、视线落点可视化模块、视线落点分析模块、头部移动分析模块。
头部欧拉角获取模块首先要对教室进行三维建模，得到教室三维立体图；对教室进行三维建模时，需要用户输入教室的长、宽、高，和课桌高度；建模效果如图3所示，教室是一个长方体，b边是教室的宽，a边是教室的长，c边是教室的高；教师授课时面对学生，背对黑板；教室一共有6个面：黑板所在的面是教室前面，黑板对面的面是教室后面，摄像机所在的面是教室左面，摄像机对面的面是教室右面，教师头上方的面是教室上面，教师脚下方的面是教室下面。
以教师头部为原点建系，建立参考坐标轴xyz，其中，x轴与教室的b边平行，x轴向教室后面延伸的方向为x轴正方向；y轴与教室的a边平行，y轴向教室右面延伸的方向为y轴正方向；z轴与教室的c边平行，z轴向教室上面延伸的方向为z轴正方向。
以教室前面、教室左面和教室下面交汇的点为教室原点，建立刚体坐 标轴XYZ，X轴正方向从教室原点沿b边延伸，Y轴正方向从教室原点沿a边延伸，Z轴正方向从教室原点沿c边延伸。
在教学视频中，教师头部的位置是以二维坐标(X，Y)呈现的，在教室三维立体图中，教师头部的位置是以三维坐标(X，Y，Z)呈现的，因此需要将被视频抹去的第三个维度还原出来，本实施例使用张正友标定法将教师头部的二维坐标转换为三维坐标。
坐标转换完成之后，对教学视频中每一帧的教师面部图像，使用头部姿态估计算法得到教师头部相对于摄像机的欧拉角。本实施例所使用的头部姿态估计算法是Nataniel Ruiz等人提出的一种头部姿态估计方法，该方法通过在大型综合扩展数据集300W-LP上训练一个多重损失卷积神经网络来确定欧拉角。
视线落点计算模块包括第一向量计算单元、第二向量计算单元和视线落点计算单元。
其中，第一向量计算单元以教师头部为原点，由摄像机位置可以得到教师脸部到摄像机的向量
第二向量计算单元根据向量
和教师头部欧拉角，得到教师视觉方向向量
计算过程如下：
根据欧拉角的动态定义，最初，脸部朝向参考坐标轴xyz与刚体坐标轴XYZ重叠，依次让头部绕着z轴旋转γ角值，绕着x轴旋转β角值，绕着z轴旋转α角值，其中，α是滚转角roll，β是俯仰角pitch，γ是偏航角yaw；根据下列公式可得到视觉方向向量
其中，欧拉角可以用旋转矩阵表示：
视线落点计算单元根据教师视觉方向向量和教师头部三维坐标，计算得到教师视线落点，计算过程如下：
x
f,y
f,z
f分别是教室X,Y,Z轴正方向的视觉方向向量；(U,V,W)为教师头部的三维坐标；x
r,y
r,z
r分别是教室在X,Y,Z轴上的长度；(x,y,z)为教师视线落点坐标。
令
视线落点可按以下算法计算：
当x
f≥0且y
f≥0时，
若0≤t
a(x
r-U)+V≤y
r且0≤t
b(x
r-U)+W≤z
r
则落点在教室右面，且
若0≤(y
r-Y)/t
a+U≤x
r且0≤t
c(y
r-V)+W≤z
r
则落点在教室上面，且
若0≤(z
r-W)/t
b+U≤x
r且0≤(z
r-U)/t
c+V≤y
r
则落点在教室前面，且
当x
f≥0且y
f≤0时，
若0≤t
a(x
r-U)+V≤y
r且0≤t
b(x
r-U)+W≤z
r
则落点在教室右面，且
若0≤(0-V)/t
a+U≤x
r且0≤t
c(0-V)+W≤z
r
则落点在教室下面，且
若0≤(z
r-W)/t
b+U≤x
r且0≤(z
r-U)/t
c+V≤y
r
则落点在教室前面，且
当x
f≤0且y
f≥0时，
若0≤t
a(0-U)+V≤y
r且0≤t
b(0-U)+W≤z
r
则落点在教室左面，且
若0≤(y
r-V)/t
a+U≤x
r且0≤t
c(y
r-V)+W≤z
r
则落点在教室上面，且
若0≤(z
r-W)/t
b+U≤x
r且0≤(z
r-U)/t
c+V≤y
r
则落点在教室前面，且
当x
f≤0且y
f≤0时，
若0≤t
a(0-U)+V≤y
r且0≤t
b(0-U)+W≤z
r
则落点在教室左面，且
若0≤(0-V)/t
a+U≤x
r且0≤t
c(0-V)+W≤z
r
则落点在教室下面，且
若0≤(z
r-W)/t
b+U≤x
r且0≤(z
r-U)/t
c+V≤y
r
则落点在教室前面，且
如图4所示，为了更直观的表现出教师视线落点在教室的分布情况，视线落点可视化模块将教师视线落点绘制在教室三维立体图上。为了避免教师视线落点出现歧义，对教师视线落点所在平面进行了高亮处理。
视线落点分析模块通过教师视线落点可以得到教师目光离散度和教师目光覆盖率，以此作为教师注意力的评价指标。
其中，教师目光离散度的计算方法为：将除教室前面的教室另外5个面分别作二维坐标系，确定每个落点的二维坐标，将落点坐标的均值除以标准差得到各个面的离散度，最后对所述5个面的离散度求和得出总的离散度。
教师目光覆盖率的计算方法为：将除教室前面的教室另外5个面分别进行切块操作，均匀地分为n×n个的小块，n为整数，其值由用户设定，本实施例中n的值为20；对于每个面，用大小为m×m的矩阵来存储各个小块的状态，m为整数，其值由用户设定，本实施例中m的值为20；所述各个小块的初始状态全为0，每当检测到有落点落在某一区域时，就将其对应的 矩阵元素置为1；最后将值为1的元素总数除以总的元素数，得出覆盖率。
头部移动检测模块包括分组单元和计算单元。其中，分组单元将所述教学视频按每5帧分组，分别找出每一组中教师头部欧拉角的俯仰角的最大值max，最小值min；偏航角的最大值max，最小值min；滚转角的最大值max，最小值min。计算单元设定角度阈值standard，当每一组教学视频中教师头部欧拉角的三个角中至少有一个角满足max与min的差值大于standard时，则认为是一个头部移动的发生，本实施例中standard的值为10。
头部移动分析模块包括点头动作分析单元、低头动作分析单元、摇头动作分析单元、回头动作分析单元和环视四周动作分析单元。
其中，点头动作分析单元检测连续的所述教师头部移动的欧拉角，当所述欧拉角满足-12°≤α≤20°时，其对应的头部动作是点头；
低头动作分析单元检测连续的所述教师头部移动的欧拉角，当0°≤α≤38°时，其对应的头部动作是低头；
摇头动作分析单元检测连续的所述教师头部移动的欧拉角，当-35°≤β≤35°时，其对应的头部动作是摇头；
回头动作分析单元检测连续的所述教师头部移动的欧拉角，当0°≤β≤90°或-90°≤β≤0°时，其对应的头部动作是回头；
环视四周动作分析单元检测连续的所述教师头部移动的欧拉角，当-35°≤β≤35°时，其对应的头部动作是环视四周。
上述点头、摇头和环视四周的教学行为是师生交流；回头的教学行为是讲授课程；若低头的视线落点在教桌，则低头的教学行为是讲授课程，若低头的视线落点在学生，则低头的教学行为是师生交流，否则，则低头的教学行为是无效教学行为。
识别出头部动作对应的教学行为之后，可对不同的教学行为进行数量统计，从而了解教师的授课风格以及课堂气氛。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
- 一种教师非言语行为测量方法，其特征在于，包括如下步骤：对教室进行三维建模，得到教室三维立体图；通过教学视频中每一帧的教师面部图像，在所述教室三维立体图中计算得到每一帧视频的教师头部三维坐标和教师头部欧拉角；根据所述教师头部欧拉角计算教师视线落点，并检测教师头部移动；将所述教师视线落点绘制在所述教室三维立体图上；计算所述教师视线落点的离散度和覆盖率；对所述教师头部移动的欧拉角的值进行解析，识别出对应的教学行为。
- 根据权利要求1所述的教师非言语行为测量方法，其特征在于，所述计算教师视线落点具体包括：以教师头部为原点获得教师脸部到摄像头的向量，根据所述向量和所述教师头部欧拉角获得教师视觉方向向量；根据所述教师视觉方向向量和所述教师头部三维坐标计算教师视线落点；所述检测教师头部移动具体包括：将所述教学视频按每5帧分组，分别获得每一组中教师头部欧拉角的俯仰角的最大值max、最小值min，偏航角的最大值max、最小值min，以及滚转角的最大值max、最小值min；设定角度阈值standard，当教师头部欧拉角的俯仰角、偏航角和滚转角中至少有一个角满足最大值max与最小值min的差值大于所述角度阈值standard时，则认为是一个头部移动的发生。
- 根据权利要求1所述的教师非言语行为测量方法，其特征在于，当连续的所述教师头部移动的欧拉角的范围满足-12°≤α≤20°时，其对应的头部动作是点头；当0°≤α≤38°时，其对应的头部动作是低头；当-35°≤β≤35°时，其对应的头部动作是摇头；当0°≤β≤90°或-90°≤β≤0°时， 其对应的头部动作是回头；当-35°≤β≤35°时，其对应的头部动作是环视四周。
- 根据权利要求3所述的教师非言语行为测量方法，其特征在于，所述点头、所述摇头和所述环视四周的教学行为是师生交流；所述回头的教学行为是讲授课程；若所述低头的视线落点在教桌，则所述低头的教学行为是讲授课程，若所述低头的视线落点在学生，则所述低头的教学行为是师生交流，否则，则所述低头的教学行为是无效教学行为。
- 一种教师非言语行为测量系统，其特征在于，包括：头部欧拉角获取模块，用于对教室进行三维建模，得到教室三维立体图；通过教学视频中每一帧的教师面部图像，在所述教室三维立体图中计算得到每一帧视频的教师头部三维坐标和教师头部欧拉角；视线落点计算模块，用于根据所述教师头部欧拉角计算教师视线落点；头部移动检测模块，用于根据所述教师头部欧拉角检测教师头部移动；视线落点可视化模块，用于将所述教师视线落点绘制在所述教室三维立体图上；视线落点分析模块，用于计算所述教师视线落点的离散度和覆盖率；头部移动分析模块，用于对所述教师头部移动的欧拉角的值进行解析，识别出该头部移动对应的教学行为。
- 根据权利要求5所述的教师非言语行为测量系统，其特征在于，所述视线落点计算模块包括：第一向量计算单元，用于以教师头部为原点获得教师脸部到摄像头的向量，第二向量计算单元，根据所述向量和所述教师头部欧拉角，得到教师视觉方向向量；视线落点计算单元，根据所述教师视觉方向向量和所述教师头部三维坐标，计算得到教师视线落点；所述头部移动检测模块包括：分组单元，用于将所述教学视频按每5帧分组，分别找出每一组中教师头部欧拉角的俯仰角的最大值max，最小值min；偏航角的最大值max，最小值min；滚转角的最大值max，最小值min；计算单元，用于设定角度阈值standard，当每一组教学视频中教师头部欧拉角的三个角中至少有一个角满足max与min的差值大于standard时，则认为是一个头部移动的发生。
- 根据权利要求5所述的教师非言语行为测量系统，其特征在于，所述头部移动分析模块包括：点头动作分析单元，用于检测连续的所述教师头部移动的欧拉角，当所述欧拉角满足-12°≤α≤20°时，其对应的头部动作是点头；低头动作分析单元，用于检测连续的所述教师头部移动的欧拉角，当0°≤α≤38°时，其对应的头部动作是低头；摇头动作分析单元，用于检测连续的所述教师头部移动的欧拉角，当-35°≤β≤35°时，其对应的头部动作是摇头；回头动作分析单元，用于检测连续的所述教师头部移动的欧拉角，当0°≤β≤90°或-90°≤β≤0°时，其对应的头部动作是回头；环视四周动作分析单元，用于检测连续的所述教师头部移动的欧拉角，当-35°≤β≤35°时，其对应的头部动作是环视四周。
- 根据权利要求7所述的教师非言语行为测量系统，其特征在于，所述头部移动分析模块识别教学行为时，所述点头、所述摇头和所述环视四周的教学行为是师生交流；所述回头的教学行为是讲授课程；若所述低头的视线落点在教桌，则所述低头的教学行为是讲授课程，若所述低头的视 线落点在学生，则所述低头的教学行为是师生交流，否则，则所述低头的教学行为是无效教学行为。
- 一种教师非言语行为测量装置，其特征在于，包括存储器和处理器；所述存储器，用于存储计算机程序；所述处理器，用于当执行所述计算机程序时，实现如权利要求1-4任一项所述的教师非言语行为测量方法。
- 一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如权利要求1-4任一项所述的教师非言语行为测量方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110970746.5A CN113743263B (zh) | 2021-08-23 | 2021-08-23 | 一种教师非言语行为测量方法及系统 |
| CN202110970746.5 | 2021-08-23 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2023024155A1 true WO2023024155A1 (zh) | 2023-03-02 |
Family
ID=78732331
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2021/116819 WO2023024155A1 (zh) | 2021-08-23 | 2021-09-07 | 一种教师非言语行为测量方法及系统 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN113743263B (zh) |
| WO (1) | WO2023024155A1 (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101419672A (zh) * | 2008-12-03 | 2009-04-29 | 中国科学院计算技术研究所 | 一种同步采集人脸图像和注视视角的装置及方法 |
| JP2016051315A (ja) * | 2014-08-29 | 2016-04-11 | アルプス電気株式会社 | 視線検出装置 |
| CN110334610A (zh) * | 2019-06-14 | 2019-10-15 | 华中师范大学 | 一种基于计算机视觉的多维度课堂量化系统及方法 |
| CN110674664A (zh) * | 2018-06-15 | 2020-01-10 | 阿里巴巴集团控股有限公司 | 视觉注意力的识别方法及系统、存储介质、处理器 |
| CN111144333A (zh) * | 2019-12-30 | 2020-05-12 | 华南师范大学 | 基于视线追踪的教师行为监测方法 |
| CN111144356A (zh) * | 2019-12-30 | 2020-05-12 | 华中师范大学 | 一种远程教学的教师视线跟随方法及装置 |
| CN111563449A (zh) * | 2020-04-30 | 2020-08-21 | 上海交通大学 | 一种实时课堂注意力检测方法及系统 |
| CN111709358A (zh) * | 2020-06-14 | 2020-09-25 | 东南大学 | 基于课堂视频的师生行为分析系统 |
| CN111950472A (zh) * | 2020-08-14 | 2020-11-17 | 北京高思博乐教育科技股份有限公司 | 教师磨课测评方法及系统 |
| CN112766130A (zh) * | 2021-01-12 | 2021-05-07 | 深圳市小熊创新科技有限公司 | 一种课堂教学质量监测方法、系统、终端及存储介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107292271B (zh) * | 2017-06-23 | 2020-02-14 | 北京易真学思教育科技有限公司 | 学习监控方法、装置及电子设备 |
| CN111414798B (zh) * | 2019-02-03 | 2022-12-06 | 沈阳工业大学 | 基于rgb-d图像的头部姿态检测方法及系统 |
| CN110321820B (zh) * | 2019-06-24 | 2022-03-04 | 东南大学 | 一种基于非接触式设备的视线落点检测方法 |
| CN112599135A (zh) * | 2020-12-15 | 2021-04-02 | 华中师范大学 | 一种教学模式分析方法及系统 |
-
2021
- 2021-08-23 CN CN202110970746.5A patent/CN113743263B/zh active Active
- 2021-09-07 WO PCT/CN2021/116819 patent/WO2023024155A1/zh unknown
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101419672A (zh) * | 2008-12-03 | 2009-04-29 | 中国科学院计算技术研究所 | 一种同步采集人脸图像和注视视角的装置及方法 |
| JP2016051315A (ja) * | 2014-08-29 | 2016-04-11 | アルプス電気株式会社 | 視線検出装置 |
| CN110674664A (zh) * | 2018-06-15 | 2020-01-10 | 阿里巴巴集团控股有限公司 | 视觉注意力的识别方法及系统、存储介质、处理器 |
| CN110334610A (zh) * | 2019-06-14 | 2019-10-15 | 华中师范大学 | 一种基于计算机视觉的多维度课堂量化系统及方法 |
| CN111144333A (zh) * | 2019-12-30 | 2020-05-12 | 华南师范大学 | 基于视线追踪的教师行为监测方法 |
| CN111144356A (zh) * | 2019-12-30 | 2020-05-12 | 华中师范大学 | 一种远程教学的教师视线跟随方法及装置 |
| CN111563449A (zh) * | 2020-04-30 | 2020-08-21 | 上海交通大学 | 一种实时课堂注意力检测方法及系统 |
| CN111709358A (zh) * | 2020-06-14 | 2020-09-25 | 东南大学 | 基于课堂视频的师生行为分析系统 |
| CN111950472A (zh) * | 2020-08-14 | 2020-11-17 | 北京高思博乐教育科技股份有限公司 | 教师磨课测评方法及系统 |
| CN112766130A (zh) * | 2021-01-12 | 2021-05-07 | 深圳市小熊创新科技有限公司 | 一种课堂教学质量监测方法、系统、终端及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113743263A (zh) | 2021-12-03 |
| CN113743263B (zh) | 2024-02-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11900557B2 (en) | Three-dimensional face model generation method and apparatus, device, and medium | |
| CN104615978B (zh) | 视线方向跟踪方法及装置 | |
| CN106228293A (zh) | 教学评估方法及系统 | |
| CN110555426A (zh) | 视线检测方法、装置、设备及存储介质 | |
| Zaletelj | Estimation of students' attention in the classroom from kinect features | |
| CN113705349A (zh) | 一种基于视线估计神经网络的注意力量化分析方法及系统 | |
| CN115933930A (zh) | 教育元宇宙中学习对象的注意力分析方法、终端及装置 | |
| Xu et al. | Classroom attention analysis based on multiple euler angles constraint and head pose estimation | |
| CN115937928A (zh) | 基于多视觉特征融合的学习状态监测方法及系统 | |
| CN112861809B (zh) | 基于多目标视频分析的课堂抬头检测系统及其工作方法 | |
| CN113095274B (zh) | 一种视线估计方法、系统、装置及存储介质 | |
| Duraisamy et al. | Classroom engagement evaluation using computer vision techniques | |
| Shah et al. | Assessment of student attentiveness to e-learning by monitoring behavioural elements | |
| WO2023024155A1 (zh) | 一种教师非言语行为测量方法及系统 | |
| JP2016111612A (ja) | コンテンツ表示装置 | |
| Jiang et al. | A classroom concentration model based on computer vision | |
| Shuo et al. | Teacher attention measurement based on head pose estimation | |
| CN112990105B (zh) | 对用户评价的方法、装置、电子设备和存储介质 | |
| Gogia et al. | Multi-modal affect detection for learning applications | |
| CN111652045B (zh) | 课堂教学质量评估方法和系统 | |
| Cao et al. | Facial Expression Study Based on 3D Facial Emotion Recognition | |
| Li et al. | Visualization analysis of learning attention based on single-image pnp head pose estimation | |
| CN114120443A (zh) | 基于3d人体姿态估计的课堂教学手势识别方法及系统 | |
| CN113867532A (zh) | 一种基于虚拟现实技能训练的评估系统及评估方法 | |
| Horvat et al. | Quantitative measures for classification of human upper body posture in video signal to improve online learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| NENP | Non-entry into the national phase |
Ref country code: DE |