WO2019223056A1 - 基于手势识别的教学互动方法以及装置 - Google Patents

基于手势识别的教学互动方法以及装置 Download PDF

Info

Publication number
WO2019223056A1
WO2019223056A1 PCT/CN2018/092787 CN2018092787W WO2019223056A1 WO 2019223056 A1 WO2019223056 A1 WO 2019223056A1 CN 2018092787 W CN2018092787 W CN 2018092787W WO 2019223056 A1 WO2019223056 A1 WO 2019223056A1
Authority
WO
WIPO (PCT)
Prior art keywords
gesture
information
sample
video signal
feature
Prior art date
Application number
PCT/CN2018/092787
Other languages
English (en)
French (fr)
Inventor
陈鹏丞
卢鑫
Original Assignee
深圳市鹰硕技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市鹰硕技术有限公司 filed Critical 深圳市鹰硕技术有限公司
Publication of WO2019223056A1 publication Critical patent/WO2019223056A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Definitions

  • the present disclosure relates to the field of computer technology, and in particular, to a teaching interaction method, device, electronic device, and computer-readable storage medium based on gesture recognition.
  • CN201611164918 discloses a gesture-based interactive teaching method and interaction system, which uses information collection and upload processing for smart device-based gestures for information interaction, not gesture characteristics of gesture behavior of video capture devices Recognition method;
  • CN201710230183 discloses a gesture interaction system and method for virtual surgery simulation teaching, which realizes accurate collection of gestures by establishing modules such as inertial measurement unit, auxiliary measurement unit, data calculation and control unit, but requires a large The calculation process does not enable a single video capture device to quickly capture a large number of gestures.
  • the purpose of the present disclosure is to provide a teaching interaction method, device, electronic device, and computer-readable storage medium based on gesture recognition, so as to at least to some extent overcome one or more problems caused by the limitations and defects of related technologies.
  • a teaching interaction method based on gesture recognition including:
  • a video signal acquisition step acquiring a video signal collected by a first video acquisition device, extracting a facial feature in the video signal, and the facial feature designating a gesture behavior of an adjacent area;
  • a gesture feature analysis step analyzing the gesture feature corresponding to the gesture behavior, and matching the gesture feature with a predefined gesture sample to obtain a matching result
  • association information step Forming an association information step, matching a student identifier corresponding to the facial feature in a student information database according to the facial feature, and associating the matched student identifier with the matching result to form association information;
  • the interactive information display step counts all related information formed according to all facial features and gesture behaviors in the video signal, generates teaching interactive information, and calls a display interface of a device terminal to display the teaching interactive information.
  • the facial features include facial contours
  • Extracting facial features in the video signal in the video signal obtaining step, and gesture behaviors in which the facial features designate adjacent areas include:
  • Determining a facial contour in a video signal and acquiring a gesture behavior in a preset area in a preset direction of the facial contour.
  • the method further includes:
  • the temporary entry information including at least one gesture sample collected
  • the gesture characteristics are matched with the temporary input information to obtain a matching result.
  • the method further includes:
  • sending a query instruction for processing the temporary input information includes deleting a gesture sample in the temporary input information and saving a gesture sample in the temporary input information;
  • the receiving the temporary entry information includes:
  • the gesture behavior is used as a gesture sample in the temporary input information.
  • the receiving the temporary entry information includes:
  • the gesture behavior collected by the second video acquisition device is detected, and the gesture behavior collected by the second video acquisition device is used as a gesture sample in the temporary input information.
  • the method includes:
  • the sample determination instruction includes a gesture sample to be matched selected by the user in the gesture sample database
  • the gesture feature includes the number of upright fingers separated from each other within a preset time period.
  • the step of displaying interactive information includes:
  • the step of displaying interactive information includes:
  • the gesture feature is matched with a predefined gesture sample, and after obtaining a matching result, corresponding statistical information is generated according to a variety of matching results, and the statistical information is used as teaching interaction information.
  • the step of displaying interactive information includes:
  • Form chart information according to the corresponding amount of statistical information, and use the corresponding amount of statistical information and the chart information as teaching interaction information.
  • a teaching interaction device based on gesture recognition including:
  • a video signal acquisition module configured to acquire a video signal collected by a first video acquisition device, extract a facial feature in the video signal, and specify a gesture behavior of an adjacent area specified by the facial feature;
  • a gesture feature analysis module configured to analyze a gesture feature corresponding to the gesture behavior, and match the gesture feature with a predefined gesture sample to obtain a matching result
  • An association information forming module configured to match a student identifier corresponding to the facial feature in a student information database according to the facial feature, and associate the matched student identifier with the matching result to form association information;
  • the interactive information display module is configured to count all related information formed according to all facial features and gesture behaviors in the video signal, and generate teaching interactive information, and call a display interface of a device terminal to display the teaching interactive information.
  • an electronic device including:
  • a memory where computer-readable instructions are stored, and when the computer-readable instructions are executed by the processor, the method according to any one of the foregoing is implemented.
  • a computer-readable storage medium having stored thereon a computer program that, when executed by a processor, implements the method according to any one of the above.
  • a teaching interaction method based on gesture recognition acquires a video signal collected by a first video acquisition device, extracts a facial feature in the video signal, and the facial feature specifies a gesture behavior of an adjacent area Analyzing the gesture characteristics corresponding to the gesture behavior, and matching the gesture characteristics with a predefined gesture sample to obtain a matching result, matching the correlation information between the facial features and the student identification, and statistically calculating the All facial features and all associated information formed by gesture behavior, and generate teaching interaction information, and call the display interface of the device terminal to display the teaching interaction information.
  • gesture behavior recognition due to the rules for gesture behavior recognition in designated areas of student facial features, the accuracy of recognition is improved, and the feasibility of gesture behavior applications is increased; on the other hand, gesture behavior recognition based on pre-entry of gesture samples is guaranteed. Based on the recognition accuracy, the flexibility of gesture behavior recognition is improved, and it can adapt to the needs of different teaching scenarios.
  • FIG. 1 shows a flowchart of a teaching interaction method based on gesture recognition according to an exemplary embodiment of the present disclosure
  • FIGS. 2A-2C are schematic diagrams showing application scenarios of a teaching interaction method based on gesture recognition according to an exemplary embodiment of the present disclosure
  • 3A-3B are schematic diagrams of application scenarios of a teaching interaction method based on gesture recognition according to an exemplary embodiment of the present disclosure
  • FIG. 4 shows a schematic block diagram of a teaching interaction device based on gesture recognition according to an exemplary embodiment of the present disclosure
  • FIG. 5 schematically illustrates a block diagram of an electronic device according to an exemplary embodiment of the present disclosure.
  • FIG. 6 schematically illustrates a computer-readable storage medium according to an exemplary embodiment of the present disclosure.
  • a teaching interaction method based on gesture recognition is first provided and can be applied to electronic devices such as computers.
  • the teaching interaction method based on gesture recognition may include the following steps:
  • the video signal acquisition step S110 is to acquire a video signal collected by a first video acquisition device, extract a facial feature in the video signal, and specify a gesture behavior of an adjacent area specified by the facial feature;
  • Gesture feature analysis step S120 analyzing gesture features corresponding to the gesture behavior, and matching the gesture features with a predefined gesture sample to obtain a matching result;
  • Association information forming step S130 matching a student identifier corresponding to the facial feature in a student information database according to the facial feature, and associating the matched student identifier with the matching result to form correlation information;
  • the interactive information display step S140 counts all associated information formed according to all facial features and gesture behaviors in the video signal, generates teaching interactive information, and calls a display interface of a device terminal to display the teaching interactive information.
  • gesture behavior recognition based on pre-entry of gesture samples improves the flexibility of gesture behavior recognition on the basis of ensuring the accuracy of recognition, and can adapt to the needs of different teaching scenarios.
  • a video signal collected by a first video acquisition device may be acquired, a facial feature in the video signal, and a gesture behavior in which the facial feature specifies an adjacent region may be extracted.
  • the facial features include facial contours
  • the facial features in the video signals are extracted in the video signal acquisition step
  • the facial features specify gesture behaviors of adjacent regions, including: determining And obtaining a gesture profile in a preset area in a preset direction of the facial profile.
  • find a preset specified direction and predetermined area of the facial feature as a gesture behavior area find the corresponding gesture behavior in this area, as shown in FIG. 2A.
  • the method further includes: receiving temporary input information, the temporary input information includes at least one gesture sample collected; after the video signal obtaining step, matching gesture characteristics with the temporary input information to obtain Match result.
  • the method further includes: after obtaining a matching result, sending an inquiry instruction for processing the temporary entry information, the inquiry instruction includes deleting a gesture sample in the temporary entry information, and saving the temporary entry Gesture samples in the input information; receiving a processing instruction returned according to the query instruction, deleting the gesture samples in the temporary input information according to the processing instructions, or saving the gesture samples in the temporary input information to a pre-established Gesture sample database.
  • the deletion or saving prompt operation of the currently input gesture behaviors, and the saving and recalling steps of historical input gesture behaviors in the gesture sample data, etc. can make it easier for students to implement the operation of calling and deleting gesture behaviors, so that Entry is more convenient and user-friendly.
  • the receiving the temporary input information includes: detecting a gesture behavior input by a student on a touch device; and using the gesture behavior as a gesture sample in the temporary input information.
  • the pre-entered gesture behavior can be realized by manually inputting gesture behavior by the in and out device, and such a gesture sample determination manner is more precise and controllable.
  • the receiving the temporary input information includes detecting a gesture behavior collected by the second video acquisition device, and using the gesture behavior collected by the second video acquisition device as a gesture sample in the temporary input information.
  • the pre-entered gesture behavior can also be collected by a second video capture device.
  • Such a gesture sample determination method is more intelligent and quick, and it is also more convenient to compare features with the gesture behavior of students collected by the first video capture device.
  • the method includes: receiving a sample selection instruction, and displaying a gesture sample in a pre-established gesture sample database on a display device; receiving a sample determination instruction, the sample determination instruction including a student selecting in the gesture sample database A gesture sample to be matched; and performing the gesture feature analysis step according to the selected gesture sample to be matched. After all the gesture samples are determined, the gesture samples can be used as the matching criteria of the gesture samples to be matched, and the next operation is performed.
  • a gesture feature corresponding to the gesture behavior may be analyzed, and the gesture feature may be matched with a predefined gesture sample to obtain a matching result.
  • the gesture characteristics corresponding to the gesture behavior are matched with predefined gesture samples to determine the teaching interaction information included in the gesture behavior of the student corresponding to the gesture behavior.
  • the gesture feature includes the number of upright fingers that are separated from each other within a preset duration. As shown in FIG. 2C, it is a gesture feature corresponding to a gesture behavior of a student in a teaching scene: two upright fingers separated from each other.
  • association information forming step S130 a student identifier corresponding to the facial feature may be matched in the student information database according to the facial feature, and the matched student identifier may be associated with the matching result to form association information.
  • the recognition of students' facial features is not only for the purpose of finding and locating the area of gesture behavior, but also for the identification of students.
  • the facial recognition method is used to match the facial features in a preset student information database.
  • the student identification corresponding to the facial feature can realize the matching of student identities, and then establish association information between the matched student identification and the matching result.
  • the facial feature recognition includes: analyzing facial feature points of each face in the video signal; generating facial features based on the facial feature points of each face; and searching in a preset facial feature and student information database Student information corresponding to the facial feature.
  • FIG. 2A is a schematic diagram of a user's facial feature points. According to the facial feature points, a facial feature is generated, and then the preset facial feature and student information database is used to find student information corresponding to the facial feature.
  • all related information formed according to all facial features and gesture behaviors in the video signal may be counted, and teaching interactive information is generated, and a display interface of a device terminal is called to display the teaching interactive information.
  • the teaching interaction information corresponding to the gesture behavior of the student is unified with the identity of the student, and the statistics of the gesture behavior of the student are completed. All students are instructed to interact with each other through a video acquisition device. Statistics of information are all completed by automatically calling preset methods, without the need to think about operations, and can quickly identify and statistics information. For example, in a certain teaching scenario, the teacher wants to count all students' answers to a multiple choice question. All students need to use the corresponding gesture to represent the corresponding option, such as an upright finger representing the "A” option, and two each other Independent upright fingers represent the “B” option, three independent upright fingers represent the “C” option, and four independent upright fingers represent the “D” option.
  • the step of displaying interactive information includes: after extracting a facial feature from the video signal, if no gesture behavior is detected in an adjacent area designated by the facial feature, or on the face
  • the feature specifies that the adjacent region detects that the gesture behavior does not match a predefined gesture sample, and generates an abnormal matching result. For some students who did not answer or whose gesture behavior was abnormal, corresponding matching field markers were generated and counted.
  • the step of displaying interactive information includes: matching the gesture feature with a predefined gesture sample, and after obtaining a matching result, generating corresponding statistical information according to multiple matching results, and combining the statistical information
  • teaching interactive information corresponds to one or more teaching interaction information.
  • the gesture characteristics represented by the number of upright fingers separated from each other within a preset time period correspond to the teaching interaction information “A” and “B”, respectively, and may also correspond to the teaching interaction information “right” or “wrong”.
  • the interactive information display step includes: matching the gesture feature with a predefined gesture sample to obtain a matching result, and if there are multiple matching results, generating a corresponding number according to the multiple matching results.
  • FIG. 3B it is a schematic diagram of graph statistical information generated in response to the multiple choice questions in the teaching scenario. Further, it will be possible to choose to view multiple user information corresponding to each gesture feature.
  • the gesture interaction-based teaching interactive device 400 may include a video signal acquisition module 410, a gesture feature analysis module 420, an association information formation module 430, and an interaction information display module 440. among them:
  • a video signal acquisition module 410 is configured to acquire a video signal collected by a first video acquisition device, extract a facial feature in the video signal, and specify a gesture behavior of an adjacent area by the facial feature;
  • a gesture feature analysis module 420 configured to analyze a gesture feature corresponding to the gesture behavior, and match the gesture feature with a predefined gesture sample to obtain a matching result;
  • An association information forming module 430 configured to match a student identifier corresponding to the facial feature in a student information database according to the facial feature, and associate the matched student identifier with the matching result to form association information;
  • the interactive information display module 440 is configured to count all related information formed according to all facial features and gesture behaviors in the video signal, generate teaching interactive information, and call a display interface of a device terminal to display the teaching interactive information.
  • modules or units of the teaching interactive device 400 based on gesture recognition are mentioned in the detailed description above, this division is not mandatory.
  • the features and functions of two or more modules or units described above may be embodied in one module or unit.
  • the features and functions of a module or unit described above can be further divided into multiple modules or units to be embodied.
  • an electronic device capable of implementing the above method.
  • FIG. 5 An electronic device 500 according to such an embodiment of the present invention is described below with reference to FIG. 5.
  • the electronic device 500 shown in FIG. 5 is merely an example, and should not impose any limitation on the functions and scope of use of the embodiment of the present invention.
  • the electronic device 500 is expressed in the form of a general-purpose computing device.
  • the components of the electronic device 500 may include, but are not limited to, the at least one processing unit 510, the at least one storage unit 520, a bus 530 connecting different system components (including the storage unit 520 and the processing unit 510), and a display unit 540.
  • the storage unit stores program code, and the program code can be executed by the processing unit 510, so that the processing unit 510 executes various exemplary embodiments according to the present invention described in the above-mentioned "exemplary method" section of this specification. Examples of steps.
  • the processing unit 510 may perform steps S110 to S140 as shown in FIG. 1.
  • the storage unit 520 may include a readable medium in the form of a volatile storage unit, such as a random access storage unit (RAM) 5201 and / or a cache storage unit 5202, and may further include a read-only storage unit (ROM) 5203.
  • RAM random access storage unit
  • ROM read-only storage unit
  • the storage unit 520 may also include a program / utility tool 5204 having a set (at least one) of program modules 5205.
  • program modules 5205 include, but are not limited to, an operating system, one or more application programs, other program modules, and program data. Each or some combination of these examples may include an implementation of a network environment.
  • the bus 530 may be one or more of several types of bus structures, including a memory unit bus or a memory unit controller, a peripheral bus, a graphics acceleration port, a processing unit, or a local area using any bus structure in a variety of bus structures bus.
  • the electronic device 500 may also communicate with one or more external devices 570 (such as a keyboard, pointing device, Bluetooth device, etc.), and may also communicate with one or more devices that enable a user to interact with the electronic device 500, and / or with Any device (eg, router, modem, etc.) that enables the electronic device 500 to communicate with one or more other computing devices. This communication can be performed through an input / output (I / O) interface 550.
  • the electronic device 500 can also communicate with one or more networks (such as a local area network (LAN), a wide area network (WAN), and / or a public network, such as the Internet) through the network adapter 560. As shown, the network adapter 560 communicates with other modules of the electronic device 500 through the bus 530.
  • LAN local area network
  • WAN wide area network
  • public network such as the Internet
  • the technical solution according to the embodiment of the present disclosure may be embodied in the form of a software product, which may be stored in a non-volatile storage medium (which may be a CD-ROM, a U disk, a mobile hard disk, etc.) or on a network Including instructions to cause a computing device (which may be a personal computer, a server, a terminal device, or a network device, etc.) to execute the method according to an embodiment of the present disclosure.
  • a non-volatile storage medium which may be a CD-ROM, a U disk, a mobile hard disk, etc.
  • a computing device which may be a personal computer, a server, a terminal device, or a network device, etc.
  • a computer-readable storage medium on which a program product capable of implementing the above-mentioned method of the present specification is stored.
  • various aspects of the present invention may also be implemented in the form of a program product, which includes program code.
  • the program product runs on a terminal device, the program code is used to make the program product
  • the terminal device performs the steps according to various exemplary embodiments of the present invention described in the above-mentioned "exemplary method" section of this specification.
  • a program product 600 for implementing the above method according to an embodiment of the present invention is described, which may adopt a portable compact disc read-only memory (CD-ROM) and include program code, and may be stored in a terminal device. For example running on a personal computer.
  • the program product of the present invention is not limited thereto.
  • the readable storage medium may be any tangible medium containing or storing a program, and the program may be used by or in combination with an instruction execution system, apparatus, or device.
  • the program product may employ any combination of one or more readable media.
  • the readable medium may be a readable signal medium or a readable storage medium.
  • the readable storage medium may be, for example, but is not limited to, an electronic, magnetic, optical, electromagnetic, infrared, or semiconductor system, apparatus, or device, or any combination thereof. More specific examples (non-exhaustive list) of readable storage media include: electrical connections with one or more wires, portable disks, hard disks, random access memory (RAM), read-only memory (ROM), erasable Programmable read-only memory (EPROM or flash memory), optical fiber, portable compact disk read-only memory (CD-ROM), optical storage device, magnetic storage device, or any suitable combination of the foregoing.
  • the computer-readable signal medium may include a data signal in baseband or propagated as part of a carrier wave, which carries readable program code. Such a propagated data signal may take many forms, including but not limited to electromagnetic signals, optical signals, or any suitable combination of the foregoing.
  • the readable signal medium may also be any readable medium other than a readable storage medium, and the readable medium may send, propagate, or transmit a program for use by or in combination with an instruction execution system, apparatus, or device.
  • the program code contained on the readable medium may be transmitted using any appropriate medium, including but not limited to wireless, wired, optical fiber cable, RF, etc., or any suitable combination of the foregoing.
  • the program code for performing the operations of the present invention can be written in any combination of one or more programming languages, which include object-oriented programming languages—such as Java, C ++, etc.—and also include conventional procedural Programming language—such as "C" or a similar programming language.
  • the program code can be executed entirely on the user computing device, partly on the user device, as an independent software package, partly on the user computing device, partly on the remote computing device, or entirely on the remote computing device or server On.
  • the remote computing device may be connected to a user computing device through any kind of network, including a local area network (LAN) or a wide area network (WAN), or may be connected to an external computing device (e.g. (Commercially connected via the Internet).
  • LAN local area network
  • WAN wide area network
  • an external computing device e.g. (Commercially connected via the Internet).
  • gesture behavior recognition due to the rules for gesture behavior recognition in designated areas of student facial features, the accuracy of recognition is improved, and the feasibility of gesture behavior applications is increased; on the other hand, gesture behavior recognition based on pre-entry of gesture samples is guaranteed. Based on the recognition accuracy, the flexibility of gesture behavior recognition is improved, and it can adapt to the needs of different teaching scenarios.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Strategic Management (AREA)
  • Human Computer Interaction (AREA)
  • Tourism & Hospitality (AREA)
  • Mathematical Physics (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Multimedia (AREA)
  • Marketing (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • General Business, Economics & Management (AREA)
  • Algebra (AREA)
  • Primary Health Care (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

一种基于手势识别的教学互动方法、装置（400）、电子设备（500）以及存储介质。方法包括：获取第一视频采集设备采集的视频信号，提取视频信号中的面部特征，以及面部特征指定相邻区域的手势行为（S110），分析手势行为对应的手势特征，并将手势特征与预先定义的手势样本进行匹配，得到匹配结果（S120），匹配面部特征与学生标识的关联信息，统计根据视频信号中的所有面部特征以及手势行为形成的所有关联信息（S130），并生成教学互动信息，调用设备终端的显示接口显示教学互动信息（S140）。方法通过对学生面部指定相邻区域手势的准确识别生成教学互动信息。

Description

基于手势识别的教学互动方法以及装置 技术领域
本公开涉及计算机技术领域，具体而言，涉及一种基于手势识别的教学互动方法、装置、电子设备以及计算机可读存储介质。
背景技术
教学场景中常常有需要快速统计学生对当前教学内容的互动信息的情况，对这些互动信息的及时准确的统计和分析，能够使教学者掌握教学动态，及时针对所述互动信息把教学内容做相应的调整，对教学有积极的促进作用。
然而，在一些教学场景中，当学生数较多，或者需要反馈的教学互动信息较复杂时，教师需要耗费大量的时间做信息的统计工作；或者，使用学生使用电子设备提交教学互动信息虽然可以避免上述情形，但是又会大幅增加教学成本。
在现有技术中，CN201611164918公开了一种基于手势的交互式教学方法及交互系统，是通过基于智能设备的手势收集并上传处理进行信息互动的，并不是通过视频采集设备的手势行为的手势特征识别方法；CN201710230183公开了一种用于虚拟手术仿真教学的手势交互系统及方法，通过建立惯性测量单元、辅助测量单元、数据解算和控制单元等模块实现了对手势的精准采集，但是需要大量的运算过程，并不能实现单一视频采集设备对大量手势行为的快速采集。
因此，需要提供一种或多种至少能够解决上述问题的技术方案。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种基于手势识别的教学互动方法、装置、电子设备以及计算机可读存储介质，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。
根据本公开的一个方面，提供一种基于手势识别的教学互动方法，包括：
视频信号获取步骤，获取第一视频采集设备采集的视频信号，提取所述视频信号中的面部特征，以及所述面部特征指定相邻区域的手势行为；
手势特征分析步骤，分析所述手势行为对应的手势特征，并将所述手势特征与预先定义的手势样本进行匹配，得到匹配结果；
关联信息形成步骤，根据所述面部特征在学生信息数据库中匹配与所述面部特征对应的学生标识，并将匹配到的学生标识与所述匹配结果进行关联形成关联信息；
互动信息显示步骤，统计根据所述视频信号中的所有面部特征以及手势行为形成的所有关联信息，并生成教学互动信息，调用设备终端的显示接口显示所述教学互动信息。
在本公开的一种示例性实施例中，所述面部特征包括面部轮廓，
所述视频信号获取步骤中提取所述视频信号中的面部特征，以及所述面部特征指定相邻区域的手势行为，包括：
确定视频信号中的面部轮廓，获取位于所述面部轮廓预设方向的预设区域中的手势行为。
在本公开的一种示例性实施例中，所述方法还包括：
接收临时录入信息，所述临时录入信息包括采集的至少一个手势样本；
在视频信号获取步骤后，将手势特征与所述临时录入信息进行匹配，得到匹配结果。
在本公开的一种示例性实施例中，所述方法还包括：
在得到匹配结果后，发送处理所述临时录入信息的询问指令，所述询 问指令包括删除所述临时录入信息中的手势样本，以及保存所述临时录入信息中的手势样本；
接收根据所述询问指令回复的处理指令，根据所述处理指令删除所述临时录入信息中的手势样本，或者将所述临时录入信息中的手势样本保存至预先建立的手势样本数据库中。
在本公开的一种示例性实施例中，所述接收临时录入信息，包括：
检测用户在触摸设备输入的手势行为；
将所述手势行为作为临时录入信息中的手势样本。
在本公开的一种示例性实施例中，所述接收临时录入信息，包括：
检测第二视频采集设备采集的手势行为，将第二视频采集设备采集的手势行为作为临时录入信息中的手势样本。
在本公开的一种示例性实施例中，包括：
接收样本选取指令，将预先建立的手势样本数据库中的手势样本在显示设备进行展示；
接收样本确定指令，所述样本确定指令包括用户在所述手势样本数据库中选取的待匹配的手势样本；
根据所述选取的待匹配的手势样本执行所述手势特征分析步骤。
在本公开的一种示例性实施例中，所述手势特征包括在预设时长内相互分开的直立的手指的个数。
在本公开的一种示例性实施例中，所述互动信息显示步骤，包括：
在提取到所述视频信号中的面部特征后，若在所述面部特征指定相邻区域未检测到手势行为，或者，在所述面部特征指定相邻区域检测到手势行为与预先定义的手势样本不匹配，则生成异常匹配结果。
在本公开的一种示例性实施例中，所述互动信息显示步骤，包括：
将所述手势特征与预先定义的手势样本进行匹配，得到匹配结果后，根据多种匹配结果生成对应的统计信息，将所述统计信息作为教学互动信息。
在本公开的一种示例性实施例中，所述互动信息显示步骤，包括：
将所述手势特征与预先定义的手势样本进行匹配，得到匹配结果后，若匹配结果为多种，则根据多种匹配结果生成对应数量的统计信息；
根据对应数量的统计信息形成图表信息，将所述对应数量的统计信息以及所述图表信息作为教学互动信息。
在本公开的一个方面，提供一种基于手势识别的教学互动装置，包括：
视频信号获取模块，用于获取第一视频采集设备采集的视频信号，提取所述视频信号中的面部特征，以及所述面部特征指定相邻区域的手势行为；
手势特征分析模块，用于分析所述手势行为对应的手势特征，并将所述手势特征与预先定义的手势样本进行匹配，得到匹配结果；
关联信息形成模块，用于根据所述面部特征在学生信息数据库中匹配与所述面部特征对应的学生标识，并将匹配到的学生标识与所述匹配结果进行关联形成关联信息；
互动信息显示模块，用于统计根据所述视频信号中的所有面部特征以及手势行为形成的所有关联信息，并生成教学互动信息，调用设备终端的显示接口显示所述教学互动信息。
在本公开的一个方面，提供一种电子设备，包括：
处理器；以及
存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现根据上述任意一项所述的方法。
在本公开的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现根据上述任意一项所述的方法。
本公开的示例性实施例中的基于手势识别的教学互动方法，获取第一视频采集设备采集的视频信号，提取所述视频信号中的面部特征，以及所述面部特征指定相邻区域的手势行为，分析所述手势行为对应的手势特征，并将所述手势特征与预先定义的手势样本进行匹配，得到匹配结果，匹配 所述面部特征与学生标识的关联信息，统计根据所述视频信号中的所有面部特征以及手势行为形成的所有关联信息，并生成教学互动信息，调用设备终端的显示接口显示所述教学互动信息。一方面，由于在学生面部特征的指定区域进行手势行为识别的规则，提高了识别的准确度，增加了手势行为应用的可行性；另一方面，基于手势样本预录入的手势行为识别，在保证识别准确性的基础上提高了手势行为识别的灵活性，能够适应不同教学场景的需求。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
通过参照附图来详细描述其示例实施例，本公开的上述和其它特征及优点将变得更加明显。
图1示出了根据本公开一示例性实施例的基于手势识别的教学互动方法的流程图；
图2A-2C示出了根据本公开一示例性实施例的基于手势识别的教学互动方法应用场景的示意图；
图3A-3B示出了根据本公开一示例性实施例的基于手势识别的教学互动方法应用场景的示意图；
图4示出了根据本公开一示例性实施例的基于手势识别的教学互动装置的示意框图；
图5示意性示出了根据本公开一示例性实施例的电子设备的框图；以及
图6示意性示出了根据本公开一示例性实施例的计算机可读存储介质的示意图。
具体实施方式
现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本公开将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有所述特定细节中的一个或更多，或者可以采用其它的方法、组元、材料、装置、步骤等。在其它情况下，不详细示出或描述公知结构、方法、装置、实现、材料或者操作以避免模糊本公开的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个软件硬化的模块中实现这些功能实体或功能实体的一部分，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
在本示例实施例中，首先提供了一种基于手势识别的教学互动方法，可以应用于计算机等电子设备；参考图1中所示，该基于手势识别的教学互动方法可以包括以下步骤：
视频信号获取步骤S110，获取第一视频采集设备采集的视频信号，提取所述视频信号中的面部特征，以及所述面部特征指定相邻区域的手势行为；
手势特征分析步骤S120，分析所述手势行为对应的手势特征，并将所述手势特征与预先定义的手势样本进行匹配，得到匹配结果；
关联信息形成步骤S130，根据所述面部特征在学生信息数据库中匹配与所述面部特征对应的学生标识，并将匹配到的学生标识与所述匹配结果进行关联形成关联信息；
互动信息显示步骤S140，统计根据所述视频信号中的所有面部特征以 及手势行为形成的所有关联信息，并生成教学互动信息，调用设备终端的显示接口显示所述教学互动信息。
根据本示例实施例中的基于手势识别的教学互动方法，一方面，由于在学生面部特征的指定区域进行手势行为识别的规则，提高了识别的准确度，增加了手势行为应用的可行性；另一方面，基于手势样本预录入的手势行为识别，在保证识别准确性的基础上提高了手势行为识别的灵活性，能够适应不同教学场景的需求。
下面，将对本示例实施例中的基于手势识别的教学互动方法进行进一步的说明。
在视频信号获取步骤S110中，可以获取第一视频采集设备采集的视频信号，提取所述视频信号中的面部特征，以及所述面部特征指定相邻区域的手势行为。
本示例实施方式中，在常见的教学场景中，如果学生想通过手势行为来反应教学信息，比如使用手势行为来表达教学中题目的答案的话是一种快捷直观的表达方式，但是实际应用场景中，人工统计手势行为较慢、而视频采集设备又不易直接定位到手势行为区域，导致手势行为识别不准确，所以需要使用视频采集设备采集的视频信号中的面部特征作为定位基准，由此再进一步定位所述面部特征指定相邻区域的手势行为，就可以解决上述问题。在实际的教学场景中，可以使用一个视频采集设备完成整个教学所有学生面部识别与对应的手势行为的区域中的手势行为的识别，节省了硬件成本。
本示例实施方式中，所述面部特征包括面部轮廓，所述视频信号获取步骤中提取所述视频信号中的面部特征，以及所述面部特征指定相邻区域的手势行为，包括：确定视频信号中的面部轮廓，获取位于所述面部轮廓预设方向的预设区域中的手势行为。在所述视频信号中的面部特征识别后，查找所述面部特征预设的指定方向、预定的区域，作为手势行为的区域，在此区域中查找对应的手势行为，如图2A所示为某教学场景中，视频信号中某个面部特征对应的面部左耳侧指定大小(与面部特征相同大小)的手势行为的区域的示意图。
本示例实施方式中，所述方法还包括：接收临时录入信息，所述临时录入信息包括采集的至少一个手势样本；在视频信号获取步骤后，将手势特征与所述临时录入信息进行匹配，得到匹配结果。可以在每次教学需要使用手势识别时，预录入临时录入信息作为手势样本，如图2B所示，为某教学场景中，预录入的某个手势行为，所述手势行为代表的教学互动信息待对应。
本示例实施方式中，所述方法还包括：在得到匹配结果后，发送处理所述临时录入信息的询问指令，所述询问指令包括删除所述临时录入信息中的手势样本，以及保存所述临时录入信息中的手势样本；接收根据所述询问指令回复的处理指令，根据所述处理指令删除所述临时录入信息中的手势样本，或者将所述临时录入信息中的手势样本保存至预先建立的手势样本数据库中。对当前录入的手势行为的删除或者保存提示操作，以及对历史录入手势行为在手势样本数据中的保存及调用步骤等，都可以更加方便的使学生实现对手势行为的调用和删除操作，使预录入行为更加便捷和人性化。
本示例实施方式中，所述接收临时录入信息，包括：检测学生在触摸设备输入的手势行为；将所述手势行为作为临时录入信息中的手势样本。所述预录入的手势行为可以通过出没设备人工输入手势行为来实现，这样的手势样本确定方式更加精确可控。
本示例实施方式中，所述接收临时录入信息，包括：检测第二视频采集设备采集的手势行为，将第二视频采集设备采集的手势行为作为临时录入信息中的手势样本。所述预录入的手势行为还可以通过第二视频采集设备进行手势行为采集，这样的手势样本确定方式更加智能快捷，也更方便与第一视频采集设备采集的学生手势行为进行特征比对。
本示例实施方式中，包括：接收样本选取指令，将预先建立的手势样本数据库中的手势样本在显示设备进行展示；接收样本确定指令，所述样本确定指令包括学生在所述手势样本数据库中选取的待匹配的手势样本；根据所述选取的待匹配的手势样本执行所述手势特征分析步骤。在确定所有的手势样本后，可以将所述手势样本作为待匹配的手势样本的匹配标准， 进行下一步操作。
在手势特征分析步骤S120中，可以分析所述手势行为对应的手势特征，并将所述手势特征与预先定义的手势样本进行匹配，得到匹配结果。
本示例实施方式中，将所述手势行为对应的手势特征与预先定义的手势样本进行匹配，确定所述手势行为对应的学生的手势行为包含的教学互动信息。
本示例实施方式中，所述手势特征包括在预设时长内相互分开的直立的手指的个数。如图2C所示，为某教学场景中，学生的手势行为对应的手势特征：2个相互分开的直立的手指。
在关联信息形成步骤S130中，可以根据所述面部特征在学生信息数据库中匹配与所述面部特征对应的学生标识，并将匹配到的学生标识与所述匹配结果进行关联形成关联信息。
本示例实施方式中，对学生的面部特征的识别不仅是为了进行手势行为的区域的查找定位，还为了进行学生身份匹配，使用面部特征的面部识别方式，在预设的学生信息数据库中匹配与所述面部特征对应的学生标识就可以实现学生身份的匹配，然后建立所述匹配到的学生标识与所述匹配结果的关联信息。
本示例实施方式中，所述面部特征识别包括：分析所述视频信号中各个面部的面部特征点；根据所述各面部的面部特征点生成面部特征；在预设面部特征与学生信息库中查找与所述面部特征对应的学生信息。如图2A所示为用户的面部特征点的示意图，根据所述面部特征点，生成面部特征，进而在预设面部特征与学生信息库中查找与所述面部特征对应的学生信息。
在互动信息显示步骤S140中，可以统计根据所述视频信号中的所有面部特征以及手势行为形成的所有关联信息，并生成教学互动信息，调用设备终端的显示接口显示所述教学互动信息。
本示例实施方式中，将所述学生的手势行为对应的教学互动信息与所述学生的身份统一起来，就完成了所述学生的手势行为的统计，通过视频采集设备对所有学生都进行教学互动信息的统计，都是自动调用预设方法 完成的，不需要认为操作，可以快速的实现对信息的识别和统计。如在某教学场景中，教师想要统计所有学生对某个选择题的作答情况，只需要让每个学生都用对应手势代表对应选项，如一个直立的手指代表“A”选项，两个相互独立的直立的手指代表“B”选项，三个相互独立的直立的手指代表“C”选项，四个相互独立的直立的手指代表“D”选项，通过视频采集设备采集并分析所有学生在面部左耳侧的手势行为中的手特征，也就是相互独立的直立的手指个数，就可以实现对所述选择题作答情况的统计，如图3A为所述教学场景中，对所述选择题的作答情况的统计结果的示意图。
本示例实施方式中，所述互动信息显示步骤，包括：在提取到所述视频信号中的面部特征后，若在所述面部特征指定相邻区域未检测到手势行为，或者，在所述面部特征指定相邻区域检测到手势行为与预先定义的手势样本不匹配，则生成异常匹配结果。对一些没有作答，或者手势行为异常的学生生成对应的匹配一场标记并统计。
本示例实施方式中，所述互动信息显示步骤，包括：将所述手势特征与预先定义的手势样本进行匹配，得到匹配结果后，根据多种匹配结果生成对应的统计信息，将所述统计信息作为教学互动信息。根据不同的教学场景，同一手势特征对应一个或多个教学互动信息。如在预设时间段内相互分开的直立的手指的个数所代表的手势特征分别对应教学互动信息“A”“B”，也可以对应教学互动信息“对”或“错”。
本示例实施方式中，所述互动信息显示步骤，包括：将所述手势特征与预先定义的手势样本进行匹配，得到匹配结果后，若匹配结果为多种，则根据多种匹配结果生成对应数量的统计信息；根据对应数量的统计信息形成图表信息，将所述对应数量的统计信息以及所述图表信息作为教学互动信息。如图3B所示，为所述教学场景中，对所述选择题的作答情况生成的图表统计信息的示意图，进一步的，将可以选择查看每个手势特征对应的多个用户信息。
需要说明的是，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可 以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
此外，在本示例实施例中，还提供了一种基于手势识别的教学互动装置。参照图4所示，该基于手势识别的教学互动装置400可以包括：视频信号获取模块410、手势特征分析模块420、关联信息形成模块430以及互动信息显示模块440。其中：
视频信号获取模块410，用于获取第一视频采集设备采集的视频信号，提取所述视频信号中的面部特征，以及所述面部特征指定相邻区域的手势行为；
手势特征分析模块420，用于分析所述手势行为对应的手势特征，并将所述手势特征与预先定义的手势样本进行匹配，得到匹配结果；
关联信息形成模块430，用于根据所述面部特征在学生信息数据库中匹配与所述面部特征对应的学生标识，并将匹配到的学生标识与所述匹配结果进行关联形成关联信息；
互动信息显示模块440，用于统计根据所述视频信号中的所有面部特征以及手势行为形成的所有关联信息，并生成教学互动信息，调用设备终端的显示接口显示所述教学互动信息。
上述中各基于手势识别的教学互动装置模块的具体细节已经在对应的音频段落识别方法中进行了详细的描述，因此此处不再赘述。
应当注意，尽管在上文详细描述中提及了基于手势识别的教学互动装置400的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外，在本公开的示例性实施例中，还提供了一种能够实现上述方法的电子设备。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式， 即：完全的硬件实施例、完全的软件实施例(包括固件、微代码等)，或硬件和软件方面结合的实施例，这里可以统称为“电路”、“模块”或“系统”。
下面参照图5来描述根据本发明的这种实施例的电子设备500。图5显示的电子设备500仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，电子设备500以通用计算设备的形式表现。电子设备500的组件可以包括但不限于：上述至少一个处理单元510、上述至少一个存储单元520、连接不同系统组件(包括存储单元520和处理单元510)的总线530、显示单元540。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元510执行，使得所述处理单元510执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施例的步骤。例如，所述处理单元510可以执行如图1中所示的步骤S110至步骤S140。
存储单元520可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)5201和/或高速缓存存储单元5202，还可以进一步包括只读存储单元(ROM)5203。
存储单元520还可以包括具有一组(至少一个)程序模块5205的程序/实用工具5204，这样的程序模块5205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线530可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备500也可以与一个或多个外部设备570(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备500交互的设备通信，和/或与使得该电子设备500能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口550进行。并且，电子设备500还可以通过网络适配器560与一个或者多个网络(例如局域网(LAN)，广域网(WAN) 和/或公共网络，例如因特网)通信。如图所示，网络适配器560通过总线530与电子设备500的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备500使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施例的描述，本领域的技术人员易于理解，这里描述的示例实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施例的方法。
在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施例中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施例的步骤。
参考图6所示，描述了根据本发明的实施例的用于实现上述方法的程序产品600，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式 紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精 确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限
工业实用性
一方面，由于在学生面部特征的指定区域进行手势行为识别的规则，提高了识别的准确度，增加了手势行为应用的可行性；另一方面，基于手势样本预录入的手势行为识别，在保证识别准确性的基础上提高了手势行为识别的灵活性，能够适应不同教学场景的需求。

Claims (14)

  1. 一种基于手势识别的教学互动方法，其特征在于，所述方法包括：
    视频信号获取步骤，获取第一视频采集设备采集的视频信号，提取所述视频信号中的面部特征，以及所述面部特征指定相邻区域的手势行为；
    手势特征分析步骤，分析手势行为对应的手势特征，并将所述手势特征与预先定义的手势样本进行匹配，得到匹配结果；
    关联信息形成步骤，根据所述面部特征在学生信息数据库中匹配与所述面部特征对应的学生标识，并将匹配到的学生标识与所述匹配结果进行关联形成关联信息；
    互动信息显示步骤，统计根据所述视频信号中的所有面部特征以及手势行为形成的所有关联信息，并生成教学互动信息，调用设备终端的显示接口显示所述教学互动信息。
  2. 如权利要求1所述的方法，其特征在于，所述面部特征包括面部轮廓，
    所述视频信号获取步骤中提取所述视频信号中的面部特征，以及所述面部特征指定相邻区域的手势行为，包括：
    确定视频信号中的面部轮廓，获取位于面部轮廓预设方向的预设区域中的手势行为。
  3. 如权利要求1所述的方法，其特征在于，所述方法还包括：
    接收临时录入信息，所述临时录入信息包括采集的至少一个手势样本；
    在视频信号获取步骤后，将手势特征与所述临时录入信息进行匹配，得到匹配结果。
  4. 如权利要求3所述的方法，其特征在于，所述方法还包括：
    在得到匹配结果后，发送处理所述临时录入信息的询问指令，所述询问指令包括删除所述临时录入信息中的手势样本，以及保存所述临时录入信息中的手势样本；
    接收根据所述询问指令回复的处理指令，根据所述处理指令删除所述 临时录入信息中的手势样本，或者将所述临时录入信息中的手势样本保存至预先建立的手势样本数据库中。
  5. 如权利要求3所述的方法，其特征在于，所述接收临时录入信息，包括：
    检测用户在触摸设备输入的手势行为；
    将所述手势行为作为临时录入信息中的手势样本。
  6. 如权利要求3所述的方法，其特征在于，所述接收临时录入信息，包括：
    检测第二视频采集设备采集的手势行为，将第二视频采集设备采集的手势行为作为临时录入信息中的手势样本。
  7. 如权利要求1所述的方法，其特征在于，包括：
    接收样本选取指令，将预先建立的手势样本数据库中的手势样本在显示设备进行展示；
    接收样本确定指令，所述样本确定指令包括用户在所述手势样本数据库中选取的待匹配的手势样本；
    根据所述选取的待匹配的手势样本执行所述手势特征分析步骤。
  8. 如权利要求1所述的方法，其特征在于，所述手势特征包括在预设时长内相互分开的直立的手指的个数。
  9. 如权利要求1所述的方法，其特征在于，所述互动信息显示步骤，包括：
    在提取到所述视频信号中的面部特征后，若在所述面部特征指定相邻区域未检测到手势行为，或者，在所述面部特征指定相邻区域检测到手势行为与预先定义的手势样本不匹配，则生成异常匹配结果。
  10. 如权利要求1或9所述的方法，其特征在于，所述互动信息显示步骤，包括：
    将所述手势特征与预先定义的手势样本进行匹配，得到匹配结果后，根据多种匹配结果生成对应的统计信息，将所述统计信息作为教学互动信 息。
  11. 如权利要求1或9所述的方法，其特征在于，所述互动信息显示步骤，包括：
    将所述手势特征与预先定义的手势样本进行匹配，得到匹配结果后，若匹配结果为多种，则根据多种匹配结果生成对应数量的统计信息；
    根据对应数量的统计信息形成图表信息，将所述对应数量的统计信息以及所述图表信息作为教学互动信息。
  12. 一种基于手势识别的教学互动装置，其特征在于，所述装置包括：
    视频信号获取模块，用于获取第一视频采集设备采集的视频信号，提取所述视频信号中的面部特征，以及所述面部特征指定相邻区域的手势行为；
    手势特征分析模块，用于分析手势行为对应的手势特征，并将所述手势特征与预先定义的手势样本进行匹配，得到匹配结果；
    关联信息形成模块，用于根据面部特征在学生信息数据库中匹配与所述面部特征对应的学生标识，并将匹配到的学生标识与所述匹配结果进行关联形成关联信息；
    互动信息显示模块，用于统计根据所述视频信号中的所有面部特征以及手势行为形成的所有关联信息，并生成教学互动信息，调用设备终端的显示接口显示所述教学互动信息。
  13. 一种电子设备，其特征在于，包括
    处理器；以及
    存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现根据权利要求1至11中任一项所述的方法。
  14. 一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现根据权利要求1至11中任一项所述方法。
PCT/CN2018/092787 2018-05-22 2018-06-26 基于手势识别的教学互动方法以及装置 WO2019223056A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810495581.9A CN108805035A (zh) 2018-05-22 2018-05-22 基于手势识别的教学互动方法以及装置
CN201810495581.9 2018-05-22

Publications (1)

Publication Number Publication Date
WO2019223056A1 true WO2019223056A1 (zh) 2019-11-28

Family

ID=64091397

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/092787 WO2019223056A1 (zh) 2018-05-22 2018-06-26 基于手势识别的教学互动方法以及装置

Country Status (2)

Country Link
CN (1) CN108805035A (zh)
WO (1) WO2019223056A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111309153A (zh) * 2020-03-25 2020-06-19 北京百度网讯科技有限公司 人机交互的控制方法和装置、电子设备和存储介质
CN112668476A (zh) * 2020-12-28 2021-04-16 华中师范大学 一种数据处理方法、装置、电子设备及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110660275B (zh) * 2019-09-18 2021-09-21 武汉天喻教育科技有限公司 一种基于视频分析的师生课堂即时互动系统和方法
CN111681474A (zh) * 2020-06-17 2020-09-18 中国银行股份有限公司 在线直播教学方法、装置、计算机设备及可读存储介质
CN113485619B (zh) * 2021-07-13 2024-03-19 腾讯科技（深圳）有限公司 信息收集表的处理方法、装置、电子设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103488299A (zh) * 2013-10-15 2014-01-01 大连市恒芯科技有限公司 一种融合人脸和手势的智能终端人机交互方法
US20140147035A1 (en) * 2011-04-11 2014-05-29 Dayaong Ding Hand gesture recognition system
CN104407694A (zh) * 2014-10-29 2015-03-11 山东大学 一种结合人脸和手势控制的人机交互方法及装置
CN104484645A (zh) * 2014-11-14 2015-04-01 华中科技大学 一种面向人机交互的“1”手势识别方法与系统
CN105159444A (zh) * 2015-08-07 2015-12-16 珠海格力电器股份有限公司 用于手势识别的捕捉对象的确定方法和装置
US9465444B1 (en) * 2014-06-30 2016-10-11 Amazon Technologies, Inc. Object recognition for gesture tracking
CN106648079A (zh) * 2016-12-05 2017-05-10 华南理工大学 一种基于人脸识别与手势交互的电视娱乐系统
CN106774894A (zh) * 2016-12-16 2017-05-31 重庆大学 基于手势的交互式教学方法及交互系统
CN107491755A (zh) * 2017-08-16 2017-12-19 京东方科技集团股份有限公司 用于手势识别的方法及装置
CN107679860A (zh) * 2017-08-09 2018-02-09 百度在线网络技术（北京）有限公司 一种用户认证的方法、装置、设备和计算机存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103699225B (zh) * 2013-12-17 2017-02-15 深圳市威富多媒体有限公司 一种通过手形与移动终端进行交互的方法及装置
CN104656890A (zh) * 2014-12-10 2015-05-27 杭州凌手科技有限公司 虚拟现实智能投影手势互动一体机及互动实现方法
CN106250822A (zh) * 2016-07-21 2016-12-21 苏州科大讯飞教育科技有限公司 基于人脸识别的学生专注度监测系统及方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140147035A1 (en) * 2011-04-11 2014-05-29 Dayaong Ding Hand gesture recognition system
CN103488299A (zh) * 2013-10-15 2014-01-01 大连市恒芯科技有限公司 一种融合人脸和手势的智能终端人机交互方法
US9465444B1 (en) * 2014-06-30 2016-10-11 Amazon Technologies, Inc. Object recognition for gesture tracking
CN104407694A (zh) * 2014-10-29 2015-03-11 山东大学 一种结合人脸和手势控制的人机交互方法及装置
CN104484645A (zh) * 2014-11-14 2015-04-01 华中科技大学 一种面向人机交互的“1”手势识别方法与系统
CN105159444A (zh) * 2015-08-07 2015-12-16 珠海格力电器股份有限公司 用于手势识别的捕捉对象的确定方法和装置
CN106648079A (zh) * 2016-12-05 2017-05-10 华南理工大学 一种基于人脸识别与手势交互的电视娱乐系统
CN106774894A (zh) * 2016-12-16 2017-05-31 重庆大学 基于手势的交互式教学方法及交互系统
CN107679860A (zh) * 2017-08-09 2018-02-09 百度在线网络技术（北京）有限公司 一种用户认证的方法、装置、设备和计算机存储介质
CN107491755A (zh) * 2017-08-16 2017-12-19 京东方科技集团股份有限公司 用于手势识别的方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111309153A (zh) * 2020-03-25 2020-06-19 北京百度网讯科技有限公司 人机交互的控制方法和装置、电子设备和存储介质
CN111309153B (zh) * 2020-03-25 2024-04-09 北京百度网讯科技有限公司 人机交互的控制方法和装置、电子设备和存储介质
CN112668476A (zh) * 2020-12-28 2021-04-16 华中师范大学 一种数据处理方法、装置、电子设备及存储介质
CN112668476B (zh) * 2020-12-28 2024-04-16 华中师范大学 一种数据处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN108805035A (zh) 2018-11-13

Similar Documents

Publication Publication Date Title
WO2019223056A1 (zh) 基于手势识别的教学互动方法以及装置
CN109240576B (zh) 游戏中的图像处理方法及装置、电子设备、存储介质
WO2019196205A1 (zh) 外语教学评价信息生成方法以及装置
WO2019218427A1 (zh) 基于行为特征对比的关注度检测方法以及装置
CN106971009B (zh) 语音数据库生成方法及装置、存储介质、电子设备
WO2019218426A1 (zh) 教学备课教案生成方法以及装置
CN111104341A (zh) 智能家居设备自动化测试方法、装置、设备及存储介质
WO2020135334A1 (zh) 电视应用主题切换方法、电视、可读存储介质及设备
EP2891041B1 (en) User interface apparatus in a user terminal and method for supporting the same
WO2021121296A1 (zh) 习题测试数据生成方法以及装置
US20160182627A1 (en) Application hibernation
CN111475627B (zh) 解答推导题目的检查方法、装置、电子设备及存储介质
US20190057335A1 (en) Targeted data element detection for crowd sourced projects with machine learning
EP4345645A1 (en) User question labeling method and device
CN109359056A (zh) 一种应用程序测试方法及装置
JP2017111731A (ja) 情報処理システム、情報処理方法、プログラム
CN110727572A (zh) 埋点数据处理方法、装置、设备及存储介质
CN110795175A (zh) 模拟控制智能终端的方法、装置及智能终端
CN110866205B (zh) 用于存储信息的方法和装置
WO2021164286A1 (zh) 用户意图识别方法、装置、设备及计算机可读存储介质
WO2019214019A1 (zh) 基于卷积神经网络的网络教学方法以及装置
CN112306447A (zh) 一种界面导航方法、装置、终端和存储介质
WO2022222979A1 (zh) 书写方法、装置、交互平板和存储介质
WO2021114834A1 (zh) 客服问题的更新方法、系统、终端设备及计算机存储介质
CN111984180A (zh) 终端读屏方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18919726

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS (EPO FORM 1205A DATED 16.04.2021)

122 Ep: pct application non-entry in european phase

Ref document number: 18919726

Country of ref document: EP

Kind code of ref document: A1