TW202042104A - 課程指數檢測告警方法、裝置、電子設備、及存儲介質 - Google Patents

課程指數檢測告警方法、裝置、電子設備、及存儲介質 Download PDF

Info

Publication number
TW202042104A
TW202042104A TW108131390A TW108131390A TW202042104A TW 202042104 A TW202042104 A TW 202042104A TW 108131390 A TW108131390 A TW 108131390A TW 108131390 A TW108131390 A TW 108131390A TW 202042104 A TW202042104 A TW 202042104A
Authority
TW
Taiwan
Prior art keywords
trigger event
video data
course
index
video
Prior art date
Application number
TW108131390A
Other languages
English (en)
Other versions
TWI709915B (zh
Inventor
楊正大
Original Assignee
麥奇數位股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 麥奇數位股份有限公司 filed Critical 麥奇數位股份有限公司
Application granted granted Critical
Publication of TWI709915B publication Critical patent/TWI709915B/zh
Publication of TW202042104A publication Critical patent/TW202042104A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Educational Administration (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Development Economics (AREA)
  • Human Computer Interaction (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Marketing (AREA)
  • Educational Technology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Primary Health Care (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)

Abstract

一種基於視頻的課程指數檢測告警方法、裝置、電子設備及存儲介質，該方法包含：按至少一第一類帳號及一第二類帳號建立一虛擬互動空間；實時分別獲取自至少一第一類帳號採集及該第二類帳號的第一視頻資料及第二視頻資料；對該第一視頻資料按第一預定周期進行人臉識別；計算該第一類帳號的至少一第一課程指標；對該第二視頻資料按第二預定周期進行人臉識別；計算該第二類帳號的至少一第二課程指標；及根據該第一課程指標和/或第二課程指標與預定課程指標閥值的比較以向該虛擬互動空間內的至少一第一類帳號和/或第二類帳號進行告警。

Description

課程指數檢測告警方法、裝置、電子設備、及存儲介質
本發明是有關於計算機應用領域，特別是指一種基於視頻的課程指數檢測告警方法、裝置、電子設備、及存儲介質。
隨著信息技術迅速發展，特別是從互聯網到移動互聯網，創造了跨時空的生活、工作和學習方式，使知識獲取的方式發生了根本變化。教與學可以不受時間、空間和地點條件的限制，知識獲取渠道靈活與多樣化。在線教育應孕而生。在線教育顧名思義，是以網路爲介質的教學方式，藉由網路，學員與教師即使相隔萬里也可以開展教學活動；此外，借助網路課件，學員還可以隨時隨地進行學習，真正打破了時間和空間的限制，對於工作繁忙，學習時間不固定的職場人而言網路遠程教育是最方便不過的學習方式。在線教育主要藉由應用信息科技和互聯網技術進行內容傳播和快速學習的方法，以實現電子化的學習、有效率的學習、探索的學習、經驗的學習、拓展的學習、延伸的學習、易使用的學習、增强的學習。
現有技術中線上教學平臺有老師及學生的監控平臺，其技術手段是於監控頁面上條列正在上課中的老師或學生。然而，現有技術中，頁面上並無記錄與分析課堂中實時所發生的事件，讓監控者無法簡單看出課中出現的問題，必須等老師或學生發送客服訊息才能得知。
因此，本發明的目的，即在克服上述相關技術存在的缺陷，提供一種基於視頻的課程指數檢測告警方法、裝置、電子設備、及存儲介質，進而至少在一定程度上克服由於相關技術的限制和缺陷而導致的一個或者多個問題。
於是，根據本發明之一觀點，提供一種基於視頻的課程指數檢測告警方法，適用於一告警裝置，並藉由該告警裝置實施。該告警方法包含下列的步驟。
按至少一第一類帳號及一第二類帳號建立一虛擬互動空間，該虛擬互動空間至少向該至少一第一類帳號提供該第二類帳號的一多媒體資料。
實時獲取自該至少一第一類帳號採集的一第一視頻資料。對該第一視頻資料按一第一預定周期進行人臉識別，以獲取該第一視頻資料的一第一臉部特徵參數及該第一臉部特徵參數對應的該第一視頻資料的一採集時間。根據獲得的同一個該第一類帳號的該第一臉部特徵參數及該第一臉部特徵參數對應的該第一視頻資料的該採集時間計算該第一類帳號的至少一第一課程指標。
實時獲取自該第二類帳號採集的一第二視頻資料。對該第二視頻資料按一第二預定周期進行人臉識別，以獲取第二視頻資料的一第二臉部特徵參數及該第二臉部特徵參數對應的該第二視頻資料的一採集時間。根據獲得的該第二類帳號的該第二臉部特徵參數及該第二臉部特徵參數對應的該第二視頻資料的該採集時間計算該第二類帳號的至少一第二課程指標。
根據該至少一第一課程指標和/或該至少一第二課程指標與一預定課程指標閥值的比較以向該虛擬互動空間內的該至少一第一類帳號和/或該第二類帳號進行告警。
在一些實施態樣中，其中，該至少一第一課程指標根據如下步驟計算：根據該第一臉部特徵參數確定至少一第一觸發事件；確定該各個該第一觸發事件的一所佔時間比例；對各個該第一觸發事件，計算該第一觸發事件的該所佔時間比例與該第一觸發事件的一權重之積作爲該第一觸發事件的一事件指標；計算各個該第一觸發事件的該事件指標之和，作爲各個該第一課程指標。其中，該第二課程指標與該第一課程指標按相同的方式，根據至少一第二觸發事件、各個該第二觸發事件的一所佔時間比例、各個該第二觸發事件的一權重來計算。
在一些實施態樣中，其中，該至少一第一觸發事件及該至少一第二觸發事件包括：頭不在視頻裏、閉眼、打哈欠、頭部在視頻正中間、歪頭、皺眉、微笑、黑屏、眼神看向一視頻採集裝置、嘴巴閉合、眼睛眯著中的一項或多項。
在一些實施態樣中，其中，該至少一第一課程指標至少包括一第一注意力指標，該第一注意力指標根據如下方式計算：P11 *A11 +P12 * A12 +（1- P13 ）* A13 。
其中，P11 爲該第一視頻資料中頭在視頻正中間的該第一觸發事件的該所佔時間比例，P12 爲該第一視頻資料中眼神看向該視頻採集裝置的該第一觸發事件的該所佔時間比例，P13 爲該第一視頻資料中閉眼的該第一觸發事件的該所佔時間比例，A11 、A12 、A13 分別爲該第一觸發事件的該權重，A11 、A12 、A13 爲大於0小於1的實數，且A11 、A12 、A13 之和爲1。其中，該至少一第二課程指標至少包括一第二注意力指標，該第二注意力指標與該第一注意力指標按對應的該至少一第二觸發事件以相同的方式計算。
在另一些實施態樣中，其中，該至少一第一課程指標至少包括一第一參與度指標，該第一參與度指標根據如下方式計算：（1-P14 ）*A14 +（1- P13 ）* A13 。
其中，P14 爲該第一視頻資料中嘴巴閉合的該第一觸發事件的該所佔時間比例，P13 爲該第一視頻資料中閉眼的該第一觸發事件的該所佔時間比例，A14 、A13 分別爲該第一觸發事件的該權重，A14 、A13 爲大於0小於1的實數，且A14 、A13 之和爲1。其中，該至少一第二課程指標至少包括一第二參與度指標，該第二參與度指標與該第一參與度指標按對應的該至少一第二觸發事件以相同的方式計算。
在另一些實施態樣中，其中，該至少一第一課程指標至少包括一第一熱情度指標，該第一熱情度指標根據如下方式計算：P15 *A15 +（1- P16 ）* A16 +（1- P13 ）* A13 。
其中，P15 爲該第一視頻資料中微笑的該第一觸發事件的該所佔時間比例，P16 爲該第一視頻資料中打哈欠的該第一觸發事件的該所佔時間比例，P13 爲該第一視頻資料中閉眼的該第一觸發事件的該所佔時間比例，A15 、A16 、A13 分別爲該第一觸發事件的該權重，A15 、A16 、A13 爲大於0小於1的實數，且A15 、A16 、A13 之和爲1。其中，該至少一第二課程指標至少包括一第二熱情度指標，該第二熱情度指標與該第一熱情度指標按對應的該至少一第二觸發事件以相同的方式計算。
在另一些實施態樣中，其中，該至少一第一課程指標至少包括一第一困惑度指標，該第一困惑度指標根據如下方式計算：P17 *A17 +P18 * A18 + P19 * A19 。其中，P17 爲第一視頻資料中歪頭的該第一觸發事件的該所佔時間比例，P18 爲該第一視頻資料中皺眉的該第一觸發事件的該所佔時間比例，P19 爲該第一視頻資料中眼睛眯著的該第一觸發事件的該所佔時間比例，A17 、A18 、A19 分別爲該第一觸發事件的該權重，A17 、A18 、A19 爲大於0小於1的實數，且A17 、A18 、A19 之和爲1。
在另一些實施態樣中，其中，該至少一第二課程指標至少包括一第二交互度指標，該第二交互度指標根據如下方式計算：P22 * A22 +（1-P24 ）*A24 。
其中，P22 爲該第二視頻資料中眼神看向該視頻採集裝置的該第二觸發事件的該所佔時間比例，P24 爲該第二視頻資料中嘴巴閉合的該第二觸發事件的該所佔時間比例，A22 、A24 分別爲該第二觸發事件的該權重，A22 、A24 爲大於0小於1的實數，且A22 、A24 之和爲1。
在另一些實施態樣中，其中，該至少一第二課程指標至少包括一第二出席度指標，該第二出席度指標根據如下方式計算：P210 *A210 +（1- P211 ）* A211 。
其中，P210 爲該第二視頻資料中頭在視頻裏的該第二觸發事件的該所佔時間比例，P211 爲該第二視頻資料中黑屏的該第二觸發事件的該所佔時間比例，A210 、A211 分別爲該第二觸發事件的該權重，A210 、A211 爲大於0小於1的實數，且A210 、A211 之和爲1。
在另一些實施態樣中，其中，該至少一第二課程指標至少包括一第二姿態指標，該第二姿態指標根據如下方式計算：P22 *A22 +（1- P27 ）* A27 。
其中，P22 爲該第二視頻資料中眼神看向該視頻採集裝置的該第二觸發事件的該所佔時間比例，P27 爲該第二視頻資料中歪頭的該第二觸發事件的該所佔時間比例，A22 、A27 分別爲該第二觸發事件的該權重，A22 、A27 爲大於0小於1的實數，且A22 、A27 之和爲1。
在另一些實施態樣中，其中，同一個該第一觸發事件或同一個該第二觸發事件在計算不同的各個課程指標時，該第一觸發事件或該第二觸發事件的該權重不同。
在另一些實施態樣中，其中，各個該第一觸發事件及各個該第二觸發事件的該所佔時間比例基於一預定時間段計算。
於是，根據本發明之另一觀點，提供一種基於視頻的課程指數檢測告警裝置，包含一建立模組、一第一獲取模組、一第一識別模組、一第一計算模組、一第二獲取模組、一第二識別模組、一第二計算模組、及一告警模組。
該建立模組用於按至少一第一類帳號及一第二類帳號建立一虛擬互動空間，該虛擬互動空間至少向該至少一第一類帳號提供該第二類帳號的一多媒體資料。該第一獲取模組用於實時獲取自該至少一第一類帳號採集的一第一視頻資料。該第一識別模組用於對該第一視頻資料按一第一預定周期進行人臉識別，以獲取該第一視頻資料的一第一臉部特徵參數及該第一臉部特徵參數對應的該第一視頻資料的一採集時間。該第一計算模組用於根據獲得的同一個該第一類帳號的該第一臉部特徵參數及該第一臉部特徵參數對應的該第一視頻資料的該採集時間計算該第一類帳號的至少一第一課程指標。
該第二獲取模組用於實時獲取自該第二類帳號採集的一第二視頻資料。該第二識別模組用於對該第二視頻資料按一第二預定周期進行人臉識別，以獲取該第二視頻資料的一第二臉部特徵參數及該第二臉部特徵參數對應的該第二視頻資料的一採集時間。該第二計算模組用於根據獲得的該第二類帳號的該第二臉部特徵參數及該第二臉部特徵參數對應的該第二視頻資料的該採集時間計算該第二類帳號的至少一第二課程指標。該告警模組用於根據該至少一第一課程指標和/或該至少一第二課程指標與一預定課程指標閥值的比較以向該虛擬互動空間內的該至少一第一類帳號和/或該第二類帳號進行告警。
於是，根據本發明之另一觀點，提供一種電子設備，包含一處理器及一儲存器。該儲存器電連接該處理器，並儲存一計算機程式，該計算機程式被該處理器運行時執行基於視頻的課程指數檢測該告警方法所述的步驟。
於是，根據本發明之另一觀點，提供一種存儲介質，儲存一計算機程式，該計算機程式被一處理器運行時執行基於視頻的課程指數檢測該告警方法所述的步驟。
本發明的功效在於：藉由基於視頻的人臉識別獲取臉部特徵，從而計算學生的該第一課程指標和老師的該第二課程指標，該第一課程指標和該第二課程指標皆指示學生和老師的上課狀態指標，藉由資料採集、計算，當藉由該第一課程指標和/或該第二課程指標與閥值的對比確定課程狀態發送異常時，實現高效地實時告警，從而實現視頻資料的複用、提高資料處理效率、及課程質量。
在本發明被詳細描述之前，應當注意在以下的說明內容中，類似的元件是以相同的編號來表示。
現在將參考附圖更全面地描述示例實施方式。然而，示例實施方式能够以多種形式實施，且不應被理解爲限於在此闡述的範例；相反，提供這些實施方式使得本發明將更加全面和完整，並將示例實施方式的構思全面地傳達給本領域的技術人員。所描述的特徵、結構或特性可以以任何合適的方式結合在一個或更多實施方式中。
此外，附圖僅爲本發明的示意性圖解，並非一定是按比例繪製。圖中相同的附圖標記表示相同或類似的部分，因而將省略對它們的重複描述。附圖中所示的一些方框圖是功能實體，不一定必須與物理或邏輯上獨立的實體相對應。可以採用軟體形式來實現這些功能實體，或在一個或多個硬體模組或積體電路中實現這些功能實體，或在不同網路和/或處理器裝置和/或微控制器裝置中實現這些功能實體。
附圖中所示的流程圖僅是示例性說明，不是必須包括所有的步驟。例如，有的步驟還可以分解，而有的步驟可以合併或部分合併，因此，實際執行的順序有可能根據實際情况改變。
參閱圖1，本發明基於視頻的課程指數檢測告警方法之一實施例，適用於一告警裝置，並藉由該告警裝置實施，該告警方法包含步驟S110~S180。
步驟S110：按至少一第一類帳號及一第二類帳號建立一虛擬互動空間，該虛擬互動空間至少向該至少一第一類帳號提供該第二類帳號的一多媒體資料。
具體而言，每一個該第一類帳號爲一個學員帳號。該第二類帳號爲一個教師帳號。該虛擬互動空間例如是線上教室。在該線上教室內，至少向藉由該學員帳號登錄的一學員顯示藉由該教師帳號登錄的教室的直播/錄播教學視頻及該課程的課件。在該線上教室內，還可以向教師提供學員的反饋，由此，實現實時交互、線上做題等。本發明提供的虛擬互動空間並非以此爲限。
具體而言，步驟S110按該至少一第一類帳號及一第二類帳號建立該虛擬互動空間還可以包括如下步驟：生成該虛擬互動空間的一唯一標識符，維護該至少一第一類帳號及該第二類帳號與該虛擬互動空間的該唯一標識符的一映射表。由此，本發明可以維護多個虛擬互動空間（多個線上教室）中，該等學員帳號和各該教師帳號的映射和連接情况。
步驟S120：實時獲取自該至少一第一類帳號採集的一第一視頻資料。
具體而言，自每一該第一類帳號登錄的一設備的一視頻採集模組（諸如攝像頭）採集該第一類帳號的用戶（學生）的該第一視頻資料。該第一視頻資料除了發送至該第二類帳號登錄的一設備以供該第二類帳號的老師與學生互動外，還用於進行人臉識別和至少一第一課程指標的計算，由此，實現該第一視頻資料的複用。
步驟S130：對該第一視頻資料按一第一預定周期進行人臉識別，以獲取該第一視頻資料的一第一臉部特徵參數及該第一臉部特徵參數對應的該第一視頻資料的一採集時間。
具體而言，人臉識別，是基於人的臉部特徵信息進行身份識別的一種生物識別技術。用攝像機或攝像頭採集含有人臉的圖像或視頻流，並自動在圖像中檢測和跟踪人臉，進而對檢測到的人臉進行臉部識別的一系列相關技術，通常也叫做人像識別、面部識別。
具體而言，在本發明中，可以無需藉由人臉識別進行身份認證，僅需藉由人臉識別演算法來獲取視頻資料中的臉部特徵，由此，加快資料處理效率，减少系統負載。
具體而言，該第一預定周期用於在該第一視頻資料中按該第一預定周期抽取相應的多個視頻幀(Frame)來進行人臉識別，由此，加快資料處理效率，减少系統負載。該第一預定周期例如可以是0.1秒至10秒中任意時間，本發明並非以此爲限制。
步驟S140：根據獲得的同一個該第一類帳號的該第一臉部特徵參數及該第一臉部特徵參數對應的該第一視頻資料的該採集時間計算該第一類帳號的該至少一第一課程指標。
具體而言，每個該第一類帳號可以具有該至少一第一課程指標。每一該第一課程指標根據如下步驟計算；根據該第一臉部特徵參數確定至少一第一觸發事件；確定該各個該第一觸發事件的一所佔時間比例；對各個該第一觸發事件，計算該第一觸發事件的該所佔時間比例與該第一觸發事件的一權重之積作爲該第一觸發事件的一事件指標；計算各個該第一觸發事件的該事件指標之和，作爲該第一課程指標。
具體而言，該至少一第一觸發事件包括：頭不在視頻裏、閉眼、打哈欠、頭部在視頻正中間、歪頭、皺眉、微笑、黑屏、眼神看向一視頻採集裝置、嘴巴閉合、眼睛眯著中的一項或多項。進一步地，上述各個該第一觸發事件藉由人臉識別的臉部特徵來確定。具體而言，可以根據人臉識別中確定視頻中人臉位置的演算法，來確定用戶的頭是否在視頻中；可以根據人臉識別中獲取人眼的多個特徵點的坐標，確定是否部分特徵點重合，從而確定人眼是否爲閉眼狀態；可以根據人臉識別中獲取嘴部的多個特徵點的坐標，確定張嘴幅度是否大於一預定閥值，從而確定用戶是否正在打哈欠；可以根據人臉識別中獲取臉部中心點的坐標，與視頻畫面的中心點的坐標進行對比，從而確定頭部在視頻正中間；可以根據人臉識別中獲取臉部多個特徵點確定臉部的縱向方向，獲取肩部的多個特徵點，確定肩部的橫向方向，根據縱向方向和橫向方向的角度是否近似90度確定用戶是否歪頭；可以根據人臉識別中獲取雙眼之間的多個特徵點，確定是否存在褶皺/陰影，從而確定用戶是否皺眉；可以根據人臉識別中獲取嘴部的多個特徵點，與預存微笑的嘴部模型進行比對，從而確定用戶是否微笑；可以根據視頻像素值確定是否黑屏；可以根據人臉識別中獲取眼框的中心點的坐標及眼珠的中心點的坐標，以進行比對，從而確定用戶眼睛是否看向該視頻採集裝置；可以根據人臉識別中獲取嘴部的多個特徵點的坐標，從而確定用戶嘴巴是否閉合；可以根據人臉識別中獲取眼部的多個特徵點的坐標，從而確定用戶眼睛是否處於張開和閉眼之間（眯著）。
以上僅僅是示意性地描述各個該第一觸發事件的識別方式，本領域技術人員可以實現更多的變化方式，這些變化方式都在本發明的保護範圍之內，在此不予贅述。
具體而言，該至少一第一課程指標至少包括一第一注意力指標、一第一參與度指標、一第一熱情度指標及一第一困惑度指標中的一項或多項。
該第一注意力指標根據如下方式計算：P11 *A11 +P12 * A12 +（1- P13 ）* A13 。其中，P11 爲該第一視頻資料中頭在視頻正中間的該第一觸發事件的該所佔時間比例，P12 爲該第一視頻資料中眼神看向該視頻採集裝置的該第一觸發事件的該所佔時間比例，P13 爲該第一視頻資料中閉眼的該第一觸發事件的該所佔時間比例，A11 、A12 、A13 分別爲該第一觸發事件的該權重，A11 、A12 、A13 爲大於0小於1的實數，且A11 、A12 、A13 之和爲1。
該第一參與度指標根據如下方式計算：（1-P14 ）*A14 +（1- P13 ）* A13 。其中，P14 爲該第一視頻資料中嘴巴閉合的該第一觸發事件的該所佔時間比例，P13 爲該第一視頻資料中閉眼的該第一觸發事件的該所佔時間比例，A14 、A13 分別爲該第一觸發事件的該權重，A14 、A13 爲大於0小於1的實數，且A14 、A13 之和爲1。
該第一熱情度指標根據如下方式計算：P15 *A15 +（1- P16 ）* A16 +（1- P13 ）* A13 。其中，P15 爲該第一視頻資料中微笑的該第一觸發事件的該所佔時間比例，P16 爲該第一視頻資料中打哈欠的該第一觸發事件的該所佔時間比例，P13 爲該第一視頻資料中閉眼的該第一觸發事件的該所佔時間比例，A15 、A16 、A13 分別爲該第一觸發事件的該權重，A15 、A16 、A13 爲大於0小於1的實數，且A15 、A16 、A13 之和爲1。
該第一困惑度指標根據如下方式計算：P17 *A17 +P18 * A18 + P19 * A19 。其中，P17 爲該第一視頻資料中歪頭的該第一觸發事件的該所佔時間比例，P18 爲該第一視頻資料中皺眉的該第一觸發事件的該所佔時間比例，P19 爲該第一視頻資料中眼睛眯著的該第一觸發事件的該所佔時間比例，A17 、A18 、A19 分別爲該第一觸發事件的該權重，A17 、A18 、A19 爲大於0小於1的實數，且A17 、A18 、A19 之和爲1。
在一些具體實施例中，同一個該第一觸發事件在計算不同的各個課程指標時，該第一觸發事件的該權重不同。例如，P13 對應的該第一觸發事件（閉眼）的該權重在計算該第一注意力指標和該第一參與度指標時的值可以不同。
在一些具體實施例中，各個該第一觸發事件的該所佔時間比例基於一預定時間段計算。例如，各個該第一觸發事件的該所佔時間比例爲：各個該第一觸發事件在該預定時間段（當前時間前x分鐘）內的持續時間與x分鐘之比。x可以爲0.5分鐘至5分鐘的任意數值。如果課程開始沒有超過x分鐘則拿從課程開始到目前時間點的所有臉部特徵點資料。
在一些具體實施例中，上述各指標可以周期性更新。例如，可以每秒更新一次，本發明並非以此爲限制。
步驟S150：實時獲取自該第二類帳號採集的第二視頻資料。
具體而言，自該第二類帳號登錄的一設備的一視頻採集模組（諸如攝像頭）採集該第二類帳號的用戶（老師）的該第二視頻資料。該第二視頻資料除了發送至每一該第一類帳號登錄的該設備以供該第一類帳號的學生進行學習外，還用於進行人臉識別和至少一第二課程指標的計算，由此，實現該第二視頻資料的複用。
步驟S160：對該第二視頻資料按一第二預定周期進行人臉識別，以獲取該第二視頻資料的一第二臉部特徵參數及該第二臉部特徵參數對應的該第二視頻資料的一採集時間。
具體而言，在本發明中，可以無需藉由人臉識別進行身份認證，僅需藉由人臉識別算法來獲取視頻資料中的臉部特徵，由此，加快資料處理效率，减少系統負載。
具體而言，該第二預定周期用於在該第二視頻資料中按該第二預定周期抽取相應的多個視頻幀來進行人臉識別，由此，加快資料處理效率，减少系統負載。該第二預定周期例如可以是0.1秒至10秒中任意時間，本發明並非以此爲限制。
步驟S170：根據獲得的該第二類帳號的該第二臉部特徵參數及該第二臉部特徵參數對應的該第二視頻資料的該採集時間計算該第二類帳號的該至少一第二課程指標。
具體而言，每一該第二課程指標根據如下步驟計算；根據該第二臉部特徵確定至少一第二觸發事件；確定該各個該第二觸發事件的一所佔時間比例；對各個該第二觸發事件，計算該第二觸發事件的該所佔時間比例與該第二觸發事件的一權重之積作爲該第二觸發事件的一事件指標；計算各個該第二觸發事件的該事件指標之和，作爲該第二課程指標。
具體而言，該至少一第二觸發事件包括：頭不在視頻裏、閉眼、打哈欠、頭部在視頻正中間、歪頭、皺眉、微笑、黑屏、眼神看向視頻採集裝置、嘴巴閉合、眼睛眯著中的一項或多項。
具體而言，該至少一第二課程指標至少包括一第二注意力指標、一第二參與度指標、一第二熱情度指標、一第二交互度指標、一第二出席度指標、一第二姿態指標、一第二微笑指標中的一項或多項。
該第二注意力指標根據如下方式計算：P21 *A21 +P22 * A22 +（1- P23 ）* A23 。其中，P21 爲該第二視頻資料中頭在視頻正中間的該第二觸發事件的該所佔時間比例，P22 爲該第二視頻資料中眼神看向該視頻採集裝置的該第二觸發事件的該所佔時間比例，P23 爲該第二視頻資料中閉眼的該第二觸發事件的該所佔時間比例，A21 、A22 、A23 分別爲該第二觸發事件的該權重，A21 、A22 、A23 爲大於0小於1的實數，且A21 、A22 、A23 之和爲1。
該第二參與度指標根據如下方式計算：（1-P24 ）*A24 +（1- P23 ）* A23 。其中，P24 爲該第二視頻資料中嘴巴閉合的該第二觸發事件的該所佔時間比例，P23 爲該第二視頻資料中閉眼的該第二觸發事件的該所佔時間比例，A24 、A23 分別爲該第二觸發事件的該權重，A24 、A23 爲大於0小於1的實數，且A24 、A23 之和爲1。
該第二熱情度指標根據如下方式計算：P25 *A25 +（1- P26 ）* A26 +（1- P23 ）* A23 。其中，P25 爲該第二視頻資料中微笑的該第二觸發事件的該所佔時間比例，P26 爲該第二視頻資料中打哈欠的該第二觸發事件的該所佔時間比例，P23 爲該第二視頻資料中閉眼的該第二觸發事件的該所佔時間比例，A25 、A26 、A23 分別爲該第二觸發事件的該權重，A25 、A26 、A23 爲大於0小於1的實數，且A25 、A26 、A23 之和爲1。
該第二交互度指標根據如下方式計算：P22 * A22 +（1-P24 ）*A24 。其中，P22 爲該第二視頻資料中眼神看向該視頻採集裝置的該第二觸發事件的該所佔時間比例，P24 爲該第二視頻資料中嘴巴閉合的該第二觸發事件的該所佔時間比例，A22 、A24 分別爲該第二觸發事件的該權重，A22 、A24 爲大於0小於1的實數，且A22 、A24 之和爲1。
該第二出席度指標根據如下方式計算：P210 *A210 +（1- P211 ）* A211 。其中，P210 爲該第二視頻資料中頭在視頻裏的該第二觸發事件的該所佔時間比例，P211 爲該第二視頻資料中黑屏的該第二觸發事件的該所佔時間比例，A210 、A211 分別爲該第二觸發事件的該權重，A210 、A211 爲大於0小於1的實數，且A210 、A211 之和爲1。
該第二姿態指標根據如下方式計算：P22 *A22 +（1- P27 ）* A27 。其中，P22 爲該第二視頻資料中眼神看向該視頻採集裝置的該第二觸發事件的該所佔時間比例，P27 爲該第二視頻資料中歪頭的該第二觸發事件的該所佔時間比例，A22 、A27 分別爲該第二觸發事件的該權重，A22 、A27 爲大於0小於1的實數，且A22 、A27 之和爲1。
該第二微笑指標根據如下方式計算：P212 *A212 。其中，P212 爲該第二視頻資料中微笑的該第二觸發事件的該所佔時間比例，A212 爲該第二觸發事件的該權重，A212 爲1。
在一些具體實施例中，同一個該第二觸發事件在計算不同的各個課程指標時，該第二觸發事件的該權重不同。例如，P23 對應的該第二觸發事件（閉眼）的該權重在計算第二注意力指標和第二參與度指標時的值可以不同。
在一些具體實施例中，各個該第二觸發事件的該所佔時間比例基於一預定時間段計算。例如，各個該第二觸發事件的該所佔時間比例爲：各個該第二觸發事件在該預定時間段（當前時間前x分鐘）內的持續時間與x分鐘之比。x可以爲0.5分鐘至5分鐘的任意數值。如果課程開始沒有超過x分鐘則拿從課程開始到目前時間點的所有臉部特徵點資料。
在一些具體實施例中，上述各指標可以周期性更新。例如，可以每秒更新一次，本發明並非以此爲限制。
步驟S180：根據該至少一第一課程指標和/或該至少一第二課程指標與一預定課程指標閥值的比較以向該虛擬互動空間內的該至少一第一類帳號和/或該第二類帳號進行告警。
在一些具體實施例中，每一該第一課程指標和每一該第二課程指標都設有對應的該預定課程指標閥值（和預定持續時間閥值），當指標低於預定課程指標閥值（位於設定範圍內）且持續時間超過預定持續時間閥值（位於設定範圍內）則觸發警告，當指標低於預定課程指標閥值（位於設定範圍內）則不會再次觸發警告。
在本發明的一些具體實施例中，當該第一課程指標需警告時可以向該第一課程指標的該第一類帳號及該第二類帳號同時進行警告，以便該第一類帳號(即學生)能够瞭解其當前狀態難以獲得較高的教學體驗，同時提醒該第二類帳號的老師可以考慮改變教學策略以增加該第一類帳號的學生的注意力、參與度等。
在本發明的一些具體實施例中，當該第二課程指標需警告時可以向該第二類帳號及該第一類帳號同時進行警告，以便該第二類帳號(即老師)能够瞭解其當前狀態需要調整以提高教學質量，同時可以向該第一類帳號的學生提供更換教師、投訴等選項，以進一步督促該第二類帳號的老師儘快調整教學狀態。
在本發明的另一些具體實施例中，各課程指標的警告可以僅向對應該課程指標的帳號提供，以防止影響課程進行。在本發明的一些具體實施例中，警告可以以語音、警告音、圖形文字提示、視頻提示等方式，本發明並非以此爲限制。以上爲本發明提供的多個實現方式，本發明並非以此爲限制。
進一步地，在上述步驟S180之後，重複執行步驟S120至步驟S170直至課程結束，在課程結束後，將各項資料儲存至一資料庫中，以便進行進一步分析。上述步驟S120至步驟S140、步驟S150至步驟S170可以同步或交換順序執行，本發明並非以此爲限制。
在本發明的一個具體實現中，在老師用戶（即該第二類帳號）使用設備開啓攝像頭並建立虛擬互動空間， 老師和學生進入該虛擬互動空間開始線上教學，此時，獲取對應老師的設備和對應學生的設備的串流資料並且以每秒1幀分析視頻資料。在本實施例中，該預定時間段x設定爲1分鐘，例如課程開始過了15分12秒，則取課程的14分12秒到15分12秒的臉部特徵資料計算出15分12秒的該第一課程指標和該第二課程指標。
以老師爲例，在這1分鐘時段內的臉部特徵偵測出頭部不在視頻裏6秒、閉眼10秒、打哈欠3秒、頭在視頻正中間40秒、微笑10秒、眼神看向攝像頭40秒、嘴巴閉合30秒，各個指標的該權重設定爲：對於該第二注意力指標：頭在視頻正中間的該權重爲0.5, 眼神看向攝像頭的該權重爲0.2, 閉眼的該權重爲0.3。對於該第二交互度指標：嘴巴閉合的該權重爲 0.6, 眼神看向攝像頭的該權重爲0.4。對於該第二參與度指標：嘴巴閉合的該權重爲0.7, 閉眼的該權重爲0.3。對於該第二熱情度指標：微笑的該權重爲 0.35, 打哈欠的該權重爲 0.55, 閉眼的該權重爲0.1。對於該第二出席度指標：頭在視頻裏的該權重爲0.5, 黑屏的該權重爲0.5。對於該第二姿態指標：歪頭的該權重爲0.7, 眼神看向攝像頭的該權重爲 0.3。
在15分12秒的每一該第二課程指標計算爲：
該第二注意力指標：40/60 * 0.5 + 40/60 * 0.2 + (1-10/60) * 0.3 = 0.716...。該第二交互度指標：(1 - 30/60) * 0.6 + 40/60 * 0.4 = 0.566...。該第二參與度指標：(1 - 30/60) * 0.7 + (1-10/60) * 0.3 = 0.6。該第二熱情度指標： 10/60 * 0.35 + (1 – 3/60) * 0.55 + (1-10/60) * 0.1 = 0.664。該第二出席度指標：(1 – 6/60) * 0.5 + (1 – 0) * 0.5 = 0.95。該第二微笑指標： 10/60 = 0.166... 。該第二姿態指標：(1–0) * 0.5 + 40/60 * 0.5 = 0.833...。
設定該預定課程指標閥值和該預定持續時間閥值爲：該第二注意力指標、該第二參與度指標、及該第二交互度指標: 0.7及20秒。該第二熱情度指標：0.6及20秒。該第二出席度指標：0.9及10秒。該第二微笑指標：0.5及30秒。
假設從14分12秒到15分12秒分數固定爲上述步驟算出的該等第二課程指標則：該第二注意力指標的警告不會在這時段內觸發；該第二參與度指標及該第二交互度指標的警告都會於14分32秒觸發；該第二熱情度指標的警告不會在這時段內觸發；該第二出席度指標的警告不會在這時段內觸發；該第二微笑指標的警告會於14分42秒觸發。以上僅僅是示意性地描述本發明的一個具體實施例，本發明並非以此爲限制。
本發明還提供各指標圖像化的技術方案，參見圖2和圖3。圖2示出了根據本發明具體實施例的基於視頻的課程指數檢測告警方法的該第二類帳號的該等第二課程指標的示意圖。
圖2中標號200爲一老師指標監控面板。標號201顯示正在上課中的一老師列表，該老師列表中顯示各老師的照片以及姓名。若點選該老師列表中任一老師，該老師正在上的課程的資訊就會顯示在標號202及標號203指示的區域中。
標號202指示的區域中顯示老師姓名（課程流水號及課程時長）。進度條（可利用不同的顔色顯示不同的進度）表示課程進度，上方可以有%數顯示以及課程結束時間。
標號203指示的區域所點選的老師的六個第二課程指標，並顯示出每一該第二課程指標的數值（以一圈爲1，粗綫條部分轉過的角度標識指標的數值），及每一該第二課程指標超過該預定指標閥值的持續時間。
圖3示出了根據本發明一具體實施例的基於視頻的課程指數檢測告警方法的第一類帳號的第一課程指標的示意圖。
圖3中標號210爲一學生指標監控面板。標號211顯示正在上課中的一學生列表，該學生列表中包括學生照片以及姓名。若點選該學生列表中任一學生，該學生正在上的課程的資訊就會顯示在標號212、標號213及標號214顯示的區域中。
標號212中所點選的學生姓名（及課程流水號及課程時長）。進度條（可利用不同的顔色顯示不同的進度）表示課程進度，上方可以有%數顯示以及課程結束時間。
標號213中所點選的課程的所有學生的名字在上方的列表，下列五個圈最左邊的顯示學生視頻串流，右邊的四個圈則表示學生的四個第一課程指標的統計。每個圓圈各代表一個第一課程指標並且有%數顯示該指標在課堂中的綜合統計。若點選列表中任一學生的名字，該學生的視頻及指標統計會更新在五個圈裏以及標號214指示的區域內顯示的對應指標在隨課程進行時間的折綫圖。以上僅僅是本發明的一個具體實現方式，本發明並非以此爲限制。
圖4示出根據本發明實施例的基於視頻的課程指數檢測告警裝置的方塊圖。基於視頻的課程指數檢測告警裝置400包括一建立模組410、一第一獲取模組420、一第一識別模組430、一第一計算模組440、一第二獲取模組450、一第二識別模組460、一第二計算模組470及一告警模組480。
該建立模組410用於按該至少一第一類帳號及該第二類帳號建立該虛擬互動空間，該虛擬互動空間至少向該至少一第一類帳號提供該第二類帳號的該多媒體資料。該第一獲取模組420用於實時獲取自該至少一第一類帳號採集的該第一視頻資料。該第一識別模組430用於對該第一視頻資料按該第一預定周期進行人臉識別，以獲取該第一視頻資料的該第一臉部特徵參數及該第一臉部特徵參數對應的該第一視頻資料的該採集時間。該第一計算模組440用於根據獲得的同一個該第一類帳號的該第一臉部特徵參數及該第一臉部特徵參數對應的該第一視頻資料的該採集時間計算該第一類帳號的該至少一第一課程指標。
該第二獲取模組450用於實時獲取自該第二類帳號採集的該第二視頻資料。該第二識別模組460用於對該第二視頻資料按該第二預定周期進行人臉識別，以獲取該第二視頻資料的該第二臉部特徵參數及該第二臉部特徵參數對應的該第二視頻資料的該採集時間。該第二計算模組470用於根據獲得的該第二類帳號的該第二臉部特徵參數及該第二臉部特徵參數對應的該第二視頻資料的該採集時間計算該第二類帳號的該至少一第二課程指標。該告警模組480用於根據該至少一第一課程指標和/或該至少一第二課程指標與該預定課程指標閥值的比較以向該虛擬互動空間內的該至少一第一類帳號和/或該第二類帳號進行告警。
在本發明的示例性實施方式的基於視頻的課程指數檢測告警裝置中，本發明藉由基於視頻的人臉識別獲取臉部特徵，從而計算學生的每一該第一課程指標和老師的每一該第二課程指標，每一該第一課程指標和每一該第二課程指標皆指示學生和老師的上課狀態指標，藉由資料採集、計算，當藉由該至少一第一課程指標和/或該至少一第二課程指標與閥值的對比確定課程狀態發送異常時，實現高效地實時告警，從而實現視頻資料的複用、提高資料處理效率及課程質量。
另外要特別補充說明的是：「該建立模組410用於按至少該第一類帳號及該第二類帳號建立該虛擬互動空間，該虛擬互動空間至少向該至少一第一類帳號提供該第二類帳號的該多媒體資料」是指該建立模組410例如可以編輯、儲存、或接收資料以產生該多媒體資料，以提供教師及學生(或學員)例如藉由其他顯示設備觀看該虛擬互動空間(如線上教室)。「該告警模組480向該虛擬互動空間內的該至少一第一類帳號和/或該第二類帳號進行告警」是指該告警模組480產生一告警訊息(如語音、警告音、圖形文字提示、視頻等)，並將該告警訊息例如藉由其他顯示設備以通知教師及學生(或學員)。
圖4僅僅是示意性的示出本發明提供的基於視頻的課程指數檢測告警裝置400，在不違背本發明構思的前提下，模組的拆分、合併、增加都在本發明的保護範圍之內。本發明提供的基於視頻的課程指數檢測告警裝置400可以由軟體、硬體、固件、插件及他們之間的任意組合來實現，本發明並非以此爲限。
在本發明的示例性實施例中，還提供了一種計算機可讀的存儲介質，其上儲存有一計算機程式，該計算機程式被例如一處理器執行時可以實現上述實施例中該基於視頻的課程指數檢測告警方法的步驟。在一些可能的實施方式中，本發明的各個方面還可以實現爲一種程式産品的形式，其包括程式代碼，當該程式産品在一終端設備上運行時，該程式代碼用於使該終端設備執行本發明前述基於視頻的課程指數檢測告警方法部分中描述的根據本發明各種示例性實施方式的步驟。
參考圖5所示，描述根據本發明的實施方式的用於實現上述方法的程式産品700，其可以採用便攜式緊凑盤唯讀儲存器(CD-ROM)並包括程式代碼，並可以在終端設備，例如個人電腦上運行。然而，本發明的程式産品不限於此，在本文件中，該存儲介質可以是任何包含或儲存程式的有形介質，該程式可以被指令執行系統、裝置或者器件使用或者與其結合使用。
該程式産品可以採用一個或多個可讀的存儲介質的任意組合。存儲介質可以是可讀信號介質或者可讀存儲介質。可讀存儲介質例如可以爲但不限於電、磁、光、電磁、紅外綫、或半導體的系統、裝置或器件，或者任意以上的組合。可讀存儲介質的更具體的例子（非窮舉的列表）包括：具有一個或多個導綫的電連接、便攜式盤(Portable disk)、硬碟、隨機存取儲存器（RAM）、唯讀儲存器（ROM）、可抹除式可編程唯讀儲存器（EPROM或閃存）、光纖、便攜式緊凑盤唯讀儲存器(CD-ROM)、光儲存器件、磁儲存器件、或者上述的任意合適的組合。
計算機可讀的該存儲介質可以包括在基帶中或者作爲載波一部分傳播的資料信號，其中承載可讀程式代碼。這種傳播的資料信號可以採用多種形式，包括但不限於電磁信號、光信號或上述的任意合適的組合。該存儲介質還可以是可讀存儲介質以外的任何存儲介質，該存儲介質可以發送、傳播或者傳輸用於由指令執行系統、裝置或者器件使用或者與其結合使用的程式。該存儲介質上包含的程式代碼可以用任何適當的介質傳輸，包括但不限於無線、有線、光纜、RF等等，或者上述的任意合適的組合。
可以以一種或多種程式設計語言的任意組合來編寫用於執行本發明操作的程式代碼，該程式設計語言包括面向對象的程式設計語言—諸如Java、C++等，還包括常規的過程式程式設計語言—諸如“C”語言或類似的程式設計語言。程式代碼可以完全地在用戶計算設備上執行、部分地在用戶設備上執行、作爲一個獨立的軟體包執行、部分在用戶計算設備上部分在遠程計算設備上執行、或者完全在遠程計算設備或服務器上執行。在涉及遠程計算設備的情形中，遠程計算設備可以藉由任意種類的網路，包括局域網（LAN）或廣域網（WAN），連接到用戶計算設備，或者，可以連接到外部計算設備（例如利用乙太網服務提供商來藉由乙太網連接）。
在本發明的示例性實施例中，還提供一種電子設備，該電子設備可以包括一處理器，以及用於存儲該處理器的一可執行指令的一儲存器。其中，該處理器配置爲經由執行該可執行指令來執行上述實施例中該基於視頻的課程指數檢測告警方法的步驟。
所屬技術領域的技術人員能够理解，本發明的各個方面可以實現爲系統、方法或程式産品。因此，本發明的各個方面可以具體實現爲以下形式，即：完全的硬體實施方式、完全的軟體實施方式（包括韌體(Firmware)、微代碼等），或硬體和軟體方面結合的實施方式，這裏可以統稱爲“電路”、“模組”或“系統”。
下面參照圖6來描述根據本發明的這種實施方式的電子設備500。圖6顯示的電子設備500僅僅是一個示例，不應對本發明實施例的功能和使用範圍帶來任何限制。
如圖6所示，該電子設備500以通用計算設備的形式表現。該電子設備500的組件可以包括但不限於：至少一個處理單元510、至少一個儲存單元520、連接不同系統組件（包括儲存單元520和處理單元510）的一總線(即匯流排(Bus))530、一顯示單元540等。
其中，該儲存單元530儲存有一程式代碼，該程式代碼可以被該處理單元510執行，使得該處理單元510執行本發明前述基於視頻的課程指數檢測告警方法部分中描述的根據本發明各種示例性實施方式的步驟。例如，該處理單元510可以執行如圖1所示的步驟。
該儲存單元520可以包括揮發性儲存單元形式的可讀的存儲介質，例如隨機存取儲存單元（RAM）5201和/或高速緩存儲存單元5202，還可以進一步包括唯讀儲存單元（ROM）5203。
該儲存單元520還可以包括具有一組（至少一個）程式模組5205的程式/實用工具5204，這樣的程式模組5205包括但不限於：操作系統、一個或者多個應用程式、其它程式模組以及程式資料，這些示例中的每一個或某種組合中可能包括網路環境的實現。
該總線530可以爲表示幾類總線結構中的一種或多種，包括儲存單元總線或者儲存單元控制器、外圍總線、圖形加速端口、處理單元或者使用多種總線結構中的任意總線結構的局域總線。
該電子設備500也可以與一個或多個外部設備600（例如鍵盤、指向設備、藍牙設備等）通訊，還可與一個或者多個使得用戶能與該電子設備500交互的設備通訊，和/或與使得該電子設備500能與一個或多個其它計算設備進行通訊的任何設備（例如路由器、調制解調器等等）通訊。這種通訊可以藉由一I/O（輸入/輸出）接口550進行。並且，該電子設備500還可以藉由一網路適配器560與一個或者多個網路（例如局域網（LAN），廣域網（WAN）和/或公共網路，例如因特網）通訊。該網路適配器560可以藉由該總線530與該電子設備500的其它模組通訊。應當明白，儘管圖中未示出，可以結合該電子設備500使用其它硬體和/或軟體模組，包括但不限於：微代碼、設備驅動器、冗餘處理單元、外部磁盤驅動陣列、RAID系統、磁帶驅動器以及資料備份儲存系統等。
藉由以上的實施方式的描述，本領域的技術人員易於理解，這裏描述的示例實施方式可以藉由軟體實現，也可以藉由軟體結合必要的硬體的方式來實現。因此，根據本發明實施方式的技術方案可以以軟體産品的形式體現出來，該軟體産品可以存儲在一個非揮發性存儲介質（可以是CD-ROM，U盤，移動硬盤等）中或網路上，包括若干指令以使得一台計算設備（可以是個人計算機、服務器、或者網路設備等）執行根據本發明實施方式的上述基於視頻的課程指數檢測告警方法。
惟以上該者，僅為本發明的實施例而已，當不能以此限定本發明實施的範圍，凡是依本發明申請專利範圍及專利說明書內容所作的簡單的等效變化與修飾，皆仍屬本發明專利涵蓋的範圍內。
200:老師指標監控面板 201:老師列表 202~203:區域 210:學生指標監控面板 211:學生列表 212~214:區域 400:告警裝置 410:建立模組 420:第一獲取模組 430:第一識別模組 440:第一計算模組 450:第二獲取模組 460:第二識別模組 470:第二計算模組 480:告警模組 500:電子設備 510:處理單元 520:儲存單元 5201:RAM 5202:高速緩存 5203:ROM 5204:程式/實用工具 5205:程式模組 530:總線 540:顯示單元 550:I/O接口 560:網路適配器 600:外部設備 700:程式産品 S110~S180:步驟
本發明的其他的特徵及功效，將於參照圖式的實施方式中清楚地呈現，其中： 圖1是一流程圖，說明本發明基於視頻的課程指數檢測告警方法的一實施例； 圖2是一示意圖，說明該實施例的一第二類帳號的多個第二課程指標； 圖3是一示意圖，說明該實施例的一第一類帳號的多個一第一課程指標； 圖4是一方塊圖，說明該實施例的基於視頻的課程指數檢測告警裝置； 圖5是一示意圖，說明該實施例的一種計算機可讀存儲介質；及 圖6是一方塊圖，說明該實施例的一種電子設備。
S110~S180:步驟

Claims (15)

  1. 一種基於視頻的課程指數檢測告警方法，適用於一告警裝置，並藉由該告警裝置實施，該告警方法包含： 按至少一第一類帳號及一第二類帳號建立一虛擬互動空間，該虛擬互動空間至少向該至少一第一類帳號提供該第二類帳號的一多媒體資料； 實時獲取自該至少一第一類帳號採集的一第一視頻資料； 對該第一視頻資料按一第一預定周期進行人臉識別，以獲取該第一視頻資料的一第一臉部特徵參數及該第一臉部特徵參數對應的該第一視頻資料的一採集時間； 根據獲得的同一個該第一類帳號的該第一臉部特徵參數及該第一臉部特徵參數對應的該第一視頻資料的該採集時間計算該第一類帳號的至少一第一課程指標； 實時獲取自該第二類帳號採集的一第二視頻資料； 對該第二視頻資料按一第二預定周期進行人臉識別，以獲取第二視頻資料的一第二臉部特徵參數及該第二臉部特徵參數對應的該第二視頻資料的一採集時間； 根據獲得的該第二類帳號的該第二臉部特徵參數及該第二臉部特徵參數對應的該第二視頻資料的該採集時間計算該第二類帳號的至少一第二課程指標；及 根據該至少一第一課程指標和/或該至少一第二課程指標與一預定課程指標閥值的比較以向該虛擬互動空間內的該至少一第一類帳號和/或該第二類帳號進行告警。
  2. 如請求項1所述的基於視頻的課程指數檢測告警方法，其中，該至少一第一課程指標根據如下步驟計算： 根據該第一臉部特徵參數確定至少一第一觸發事件； 確定該各個該第一觸發事件的一所佔時間比例； 對各個該第一觸發事件，計算該第一觸發事件的該所佔時間比例與該第一觸發事件的一權重之積作爲該第一觸發事件的一事件指標； 計算各個該第一觸發事件的該事件指標之和，作爲各個該第一課程指標， 其中，該第二課程指標與該第一課程指標按相同的方式，根據至少一第二觸發事件、各個該第二觸發事件的一所佔時間比例、各個該第二觸發事件的一權重來計算。
  3. 如請求項2所述的基於視頻的課程指數檢測告警方法，其中，該至少一第一觸發事件及該至少一第二觸發事件包括：頭不在視頻裏、閉眼、打哈欠、頭部在視頻正中間、歪頭、皺眉、微笑、黑屏、眼神看向一視頻採集裝置、嘴巴閉合、眼睛眯著中的一項或多項。
  4. 如請求項3所述的基於視頻的課程指數檢測告警方法，其中，該至少一第一課程指標至少包括一第一注意力指標，該第一注意力指標根據如下方式計算： P11 *A11 +P12 * A12 +（1- P13 ）* A13 ， 其中，P11 爲該第一視頻資料中頭在視頻正中間的該第一觸發事件的該所佔時間比例，P12 爲該第一視頻資料中眼神看向該視頻採集裝置的該第一觸發事件的該所佔時間比例，P13 爲該第一視頻資料中閉眼的該第一觸發事件的該所佔時間比例，A11 、A12 、A13 分別爲該第一觸發事件的該權重，A11 、A12 、A13 爲大於0小於1的實數，且A11 、A12 、A13 之和爲1， 其中，該至少一第二課程指標至少包括一第二注意力指標，該第二注意力指標與該第一注意力指標按對應的該至少一第二觸發事件以相同的方式計算。
  5. 如請求項3所述的基於視頻的課程指數檢測告警方法，其中，該至少一第一課程指標至少包括一第一參與度指標，該第一參與度指標根據如下方式計算： （1-P14 ）*A14 +（1- P13 ）* A13 ， 其中，P14 爲該第一視頻資料中嘴巴閉合的該第一觸發事件的該所佔時間比例，P13 爲該第一視頻資料中閉眼的該第一觸發事件的該所佔時間比例，A14 、A13 分別爲該第一觸發事件的該權重，A14 、A13 爲大於0小於1的實數，且A14 、A13 之和爲1， 其中，該至少一第二課程指標至少包括一第二參與度指標，該第二參與度指標與該第一參與度指標按對應的該至少一第二觸發事件以相同的方式計算。
  6. 如請求項3所述的基於視頻的課程指數檢測告警方法，其中，該至少一第一課程指標至少包括一第一熱情度指標，該第一熱情度指標根據如下方式計算： P15 *A15 +（1- P16 ）* A16 +（1- P13 ）* A13 ， 其中，P15 爲該第一視頻資料中微笑的該第一觸發事件的該所佔時間比例，P16 爲該第一視頻資料中打哈欠的該第一觸發事件的該所佔時間比例，P13 爲該第一視頻資料中閉眼的該第一觸發事件的該所佔時間比例，A15 、A16 、A13 分別爲該第一觸發事件的該權重，A15 、A16 、A13 爲大於0小於1的實數，且A15 、A16 、A13 之和爲1， 其中，該至少一第二課程指標至少包括一第二熱情度指標，該第二熱情度指標與該第一熱情度指標按對應的該至少一第二觸發事件以相同的方式計算。
  7. 如請求項3所述的基於視頻的課程指數檢測告警方法，其中，該至少一第一課程指標至少包括一第一困惑度指標，該第一困惑度指標根據如下方式計算： P17 *A17 +P18 * A18 + P19 * A19 ， 其中，P17 爲第一視頻資料中歪頭的該第一觸發事件的該所佔時間比例，P18 爲該第一視頻資料中皺眉的該第一觸發事件的該所佔時間比例，P19 爲該第一視頻資料中眼睛眯著的該第一觸發事件的該所佔時間比例，A17 、A18 、A19 分別爲該第一觸發事件的該權重，A17 、A18 、A19 爲大於0小於1的實數，且A17 、A18 、A19 之和爲1。
  8. 如請求項3所述的基於視頻的課程指數檢測告警方法，其中，該至少一第二課程指標至少包括一第二交互度指標，該第二交互度指標根據如下方式計算： P22 * A22 +（1-P24 ）*A24 ， 其中，P22 爲該第二視頻資料中眼神看向該視頻採集裝置的該第二觸發事件的該所佔時間比例，P24 爲該第二視頻資料中嘴巴閉合的該第二觸發事件的該所佔時間比例，A22 、A24 分別爲該第二觸發事件的該權重，A22 、A24 爲大於0小於1的實數，且A22 、A24 之和爲1。
  9. 如請求項3所述的基於視頻的課程指數檢測告警方法，其中，該至少一第二課程指標至少包括一第二出席度指標，該第二出席度指標根據如下方式計算： P210 *A210 +（1- P211 ）* A211 ， 其中，P210 爲該第二視頻資料中頭在視頻裏的該第二觸發事件的該所佔時間比例，P211 爲該第二視頻資料中黑屏的該第二觸發事件的該所佔時間比例，A210 、A211 分別爲該第二觸發事件的該權重，A210 、A211 爲大於0小於1的實數，且A210 、A211 之和爲1。
  10. 如請求項3所述的基於視頻的課程指數檢測告警方法，其中，該至少一第二課程指標至少包括一第二姿態指標，該第二姿態指標根據如下方式計算： P22 *A22 +（1- P27 ）* A27 ， 其中，P22 爲該第二視頻資料中眼神看向該視頻採集裝置的該第二觸發事件的該所佔時間比例，P27 爲該第二視頻資料中歪頭的該第二觸發事件的該所佔時間比例，A22 、A27 分別爲該第二觸發事件的該權重，A22 、A27 爲大於0小於1的實數，且A22 、A27 之和爲1。
  11. 如請求項2至10中任一項所述的基於視頻的課程指數檢測告警方法，其中，同一個該第一觸發事件或同一個該第二觸發事件在計算不同的各個課程指標時，該第一觸發事件或該第二觸發事件的該權重不同。
  12. 如請求項2至10中任一項所述的基於視頻的課程指數檢測告警方法，其中，各個該第一觸發事件及各個該第二觸發事件的該所佔時間比例基於一預定時間段計算。
  13. 一種基於視頻的課程指數檢測告警裝置，包含： 一建立模組，用於按至少一第一類帳號及一第二類帳號建立一虛擬互動空間，該虛擬互動空間至少向該至少一第一類帳號提供該第二類帳號的一多媒體資料； 一第一獲取模組，用於實時獲取自該至少一第一類帳號採集的一第一視頻資料； 一第一識別模組，用於對該第一視頻資料按一第一預定周期進行人臉識別，以獲取該第一視頻資料的一第一臉部特徵參數及該第一臉部特徵參數對應的該第一視頻資料的一採集時間； 一第一計算模組，用於根據獲得的同一個該第一類帳號的該第一臉部特徵參數及該第一臉部特徵參數對應的該第一視頻資料的該採集時間計算該第一類帳號的至少一第一課程指標； 一第二獲取模組，用於實時獲取自該第二類帳號採集的一第二視頻資料； 一第二識別模組，用於對該第二視頻資料按一第二預定周期進行人臉識別，以獲取該第二視頻資料的一第二臉部特徵參數及該第二臉部特徵參數對應的該第二視頻資料的一採集時間； 一第二計算模組，用於根據獲得的該第二類帳號的該第二臉部特徵參數及該第二臉部特徵參數對應的該第二視頻資料的該採集時間計算該第二類帳號的至少一第二課程指標；及 一告警模組，用於根據該至少一第一課程指標和/或該至少一第二課程指標與一預定課程指標閥值的比較以向該虛擬互動空間內的該至少一第一類帳號和/或該第二類帳號進行告警。
  14. 一種電子設備，包含： 一處理器； 一儲存器，電連接該處理器，並儲存一計算機程式，該計算機程式被該處理器運行時執行如請求項1至12中任一項所述的步驟。
  15. 一種存儲介質，儲存一計算機程式，該計算機程式被一處理器運行時執行如請求項1至12中任一項所述的步驟。
TW108131390A 2019-05-09 2019-08-30 課程指數檢測告警方法、裝置、電子設備、及存儲介質 TWI709915B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910386628.2A CN110276246A (zh) 2019-05-09 2019-05-09 课程指数检测告警方法、装置、电子设备、存储介质
CN201910386628.2 2019-05-09

Publications (2)

Publication Number Publication Date
TWI709915B TWI709915B (zh) 2020-11-11
TW202042104A true TW202042104A (zh) 2020-11-16

Family

ID=67959140

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108131390A TWI709915B (zh) 2019-05-09 2019-08-30 課程指數檢測告警方法、裝置、電子設備、及存儲介質

Country Status (2)

Country Link
CN (1) CN110276246A (zh)
TW (1) TWI709915B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476121A (zh) * 2020-03-26 2020-07-31 威比网络科技(上海)有限公司 在线教育的智能教学监督方法、系统、设备及存储介质
CN113609931A (zh) * 2021-07-20 2021-11-05 上海德衡数据科技有限公司 基于神经网络的人脸识别方法及系统

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6927694B1 (en) * 2001-08-20 2005-08-09 Research Foundation Of The University Of Central Florida Algorithm for monitoring head/eye motion for driver alertness with one camera
CN101604382A (zh) * 2009-06-26 2009-12-16 华中师范大学 一种基于面部表情识别的学习疲劳识别干预方法
CN102663347B (zh) * 2012-03-21 2015-12-16 陕西师范大学 学生学习行为采集与分析系统及其方法
CN104935884A (zh) * 2015-06-05 2015-09-23 重庆智韬信息技术中心 一种学生上课秩序智能监控的方法
CN106203635A (zh) * 2016-06-29 2016-12-07 北京师范大学 一种在线学习行为投入数据采集与分析系统及方法
CN106097206B (zh) * 2016-06-30 2018-05-29 深圳市采集科技有限公司 一种教师教学反思功能的实现方法及系统
CN106228293A (zh) * 2016-07-18 2016-12-14 重庆中科云丛科技有限公司 教学评估方法及系统
CN106599881A (zh) * 2016-12-30 2017-04-26 首都师范大学 学生状态的确定方法、装置及系统
TWM546564U (zh) * 2017-02-21 2017-08-01 Ba Fei Qing Co Ltd 課程互動交易信息的處理平台系統
CN106851216B (zh) * 2017-03-10 2019-05-28 山东师范大学 一种基于人脸和语音识别的课堂行为监控系统及方法
CN106952200A (zh) * 2017-03-28 2017-07-14 安徽味唯网络科技有限公司 一种互联网教学监管学员的方法
CN107103802A (zh) * 2017-04-28 2017-08-29 南京网博计算机软件系统有限公司 基于在线教育的实时人眼甄别系统和方法
CN107133611B (zh) * 2017-06-06 2020-07-31 南京信息工程大学 一种课堂学生点头率识别与统计方法及装置
TWM555543U (zh) * 2017-07-25 2018-02-11 Chin Wen David Lam 網路教學系統
US10776610B2 (en) * 2017-09-15 2020-09-15 Ruth Ellen Cashion LLC System for monitoring facial presentation of users
CN107844762A (zh) * 2017-10-25 2018-03-27 大连三增上学教育科技有限公司 信息处理方法及系统
CN108399376B (zh) * 2018-02-07 2020-11-06 华中师范大学 学生课堂学习兴趣智能分析方法及系统
CN108492648A (zh) * 2018-03-16 2018-09-04 何戴娆 一种远程在线教学学生状态确定方法及系统
CN109272164B (zh) * 2018-09-29 2021-09-28 清华大学深圳研究生院 学习行为动态预测方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN110276246A (zh) 2019-09-24
TWI709915B (zh) 2020-11-11

Similar Documents

Publication Publication Date Title
CN111383347B (zh) 基于三维仿真的急救模拟方法、系统、服务器及存储介质
JP2009258175A (ja) 講義システムおよび集計システム
CN107103802A (zh) 基于在线教育的实时人眼甄别系统和方法
JP4631014B2 (ja) 電子教材学習支援装置と電子教材学習支援システム及び電子教材学習支援方法並びに電子学習支援プログラム
Ahuja et al. Classroom digital twins with instrumentation-free gaze tracking
JP7160440B2 (ja) 教室の物理的リソースを最適化するためのコンピュータ実装方法、コンピュータ・プログラム及びシステム
CN109086693B (zh) 一种在线教学学习注意力的检测技术
TWI709915B (zh) 課程指數檢測告警方法、裝置、電子設備、及存儲介質
TW202042172A (zh) 智慧教學顧問生成方法、系統、設備及儲存介質
CN115205764B (zh) 基于机器视觉的在线学习专注度监测方法、系统及介质
CN114693488A (zh) 一种基于5g网络的智慧校园管理方法及系统
CN111626628A (zh) 一种用于课外辅导的网络教学系统
US20180176156A1 (en) Systems and methods for automatic multi-recipient electronic notification
CN114581827A (zh) 一种异常行为预警系统、方法、设备及介质
CN110334620A (zh) 教学质量的评估方法、装置、存储介质及电子设备
KR20160082078A (ko) 교육 서비스 시스템
CN114267213A (zh) 实训的实时演示方法、装置、设备及存储介质
CN111199378B (zh) 学员管理方法、装置、电子设备及存储介质
Byrne et al. Leveraging eye tracking in digital classrooms: A step towards multimodal model for learning assistance
Satre et al. Online Exam Proctoring System Based on Artificial Intelligence
WO2023079370A1 (en) System and method for enhancing quality of a teaching-learning experience
Kasinathan et al. ProctorEx: An Automated Online Exam Proctoring System
Ahmad et al. Towards a low-cost teacher orchestration using ubiquitous computing devices for detecting student’s engagement
CN112528790A (zh) 基于行为识别的教学管理方法、装置及服务器
Patil et al. Attentiveness monitoring and user record maintenance in virtual classrooms