TW201830354A - 採用面部追蹤和情緒檢測的互動式自我調整培訓學習管理系統和相關方法 - Google Patents

採用面部追蹤和情緒檢測的互動式自我調整培訓學習管理系統和相關方法 Download PDF

Info

Publication number
TW201830354A
TW201830354A TW106124038A TW106124038A TW201830354A TW 201830354 A TW201830354 A TW 201830354A TW 106124038 A TW106124038 A TW 106124038A TW 106124038 A TW106124038 A TW 106124038A TW 201830354 A TW201830354 A TW 201830354A
Authority
TW
Taiwan
Prior art keywords
student
data
task
subject
knowledge
Prior art date
Application number
TW106124038A
Other languages
English (en)
Inventor
約翰 馬提斯 多斯馬
苑莉 林
Original Assignee
香港商富成人工智能有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 香港商富成人工智能有限公司 filed Critical 香港商富成人工智能有限公司
Publication of TW201830354A publication Critical patent/TW201830354A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168—Evaluating attention deficit, hyperactivity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • G09B5/10—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations all student stations being capable of presenting the same information simultaneously
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
    • G09B7/04—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student characterised by modifying the teaching programme in response to a wrong answer, e.g. repeating the question, supplying a further explanation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/26—Recognition of special voice characteristics, e.g. for use in lie detectors; Recognition of animal voices
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/06—Children, e.g. for attention deficit diagnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/60—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for measuring the quality of voice signals

Abstract

本發明係關於一種用於傳送和管理學習培訓計畫的系統，包括：光感測器，用於擷取主體在學習階段的面部表情、眼球運動、注視點和頭部姿勢；專業知識資料存儲庫，包括概念資料體和任務資料體，每個概念資料體具有知識和技能內容項，每個任務資料體具有講課內容資料項；學生模組，被配置為利用收集自所述光感測器的感測資料來評估所述學生主體的情緒狀態和認知狀態；和培訓師模組，其被配置為在學習階段的每個任務資料體完成後，選擇後續的任務資料體，並從所述電子資料庫中檢索用於傳送和呈現給所述學生主體的任務資料體的講課內容資料項；其中所述學生主體的理解率是通過所述學生主體的情緒狀態和認知狀態的評估輸入資料來計算。

Description

採用面部追蹤和情緒檢測的互動式自我調整培訓學習管理系統和相關方法
本發明係關於一種用於提供和傳送教育課程和培訓的方法和系統，包括公司培訓、學術輔導、課內和課外學習。特別地，本發明涉及通過使用情緒檢測和分析來定制測試和評估學習進度。
在當前的教育體系中，特別是在東南亞，學校的壓力越來越大。在以結果為導向的社會中，學生需要達到高分才有機會進入有名望的學術機構，取得高等學位。學校系統持續的嚴重依賴於課堂教學和書面考試。因此，對個性化學習的支持非常有限。此外，每個學生的知識只能在每年舉行的幾次考試時進行評估。
這些不足導致輔導中心的興起，教師/導師和學生之間有更多的個人關注和對話。任何對學習路徑的偏離或知識差距都可以直接得到補救。然而，在輔導行業，優質教師/輔導老師供不應求，教師/輔導老師的培訓往往是非正式和隨意的。費用壓力進一步增加了教師/輔導老師們承擔越來越多相關行政工作的壓力，如課程教材的準備，班級安排等後勤工作，減少了有效的教學時間。
過去幾十年來，人們越來越多地關注心理障礙的診斷和理解，例如自閉症譜系和注意力不足過動症（ADHD）。父母對教育工作者發現學生的這些疾病的能力抱有很高的期望，但是診斷這些疾病是困難的，需要相關專業人士的專業判斷。
為了解決上述問題，就迫切需要具有對學生的情感和認知狀態進行建模的智慧學習和培訓系統，以説明教師/培訓師提供個性化教學、監測學生的心理健康並最簡化行政任務以便讓教師/培訓師專注於教學/培訓。
本發明係提供一種用於使用感測學生主體的手勢、情緒和動作以及測試結果和學習進度的定量測量的組合來提供和管理互動式和適應性學習培訓計畫的方法和系統。提供適用於工作場合績效監測和鑑定評估的這種方法和系統也是本發明的一個目的。
根據本發明的一個方面，系統通過圖像和/或影片擷取和分析主體的面部表情、眼睛運動、注視點和頭部姿勢；以及生理檢測，例如施加在觸覺感測裝置上的觸覺壓力、主體的筆跡和在採樣時間視窗中的聲調，來估計主體的情緒狀態和認知狀態。圖像或影片擷取可以通過目標使用的桌上型電腦、筆記型電腦、平板電腦和/或智慧型手機中內置或外掛的攝影機和/或其它光學感測裝置來執行。然後使用機器視覺技術分析所擷取的圖像和/或影片。例如，停滯的眼睛運動、注視點散焦和傾斜的頭部姿勢是表示對測試題目中呈現的主體缺乏興趣和注意力的信號；而檢測到強烈的觸覺壓力則是表示對在學習或培訓階段中呈現的主體產生焦慮、缺乏信心和/或沮喪的信號。
根據本發明的一個實施例，在確定主體對學習資料的理解的同時，也收集來自主體的選定的表現資料和行為資料。這些選定的表現資料和行為資料包括但不限於答案的正確性、成功和不成功的嘗試次數、給定答案選擇之間的切換次數和對特定類型、主題和/或難度的測試問題的答題速度水準以及解題步驟。例如，主體在回答測試問題時，在給定選擇之間的過度切換和答題速度緩慢顯示了對測試問題的回答的懷疑和猶豫。該主體針對測試問題的答題步驟被擷取以與標準解題步驟相匹配，從而提供關於主體對資料的理解的洞察。
情緒狀態和認知狀態評估和表現資料主要用於衡量主體對學習或培訓計畫中涵蓋的資料的理解和興趣。使用單一評估可以提供該主體在學習或培訓計畫中進展情況的快照評估，以及主體對資料的測試結果的預測，同時使用複合評估來提供該主體的學習或培訓計畫的進度和該主體的特徵的歷史和趨勢的評估。此外，對該主體的情緒狀態和認知狀態的評估還用於在題材選擇、傳送方式和管理方面中的學習或培訓計畫的建模。
根據本發明的另一方面，用於傳送和管理互動式和適應性學習培訓計畫的方法和系統在作為專業知識的學習培訓計畫中邏輯地構建講課教材和傳授機制資料，並且其資料存儲在專業知識庫中。專業知識庫包括一個以上概念目標和一個以上任務目標。每個概念目標包括一個以上知識和技能項目。知識和技能項目按難度排序，兩個或多個知識和技能專案可以連結形成課程安排。在將本發明應用於學校的情況下，本發明所定義的課程安排等同於學校課程安排，而知識與技能專案與學校課程安排中的課程之間存在一對一的關係。可以將概念目標連結以形成用於任務選擇過程的邏輯樹資料結構。
每個任務目標包括各種講課內容資料，並且與課程安排中的一個以上概念目標相關聯。根據一個實施例，任務目標可以被分類為：基本任務、互動任務或具有基礎認知或專家模型的任務。每個基本任務包括一個以上講課筆記、插圖、旨在評估主體是否閱讀了所有材料的測試問題和答案以及帶有嵌入式測試問題和答案的教學影片。每個互動任務包括一個以上解題練習，每個解題練習包括設計為指導主體導出問題的解題方案的一個以上步驟。每一步都提供了一個答案、常見的誤解和提示。這些步驟是按照講課的傳送流程來設計的順序排序。具有基礎認知或專家模型的每個任務包括一個以上解題練習，並且每個任務包括一個以上啟發式規則和/或約束，用於模擬與學生主體的學習進度同步地提供的解題練習步驟。這允許基於解題練習中呈現的問題集或空間中的點，為每個學生主體提供定制支架式教學（例如提供指導和/或提示）。
根據本發明的另一方面，用於傳送和管理互動式和適應性學習培訓計畫的方法和系統邏輯地建立在專業知識之上的兩種操作模型：學生模型和培訓模型。在學生模型下，系統執行在學生主體的學習階段中的專業知識中的課程安排相關聯的一個以上任務目標中的每一個。在執行任務目標期間，系統測量學生主體的表現並獲取每個任務中的學生主體的表現指標，例如：任務中的問題的成功和不成功的嘗試次數，所請求的提示數以及完成任務所花費的時間。獲得的表現指標以及任務目標的資訊（如其難度級別）被饋送到與任務目標相關聯的每個概念目標的邏輯回歸數學模型中。這也被稱為學生主體的知識跟蹤。知識跟蹤是計算學生主體對概念目標中的資料的理解的概率。學生模型的優點包括任務目標的執行可以適應學生主體的變化的能力。在一個非限制性的例子中，按照學生模型，系統可以評估學生的學習進度的數量，進而評估下一個任務的預期學習增益，並為即將到來的測試提供學生主體的表現預測。然後將這些資料用於培訓模型，並進行假設性的檢驗以進一步改進系統，評估教師/培訓師的品質和講課教材的品質。
在培訓模型下，系統接收在學生模型下執行的任務目標搜集的資料和專業知識用於為學習或培訓策略做出決策，並向學生主體或教師/培訓師提供回饋。在培訓模型下，系統主要負責執行以下工作：
第1項為定義第一個任務的切入點。最初，知識和技能項目的所有指標都設置為預設值，這是從學生主體或教師/培訓師填寫的申請表中的資料或由教師/培訓師對學生主體進行初步評估推斷出來的。選擇要執行的任務的順序。要選擇下一個任務，系統的培訓師模組必須搜索概念目標的邏輯樹資料結構，找到具有最低技能水準的知識和技能，然後使用問題矩陣505來查找與學生主體的學習特徵相匹配的相應任務項。一旦被選中，必要的講課內容資料就從專業知識中提取出來，並發送到系統的通信模組，以便在系統的通信模組使用者介面中進行傳送。
第2項為提供回饋。當學生正在從事執行中的任務目標時，系統的培訓師模組將監視每個任務步驟花費的時間。當超過限制時，根據學生主體的當前情緒狀態提供回饋。例如，這可以是從通用列表中選擇的令人鼓舞的、同情的或挑戰性的訊息，或者是來自專業知識的專用提示。
第3項為驅動系統的教學助理。該系統的培訓師模組將目前學生主體的情緒狀態與教學助理中的可用狀態相匹配。除了提供情緒狀態資訊之外，文字訊息可以被發送到系統的通信模組，以在向學生顯示的使用者介面中與教學助理一同呈現。
第4項為決定概念何時被掌握。如前所述，在學生模型下，系統評估學生對每個概念中資料的理解概率。基於預定閾值（例如95％），教師/培訓師可以判定概念何時被掌握。
第5項為標記學生被認為與精神障礙有關的行為。例如，系統在學生模型下的運作顯示與已知的歷史背景相比檢測資料中存在異常情況並且顯示出較慢的學習進度時，培訓模型下的系統會向教師/培訓師發出警告通知。它還提供了關於常見的疾病標誌的詳細資訊，例如注意力不足過動症（ADHD）和自閉症譜系障礙（ASD）。
在下面的描述中，將用於傳送和管理學習培訓計畫等的方法和系統作為較佳的實施例進行了闡述。對於本領域技術人員顯而易見的是，在不脫離本發明的範圍和精神的前提下，可以進行修改，包括添加和/或替換。可以省略具體細節，以免使本發明模糊不清；然而，本公開是為了使本領域技術人員能夠在不進行過多實驗的情況下實施本文的內容。
根據本發明的各種實施例，用於傳送和管理互動式和適應性學習培訓計畫的方法和系統使用了對學生主體的手勢、情緒和動作的感測的組合以及測試結果和學習進度的定量測量。
根據本發明的一個方面，系統通過圖像和/或影片擷取和分析主體的面部表情、眼睛運動、注視點和頭部姿勢來評估主體的情緒狀態和認知狀態以及觸覺回饋，例如在採樣時間視窗期間施加在觸覺感測裝置上的觸覺壓力。圖像或影片擷取可以通過主體使用的桌上型電腦、筆記型電腦、平板電腦和/或智慧型手機中的內建或外掛攝影機和/或其它光學感測裝置來執行。然後使用機器視覺技術分析擷取的圖像和/或影片。例如，停滯的眼睛運動，注視點失焦和傾斜的頭部姿勢是表示對在學習或培訓中所呈現的學習教材缺乏興趣和注意力的信號；而檢測到的強烈的觸覺是表示對測試題目中被問及的問題感到焦慮、缺乏信心和/或沮喪的信號。
根據一個實施例，來自主體的所選定的表現資料和行為資料也被收集在情緒狀態和認知狀態評估中。這些所選定的表現資料和行為資料包括但不限於答案的正確性、成功和不成功的嘗試次數、在給定答案選擇之間的切換以及某些類型，主題和/或難度級別的測試問題的答題速度、答題步驟、以及主體的筆跡和語調。例如，主體在回答測試問題時反覆在給定的選擇之間切換和緩慢的答題速度表明對測試問題的答案有懷疑和猶豫。該主體針對測試問題的答題步驟被擷取以便與標準答題方案進行匹配，從而提供主體對講課資料的理解的洞察。
根據各種實施例，用於傳送和管理互動式和適應性學習培訓計畫的系統包括通過在一般和特別設計的電腦處理器中執行的軟體和韌體的組合來實現的感測器處理模組。感測器處理模組管理系統採用的各種感測器。感測器處理模組與各種電子感測裝置進行電和/或資料通信，包括但不限於光學和觸碰感測裝置；輸入裝置，包括但不限於鍵盤、滑鼠、指點設備、觸控筆和電子筆；圖像擷取裝置和相機。
在系統運作期間，以各種取樣速率連續地收集輸入感測資料，並且計算輸入感測資料的樣本的平均值。為了處理不同感測裝置的不同取樣速率，選擇參考速率（例如5Hz）。較慢的取樣速率輸入感測資料用零級保持內插，然後以參考速率進行採樣。較高的取樣速率輸入感測資料以參考速率進行二次採樣。取樣速率對齊後，將最後幾秒的追蹤保留在記憶體中，之後計算平均值。這樣可以有效地產生輸入感測資料的移動平均值，並且作為低通濾波器以去除雜訊。
眼球運動，注視點，和頭部姿勢檢測：在一個實施例中，使用內建在電腦設備（例如平板電腦中的主體面向攝影鏡頭）中的低成本光感測器。以最小5Hz的速率，從感測器獲得圖像。然後通過本領域已知的面部/眼睛追蹤和分析系統處理每個圖像。以歐拉角（俯仰，偏航和滾轉）測量三維（3D）的頭方位。為了測量目標點，從光感測器的原點到使用者瞳孔的中心假定3D向量，其次，從眼球的中心到瞳孔確定3D向量。然後使用這兩個向量來計算注視點。校準步驟有助於彌補偏移（螢幕背後的主體位置，相對於螢幕的攝影鏡頭位置）。使用該資料，可以匯出電腦螢幕上的目光的平面座標。
面部表情和情緒判定：在另一個實施例中，如上所述擷取的圖像和/或影片被處理以識別臉部上的關鍵地標，例如眼睛、鼻尖、嘴角。然後對這些地標之間的區域進行分析，並分類為：注意力、眉毛、眉毛抬起、臉頰抬高、下巴抬起、凹陷（唇角收緊，向內拉）、閉眼、眼睛變寬、內眉抬起、下顎下垂、蓋緊、唇角凹陷、唇壓、唇膏（向前推）、唇部伸展、嘴唇開口、鼻子皺紋、微笑、假笑、上唇抬起。然後，使用查閱資料表將這些運算式映射到以下情緒：憤怒、蔑視、厭惡、參與（表現力）、恐懼、喜悅、悲傷、驚喜和效價（個人經驗正面與負面的自然狀態）。每個情緒都以百分比編碼，同時輸出。
生理測量：系統可以包括穿戴式裝置，用於測量的生理參數包括但不限於：心率、皮膚導電度（EDA）和皮膚溫度。該設備無線連接到用戶端電腦設備（如平板電腦或筆記型電腦）。心率來自血容量脈搏的監測。皮膚導電度測量皮膚導電率作為交感神經系統興奮的指標。基於此，可以推導出與壓力、參與度和興奮度相關的特徵。另一種方法是使用視覺分析技術直接測量基於拍攝圖像的心率。這種方法是根據由於心率而導致血液量變化的面部靜脈的光吸收的微小變化。
筆跡分析：在另一個實施例中，測試答案可以使用數位筆寫在專用紙上，並接收諸如「步驟完成」之類的指令。書面回答即時通過智慧光學字元辨識引擎進行數位化處理，系統可以評估學生主體所寫的內容，並提供必要的回饋資訊，以便在需要時指導學生。研究顯示，做手寫筆記可以鼓勵學生處理和重塑資訊，改善學習成果。或者，實施例可以在任務完成之後使用光學文字辨識（OCR）軟體。使用影印機掃描紙本，並將數位化圖像饋送到OCR軟體。
教學助理與主體間的互動：作為非限制性示例，教學助理可以是非人類動畫角色，其具有通過在一個以上一般電腦處理器和/或特定配置的電腦處理器中運作的軟體和/或韌體的組合來實現的人類特徵。它可以通過從一組動畫（例如，動畫GIF）中進行選擇來顯示基本情緒，或者通過在使用者介面中對主體顯示的靜態圖像上使用腳本化幾何變換來顯示基本情緒。另一種方法是使用基於SVG的動畫。動畫可以使用短信注釋（例如顯示在動畫旁邊的氣球中）。文字訊息由系統的培訓師模組生成和接收。主體對教學助理的回應由系統收到，用於評估主體的情緒狀態。
情緒狀態和認知狀態評估主要用於衡量主體對學習或培訓計畫中涵蓋的資料的理解和興趣。在使用單一評估來提供學習或培訓計畫中學科進展情況的快照評估，並對資料的科目測試結果進行預測的同時，使用多項評估來提供該主體的學習培訓計畫和特徵的學習進度的評估歷史和趨勢。此外，對該主體的情緒狀態和認知狀態的評估還用於在題材選擇、傳送方式和管理方面中的學習或培訓計畫的建模。
專業知識：參考圖5，根據本發明的一個方面，用於傳送和管理互動式和自我調整學習培訓計畫的方法和系統邏輯地建構教材，和在如專業知識500的學習培訓計畫中的傳送機制。專業知識500包括一個以上概念目標501和一個以上任務目標502。每個概念目標501包括一個或更多的知識與技能專案503。知識與技能專案503通過難度等級排序，以及兩個或多個概念目標501可以分組形成課程安排。在將本發明應用於學校的情況下，本發明所定義的課程安排等同於學校課程安排，而知識與技能專案與學校課程安排中的課程之間存在一對一的關係。概念目標可以被連結以形成邏輯樹資料結構（Knowledge Tree），使得具有在一個主題中是基礎的和/或基本的知識和技能專案的概念目標由靠近邏輯樹根部的節點表示並且具有更進步的以及一些常見的基礎的和/或基本的知識和技能專案的分支的知識和技能專案的概念目標由邏輯樹的不同分支中更高的節點表示。
每個任務目標502具有各種講課內容資料504，並與一個課程安排中的一個以上概念目標501相關聯。該關聯被記錄下來，並且可以在問題矩陣505進行查找。根據一個實施例，任務目標502可被分類為：基本任務、互動式任務或包含潛在的認知或專家模型的任務。每個基本任務包括一個以上講課筆記、插圖（例如視訊短片和其他多媒體內容）、旨在評估主體是否閱讀了所有的學習資料的測試題和答案，以及帶有嵌入式測試題和答案的教學影片。每個互動任務包括一個以上解題練習，每個解題練習包括一個以上步驟，被設計為指導主體導出問題的解決方案。每一步都提供了一個答案、常見的誤解和提示。這些步驟的順序被設計為根據課程的傳授流程排序。具有基礎認知或專家模型的每個任務包括一個以上解題練習，並且每個任務包括一個以上啟發式規則和/或約束，用於模擬與學生主體的學習進程同步地提供的解題的練習步驟。這允許基於解題練習中呈現的問題集或空間中的點，為每個學生主體提供量身訂做的支架式教學（例如提供指導和/或提示）。
根據本發明的各種實施例，任務目標集合了與學習目標的實現相關的一組講課資料（例如講義、插圖、測試問題和答案、問題集和解題的練習）。除了上述分類之外，任務可以是以下類型之一：
第1項：閱讀任務：講課筆記或插圖，介紹一個沒有分級的新話題，必須在進行練習任務之前完成；
第2項：練習任務：從一個主題的一組問題練習到一個新主題的一組問題直到達到一定門檻（例如在沒有提示的前提下連續五次嘗試成功或達到60％或更高的理解水準）；
第3項：熟習挑戰任務：從多個主題中選擇的問題，讓學生主體在一個主題上做到融會貫通（達到95％以上），並可能包括暫停，以促進知識的記憶（例如給學生主體的複習機會）；或者
第4項：群組任務：針對同儕挑戰設計的一系列問題、疑難集和/或解題練習，以促進多個學生主體的更多參與，也許未分級。
根據本發明的一個實施例，專業知識、其組成的任務目標和概念目標、每個概念目標中的知識和技能專案和課程，每個任務目標中的講課筆記、插圖、測試問題和答案、疑難集和解題練習都是存儲於系統可存取的相關資料庫（專業知識庫）中的資料實體。一個以上專業知識庫可以存在系統可存取的協力廠商系統中，用於傳送和管理互動式和適應性的學習培訓計畫。
根據本發明的另一方面，用於傳送和管理互動式和適應性學習培訓計畫的方法和系統在邏輯上建立在專業知識的兩個操作模型之上：學生模型和培訓模型。
學生模型：在學生模型下，系統執行與學生主體的專業知識中的課程相關聯的一個以上任務目標中的每一個。在執行任務目標期間，系統測量學生主體的表現並獲取每個任務中的學生主體的表現指標，例如：任務中的問題的成功和不成功的嘗試次數，所請求的提示次數以及完成任務花費的時間。獲得的表現指標以及任務目標的資訊（如其難度級別）被饋送到與任務目標相關聯的每個概念目標的邏輯回歸數學模型中。這也被稱為學生主體的知識跟蹤。知識跟蹤是計算學生主體對概念目標中的資料的理解的概率。在一個實施例中，理解概率的計算使用學生主體的答題等級/分數對時間的移動平均，其中較舊的嘗試、成功的嘗試次數、失敗的次數、成功率（成功的嘗試除以總嘗試次數）、花費的時間、主題難度和問題難度具有較低的比重。
在一個實施例中，系統使用反覆運算機器學習工作流程來計算學生主體對概念目標中的資料的理解概率，以使數學模型與收集的數據（學生主體的表現指標和任務的資訊）相適應，包括但不限於學生主體的答題成績/分數的時間移動平均值，其中較舊的嘗試、成功的嘗試次數、失敗的嘗試次數、成功率（成功的嘗試次數除以總嘗試次數）、花費的時間、主題難度和問題難度具有較低的比重。圖4描繪了上述反覆運算機器學習工作流程的流程圖。在該示例性實施例中，資料輸入（401），資料經驗證和淨化（402）；然後將驗證和淨化後的資料用來嘗試合用於一個數學模型（403）；所述數學模型在一個循環迴路中被反覆運算演練（404）直到驗證和淨化後的資料合用於數學模型；然後數學模型被部署規劃（405），以獲得學生主體對概念目標的資料的理解概率；合用後的數學模型也被迴送並在所收集的資料的驗證和淨化步驟中使用。
學生主體的知識跟蹤被系統用於驅動任務的講課資料項目（例如問題和疑難集）的選擇，驅動任務目標（主題）的選擇和驅動講課資料的排名。學生模型的優點包括任務目標的執行可以適應學生主體的應變能力。舉一個非限制性的例子而言，按照學生模型，系統可以估算學生所達成的學習進度，評估下一個任務可預期的學習增益，進而為即將到來的測驗提供學生主體的表現預測。然後將這些資料用於培訓模型，並進行假設性測驗以進一步改善系統，評估教師/培訓師品質以及講課資料的品質。
培訓模型：在培訓模型下，系統培訓師模組接收在學生模型和專業知識下執行的任務目標所搜集的資料為學習或培訓策略做出決策，並回饋給學生主體或教師/培訓師。用於傳送和管理互動式和適應性學習培訓計畫的系統包括由一般和特別設計的電腦處理器執行的軟體和韌體的組合來實現一個培訓師模組。在一個實施例中，培訓師模組駐留在一個以上伺服器電腦中。培訓師模組主要負責執行機器指令，該指令對應於在培訓模型下活動的進行。在培訓模型下，培訓師模組執行如下： 1）定義任務執行的切入點。最初，概念知識和技能項目的所有指標都設置為預設值，這是從學生主體或教師/培訓師填寫的申請表或由教師/培訓師對學生主體進行初步評估中所推斷出來的資料。選擇接下來要執行的任務。要選擇下一個任務，系統的培訓師模組必須搜索概念目標的邏輯樹資料結構（知識樹），找到具有最低技能水準的概念知識和技能（最接近知識樹根部的），然後使用問題矩陣505來查找與學生主體的學習特徵相匹配的相應任務目標。一旦被選中，任務目標資料就從專業知識中提取出來，並發送到系統的通信模組用於傳送課程。 2.）提供回饋。當學生主體正在執行中的任務目標上操作時，系統的培訓師模組將監視每個任務步驟花費的時間。當超過時限時，根據學生主體的當前情緒狀態提供回饋。例如，這可以是從通用列表中選擇的令人鼓舞的、同情的或挑戰的消息，或者是來自專業知識的專門提示。 3）驅動系統的教學助理。該系統的培訓師模組將目前學生主體的情緒狀態與教學助理中的可用狀態相匹配。除了提供情緒狀態資訊之外，文字訊息可以被發送到系統的通信模組，以在向學生主體顯示的使用者介面中與教學助理一同呈現。 4）判定概念何時被掌握。如前所述，在學生模型下，系統估計學生對每個概念中資料的理解概率。基於預定閾值（例如95％），教師/培訓師可以判定概念何時被掌握。 5）標記學生主體被認為與精神障礙有關的行為。例如，系統在學生模型下的運行顯示與已知的歷史背景相比檢測資料中存在異常情況並且顯示出較慢的學習進度時，培訓模型下的系統會向教師/培訓師發出警告通知。它還提供了關於常見的疾病標誌的詳細資訊，例如注意力不足過動症（ADHD）和自閉症譜系障礙（ASD）。
根據各種實施例，用於傳送和管理互動式和適應性學習培訓計畫的系統進一步包括通過在一般和特別設計的電腦處理器執行的軟體和韌體的組合來實現的通信模組。在一個實施例中，通信模組的一部分駐留在一個以上伺服器電腦中執行，並且通信模組的另一部分駐留和運行於一個以上用戶端電腦，包括但不限於桌上型電腦、膝上型電腦、平板電腦、智慧型手機和其他行動電腦裝置，其中一些是專供學生主體和其他教師/培訓人員使用。
通信模組包括一個以上使用者介面，使用者介面被設計為向學生主體和教師/培訓師顯示來自專業知識的相關資料和通過系統運行於學生模型和培訓模型下產生的資料。使用者介面進一步被設計為協助在採集使用者輸入（文字、手勢、圖像和影片的輸入）和顯示包括文字提示和類比教學助理的動作在內的回饋中的使用者互動。所述通信模組的另一重要特徵是為當前執行的任務目標提供一個螢幕（由學生主體所使用的電腦設備的螢幕）上的平面座標和視覺提示或焦點尺寸。舉一個非限制性的例子而言，當在螢幕上顯示來自一個任務目標的講課筆記，通信模組提供所述平面座標和講課筆記顯示區域的大小並且該資訊被用來匹配從一個注視點跟蹤感測器搜集的資料，以確定學生主體是否確實被該任務吸引（看講課筆記）。
圖2描繪了根據本發明的各種實施例的用於傳送和管理互動式和適應性學習培訓計畫的系統的邏輯資料流程圖。邏輯資料流程圖顯示系統的主要組成部分如何一同運作於在學生模型和培訓模型的運行中的反饋循環迴路。參考圖2的示例性實施例，在註冊期間，學習或培訓計畫的學生（或父母）可選擇一個合適的課程。這個課程直接對應於一個課程安排目標，課程安排目標是專業知識202中的一組連結的概念目標，並包括這個學生主體的學習目標201。當學生主體經由系統的通信模組呈現的使用者介面登錄系統時，在培訓模型中，系統的培訓師模組從所述專業知識202中選擇並檢索適當的概念目標和相關聯的第一任務目標。進入學生模型，從專業知識資源庫中檢索任務目標資料，系統在使用者介面上為學生主體呈現任務目標資料（例如講義、測驗題和問題集），然後由學生主體開始執行該任務。同時，系統通過收集情緒狀態的感測資料監控學習過程203，感測資料包括，但不限於，注視點、情緒和生理資料，以及通過任務的問題和解答以及學生主體與使用者介面（204）的行為分析的互動所獲得的認知狀態資料。分析所收集的情緒狀態感測資料和認知狀態資料之後，更新學習者狀態205。更新後的學習者狀態205與學習目標201相比較。確定後的知識/技能差距或相合後的指導策略206被再次提供給培訓模型，完成循環迴路。如果收集到的情緒狀態感測資料和認知狀態資料的分析顯示理解概率高於值，學習目標207就被認為達成了。
圖3詳細地描繪了用於在學生模型和培訓模型下傳送和管理互動式和適應性學習培訓計畫的系統的執行流程。在一個參考圖3的示例性實施例中，其執行流程如下： 301、學生主體藉由其電腦設備上由系統的通信模組所執行的使用者介面登錄到系統。 302、學生主體就使用者介面所顯示的課程安排進行選擇。 303、在接收到該用戶登錄，認證成功，並且接收到課程安排選擇資訊後，在伺服器電腦上所執行的系統的培訓師模組，從專業知識存儲庫中選擇和請求與所選課程安排相關聯的一個以上任務目標。當沒有任務目標被定義以便與所選課程安排中的任何概念目標相關聯時，系統評估知識樹，以找出盡可能靠近知識樹根部（基礎），該學生主體尚未練習或掌握的概念知識和技能。這個過程是由系統的推薦引擎完成，它可以通過在一般和特別設計的電腦處理器執行的軟體和韌體的組合來實現。推薦引擎可以推薦練習任務，和較低階的掌握挑戰任務。系統推薦的任務有一個默認的優先順序；教師/培訓人員分配的任務在任務選擇中擁有較高的優先順序。在一個實施例中，該系統進一步包括用於推薦將要在接下來的一個課程安排中學習的講課資料（例如主題）的推薦引擎。推薦引擎使用評估過的學生客體的情緒狀態與認知狀態資料、學生主體的表現資料、知識樹（列出所有的「邊緣」主題）、老師/培訓師的推薦資訊、來自協同篩檢程式（查看來自同等同學主體的資料）的資料、以及講課內容資料（將學生屬性與學習資料的屬性相匹配）等，推薦培訓模型中系統將執行的下一個任務。例如，學生主體的負面情緒可以通過辨認不喜歡的主題（從某些任務的執行期間所評估得來的情緒狀態資料）得到緩解並且推薦具有一個不同的/喜愛的主題的下一個任務；當學生主體的情緒狀態被檢測到位置時推薦具有不喜歡的主題的下一個任務。在另一實例中，當評估到的情緒狀態顯示該學生主體沒有受到挑戰時，推薦引擎可以選擇具有更高難度的下一個任務。這將使得任務的匹配獲得最高的學習成果。如此，也可基於類似的表現資料和/或情緒狀態和認知狀態所做的評估將任務集結成組。同時，也可對具有共同興趣的學生群組進行配對。 304、如果發現所請求的任務目標，它們的資料被檢索並發送到學生主體的電腦裝置以在系統的通信模組的使用者介面中呈現。 305、學生主體選擇一個任務目標開始學習階段。 306、該系統的培訓師模組從專業知識庫中檢索出所選擇的任務目標中的下一個項目用於在系統的通信模組的使用者介面中顯示。 307、進入學生模型，系統的通信模組的使用者介面顯示在任務目標中所選擇的項目。 308、一種用於擷取學生主體的臉部表情的攝影機被啟動。 309、在學生主體接觸所選擇的任務目標的項目中的學習資料作練習、記筆記(309a)時，分析學生主體的注視焦點及面部表情（309b）。 310、視根據感測器所收集到的資料以及和學生主體的檔案資料（概略地，包括所有過去的表現資料和學習進度的資料）所評估的學生主體的情緒狀態與認知狀態而定，可以在該系統的通信模組的使用者介面以指導的形式呈現虛擬助理/或文字提示。 311、學生主體提交答題嘗試。 312、答題嘗試被分級，並且該分級資料會在系統的通信模組的使用者介面中向學生主體顯示。 313、答題嘗試和分級資料也被系統存儲以便進一步分析。 314、答題嘗試和分級資料被用來計算學生主體對於與所選任務目標相連結的概念的理解概率。 315、如果所選的任務已完成，系統的培訓師模組將根據學生主體對於與所選任務目標相連結的概念的理解概率之計算結果選擇並請求下一個任務，然後從請求學習任務303開始重複步驟。 316、如果選定的任務尚未完成，則該系統的培訓師模組將檢索出所選任務的下一個項目，然後從選擇下一個問題306開始重複步驟。 317、所有任務完成後，系統會為學生主體作成結果報告。
根據本發明的另一方面，一種用於傳送和管理互動式和適應性學習和培訓方案的系統還包括一個管理模組，其從所述教師/培訓師、學生主體和專業知識取得資訊，用以在涵蓋多樣的實體教育/培訓中心以及線上、遠端的學習，以面對面學習的操作方式提供協助。在一個示例性實施例中，管理模組包括基於約束的調度演算法，用於確定優化的課程調度，同時觀察約束，例如教師/培訓師認證，學生和培訓師通勤距離，教學的先來先服務，根據學習進度和培訓戰略的教學/培訓組和組合。例如，當教師/培訓師要發起同儕教學/培訓，調度演算法可以選擇具有互補技能的學生主體，使他們能夠互相幫助。
一種課堂上的學習課程可包括一個典型的流程，例如：學生主體簽到，進行小測驗以評量學生主體的認知狀態，並且於完成後將其結果直接呈現在教師/培訓師的使用者介面的儀表板。然後，課程繼續由教師/培訓師向全班解釋一個新概念，在此，教師/培訓師接收來自系統的教學助理有關教學目標和提示的協助。解釋後，學生主體可能進行練習/任務，系統根據需要盡可能提供支援。根據學習進度和學生主體的情緒狀態，系統的培訓師模組決定如何繼續學習階段並提供一些意見：例如，提供處理負面情緒的教育遊戲，並允許兩個或兩個以上的學生主體參與小型競賽以贏取小獎品、數位徽章或類似物品。學習階段在簽出時終止。考勤資料被收集以用於計費，其次，為安全起見供父母驗證（或接收來自系統的通知）子女到達和出發的時間。
儘管以上所描述有關本發明的實施例主要應用在學術環境方面，本發明無需過多實驗即可適用於公司培訓、調查和工作績效的評估。根據本發明的一個實施例，用於傳送和管理互動式和適應性學習培訓計畫的方法和系統邏輯地建構了作為專業知識的培訓教材和傳授機制資料，其具有知識和技能專案和與有關行業或貿易相關的培訓教材的組成概念目標和任務目標。根據學生模型和培訓模型系統的操作則基本與學術環境中的類似。在調查中的應用，主體的情緒狀態和認知狀態的系統評估可以用於驅動對調查問題的選擇和顯示。因此又使得從主體獲得的調查結果更準確更快速。在工作績效評估的應用中，員工主體工作時的情緒狀態和認知狀態的系統評估持續允許雇主來衡量員工的技術水準、參與程度以及員工的興趣，從而為工作和角色分配提供了幫助。
本發明還可以用於認知障礙的醫療評估，如阿茲海默症和自閉症。在認知測試（例如，使用一個平板電腦對患者主體實施）時，系統使用（例如，平板電腦的內建照相機）獲取的和分析的患者主體的面部表情、眼球運動、注視點、頭部姿勢、語音、語音清晰度、反應時間和/或觸摸的回應等感測資料，分析患者主體的情緒狀態和認知狀態。該患者主體的情緒狀態和認知狀態的評估，以及患者主體的認知測試中的表現資料被用來驅動認知測試的過程，影響患者主體的情緒，並提供不太容易出現人為錯誤的即時診斷。該患者主體的情緒狀態和認知狀態評估也可以匹配並與MRI資料一起用於的患者主體腦部活動的進一步研究。
本文所公開的電子實施例可運用在一般或特別設計的電腦設備、電腦處理器或電子電路系統，電子電路系統包括但不限於特定用途積體電路（ASIC）、現場可程式化閘陣列（FPGA）以及其它根據本公開的教導配置或程式設計的可程式化邏輯裝置。在一般或特別設計的電腦設備、電腦處理器或可程式化邏輯裝置內運作的電腦指令或軟體編碼可以容易地由軟體或電子領域的技術人員基於本公開的教導進行編制。
電子實施例的全部或部分可以在一個以上一般的或電腦設備上執行，該電腦設備例如包括伺服器電腦、個人電腦、筆記型電腦，行動電腦裝置諸如智慧型手機及平板電腦。
所述的電子類實施例包括具有可用於程式設計電腦或微處理器以執行任何本發明的方法的存儲在其中的電腦指令或軟體編碼的電腦存儲媒介。該存儲媒介可以包括，但不限於，軟碟、光碟、藍光光碟、DVD、CD-ROM、以及磁光碟、ROM、RAM、快閃記憶體設備，或任何類型的適合於存儲指令、代碼和/或資料的媒介或設備。
本發明的各種實施例還可以在分散式運算環境和/或雲端電腦環境中實現，其中全部或部分機器指令以分散式方式由一個以上由通信網路，例如內聯網，廣域網路（WAN），局域網（LAN），網際網路，和其他形式的資料傳輸媒介，互連的處理設備執行。
本發明的前述說明旨在說明和描述的目的。它不應當理解為是對本發明的例子或將本發明限制到所公開的精確形式。許多對本發明的修改和變化對本領域技術人員是顯而易見。
實施例的選擇描述是為了最好地解釋本發明的原理及其實際應用，從而使本領域的技術人員能夠理解本發明的各種實施例和適於所設想的特定用途的各種修改。
本說明書中使用的詞彙不應被理解為限制，除非有另外敘明，並且目的僅在於要對特定的實施例進行說明，而不在於對所請標的進行限制。雖然本說明書顯示並說明了所請標的的特定實施例，但本領域中具有通常知識者應當了解，本發明的範疇不應受到說明書中所描述的實施例的限制。本發明並未排除數種改良、改變、變化、替換以及等同的實施方式。
201‧‧‧學習目標
202‧‧‧專業知識
203‧‧‧學習過程
204‧‧‧使用者介面
205‧‧‧學習者狀態
206‧‧‧指導策略
207‧‧‧學習目標
301‧‧‧登入
302‧‧‧選擇課程
303‧‧‧請求學習任務
304‧‧‧顯示任務
305‧‧‧學生選擇任務
306‧‧‧選擇下一個問題
307‧‧‧渲染問題
308‧‧‧激活攝像頭
309a‧‧‧練習、記筆記
309b‧‧‧分析注視焦點及面部表情
310‧‧‧使用虛擬輔助
311‧‧‧提交答案嘗試
312‧‧‧答案打分
313‧‧‧存儲答案嘗試數據
314‧‧‧更新概念理解率
315‧‧‧任務完成
316‧‧‧任務未完成
317‧‧‧結果報告
401‧‧‧資料輸入
402‧‧‧資枓驗證與淨化
403‧‧‧模型測試
404‧‧‧模型運算演練
405‧‧‧模型規劃
500‧‧‧專業知識
501‧‧‧概念目標
502‧‧‧任務目標
503‧‧‧知識與技能專案
504‧‧‧講課內容資料
505‧‧‧問題矩陣
下列的圖式中顯示了本發明所揭露的標的某些非限制性的示例性實施例或特徵。其中該些圖式中包括： 圖1係本發明的一個實施例的用於傳送和管理互動式和適應性學習培訓計畫的系統的示意圖； 圖2係用於傳送和管理互動式和適應性學習培訓計畫的系統的邏輯資料流程圖； 圖3係本發明的一個實施例的用於傳送和管理互動式和適應性學習培訓計畫的方法的行為圖； 圖4係系統在計算學生主體對講課教材的理解概率時使用的反覆運算機器學習工作流程圖；和 圖5係本發明的一個實施例的系統使用的用於傳送和管理互動式和適應性學習培訓計畫的邏輯資料結構。
詳細參照圖式的內容，在此要強調的是，圖式中顯示的特定內容為範例，且其目的是為了方便說明本發明的某些實施例。據此，針對圖式進行的說明可以使本領域中具有通常知識者了解本發明實施例的實施方式。

Claims (10)

  1. 一種用於傳送和管理學習培訓計畫的系統，包括： 一個以上的光感測器，配置為用於擷取和產生學生主體在學習階段的感測資料； 一個以上的電子資料庫，包括一個以上的專業知識資料體，每個專業知識資料體包括一個以上的概念資料體和一個以上的任務資料體，其中每個概念資料體包括一個以上的知識和技能內容項，其中每個任務資料體包括一個以上講課內容資料項，其中每個任務資料體與至少一個概念資料體相關聯，且通過對多個所述概念資料體進行組合而形成一個課程； 一學生模組，其通過一個以上的電腦處理設備執行，以利用收集自所述光感測器的感測資料來評估所述學生主體的情緒狀態和認知狀態； 一培訓師模組，其通過一個以上的電腦處理設備執行，並被配置為在學習階段的每個任務資料體完成後，選擇後續的任務資料體，並從所述電子資料庫中檢索用於傳送和呈現給所述學生主體的任務資料體的講課內容資料項；和 一推薦引擎，其通過一個以上的電腦處理設備執行，且被配置為創建所述後續任務資料體的可選任務資料體清單，其中所述可選任務資料體是與形成所述課程的所述一個以上概念資料體相關聯的任務資料體； 其中，從所述可選任務資料體清單選擇一個任務資料體是基於所述學生主體對所關聯的概念資料體的知識和技能內容項的理解率；和 其中所述學生主體的理解率是通過所述學生主體的情緒狀態和認知狀態的評估輸入資料來計算。
  2. 根據申請專利範圍第1項所述的系統，進一步包括： 一個以上的生理測量裝置，其配置為用於擷取所述學生主體施加在觸覺感測設備上的觸覺壓力、心率、皮膚導電度（EDA）、皮膚溫度、以及觸碰反應中的一個或多個，並在所述學習階段生成第一附加感測資料； 一個以上的語音記錄設備，其被配置用於擷取所述學生主體的聲音和語音清晰度，並在所述學習階段生成第二附加感測資料；以及 一個以上的筆跡擷取裝置，其配置為用於擷取所述學生主體的筆跡，並在所述學習階段生成第三附加感測資料； 其中，所述學生模組還被配置為利用從所述光感測器收集的感測資料、從所述生理測量裝置收集的所述第一附加感測資料、從所述語音記錄設備收集的所述第二附加感測資料和從所述筆跡擷取裝置採集到的所述第三附加感測資料來評估所述學生主體的情緒狀態和認知狀態。
  3. 根據申請專利範圍第1項所述的系統，進一步包括： 一個以上的教學助理，其被配置用於擷取所述學生主體與教學助理的互動，並在所述學習階段生成附加感測資料； 其中，所述學生模組還被配置為根據從所述光感測器收集的感測資料和從所述教學助理收集的所述附加感測資料評估所述學生主體的情緒狀態和認知狀態。
  4. 根據申請專利範圍第1項所述的系統，其中，每個講課內容資料項是講課筆記、插圖、測試問題、具有嵌入式測試問題的影片、具有設計成在推導問題解決方案中提供指導的多個步驟的解題練習或具有一個以上的用於模擬與所述學生主體學習進度同步的解題練習步驟的啟發式規則或約束的解題練習。
  5. 根據申請專利範圍第1項所述的系統，其中，多個包含一個主題的基本知識和技能內容項的概念資料體被表示在邏輯樹資料結構的更靠近根部的節點，而包含高級知識和技能內容項的概念資料體以及常規基礎知識和技能內容項的分支被表示在所述邏輯樹資料結構的不同分支的較高節點； 其中，所述推薦引擎進一步配置為創建所述後續任務資料體的可選任務資料體清單，其中所述可選任務資料體是與形成所述課程的一個以上概念資料體相關聯的任務資料體，且所述一個以上概念資料體包含有所述學生主體未掌握的並靠近所述概念資料體所屬邏輯樹資料結構的根部的知識技能項。
  6. 根據申請專利範圍第1項所述的系統，其中，所述學生主體對關聯的概念資料體的知識和技術內容項的理解率通過所述學生主體的情緒狀態和認知狀態的評估輸入資料和所述學生主體的表現資料和行為資料來計算；以及所述學生主體的表現資料和行為資料包括答案的正確性、基於時間變化的所述學生主體答案分數的均值、成功和失敗嘗試的次數、在給定答案選項之間切換的次數、答題回應速度、最高難度級別、試題難易程度和達成解決方案的操作步驟其中之一或多個。
  7. 根據申請專利範圍第1項所述的系統，其中，所述感測資料包括所述學生主體的面部表情、眼球運動、注視點和頭部姿勢其中之一或多個。
  8. 根據申請專利範圍第1項所述的系統，其中，從所述可選任務資料體清單選擇一個任務資料體是基於所述學生主體對所關聯的概念資料體的知識和技能內容項的理解率和所述學生主體的估定情緒狀態； 其中，當學生主體的估定情緒狀態表示的是負面情緒，則具有所述學生主體喜歡的知識和技能內容項的概念資料體的關聯任務資料體被選中，而具有所述學生主體不喜歡的知識和技能內容項的另一個概念資料體的關聯任務資料體未被選中；以及 當學生主體的估定情緒狀態表示的是正面情緒，則具有所述學生主體不喜歡的知識和技能內容項的概念資料體的關聯任務資料體被選中，而具有所述學生主體喜歡的知識和技能內容項的另一個概念資料體的關聯任務資料體未被選中。
  9. 一種用於傳送和管理學習和培訓計畫的方法，包括： 使用一個以上的光感測器在學習階段從學生主體擷取和生成感測資料，其中，所述感測資料包括所述學生主體的面部表情； 使用自光感測器收集的感測資料評估所述學生主體的情緒狀態和認知狀態；和 在學習階段的每個任務資料體完成後，選擇後續的任務資料體，並從所述電子資料庫中檢索用於傳送和呈現給所述學生主體的任務資料體的講課內容資料項；其中，從所述可選任務資料體清單選擇一個任務資料體是基於所述學生主體對所關聯的概念資料體的知識和技能內容項的理解率；和 其中所述學生主體的理解率是通過所述學生主體的情緒狀態和認知狀態的評估輸入資料來計算。
  10. 根據申請專利範圍第9項所述的方法，進一步包括： 擷取所述學生主體施加在觸覺感測設備上的觸覺壓力、心率、皮膚導電度（EDA）、皮膚溫度、以及觸碰反應中的一個或多個，並在所述學習階段生成第一附加感測資料； 使用一個以上的語音記錄設備擷取所述學生主體的聲音和語音清晰度，並在所述學習階段生成第二附加感測資料；和 使用一個以上的筆跡擷取裝置擷取所述學生主體的筆跡，並在所述學習階段生成第三附加感測資料； 其中，使用自光感測器收集的感測資料、所述第一附加感測資料、從所述語音記錄設備收集的所述第二附加感測資料和從所述筆跡擷取裝置收集到的所述第三附加感測資料評估所述學生主體的情緒狀態和認知狀態。
TW106124038A 2017-02-14 2017-07-18 採用面部追蹤和情緒檢測的互動式自我調整培訓學習管理系統和相關方法 TW201830354A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762458654P 2017-02-14 2017-02-14
US62/458,654 2017-02-14
US201762520542P 2017-06-15 2017-06-15
US62/520,542 2017-06-15

Publications (1)

Publication Number Publication Date
TW201830354A true TW201830354A (zh) 2018-08-16

Family

ID=59501175

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106124038A TW201830354A (zh) 2017-02-14 2017-07-18 採用面部追蹤和情緒檢測的互動式自我調整培訓學習管理系統和相關方法

Country Status (7)

Country Link
US (2) US20200046277A1 (zh)
EP (1) EP3361467A1 (zh)
CN (2) CN108428202A (zh)
AU (1) AU2017272190A1 (zh)
CA (1) CA2987750A1 (zh)
TW (1) TW201830354A (zh)
WO (1) WO2018150239A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112382151A (zh) * 2020-11-16 2021-02-19 深圳市商汤科技有限公司 一种线上学习方法及装置、电子设备及存储介质
TWI796864B (zh) * 2021-12-06 2023-03-21 明基電通股份有限公司 偵測使用者學習熟練度的方法以及偵測使用者學習熟練度的系統
TWI823055B (zh) * 2020-12-09 2023-11-21 英華達股份有限公司 電子資源推送方法及系統

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190139428A1 (en) * 2017-10-26 2019-05-09 Science Applications International Corporation Emotional Artificial Intelligence Training
JP6814482B2 (ja) * 2017-11-29 2021-01-20 株式会社医療情報技術研究所 知識管理システム
US11533272B1 (en) * 2018-02-06 2022-12-20 Amesite Inc. Computer based education methods and apparatus
US11210968B2 (en) * 2018-09-18 2021-12-28 International Business Machines Corporation Behavior-based interactive educational sessions
KR20210097692A (ko) * 2018-09-21 2021-08-09 스티브 커티스 정량화 및 정성화된 감정 데이터에 기초하여 사용자 간에 수익을 분배하기 위한 시스템 및 방법
CN109448851A (zh) * 2018-11-14 2019-03-08 科大讯飞股份有限公司 一种认知评估方法及装置
CN109493968A (zh) * 2018-11-27 2019-03-19 科大讯飞股份有限公司 一种认知评估方法及装置
US10956671B2 (en) * 2018-11-30 2021-03-23 International Business Machines Corporation Supervised machine learning models of documents
US11908345B2 (en) * 2018-12-27 2024-02-20 Intel Corporation Engagement level determination and dissemination
CN109766026B (zh) * 2019-01-16 2022-09-27 北京智愚嘉业软件科技有限公司 测试读写能力的方法和装置
AU2020244826A1 (en) * 2019-03-27 2021-11-04 Human Foundry, Llc Assessment and training system
CN110363378A (zh) * 2019-05-29 2019-10-22 广东精标科技股份有限公司 基于学生综合素质的测评系统
US20200388175A1 (en) 2019-06-07 2020-12-10 Enduvo, Inc. Creating a multi-disciplined learning tool
US11514806B2 (en) 2019-06-07 2022-11-29 Enduvo, Inc. Learning session comprehension
US11887494B2 (en) 2019-06-07 2024-01-30 Enduvo, Inc. Generating a virtual reality learning environment
US20200394933A1 (en) * 2019-06-13 2020-12-17 International Business Machines Corporation Massive open online course assessment management
US11501654B2 (en) * 2019-06-23 2022-11-15 International Business Machines Corporation Automated decision making for selecting scaffolds after a partially correct answer in conversational intelligent tutor systems (ITS)
CN110444053B (zh) * 2019-07-04 2021-11-30 卓尔智联(武汉)研究院有限公司 语言学习方法、计算机装置及可读存储介质
CN110495854B (zh) * 2019-07-30 2022-08-05 科大讯飞股份有限公司 特征提取方法、装置、电子设备及存储介质
CN110610310A (zh) * 2019-09-10 2019-12-24 北京字节跳动网络技术有限公司 一种教学考核的方法、装置、介质和电子设备
US20210103856A1 (en) * 2019-10-02 2021-04-08 Northwestern University System and method to predict success based on analysis of failure
CN111012315A (zh) * 2020-01-02 2020-04-17 辽宁中晨优智医疗技术有限公司 一种基于人认知功能的脑健康诊断设备
US20210256859A1 (en) 2020-02-18 2021-08-19 Enduvo, Inc. Creating a lesson package
JP2021157609A (ja) * 2020-03-27 2021-10-07 日本電気株式会社 情報処理装置、情報処理方法、およびプログラム
US11462117B2 (en) 2020-05-19 2022-10-04 Enduvo, Inc. Creating lesson asset information
US11922595B2 (en) 2020-05-19 2024-03-05 Enduvo, Inc. Redacting content in a virtual reality environment
CN111681144B (zh) * 2020-06-04 2023-03-28 雷昊 一种直播教学过程中检测学生听课状态的方法及装置
CN111523518A (zh) * 2020-06-08 2020-08-11 上海乂学教育科技有限公司 智适应学习方法及系统
CN111523866B (zh) * 2020-07-03 2020-11-24 支付宝(杭州)信息技术有限公司 为用户提供系统操作赋能的方法及装置
US11705012B2 (en) 2020-08-12 2023-07-18 Enduvo, Inc. Utilizing a lesson package in a virtual world
CN112016829B (zh) * 2020-08-27 2021-08-31 江苏开放大学（江苏城市职业学院） 一种基于眼动信息的在线课程学习评估方法
CN112132084B (zh) * 2020-09-29 2021-07-09 上海松鼠课堂人工智能科技有限公司 基于深度学习的眼部微表情分析方法和系统
CN112256858B (zh) * 2020-10-09 2022-02-18 华中师范大学 融合问题模式和答题结果的双卷积知识追踪方法及系统
CN112669966A (zh) * 2020-12-14 2021-04-16 北京易华录信息技术股份有限公司 一种基于监控数据的行为分析系统
CN112331003B (zh) * 2021-01-06 2021-03-23 湖南贝尔安亲云教育有限公司 一种基于差异化教学的习题生成方法和系统
WO2022263722A1 (en) * 2021-06-14 2022-12-22 New Nordic School Oy Activity recommendation system and related method
CN113255572B (zh) * 2021-06-17 2021-09-14 华中科技大学 一种课堂注意力评估方法及系统
CN113486744B (zh) * 2021-06-24 2023-02-14 中国科学院西安光学精密机械研究所 基于眼动和人脸表情范式的学生学习状态评估系统及方法
US11670184B2 (en) 2021-07-22 2023-06-06 Justin Ryan Learning system that automatically converts entertainment screen time into learning time
CN113823134A (zh) * 2021-09-23 2021-12-21 黑龙江大学 一种具有学生情绪分析功能的线上课堂交互装置及其方法
CN113918729B (zh) * 2021-10-08 2024-04-16 肇庆学院 一种基于知识树的任务协同方法及系统
CN113741702B (zh) * 2021-11-03 2022-03-04 北京智精灵科技有限公司 基于情绪监测的认知障碍人机交互方法及系统
US20230196426A1 (en) 2021-12-16 2023-06-22 Enduvo, Inc. Tokenizing a lesson package for a virtual environment
EP4198810A1 (en) * 2021-12-20 2023-06-21 Société BIC Chatbot systems and methods using dynamic features of handwriting
CN114627736B (zh) * 2022-03-11 2023-04-07 苏州尚领医疗科技有限公司 一种应用于心肺复苏功能的实训方法及系统
CN114897647B (zh) * 2022-04-27 2023-02-03 合创智能家具(广东)有限公司 一种教学辅助系统
CN114863543B (zh) * 2022-07-11 2022-09-06 华适科技(深圳)有限公司 一种特征更新的人脸识别方法及系统
CN115205764B (zh) * 2022-09-15 2022-11-25 深圳市企鹅网络科技有限公司 基于机器视觉的在线学习专注度监测方法、系统及介质
CN116416097B (zh) * 2023-06-02 2023-08-18 成都优学家科技有限公司 一种基于多维教学模型的教学方法、系统及设备
CN116982932A (zh) * 2023-06-21 2023-11-03 首都医科大学附属北京天坛医院 一种基于眼动双任务的脑疾病预测设备、系统及可读存储介质

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5911581A (en) * 1995-02-21 1999-06-15 Braintainment Resources, Inc. Interactive computer program for measuring and analyzing mental ability
US6435878B1 (en) * 1997-02-27 2002-08-20 Bci, Llc Interactive computer program for measuring and analyzing mental ability
US20020182573A1 (en) * 2001-05-29 2002-12-05 Watson John B. Education methods and systems based on behavioral profiles
US20040091847A1 (en) * 2002-11-06 2004-05-13 Ctb/Mcgraw-Hill Paper-based adaptive testing
WO2008064431A1 (en) * 2006-12-01 2008-06-05 Latrobe University Method and system for monitoring emotional state changes
US20100159437A1 (en) * 2008-12-19 2010-06-24 Xerox Corporation System and method for recommending educational resources
AU2009299102B2 (en) * 2008-09-30 2015-07-09 National Ict Australia Limited Measuring cognitive load
US9173582B2 (en) * 2009-04-24 2015-11-03 Advanced Brain Monitoring, Inc. Adaptive performance trainer
US9213558B2 (en) * 2009-09-02 2015-12-15 Sri International Method and apparatus for tailoring the output of an intelligent automated assistant to a user
KR100978091B1 (ko) * 2010-01-07 2010-08-25 주식회사 유비온 온라인 테스트 평가 관리 시스템 및 방법
US20110212422A1 (en) * 2010-02-26 2011-09-01 Nti, Inc. Cognitive Capacity Assessment System
US8684742B2 (en) * 2010-04-19 2014-04-01 Innerscope Research, Inc. Short imagery task (SIT) research method
US10388178B2 (en) * 2010-08-27 2019-08-20 Arthur Carl Graesser Affect-sensitive intelligent tutoring system
AU2011201127A1 (en) * 2011-03-14 2012-10-04 Moxy Studios Pty Ltd Collaborative Knowledge Management
US9652992B2 (en) * 2012-10-09 2017-05-16 Kc Holdings I Personalized avatar responsive to user physical state and context
WO2014065669A1 (en) * 2012-10-26 2014-05-01 Stichting Vu-Vumc Methods of treatment and diagnosis for cognitive decline and memory impairment
US20140272908A1 (en) * 2013-03-15 2014-09-18 SinguLearn, Inc Dynamic learning system and method
WO2015027079A1 (en) * 2013-08-21 2015-02-26 Quantum Applied Science And Research, Inc. System and method for improving student learning by monitoring student cognitive state
EP3063686A2 (en) * 2013-10-31 2016-09-07 Dexcom, Inc. Adaptive interface for continuous monitoring devices
US20150170538A1 (en) * 2013-12-13 2015-06-18 Koninklijke Philips N.V. System and method for adapting the delivery of information to patients
US20150325094A1 (en) * 2014-05-09 2015-11-12 International Business Machines Corporation Providing recommendations based on detection and prediction of undesirable interactions
US20160180722A1 (en) * 2014-12-22 2016-06-23 Intel Corporation Systems and methods for self-learning, content-aware affect recognition
CN104680453B (zh) * 2015-02-28 2017-10-03 北京大学 基于学生属性的课程推荐方法及系统
US10475351B2 (en) * 2015-12-04 2019-11-12 Saudi Arabian Oil Company Systems, computer medium and methods for management training systems
US10799186B2 (en) * 2016-02-12 2020-10-13 Newton Howard Detection of disease conditions and comorbidities

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112382151A (zh) * 2020-11-16 2021-02-19 深圳市商汤科技有限公司 一种线上学习方法及装置、电子设备及存储介质
CN112382151B (zh) * 2020-11-16 2022-11-18 深圳市商汤科技有限公司 一种线上学习方法及装置、电子设备及存储介质
TWI823055B (zh) * 2020-12-09 2023-11-21 英華達股份有限公司 電子資源推送方法及系統
TWI796864B (zh) * 2021-12-06 2023-03-21 明基電通股份有限公司 偵測使用者學習熟練度的方法以及偵測使用者學習熟練度的系統

Also Published As

Publication number Publication date
US20180232567A1 (en) 2018-08-16
CN110678935A (zh) 2020-01-10
EP3361467A1 (en) 2018-08-15
US20200046277A1 (en) 2020-02-13
CA2987750A1 (en) 2018-08-14
AU2017272190A1 (en) 2018-08-30
CN108428202A (zh) 2018-08-21
WO2018150239A1 (en) 2018-08-23

Similar Documents

Publication Publication Date Title
TW201830354A (zh) 採用面部追蹤和情緒檢測的互動式自我調整培訓學習管理系統和相關方法
JP3224675U (ja) 瞳孔反応、顔追跡、及び感情検出を使用した対話型・適応型学習、神経認知障害診断、並びに非追随性検出のシステム
Sharma et al. Multimodal data capabilities for learning: What can multimodal data tell us about learning?
US20230360551A1 (en) Adaptive learning environment driven by real-time identification of engagement level
US11475788B2 (en) Method and system for evaluating and monitoring compliance using emotion detection
WO2019180652A1 (en) Interactive, adaptive, and motivational learning systems using face tracking and emotion detection with associated methods
JP3223411U (ja) 感情検出を用いて追随性を評価及び監視するためのシステム
US20230105077A1 (en) Method and system for evaluating and monitoring compliance, interactive and adaptive learning, and neurocognitive disorder diagnosis using pupillary response, face tracking emotion detection
US20220198952A1 (en) Assessment and training system
Šola et al. Enhancing the motivation and learning performance in an online classroom with the use of neuromarketing
Giannakos et al. Sensing-based analytics in education: The rise of multimodal data enabled learning systems
Utami et al. A Brief Study of The Use of Pattern Recognition in Online Learning: Recommendation for Assessing Teaching Skills Automatically Online Based
Lee-Cultura et al. MultiModal Teacher Dashboards: Challenges and Opportunities of Enhancing Teacher Insights through a case study
Kuklick et al. Developing physical educators’ knowledge of opaque and transparent technologies and its implications for student learning
Struthers The case for mixed methodologies in researching the teacher’s use of humour in adult education
Lapierre et al. Looking “Under the hood” of learning computer programming: the emotional and cognitive differences between novices and beginners
CN113748449B (zh) 评估和培训系统
WO2018229592A1 (en) Method and system for evaluting and monitoring compliance using emotion detection
Hossen et al. Attention monitoring of students during online classes using XGBoost classifier
US20230013659A1 (en) Data processing systems for processing and analyzing data regarding self-awareness and executive function
Rajendran Enriching the student model in an intelligent tutoring system
Berdasco et al. Neurotechnology applied to the assessment in higher education
Amarasinghe et al. Remotify: The Emergency Remote Learning Solution using Learning Analytics
Colquhoun Proposed Coding Structure to Comparing Self-Reported Digital Technology Competence and Observed Performance during Online Problem-Based Learning Tasks. A Report Prepared in Partial Requirement for the Completion of the Master of Education Program at the Ontario Tech University
Sung Approaches to Analyzing Multimodal Interactions in STEM Learning with Technology: Triangulating and Interleaving