TWI713000B - 線上學習輔助方法、系統、設備以及電腦可讀取記錄媒體 - Google Patents

Abstract

一種由一線上學習輔助系統實施的線上學習輔助方法，包含：當一線上課程開始時，與該線上課程所對應的一線上教室建立連接；在該線上課程進行的過程中即時地接收及播放一來自該線上教室的多媒體資料，並且即時地接收並傳送一相關於使用者的視訊資料至該線上教室；分析該多媒體資料中的教師以手勢或語音發出的指示，並於偵測到一特定指示時觸發一對應該特定指示的第一控制指令；根據該視訊資料進行一使用者狀態分析處理，並根據該使用者狀態分析處理的結果觸發一對應的第二控制指令。

Description

線上學習輔助方法、系統、設備以及電腦可讀取記錄媒體

本發明是有關於一種線上學習輔助方法，特別是指一種涉及線上教學的線上學習輔助方法。本發明還有關於能實施該線上學習輔助方法的一種線上學習輔助系統及一種線上學習輔助設備，並且相關於一種電腦可讀取記錄媒體。

教育機器人是由生産廠商專門開發的以激發學生學習興趣、培養學生綜合能力為目標的機器人成品、套裝或散件。目前市面上常見的教育機器人，多是在內部設定好既定的程式，根據學生的語音或其他輸入方式來選擇播放已有的影片或音訊，因此，現有的智能機器人多是作為一個點播媒體的設備而存在，並不能很好地充當一個合格的學伴角色。

具體地，現有的教育機器人多存在如下缺點。

（1）語音交互能力弱：僅支持簡單的預設好的機械語音對話，語義識別能力有限，無法以符合兒童認知能力的方式進行互動交流，很難持續吸引兒童的學習興趣。

（2）設計較為粗暴：僅作為APP（應用程式）的另一個載體，簡單取代平板電腦或手機，而沒有很好地發揮機器人的屬性特徵。

（3）削减了兒童的社會互動：社會互動是兒童認知發展的必要因素。而兒童陪伴機器人在取代父母及其他人員陪護的同時，也减少了兒童與他人的交流機會，使得兒童的交互變成了與「擬人」的機器人交互，不利於孩子的健康成長。

（4）無法彌補課後輔導的不足：外教資源及精力有限，無法給予學生進行個性化的輔導。

因此，本發明的其中一個目的，即在提供一種能改善現有技術的線上學習輔助方法。

本發明線上學習輔助方法，由一線上學習輔助系統實施，該線上學習輔助方法包含：當一線上課程開始時，該線上學習輔助系統與該線上課程所對應的一線上教室建立連接；在該線上課程進行的過程中，該線上學習輔助系統即時地接收及播放一來自該線上教室的多媒體資料，並且即時地接收並傳送一相關於使用者的視訊資料至該線上教室；該線上學習輔助系統分析該多媒體資料中的教師以手勢或語音發出的指示，並於偵測到一特定指示時觸發一對應該特定指示的第一控制指令；該線上學習輔助系統根據該視訊資料進行一使用者狀態分析處理，並根據該使用者狀態分析處理的結果觸發一對應的第二控制指令。

在本發明線上學習輔助方法的一些實施態樣中，該線上學習輔助系統於偵測到該特定指示時觸發該第一控制指令的方式包含：該線上學習輔助系統判斷該特定指示所屬的指示類別；當該線上學習輔助系統判斷出該特定指示的指示類別為一特效類別時，判斷該特定指示在特效類別中所對應的一特效項目，並且播放對應該特效項目的特效；當該線上學習輔助系統判斷出該特定指示的指示類別為一獎勵類別時，累加一對應當前之線上課程的獎勵次數。

在本發明線上學習輔助方法的一些實施態樣中，該線上學習輔助系統根據該使用者狀態分析處理的結果觸發該第二控制指令的方式包含：該線上學習輔助系統對該視訊資料進行一人臉提取處理；若該線上學習輔助系統無法從該視訊資料中提取出人臉區域圖像，或者判斷出所提取出的一人臉區域圖像不符合一預設條件，則判定當前的時間屬於非專注時間；當該線上學習輔助系統判斷出非專注時間的累計時間長度超過一預設時間門檻值，控制一攝影鏡頭轉動，直至該線上學習輔助系統從該視訊資料中偵測出符合該預設條件的人臉區域圖像；該線上學習輔助系統根據該視訊資料進行該使用者狀態分析處理，並於判定出一疲勞狀態條件符合時觸發作為一提醒指令的該第二控制指令。

在本發明線上學習輔助方法的一些實施態樣中，該線上學習輔助系統根據該使用者狀態分析處理的結果觸發該第二控制指令的方式還包含：該線上學習輔助系統統計出一互動時間長度，該互動時間長度代表該線上學習輔助系統判定出使用者開口且同時還接收到語音輸入的時間長度；該線上學習輔助系統根據該人臉區域圖像統計一相關於使用者之表情的正向表情次數；該線上學習輔助系統根據該互動時間長度、該正向表情次數及當前課程已進行的累計時間計算出一對應該互動時間長度的互動分數，以及一對應該正向表情次數的正向表情分數；該線上學習輔助系統根據該互動分數、該正向表情分數以及一預先定義的活躍度映射規則計算出一相關於使用者的活躍度等級；該線上學習輔助系統將該活躍度等級傳送至一教師端。

在本發明線上學習輔助方法的一些實施態樣中，該線上學習輔助方法還包含：該線上學習輔助系統在課程結束後根據該獎勵次數、非專注時間的累計時間長度、符合該疲勞狀態條件的累計時間長度以及該活躍度等級產生一線上學習評測報告。

在本發明線上學習輔助方法的一些實施態樣中，該線上學習輔助方法還包含：該線上學習輔助系統在該線上課程開始前，將一相關於使用者的歷史活躍度等級傳送至該教師端；該線上學習輔助系統在該線上課程進行中計算出一當前活躍度等級；該線上學習輔助系統在判斷出該當前活躍度等級大於該歷史活躍度的幅度超過一進步門檻值時，傳送一獎勵提醒至該教師端；該線上學習輔助系統在判斷出該當前活躍度等級低於該歷史活躍度的幅度超過一退步門檻值時，輸出一互動提醒。

在本發明線上學習輔助方法的一些實施態樣中，該線上學習輔助方法還包含：該線上學習輔助系統根據一對應使用者的歷史線上課程紀錄及一歷史線上課程進度產生並輸出一課程推薦結果；當該線上學習輔助系統接收到一課程預訂語音訊息時，根據該課程預訂語音訊息進行線上課程的預訂。

在本發明線上學習輔助方法的一些實施態樣中，該線上學習輔助方法還包含：該線上學習輔助系統於一預訂線上課程開始前的一第一時間點輸出一預習提醒；該線上學習輔助系統於接收到一對應該預習提醒的預習指令後顯示該預訂線上課程所對應的教材；該線上學習輔助系統於該預訂線上課程開始前的一第二時間點輸出一上課提醒；該線上學習輔助系統於線上課程結束後的一第三時間點輸出一複習提醒；當該線上學習輔助系統接收到一複習指令，且判斷出該複習指令所指示出的複習方式是教材複習方式時，顯示對應之線上課程的教材；當該線上學習輔助系統判斷出該複習指令所指示出的複習方式是影片複習方式時，播放一預先錄製的線上課程影片。

在本發明線上學習輔助方法的一些實施態樣中，該線上學習輔助系統在播放該線上課程影片時，還根據所接收到的語音輸入控制該線上課程影片的播放進度。

在本發明線上學習輔助方法的一些實施態樣中，該線上學習輔助方法還包含：該線上學習輔助系統於判斷出使用者未登入一線上教學系統時，判斷使用者是否已註冊該線上教學系統；若該線上學習輔助系統判斷出使用者已註冊該線上教學系統，則在接收到一登入語音請求時從該登入語音請求獲得一相關於使用者的登入驗證資料，並根據該登入驗證資料登入該線上教學系統；若該線上學習輔助系統判斷出使用者未註冊該線上教學系統，則在接收到一註冊語音請求時向該線上教學系統註冊一使用者帳戶，並將該使用者帳戶帳號與其本身綁定。

本發明的另一個目的，在於提供一種該線上學習輔助系統。

本發明線上學習輔助系統包含一通訊模組、一影片模組、一分析模組及一指令模組。該通訊模組用於在一線上課程開始時與該線上課程所對應的一線上教室建立連接，以及在該線上課程進行的過程中，即時地接收一來自該線上教室的多媒體資料，並且傳送一相關於使用者的視訊資料至該線上教室。該影片模組用於即時地接收該視訊資料。該分析模組用於分析該多媒體資料中的教師以手勢或語音發出的指示，以及根據該視訊資料進行一使用者狀態分析處理。該指令模組用於在偵測到一特定指示時觸發一對應該特定指示的第一控制指令，以及根據該使用者狀態分析處理的結果觸發一對應的第二控制指令。該線上學習輔助系統能實施如前述任一實施態樣中所述的線上學習輔助方法。

本發明的再一個目的，在於提供一種該線上學習輔助設備。

本發明線上學習輔助設備包含一處理器及一電連接該處理器的儲存器，該儲存器儲存有多個可被該處理器執行的可執行指令。該處理器被配置為藉由執行該等可執行指令而實施如前述任一實施態樣中所述的線上學習輔助方法。

本發明的又一個目的，在於提供一種電腦可讀取記錄媒體。

本發明電腦可讀取記錄媒體儲存一應用程式，當該應用程式被一電子裝置載入並執行時，能使該電子裝置實施如前述任一實施態樣中所述的線上學習輔助方法。

本發明之功效在於：該線上學習輔助方法、該線上學習輔助系統、該線上學習輔助設備及該電腦可讀取記錄媒體解决了現有技術中的問題，將真人授課與機器人的學伴功能相結合，將人和機器聯動起來，形成真人教學和機器人陪伴學習的人機聯動學習模式，充分發揮人的社會化過程中與人互動及與機器互動相互補足的優勢，從而在提升學習效果的同時提升使用者的使用體驗。

在本發明被詳細描述之前，應當注意在以下的說明內容中，類似的元件是以相同的編號來表示。在本發明被詳細描述之前應當注意：本專利說明書中所述的「電連接」是泛指多個電子設備/裝置/元件之間透過導電材料相連接而達成的有線電連接，以及透過無線通訊技術進行無線信號傳輸的無線電連接。並且，本專利說明書中所述的「電連接」亦泛指兩個電子設備/裝置/元件之間直接相連而形成的「直接電連接」，以及兩個電子設備/裝置/元件之間還透過其他電子設備/裝置/元件相連而形成的「間接電連接」。

應當理解的是，本發明能夠以多種不同的態樣實施，以下所述的實施方式是用於令本發明能被更加全面、完整地說明，以使本技術領域中具有通常知識者能根據本專利說明書據以實施本發明所提出的技術手段，而並非用於限定本發明的實施範圍。並且，以下說明中所揭露的各個技術手段能夠以拆分、重新排列組合或者與其他現有技術結合的方式被應用在其他的一個或多個實施方式中。

此外，本專利說明書的附圖僅為示意性的圖解，並非一定是按照實際比例繪製。並且，附圖中所示出的方塊可用於代表功能、步驟或硬體，且並不一定需與物理或邏輯上獨立的實體相對應。並且，附圖中所示出的每一方塊可以透過軟體、硬體或軟硬體之組合的形式來實現，所述的硬體可例如是一或多個彼此有線電連接的硬體模組或積體電路，也可例如是透過網路彼此無線電連接的運算裝置及/或微處理器。

如圖1所示，為了解决現有技術的技術問題，本發明線上學習輔助方法的一實施例例如是由一線上學習輔助系統所實施，且該線上學習輔助系統可例如被作為一學伴機器人，並且例如被實施為一台電子裝置或者是多台電子裝置的組合。具體而言，每一電子裝置可例如為一智慧型手機、一平板電腦、一筆記型電腦、一桌上型電腦、一雲端伺服器，或者是一經過特殊設計的工業電腦。並且，藉由實施該線上學習輔助方法，本實施例的該線上學習輔助系統能用於輔助使用者透過網路進行線上學習，且能發揮伴學的功能。

以下說明該線上學習輔助方法所包含的步驟。

在步驟S100中，當一線上課程開始進行時，該線上學習輔助系統與該線上課程所對應的一線上教室建立網路連接。該線上教室可例如是由一線上教學系統所創建的一虛擬教室，也可被理解為一形成於多台電子裝置（例如智慧型手機、平板電腦、筆記型電腦或桌上型電腦等）之間的資料串流通道。

在步驟S200中，在該線上課程進行的過程中，該線上學習輔助系統即時地接收及播放來自該線上教室的多媒體資料，並且即時地接收一相關於使用者的視訊資料，並將該視訊資料傳送至該線上教室。在本實施例中，該視訊資料可例如是一呈現出使用者之臉部的即時動態影片，且例如是藉由該線上學習輔助系統的一攝影鏡頭進行錄影而產生。另一方面，該多媒體資料則例如是一位真人教師進行授課的有聲影片，但並不以此為限。

在步驟S300中，該線上學習輔助系統分析該多媒體資料中該教師以手勢或語音發出的指示，並於偵測到一特定指示時觸發一對應該特定指示的第一控制指令。

在步驟S400中，該線上學習輔助系統根據該視訊資料進行一使用者狀態分析處理，並根據進行該使用者狀態分析處理的結果觸發一對應的第二控制指令。

在上述的說明中，藉由執行步驟S100及步驟S200，使用者能透過該線上學習輔助系統進行線上學習，並且，藉由該線上學習輔助系統即時地接收及播放該多媒體資料，能夠給予使用者有如與教師面對面交流的擬真體驗。並且，該多媒體資料的傳輸可例如是基於WebRTC（全名為Web Real-Time Communication，也稱作「網頁即時通訊」）的技術實現，以提升使用者與教師互動的即時性及流暢性。並且，藉由執行步驟S300及步驟S400，本實施例能夠實現真人授課與機器人輔助學習的有機結合，在該線上課程進行的過程中，作為學伴機器人的該線上學習輔助系統等同於發揮了助教的作用，不僅可以根據使用者當前的狀態給出反饋，還可以即時地分析教師的手勢及/或語音，而播放特效或給予使用者學習獎勵，從而進一步基於人工智能技術提升輔助學習的效果。

為了提供使用者一個更加完善的學伴功能，在本實施例的該線上學習輔助方法中，該線上學習輔助系統提供了一個能供使用者在該線上課程開始前預訂該線上課程、能在特定的時間點提示使用者該線上課程即將開始，並且能在該線上課程結束後提供使用者課程回顧的完善流程。

參閱圖2，在該線上課程開始之前，該線上學習輔助系統判斷使用者是否已預訂了線上課程。若該線上學習輔助系統判斷出使用者並未預訂線上課程，則根據一對應使用者的歷史線上課程紀錄產生並輸出一課程推薦結果。並且，在輸出該課程推薦結果後，當該線上學習輔助系統接收到一由使用者發出的課程預訂語音訊息時，根據該課程預訂語音訊息進行線上課程的預訂，而藉此實現語音訂課的功能。

更具體地說，在判斷出使用者尚未預訂線上課程，或者判斷出使用者還需要預訂其他的線上課程時，該線上學習輔助系統獲取對應使用者的該歷史線上課程紀錄，並根據該歷史線上課程紀錄產生一分析結果，該分析結果例如包含相關於使用者的一上課習慣、一選課偏好、一歷史線上課程類別及一歷史線上課程進度。接著，該線上學習輔助系統再根據該分析結果產生該課程推薦結果，藉此為使用者推薦線上課程。在本實施例中，該線上學習輔助系統產生該課程推薦結果的方式，例如是先根據該歷史線上課程類別判斷出使用者之前較常選擇的線上課程類別，並將使用者之前較常選擇的線上課程類別作為對應使用者的一感興趣課程類別，然後，該線上學習輔助系統根據該感興趣課程類別及該歷史線上課程進度，從所有線上課程中選出一或多個符合一匹配條件的匹配線上課程，再根據該(等)匹配線上課程產生指示出該(等)匹配線上課程的該課程推薦結果。具體來說，對於每一線上課程，該匹配條件包含該線上課程屬於該感興趣課程類別，並且在一課程進度排序中是屬於使用者已完成之另一線上課程的下一個線上課程。

舉例來說，假設該線上學習輔助系統根據該歷史線上課程類別判斷出使用者較偏好語文類別及數學類別的線上課程，則該線上學習輔助系統便會將語文類別及數學類別分別作為兩個感興趣課程類別。並且，假設該線上學習輔助系統判斷出使用者已完成了屬於語文類別的一個第三階段英語線上課程，則該線上學習輔助系統會判定排列於該第三階段英語線上課程之後的一第四階段英語線上課程符合該匹配條件，並產生指示出該第四階段英語線上課程的課程推薦結果。

該線上學習輔助系統在輸出該課程推薦結果後，還根據使用者的語音輸入進行線上課程的預訂，如此一來，使用者便夠參考該課程推薦結果，並且輕鬆地以發出語音的方式選擇其所需要的線上課程。

並且，在該線上學習輔助系統完成了線上課程的預訂，或者判斷出使用者已預訂了線上課程之後，還進一步地提供了智能語音提醒。為了便於說明，在此將該線上學習輔助系統所預訂完成的線上課程作為一預訂線上課程，且本實施例的該線上學習輔助方法還包含了下列步驟。

該線上學習輔助系統判斷當前的時間是否到達一第一時間點。在本實施例中，該第一時間點例如是該預訂線上課程之一開始時間點的前30分鐘，但並不以此為限。

若該線上學習輔助系統判斷出當前的時間未到達該第一時間點，則於一預設等待週期後再次判斷是否到達該第一時間點。

若該線上學習輔助系統判斷出當前的時間到達該第一時間點，該線上學習輔助系統輸出一預習提醒，並且，在本實施例中，該線上學習輔助系統例如是以播放語音的方式輸出該預習提醒，但並不以此為限。

並且，當該線上學習輔助系統接收到一對應該預習提醒且例如是由使用者以口語發出的預習指令時，該線上學習輔助系統產生並顯示一課前預習介面，該課前預習介面例如為一圖形化使用者介面，且能根據使用者的操作而顯示該預訂線上課程所對應的教材資料。並且，該線上學習輔助系統顯示該課前預習介面的同時還例如播放下列語音：「歡迎進入OO線上課程的課前預習，請使用上一頁或下一頁的指令進行教材翻頁，並使用返回指令返回首頁」。並且，在顯示該課前預習介面的情況下，該線上學習輔助系統能根據使用者的語音指令進行對應的操作，例如，當該線上學習輔助系統接收到「上一頁」或「下一頁」的語音輸入時，則據其進行教材的翻頁操作。如此一來，使用者在查看教材時便能夠以發出語音的方式控制教材翻頁。更進一步地，該線上學習輔助系統在顯示該課前預習介面的情況下還可結合語音辨識及搜尋引擎功能而對使用者以語音提出的問題產生反饋，例如，若使用者在預習過程中用語音向該線上學習輔助系統詢問了一個單字的意思，則該線上學習輔助系統便會透過搜尋引擎搜尋該單字的字義解析，且根據搜尋的結果產生一語音回應並播放出該語音回應。

該線上學習輔助系統輸出該預習提醒後，接著判斷當前的時間是否到達一第二時間點。在本實施例中，該第二時間點例如是該預訂線上課程之該開始時間點的前10分鐘，但並不以此為限。

若該線上學習輔助系統判斷出當前的時間未到達該第二時間點，則於一預設等待週期後再次判斷是否到達該第二時間點。

若該線上學習輔助系統判斷出當前的時間到達該第二時間點，該線上學習輔助系統輸出一上課提醒。在本實施例中，該線上學習輔助系統例如是以播放語音的方式輸出該上課提醒，且該上課提醒可例如為「您預訂的OO線上課程還有十分鐘就要開始」。

並且，在本時實施例中，當該線上學習輔助系統判斷出該第二時間點到達時，還進一步判斷以該攝影鏡頭為基準點的一預設範圍內是否存在人體。若該線上學習輔助系統判斷的結果為是，則判定使用者已經就位並準備開始上課。另一方面，若該線上學習輔助系統判斷的結果為否，則該線上學習輔助系統判定使用者尚未就位，並且每隔一段預定時間（例如每隔2分鐘）再次輸出該上課提醒。補充說明的是，該線上學習輔助系統例如是根據該攝影鏡頭的機器視覺判斷該預設範圍內是否存在人體，該預設範圍例如是該攝影鏡頭所能拍攝到的一個半徑為1公尺的扇形範圍，但並不以此為限。

參閱圖3，以下說明本實施例線上學習輔助方法中的一輔助上課流程。

當該線上學習輔助系統接收並識別出一由使用者以口語發出的學習指令時，開始執行該輔助上課流程。該學習指令可例如使用者以口語所發出的「我要學英語」、「我要學國文」或「我要學數學」等語音，且該線上學習輔助系統能藉由進行語意辨識而辨識出對應之關鍵詞，並且自動開始執行該輔助上課流程。本實施例的該輔助上課流程例如包含下列步驟。

該線上學習輔助系統判斷使用者是否已登入一線上教學系統。

若該線上學習輔助系統判斷出使用者並未登入該線上教學系統，則先顯示一註冊登入介面，再進一步判斷使用者是否已註冊該線上教學系統。

若該線上學習輔助系統判斷出使用者已註冊該線上教學系統，則該線上學習輔助系統在接收到一由使用者以口語發出的語音輸入，且藉由語意辨識判斷出該語音輸入為一登入語音請求時，從該登入語音請求獲得一相關於使用者的登入驗證資料（例如登入用的帳號），並根據該登入驗證資料登入該線上教學系統。

若該線上學習輔助系統判斷出使用者並未註冊該線上教學系統，則該線上學習輔助系統在接收到一由使用者以口語發出的語音輸入，且藉由語意辨識判斷出該語音輸入為一註冊語音請求時，該線上學習輔助根據該註冊語音請求向該線上教學系統發出一帳戶註冊請求，並藉此向該線上教學系統註冊一使用者帳戶，接著，該線上學習輔助系統將該使用者帳戶與其本身綁定，並且根據該使用者帳戶登入該線上教學系統。

在本實施例中，該線上學習輔助系統例如是根據使用者的手機號碼作為帳號而登入該線上教學系統。具體而言，該線上學習輔助系統能夠識別並記錄手機號碼，當該線上學習輔助系統第一次運行時，會要求使用者輸入一個手機號碼，以將其作為登入用的帳號，並將該帳號所對應的使用者帳戶與該線上學習輔助系統本身綁定。並且，本實施例中的該線上學習輔助系統允許同時與多個使用者帳戶綁定。若當前使用的手機號碼（即帳號）限制為一個，該線上學習輔助系統能夠識別出當前所用的手機號碼。

在該線上學習輔助系統使用已綁定的其中一個使用者帳戶登入該線上教學系統後，可以根據使用者的操作切換成以其他已綁定的使用者帳戶登入該線上教學系統。具體來說，該線上學習輔助系統可例如是提供一操作介面以供由使用者手動進行使用者帳戶的切換，也可例如是在主頁接收使用者所發出的語音進行使用者帳戶的切換。藉由語意辨識技術，該線上學習輔助系統能夠辨識出「切換帳號」、「切換使用者帳戶」或「切換身份」等語句，而將指示出該等語句的每一語音輸入作為一切換語音請求。並且，該線上學習輔助系統在接收並辨識出每一切換語音請求時，會顯示一提示視窗以呈現當前所綁定的所有使用者帳戶的使用者名稱，並且，當前用來登入該線上教學系統的使用者名稱會被排列在第一個。接著，該線上學習輔助系統會輸出一詢問提示以詢問使用者要切換至哪一個使用者帳戶，並在輸出該詢問提示的同時還例如以「請回答『第二個』、『第三個』或『第四個』」的語音訊息提示使用者應如何回應該詢問提示。若該線上學習輔助系統未接收到或無法識別對應於該詢問提示的語音輸入，會輸出一識別失敗通知以告知使用者回應的方式不正確，另一方面，若該線上學習輔助系統辨識出對應於該詢問提示的語音輸入，則根據語音輸入的指示切換至對應的使用者帳戶，並輸出一個指示出對應之使用者名稱的語音提醒，該語音提醒可例如為「XXX歡迎您回來」，但不以此為限。

當使用者欲透過該線上學習輔助系統登入該線上教學系統時，該線上學習輔助系統能供使用者採用語音方式登入。當該線上學習輔助系統判斷出使用者並未登入過或者登入失敗時，會顯示該線上教學系統的登入介面，該登入介面的第一個輸入欄位為一使用者名稱輸入欄位，且該線上學習輔助系統例如會將最後一次用來登入該線上教學系統的使用者名稱（在本實施例中為綁定過的手機號碼）自動帶入該使用者名稱輸入欄位，故無需由使用者自行手動輸入。並且，用於登入該線上教學系統的密碼例如是以簡訊傳送的簡訊驗證碼，且當該線上學習輔助系統顯示該線上教學系統的登入介面時，會自動觸發該線上教學系統將簡訊驗證碼傳送到綁定的手機上，同時，該線上學習輔助系統會以播放語音的方式輸出一驗證碼傳送提醒，該驗證碼傳送提醒可例如為「驗證碼已傳送，請查看您的手機」。

在輸出該驗證碼傳送提醒後，該線上學習輔助系統在一預設間隔時間到達時以播放語音的方式提示使用者說出驗證碼，接著，當該線上學習輔助系統藉由語意辨識接收到使用者所說出的四個數字時，將該四個數字作為一驗證碼輸入該登入介面的一驗證碼輸入欄位，若該驗證碼正確，該線上學習輔助便能以對應的使用者帳戶成功登入該線上教學系統，而若登入失敗，則該線上學習輔助系統再次顯示該線上教學系統的登入介面。

若該線上學習輔助系統已登入該線上教學系統，則該線上學習輔助系統顯示一線上課程列表，並且判斷該線上課程列表中是否存在任一預訂線上課程。若該線上學習輔助系統判斷出該線上課程列表中是不存在任何預訂線上課程，則可例如是如前述地產生並輸出該課程推薦結果並供使用者以語音輸入選擇想要的線上課程。補充說明的是，若該線上學習輔助系統接收到由使用者所發出的「我要學國文」、「我要學英語」等語音輸入，則該線上學習輔助系統識別所述語音輸入所指示出的線上課程類別，並且根據所述語音輸入所指示出的線上課程類別從該線上教學系統獲得並顯示一對應的線上課程預訂介面，並且優先推薦使用者已完成之階段的下一個階段的線上課程。

若該線上學習輔助系統判斷出該線上課程列表中存在一預訂線上課程，則判斷該線上課程是否已經開始（亦即該線上課程的教師是否已經在線上開始授課）。

若該線上學習輔助系統判斷出該預訂線上課程尚未開始，則以播放語音的方式提醒使用者該預訂線上課程尚未開始，並且以播放語音的方式輸出該預訂線上課程的開始時間。此時，使用者可以選擇繼續等待該預訂線上課程開始，也可以選擇預訂其他的線上課程。

若該線上學習輔助系統判斷出該預訂線上課程已經開始，則與該預訂線上課程所對應的線上教室建立網路連接，以令使用者能進入線上教室上課。

在該預訂線上課程（下稱「該線上課程」）進行的過程中，該線上學習輔助系統即時地接收及播放來自該線上教室的多媒體資料，並且即時地接收一相關於使用者的視訊資料，並將該視訊資料傳送至該線上教室。該線上學習輔助系統還分析該多媒體資料中該教師以手勢或語音發出的指示，並於偵測到一特定指示時觸發一對應該特定指示的第一控制指令。該線上學習輔助系統根據該視訊資料進行一使用者狀態分析處理，並根據該使用者狀態分析處理的結果觸發一對應的第二控制指令。在本實施例中，該第二控制指令具體可例如是使該線上學習輔助系統進行疲勞狀態條件檢測、人臉追蹤及活躍度等級計算等，此部分內容會在下文中具體描述。

如圖4所示，在該線上課程結束後，該線上學習輔助系統還可以提供線上課程回顧功能。具體而言，該線上學習輔助系統會於該線上課程結束後的一第三時間點輸出一複習提醒。在本實施例中，該第三時間點可例如是該線上課程結束後的一或三天，然而，該第三時間點的具體實施態樣可根據需求而自由設定，故並不以本實施例為限。

當該線上學習輔助系統接收到一由使用者發出的複習指令時，判斷該複習指令所指示出的複習方式是教材複習方式還是影片複習方式。

若該線上學習輔助系統判斷出該複習指令所指示出的複習方式是教材複習方式，則顯示出對應之線上課程的教材，並且，在顯示教材的情況下，該線上學習輔助系統能根據使用者的語音輸入進行教材的翻頁。

若該線上學習輔助系統判斷出該複習指令所指示出的複習方式是影片複習方式，則播放一預先錄製的線上課程影片，並且，在播放該線上課程影片的過程中，當該線上學習輔助系統接收到由使用者發出的語音輸入時，對語音輸入進行語義識別，以從語音輸入中獲取相關於該線上課程影片之撥放方式的影片控制指令，以控制所述線上課程影片的播放進度。例如，當該線上學習輔助系統接收到「我要看重播」、「我要看課後錄影」或「我要看線上課程回顧」等語音輸入時，便會自動顯示一線上課程回顧介面，並且，當該線上課程回顧介面中的某堂線上課程被使用者選擇時，該線上學習輔助系統產生並顯示一影片播放介面，並且開始播放對應之線上課程的線上課程影片。並且，在播放對應之線上課程的過程中，該線上學習輔助系統在收到使用者所發出的語音輸入時，還對所述的語音輸入進行語意辨識，並根據語意辨識的結果控制該線上課程影片的播放進度，藉此，使用者例如能藉由說出「快轉」、「倒退」、「暫停」或「繼續」等語音指令來控制該線上課程影片的播放。

在線上課程結束後，該線上學習輔助系統還可以自動推薦與已完成之線上課程相關的習題、課後練習、課後作業等。此外，在沒有線上課程進行時，還可以根據使用者的愛好、習慣、學習等級推薦相關的文章、新聞等內容。當使用者選擇閱讀該線上學習輔助系統所推薦的文章或新聞時，該線上學習輔助系統仍可隨時接收語音輸入並進行語意識別，再產生並輸出對應的反饋，如此一來，若使用者對於文章或新聞的內容有疑問，便可以隨時與該線上學習輔助系統進行語音交流，藉此，該線上學習輔助系統極大程度地提高了使用的方便性。

具體地，在本實施例中，在步驟S300中，該線上學習輔助系統分析該多媒體資料中該教師以手勢或語音發出的指示的方式，可例如是透過分析該多媒體資料的畫面而識別教師的手部圖像，並且根據手部圖像判斷教師是否給出了特定的具體手勢，或者，該線上學習輔助系統也可例如是透過分析該多媒體資料中的語音資料，而識別教師的語音及/或語義，並根據語音及/或語義的識別結果判斷教師是否說出了包含一或多個預設指示關鍵詞的話語，藉此識別教師所發出的指示。其中，在手勢識別的部分可例如是採用以深度學習方式所訓練的神經網路進行自動識別，例如構建一個捲積神經網路（英文為Convolution Neural Network），並採用多個標記手部特徵點位置的圖像作為訓練資料，藉以訓練神經網路，接著，在神經網路的訓練完成後，將多媒體資料中的畫面輸入到神經網路中，神經網路即能自動辨識出手部特徵點的位置，並根據預設的各種特定手勢的手部特徵點位置關係，來判斷教師當前是否做出了特定的具體手勢。

基於上述地，在步驟S300中，該線上學習輔助系統根據檢測到的該特定指示觸發對應的該第一控制指令的方式包含如下步驟。

該線上學習輔助系統判斷檢測到的該特定指示所屬的指示類別，所述的指示類別可例如為一特效類別、一獎勵類別，或者是一特效獎勵綜合類別。

若該線上學習輔助系統判斷出該特定指示為該特效類別，則判斷該特定指示在特效類別中所對應的特效項目，並且播放對應該特效項目的特效。例如，當該線上學習輔助系統透過圖像識別技術識別出教師雙手做出心型形狀時，則播放一對應的送心特效，並且，該線上學習輔助系統播放特效的方式可例如包含輸出聲音特效（例如特定的旋律）、畫面中的特效（例如在畫面中添加一個心型圖案），也可以包含燈光特效（例如機器人上的燈光閃爍）等，但不以此為限。換句話說，該第一控制指令例如是用於使該線上學習輔助系統播放特效的一特效播放指令。

若該線上學習輔助系統判斷出該特定指示為獎勵類別，則累加使用者在當前之線上課程中獲得的獎勵次數。例如，當識別到教師做出大拇指手勢時，增加使用者在當前線上課程中獲得的獎勵次數，並且可以伴隨有特效（例如聲光特效）。所述的獎勵次數可例如作為後期評定線上課程品質或使用者參與程度的指標。換句話說，該第一控制指令也可例如是用於使該線上學習輔助系統累加使用者之獎勵次數的一獎勵累加指令。

因此，在線上課程開始後，作為該學伴機器人的該線上學習輔助系統可以扮演真人教師的助教及使用者的學伴，根據語意辨識及手勢識別技術，識別線上課程中教師的鼓掌、表揚等指令，並且產生對應的特效作為反饋，藉此營造出給予使用者獎勵的效果。

如圖5所示，在本實施例的步驟S400中，該線上學習輔助系統根據該視訊資料進行該使用者狀態分析處理並根據該使用者狀態分析處理的結果觸發該第二控制指令的方式包含如下步驟。

該線上學習輔助系統對該視訊資料進行一人臉提取處理，藉此從該視訊資料中提取出一人臉區域圖像。

若該線上學習輔助系統無法從該視訊資料中提取出人臉區域圖像，或者判斷出所提取的人臉區域圖像不符合一預設條件，則判定當前的時間屬於非專注時間。在本實施例中，該預設條件例如是代表人臉區域圖像未發生嚴重偏移，並且，所述的「人臉區域圖像未發生嚴重偏移」可例如是透過判斷人臉區域圖像每一側的邊緣與該視訊資料之接收畫面的同側邊緣的距離不小於一預設距離門檻值。配合參閱圖6，在此將人臉區域圖像的每個側邊與畫面對應側之側邊的距離分為定義為d1、d2、d3及d4，若該線上學習輔助系統判斷出人臉區域圖像的右側邊緣與接收畫面的右側邊緣之間的距離（也就是d2）很小甚至趨近於零，則代表人臉區域圖像在整個接收畫面中是向右側偏移。如此，在調整該攝影鏡頭時，則該線上學習輔助系統可例如是控制該攝影鏡頭朝右側轉動，以使得人臉區域圖像的位置被調整至該攝影鏡頭之拍攝範圍的中央區域。進一步地，若該線上學習輔助系統判斷出接收畫面中不存在人臉區域圖像，該線上學習輔助系統可例如是先控制該攝影鏡頭沿一個預先設定好的方向以一預設速度轉動，並且，在判斷出接收畫面中出現人臉區域圖像時，該線上學習輔助系統再根據人臉區域圖像在接收畫面中的位置進一步調整該攝影鏡頭的角度，從而使人臉區域圖像位於接收畫面的中央區域（亦即位於該攝影鏡頭之拍攝範圍的中央區域）。

若該線上學習輔助系統判斷出非專注時間的累計時間長度超過一預設時間門檻值，則控制該攝影鏡頭轉動，直至該線上學習輔助系統從該視訊資料中偵測出符合該預設條件的人臉區域圖像為止，即實現了如圖3中所示的人臉追蹤，另一方面，在其他實施例中，該線上學習輔助系統也可例如是輸出語音提醒，藉此提醒使用者自行調整位置，以使其臉部重新進入該攝影鏡頭的拍攝範圍內，而不以本實施例為限。

該線上學習輔助系統根據該視訊資料進行該使用者狀態分析處理的方式，例如是對所述人臉區域圖像進行影像分析，並藉此判定使用者的狀態是否符合一疲勞狀態條件。若該線上學習輔助系統判定該疲勞狀態條件符合，則觸發一提醒指令以作為該第二控制指令，從而實現了圖3中所示的疲勞程度檢測以及即時提醒。例如，該線上學習輔助系統可以在該線上課程進行的一段時間內，透過檢測人臉區域圖像中使用者之上眼皮及下眼皮之間的一眼皮距離。若該眼皮距離小於一設定門檻值（例如該眼皮距離在10秒鐘內小於3毫米），則代表使用者可能精神不佳或者想打嗑睡，此時，該線上學習輔助系統透過發出語音提醒來提示使用者認真上課。

在本實施例中，該線上學習輔助系統對人臉區域圖像的識別可以採用現有的人臉識別方法來實現，例如採用訓練好的主動形狀模型等。眼皮位置的識別可例如採用訓練好的主動形狀模型、神經網路等識別眼皮特徵點，進而確定眼皮的位置以及上下眼皮之間的距離。如圖7所示，該線上學習輔助系統可例如是分別檢測一側或兩側的眼皮的一特徵點E1及一特徵點E2的位置，並根據該特徵點E1及該特徵點E2的位置計算上下眼皮之間的距離。

如圖8所示，本實施例的該線上學習輔助系統還可進一步分析使用者的活躍度等級，亦即實現了圖3中所示的活躍度評價。在本實施例中，該線上學習輔助系統根據該使用者狀態分析處理的結果觸發該第二控制指令的方式還包含如下步驟。

該線上學習輔助系統統計出一互動時間長度，且該互動時間長度代表該線上學習輔助系統根據人臉區域圖像判定出使用者開口，且同時還接收到來自使用者之語音輸入的時間長度。換句話說，該互動時間長度在本實施例中是代表該線上學習輔助系統判定一第一條件及一第二條件兩者同時符合的累計時間長度，並且，該第一條件代表該線上學習輔助系統根據該視訊資料判定出使用者正在開口說話，該第二條件則代表該線上學習輔助系統接收到由使用者所發出的語音信號。具體而言，該線上學習輔助系統檢測使用者是否開口方式，可例如是透過檢測使用者上下嘴唇之特徵點的位置，並計算上下嘴唇之特徵點之間的距離來實現，上下嘴唇之特徵點的檢測同樣可例如是採用現有的主動形狀模型，或者是以深度學習方式訓練的神經網路等技術來達成，但並不以此為限。

該線上學習輔助系統分析人臉區域圖像，並統計一正向表情條件符合的次數（在此作為一正向表情次數），該正向表情條件可例如是代表該線上學習輔助系統藉由分析人臉區域圖像而判定使用者的表情是面帶微笑或者顯露愉悅，但並不以此為限。舉例來說，如圖7所示，該線上學習輔助系統可例如是檢測嘴部的一特徵點E3、一特徵點E4及一特徵點E5，並根據該等特徵點E3、E4及E5的位置判斷該正向表情條件是否符合。其中，嘴部特徵點的檢測同樣可例如是採用現有的主動形狀模型，或者是以深度學習方式訓練的神經網路等技術來實現，但並不以此為限。

該線上學習輔助系統根據該互動時間長度、該正向表情次數，以及當前之線上課程已進行之累計時間，計算出一對應該互動時間長度的互動分數以及一對應該正向表情次數的正向表情分數。更具體地說，該互動分數例如是等於該互動時間長度與當前之線上課程已進行之累計時間之間的比值，而該正向表情分數則例如是等於該正向表情次數與當前之線上課程已進行之累計時間之間的比值。舉例來說，假設該互動時間長度為10分鐘，該正向表情次數為12次，且當前的線上課程已經進行了40分鐘，則該互動分數例如為10/40，且該正向表情分數則例如為12/40。該互動分數及該正向表情分數有助於在線上課程進行的過程中即時地反映使用者的活躍程度。

該線上學習輔助系統根據該互動分數、該正向表情分數以及一預先定義的活躍度映射規則計算出一對應於使用者的當前的活躍度等級。

考慮到教師在授課的過程中可能會將著眼點放在授課上，而沒有多餘的精力兼顧學生當前的學習狀態，也無法根據使用者的學習狀態來即時提供反饋。因此，在該線上學習輔助系統計算出使用者當前的活躍度等級之後，可以將使用者的活躍度等級透過該線上教室傳送至一由教師所持有的教師端，則教師便可根據使用者當前的活躍度等級即時地調整授課策略。例如，若使用者的當前活躍度等級特別低，教師可以穿插一些提問、講故事等互動環節，藉此提升使用者的活躍度等級。該教師端可例如為一智慧型手機、一平板電腦、一筆記型電腦或一桌上型電腦。

此外，在本實施例中，在線上課程開始前，該線上學習輔助系統還例如獲得使用者的歷史活躍度等級，並透過所述的線上教室傳送至教師端。此處所述的歷史活躍度等級可例如是使用者多次進行線上課程的活躍度等級的平均值。如此一來，教師便能透過教師端了解使用者的歷史活躍度等級，藉此對學生的歷史學習情形有一個基本的瞭解，而便於確定此次教學時採用的教學策略。例如，對於歷史活躍度等級較低的學生，可以多設置教師與學生的互動環境，或者多增加由學生來發言的環節，來提升學生的參與度和活躍度。

在線上課程進行的過程中，該線上學習輔助系統根據該互動分數、該正向表情分數等計算出一相關於使用者的當前活躍度等級。

若該線上學習輔助系統判斷出使用者的該當前活躍度等級高於該歷史活躍度的等級，且該當前活躍度等級大於該歷史活躍度的幅度超過一進步門檻值時，該線上學習輔助系統透過所述線上教室傳送一獎勵提醒至所述線上教室，以使線上教室將該獎勵提醒轉發給教師端，如此一來，教師便可以透過語音或手勢來對使用者表示獎勵，且該線上學習輔助系統也能藉此辨識出教師傳送獎勵的語音或手勢，而累加使用者的獎勵次數。

若該線上學習輔助系統判斷出使用者的該當前活躍度等級低於該歷史活躍度的等級降低，且該當前活躍度等級低於該歷史活躍度的幅度超過一退步門檻值時，該線上學習輔助系統輸出一互動提醒。在本實施例中，該線上學習輔助系統輸出該互動提醒的方式，可例如是以播放語音的方式輸出「請同學多參與課程中的互動」以提醒上課中的使用者，也可例如是將該互動提醒輸出至線上教室，以供線上教室將互動提醒轉發至教師端，如此一來，教師在教師端看到該互動提醒後，便可以酌情增加課程中與使用者互動的環節。

因此，藉由本實施例根據該使用者狀態分析處理的結果觸發該第二控制指令，以及將使用者狀態即時傳送給教師端的方式，可以達成將真人教學和機器教學有機的組合，如此一來，本實施例能以真人教學彌補機器教學靈活性不足、語音交互能力弱、社交程度不足、無法以符合使用者認知能力的方式進行互動交流的問題，另一方面，本實施例亦能以機器教學來彌補真人教學的資料統計能力不足、線程（thread）少的問題。該線上學習輔助系統的智能語意辨識、智能面部識別和智能人臉追蹤的功能，可以有效减少使用者上課分神、注意力不集中的情况，並且，將語意辨識結合聲光特效的播放，能有效提高課堂趣味性，並且提高使用者的參與感及現場體驗感。本實施例透過真人教學和機器輔助教學兩者的互補結合，可以給使用者提供最好的學習體驗。

在本實施例中，在線上課程結束後，該線上學習輔助系統還可以進一步統計使用者在線上課程中獲得的獎勵次數、屬於非專注時間的累計時間長度、符合該疲勞狀態條件的累計時間長度以及該活躍度等級，並據其產生一線上學習評測報告。該線上學習輔助系統並能將該線上學習評測報告以顯示或語音的方式輸出，也可以將該線上學習評測報告傳送至該線上教學系統，以供該線上教學系統將該線上學習評測報告儲存後再轉發給教師，以利教師能參考該線上學習評測報告而對學生進行評分，從而得到較為客觀的評分結果。

如圖9所示，本實施例的該線上學習輔助系統包含一通訊模組M100、一影片模組M200、一分析模組M300以及一指令模組M400。

該通訊模組M100用於在線上課程開始進行時與該線上課程所對應的一線上教室建立網路連接，以及在線上課程進行的過程中，即時地接收來自該線上教室的多媒體資料，並即時地接收並傳送該視訊資料至該線上教室。

該影片模組M200用於即時接收相關於使用者的該視訊資料。

該分析模組M300用於分析該多媒體資料中該教師以手勢或語音發出的指示，以及根據該視訊資料進行該使用者狀態分析處理。

該指令模組M400用於在偵測到該特定指示時觸發對應該特定指示的該第一控制指令，以及根據該使用者狀態分析處理的結果觸發對應的該第二控制指令。

本實施例的該線上學習輔助系統透過該通訊模組M100和該影片模組M200實現了使用者透過學伴機器人進行線上學習，透過即時流媒體的傳輸，給予使用者與教師面對面交流的真實體驗。該通訊模組M100可例如是基於webRTC技術等與線上教室的服務器傳輸資料，而能提高使用者與教師互動的即時性和流暢性。透過該分析模組M300及該指令模組M400，該線上學習輔助系統實現了真人授課與機器人輔助學習的有機結合，在線上課程進行的過程中，該線上學習輔助系統發揮了助教的作用，不僅可以根據使用者當前的狀態給出反饋，還可以即時分析教師的手勢或語音，播放特效或給予學生獎勵，從而進一步基於人工智能技術提升教學效果。

在本實施例的線上學習輔助系統中，各個模組的功能可以採用前述線上學習輔助方法中各個步驟的具體實施方式來實現。具體而言，該通訊模組M100及該影片模組M200例如是分別採用步驟S100和步驟S200的實施方式來實現，該分析模組M300及該指令模組M400例如是分別採用步驟S300和步驟S400的實施方式來實現，此處不予贅述。

本實施例還提供一種線上學習輔助設備，該線上學習輔助設備亦可作為一學伴機器人，並且包含一處理器及一儲存器。該儲存器儲存有多個可被該處理器執行的可執行指令，且該處理器配置為藉由執行該等可執行指令來實施該線上學習輔助方法的各個步驟。

該處理器及該儲存器可以作為該線上學習輔助設備的核心控制器，而設置於該線上學習輔助設備上。為了實現使用者與教師線上面對面地交流，該線上學習輔助設備至少需要具備攝影鏡頭來接收使用者圖像、具備麥克風來接收使用者語音、具備語音播放裝置來播放教師語音、具備顯示裝置來播放教師畫面。為了更方便使用者使用，該線上學習輔助設備還可以增加設置可以移動的滑輪、可以檢測使用者身體狀態的紅外測溫儀、可以顯示燈光特效的各種色彩的燈具等等。

本發明技術領域中具通常知識者應當理解，本發明的各個方面可以被實施為系統、方法或電腦可讀取記錄媒體。因此，本發明的各個方面可以具體實現為以下形式，即：完全的硬體實施方式、完全的軟體實施方式（亦即程式碼或電腦演算法），或者硬體及軟體彼此結合的實施方式，所述軟硬體彼此結合的方式可例如統稱為「電路」、「模組」或「平台」。

參閱圖10，以下描述一能實施本實施例之線上學習輔助方法的電子設備600。需注意的是，該電子設備600僅是用於示例說明，而非用於限定本發明的實施方式及其範圍。

如圖10所示，電子設備600以通用計算設備的形式表現。該電子設備600的組合可以包含但不限於：至少一個處理單元610、至少一個儲存單元620、連接不同平台組合（包含儲存單元620和處理單元610）的匯流排630，以及一顯示單元640等。

其中，所述儲存單元620儲存有程式碼，所述程式碼可以被所述處理單元610執行，使得所述處理單元610能執行前述上述線上學習輔助方法的各個步驟，再次不予贅述。

所述儲存單元620可例如包含揮發性儲存單元形式的電腦可讀取儲存介質，例如隨機存取記憶體（RAM）6201及/或高速暫存記憶體6202，所述儲存單元620還可以進一步包含唯獨記憶體（ROM）6203。

所述儲存單元620還可以包含具有一組（至少一個）程式模組6205的程式/實用工具6204，這樣的程式模組6205包含但不限於：操作系統、一個或者多個應用程式、其它程式模組以及程式資料，這些示例中的每一個或某種組合中可能包含網路環境的實現。

該匯流排630可以被實施為現有匯流排結構中的一或多種，且該匯流排630例如包含儲存單元匯流排或者儲存單元控制器、外圍匯流排、圖形加速連接端、處理單元或者使用多種匯流排結構中的任意匯流排結構的局域匯流排。

該電子設備600也可以與一或多個外部設備700（例如鍵盤、指向設備、藍牙設備等）通訊，還可與一或者多個使得使用者能與該電子設備600互動的設備通訊，及/或與使得該電子設備600能與一或多個其它計算設備進行通訊的任何設備（例如路由器、調變器及解調器等）通訊。這種通訊可以透過輸出入連接埠（I/O）650進行。並且，該電子設備600還可以透過網路適配器660與一或多個網路通訊，所述網路可例如為區域網路（LAN），廣域網路（WAN）及網際網路（Internet）等。網路適配器660可以透過匯流排630與電子設備600的其它模組通訊。應當理解的是，雖然圖中並未特別示出，但該電子設備600可被結合來與其他硬體及/或軟體模組共同運作，所述的其他硬體及/或軟體可例如包含微代碼、設備驅動器、冗餘處理單元、外部磁盤驅動陣列、RAID系統、磁帶驅動器以及資料備份儲存平台等。

本實施例還提供一種電腦可讀取記錄媒體，該電腦可讀取記錄媒體儲存一應用程式，該應用程式被電子裝置載入並執行時，能使電子裝置實施前述的線上學習輔助方法的各個步驟。在不同的實施態樣中，該電腦可讀取記錄媒體可例如被實施為一種包含該應用程式之程式碼的電腦程式産品。並且，當該電腦程式産品在電子裝置或設備上運行時，能使電子裝置實施前述的線上學習輔助方法的各個步驟。

參考圖11所示，圖11示例性地表示了如前所述的一電腦程式産品800，該電腦程式産品800可例如被實施為一光碟片（CD-ROM）並包含前述的程式碼，並可以在各種電子裝置或終端設備上運行（例如智慧型手機、平板電腦、筆記型電腦、桌上型電腦、雲端伺服器，或者是工業電腦）。然而，該電腦程式産品800的具體實施方式並不限於此，而可以是任何包含或儲存程式的有形介質，該程式可以被指令執行系統、裝置或者器件使用或者與其結合使用。

該電腦程式産品800也可以是採用一個或多個電腦可讀取儲存介質的任意組合。每一電腦可讀取儲存介質可以是可讀信號介質或者可讀儲存介質。可讀儲存介質例如可以為但不限於電、磁、光、電磁、紅外線、或半導體的系統、裝置或器件，或者任意以上的組合。可讀儲存介質的更具體的例子（非窮極的列表）包含：具有一個或多個導線的電連接器、便携式盤、硬碟、隨機存取記憶體（RAM）、唯讀記憶體（ROM）、可程式化非揮發性唯獨記憶體（例如EPROM或快閃記憶體）、光纖、光碟片（CD-ROM）、光儲存器件、磁儲存器件、或者上述的任意合適的組合。

所述電腦可讀取記錄媒體可以包含在基帶中或者作為載波一部分傳播的資料信號，其中承載了可讀程式碼。這種傳播的資料信號可以採用多種形式，包含但不限於電磁信號、光信號或上述的任意合適的組合。可讀儲存介質還可以是可讀儲存介質以外的任何電腦可讀取儲存介質，該電腦可讀取儲存介質可以傳送、傳播或者傳輸用於由指令執行系統、裝置或者器件使用或者與其結合使用的程式。可讀儲存介質上包含的程式碼可以用任何適當的介質傳輸，包含但不限於無線、有線、光纜、RF等等，或者上述的任意合適的組合。

並且，用於執行本發明操作的程式碼能夠以一種或多種程式設計語言的任意組合來編寫，所述程式設計語言包含面向對象的程式設計語言—諸如Java、C++等，還包含常規的過程式程式設計語言，諸如“C”語言或類似的程式設計語言。程式碼可以完全地在使用者計算設備上執行、部分地在使用者設備上執行、作為一個獨立的軟體包執行、部分在使用者計算設備上部分在遠程計算設備上執行、或者完全在遠程計算設備或服務器上執行。在涉及遠程計算設備的情形中，遠程計算設備可以透過任意種類的網路，包含區域網路（LAN）或廣域網路（WAN），連接到使用者計算設備，或者，可以連接到外部計算設備（例如利用網際網路服務供應商來透過網際網路連接）。

綜上所述，與現有技術相比，本實施例中所述的線上學習輔助方法、線上學習輔助系統、線上學習輔助設備及電腦可讀取記錄媒體解决了現有技術中的問題，將真人授課與學伴機器人的學伴功能相結合，將人和機器予以聯動，形成真人教學和機器人陪伴學習的人機聯動學習模式，充分發揮人的社會化過程中與人互動及與機器互動相互補足的優勢，從而在提升學習效果的同時提升使用者使用體驗，故確實能達成本發明之目的。

惟以上所述者，僅為本發明之實施例而已，當不能以此限定本發明實施之範圍，凡是依本發明申請專利範圍及專利說明書內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。

S100~S400······· 步驟 d1~d4·············· 距離 E1~E5·············· 特徵點 M100·········· 通訊模組 M200·········· 影片模組 M300·········· 分析模組 M400·········· 指令模組 600············· 電子設備 610············· 處理單元 620············· 儲存單元 6201··········· 隨機存取記憶體 6202··········· 高速暫存記憶體 6203··········· 唯獨記憶體 6204··········· 程式/實用工具 6205··········· 程式模組 630············· 匯流排 640············· 顯示單元 650············· 輸出入連接埠 660············· 網路適配器 700············· 外部設備 800············· 電腦程式産品

本發明之其他的特徵及功效，將於參照圖式的實施方式中清楚地呈現，其中： 圖1是一流程圖，示例性地說明一線上學習輔助系統如何實施本發明線上學習輔助方法的一實施例； 圖2是一流程圖，進一步地示例性說明該線上學習輔助系統如何實施該線上學習輔助方法； 圖3是一流程圖，進一步地示例性說明該線上學習輔助系統如何實施該線上學習輔助方法； 圖4是一流程圖，進一步地示例性說明該線上學習輔助系統如何實施該線上學習輔助方法； 圖5是一流程圖，進一步地示例性說明該線上學習輔助系統如何實施該線上學習輔助方法； 圖6是一示意圖，用於示例說明該實施例如何對一人臉區域圖像進行分析； 圖7是一示意圖，用於示例說明該實施例如何對該人臉區域圖像進行分析； 圖8是一流程圖，進一步地示例性說明該線上學習輔助系統如何實施該線上學習輔助方法； 圖9是本發明之該線上學習輔助系統的一功能方塊示意圖； 圖10是本發明之一線上學習輔助設備的一示意圖；及 圖11是本發明之一電腦可讀取記錄媒體的一示意圖。

S100~S400······· 步驟

Claims (12)

1. 一種線上學習輔助方法，由一線上學習輔助系統實施，該線上學習輔助方法包含：當一線上課程開始時，該線上學習輔助系統與該線上課程所對應的一線上教室建立連接；在該線上課程進行的過程中，該線上學習輔助系統即時地接收及播放一來自該線上教室的多媒體資料，並且即時地接收並傳送一相關於使用者的視訊資料至該線上教室；該線上學習輔助系統分析該多媒體資料中的教師以手勢發出的指示，並於偵測到一由該教師以手勢發出的特定指示時觸發一對應該特定指示的第一控制指令；及該線上學習輔助系統根據該視訊資料進行一使用者狀態分析處理，並根據該使用者狀態分析處理的結果觸發一對應的第二控制指令；其中，該線上學習輔助系統於偵測到該特定指示時觸發該第一控制指令的方式包含：該線上學習輔助系統判斷該特定指示所屬的指示類別；當該線上學習輔助系統判斷出該特定指示的指示類別為一特效類別時，判斷該特定指示在特效類別中所對應的一特效項目，並且播放對應該特效項目的特效；及當該線上學習輔助系統判斷出該特定指示的指 示類別為一獎勵類別時，累加一對應當前之線上課程的獎勵次數。
2. 如請求項1所述的線上學習輔助方法，其中，該線上學習輔助系統根據該使用者狀態分析處理的結果觸發該第二控制指令的方式包含：該線上學習輔助系統對該視訊資料進行一人臉提取處理；若該線上學習輔助系統無法從該視訊資料中提取出人臉區域圖像，或者判斷出所提取出的一人臉區域圖像不符合一預設條件，則判定當前的時間屬於非專注時間；當該線上學習輔助系統判斷出非專注時間的累計時間長度超過一預設時間門檻值，控制一攝影鏡頭轉動，直至該線上學習輔助系統從該視訊資料中偵測出符合該預設條件的人臉區域圖像；及該線上學習輔助系統根據該視訊資料進行該使用者狀態分析處理，並於判定出一疲勞狀態條件符合時觸發作為一提醒指令的該第二控制指令。
3. 如請求項2所述的線上學習輔助方法，其中，該線上學習輔助系統根據該使用者狀態分析處理的結果觸發該第二控制指令的方式還包含：該線上學習輔助系統統計出一互動時間長度，該互動時間長度代表該線上學習輔助系統判定出使用者開口且同時還接收到語音輸入的時間長度；該線上學習輔助系統根據該人臉區域圖像統計一相 關於使用者之表情的正向表情次數；該線上學習輔助系統根據該互動時間長度、該正向表情次數及當前課程已進行的累計時間計算出一對應該互動時間長度的互動分數，以及一對應該正向表情次數的正向表情分數；該線上學習輔助系統根據該互動分數、該正向表情分數以及一預先定義的活躍度映射規則計算出一相關於使用者的活躍度等級；及該線上學習輔助系統將該活躍度等級傳送至一教師端。
4. 如請求項3所述的線上學習輔助方法，還包含：該線上學習輔助系統在課程結束後根據該獎勵次數、非專注時間的累計時間長度、符合該疲勞狀態條件的累計時間長度以及該活躍度等級產生一線上學習評測報告。
5. 如請求項3所述的線上學習輔助方法，還包含：該線上學習輔助系統在該線上課程開始前，將一相關於使用者的歷史活躍度等級傳送至該教師端；該線上學習輔助系統在該線上課程進行中計算出一當前活躍度等級；該線上學習輔助系統在判斷出該當前活躍度等級大於該歷史活躍度的幅度超過一進步門檻值時，傳送一獎勵提醒至該教師端；及該線上學習輔助系統在判斷出該當前活躍度等級低於該歷史活躍度的幅度超過一退步門檻值時，輸出一互動 提醒。
6. 如請求項1所述的線上學習輔助方法，還包含：該線上學習輔助系統根據一對應使用者的歷史線上課程紀錄及一歷史線上課程進度產生並輸出一課程推薦結果；及當該線上學習輔助系統接收到一課程預訂語音訊息時，根據該課程預訂語音訊息進行線上課程的預訂。
7. 如請求項6所述的線上學習輔助方法，還包含：該線上學習輔助系統於一預訂線上課程開始前的一第一時間點輸出一預習提醒；該線上學習輔助系統於接收到一對應該預習提醒的預習指令後顯示該預訂線上課程所對應的教材；該線上學習輔助系統於該預訂線上課程開始前的一第二時間點輸出一上課提醒；該線上學習輔助系統於線上課程結束後的一第三時間點輸出一複習提醒；當該線上學習輔助系統接收到一複習指令，且判斷出該複習指令所指示出的複習方式是教材複習方式時，顯示對應之線上課程的教材；及當該線上學習輔助系統判斷出該複習指令所指示出的複習方式是影片複習方式時，播放一預先錄製的線上課程影片。
8. 如請求項7所述的線上學習輔助方法，其中，該線上學習輔助系統在播放該線上課程影片時，還根據所接收到的 語音輸入控制該線上課程影片的播放進度。
9. 如請求項1所述的線上學習輔助方法，還包含：該線上學習輔助系統於判斷出使用者未登入一線上教學系統時，判斷使用者是否已註冊該線上教學系統；若該線上學習輔助系統判斷出使用者已註冊該線上教學系統，則在接收到一登入語音請求時從該登入語音請求獲得一相關於使用者的登入驗證資料，並根據該登入驗證資料登入該線上教學系統；及若該線上學習輔助系統判斷出使用者未註冊該線上教學系統，則在接收到一註冊語音請求時向該線上教學系統註冊一使用者帳戶，並將該使用者帳戶帳號與該線上學習輔助系統本身綁定。
10. 一種線上學習輔助系統，包含：一通訊模組，用於在一線上課程開始時與該線上課程所對應的一線上教室建立連接，以及在該線上課程進行的過程中，即時地接收一來自該線上教室的多媒體資料，並且傳送一相關於使用者的視訊資料至該線上教室；一影片模組，用於即時地接收該視訊資料；一分析模組，用於分析該多媒體資料中的教師以手勢發出的指示，以及根據該視訊資料進行一使用者狀態分析處理；一指令模組，用於在偵測到一由該教師以手勢發出的特定指示時觸發一對應該特定指示的第一控制指令，以及根據該使用者狀態分析處理的結果觸發一對應的第二控 制指令；該線上學習輔助系統能實施如請求項1至9其中任一項所述的線上學習輔助方法。
11. 一種線上學習輔助設備，包含：一處理器；及一儲存器，電連接該處理器，並儲存有多個可被該處理器執行的可執行指令；其中，該處理器被配置為藉由執行該等可執行指令而實施如請求項1至9其中任一項所述的線上學習輔助方法。
12. 一種電腦可讀取記錄媒體，儲存一應用程式，當該應用程式被一電子裝置載入並執行時，能使該電子裝置實施如請求項1至9其中任一項所述的線上學習輔助方法。

Images