TWI711016B

TWI711016B - 具即時互動與記憶回饋的實境教學與測驗之系統

Info

Publication number: TWI711016B
Application number: TW108113368A
Authority: TW
Inventors: 張玉梅; 賴金輪
Original assignee: 亞東技術學院
Priority date: 2019-04-17
Filing date: 2019-04-17
Publication date: 2020-11-21
Also published as: TW202040528A

Abstract

本發明提供一種具即時互動與記憶回饋的實境教學與測驗之系統。系統包含一影像擷取模組、一物件建立處理模組、一投影顯示模組、一數據收集分析模組、一視訊紀錄回饋模組、一學習修正模組。影像擷取模組掃描及擷取一場景。物件建立處理模組依據該場景及執行的一待學技能腳本，自一物件資料庫取得屬於該場景中的虛擬物件。投影顯示模組投影顯示該場景及該虛擬物件的影像至一成像平面。數據收集分析模組即時的擷取及識別由外部變化產生的外在命令，以決定該待學技能腳本的改變，並感測一學習者對應回應的操作動作。視訊紀錄回饋模組以影音方式紀錄該學習者操作動作的歷程。學習修正模組紀錄該待學技能腳本的改變及該學習者對應回應的操作動作，以建立/修正成為新的待學技能腳本。

Description

具即時互動與記憶回饋的實境教學與測驗之系統

本發明涉及一種實境教學與測驗之系統，特別是涉及一種具即時互動與記憶回饋的實境教學與測驗之系統。

現行的技能教學與測驗方案，例如護理技能的教學與測驗方案仍多仰賴較為傳統模式，尤其護理技能的教學與測驗過程對於主監試人力與特殊設備、耗材及場地的需求有諸多要求，故對於學生在自學、練習及預試上的需求，都將產生時空上的諸多限制。近年來，儘管已逐漸有採用擴增或虛擬實境技術的技能教學與測驗方案出現，然而仍存在有許多問題未解，例如缺乏了視訊記憶回饋、虛實整合的真人隨機互動的教學指導與測驗、及自動學習的功能，以至於採用實境技術的技能教學與測驗方案的效能和擬真性仍有待改善。

緣是，本發明人有感上述問題之可改善，乃潛心研究並配合學理之運用，而提出一種設計合理且有效改善上述問題之本發明。

本發明所要解決的技術問題在於，針對現有技術的不足提供一種具即時互動與記憶回饋的實境教學與測驗之系統，包含：一影像擷取模組，掃描及擷取一場景；一物件建立處理模組，連接該影像擷取模組，依據該場景及執行的一待學技能腳本，自內建的一物件資料庫取得屬於該場景中的虛擬物件；一投影顯示模組，連接該物件建立處理模組，投影顯示該場景及該虛擬物件的影像至一成像平面；一數據收集分析模組，連接該物件建立處理模組，即時的擷取及識別由外部變化產生的外在命令，以決定該待學技能腳本的改變，並感測一學習者對應回應的操作動作；一視訊紀錄回饋模組，連接該數據收集分析模組，以影音方式紀錄該學習者操作動作的歷程，並標記出該學習者操作動作的歷程中重點的地方及/或錯誤的地方，以供後續進行全程回饋、重點回饋、或錯點回饋；一學習修正模組，連接該數據收集分析模組，紀錄該待學技能腳本的改變及該學習者對應回應的操作動作，以建立/修正成為新的待學技能腳本。

為使能更進一步瞭解本發明的特徵及技術內容，請參閱以下有關本發明的詳細說明與圖式，然而所提供的圖式僅用於提供參考與說明，並非用來對本發明加以限制。

請參閱圖1，其為本發明的具即時互動與記憶回饋的實境教學與測驗之系統的方塊圖。如圖1所示，具即時互動與記憶回饋的實境教學與測驗之系統1(簡稱系統1)基本上包含有：一影像擷取模組10、一物件建立處理模組20、一投影顯示模組30、一數據收集分析模組40、一視訊紀錄回饋模組50、一學習修正模組60。物件建立處理模組20連接影像擷取模組10及投影顯示模組30。數據收集分析模組40連接物件建立處理模組20、視訊紀錄回饋模組50及學習修正模組60。

影像擷取模組10例如可以是設置在日常使用的行動裝置(如手機、平板)，或是穿戴式裝置(如頭盔)中的攝像頭，如圖3所示，其可在學習者L開啟實境應用程式時，掃描及擷取一場景11，例如空病房或練習房。

物件建立處理模組20用於依據該場景11及執行的一待學技能腳本，例如一待學護理技能腳本，自內建的一物件資料庫201取得屬於該場景11中的虛擬物件201，如圖3所示，例如為或包含有虛擬病床21a、虛擬病人21b、虛擬醫療器具21c、虛擬手掌21d等。

因此，物件建立處理模組20可依據各種場景，以及各種待學技能腳本，自物件資料庫201取得屬於該場景中的虛擬物件。其中，各種待學技能腳本可採用適合的腳本語言描述各種待學技能的訓練內容，如物件的控制、操作的流程步驟等，以可編輯的文本方式儲存。

投影顯示模組30用於投影顯示該場景11及該虛擬物件21的影像至一成像平面31，例如將該場景11及該虛擬物件21疊加形成的擴增實境影像於平板屏幕上進行顯示，或於投影布幕上進行顯示。

因此，在本實施例中，透過系統1嵌入有擴增實境技術，以利用此技術讓成像平面31上的虛擬世界與實體世界的場景做到近乎完美的疊合。

當學習者L按待學技能腳本中預先編寫好的操作流程步驟做出行為動作時，為了能訓練學習者L遇到突發狀況時的臨場反應，系統1將從實體世界中的特定人事物，以虛擬形式帶入虛擬世界中以與學習者L以及虛擬物件21互動，換句話說，透過在實體世界中的人事物臨時所指定的突發狀況，其腳本將會帶入虛擬世界中，並藉由學習者L當下給予的回應，以檢驗訓練成效。因此，在本實施例中，系統1可透過數據收集分析模組40即時的擷取及識別由一教學者T產生的外在命令，來決定待學技能腳本的訓練內容的改變，以達到根據教學者T和學習者L之臨場互動反應自動修正與新增內容腳本。

舉例來說，於實體世界中的教學者T，可以藉由口述命令、或改變場景11中實體物件的形式、或以手勢操控虛擬物件21等方式給予外部變化，以使數據收集分析模組40依據上述外部變化產生的外在命令，以決定待學技能腳本的訓練內容的改變，而學習者L則需針對新的腳本進行回應，故系統1將可感測及紀錄學習者L臨場反應的操作歷程，以供進行訓練成效的評估。

為了能即時的擷取及識別由教學者T產生的外在命令，如圖2所示，數據收集分析模組40可包含有一語音識別單元41，且語音識別單元41嵌入有語音識別技術，以識別教學者T的口述命令，使數據收集分析模組40能依據教學者T的口述命令，決定待學技能腳本的訓練內容的改變。

舉例來說，當按待學技能腳本中預先編寫好的操作流程步驟，執行至步驟三時，教學者T可突然發出口述命令，如“修正步驟三，病人流血，加入止血動作”，系統1即可依據教學者T的口述命令，改變待學技能腳本中預先編寫好的步驟三，以適用於新的臨床狀況。因此，教學者T可以藉由口述命令，變更或加入步驟，使數據收集分析模組40依據教學者T的口述命令，改變待學技能腳本中的操作流程步驟。藉此，教學者T如護理師不需特地去學或編寫腳本語句來形成腳本文件，可更專注於各種不同的臨床狀況，以訓練學習者L於臨床護理時遇到突發狀況時的臨場反應。並且，學習者L可在沒有病人安危顧慮的狀況下，得到訓練的機會。

另外，為了能即時的擷取及識別由教學者T產生的外在命令，如圖3所示，數據收集分析模組40還可包含有一手勢識別單元42，且手勢識別單元42嵌入有手勢識別技術，以識別教學者T的手勢命令，使數據收集分析模組40亦能依據教學者T的手勢命令，決定待學技能腳本的訓練內容的改變。

又，系統1還可透過教學者T的語音及手勢，判斷學習者L的操作動作是否成功或失敗。舉例來說，教學者T可發出或比出操作成功的語音或手勢，使系統1判斷出學習者L的操作動作為成功。

再者，為了能感測學習者L的操作動作，如圖2所示，數據收集分析模組40還可包含有一動作感測單元43，且動作感測單元43可嵌入有動作體感技術，以感測學習者L的操作動作，使系統1能依據學習者L的操作動作，控制虛擬物件21做出相應的動作反饋。

舉例來說，動作感測單元43可以包含有設置在手機或平板的無線接收器及配戴於學習者L手上的感應手套431(如圖3)，以感測學習者L的動作，對應產生感測數據，並將感測數據傳輸至無線接收器，使系統1能根據無線接收器接收到的感測數據控制虛擬手掌21d做出相應的動作反饋，例如控制虛擬手掌21d觸碰到虛擬醫療器具21c或虛擬病人21b。因此，虛擬手掌21d與實體世界中的感應手套431相對應，當學習者L在實體世界中移動感應手套431時，該虛擬手掌21d也相應進行移動，從而使受測者T可以操控虛擬手掌21d，與虛擬物件21進行互動。

再者，當穿戴感應手套431的學習者L的與虛擬物件21觸碰到時，感應手套431能透過內建的震動元件432如微型馬達產生震動回饋，以產生對應的觸感，從而增加觸碰感，提高互動的沉浸感。

另外，動作感測單元43例如也可以是運用3D掃描及重建技術的Kinect感測器，或是運用燈塔雷射追蹤技術的發射器與感應手柄，但不以此為限。

在優選實施例中，如圖4所示，系統1還可以包含有一提示模組70，連接物件建立處理模組20。提示模組70用於依據待學技能腳本中的操作流程步驟，提示受測者作出相應的操作動作。進一步來說，提示模組70能以文字提示方式於成像平面31上進行提示，從而以視覺回饋方式讓學習者L作出相應的操作動作，並且提示模組70亦能以語音提示方式進行提示，從而以聽覺回饋方式提示學習者L作出相應的操作動作。因此，透過系統1同時具有視覺與聽覺提示功能，讓學習者L更容易依據待學技能腳本中的操作流程步驟作出相應的操作動作與虛擬物件進行互動。

另外，在學習者L學習與訓練過程中，所有的操作動作的歷程，系統1皆將以影音形式同步完整的記錄，並藉由即時的操作動作內容分析，自動進行標籤與標記的工作。因此，在本實施例中，系統1可透過視訊紀錄回饋模組50，以影音方式同步紀錄學習者L的操作動作的歷程，並標記出學習者L操作動作的歷程中的重點的地方及/或錯誤的地方。

進一步來說，視訊紀錄回饋模組50可透過影像比對標記出學習者L操作動作的歷程中錯誤的地方，以將學習者L操作動作的歷程中錯誤的地方與相應的教學影片片段一起播放出來，供學習者L觀看，以強化學習效能。

另外，系統1也可在教學者T發出或比出操作失敗的語音或手勢時，立即將學習者L操作動作錯誤的地方與相應的教學影片片段一起播放出來，以更強化學習效能。

再者，視訊紀錄回饋模組50以影音方式同步紀錄學習者L操作動作的歷程，產生一訓練影片，此訓練影片將可於訓練結束後，作為視訊記憶回饋片段，以促進學習效能。視訊記憶回饋方式可以採用如：全程回饋、重點回饋、或錯點回饋等方式，也就是可依學習者L或教學者T的選擇對影片進行全程回放、重點回放、或錯點回放，且教學者T亦可從中蒐集統計數據，了解學習者個人和群體的學習障礙，給予個別協助。

並且，在學習者L學習與訓練過程中，學習者L與虛擬物件21的互動過程，將會產生互動資訊，互動資訊即為虛擬物件21彼此接觸、互碰、嵌合、覆蓋產生之互動關係下的結果，並可被紀錄下來，也就是當待學技能腳本的訓練內容因著外部給予的變化而改變時，學習者L對應回應的操作動作所產生的互動資訊，系統1可透過學習修正模組60紀錄下來成為範本，以修正/新增成為一新的待學技能腳本，也就是說，系統1可透過學習修正模組60能自動化更改與新增訓練內容腳本。因此，在本實施例中，系統1利用真人在場景中給予的情境和回饋指導等流程，自動加入於現存的標準訓練流程中，而成為全新或修正的訓練內容。

綜合以上所述，本發明之系統除了可以利用人們皆有的手持裝置如手機或平板，以極低的成本，用直覺式的肢體操控互動方式在預先建立的虛擬情境下完成自學目標以外，更進一步加入了視訊記憶回饋功能、以及與真人隨機互動的教學指導與測驗功能，使得利用實境技術的學習更加接近真實狀況，以提昇學習的效能以及臨場危機應變能力。此外，由於本發明之系統加入了自我學習功能，將能利用真人在實境場景中的反應和指導，自動加入於現存的標準訓練流程中，如此不僅大幅增加了訓練學習的彈性，也有效減少了程式開發人員維護系統所需的各項成本，對於現有利用各種實境技術(AR/MR)進行學習與訓練的應用系統而言，將大幅增加其附加價值並減少維運成本。

1：具即時互動與記憶回饋的實境教學與測驗之系統 10：影像擷取模組 11：場景 20：物件建立處理模組 21：虛擬物件 21a：虛擬病床 21b：虛擬病人 21c：虛擬醫療器具 21d：虛擬手掌 201：物件資料庫 30：投影顯示模組 31：成像平面 40：數據收集分析模組 41：語音識別單元 42：手勢識別單元 43：動作感測單元 431：感應手套 432：震動元件 50：視訊紀錄回饋模組 60：學習修正模組 70：提示模組 L：學習者 T：教學者

圖1為本發明提供的具即時互動與記憶回饋的實境教學與測驗之系統的方塊圖。

圖2為本發明提供的具即時互動與記憶回饋的實境教學與測驗之系統的數據收集分析模組的方塊圖。

圖3為本發明提供的具即時互動與記憶回饋的實境教學與測驗之系統運作的示意圖。

圖4為本發明提供的具即時互動與記憶回饋的實境教學與測驗之系統的另一方塊圖。

1：具即時互動與記憶回饋的實境教學與測驗之系統 10：影像擷取模組 20：物件建立處理模組 201：物件資料庫 30：投影顯示模組 40：數據收集分析模組 50：視訊紀錄回饋模組 60：學習修正模組

Claims

一種具即時互動與記憶回饋的實境教學與測驗之系統，包含：一影像擷取模組，掃描及擷取一場景；一物件建立處理模組，連接該影像擷取模組，依據該場景及執行的一待學技能腳本，自內建的一物件資料庫取得屬於該場景中的虛擬物件；一投影顯示模組，連接該物件建立處理模組，投影顯示該場景及該虛擬物件的影像至一成像平面；一數據收集分析模組，連接該物件建立處理模組，即時的擷取及識別由一教學者產生的外在命令，以決定該待學技能腳本的訓練內容的改變，並感測一學習者對應回應的操作動作；其中，該外在命令為該教學者的口述命令，該數據收集分析模組包含有一語音識別單元，以語音識別方式識別出由該教學者產生的口述命令，使該數據收集分析模組能依據該教學者產生的口述命令，決定該待學技能腳本的改變；其中，該數據收集分析模組包含有一動作感測單元，以動作感測方式感測出該學習者對應回應的操作動作；一視訊紀錄回饋模組，連接該數據收集分析模組，以影音方式紀錄該學習者操作動作的歷程，並標記出該學習者操作動作的歷程中重點的地方及/或錯誤的地方，以供後續進行全程回饋、重點回饋、或錯點回饋；一學習修正模組，連接該數據收集分析模組，紀錄該待學技能腳本的訓練內容的改變及該學習者對應回應的操作動作，以修正/新增成為一新的待學技能腳本。
如申請專利範圍第1項所述的具即時互動與記憶回饋的實境教學與測驗之系統，其中，該待學技能腳本為待學護理技能腳本，該虛擬物件包含有虛擬病床、虛擬病人、虛擬醫療器具、虛擬手掌的至少其一。
如申請專利範圍第1項所述的具即時互動與記憶回饋的實境教學與測驗之系統，其中，該視訊紀錄回饋模組標記該學習者操作動作的歷程中錯誤的地方，並播放相應的教學影片片段。
如申請專利範圍第1項所述的具即時互動與記憶回饋的實境教學與測驗之系統，更包括：一提示模組，連接該物件建立處理模組，依據該待學技能腳本中的操作流程步驟，提示該學習者作出相應的操作動作。
如申請專利範圍第4項所述的具即時互動與記憶回饋的實境教學與測驗之系統，其中，該提示模組能以文字提示方式及語音提示方式提示該學習者作出相應的操作動作。