TWI687904B

TWI687904B - 互動式訓練及檢測裝置

Info

Publication number: TWI687904B
Application number: TW107105998A
Authority: TW
Inventors: 張玉梅; 賴金輪
Original assignee: 亞東技術學院
Priority date: 2018-02-22
Filing date: 2018-02-22
Publication date: 2020-03-11
Also published as: TW201937461A

Abstract

本發明關於一種互動式訓練及檢測裝置，其包括一第一立體影像裝置，其擷取一虛擬場景之一環境資訊；一手勢辨識器，其感測一第一操作手勢而產生一相對應之第一控制訊號；一資料庫，其儲存至少一訓練腳本資料及至少一檢定腳本資料；一處理器，其連接該第一立體影像裝置、該手勢辨識器及該資料庫，讀取該環境資訊並依據選擇該至少一訓練腳本資料或該至少一檢定腳本資料，使該第一立體影像裝置顯示該虛擬場景及複數建立於該虛擬場景中之虛擬目標，該處理器根據該第一控制訊號控制至少一該虛擬目標並產生一互動結果。

Description

互動式訓練及檢測裝置

本發明係有關於一種互動式訓練及檢測裝置。

現行護理技能檢定方式仍仰賴較為傳統模式與技術維繫，對於已在醫護教育領域中所發展的數位型式的教案類型中，可應用於護理技能測驗的項目仍付之闕如；此外，由於護理技能測驗過程對於主監試人力與特殊設備、耗材及場地的需求有諸多要求，故對於學生在自學、練習、及預試上的需求，都將產生時空上的限制。

是以，現有的護理技能檢定方式無法達到無人監控的檢定與練習方式，尚須有空間、設備、人力等資源需求量大、限制多，且流傳性低更不易普及複製。

因此，有必要提供一種新穎且具有進步性之互動式訓練及檢測裝置，以解決上述之問題。

本發明之主要目的在於提供一種互動式訓練及檢測裝置，可以提供直覺式自動化操作訓練及檢測。

為達成上述目的，本發明提供一種互動式訓練及檢測裝置，其包括：一第一立體影像裝置，其擷取一虛擬場景之一環境資訊；一手勢辨識器，其感測一第一操作手勢而產生一相應之第一控制訊號；一資料庫，其儲存至少一訓練腳本資料及至少一檢定腳本資料；一處理器，其連接該第一立體影像裝置、該手勢辨識器及該資料庫，讀取該環境資訊並依據選擇該至少一訓練腳本資料或該至少一檢定腳本資料，使該第一立體影像裝置顯示該虛擬場景及複數建立於該虛擬場景中之虛擬目標，該處理器根據該第一控制訊號控制至少一該虛擬目標並產生一互動結果。

以下僅以實施例說明本發明可能之實施態樣，然並非用以限制本發明所欲保護之範疇，合先敘明。

請參考圖1至圖3，其顯示本發明之一較佳實施例，本發明之互動式訓練及檢測裝置，其包括：一第一立體影像裝置10、一手勢辨識器20、一資料庫30及一處理器40。

該第一立體影像裝置10；該手勢辨識器20感測一第一操作手勢而產生一相對應之第一控制訊號，於本實施例中，該手勢辨識器20以非接觸的感應方式感測該第一操作手勢，詳細地說，該手勢辨識器20可為結合於該第一立體影像裝置10的攝影機，可將偵測擷取手部特徵、空間位置與運動方位、識別態樣、產生控制指令，以互動的方式呈現出使用者想要操作的練習動作技能；於其他實施例中，該手勢辨識器20亦可為安裝於手持裝置上的運動感測裝置。該資料庫30儲存至少一訓練腳本資料及至少一檢定腳本資料，於本實施例中，該至少一訓練腳本資料及該至少一檢定腳本資料的數量分別為複數，藉此提供不同的內容的訓練及檢測內容。此外，該資料庫30係設於一雲端伺服器90，如此隨時上傳及下載各該訓練腳本資料及各該檢定腳本資料；於其他實施例中，該資料庫30亦可設於該第一立體影像裝置10。該處理器40連接該第一立體影像裝置10、該手勢辨識器20及該資料庫30，其中連接方式可為電性連接、有線或無線的方式連接，該處理器40讀取一環境資訊並依據選擇該至少一訓練腳本資料或該至少一檢定腳本資料，使該第一立體影像裝置10顯示一建構之虛擬場景11及複數建立於該虛擬場景11中之虛擬目標12，該複數虛擬目標12例如可為虛擬醫療器具、虛擬手、虛擬病人等，該處理器40根據該第一控制訊號控制至少一該虛擬目標12並產生一互動結果80，該互動結果80例如為於該第一立體影像裝置10顯示文字訊息(如操作正確)，進一步說明該第一控制訊號例如可控制其中一該虛擬目標12作動(移動、轉動等)並與另一該虛擬目標12接觸等。藉此，可達到虛實結合，以提供自動化訓練、檢測及重複訓練的功效，更可在任何空間及時間達到訓練效果而不受限於空間及人力資源，且隨時更新及補充各該訓練腳本資料及各該檢定腳本資料。

於本實施例中，該虛擬場景11及該虛擬目標12分別為三維影像。於其他實施例中，該虛擬場景11及該虛擬目標12亦可為二維影像。

該互動式訓練及檢測裝置另包括一數據收集分析模組41，該數據收集分析模組41電性連接該資料庫30及該處理器40，該數據收集分析模組41紀錄該第一控制訊號形成的一操作歷程及該互動結果80並儲存於該資料庫30中。該操作歷程可為連續地該第一控制訊號紀錄，如此使用者可隨時重複觀看該操作歷程，該操作歷程可為影像資訊。進一步說明，該操作歷程可為文字資訊或整個操作過程的錄製影像資訊。較佳地，該數據收集分析模組41依據該操作歷程產生一訓練建議資訊，該處理器40將該訓練建議資訊顯示於該第一立體影像裝置10；於本實施例中，該訓練建議資訊分別為一文字資訊、一動態資訊或一聲音資訊。如此，可紀錄使用者操作的每個環節，並且分析各流程以產生操作上的障礙點，並依此關鍵點作對受訓者進行反覆訓練與考核的最優先順序，進而快速減少學習障礙。

該資料庫30儲存複數操作提示資訊43，該處理器40依據選擇的該至少一訓練腳本資料或該至少一檢定腳本資料使第一立體影像裝置10呈現相對應的至少一該操作提示資訊43。其中，該操作提示資訊43為一文字資訊、一動態資訊或一聲音資訊，進一步說明，該操作提示可為步驟流程說明、技巧說明等。如此，可提升訓練操作的熟練度。

該互動式訓練及檢測裝置另包括一分數統計模組42，該分數統計模組42電性連接該處理器40，該處理器40載入其中一該檢定腳本資料，該分數統計模組42依據該檢定腳本資料及該第一控制訊號產生一考核結果資訊，該考核結果資訊包括考核分數及考核狀態(例如合格、不合格資訊或檢測分數)。

該互動式訓練及檢測裝置另包括一第二立體影像裝置50，該第二立體影像裝置50可以遠端與該處理器40連線取得並同步顯示該第一立體影像裝置10當前顯示的該虛擬場景11、該複數虛擬目標12及該第一控制訊號，以達到多人觀賞。較佳地，該第二立體影像裝置50可依據一第二操作手勢而產生一相應之第二控制訊號，以控制該複數虛擬目標12。進一步說明，該第二立體影像裝置50之使用者可即時對該第一立體影像裝置10之使用者提供操作上的建議及操作示範等。

該第一、二立體影像裝置10、50分別可為一配戴式顯示裝置或一智慧型裝置(例如平板裝置或手機)，該配戴式顯示裝置如虛擬實境眼鏡，可降低整體的成本，以廣泛的被使用。除了智慧型裝置設計以外，也配合支援MR(擴增實境)延伸顯示設備，例如HoloLens(增強實境頭盔)、Google Glasses(Google 眼鏡)等，或是配合CardBoard(虛擬實境檢視器)以Stereo Rendering(立體著色運算)方式呈現stereogram(立體影像)。

此外，該互動式訓練及檢測裝置另包括一待操作物件60，該待操作物件60例如為放置於真實環境中的假人、假生理器官等，該待操作物件60以有線或無線的方式連接該處理器40，該第一立體影像裝置10擷取該待操作物件60之一待操作物件影像，該處理器40依據該待操作物件影像，使該第一立體影像裝置10顯示該待操作物件影像於該虛擬場景11上，該處理器40依據該第一控制訊號使該待操作物件60產生一回饋訊號，該回饋訊號為一聲音訊號、一噴水訊號及一變色訊號至少其中一者，進一步說明該噴水訊號例如仿流血或仿流淚，而該變色訊號例如局部或整體以燈體改變顏色(例如仿瘀青、紅腫)，如此在虛實結合的環境中更提升臨場感。

該互動式訓練及檢測裝置另包括一重量調整裝置70，該重量調整裝置70連接該處理器40，該重量調整裝置70可供一使用者配戴，例如該重量調整裝置70可設置於一手持遙控器、一手套或一手環。該處理器40依據該第一控制訊號，以改變該重量調整裝置70的重量。進一步說明，可依據該第一控制訊號例如拿起其中一該虛擬目標12時，可感受到該虛擬目標12相對應於現實中的重量。藉此，在訓練及檢測過程中可提升臨場感。

在使用上，選擇其中一該訓練腳本或其中一該檢定腳本資料，透過該手勢辨識器，以控制呈現於該第一立體影像裝置中的該複數虛擬目標，以達到隨時隨地皆可反覆訓練及檢測，進而提供極佳的情境內容臨場感、成本低廉、直覺式操作、自動訓練、不受限於環境及人力資訊等優點。

10‧‧‧第一立體影像裝置11‧‧‧虛擬場景12‧‧‧虛擬目標20‧‧‧手勢辨識器30‧‧‧資料庫40‧‧‧處理器41‧‧‧數據收集分析模組42‧‧‧分數統計模組43‧‧‧操作提示資訊50‧‧‧第二立體影像裝置60‧‧‧待操作物件70‧‧‧重量調整裝置80‧‧‧互動結果90‧‧‧雲端伺服器

圖1為本發明一較佳實施例之方塊圖。圖2為本發明一較佳實施例之第一立體影像裝置之影像畫面示意圖。圖3為本發明一較佳實施例之真實環境示意圖。

10‧‧‧第一立體影像裝置

20‧‧‧手勢辨識器

30‧‧‧資料庫

40‧‧‧處理器

41‧‧‧數據收集分析模組

42‧‧‧分數統計模組

50‧‧‧第二立體影像裝置

70‧‧‧重量調整裝置

90‧‧‧雲端伺服器

Claims

一種互動式訓練及檢測裝置，包括：一第一立體影像裝置；一手勢辨識器，感測一第一操作手勢而產生一相對應之第一控制訊號；一資料庫，儲存至少一訓練腳本資料及至少一檢定腳本資料；一處理器，連接該第一立體影像裝置、該手勢辨識器及該資料庫，依據選擇該至少一訓練腳本資料或該至少一檢定腳本資料，使該第一立體影像裝置顯示一建構之虛擬場景及複數建立於該虛擬場景中之虛擬目標，該處理器根據該第一控制訊號控制至少一該虛擬目標並產生一互動結果；一重量調整裝置，該重量調整裝置連接該處理器，該重量調整裝置可供一使用者配戴，該處理器依據該第一控制訊號，以改變該重量調整裝置的重量。
如請求項1所述的互動式訓練及檢測裝置，另包括一數據收集分析模組，該數據收集分析模組電性連接該資料庫及該處理器，該數據收集分析模組紀錄該第一控制訊號形成的一操作歷程及該互動結果並儲存於該資料庫。
如請求項2所述的互動式訓練及檢測裝置，其中該數據收集分析模組依據該操作歷程產生一訓練建議資訊，該處理器將該訓練建議資訊顯示於該第一立體影像裝置。
如請求項1所述的互動式訓練及檢測裝置，其中該資料庫儲存複數操作提示資訊，該處理器依據選擇的該至少一訓練腳本資料或該至少一檢定腳本資料使第一立體影像裝置呈現相對應的至少一該操作提示資訊。
如請求項1所述的互動式訓練及檢測裝置，另包括一分數統計模組，該分數統計模組電性連接該處理器，該處理器載入其中一該檢定腳本資料，該分數統計模組依據該檢定腳本資料及該第一控制訊號產生一考核結果資訊。
如請求項1所述的互動式訓練及檢測裝置，另包括一第二立體影像裝置，該第二立體影像裝置可以遠端與該處理器連線取得並同步顯示該第一立體影像裝置當前顯示的該虛擬場景、該複數虛擬目標及該第一控制訊號。
如請求項6所述的互動式訓練及檢測裝置，其中該第二立體影像裝置可依據一第二操作手勢而產生一相應之第二控制訊號，以控制該複數虛擬目標。
如請求項1所述的互動式訓練及檢測裝置，另包括一待操作物件，該待操作物件連接該處理器，該第一立體影像裝置擷取該待操作物件之一待操作物件影像，該處理器依據該待操作物件影像，使該第一立體影像裝置顯示該待操作物件影像於該虛擬場景上，該處理器依據該第一控制訊號使該待操作物件產生一回饋訊號。
一種互動式訓練及檢測裝置，包括：一第一立體影像裝置；一手勢辨識器，感測一第一操作手勢而產生一相對應之第一控制訊號；一資料庫，儲存至少一訓練腳本資料及至少一檢定腳本資料；一處理器，連接該第一立體影像裝置、該手勢辨識器及該資料庫，依據選擇該至少一訓練腳本資料或該至少一檢定腳本資料，使該第一立體影像裝置顯示一建構之虛擬場景及複數建立於該虛擬場景中之虛擬目標，該處理器根據該第一控制訊號控制至少一該虛擬目標並產生一互動結果；一第二立體影像裝置，該第二立體影像裝置可以遠端與該處理器連線取得並同步顯示該第一立體影像裝置當前顯示的該虛擬場景、該複數虛擬目標及該第一控制訊號；該第二立體影像裝置可依據一第二操作手勢而產生一相應之第二控制訊號，以控制該複數虛擬目標；一數據收集分析模組，該數據收集分析模組電性連接該資料庫及該處理器，該數據收集分析模組紀錄複該第一控制訊號形成的一操作歷程及該互動結果並儲存於該資料庫；該數據收集分析模組依據該操作歷程產生一訓練建議資訊，該處理器將該訓練建議資訊顯示於該第一立體影像裝置；該資料庫儲存複數操作提示資訊，該處理器依據選擇的該至少一訓練腳本資料或該至少一檢定腳本資料使第一立體影像裝置呈現相對應的至少一該操作提示資訊；該至少一訓練腳本資料及該至少一檢定腳本資料的數量分別為複數；該操作提示資訊及該訓練建議資訊分別為一文字資訊、一動態資訊或一聲音資訊；一分數統計模組，該分數統計模組電性連接該處理器，該處理器載入其中一該檢定腳本資料，該分數統計模組依據該檢定腳本資料及該第一控制訊號產生一考核結果資訊；一待操作物件，該待操作物件連接該處理器，該第一立體影像裝置擷取該待操作物件之一待操作物件影像，該處理器依據該待操作物件影像，使該第一立體影像裝置顯示該待操作物件影像於該虛擬場景上，該處理器依據該第一控制訊號使該待操作物件產生一回饋訊號；該回饋訊號為一聲音訊號、一噴水訊號及一變色訊號至少其中一者；該第一、二立體影像裝置分別可為一配戴式顯示裝置或一智慧型裝置；該資料庫係設於一雲端伺服器；該手勢辨識器以非接觸的感應方式感測該第一操作手勢；該虛擬場景及該虛擬目標分別為一三維影像。