TWI724858B

TWI724858B - 基於手勢動作的混合實境評量系統

Info

Publication number: TWI724858B
Application number: TW109111789A
Authority: TW
Inventors: 陳穎信; 許秀珠
Original assignee: 國軍花蓮總醫院
Priority date: 2020-04-08
Filing date: 2020-04-08
Publication date: 2021-04-11
Also published as: TW202139151A

Abstract

一種基於手勢動作的混合實境評量系統包含連接評量伺服器的頭戴式電子裝置，其包括3D顯示器及影像拍攝模組。該評量伺服器使該3D顯示器顯示根據該影像拍攝模組拍攝受評量者觀看之實體環境的環境影像和目標評量情況所需的評量虛擬物件影像產生的3D評量影像；當經由分析該影像拍攝模組在該3D評量影像顯示期間所拍攝的處理影像中對應於該受評量者的手勢動作的影像部分而成功辨識出該手勢動作時，根據手勢動作-處理關係資料獲得代表該手勢動作的處理內容；並判定該處理內容是否相符於參考處理資料所含且對應於該目標評量情況的參考處理內容。

Description

基於手勢動作的混合實境評量系統

本發明是有關於混合實境技術，特別是指一種基於手勢動作的混合實境評量系統。

目前在醫學課程如高級心臟救命術的教學或訓練時，通常利用書面教材並以高模擬假人建立出相關模擬實習環境，以便讓學員在此實習環境中體驗此救命術的過程。然而，前述方式模擬的特定情境恐缺乏真實急救情況時的臨場感，因此不僅耗費人力，而且更難以讓學員感受到在高度壓力下進行此救命術所遭遇的困難。

為降低人力耗費，已發展出將虛擬實境(Virtual Reality，簡稱VR)技術應用於實施上述急救術所需的急救環境(即，特定情境情況)。特別是應用在學員對於此急救術的評量時，除了須預先備置各種情況所需的虛擬物件外，尚須搭配頭戴式VR顯示器，以及一個或多個手持控制器的使用。該(等)手持控制器是由接受評量的學員來操作並在評量期間適時地將對應於不同情境處理的控制信號傳送至後端的處理裝置，以供其進一步分析控制信號並根據分析結果產生對應於該學員的評量結果。

然而，上述利用VR技術的評量的方式不僅必須使用能夠處理相對大量且複雜的影像資訊的高效能影像處理元件以建置所有虛擬環境，而且使用時必須搭配手持控制器，因而導致相對較高的成本，以及在操作手持控制器時的不方便。

因此，現有利用VR技術的評量方式仍存在改善空間。

因此，本發明的目的，即在提供一種基於手勢動作的混合實境評量系統，其能克服現有技術的至少一缺點。

於是，本發明所提供的一種基於手勢動作的混合實境評量系統用於評量一受評量者對於一特定處理程序的處理是否正確，並包含一評量伺服器、及連接該評量伺服器的一頭戴式電子裝置。

該評量伺服器儲存有關於該特定處理程序的虛擬物件影像資料、參考處理資料、及手勢動作-處理關係資料。該虛擬物件影像資料包含與多個不同評量情況及多個不同處理內容有關的多個虛擬物件影像。該參考處理資料含有多個分別對應於該等評量情況的參考處理內容。該手勢動作-處理關係資料指示出多個不同的手勢動作、及多個分別代表該等手勢動作的處理內容。

該頭戴式電子裝置適於配戴於該受評量者的頭部，連接該評量伺服器，並包括一影像拍攝模組、及受控於該評量伺服器的一3D顯示器。該影像拍攝模組組配來拍攝該受評量者觀看到的實體環境以獲得一環境影像，並將該環境影像傳送給該評量伺服器。

該評量伺服器從該等評量情況決定出一個目標評量情況，從該等虛擬物件影像中決定出該目標評量情況所需的一個或多個虛擬物件影像作為評量虛擬物件影像，根據來自於該影像拍攝模組的該環境影像、及該(等)評量虛擬物件影像產生一3D評量影像，並使該3D顯示器顯示該3D評量影像。

當該受評量者在該3D顯示器顯示該3D評量影像期間且在距離該影像拍攝模組的一預定範圍內做出一對應於該目標評量情況的手勢動作時，該影像拍攝模組將拍攝到含有該實體環境與該手勢動作的處理影像傳送至該評量伺服器。

該評量伺服器從來自於該影像拍攝模組22的該處理影像擷取出對應於該手勢動作的影像部分，在利用一手勢動作辨識模型分析該影像部分且成功辨識出該手勢動作時，從該手勢動作-處理關係資料獲得代表該手勢動作的處理內容，根據該參考處理資料，判定獲得的該處理內容是否相符於對應於該目標評量情況的參考處理內容，並根據判定結果，產生一對應於該目標評量情況的評量結果。

在一些實施態樣中，該評量伺服器在獲得該處理內容後，還從該等虛擬物件影像決定出該處理內容所需的一個或多個虛擬物件影像作為處理虛擬物件影像，並且根據來該環境影像、該(等)評量虛擬物件影像及該(等)處理虛擬物件影像產生一3D處理影像，並使該3D顯示器顯示該3D處理影像。

在一些實施態樣中，該評量伺服器至少根據對應於先前的處理內容的一3D處理影像決定出該目標評量情況。

在一些實施態樣中，該手勢動作辨識模型是根據含有多個不同手勢動作的影像資料並經由機器學習方式建立而成。

本發明的功效在於：由於該評量伺服器會根據不同評量情況所需的該(等)評量虛擬物件影像及該環境影像產生該3D評量影像，因此無需建置現有技術所需的虛擬環境；此外，該評量伺服器經由分析對應於該受評量者的手勢動作的影像部分而成功辨識出該手勢動作，並利用該手勢動作-處理關係資料獲得該手勢動作所代表的處理內容，藉此省略現有技術所必須使用的手持控制器。

在本發明被詳細描述之前，應當注意在以下的說明內容中，類似的元件是以相同的編號來表示。

參閱圖1，本發明基於手勢動作的混合實境評量系統的一實施例用於評量一受評量者對於一特定處理程序的處理是否正確。於此實施例中，該特定處理程序例如相關於高級心臟救命術，但不在此限。在其他實施例中，該特定處理程序也可以是相關於如烹飪、烘焙等技術的其他處理程序。該混合實境評量系統包含一評量伺服器10、及一頭戴式電子裝置20。

該頭戴式電子裝置20適於配戴於該受評量者的頭部，並連接該評量伺服器10。在本實施例中，該頭戴式電子裝置20例如但不限於經由一電纜線(圖未示)與該評量伺服器10電連接。然而，在其他實施例中，該頭戴式電子裝置20亦可利用短距無線通訊技術(如WiFi、藍芽通訊等)與該評量伺服器10連接。該頭戴式電子裝置20包括一3D顯示器21及一影像拍攝模組22。該3D顯示器21通常具有例如交錯設置的兩屏幕（圖未示），以致當該等屏幕顯示影像時該受評量者能觀看到相關的立體影像。在使用時，該影像拍攝模組22用來連續拍攝該受評量者觀看到的實體環境(例如，至少配置有一病床的空間，但不以此例為限)以獲得一環境影像，並將獲得的環境影像傳送給該評量伺服器10。

於此實施例中，該評量伺服器10包括一儲存模組11、及一電連接該儲存模組11的處理單元12。

配合參閱圖2，該儲存模組11例如儲存有相關於該特定處理程序的虛擬物件影像資料、參考處理資料、及手勢動作-處理關係資料。

該虛擬物件影像資料包含在多個不同評量情況及多個不同處理內容所需的多個虛擬物件影像。該等評量情況例如包含但不限於「可去顫」、「不可去顫」、「脈搏過快」、「脈搏過慢」等情況。該等處理內容例如包含但不限於「以特定能量施以電擊」、「給予特定劑量的腎上腺素」等。該等虛擬物件影像所呈現的虛擬物件例如包含但不限於為病人、移動式血壓計、電擊器、甦醒球、藥罐、十二導程心電圖系統等。舉例來說，針對「可去顫」的評量情況所需的多個虛擬物件影像可以分別呈現出例如十二導程心電圖系統及電擊器的虛擬物件。

該參考處理資料含有多個分別對應於該等評量情況的參考處理內容，舉例來說，對應於「可去顫」的評量情況的參考處理內容例如為「以200焦耳施以電擊」。

該手勢動作-處理關係資料指示出多個不同的手勢動作、及多個分別代表該等手勢動作的處理內容。以下，表1示例地說明該等手勢動作與該等處理內容之間的關係，但不以此為限。在實際使用時，該手勢動作-處理關係資料可以視實際需求來增修。表1

手勢動作	處理內容
(對十二導程心電圖系統的虛擬物件)比0	執行心電圖量測
(對病人的虛擬物件)比X	準備電擊器
(對病人的虛擬物件)比V	給予1毫克的腎上腺素
(對病人的虛擬物件)比1	以100焦耳施以電擊
(對病人的虛擬物件)比2	以200焦耳施以電擊

在本實施例中，該處理單元12例如包括但不限於一影像處理模組121、一影像分析模組122、及一判定模組123。該影像處理模組121組配來產生要被傳送給該3D顯示器21的影像。該影像分析模組122組配來執行影像分析操作，特別是有關手勢動作的影像分析操作。值得一提的是，該處理單元12還儲存有一手勢動作辨識模型(圖未示)，該手勢動作辨識模型例如是根據含有多個不同手勢動作的影像資料並經由機器學習方式建立而成，以供該影像分析模組122在執行影像分析操作時使用。

參閱圖1至圖4，以下進一步詳細說明該評量伺服器10如何執行一混合實境評量程序。該混合實境評量程序包含以下步驟S1~步驟S10。

首先，在步驟S1中，在本實施例中，該影像處理模組121至少根據但不限於對應於先前的處理內容的一3D處理影像(以下簡稱先前的3D處理影像)，從該等評量情況中決定出一目標評量情況。然而，在其他實施例中，該影像處理模組121亦可不僅根據該先前的3D處理影像，還根據先前的評量結果來決定出該目標評量情況。特別說明的是，初始時，由於該先前的處理內容可以是例如由用戶(如評量者)決定的一預設處理內容，因此該先前的3D處理影像可以是一預先備置給該預設處理內容的3D影像。或者，在使用中，該先前的3D處理影像是該混合實境評量系統執行完前一次的混合實境評量程序後所產生的影像。

舉例來說，當該先前的3D處理影像顯示出心電圖的量測結果時，該影像處理模組121會根據該量測結果，決定出「可去顫」或「不可去顫」作為該目標評量情況。

接著，在步驟S2中，該影像處理模組121從儲存於該儲存模組11的該等虛擬物件影像中決定出該目標評量情況所需的一個或多個虛擬物件影像作為評量虛擬物件影像。舉例來說，若該目標評量情況為「可去顫」，則該影像處理模組121所決定出的評量虛擬物件影像可以包含呈現出如病人、十二導程心電圖系統、電擊器等的虛擬物件的影像。

之後，在步驟S3中，該影像處理模組121在選出該等評量虛擬物件影像後，該影像處理模組121根據來自於該影像拍攝模組22的該環境影像、及該(等)評量虛擬物件影像產生一3D評量影像，並將該3D評量影像傳送給該3D顯示器21，以便該3D顯示器21將該3D評量影像顯示給該受評量者觀看。

更明確地，該影像處理模組121會根據該環境影像來決定該受評量者的觀看角度，並根據該觀看角度來決定每一評量虛擬物件影像疊置於該環境影像的位置。舉例來說，該影像處理模組121會將對應於病人之虛擬物件的評量虛擬物件影像適當地疊置於該環境影像中病床的所在位置，並將對應於十二導程心電圖系統之虛擬物件的評量虛擬物件影像疊置於該環境影像中鄰近病床的位置。

於是，在該3D顯示器21顯示該3D評量影像的期間，該受評量者會根據所觀看到的該3D評量影像，最好在距離該影像拍攝模組22的一預定範圍內做出一手勢動作。請注意，該預定範圍是為了確保該影像拍攝模組22能清楚拍攝到該手勢動作，以利後續的影像分析。該手勢動作可以是例如「比0」、「比1」、「比X」、「比V」等其中任一者的手勢動作。

另一方面，在該受評量者做出該手勢動作的同時，該影像拍攝模組22會將拍攝到含有該實體環境與該手勢動作的處理影像傳送至該評量伺服器10。

接著，在步驟S4中，該影像分析模組122在接收到來自該影像拍攝模組22的該處理影像時，從該處理影像擷取出對應於該手勢動作的影像部分。

然後，在步驟S5中，該影像分析模組122利用該手勢動作辨識模型來分析該影像部分，以確定是否能從該影像部分辨識出該手勢動作。若該影像分析模組122能成功辨識出該手勢動作時，流程進行步驟S6。否則，該影像分析模組122將一指示出手勢動作辨識失敗的訊息傳送給該3D顯示器21(步驟S10)，以供其顯示給該受評量者。

在步驟S6中，該影像分析模組122從該儲存模組11儲存的該手勢動作-處理關係資料獲得代表(辨識出的)該手勢動作的處理內容。更具體地，該影像分析模組122可以根據上述表1查找出代表(辨識出的)該手勢動作的處理內容。舉例來說，若該手勢動作是「(對病人的虛擬物件)比2」，則查找出的該處理內容為「以200焦耳施以電擊」。

接著，在步驟S7，該判定模組123根據該儲存模組11儲存的該參考處理資料判定該影像分析模組122所獲得的該處理內容是否相符於對應於該目標評量情況的參考處理內容，並根據判定結果，產生對應於該目標評量情況的該評量結果。此外，該判定模組123還可以將該評量結果向外輸出，例如傳送給該評量者及/或該受評量者所使用的使用終端(圖未示)，以供其顯示該評量結果。

沿用前例，在該目標評量情況為「可去顫」且對應的參考處理內容為「以200焦耳施以電擊」的情況下，該判定模組123根據上述表1判定出代表該手勢動作「(對病人的虛擬物件)比2」的該處理內容「以200焦耳施以電擊」與該參考處理內容相符。因此，該評量結果會指示出處理正確的訊息。反之，在該目標評量情況為「可去顫」且對應的參考處理內容為「以200焦耳施以電擊」的情況下，若辨識出的手勢動作是「(對病人的虛擬物件)比1」時，該判定模組123根據上述表1判定出代表該手勢動作「(對病人的虛擬物件)比1」的處理內容，即「以100焦耳施以電擊」，與該參考處理內容不相符，於是，所產生的評量結果將會指示出處理錯誤的訊息。

然後，在步驟S8中，該影像處理模組121從儲存於該儲存模組11的該等虛擬物件影像決定出該處理內容所需的一個或多個虛擬物件影像作為處理虛擬物件影像。舉例來說，該影像處理模組121預設病人經由「以200焦耳施以電擊」的處理內容後將進入甦醒狀態，在此情況下，該影像處理模組121決定出的處理虛擬物件影像可以至少呈現出例如甦醒球的虛擬物件，但不以此例為限。

最後，在步驟S9中，該影像處理模組121根據該環境影像、該(等)評量虛擬物件影像及該(等)處理虛擬物件影像產生一3D處理影像，並將該3D處理影像傳送給該3D顯示器21，以供其顯示該3D處理影像。

附帶一提的是，相似於上述步驟S1，該影像處理模組121還可以根據步驟S9所產生的3D處理影像決定出對應於下一次的混合實境評量程序的目標評量情況。

綜上所述，在本發明之基於手勢動作的混合實境評量系統中，由於該評量伺服器10會根據不同評量情況所需的該(等)評量虛擬物件影像及該環境影像產生該3D評量影像，因此無需建置現有技術所需的虛擬環境；此外，該評量伺服器10經由分析對應於該受評量者的手勢動作的影像部分而成功辨識出該手勢動作，並利用預先儲存的該手勢動作-處理關係資料獲得該手勢動作所代表的處理內容，藉此省略現有技術所必須使用的手持控制器。故確實能達成本發明的目的。

惟以上所述者，僅為本發明的實施例而已，當不能以此限定本發明實施的範圍，凡是依本發明申請專利範圍及專利說明書內容所作的簡單的等效變化與修飾，皆仍屬本發明專利涵蓋的範圍內。

10:評量伺服器 11:儲存模組 12:處理單元 121:影像處理模組 122:影像分析模組 123:判定模組 20:頭戴式電子裝置 21:3D顯示器 22:影像拍攝模組 S1～S10:步驟

本發明的其他的特徵及功效，將於參照圖式的實施方式中清楚地呈現，其中：圖1是一方塊圖，示例地說明本發明基於手勢動作的混合實境評量系統的一實施例的架構；圖2是一示意圖，示例地說明該實施例之一儲存模組中所儲存的資料內容；及圖3及圖4是一流程圖，示例地說明該實施例的一評量伺服器如何執行一混合實境評量程序。

10:評量伺服器

11:儲存模組

12:處理單元

121:影像處理模組

122:影像分析模組

123:判定模組

20:頭戴式電子裝置

21:3D顯示器

22:影像拍攝模組

Claims

一種基於手勢動作的混合實境評量系統，用於評量一受評量者對於一特定處理程序的處理是否正確，並包含：一評量伺服器，儲存有關於該特定處理程序的虛擬物件影像資料、參考處理資料、及手勢動作-處理關係資料，該特定處理程序相關於高級心臟救命術，該虛擬物件影像資料包含與多個不同評量情況及多個不同處理內容有關的多個虛擬物件影像，該參考處理資料含有多個分別對應於該等評量情況的參考處理內容，該手勢動作-處理關係資料指示出多個不同的手勢動作、及多個分別代表該等手勢動作的處理內容，每一處理內容為以特定能量施以電擊、給予特定劑量的腎上腺素、執行心電圖量測其中一者；及一頭戴式電子裝置，適於配戴於該受評量者的頭部，連接該評量伺服器，並包括一3D顯示器，受控於該評量伺服器，及一影像拍攝模組，組配來拍攝該受評量者觀看到的實體環境以獲得一環境影像，並將該環境影像傳送給該評量伺服器；其中，該評量伺服器從該等評量情況決定出一個為可去顫或不可去顫的目標評量情況，從該等虛擬物件影像中決定出該目標評量情況所需的一個或多個虛擬物件影像作為評量虛擬物件影像，根據來自於該影像拍攝模組的該環境影像、及該(等)評量虛擬物件影像產生一3D 評量影像，並使該3D顯示器顯示該3D評量影像；其中，當該受評量者在該3D顯示器顯示該3D評量影像期間且在距離該影像拍攝模組的一預定範圍內做出一對應於該目標評量情況的手勢動作時，該影像拍攝模組將拍攝到含有該實體環境與該手勢動作的處理影像傳送至該評量伺服器，該預定範圍為該影像拍攝模組能清楚拍攝到手勢動作的範圍；及其中，該評量伺服器從來自於該影像拍攝模組的該處理影像擷取出對應於該手勢動作的影像部分，在利用一手勢動作辨識模型分析該影像部分且成功辨識出該手勢動作時，從該手勢動作-處理關係資料獲得代表該手勢動作的該處理內容，根據該參考處理資料，判定獲得的該處理內容是否相符於對應於該目標評量情況的參考處理內容，並根據判定結果，產生一對應於該目標評量情況的評量結果。
如請求項1所述的基於手勢動作的混合實境評量系統，其中，該評量伺服器在獲得該處理內容後，還從該等虛擬物件影像決定出該處理內容所需的一個或多個虛擬物件影像作為處理虛擬物件影像，並且根據該環境影像、該(等)評量虛擬物件影像及該(等)處理虛擬物件影像產生一3D處理影像，並使該3D顯示器顯示該3D處理影像。
如請求項2所述的基於手勢動作的混合實境評量系統，其中，該評量伺服器至少根據對應於先前的該處理內容的一3D處理影像決定出該目標評量情況。
如請求項1所述的基於手勢動作的混合實境評量系統，其中，該手勢動作辨識模型是根據含有多個不同手勢動作的影像資料並經由機器學習方式建立而成。