TWM595798U - 使用擴增實境訓練日常生活功能之系統 - Google Patents

Abstract

一種使用AR的訓練日常生活功能之系統，包括：一主機; 一顯示幕，自主機接收輸入影像信號並相應地顯示影像; 一AR互動程式單元，具有數個復健單元模組，每個設定為啟動一復健單元模組來選擇執行一復健主題，每個復健主題的呈現包含在顯示幕上的前景影像; 以及一肢體傳感器，用以攝影並感測使用者的肢體動作，藉此在顯示幕上形成後景影像。AR互動程式單元設定為使得後景影像與前景影像形成關聯互動，以讓使用者經由肢體游標或無游標的肢體動作來完成復健主題。藉此，可用生動活潑的遊戲方式提供身體運動機能復健使用，提高復健活動之趣味性。

Description

使用擴增實境訓練日常生活功能之系統

本創作屬於復健醫學的技術領域，尤指一種使用擴增實境訓練日常生活功能之系統，適用於協助中風與神經性疾病患者人士進行肢體訓練。

隨著經濟發達生活水準的提高，現代人營養過剩又缺乏運動，代謝不良及三高產生的慢性病很容易就會引發中風；中風與神經性疾病患者需要持續的進行復健，好讓全身不再繼續萎縮，能有足夠的肌耐力，才可學習一些生活自理的技能。

過去傳統復健大多選擇在醫療院所內執行，接受復健治療之神經性疾病患者，因動作控制不良使得參與活動意願不高，再加上傳統復健課程較制式單一，復健過程枯燥乏味使得患者之依從性不佳，導致訓練效果較不彰。

目前較先進的復健系統已有採用虛擬實境方式來達成，但傳統虛擬實境的復健系統應用時，由於所處之現有環境為完全虛擬空間，患者較無法融入現實環境之情形，因而無法將現有環境與復健介入達到一個良好之連結。

此外，雖然目前有提出一些使用擴增情境的復健系統的技術，然而，這些復健系統並未將使用者的復健動作與虛擬實境的互動關連進形良好的搭配，使得使用者在進行復健時，只是單純地重複進行一些指定的復健動作，缺乏運動的樂趣。本創作的提出便是為了解決習知技術所遇到的問題。

有鑑於此，本創作的主要目的，在提供一種使用擴增實境訓練日常生活功能之系統，所謂擴增實境（Augmented Reality，簡稱AR），是指透過攝影機影像的位置及角度精算並加上圖像分析技術，讓螢幕上的虛擬世界能夠與現實世界場景進行結合與互動的技術。這種技術最早在1990年提出。隨著資訊電子產品運算能力的提升，擴增實境的用途也越來越廣。本創作已成功研發設計出一種擴增實境的遊戲式復健系統，不但可增加復健活動中的趣味性，更可大幅提高使用者參與動機。

本創作使用擴增實境訓練日常生活功能之系統，主要包括：一主機、一顯示幕、一AR互動程式單元、以及一肢體傳感器。該顯示幕對應於該主機以作為影像輸出；

該AR互動程式單元設置在主機中，具有多個復健單元模組以供操作選擇，其中該每一復健單元模組設定為啟動附件單元來執行一復健主題，每一復健主題的呈現包含在該顯示幕上的一前景影像；

該肢體傳感器與主機資料傳輸相連，該肢體傳感器上至少設有一RGB彩色攝影機、一紅外線發射器及一紅外線感應攝影機，其中RGB彩色攝影機和紅外線感應攝影機用以攝影並感測使用者的肢體動作，在該顯示幕上形成一後景影像，透過該AR互動程式單元用與前景影像形成關聯互動;

每個復健單元模組設定為因應顯示於該顯示幕的一肢體游標來啟動一復健單元模組。肢體游標係由使用者的肢體動作來產生於該顯示幕上，且該AR互動程式單元設定為使得後景影像與前景影像形成關聯互動，以讓使用者經由該肢體游標或無游標的肢體動作來完成該復健主題。

藉此，可用生動活潑的AR遊戲方式以供身體運動機能復健使用，根據使用者身體狀況挑選最適合的復健訓練項目，提高復健活動之趣味性，同時又可透過視覺、聽覺同步回饋讓使用者即時知道自身訓練成效之情形。

為能進一步瞭解本創作之構成內容及其他特點，茲舉本創作較具體之實施例，並配合附圖詳細說明如以下所述。請參見第1圖至第4圖所示，本創作的使用擴增實境訓練日常生活功能之系統，主要包括：一主機1、一顯示幕2、一AR互動程式單元3、一肢體傳感器4、以及一音效輸出裝置5。在本實施例中，該主機1也可以是桌上型電腦(如第1圖)、筆記型電腦、平板電腦或手提裝置等(後三款圖未示)，而且該主機1進一步設有一輸入裝置，例如一鍵盤11及滑鼠12，以啟動AR互動程式單元3。主機1可電連接至肢體傳感器4，但實際並不以此為限，譬如第2圖所示，其中主機1也可以內建於該肢體傳感器4設成一體。

顯示幕2電連接至主機1，用以接收一輸入影像信號並相應地顯示影像。AR互動程式單元3內建在主機1中，具有多個復健單元模組31以供操作選擇。該每一復健單元模組31可被啟動來執行一復健主題。該每一復健主題會以一復健主題選單畫面及遊戲畫面，在該顯示幕2上形成一前景影像21。

肢體傳感器4與該主機1資料傳輸相連，該肢體傳感器4包含一肢體傳感器本體，其係由至少一RGB彩色攝影機41、一紅外線發射器 (IrDA transceiver) 42及一紅外線感應攝影機43所組成。RGB彩色攝影機41及紅外線感應攝影機43用以攝影並感測使用者的肢體動作，藉此產生一後景影像信號，後景影像信號經由紅外線發射器42傳送到該顯示幕2上形成一後景影像22(如第1圖及第2圖所示)，透過該AR互動程式單元3用與前景影像21形成關聯互動。

該音效輸出裝置5是一種可選擇的元件，其係由主機1提供輸出音訊，搭配該AR互動程式單元3及肢體傳感器4，提供聽覺回饋以引導使用者做出肢體動作。在本較佳實施例中，該音效輸出裝置5可為有線或無線的耳機或喇叭所構成，譬如第4圖中所示為無線耳機51，但實際並不以此為限。

在本實施例中，該肢體傳感器4的RGB彩色攝影機41設於中間，而該紅外線發射器42與該紅外線感應攝影機43分別設在左右兩邊。肢體傳感器4更包含一馬達底座44，設置於肢體傳感器本體的下方，其設定為驅動肢體傳感器本體來轉動，使得該肢體傳感器本體能夠對焦於該使用者的肢體動作。以追蹤和補捉到使用者的真實肢體做動。

在本實施例中，如第6圖至第9圖所示，該顯示幕2上進一步還可設有一人臉判識顯示框20，以供該肢體傳感器4正確偵測到人體的指示。應用時，可用來感測是否有使用者存在，以及其所站的位置是否正確。一旦該肢體傳感器4判識到前方有使用者，即可判斷出使用者所站的位置是否正確，倘不正確即可驅動音效輸出裝置5，發出請向前、向後、向左、向右等音聲，逐來引導使用者移動到達定位，並將使用者臉部投射在人臉判識顯示框20中呈現。

在本實施例中，如第5圖至第10圖所示，其中該顯示幕2上進一步還可設有一肢體游標25。較佳者，肢體游標25為一手型游標，但實際並不以此為限。當使用者站定位後，即可經由肢體傳感器4偵測人體手動情形，以調移該選取游標25定點停放位置，用來選擇其中之一復健單元模組31來執行相對應的復健主題。

更具體而言，在本實施例中，如第5~10圖所示，本創作多個復健單元模組31設計上，係用以執行一個復健主題來完成不同肢體復健的訓練項目。藉此，如第1圖至第2圖和第5圖至第10圖所示，本創作有效整體規劃的設計，可利用該肢體傳感器4取得使用者動態影像來當成後景影像22，並從影像圖案中確認人體框架，再與主機1的資料庫，即該AR互動程式單元3的複數個復健單元模組31遊戲的前景影像21搭配結合，將其前、後景影像21、22關聯互動放映到顯示幕2上，以生動活潑的AR遊戲方式，提供身體運動機能復健來使用，根據使用者身體狀況來挑選最適合的復健訓練項目，提高復健活動之趣味性，在復健訓練遊戲中，同時還可利用音效輸出裝置5給予適當指示教導，即時透過視覺、聽覺同步回饋讓使用者知道自身訓練成效之情形。

請參見第5-10圖，其顯示了本創作的較佳實施例的進行各種復健主題的應用示意圖。如圖所示，在本創作的另一實施例中，本創作複數個復健單元模組31的設計可以執行多個生動有趣的遊戲，包括，步步高升、圖形配對、擰榨果汁、吃東西、取物置物、開車。在這些復健主題中，圖形配對、擰榨果汁、吃東西、取物置物係經由肢體游標25來進行遊戲，而該步步高升遊戲及開車遊戲係經由無游標的肢體動作來進行遊戲。這些復健主題的遊戲方式將配合所附圖示說明如下：

步步高升遊戲: 第一個復健主題為” 步步高升” 。如第5A圖所示，使用者經由肢體游標25點選”步步高升” 這個復健主題後，如第5B圖所示，螢幕上會顯示綠草如茵的跑道。此時使用者舉高雙手，便可以啟動遊戲進行。使用者接著原地踏步，螢幕上的使用者便會前進，如第5C圖所示。踏步的速度越快，螢幕上的使用者的前進速度便會更快。若前方遇到障礙物，螢幕上會顯示提示，指示使用者抬腳來跨過障礙物，如第5D圖所示。此時使用者抬腳便可跨過障礙物511，如第5E圖所示。若是使用者沒有抬腳來跨過障礙物511，螢幕上的使用者便會撞到障礙物511並停下腳步。當預定里程到時即算完成，同時顯示所花費的時間與跑步的里程，如第5F圖所示。

圖形配對遊戲：第二個復健主題為” 圖形配對” 。如第6A圖所示，使用者經由肢體游標25點選”圖形配對”這個復健主題後，如第6B圖至第6E圖所示，使用者做出用手拖拉的動作，讓肢體游標25將螢幕上有顏色的圖形物品61拖拉到螢幕下方相對應形狀的虛線圖形框62的位置，圖形物品拖拉到相對應的虛線圖形框後即放開手。當每個有顏色的圖形物品61都拖拉到相對應形狀的虛線圖形框62中，即算完成，同時顯示所花費的時間，如第6F圖所示。

擰榨果汁遊戲：第三個復健主題為” 擰榨果汁” 。請參見第7A圖，使用者經由肢體游標25點選” 擰榨果汁” 這個復健主題後，如第7B圖至第7E圖所示，使用者做出用手捏放的動作，讓肢體游標25對螢幕上的水果71進行捏放，藉此檸壓榨出果汁，榨出來的果汁低落到螢幕下方的容器72中。容器72裝滿果汁即算完成，同時顯示所花費的時間，如第7F圖所示。

吃東西遊戲：第四個復健主題為”吃東西” 。請參見第8A圖，使用者經由肢體游標25點選”吃東西”這個復健主題。接著，如第8B圖-8E圖所示，使用者做出用手抓取的動作，讓肢體游標25進行抓取食物81到嘴巴位置，食物即會消失，代表吃下東西。當吃完所有的食物81時，會顯示所花費的時間，如第8F圖所示。

取物置物遊戲：第五個復健主題為” 取物置物” 。請參見第9A圖，使用者經由肢體游標25點選” 取物置物” 這個復健主題後，如第9B圖至第9E所示，使用者在一個預定的時間內，如60秒內，做出用手抓放的動作，讓肢體游標25將螢幕上不斷出現的物品92進行抓放，藉此將物品92放到螢幕下方的籃子91中。待預定時間到時，顯示最終成績，如第9F圖所示。

開車遊戲: 第六個復健主題為” 開車” 。請參見第10A圖，使用者經由肢體游標25點選” 開車” 這個復健主題後，如第10B圖所示，螢幕上會出現一台在多線車道上的車輛111，使用者接著做出雙手手臂以同心圓方式來轉動的動作，來模擬雙手轉握汽車方向盤開車的動作，螢幕上的車輛111便會開始行進，如第10C圖所示。當使用者操控的車輛111前進時，前面會有其他車輛112在行進，如第10D圖所示。使用者必須做出雙手轉動方向盤的動作，來讓使用者操控的車輛111向左或向右移動，藉此避免碰撞。若使用者操控的車輛111撞到其他行進中的車輛112，如第10E圖所示，車輛的速度會慢下來。當使用者操控的車輛抵達終點時即算完成，同時顯示所花費的時間與行駛的里程，如第10F圖所示。

與現有習知技術相較，本創作的優點除了可方便提供醫療院所公眾使用外，更適合做為個人居家使用，有效的產品設計可透過擴增實境科技，提供的虛擬環境與使用者所現身環境的影像結合，增加復健活動中的趣味性，可有效促進使用者的參與動機，大幅提高神經性疾病患者的復健成效，造福更多相關此疾病者有更好的肢體恢復。

綜上所述，本創作結構新穎且實用，功能上遠勝習知者，具進步性及產業利用價值，符合新型專利要件，爰依法提出新型專利之申請。上述的具體實施例是用來詳細說明本創作的目的、特徵及功效，僅為本創作的部分實施例，當不能以此限定本創作的實施範圍，凡熟悉該項技藝者根據上述說明所作等效性的變換或修改，其本質未脫離出本創作的精神範疇者，皆應包含在本創作的專利權範圍。

1:主機 11:鍵盤 12:滑鼠 2:顯示幕 20:人臉判識顯示框 21:前景影像 22:後景影像 25:肢體游標 3:AR互動程式單元 31:復健單元模組 4:肢體傳感器 41:RGB彩色攝影機 42:紅外線發射器 43:紅外線感應攝影機 44:馬達底座 5:音效輸出裝置 51:無線耳機 511:障礙物 61:圖形物品 62:虛線圖形框 71:水果 72:容器 81:食物 91:籃子 92:物品 111:使用者操控的車輛 112:其他行進中的車輛

第1圖. 本創作的一較佳實施例的使用擴增實境訓練日常生活功能之系統的配置圖。 第2圖. 本創作另一實施例的系統配置圖。 第3圖. 本創作的系統流程圖。 第4圖. 本創作的動作示意圖。 第5A-第5F圖  根據本創作的較佳實施例的進行第一種復健主體的應用示意圖。 第6A-第6F圖  根據本創作的較佳實施例的進行第二種復健主體的應用示意圖。 第7A-第7F圖  根據本創作的較佳實施例的進行第三種復健主體的應用示意圖。 第8A-第8F圖  根據本創作的較佳實施例的進行第四種復健主體的應用示意圖。 第9A-第9F圖  根據本創作的較佳實施例的進行第五種復健主體的應用示意圖。 第10A-第10F圖  根據本創作的較佳實施例的進行第六種復健主體的應用示意圖。

1:主機

11:鍵盤

12:滑鼠

2:顯示幕

3:AR互動程式單元

31:復健單元模組

4:肢體傳感器

41:RGB彩色攝影機

42:紅外線發射器

43:紅外線感應攝影機

44:馬達底座

5:音效輸出裝置

21:前景影像

22:後景影像

Claims (14)

1. 一種使用擴增實境訓練日常生活功能之系統，其包括： 一主機; 一顯示幕，電連接至該主機，用以接收一輸入影像信號並相應地顯示影像; 一AR互動程式單元，設置於該主機中且具有複數個復健單元模組，每個復健單元模組設定為因應顯示於該顯示幕的一肢體游標，啟動一復健單元模組來選擇執行一復健主題，每個復健主題的呈現包含在該顯示幕上的一前景影像; 以及 一肢體傳感器，其組態設定為用以攝影並感測該使用者的一肢體動作，藉此形成一後影影像信號，並將該後影影像信號傳輸至該顯示幕，藉此在該顯示幕上形成一後景影像; 其中該肢體游標係由使用者的肢體動作來產生於該顯示幕上，且該AR互動程式單元設定為使得後景影像與前景影像形成關聯互動，以讓使用者經由該肢體游標或無游標的肢體動作來完成該復健主題。
2. 如申請專利範圍第1項所述之使用擴增實境訓練日常生活功能之系統，其中該前景影像包含復健主題對應的操作解說畫面及一遊戲畫面。
3. 如申請專利範圍第1項所述之使用擴增實境訓練日常生活功能之系統，更包含一音效輸出裝置，設定為根據該AR互動程式單元及該肢體傳感器的音訊輸出，提供聽覺回饋以引導使用者做出肢體動作。
4. 如申請專利範圍第3項所述之使用擴增實境訓練日常生活功能之系統，其中該音效輸出裝置為一有線或無線的喇叭或耳機。
5. 如申請專利範圍第3項所述之使用擴增實境訓練日常生活功能之系統，其中該音效輸出裝置系內建於該肢體傳感器內或電連接至該主機。
6. 如申請專利範圍第1項所述之使用擴增實境訓練日常生活功能之系統，其中該主機與該肢體傳感器設計為一體。
7. 如申請專利範圍第1項所述之使用擴增實境訓練日常生活功能之系統，其中該主機為一桌上型電腦、筆記型電腦平板電腦或手提裝置。
8. 如申請專利範圍第1項所述之使用擴增實境訓練日常生活功能之系統，其中該肢體傳感器包含: 一肢體傳感器本體，其包含: 一RGB彩色攝影機; 一紅外線發射器; 一紅外線感應攝影機; 以及 一馬達底座，設置於該肢體傳感器本體下方; 其中該RGB彩色攝影機及該紅外線感應攝影機係用以攝影並感測使用者的肢體動作，以便產生該後景影像信號並經由該紅外線發射器傳輸該後景影像信號至該顯示幕，以形成該後景影像; 以及 其中馬達底座設定為驅動該肢體傳感器本體來轉動，使得該肢體傳感器本體能夠對焦於該使用者的肢體動作。
9. 如申請專利範圍第1項所述之使用擴增實境訓練日常生活功能之系統，其中該肢體游標為一手型游標。
10. 如申請專利範圍1項所述之使用擴增實境訓練日常生活功能之系統，其中該顯示幕進一步設有一人臉判識顯示框，供作該肢體傳感器正確偵測到使用者的肢體動作的指示。
11. 如申請專利範圍第1項所述之使用擴增實境訓練日常生活功能之系統，其中該複數個復健單元模組所執行的復健主題，至少包括一步步高升遊戲、圖形配對遊戲、擰榨果汁遊戲、吃東西遊戲、取物置物遊戲、開車遊戲。
12. 如申請專利範圍第11項所述之使用擴增實境訓練日常生活功能之系統，其中該圖形配對遊戲、擰榨果汁遊戲、吃東西遊戲、取物置物遊戲，係經由該肢體游標來進行遊戲，而該步步高升遊戲及開車遊戲係經由無游標的肢體動作來進行遊戲。
13. 如申請專利範圍第12項所述之使用擴增實境訓練日常生活功能之系統，其中該步步高升遊戲係經由該使用者的腳部動作來進行遊戲，而該開車遊戲係經由該使用者的手臂作同心圓轉動來進行遊戲。
14. 如申請專利範圍第12項所述之使用擴增實境訓練日常生活功能之系統，其中該圖形配對遊戲係經由該肢體游標的拖拉移動來進行遊戲，該擰榨果汁遊戲係經由該肢體游標的捏放來進行遊戲，該吃東西遊戲係經由該肢體游標的抓取來進行遊戲，而該取物置物遊戲係經由該肢體游標的抓握與放開來進行遊戲。

Images