TWI758993B - 基於整合實境與腦機介面之下肢復健系統 - Google Patents

Abstract

一種基於整合實境與腦機介面之下肢復健系統，用以解決習知復健方法無法即時得知復健成效的問題。係包含：一顯示器，用以接收並播放一虛擬場景影像，以導引一使用者進行步態復健訓練；數個運動感測器，用以感測取得一步態數據；一腦波監測器，用以感測該使用者腦波的電流變化，以記錄一腦電波訊號；及一分析平台，將該步態數據與該虛擬場景影像進行比對，以判斷出該使用者腳步採踏的準確率，並給予該使用者反饋，該分析平台將該腦電波訊號輸入至一機器學習模型，使該機器學習模型將該腦電波訊號量化成一指標數值，該指標數值用以表示該使用者的下肢運動功能。

Description

基於整合實境與腦機介面之下肢復健系統

本發明係關於一種復健系統，尤其是一種利用擴增實境技術輔助病患進行復健的基於整合實境與腦機介面之下肢復健系統。

許多具有腦外傷、脊髓受損及患有其他骨關節疾病的病患們，皆存在步態不穩、步態姿態錯誤或步態困難等情況。習知復健方法係由復健師與病患進行一對一訓練，該復健師於地上貼上腳印標籤，並指導該病患沿著該腳印標籤進行步態訓練，且透過功能性核磁共振造影(fMRI)檢測該病患腦部受傷區域的復原情況，進而評估該病患下肢的恢復程度。

上述習知復健方法，由於病患必須仰賴復健師幫忙復健，因此，病患得時常往返住家與醫院之間；再且，病患在間隔數個月才進行一次功能性核磁共振造影檢測，才能確定腦部與下肢的恢復情況，因此，無法即時得知自身目前的恢復程度，該習知復健方法係具有時間與金錢成本的浪費，以及無法即時得知復健成效等問題。

有鑑於此，有必要提供一種基於整合實境與腦機介面之下肢復健系統，以解決上述的問題。

為解決上述問題，本發明的目的是提供一種基於整合實境與腦機介面之下肢復健系統，係能夠利用擴增實境技術輔助病患進行復健者。

本發明的次一目的是提供一種基於整合實境與腦機介面之下肢復健系統，係能夠使病患在家即可自行檢測得知下肢的復原程度者。

本發明的又一目的是提供一種基於整合實境與腦機介面之下肢復健系統，係能夠對病患的脛前肌進行電刺激，以輔助病患完成步態訓練者。

本發明全文所述方向性或其近似用語，例如「前」、「後」、「左」、「右」、「上(頂)」、「下(底)」、「內」、「外」、「側面」等，主要係參考附加圖式的方向，各方向性或其近似用語僅用以輔助說明及理解本發明的各實施例，非用以限制本發明。

本發明全文所記載的元件及構件使用「一」或「一個」之量詞，僅是為了方便使用且提供本發明範圍的通常意義；於本發明中應被解讀為包括一個或至少一個，且單一的概念也包括複數的情況，除非其明顯意指其他意思。

本發明全文所述之「資料庫單元(Database Unit)」，係指將一群相關的電子資料集合並儲存在硬碟、記憶體或上述之組合，且可藉由資料庫管理系統(DBSMS)所提供的語法功能，例如新增、讀取、搜尋、更新及刪除等，對電子資料進行相關處理；該資料庫管理系統可以藉由不同資料結構方式管理電子資料，例如可以為關聯式、階層式、網狀式或物件導向式等，本發明係以關聯式資料庫管理系統為例進行以下說明，惟非用以限制本發明。

本發明全文所述之「耦接(Coupling)」，係指二裝置之間可藉由任何直接或間接的連接手段，以相互傳遞資料。舉例而言，第一裝置耦 接第二裝置，於本發明中應被解讀為該第一裝置可以直接連接該第二裝置，例如可以藉由有線實體(如：電線、排線、走線、雙絞線)連接；或者該第一裝置可以透過其他裝置或某種連接手段而間接地連接該第二裝置，例如可以藉由無線媒介(如：WiFi、藍芽)或異質網路(Heterogeneous Network)連接，本領域中具有通常知識者可以依據欲相連之裝置的常態連接手段予以選擇者。

本發明的基於整合實境與腦機介面之下肢復健系統，包含：一顯示器，供一使用者配戴，並用以接收並播放一虛擬場景影像給該使用者觀看，以導引該使用者進行步態復健訓練；數個運動感測器，分別設置於該使用者下肢的數個部位，並用以感測取得一步態數據；一腦波監測器，用以感測該使用者腦波的電流變化，以記錄一腦電波訊號，該腦電波訊號係為該使用者之大腦運動區的腦波訊號；及一分析平台，耦接該顯示器、該數個運動感測器及該腦波監測器，該分析平台以一資料庫單元儲存數個虛擬場景影像，並由該資料庫單元中選擇並傳送該虛擬場景影像至該顯示器，該顯示器係將該虛擬場景影像中的數個虛擬指標投影疊加於現實世界中，以供該使用者沿著該數個虛擬指標進行步行，該分析平台接收該數個運動感測器所感測到的步態數據，並與該虛擬場景影像進行比對，以判斷出該使用者腳步踩踏該數個虛擬指標的準確率，並給予該使用者反饋，該分析平台將該腦電波訊號輸入至一機器學習模型，使該機器學習模型將該腦電波訊號量化成一指標數值，該指標數值用以表示該使用者的下肢運動功能，該分析平台輸出該指標數值。

據此，本發明的基於整合實境與腦機介面之下肢復健系統，係能夠透過該顯示器播放虛擬場景影像給使用者觀看，以導引該使用者進行步態復健訓練，並將該數個運動感測器所感測到的步態數據，與該虛擬場景影像進行比對，以判斷出該使用者腳步踩踏由該虛擬場景影像產生的虛擬指標 的準確率，並給予該使用者復健訓練上的反饋，該分析平台以該腦波監測器感測該使用者進行步態復健訓練後的腦電波訊號，並將該腦電波訊號輸入至該機器學習模型，以評估該使用者的步態復健訓練成效並進行量化，進而取得並輸出一代表該使用者下肢運動功能的指標數值。如此，本發明基於整合實境與腦機介面之下肢復健系統的使用者，係可以不需前往醫院就可以直接在家使用，係可以達到節省往返醫院的時間與金錢成本，以及即時得知自身步態復健訓練成效等功效。

其中，該分析平台具有一顯示螢幕，該顯示螢幕用以將該機器學習模型所判斷出的指標數值結果視覺化，以供復健師觀察該使用者訓練時的腦部電生理活動。如此，係能夠藉由資料視覺化的呈現，以提供復健師更直觀的辨別出使用者的復健成效的功效。

其中，該數個虛擬場景影像係具有不同復健難易度，該分析平台根據該使用者的指標數值選擇相對應難易度的虛擬場景影像，以供該使用者進行符合其現況的步態復健訓練。如此，復健師係可以根據使用者的復健恢復程度挑選合適的復健難易度的虛擬場景影像，以供該使用者進行步態復健訓練，係具有避免因訓練難易度過高而導致使用者二次傷害，及避免因訓練難易度過低而導致訓練成效不佳的功效。

其中，各該虛擬場景影像具有一音樂節奏，該分析平台控制該顯示器同步播放該虛擬場景影像及該音樂節奏，令該使用者隨著該音樂節奏的拍子進行步態復健訓練。如此，係能夠提供使用者不同的趣味性與挑戰性，以激發使用者進行復健的意願，係具有提升復健效率的功效。

其中，該數個運動感測器分別設置於該使用者的腰部、二大腿、二小腿及至少一腳背，由該數個運動感測器的設置位置形成數個基準面。如此，係能夠量測取得使用者的雙側髖關節、膝關節及患側踝關節等部位的步 態數據，以更精準的判斷出該使用者腳步的踏中率，係具有提升復健成效預估準確率的功效。

本發明的基於整合實境與腦機介面之下肢復健系統，還可以另包含一功能性電刺激器耦接該分析平台，該功能性電刺激器設置於該使用者下肢，並用以對該使用者的脛前肌進行電刺激，以使該使用者的脛前肌進行收縮。如此，係具有避免使用者於步態復健訓練時產生垂足現象，以及輔助使用者行走的功效。

本發明的基於整合實境與腦機介面之下肢復健系統，還可以另包含一警示器耦接該分析平台，該分析平台評估該指標數值是否大於一指標門檻，若評估結果為否，該分析平台控制該警示器發出一警示訊號，以提醒復健師調整該功能性電刺激器的參數。如此，係具有提升使用者復健成效的功效。

〔本發明〕

1:顯示器

2:運動感測器

3:腦波監測器

4:分析平台

41:資料庫單元

42:機器學習模型

43:顯示螢幕

5:功能性電刺激器

6:警示器

〔第1圖〕本發明一較佳實施例的系統方塊圖。

為讓本發明之上述及其他目的、特徵及優點能更明顯易懂，下文特舉本發明之較佳實施例，並配合所附圖式，作詳細說明如下：請參照第1圖所示，其係本發明基於整合實境與腦機介面之下肢復健系統的一較佳實施例，係包含一顯示器1、數個運動感測器2、一腦波監測器3及一分析平台4，該顯示器1、該數個運動感測器2及該腦波監測器3耦接該分析平台4。

該顯示器1供一使用者配戴，並用以接收並播放一虛擬場景影像給該使用者觀看，以導引該使用者進行步態復健訓練，在本實施例中，該顯示器1係可以將該虛擬場景影像中的數個虛擬指標投影疊加於現實世界中，以供該使用者沿著該數個虛擬指標進行步行。舉例而言，該顯示器1係可以為Microsoft HoloLens系列的智慧型眼鏡設備，係具有擴增實境(AR)、手勢辨識、語音辨識及虹膜辨識等功能，該顯示器1亦可以其他具有相同功能的抬頭式或頭戴式顯示器，惟非用以限制本發明。

該數個運動感測器2分別設置於該使用者下肢的數個部位，並用以感測取得一步態數據，在本實施例中，各該運動感測器2係可以為一六軸感測器，該六軸感測器具有三軸加速度計及三軸陀螺儀，例如可以為InvenSense公司所推出的MPU6050；較佳地，各該運動感測器2係可以為一九軸感測器，該九軸感測器係可以為三軸加速度計、三軸陀螺儀與三軸地磁計的組合、六軸加速度計與三軸陀螺儀的組合，或三軸加速度計與六軸陀螺儀的組合。

具體而言，該數個運動感測器2的數量較佳係可以為六~七個，且可以分別設置於該使用者的腰部、二大腿、二小腿及至少一腳背，其中，該數個運動感測器2的設置位置可以兩兩一組形成數個基準面，以推斷出該使用者的人體關節座標係數，供較全面的下肢關節角度變化的量測，係可以是腰部與大腿上的運動感測器2為一組，大腿與小腿上的運動感測器2為一組，及小腿與腳背上的運動感測器2為一組，舉例而言，將兩個該運動感測器2分別置於大腿及小腿，用以紀錄大腿及小腿在同一平面上的座標位置變化，以推導出膝關節坐標係數，即偵測一個關節角度變化係透過分析相鄰兩個肢段的座標位置。其中，該步態數據係可以包含該使用者行走時，其下肢關節的位置、角度、速度及加速度等資訊，並可據以推算出該使用者的 步速、步頻、步距及對稱性等數據。

該腦波監測器3用以感測該使用者腦波的電流變化，以記錄一腦電波訊號(EEG)，該腦電波訊號係為該使用者之大腦運動區的腦波訊號，在本實施例中，該腦波監測器3係可以為一穿戴式腦波電極帽，並用以記錄該使用者的腦電波訊號中的α、β、δ及θ等頻段的腦波功率值。

該分析平台4耦接該顯示器1、該數個運動感測器2及該腦波監測器3，在本實施例中，係可以採用一樹梅派(Raspberry Pi 3/4)作為該分析平台4。該分析平台4以一資料庫單元41儲存數個虛擬場景影像；該分析平台4由該資料庫單元41中選擇其中一虛擬場景影像，並將該虛擬場景影像傳送至該顯示器1，使該顯示器1播放該虛擬場景影像，以供使用者根據該虛擬場景影像進行步態復健訓練；該分析平台4接收該數個運動感測器2所感測到的步態數據，並與該虛擬場景影像進行比對，以判斷出該使用者腳步踩踏由該虛擬場景影像產生的虛擬指標的準確率，並給予該使用者反饋，該反饋的形式係可以為語音提示或影像提示，惟不以此為限。

該分析平台4將該腦電波訊號輸入至一機器學習模型42，使該機器學習模型42將該腦電波訊號量化成一指標數值，該指標數值用以表示該使用者的下肢運動功能，在本實施例中，該指標數值越高，表示該使用者的下肢運動功能越接近健康者；該分析平台4輸出該指標數值。例如但不限制地，該機器學習模型42係以支持向量機(SVM)訓練而成，該支持向量機的技術係本發明中具有通常知識者可以理解，在此不多加贅述。

值得一提的是，該數個虛擬場景影像係可以具有不同復健難易度，例如：初級、中等、進階及自定義等復健難易度；該分析平台4係可以根據該使用者的指標數值選擇相對應難易度的虛擬場景影像，以供該使用者進行符合其現狀的步態復健訓練。另一方面，各該虛擬場景影像係還可以具有 一音樂節奏，並於該顯示器1播放該虛擬場景影像時，同步播放該音樂節奏，令該使用者隨著該音樂節奏的拍子進行步態復健訓練。

本發明基於整合實境與腦機介面之下肢復健系統之分析平台4，還可以具有一顯示螢幕43，該顯示螢幕43用以將該機器學習模型42所判斷出的指標數值結果視覺化，以供復健師觀察該使用者訓練時的腦部電生理活動。例如但不限制地，該顯示螢幕43係可以為一般電腦螢幕，或是具有顯示功能的智慧手機、平板或筆記型電腦等行動裝置，該使用者係可以擷取該顯示螢幕43所顯示的畫面，並發送給復健師，以供該復健師觀察該使用者的腦部電生理活動。

本發明基於整合實境與腦機介面之下肢復健系統，還可以具有一功能性電刺激器5(FES)，該功能性電刺激器5設置於該使用者下肢，並耦接該分析平台4，該分析平台4係可以控制該功能性電刺激器5對該使用者的脛前肌進行電刺激，以使該使用者的脛前肌進行收縮，以避免該使用者於步態復健訓練時產生垂足(drop foot)現象，及輔助該使用者行走的作用。具體而言，該分析平台4係可以根據該使用者的踝關節角度及髖關節角度等步態數據進行分析，以分析該使用者是否具有一垂足現象，若分析結果為是，則控制該功能性電刺激器5對該使用者的脛前肌進行電刺激；若分析結果為否，則就不需額外執行作動。

本發明基於整合實境與腦機介面之下肢復健系統，還可以具有一警示器6耦接該分析平台4，該分析平台4係可以評估該指標數值是否大於一指標門檻，若評估結果為是，該分析平台4不需執行額外作動；若評估結果為否，該分析平台4係可以控制該警示器6發出一警示訊號，以提醒復健師調整該功能性電刺激器5的參數，以確保該使用者能夠如期完成步態復健訓練。例如但不限制地，該警示器6係可以為一發光二極體、一蜂鳴器或 其組合，並用以發出一警示燈光、一警示音或其組合的警示訊號，惟非用以限制本發明。

本發明基於整合實境與腦機介面之下肢復健系統在使用時，使用者(如：中風病患)將該顯示器1與該腦波監測器3配戴於頭上，並將該數個運動感測器2設置於腰部、大腿、小腿及腳背等身體部位；該使用者或復健師控制該分析平台4，以選擇符合該使用者目前復健難易度的一虛擬場景影像，使該分析平台4將該虛擬場景影像發送至該顯示器1，該虛擬場景影像係可以由Unity建構而成。該顯示器1將該虛擬場景影像中的兩條虛擬通道及數個虛擬指標投影疊加於現實世界中，該數個虛擬指標係分別位於其中一虛擬通道，並搭配音樂節奏沿著該虛擬通道往該使用者的方向移動，以供該使用者隨著該音樂節奏的拍子，並依據該數個虛擬指標進行步態復健訓練。在該使用者進行步態復健訓練時，該分析平台4接收該數個運動感測器2所感測到的步態數據，並分析該使用者的膝關節彎曲角度是否達到一預設門檻(如：30度角)，且該虛擬指標尚未移動至該使用者後方，若分析結果為是，該分析平台4控制該虛擬場景影像產生一虛擬物件，並使該虛擬物件與相對應的虛擬通道上的虛擬指標相互抵銷，進而取得一復健分數；若分析結果為否，則可以不需執行額外作動。

該分析平台4將該腦波監測器3所感測到的腦電波訊號輸入至該機器學習模型42，使該機器學習模型42將該腦電波訊號量化成用以表示下肢運動功能的一指標數值(例如：1~100)，以供該使用者得知下肢的復原程度。更進一步的，在步態復健訓練過程中，該使用者係可以將該功能性電刺激器5貼附於脛前肌，並進行電刺激以促使收縮，以避免產生垂足現象；又，該分析平台4係可以評估該指標數值是否大於一指標門檻(例如：70)，若評估結果為否，則控制該顯示器6發出警示訊號，以提醒該使用者 或該復健師調整該功能性電刺激器的參數，以改善該使用者的復健成效。

綜上所述，本發明的基於整合實境與腦機介面之下肢復健系統，係能夠透過該顯示器播放虛擬場景影像給使用者觀看，以導引該使用者進行步態復健訓練，並將該數個運動感測器所感測到的步態數據，與該虛擬場景影像進行比對，以判斷出該使用者腳步踩踏由該虛擬場景影像產生的虛擬指標的準確率，並給予該使用者復健訓練上的反饋，該分析平台以該腦波監測器感測該使用者進行步態復健訓練後的腦電波訊號，並將該腦電波訊號輸入至該機器學習模型，以評估該使用者的步態復健訓練成效並進行量化，進而取得並輸出一代表該使用者下肢運動功能的指標數值。如此，本發明基於整合實境與腦機介面之下肢復健系統的使用者，係可以不需前往醫院就可以直接在家使用，係可以達到節省往返醫院的時間與金錢成本，以及即時得知自身步態復健訓練成效等功效。

雖然本發明已利用上述較佳實施例揭示，然其並非用以限定本發明，任何熟習此技藝者在不脫離本發明之精神和範圍之內，相對上述實施例進行各種更動與修改仍屬本發明所保護之技術範疇，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。

1:顯示器

2:運動感測器

3:腦波監測器

4:分析平台

41:資料庫單元

42:機器學習模型

43:顯示螢幕

5:功能性電刺激器

6:警示器

Claims (7)

1. 一種基於整合實境與腦機介面之下肢復健系統，包含：一顯示器，供一使用者配戴，並用以接收並播放一虛擬場景影像給該使用者觀看，以導引該使用者進行步態復健訓練；數個運動感測器，分別設置於該使用者下肢的數個部位，並用以感測取得一步態數據；一腦波監測器，用以感測該使用者腦波的電流變化，以記錄一腦電波訊號，該腦電波訊號係為該使用者之大腦運動區的腦波訊號；及一分析平台，耦接該顯示器、該數個運動感測器及該腦波監測器，該分析平台以一資料庫單元儲存數個虛擬場景影像，並由該資料庫單元中選擇並傳送該虛擬場景影像至該顯示器，該顯示器係將該虛擬場景影像中的數個虛擬指標投影疊加於現實世界中，以供該使用者沿著該數個虛擬指標進行步行，該分析平台接收該數個運動感測器所感測到的步態數據，並與該虛擬場景影像進行比對，以判斷出該使用者腳步踩踏該數個虛擬指標的準確率，並給予該使用者反饋，該分析平台將該腦電波訊號輸入至一機器學習模型，使該機器學習模型將該腦電波訊號量化成一指標數值，該指標數值用以表示該使用者的下肢運動功能，該分析平台輸出該指標數值。
2. 如請求項1之基於整合實境與腦機介面之下肢復健系統，其中，該分析平台具有一顯示螢幕，該顯示螢幕用以將該機器學習模型所判斷出的指標數值結果視覺化，以供復健師觀察該使用者訓練時的腦部電生理活動。
3. 如請求項1之基於整合實境與腦機介面之下肢復健系統，其中，該數個虛擬場景影像係具有不同復健難易度，該分析平台根據該使用者的指標數值選擇相對應難易度的虛擬場景影像，以供該使用者進行符合其現 況的步態復健訓練。
4. 如請求項1之基於整合實境與腦機介面之下肢復健系統，其中，各該虛擬場景影像具有一音樂節奏，該分析平台控制該顯示器同步播放該虛擬場景影像及該音樂節奏，令該使用者隨著該音樂節奏的拍子進行步態復健訓練。
5. 如請求項1之基於整合實境與腦機介面之下肢復健系統，其中，該數個運動感測器分別設置於該使用者的腰部、二大腿、二小腿及至少一腳背，由該數個運動感測器的設置位置形成數個基準面。
6. 如請求項1至5中任一項之基於整合實境與腦機介面之下肢復健系統，另包含一功能性電刺激器耦接該分析平台，該功能性電刺激器設置於該使用者下肢，並用以對該使用者的脛前肌進行電刺激，以使該使用者的脛前肌進行收縮。
7. 如請求項6之基於整合實境與腦機介面之下肢復健系統，另包含一警示器耦接該分析平台，該分析平台評估該指標數值是否大於一指標門檻，若評估結果為否，該分析平台控制該警示器發出一警示訊號，以提醒復健師調整該功能性電刺激器的參數。

Images