TWI782885B - 類風濕性關節炎的復建姿勢與攝食關聯檢測系統 - Google Patents
類風濕性關節炎的復建姿勢與攝食關聯檢測系統 Download PDFInfo
- Publication number
- TWI782885B TWI782885B TW111115587A TW111115587A TWI782885B TW I782885 B TWI782885 B TW I782885B TW 111115587 A TW111115587 A TW 111115587A TW 111115587 A TW111115587 A TW 111115587A TW I782885 B TWI782885 B TW I782885B
- Authority
- TW
- Taiwan
- Prior art keywords
- wrist
- thumb
- middle finger
- rheumatoid arthritis
- angle
- Prior art date
Links
Images
Landscapes
- Image Analysis (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
一種類風濕性關節炎的復建姿勢與攝食關聯檢測系統，包含一手腕穿戴式裝置、一大拇指穿戴式裝置、一中指穿戴式裝置、一電子裝置、一深度感知攝影裝置、一第一處理伺服器，及一第二處理伺服器。該第二處理伺服器的一深度學習訓練單元的一深度信念網路依據一手部特徵資訊、一手部姿勢資訊及一攝食習慣資訊計算出該類風濕性關節炎患者擁有類風溼性關節炎的一診斷因子機率。
Description
本發明是有關於一種檢測系統，特別是指一種類風濕性關節炎的復建姿勢與攝食關聯檢測系統。
類風濕性關節炎雖然不至於導致病患死亡，但卻能讓患者非常不舒服且飽受疼痛折磨。目前為止，對於類風濕性關節炎的症狀仍然無法根治，因此病患不僅得長期服用相關的藥物，且還得搭配復健療程來控制病情。然而，患者就必須時常往返醫療場所進行復健的療程行為，但對於行動不便的病患來說，往返的過程極為不便，但若病患自行在家實施復健行為，又可能礙於沒有專業人士從旁協助，病患也無從得知復健療程執行中，姿勢的正確與否，除此之外病患的攝食習慣對於類風濕性關節炎病情狀況亦有相關影響。
因此，本發明的目的，即在提供一種一種能夠針對類風濕性關節炎的復建姿勢與攝食關聯的檢測系統。
於是，本發明之類風濕性關節炎的復建姿勢與攝食關聯檢測系統，適用於檢測一類風濕性關節炎患者的復健狀況，該檢測系統包含：一手腕穿戴式裝置、一大拇指穿戴式裝置、一中指穿戴式裝置、一電子裝置、一深度感知攝影裝置、一第一處理伺服器，及一第二處理伺服器。
該手腕穿戴式裝置套設於該類風濕性關節炎患者的手腕，該手腕穿戴式裝置包括一手腕三軸加速度偵測元件及一手腕陀螺儀元件，該手腕三軸加速度偵測元件擷取一手腕三軸資料，該手腕陀螺儀元件擷取一手腕角速度資料。
該大拇指穿戴式裝置套設於該類風濕性關節炎患者的大拇指，該大拇指穿戴式裝置包括一大拇指三軸加速度偵測元件及一大拇指陀螺儀元件，該大拇指三軸加速度偵測元件擷取一大拇指三軸資料，該大拇指陀螺儀元件擷取一大拇指角速度資料。
該中指穿戴式裝置套設於該類風濕性關節炎患者的中指，該中指穿戴式裝置包括一中指三軸加速度偵測元件及一中指陀螺儀元件，該中指三軸加速度偵測元件擷取一中指三軸資料，該中指陀螺儀元件擷取一中指角速度資料。
該電子裝置連線該手腕穿戴式裝置、該大拇指穿戴式裝置及該中指穿戴式裝置，該電子裝置依據該手腕三軸資料及該手腕角速度資料計算出一手腕偏航角、一手腕俯仰角，及一手腕滾轉角，依據該大拇指三軸資料及該大拇指角速度資料計算出一大拇指偏航角、一大拇指俯仰角，及一大拇指滾轉角，依據該中指三軸資料及該中指角速度資料計算出一中指偏航角、一中指俯仰角，及一中指滾轉角。
該深度感知攝影裝置包括一複合鏡頭攝影機，用以記錄複數具有一三維座標的手指關節點。
該第一處理伺服器連線至該電子裝置及該深度感知攝影裝置，該第一處理伺服器執行一倒傳遞類神經網路模型，並接收該等手指關節點、該手腕三軸資料、該手腕偏航角、該手腕俯仰角、該手腕滾轉角、該大拇指三軸資料、該大拇指偏航角、該大拇指俯仰角、該大拇指滾轉角、該中指三軸資料、該中指偏航角、該中指俯仰角、該中指滾轉角、一年齡層資訊、一病症資訊、一復健部位資訊，及一復健時間，以獲得一錯誤姿勢參數，該錯誤姿勢參數可更新該倒傳遞類神經網路模型執行時的權重，以計算出一具有複數節點的大眾本體論資料架構。
該第二處理伺服器連線至該第一處理伺服器，包括一異質資料整合單元及一執行一卷積類神經網路和一深度信念網路的深度學習訓練單元，其中，該異質資料整合單元依據該手腕三軸資料、該手腕偏航角、該手腕俯仰角、該手腕滾轉角、該大拇指三軸資料、該大拇指偏航角、該大拇指俯仰角、該大拇指滾轉角、該中指三軸資料、該中指偏航角、該中指俯仰角、該中指滾轉角計算出一手部姿勢資訊，接著，依據一食品添加物濃度、一食物每日攝取量、一食品添加物吸收率及一類風濕性關節炎患者體重計算出一攝食習慣資訊，再者，依據該等手指關節點計算出一手部深度影像。
該深度學習訓練單元的卷積類神經網路依據該手部深度影像計算出一手部特徵資訊，接著，該深度學習訓練單元的深度信念網路依據該手部特徵資訊、該手部姿勢資訊及該攝食習慣資訊計算出該類風濕性關節炎患者擁有類風溼性關節炎的一診斷因子機率。
本發明的功效在於：利用偵測患者的復健姿勢、獲取患者的攝食習慣等參數，就可以獲知類風濕性關節炎患者擁有類風溼性關節炎的機率，來評估病患復健的狀態。
在本發明被詳細描述之前，應當注意在以下的說明內容中，類似的元件是以相同的編號來表示。
參閱圖1，本發明類風濕性關節炎的復建姿勢與攝食關聯檢測系統，適用於檢測一類風濕性關節炎患者的復健狀況，該檢測系統包含：一手腕穿戴式裝置1、一大拇指穿戴式裝置2、一中指穿戴式裝置3、一電子裝置4、一深度感知攝影裝置5、一第一處理伺服器6，及一第二處理伺服器7。
該手腕穿戴式裝置1套設於該類風濕性關節炎患者的手腕，該手腕穿戴式裝置1包括一手腕三軸加速度偵測元件（圖未示）及一手腕陀螺儀元件（圖未示），該手腕三軸加速度偵測元件擷取一手腕三軸資料，該手腕陀螺儀元件擷取一手腕角速度資料。
該大拇指穿戴式裝置2套設於該類風濕性關節炎患者的大拇指，該大拇指穿戴式裝置2包括一大拇指三軸加速度偵測元件（圖未示）及一大拇指陀螺儀元件（圖未示），該大拇指三軸加速度偵測元件擷取一大拇指三軸資料，該大拇指陀螺儀元件擷取一大拇指角速度資料。
該中指穿戴式裝置3套設於該類風濕性關節炎患者的中指，該中指穿戴式裝置3包括一中指三軸加速度偵測元件（圖未示）及一中指陀螺儀元件（圖未示），該中指三軸加速度偵測元件擷取一中指三軸資料，該中指陀螺儀元件擷取一中指角速度資料。
該電子裝置4在本實施例中是一智慧型行動電話或平板電腦，該電子裝置4連線該手腕穿戴式裝置1、該大拇指穿戴式裝置2及該中指穿戴式裝置3，該電子裝置4依據該手腕三軸資料及該手腕角速度資料計算出一手腕偏航角、一手腕俯仰角，及一手腕滾轉角，依據該大拇指三軸資料及該大拇指角速度資料計算出一大拇指偏航角、一大拇指俯仰角，及一大拇指滾轉角，依據該中指三軸資料及該中指角速度資料計算出一中指偏航角、一中指俯仰角，及一中指滾轉角。
該深度感知攝影裝置5包括一複合鏡頭攝影機51及一電連接該複合鏡頭攝影機的電腦主機52，在本實施例中，該複合鏡頭攝影機51是一Kinect攝影機。該電腦主機52接收該複合鏡頭攝影機51拍攝的手掌影像後，記錄複數具有一三維座標的手指關節點。
該第一處理伺服器6連線至該電子裝置4及該深度感知攝影裝置5，在本實施例中，該第一處理伺服器6是一電腦。該第一處理伺服器6執行一倒傳遞類神經網路模型的電腦程式，其中，倒傳遞類神經網路模型包括一輸入層、一隱藏層及一輸出層。
該第一處理伺服器6接收到該等手指關節點、該手腕三軸資料、該手腕偏航角、該手腕俯仰角、該手腕滾轉角、該大拇指三軸資料、該大拇指偏航角、該大拇指俯仰角、該大拇指滾轉角、該中指三軸資料、該中指偏航角、該中指俯仰角、該中指滾轉角、一年齡層資訊（如少年、老年等的代號）、一病症資訊（如扭傷、骨折，或肌腱炎的代號）、一復健部位資訊（如左手腕、右手腕或手掌的代號），及一復健時間（如較長、適中、較短的代號）後，輸入至該倒傳遞類神經網路模型的輸入層，經該隱藏層計算後，從複數錯誤姿勢資料中，於該輸入層輸出其中一種錯誤姿勢資料為一錯誤姿勢參數，而該錯誤姿勢參數可更新該倒傳遞類神經網路模型執行時的權重，以計算出一如圖2、圖3、圖4所示，具有複數節點的大眾本體論資料架構。
參閱圖1，該第二處理伺服器7在本實施例是一電腦，並透過網際網路連線至該第一處理伺服器6，並可接收該手腕三軸資料、該手腕偏航角、該手腕俯仰角、該手腕滾轉角、該大拇指三軸資料、該大拇指偏航角、該大拇指俯仰角、該大拇指滾轉角、該中指三軸資料、該中指偏航角、該中指俯仰角，及該中指滾轉角。該第二處理伺服器7包括一異質資料整合單元61及一執行一卷積類神經網路（Convolutional Neural Networks，CNNs）和一深度信念網路（Deep Belief Networks ，DBNs）的深度學習訓練單元62。
該異質資料整合單元61依據該手腕三軸資料、該手腕偏航角、該手腕俯仰角、該手腕滾轉角、該大拇指三軸資料、該大拇指偏航角、該大拇指俯仰角、該大拇指滾轉角、該中指三軸資料、該中指偏航角、該中指俯仰角、該中指滾轉角計算出一手部姿勢資訊。
接著，該異質資料整合單元61依據一食品添加物濃度（如5%）、一食物每日攝取量（如800功課）、一食品添加物吸收率（如10%），及一類風濕性關節炎患者體重（如70公斤）計算出一攝食習慣資訊。
再者，該異質資料整合單元61依據該等手指關節點計算出一手部深度影像，該深度學習訓練單元62使用該手部深度影像透過該卷積類神經網路的一卷積層(Convolution Layers)、一池化層(Pooling Layers)、一線性整流層(Rectified Linear Units layer，ReLU layers)及一全連結層(Fully Connected Layers)，計算出一手部特徵資訊。
接著，該深度學習訓練單元62的深度信念網路將該手部姿勢資訊、該攝食習慣資訊及該手部特徵資訊輸入至該深度信念網路的複數受限玻爾茲曼機(Restricted Boltzmann Machine, RBM)，再經由一分類器(Classifier)，以計算出該類風濕性關節炎患者擁有類風溼性關節炎的一診斷因子機率。該診斷因子機率可傳回該第一處理伺服器6，並傳送至一顯示裝置8的一螢幕單元81上顯示。
綜上所述，本發明類風濕性關節炎的復建姿勢與攝食關聯檢測系統，利用偵測患者的復健姿勢、獲取患者的攝食習慣等參數，可以獲知類風濕性關節炎患者擁有類風溼性關節炎的機率，來評估病患復健的狀態。此外，醫生也能依此做出診斷並給予病患建議。
惟以上所述者，僅為本發明的實施例而已，當不能以此限定本發明實施的範圍，凡是依本發明申請專利範圍及專利說明書內容所作的簡單的等效變化與修飾，皆仍屬本發明專利涵蓋的範圍內。
1:手腕穿戴式裝置
2:大拇指穿戴式裝置
3:中指穿戴式裝置
4:電子裝置
5:深度感知攝影裝置
51:複合鏡頭攝影機
52:電腦主機
6:第一處理伺服器
7:第二處理伺服器
8:顯示裝置
81:螢幕單元
本發明的其他的特徵及功效，將於參照圖式的實施方式中清楚地呈現，其中：
圖1是一系統方塊圖，說明本發明之類風濕性關節炎的復建姿勢與攝食關聯檢測系統；
圖2是一本體論資料架構的示意圖；
圖3是是一本體論資料架構的示意圖； 及
圖4是一本體論資料架構的示意圖。
1:手腕穿戴式裝置
2:大拇指穿戴式裝置
3:中指穿戴式裝置
4:電子裝置
5:深度感知攝影裝置
51:複合鏡頭攝影機
52:電腦主機
6:第一處理伺服器
7:第二處理伺服器
8:顯示裝置
81:螢幕單元
Claims (5)
- 一種類風濕性關節炎的復建姿勢與攝食關聯檢測系統，適用於檢測一類風濕性關節炎患者的復健狀況，該檢測系統包含： 一手腕穿戴式裝置，套設於該類風濕性關節炎患者的手腕，該手腕穿戴式裝置包括一手腕三軸加速度偵測元件及一手腕陀螺儀元件，該手腕三軸加速度偵測元件擷取一手腕三軸資料，該手腕陀螺儀元件擷取一手腕角速度資料； 一大拇指穿戴式裝置，套設於該類風濕性關節炎患者的大拇指，該大拇指穿戴式裝置包括一大拇指三軸加速度偵測元件及一大拇指陀螺儀元件，該大拇指三軸加速度偵測元件擷取一大拇指三軸資料，該大拇指陀螺儀元件擷取一大拇指角速度資料； 一中指穿戴式裝置，套設於該類風濕性關節炎患者的中指，該中指穿戴式裝置包括一中指三軸加速度偵測元件及一中指陀螺儀元件，該中指三軸加速度偵測元件擷取一中指三軸資料，該中指陀螺儀元件擷取一中指角速度資料； 一電子裝置，連線該手腕穿戴式裝置、該大拇指穿戴式裝置及該中指穿戴式裝置，該電子裝置依據該手腕三軸資料及該手腕角速度資料計算出一手腕偏航角、一手腕俯仰角，及一手腕滾轉角，依據該大拇指三軸資料及該大拇指角速度資料計算出一大拇指偏航角、一大拇指俯仰角，及一大拇指滾轉角，依據該中指三軸資料及該中指角速度資料計算出一中指偏航角、一中指俯仰角，及一中指滾轉角； 一深度感知攝影裝置，包括一複合鏡頭攝影機，用以記錄複數具有一三維座標的手指關節點； 一第一處理伺服器，連線至該電子裝置及該深度感知攝影裝置，該第一處理伺服器執行一倒傳遞類神經網路模型，並接收該等手指關節點、該手腕三軸資料、該手腕偏航角、該手腕俯仰角、該手腕滾轉角、該大拇指三軸資料、該大拇指偏航角、該大拇指俯仰角、該大拇指滾轉角、該中指三軸資料、該中指偏航角、該中指俯仰角、該中指滾轉角、一年齡層資訊、一病症資訊、一復健部位資訊，及一復健時間，以獲得一錯誤姿勢參數，該錯誤姿勢參數可更新該倒傳遞類神經網路模型執行時的權重，以計算出一具有複數節點的大眾本體論資料架構；及 一第二處理伺服器，連線至該第一處理伺服器，包括一異質資料整合單元及一執行一卷積類神經網路和一深度信念網路的深度學習訓練單元，其中， 該異質資料整合單元依據該手腕三軸資料、該手腕偏航角、該手腕俯仰角、該手腕滾轉角、該大拇指三軸資料、該大拇指偏航角、該大拇指俯仰角、該大拇指滾轉角、該中指三軸資料、該中指偏航角、該中指俯仰角、該中指滾轉角計算出一手部姿勢資訊，接著，依據一食品添加物濃度、一食物每日攝取量、一食品添加物吸收率及一類風濕性關節炎患者體重計算出一攝食習慣資訊，再者，依據該等手指關節點計算出一手部深度影像， 該深度學習訓練單元的卷積類神經網路依據該手部深度影像計算出一手部特徵資訊，接著，該深度學習訓練單元的深度信念網路依據該手部特徵資訊、該手部姿勢資訊及該攝食習慣資訊計算出該類風濕性關節炎患者擁有類風溼性關節炎的一診斷因子機率。
- 如請求項1所述的類風濕性關節炎的復建姿勢與攝食關聯檢測系統，其中，該倒傳遞類神經網路模型包括一輸入層、一隱藏層及一輸出層，該第一處理伺服器將該等手指關節點、該手腕三軸資料、該手腕偏航角、該手腕俯仰角、該手腕滾轉角、該大拇指三軸資料、該大拇指偏航角、該大拇指俯仰角、該大拇指滾轉角、該中指三軸資料、該中指偏航角、該中指俯仰角、該中指滾轉角、該年齡層資訊、該病症資訊、該復健部位資訊，及該復健時間輸入至該倒傳遞類神經網路模型的輸入層，經該隱藏層計算後，從複數錯誤姿勢資料中，於該輸入層輸出其中一種錯誤姿勢資料為該錯誤姿勢參數。
- 如請求項2所述的類風濕性關節炎的復建姿勢與攝食關聯檢測系統，其中，該手部深度影像透過該卷積類神經網路的一卷積層(Convolution Layers)、一池化層(Pooling Layers)、一線性整流層(Rectified Linear Units layer, ReLU layers)及一全連結層(Fully Connected Layers)，計算出該手部特徵資訊。
- 如請求項3所述的類風濕性關節炎的復建姿勢與攝食關聯檢測系統，其中，該手部特徵資訊、該手部姿勢資訊及該攝食習慣資訊輸入至該深度信念網路的複數受限玻爾茲曼機(Restricted Boltzmann Machine, RBM)，再經由一分類器(classifier)，計算出該診斷因子機率。
- 如請求項1所述的類風濕性關節炎的復建姿勢與攝食關聯檢測系統，其中，該深度感知攝影裝置的複合鏡頭攝影機是一Kinect攝影機。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW111115587A TWI782885B (zh) | 2022-04-25 | 2022-04-25 | 類風濕性關節炎的復建姿勢與攝食關聯檢測系統 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW111115587A TWI782885B (zh) | 2022-04-25 | 2022-04-25 | 類風濕性關節炎的復建姿勢與攝食關聯檢測系統 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI782885B true TWI782885B (zh) | 2022-11-01 |
| TW202343469A TW202343469A (zh) | 2023-11-01 |
Family
ID=85794391
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW111115587A TWI782885B (zh) | 2022-04-25 | 2022-04-25 | 類風濕性關節炎的復建姿勢與攝食關聯檢測系統 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI782885B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050158302A1 (en) * | 1998-02-27 | 2005-07-21 | General Hospital Corporation | Methods for diagnosing and treating autoimmune disease |
| CN103329135A (zh) * | 2010-09-29 | 2013-09-25 | 达卡多股份有限公司 | 自动健康数据获取、处理和通信系统 |
| TW201432312A (zh) * | 2013-02-14 | 2014-08-16 | Seiko Epson Corp | 頭部配戴型顯示裝置及頭部配戴型顯示裝置之控制方法 |
| CN108831527A (zh) * | 2018-05-31 | 2018-11-16 | 古琳达姬（厦门）股份有限公司 | 一种用户运动状态检测方法、装置及可穿戴设备 |
-
2022
- 2022-04-25 TW TW111115587A patent/TWI782885B/zh active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050158302A1 (en) * | 1998-02-27 | 2005-07-21 | General Hospital Corporation | Methods for diagnosing and treating autoimmune disease |
| CN103329135A (zh) * | 2010-09-29 | 2013-09-25 | 达卡多股份有限公司 | 自动健康数据获取、处理和通信系统 |
| TW201432312A (zh) * | 2013-02-14 | 2014-08-16 | Seiko Epson Corp | 頭部配戴型顯示裝置及頭部配戴型顯示裝置之控制方法 |
| CN108831527A (zh) * | 2018-05-31 | 2018-11-16 | 古琳达姬（厦门）股份有限公司 | 一种用户运动状态检测方法、装置及可穿戴设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202343469A (zh) | 2023-11-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wade et al. | Applications and limitations of current markerless motion capture methods for clinical gait biomechanics | |
| US11803241B2 (en) | Wearable joint tracking device with muscle activity and methods thereof | |
| US11389686B2 (en) | Robotically assisted ankle rehabilitation systems, apparatuses, and methods thereof | |
| US20200197744A1 (en) | Method and system for motion measurement and rehabilitation | |
| Hassan et al. | Wearable gait measurement system with an instrumented cane for exoskeleton control | |
| Afyouni et al. | A therapy-driven gamification framework for hand rehabilitation | |
| Kristoffersson et al. | A systematic review of wearable sensors for monitoring physical activity | |
| Huang et al. | Monitoring and assessment of rehabilitation progress on range of motion after total knee replacement by sensor-based system | |
| Hua et al. | Evaluation of machine learning models for classifying upper extremity exercises using inertial measurement unit-based kinematic data | |
| Wei et al. | Real-time 3D arm motion tracking using the 6-axis IMU sensor of a smartwatch | |
| Haralabidis et al. | Fusing accelerometry with videography to monitor the effect of fatigue on punching performance in elite boxers | |
| Guignard et al. | Validity, reliability and accuracy of inertial measurement units (IMUs) to measure angles: application in swimming | |
| Francisco et al. | Computer vision based on a modular neural network for automatic assessment of physical therapy rehabilitation activities | |
| Patil et al. | Body posture detection and motion tracking using ai for medical exercises and recommendation system | |
| TWI782885B (zh) | 類風濕性關節炎的復建姿勢與攝食關聯檢測系統 | |
| Godse et al. | Musculoskeletal physiotherapy using artificial intelligence and machine learning | |
| Sengchuai et al. | Development of a real-time knee extension monitoring and rehabilitation system: range of motion and surface EMG measurement and evaluation | |
| Wai et al. | Development of holistic physical therapy management system using multimodal sensor network | |
| Abdur Rahman | Multisensor serious game-based therapy environment for hemiplegic patients | |
| Naarding et al. | The black box of technological outcome measures: an example in Duchenne muscular dystrophy | |
| Otero-González et al. | Methods for gastrointestinal endoscopy quantification: a focus on hands and fingers kinematics | |
| WO2022107355A1 (ja) | プログラム、方法、情報処理装置、システム | |
| Biswas | Recognition of elementary upper limb movements in nomadic environment | |
| Wang et al. | Recognizing wearable upper-limb rehabilitation gestures by a hybrid multi-feature neural network | |
| Sumaiya et al. | Wearable sleeve for physiotherapy assessment using ESP32 and IMU sensor |