TW202327517A - 可辨識使用者疲勞的運動訓練系統 - Google Patents
可辨識使用者疲勞的運動訓練系統 Download PDFInfo
- Publication number
- TW202327517A TW202327517A TW111135609A TW111135609A TW202327517A TW 202327517 A TW202327517 A TW 202327517A TW 111135609 A TW111135609 A TW 111135609A TW 111135609 A TW111135609 A TW 111135609A TW 202327517 A TW202327517 A TW 202327517A
- Authority
- TW
- Taiwan
- Prior art keywords
- fatigue
- identification model
- svm
- time
- identification
- Prior art date
Links
Landscapes
- Eye Examination Apparatus (AREA)
- Rehabilitation Tools (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Abstract
一種可辨識使用者疲勞的運動訓練系統，包含一頭戴式眼鏡裝置與一即時運算裝置，該頭戴式眼鏡裝置包含一顯示單元與至少一生理資訊感測單元，該至少一生理資訊感測單元包含一眼動追蹤單元與一腦波感測單元中的至少一者；該即時運算裝置訊號連接該頭戴式眼鏡裝置以進行雙向資料傳輸，並儲存有一疲勞辨識模型的程式資料；該即時運算裝置執行該疲勞辨識模型，以根據該至少一生理資訊感測單元的感測資料產生一疲勞辨識結果，並透過該顯示單元顯示對應於該疲勞辨識結果的畫面；其中，該疲勞辨識模型為基於機器學習或基於深度學習的模型。
Description
本發明涉及一種運動訓練系統，特別是指可辨識使用者疲勞的運動訓練系統。
教練一般是指具有專業運動素養的人員，能對一般民眾與運動員進行指導，舉例來說，羽毛球是一項包含許多對打策略、擊球技術與步伐技術的運動，而羽球教練即能提供學習者正確的觀念。
隨著科技進展，目前已有利用虛擬實境(VR)、擴增實境(AR)、混合實境(MR)或延展實境(XR)技術為學習者提供指導，例如中華民國專利公告第I704942號的「虛擬實境的水中運動訓練裝置」，其包含一感測單元、一顯示器及一處理單元，該感測單元戴在使用者人體的部位且感測該部位的動作軌跡及速率，該顯示器能固定在使用者的頭部並顯示虛擬實境的畫面，該處理單元接收該感測單元的偵測信號並加以處理以產生一虛擬實境顯示信號，並將該虛擬實境顯示信號傳送給顯示器。
此外，運用虛擬實境技術亦能增加使用者運動時的臨場感，例如中華民國專利公告第I683687號的「雲端虛擬實境之運動健身機系統」，其包含一健身裝置、一控制裝置以及一虛擬實境顯示裝置，該健身裝置可用於提供一運動者運動，該控制裝置用於控制該健身裝置之傳動速度，該虛擬實境顯示裝置可配戴於使用者之上，並接收並顯示一虛擬實境影像給使用者觀看。
然而，運動領域的習知AR、VR、MR或XR技術是以指導使用者做出正確的姿勢或以增加臨場感為主，如果使用者在運動的過程中有疲勞的跡象卻不自知，縱使其姿勢皆正確，仍有運動傷害的高風險。
有鑒於此，本發明的主要目的是提供一種可辨識使用者疲勞的運動訓練系統，以期克服先前技術未能偵測出使用者疲勞跡象的缺點，本發明進而能確保使用者的運動訓練效果，並有效降低運動傷害的風險。
本發明可辨識使用者疲勞的運動訓練系統包含：
一頭戴式眼鏡裝置，包含一顯示單元與至少一生理資訊感測單元，該至少一生理資訊感測單元包含一眼動追蹤單元與一腦波感測單元中的至少一者；及
一即時運算裝置，訊號連接該頭戴式眼鏡裝置以進行雙向資料傳輸，並儲存有一疲勞辨識模型的程式資料；該即時運算裝置執行該疲勞辨識模型，以根據該至少一生理資訊感測單元的感測資料產生一疲勞辨識結果，並透過該顯示單元顯示對應於該疲勞辨識結果的畫面；其中，該疲勞辨識模型為基於機器學習或基於深度學習的模型。
因為使用者的眼動狀態及腦波與其是否疲勞有關，故根據本發明透過該眼動追蹤單元及/或該腦波感測單元即時偵測使用者的眼動狀態及腦波，並以此為輸入資料，應用基於機器學習或基於深度學習的疲勞辨識模型自動且即時辨識使用者是處在疲勞或非疲勞狀態。當本發明辨識出使用者有疲勞跡象，本發明能自動對應調整該頭戴式眼鏡裝置所播放的畫面，亦即提供較低運動強度、收操或休息的影片給使用者觀看。
藉此，使用者在較低強度、收操或休息的影片中得以調整呼吸、放鬆肌肉...等，藉此獲得舒緩，有效降低運動傷害的風險。
本發明為可辨識使用者疲勞的運動訓練系統，供使用者利用本發明之系統進行互動式運動訓練，所謂"互動式"是指本發明之系統與使用者之間的互動，也就是說，使用者根據本發明顯示的畫面進行運動訓練，同時，本發明能即時偵測使用者的生理信號，並即時對應調整該畫面，藉此達成互動式運動訓練之目的。舉例而言，本發明可應用在一開放式運動訓練與一閉鎖式運動訓練，該開放式運動訓練可包含羽球、桌球、網球、匹克球、籃球、排球、棒球、壘球、曲棍球…等，但不以此為限；該閉鎖式運動訓練可包含田徑、自行車、射箭、高爾夫、馬術、划船…等，但不以此限。
本發明的特色在於：本發明透過人工智慧(Artificial Intelligence, AI)輔助辨識使用者在運動訓練進行中是否處於疲勞狀態，若是，本發明可從原本播放的運動影片改變為較低強度、收操或休息的另一影片，讓使用者在較低強度、收操或休息的影片中得以調整呼吸、放鬆肌肉...等，藉此獲得舒緩，除了可提高專注力，更可有效避免運動傷害。當本發明辨識出使用者已處於非疲勞狀態時，則改變為播放原本的運動影片，以在使用者恢復體能後，回復原有的訓練強度。
以下配合圖式說明本發明可辨識使用者疲勞的運動訓練系統的實施例。
請參考圖1，本發明可辨識使用者疲勞的運動訓練系統包含一頭戴式眼鏡裝置10與一即時運算裝置20，或進一步包含一取像元件31、一觸覺回饋元件32、一電子配件33、一遠端裝置34與一嗅覺刺激元件35中的至少一者。其中，該頭戴式眼鏡裝置10與該即時運算裝置20可分別分離設置的兩個硬體裝置，或者該即時運算裝置20與該頭戴式眼鏡裝置10可結合為一體。另一方面，該頭戴式眼鏡裝置10與該即時運算裝置20的電源可取自電池，或透過一電源適配器連接市電電源。
該頭戴式眼鏡裝置10可為運用虛擬實境(VR)、擴增實境(AR)、混合實境(MR)或延展實境（XR）的眼鏡裝置，請配合參考圖2、圖3與圖4，該頭戴式眼鏡裝置10包含一眼鏡本體11與設置在該眼鏡本體11的一顯示單元12與至少一生理資訊感測單元。該顯示單元12包含顯示器面板120與顯示控制器121，該顯示控制器121連接該顯示器面板120以控制其播放的畫面，該顯示器面板120可為液晶顯示器面板(LCD)，當使用者配戴該眼鏡本體11時，使用者的雙眼能直接目視該顯示單元12所播放的畫面；該至少一生理資訊感測單元包含一眼動追蹤單元13(Eye Tracking)與一腦波感測單元14中的至少一者，也就是說，該眼鏡本體11可設有該眼動追蹤單元13與該腦波感測單元14的其中一者，或同時設有該眼動追蹤單元13和該腦波感測單元14。
需說明的是，該眼動追蹤單元13與該腦波感測單元14的運作原理為所屬技術領域中的通常知識，在此容不詳述。簡言之，該眼動追蹤單元13可包含多個相機130與一眼動信號處理器131，該眼動信號處理器131為具有信號處理功能的晶片。當使用者配戴該眼鏡本體11時，該多個相機130朝使用者的雙眼眼球進行拍攝，其所拍攝的影像資料傳送至該眼動信號處理器131進行處理，以產生使用者雙眼的眼動信號，所述眼動信號例如包含眼球瞳孔的座標和移動軌跡等資訊。該腦波感測單元14可包含多個電極墊140與一腦波訊號處理器141，該腦波訊號處理器141亦為具有信號處理功能的晶片，當使用者配戴該眼鏡本體11時，如圖3所示，該多個電極墊140可貼附於使用者的頭部以量測電信號，並將所述電信號傳送至該腦波訊號處理器141，該腦波訊號處理器141可將該電信號進行信號放大與類比至數位(Analog to Digital)的轉換，進而產生一腦波信號(Electroencephalogram Signal或簡稱為EEG Signal)。
該即時運算裝置20訊號連接該頭戴式眼鏡裝置10以進行雙向資料傳輸，其中，該即時運算裝置20可以有線(wired)或無線(wireless)方式連接該頭戴式眼鏡裝置10，也就是說，該即時運算裝置20與該頭戴式眼鏡裝置10各具有相互匹配連線的傳輸介面15、23，所述傳輸介面15、23例如可為輸入/輸出(I/O)介面、USB介面、HDMI介面、行動通訊介面或WiFi介面等，但不以此為限。
該即時運算裝置20包含一處理單元21與一儲存單元22，該處理單元21包含中央處理器(CPU)，該儲存單元22可為快閃記憶體或記憶卡，該儲存單元22儲存有一疲勞辨識模型的程式資料，該處理單元21連接該儲存單元22，故該處理單元21可存取並執行該疲勞辨識模型。此外，該儲存單元22亦儲存有多個影片之檔案，該處理單元21可選擇其中之一影片，並將所選擇的影片傳送到該頭戴式眼鏡裝置10，以透過該顯示單元12顯示該影片，該影片可為動畫影片或錄影影片。
該取像元件31例如可為一相機，亦可配備一廣角鏡頭，以拍攝並輸出一影像。該即時運算裝置20訊號連接該取像元件31，以接收該取像元件31所拍攝的影像，並對該影像進行影像處理、儲存或對外傳輸至其他裝置。舉例而言，該取像元件31可設置於該頭戴式眼鏡裝置10之眼鏡本體11的底側並朝下拍攝，例如可拍攝到使用者的肢體動作。以羽球運動為例，該取像元件31可拍攝使用者的持拍手臂，該影像即包含使用者手臂揮拍的畫面。
該觸覺回饋元件32實施觸覺感測及/或回饋功能，舉例而言，該觸覺回饋元件32可包含一薄型指尖觸覺感測器、一震動器、一手腕感測器與一鞋墊感測器中的至少一者。該即時運算裝置20訊號連接該觸覺回饋元件32，以輸出一驅動訊號控制該觸覺回饋元件32作動。以羽球運動為例，該觸覺回饋元件32可設置在一球拍而與該頭戴式眼鏡裝置10為分離設置，當該即時運算裝置20驅動該觸覺回饋元件32產生震動時，手握該球拍的使用者也能感受到震動，以期模擬出真實擊球的觸覺震動感受。
該電子配件33可提供多元擴充功能，舉例而言，該電子配件33可為一體感智能衣(haptic suit)、一智慧球拍、一智慧鞋墊...等，該即時運算裝置訊20號連接該電子配件33以進行雙向資料傳輸，以實現多元擴充功能的整合應用，優化互動式虛擬運動的準確度。
該遠端裝置34可為一遠端電腦或一伺服器，該即時運算裝置20訊號連接該遠端裝置34，例如該即時運算裝置20可透過網際網路連線至該遠端裝置34以進行資料傳輸，故該遠端裝置34可與該即時運算裝置20實現多元互動功能。以羽球運動為例，羽球教練可操作該遠端裝置34，將指導資料傳送給該即時運算裝置20，其中，該指導資料的格式可為影音串流，該即時運算裝置20可將該指導資料透過該頭戴式眼鏡裝置10的顯示單元12顯示給使用者觀看。
另一方面，為了克服空間與時間的限制，以及跳脫傳統需要面對面或是錄影式的訓練與教學法，該即時運算裝置20也可將該取像元件31拍攝到的影像傳送到該遠端裝置34供教練觀看，在配合如前所述該影音串流的傳輸，達成使用者和教練之間的線上真人即時雙向互動，隨時隨地皆能獲得訓練指導。故當使用者進行練習或訓練時，即可得知自我的運動姿勢是否正確，教練可進行即時的姿勢修正，而達到目標的運動成效。
該嗅覺刺激元件35可提供嗅覺回饋(刺激)功能，舉例而言，該嗅覺刺激元件35可為電控式芳香劑，或者可以電訊號刺激方式刺激使用者的嗅覺，讓使用者感覺到氣味。該即時運算裝置20訊號連接該嗅覺刺激元件35，以輸出一驅動訊號控制該嗅覺刺激元件35作動，讓使用者產生聞到某一特定味道的感受。
該即時運算裝置20執行該疲勞辨識模型時，係根據該至少一生理資訊感測單元的感測資料產生一疲勞辨識結果，也就是說，該處理單元21將該至少一生理資訊感測單元的感測資料(即：眼動信號及/或腦波信號)作為該疲勞辨識模型的輸入資料，該疲勞辨識模型根據該輸入資料進行演算後，所產生的該疲勞辨識結果可為對應於"疲勞"或"非疲勞"的文字、代碼或代號。其中，該疲勞辨識模型可為經過監督式學習(Supervised learning)、以及基於機器學習(Machine Learning)或基於深度學習(Deep Learning)的預訓練模型(Pre-Trained Model)，容後說明。該即時運算裝置20能根據該疲勞辨識結果控制該顯示單元12所播放的訓練畫面，或進一步驅動該觸覺回饋元件32作動，或進一步與該電子配件33產生互動，或進一步與該遠端裝置34產生互動，或進一步驅動該嗅覺刺激元件35作動。
舉例來說，該儲存單元22所儲存之多個影片中，包含一第一影片和一第二影片，該第二影片的運動訓練強度低於該第一影片的訓練強度，或者該第二影片可為呈現收操或休息的影片。以羽毛球之訓練影片為例，該第一影片的發球頻率為每分鐘40顆球，該第二影片的發球頻率為每分鐘20顆球。假設該處理單元21原本從該儲存單元22讀取並傳送該第一影片至該顯示單元12進行播放，當該疲勞辨識模型產生"疲勞"的疲勞辨識結果時，該處理單元21從該儲存單元22改為讀取並傳送該第二影片至該顯示單元12進行播放，故可暫時減弱運動訓練強度，讓使用者得以獲得舒緩。然後，當該疲勞辨識模型產生"非疲勞"的疲勞辨識結果時，代表使用者已恢復體能，該處理單元21從該儲存單元22改為讀取並傳送該第一影片至該顯示單元12進行播放，以回復原本的運動訓練強度。
以下分別說明基於"機器學習"和基於"深度學習"的該疲勞辨識模型，並以羽毛球訓練為例。其中，以下亦說明每一種疲勞辨識模型分別根據"眼動信號"和"腦波信號"辨識使用者是否運動疲勞。
1、基於"機器學習"的疲勞辨識模型-
1-1、根據"眼動信號"辨識使用者是否運動疲勞
按一般信號處理原理，請參考圖5，該疲勞辨識模型40可依序實施包含一資料擷取步驟(Data Acquisition)401、一信號預處理步驟(Signal Preprocessing)402和一特徵萃取步驟(Feature Extraction)403。簡言之，該資料擷取步驟401是從該眼動追蹤單元13接收使用者的眼動信號；該信號預處理步驟402可根據該眼動信號得到眼動速度(Eye Movement Speed)隨時間變化的波形資訊，並對該眼動速度的波形資訊實施視窗化(Windowing)；該特徵萃取步驟403是基於該信號預處理步驟402所輸出視窗化後的信號，建立一時域特徵資料、一龐卡萊圖(Poincaré Plot Features)特徵資料、或該時域特徵資料以及該龐卡萊圖特徵資料的組合。
本發明的實施例中，該特徵萃取步驟403的輸出資料可包含對應於該眼動信號的一眼動速度(eye movement speed)、該眼動速度之最大值、範圍、中位數、平均絕對誤差值、均方根值、第一四分位數、第三四分位數、四分位距、偏度(skewness)、峰度(kurtosis)及熵值(entropy)中的至少一者、一注視時間(fixation time)、一注視次數(fixation count)、一瞳孔大小(pupil size)、一掃視速度(saccade speed)與一眨眼頻率(blink rate)中的至少一者，其為所屬技術領域的通常知識，在此容不詳述其計算原理。
另外，該特徵萃取步驟403的輸出資料可包含對應於該眼動信號的龐卡萊圖特徵資料，在此先以圖7B所示的龐卡萊圖為例，先將x
，y軸設為
，
為該眼動速度之序列的序列索引；接著將座標系統逆時針旋轉45度得到新的軸向
與
(圖中未示，此為實施龐卡萊圖的通常知識)。是以，該眼動信號的該龐卡萊圖特徵資料包含：沿著
軸向散佈資料點之標準差SD
1、沿著
軸向散佈資料點之標準差SD
2、SD
1與SD
2之比值SD
12、SD
2與SD
1之比值SD
21、龐卡萊圖中擬合橢圓(fitted ellipse)的面積、SD
1與SD
2之乘積(
)、SD
1與SD
2之乘積的對數(
)以及龐卡萊圖之複雜相關度量(complex correlation measure, CCM)。
接續於該特徵萃取步驟403之後，該疲勞辨識模型40還可依序執行包含一特徵降維/選取步驟(Feature Reduction/Selection)404和一智慧辨識步驟(Intelligent Recognition)405。如圖5所示，本發明於該特徵降維/選取步驟404中，採取主成分分析(Principal Component Analysis, PCA)、線性識別分析(Linear Discriminant Analysis, LDA)、無參數加權特徵萃取(Nonparametric Weighted Feature Extraction, NWFE)、核無參數加權特徵萃取法(Kernel Nonparametric Weighted Feature Extraction, KNWFE)、及基於核函數之類別可分離方法(Kernel-Based Class Separability, KBCS)中的至少一者進行特徵降維/選取，故透過該特徵降維/選取步驟404，所產生的疲勞特徵向量包含：對應於所述眼動速度之最大值、範圍、中位數、平均絕對誤差值、均方根值、第一四分位數、第三四分位數、四分位距、偏度、峰度、熵值、注視時間、注視次數、瞳孔大小、掃視速度、眨眼頻率與眼動速度的龐卡萊圖特徵之SD
1、SD
2、SD
12、SD
21、fitted ellipse的面積、
、
、CCM中的至少一者。
如圖5所示，於該智慧辨識步驟405中，依據該特徵降維/選取步驟404輸出的所述疲勞特徵向量，本發明採取兩種分類器中的一者，該兩種分類器分別是最小平方支持向量機(LS-SVM)及機率神經網路(PNN)，由所述分類器根據所述疲勞特徵向量進行分類(Classification)而產生對應於"疲勞"或"非疲勞"的該疲勞辨識結果。
需說明的是，於該特徵降維/選取步驟404和該智慧辨識步驟405中，本發明涉及PCA、LDA、NWFE、KNWFE、KBCS、LS-SVM及PNN的電腦程式應用，其運作原理是所屬技術領域中的通常知識，容不詳述其運作原理。
1-1-1、眼動信號與疲勞辨識結果的關係
整體來看該特徵降維/選取步驟404和該智慧辨識步驟405，是以從所述眼動信號萃取的特徵(即：如前所述眼動速度之時頻特徵資料、眼動速度之龐卡萊圖特徵資料、注視時間、注視次數、瞳孔大小、掃視速度與眨眼頻率)作為輸入資料，該疲勞辨識結果為輸出資料。
以下眼動信號的狀態將使該疲勞辨識結果偏向"疲勞"：眼動速度越慢、注視時間越短、注視次數越少、瞳孔越小、掃視速度越慢、眨眼頻率越高。
另一方面，以下眼動信號的狀態將使該疲勞辨識結果偏向"非疲勞"：眼動速度越快、注視時間越長、注視次數越多、瞳孔越大、掃視速度越快、眨眼頻率越低。
以羽毛球運動為例，羽毛球包含多種球路，本發明僅以快速平球、被殺球之防守以及動態殺球之球路訓練，配合量測資料說明眼動信號與疲勞辨識結果的關係。
1-1-2、快速平球之球路訓練
請參考圖2的座標系與圖6A至圖6C，為該眼動追蹤單元13之相機130所拍攝之使用者右眼瞳孔在一段時間內的位置分佈，另請參考圖6D至圖6F，為該眼動追蹤單元13之相機130所拍攝之使用者右眼瞳孔在另一段時間內的位置分佈，將圖6A至圖6C與圖6D至圖6F相比，圖6A至圖6C所示之瞳孔位置比圖6D至圖6F所示之瞳孔位置更為集中，圖6A至圖6C可表示注視時間越長及掃視速度越快，故對應於圖6A至圖6C的眼動信號會導致該疲勞辨識結果偏向"非疲勞"，而對應於圖6D至圖6F的眼動信號會導致該疲勞辨識結果偏向"疲勞"。請參考圖7A與圖7B，為使用者右眼在一段時間內的眼動速度波形圖與龐卡萊圖，另請參考圖7C與圖7D，為使用者右眼在另一段時間內的眼動速度波形圖與龐卡萊圖，將圖7A、圖7B與圖7C、圖7D相比，圖7A呈現的眼動速度整體而言比圖7C所示的眼動速度更快，且圖7B呈現的龐卡萊圖的眼動速度分布狀態比圖7D更集中，故對應於圖7A、圖7B的眼動信號會導致該疲勞辨識結果偏向"非疲勞"，而對應於圖7C、圖7D的眼動信號會導致該疲勞辨識結果偏向"疲勞"。
1-1-3、被殺球之防守訓練
同前述，將圖8A至圖8C與圖8D至圖8F相比，圖8A至圖8C所示之瞳孔位置比圖8D至圖8F所示之瞳孔位置更為集中，圖8A至圖8C可表示注視時間越長及掃視速度越快，對應於圖8A至圖8C的眼動信號會導致該疲勞辨識結果偏向"非疲勞"，而對應於圖8D至圖8F的眼動信號會導致該疲勞辨識結果偏向"疲勞"。圖9A呈現的眼動速度整體而言比圖9C所示的眼動速度更快，且圖9B呈現的龐卡萊圖的眼動速度分布狀態比圖9D更集中，故對應於圖9A、圖9B的眼動信號會導致該疲勞辨識結果偏向"非疲勞"，而對應於圖9C、圖9D的眼動信號會導致該疲勞辨識結果偏向"疲勞"。
1-1-4、動態殺球之球路訓練
同前述，將圖10A至圖10C與圖10D至圖10F相比，圖10A至圖10C所示之瞳孔位置比圖10D至圖10F所示之瞳孔位置更為集中，圖10A至圖10C可表示注視時間越長及掃視速度越快，對應於圖10A至圖10C的眼動信號會導致該疲勞辨識結果偏向"非疲勞"，而對應於圖10D至圖10F的眼動信號會導致該疲勞辨識結果偏向"疲勞"。圖11A呈現的眼動速度整體而言比圖11C所示的眼動速度更快，且圖11B呈現的龐卡萊圖的眼動速度分布狀態比圖11D更集中，故對應於圖11A、圖11B的眼動信號會導致該疲勞辨識結果偏向"非疲勞"，而對應於圖11C、圖11D的眼動信號會導致該疲勞辨識結果偏向"疲勞"。
1-1-5、疲勞辨識模型的較佳實施例
如前所述，該特徵降維/選取步驟404包含PCA、LDA、NWFE、KNWFE及KBCS中的至少一者，該智慧辨識步驟405採取LS-SVM及PNN中之一者。請參考下表，在快速平球之球路訓練，如圖12所示，該特徵降維/選取步驟404和該智慧辨識步驟405係以KNWFE和LS-SVM之組合為較佳實施例。
| 根據"眼動信號"辨識是否疲勞 | 訓練 球路 | 特徵降維/選取步驟和智慧辨識步驟的組合 | 辨識率 (CCR) % |
| 基於"機器學習"的疲勞辨識模型- | 快速 平球 | PCA、LS-SVM | 60.92 % |
| LDA、LS-SVM | 48.28 % | ||
| NWFE、LS-SVM | 63.22 % | ||
| KNWFE、LS-SVM | 68.97 % | ||
| KBCS、LS-SVM | 55.17 % | ||
| PCA、LDA、LS-SVM | 65.52 % | ||
| KBCS、PCA、LS-SVM | 66.67 % | ||
| KBCS、LDA、LS-SVM | 57.47 % | ||
| PCA、PNN | 62.07 % | ||
| LDA、PNN | 52.87 % | ||
| NWFE、PNN | 66.67 % | ||
| KNWFE、PNN | 68.96 % | ||
| KBCS、PNN | 60.92 % | ||
| PCA、LDA、PNN | 62.07 % | ||
| KBCS、PCA、PNN | 62.07 % | ||
| KBCS、LDA、PNN | 56.32 % |
請參考下表，在被殺球之防守訓練，如圖13所示，該特徵降維/選取步驟404和該智慧辨識步驟405係以KBCS、PCA、PNN之組合為較佳實施例。
| 根據"眼動信號"辨識是否疲勞 | 訓練 球路 | 特徵降維/選取步驟和智慧辨識步驟的組合 | 辨識率 (CCR) % |
| 基於"機器學習"的疲勞辨識模型- | 被殺 球之 防守 | PCA、LS-SVM | 69.35 % |
| LDA、LS-SVM | 70.97 % | ||
| NWFE、LS-SVM | 66.13 % | ||
| KNWFE、LS-SVM | 67.74 % | ||
| KBCS、LS-SVM | 69.35 % | ||
| PCA、LDA、LS-SVM | 66.13 % | ||
| KBCS、PCA、LS-SVM | 75.81 % | ||
| KBCS、LDA、LS-SVM | 66.13 % | ||
| PCA、PNN | 75.81 % | ||
| LDA、PNN | 61.29 % | ||
| NWFE、PNN | 75.81 % | ||
| KNWFE、PNN | 74.19 % | ||
| KBCS、PNN | 75.81 % | ||
| PCA、LDA、PNN | 64.52 % | ||
| KBCS、PCA、PNN | 79.03 % | ||
| KBCS、LDA、PNN | 59.68 % |
請參考下表，在動態殺球之球路訓練，如圖14所示，該特徵降維/選取步驟404和該智慧辨識步驟405係以KBCS和LS-SVM之組合為較佳實施例。
| 根據"眼動信號"辨識是否疲勞 | 訓練 球路 | 特徵降維/選取步驟和智慧辨識步驟的組合 | 辨識率 (CCR) % |
| 基於"機器學習"的疲勞辨識模型- | 動態 殺球 | PCA、LS-SVM | 65.08 % |
| LDA、LS-SVM | 46.03 % | ||
| NWFE、LS-SVM | 65.08 % | ||
| KNWFE、LS-SVM | 61.90 % | ||
| KBCS、LS-SVM | 69.84 % | ||
| PCA、LDA、LS-SVM | 65.08 % | ||
| KBCS、PCA、LS-SVM | 63.49 % | ||
| KBCS、LDA、LS-SVM | 61.90 % | ||
| PCA、PNN | 65.08 % | ||
| LDA、PNN | 50.79 % | ||
| NWFE、PNN | 63.49 % | ||
| KNWFE、PNN | 65.08 % | ||
| KBCS、PNN | 65.08 % | ||
| PCA、LDA、PNN | 61.90 % | ||
| KBCS、PCA、PNN | 63.49 % | ||
| KBCS、LDA、PNN | 68.25 % |
1-1-6、該疲勞辨識模型的訓練
如前所述，眼動信號與疲勞辨識結果息息相關，故在模型訓練階段，可先提供對應於"疲勞"和"非疲勞"的複數眼動信號的樣本資料給該疲勞辨識模型以進行監督式學習(Supervised learning)之訓練，故該疲勞辨識模型即為預訓練模型(Pre-Trained Model)。
1-2、根據"腦波信號"辨識使用者是否運動疲勞
按一般信號處理原理，請參考圖15，該疲勞辨識模型40可依序實施包含一資料擷取步驟401、一信號預處理步驟402和一特徵萃取步驟403。簡言之，該401是從該腦波感測單元14接收使用者的一腦波信號(EEG Signal)；該信號預處理步驟402可對該腦波信號實施濾波和視窗化等信號處理，其中，所述濾波可為帶通濾波(Bandpass Filtering)；該特徵萃取步驟403是基於該信號預處理步驟402所輸出視窗化後的信號，擷取其時域特徵、頻域特徵、或時域特徵及頻域特徵的組合。
本發明的實施例中，該特徵萃取步驟403的輸出資料可包含對應於該腦波信號的時域特徵以及頻域特徵，該時域特徵包含平均數、變異數、過零率、偏度、峰度、熵值中的至少一者，該頻域特徵包含
波能量、
波能量、
波能量、
波能量、紡錘波能量、鋸齒波能量、
、
、
及
中的至少一者，上述之腦波信號的時域特徵及頻域特徵為所屬技術領域的通常知識，在此容不詳述其計算原理。
接續於該特徵萃取步驟403之後，該疲勞辨識模型40還依序執行包含一特徵降維/選取步驟406和一智慧辨識步驟407。如圖15所示，本發明於該特徵降維/選取步驟406中，採取PCA、LDA、NWFE、KNWFE及KBCS中的至少一者進行特徵降維/選取，故透過該特徵降維/選取步驟406，產生對應於該腦波信號之時域特徵及頻域特徵中的至少一者疲勞特徵向量。
於該智慧辨識步驟407中，依據所述疲勞特徵向量，本發明採取兩種分類器中的一者，該兩種分類器分別是LS-SVM及PNN，由所述分類器根據所述疲勞特徵向量進行分類以產生對應於"疲勞"或"非疲勞"的該疲勞辨識結果。
1-2-1、腦波信號與疲勞辨識結果的關係
以羽毛球運動為例，本發明僅以靜態休息、快速平球、被殺球之防守以及動態殺球之球路訓練，配合量測資料說明腦波信號與疲勞辨識結果的關係。
1-2-2、靜態休息
請參考圖16A，為該腦波感測單元14在一段時間內產生的腦波信號，另請參考圖16B，為該腦波感測單元14在另一段時間內的腦波信號。將圖16A與圖16B相比，圖16A所示之整體振幅比圖16B所示之整體振幅大，故對應於圖16A的腦波信號會導致該疲勞辨識結果偏向"非疲勞"，而對應於圖16B的腦波信號會導致該疲勞辨識結果偏向"疲勞"。
1-2-3、快速平球之球路訓練
請參考圖17A，為該腦波感測單元14在一段時間內產生的腦波信號，另請參考圖17B，為該腦波感測單元14在另一段時間內的腦波信號。將圖17A與圖17B相比，圖17A所示之整體振幅比圖17B所示之整體振幅小，故對應於圖17A的腦波信號會導致該疲勞辨識結果偏向"非疲勞"，而對應於圖17B的腦波信號會導致該疲勞辨識結果偏向"疲勞"。
1-2-4、被殺球之防守訓練
同上所述，將圖18A與圖18B相比，圖18A所示之整體振幅比圖18B所示之整體振幅小，故對應於圖18A的腦波信號會導致該疲勞辨識結果偏向"非疲勞"，而對應於圖18B的腦波信號會導致該疲勞辨識結果偏向"疲勞"。
1-2-5、動態殺球之球路訓練
同上所述，將圖19A與圖19B相比，圖19A所示之整體振幅比圖19B所示之整體振幅小，故對應於圖19A的腦波信號會導致該疲勞辨識結果偏向"非疲勞"，而對應於圖19B的腦波信號會導致該疲勞辨識結果偏向"疲勞"。
1-2-6、疲勞辨識模型的較佳實施例
如前所述，該特徵降維/選取步驟406包含PCA、LDA、NWFE、KNWFE及KBCS中的至少一者，該智慧辨識步驟407採取LS-SVM及PNN中之一者。請參考下表，在靜態休息的時候，如圖20所示，該特徵降維/選取步驟406和該智慧辨識步驟407係以KNWFE和LS-SVM之組合為較佳實施例。
| 根據"腦波信號"辨識是否疲勞 | 訓練 球路 | 特徵降維/選取步驟和智慧辨識步驟的組合 | 辨識率 (CCR) % |
| 基於"機器學習"的疲勞辨識模型- | 靜態 休息 | PCA、LS-SVM | 88.00 % |
| LDA、LS-SVM | 58.00 % | ||
| NWFE、LS-SVM | 74.00 % | ||
| KNWFE、LS-SVM | 94.00 % | ||
| KBCS、LS-SVM | 86.00 % | ||
| PCA、LDA、LS-SVM | 90.00 % | ||
| KBCS、PCA、LS-SVM | 88.00 % | ||
| KBCS、LDA、LS-SVM | 82.00 % | ||
| PCA、PNN | 88.00 % | ||
| LDA、PNN | 72.00 % | ||
| NWFE、PNN | 82.00 % | ||
| KNWFE、PNN | 80.00 % | ||
| KBCS、PNN | 86.00 % | ||
| PCA、LDA、PNN | 84.00 % | ||
| KBCS、PCA、PNN | 88.00 % | ||
| KBCS、LDA、PNN | 76.00 % |
請參考下表，在快速平球之球路訓練，如圖21所示，該特徵降維/選取步驟406和該智慧辨識步驟407是以PCA和LS-SVM之組合為較佳實施例。
| 根據"腦波信號"辨識是否疲勞 | 訓練 球路 | 特徵降維/選取步驟和智慧辨識步驟的組合 | 辨識率 (CCR) % |
| 基於"機器學習"的疲勞辨識模型- | 快速 平球 | PCA、LS-SVM | 81.42 % |
| LDA、LS-SVM | 75.71 % | ||
| NWFE、LS-SVM | 80.00 % | ||
| KNWFE、LS-SVM | 77.14 % | ||
| KBCS、LS-SVM | 79.28 % | ||
| PCA、LDA、LS-SVM | 78.57 % | ||
| KBCS、PCA、LS-SVM | 80.00 % | ||
| KBCS、LDA、LS-SVM | 75.71 % | ||
| PCA、PNN | 76.42 % | ||
| LDA、PNN | 68.57 % | ||
| NWFE、PNN | 63.57 % | ||
| KNWFE、PNN | 68.57 % | ||
| KBCS、PNN | 77.85 % | ||
| PCA、LDA、PNN | 78.57 % | ||
| KBCS、PCA、PNN | 77.14 % | ||
| KBCS、LDA、PNN | 75.00 % |
請參考下表，被殺球之防守之球路訓練，如圖22所示，該特徵降維/選取步驟406和該智慧辨識步驟407是以KBCS和LS-SVM之組合為較佳實施例。
| 根據"腦波信號"辨識是否疲勞 | 訓練 球路 | 特徵降維/選取步驟和智慧辨識步驟的組合 | 辨識率 (CCR) % |
| 基於"機器學習"的疲勞辨識模型- | 被殺 球之 防守 | PCA、LS-SVM | 80.71 % |
| LDA、LS-SVM | 78.57 % | ||
| NWFE、LS-SVM | 66.42 % | ||
| KNWFE、LS-SVM | 71.42 % | ||
| KBCS、LS-SVM | 81.42 % | ||
| PCA、LDA、LS-SVM | 80.71 % | ||
| KBCS、PCA、LS-SVM | 81.41 % | ||
| KBCS、LDA、LS-SVM | 79.28 % | ||
| PCA、PNN | 80.00 % | ||
| LDA、PNN | 68.57 % | ||
| NWFE、PNN | 64.28 % | ||
| KNWFE、PNN | 62.85 % | ||
| KBCS、PNN | 78.57 % | ||
| PCA、LDA、PNN | 80.71 % | ||
| KBCS、PCA、PNN | 80.71 % | ||
| KBCS、LDA、PNN | 76.42 % |
請參考下表，動態殺球之球路訓練，如圖23所示，該特徵降維/選取步驟406和該智慧辨識步驟407是以KBCS、PCA和PNN之組合為較佳實施例。
| 根據"腦波信號"辨識是否疲勞 | 訓練 球路 | 特徵降維/選取步驟和智慧辨識步驟的組合 | 辨識率 (CCR) % |
| 基於"機器學習"的疲勞辨識模型- | 動態 殺球 | PCA、LS-SVM | 82.85 % |
| LDA、LS-SVM | 74.28 % | ||
| NWFE、LS-SVM | 70.71 % | ||
| KNWFE、LS-SVM | 71.42 % | ||
| KBCS、LS-SVM | 81.42 % | ||
| PCA、LDA、LS-SVM | 80.71 % | ||
| KBCS、PCA、LS-SVM | 82.14 % | ||
| KBCS、LDA、LS-SVM | 80.00 % | ||
| PCA、PNN | 81.42 % | ||
| LDA、PNN | 63.57 % | ||
| NWFE、PNN | 64.28 % | ||
| KNWFE、PNN | 66.42 % | ||
| KBCS、PNN | 82.14 % | ||
| PCA、LDA、PNN | 79.28 % | ||
| KBCS、PCA、PNN | 83.57 % | ||
| KBCS、LDA、PNN | 82.85 % |
1-2-7、該疲勞辨識模型的訓練
如前所述，腦波信號與疲勞辨識結果息息相關，故在模型訓練階段，可先提供對應於"疲勞"和"非疲勞"的複數腦波信號的樣本資料給該疲勞辨識模型以進行監督式學習(Supervised learning)之訓練，故該疲勞辨識模型即為預訓練模型(Pre-Trained Model)。
2、基於"深度學習"的疲勞辨識模型
2-1、該疲勞辨識模型根據"眼動信號"辨識使用者是否運動疲勞的較佳實施例
按一般信號處理原理，請參考圖24，該疲勞辨識模型40可依序實施包含一資料擷取步驟401和一信號預處理步驟402，其已如前所述，在此容不重複贅述。本發明於該信號預處理步驟402後，該疲勞辨識模型40可依序執行包含一特徵萃取步驟408、一特徵降維/選取步驟409和一智慧辨識步驟410；或者，請參考圖25，可依序執行包含一特徵萃取步驟411和一智慧辨識步驟412；或者，請參考圖26，可直接執行一智慧辨識步驟413。
前述中，圖24和圖25所示的該特徵萃取步驟408、411可採取卷積神經網路(CNN)與多通道卷積神經網路(MCCNN)中的一者，以產生對應於所述眼動信號的深度特徵，需說明的是，CNN及MCCNN的程式應用是所屬技術領域中的通常知識，容不詳述其運作原理。圖24所示的該特徵降維/選取步驟409可採取PCA、LDA、NWFE、KNWFE及KBCS中的至少一者進行特徵降維/選取，以產生所述深度特徵的疲勞特徵向量。圖24和圖25所示的該智慧辨識步驟410、412可採取LS-SVM與長短期記憶法(LSTM)中的一者，圖26所示的該智慧辨識步驟413可採取CNN與MCCNN中的一者，使各該智慧辨識步驟410、412、413根據所述疲勞特徵向量進行分類而產生對應於"疲勞"或"非疲勞"的該疲勞辨識結果，需說明的是，LSTM的程式應用是所屬技術領域中的通常知識，容不詳述其運作原理。
此外，請參考圖27，該信號預處理步驟402後，該疲勞辨識模型40亦可依序執行包含一時頻(Time-Frequency)分析步驟414與一智慧辨識步驟415，該時頻分析步驟414包含一短時距傅利葉轉換(Short-time Fourier Transform)與一映像縮放(Image Zoom)，該智慧辨識步驟415為一分類演算法，該分類演算法可採用GoogLeNet CNN(卷積神經網路)及AlexNet CNN(卷積神經網路)中的一者，以根據所述眼動速度經由該時頻分析步驟414後所獲得之眼動速度時頻圖進行分類而產生對應於"疲勞"或"非疲勞"的該疲勞辨識結果。需說明的是，GoogLeNet CNN及AlexNet CNN的程式應用是所屬技術領域中的通常知識，容不詳述其運作原理。
請參考下表，在快速平球之球路訓練，如圖28所示，該智慧辨識步驟415的分類演算法係以GoogLeNet CNN為較佳實施例；該時頻分析步驟414中，該映像縮放之尺寸可設定為224
224
3，故該時頻分析步驟414產生的224
224
3映像資料作為GoogLeNet CNN的輸入資料，進而進行分類而產生對應於"疲勞"與"非疲勞"的該疲勞辨識結果。
| 根據"眼動信號"辨識是否疲勞 | 訓練 球路 | 疲勞辨識模型的 處理步驟 | 辨識率 (CCR) % |
| 基於"深度學習"的疲勞辨識模型- | 快速 平球 | CNN | 60.32 % |
| MCCNN | 61.90 % | ||
| AlexNet CNN | 60.32 % | ||
| GoogLeNet CNN | 69.84 % | ||
| CNN、PCA、LS-SVM | 65.12 % | ||
| CNN、LDA、LS-SVM | 51.16 % | ||
| CNN、NWFE、LS-SVM | 65.12 % | ||
| CNN、KNWFE、LS-SVM | 58.14 % | ||
| CNN、KBCS、LS-SVM | 65.12 % | ||
| CNN、PCA、LDA、LS-SVM | 67.44 % | ||
| CNN、KBCS、PCA、LS-SVM | 67.44 % | ||
| CNN、KBCS、LDA、LS-SVM | 62.79 % | ||
| MCCNN、LSTM | 58.73 % |
在被殺球之防守訓練，如圖29所示，該疲勞辨識模型40的特徵萃取步驟408、特徵降維/選取步驟409和智慧辨識步驟410係以CNN、KBCS、PCA和LS-SVM之組合為較佳實施例。
| 根據"眼動信號"辨識是否疲勞 | 訓練 球路 | 疲勞辨識模型的 處理步驟 | 辨識率 (CCR) % |
| 基於"深度學習"的疲勞辨識模型- | 被殺 球之 防守 | CNN | 50.00 % |
| MCCNN | 46.77 % | ||
| AlexNet CNN | 56.45 % | ||
| GoogLeNet CNN | 61.29 % | ||
| CNN、PCA、LS-SVM | 61.90 % | ||
| CNN、LDA、LS-SVM | 66.67 % | ||
| CNN、NWFE、LS-SVM | 61.90 % | ||
| CNN、KNWFE、LS-SVM | 54.76 % | ||
| CNN、KBCS、LS-SVM | 71.43 % | ||
| CNN、PCA、LDA、LS-SVM | 69.05 % | ||
| CNN、KBCS、PCA、LS-SVM | 73.81 % | ||
| CNN、KBCS、LDA、LS-SVM | 70.45 % | ||
| MCCNN、LSTM | 50.00 % |
在動態殺球之球路訓練，如圖30所示，該疲勞辨識模型40的特徵萃取步驟408、特徵降維/選取步驟409和智慧辨識步驟410係以CNN、PCA、LDA和LS-SVM之組合為較佳實施例。
| 根據"眼動信號"辨識是否疲勞 | 訓練 球路 | 疲勞辨識模型的 處理步驟 | 辨識率 (CCR) % |
| 基於"深度學習"的疲勞辨識模型- | 動態 殺球 | CNN | 62.50 % |
| MCCNN | 62.50 % | ||
| AlexNet CNN | 62.50 % | ||
| GoogLeNet CNN | 53.13 % | ||
| CNN、PCA、LS-SVM | 56.82 % | ||
| CNN、LDA、LS-SVM | 51.16 % | ||
| CNN、NWFE、LS-SVM | 65.12 % | ||
| CNN、KNWFE、LS-SVM | 50.00 % | ||
| CNN、KBCS、LS-SVM | 65.91 % | ||
| CNN、PCA、LDA、LS-SVM | 75.00 % | ||
| CNN、KBCS、PCA、LS-SVM | 70.45 % | ||
| CNN、KBCS、LDA、LS-SVM | 65.91 % | ||
| MCCNN、LSTM | 60.94 % |
2-2、該疲勞辨識模型根據"腦波信號"辨識使用者是否運動疲勞的較佳實施例
按一般信號處理原理，請參考圖31，該疲勞辨識模型40可依序實施包含一資料擷取步驟401和一信號預處理步驟402，其已如前所述，在此容不重複贅述。本發明於該信號預處理步驟402後，該疲勞辨識模型40可根據處理後的該腦波信號依序執行包含一特徵萃取步驟416、一特徵降維/選取步驟417和一智慧辨識步驟418；或者，請參考圖32，可依序執行包含一特徵萃取步驟419和一智慧辨識步驟420；或者，請參考圖33，可直接執行一智慧辨識步驟421；或者，請參考圖34，可依序執行包含一時頻分析步驟422與一智慧辨識步驟423。該些步驟416~423已如前所述，並請配合參考下表，在此容不重複贅述。
在靜態休息時，如圖35所示，該疲勞辨識模型40以執行該時頻分析步驟422與該智慧辨識步驟423，且該智慧辨識步驟423的分類演算法係以AlexNet CNN為較佳實施例。該時頻(Time-Frequency)分析步驟422中，該映像縮放之尺寸可設定為227
227
3，故該時頻分析步驟422產生的227
227
3映像資料作為AlexNet CNN的輸入資料，進而進行分類而產生對應於"疲勞"與"非疲勞"的該疲勞辨識結果。
| 根據"腦波信號"辨識是否疲勞 | 訓練 球路 | 疲勞辨識模型的 處理步驟 | 辨識率 (CCR) % |
| 基於"深度學習"的疲勞辨識模型- | 靜止 休息 | CNN | 68.09 % |
| MCCNN | 66.42 % | ||
| AlexNet CNN | 73.51 % | ||
| GoogLeNet CNN | 70.78 % | ||
| CNN、PCA、LS-SVM | 65.47 % | ||
| CNN、LDA、LS-SVM | 60.71 % | ||
| CNN、NWFE、LS-SVM | 65.47 % | ||
| CNN、KNWFE、LS-SVM | 65.47 % | ||
| CNN、KBCS、LS-SVM | 64.16 % | ||
| CNN、PCA、LDA、LS-SVM | 64.28 % | ||
| CNN、KBCS、PCA、LS-SVM | 66.42 % | ||
| CNN、KBCS、LDA、LS-SVM | 64.64 % | ||
| MCCNN、LSTM | 64.04 % |
在快速平球之球路訓練，如圖36所示，該疲勞辨識模型40的特徵萃取步驟416、特徵降維/選取步驟417和智慧辨識步驟418係以CNN、KBCS、PCA和LS-SVM之組合為較佳實施例。
| 根據"腦波信號"辨識是否疲勞 | 訓練 球路 | 疲勞辨識模型的 處理步驟 | 辨識率 (CCR) % |
| 基於"深度學習"的疲勞辨識模型- | 快速 平球 | CNN | 67.33 % |
| MCCNN | 73.33 % | ||
| AlexNet CNN | 73.57 % | ||
| GoogLeNet CNN | 76.42 % | ||
| CNN、PCA、LS-SVM | 81.00 % | ||
| CNN、LDA、LS-SVM | 61.00 % | ||
| CNN、NWFE、LS-SVM | 74.00 % | ||
| CNN、KNWFE、LS-SVM | 54.00 % | ||
| CNN、KBCS、LS-SVM | 78.00 % | ||
| CNN、PCA、LDA、LS-SVM | 80.00 % | ||
| CNN、KBCS、PCA、LS-SVM | 82.00 % | ||
| CNN、KBCS、LDA、LS-SVM | 75.00 % | ||
| MCCNN、LSTM | 76.66 % |
在被殺球之防守訓練，如圖36所示，該疲勞辨識模型40的特徵萃取步驟416、特徵降維/選取步驟417和智慧辨識步驟418係以CNN、KBCS、PCA和LS-SVM之組合為較佳實施例。
| 根據"腦波信號"辨識是否疲勞 | 訓練 球路 | 疲勞辨識模型的 處理步驟 | 辨識率 (CCR) % |
| 基於"深度學習"的疲勞辨識模型- | 被殺 球之 防守 | CNN | 78.66 % |
| MCCNN | 80.66 % | ||
| AlexNet CNN | 77.14 % | ||
| GoogLeNet CNN | 75.00 % | ||
| CNN、PCA、LS-SVM | 81.00 % | ||
| CNN、LDA、LS-SVM | 63.00 % | ||
| CNN、NWFE、LS-SVM | 83.00 % | ||
| CNN、KNWFE、LS-SVM | 74.00 % | ||
| CNN、KBCS、LS-SVM | 83.00 % | ||
| CNN、PCA、LDA、LS-SVM | 83.00 % | ||
| CNN、KBCS、PCA、LS-SVM | 84.00 % | ||
| CNN、KBCS、LDA、LS-SVM | 78.00 % | ||
| MCCNN、LSTM | 78.00 % |
動態殺球之球路訓練，如圖37所示，該疲勞辨識模型40的特徵萃取步驟416、特徵降維/選取步驟417和智慧辨識步驟418係以CNN、KBCS和LS-SVM之組合為較佳實施例。
| 根據"腦波信號"辨識是否疲勞 | 訓練 球路 | 疲勞辨識模型的 處理步驟 | 辨識率 (CCR) % |
| 基於"深度學習"的疲勞辨識模型- | 動態 殺球 | CNN | 72.00 % |
| MCCNN | 74.66 % | ||
| AlexNet CNN | 79.28 % | ||
| GoogLeNet CNN | 77.14 % | ||
| CNN、PCA、LS-SVM | 83.00 % | ||
| CNN、LDA、LS-SVM | 60.00 % | ||
| CNN、NWFE、LS-SVM | 80.00 % | ||
| CNN、KNWFE、LS-SVM | 57.00 % | ||
| CNN、KBCS、LS-SVM | 85.00 % | ||
| CNN、PCA、LDA、LS-SVM | 77.00 % | ||
| CNN、KBCS、PCA、LS-SVM | 84.00 % | ||
| CNN、KBCS、LDA、LS-SVM | 79.00 % | ||
| MCCNN、LSTM | 76.00 % |
綜上所述，本發明之系統與使用者之間的互動，也就是說，使用者根據本發明顯示的畫面進行運動訓練，同時，本發明的疲勞辨識模型根據使用者的眼動信號及/或腦波信號有效辨識使用者是處在疲勞狀態或非疲勞狀態，並自動對應調整該頭戴式眼鏡裝置所播放的畫面，藉此達成互動式運動訓練之目的。
10:頭戴式眼鏡裝置
11:眼鏡本體
12:顯示單元
120:顯示器面板
121:顯示控制器
13:眼動追蹤單元
130:相機
131:眼動信號處理器
14:腦波感測單元
140:電極墊
141:腦波訊號處理器
15:傳輸介面
20:即時運算裝置
21:處理單元
22:儲存單元
23:傳輸介面
31:取像元件
32:觸覺回饋元件
33:電子配件
34:遠端裝置
35:嗅覺刺激元件
40:疲勞辨識模型
401:資料擷取步驟
402:信號預處理步驟
403,408, 411,416,419:特徵萃取步驟
404,406,409,417:特徵降維/選取步驟
405,407,410,412,413,415,418,420,421,423:智慧辨識步驟
414,422:時頻分析步驟
圖1：本發明可辨識使用者疲勞的運動訓練系統的方塊示意圖。
圖2：本發明中，頭戴式眼鏡裝置的使用狀態示意圖。
圖3：本發明中，頭戴式眼鏡裝置的使用狀態示意圖。
圖4：本發明中，頭戴式眼鏡裝置的背面平面示意圖。
圖5：本發明中，疲勞辨識模型的流程示意圖(1)。
圖6A~6F：本發明中，使用者眼睛瞳孔在一段時間內的位置分佈示意圖(快速平球)。
圖7A、7C：本發明中，使用者眼睛在一段時間內的眼動速度示意圖(快速平球)。
圖7B、7D：對應於圖7A、7C的龐卡萊圖。
圖8A~8F：本發明中，使用者眼睛瞳孔在一段時間內的位置分佈示意圖(被殺球之防守)。
圖9A、9C：本發明中，使用者眼睛在一段時間內的眼動速度示意圖(被殺球之防守)。
圖9B、9D：對應於圖9A、9C的龐卡萊圖。
圖10A~10F：本發明中，使用者眼睛瞳孔在一段時間內的位置分佈示意圖(動態殺球)。
圖11A、11C：本發明中，使用者眼睛在一段時間內的眼動速度示意圖(動態殺球)。
圖11B、11D：對應於圖11A、11C的龐卡萊圖。
圖12：本發明中，疲勞辨識模型的流程示意圖(2)。
圖13：本發明中，疲勞辨識模型的流程示意圖(3)。
圖14：本發明中，疲勞辨識模型的流程示意圖(4)。
圖15：本發明中，疲勞辨識模型的流程示意圖(5)。
圖16A、16B：本發明中，使用者的腦波示意圖(靜態休息)。
圖17A、17B：本發明中，使用者的腦波示意圖(快速平球)。
圖18A、18B：本發明中，使用者的腦波示意圖(被殺球之防守)。
圖19A、19B：本發明中，使用者的腦波示意圖(動態殺球)。
圖20：本發明中，疲勞辨識模型的流程示意圖(6)。
圖21：本發明中，疲勞辨識模型的流程示意圖(7)。
圖22：本發明中，疲勞辨識模型的流程示意圖(8)。
圖23：本發明中，疲勞辨識模型的流程示意圖(9)。
圖24：本發明中，疲勞辨識模型的流程示意圖(10)。
圖25：本發明中，疲勞辨識模型的流程示意圖(11)。
圖26：本發明中，疲勞辨識模型的流程示意圖(12)。
圖27：本發明中，疲勞辨識模型的流程示意圖(13)。
圖28：本發明中，疲勞辨識模型的流程示意圖(14)。
圖29：本發明中，疲勞辨識模型的流程示意圖(15)。
圖30：本發明中，疲勞辨識模型的流程示意圖(16)。
圖31：本發明中，疲勞辨識模型的流程示意圖(17)。
圖32：本發明中，疲勞辨識模型的流程示意圖(18)。
圖33：本發明中，疲勞辨識模型的流程示意圖(19)。
圖34：本發明中，疲勞辨識模型的流程示意圖(20)。
圖35：本發明中，疲勞辨識模型的流程示意圖(21)。
圖36：本發明中，疲勞辨識模型的流程示意圖(22)。
圖37：本發明中，疲勞辨識模型的流程示意圖(23)。
10:頭戴式眼鏡裝置
12:顯示單元
120:顯示器面板
121:顯示控制器
13:眼動追蹤單元
130:相機
131:眼動信號處理器
14:腦波感測單元
140:電極墊
141:腦波訊號處理器
15:傳輸介面
20:即時運算裝置
21:處理單元
22:儲存單元
23:傳輸介面
31:取像元件
32:觸覺回饋元件
33:電子配件
34:遠端裝置
35:嗅覺刺激元件
Claims (10)
- 一種可辨識使用者疲勞的運動訓練系統，包含： 一頭戴式眼鏡裝置，包含一顯示單元與至少一生理資訊感測單元，該至少一生理資訊感測單元包含一眼動追蹤單元與一腦波感測單元中的至少一者；及 一即時運算裝置，訊號連接該頭戴式眼鏡裝置以進行雙向資料傳輸，並儲存有一疲勞辨識模型的程式資料；該即時運算裝置執行該疲勞辨識模型，以根據該至少一生理資訊感測單元的感測資料產生一疲勞辨識結果，並透過該顯示單元顯示對應於該疲勞辨識結果的畫面；其中，該疲勞辨識模型為基於機器學習或基於深度學習的模型。
- 如請求項1所述之可辨識使用者疲勞的運動訓練系統，其中，該疲勞辨識模型在一特徵萃取步驟中，輸出對應於該眼動追蹤單元所產生之一眼動信號的眼動速度、注視時間、注視次數、瞳孔大小、掃視速度與眨眼頻率中的至少一者，並據以產生該疲勞辨識結果。
- 如請求項2所述之可辨識使用者疲勞的運動訓練系統，其中，該疲勞辨識模型是基於機器學習的模型； 該疲勞辨識模型採取主成分分析、線性識別分析、無參數加權特徵萃取、核無參數加權特徵萃取法、及基於核函數之類別可分離方法中的至少一者，以產生對應於所述眼動速度、注視時間、注視次數、瞳孔大小、掃視速度與眨眼頻率中的至少一者之疲勞特徵向量； 該疲勞辨識模型在一智慧辨識步驟中，依據所述疲勞特徵向量採取最小平方支持向量機與機率神經網路中的一者進行分類而產生對應於疲勞或非疲勞的該疲勞辨識結果。
- 如請求項2所述之可辨識使用者疲勞的運動訓練系統，其中，該疲勞辨識模型是基於深度學習的模型，該疲勞辨識模型在該特徵萃取步驟中，採取卷積神經網路與多通道卷積神經網路中的一者； 該疲勞辨識模型採取主成分分析、線性識別分析、無參數加權特徵萃取、核無參數加權特徵萃取法、及基於核函數之類別可分離方法中的至少一者，以產生對應於所述眼動速度、注視時間、注視次數、瞳孔大小、掃視速度與眨眼頻率中的至少一者之疲勞特徵向量； 該疲勞辨識模型根據所述疲勞特徵向量採取最小平方支持向量機與長短期記憶法中的一者進行分類而產生對應於疲勞或非疲勞的該疲勞辨識結果。
- 如請求項1所述之可辨識使用者疲勞的運動訓練系統，其中，該疲勞辨識模型是基於深度學習的模型； 該疲勞辨識模型執行一分類演算法，以根據對應於該眼動追蹤單元所產生之一眼動信號的眼動速度、注視時間、注視次數、瞳孔大小、掃視速度與眨眼頻率中的至少一者進行分類，而產生對應於疲勞或非疲勞的該疲勞辨識結果，該分類演算法採用GoogLeNet卷積神經網路及AlexNet卷積神經網路中的一者； 該疲勞辨識模型執行該分類演算法之前包含一時頻分析步驟，該時頻分析步驟包含一短時距傅利葉轉換與一映像縮放。
- 如請求項1所述之可辨識使用者疲勞的運動訓練系統，其中，該疲勞辨識模型是基於機器學習的模型； 該疲勞辨識模型採取主成分分析、線性識別分析、無參數加權特徵萃取、核無參數加權特徵萃取法、及基於核函數之類別可分離方法中的至少一者，以產生對應於該腦波感測單元所產生之一腦波信號之疲勞特徵向量； 該疲勞辨識模型在一智慧辨識步驟中，依據所述疲勞特徵向量採取最小平方支持向量機與機率神經網路中的一者進行分類以產生對應於疲勞或非疲勞的該疲勞辨識結果。
- 如請求項1所述之可辨識使用者疲勞的運動訓練系統，其中，該疲勞辨識模型是基於深度學習的模型，該疲勞辨識模型在一特徵萃取步驟中，採取卷積神經網路與多通道卷積神經網路中的一者； 該疲勞辨識模型採取主成分分析、線性識別分析、無參數加權特徵萃取、核無參數加權特徵萃取法、及基於核函數之類別可分離方法中的至少一者，以產生對應於該腦波感測單元所產生之一腦波信號之疲勞特徵向量； 該疲勞辨識模型根據所述疲勞特徵向量採取最小平方支持向量機與長短期記憶法中的一者進行分類而產生對應於疲勞或非疲勞的該疲勞辨識結果。
- 如請求項1所述之可辨識使用者疲勞的運動訓練系統，其中，該疲勞辨識模型是基於深度學習的模型； 該疲勞辨識模型執行一分類演算法，以根據對應於該腦波感測單元所產生之一腦波信號進行分類，而產生對應於疲勞或非疲勞的該疲勞辨識結果，該分類演算法採用GoogLeNet卷積神經網路及AlexNet卷積神經網路中的一者； 該疲勞辨識模型執行該分類演算法之前包含一時頻分析步驟，該時頻分析步驟包含一短時距傅利葉轉換與一映像縮放。
- 如請求項1所述之可辨識使用者疲勞的運動訓練系統，其中，該疲勞辨識模型是基於深度學習的模型； 該疲勞辨識模型於一資料擷取步驟和一信號預處理步驟後，直接執行一智慧辨識步驟，該智慧辨識步驟採用卷積神經網路及多通道卷積神經網路中的一者。
- 如請求項1所述之可辨識使用者疲勞的運動訓練系統，進一步包含： 一取像元件，設置於該頭戴式眼鏡裝置；該即時運算裝置訊號連接該取像元件，以接收該取像元件所拍攝的影像； 一觸覺回饋元件，該即時運算裝置訊號連接該觸覺回饋元件，以輸出一驅動訊號控制該觸覺回饋元件作動； 一電子配件，該即時運算裝置訊號連接該電子配件，以進行雙向資料傳輸； 一遠端裝置，該即時運算裝置訊號連接該遠端裝置，以進行指導資料的傳輸； 一嗅覺刺激元件，該即時運算裝置訊號連接該嗅覺刺激元件，以輸出一驅動訊號控制該嗅覺刺激元件作動。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202163283397P | 2021-11-26 | 2021-11-26 | |
| US63/283,397 | 2021-11-26 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202327517A true TW202327517A (zh) | 2023-07-16 |
| TWI823577B TWI823577B (zh) | 2023-11-21 |
Family
ID=88147800
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW111135609A TWI823577B (zh) | 2021-11-26 | 2022-09-20 | 可辨識使用者疲勞的運動訓練系統 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI823577B (zh) |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108294759A (zh) * | 2017-01-13 | 2018-07-20 | 天津工业大学 | 一种基于cnn眼部状态识别的驾驶员疲劳检测方法 |
| US11963751B2 (en) * | 2017-04-05 | 2024-04-23 | LR Technologies, Inc. | Human bioelectrical signal detection and monitoring |
| CN109953763A (zh) * | 2019-02-28 | 2019-07-02 | 扬州大学 | 一种基于深度学习的车载驾驶行为检测预警系统及方法 |
| US20200294652A1 (en) * | 2019-03-13 | 2020-09-17 | Bright Cloud International Corporation | Medication Enhancement Systems and Methods for Cognitive Benefit |
| TWI734222B (zh) * | 2019-10-17 | 2021-07-21 | 孫光天 | 結合腦波與人工智慧進行閱讀障礙診斷之系統 |
| CN113171095B (zh) * | 2021-04-23 | 2022-02-08 | 哈尔滨工业大学 | 一种层级式驾驶员认知分心检测系统 |
-
2022
- 2022-09-20 TW TW111135609A patent/TWI823577B/zh active
Also Published As
| Publication number | Publication date |
|---|---|
| TWI823577B (zh) | 2023-11-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10478698B2 (en) | Interactive cognitive-multisensory interface apparatus and methods for assessing, profiling, training, and/or improving performance of athletes and other populations | |
| Islam et al. | Cybersickness prediction from integrated hmd’s sensors: A multimodal deep fusion approach using eye-tracking and head-tracking data | |
| US20130266918A1 (en) | Interactive Cognitive-Multisensory Interface Apparatus and Methods for Assessing, Profiling, Training, and Improving Performance of Athletes and other Populations | |
| KR20190026651A (ko) | 사람의 비전 성능에 접근하기 위해 비전 데이터를 획득, 집계 및 분석하기 위한 방법 및 시스템 | |
| US20060204045A1 (en) | System and method for motion performance improvement | |
| CN113709411B (zh) | 一种mr智能眼镜基于眼动追踪技术的体育辅助训练系统 | |
| US10610143B2 (en) | Concussion rehabilitation device and method | |
| US11497440B2 (en) | Human-computer interactive rehabilitation system | |
| US20120194648A1 (en) | Video/ audio controller | |
| US20220019284A1 (en) | Feedback from neuromuscular activation within various types of virtual and/or augmented reality environments | |
| CN113693552A (zh) | 视觉疲劳监测方法、装置、电子设备及可读存储介质 | |
| US20200219468A1 (en) | Head mounted displaying system and image generating method thereof | |
| WO2013040642A1 (en) | Activity training apparatus and method | |
| Nijholt et al. | BrainGain: BCI for HCI and Games | |
| TWI823577B (zh) | 可辨識使用者疲勞的運動訓練系統 | |
| Verhulst et al. | Physiological-based dynamic difficulty adaptation in a theragame for children with cerebral palsy | |
| CN112220651A (zh) | 一种用于康复训练的可穿戴设备的系统和可穿戴设备 | |
| Gonzalez et al. | Fear levels in virtual environments, an approach to detection and experimental user stimuli sensation | |
| JP3109472U (ja) | 視覚能力を測定し訓練する装置 | |
| CN113633870B (zh) | 情绪状态调节系统及方法 | |
| US20210187374A1 (en) | Augmented extended realm system | |
| TW201816545A (zh) | 虛擬實境頭戴式裝置 | |
| Rozan et al. | KIHECT©: Reliability of Hand-Eye Coordination among Rugby Players Using Consumer Depth Camera | |
| WO2020213301A1 (ja) | 情報処理装置及び情報処理システム | |
| CN107050825B (zh) | 常规动作训练装置及其方法 |