TWI676536B - 基於腦電訊號控制之智慧型機器人系統和方法 - Google Patents

Abstract

一種基於腦電訊號控制之智慧型機器人系統，包括一腦電偵測裝置、一顯示屏和一控制主機，所述顯示屏顯示了按照不同頻率閃爍之多個圖標，所述控制主機存儲了每一圖標所對應之腦電訊號之個人化基準參數，所述腦電偵測裝置偵測使用者之腦電訊號併發送給所述控制主機，所述控制主機將所述腦電訊號之參數與其內存儲之個人化基準參數對比，並根據對比結果判斷選取之圖標並執行圖標對應之工作。

Description

基於腦電訊號控制之智慧型機器人系統和方法

本發明涉及一種腦控系統及方法，尤其涉及一種基於腦電訊號控制之智慧型機器人系統和基於腦電訊號控制之方法。

對於一些意識清楚但是四肢癱瘓或行動不便之人員，通常需要陪護人員全天陪護，為該等患者提供全面之服務，例如幫助進食、為其播放電影供其娛樂等，但是長時間之陪護服務會造成陪護人員身心疲憊。

鑒於以上內容，有必要提供一種能自動為患者或年長者等服務之基於腦電訊號控制之智慧型機器人系統和基於腦電訊號控制之方法。

一種基於腦電訊號控制之智慧型機器人系統，包括一腦電偵測裝置、一顯示屏和一控制主機，所述顯示屏顯示了按照不同頻率閃爍之多個圖標，所述控制主機存儲了每一圖標所對應之腦電訊號之基準參數，所述腦電偵測裝置偵測使用者之腦電訊號併發送給所述控制主機，所述控制主機根據使用者對應於所述圖標之參數對所述基準參數進行校正而獲得個人化基準參數，所述控制主機將所述腦電訊號之參數與其內存儲之個人化基準參數對比，並根據對比結果判斷選取之圖標並執行圖標對應之工作。

一種基於腦電訊號之控制方法，其包括如下步驟：於一顯示屏上顯示對應多個不同工作之圖標； 一腦電偵測裝置獲取使用者觀看其中一個圖標之腦電訊號；一控制主機將所述腦電訊號之參數和其內存儲之個人化基準參數進行對比，並根據對比結果判斷選取之圖標並執行執行圖標對應之工作。

相較於習知技術，上述基於腦電訊號控制之智慧型機器人系統和基於腦電訊號控制之方法可根據使用者之腦電訊號執行對應之工作。

10‧‧‧工作臺

30‧‧‧機械手

40‧‧‧顯示屏

50‧‧‧攝像頭

60‧‧‧餐盤

70‧‧‧控制主機

71‧‧‧腦電訊號獲取模組

72‧‧‧腦電訊號特徵擷取模組

73‧‧‧存儲模組

74‧‧‧判斷模組

75‧‧‧顯示控制模組

76‧‧‧執行模組

80‧‧‧腦電偵測裝置

81‧‧‧頭部接觸裝置

82‧‧‧頭部接觸探頭

圖1是本發明基於腦電訊號控制之智慧型機器人系統之一示意圖。

圖2是圖1之基於腦電訊號控制之智慧型機器人系統之一組成圖。

圖3是圖1之基於腦電訊號控制之智慧型機器人系統之一頭部接觸裝置之一示意圖。

圖4是圖1之基於腦電訊號控制之智慧型機器人系統之一顯示屏顯示圖標之一示意圖。

圖5是本發明基於腦電訊號控制之方法進行腦電訊號處理之一流程圖。

圖6是本發明基於腦電訊號控制之方法進行腦電訊號識別之一流程圖。

圖7是本發明基於腦電訊號控制之方法之一流程圖。

圖8是本發明基於腦電訊號控制之方法控制顯示屏顯示一級圖標之一示意圖。

圖9是本發明基於腦電訊號控制之方法控制顯示屏顯示自動進食之圖標之示意圖。

圖10是本發明基於腦電訊號控制之方法控制顯示屏顯示觀看影視之圖標之示意圖。

圖11是本發明基於腦電訊號控制之方法控制顯示屏顯示主動互動之圖標之示意圖。

圖12是本發明基於腦電訊號控制之方法控制顯示屏顯示視訊電話之圖標之示意圖。

請參閱圖1，本發明基於腦電訊號控制之智慧型機器人系統包括一工作臺10、一機械手30、一顯示屏40、一攝像頭50、一餐盤60、一控制主機70和一腦電偵測裝置80。

該機械手30活動安裝於該工作臺10上，該顯示屏40固定於該工作臺10之後側，該攝像頭50安裝於該顯示屏40上部，該攝像頭50用以拍攝使用者，該顯示屏40提供圖標給使用者觀看，該餐盤60放置於該工作臺10上，該餐盤60設有複數食品放置區61，每個食品放置區61放置了不同之食品或飲料，該機械手30用以抓取該等食品放置區61放置之食品或飲料給使用者，該控制主機70與該機械手30、顯示屏40和攝像頭50相連，用以控制該等組件，該腦電偵測裝置80用以戴於使用者之頭上，並藉由無線通訊之方式與控制主機70相連，例如藉由藍牙、wifi、紅外線等無線方式。

請參閱圖2，該控制主機70包括一腦電訊號獲取模組71、一腦電訊號特徵擷取模組72、一存儲模組73、一判斷模組74、一顯示控制模組75和一執行模組76，腦電訊號獲取模組71用以獲取該腦電偵測裝置80偵測到之腦電訊號，請參閱圖3，該腦電偵測裝置80包括複數頭部接觸裝置81，每一頭部接觸裝置81包括複數隔開設置之頭部接觸探頭82，該等頭部接觸探頭82大致為較小之柱體，從而可穿過頭髮直接接觸到頭皮而獲取腦電訊號。

請參閱圖4，該顯示控制模組75用以控制該顯示屏40之顯示，如圖4所示，該顯示控制模組75讓該顯示屏40顯示5個圖標，分別是：圖標0、圖標1、圖標2、圖標3和圖標4，顯示控制模組71可控制該等圖標分別按照不同之頻率閃爍，從而讓人眼觀看該等圖標時產生不同之腦電訊號，例如當顯示屏40自身之顯示頻率為60赫茲時，即一秒鐘內掃描60個畫面，則顯示控制模組75可控制該等圖標按照明暗之變化而產生不同之閃爍組合，例如：顯示控制模組75可控制圖標0按照一明一暗之方式閃爍，從而可讓圖標0之閃爍頻率為 30赫茲；可控制圖標1按照兩明一暗之方式閃爍(兩明指明之時間為一明之兩倍)，則可讓圖標1之閃爍頻率為20赫茲；可控制圖標2按照兩暗一明之方式閃爍(兩暗指暗之時間為一暗之兩倍)，可讓圖標2之閃爍頻率為20赫茲，但因為圖標2為兩暗一明，圖標1為兩明一暗，圖標2之閃爍與圖標1之閃爍亦不同而能被區別開來，依此類推，從而可讓不同之圖標實現按照不同之方式閃爍，從而讓使用者觀看不同之圖標時產生不同之腦電訊號，則可依據獲取之腦電訊號判斷使用者觀看之圖標；於上述顯示屏40顯示圖標時，顯示屏40自身之顯示頻率越高，能產生越多之閃爍組合；且圖標之閃爍頻率最好能設置成可被顯示屏40自身之顯示頻率整除之數，例如當顯示屏40自身之顯示頻率為60赫茲時，圖標之閃爍頻率最好被設置成30赫茲、20赫茲、15赫茲、12赫茲、10赫茲、7.5赫茲等；當顯示屏40自身之顯示頻率為144赫茲時，圖標之閃爍頻率最好被設置成72赫茲、48赫茲、36赫茲、24赫茲、18赫茲、16赫茲等。

該存儲模組73中存儲了人體腦電訊號對應之基準參數，該基準參數指示了大多數人之腦電訊號之基本特徵，亦可根據參數之差異化特徵，設置多個具有明顯差異之基準參數。

請參閱圖5，其為該基於腦電訊號控制之方法進行腦電訊號處理之流程圖，其包括如下步驟：

步驟501，讓顯示屏40上之一圖標(例如圖標0)按照顯示控制模組75設定之一頻率閃爍。

步驟502，腦電偵測裝置80獲取使用者觀看該閃爍之圖標時之腦電訊號，並將其藉由無線方式傳輸給該控制主機70之腦電訊號獲取模組71。

步驟503，腦電訊號特徵擷取模組72對該腦電訊號獲取模組71獲取之腦電訊號進行處理，例如對腦電訊號進行濾波、傅裡葉變換和計算特定頻率之腦電訊號能量，從而得到該使用者對應於該閃爍圖標之參數，然後根據得到之該使用者之參數對存儲模組73中存儲之基準參數進行校正，從而得到該使用者之個人化基準參數，並將該個人化基準參數存儲於該存儲模組73中。

於上述步驟中，可對同一閃爍圖標進行多次之參數識別，取得到之多個參數之平均值而得到該個人化基準參數，或藉由其它之演算法對得到之多個參數之平均值而得到該個人化基準參數。

使用者重複圖5之上述步驟，從而為顯示屏40上按照不同方式進行閃爍之各個圖標獲取對應之個人化基準參數，並將該使用者之個人化基準參數均存儲於存儲模組73中。

請參閱圖6，其為基於腦電訊號控制之方法進行腦電訊號識別之流程圖，其包括如下步驟：

步驟601，讓顯示屏40上之一圖標(例如圖標0)按照顯示控制模組75設定之一頻率閃爍。

步驟602，腦電偵測裝置80獲取使用者觀看該閃爍之圖標時之腦電訊號，並將其藉由無線方式傳輸給該控制主機70之腦電訊號獲取模組71。

步驟603，腦電訊號特徵擷取模組72對該腦電訊號獲取模組71獲取之腦電訊號進行處理，例如對腦電訊號進行濾波、傅裡葉變換和計算特定頻率之腦電訊號能量，從而得到對應於該閃爍圖標之參數。

步驟604，該判斷模組74將上述得到之參數與存儲模組73中存儲之個人化基準參數進行比較，若與其中某一個人化基準參數之相似度超過一設定值(例如70%)，則判斷需要控制之是該個人化基準參數對應之圖標。

請參閱圖7，其為基於腦電訊號控制之方法之一流程圖，其包括如下步驟：

步驟701，於顯示屏40上顯示多個具有不同選擇專案之一級圖標，例如如圖8項所述之4個圖標：協助進食、觀看影視、主動互動和視訊電話。

步驟702，腦電偵測裝置80獲取使用者觀看其中一個圖標之腦電訊號，腦電訊號特徵擷取模組72對腦電訊號進行處理而獲得參數。

步驟703，判斷模組74將上述得到之參數與存儲模組73中存儲之個人化基準參數進行比較，若與某一個一級圖標對應之個人化基準參數之相似度超過設定值，則執行模組76執行該一級圖標而進入對應之二級圖標。

請參閱圖9，其為圖8中之協助進食圖標對應之程式被執行後之介面，其上顯示了5個圖標，其中位於左上角之圖標為返回上級功能表圖標，當該圖標被選中時，返回到圖8顯示之介面；其餘之圖標為選擇食物之圖標，當其中之一個圖標被選中時，機械手30按照預先設定之程式於餐盤60拿取對應之食物，並遞到工作臺10前之使用者之口部附件，該攝像頭50可拍攝使用者之口部位置之圖像，從而讓該控制主機70獲取口部位置之高度，則控制機械手30將食物遞到對應之高度，為了便於實現自動餵食，於本實施例中，該控制主機70可控制機械手30將食物遞到三個不同之高度，且因為使用者坐到工作臺10前時，其口部位置於一個平面上之位置大致相同，豎直位置可能存在差異，因此機械手30遞食物所到達位置於水平面上座標被設定好，於豎直高度上被設為3個值；於其它實施例中，亦可按照攝像頭50拍攝之使用者之口部位置，控制機械手30將食物遞到更準確之地方。

請參閱圖10，其為圖8中之觀看影視圖標被執行後之介面，其上顯示了4個圖標，其中位於左下角之圖標為返回上級功能表圖標，當該圖標被選中時，返回到圖8顯示之介面；其餘之圖標為觀看不同影視內容之圖標，當其中之一個圖標被選中時，即讓顯示屏40播放對應之影視內容。

請參閱圖11，其為圖8中之主動互動圖標被執行後之介面，其上顯示了4個圖標，其中位於左下角之圖標為返回上級功能表圖標，當該圖標被選中時，返回到圖8顯示之介面；其餘之圖標為告知各種互動之圖標，當其中之一個圖標被選中時，即讓控制主機70播報對應之互動內容：例如上廁所、散步、休息等，該功能主要為不能說話之使用者使用，方便其交流。

請參閱圖12，其為圖8中之視訊電話圖標被執行後之介面，其上顯示了4個圖標，其中位於左下角之圖標為返回上級功能表圖標，當該圖標被選中時，返回到圖8顯示之介面；其餘之圖標為與不同人員進行視訊電話之圖標，當其中之一個圖標被選中時，即讓控制主機70自動連接到對應之人員進行視訊電話：例如與家人進行視訊電話、與家人進行視訊電話或與醫護人員進行視訊電話等。

上述基於腦電訊號控制之智慧型機器人系統和基於腦電訊號之控制方法可藉由腦電訊號實現控制，從而可代替目前之輸入方法(例如觸控、鍵盤輸入、滑鼠輸入等)，高效快捷。

綜上所述，本發明係合乎發明專利申請條件，爰依法提出專利申請。惟，以上所述僅為本發明之較佳實施例，舉凡熟悉本案技藝之人士其所爰依本案之創作精神所作之等效修飾或變化，皆應涵蓋於以下之申請專利範圍內。

Claims (9)

1. 一種基於腦電訊號控制之智慧型機器人系統，包括一腦電偵測裝置，其中所述智慧型機器人系統還包括一顯示屏和一控制主機，所述顯示屏顯示了按照不同頻率閃爍之多個圖標，所述控制主機存儲了每一圖標所對應之腦電訊號之基準參數，所述腦電偵測裝置偵測使用者之腦電訊號併發送給所述控制主機，所述控制主機根據使用者對應於所述圖標之參數對所述基準參數進行校正而獲得個人化基準參數，所述控制主機將所述腦電訊號之參數與其內存儲之個人化基準參數對比，並根據對比結果判斷選取之圖標並執行圖標對應之工作。
2. 如請求項第1項所述之基於腦電訊號控制之智慧型機器人系統，其中所述基於腦電訊號控制之智慧型機器人系統還包括一工作臺、一機械手和一餐盤，所述機械手和所述餐盤均放置於所述工作臺上，所述餐盤設有複數食品放置區，每個食品放置區放置了不同之食物，所述顯示屏上顯示了不同食物之圖標，所述機械手根據控制主機判斷出之食物圖標於所述餐盤中拿取對應之食物。
3. 如請求項第2項所述之基於腦電訊號控制之智慧型機器人系統，其中所述基於腦電訊號控制之智慧型機器人系統還包括一攝像頭，所述攝像頭拍攝使用者之口部位置之圖像，所述控制主機根據所述圖像獲取口部位置之高度，並控制所述機械手將食物遞到對應之高度。
4. 如請求項第1項所述之基於腦電訊號控制之智慧型機器人系統，其中所述腦電偵測裝置藉由無線通訊之方式與所述控制主機相連。
5. 如請求項第1項所述之基於腦電訊號控制之智慧型機器人系統，其中所述腦電偵測裝置包括複數頭部接觸裝置，每一頭部接觸裝置包括複數隔開之頭部接觸探頭，該等頭部接觸探頭可穿過頭髮直接接觸到頭皮而獲取腦電訊號。
6. 如請求項第1項所述之基於腦電訊號控制之智慧型機器人系統，其中所述控制主機包括一腦電訊號特徵擷取模組，所述腦電訊號特徵擷取模組對所述腦電訊號進行濾波、傅裡葉變換和計算特定頻率之腦電訊號能量而得到所述腦電訊號之參數。
7. 如請求項第1項所述之基於腦電訊號控制之智慧型機器人系統，其中所述顯示屏上顯示了多個觀看不同影視內容之圖標，當其中之一個圖標被選中後，所述顯示屏播放對應之影視內容。
8. 如請求項第1項所述之基於腦電訊號控制之智慧型機器人系統，其中所述顯示屏上顯示了告知各種互動之圖標，當其中之一個圖標被選中時，所述控制主機播報對應之互動內容。
9. 如請求項第1項所述之基於腦電訊號控制之智慧型機器人系統，其中所述顯示屏上顯示了與不同人員進行視訊電話之圖標，當其中之一個圖標被選中時，所述控制主機自動連接到對應之人員進行視訊電話。