TWI658826B - 頭戴式游標移動控制系統及其控制方法 - Google Patents

頭戴式游標移動控制系統及其控制方法 Download PDF

Info

Publication number
TWI658826B
TWI658826B TW106134372A TW106134372A TWI658826B TW I658826 B TWI658826 B TW I658826B TW 106134372 A TW106134372 A TW 106134372A TW 106134372 A TW106134372 A TW 106134372A TW I658826 B TWI658826 B TW I658826B
Authority
TW
Taiwan
Prior art keywords
axis
sensing signal
head
sensing
signal
Prior art date
Application number
TW106134372A
Other languages
English (en)
Other versions
TW201914558A (zh
Inventor
陳治臻
郭孟學
蘇郁傑
施嫈嫈
陳友倫
陳適卿
Original Assignee
施嫈嫈
陳治臻
陳友倫
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 施嫈嫈, 陳治臻, 陳友倫 filed Critical 施嫈嫈
Priority to TW106134372A priority Critical patent/TWI658826B/zh
Publication of TW201914558A publication Critical patent/TW201914558A/zh
Application granted granted Critical
Publication of TWI658826B publication Critical patent/TWI658826B/zh

Links

Landscapes

  • Position Input By Displaying (AREA)

Abstract

一種頭戴式游標移動控制系統及其控制方法,該系統包括一頭戴式方向感測裝置及相通訊連接的一受控電子裝置;該頭戴式方向感測裝置套設在一使用者頭部上,並根據該病患頭部擺動傳送一組使用感測訊號給該受控電子裝置,該受控電子裝置根據該組使用感測訊號與一筆移動座標資料,產生一移動訊號,並控制該受控電子裝置上所顯示的一滑鼠游標移動至對應的位置,藉此讓病患透過頭部移動即可控制該受控電子裝置的滑鼠游標移動,以直接控制該受控電子裝置,而達到方便使用的目的。

Description

頭戴式游標移動控制系統及其控制方法
本發明關於一種游標移動控制系統,尤指一種頭戴式游標移動控制系統及其控制方法。
目前有一些病患因為意外緣故,導致四肢癱瘓僅有頭部能移動,也因為身體無法移動,使得病患在生活上非常不方便。當病患需要使用電子裝置如智慧型行動裝置撥打電話、打開APP或求救,或者電腦時,由於病患的雙手無法移動而無法使用電子裝置,不僅不方便,危急時還可能釀成危險。
目前病患使用電子裝置的方式,是透過家人、照護人員或者聘請的外籍看護來協助操作電子裝置,但是由於是透過他人幫忙操作電子裝置,因而有可能導致病患的個人隱私洩漏,或者電子裝置被不當使用,因此,對於病患操作電子裝置的輔助方式有待各界積極開發,以改善病患的生活水準。
鑒於上述現有技術所存在的問題,本發明提供一種頭戴式游標移動控制系統及其控制方法,透過感測病患頭部擺動的方向,以控制一受控電子裝置內顯示的一滑鼠游標移動,藉此讓病患在不需他人幫助下也能操作電子裝置,而達到方便使用的目的。
為了達成上述目的所採取的技術手段,令前述頭戴式游標移動控制系統,包括: 一頭戴式方向感測裝置,供套設在使用者頭部上,包含: 一第一通訊單元,用以傳輸訊號; 一方向感測器,感測頭部擺動並產生一組使用感測訊號; 一第一處理器,電連接該第一通訊單元與該方向感測器,該第一處理器接收該組使用感測訊號,並透過該第一通訊單元傳輸該組使用感測訊號; 一受控電子裝置,包含: 一顯示器,顯示一滑鼠游標; 一第二通訊單元,通訊連接該第一通訊單元,以接收該組使用感測訊號; 一記憶單元,用以儲存一筆移動座標資料; 一第二處理器,電連接該顯示器、該第二通訊單元與該記憶單元,該第二處理器用以接收該組使用感測訊號以及該筆移動座標資料,並根據該組使用感測訊號與該筆移動座標資料,產生一移動訊號,以控制該滑鼠游標移動到與該筆移動座標資料相對應的一位置。
透過上述系統可知,藉由將該頭戴式方向感測裝置套設在病患/使用者頭部上,以當病患/使用者擺動頭部時,產生該組使用感測訊號,並傳送到該受控電子裝置,該受控電子裝置根據該組使用感測訊號與該筆移動座標資料,產生該移動訊號,以控制該滑鼠游標移動到一對應的位置,藉此讓病患可透過擺動頭部達到控制滑鼠游標移動,進而操作該受控電子裝置,以達到方便使用的目的。
為了達成上述目的所採取的另一技術手段,令前述頭戴式游標移動控制方法,由一頭戴式方向感測裝置與一受控電子裝置無線連結,並由該受控電子裝置執行以下步驟: 接收來自該頭戴式方向感測裝置傳送的一組使用感測訊號; 根據該組使用感測訊號及一筆移動座標資料產生一移動訊號; 根據該移動訊號控制一滑鼠游標移動到與該筆移動座標資料相對應的一位置。
透過上述方法可知,該受控電子裝置接收該頭戴式方向感測裝置根據病患頭部擺動所感測到的使用感測訊號,該受控電子裝置根據該使用感測訊號與該筆移動座標資料產生該移動訊號,以控制該滑鼠游標移動到該受控電子裝置的一顯示器上的對應位置,讓病患得以直接控制該受控電子裝置,而達到方便使用的目的。
關於本發明較佳實施例請參閱圖1、2所示,包括一頭戴式方向感測裝置10及一受控電子裝置20,該頭戴式方向感測裝置10與該受控電子裝置20無線連結。該受控電子裝置20可為一智慧型行動裝置如電腦平板、智慧型手機等。
該頭戴式方向感測裝置10包括一殼體101、一套頭支架102、一伸縮轉動支架103、一第一處理器11、一方向感測器12、一第一通訊單元13及一壓力感測器14。請一併參考圖3所示,該套頭支架102用以套設在一病患/使用者的頭部上,使該殼體101設置在該病患頭頂的正中間處,該伸縮轉動支架103設置在該頭頂支架102的一側,並且靠近該病患的臉頰。
該第一處理器11、該方向感測器12及該第一通訊單元13設置在該殼體101內,該第一處理器11電連接該方向感測器12及該第一通訊單元13,該壓力感測器14設置在該伸縮轉動支架103的一前端上,以直接貼靠在該病患的臉頰上,該壓力感測器14電連接該第一處理器11。其中,該第一處理器11的型號可為ATmega328單晶片,但不以此為限。該方向感測器12可為一加速度規其型號可為ADXL335,但不以此為限。該第一通訊單元13可為一藍牙單元其型號可為HC-05,但不以此為限。
該方向感測器12感測該病患的頭部擺動,以產生對應的一組使用感測訊號,並傳送到該第一處理器11,該第一處理器11透過該第一通訊單元13傳輸該組使用感測訊號到該受控電子裝置20。
請參考圖1、4所示,該受控電子裝置20包括一第二處理器21、一第二通訊單元22、一顯示器23及一記憶單元24。該第二處理器21電連接該第二通訊單元22、該顯示器23及該記憶單元24。該第二通訊單元22與該第一通訊單元13無線連結,以相互傳輸訊號,並傳送到該第二通訊單元22處理。該第二通訊單元22為一藍牙單元。該受控電子裝置20的第二處理器21執行一滑鼠游標程式,以在該顯示器23上顯示一滑鼠游標231;該記憶單元24用以儲存資料。
在本較佳實施例中,該記憶單元24內儲存有該顯示器23的一筆像素座標資料,以供設定該滑鼠游標231的移動,具體而言,該筆像素座標資料包括有複數組像素座標。
請參考圖2、3所示,該病患可以在一第一軸向X上朝一第一方向或一第二方向擺動,該病患可以在一第二軸向Y上朝一第三方向或一第四方向擺動,其中該第一軸向X垂直該第二軸向Y,該第一軸向X與該第二軸向Y構成一平面空間,該病患可在該平面空間朝任一方向擺動頭部。其中,以面向圖2、3方向為例,圖2、3的左側方向為該第一方向,具體可為該病患的右手方向;圖2、3的右側方向為該第二方向,具體可為該病患的左手方向;圖2、3的前側方向為該第三方向,具體可為該病患的前側方向;圖2、3的後側方向為該第四方向,具體可為該病患的後側方向,以上方向僅為舉例,並非以此為限定。以下說明動作原理時,將以病患實際使用的前後左右方向說明。
請參考圖1、3所示,當該病患開始使用本發明頭戴式游標移動控制系統之前,需要先執行一校正模式。首先,該頭戴式方向感測裝置10感測病患頭部不動時的至少一組初始感測訊號,並傳送到該受控電子裝置20,該受控電子裝置20將該組初始感測訊號設定為一組基準值並儲存在該記憶單元24內,由於該病患頭部可能會輕微擺動,因此,該受控電子裝置20可能會接收到複數組初始感測訊號,該受控電子裝置20計算該等組初始感測訊號的平均值,並將計算後的平均值設定為該組基準值。
具體而言,每一組初始感測訊號分別包括在該第一軸向X上的一第一軸感測訊號,以及在該第二軸向Y上的一第二軸感測訊號,計算該等第一軸感測訊號的平均值,以得到該組基準值的一第一軸基準值,計算該等第二軸感測訊號的平均值,以得到該組基準值的一第二軸基準值。
請一併參考圖4,該第二處理器21根據該組基準值及該筆像素座標資料,將該顯示器23的中心點設定為一原點O。具體而言,該原點O為在該顯示器23的一第一軸向X與一第二軸向Y相交處,其中該筆像素座標資料中的每一組像素座標分別包括一第一軸像素座標及一第二軸像素座標,該原點O的第一軸像素座標及第二軸像素座標分別對應該組基準值的第一軸基準值及第二軸基準值。
在本較佳實施例中,以面向圖4方向為例,該顯示器23的第一軸向X對應該病患擺動頭部的第一軸向X、該顯示器23的第二軸向Y對應該病患擺動頭部的第二軸向Y。該顯示器23的原點O的第一方向對應該病患頭部擺動的第一方向(即右手方向),該顯示器23的原點O的第二方向對應該病患頭部擺動的第二方向(即左手方向),該顯示器23的原點O的第三方向對應該病患頭部擺動的第三方向(即前側方向),該顯示器23的原點O的第四方向對應該病患頭部擺動的第四方向(即後側方向)。
當設定完成對應該顯示器23的原點O之後,需要進一步校正病患/使用者頭部朝各方向擺動的最大範圍對應該顯示器23的原點O到邊界的範圍,該頭戴式方向感測裝置10在病患朝任意方向擺動頭部到無法再擺動時,在擺動頭部的過程中以一固定的取樣頻率感測到複數組校正感測訊號,其中,每一組校正感測訊號各別包括有一第一軸感測訊號及一第二軸感測訊號,具體而言,以該病患在該第一軸向X上朝該第一方向擺動頭部為例,由於該病患僅在該第一軸向X上朝該第一方向擺動,因此,感測到的校正感測訊號中的第二軸感測訊號無任何數值,僅第一軸感測訊號有數值。
該頭戴式方向感測裝置10將感測到的複數組校正感測訊號傳送到該受控電子裝置20,該受控電子裝置20根據該筆像素座標資料、該等組校正感測訊號產生複數組移動座標資料,並儲存在該記憶單元24內。
假設該頭戴式方向感測裝置10在所述原點O到邊界的範圍感測到的校正感測訊號具有20組,該受控電子裝置20將等組校正感測訊號中的第一軸感測訊號依座標由最小值到最大值依序排列,並根據該顯示器23的原點O到邊界範圍之間的像素座標,對應產生20組移動座標資料,並儲存在該記憶單元24內,即是該原點O對應使用者頭部不動時,並從原點O到邊界的像素座標依序對應該組校正感測資料的最小值到最大值。
在本較佳實施例中,該病患在各方向完成校正後,會取得各方向的複數組移動座標資料,該第二處理器21將所有移動座標資料儲存到該記憶單元24內,以歸總為一筆移動座標資料。
其中,需要說明的是,該受控電子裝置20判斷該病患朝那一個方向擺動頭部的方式是,當該第一軸感測訊號大於該第一軸基準值,則判斷該病患的頭部朝該第一方向擺動,反之,該第一軸感測訊號小於該第一軸基準值,則判斷該病患的頭部朝該第二方向擺動,當該第二軸感測訊號大於該第二軸基準值,則判斷該病患的頭部朝該第三方向擺動,反之,該第二軸感測訊號小於該第二軸基準值,則判斷該病患的頭部朝該第四方向擺動。
移動座標資料移動座標資料移動座標資料請一併參考圖4,開始使用時,是該病患要控制該顯示器23在該第一軸向X的第一方向上最靠近邊界的一應用軟體(APP)232舉例說明;該頭戴式方向感測裝置10根據該病患朝該第一方向擺動頭部到最大範圍,以感測到對應的使用感測訊號,該組使用感測訊號包括一第一軸感測訊號及一第二軸感測訊號。該頭戴式方向感測裝置10將該組使用感測訊號傳送到該受控電子裝置20。
該受控電子裝置20將該組使用感測訊號的第一軸感測訊號與該第一軸基準值進行比較,以及該將該組使用感測訊號的第二軸感測訊號與該第二軸基準值進行比較,以判斷該病患的頭部在該第一軸向X上朝該第一方向擺動,該受控電子裝置20根據該筆移動座標資料與該組使用感測訊號,產生一移動訊號,以控制該滑鼠游標231移動到與該筆移動座標資料相對應的一位置,即該應用軟體(APP)232的位置,藉此達到滑鼠游標移動控制。
此外,當該病患要執行該應用軟體232時,透過臉頰頂壓該壓力感測器14,以傳送一壓力感測訊號至該第一處理器11,該第一處理器11將該壓力感測訊號透過該第一通訊單元13及該第二通訊單元22傳送到該第二處理器21,該第二處理器22則根據該壓力感測訊號控制該滑鼠游標231執行一選取動作,以選取執行該應用軟體232。在本較佳實施例中,除了透過該壓力感測器14點擊執行該應用軟體232之外,進一步當該滑鼠游標231移動到該應用軟體232時,該第二處理器21計時到一等待時間結束後,沒有收到任何訊號時,則控制該滑鼠游標231執行另一選取動作,以選取執行該應用軟體232。
根據上述內容,進一步歸納出一種頭戴式游標移動控制方法,由該頭戴式方向感測裝置10與該受控電子裝置20無線連接,請參考圖5所示,由該受控電子裝置20執行以下步驟:接收來自該頭戴式方向感測裝置傳送的一組使用感測訊號(S41);根據該組使用感測訊號及該筆移動座標資料產生一移動訊號(S42);根據該移動訊號控制該滑鼠游標231移動到與該筆移動座標資料相對應的一位置(S43)。
在執行「接收來自該頭戴式方向感測裝置傳送的一組使用感測訊號(S41)」的步驟之前,該受控電子裝置20進一步執行一校正模式,請參考圖6所示,該校正模式包括以下步驟:接收至少一組初始感測訊號(S51);根據該組初始感測訊號產生一筆基準值(S52);接收複數校正感測訊號,並與該組基準值進行比較,並根據一筆像素座標資料產生對應的複數組移動座標資料(S53);儲存該等組移動座標資料為該筆移動座標資料(S54)。
其中,當前述執行到步驟「根據該組使用感測訊號及該筆移動座標資料產生一移動訊號(S42)」時,該受控電子裝置20根據該組基準值判斷該使用感測訊號的方向,並根據該筆移動座標資料中對應的座標資料產生該移動訊號。
透過上述內容可知,本發明具有以下特點:
1、透過該頭戴式方向感測裝置10感測病患頭部擺動,以控制該受控電子裝置20的滑鼠游標,藉此達到方便使用的目的。
2、透過本發明可讓病患不需要旁人協助下即可自行控制受控電子裝置20,以確保資料的安全性。
10 頭戴式方向感測裝置 101 殼體 102 頭帶支架 103 伸縮轉動架 11 第一處理器 12 方向感測器 13 第一通訊單元 14 壓力感測器 20 受控電子裝置 21 第二處理器 22 第二通訊單元 23 顯示器 231 滑鼠游標 232 應用軟體(APP) 24 記憶單元
圖1:是本發明較佳實施例的系統架構方塊圖。 圖2:是本發明較佳實施例的頭戴式方向感測器的立體外觀圖。 圖3:是本發明較佳實施例的頭戴式方向感測器的應用示意圖。 圖4:是本發明較佳實施例的受控電子裝置的應用示意圖。 圖5:是本發明較佳實施例的第一流程圖。 圖6:是本發明較佳實施例的第二流程圖。

Claims (8)

  1. 一種頭戴式游標移動控制系統,包括:一頭戴式方向感測裝置,供套設在使用者頭部上,包含:一第一通訊單元,用以傳輸訊號;一方向感測器,感測頭部擺動並產生一組使用感測訊號;一第一處理器,電連接該第一通訊單元與該方向感測器,該第一處理器接收該組使用感測訊號,並透過該第一通訊單元傳輸該組使用感測訊號;一受控電子裝置,包含:一顯示器,顯示一滑鼠游標;一第二通訊單元,通訊連接該第一通訊單元,以接收該組使用感測訊號;一記憶單元,用以儲存一筆移動座標資料;一第二處理器,電連接該顯示器、該第二通訊單元與該記憶單元,該第二處理器用以接收該組使用感測訊號以及該筆移動座標資料,並根據該組使用感測訊號與該筆移動座標資料,產生一移動訊號,以控制該滑鼠游標移動到與該筆移動座標資料相對應的一位置;其中,當該滑鼠移動到該對應的位置時,該第二處理器計時一等待時間直到結束,則控制該滑鼠游標執行一選取動作。
  2. 如請求項1所述之頭戴式游標移動控制系統,其中,該頭戴式方向感測裝置進一步還包括一壓力感測器;該壓力感測器電連接該第一處理器,用以感測一壓力訊號,並傳送到該受控電子裝置,以控制該滑鼠游標執行另一選取動作。
  3. 如請求項2所述之頭戴式游標移動控制系統,其中,該受控電子裝置的記憶單元內儲存有一筆基準值,該組基準值包括一第一軸基準值與一第二軸基準值;該組使用感測訊號包括一第一軸感測訊號與一第二軸感測訊號;當該受控電子裝置的第二處理器判斷該第一軸感測訊號大於該第一軸基準值,則判斷該第一軸感測訊號為朝向一第一方向的感測訊號,當該第一軸感測訊號小於該第一軸基準值,則判斷該第一軸感測訊號為朝向一第二方向的感測訊號;當該受控電子裝置的第二處理器判斷該第二軸感測訊號大於該第二軸基準值,則判斷該第二軸感測訊號為朝向一第三方向的感測訊號,當該第二軸感測訊號小於該第二軸基準值,則判斷該第二軸感測訊號為朝向一第四方向的感測訊號。
  4. 一種頭戴式游標移動控制方法,由一頭戴式方向感測裝置與一受控電子裝置連結,並由該受控電子裝置執行以下步驟:接收來自該頭戴式方向感測裝置傳送的一組使用感測訊號;根據該組使用感測訊號及一筆移動座標資料產生一移動訊號;根據該移動訊號控制一滑鼠游標移動到與該筆移動座標資料相對應的一位置;其中,當該受控電子裝置控制該滑鼠游標移動到該對應的位置時,開始計時一等待時間,並在計時該等待時間結束時,未收到任何感測訊號,則控制該滑鼠游標執行一選取動作。
  5. 如請求項4所述之頭戴式游標移動控制方法,其中,當執行接收來自該頭戴式方向感測裝置傳送的一組使用感測訊號步驟之前,進一步執行以下步驟:接收至少一組初始感測訊號;根據該組初始感測訊號產生一組基準值;接收複數組校正感測訊號,並與該組基準值進行比較,並根據一筆像素座標資料產生對應的複數組移動座標資料;儲存該等組移動座標資料為該筆移動座標資料。
  6. 如請求項5述之頭戴式游標移動控制方法,其中,該初始感測訊號包括一第一軸感測訊號及一第二軸感測訊號,計算該第一軸感測訊號的平均值,以產生該組基準值的一第一軸基準值;計算該第二軸感測訊號的平均值,以產生該組基準值的第二軸基準值。
  7. 如請求項6述之頭戴式游標移動控制方法,其中,當前述執行到根據該組使用感測訊號及該筆移動座標資料產生一移動訊號的步驟時,根據該組使用感測訊號的一第一軸感測訊號與該第一軸基準值比較,當該第一軸感測訊號小於該第一軸基準值,則判斷該第一軸感測訊號為一第一方向上的感測訊號,當該第一軸感測訊號大於該第一軸基準值,則判斷該第一軸感測訊號為一第二方向上的感測訊號;根據該組感測訊號的一第二軸感測訊號與該第二軸基準值比較,當該第二軸感測訊號小於該第二軸基準值,則判斷該第二軸感測訊號為一第三方向上的感測訊號,當該第二軸感測訊號大於該第二軸基準值,則判斷該第二軸感測訊號為一第四方向上的感測訊號。
  8. 如請求項7述之頭戴式游標移動控制方法,其中,當該受控電子裝置接收到該頭戴式方向感測裝置傳送的一壓力訊號,則控制該滑鼠游標執行另一選取動作。
TW106134372A 2017-10-05 2017-10-05 頭戴式游標移動控制系統及其控制方法 TWI658826B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW106134372A TWI658826B (zh) 2017-10-05 2017-10-05 頭戴式游標移動控制系統及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW106134372A TWI658826B (zh) 2017-10-05 2017-10-05 頭戴式游標移動控制系統及其控制方法

Publications (2)

Publication Number Publication Date
TW201914558A TW201914558A (zh) 2019-04-16
TWI658826B true TWI658826B (zh) 2019-05-11

Family

ID=66991724

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106134372A TWI658826B (zh) 2017-10-05 2017-10-05 頭戴式游標移動控制系統及其控制方法

Country Status (1)

Country Link
TW (1) TWI658826B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWM557849U (zh) * 2017-10-05 2018-04-01 Shi ying ying 頭戴式游標移動控制系統

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWM557849U (zh) * 2017-10-05 2018-04-01 Shi ying ying 頭戴式游標移動控制系統

Also Published As

Publication number Publication date
TW201914558A (zh) 2019-04-16

Similar Documents

Publication Publication Date Title
TWI476633B (zh) 傳輸觸覺資訊的系統和方法
CN110251080B (zh) 检测正在穿戴可穿戴电子设备的肢体
US20110234488A1 (en) Portable engine for entertainment, education, or communication
WO2016188258A1 (zh) 眼控装置、眼控方法和眼控系统
KR20160100770A (ko) 생체 정보를 측정하는 전자 장치 및 방법
JP6325384B2 (ja) 携帯端末、トレーニング管理プログラムおよびトレーニング管理方法
KR20140081863A (ko) 인증된 몸동작 인식
US11009964B2 (en) Length calibration for computer models of users to generate inputs for computer systems
US20160029904A1 (en) Automated blood pressure measurement system
US11687073B2 (en) Specialist control for a wheelchair
TWI713053B (zh) 動作評估系統、其方法及非暫態電腦可讀取記錄媒體
KR20160112559A (ko) 터치 패널을 포함하는 전자 장치 및 그 제어 방법
US20210068674A1 (en) Track user movements and biological responses in generating inputs for computer systems
CN108153422A (zh) 一种显示对象控制方法和移动终端
KR20170076534A (ko) 가상 현실 인터페이스 장치 및 제어 방법
US20210394369A1 (en) Healthcare robot and control method therefor
JP5403522B2 (ja) 制御装置、ロボット、制御方法、ならびに、プログラム
US20190004596A1 (en) Hands-free input method and intra-oral controller apparatus
TWI658826B (zh) 頭戴式游標移動控制系統及其控制方法
CN106200954B (zh) 虚拟现实系统和虚拟现实眼镜的控制方法
US11599189B2 (en) Head orientation tracking
KR20160098566A (ko) 웨어러블 기기를 이용한 신체변화 정보제공 시스템 및 그 방법
KR102600897B1 (ko) 전자 장치 및 전자 장치의 제어 방법
TWM557849U (zh) 頭戴式游標移動控制系統
KR102390599B1 (ko) 내면 집중력 훈련 방법 및 장치

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees