TWI571768B

TWI571768B - 使用者介面同步系統、裝置、方法、電腦可讀取記錄媒體、及電腦程式產品

Info

Publication number: TWI571768B
Application number: TW104113704A
Authority: TW
Inventors: 鄒嘉駿
Original assignee: 由田新技股份有限公司
Priority date: 2015-04-29
Filing date: 2015-04-29
Publication date: 2017-02-21
Also published as: CN106201284B; TW201638723A; CN106201284A

Description

使用者介面同步系統、裝置、方法、電腦可讀取記錄媒體、及電腦程式產品

本發明係提出一種使用者介面同步系統及其方法，尤指一種用於電子裝置與穿戴式裝置間的使用者介面同步系統及其方法。

眼動追蹤(eye tracking)，係指透過分析使用者的眼部影像或者眼球相對頭部的運動模式，藉以實現對眼球運動的追蹤程序。眼動儀是一種能夠跟蹤測量眼球位置及眼球運動信息的設備，在視覺系統、心理學、認知語言學的研究中有廣泛的應用。目前眼動追蹤有多種方法，較常見的眼動追蹤技術包括Purkinje影像追蹤法(Dual-Purkinje-Image,DPI)、紅外線影像系統法(Infra-Red Video System,IRVS)、紅外線眼動圖法(Infra-Red Oculography,IROG)等，可透過擷取使用者的眼部影像藉以判斷使用者的注視方向。

近期來，部分行動裝置的品牌係推出將眼動追蹤的技術整合至行動裝置的技術，透過追蹤使用者的注視方向，行動裝置可產生對應的操作指令，以對該行動裝置下達對應的指令。這類的技術可便於使用者操作顯示屏幕，當使用者的其中一手無法空出來操作行動裝置時，透過追蹤使用者的眼球，仍可輸入對應的指令。另一種情境可應用於影片播放，透過使用者注視的方向，判斷使用者是否注視顯示屏幕，於判斷使用者並未注視顯示屏幕時，暫時啟動停播功能，確保使用者不會錯過影片中的任何精彩片段。

然而，依據目前現有的技術，經由行動裝置的前鏡頭拍攝使用者眼部，所取得的影像容易受到環境因素的影響(例如高光、低光環境)，於追蹤眼部動作時容易遇到困難。欲進行精確的眼部動作追蹤時(如注視方向偵測)，由於行動裝置的前鏡頭、顯示屏幕與使用者眼部的距離不固定，無法透過三角測距的方式取得使用者的注視方向，僅能就使用者的影像簡略地判斷使用者向左或是向右注視。

本發明之主要目的，在於解決習知技術中電子裝置無法精確藉由眼動追蹤技術操作的問題。

為解決上述問題，本發明係提供一種使用者介面同步系統，將電子裝置與穿戴式裝置進行配對，該使用者介面同步系統包括耦接於該電子裝置的圖形輸出模組、指令轉換模組，以及耦接於該穿戴式裝置的映射模組、眼動指令分析模組。其中，所述的指令轉換模組可依情況配置為耦接於該穿戴式裝置。該圖形輸出模組用以存取該電子裝置的影像資料，並將該電子裝置的影像資料經由無線網路傳送至該穿戴式裝置。該映射模組透過該穿戴式裝置將該影像資料顯示於該穿戴式裝置的輸出單元上，以供使用者注視操作。該眼動指令分析模組分析該穿戴式裝置所擷取到的眼部動作指令。該指令轉換模組於接收到該眼部動作指令時對該眼部動作指令進行轉換，以將該眼部動作指令輸出為可供該電子裝置執行的動作指令。

進一步地，該映射模組於該穿戴式裝置的輸出單元上建立顯示該影像資料的使用者介面視窗，並依據電子裝置的顯示屏幕的長寬依等比例放大或縮小調整該使用者介面視窗。

進一步地，該眼動指令分析模組係依據所擷取到的眼部影像，分析該使用者的注視方向，並於該使用者介面視窗上形成可依據該注視方向移動的游標。

進一步地，於該使用者的注視方向停留於該使用者介面視窗上時，該眼動指令分析模組係記錄該注視方向所對應於該電子裝置的顯示屏幕上的座標位置，並於該注視方向大致停留於同一圖形化介面上超過所設定的閾值時間時，係將觸發指令經由無線網路傳送至該指令轉換模組以啟動該圖形化介面所對應的一或複數個程序。

進一步地，該眼動指令分析模組於偵測到該使用者的注視方向係由左至右快速移動時，係傳遞左側翻頁的該眼部動作指令至該指令轉換模組，以利該電子裝置執行一由左側向右側翻頁的動作指令，該眼動指令分析模組於偵測到該使用者的注視方向係由右至左快速移動時，係傳遞右側翻頁的該眼部動作指令至該指令轉換模組，以利該電子裝置執行一由右側向左側翻頁的動作指令。

進一步地，該眼動指令分析模組於偵測到該使用者的觸發動作時設定一基準座標，持續偵測該使用者的注視方向，並記錄該注視方向相對該基準座標的X軸移動距離及Y軸移動距離，當該X軸移動距離或該Y軸移動距離大於閾值時，係傳遞對應於該眼部移動方向及移動距離的眼部動作指令至該指令轉換模組，以利該電子裝置執行對應於該眼部移動方向捲動的動作指令。

進一步地，該無線網路係可為無線保真度直連(WiFi Direct)協定、藍芽無線傳輸(Bluetooth)、或虛擬無線AP(Wi-Fi soft AP)。

本發明的另一目的，在於提供一種受控端電子裝置，包括有顯示屏幕，無線傳輸單元，以及連接於該顯示屏幕及該無線傳輸單元的處理器。該處理器係具有圖形處理單元，用以將影像資料傳送至該顯示屏幕上以提供供使用者操作的使用者介面。該處理器包含有運算單元用以掛載並執行以下的程式：圖形輸出模組，用以存取該電子裝置的影像資料，並將該電子裝置所顯示的影像資料經由無線網路傳送至穿戴式裝置，藉以供該穿戴式裝置輸出以供使用者目視操作。

指令轉換模組，經由無線網路接收該穿戴式裝置所提供的眼部動作指令，將該眼部動作指令輸出為可供該電子裝置執行的動作指令。

本發明的另一目的，在於提供一種主控端穿戴式裝置，包括有輸出單元，無線傳輸單元，攝像單元，以及連接於該輸出單元、該無線傳輸單元及該攝像單元的處理器。該攝像單元係用以拍攝並取得使用者的眼部影像。該處理器係具有圖形處理單元，用以將影像資料傳送至該輸出單元上以提供供使用者操作的使用者介面。該處理器包含有運算單元用以掛載並執行以下的程式：映射模組，係透過無線網路取得電子裝置的影像資料，並將該影像資料傳送至該穿戴式裝置的該圖形處理單元以顯示於該輸出單元上，供使用者注視操作。

眼動指令分析模組，係取得經由該攝像單元所拍攝取得的眼部影像，並由該眼部影像擷取眼部動作指令，透過無線網路將該眼部動作指令傳送至該電子裝置，以啟動該電子裝置的一或複數個程序。

進一步地，該映射模組於該穿戴式裝置的輸出單元上建立一顯示該影像資料的使用者介面視窗，並依據該電子裝置的顯示屏幕的長寬依等比例放大或縮小調整該使用者介面視窗。

進一步地，該眼動指令分析模組係依據所擷取到的該眼部影像，分析該使用者的注視方向，並於該使用者介面視窗上形成可依據該注視方向移動的游標。

進一步地，於該使用者的注視方向停留於該使用者介面視窗上時，該眼動指令分析模組係記錄該注視方向所對應於該電子裝置的顯示屏幕上的座標位置，並於偵測到該注視方向大致停留於同一圖形化介面上超過所設定的閾值時間時，係將觸發指令經由無線網路傳送至該電子裝置以啟動該圖形化介面所對應的一或複數個程序。

進一步地，該眼動指令分析模組於偵測到該使用者的注視方向係由左至右快速移動時，係傳遞左側翻頁的眼部動作指令至該電子裝置，以利該電子裝置執行一由左側向右側翻頁的程序，該眼動指令分析模組於偵測到該使用者的注視方向係由右至左快速移動時，係傳遞右側翻頁的眼部動作指令至該電子裝置，以利該電子裝置執行一由右側向左側翻頁的程序。

進一步地，該眼動指令分析模組係於偵測到該使用者的觸發動作時設定一基準座標，持續偵測該使用者的注視方向，並記錄該注視方向相對該基準座標的X軸移動距離及Y軸移動距離，當該X軸移動距離或該Y軸移動距離大於閾值時，係傳遞對應於該眼部移動方向及移動距離的眼部動作指令至該電子裝置，以利該電子裝置執行對應於該眼部移動方向捲動的程序。

本發明的另一目的，在於提供一種穿戴式裝置及電子裝置的介面同步方法，包括：存取該電子裝置的影像資料，並將該電子裝置的影像資料經由無線網路傳送至該穿戴式裝置；透過該穿戴式裝置將影像資料顯示於該穿戴式裝置的輸出單元上，以供使用者注視操作；分析該穿戴式裝置所擷取到的眼部動作指令，並將該眼部動作指令經由無線網路傳送至該電子裝置；以及於接收到該眼部動作指令時對該眼部動作指令進行轉換，以將該眼部動作指令輸出為可供該電子裝置執行的動作指令。

進一步地，該穿戴式裝置於接收到該影像資料後，係依據該電子裝置的顯示屏幕的長寬依等比例放大或縮小建立一顯示該影像資料的使用者介面視窗。

進一步地，該穿戴式裝置係依據所擷取到的眼部影像，分析該使用者的注視方向，並於該使用者介面視窗上形成可依據該注視方向移動的游標。

進一步地，該使用者的注視方向停留於該使用者介面視窗上時，係記錄該注視方向所對應於該電子裝置的顯示屏幕上的座標位置，並於該注視方向大致停留於同一圖形化介面上超過所設定的閾值時間時，係將觸發指令經由無線網路傳送至該電子裝置以啟動該圖形化介面所對應的一或複數個程序。

進一步地，於偵測到該使用者的注視方向係由左至右快速移動時，係傳遞左側翻頁的眼部動作指令至該電子裝置，以利該電子裝置執行一由左側向右側翻頁的動作指令，於偵測到該使用者的注視方向係由右至左快速移動時，係傳遞右側翻頁的眼部動作指令至該電子裝置，以利該電子裝置執行一由右側向左側翻頁的動作指令。

進一步地，於偵測到該使用者的觸發動作時設定一基準座標，持續偵測該使用者的注視方向，並記錄該注視方向相對該基準座標的X軸移動距離及Y軸移動距離，當該X軸移動距離或該Y軸移動距離大於閾值時，係傳遞對應於該眼部移動方向及移動距離的眼部動作指令至該電子裝置，以利該電子裝置執行對應於該眼部移動方向捲動的動作指令。

本發明的更一目的，在於提供一種電腦可讀取記錄媒體，其上記錄一程式，當電子裝置及穿戴式裝置載入該程式並執行後，係可完成如上所述之方法。

本發明的更一目的，在於提供一種電腦程式產品，當該電腦程式產品被載入電子裝置及穿戴式裝置中執行時，可完成如上所述之方法。

因此，本發明相較於前述習知技術具有以下之優異效果：

1.本發明的使用者介面同步系統可將電子裝置的影像資料傳送至穿戴式裝置的輸出單元上，以利於透過追蹤使用者的眼部動作操作電子裝置。

2.本發明的前鏡頭與使用者眼部間可維持於固定的間距，較容易偵測使用者的眼部動作。

100‧‧‧使用者介面同步系統

10‧‧‧電子裝置

11‧‧‧顯示屏幕

12‧‧‧處理單元

13‧‧‧圖形處理單元

14‧‧‧儲存單元

16‧‧‧無線傳輸單元

17‧‧‧圖形輸出模組

18‧‧‧指令轉換模組

CU1‧‧‧處理器

20‧‧‧穿戴式裝置

21‧‧‧輸出單元

22‧‧‧處理單元

23‧‧‧圖形處理單元

24‧‧‧儲存單元

25‧‧‧攝像單元

26‧‧‧無線傳輸單元

27‧‧‧映射模組

28‧‧‧眼動指令分析模組

CU2‧‧‧處理器

W‧‧‧使用者介面視窗

W1‧‧‧游標

W2‧‧‧計時器

W3、W4、W5、W6‧‧‧箭頭(上、下、左、右)

S201~S205‧‧‧步驟

S2051A~S2054A‧‧‧步驟

S2051B~S2053B‧‧‧步驟

S2051C~S2055C‧‧‧步驟

圖1，表示本發明使用者介面同步系統的方塊示意圖。

圖2，表示本發明使用者介面同步系統的使用狀態示意圖。

圖3，表示使用者介面視窗的示意圖(一)。

圖4，表示眼部動作於使用者介面視窗上所產生的軌跡示意圖(一)。

圖5，表示眼部動作於使用者介面視窗上所產生的軌跡示意圖(二)。

圖6，表示使用者介面視窗的示意圖(二)。

圖7，表示另一種使用者介面視窗的示意圖。

圖8，表示本發明使用者介面同步方法的流程示意圖(一)。

圖9，表示本發明使用者介面同步方法的流程示意圖(二)。

圖10，表示本發明使用者介面同步方法的流程示意圖(三)。

圖11，表示本發明使用者介面同步方法的流程示意圖(四)。

有關本發明之詳細說明及技術內容，現就配合圖式說明如下。再者，本發明中之圖式，為說明方便，其比例未必按實際比例繪製，而有誇大之情況，該等圖式及其比例非用以限制本發明之範圍。

本發明係為一種使用者介面同步系統100，用於將電子裝置10的畫面傳送至穿戴式裝置20上，藉由穿戴式裝置20追蹤使用者的眼部動作以操作該電子裝置10。

所述的電子裝置10係至少包含有顯示屏幕11、處理單元12(Central Processing Unit,CPU)、以及可輸入輸出影像的圖形處理單元13(Graphics Processing Unit,GPU)。具體而言，該電子裝置10可為(例如)蜂巢式電話、智慧型電話、平板電腦、手持式行動通訊裝置、個人數位助理(Personal Digital Assistant,PDA)或類此之可攜式電子裝置，此外，該電子裝置10亦可為計算機、桌上型電腦、筆記型電腦、車載電腦等具有顯示及控制介面的電子裝置。

所述的穿戴式裝置20特指一種穿戴於使用者頭部的穿戴型裝置，係可透過輸出單元21提供使用者可操作的使用者介面，藉由攝像單元25拍攝使用者的眼部以擷取使用者的眼部影像，以藉由使用者的注視方向操作上述的使用者介面。所述的穿戴式裝置20至少包含有提供影像至使用者眼部的輸出單元21、拍攝使用者眼部以取得使用者眼部影像的攝像單元25、處理單元 22(Central Processing Unit,CPU)，以及可輸入輸出影像的圖形處理單元23(Graphics Processing Unit,GPU)。具體而言，該穿戴式裝置20可為智慧型眼鏡、眼跡追蹤儀、擴增實境裝置、虛擬實境裝置、或類此之智慧型穿戴裝置。

請參閱「圖1」，係本發明使用者介面同步系統的方塊示意圖，如圖所示：以下係分別針對電子裝置10及穿戴式裝置20的硬體架構進行說明，於硬體架構說明完後，後方會針對軟體架構的部分進行更進一步的說明。

電子裝置：

如前所述，所述的電子裝置10係作為受控端，以將影像資料傳送至該穿戴式裝置20，並藉由該穿戴式裝置20的眼部動作追蹤功能透過無線網路操作該電子裝置10。該電子裝置10係包含有顯示屏幕11、處理單元12(Processing Unit)、可輸入輸出影像的圖形處理單元13(Graphics Processing Unit,GPU)、儲存單元14、及無線傳輸單元16。

所述的處理單元12可與圖形處理單元13共同構成處理器CU1，使該處理單元12與圖形處理單元13可以集成於單一晶片上，藉此減少元件所需佔去的體積。舉例而言，所述的處理器CU1可以為例如ARM Holdings,Ltd.開發的Cortex ®系列處理器、以及中國科學院的計算技術研究所(ICT)開發的龍芯(Loongson)處理器等，於本發明中不予以限制。

於另一較佳實施例中，所述的處理單元12、及圖形處理單元13可個別構成處理器，分別處理邏輯運算、及影像處理等工作，並共同或協同處理部分程式指令。

於另一較佳實施例中，所述的處理單元12可與儲存單元14共同構成處理器，該處理單元12可載入該儲存單元14所預存的程式，並執行對應的演算法。

於本實施態樣中，該處理單元12係與圖形處理單元13共同構成處理器CU1，該處理器CU1並耦接於該儲存單元14。該處理器CU1可為中央處理器(Central Processing Unit,CPU)，或是其他可程式化並具有一般用途或特殊用途的微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor,DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits,ASIC)、可程式化邏輯裝置(Programmable Logic Device,PLD)或其他類似裝置或這些裝置的組合。

所述的顯示屏幕11係用於顯示圖形資料，例如使用者操作介面、圖形化介面、或多媒體影像等，藉以將影像或操作介面顯示於該顯示屏幕11上以供使用者讀取。所述的顯示屏幕11可為主動式陣列有機發光裝置(AMOLED)顯示器、薄膜電晶體(Thin Film Transistor,TFT)顯示器、或其他類此之顯示裝置，於本發明中不予以限制。所述的顯示屏幕11係藉由控制電路驅動，透過輸入對應的訊號至資料線驅動電路及掃描線驅動電路，以驅動面板於對應座標上的發光單元(像素元)。所述的顯示屏幕11係可藉由圖形處理單元13於存取儲存單元14內的資料後，將對應的多媒體資料發佈於顯示屏幕11上，以供使用者目視。

所述的無線傳輸單元16係可透過無線網路進行數據傳輸。具體而言，該無線網路係可為無線保真度直連(WiFi Direct)協定、藍芽無線傳輸(Bluetooth)、或虛擬無線AP(Wi-Fi soft AP)。於另一較佳實施例中，所述的無線傳輸單元16可透過無線射頻辨識(Radio Frequency Identification,RFID)技術與穿戴式裝置20進行配對，藉以與該穿戴式裝置20進行中、短距離的無線資料傳輸。

穿戴式裝置：

該穿戴式裝置20係可作為主控端，藉由接收該電子裝置10的影像資料，並將該影像資料輸出至使用者眼部，以供使用者注視操作。如前所述，該穿戴式裝置20係包含有輸出單元21、處理單元22(Central Processing Unit,CPU)、可輸入輸出影像的圖形處理單元23(Graphics Processing Unit,GPU)、攝像單元25、以及無線傳輸單元26。

所述的處理單元22與電子裝置10的處理單元12大致相同，在此，針對處理單元22的說明即不再予以贅述。同電子裝置10的處理單元12，於一較佳實施例中，所述的處理單元22可與圖形處理單元23共同構成處理器CU2，使該處理單元22與圖形處理單元23可以集成於單一晶片上。於另一較佳實施例中，所述的處理單元22、及圖形處理單元23可個別構成處理器，分別處理邏輯運算、及影像處理等工作，並共同或協同處理部分程式指令。於另一較佳實施例中，所述的處理單元22可與儲存單元24共同構成處理器，該處理單元22可載入該儲存單元24所預存的程式，並執行對應的演算法。

於本實施態樣中，該處理單元22係與圖形處理單元23共同構成處理器CU2，該處理器CU2係耦接於該儲存單元24。該處理單元22可為中央處理器(Central Processing Unit,CPU)，或是其他可程式化並具有一般用途或特殊用途的微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor,DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits,ASIC)、可程式化邏輯裝置(Programmable Logic Device,PLD)或其他類似裝置或這些裝置的組合。

所述的輸出單元21係用於顯示圖形資料，並將圖形資料送至使用者的眼部以供使用者目視操作。該輸出單元21可為顯示屏幕，例如主動式陣列有機發光裝置(AMOLED)顯示器、薄膜電晶體(thin film transistor，TFT)顯示器、或其他類此之顯示裝置。於另一較佳實施例中，所述的輸出單元21可為視網膜顯示器，透過視網膜影像投影(Retinal Imaging Display,RID)技術，將畫面直接投射在視網膜上供使用者觀看。視網膜顯示器透過玻璃的反射，光束可直接在視網膜上成像，讓影像光束與肉眼所看到的實景融合。所述的輸出單元21係可藉由圖形處理單元23(GPU)於存取儲存單元24內的資料後，將對應的多媒體資料發佈於使用者的眼部，以供使用者目視。

所述的攝像單元25係可為搭載有感光耦合元件(Charge Coupled Device,CCD)或互補性氧化金屬半導體(Complementary Metal-Oxide Semiconductor,CMOS)的攝像機，於本發明中不予以限制。該攝像單元25係用於拍攝使用者的眼部影像，所取得的眼部影像將傳送至眼動指令分析模組28進行進一步的分析，以追蹤使用者的眼部動作並將該眼部動作轉換為對應的眼部動作指令。

所述的無線傳輸單元26係可透過無線網路進行數據傳輸。具體而言，該無線網路係可為無線保真度直連(WiFi Direct)協定、藍芽無線傳輸(Bluetooth)、或虛擬無線AP(Wi-Fi soft AP)。

以上已針對電子裝置10及穿戴式裝置20的硬體架構進行詳細的說明，在此，進一步依據上述的硬體架構，對應本發明使用者介面同步系統的架構進行詳細的說明：請一併參閱「圖2」，係本發明使用者介面同步系統的使用狀態示意圖，如圖所示：本發明可將該電子裝置10與穿戴式裝置20進行配對。於配對成功後，所述的電子裝置10可透過無線網路將顯示屏幕11上的影像資料傳送至該穿戴式裝置20，以便使用者透過該穿戴式裝置20讀取該顯示屏幕11。所述的穿戴式裝置20係可藉由攝像單元25拍攝使用者的眼部影像，以透過眼部動作無線操作該電子裝置10，藉以啟動該電子裝置10的一或複數個程序。

請繼續參閱「圖1」，所述的使用者介面同步系統100 係包括耦接於該電子裝置10的圖形輸出模組17、指令轉換模組18，以及耦接於該穿戴式裝置20的映射模組27、眼動指令分析模組28。

於本實施例中，所述的圖形輸出模組17、以及指令轉換模組18係預存於該電子裝置10的儲存單元14內，以利該電子裝置10的處理單元12於掛載該圖形輸出模組17及指令轉換模組18的程式後執行其演算法。所述的映射模組27、以及眼動指令分析模組28係預存於該穿戴式裝置20的儲存單元24內，以利該穿戴式裝置20的處理單元22於掛載該映射模組27、以及眼動指令分析模組28的程式後執行其演算法。於另一較佳實施例中，所述的指令轉換模組18亦可載入於該穿戴式裝置20，該穿戴式裝置20藉由該指令轉換模組18將該眼部動作指令轉換為可供電子裝置10執行的動作指令後，再經由無線網路將該動作指令傳送至該電子裝置10以啟動一或複數個程序。於上述步驟中，所述的穿戴式裝置20係對該動作指令進行加密，該電子裝置10僅需將該動作指令解密後並執行即可，所述的方式可理解為本發明的另一均等實施態樣。

所述的圖形輸出模組17耦接於該電子裝置10，以存取該電子裝置10的影像資料，並將該電子裝置10的影像資料經由無線網路傳送至該穿戴式裝置20。該圖形輸出模組17係用以存取該圖形處理單元13內所提供的影像資料(使用者介面)，所取得的影像資料係與該顯示屏幕11上所顯示的影像同步，或者是依據預設定或使用者設定，強制關閉顯示屏幕11，使該圖形輸出模組17直接將影像資料透過無線網路傳送至該穿戴式裝置20，以減少該圖形輸出模組17額外的負擔及減少電子裝置的耗電。

所述的映射模組27係經由該無線傳輸單元26與該圖形輸出模組17形成配對，該映射模組27係用以將影像資料顯示於該穿戴式裝置20的輸出單元21上，以供使用者注視操作。請參閱「圖3」，該映射模組27可建立顯示該影像資料的使用者介面視窗W，並依據電子裝置10的顯示屏幕11的長寬依等比例放大或縮小調整該使用者介面視窗W，以利使用者在較佳視覺感受範圍內操作該使用者介面視窗W。所述的映射模組27係於該使用者介面視窗W上顯示一可移動的游標W1，該游標W1係追隨使用者的注視方向移動，所述的注視方向係透過眼動指令分析模組28進行計算。

於一較佳實施例中，該圖形輸出模組17可以透過串流技術(Streaming media)將一連串的影像資料壓縮後，經過無線網路分段傳送資料，並由耦接於該穿戴式裝置20的映射模組27解壓串流封包，以利於將影像資料即時顯示於該穿戴式裝置20的輸出單元21上。

於該影像資料顯示於該輸出單元21所提供的使用者介面視窗W後，使用者可透過眼部動作操作該使用者介面視窗W上的游標W1，或是透過連續的眼部動作產生對應的眼部動作指令操作該使用者介面視窗W。該眼動指令分析模組28於分析使用者的眼部動作後，係將該眼部動作轉換為眼部動作指令，並將該眼部動作指令透過無線網路傳送至耦接於該電子裝置10的指令轉換模組18，以供指令轉換模組18分析，進一步找到該眼部動作指令對應於該電子裝置10的動作指令，以透過處理單元12啟動對應於該動作指令的一或複數個程序。於一較佳實施例中，該指令轉換模組18係包含有查找表，藉由該查找表該指令轉換模組18可將該眼部動作指令轉換為對應至該電子裝置10的動作指令。是以，於穿戴式裝置20與電子裝置10成功配對時，使用者可透過該穿戴式裝置20操作該使用者介面視窗W，此時，攝像單元25將持續捕捉使用者的眼部影像，透過所捕捉到的眼部動作，使用者可透過穿戴式裝置20藉由眼部動作操作該電子裝置10。

具體而言，該眼動指令分析模組28係包含有二種功能，其一為藉由使用者的眼部影像分析對應的眼部動作，藉由該眼部動作判斷使用者的注視方向；其二為透過使用者的注視方向判斷使用者所欲輸入的眼部動作指令。

針對藉由眼部影像取得眼部動作(注視方向)的技術，可以採用Purkinje影像追蹤法(Dual-Purkinje-Image,DPI)、紅外線影像系統法(Infra-Red Video System,IRVS)、紅外線眼動圖法(Infra-Red Oculography,IROG)，於本發明中並不予以限制。透過上述的方法，係可透過該使用者的複數個眼部影像，採集到該眼部影像對應於該輸出單元21上的複數個樣本點(如「圖4」所示)，所取得的樣本點係用於進一步分析使用者所欲輸入的眼部動作指令。

以下係舉部分主要的眼部動作指令進行說明，使用者例如可透過眼部動作指令輸入翻頁的動作指令至該電子裝置10，使該電子裝置10翻轉使用者介面視窗W上的畫面以達到翻頁的效果。請一併參閱「圖4」，係揭示使用者操作右側捲動時的一連串的樣本點，於系統預設中，係設定中間位置為眼部軌跡指令的起始點及結束點，於圖式中，起始位置係顯示為○，結束位置係顯示為×，所偵測到的座標順序係依序呈點狀排列。該眼動指令分析模組28於偵測到該使用者的注視方向係由左(即中間位置)至右(右側位置)快速移動時，係傳遞左側翻頁的眼部動作指令至該電子裝置10的指令轉換模組18，此時指令轉換模組18於收到該左側翻頁的眼部動作指令時，係透過查找表呼叫對應的動作指令，使該處理單元12執行一由左側向右側翻頁的事件。

於向右側翻頁的部分，請一併參閱「圖5」，係揭示使用者操作右側翻頁時的一連串的樣本點，於系統預設中，於圖式中，起始位置係顯示為○，結束位置係顯示為×，所偵測到的座標順序係依序呈點狀排列。該眼動指令分析模組28於偵測到該使用者的注視方向係由右(即中間位置)至左(左側位置)快速移動時，係傳遞右側翻頁的眼部動作指令至該電子裝置10的指令轉換模組18，此時指令轉換模組18於收到該右側翻頁係透過查找表找到對應的動作指令，使該處理單元12執行一由右側向左側翻頁的事件。

於翻頁指令輸入完成時，所述的電子裝置10係進入短時間的不反應期(例如一秒)，這是在於避免使用者透過眼部動作翻頁後，於眼睛回到中間位置時，被判定為翻頁指令。

於另一較佳實施態樣，使用者可透過眼部動作指令輸入捲動頁面的動作指令至該電子裝置10，使該使用者介面W上的頁面朝使用者注視的方向捲動。具體而言，所述的眼動指令分析模組28係偵測該使用者的眼部動作，於偵測到使用者的觸發動作時設定一基準點(所述的觸發動作可為眨眼、閉眼、畫圈或其他預定義的眼部動作)，並持續記錄該注視方向相對該基準座標的X軸移動距離及Y軸移動距離。當該X軸移動距離或該Y軸移動距離大於閾值時，該眼動指令分析模組28係傳遞包含有對應於該眼部移動方向(即X軸或Y軸的正負值)及移動距離的眼部動作指令至該指令轉換模組18，該指令轉換模組18係將該指令傳送至處理單元12，以利該處理單元12執行對應於該眼部移動方向捲動的動作指令。其中，所取得的眼部移動方向將作為判定捲動方向的參考值，所取得的移動距離將作為判定捲動速度的參考值。

請一併參閱「圖6」，使用者可透過注視使用者介面視窗W，藉以操作該使用者介面視窗W上的游標W1。所述的眼動指令分析模組28依據所擷取到的眼部影像，分析該使用者的注視方向，並於該使用者介面視窗W上形成可依據該注視方向移動的游標W1。於該使用者的注視方向停留於該使用者介面視窗W上時，該眼動指令分析模組28係記錄該注視方向所對應於該電子裝置10的顯示屏幕11上的座標位置，並於該注視方向大致停留於同一圖形化介面超過所設定的閾值時間時，係將觸發指令經由無線網路傳送至該指令轉換模組18，該指令轉換模組18係將該觸發指令轉換為輕觸啟動的動作指令，啟動對應於該座標位置上的圖形化界面所對應的軟體程式或指令。

如「圖6」所示，於一較佳實施例中，映射模組27於接收到該影像資料時，可將該輸出單元21上所對應的圖形化介面劃定範圍並物件化(所劃定的範圍可由電子裝置10的圖形處理單元13取得)，當使用者的注視方向停留在其中一圖形化界面所劃定的範圍內時，游標W1將轉換為計時器W2，並標示出啟動圖形化界面所需的時間。如圖式內容，該計時器W2包含有百分比數字、以及計時條，當使用者的注視方向停留在圖形化界面時，游標W1即轉換為計時器W2，此時百分比數字及計時條將顯示剩餘的時間，於百分比數字達到100%時，此時計時條亦顯示為滿格，該眼動指令分析模組28係將觸發指令經由無線網路傳送至該指令轉換模組18，以啟動該圖形化界面所對應的軟體程式或指令。

請一併參閱「圖7」，係揭示另一較佳的實施例，所述的使用者介面視窗W可設置有複數個操作區域，使用者可注視對應於每一操作區域上的圖形化界面，以產生對應於該操作區域的眼部動作指令。例如當使用者將游標W1(注視方向)停留在右側方向的箭頭圖形W3時，所述的眼動指令分析模組28將傳遞右側翻頁的眼部動作指令至該電子裝置10的指令轉換模組18；當使用者將游標W1(注視方向)停留在左側方向的箭頭圖形W4時，所述的眼動指令分析模組28將傳遞右側翻頁的眼部動作指令至該電子裝置10的指令轉換模組18；當使用者將游標W1(注視方向)停留在上側方向的箭頭圖形W5時，所述的眼動指令分析模組28將傳遞上側翻頁的眼部動作指令至該電子裝置10的指令轉換模組18；當使用者將游標W1(注視方向)停留在下側方向的箭頭圖形W6時，所述的眼動指令分析模組28將傳遞下側翻頁的眼部動作指令至該電子裝置10的指令轉換模組18；所述的指令轉換模組18於接收到上述的眼部動作指令後，可透過查找表或物件導向的方式找到對應的動作指令，並將該動作指令傳送至該處理單元12，以啟動對應的一或複數個程序。

以下係配合圖式針對本發明的使用者介面同步方法進行詳細的說明，請一併參閱「圖8」，係本發明使用者介面同步方法的流程示意圖，如圖所示：本發明的使用者介面同步方法，係應用於電子裝置10及穿戴式裝置20上，可藉由將電子裝置10上的畫面轉移至穿戴式裝置20上，以藉由該穿戴式裝置20的眼控功能無線操作該電子裝置10的使用者介面。有關於介面同步的具體流程如下：起始時，先將電子裝置10與穿戴式裝置20進行配對，所述的配對可透過加密、建立金鑰或其他可相互驗證的方式執行，以利該電子裝置10與穿戴式裝置20間建立連線。(步驟S201)

於配對完成時，係存取該電子裝置10的影像資料(例如顯示屏幕11上的影像)，並將該電子裝置10的影像資料經由無線網路傳送至該穿戴式裝置20。(步驟S202)

該穿戴式裝置20於接收到該影像資料後，將影像資料顯示於該穿戴式裝置20的輸出單元21上，以供使用者注視操作。所述的穿戴式裝置20係依據該電子裝置10的顯示屏幕11的長寬依等比例放大或縮小建立一顯示該影像資料的使用者介面視窗W。(步驟S203)

該穿戴式裝置20係依據所擷取到的眼部影像，分析該使用者的注視方向，並於該使用者介面視窗W上形成可依據該注視方向移動的游標W1。(步驟S204)

分析該穿戴式裝置20所擷取到的眼部動作指令，並將該眼部動作指令經由無線網路傳送至該電子裝置10。該電子裝置10於接收到該眼部動作指令時對該眼部動作指令進行轉換，以將該眼部動作指令輸出為可供該電子裝置10執行的動作指令。(步驟S205)

以下係針對步驟S205的步驟舉三種不同實施方式進行說明，可理解的，以下三種實施方式皆可於步驟S205中同時進行：

第一種實施方式，以下請一併參閱「圖9」的內容。首先，先取得每一圖形化介面於顯示屏幕陣列上所對應的範圍，該範圍可由該電子裝置10的圖形處理單元13中取得，每一圖形化介面的範圍係分別包含有對應至該圖形化介面的一或複數個程序。(步驟S2051A)該使用者的注視方向停留於該使用者介面視窗上時，係記錄該注視方向所對應於該電子裝置10的顯示屏幕11上的座標位置，以確認使用者的注視方向(步驟S2052A)。使用者的注視方向停留在其中一圖形化介面上時，係啟動一計時器記錄使用者注視方向的停留時間，並判斷該注視方向是否超過所設定的閾值時間，例如1~2秒(步驟S2053A)，當使用者的注視方向停留於同一圖形化介面上超過所設定的閾值時間時(眼部動作指令)，係將觸發指令經由無線網路傳送至該電子裝置10以啟動該圖形化介面所對應的一或複數個程序(動作指令)。(步驟S2054A)。反之，若該注視方向若離開該圖形化介面的範圍內，則回到步驟S2052A，繼續偵測使用者的注視方向。

第二種實施方式，以下請一併參閱「圖10」的內容。首先，係啟動一決策程序，於決策程序中係持續偵測使用者的注視方向(步驟S2051B)，當偵測該使用者的注視方向係由左至右快速移動時，係傳遞左側翻頁的眼部動作指令至該電子裝置10，以利該電子裝置10執行一由左側向右側翻頁的動作指令(步驟S2052B)。當偵測到該使用者的注視方向係由右至左快速移動時，係傳遞右側翻頁的眼部動作指令至該電子裝置10，以利該電子裝置10執行一由右側向左側翻頁的動作指令。(步驟S2053B)

第三種實施方式，以下請一併參閱「圖11」的內容。首先，該穿戴式裝置20係偵測使用者是否行為一觸發動作(步驟 S2051C)。於偵測到該使用者的觸發動作時設定一基準座標，持續偵測該使用者的注視方向，並記錄該注視方向相對該基準座標的X軸移動距離及Y軸移動距離(步驟S2052C)。接續，判斷該X軸移動距離或該Y軸移動距離是否大於閾值(步驟S2053C)，若是，進入下一步驟，若否，回到步驟S2052C。當該X軸移動距離或該Y軸移動距離大於閾值時，係判斷該眼部移動方向(步驟S2054C)。將包含有該眼部移動方向及移動距離的眼部動作指令傳送至該電子裝置10，以利該電子裝置10執行對應於該眼部移動方向捲動的動作指令(步驟S2055C)。於上述的步驟中，若使用者的注視方向的距離回到小於該閾值的狀態時，則復歸至步驟2051C前的程序，持續偵測使用者是否產生一觸發動作。

本發明中所述之方法步驟亦可作為一種電腦可讀取記錄媒體實施，用以儲存於光碟片、硬碟、半導體記憶裝置等電腦可讀取記錄媒體，並藉由該電腦可讀取記錄媒體載置於電子裝置上為該電子裝置或電子設備所存取使用。

本發明所述之方法步驟亦可作為一種電腦程式產品實施，用以儲存於網路伺服器的硬碟、記憶裝置，例如app store、google play、windows市集、或其他類似之應用程式線上發行平台，可藉由將電腦程式產品上傳至伺服器後供使用者付費下載的方式實施。

綜上所述，本發明的使用者介面同步系統可將電子裝置的影像資料傳送至穿戴式裝置的輸出單元上，以利於透過追蹤使用者的眼部動作操作電子裝置。本發明的前鏡頭與使用者眼部間可維持於固定的間距，較容易偵測使用者的眼部動作。

以上已將本發明做一詳細說明，惟以上所述者，僅為本發明之一較佳實施例而已，當不能以此限定本發明實施之範圍，即凡依本發明申請專利範圍所作之均等變化與修飾，皆應仍屬本發明之專利涵蓋範圍內。