TW201539251A - 電子裝置及其操作方法 - Google Patents

電子裝置及其操作方法 Download PDF

Info

Publication number
TW201539251A
TW201539251A TW103113043A TW103113043A TW201539251A TW 201539251 A TW201539251 A TW 201539251A TW 103113043 A TW103113043 A TW 103113043A TW 103113043 A TW103113043 A TW 103113043A TW 201539251 A TW201539251 A TW 201539251A
Authority
TW
Taiwan
Prior art keywords
eye movement
module
user
interface
electronic device
Prior art date
Application number
TW103113043A
Other languages
English (en)
Inventor
Chia-Chun Tsou
Po-Tsung Lin
Original Assignee
Utechzone Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Utechzone Co Ltd filed Critical Utechzone Co Ltd
Priority to TW103113043A priority Critical patent/TW201539251A/zh
Priority to JP2014213572A priority patent/JP6092173B2/ja
Publication of TW201539251A publication Critical patent/TW201539251A/zh

Links

Landscapes

  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Eye Examination Apparatus (AREA)
  • Input From Keyboards Or The Like (AREA)

Abstract

一種電子裝置及其操作方法。在掃描模式下,使得圖形化介面的多個操作區塊逐一為醒目顯示。當接收到觸發訊號時,顯示選定區塊對應的群組介面至顯示單元,其中選定區塊是在接收到觸發訊號時上述操作區塊中為醒目顯示的區塊。並且,透過眼動偵測模組偵測使用者的眼動狀態,而基於眼動狀態,在該群組介面中的多個功能選項中擇一進行運作。

Description

電子裝置及其操作方法
本發明是有關於一種電子裝置及其操作方法,且特別是有關於一種結合眼動追蹤(eye tracking)技術的電子裝置及其操作方法。
目前眼動追蹤技術主要可區分為與侵入性(invasive)與非侵入性(non-invasive)兩種。侵入性的眼動追蹤技術主要是在眼睛中設置搜尋線圈法(search Coil)或使用眼動電波圖(electrooculogram)。而非侵入性的眼動追蹤技術則可區分為免頭戴式(free-head)或頭戴式(head-mount)人眼追蹤技術。而隨著科技的發展,眼動追蹤技術大幅應用於各種領域,例如神經科學、心理學、工業工程、人因工程、行銷廣告、電腦科學等。
藉由眼動追蹤技術來協助口說不便與肢體困難者進行溝通及輔助所需,帶給了許多行動不便者更多的便利。例如,患有肌萎縮性側索硬化症(Amyotrophic Lateral Sclerosis,ALS)、肌 肉萎縮症(Muscular Dystrophy,MD)、腦性麻痺(Cerebral palsy,CP)、多發性硬化症(Multiple Sclerosis,MS)、腦幹中風(cerebrovascular accident,CVA)、脊髓損傷(spinal cord injury,SCI)等行動不便者等,藉由眼動電子產品的輔助,而能夠以眼睛代替滑鼠來完成溝通、上網和影音娛樂活動等。
然而,由於上述侵入性(invasive)與非侵入性(non-invasive)兩種眼動追蹤技術還需搭配昂貴的軟硬體設備,並且需要複雜校正的程序,因此執行狀態的穩定度不佳,成本亦相對高,使得眼動追蹤技術無法普及化。
本發明提供一種電子裝置及其操作方法,可在基於眼動追蹤技術下針對圖形化介面而能夠進行簡便且快速的操作。
本發明的電子裝置的操作方法,包括:顯示圖形化介面至顯示單元,圖形化介面包括多個操作區塊;在掃描模式下,基於掃描順序使得上述操作區塊逐一為醒目顯示,並在上述操作區塊其中之一為醒目顯示時取消其先前操作區塊的醒目顯示;在掃描模式下接收到觸發訊號時,顯示選定區塊對應的群組介面至顯示單元,其中選定區塊是在接收到觸發訊號時上述操作區塊中為醒目顯示的區塊;透過眼動偵測模組偵測使用者的眼動狀態;以及基於眼動狀態,在該群組介面中的多個功能選項中擇一進行運作。
在本發明的一實施例中,上述操作方法更包括:在掃描模式下接收到觸發訊號時,驅動眼動偵測模組進行運作。
在本發明的一實施例中,上述透過眼動偵測模組偵測使用者的眼動狀態的步驟包括:藉由取像單元來擷取使用者的影像序列,使得眼動偵測模組藉由分析影像序列來追蹤使用者的眼動狀態。
在本發明的一實施例中,上述藉由分析該影像序列來追蹤使用者的眼動狀態的步驟包括:偵測影像序列中的使用者的瞳孔位置以及亮點位置,其中亮點位置是透過發光單元發射光束照射使用者的眼睛所形成的反光點;以及依據瞳孔位置與亮點位置兩者的位置對應關係,判斷目前眼動狀態的視線落點。
在本發明的一實施例中,上述在透過眼動偵測模組偵測使用者的眼動狀態的步驟之前,還可引導使用者觀看顯示單元中的指定位置,藉以校正眼動偵測模組的基準資訊。
在本發明的一實施例中,上述在掃描模式下更包括:透過眼動偵測模組偵測使用者的眼動狀態;以及基於眼動狀態來判斷是否接收到觸發訊號。
在本發明的一實施例中,上述觸發訊號由輸入單元所產生。
在本發明的一實施例中,上述圖形化介面所顯示的操作區塊的數量大於群組介面所顯示的功能選項的數量,並且,群組介面顯示於圖形化介面的上層,以及群組介面與圖形化介面兩者 的尺寸相同,或者群組介面的尺寸小於圖形化介面的尺寸。
本發明的電子裝置包括取像單元、顯示單元以及處理單元。取像單元以面向於電子裝置的使用者的方式而配置。顯示單元用以顯示圖形化介面,其中上述圖形化介面包括多個操作區塊。處理單元耦接至顯示單元與取像單元,並且執行多個模組。上述模組包括掃描模組、介面切換模組及眼動偵測模組。掃描模組用以在掃描模式下,基於掃描順序使得上述操作區塊逐一為醒目顯示,並在上述操作區塊其中之一為醒目顯示時取消其先前操作區塊的醒目顯示。介面切換模組用以在掃描模式下接收到觸發訊號時,顯示選定區塊對應的群組介面至顯示單元,其中選定區塊是在接收到觸發訊號時上述操作區塊中為醒目顯示的區塊。眼動偵測模組用以驅動取像單元來擷取使用者的影像序列,藉由分析影像序列來偵測使用者的眼動狀態,並基於眼動狀態,在群組介面中的多個功能選項中擇一進行運作。
基於上述,本發明結合了掃描技術及眼動技術,先於掃描模式下執行大範圍的群組選擇,再利用眼動技術,執行進一步的功能選項的選定。在掃描模式與眼動追蹤技術之間,取得了技術上以及成本上的優秀平衡,使得在基於眼動追蹤技術下,無須搭配昂貴硬體亦能夠針對圖形化介面來進行簡便且快速的操作。
為讓本發明的上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
100、500‧‧‧電子裝置
110‧‧‧取像單元
120‧‧‧顯示單元
130‧‧‧處理單元
140‧‧‧儲存單元
141‧‧‧掃描模組
143‧‧‧介面切換模組
145‧‧‧眼動偵測模組
300‧‧‧圖形化介面
410、420‧‧‧群組介面
510‧‧‧嵌入式控制單元
520‧‧‧輸入單元
530‧‧‧引導校正模組
700‧‧‧範圍
C1‧‧‧瞳孔中心
C2‧‧‧反光點
A1~A6、B1~B6、C1~C6、D1~D6‧‧‧操作區塊
F1~F9‧‧‧功能選項
θ‧‧‧參考角度
L‧‧‧參考距離
V‧‧‧向量
S205~S225‧‧‧電子裝置的操作方法各步驟
圖1是依照本發明一實施例的電子裝置的方塊圖。
圖2A及圖2B是依照本發明一實施例的電子裝置的操作方法的流程圖。
圖3A~圖3D是依照本發明一實施例的基於掃描順序使得圖形化介面中的操作區塊逐一為醒目顯示的部分流程的示意圖。
圖4A~圖4C是依照本發明一實施例的群組介面的示意圖。
圖5是依照本發明一實施例的另一電子裝置的方塊圖。
圖6A及圖6B是依照本發明一實施例的瞳孔位置與亮點位置兩者的位置對應關係的示意圖。
圖7A及圖7B是依照本發明一實施例的瞳孔中心與反光點兩者的距離資訊與角度資訊的示意圖。
圖1是依照本發明一實施例的電子裝置的方塊圖。請參照圖1,電子裝置100包括取像單元110、顯示單元120、處理單元130以及儲存單元140。取像單元110以面向於電子裝置100的使用者的方式而配置,以便於擷取使用者的影像序列。例如,取像單元110可設置在顯示單元120的上方等,且取像單元110可以是內建或外接於顯示單元120。取像單元110例如是任何具有電荷耦合元件(Charge coupled device,CCD)鏡頭、互補式金氧半 電晶體(Complementary metal oxide semiconductor transistors,CMOS)鏡頭、或紅外線鏡頭的攝影機/照相機。
顯示單元120用以顯示圖形化介面,以便於使用者觀看顯示單元120的畫面來進行操作。顯示單元120可以是任一類型的顯示器,例如為液晶顯示器(Liquid Crystal Display,LCD)、發光二極管(Light Emitting Diode,LED)顯示器或軟性顯示器。在此,圖形化介面包括有多個操作區塊,且每一個操作區塊為多個功能選項的集合,且各個操作區塊具有對應的群組介面。
處理單元130例如為中央處理單元(Central Processing Unit,CPU)、圖形處理單元(Graphics Processing Unit,GPU),或是其他可程式化之微處理器(Microprocessor)等裝置,其耦接至取像單元110、顯示單元120以及儲存單元140。
儲存單元140例如是任意型式的固定式或可移動式隨機存取記憶體(Random Access Memory,RAM)、唯讀記憶體(Read-Only Memory,ROM)、快閃記憶體(Flash memory)、硬碟或其他類似裝置或這些裝置的組合。在本實施例中,儲存單元140用以記錄可由處理單元130執行的多個模組,這些模組包括掃描(scan)模組141、介面切換模組143以及眼動偵測模組145。而在其他實施例中,掃描模組141、介面切換模組143以及眼動偵測模組145也可以是由一個或多個數位邏輯閘組成的晶片。
另外,儲存單元140還儲存了圖形化介面資料以及多個群組介面資料。圖形化介面資料定義了圖形化介面的尺寸、所顯 示的多個操作區塊各自的尺寸以及各個操作區塊對應至哪一個群組介面資料。即,一個操作區塊對應至一個群組介面資料。倘若設定為N個操作區塊,則會對應地設定N個群組介面資料。另外,每一個群組介面資料中則定義了對應的群組介面的尺寸、所顯示的功能選項的尺寸以及各個功能選項對應的功能。
掃描模組141用以在掃描模式下,基於掃描順序使得圖形化介面上的操作區塊在每隔一預設時間而逐一成為醒目顯示,並在其中一個操作區塊為醒目顯示時取消其先前操作區塊的醒目顯示。上述掃描順序例如為由左至右、再由上至下,然在此並不限制。介面切換模組143用以在電子裝置100於掃描模式下接收到觸發訊號時,以在接收到觸發訊號時上述操作區塊中為醒目顯示的區塊作為選定區塊,而顯示選定區塊對應的群組介面至顯示單元120。眼動偵測模組145用以驅動取像單元110來擷取使用者的影像序列,藉由分析影像序列來偵測使用者的眼動狀態,並基於眼動狀態,在群組介面中的多個功能選項中擇一進行運作。
底下搭配上述電子裝置100來說明其操作方法各步驟。圖2A及圖2B是依照本發明一實施例的電子裝置的操作方法的流程圖。請同時參照圖1及圖2A,首先,在步驟S205中,處理單元130顯示圖形化介面至顯示單元120,而上述圖形化介面包括多個操作區塊。例如,處理單元130自儲存單元140中讀取圖形化介面資料,依據圖形化介面資料的定義來顯示圖形化介面。在此,圖形化介面例如為佔滿顯示單元120的整個畫面,而畫面以4×3、 6×4、5×5等方式切割為12、24或25個操作區塊等。然,上述操作區塊僅為舉例說明,並不以此為限。
在顯示圖形化介面之後,處理單元130啟動掃描模組141。如步驟S210所示,掃描模組141在掃描模式下,基於掃描順序使得圖形化介面的操作區塊逐一為醒目顯示。例如,將作為目標的操作區塊以不同於其他操作區塊的顏色呈現,或者使作為目標的操作區塊呈現立體效果、陰影效果、或浮起效果等。並且,掃描模組141在使其中一個操作區塊為醒目顯示時,會取消其先前操作區塊的醒目顯示。
舉例來說,圖3A~圖3D是依照本發明一實施例的基於掃描順序使得圖形化介面中的操作區塊逐一為醒目顯示的部分流程的示意圖。在本實施例中,圖形化介面300包括24個操作區塊A1~A6、B1~B6、C1~C6、D1~D6,掃描順序為先由左往右,再由上往下。首先,如圖3A所示,掃描模組141使得操作區塊A1為醒目顯示。在此,醒目顯示是使得作為目標的操作區塊的外框為粗黑框顯示。然,在其他實施例中亦可使得作為目標的操作區塊為立體顯示狀態,在此並不限制。
在經過一預設時間之後,如圖3B所示,掃描模組141使得操作區塊A1右方的操作區塊A2為醒目顯示,並且取消操作區塊A1的醒目顯示。再經過上述預設時間之後,如圖3C所示,掃描模組141使得操作區塊A3為醒目顯示,並且取消操作區塊A2的醒目顯示。再經過上述預設時間之後,如圖3D所示,掃描模組 141使得操作區塊A4為醒目顯示,並且取消操作區塊A3的醒目顯示。以此類推,使得操作區塊A1~A6逐一為醒目顯示之後,掃描模組141使得下一列的操作區塊B1~B6逐一為醒目顯示,接著再使得下一列的操作區塊C1~C6逐一為醒目顯示,最後則使得最下方的操作區塊D1~D6逐一為醒目顯示。上述流程即為掃描模式下之圖形化介面300的顯示方式。另外,上述預設時間例如為0.5秒或1秒等,可由使用者自行設定預設時間的長短。
接著,返回圖2A,在步驟S215中,在處理單元130於掃描模式下接收到觸發訊號時,透過介面切換模組143顯示選定區塊對應的群組介面至顯示單元120。上述選定區塊所指為在接收到觸發訊號時這些操作區塊中為醒目顯示的區塊。也就是說,每一個操作區塊皆有其對應的群組介面,並且每一個群組介面中包括了多個功能選項。
具體而言,請參照圖2B,步驟S215可進一步細分為步驟S231~S233。在步驟S231中,處理單元130判斷是否在掃描模式下接收到觸發訊號。在此,觸發訊號可由滑鼠、鍵盤或按鈕等輸入單元所產生。或者,透過眼動偵測模組145偵測使用者的該眼動狀態並基於眼動狀態來判斷是否接收到觸發訊號。若未接收到觸發訊號,則維持在掃描模式下,使得各操作區塊逐一為醒目顯示,並持續地偵測是否接收到觸發訊號。
若接收到觸發訊號,如步驟S232,介面切換模組143以接收到觸發訊號時為醒目顯示的操作區塊作為選定區塊。接著, 在步驟S233中,介面切換模組143顯示選定區塊對應的群組介面。
以圖3D的操作區塊A4作為選定區塊為例,即,在掃描模式下,若於操作區塊A4為醒目顯示時接收到觸發訊號,則以操作區塊A4作為選定區塊,並且,將操作區塊A4對應的群組介面顯示至顯示單元120中。在此,圖形化介面所顯示的操作區塊的數量大於群組介面所顯示的功能選項的數量。並且,群組介面會顯示於圖形化介面的上層;另外,群組介面與圖形化介面兩者的尺寸可以是相同,或者群組介面的尺寸小於圖形化介面的尺寸。
例如,介面切換模組143會自儲存單元140中讀取操作區塊A4對應的群組介面資料,藉以獲得群組介面的尺寸、所顯示的功能選項的尺寸以及每一個功能選項對應的功能,進而顯示群組介面。底下舉3個例子來說明群組介面的顯示,然並不以此為限。
圖4A~圖4C是依照本發明一實施例的群組介面的示意圖。圖4A的群組介面410為垂直展開並位於圖形化介面300的上層,且其尺寸小於圖形化介面300。群組介面410包括功能選項F1~功能選項F3。圖4B的群組介面420為橫向展開並位於圖形化介面300的上層。群組介面420包括功能選項F1~功能選項F3,且其尺寸小於圖形化介面300。在顯示如圖4A及圖4B所示的群組介面410、420時,使用者亦可觀看到底層的圖形畫介面300中未被遮敝的操作區塊。在此,功能選項F1~功能選項F3被聚集成一個群組,並對應至操作區塊A4。當在掃描模式中選擇了操作區 塊A4,則會顯示其對應群組下的功能選項F1~F3。
圖4C所示的群組介面430以全螢幕的方式展開,即其尺寸與圖形化介面300的尺寸大致相同(在其他實施例中亦可以為完全相同),且群組介面430位於圖形化介面300的上層。由於群組介面430為全螢幕展開,故其可顯示的功能選項的數量會多於圖4A及圖4B所示的群組介面410、420所能顯示的數量。在此,群組介面430包括功能選項F1~功能選項F9。
返回圖2A,在開啟群組介面之後,在步驟S220中,透過眼動偵測模組145偵測使用者的眼動狀態。具體而言,在接收到觸發訊號時,驅動眼動偵測模組145進行運作。即,藉由取像單元110來擷取使用者的影像序列,使得眼動偵測模組145藉由分析影像序列來追蹤使用者的眼動狀態。舉例來說,參照圖2B所示的步驟S241及步驟S242,在步驟S241中,眼動偵測模組145偵測影像序列中的使用者的瞳孔位置以及亮點位置。上述亮點位置是透過發光單元發射光束照射使用者的眼睛所形成的反光點。接著,在步驟S242中,眼動偵測模組145依據瞳孔位置與亮點位置兩者的位置對應關係,判斷目前眼動狀態的視線落點,藉由視線落點來判斷使用者欲選擇的功能選項為何。然,上述視線落點之判斷僅為其中一種實施方式,亦可以眼白與眼球之間的比例來判斷瞳孔的位移,進而獲得視線落點,在此並不限制。
最後,在步驟S225中,基於眼動狀態,處理單元130在群組介面中的多個功能選項中擇一進行運作。例如,以圖4A的群 組介面410為例,當眼動偵測模組145偵測到使用者的視線落點位於功能選項F1時,則處理單元130會去執行功能選項F1對應的功能。
另外,眼動偵測模組145的執行時間點可以是在掃描模式下接收到觸發訊號時,處理單元130才驅動眼動偵測模組145進行運作。也就是說,在掃描模式下,眼動偵測模組145並不會去偵測使用者的眼動狀態。另外,上述觸發訊號例如是由滑鼠、鍵盤或按鈕等輸入單元所產生,而處理單元130可透過嵌入式控制單元來判斷是否自輸入單元接收到觸發訊號。
例如,圖5是依照本發明一實施例的另一電子裝置的方塊圖。在本實施例中,將與前述圖1的電子裝置100具有相同功能的構件標示相同的符號,並省略相關說明。電子裝置500還包括嵌入式控制單元510及輸入單元520。
嵌入式控制單元510耦接至處理單元130及輸入單元520。處理單元130透過嵌入式控制單元510判斷是否自輸入單元520接收到觸發訊號,並且在接收到觸發訊號時傳送一訊息至掃描模組141及介面切換模組143,使得掃描模組141暫停掃描程序,而由介面切換模組143顯示選定區塊對應的群組介面至顯示單元120。
另外,處理單元130也可以在掃描模式下便驅動眼動偵測模組145來偵測使用者的眼動狀態,以在掃描模式下,基於眼動偵測模組145的偵測結果來判斷是否接收到觸發訊號。並且, 處理單元130在基於眼動狀態而判定接收到觸發訊號時,傳送一訊息至掃描模組141及介面切換模組143,使得掃描模組141暫停掃描程序,而由介面切換模組143顯示選定區塊對應的群組介面至顯示單元120。例如,處理單元130在眼動偵測模組145所偵測到的眼動狀態為眨眼時,判定接收到觸發訊號。然,在此並不限制掃描模式下的觸發訊號是由輸入單元520產生或是基於使用者的眼動狀態而產生,亦可以是由聲控來產生。
底下再舉例來說明偵測眼動狀態的實施方法。
在此,藉由取像單元110來擷取使用者的影像序列,使得眼動偵測模組145藉由分析影像序列來追蹤使用者的眼動狀態。例如,眼動偵測模組145偵測影像序列中的使用者的瞳孔位置以及亮點位置,並且依據瞳孔位置與亮點位置兩者的位置對應關係,判斷目前眼動狀態的視線落點。上述亮點位置是透過發光單元發射光束照射使用者的眼睛所形成的反光點。
具體而言,由取像單元110拍攝眼部影像,並且取像單元110內建有發光單元,以發射光束至使用者的眼睛,而使得所拍攝到的影像中產生反光點。據此,眼動偵測模組145可單純利用光束照射至眼睛產生之反光點的亮點位置以及瞳孔位置兩者的位置對應關係來判斷視線落點。
例如,使用者的眼球直視前方時,眼部影像中瞳孔位置與亮點位置大致是位於一垂直線上,即,在瞳孔位置與亮點位置之間的水平相距距離在一誤差範圍內。因此,在瞳孔位置與亮點 位置之間的水平相距距離超過上述誤差範圍,且瞳孔位置位於亮點位置的左側時,表示使用者的眼球往左方移動;以及,在瞳孔位置與亮點位置之間的水平相距距離超過上述誤差範圍,且瞳孔位置位於亮點位置的右側時,表示使用者的眼球往右方移動。之後,再依據瞳孔位置與亮點位置的垂直相距距離來判斷眼球是往上或往下移動。
舉例來說,圖6A及圖6B是依照本發明一實施例的瞳孔位置與亮點位置兩者的位置對應關係的示意圖。本實施例的圖6A及圖6B所示的群組介面是以全螢幕顯示為例。然,在群組介面的尺寸小於全螢幕的情況下亦適用於下述實施方式。圖6A是將畫面以2×2方式劃分為4個功能選項,圖6B則是將畫面以3×3方式劃分為9個功能選項。在本實施例中各功能選項上所繪示的瞳孔位置位與亮點位置僅是為了便於說明,並不代表在顯示畫面中會顯示上述位置。
如圖6A及圖6B所示,當眼球往左方移動,則瞳孔位置會位於亮點位置的左方;當眼球往右方移動,則瞳孔位置會位於亮點位置的右方。另外,當眼球越往上方移動,則瞳孔位置與亮點位置在垂直上的距離會越大;當眼球越往下方移動,則瞳孔位置與亮點位置在垂直上的距離會越小。根據上述定義,在自使用者的眼部影像找出瞳孔位置與亮點位置之後,便可得知使用者的視線落點為哪一個操作區塊。
另外,在本實施例中,處理單元130所執行的多個模組 還包括引導校正模組530。在眼動偵測模組145偵測使用者的眼動狀態之前,還可以透過引導校正模組530進一步引導使用者觀看顯示單元120中的指定位置,藉以校正眼動偵測模組145的基準資訊。例如,引導校正模組530引導使用者觀看顯示單元120的中央位置,以獲得在顯示單元120的中央位置所對應的亮點位置以及瞳孔位置作為後續比對的基準資訊。
除了上述方式之外,眼動偵測模組145亦可透過將瞳孔位置與亮點位置換算為對應至顯示單元120的座標,藉此可更準確地來識別視線落點。具體而言,每次在顯示單元120顯示一個操作區域供使用者觀看,然後計算瞳孔中心與亮點兩者的參考距離與參考角度,之後再顯示另一操作區域供使用者觀看,直到預定數量的操作區域都顯示完畢。據此可獲得各操作區域與上述參考距離及上述參考角度之間的關係。
瞳孔中心與反光點兩者的參考距離與參考角度的定義如下。圖7A及圖7B是依照本發明一實施例的瞳孔中心與反光點兩者的距離資訊與角度資訊的示意圖。圖7A所示為眼部影像,圖7B所示為圖7A的範圍700的放大圖。在圖7B中,以瞳孔中心C1來定義出y軸(垂直軸)以及x軸(水平軸),計算瞳孔中心C1與反光點C2兩者在y軸上的參考距離L,並且計算反光點C2相對於瞳孔中心C1的向量V與y軸之間的參考角度θ。
藉由事先由使用者觀看各操作區域來獲得多組瞳孔中心與反光點兩者的參考距離L及參考角度θ,並且將上述參考距離L 及參考角度θ與顯示單元120上的多個操作區域建立起一正規化分佈圖。而後,當眼動偵測模組145偵測使用者的眼動狀態時,在獲得瞳孔中心與反光點兩者的參考距離L及參考角度θ後,對應上述正規化分佈圖可得到一座標點,再將該座標點以內插法換算對應於顯示單元120的位置座標。據此,可更精準地得知使用者的視線落點所在。
綜上所述,在上述實施例中,先啟動一掃描模式,讓使用者進行初步的選擇(第一階段)。當使用者選定一個操作區塊(例如為一個圖示)後,執行眼動偵測模式(第二階段),以顯示第一階段所選定的操作區塊所附屬的功能選項(例如為圖示表示),並啟動眼動偵測模組來提供使用者以眼動的方式來進行更細部的選定。由於第一階段為掃描模式,因此可顯示數量較多的操作區塊(例如為16個以上,或24個以上);而為了提高眼動偵測的準確度,可在第二階段中縮減所顯示的功能選項的數量,例如僅顯示為3~9個功能選項。藉由上述兩個階段的選定,可以減少畫面中每一次所呈現的供使用者進行選擇的項目(操作區塊、功能項目)。並且,由於眼動偵測模式下所提供的項目減少,因此校正程序亦能被簡化,甚至可以省略到一個點的校正即可,改善了傳統眼動式輔具需要複雜校正的程序。此外,亦無須在人體佩帶額外裝備,使用者無須花費昂貴的費用,即可獲得定位功能準確的功效。
雖然本發明已以實施例揭露如上,然其並非用以限定本 發明,任何所屬技術領域中具有通常知識者,在不脫離本發明的精神和範圍內,當可作些許的更動與潤飾,故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
S205~S225‧‧‧電子裝置的操作方法各步驟

Claims (15)

  1. 一種電子裝置的操作方法,包括:顯示一圖形化介面至一顯示單元,該圖形化介面包括多個操作區塊;在一掃描模式下,基於一掃描順序使得該些操作區塊逐一為醒目顯示,並在該些操作區塊其中之一為醒目顯示時取消其先前操作區塊的醒目顯示;在該掃描模式下接收到一觸發訊號時,顯示一選定區塊對應的一群組介面至該顯示單元,其中該選定區塊是在接收到該觸發訊號時該些操作區塊中為醒目顯示的區塊;透過一眼動偵測模組偵測一使用者的眼動狀態;以及基於該眼動狀態,在該群組介面中的多個功能選項中擇一進行運作。
  2. 如申請專利範圍第1項所述的電子裝置的操作方法,更包括:在該掃描模式下接收到該觸發訊號時,驅動該眼動偵測模組進行運作。
  3. 如申請專利範圍第1項所述的電子裝置的操作方法,其中透過該眼動偵測模組偵測該使用者的該眼動狀態的步驟包括:藉由一取像單元來擷取該使用者的一影像序列,使得該眼動偵測模組藉由分析該影像序列來追蹤該使用者的該眼動狀態。
  4. 如申請專利範圍第3項所述的電子裝置的操作方法,其中 藉由分析該影像序列來追蹤該使用者的該眼動狀態的步驟包括:偵測該影像序列中的該使用者的一瞳孔位置以及一亮點位置,其中該亮點位置是透過一發光單元發射光束照射該使用者的眼睛所形成的反光點;以及依據該瞳孔位置與該亮點位置兩者的位置對應關係,判斷目前該眼動狀態的一視線落點。
  5. 如申請專利範圍第1項所述的電子裝置的操作方法,其中在透過該眼動偵測模組偵測該使用者的該眼動狀態的步驟之前,更包括:引導該使用者觀看該顯示單元中的一指定位置,藉以校正該眼動偵測模組的一基準資訊。
  6. 如申請專利範圍第1項所述的電子裝置的操作方法,其中在該掃描模式下更包括:透過該眼動偵測模組偵測該使用者的該眼動狀態;以及基於該眼動狀態來判斷是否接收到該觸發訊號。
  7. 如申請專利範圍第1項所述的電子裝置的操作方法,其中該觸發訊號由一輸入單元所產生。
  8. 如申請專利範圍第1項所述的電子裝置的操作方法,其中該圖形化介面所顯示的該些操作區塊的數量大於該群組介面所顯示的該些功能選項的數量,並且,該群組介面顯示於該圖形化介面的上層,以及該群組介面與該圖形化介面兩者的尺寸相同,或者該群組介面的尺寸小於該圖形化介面的尺寸。
  9. 一種電子裝置,包括:一取像單元,以面向於該電子裝置的一使用者的方式而配置;一顯示單元,顯示一圖形化介面,該圖形化介面包括多個操作區塊;一處理單元,耦接至該顯示單元與該取像單元,並且執行多個模組,其中該些模組包括:一掃描模組,在一掃描模式下,基於一掃描順序使得該些操作區塊逐一為醒目顯示,並在該些操作區塊其中之一為醒目顯示時取消其先前操作區塊的醒目顯示;一介面切換模組,在該掃描模式下接收到一觸發訊號時,顯示一選定區塊對應的一群組介面至該顯示單元,其中該選定區塊是在接收到該觸發訊號時該些操作區塊中為醒目顯示的區塊;一眼動偵測模組,驅動一取像單元來擷取該使用者的一影像序列,藉由分析該影像序列來偵測該使用者的眼動狀態,並基於該眼動狀態,在該群組介面中的多個功能選項中擇一進行運作。
  10. 如申請專利範圍第9項所述的電子裝置,其中該掃描模組在該掃描模式下接收到該觸發訊號時,驅動該眼動偵測模組進行運作。
  11. 如申請專利範圍第9項所述的電子裝置,其中該眼動偵測模組是偵測該影像序列中的該使用者的一瞳孔位置以及一亮點位 置,以及依據該瞳孔位置與該亮點位置兩者的位置對應關係,判斷目前該眼動狀態的一視線落點,其中該亮點位置是透過一發光單元發射光束照射該使用者的眼睛所形成的反光點。
  12. 如申請專利範圍第9項所述的電子裝置,其中該些模組中更包括:一引導校正模組,引導該使用者觀看該顯示單元中的一指定位置,藉以校正該眼動偵測模組的一基準資訊。
  13. 如申請專利範圍第9項所述的電子裝置,其中該掃描模組在該掃描模式下驅動該眼動偵測模組,使得該眼動偵測模組偵測該使用者的該眼動狀態,並且,該處理單元在基於該眼動狀態而判定接收到該觸發訊號時,傳送一訊息至該掃描模組及該介面切換模組,使得該掃描模組暫停掃描程序,而由該介面切換模組顯示該選定區塊對應的該群組介面至該顯示單元。
  14. 如申請專利範圍第9項所述的電子裝置,更包括:一輸入單元;以及一嵌入式控制單元,耦接至該處理單元及該輸入單元,以判斷是否自該輸入單元接收到該觸發訊號,並且該處理單元在透過該嵌入式控制單元而判定接收到該觸發訊號時,傳送一訊息至該掃描模組及該介面切換模組,使得該掃描模組暫停掃描程序,而由該介面切換模組顯示該選定區塊對應的該群組介面至該顯示單元。
  15. 如申請專利範圍第9項所述的電子裝置,更包括: 一儲存單元,耦接至該處理單元,儲存該些模組、一圖形化介面資料以及多個群組介面資料;其中,該圖形化介面資料定義了該圖形化介面的尺寸、所顯示的該些操作區塊各自的尺寸以及每一該些操作區塊對應的該些群組介面資料其中之一;每一該些群組介面資料定義了對應的該群組介面的尺寸、所顯示的該些功能選項的尺寸以及每一該些功能選項對應的功能。
TW103113043A 2014-04-09 2014-04-09 電子裝置及其操作方法 TW201539251A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW103113043A TW201539251A (zh) 2014-04-09 2014-04-09 電子裝置及其操作方法
JP2014213572A JP6092173B2 (ja) 2014-04-09 2014-10-20 電子装置とその操作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW103113043A TW201539251A (zh) 2014-04-09 2014-04-09 電子裝置及其操作方法

Publications (1)

Publication Number Publication Date
TW201539251A true TW201539251A (zh) 2015-10-16

Family

ID=54552328

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103113043A TW201539251A (zh) 2014-04-09 2014-04-09 電子裝置及其操作方法

Country Status (2)

Country Link
JP (1) JP6092173B2 (zh)
TW (1) TW201539251A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112347812A (zh) * 2019-08-07 2021-02-09 群创光电股份有限公司 通过电子装置以侦测指纹的方法
TWI725351B (zh) * 2018-11-02 2021-04-21 宏正自動科技股份有限公司 電子裝置及輸出畫面決定方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018074055A1 (ja) * 2016-10-19 2018-04-26 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
CN112540084A (zh) * 2019-09-20 2021-03-23 联策科技股份有限公司 外观检查系统与检查方法
CN116069165B (zh) * 2023-02-14 2024-02-09 中国民用航空总局第二研究所 一种远程塔台光学系统的目标界面确定方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05241063A (ja) * 1992-02-28 1993-09-21 Nikon Corp 視線位置検出装置付カメラ
JPH09190325A (ja) * 1996-01-09 1997-07-22 Canon Inc 表示装置
JPH10301743A (ja) * 1997-04-23 1998-11-13 Nec Corp 公共設備装置及び公共設備装置を操作するユーザ端末並びに公共設備装置の操作装置
JPH11259226A (ja) * 1998-03-13 1999-09-24 Canon Inc 視線入力意思伝達装置、視線入力意思伝達方法および記憶媒体
JP2003067804A (ja) * 2001-08-29 2003-03-07 Victor Co Of Japan Ltd 電子投票入力システム及び電子投票入力システムで用いられる電子投票入力装置
SE529156C2 (sv) * 2005-10-28 2007-05-15 Tobii Technology Ab Ögonföljare med visuell återkoppling
JP4649319B2 (ja) * 2005-11-21 2011-03-09 日本電信電話株式会社 視線検出装置、視線検出方法、および視線検出プログラム
JP4757091B2 (ja) * 2006-04-28 2011-08-24 本田技研工業株式会社 車両搭載機器の操作装置
JP2009187443A (ja) * 2008-02-08 2009-08-20 Dainippon Printing Co Ltd 現金自動預け払い機、および、現金自動預け払い機における暗証番号の取得方法
JP4956591B2 (ja) * 2009-08-19 2012-06-20 株式会社コナミデジタルエンタテインメント 選択装置、選択方法、ならびに、プログラム
JP2011159004A (ja) * 2010-01-29 2011-08-18 Kazuyuki Takehara 意思伝達装置
JP5664064B2 (ja) * 2010-09-22 2015-02-04 富士通株式会社 視線検出装置および補正係数算出プログラム
JP5719216B2 (ja) * 2011-04-05 2015-05-13 日本放送協会 視線測定装置および視線測定プログラム
JP2013143012A (ja) * 2012-01-11 2013-07-22 Tokai Rika Co Ltd 視線入力装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI725351B (zh) * 2018-11-02 2021-04-21 宏正自動科技股份有限公司 電子裝置及輸出畫面決定方法
CN112347812A (zh) * 2019-08-07 2021-02-09 群创光电股份有限公司 通过电子装置以侦测指纹的方法
CN112347812B (zh) * 2019-08-07 2024-04-19 群创光电股份有限公司 通过电子装置以侦测指纹的方法

Also Published As

Publication number Publication date
JP2015201161A (ja) 2015-11-12
JP6092173B2 (ja) 2017-03-08

Similar Documents

Publication Publication Date Title
US9473696B2 (en) Gaze detection apparatus, gaze detection computer program, and display apparatus
JP6724987B2 (ja) 制御装置および検出方法
JP6822473B2 (ja) 表示装置
JP6037901B2 (ja) 操作検出装置、操作検出方法及び表示制御データ生成方法
US20180160079A1 (en) Pupil detection device
CN105706028B (zh) 投影型影像显示装置
US20140055342A1 (en) Gaze detection apparatus and gaze detection method
US20150243079A1 (en) Head mounted display providing closed-view and method of controlling therefor
TW201539251A (zh) 電子裝置及其操作方法
JP5655644B2 (ja) 視線検出装置及び視線検出方法
JP2014174401A (ja) 画像表示システム及び頭部装着型表示装置
US11112866B2 (en) Electronic device
US20150185321A1 (en) Image Display Device
US11266307B2 (en) Evaluation device, evaluation method, and non-transitory storage medium
US10742937B2 (en) Watching apparatus, watching method, and recording medium
JP4979895B2 (ja) ディスプレイ制御装置、ディスプレイ制御方法、ディスプレイ制御プログラム、およびディスプレイ
JP6307576B2 (ja) 映像表示装置及びプロジェクタ
US20210290133A1 (en) Evaluation device, evaluation method, and non-transitory storage medium
JP2005296383A (ja) 視線検出装置
JP7412495B1 (ja) 視線検出システム
KR20190027081A (ko) 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
WO2022038814A1 (ja) 角膜曲率半径算出装置、視線検出装置、角膜曲率半径算出方法、及び角膜曲率半径算出プログラム
KR20140139743A (ko) 영상 제어 방법 및 이를 이용한 영상 표시 장치
JP2015046111A (ja) 視点検出装置および視点検出方法
WO2021014868A1 (ja) 眼球検出装置、視線検出装置、眼球検出方法、及び眼球検出プログラム