TW201702938A - 眼睛狀態偵測方法以及眼睛狀態偵測系統 - Google Patents

眼睛狀態偵測方法以及眼睛狀態偵測系統 Download PDF

Info

Publication number
TW201702938A
TW201702938A TW105117315A TW105117315A TW201702938A TW 201702938 A TW201702938 A TW 201702938A TW 105117315 A TW105117315 A TW 105117315A TW 105117315 A TW105117315 A TW 105117315A TW 201702938 A TW201702938 A TW 201702938A
Authority
TW
Taiwan
Prior art keywords
image
brightness
row
eye
range
Prior art date
Application number
TW105117315A
Other languages
English (en)
Inventor
王國振
Original Assignee
原相科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 原相科技股份有限公司 filed Critical 原相科技股份有限公司
Priority to US15/199,965 priority Critical patent/US10007845B2/en
Publication of TW201702938A publication Critical patent/TW201702938A/zh
Priority to US15/985,632 priority patent/US10860852B2/en
Priority to US17/083,308 priority patent/US20210042498A1/en

Links

Abstract

一種眼睛狀態偵測方法,施行在包含一影像感測器的電子裝置上,包含:(a)以使用者眼睛的可能所在位置為基準,決定出一偵測範圍,其中該偵測範圍小於該電子裝置所能偵測的最大可偵測範圍;(b)以該偵測範圍擷取一偵測影像;以及(c)根據該偵測影像的亮度判斷該使用者眼睛為開眼狀態或是閉眼狀態。本發明亦揭露了以較小判斷範圍來判斷使用者眼睛為開眼狀態或是閉眼狀態的方法。

Description

眼睛狀態偵測方法以及眼睛狀態偵測系統
本發明有關於眼睛狀態偵測方法以及眼睛狀態偵測系統,特別有關於可利用低解析度影像以及較小的判斷範圍來判斷眼睛狀態的偵測方法以及偵測系統。
越來越多電子裝置具有偵測開眼和閉眼的功能 (例如智慧型手機或智慧型穿戴裝置),此功能除了提醒使用者其呈現閉眼狀態,以避免使用者在不適當的時間點 (例如拍照時) 閉眼,亦可以讓使用者以開眼和閉眼的動作來控制行動裝置。此類電子裝置需要以一偵測裝置來偵測使用者是開眼或閉眼,常見的偵測方法為利用一影像感測器來擷取影像,並根據整張影像的特徵來判斷使用者是開眼或閉眼。
然而,若要正確判斷影像的特徵,則需要較高解析度的影像感測器或者較大的判斷範圍,電子裝置的成本因而增加或是需要較多的運算量而有較大的耗電量。但若使用低解析度的影像感測器,則其擷取的影像特徵不明顯,難以判斷使用者是開眼或閉眼。
本發明一目的為提供一種可利用低解析度影像來判斷眼睛狀態的偵測方法。
本發明另一目的為提供一種可利用低解析度影像來判斷眼睛狀態的偵測系統。
本發明一實施例揭露了一種眼睛狀態偵測方法,施行在包含一影像感測器的電子裝置上,包含:(a)以使用者眼睛的可能所在位置為基準,決定出一偵測範圍,其中該偵測範圍小於該電子裝置所能偵測的最大可偵測範圍;(b)以該偵測範圍擷取一偵測影像;以及(c)根據該偵測影像的亮度判斷該使用者眼睛為開眼狀態或是閉眼狀態。
本發明一實施例揭露了施行前述方法的眼睛狀態偵測系統,包含:一控制單元:一影像感測器,其中該控制單元控制該影像感測器以一偵測範圍擷取一偵測影像,其中該偵測範圍以使用者眼睛的可能所在位置為基準來決定,且小於該眼睛狀態偵測系統所能偵測的最大可偵測範圍;以及一計算單元,計算該偵測影像的亮度,並根據該偵測影像的亮度判斷該使用者眼睛為開眼狀態或是閉眼狀態。
本發明另一實施例揭露了一種眼睛狀態偵測方法,包含:(a) 擷取一偵測影像;(b) 計算該偵測影像最暗處週邊的亮度變化趨勢;以及(c) 根據該亮度變化趨勢判斷該使用者眼睛為開眼狀態或是閉眼狀態。
本發明另一實施例揭露了施行前述方法的眼睛狀態偵測系統,包含:一控制單元:一影像感測器,其中該控制單元控制該影像感測器以一偵測範圍擷取一偵測影像;以及一計算單元,用以計算該偵測影像最暗處週邊的亮度變化趨勢,並根據該亮度變化趨勢判斷該使用者眼睛為開眼狀態或是閉眼狀態。
本發明另一實施例揭露了一種眼睛狀態偵測方法,施行在包含一影像感測器的電子裝置上,包含:(a) 以該影像感測器擷取一偵測影像;(b) 在該偵測影像中定義出一臉部範圍;(c) 在該臉部範圍中定義出一判斷範圍;以及(d) 判斷該判斷範圍中是否包含開眼影像或閉眼影像。
本發明另一實施例揭露了施行前述方法的眼睛狀態偵測系統,包含:一控制單元:一影像感測器,其中該控制單元控制該影像感測器擷取一偵測影像;以及一計算單元,用以在該偵測影像中定義出一臉部範圍,在該臉部範圍中定義出一判斷範圍,以及判斷該判斷範圍中是否包含開眼影像或閉眼影像。
根據前述實施例,不須影像的詳細特徵以及大範圍的影像便可判斷使用者的眼睛狀態,因此可改善習知技術中須利用高解析度影像才能判斷使用者眼睛狀態的問題以及運算量大導致耗電的問題。
以下將以不同實施例來說明本發明的內容。請留意,以下實施例中所提及的元件,例如單元、模組、系統等,均可以硬體(例如電路)或是硬體加軔體 (例如微處理器中寫入程式)來實現。
第1圖繪示了根據本發明一實施例的眼睛狀態偵測方法的示意圖。如第1圖所示,本發明所提供的眼睛狀態偵測方法會以一偵測範圍DR來擷取一偵測影像,並根據此偵測影像的亮度判斷使用者眼睛為開眼狀態或是閉眼狀態。在一實施例中,是以平均亮度來判斷使用者眼睛為開眼狀態或是閉眼狀態。當使用者開眼時,偵測影像中包含了眼球的影像,其平均亮度會較暗。而當使用者閉眼時,偵測影像中大多是皮膚的影像,其平均亮度會較亮。因此可藉由平均亮度來判斷使用者眼睛為開眼狀態或是閉眼狀態。
在此實施例中,偵測範圍DR小於最大可偵測範圍MDR且其位置是預先設定的。在一實施例中,是預先設定使用者眼睛的可能所在位置,並以此可能所在位置為基準,決定出偵測範圍DR。第2圖繪示了智慧型眼鏡施行第1圖中所示的眼睛狀態偵測方法的示意圖。以第2圖為例,最大可偵測範圍MDR是鏡片所涵蓋的位置。而當使用者戴上智慧型眼鏡時,眼睛大多數都在中央位置,因此可以中央位置為基準來決定出偵測範圍DR。然請留意,第1圖中所示的實施例不限制於施行在第2圖所示的智慧型眼鏡,其亦可施行在其他裝置上,例如頭戴式的穿戴式裝置,或是包含了攝影機的顯示裝置或是行動裝置等。
在第1圖實施例中,如果不是以偵測範圍DR而是以最大可偵測範圍MDR來擷取偵測影像,則不僅運算量會較大,且使用者開眼時,其眼球的影像只佔整體偵測影像的一小部份,其平均亮度跟使用者閉眼時差異不大,因此會有難以判斷的問題。如第3圖所示,若使用最大偵測範圍MDR來擷取偵測影像,則偵測影像的平均亮度在使用者開眼和閉眼時其差異並不明顯,而若使用縮小後的偵測範圍DR,則開眼和閉眼的偵測影像的平均亮度會有較大的差異。
第4圖繪示了第1圖所示實施例的眼睛狀態偵測方法的流程圖,其包含下列步驟:
步驟401
以使用者眼睛的可能所在位置為基準,決定出一偵測範圍。以第2圖為例,使用者眼睛可能在智慧型眼鏡的中央位置,因此會以智慧型眼鏡的中央位置為基準決定出一偵測範圍。
步驟403
以步驟401中的偵測範圍擷取一偵測影像。
步驟405
根據偵測影像的亮度判斷使用者眼睛為開眼狀態或是閉眼狀態。
以下將說明本發明所提供的另一實施例,此實施例是以偵測影像的亮度趨勢來判斷使用者眼睛為開眼狀態或是閉眼狀態。其判斷的主要依據是,當使用者開眼時,偵測影像最暗處通常是眼球其中一處,而最暗處影像週邊通常亦是眼球,亦呈現較暗的影像,因此使用者開眼時,偵測影像最暗處週邊的影像亮度變化趨勢較平緩。相反的,當使用者閉眼時,偵測影像最暗處通常是非皮膚的部份 (例如睫毛),而最暗處影像週邊通常是皮膚,會呈現較亮的影像,因此使用者閉眼時,偵測影像最暗處週邊的影像亮度變化趨勢會較急劇。然請留意,以下實施例可與前述第1圖至第4圖的實施例一同實施,也就是利用縮減過的偵測範圍來擷取偵測影像。但亦可利用最大可偵測範圍來擷取偵測影像,或者利用其他方式所產生的偵測範圍來擷取偵測影像。
第5圖繪示了根據本發明另一實施例的眼睛狀態偵測方法的示意圖。在此實施例中,是將偵測影像中每一影像列(row)的亮度加總,然後找出偵測影像中最暗的一影像列。以第5圖為例,當使用者開眼時,亮度最暗的一列是第7列,而當使用者閉眼時,亮度最暗的一列是第12列,由第5圖可看出,使用者開眼時每一影像列亮度總和的變化會較平緩,而閉眼時每一影像列亮度總和的變化會較急劇。許多種方式可用以找出亮度變化趨勢,在一實施例中,會將最暗的影像列做為基準影像列,並計算出基準影像列的亮度總和與至少二影像列的亮度總和的亮度總和差異值,並根據這些亮度差異值計算出亮度變化趨勢。
在一實施例中,基準影像列是偵測影像中第N列影像,此狀況下會計算基準影像排的亮度總和與偵測影像中第N+1列影像至第N+K列中每一影像列的亮度總和的亮度總和差異,並計算基準影像列的亮度總和與偵測影像中第N-1列影像至第N-K列中每一影像列的亮度總和的亮度總和差異。其中K為大於或等於1的正整數。
以下將以例子來說明此實施例。 列表1
前述列表1繪示了開眼和閉眼時不同像素列的亮度總和,ax表示其為第x列像素列的亮度總和,舉例來說,a9表示第9列像素列的亮度總和,a15表示第15列像素列的亮度總和。在此例中,開眼時最暗的像素列為第12列,其亮度總和為2542 (a12),若前述的K值取為3,則第12列像素列的亮度總和會跟第9列至第11列每一像素列的像素列亮度總和以及第13列至第15列的每一像素列亮度總和做相減,如公式(1)所示。
公式(1):開眼狀態 亮度總和差異=(a9-a12)+(a10-a12)+(a11-a12)+(a13-a12)+(a14-a12)+(a15-a12)
同樣的,閉眼時最暗的像素列為第16列,其亮度總和為2643 (a16),若前述的K值取為3,則第16列像素列的亮度總和是跟第13列至第15列每一像素列的像素列亮度總和以及第17列至第19列的每一像素列亮度總和做相減,如公式(2)所示。
公式(2):閉眼狀態 亮度總和差異=(a13-a16)+(a14-a16)+(a15-a16)+(a17-a16)+(a18-a16)+(a19-a16)
依據公式(1) 可得開眼時的亮度總和差異為(4035-2542)+(3514-2542)+(2813-2542)+(2669-2542)+(2645-2542)+(2835-2542)=3259
而依據公式(2) 可得閉眼時的亮度總和差異為
(3772-2643)+(3226-2643)+(2703-2643)+(2878-2643)+(3365-2643)+(3745-2643)=3831
前述公式(1)和公式(2) 可視為成本函數 (cost function)。前述公式(1)和公式(2)亦可加上絕對值的概念衍伸出新的成本函數,而分別形成公式(3)和公式(4)
公式(3):開眼狀態 亮度總和差異=|a9-a10|+|a10-a11|+|a11-a12|+|a13-a12|+|a14-a13|+|a15-a14|
公式(4):閉眼狀態 亮度總和差異=|a13-a14|+|a14-a15|+|a15-a16|+|a17-a16|+|a18-a17|+|a19-a18|
依據公式(3) 可得開眼時的亮度總和差異為
|4035-3514|+|3514-2813|+|2813-2542|+|2669-2542|+|2669-2645|+|2835-2645|=1834
依據公式(4) 可得閉眼時的亮度總和差異為
|3772-3226|+|3226-2703|+|2703-2643|+|2878-2643|+|3365-2878|+|3745-3365|=2231
由前述例子可知,無論採用何種的成本函數,閉眼狀態時的亮度總和差異均大於開眼狀態時的亮度總和差異,也就是閉眼狀態時,偵測影像的最暗處影像週邊的亮度變化要比開眼狀態時的最暗處影像週邊的亮度變化急劇,因此可藉由偵測影像的最暗處影像週邊的亮度變化來判斷使用者是開眼狀態還是閉眼狀態。
請留意第5圖的實施例雖然是以像素列來說明,但因應不同需求亦可以像素行 (column) 來計算亮度變化趨勢。因此,根據第5 圖的實施例,可得到一眼睛狀態偵測方法,其包含第6圖中所示的步驟:
步驟601
擷取一偵測影像。此步驟可套用第1圖所示的偵測範圍來擷取影像,但不限定。
步驟603
計算該偵測影像於一特定方向上的複數影像排的亮度總和。例如像素列或像素行。
步驟605
以影像排中具有最低亮度總和的影像排做為一基準影像排。
步驟607
計算基準影像排與至少二影像排的亮度總和差異。
步驟609
根據亮度總和差異決定一亮度變化趨勢。
步驟611
以該亮度變化趨勢判斷使用者眼睛為開眼狀態或是閉眼狀態。
其中步驟603-609可視為”計算偵測影像最暗處週邊的亮度變化趨勢”,然請留意,此計算偵測影像最暗處週邊的亮度變化趨勢不限於步驟603-609,其亦可包含其他步驟。
第7圖繪示了根據本發明一實施例的眼睛狀態偵測系統的方塊圖。如第7圖所示,眼睛狀態偵測系統700包含控制單元701、影像感測器703以及計算單元705。控制單元701以及計算單元705可整合成同一元件。若眼睛狀態偵測系統700施行第1圖所示的實施例,控制單元701控制影像感測器703以一偵測範圍擷取一偵測影像SI,其中偵測範圍是以使用者眼睛的可能所在位置為基準來決定,且小於眼睛狀態偵測系統所能偵測的最大可偵測範圍。計算單元705計算偵測影像SI的亮度,並根據偵測影像SI的亮度判斷使用者眼睛為開眼狀態或是閉眼狀態。
若眼睛狀態偵測系統700施行第5圖所示的實施例,控制單元701控制影像感測器703以一偵測範圍擷取一偵測影像SI。計算單元705用以計算偵測影像SI最暗處週邊的亮度變化趨勢,並根據亮度變化趨勢判斷使用者眼睛為開眼狀態或是閉眼狀態。
眼睛狀態偵測系統700的其他動作均已描述在前述實施例中,故在此不再贅述。
前述實施例是先以使用者眼睛的可能所在位置決定出偵測範圍後,再以影像的亮度變化趨勢來判斷使用者眼睛為開眼狀態或是閉眼狀態。而在以下實施例中,會先判斷出臉部範圍後,再於臉部範圍內決定出一判斷範圍,然後再以判斷範圍內的影像判斷使用者是開眼狀態還是閉眼狀態。詳細內容將於底下詳述。
請參閱第8圖,其繪示了根據本發明另一實施例的眼睛狀態偵測方法的示意圖。如第8圖所示,會以一判斷器CL (或稱為分類器)來處理影像感測器所擷取的偵測影像SI。此判斷器CL會以預先建立好的臉部影像特徵模組來判斷偵測影像SI中是否具有臉部影像,若有的話會在偵測影像SI中定義出一臉部範圍Fr。然後會在臉部範圍Fr中定義出一判斷範圍CR。於一實施例中,此判斷範圍CR小於臉部範圍Fr (但亦可等於臉部範圍Fr)。接著,再以判斷器CL根據開眼影像特徵模組或是閉眼影像特徵模組來計算判斷範圍CR中是否包含開眼影像或閉眼影像。
前述實施例中因為使用了較小的判斷範圍CR,不須整張影像都進行運算,因此可降低運算量。於一實施例中,若判斷出偵測影像SI中不具有臉部影像時,便不進行後續定義出判斷範圍CR以及計算判斷範圍CR中是否包含開眼影像或閉眼影像的步驟,如此可以更為減少運算量。許多方法可用以定義出判斷範圍CR,於一實施例中,可先根據影像判斷出眼睛可能的所在位置後,以此位置定義出判斷範圍CR,但不限定於此方法。
第9圖繪示了第8圖所示的實施例之詳細步驟的示意圖。在步驟901中,會藉由模組建立資料來產生判斷模組。舉例來說,可輸入至少一包含臉部影像的影像來建立臉部影像特徵模組做為判斷模組。或者,可輸入至少一包含開眼影像的影像來建立開眼影像特徵模組做為判斷模組。同樣的,可輸入至少一包含閉眼影像的影像來建立閉眼影像特徵模組做為判斷模組。步驟903會對模組建立資料進行預處理,例如調整其亮度、對比度等讓後續的步驟更容易進行,但不一定需要此步驟。
步驟905會對模組建立資料進行萃取特徵的動作,而步驟907會對應步驟905萃取的特徵來建立模組。舉例來說,步驟901中輸入至少一包含臉部影像的影像。步驟905會萃取到臉部影像的特徵,步驟907會對應步驟905萃取到的臉部影像特徵來建立臉部影像特徵模組。如此便可知道當一影像具有臉部影像時,會具有那些特徵。而在步驟907中,會輸入欲判斷的偵測影像。步驟911是與步驟903類似的預處理。步驟913中會對輸入影像進行萃取特徵的動作。步驟915會判斷偵測影像的特徵吻合那些判斷模組,然後便可得知輸入影像是否包含臉部影像、開眼影像或閉眼影像。
多種習知的演算法可用以執行步驟905或913來萃取影像的特徵。舉例來說,gabor或harr演算法。同樣的,多種習知的演算法可用以判斷輸入影像吻合那一判斷模組 (即對輸入影像進行分類),例如adaboost演算法。然請留意,本發明並不限定以前述演算法來實施。
第8圖和第9圖的實施例可以第7圖所示的眼睛狀態偵測系統700來施行。如前所述,眼睛狀態偵測系統700包含控制單元701、影像感測器703以及計算單元705。控制單元701以及計算單元705可整合成同一元件。若眼睛狀態偵測系統700施行第8圖、第9圖所示的實施例,控制單元701控制影像感測器703擷取一偵測影像SI。計算單元705以第8圖或第9圖的實施例來決定偵測影像SI中的判斷範圍  (例如第8圖的CR),並以判斷範圍CR中的影像來判斷偵測影像SI是否包含開眼影像或閉眼影像,進而判斷使用者是處於開眼狀態或是閉眼狀態。
根據前述第8圖和第9圖實施例,本發明所提供的眼睛狀態偵測方法之流程圖可簡示如第10圖,其包含下列步驟:
步驟1001
以影像感測器擷取一偵測影像 (如第8圖中的SI)。
步驟1003
在偵測影像中定義出一臉部範圍 (如第8圖中的Fr)。
步驟1005
在臉部範圍中定義出一判斷範圍(如第8圖中的CR)。
步驟1007
判斷判斷範圍中是否包含開眼影像或閉眼影像。
於一實施例中,第8圖至第10圖所示的方法是使用在非穿載式的電子裝置上,例如手持式的行動裝置 (如手機、平板電腦)或是可放置於平面上的電子裝置 (例如筆記型電腦),但不限定。
根據前述實施例,不須影像的詳細特徵以及大範圍影像便可判斷使用者的眼睛狀態,因此可改善習知技術中須利用高解析度影像才能判斷使用者眼睛狀態的問題以及運算量大導致耗電的問題。 以上所述僅為本發明之較佳實施例,凡依本發明申請專利範圍所做之均等變化與修飾,皆應屬本發明之涵蓋範圍。
DR‧‧‧偵測範圍
MDR‧‧‧最大偵測範圍
401-407‧‧‧步驟
601-611‧‧‧步驟
701‧‧‧控制單元
703‧‧‧影像感測器
705‧‧‧計算單元
SI‧‧‧偵測影像
CL‧‧‧判斷器
Fr‧‧‧臉部範圍
CR‧‧‧判斷範圍
第1圖繪示了根據本發明一實施例的眼睛狀態偵測方法的示意圖。 第2圖繪示了智慧型眼鏡施行第1圖中所示的眼睛狀態偵測方法的示意圖。 第3圖繪示了施行第1圖中所示的眼睛狀態偵測方法之亮度變化與習知技術的亮度變化之示意圖。 第4圖繪示了第1圖所示實施例的眼睛狀態偵測方法的流程圖。 第5圖繪示了根據本發明另一實施例的眼睛狀態偵測方法的示意圖。 第6圖繪示了第5圖所示實施例的眼睛狀態偵測方法的流程圖。 第7圖繪示了根據本發明一實施例的影像偵測裝置的方塊圖。 第8圖繪示了根據本發明另一實施例的眼睛狀態偵測方法的示意圖。 第9圖繪示了第8圖所示的實施例之詳細步驟的示意圖。 第10圖繪示了簡示本發明所提供的眼睛狀態偵測方法之流程圖。
DR‧‧‧偵測範圍
MDR‧‧‧最大偵測範圍

Claims (32)

  1. 一種眼睛狀態偵測方法,施行在包含一影像感測器的電子裝置上,包含: (a)以使用者眼睛的可能所在位置為基準,決定出一偵測範圍,其中該偵測範圍小於該電子裝置所能偵測的最大可偵測範圍; (b)以該偵測範圍擷取一偵測影像;以及 (c)根據該偵測影像的亮度判斷該使用者眼睛為開眼狀態或是閉眼狀態。
  2. 如請求項第1項所述的眼睛狀態偵測方法,係使用在一穿戴式裝置上,其中該步驟(a)是在該穿戴式裝置上預先設定該可能所在位置。
  3. 如請求項第2項所述的眼睛狀態偵測方法,其中該穿戴式裝置是為一智慧型眼鏡。
  4. 如請求項第1項所述的眼睛狀態偵測方法,其中該步驟(c)更包含: (c1) 計算該偵測影像最暗處週邊的亮度變化趨勢;以及 (c2) 根據該亮度變化趨勢判斷該使用者眼睛為開眼狀態或是閉眼狀態。
  5. 如請求項第4項所述的眼睛狀態偵測方法,其中該步驟(c1)更包含: (c11) 計算該偵測影像於一特定方向上的複數影像排的亮度總和; (c12) 以該些影像排中具有最低亮度總和的該影像排做為一基準影像排; (c13) 計算該基準影像排的該亮度總和與至少二該影像排的該些亮度總和的亮度總和差異;以及 (c14) 根據該些亮度總和差異決定該亮度變化趨勢。
  6. 如請求項第5項所述的眼睛狀態偵測方法,其中該些影像排為影像列。
  7. 如請求項第5項所述的眼睛狀態偵測方法, 其中該基準影像排是該偵測影像中第N排影像; 其中該步驟(c13)計算該基準影像排與該偵測影像中第N+1排影像至第N+K排中每一該影像排的該些亮度總和差異,並計算該基準影像排與該偵測影像中第N-1排影像至第N-K排中每一該影像排的該些亮度總和差異; 其中該K的值為大於或等於1的正整數。
  8. 一種眼睛狀態偵測方法,包含: (a) 擷取一偵測影像; (b) 計算該偵測影像最暗處週邊的亮度變化趨勢;以及 (c) 根據該亮度變化趨勢判斷該使用者眼睛為開眼狀態或是閉眼狀態。
  9. 如請求項第8項所述的眼睛狀態偵測方法,其中該步驟(b)包含 (b1) 計算該偵測影像於一特定方向上的複數影像排的亮度總和; (b2) 以該些影像排中具有最低亮度的該影像排做為一基準影像排; (b3) 計算該基準影像排與至少二該影像排的亮度差異;以及 (b4) 根據該些亮度差異決定一亮度變化趨勢。
  10. 如請求項第9項所述的眼睛狀態偵測方法,其中該些影像排為影像列。
  11. 如請求項第9項所述的眼睛狀態偵測方法, 其中該基準影像排是該偵測影像中第N排影像; 其中該步驟(b3)計算該基準影像排與該偵測影像中第N+1排影像至第N+K排中每一該影像排的該些亮度總和差異,並計算該基準影像排與該偵測影像中第N-1排影像至第N-K排中每一該影像排的該些亮度總和差異; 其中該K的值為大於或等於1的正整數。
  12. 一種眼睛狀態偵測系統,包含: 一控制單元: 一影像感測器,其中該控制單元控制該影像感測器以一偵測範圍擷取一偵測影像,其中該偵測範圍以使用者眼睛的可能所在位置為基準來決定,且小於該眼睛狀態偵測系統所能偵測的最大可偵測範圍;以及 一計算單元,計算該偵測影像的亮度,並根據該偵測影像的亮度判斷該使用者眼睛為開眼狀態或是閉眼狀態。
  13. 如請求項第12項所述的眼睛狀態偵測系統,係使用在一穿戴式裝置上,其中該偵測範圍是在該穿戴式裝置上所預先設定的該可能所在位置而決定。
  14. 如請求項第13項所述的眼睛狀態偵測系統,其中該穿戴式裝置是為一智慧型眼鏡。
  15. 如請求項第12項所述的眼睛狀態偵測系統,其中該計算單元更執行下列步驟來判斷該使用者眼睛為開眼狀態或是閉眼狀態: 計算該偵測影像最暗處週邊的亮度變化趨勢;以及 根據該亮度變化趨勢判斷該使用者眼睛為開眼狀態或是閉眼狀態。
  16. 如請求項第15項所述的眼睛狀態偵測系統,其中該計算單元更執行下列步驟來決定該亮度變化趨勢: 計算該偵測影像於一特定方向上的複數影像排的亮度總和; 以該些影像排中具有最低亮度總和的該影像排做為一基準影像排; 計算該基準影像排的該亮度總和與至少二該影像排的該些亮度總和的亮度總和差異;以及 根據該些亮度總和差異決定該亮度變化趨勢。
  17. 如請求項第16項所述的眼睛狀態偵測系統,其中該些影像排為影像列。
  18. 如請求項第16項所述的眼睛狀態偵測系統, 其中該基準影像排是該偵測影像中第N排影像; 其中該計算單元計算該基準影像排與該偵測影像中第N+1排影像至第N+K排中每一該影像排的該些亮度總和差異,並計算該基準影像排與該偵測影像中第N-1排影像至第N-K排中每一該影像排的該些亮度總和差異; 其中該K的值為大於或等於1的正整數。
  19. 一種眼睛狀態偵測系統,包含: 一控制單元: 一影像感測器,其中該控制單元控制該影像感測器以一偵測範圍擷取一偵測影像;以及 一計算單元,用以計算該偵測影像最暗處週邊的亮度變化趨勢,並根據該亮度變化趨勢判斷該使用者眼睛為開眼狀態或是閉眼狀態。
  20. 如請求項第19項所述的眼睛狀態偵測系統,其中該計算單元更執行下列步驟來決定該亮度變化趨勢: 計算該偵測影像於一特定方向上的複數影像排的亮度總和; 以該些影像排中具有最低亮度的該影像排做為一基準影像排; 計算該基準影像排與至少二該影像排的亮度差異;以及 根據該些亮度差異決定一亮度變化趨勢。
  21. 如請求項第20項所述的眼睛狀態偵測系統,其中該些影像排為影像列。
  22. 如請求項第20項所述的眼睛狀態偵測系統, 其中該基準影像排是該偵測影像中第N排影像; 其中該計算單元計算該基準影像排與該偵測影像中第N+1排影像至第N+K排中每一該影像排的該些亮度總和差異,並計算該基準影像排與該偵測影像中第N-1排影像至第N-K排中每一該影像排的該些亮度總和差異; 其中該K的值為大於或等於1的正整數。
  23. 一種眼睛狀態偵測方法,施行在包含一影像感測器的電子裝置上,包含: (a) 以該影像感測器擷取一偵測影像; (b) 在該偵測影像中定義出一臉部範圍; (c) 在該臉部範圍中定義出一判斷範圍;以及 (d) 判斷該判斷範圍中是否包含開眼影像或閉眼影像。
  24. 如請求項第23項所述的眼睛狀態偵測方法,其中該步驟(b)是根據該偵測影像中是否包含臉部影像特徵來定義出該臉部範圍。
  25. 如請求項第23項所述的眼睛狀態偵測方法,其中該判斷範圍等於該臉部範圍。
  26. 如請求項第23項所述的眼睛狀態偵測方法,其中該判斷範圍小於該臉部範圍。
  27. 如請求項第23項所述的眼睛狀態偵測方法,其中該步驟(b)是根據該判斷範圍中是否包含開眼影像特徵或閉眼影像特徵來判斷該判斷範圍中是否包含開眼影像或閉眼影像。
  28. 一種眼睛狀態偵測系統,包含: 一控制單元: 一影像感測器,其中該控制單元控制該影像感測器擷取一偵測影像;以及 一計算單元,用以在該偵測影像中定義出一臉部範圍,在該臉部範圍中定義出一判斷範圍,以及判斷該判斷範圍中是否包含開眼影像或閉眼影像。
  29. 如請求項第28項所述的眼睛狀態偵測方法,其中該計算單元是根據該偵測影像中是否包含臉部影像特徵來定義出該臉部範圍。
  30. 如請求項第28項所述的眼睛狀態偵測方法,其中該判斷範圍等於該臉部範圍。
  31. 如請求項第28項所述的眼睛狀態偵測方法,其中該判斷範圍小於該臉部範圍。
  32. 如請求項第28項所述的眼睛狀態偵測方法,其中該計算單元是根據該判斷範圍中是否包含開眼影像特徵或閉眼影像特徵來判斷該判斷範圍中是否包含開眼影像或閉眼影像。
TW105117315A 2015-07-06 2016-06-02 眼睛狀態偵測方法以及眼睛狀態偵測系統 TW201702938A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US15/199,965 US10007845B2 (en) 2015-07-06 2016-06-30 Eye state detecting method and eye state detecting system
US15/985,632 US10860852B2 (en) 2015-07-06 2018-05-21 Eye state detecting method and eye state detecting system
US17/083,308 US20210042498A1 (en) 2015-07-06 2020-10-29 Eye state detecting method and eye state detecting system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW104121917 2015-07-06

Publications (1)

Publication Number Publication Date
TW201702938A true TW201702938A (zh) 2017-01-16

Family

ID=58401212

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105117315A TW201702938A (zh) 2015-07-06 2016-06-02 眼睛狀態偵測方法以及眼睛狀態偵測系統

Country Status (1)

Country Link
TW (1) TW201702938A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI683132B (zh) * 2019-01-31 2020-01-21 創新服務股份有限公司 人臉眼睛定位系統在顯微鏡的應用

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI683132B (zh) * 2019-01-31 2020-01-21 創新服務股份有限公司 人臉眼睛定位系統在顯微鏡的應用

Similar Documents

Publication Publication Date Title
CN110032271B (zh) 对比度调节装置及其方法、虚拟现实设备及存储介质
CN105893920B (zh) 一种人脸活体检测方法和装置
US11715231B2 (en) Head pose estimation from local eye region
KR20190038594A (ko) 얼굴 인식-기반 인증
US11612314B2 (en) Electronic device and method for determining degree of conjunctival hyperemia by using same
KR101612605B1 (ko) 얼굴 특징점 추출 방법 및 이를 수행하는 장치
JP6822482B2 (ja) 視線推定装置、視線推定方法及びプログラム記録媒体
Ghani et al. GazePointer: A real time mouse pointer control implementation based on eye gaze tracking
WO2015008717A1 (en) Image processing device and imaging apparatus
KR20120139100A (ko) 얼굴 인증을 이용한 보안 장치 및 방법
WO2020121425A1 (ja) 状態判定装置、状態判定方法、及び状態判定プログラム
US20210042498A1 (en) Eye state detecting method and eye state detecting system
Gómez-Poveda et al. Evaluation of temporal stability of eye tracking algorithms using webcams
US20170112381A1 (en) Heart rate sensing using camera-based handheld device
CN110222674B (zh) 眼睛状态侦测方法以及眼睛状态侦测系统
Al-Rahayfeh et al. Application of head flexion detection for enhancing eye gaze direction classification
TW201702938A (zh) 眼睛狀態偵測方法以及眼睛狀態偵測系統
CN105320925A (zh) 图像捕获中的特征检测
Al-Haiqi et al. The eye as a new side channel threat on smartphones
CA2931457C (en) Measuring cervical spine posture using nostril tracking
US11978281B2 (en) Facial expression alterations
US9918662B2 (en) Measuring cervical spine posture using nostril tracking
TWI824683B (zh) 螢幕單元管理方法、電子裝置及非暫態電腦可讀取儲存媒體
TWI597675B (zh) Method of measuring face width and electronic device readable storage medium
Tsai et al. A smart eye care algorithm for handheld devices