TWI469061B - Applies to eye recognition methods and identification systems - Google Patents

Applies to eye recognition methods and identification systems Download PDF

Info

Publication number
TWI469061B
TWI469061B TW101148384A TW101148384A TWI469061B TW I469061 B TWI469061 B TW I469061B TW 101148384 A TW101148384 A TW 101148384A TW 101148384 A TW101148384 A TW 101148384A TW I469061 B TWI469061 B TW I469061B
Authority
TW
Taiwan
Prior art keywords
eye
pixels
image
pixel
region
Prior art date
Application number
TW101148384A
Other languages
English (en)
Other versions
TW201426568A (zh
Inventor
Chih Peng Fan
Che Li Lin
Original Assignee
Nat Univ Chung Hsing
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nat Univ Chung Hsing filed Critical Nat Univ Chung Hsing
Priority to TW101148384A priority Critical patent/TWI469061B/zh
Publication of TW201426568A publication Critical patent/TW201426568A/zh
Application granted granted Critical
Publication of TWI469061B publication Critical patent/TWI469061B/zh

Links

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

適用於眼部的辨識方法和辨識系統
本發明是有關於一種辨識系統,特別是指一種適用於眼部的辨識系統。
臉部辨識通常會先追蹤眼部位置,再進行後續觀察與分析,應用範疇包括有嬰幼兒監護、醫療照護管理、駕駛警示、保全服務,或其他需臉部資訊的系統。
習知一種臉部辨識方法是先從影像中濾出多個候選眼部位置,再評估哪一候選眼部位置最符合眼部特徵,其中各候選眼部位置的評估範圍是以其為中心的十字節範圍。此類做法可參考國立中興大學電機碩士學位論文,分別由胡正宏先生於2009年7月提出,由游聖民先生於2010年7月提出,由歐威良先生於2011年7月提出。
不過,習知臉部辨識方法對於候選眼部位置的過濾不夠精確,使得濾出的候選眼部位置數目過多而造成評估負擔,並且所賴以評估的眼部特徵不夠細緻,影響眼部和臉部辨識正確性。
因此,本發明之目的,即在提供一種提高眼部辨識正確性的辨識方法和辨識系統。
於是,本發明辨識方法,適用於分析一待處理影像,該待處理影像具有根據一第一軸和一第二軸呈矩陣排列的多個畫素,且該待處理影像的其中多個畫素組合出一眼 部,包含以下步驟:使用一眼部濾波器,根據該待處理影像執行眼部濾波以得到具有多個候選眼部畫素的一候選影像,且是根據該待處理影像的各畫素和其鄰近畫素形成的集合進行眼部濾波結果來決定該候選影像對應的各該畫素是否為候選眼部畫素;使用一邊緣偵測器,偵測該待處理影像的高頻成分來得到一邊緣影像;使用一眼部評估器,以該邊緣影像中對應於該候選影像之候選眼部畫素的那些畫素當做多個待評估畫素,且評估每一待評估畫素和其鄰近畫素形成的範圍是否符合該眼部特徵而得到一眼部視窗;及使用一眼部位置計算器,根據該邊緣影像中對應於該眼部視窗內的畫素,計算該眼部於該第一軸的投影位置資訊,並計算該眼部於該第二軸的投影位置資訊;其中,該眼部濾波器用以決定各候選影像畫素是否為候選眼部畫素的集合包括該待處理影像中沿該第二軸排列的一第一子集合、一第二子集合和一第三子集合,該第一子集合具有e個畫素,該第二子集合具有f個畫素,該第三子集合具有g個畫素,且該被決定是否為候選眼部畫素的對應畫素屬於該第二子集合,e>f,g>f。
而本發明辨識方法,適用於分析一待處理影像,該待處理影像具有根據一第一軸和一第二軸呈矩陣排列的多個畫素,且該待處理影像的其中多個畫素組合出一眼部,包含以下步驟:使用一眼部濾波器,根據該待處理影像執行眼部濾波以得到具有多個候選眼部畫素的一候選影像,且是根據該待處理影像的各畫素和其鄰近畫素形成的集合進 行眼部濾波結果來決定該候選影像對應的各該畫素是否為候選眼部畫素;使用一邊緣偵測器,偵測該待處理影像的高頻成分來得到一邊緣影像;使用一眼部評估器,以該邊緣影像中對應於該候選影像之候選眼部畫素的那些畫素當做多個待評估畫素,且評估每一待評估畫素和其鄰近畫素形成的範圍是否符合該眼部特徵而得到一眼部視窗;及使用一眼部位置計算器,根據該邊緣影像中對應於該眼部視窗內的畫素,計算該眼部於該第一軸的投影位置資訊,並計算該眼部於該第二軸的投影位置資訊;其中,各待評估畫素和其鄰近畫素形成的範圍包括一第一區域、一第二區域、一第三區域、一第四區域和一第五區域,各該待評估畫素屬於該第一區域,該第二區域、該第一區域和該第四區域沿該第二軸排列,該第三區域、該第一區域和該第五區域沿該第一軸排列;且該第一區域更包括沿該第一軸排列的一第一子區域、一第二子區域和一第三子區域,各該待評估畫素屬於該第二子區域;當該眼部評估器判斷出該第一區域的畫素值總和高於其他所有區域的畫素值總和,且判斷出該第二子區域的畫素值總和分別高於各其他子區域的畫素值總和,則使對應待評估畫素的眼部機率資訊=該第一區域的畫素值總和-其他所有區域的畫素值總和;且該眼部評估器根據較高眼部機率資訊的待評估畫素所對應的第一區域來得到該眼部視窗。
且本發明辨識系統,適用於分析一待處理影像,該待處理影像具有根據一第一軸和一第二軸呈矩陣排列的多個 畫素,且該待處理影像的其中多個畫素組合出一眼部,該辨識系統使用如前述之辨識方法來提供該眼部於該第一軸的投影位置資訊,以及該眼部於該第二軸的投影位置資訊。
有關本發明之前述及其他技術內容、特點與功效,在以下配合參考圖式之一個較佳實施例的詳細說明中,將可清楚的呈現。
在本發明被詳細描述之前,要注意的是,在以下的說明內容中,類似的元件是以相同的編號來表示。
參閱圖1,本發明辨識系統100之較佳實施例適用於從一待處理影像中辨識出眼部位置。且如本發明技術領域具有通常知識者所知,一影像具有根據第一軸和第二軸呈矩陣排列的多個畫素,所以本文提到的影像都可以被推論具有多個畫素。較佳地,第一軸為水平軸,第二軸為垂直軸,本例待處理影像的畫素可以組合出含有眼部的一臉部影像,也就是說待處理影像中最多存在兩個眼睛。
圖2中,辨識系統100包含一平滑濾波器1、一降取樣器21、一眼部濾波器22、一升取樣器23、一亮度均勻器31、一邊緣偵測器32、一眼部評估器4、一眼部位置計算器5、一辨識校正器6,以及一臉部判斷器7。
平滑濾波器1、降取樣器21、眼部濾波器22、升取樣器23、眼部評估器4、眼部位置計算器5、辨識校正器6和臉部判斷器7依序電連接。平滑濾波器1、亮度均勻器 31、邊緣偵測器32、眼部評估器4也依序電連接。
平滑濾波器1根據待處理影像進行平滑濾波來得到一平滑影像。降取樣器21根據平滑影像減少取樣得到二個取樣影像。眼部濾波器22為每一取樣影像執行眼部濾波得到一對應的濾波影像,升取樣器23據以增加取樣得到一對應的候選影像,其中該眼部濾波器22根據眼部濾波結果來將各取樣影像的其中多個畫素當作濾波眼部畫素,且各候選影像中對應於濾波眼部畫素的畫素稱為候選眼部畫素。而,亮度均勻器31則用以濾除平滑影像的低頻成分,再供邊緣偵測器32偵測出均勻處理後的影像高頻成分來得到一邊緣影像。請注意,待處理影像、平滑影像、均勻處理後影像和邊緣影像具有相同的解析度。對於解析度相同的兩影像來說,位於同一位置的畫素相互對應。對於解析度不同的兩影像來說,例如濾波影像之於候選影像,具有取樣因果關係的畫素相互對應。
眼部評估器4以邊緣影像中對應於各候選影像之候選眼部畫素的那些畫素當做待評估畫素,且評估每一待評估畫素和其鄰近畫素形成的範圍是否符合一眼部特徵而得到一眼部視窗。眼部位置計算器5根據該邊緣影像中對應於該眼部視窗內的畫素,計算眼部於第一軸的投影位置資訊和於第二軸的投影位置資訊。辨識校正器6選擇性地校正眼部投影位置資訊,以獲知兩眼於邊緣影像的位置,且臉部判斷器7據以判斷邊緣影像中的臉部位置。由於待處理影像和邊緣影像具有相同的解析度,因此臉部判斷器7判 斷出的臉部位置相當於待處理影像的臉部位置。
詳細來說,辨識系統100所執行本發明辨識方法之較佳實施例包含圖3的以下步驟。
步驟81:平滑濾波器1為減緩待處理影像的雜訊,根據待處理影像進行平滑濾波來得到一平滑影像。
較佳地,本例的待處理影像是只有亮度變化的灰階影像,但其他應用也可以是彩色影像但僅採用其中的灰階成分進行處理,通常影像的灰階值是介於0~255。又較佳地,本例平滑濾波器1是計算待處理影像的畫素P(x ,y )、P(x -1,y )、P(x +1,y )、P(x ,y -1)、P(x -1,y -1)、P(x +1,y -1)、P(x ,y +1)、P(x -1,y +1)、P(x +1,y +1)的加總平均,來得到平滑影 像的畫素,但其他應用不以此為 限。
步驟82:降取樣器21根據平滑影像,以一第一取樣率來減少取樣得到一第一取樣影像。接著,眼部濾波器22根據第一取樣影像執行第一級眼部濾波和第二級眼部濾波以得到一第一濾波影像,其中這兩級眼部濾波是為了獲知第一取樣影像的哪些畫素可能屬於眼部位置,而將第一濾波影像的對應畫素當作濾波眼部畫素。然後,升取樣器23更根據第一濾波影像以第一取樣率來增加取樣得到第一候選影像,而使第一候選影像的解析度相同於平滑影像,其中第一候選影像中對應於濾波眼部畫素的那些畫素稱為候選眼部畫素。
降取樣器21也根據平滑影像,以一第二取樣率來減少 取樣得到一第二取樣影像。眼部濾波器22則根據第二取樣影像,執行第一級眼部濾波和第二級眼部濾波以得到一第二濾波影像。升取樣器23進而根據第二濾波影像,以第二取樣率來增加取樣得到第二候選影像,且第二候選影像也同理地具有多個候選眼部畫素。
較佳地,本例第一取樣率=1/4,第二取樣率=1/9,取樣後的影像可參考圖1。如熟於本技藝者所知,取樣率=1/m,即減少取樣後影像解析度=取樣前影像解析度的1/m倍。
本例的第一級眼部濾波是利用各取樣影像的畫素Sa(x +m ,y +n )來算出對應初篩影像的畫素Sb(x ,y ),其中m=-1,0,1,n=-4,-3,-2,-1,0,1,2,3,4,這些畫素Sa(x +m ,y +n )的相對位置可參考圖4。詳細來說,主要是根據式(1)、式(2)和式(3)來決定初篩影像的畫素Sb(x ,y )。式(1)是因為眼睛上方和下方畫素的灰階差異極小,式(2)是因為眼睛相較於其上方和下方畫素有較暗的灰階值。較佳地,第一門檻TH1=200,第二門檻TH2=550。
本例的第二級眼部濾波是利用各初篩影像的畫素Sb(x +p ,y +q )來算出對應再篩影像的畫素Sc(x ,y ),利用各初篩影像的畫素Sb(x +s ,y +t )來算出另一對應再篩影像的畫素Sd(x ,y ),再根據這兩個再篩影像取交集來得到濾波影像的畫素Se(x ,y )。其中,p、q、s、t的要求如下,畫素Sb(x +p ,y +q )的相對位置可參考圖5,畫素Sb(x +s ,y +t )的相對位置可參考圖6。
詳細來說,主要是根據式(4)、式(5)和式(6)計算第一比對信號Es _c (x ,y )和第二比對信號Ed _c (x ,y )而決定再篩影像的畫素Sc(x ,y ),且根據式(7)、式(8)和式(9)計算第三比對信號Es _d (x ,y )和第四比對信號Ed _d (x ,y )而決定另一再篩影像的畫素Sd(x ,y ),然後在滿足Sc(x ,y )=Sd (x ,y )=255的情況下令濾波影像的畫素Se(x ,y )=255,否則令濾波影像的畫素Se(x ,y )=0。
式(6)
步驟83:亮度均勻器31濾除平滑影像的低頻成分以得到一均勻影像,且邊緣偵測器32偵測均勻影像的高頻成分來得到邊緣影像,見圖7。
亮度均勻器31的作動可參考W.C.Kao等人於2010年提出的“Local contrast enhancement and adaptive feature extraction for illumination-invariant face recognition”中關於LCE(Local Contrast Enhancement)的影像處理方式,邊緣偵測器32的作動可參考R.C.Gonzalez等人於2007年提出的“Digital Image Processing”中的Sobel方式。由於LCE和Sobel方式均為習知技藝,在此不予贅述。當然,在其他應用中,影像低頻成分的濾除和影像高頻成分的偵測處理並不需侷限於上述。
請注意,步驟82和83可以互換作動順序,或者可以同時執行。
步驟84:眼部評估器4以邊緣影像中對應於各候選影像之候選眼部畫素的那些畫素當做待評估畫素,且評估每一待評估畫素和其鄰近畫素形成的範圍是否符合一眼部特 徵而得到一眼部視窗。
在取樣率=1/m的情況下(即減少取樣後影像解析度=取樣前影像解析度的1/m倍),待評估畫素E(x,y)和其鄰近畫素所形成的範圍可參考圖8,此範圍呈現十字節形狀且包括區域S1、S2、S3、S4和S5。第一區域S1具有畫素E(xS1 ,yS1 ),其中(x -6m +1) x S 1 (x +6m ),(y -4m +1) y S 1 (y +4m )。第二區域S2具有畫素E(xS2 ,yS2 ),其中(x -6m +1) x S 2 (x +6m ),(y -12m +1) y S 2 (y -4m )。第三區域S3具有畫素E(xS3 ,yS3 ),其中(x -12m +1) x S 3 (x -6m ),(y -4m +1) y S 3 (y +4m )。第四區域S4具有畫素E(xS4 ,yS4 ),其中(x -6m +1) x S 4 (x +6m ),(y +4m +1) y S 4 (y +12m )。第五區域S5具有畫素E(xS5 ,yS5 ),其中(x +6m +1) x S 5 (x +12m ),(y -4m +1) y S 5 (y +4m )。而區域S1具有子區域S11、S12和S13;第一子區域S11具有畫素E(xS11 ,yS11 ),其中(x -2m +1) x S 11 (x +2m ),(y -4m +1) y S 11 (y +4m );第二子區域S12具有畫素E(xS12 ,yS12 ),其中(x -6m +1) x S 12 (x -2m ),(y -4m +1) y S 12 (y +4m );第三子區域S13具有畫素E(xS13 ,yS13 ),其中(x +2m +1) x S 13 (x +6m ),(y -4m +1) y S 13 (y +4m )。
簡單來說,區域S2、S1、S4沿該第二軸排列,區域S3、S1、S5沿該第一軸排列,並且子區域S12、S11、S13沿該第一軸排列,而待評估畫素E(x,y)屬於子區域S11。
眼部評估器4從邊緣影像中選出對應第一候選影像之候選眼部畫素的畫素當做待評估畫素,且為各待評估畫素E(x,y)計算區域S1、S2、S3、S4、S5與子區域S11、S12、 S13的畫素總和,並根據式(10)而在區域S1的畫素值總和高於其他所有區域的畫素值總和,且子區域S11的畫素值總和分別高於各其他子區域的畫素值總和的情況下,使畫素E(x,y)的眼部機率資訊eyescore =區域S1的畫素值總和-其他所有區域的畫素值總和。
在計算出所有待評估畫素對應的區域S1眼部機率資訊eyescore 後,且選出哪兩個待評估畫素的區域S1眼部機率資訊eyescore 較大,就根據那兩個待評估畫素的區域S1取聯集來得到第一候選視窗。
其中,區域S1的畫素總和=SUMS1 ,區域S2的畫素總和=SUMS2 ,區域S3的畫素總和=SUMS3 ,區域S4的畫素總和=SUMS4 ,區域S5的畫素總和=SUMS5 ,子區域S11的畫素總和=SUMS11 ,子區域S12的畫素總和=SUMS12 ,子區域S13的畫素總和=SUMS13 。觀察圖圖8和式(10),其主要憑藉的眼部特徵為:眼睛部份較其四週區域具有較多的邊緣資訊,且眼球又較眼白具有更多的邊緣資訊。
如前述說明般,眼部評估器4為第二候選影像找出第 二候選視窗。然後,眼部評估器4根據第一候選視窗和第二候選視窗取聯集來得到眼部視窗。
步驟85:眼部位置計算器5根據眼部視窗計算眼部於第一軸的投影位置資訊和於第二軸的投影位置資訊。
此步驟詳細內容如下。
首先,參考圖9,根據眼部視窗和邊緣影像來求取一鎖定影像,其中鎖定影像中對應於眼部視窗內的畫素具有相同於邊緣影像對應畫素的畫素值,鎖定影像中對應於眼部視窗外的畫素具有畫素值=0。
接著,根據鎖定影像得到一極化影像,其中鎖定影像中滿足畫素值>極化門檻的那些畫素,其對應的極化影像畫素值=255;否則極化影像畫素值=0。
再來,根據極化影像進行膨脹(dilation)處理而得到一膨脹影像。膨脹處理方式可參考R.C.Gonzalez等人於2007年所著作的“Digital Image Processing”。
然後,參考圖10,為膨脹影像,計算位於相同第一軸位置且畫素值=255的畫素個數來得到該第一軸位置的投影量,直到求出所有第一軸位置的投影量。之後,以第一軸位置投影量>投影門檻的那些第一軸位置當作眼部於第一軸的投影位置資訊。
類似地,參考圖11,為膨脹影像,計算位於相同第二軸位置且畫素值=255的畫素個數來得到該第二軸位置的投影量,直到求出所有第二軸位置的投影量。之後,以第二軸位置投影量>投影門檻的那些第二軸位置當作眼部於第二 軸的投影位置資訊。
步驟86:辨識校正器6選擇性地校正眼部投影位置資訊,以獲知兩眼於邊緣影像的位置。
辨識校正器6分析眼部於第一軸的投影位置資訊來判斷辨識出的眼睛數目。當辨識出的眼睛數目為二,辨識校正器6輸出眼部於第一軸和第二軸的投影位置資訊。當辨識出的眼睛數目為一,辨識校正器6沿著第一軸於已辨識眼睛兩側尋找可能的另一眼位置,並將該另一眼位置增添到眼部於第一軸和第二軸的投影位置資訊,然後輸出。
本例中,辨識校正器6是比對已辨識眼睛和其兩側的畫素差異,來找出可能另一眼位置。參閱圖12,假設已辨識眼睛大小為L×W,在沿著第一軸與已辨識眼睛間距L處,分別定義一個大小為(1.5L)×(2W)的搜尋視窗。為已辨識眼睛的其中一畫素定義一個以其為左上角的畫素巨集(Macro-Block),為各搜尋視窗的每個畫素定義一個以其為左上角的畫素巨集,然後分別加總各巨集的畫素總和,找出畫素總和最接近已辨識眼睛畫素巨集的那個巨集來當作另一眼位置的一部分。
步驟87:臉部判斷器7根據辨識校正器6校正後的投影位置資訊,判斷臉部位置。
臉部判斷器7根據校正後的投影位置資訊,獲知兩個已辨識眼睛的位置資訊,包括兩眼寬度、兩眼長度、兩眼間距。接著,利用人臉幾何相對關係推測出人臉位置。人臉幾何相對關係可參考圖13,通常人臉寬度=d2+2×d3,人 臉長度=1.25×d2,其中d0為眼睛長度,d1為兩眼間距,d3為d1的0.2倍,d2=2×d0+d1。
值得注意的是,通常用以擷取待處理影像的攝像機(圖未示)會和人臉相隔一特定距離,但兩者實際間距可能會因為人的前傾或後仰而改變,造成影像中有時眼部較大,有時眼部較小,因此前述較佳實施例特別利用兩種取樣率和相匹配的十字節來評估眼部位置。
但是,本發明領域具有通常知識者也可以根據前述說明而只選用一種取樣率和匹配十字節來完成眼部評估,或是選用三種取樣率以上。當只選用一種取樣率,只會有一候選影像,眼部評估器4根據匹配該取樣率的十字節來評估邊緣影像,且直接使用評估出的候選視窗當做眼部視窗。
又,在另一較佳實施例中,也可以省略降取樣器21和升取樣器23,如此眼部濾波器22將直接根據平滑影像來濾波處理,且直接以濾波影像當作候選影像。
回歸參閱圖4~6,簡單來說,綜觀該兩級眼部濾波,為了決定濾波影像畫素Se (x ,y )是否為濾波眼部畫素,眼部濾波器22會參考取樣影像畫素集合包括沿該第二軸排列的一第一子集合、一第二子集合和一第三子集合,該第一子集合(即第二軸元素={y -4,y -3,y -2})具有e個畫素,該第二子集合即第二軸元素={y -1y ,y +1}具有f個畫素,該第三子集合(即第二軸元素={y +2,y +3,y +4})具有g個畫素,且取樣影像畫素Sa (x ,y )屬於第二子集合,e>f,g>f。
在第一級眼部濾波中,是利用第一子集合的其中f個畫素,第二子集合的f個畫素和第三子集合的其中f個畫素,且所利用的各子集合畫素於第一軸的投影位置相同。
在第二級眼部濾波中,所利用的初篩影像畫素分別對應於第二子集合的f個畫素、第一子集合中非該第一級眼部濾波所利用的其他畫素,以及第三子集合中非該第一級眼部濾波所利用的其他畫素。綜上所述,前述較佳實施例中,眼部濾波器22採用兩級眼部濾波可以更適切地找出候選眼部畫素,避免後續不必要的眼部評估,且眼部評估器4賴以評估的十字節範圍判斷更細緻描述眼部特徵,可有效提升眼部和臉部辨識正確性,故確實能達成本發明之目的。
惟以上所述者,僅為本發明之較佳實施例而已,當不能以此限定本發明實施之範圍,即大凡依本發明申請專利範圍及發明說明內容所作之簡單的等效變化與修飾,皆仍屬本發明專利涵蓋之範圍內。
100‧‧‧辨識系統
1‧‧‧平滑濾波器
21‧‧‧降取樣器
22‧‧‧眼部濾波器
23‧‧‧升取樣器
31‧‧‧亮度均勻器
32‧‧‧邊緣偵測器
4‧‧‧眼部評估器
5‧‧‧眼部位置計算器
6‧‧‧辨識校正器
7‧‧‧臉部判斷器
81~87‧‧‧步驟
圖1是一示意圖,說明待處理影像和取樣影像;圖2是一方塊圖,說明本較佳實施例的辨識系統;圖3是一流程圖,說明本較佳實施例的辨識方法;圖4是一示意圖,說明第一級眼部濾波所參考的畫素;圖5是一示意圖,說明第二級眼部濾波所參考的畫素; 圖6是一示意圖,說明第二級眼部濾波所參考的畫素;圖7是一示意圖,說明均勻影像和邊緣影像;圖8是一示意圖,說明十字節範圍;圖9是一示意圖,說明眼部評估器的作動;圖10是一示意圖,說明眼部於第一軸的投影位置資訊;圖11是一示意圖,說明眼部於第二軸的投影位置資訊;圖12是一示意圖,說明用以尋找另一眼的搜尋視窗;及圖13是一示意圖,說明眼部之於臉部的配置。
100‧‧‧辨識系統
1‧‧‧平滑濾波器
21‧‧‧降取樣器
22‧‧‧眼部濾波器
23‧‧‧升取樣器
31‧‧‧亮度均勻器
32‧‧‧邊緣偵測器
4‧‧‧眼部評估器
5‧‧‧眼部位置計算器
6‧‧‧辨識校正器
7‧‧‧臉部判斷器

Claims (10)

  1. 一種辨識方法,適用於分析一待處理影像,該待處理影像具有根據一第一軸和一第二軸呈矩陣排列的多個畫素,且該待處理影像的其中多個畫素組合出一眼部,包含以下步驟:使用一眼部濾波器,根據該待處理影像執行眼部濾波以得到具有多個候選眼部畫素的一候選影像,且是根據該待處理影像的各畫素和其鄰近畫素形成的集合進行眼部濾波結果來決定該候選影像對應的各該畫素是否為候選眼部畫素;使用一邊緣偵測器,偵測該待處理影像的高頻成分來得到一邊緣影像;使用一眼部評估器,以該邊緣影像中對應於該候選影像之候選眼部畫素的那些畫素當做多個待評估畫素,且評估每一待評估畫素和其鄰近畫素形成的範圍是否符合一眼部特徵而得到一眼部視窗;及使用一眼部位置計算器,根據該邊緣影像中對應於該眼部視窗內的畫素,計算該眼部於該第一軸的投影位置資訊,並計算該眼部於該第二軸的投影位置資訊;其中,該眼部濾波器用以決定各候選影像畫素是否為候選眼部畫素的集合包括該待處理影像中沿該第二軸排列的一第一子集合、一第二子集合和一第三子集合,該第一子集合具有e個畫素,該第二子集合具有f個畫素,該第三子集合具有g個畫素,且該被決定是否為候 選眼部畫素的對應畫素屬於該第二子集合,e>f,g>f。
  2. 如請求項1所述的辨識方法,其中,該眼部濾波器所執行眼部濾波包括一第一級眼部濾波和一第二級眼部濾波,且該眼部濾波器根據該待處理影像執行該第一級眼部濾波以得到一初篩影像,根據該初篩影像執行該第二級眼部濾波以得到該候選影像;該眼部濾波器執行該第一級眼部濾波是利用該第一子集合的其中f個畫素,該第二子集合的f個畫素和該第三子集合的其中f個畫素,且所利用的各子集合畫素於該第一軸的投影位置相同;該眼部濾波器執行該第二級眼部濾波是利用該初篩影像的多個畫素,所利用的該等畫素分別對應於該第二子集合的f個畫素、該第一子集合中非該第一級眼部濾波所利用的其他畫素,以及該第三子集合中非該第一級眼部濾波所利用的其他畫素。
  3. 如請求項2所述的辨識方法,其中,該眼部濾波器使該初篩影像中對應於該第二子集合的畫素Sb (x +p ,y )的該等畫素相比於對應於該第一子集合的畫素Sb (x +p -3,y -q )的該等畫素,使該初篩影像中對應於該第二子集合的畫素Sb (x +p ,y )的該等畫素相比於對應於該第三子集合的畫素Sb (x +p -3,y +q )的該等畫素,使該初篩影像畫素中對應於該第一子集合的畫素Sb (x +p -3,y -q )的該等畫素相比於對應於該第三子集合的畫素Sb (x +p -3,y +q )的該等畫素,使該初篩影像畫素中對應於該第二子集合的畫素Sb (x +p ,y )的該等畫 素相比於對應於該第一子集合的畫素Sb (x +p +3,y -q )的該等畫素,使該初篩影像畫素中對應於該第二子集合的畫素Sb (x +p ,y )的該等畫素相比於對應於該第三子集合的畫素Sb (x +p +3,y +q )的該等畫素,使該初篩影像畫素中對應於該第一子集合的畫素Sb (x +p +3,y -q )的該等畫素相比於對應於該第三子集合的畫素Sb (x +p +3,y +q )的該等畫素,以決定該候選影像的畫素Se(x ,y )是否為候選眼部畫素;其中p =0,±1,q =2,3,4,該第二子集合具有f=9個畫素。
  4. 如請求項3所述的辨識方法,其中,該眼部濾波器基於式(A)使用該等畫素Sb (x +p -3,y -q )和Sb (x +p -3,y +q )計算一第一比對信號Es _c (x ,y ),基於式(B)使用該等畫素Sb (x +p -3,y -q )、Sb (x +p ,y )和畫素Sb (x +p -3,y +q )計算一第二比對信號Ed _c (x ,y ),基於式(C)使用該等畫素Sb (x +p +3,y -q )和Sb (x +p +3,y +q )計算一第三比對信號Es _d (x ,y ),基於式(D)使用該等畫素Sb (x +p +3,y -q )、Sb (x +p ,y )和Sb (x +p +3,y +q )計算一第四比對信號Ed _d (x ,y ); 當該眼部濾波器判斷出該第一比對信號Es _c (x ,y )<一第一門檻,該第二比對信號Ed _c (x ,y )>一第二門檻,該第 三比對信號Es _d (x ,y )<該第一門檻,且該第二比對信號Ed _c (x ,y )>該第二門檻,就決定該候選影像的畫素Se(x ,y )為候選眼部畫素。
  5. 如請求項1所述的辨識方法,其中,各待評估畫素和其鄰近畫素形成的範圍包括一第一區域、一第二區域、一第三區域、一第四區域和一第五區域,各該待評估畫素屬於該第一區域,該第二區域、該第一區域和該第四區域沿該第二軸排列,該第三區域、該第一區域和該第五區域沿該第一軸排列;且該第一區域更包括沿該第一軸排列的一第一子區域、一第二子區域和一第三子區域,各該待評估畫素屬於該第二子區域;當該眼部評估器判斷出該第一區域的畫素值總和高於其他所有區域的畫素值總和,且判斷出該第二子區域的畫素值總和分別高於各其他子區域的畫素值總和,則使對應待評估畫素的眼部機率資訊=該第一區域的畫素值總和-其他所有區域的畫素值總和;且該眼部評估器選出對應較高眼部機率資訊的二個待評估畫素,而聯集該二個待評估畫素的第一區域來得到該眼部視窗。
  6. 如請求項5所述的辨識方法,更包含以下步驟:使用一降取樣器,根據該待處理影像,使用一取樣率來減少取樣出一取樣影像,以供該眼部濾波器進行眼部濾波處理;及 使用一升取樣器,在該眼部濾波器根據該取樣影像執行眼部濾波後,根據濾波後影像使用該取樣率來增加取樣出該候選影像;且該眼部評估器用以評估各待評估畫素的該等區域大小會隨著該取樣率改變。
  7. 如請求項6所述的辨識方法,其中,該降取樣器根據該待處理影像,更使用另一取樣率來減少取樣出另一取樣影像,且該眼部濾波器根據該另一取樣影像執行眼部濾波,該升取樣器再使用該另一取樣率來增加取樣出另一候選影像;;該眼部評估器更以該邊緣影像中對應於該另一候選影像之候選眼部畫素的那些畫素當做多個待評估畫素,且從中選出對應較高眼部機率資訊的二個待評估畫素;該眼部評估器使用基於該候選影像選出的待評估畫素的第一區域,且使用基於該另一候選影像選出的待評估畫素的第一區域,來聯集得到該眼部視窗。
  8. 如請求項1所述的辨識方法,更包含以下步驟:使用一辨識校正器,根據該眼部位置計算器計算出的該眼部於該第一軸的投影位置資訊,判斷辨識出的眼睛數目;當該辨識校正器辨識出的眼睛數目為一,便沿著該第一軸於該已辨識眼睛的兩側尋找另一眼位置,並根據該另一眼位置更新該眼部於該第一軸的投影位置資訊和該眼部於該第二軸的投影位置資訊。
  9. 一種辨識方法,適用於分析一待處理影像,該待處理影像具有根據一第一軸和一第二軸呈矩陣排列的多個畫素,且該待處理影像的其中多個畫素組合出一眼部,包含以下步驟:使用一眼部濾波器,根據該待處理影像執行眼部濾波以得到具有多個候選眼部畫素的一候選影像,且是根據該待處理影像的各畫素和其鄰近畫素形成的集合進行眼部濾波結果來決定該候選影像對應的各該畫素是否為候選眼部畫素;使用一邊緣偵測器,偵測該待處理影像的高頻成分來得到一邊緣影像;使用一眼部評估器,以該邊緣影像中對應於該候選影像之候選眼部畫素的那些畫素當做多個待評估畫素,且評估每一待評估畫素和其鄰近畫素形成的範圍是否符合該眼部特徵而得到一眼部視窗;及使用一眼部位置計算器,根據該邊緣影像中對應於該眼部視窗內的畫素,計算該眼部於該第一軸的投影位置資訊,並計算該眼部於該第二軸的投影位置資訊;其中,各待評估畫素和其鄰近畫素形成的範圍包括一第一區域、一第二區域、一第三區域、一第四區域和一第五區域,各該待評估畫素屬於該第一區域,該第二區域、該第一區域和該第四區域沿該第二軸排列,該第三區域、該第一區域和該第五區域沿該第一軸排列;且該第一區域更包括沿該第一軸排列的一第一子區 域、一第二子區域和一第三子區域,各該待評估畫素屬於該第二子區域;當該眼部評估器判斷出該第一區域的畫素值總和高於其他所有區域的畫素值總和,且判斷出該第二子區域的畫素值總和分別高於各其他子區域的畫素值總和,則使對應待評估畫素的眼部機率資訊=該第一區域的畫素值總和-其他所有區域的畫素值總和;且該眼部評估器根據較高眼部機率資訊的待評估畫素所對應的第一區域來得到該眼部視窗。
  10. 一種辨識系統,適用於分析一待處理影像,該待處理影像具有根據一第一軸和一第二軸呈矩陣排列的多個畫素,且該待處理影像的其中多個畫素組合出一眼部,該辨識系統使用如申請專利範圍1~9中任一項所述之辨識方法來提供該眼部於該第一軸的投影位置資訊,以及該眼部於該第二軸的投影位置資訊。
TW101148384A 2012-12-19 2012-12-19 Applies to eye recognition methods and identification systems TWI469061B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW101148384A TWI469061B (zh) 2012-12-19 2012-12-19 Applies to eye recognition methods and identification systems

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW101148384A TWI469061B (zh) 2012-12-19 2012-12-19 Applies to eye recognition methods and identification systems

Publications (2)

Publication Number Publication Date
TW201426568A TW201426568A (zh) 2014-07-01
TWI469061B true TWI469061B (zh) 2015-01-11

Family

ID=51725567

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101148384A TWI469061B (zh) 2012-12-19 2012-12-19 Applies to eye recognition methods and identification systems

Country Status (1)

Country Link
TW (1) TWI469061B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI682329B (zh) * 2018-12-14 2020-01-11 技嘉科技股份有限公司 臉部辨識方法、裝置及計算機可讀取媒體

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6215891B1 (en) * 1997-03-26 2001-04-10 Oki Electric Industry Co., Ltd. Eye image recognition method eye image selection method and system therefor
TW200911195A (en) * 2007-09-12 2009-03-16 Automotive Res & Amp Testing Ct Eye recognition/tracing method applied in personnel supervision, and apparatus
TW201001302A (en) * 2008-06-25 2010-01-01 Altek Corp Method of determining eye visual-lines

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6215891B1 (en) * 1997-03-26 2001-04-10 Oki Electric Industry Co., Ltd. Eye image recognition method eye image selection method and system therefor
TW200911195A (en) * 2007-09-12 2009-03-16 Automotive Res & Amp Testing Ct Eye recognition/tracing method applied in personnel supervision, and apparatus
TW201001302A (en) * 2008-06-25 2010-01-01 Altek Corp Method of determining eye visual-lines

Also Published As

Publication number Publication date
TW201426568A (zh) 2014-07-01

Similar Documents

Publication Publication Date Title
EP3333768A1 (en) Method and apparatus for detecting target
US8843424B2 (en) Device and method for multiclass object detection
US9275464B2 (en) Method for determining the extent of a foreground object in an image
KR20180065889A (ko) 타겟의 검측 방법 및 장치
WO2020233397A1 (zh) 在视频中对目标进行检测的方法、装置、计算设备和存储介质
US8947600B2 (en) Methods, systems, and computer-readable media for detecting scene changes in a video
CN111783665A (zh) 一种动作识别方法、装置、存储介质和电子设备
US20140056519A1 (en) Method, apparatus and system for segmenting an image in an image sequence
JP4658532B2 (ja) 顔を検出する処理方法及び画像中の顔の検出装置
WO2023159898A1 (zh) 一种动作识别系统、方法、装置及模型训练方法、装置、计算机设备及计算机可读存储介质
Yu et al. A robust method for detecting and counting people
WO2021013049A1 (zh) 前景图像获取方法、前景图像获取装置和电子设备
Chen et al. Edge preservation ratio for image sharpness assessment
KR101236223B1 (ko) 차선 검출 방법
CN112581481B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
Chen et al. An improved edge detection in noisy image using fuzzy enhancement
JP2005165387A (ja) 画面のスジ欠陥検出方法及び装置並びに表示装置
TWI469061B (zh) Applies to eye recognition methods and identification systems
JP6798609B2 (ja) 映像解析装置、映像解析方法およびプログラム
JP6811244B2 (ja) 画像処理装置、ステレオカメラ装置及び画像処理方法
JP6028972B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN108009480A (zh) 一种基于特征识别的图像人体行为检测方法
CN110490170A (zh) 一种人脸候选框提取方法
JP2004013615A (ja) 移動物体監視装置
Mahmood et al. Anomaly event detection and localization of video clips using global and local outliers