TWI641999B - Eyeball recognition method and system - Google Patents

Eyeball recognition method and system Download PDF

Info

Publication number
TWI641999B
TWI641999B TW105142080A TW105142080A TWI641999B TW I641999 B TWI641999 B TW I641999B TW 105142080 A TW105142080 A TW 105142080A TW 105142080 A TW105142080 A TW 105142080A TW I641999 B TWI641999 B TW I641999B
Authority
TW
Taiwan
Prior art keywords
image
sub
rectangular
unit
rectangular image
Prior art date
Application number
TW105142080A
Other languages
English (en)
Other versions
TW201727540A (zh
Inventor
馮亮
尹亞偉
蔡子豪
Original Assignee
中國銀聯股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中國銀聯股份有限公司 filed Critical 中國銀聯股份有限公司
Publication of TW201727540A publication Critical patent/TW201727540A/zh
Application granted granted Critical
Publication of TWI641999B publication Critical patent/TWI641999B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本發明提供眼球識別方法，包括：a)獲取使用者面部圖像；b)在所獲取的面部圖像中，劃分出包含人臉輪廓的矩形，該矩形為包含人臉輪廓的矩形圖像；c)記錄所劃分出的矩形圖像在顯示系統中的座標；d)針對所劃分的矩形圖像，基於人臉圖像的對稱性與投影振幅，進行校正，以獲得校正後的人臉圖像；e)基於校正後的人臉圖像以及所記錄的位置，識別眼球位置。

Description

眼球識別方法及系統
本發明涉及臉部識別技術，更為具體地，涉及眼球識別技術。
眼球追蹤主要是研究眼球運動資訊的獲取、建模和模擬。隨著攝像頭已廣泛普及在手機、筆記型電腦、PC等設備中，眼球追蹤已廣泛用於活體檢測、汽車駕駛員疲勞檢測、指令控制等場景中。
人臉平面旋轉校正是完成眼球跟蹤中重要一環，很多識別眼球的實現效果有賴於圖像是否旋轉校正。
有鑑於此，本發明提供眼球識別方法，包括：a)獲取使用者面部圖像；b)在所獲取的面部圖像中，劃分出包含人臉輪廓的矩形，該矩形為包含人臉輪廓的矩形圖像；c)記錄所劃分出的矩形圖像在顯示系統中的座標； d)針對所劃分的矩形圖像，基於人臉圖像的對稱性與投影振幅，進行校正，以獲得校正後的人臉圖像；e)基於校正後的人臉圖像以及所記錄的位置，識別眼球位置。
根據本發明一個示例的眼球識別方法，其中，所述步驟d包括：d1)計算該矩形圖像的中心點位置o；d2)將所述矩形圖像轉換為灰度圖P；d3)在所述灰度圖中，以至少不同比例劃分出多個子矩形圖像qi，其中，各子矩形圖像qi均以所述中心點為中心，所述比例均小於1，i為大於1的整數；d4)將各子矩形圖像qi在矩形圖像的平面內繞中心點旋轉一定角度α；d5)對各子矩形圖像，向其長度方向做投影得到長度方向投影曲線f(x)，計算該投影曲線f(x)的波峰灰度值g max(q i )、波谷灰度值g min(q i )；d6)對各子矩形圖像qi，計算其對稱性Sym(qi)；d7)對各子矩形圖像qi，分別計算h(qi)=gmax(qi)-β．gmin(qi)+η．Sym(qi)，其中，β與η是預設參數，兩者均為正數；可根據圖片的特點設置β與η，它們數值越大，與它們相乘的項的權重就越大；d8)將各子矩形圖像qi的h(qi)值累加，獲得旋轉α角度下的累加h值；d9)在(α 1，α 2)的角度範圍內變換旋轉角度α的 大小，並依次執行步驟d4到d8獲得多個旋轉角度下的h值；d10)從多個旋轉角度下的多個h值中選擇最大的h值，與該h值對應的旋轉角度對應的圖像即為校正圖像。
根據本發明一個示例的眼球識別方法，其中，所述步驟d6包括：對每個矩形圖像qi，向長度方向做投影，得到該方向的投影曲線g(y)；使對稱中心處於[1/4w,1/2w]範圍內時，對稱區間分別是(0,c)和(c，2c)，其中w為矩形圖像p的寬度，c為對稱中心，則Sym(qi,c)=Σ| g(y)-g(2c-y)|，其中y在(0,c)範圍內；以及當對稱中心c處於[1/2w,3/4w]範圍內時，對稱區間分別是(2c-w,c)和(c,w)，則Sym(qi)=Σ| g(y)-g(2c-y)|，其中y在(c,w)範圍內。
根據本發明一個示例的眼球識別方法，其中，步驟d3中，以不同的三個比例劃分出三個子矩形圖像p1，P2與P3。
根據本發明的又一方面，還提供眼球識別系統，該系統包括：第一單元，用於獲取使用者面部圖像；第二單元，用於在所獲取的面部圖像中，劃分出包含人臉輪廓的矩形，該矩形為包含人臉輪廓的矩形圖像；第三單元，用於記錄所劃分出的矩形圖像在顯示系統 中的座標；第四單元，用於針對所劃分的矩形圖像，基於人臉圖像的對稱性與投影振幅，進行校正，以獲得校正後的人臉圖像；第五單元，用於基於校正後的人臉圖像以及所記錄的位置，識別眼球位置。
根據本發明一個示例的眼球識別系統，其中，所述第四單元包括：第一子單元，用於計算該矩形圖像的中心點位置；第二子單元，用於將所述矩形圖像轉換為灰度圖P；第三子單元，用於在所述矩形圖像中，以至少不同比例劃分出多個子矩形圖像qi，其中，各子矩形圖像qi均以所述中心點為中心，所述比例均小於1，i為大於1的整數；第四子單元，用於將各子矩形圖像qi在矩形圖像的平面內繞中心點旋轉一定角度α；第五子單元，用於對各子矩形圖像，向其長度方向做投影得到長度方向投影曲線f(x)，計算該投影曲線f(x)的波峰灰度值g max(q i )、波谷灰度值g min(q i )；第六子單元，用於對各子矩形圖像qi，計算其對稱性Sym(qi)；第七子單元，用於對各子矩形圖像qi，分別計算h(qi)=gmax(qi)-β．gmin(qi)+η．Sym(qi)；第八子單元，用於將各子矩形圖像qi的h(qi)值累 加，獲得旋轉α角度下的累加h值；第九子單元，用於在(α 1，α 2)的角度範圍內變換旋轉角度α的大小，並將轉換後的角度傳送給第四子單元，由第四子單元到第八子單元依次操作獲得多個旋轉角度下的h值；第十子單元，用於從多個旋轉角度下的多個h值中選擇最大的h值，與該h值對應的旋轉角度對應的圖像即為校正圖像。
10‧‧‧步驟
12‧‧‧步驟
14‧‧‧步驟
16‧‧‧步驟
18‧‧‧步驟
140‧‧‧步驟
142‧‧‧步驟
144‧‧‧步驟
146‧‧‧步驟
148‧‧‧步驟
150‧‧‧步驟
152‧‧‧步驟
154‧‧‧步驟
156‧‧‧步驟
158‧‧‧步驟
50‧‧‧第一單元
52‧‧‧第二單元
54‧‧‧第三單元
56‧‧‧第四單元
58‧‧‧第五單元
圖1是根據本發明示例的眼球識別方法的流程圖。
圖2給出了圖1中的步驟14的流程圖。
圖3示意了第三子圖像q3繞中心點o旋轉角度α後的示意性圖示。
圖4是該眼球識別系統的結構示意圖。
現在參照附圖描述本發明的示意性示例。相同的附圖標號表示相同的元件。下文描述的各實施例有助於本領域技術人員透徹理解本發明，且意在示例而非限制。除非另有限定，文中使用的術語(包括科學、技術和行業術語)具有與本發明所屬領域的技術人員普遍理解的含義相同的含義。此外，流程圖中各步驟的先後順序也不 以圖示的順序為限。
在本文中，圖像與圖像均表示通過攝像頭等影像獲取元件所取得的使用者的圖像以及基於該圖像進行處理後獲得的圖像，圖像與圖像在本文中可互換使用。
圖1是根據本發明一個示例的眼球識別方法的流程圖。簡單來說，根據圖1所示的方法，首先獲取到使用者面部圖像，隨後對其進行處理以獲得校正圖像，在該校正圖像中確認眼球的位置，最後基於所確認的眼球位置來確定原始的使用者面部圖像中的眼球位置。
在步驟10，獲取使用者面部圖像。可通過攝像頭等影像獲取部件獲取使用者面部圖像。
在步驟12，在所獲取的面部圖像中，劃分出包含人臉輪廓的矩形，該矩形即為包含人臉輪廓的矩形圖像。所劃分的矩形圖像至少包括人的五官。劃分可採用已有圖形識別方法中的劃分方式。
在步驟14，記錄所劃分出的矩形圖像在顯示系統中的座標。所顯示的圖像在現實設備中都有座標位置，示例地，可記錄該座標位置。
在步驟16，針對所劃分的矩形圖像，基於人臉圖像的對稱性與投影振幅，進行校正，以獲得校正後的人臉圖像。
在步驟18，基於校正後的人臉圖像以及所記錄的位置，識別眼球位置。該步驟識別出眼球位置之後，則可結合步驟14中記錄的座標位置，相應地確定出原始 圖像中眼球的位置。
作為示例，圖2給出了圖1中的步驟14的流程圖。
如圖所示，在步驟140，計算該矩形圖像的中心點o位置。
在步驟142，將所述矩形圖像轉換為灰度圖P。
在步驟144，在所述灰度圖中，以至少不同比例劃分出多個子矩形圖像qi，其中，各子矩形圖像qi均以所述中心點為中心，所述比例均小於1，i為大於1的整數。作為示例，按照0.5、0.6以及0.7的比例分別劃分出三個子矩形圖像，在以下的示例中，分別將其稱為第一子圖像q1、第二子圖像q2與第三子圖像q3。
在步驟146，將各子矩形圖像qi在矩形圖像的平面內繞中心點o旋轉一定角度α。例如將第一子圖像q1繞中心點o旋轉角度α，將第一子圖像q2繞中心點o旋轉角度α，將第一子圖像q3繞中心點o旋轉角度α。
在步驟148，對各子矩形圖像，向其長度方向做投影得到長度方向投影曲線f(x)，計算該投影曲線f(x)的波峰灰度值g max(q i )、波谷灰度值g min(q i )。圖3示意了第三子圖像q3繞中心點o旋轉角度α後的示意性圖示。如圖所示，矩形圖像q的長度為w，寬度為h，這裡要特別說明的是，在本發明的示例中，是將矩形圖像q沿著顯示幕幕x軸方向的邊的長度作為長度邊、沿著顯示幕幕y軸方 向的邊的長度做為寬度邊。但這僅是示意，也可將沿x軸方向的長度作為寬度邊，沿顯示幕幕y軸方向的邊的長度作為高度的邊。第三子圖像q3的長度為w’，寬度為h’。將第三子圖像q3向其長度邊的方向投影，獲得投影曲線f(x)，計算該投影曲線f(x)的波峰灰度值g max(q 3)、波谷灰度值g min(q 3)。
在步驟150，對各子矩形圖像qi，計算其對稱性Sym(qi)。對於圍繞中心o旋轉的每個子圖像qi，左右按照人臉中心垂線具有對稱性。自然而然，我們計算每張候選圖像qi的對稱性值Sym(qi)，以衡量人臉的對稱性。同時，在圖像中，無法實現準確得知人臉中心線的位置，所以，系統逐一將對稱中心c設置1/4w到3/4w的範圍內，計算對稱中心c的圖片的對稱性值Sym(qi,c)，挑取其中最大數值，作為圖片的對稱性值Sym(qi,c)。在此，應理解到，Sym(qi,c)表示的是以對稱中心c為對稱中心而獲得的Sym(qi)。Sym(qi,c)的計算方式如下：對個每個矩形q，向y軸方向(與長度邊平行)做投影，得到y軸灰度值投影曲線x=g(y)；當對稱中心c處於[1/4w,1/2w]範圍內時，對稱區間分別是(0,c)和(o，2c)Sym(qi,c)=Σ| g(y)-g(2c-y)|，其中y屬於(0,c)範圍內；當對稱中心c處於[1/2w,3/4w]範圍內時，對稱區間分別是(2c-w,c)和(c,w)；以及Sym(qi,c)=Σ| g(y)-g(2c-y)|，其中y屬於(c,w)範圍內。
隨後，在步驟152，對各子矩形圖像qi，分別計算h(qi)=gmax(qi)-β．gmin(qi)+η．Sym(qi)。示例地，對第一子圖像q1，計算h(q1)=gmax(q1)-β．gmin(q1)+η．Sym(q1,c)；對第二子圖像q2，計算h(q2)=gmax(q2)-β．gmin(q2)+η．Sym(q2,c)；q1，對第三子圖像q3計算h(q3)=gmax(q3)-β．gmin(q3)+η．Sym(q3,c)。
在步驟154，對各子矩形圖像qi的h(qi)值累加，獲得旋轉α角度下的累加h值。示例地，累加h是h(q1)、h(q2)與h(q3)的和。
在步驟156，在(α 1，α 2)的角度範圍內變換旋轉角度α的大小，並依次執行步驟146到步驟154獲得多個旋轉角度下的h值。
在步驟158，從步驟154中得到的h值以及執行步驟156得到的多個h值中，選擇最大的h值。該具有最大的h值的子圖像便是所選擇的校正圖像。
例如根據圖2所示的過程獲得了矯正圖像之後，可獲知眼球在該矯正圖像中的位置。進一步，基於該位置以及所記錄的所劃分出的矩形圖像在顯示系統中的座標，便可識別出使用者面部圖像中的眼球。
如本發明各示例的眼球識別方法可實現為軟體模組，結合到現有的人臉識別模組或設備中。可替代地，也可實現為軟體與硬體的結合，或僅通過硬體來實現。
根據本發明，還提供眼球識別系統。圖4是 該眼球識別系統的結構示意圖。如圖所示，該眼球識別系統包括第一單元50，第二單元52，第三單元54，第四單元56，第五單元58。
第一單元50用於獲取使用者面部圖像，其例如可以是攝像頭等影像獲取部件。
第二單元52在所獲取的面部圖像中，劃分出包含人臉輪廓的矩形，該矩形即為包含人臉輪廓的矩形圖像。所劃分的矩形圖像至少包括人的五官。劃分可採用已有圖形識別方法中的劃分方式。
第三單元54記錄所劃分出的矩形圖像在顯示系統中的座標。所顯示的圖像在現實設備中都有座標位置，示例地，可記錄該座標位置。
第四單元56針對所劃分的矩形圖像，基於人臉圖像的對稱性與投影振幅，進行校正，以獲得校正後的人臉圖像。
第五單元58，基於校正後的人臉圖像以及所記錄的位置，識別眼球位置。該識別出眼球位置之後，則可結合記錄的座標位置，相應地確定出原始圖像中眼球的位置。
第四單元56進一步可包括多個子單元。第一子單元計算該矩形圖像的中心點o位置。第二子單元將所述矩形圖像轉換為灰度圖P。第三子單元在所述灰度圖中，以至少不同比例劃分出多個子矩形圖像qi，其中，各子矩形圖像qi均以所述中心點為中心，所述比例均小於 1，i為大於1的整數。作為示例，按照0.5、0.6以及0.7的比例分別劃分出三個子矩形圖像，在以下的示例中，分別將其稱為第一子圖像q1、第二子圖像q2與第三子圖像q3。
第四子單元將各子矩形圖像qi在矩形圖像的平面內繞中心點o旋轉一定角度α。例如將第一子圖像q1繞中心點o旋轉角度α，將第一子圖像q2繞中心點o旋轉角度α，將第一子圖像q3繞中心點o旋轉角度α。
第五子單元對各子矩形圖像，向其長度方向做投影得到長度方向投影曲線f(x)，計算該投影曲線f(x)的波峰灰度值g max(q i )、波谷灰度值g min(q i )。圖3示意了第三子圖像q3繞中心點o旋轉角度α後的示意性圖示。如圖所示，矩形圖像q的長度為w，寬度為h，這裡要特別說明的是，在本發明的示例中，是將矩形圖像q沿著顯示幕幕x軸方向的邊的長度作為長度邊、沿著顯示幕幕y軸方向的邊的長度做為寬度邊。但這僅是示意，也可將沿x軸方向的長度作為寬度邊，沿顯示幕幕y軸方向的邊的長度作為高度的邊。第三子圖像q3的長度為w’，寬度為h’。將第三子圖像q3向其長度邊的方向投影，獲得投影曲線f(x)，計算該投影曲線f(x)的波峰灰度值g max(q 3)、波谷灰度值g min(q 3)。
第六子單元對各子矩形圖像qi，計算其對稱性Sym(qi)。對於圍繞中心o旋轉的每個子圖像qi，左右按照人臉中心垂線具有對稱性。自然而然，我們計算每張 候選圖像qi的對稱性值Sym(qi)，以衡量人臉的對稱性。同時，在圖像中，無法實現準確得知人臉中心線的位置，所以，系統逐一將對稱中心c設置1/4w到3/4w的範圍內，計算對稱中心c的圖片的對稱性值Sym(qi,c)，挑取其中最大數值，作為圖片的對稱性值Sym(qi,c)。在此，應理解到，Sym(qi,c)表示的是以對稱中心c為對稱中心而獲得的Sym(qi)。Sym(qi,c)的計算方式如下：對個每個矩形q，向y軸方向(與長度邊平行)做投影，得到y軸灰度值投影曲線x=g(y)；當對稱中心c處於[1/4w,1/2w]範圍內時，對稱區間分別是(0,c)和(o，2c)Sym(qi,c)=Σ| g(y)-g(2c-y)|，其中y屬於(0,c)範圍內；當對稱中心c處於[1/2w,3/4w]範圍內時，對稱區間分別是(2c-w,c)和(c,w)；以及Sym(qi,c)=Σ| g(y)-g(2c-y)|，其中y屬於(c,w)範圍內。
第七子單元對各子矩形圖像qi，分別計算h(qi)=gmax(qi)-β．gmin(qi)+η．Sym(qi)。示例地，對第一子圖像q1，計算h(q1)=gmax(q1)-β．gmin(q1)+η．Sym(q1,c)；對第二子圖像q2，計算h(q2)=gmax(q2)-β．gmin(q2)+η．Sym(q2,c)；q1，對第三子圖像q3計算h(q3)=gmax(q3)-β．gmin(q3)+η．Sym(q3,c)。
第八子單元對各子矩形圖像qi的h(qi)值累加，獲得旋轉α角度下的累加h值。示例地，累加h是h(q1)、h(q2)與h(q3)的和。
第九子單元在(α 1，α 2)的角度範圍內變換旋轉角度α的大小，並依次執行步驟146到步驟154獲得多個旋轉角度下的h值。
第十子單元從步驟154中得到的h值以及執行步驟156得到的多個h值中，選擇最大的h值。該具有最大的h值的子圖像便是所選擇的校正圖像。
獲得了矯正圖像之後，可獲知眼球在該矯正圖像中的位置。進一步，基於該位置以及所記錄的所劃分出的矩形圖像在顯示系統中的座標，便可識別出使用者面部圖像中的眼球。
如本發明個示例的眼球識別系統可通過軟體是實現，結合到現有的人臉識別模組或設備中。可替代地，也可實現為軟體與硬體的結合，或僅通過硬體來實現。
儘管已結合附圖在上文的描述中，公開了本發明的具體實施例，但是本領域技術人員可以理解到，可在不脫離本發明精神的情況下，對公開的具體實施例進行變形或修改。本發明的實施例僅用於示意並不用於限制本發明。

Claims (6)

  1. 一種眼球識別方法，該方法包括：a)獲取使用者面部圖像；b)在所獲取的面部圖像中，劃分出包含人臉輪廓的矩形，該矩形為包含人臉輪廓的矩形圖像；c)記錄所劃分出的矩形圖像在顯示系統中的座標；d)針對所劃分的矩形圖像，基於人臉圖像的對稱性與投影振幅，進行校正，以獲得校正後的人臉圖像；e)基於校正後的人臉圖像以及所記錄的位置，識別眼球位置。
  2. 如申請專利範圍第1項所述的眼球識別方法，所述步驟d包括：d1)計算該矩形圖像的中心點位置o；d2)將所述矩形圖像轉換為灰度圖P；d3)在所述灰度圖中，以至少不同比例劃分出多個子矩形圖像qi，其中，各子矩形圖像qi均以所述中心點為中心，所述比例均小於1，i為大於1的整數；d4)將各子矩形圖像qi在矩形圖像的平面內繞中心點旋轉一定角度α；d5)對各子矩形圖像，向其長度方向做投影得到長度方向投影曲線f(x)，計算該投影曲線f(x)的波峰灰度值gmax(q i )、波谷灰度值gmin(q i )；d6)對各子矩形圖像qi，計算其對稱性Sym(qi)；d7)對各子矩形圖像qi，分別計算h(qi)=gmax(qi)-β．gmin(qi)+η．Sym(qi)，其中，β與η是預設參數，兩者均為正數；可根據圖片的特點設置β與η，它們數值越大，與它們相乘的項的權重就越大；d8)將各子矩形圖像qi的h(qi)值累加，獲得旋轉α角度下的累加h值；d9)在(α1，α2)的角度範圍內變換旋轉角度α的大小，並依次執行步驟d4到d8獲得多個旋轉角度下的h值；d10)從多個旋轉角度下的多個h值中選擇最大的h值，與該h值對應的旋轉角度對應的圖像即為校正圖像。
  3. 如申請專利範圍第2項所述的眼球識別方法，所述步驟d6包括：對每個矩形圖像qi，向長度方向做投影，得到該方向的投影曲線g(y)；使對稱中心處於[1/4w,1/2w]範圍內時，對稱區間分別是(0,c)和(c，2c)，其中w為矩形圖像p的寬度，c為對稱中心，則Sym(qi,c)=Σ｜g(y)-g(2c-y)｜，其中y在(0,c)範圍內；以及當對稱中心c處於[1/2w,3/4w]範圍內時，對稱區間分別是(2c-w,c)和(c,w)，則Sym(qi)=Σ｜g(y)-g(2c-y)｜，其中y在(c,w)範圍內。
  4. 如申請專利範圍第2項所述的眼球識別方法，步驟d3中，以不同的三個比例劃分出三個子矩形圖像q1，q2與q3。
  5. 一種眼球識別系統，該系統包括：第一單元，用於獲取使用者面部圖像；第二單元，用於在所獲取的面部圖像中，劃分出包含人臉輪廓的矩形，該矩形為包含人臉輪廓的矩形圖像；第三單元，用於記錄所劃分出的矩形圖像在顯示系統中的座標；第四單元，用於針對所劃分的矩形圖像，基於人臉圖像的對稱性與投影振幅，進行校正，以獲得校正後的人臉圖像；第五單元，用於基於校正後的人臉圖像以及所記錄的位置，識別眼球位置。
  6. 如申請專利範圍第5項所述的眼球識別系統，所述第四單元包括：第一子單元，用於計算該矩形圖像的中心點位置；第二子單元，用於將所述矩形圖像轉換為灰度圖P；第三子單元，用於在所述矩形圖像中，以至少不同比例劃分出多個子矩形圖像qi，其中，各子矩形圖像qi均以所述中心點為中心，所述比例均小於1，i為大於1的整數；第四子單元，用於將各子矩形圖像qi在矩形圖像的平面內繞中心點旋轉一定角度α；第五子單元，用於對各子矩形圖像，向其長度方向做投影得到長度方向投影曲線f(x)，計算該投影曲線f(x)的波峰灰度值gmax(q i )、波谷灰度值gmin(q i )；第六子單元，用於對各子矩形圖像qi，計算其對稱性Sym(qi)；第七子單元，用於對各子矩形圖像qi，分別計算h(qi)=gmax(qi)-β．gmin(qi)+η．Sym(qi)，其中，β與η是預設參數，兩者均為正數；可根據圖片的特點設置β與η，它們數值越大，與它們相乘的項的權重就越大；第八子單元，用於將各子矩形圖像qi的h(qi)值累加，獲得旋轉α角度下的累加h值；第九子單元，用於在(α1，α2)的角度範圍內變換旋轉角度α的大小，並將轉換後的角度傳送給第四子單元，由第四子單元到第八子單元依次操作獲得多個旋轉角度下的h值；第十子單元，用於從多個旋轉角度下的多個h值中選擇最大的h值，與該h值對應的旋轉角度對應的圖像即為校正圖像。
TW105142080A 2015-12-30 2016-12-19 Eyeball recognition method and system TWI641999B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
??201511010529.2 2015-12-30
CN201511010529.2A CN105590103B (zh) 2015-12-30 2015-12-30 眼球识别方法及系统

Publications (2)

Publication Number Publication Date
TW201727540A TW201727540A (zh) 2017-08-01
TWI641999B true TWI641999B (zh) 2018-11-21

Family

ID=55929673

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105142080A TWI641999B (zh) 2015-12-30 2016-12-19 Eyeball recognition method and system

Country Status (3)

Country Link
CN (1) CN105590103B (zh)
TW (1) TWI641999B (zh)
WO (1) WO2017114285A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105590103B (zh) * 2015-12-30 2019-10-01 中国银联股份有限公司 眼球识别方法及系统
CN108229392A (zh) * 2018-01-02 2018-06-29 京东方科技集团股份有限公司 一种瞳孔定位方法、装置、设备和介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5859921A (en) * 1995-05-10 1999-01-12 Mitsubishi Denki Kabushiki Kaisha Apparatus for processing an image of a face
US20080118113A1 (en) * 2006-11-21 2008-05-22 Jung Sung Uk Method and apparatus for detecting eyes in face region
US20110091080A1 (en) * 2008-07-02 2011-04-21 C-True Ltd. Face Recognition System and Method

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7142718B2 (en) * 2002-10-28 2006-11-28 Lee Shih-Jong J Fast pattern searching
US7440593B1 (en) * 2003-06-26 2008-10-21 Fotonation Vision Limited Method of improving orientation and color balance of digital images using face detection information
CN101196985B (zh) * 2006-12-18 2011-06-01 北京海鑫科金高科技股份有限公司 一种用于复杂背景图像的眼睛定位方法
JP2010176314A (ja) * 2009-01-28 2010-08-12 Seiko Epson Corp 顔の特徴部位の座標位置を検出する画像処理装置
CN101639933B (zh) * 2009-07-16 2013-03-27 上海合合信息科技发展有限公司 图像旋转校正方法及系统、电子设备
CN102799888B (zh) * 2011-05-27 2015-03-11 株式会社理光 人眼检测方法和人眼检测设备
CN102663393B (zh) * 2012-03-02 2014-10-22 哈尔滨工程大学 基于旋转校正的手指静脉图像感兴趣区域提取方法
CN102867172B (zh) * 2012-08-27 2016-12-21 Tcl集团股份有限公司 一种人眼定位方法、系统及电子设备
CN103325099A (zh) * 2013-07-11 2013-09-25 北京智诺英特科技有限公司 图像校正方法和装置
CN103632136B (zh) * 2013-11-11 2017-03-29 北京天诚盛业科技有限公司 人眼定位方法和装置
CN104063700B (zh) * 2014-07-04 2017-08-18 武汉工程大学 自然光照正面人脸图像中的眼睛中心点定位的方法
CN105590103B (zh) * 2015-12-30 2019-10-01 中国银联股份有限公司 眼球识别方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5859921A (en) * 1995-05-10 1999-01-12 Mitsubishi Denki Kabushiki Kaisha Apparatus for processing an image of a face
US20080118113A1 (en) * 2006-11-21 2008-05-22 Jung Sung Uk Method and apparatus for detecting eyes in face region
US20110091080A1 (en) * 2008-07-02 2011-04-21 C-True Ltd. Face Recognition System and Method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
鄭凱方, "人臉可辨識度計算用於監控系統中人臉正面最佳影像判定", 中央大學碩士論文, 2005. *

Also Published As

Publication number Publication date
WO2017114285A1 (zh) 2017-07-06
CN105590103B (zh) 2019-10-01
TW201727540A (zh) 2017-08-01
CN105590103A (zh) 2016-05-18

Similar Documents

Publication Publication Date Title
CN112330526B (zh) 一种人脸转换模型的训练方法、存储介质及终端设备
CN108230383B (zh) 手部三维数据确定方法、装置及电子设备
EP3992919B1 (en) Three-dimensional facial model generation method and apparatus, device, and medium
JP5812599B2 (ja) 情報処理方法及びその装置
JP6688277B2 (ja) プログラム、学習処理方法、学習モデル、データ構造、学習装置、および物体認識装置
CN108958473A (zh) 眼球追踪方法、电子装置及非暂态电脑可读取记录媒体
JP6793151B2 (ja) オブジェクトトラッキング装置、オブジェクトトラッキング方法およびオブジェクトトラッキングプログラム
TW201915831A (zh) 對象識別方法
US9639950B2 (en) Site estimation device, site estimation method, and site estimation program
US20170147866A1 (en) Image processing device and image display device
JPWO2018189795A1 (ja) 認識装置、認識方法および認識プログラム
JP6822482B2 (ja) 視線推定装置、視線推定方法及びプログラム記録媒体
US20160093028A1 (en) Image processing method, image processing apparatus and electronic device
CN107422844B (zh) 一种信息处理方法及电子设备
CN112232128B (zh) 基于视线追踪的老年残障人士照护需求识别方法
CN113591562A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
TWI641999B (zh) Eyeball recognition method and system
WO2019123554A1 (ja) 画像処理装置、画像処理方法、及び、記録媒体
JP2018137636A (ja) 画像処理装置及び画像処理プログラム
US9323981B2 (en) Face component extraction apparatus, face component extraction method and recording medium in which program for face component extraction method is stored
JPWO2022074865A5 (ja) 生体検知装置、制御方法、及びプログラム
CN116152121B (zh) 基于畸变参数的曲面屏生成方法、矫正方法
WO2018155269A1 (ja) 画像処理装置および方法、並びにプログラム
KR20130081126A (ko) 손 제스처 인식 방법 및 그 장치
TWI704473B (zh) 視線向量偵測方向與裝置