TWI768913B - 眼睛中心定位方法及其定位系統 - Google Patents

眼睛中心定位方法及其定位系統 Download PDF

Info

Publication number
TWI768913B
TWI768913B TW110118349A TW110118349A TWI768913B TW I768913 B TWI768913 B TW I768913B TW 110118349 A TW110118349 A TW 110118349A TW 110118349 A TW110118349 A TW 110118349A TW I768913 B TWI768913 B TW I768913B
Authority
TW
Taiwan
Prior art keywords
image
eye center
eye
position information
front face
Prior art date
Application number
TW110118349A
Other languages
English (en)
Other versions
TW202247040A (zh
Inventor
許巍嚴
鍾季叡
Original Assignee
國立中正大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立中正大學 filed Critical 國立中正大學
Priority to TW110118349A priority Critical patent/TWI768913B/zh
Priority to US17/355,140 priority patent/US11769347B2/en
Application granted granted Critical
Publication of TWI768913B publication Critical patent/TWI768913B/zh
Publication of TW202247040A publication Critical patent/TW202247040A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Geometry (AREA)
  • Databases & Information Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本發明提供一種眼睛中心定位方法，包含影像擷取步驟、正臉生成步驟、眼睛中心標記步驟及幾何轉換步驟。影像擷取步驟自資料庫之影像擷取面部影像。正臉生成步驟係驅動運算處理單元依據正臉生成模型將面部影像轉換為正臉影像。眼睛中心標記步驟係驅動運算處理單元依據梯度法自正臉影像標記出正臉眼睛中心位置資訊。幾何轉換步驟係驅動運算處理單元計算面部影像與正臉影像之間的二旋轉變量，然後依據二旋轉變量及正臉眼睛中心位置資訊計算眼睛中心位置資訊。藉此，本發明之眼睛中心定位方法自非正臉的影像中定位眼睛中心位置資訊。

Description

眼睛中心定位方法及其定位系統
本發明係關於一種定位方法及其定位系統，特別是關於一種眼睛中心定位方法及其定位系統。
眼睛中心定位方法可自具有人類臉部的影像中計算出眼睛中心座標，然而，現有的眼睛中心定位方法適用於具有正臉的影像或是特定旋轉角度內的頭部姿勢影像，當影像中的頭部旋轉角度過大時，將導致現有的眼睛中心定位方法無法準確地自影像中定位出眼睛中心座標。
由此可知，目前市場上缺乏一種不受頭部姿勢的旋轉角度限制的眼睛中心定位方法及其定位系統，故相關業者均在尋求其解決之道。
因此，本發明之目的在於提供一種眼睛中心定位方法，其透過正臉生成模型自影像中重新生成正臉影像，然後定位出眼睛中心座標，藉以提升眼睛中心定位方法的定位精準度。
根據本發明的方法態樣之一實施方式提供一種眼睛中心定位方法，用以自一影像定位一眼睛中心位置資訊，眼睛中心定位方法包含一影像擷取步驟、一正臉生成步驟、一眼睛中心標記步驟及一幾何轉換步驟。影像擷取步驟係驅動一運算處理單元自一資料庫之影像擷取一面部影像。正臉生成步驟係驅動運算處理單元依據一正臉生成模型將面部影像轉換為一正臉影像。眼睛中心標記步驟係驅動運算處理單元依據一梯度法自正臉影像標記出一正臉眼睛中心位置資訊。幾何轉換步驟係驅動運算處理單元計算面部影像與正臉影像之間的二旋轉變量，然後依據二旋轉變量及正臉眼睛中心位置資訊計算眼睛中心位置資訊。
藉此，本發明之眼睛中心定位方法自非正臉的影像中定位眼睛中心位置資訊。
前述實施方式之其他實施例如下：前述影像擷取步驟包含一面部特徵擷取步驟及一面部區域估算步驟。面部特徵擷取步驟係自影像標記一下巴特徵點、一右眼特徵點及一左眼特徵點。面部區域估算步驟係依據下巴特徵點、右眼特徵點及左眼特徵點擷取出面部影像。
前述實施方式之其他實施例如下：前述眼睛中心標記步驟包含一權重調整步驟。權重調整步驟係依據一過濾方法調整正臉影像之一權重值。
前述實施方式之其他實施例如下：前述幾何轉換步驟包含一旋轉變量計算步驟及一眼睛中心轉換步驟。旋轉變量計算步驟係依據一線性關係式計算面部影像與正臉影像之間的二旋轉變量。眼睛中心轉換步驟係依據二旋轉變量預測面部影像相對於正臉影像之一深度轉換座標，並依據深度轉換座標計算眼睛中心位置資訊。
前述實施方式之其他實施例如下：前述眼睛中心定位方法更包含一模型訓練步驟。模型訓練步驟係驅動運算處理單元對面部影像、眼睛中心位置資訊、正臉影像及正臉眼睛中心位置資訊進行訓練，並生成一眼睛中心定位模型。
根據本發明的結構態樣之一實施方式提供一種眼睛中心定位系統，用以自一影像定位一眼睛中心位置資訊，眼睛中心定位系統包含一資料庫及一運算處理單元。資料庫用以存取影像、一正臉生成模型及一梯度法。運算處理單元電性連接資料庫，運算處理單元接收影像、正臉生成模型及梯度法，並經配置以實施包含以下步驟之操作：一影像擷取步驟、一正臉生成步驟、一眼睛中心標記步驟及一幾何轉換步驟。影像擷取步驟係自影像擷取一面部影像。正臉生成步驟係依據正臉生成模型將面部影像轉換為一正臉影像。眼睛中心標記步驟係依據梯度法自正臉影像標記出一正臉眼睛中心位置資訊。幾何轉換步驟係計算面部影像與正臉影像之間的二旋轉變量，並依據二旋轉變量及正臉眼睛中心位置資訊計算眼睛中心位置資訊。
藉此，本發明之眼睛中心定位系統自非正臉的影像中定位眼睛中心位置資訊。
前述實施方式之其他實施例如下：前述影像擷取步驟包含一面部特徵擷取步驟及一面部區域估算步驟。面部特徵擷取步驟係自影像標記一下巴特徵點、一右眼特徵點及一左眼特徵點。面部區域估算步驟係依據下巴特徵點、右眼特徵點及左眼特徵點擷取出面部影像。
前述實施方式之其他實施例如下：前述眼睛中心標記步驟包含一權重調整步驟。權重調整步驟係依據一過濾方法調整正臉影像之一權重值。
前述實施方式之其他實施例如下：前述幾何轉換步驟包含一旋轉變量計算步驟、一眼睛中心轉換步驟。旋轉變量計算步驟係依據一線性關係式計算面部影像與正臉影像之間的二旋轉變量。眼睛中心轉換步驟係依據二旋轉變量預測面部影像相對於正臉影像之一深度轉換座標，並依據深度轉換座標計算眼睛中心位置資訊。
前述實施方式之其他實施例如下：前述運算處理單元更包含一模型訓練步驟。模型訓練步驟係對面部影像、眼睛中心位置資訊、正臉影像及正臉眼睛中心位置資訊進行訓練，並生成一眼睛中心定位模型。
以下將參照圖式說明本發明之實施例。為明確說明起見，許多實務上的細節將在以下敘述中一併說明。然而，閱讀者應瞭解到，這些實務上的細節不應用以限制本發明。也就是說，在本發明部分實施例中，這些實務上的細節是非必要的。此外，為簡化圖式起見，一些習知慣用的結構與元件在圖式中將以簡單示意的方式繪示；並且重複之元件將可能使用相同的編號表示。
請參照第1圖，第1圖係繪示本發明之第一實施例之眼睛中心定位方法100之流程圖。眼睛中心定位方法100用以自影像定位眼睛中心位置資訊，眼睛中心定位方法100包含影像擷取步驟S01、正臉生成步驟S02、眼睛中心標記步驟S03及幾何轉換步驟S04。影像擷取步驟S01係驅動運算處理單元自資料庫之影像擷取面部影像。正臉生成步驟S02係驅動運算處理單元依據正臉生成模型將面部影像轉換為正臉影像。眼睛中心標記步驟S03係驅動運算處理單元依據梯度法自正臉影像標記出正臉眼睛中心位置資訊。幾何轉換步驟S04係驅動運算處理單元計算面部影像與正臉影像之間的二旋轉變量，然後依據二旋轉變量及正臉眼睛中心位置資訊計算眼睛中心位置資訊。具體而言，影像可為正視角臉部影像、非正視角之臉部影像、眼部區域被遮蔽或具有缺陷之臉部影像。藉此，本發明之眼睛中心定位方法100自非正臉的影像中定位眼睛中心位置資訊。以下將透過較詳細的實施例來說明上述各步驟之細節。
請參照第2圖至第7圖，第2圖係繪示本發明之第二實施例之眼睛中心定位方法100a之流程圖；第3圖係繪示依照第2圖實施方式之眼睛中心定位方法100a之影像擷取步驟S11之影像I之示意圖；第4圖係繪示依照第2圖實施方式之眼睛中心定位方法100a之影像擷取步驟S11之面部影像I f之示意圖；第5圖係繪示依照第2圖實施方式之眼睛中心定位方法100a之正臉生成步驟S12之正臉影像IF f之示意圖；第6圖係繪示依照第2圖實施方式之眼睛中心定位方法100a之幾何轉換步驟S14之旋轉變量 face θ1 之示意圖；以及第7圖係繪示依照第2圖實施方式之眼睛中心定位方法100a之幾何轉換步驟S14之另一旋轉變量 face θ2 之示意圖。眼睛中心定位方法100a包含影像擷取步驟S11、正臉生成步驟S12、眼睛中心標記步驟S13及幾何轉換步驟S14。影像擷取步驟S11係驅動運算處理單元自資料庫之影像I擷取面部影像I f。影像擷取步驟S11包含面部特徵擷取步驟S112及面部區域估算步驟S114。面部特徵擷取步驟S112係自影像I標記下巴特徵點p 8、右眼特徵點p 36、p 37、p 38、p 39、p 40、p 41及左眼特徵點p 42、p 43、p 44、p 45、p 46、p 47。面部區域估算步驟S114係依據下巴特徵點p 8、右眼特徵點p 36~p 41及左眼特徵點p 42~p 47估算面部區域，並擷取出對應面部區域之面部影像I f。
請參照第3圖及第4圖，面部特徵擷取步驟S112標記出下巴特徵點p 8，並自右眼周圍及左眼周圍分別取複數個右眼特徵點p 36~p 41及複數個左眼特徵點p 42~p 47，再根據右眼特徵點p 36~p 41及左眼特徵點p 42~p 47分別預測出粗估右眼中心座標(AEC r_x,AEC r_y)及粗估左眼中心座標(AEC l_x,AEC l_y)，粗估右眼中心座標(AEC r_x,AEC r_y)之計算可如式(1)所示。面部區域估算步驟S114依據下巴特徵點p 8、粗估右眼中心座標(AEC r_x,AEC r_y)、粗估左眼中心座標(AEC l_x,AEC l_y)計算出影像I中面部區域的面部高度face h與面部寬度face w，進而估算出面部區域的範圍而擷取出面部影像I f，面部高度face h與面部寬度face w之計算可如式(2)至式(5)所示。
Figure 02_image001
(1)；
Figure 02_image003
(2)；
Figure 02_image005
(3)；
Figure 02_image007
(4)；
Figure 02_image009
(5)； 其中，D*為粗估右眼中心座標(AEC r_x,AEC r_y)及粗估左眼中心座標(AEC l_x,AEC l_y)至下巴特徵點p 8之歐氏距離之最大值，α 1及α 2為可調節係數，(ULC_x,ULC_y)為圈選面部區域的起始點座標。
請參照第5圖，正臉生成步驟S12係驅動運算處理單元依據一正臉生成模型將面部影像I f轉換為正臉影像IF f。詳細地說，正臉生成模型透過雙路徑生成對抗網路(Complete representation-Generative Adversarial Network；CR-GAN)與自我監督學習訓練而形成，其中雙路徑生成對抗網路CR-GAN與自我監督學習為習知技術，其細節不再贅述。
眼睛中心標記步驟S13係驅動運算處理單元依據梯度法自正臉影像IF f標記出正臉眼睛中心位置資訊C。眼睛中心標記步驟S13包含權重調整步驟S132。權重調整步驟S132係依據過濾(Iris-Ripple；IR)方法調整正臉影像IF f之一權重值。具體而言，正臉眼睛中心位置資訊C包含正臉右眼中心座標(C r_x,C r_y)及正臉左眼中心座標(C l_x,C l_y)。自正臉影像IF f標記正臉眼睛中心位置資訊C時，正臉影像IF f中特定區域(如眼瞼區域、眼角區域、眉毛區域)之陰影會對正臉影像IF f的梯度造成干擾，降低梯度法標記正臉眼睛中心位置資訊C的準確度，因此藉由過濾方法調整權重值，以提升定位準確度，過濾方法可如式(6)至式(7)所示，將過濾方法結合梯度法可得式(8)；
Figure 02_image011
(6)；
Figure 02_image013
(7)；
Figure 02_image015
(8)； 其中，R r*表示眼部區域；IR(x,y)表示當前調整的像素座標；Eye m表示眼部區域的最大像素行數；Eye n表示眼部區域的最大像素列數；r表示眼部區域的半徑；τ=2π；{Lx,Ly}為分別以粗估右眼中心座標(AEC r_x,AEC r_y)及粗估左眼中心座標(AEC l_x,AEC l_y)為中心計算半徑周長所對應的像素座標；ω(∙)為計算後的權重值；C'表示當前眼睛中心座標；N為眼部區域中需要分析的像素數量；IF e(AEC(x,y))為眼部區域的預測中心強度值；d(x,y)為c和p(x,y)之間的位移向量；g(x,y)為梯度向量；α 3為最大灰度。
請參照第6圖及第7圖，幾何轉換步驟S14係驅動運算處理單元計算面部影像I f與正臉影像IF f之間的二旋轉變量 face θ1 、 face θ2 ，然後依據旋轉變量 face θ1 、 face θ2 及正臉眼睛中心位置資訊C計算眼睛中心位置資訊I eC。幾何轉換步驟S14包含旋轉變量計算步驟S142及眼睛中心轉換步驟S144。旋轉變量計算步驟S142係依據線性關係式計算面部影像I f與正臉影像IF f之間的旋轉變量 face θ1 、 face θ2 ，線性關係式可如式(9)所示：
Figure 02_image017
(9)； 其中，旋轉變量 face θ1 為以x軸為軸心轉動(即偏擺軸Yaw rot.)時面部影像I f與正臉影像IF f之間的旋轉變量，旋轉變量 face θ2 為以z軸為軸心轉動(即翻滾軸Roll rot.)時面部影像I f與面部轉換影像I f'之間的旋轉變量，L1為粗估右眼中心座標(AEC r_x,AEC r_y)及粗估左眼中心座標(AEC l_x,AEC l_y)之間的線性關係式；L2為正臉右眼中心座標(C r_x,C r_y)及正臉左眼中心座標(C l_x,C l_y)之間的線性關係式；L3為粗估右眼中心座標(AEC r_x,AEC r_y)及粗估左眼中心座標(AEC l_x,AEC l_y)經三維座標轉換後之線性關係式；m1為線性關係式L1之斜率；m2為線性關係式L2之斜率；m3為線性關係式L3之斜率。
眼睛中心轉換步驟S144係依據旋轉變量 face θ1 、 face θ2 預測面部影像I f相對於正臉影像IF f之深度轉換座標(I erC1_x,I erC1_y)，並依據深度轉換座標(I erC1_x,I erC1_y)計算眼睛中心位置資訊I eC。眼睛中心轉換步驟S144預測深度轉換座標(I erC1_x,I erC1_y)之方法可如式(10)所示：
Figure 02_image019
(10)； 其中，眼睛中心位置資訊I eC包含右眼中心座標(I erC_x,I erC_y)及左眼中心座標(I elC_x,I elC_y)，(IF AECr_x,IF AECr_y)為正臉粗估右眼中心座標。
詳細地說，透過式(10)在測得深度轉換座標(I erC1_x,I erC1_y)後，為避免正臉生成模型生成之正臉影像IF f所估算的正臉眼睛中心位置資訊C數值與實際位置差異過大，眼睛中心轉換步驟S144可透過式(11)校正深度轉換座標(I erC1_x,I erC1_y)。
Figure 02_image021
Figure 02_image023
Figure 02_image025
(11)； 其中，(I erC2_x,I erC2_y)為與實際誤差過大的正臉右眼中心座標；α 4為校正係數。藉此，本發明之眼睛中心定位方法100a透過校正係數α 4調整眼睛中心位置資訊I eC進而降低因正臉影像IF f而產生的誤差，提高眼睛中心位置資訊I eC的精準度。
請參照第2圖與第8圖，第8圖係繪示依照第2圖實施方式之模型訓練步驟S15之眼睛中心定位模型40之示意圖。第2圖之眼睛中心定位方法100a可更包含模型訓練步驟S15。模型訓練步驟S15係驅動運算處理單元對面部影像I f、眼睛中心位置資訊I eC、正臉影像IF f及正臉眼睛中心位置資訊C進行訓練，並生成一眼睛中心定位模型40。換句話說，模型訓練步驟S15分別自面部影像I f及正臉影像IF f擷取眼部區域影像I f_r、IF f_r，並分別在眼部區域影像I f_r、IF f_r上標記眼睛中心位置資訊I eC及正臉眼睛中心位置資訊C。將未標記眼睛中心位置資訊I eC及正臉眼睛中心位置資訊C的眼部區域影像I f_r、IF f_r作為第一訓練樣本Tx，將已標記眼睛中心位置資訊I eC及正臉眼睛中心位置資訊C的眼部區域影像I_r、IF f_r作為第二訓練樣本Ty，透過圖像翻譯(Image Translation)學習模式訓練出眼睛中心定位模型40。藉此，本發明之眼睛中心定位方法100a可直接透過眼睛中心定位模型40預測影像I之眼睛中心位置資訊I eC。
請參照第9圖，第9圖係繪示本發明之第三實施例之眼睛中心定位系統200之方塊示意圖。眼睛中心定位系統200用以自影像I定位眼睛中心位置資訊I eC，眼睛中心定位系統200包含資料庫210及運算處理單元220。
資料庫210用以存取影像I、正臉生成模型20及梯度法30。具體而言，資料庫210可為記憶體或其他資料儲存元件。
運算處理單元220電性連接資料庫210，運算處理單元220接收影像I、正臉生成模型20及梯度法30，並經配置以實施眼睛中心定位方法100、100a。詳細地說，運算處理單元220可為微處理器、中央處理器(Central Processing Unit；CPU)或其他電子運算處理器，本發明不以此為限。藉此，本發明的眼睛中心定位系統200自非正臉的影像I中定位眼睛中心位置資訊I eC。
由上述實施方式可知，本發明之眼睛中心定位方法及其定位系統具有下列優點：其一，自非正臉的影像中定位眼睛中心位置資訊；其二，透過校正係數調整眼睛中心位置資訊，進而降低因正臉影像而產生的誤差，提高眼睛中心位置資訊的精準度；其三，直接透過眼睛中心定位模型預測影像之眼睛中心位置資訊。
雖然本發明已以實施方式揭露如上，然其並非用以限定本發明，任何熟習此技藝者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾，因此發明之保護範圍當視後附之申請專利範圍所界定者為準。
100,100a:眼睛中心定位方法 20:正臉生成模型 30:梯度法 40:眼睛中心定位模型 S01,S11:影像擷取步驟 S02,S12:正臉生成步驟 S03,S13:眼睛中心標記步驟 S04,S14:幾何轉換步驟 S112:面部特徵擷取步驟 S114:面部區域估算步驟 S132:權重調整步驟 S142:旋轉變量計算步驟 S144:眼睛中心轉換步驟 S15:模型訓練步驟 200:眼睛中心定位系統 210:資料庫 220:運算處理單元 I:影像 I f:面部影像 I f':面部轉換影像 IF f:正臉影像 p 8:下巴特徵點 p 36,p 37,p 38,p 39,p 40,p 41:右眼特徵點 p 42,p 43,p 44,p 45,p 46,p 47:左眼特徵點 C:正臉眼睛中心位置資訊 I eC:眼睛中心位置資訊 (I erC_x,I erC_y):右眼中心座標 (I elC_x,I elC_y):左眼中心座標 (AEC r_x,AEC r_y):粗估右眼中心座標 (AEC l_x,AEC l_y):粗估左眼中心座標 (C r_x,C r_y):正臉右眼中心座標 (C l_x,C l_y):正臉左眼中心座標 face h:面部高度 face w:面部寬度 face θ1 , face θ2 :旋轉變量 Tx:第一訓練樣本 Ty:第二訓練樣本 I f_r,IF f_r:眼部區域影像 Yaw rot.:偏擺軸 Roll rot.:翻滾軸
第1圖係繪示本發明之第一實施例之眼睛中心定位方法之流程圖； 第2圖係繪示本發明之第二實施例之眼睛中心定位方法之流程圖； 第3圖係繪示依照第2圖實施方式之眼睛中心定位方法之影像擷取步驟之影像之示意圖； 第4圖係繪示依照第2圖實施方式之眼睛中心定位方法之影像擷取步驟之面部影像之示意圖； 第5圖係繪示依照第2圖實施方式之眼睛中心定位方法之正臉生成步驟之正臉影像之示意圖； 第6圖係繪示依照第2圖實施方式之眼睛中心定位方法之幾何轉換步驟之旋轉變量之示意圖； 第7圖係繪示依照第2圖實施方式之眼睛中心定位方法之幾何轉換步驟之另一旋轉變量之示意圖； 第8圖係繪示依照第2圖實施方式之模型訓練步驟之眼睛中心定位模型之示意圖；以及 第9圖係繪示本發明之第三實施例之眼睛中心定位系統之方塊示意圖。
100:眼睛中心定位方法
S01:影像擷取步驟
S02:正臉生成步驟
S03:眼睛中心標記步驟
S04:幾何轉換步驟

Claims (8)

  1. 一種眼睛中心定位方法，用以自一影像定位一眼睛中心位置資訊，該眼睛中心定位方法包含：一影像擷取步驟，係驅動一運算處理單元自一資料庫之該影像擷取一面部影像；一正臉生成步驟，係驅動該運算處理單元依據一正臉生成模型將該面部影像轉換為一正臉影像；一眼睛中心標記步驟，係驅動該運算處理單元依據一梯度法自該正臉影像標記出一正臉眼睛中心位置資訊；以及一幾何轉換步驟，係驅動該運算處理單元計算該面部影像與該正臉影像之間的二旋轉變量，然後依據該二旋轉變量及該正臉眼睛中心位置資訊計算該眼睛中心位置資訊；其中該幾何轉換步驟包含：一旋轉變量計算步驟，係依據一線性關係式計算該面部影像與該正臉影像之間的該二旋轉變量；及一眼睛中心轉換步驟，係依據該二旋轉變量預測該面部影像相對於該正臉影像之一深度轉換座標，並依據該深度轉換座標計算該眼睛中心位置資訊。
  2. 如請求項1所述之眼睛中心定位方法，其中該影像擷取步驟包含：一面部特徵擷取步驟，係自該影像標記一下巴特徵點、一右眼特徵點及一左眼特徵點；及一面部區域估算步驟，係依據該下巴特徵點、該右眼特 徵點及該左眼特徵點擷取出該面部影像。
  3. 如請求項1所述之眼睛中心定位方法，其中該眼睛中心標記步驟包含：一權重調整步驟，係依據一過濾方法調整該正臉影像之一權重值。
  4. 如請求項1所述之眼睛中心定位方法，更包含：一模型訓練步驟，係驅動該運算處理單元對該面部影像、該眼睛中心位置資訊、該正臉影像及該正臉眼睛中心位置資訊進行訓練，並生成一眼睛中心定位模型。
  5. 一種眼睛中心定位系統，用以自一影像定位一眼睛中心位置資訊，該眼睛中心定位系統包含：一資料庫，用以存取該影像、一正臉生成模型及一梯度法；以及一運算處理單元，電性連接該資料庫，該運算處理單元接收該影像、該正臉生成模型及該梯度法，並經配置以實施包含以下步驟之操作：一影像擷取步驟，係自該影像擷取一面部影像；一正臉生成步驟，係依據該正臉生成模型將該面部影像轉換為一正臉影像；一眼睛中心標記步驟，係依據該梯度法自該正臉影像 標記出一正臉眼睛中心位置資訊；及一幾何轉換步驟，係計算該面部影像與該正臉影像之間的二旋轉變量，並依據該二旋轉變量及該正臉眼睛中心位置資訊計算該眼睛中心位置資訊；其中該幾何轉換步驟包含：一旋轉變量計算步驟，係依據一線性關係式計算該面部影像與該正臉影像之間的該二旋轉變量；及一眼睛中心轉換步驟，係依據該二旋轉變量預測該面部影像相對於該正臉影像之一深度轉換座標，並依據該深度轉換座標計算該眼睛中心位置資訊。
  6. 如請求項5所述之眼睛中心定位系統，其中該影像擷取步驟包含：一面部特徵擷取步驟，係自該影像標記一下巴特徵點、一右眼特徵點及一左眼特徵點；及一面部區域估算步驟，係依據該下巴特徵點、該右眼特徵點及該左眼特徵點擷取出該面部影像。
  7. 如請求項5所述之眼睛中心定位系統，其中該眼睛中心標記步驟包含：一權重調整步驟，係依據一過濾方法調整該正臉影像之一權重值。
  8. 如請求項5所述之眼睛中心定位系統，其中 該運算處理單元更包含：一模型訓練步驟，係對該面部影像、該眼睛中心位置資訊、該正臉影像及該正臉眼睛中心位置資訊進行訓練，並生成一眼睛中心定位模型。
TW110118349A 2021-05-20 2021-05-20 眼睛中心定位方法及其定位系統 TWI768913B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW110118349A TWI768913B (zh) 2021-05-20 2021-05-20 眼睛中心定位方法及其定位系統
US17/355,140 US11769347B2 (en) 2021-05-20 2021-06-22 Eye center localization method and localization system thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW110118349A TWI768913B (zh) 2021-05-20 2021-05-20 眼睛中心定位方法及其定位系統

Publications (2)

Publication Number Publication Date
TWI768913B true TWI768913B (zh) 2022-06-21
TW202247040A TW202247040A (zh) 2022-12-01

Family

ID=83104033

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110118349A TWI768913B (zh) 2021-05-20 2021-05-20 眼睛中心定位方法及其定位系統

Country Status (2)

Country Link
US (1) US11769347B2 (zh)
TW (1) TWI768913B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1774470B1 (en) * 2004-06-28 2014-12-24 Canon Kabushiki Kaisha Face recognition method and apparatus therefor
CN108319937A (zh) * 2018-03-28 2018-07-24 北京市商汤科技开发有限公司 人脸检测方法及装置
CN108717527A (zh) * 2018-05-15 2018-10-30 重庆邮电大学 基于姿态先验的人脸对齐方法
TW201911082A (zh) * 2017-08-04 2019-03-16 大陸商騰訊科技（深圳）有限公司 圖像處理方法、裝置及儲存介質

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4663699B2 (ja) * 2007-09-27 2011-04-06 富士フイルム株式会社 画像表示装置、及び画像表示方法
JP4569670B2 (ja) * 2008-06-11 2010-10-27 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP5451302B2 (ja) * 2009-10-19 2014-03-26 キヤノン株式会社 画像処理装置及び方法、プログラム及び記憶媒体
US8351662B2 (en) * 2010-09-16 2013-01-08 Seiko Epson Corporation System and method for face verification using video sequence
JP5755012B2 (ja) * 2011-04-21 2015-07-29 キヤノン株式会社 情報処理装置、その処理方法、プログラム及び撮像装置
US9384385B2 (en) * 2014-11-06 2016-07-05 Intel Corporation Face recognition using gradient based feature analysis
US10121055B1 (en) * 2015-09-08 2018-11-06 Carnegie Mellon University Method and system for facial landmark localization
US9875398B1 (en) * 2016-06-30 2018-01-23 The United States Of America As Represented By The Secretary Of The Army System and method for face recognition with two-dimensional sensing modality
CN111819568B (zh) * 2018-06-01 2024-07-09 华为技术有限公司 人脸旋转图像的生成方法及装置
US10796476B1 (en) * 2018-08-31 2020-10-06 Amazon Technologies, Inc. Self-supervised bootstrap for single image 3-D reconstruction
US11651526B2 (en) * 2020-01-23 2023-05-16 Northeastern University Frontal face synthesis from low-resolution images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1774470B1 (en) * 2004-06-28 2014-12-24 Canon Kabushiki Kaisha Face recognition method and apparatus therefor
TW201911082A (zh) * 2017-08-04 2019-03-16 大陸商騰訊科技（深圳）有限公司 圖像處理方法、裝置及儲存介質
CN108319937A (zh) * 2018-03-28 2018-07-24 北京市商汤科技开发有限公司 人脸检测方法及装置
CN108717527A (zh) * 2018-05-15 2018-10-30 重庆邮电大学 基于姿态先验的人脸对齐方法

Also Published As

Publication number Publication date
US11769347B2 (en) 2023-09-26
US20220374633A1 (en) 2022-11-24
TW202247040A (zh) 2022-12-01

Similar Documents

Publication Publication Date Title
US11763485B1 (en) Deep learning based robot target recognition and motion detection method, storage medium and apparatus
WO2018086607A1 (zh) 一种目标跟踪方法及电子设备、存储介质
CN110175558B (zh) 一种人脸关键点的检测方法、装置、计算设备及存储介质
KR101184097B1 (ko) 얼굴 정면포즈 판단 방법
CN109034017B (zh) 头部姿态估计方法及机器可读存储介质
CN111462135A (zh) 基于视觉slam与二维语义分割的语义建图方法
US20160379050A1 (en) Method for determining authenticity of a three-dimensional object
CN112734841B (zh) 一种用轮式里程计-imu和单目相机实现定位的方法
CN112801074B (zh) 一种基于交通摄像头的深度图估计方法
CN111768447B (zh) 一种基于模板匹配的单目相机物体位姿估计方法及系统
CN106355147A (zh) 一种活体人脸检测头部姿态回归器的获取方法及检测方法
CN112017212B (zh) 人脸关键点跟踪模型的训练、跟踪方法及系统
TWI405143B (zh) 用於辨識的物件影像校正裝置與其方法
US9727776B2 (en) Object orientation estimation
WO2005111936A1 (ja) パラメタ推定方法、パラメタ推定装置および照合方法
CN113850865A (zh) 一种基于双目视觉的人体姿态定位方法、系统和存储介质
CN110648362B (zh) 一种双目立体视觉的羽毛球定位识别与姿态计算方法
CN110956065B (zh) 一种用于模型训练的人脸图像处理方法及装置
KR20050002611A (ko) 스테레오 결합 메커니즘을 사용하는 얼굴 특징 검출 방법,매체 및 장치
CN110276239A (zh) 眼球追踪方法、电子装置及非暂态电脑可读取记录媒体
CN113848931B (zh) 农机自动驾驶障碍物识别方法、系统、设备和存储介质
CN112488067B (zh) 人脸姿态估计方法、装置、电子设备和存储介质
CN112329726B (zh) 人脸识别方法及装置
CN115205286A (zh) 爬塔机器人机械臂螺栓识别与定位方法、存储介质、终端
TWI768913B (zh) 眼睛中心定位方法及其定位系統