TWI479435B - 人臉辨識方法 - Google Patents

人臉辨識方法 Download PDF

Info

Publication number
TWI479435B
TWI479435B TW101111785A TW101111785A TWI479435B TW I479435 B TWI479435 B TW I479435B TW 101111785 A TW101111785 A TW 101111785A TW 101111785 A TW101111785 A TW 101111785A TW I479435 B TWI479435 B TW I479435B
Authority
TW
Taiwan
Prior art keywords
matching
image
geometric model
model
coordinate value
Prior art date
Application number
TW101111785A
Other languages
English (en)
Other versions
TW201342258A (zh
Inventor
Yea Shuan Huang
Kuo Ta Peng
Original Assignee
Univ Chung Hua
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Univ Chung Hua filed Critical Univ Chung Hua
Priority to TW101111785A priority Critical patent/TWI479435B/zh
Priority to US13/527,454 priority patent/US8953852B2/en
Publication of TW201342258A publication Critical patent/TW201342258A/zh
Application granted granted Critical
Publication of TWI479435B publication Critical patent/TWI479435B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Description

人臉辨識方法
本發明係一種辨識方法，特別在於提供一種人臉辨識方法。
生物辨識(Biometrics)技術在當前社會扮演著越來越重要的角色。從提款機、門禁系統、筆記型電腦以至於隨身碟等應用中，都可以見到生物辨識技術的應用。
在生物辨識技術的領域中，人臉辨識技術是一個新興的研發重點。習知人臉辨識系統所用的演算法多半是基於「建立特徵值模型」的方式來做特徵擷取，再由統計測量方法取得由臉部得到之特徵向量集合，比對與辨識臉部形態並且表示相關特徵值的關係。
然而，透過特徵值辨識的精確度受限於取樣與辨識資訊，但過多的資訊勢必又會造成辨識處理裝置的負擔，導致辨識或取樣時間過久。
因此，如何能在有限的特徵值資訊下，提供一種機制或方法來提高人臉辨識的精確度，無不成為相關領域人士努力達成與追求的目標。
本發明之主要目的在於提供一種人臉辨識方法，其透過建立特徵點的幾何模型，以強化辨識結果的精確度。
根據一實施例，本發明所揭露之人臉辨識方法包括下列步驟：取得一匹配影像與一參考影像；選取該匹配影像與該參考影像之至少一特徵點；取得該參考影像對應於該匹配影像之至少一匹配特徵點與一匹配差異值；建立一匹配幾何模型與一參考幾何模型，計算該匹配幾何模型與該參考幾何模型，以取得一模型差異值；該匹配差異值與該模型差異值根據一預設規則，取得一辨識分數。
其中，該辨識分數越高即代表匹配影像與該參考影像越近似。
根據一實施例，該辨識分數包括一順向辨識分數與一反向辨識分數。
其中，當該匹配影像為一儲存於資料庫之預存影像時，該參考影像為一被擷取之測試影像，則該辨識分數為該順向辨識分數。
其中，當該匹配影像為一被擷取之測試影像時，該參考影像為一儲存於資料庫之預存影像，則該辨識分數為該反向辨識分數。
因此，本發明之人臉辨識方法結合特徵點區塊匹配與幾何模型比對之雙向辨識，搭配平均匹配差異值與模型差異值的整合關係，可有效提升人臉的辨識準確率。
以下係以實施例揭露本發明之人臉辨識方法。
請參考第1圖所示，第1圖為本發明人臉辨識方法之一實施例的流程圖。本實施例中所述之人臉辨識方法可應用於依據有影像擷取裝置之資訊處理平台，例如，個人電腦、筆記型電腦等資訊處理裝置。該方法包括下列步驟：
S100取得一匹配影像與一參考影像；
S120選取該匹配影像與該參考影像之至少一特徵點；
S140取得該參考影像對應於該匹配影像之至少一匹配特徵點與一匹配強度值；
S160建立一匹配幾何模型與一參考幾何模型，計算該匹配幾何模型與該參考幾何模型，以取得一模型差異值；
S180該匹配強度值與該模型差異值根據一預設規則，取得一辨識分數。
於本實施例步驟S100，該匹配影像係指自影像擷取裝置所取得之欲進行比對辨識之測試影像，該參考影像則為預先儲存於該資訊處理平台之一資料庫的影像。
當取得該匹配影像與該參考影像後，該資料處理平台針對該匹配影像與該參考影像進行特徵點的選取(步驟S120)，例如選取人臉的皺紋、斑點、痣、疤或胎記等軟性生物特徵。於一實施例中，步驟S120所述之選取特徵點的步驟可透過但不限於一局部二位元圖形(Local Binary Pattern,LBP)之角點偵測演算法來進行特徵點的偵測與選取。
請參考第1及2圖所示，第2圖為本發明人臉辨識方法之一前置處理步驟的流程圖。為有利於步驟S120所進行之特徵點的選取與偵測，本發明人臉辨識方法另包括一前置處理步驟，該前置處理步驟包括：
S200分別偵測該匹配影像中人臉之一左眼座標值與一右眼座標值；
S220計算該左眼座標值與該右眼座標值連線向量與影像水平軸之一角度(即人臉傾斜角度)；
S240根據該角度旋轉該匹配影像，令人臉旋轉至正面影像；
S260利用該左眼座標值與該右眼座標值計算一兩眼距離值；及
S280根據該兩眼距離值與一預設距離值，等比縮小或放大該匹配影像。
其中，步驟S280所述之一預設距離值可為30像素點距離大小。
接著，當資訊處理平台取得該匹配影像與該參考影像之至少一特徵點後，將會執行步驟S140的比對，以取得至少一匹配特徵點與一匹配強度值。
於一實施例，步驟S140可透過區塊匹配比對法(Block Matching)，找出該匹配影像與該參考影像具有最大相似區塊，透過該區塊找到匹配像素點(即有效特徵點)。以下將以平方差值合(Sum of Squared Distance,SSD)為例，然而值得注意的是，具有本案技術領域之通常技藝人士所知悉，區塊比對法之應用除可透過平方差值合外，另包括但不限於絕對差值合(sum of absolute differences,SAD)或正規化相關匹配法(Normalized Cross Correlation,NCC)等。
其中，資訊處理平台利用平方差值合SSD(x,y) (u,v)計算出該參考影像上以座標值(x,y)為中心的區塊和該匹配影像以(x+u,y+v)為中心的區塊之間的影像誤差量，SSD(x,y) (u,v)可由下方程式表示：
其中，該It 為參考影像、I* 為匹配影像，(x,y)為參考影像特徵點的位置、(u,v)為位移量，而B為以參考影像特徵點為中心所建立之區塊半徑值。
當此差異量越小時，表示所對應的區塊影像相似度越高；反之差異量越大時，則表示對應的區塊影像之相似度越低。
假設R為以特徵點區塊比對的搜尋半徑，則參考影像特徵點(x,y)會在匹配影像中的搜尋區域內各影像點所對應的區塊逐一計算它們的SSD誤差量，然後找出在搜尋區域內有最小誤差量的一組位移量(u,v)，來產生最佳的位移量(u* ,v* )，
當找出最佳的位移量以後，即可得知匹配特徵點(即最佳的匹配位置)P和其匹配差異值MD(x,y) ，該匹配特徵點P與該匹配差異由以下關係式表示：
P =(x +u * ,y +v * )
MD ( x , y ) =SSD ( x , y ) (u * ,v * )
假設參考影像中總共有K個特徵點，而MDi 表示第i個特徵點的匹配差異，而wi 為第i個特徵點的權重值，則其平均匹配差異(AMD)為
當取得該匹配特徵點P與該匹配強度後，即表示資訊處理平台知道該參考影像中的特徵點所對應至該匹配影像中的最佳對應位置。
請配合參考第3及4圖所示，第3圖係第1圖中步驟S160的子步驟流程圖；第4圖為步驟S160中所述幾何模型之一實施例的示意圖。在取得對應於該匹配影像之匹配特徵點後，該資訊處理平台執行步驟S160來建立該匹配幾何模型與該參考幾何模型，並計算此二模型的差異來取得一模型差異值。
幾何模型是用來描述特徵點的結構關係，例如：點與點之間的關係、方向或三點所形成的夾角，其中，匹配幾何模型對應於匹配影像之匹配特徵點的結構關係，參考幾何模型對應於參考影像之特徵點的結構關係。
因此，該步驟S160包括下列步驟：
S162自各該匹配特徵點與該特徵點分別取得一水平座標值與一垂直座標值；
S164根據一預設模型規則，利用該水平座標值與該垂直座標值，建立該匹配幾何模型與該參考幾何模型；
S166根據該預設模型規則，計算該匹配幾何模型與該參考幾何模型，取得該模型差異值。
由於幾何模型的建立僅為了描述點與點之間的關係，因此其規則可有很多種方式，於第4圖所示之一實施例，其形成一種所謂環狀排列的幾何模型，為簡化說明，在此環狀排列中，每一個點以編號來表示，每一個點都對應相同的權重值，而xi 與yi 分別記錄各點的水平與垂直座標值。
如第4圖所示，任何連續3個特徵點即構成一個夾角θ和其二邊線段D1,D2，而D1=[xi-1 -xi ,yi-1 -yi ]T
D2=[xi+1 -xi ,yi+1 -yi ]T ；及
簡單來說，於此實施例，8個點(如第4圖)可產生一組具有16個數值的幾何模型G，N個點即為2N個數值的幾何模型，而步驟S166所述之計算該匹配幾何模型與該參考幾何模型來取得模型差異值GD，以線段Di為例，Di便表示為第i-1點與第i點的距離，θi 為第i個點的角度，則參考幾合模型和匹配幾合模型可如下表示：
其模型差異值GD可透過尤拉距離計算，如下關係式：
最後，資訊處理平台根據一預設規則計算該平均匹配差異值AMD與該幾何差異值GD。於一實施例，該預設規則可為該平均匹配差異值AMD與該幾何差異值GD的倒數乘積，其關係表示式如下：
其中，S為該辨識分數，該辨識分數越高，即代表該匹配影像與參考影像越接近。
事實上，幾何模型有不同的設計方法，而且每一個特徵點也可對應不同的權重值。在此，環狀排列的幾何模型只是一種較簡單而容易說明的做法。惟本發明之步驟S160並不受上述實施例之限制，凡未脫離本發明技藝精神所為之等效實施或變更，均屬於本發明之專利保護範圍。
上述之實施例係定義該匹配影像為影像擷取裝置所擷取之測試影像，而參考影像則為預先儲存於該資訊處理平台之一資料庫的影像。然而，為取得更佳的辨識清精確度，本發明之人臉辨識方法可透過測試影像與資料庫影像進行雙向辨識，並更進一步定義：當該匹配影像為一被擷取之測試影像時，該參考影像為一儲存於資料庫之預存影像，則該辨識分數為該順向辨識分數；及當該匹配影像為一儲存於資料庫之預存影像時，該參考影像為一被擷取之測試影像，則該辨識分數為該反向辨識分數。
值得注意的是，該順向辨識分數與反向辨識分數僅對調匹配影像與參考影像所選用之影像，其執行步驟並無不同。然而，當本發明之人臉辨識方法亦可重複執行步驟S100至S180以同時取得順向辨識分數與反向辨識分數，於此實施例，該辨識分數可為該順向辨識分數與反向辨識分數的總和。
綜上所述，本發明之人臉辨識方法結合特徵點區塊匹配與幾何模型比對之雙向辨識，搭配匹配強度能量值與模型差異值的比值關係，可有效提升人臉的辨識準確率。
上列詳細說明係針對本發明之一可行實施例之具體說明，惟該實施例並非用以限制本發明之專利範圍，凡未脫離本發明技藝精神所為之等效實施或變更，均應包含於本案之專利範圍中。
θ‧‧‧夾角
D1,D2‧‧‧線段
第1圖為本發明人臉辨識方法之一實施例的流程圖。
第2圖為本發明人臉辨識方法之一前置處理步驟的流程圖。
第3圖為第1圖中步驟S160的子步驟流程圖。
第4圖為幾何模型之一實施例的示意圖。

Claims (9)

  1. 一種人臉辨識方法，包括下列步驟：取得一匹配影像與一參考影像；選取該匹配影像與該參考影像之至少一特徵點；取得該參考影像對應於該匹配影像之至少一匹配特徵點與一平均匹配差異值；建立一匹配幾何模型與一參考幾何模型，計算該匹配幾何模型與該參考幾何模型，以取得一模型差異值；該平均匹配差異值與該模型差異值根據一預設規則，取得一辨識分數；其中該人臉辨識方法更包括下列步驟：分別偵測該匹配影像中人臉之一左眼座標值與一右眼座標值；計算該左眼座標值與該右眼座標值連線向量與影像水平軸之一角度；根據該角度旋轉該匹配影像，令人臉旋轉至正面影像；利用該左眼座標值與該右眼座標值計算一兩眼距離值；及根據該兩眼距離值與一預設距離值，等比縮小或放大該匹配影像。
  2. 如申請專利範圍第1 項所述之人臉辨識方法，其中，該選取該匹配影像與該參考影像之至少一特徵點之步驟是以局部二位元圖形(Local Binary Pattern,LBP)之角點偵測演算法來進行特徵點的偵測與選取。
  3. 如申請專利範圍第1 項所述之人臉辨識方法，其中，該預 設距離值為30像素點。
  4. 如申請專利範圍第1 項所述之人臉辨識方法，其中，該建立一匹配幾何模型與一參考幾何模型，計算該匹配幾何模型與該參考幾何模型，以取得一模型差異值的步驟，包括：自各該匹配特徵點與該特徵點分別取得一水平座標值與一垂直座標值；根據一預設模型規則，利用該水平座標值與該垂直座標值，建立該匹配幾何模型與該參考幾何模型；及根據該預設模型規則，計算該匹配幾何模型與該參考幾何模型，取得該模型差異值。
  5. 如申請專利範圍第1 項所述之人臉辨識方法，其中，該取得該參考影像對應於該匹配影像之至少一匹配特徵點與一平均匹配差異值的步驟，係透過一區塊匹配比對法取得該匹配特徵點。
  6. 如申請專利範圍第5 項所述之人臉辨識方法，該區塊匹配比對法係選用自平方差值合、絕對差值合、正規化相關匹配法中之一者。
  7. 如申請專利範圍第1 項所述之人臉辨識方法，其中，該辨識分數包括一順向辨識分數與一反向辨識分數。
  8. 如申請專利範圍第7 項所述之人臉辨識方法，其中，當該匹配影像為一儲存於資料庫之預存影像時，該參考影像為一被擷取之測試影像，則該辨識分數為該順向辨識分數；當該匹配影像為一被擷取之測試影像時，該參考影像為一儲存於資料庫之預存影像，則該辨識分數為該反向辨識分 數。
  9. 如申請專利範圍第7 項所述之人臉辨識方法，其中，該辨識分數為該順向辨識分數與該反向辨識分數的總和。
TW101111785A 2012-04-03 2012-04-03 人臉辨識方法 TWI479435B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW101111785A TWI479435B (zh) 2012-04-03 2012-04-03 人臉辨識方法
US13/527,454 US8953852B2 (en) 2012-04-03 2012-06-19 Method for face recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW101111785A TWI479435B (zh) 2012-04-03 2012-04-03 人臉辨識方法

Publications (2)

Publication Number Publication Date
TW201342258A TW201342258A (zh) 2013-10-16
TWI479435B true TWI479435B (zh) 2015-04-01

Family

ID=49235089

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101111785A TWI479435B (zh) 2012-04-03 2012-04-03 人臉辨識方法

Country Status (2)

Country Link
US (1) US8953852B2 (zh)
TW (1) TWI479435B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10489445B1 (en) * 2009-07-13 2019-11-26 Eharmony, Inc. Systems and methods for online matching using visual similarity
US9392093B2 (en) * 2013-07-25 2016-07-12 Yahoo! Inc. Multi-finger user identification
US9514354B2 (en) 2013-12-18 2016-12-06 International Business Machines Corporation Facial analysis by synthesis and biometric matching
WO2016013090A1 (ja) * 2014-07-24 2016-01-28 富士通株式会社 顔認証装置、顔認証方法および顔認証プログラム
KR102252298B1 (ko) * 2016-10-21 2021-05-14 삼성전자주식회사 표정 인식 방법 및 장치
US20190332848A1 (en) 2018-04-27 2019-10-31 Honeywell International Inc. Facial enrollment and recognition system
CN108805046B (zh) * 2018-05-25 2022-11-04 京东方科技集团股份有限公司 用于面部匹配的方法、设备、装置和存储介质
WO2022088909A1 (zh) * 2020-10-26 2022-05-05 华为技术有限公司 图像档案的处理方法、装置、设备及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200836114A (en) * 2006-11-08 2008-09-01 Sony Corp Image processing apparatus, image processing method, person identification apparatus, and method and program of producing/updating dictionary data in person identification
CN101510257A (zh) * 2009-03-31 2009-08-19 华为技术有限公司 一种人脸相似度匹配方法及装置
TW201205471A (en) * 2010-07-29 2012-02-01 Univ Nat Taiwan Science Tech Face feature recognition method and system

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003281007B2 (en) * 2002-07-10 2009-11-19 Nec Corporation Image matching system using 3-dimensional object model, image matching method, and image matching program
US7421097B2 (en) * 2003-05-27 2008-09-02 Honeywell International Inc. Face identification verification using 3 dimensional modeling
EP1650711B1 (en) * 2003-07-18 2015-03-04 Canon Kabushiki Kaisha Image processing device, imaging device, image processing method
US7596247B2 (en) * 2003-11-14 2009-09-29 Fujifilm Corporation Method and apparatus for object recognition using probability models
JP5279333B2 (ja) * 2008-04-28 2013-09-04 キヤノン株式会社 システム、接続制御装置、端末装置、制御方法及びプログラム
US8818131B2 (en) * 2010-08-20 2014-08-26 Adobe Systems Incorporated Methods and apparatus for facial feature replacement
US8438163B1 (en) * 2010-12-07 2013-05-07 Google Inc. Automatic learning of logos for visual recognition

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200836114A (en) * 2006-11-08 2008-09-01 Sony Corp Image processing apparatus, image processing method, person identification apparatus, and method and program of producing/updating dictionary data in person identification
CN101510257A (zh) * 2009-03-31 2009-08-19 华为技术有限公司 一种人脸相似度匹配方法及装置
TW201205471A (en) * 2010-07-29 2012-02-01 Univ Nat Taiwan Science Tech Face feature recognition method and system

Also Published As

Publication number Publication date
US8953852B2 (en) 2015-02-10
US20130259324A1 (en) 2013-10-03
TW201342258A (zh) 2013-10-16

Similar Documents

Publication Publication Date Title
TWI479435B (zh) 人臉辨識方法
JP4625074B2 (ja) サインに基づく人間−機械相互作用
JP4093273B2 (ja) 特徴点検出装置、特徴点検出方法および特徴点検出プログラム
JP4991317B2 (ja) 顔特徴点検出装置及びその方法
KR101184097B1 (ko) 얼굴 정면포즈 판단 방법
JP5251987B2 (ja) 人判定装置、方法およびプログラム
KR20080073933A (ko) 객체 트래킹 방법 및 장치, 그리고 객체 포즈 정보 산출방법 및 장치
KR20190098858A (ko) 딥러닝 기반의 포즈 변화에 강인한 얼굴 인식 방법 및 장치
WO2019080743A1 (zh) 一种目标检测方法、装置及计算机设备
EP3300025A1 (en) Image processing device and image processing method
US20150131853A1 (en) Stereo matching system and method for generating disparity map using same
Zheng et al. A rapid webcam-based eye tracking method for human computer interaction
JP2017054304A (ja) 識別装置及び認証システム
Rekik et al. 3d face pose tracking using low quality depth cameras
Shin et al. Hybrid approach for facial feature detection and tracking under occlusion
Chen et al. Depth-based hand gesture recognition using hand movements and defects
JP2010231350A (ja) 人物識別装置、そのプログラム、及び、その方法
CN113255511A (zh) 用于活体识别的方法、装置、设备以及存储介质
Wang et al. Handling occlusion and large displacement through improved RGB-D scene flow estimation
US20150063637A1 (en) Image recognition method and robot
JP7230722B2 (ja) 画像処理装置及び画像処理方法
Bui et al. Deformable parts model for people detection in heavy machines applications
JP6393495B2 (ja) 画像処理装置および物体認識方法
Sunyoto et al. Wrist detection based on a minimum bounding box and geometric features
Tomari et al. Multi-view head detection and tracking with long range capability for social navigation planning

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees