TWI405143B - 用於辨識的物件影像校正裝置與其方法 - Google Patents

用於辨識的物件影像校正裝置與其方法 Download PDF

Info

Publication number
TWI405143B
TWI405143B TW098140624A TW98140624A TWI405143B TW I405143 B TWI405143 B TW I405143B TW 098140624 A TW098140624 A TW 098140624A TW 98140624 A TW98140624 A TW 98140624A TW I405143 B TWI405143 B TW I405143B
Authority
TW
Taiwan
Prior art keywords
image
correction
deviation
face
rotation
Prior art date
Application number
TW098140624A
Other languages
English (en)
Other versions
TW201118799A (en
Inventor
Tai Chang Yang
Hong Long Chou
Original Assignee
Altek Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Altek Corp filed Critical Altek Corp
Priority to TW098140624A priority Critical patent/TWI405143B/zh
Priority to US12/880,299 priority patent/US8428313B2/en
Publication of TW201118799A publication Critical patent/TW201118799A/zh
Application granted granted Critical
Publication of TWI405143B publication Critical patent/TWI405143B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/243Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Geometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

用於辨識的物件影像校正裝置與其方法
本發明為一種用於辨識的物件影像校正方法,特別是於執行辨識之前,先針對影像中特定物件進行位移、旋轉、縮放或/與轉向的校正,以節省辨識時間。
人臉辨識在安全管理的應用愈來愈發達,習知的辨識過程中,通常需要先建立經數位化的使用者的面孔特徵資料庫,在使用中,透過鏡頭拍攝使用者面孔,擷取臉上的特徵,如眼睛、鼻子、嘴巴等,經比對資料庫中所註冊的特徵來判斷使用者使用特定資源的權限。
在基本的比對過程中,常常因為輸入影像和註冊在特定伺服器資料庫的影像臉框大小不一,或是臉框偏左或偏右而產生辨識的困難,為解決這類問題,需要在辨識的當下對人臉影像作縮放和平移的校正處理。經過逐一比對資料庫內容後,能夠得出正確的比對結果。
但是,待測影像若未經縮放和平移的校正,則辨識的過程中需要反覆比對,花費大量的時間,例如,一次比對所需要的時間為t,經過縮放和平移的調整後,所花的時間變為t的數十倍或數百倍。
在習知技術所提出的人臉辨識的技術中,可參閱西元2004年1月1日公告之中華民國專利第569148號,該案揭露一種在影像中將人臉特徵定位之方法,如第一圖所示之流程,主要技術是先對一輸入影像進行背景消除,以及人臉方位導正的預處理,之後再將導正之輸入影像與一標示有人臉特徵之參考影像比較,分別計算參考影像與導正之輸入影像之像素列與像素點間的變化,找出兩者間之對應關係,以取得一標示人臉特徵之影像。
步驟開始,先擷取一輸入影像(步驟S101),由於輸入影像所涵蓋的畫面,除了包括有人臉之外,還可能會有其他背景顏色來干擾辨識人臉的影像處理,故接著計算顏色差異,如透過顏色的邊緣特徵找出人臉應有的特徵分佈,比如利用膚色差異,找到輸入影像之人臉區域(步驟S103)。在此例中,係使用平均-移轉(mean-shif)演算法,並根據一膚色模型來對輸入影像執行色彩分割(color segment),經分析比對之後,過濾掉背景雜色,用以找出在輸入影像中與膚色相近之人臉區域。
接著在此人臉區域中要辨識出人臉特徵所在的位置,如眼睛、鼻子、嘴巴等五官位置,即根據計算得出與膚色相異的特徵區塊(步驟S105)。
由於人臉區域可能是傾斜的,所以在比對之前,先對輸入影像作對齊(alignment)的動作,以先導正人臉區域。如步驟S107,係根據特徵區塊之水平傾斜夾角旋轉人臉區域。之後,將導正之輸入影像與一標示有人臉特徵之參考影像比對,找出兩者間之對應關係(步驟S109)。
將經過調整的影像與資料庫中註冊影像比對,可以提高辨識度與節省辨識時間。
在執行人臉或特定物件辨識程序時,人臉辨識會因為臉框過大或過小、上下左右平移、以及人臉旋轉的問題影響到辨識的效率與成功率。因此在比對的過程中,需要上下左右位移,並調整縮放人臉影像的大小,再經過旋轉的處理,一一比對,得到較佳的比對影像。
除了習知技術提出校正人臉的方法外,特別在需要即時進行人臉或特定物件的影像辨識的過程中,人臉或定物件並非能準確地對準影像擷取裝置,本發明更揭露一種用於辨識的物件影像校正裝置與其方法。
在即時拍攝到的影像中,相對於預設的臉框位置,面孔多數處於位移、大小不一、旋轉、或是方向不正確的偏差狀態,故如果將待測的人臉影像先經過位移、縮放、旋轉、轉向的校正後,再進行比對的程序,則比對的過程避免反覆比對花費太多不必要的時間。
本發明之一目的是,能以一校正方法在執行特定物件辨識前,能夠根據各種偏差執行校正,以產生節省時間的好處,與較好的辨識效能。根據本發明用於辨識的物件影像校正方法之較佳實施例,透過一個校正裝置中的影像擷取單元擷取一影像,接著再以物件位置辨識單元偵測影像中一或複數個物件之位置,其中,於偵測影像中物件位置時,將模擬出一物件框,再將物件位移調整至一適當位置。
再由物件特徵辨識單元依據物件位置辨識當中的特徵,之後,由裝置內特徵點位置計算單元偵測物件中之複數個物件特徵之位置,主要是計算各物件特徵上複數個特徵點之位置,如各特徵點間的相對位置、座標。
位置偏差判斷單元能依據複數個特徵點位置判斷物件之偏差程度,經比對無偏差之預設值,執行一平移校正程序、一旋轉校正程序、一縮放校正程序與一轉向校正程序中之一或是二者以上程序之結合。最後計算校正後複數個特徵點的位置。經此校正程序的物件影像將有利後續辨識的效能。
而本發明所揭露的用於辨識的物件影像校正方法的較佳實施例則是應用於人臉辨識上,同樣透過影像擷取單元擷取一影像,接著偵測影像中一或複數個面孔之位置,並再偵測面孔中之複數個五官特徵之位置,尤其是針對眼睛與嘴巴等特徵。再計算各五官特徵上複數個特徵點之位置,如以眼睛為例,則是計算出兩眼的座標位置,如以嘴巴為例,則可計算兩嘴角位置。
接著,依據複數個特徵點位置判斷物件之偏差程度,包括透過各特徵點位置判斷物件(面孔)的平移偏差,而執行一平移校正程序;判斷面孔之旋轉偏差,並執行相對的旋轉校正程序;根據特徵點位置能判斷面孔的縮放偏差校正程序;根據特徵點位置,再計算各點連線形成的多邊形的寬長比,以此判斷面孔的轉向偏差,則能執行相對的轉向校正程序,最後計算校正後複數個特徵點的位置。
人臉辨識的技術已經實際應用在特定的產品上,比如部份數位相機已能透過人臉辨識判斷拍攝的角度,或是對判斷有人臉的位置進行測光或是聚焦;若應用在安全(security)的領域上,更有技術是透過人臉辨識管理資料、門戶的存取權限,或是進行影像追蹤。
在執行人臉或特定物件辨識程序時,辨識程序首先會需要定位該人臉或是特定物件,通常先定義出一個物件框,在此框的範圍中執行辨識,但可能會因為框過大或過小、上下左右平移、以及人臉(或物件)旋轉的問題影響到辨識的效率與成功率。因此本發明提出用於辨識的物件影像校正裝置與其方法,在執行辨識之前,先針對各種物件位置的偏差進行校正,在校正的過程中,特別針對物件上下左右位移、旋轉、大小與轉向(方向不正)進行校正,以得到較佳的比對影像,且能避免在辨識程序中花費太多不必要反覆比對的時間。
舉例來說,以未經事先校正的情況來說,在執行即時(real-time)辨識時,若一次比對所需的時間為t,因為影像偏差而需反覆比對的次數為k1,則一張臉在比對的過程所花費的總時間為T=k1*t,其中,若t=30ms(毫秒)、k1=125次,在未校正的情況比對一張人臉的時間為30*125=3750ms,約3.7秒左右。但以透過本發明先行校正的情況來說,若一次比對所需的時間為t,反覆比對的次數為k2,而事前校正的時間為s,則辨識的過程所花費的總時間T=k2*t+s,其中,若t=30ms、k2=27次、s=20ms,則一次辨識經過先校正所花費的時間(包括校正與比對)需要30*27+20=830ms,約0.8秒。可由此例明顯比較出處理所需時間的差異。
第二圖顯示一種側臉校正示意圖,其中顯示需要校正的側臉狀態,當擷取一影像且辨識出當中的物件(此例為面孔),尤其是在即時辨識的領域中,普遍有側臉的狀況,為增進辨識的準確度與判斷時間,需如圖中所示,將201標示的面孔側臉的情形,校正為203顯示的修正結果。
第三圖所示為應用本發明校正方法之位移、縮放與旋轉校正示意圖。當擷取影像後,經辨識得出物件(此例為面孔)位置,此時用一軟體模擬出一物件框,提供之後辨識用的參考位置,圖中顯示在辨識之前執行校正的各種過程,其中301標示擷取到的面孔與物件框(或說臉框)有大小的差異,需要經過縮放校正得到正確位置的面孔,如30標示面孔與物件框的關係;302標示擷取到的面孔與物件框除了有大小差異外,更有位移的偏差,需經過縮放校正與位移校正得到正確的位置(30);303標示擷取到的面孔相對於物件框呈現一旋轉偏差與位移偏差,故需要進行旋轉校正與位移校正,以得到正確的位置(30);而304則標示出在物件框中的面孔呈現有旋轉偏差,同樣需要旋轉校正至正確的位置(30)。
在擷取到特定物件或是面孔的位置之後,透過特徵辨識找出物件或面孔上的特徵點,再透過特徵點的位置來判斷各種偏差,而第四A圖顯示面孔上各特徵點的示意圖,尤其是針對旋轉校正時需要的面孔中心點。
圖中顯示面孔上的特徵至少包括有眼睛與嘴巴,而特徵點則可設定為兩個眼睛,分別標示為e1與e2,與嘴巴的兩個嘴角,標示為m1與m2,在執行校正之初,可透過這些特徵點與物件框大小相較之下判斷出偏差,包括利用兩眼e1,e2連線與水平的夾角判斷旋轉偏差、利用兩眼e1,e2、嘴角m1,m2(或僅使用嘴巴位置,或是兩嘴角中點)來判斷轉向(側臉)的偏差、利用兩眼e1,e2距離或是其他特徵點的距離判斷縮放的偏差。
此例顯示利用兩眼中點a與嘴角中點b的連線中點c作為整個面孔的中心點,以此為旋轉中心c,執行旋轉校正,將偏差校正,以便之後的辨識。
而第四B圖則顯示針對側臉的轉向偏差執行轉向校正的示意圖,其中利用上述兩眼e1,e2、嘴角m1,m2(或兩嘴角中點)所連線所圍成的多邊形(包括三角形)來判斷轉向偏差程度。也就是預設一個無轉向偏差的正臉各特徵點圍成的多邊形應該接近一個正梯形(或等邊三角形),透過比對,利用面積或是其他幾何的計算方式(如計算面積的改變)判斷轉向偏差的程度,再根據偏差程度校正整個物件的畫素位置。
而第四C圖則是顯示利用各特徵點位置辨識轉轉向偏差的另一方案示意圖。其中兩眼e1,e2連線中點為a,而此連線距離顯示為第一距離r1,兩嘴角m1,m2連線中點為b,而兩眼中點a與嘴角中點b的連線形成第二距離r2,第一距離r1與第二距離r2的比例定義一寬長比,此寬長比在不同的角度有不同的值。經計算後,與一正臉的狀況的寬長比相較之下,可以得出側臉的偏差程度。
第五圖另外顯示本發明執行旋轉、縮放等步驟的示意圖,標號501顯示擷取到的面孔與一臉框間有大小的偏差,並且與水平線呈現一個角度的旋轉偏差。之後,經過旋轉校正,可將面孔調整接近至水平方向(如503所標示的圖),之後在調整縮放比例,以致於可落於物件框中,如505所顯示的樣子。
為達成上述各種校正的實施態樣,本發明提出如第六圖所示用於辨識的物件影像校正裝置的示意圖,藉此裝置執行擷取、辨識、校正等程序產生用於快速辨識的影像。
輸入影像將先由一影像擷取單元601擷取,並接收、儲存至記憶體603中,實際實施可透過一鏡頭(如裝載CCD、CMOS等影像感測元件的鏡頭)擷取影像,影像經數位化則先暫存於記憶體603中。
接著由一物件位置辨識單元605讀取暫存於記憶體603中的影像訊號,再透過一影像處理程序辨識出物件位置,如一或多個面孔的位置,其中之一實施例係先透過影像中畫素顏色的邊緣特徵,找出人臉應有的特徵分佈,根據改變判斷出何者為前景與何者為背景,經前景與背景的比對得出物件位置。得出物件位置後,可透過軟體模擬出一物件框,用於辨識範圍之依據,必要時,需執行位移調整至影像中之物件位置。
接著,物件特徵辨識單元607接收物件位置辨識單元605中的物件位置,並辨識物件框中之物件的物件特徵,如面孔上的眼睛、鼻子、嘴巴等五官特徵,五官之辨識已為一般常用技術,並不在此贅述。
經過辨識出物件特徵後,由特徵點位置計算單元609計算特定特徵點的位置,較佳實施例包括兩眼的參考位置(以眼睛瞳孔為主,可以座標值標記)與嘴角兩點的參考位置,並以此複數個特徵點位置作為之後校正的基礎。然本發明並不排除引用其他五官特徵的位置作為校正的基礎。
之後,位置偏差判斷單元611根據計算出的各特徵點參考位置判斷物件或面孔的偏差程度。比如:針對平移偏差:根據物件的特徵,如面孔的眼睛或嘴巴位置,可判斷平移的偏差程度,藉平移偏差校正,將物件移至適當位置,能方便之後的其他校正程序。
針對轉向偏差:兩眼的參考位置與嘴角兩點的參考位置連線形成一多邊形,計算各邊之間的比例,如寬長比,與一標準的比例相比,可以判斷該物件是否有轉向偏差,並判斷偏差程度;另一實施例,各參考點連線形成一梯形,一般面孔所形成的梯形應該接近一正梯形,而非歪斜的梯形,故可透過與正梯形比對以判斷轉向偏差的程度。
針對縮放偏差:由於物件應落於物件框中,以便辨識之用,故物件大小亦為需要校正的項目,較佳實施例中,可透過兩眼距離判斷是否過大或過小,以此判斷縮放偏差。
針對旋轉偏差:透過物件中各參考點的連線可判斷是否有旋轉偏差,在較佳實施例中,可透過兩眼的連線與一水平線的夾角(可設一偏差範圍)判斷是否有旋轉偏差。
經判斷各種偏差態樣與偏差程度後,能透過一校正單元613針對各種偏差執行校正,如圖中旋轉校正單元621、轉向校正單元622、縮放校正單元623與平移校正單元625等。一個物件可能有上述全部的偏差態樣,亦可能僅有一或兩種。
針對平移偏差:即利用平移校正單元625將物件調整至一適當位置,以一較佳實施例為例,此步驟需要可在找出眼睛位置之後執行,而其他可以判斷出物件位置的器官亦可,主要是執行一平移校正程序,能讓物件調整至一物件框中,方便其他校正程序。
針對轉向偏差:參考上述得出的轉向偏差程度,透過轉向校正單元調整該物件中的畫素位置,依據一預設寬長比,使之趨近該有的寬長比,或是根據各參考點連線形成的梯形,執行梯形校正,比如校正兩眼與兩嘴角連線形成的四邊形,使之趨近正梯形。
針對縮放偏差:得出縮放偏差的程度後,透過縮放校正單元623進行演算,將物件中各畫素依比例縮放,較佳實施例中,依據眼睛與嘴巴之參考位置之間距,比對一預設間距,藉縮放校正單元623執行縮放校正程序。
針對旋轉偏差:於得到旋轉偏差的角度後,透過旋轉校正單元621修正物件中各畫素位置,使之趨近該有的角度,如兩眼的連線應趨近水平角度,透過眼睛與嘴巴之參考位置找尋一旋轉中心,依此,藉該旋轉校正單元執行一旋轉校正程序。應用上述用於辨識的物件影像校正裝置,本發明提出用於辨識的物件影像校正方法,如第七圖所示用於辨識的物件影像校正方法實施例流程圖之一。
步驟開始之初,如步驟S701,透過影像擷取單元與一鏡頭擷取影像,接著偵測當中有興趣的物件位置,可為一或多個物件(步驟S703)。
之後,根據特定物件的特徵特性,偵測物件中特徵位置(步驟S705),並接著計算特徵點相對位置(步驟S707),即由物件特徵中找出特定的特徵點。透過演算,根據各特徵點位置判斷物件之偏差程度(步驟S709),包括:利用特徵點間的距離可判斷出一平移的偏差程度,比如可藉眼睛、嘴巴,或其他可辨識的器官的位置判斷平移偏差程度;再按照特徵點間距的比例判斷轉向的偏差程度,比如計算複數個特徵點間之複數個連線之寬長比,以此判斷物件之轉向偏差程度;利用複數個特徵點中之任兩點間距與預設間距的差異,判斷縮放的偏差;利用特徵點間連線的角度判斷旋轉的偏差,在較佳實施例中,計算複數個特徵點中之任兩點連線之角度,依據此角度判斷物件之旋轉偏差。
之後執行校正(步驟S711),即根據上述各種存在的偏差與偏差程度執行校正,包括:必要時,先將執行位移校正程序,調整物件位置至適當位置,如調整至一設定的物件框中;透過一轉向校正程序校正該轉向偏差,較佳實施例係比對寬長比與一預設寬長比,再修正經計算的寬長比,使之趨近該預設寬長比,達到該轉向校正之目的;透過一縮放校正程序校正縮放偏差,較佳實施例是比對複數個特徵點中之任兩點間距與一預設間距值,再依照兩點間距與預設間距值之比例執行縮放校正,使之落於物件框中;透過一旋轉校正程序校正上述之旋轉偏差,較佳實施例是由複數個特徵點之位置計算得出物件之一中心點,再以該中心點為一旋轉中心,根據旋轉偏差角度,執行旋轉校正。
最後,計算校正後特徵點的位置(步驟S713),經上述各校正步驟,將經過校正後的物件特徵與已註冊的物件特徵比對,執行辨識,以此能夠增進物件辨識的準確度與其效率。
第八圖則顯示本發明用於辨識的物件影像校正方法實施例流程圖之二,此例乃以面孔辨識為例。
同樣於步驟S801開始,先擷取影像,接著如步驟S803,偵測面孔位置,比如透過前景與背景的顏色差異判斷得出面孔位置,並產生一虛擬之臉框(即如物件框),以此框作為辨識之參考範圍,面孔位置決定後,接著偵測面孔特徵位置(步驟S805),比如,找出面孔上的眼睛、嘴巴等具有特定特徵的部位。
接著計算眼睛與嘴角等特徵點位置(步驟S807),特徵點可以為兩個眼睛代表的兩個參考位置,與兩嘴角代表的參考位置,再透過各特徵點位置判斷旋轉偏差程度(步驟S809),如計算兩眼連線與水平線的角度,並以此判斷物件之旋轉偏差。
透過任兩個特徵點間距判斷縮放偏差程度(步驟S811),比如計算兩眼間距,與一預設間距比對,判斷面孔之縮放偏差程度。
或是透過特徵點連線計算之寬長比判斷轉向偏差程度(步驟S813),如透過兩眼與兩嘴角圍成之多邊形的面積、或特定長度的寬長比判斷側臉的偏差程度。
之後,根據各偏差的態樣執行校正,如步驟S815的旋轉校正,即依據步驟S809判斷的旋轉偏差執行相對的校正,可先利用兩眼、兩嘴角等特徵點之位置計算面孔之中心點,為旋轉中心,以執行旋轉校正;如步驟S817,依據步驟S811判斷之縮放偏差,執行相對之縮放校正,比如,可先根據兩眼連線的長度,與預設長度(較佳是落於臉框內的大小)比對,據以執行縮放校正;如步驟S819,依據步驟S813判斷出的轉向偏差,執行轉向校正,校正方式包括針對兩眼與兩嘴角連線形成的四邊形執行梯形校正、或寬長比調整等,將側臉的情形調整為正臉。
最後計算校正後特徵點的位置(步驟S821)。
綜上所述,根據本發明所揭露的用於辨識的物件影像校正裝置與其方法,特別是應用於進行人臉辨識之前的校正程序,用物件偵測的方法校正五官的正確位置,以節省人臉辨識的時間。
惟以上所述僅為本發明之較佳可行實施例,非因此即侷限本發明之專利範圍,故舉凡運用本發明說明書及圖示內容所為之等效結構變化,均同理包含於本發明之範圍內,合予陳明。
601...影像擷取單元
603...記憶體
605...物件位置辨識單元
607...物件特徵辨識單元
609...特徵點位置計算單元
611...位置偏差判斷單元
613...校正單元
621...旋轉校正單元
622...轉向校正單元
623...縮放校正單元
625...平移校正單元
e1,e2...眼睛
m1,m2...嘴角
a...兩眼中點
b...嘴角中點
c...旋轉中心
r1...第一距離
r2...第二距離
第一圖顯示習知技術在影像中將人臉特徵定位之方法流程圖;
第二圖所示為應用本發明校正方法之側臉校正示意圖;
第三圖所示為應用本發明校正方法之位移、縮放與旋轉校正示意圖;
第四A圖所示為本發明找尋面孔中心點的示意圖;
第四B圖所示為本發明利用梯形校正的示意圖;
第四C圖所示為本發明利用寬長比的示意圖;
第五圖所示為本發明執行旋轉、縮放等步驟的示意圖;
第六圖所示為本發明用於辨識的物件影像校正裝置示意圖;
第七圖所示為本發明用於辨識的物件影像校正方法實施例流程圖之一;
第八圖所示為本發明用於辨識的物件影像校正方法實施例流程圖之二。
S701...擷取影像
S703...偵測物件位置
S705...偵測物件特徵位置
S707...計算特徵點相對位置
S709...依據特徵點位置判斷物件之偏差程度
S711...執行校正
S713...計算校正後特徵點的位置

Claims (16)

  1. 一種用於辨識的物件影像校正方法,應用於一影像擷取裝置執行面孔辨識之前,包括有:擷取一影像;於該影像中以一軟體手段模擬出一物件框,偵測該影像中在該物件框內一或複數個面孔之位置;於該物件框內,偵測該物件中之複數個面孔特徵之位置;計算該複數個面孔特徵上複數個特徵點之位置;依據該複數個特徵點位置判斷該面孔之偏差程度;比對該複數個特徵點位置之偏差位置與無偏差之一預設值,依據該複數個特徵點位置執行位移調整至一適當位置,再執行一旋轉校正程序、一縮放校正程序與一轉向校正程序中之一或是二者以上程序之結合;其中該旋轉校正程序包括:計算該複數個特徵點中之任兩點連線之角度,以依據該角度判斷該物件之旋轉偏差;其中該縮放校正程序包括計算該複數個特徵點中之任兩點間距,以依據該間距判斷該物件之縮放偏差程度;其中該轉向校正程序包括計算該複數個特徵點間之複數個連線之寬長比,以依據該寬長比判斷該物件之轉向偏差程度;以及計算校正後該複數個特徵點的位置。
  2. 如申請專利範圍第1項所述之用於辨識的物件影像校正方法,其中該影像係由一影像擷取單元透過一鏡頭擷取。
  3. 如申請專利範圍第1項所述之用於辨識的物件影像校正方法,其中該複數個物件特徵包括眼睛與嘴巴。
  4. 如申請專利範圍第3項所述之用於辨識的物件影像校正方法,其中該複數個特徵點包括兩個眼睛與嘴巴之兩個嘴角。
  5. 如申請專利範圍第1項所述之用於辨識的物件影像校正方法,其中透過一旋轉校正程序校正該旋轉偏差,該旋轉校正程序包括:由該複數個特徵點之位置計算得出該面孔之一中心點;以及以該中心點為一旋轉中心,根據該旋轉偏差角度,執行旋轉校正。
  6. 如申請專利範圍第1項所述之用於辨識的物件影像校正方法,其中透過一縮放校正程序校正該縮放偏差,該縮放校正程序包括:比對該複數個特徵點中之任兩點間距與一預設間距值;以及依照該兩點間距與該預設間距值之比例執行縮放校正。
  7. 如申請專利範圍第1項所述之用於辨識的物件影像校正方法,其中透過一轉向校正程序校正該轉向偏差,該轉向校正程序包括:比對該寬長比與一預設寬長比;以及 修正該計算之寬長比使之趨近該預設寬長比,達到該轉向校正之目的。
  8. 一種用於辨識的物件影像校正方法,應用於一影像擷取裝置執行面孔辨識之前,包括有:擷取一影像;於該影像中模擬一臉框,偵測該影像之臉框中一或複數個面孔之位置,並執行該平移校正程序位移調整至一適當位置;偵測該面孔中之複數個五官特徵之位置;計算該複數個五官特徵上複數個特徵點之位置;依據該複數個特徵點位置判斷該物件之偏差程度,包括判斷該面孔之平移偏差、該面孔之旋轉偏差、該面孔的縮放偏差與該面孔的轉向偏差,其中:該面孔之旋轉偏差係透過計算該複數個特徵點中之任兩點連線之角度判斷偏差的程度;該面孔的縮放偏差係透過計算該複數個特徵點中之任兩點間距判斷偏差的程度;該面孔的轉向偏差係透過計算該複數個特徵點間之複數個連線之寬長比判斷偏差的程度;比對無偏差之預設值,針對平移偏差執行一平移校正程序、根據旋轉偏差執行一旋轉校正程序、根據該縮放偏差執行一縮放校正程序,並且根據該轉向偏差執行一轉向校正程序,其中:該旋轉校正程序包括由該複數個特徵點之位置計算得出該物件之一中心點,並以該中心點為一旋轉中心,根據該旋轉偏差角度,執行旋轉校正; 該縮放校正程序包括比對該複數個特徵點中之任兩點間距與一預設間距值,並依照該兩點間距與該預設間距值之比例執行縮放校正該轉向校正程序包括比對該寬長比與一預設寬長比,並修正該計算之寬長比使之趨近該預設寬長比,達到該轉向校正之目的;以及計算校正後該複數個特徵點的位置。
  9. 如申請專利範圍第8項所述之用於辨識的物件影像校正方法,其中該影像係由一影像擷取單元透過一鏡頭擷取。
  10. 如申請專利範圍第8項所述之用於辨識的物件影像校正方法,其中該複數個五官特徵包括眼睛與嘴巴。
  11. 如申請專利範圍第10項所述之用於辨識的物件影像校正方法,其中該五官特徵中的複數個特徵點包括兩個眼睛與嘴巴之兩個嘴角。
  12. 一種用於辨識的物件影像校正裝置,係於一影像擷取裝置執行內執行擷取、辨識、校正以快速辨識所拍攝的影像,包括有:一影像擷取單元,係擷取一影像,暫存於一記憶體中,再以軟體模擬出該影像中的一物件框,藉此調整該影像中之物件位置;一物件位置辨識單元,係讀取暫存於該記憶體中的影像訊號,透過一影像處理程序辨識該影像中一物件的所在位置;一物件特徵辨識單元,係接收該物件位置辨識單元中 的該物件位置,再辨識該物件之特徵;一特徵點位置計算單元,係計算該物件特徵與該物件之位置,其中該物件特徵與該物件之位置包括眼睛之參考位置與嘴巴之參考位置;一位置偏差判斷單元,係由該物件特徵位置判斷該物件是否與有位置偏差;以及一校正單元,係針對該物件位置之偏差進行校正,其中具有一旋轉校正單元、一轉向校正單元、一縮放校正單元與一平移校正單元之一或其二者以上之結合,其中:其中該旋轉校正單元係透過眼睛與嘴巴之參考位置找尋一旋轉中心,以執行一旋轉校正程序;該縮放校正單元依據眼睛與嘴巴之參考位置之間距,比對一預設間距,以執行一縮放校正程序;該轉向校正單元由眼睛與嘴巴之參考位置計算各參考位置連線之一寬長比,比對一預設寬長比,以執行一轉向校正程序;以及,該平移校正單元由眼睛與嘴巴之參考位置,執行一平移校正程序,包括根據該物件框調整該影像中之物件位置。
  13. 如申請專利範圍第12項所述之用於辨識的物件影像校正裝置,其中該影像擷取單元係透過一鏡頭擷取該影像。
  14. 如申請專利範圍第12項所述之用於辨識的物件影像校正裝置,其中該影像處理程序係為透過該影像中畫素顏色的邊緣特徵,找出人臉應有的特徵分佈,得出該物件位置。
  15. 如申請專利範圍第14項所述之用於辨識的物件影像校正裝置,其中經該物件位置辨識單元辨識之該物件為一面孔。
  16. 如申請專利範圍第15項所述之用於辨識的物件影像校正裝置,其中經該物件特徵辨識單元辨識之物件特徵包括眼睛與嘴巴。
TW098140624A 2009-11-27 2009-11-27 用於辨識的物件影像校正裝置與其方法 TWI405143B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW098140624A TWI405143B (zh) 2009-11-27 2009-11-27 用於辨識的物件影像校正裝置與其方法
US12/880,299 US8428313B2 (en) 2009-11-27 2010-09-13 Object image correction apparatus and method for object identification

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW098140624A TWI405143B (zh) 2009-11-27 2009-11-27 用於辨識的物件影像校正裝置與其方法

Publications (2)

Publication Number Publication Date
TW201118799A TW201118799A (en) 2011-06-01
TWI405143B true TWI405143B (zh) 2013-08-11

Family

ID=44068943

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098140624A TWI405143B (zh) 2009-11-27 2009-11-27 用於辨識的物件影像校正裝置與其方法

Country Status (2)

Country Link
US (1) US8428313B2 (zh)
TW (1) TWI405143B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI423150B (zh) * 2011-06-14 2014-01-11 Altek Corp 拍照時間點之預測方法
JP6026119B2 (ja) * 2012-03-19 2016-11-16 株式会社東芝 生体情報処理装置
TWI553544B (zh) * 2013-02-27 2016-10-11 緯創資通股份有限公司 電子裝置及影像調整方法
TWI502560B (zh) * 2013-09-05 2015-10-01 Nat Taichung University Science & Technology 星座觀測系統及其方法
TWI646503B (zh) * 2014-12-30 2019-01-01 香港商富智康〈香港〉有限公司 照片方位校正系統及方法
TWI621100B (zh) * 2016-04-19 2018-04-11 義晶科技股份有限公司 影像處理方法及可攜式電子裝置
CN107306331A (zh) * 2016-04-19 2017-10-31 义晶科技股份有限公司 图像处理方法及可携式电子装置
CN105893981B (zh) * 2016-04-28 2018-06-01 湖南大学 一种人脸姿态矫正方法
CN106203308B (zh) * 2016-06-30 2023-04-21 美的集团股份有限公司 人脸识别方法及人脸识别装置
TWI637288B (zh) * 2017-10-11 2018-10-01 緯創資通股份有限公司 用於眼球視線校正的影像處理方法及其系統
CN109376684B (zh) * 2018-11-13 2021-04-06 广州市百果园信息技术有限公司 一种人脸关键点检测方法、装置、计算机设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5852669A (en) * 1994-04-06 1998-12-22 Lucent Technologies Inc. Automatic face and facial feature location detection for low bit rate model-assisted H.261 compatible coding of video
US7266225B2 (en) * 1999-11-03 2007-09-04 Agency For Science, Technology And Research Face direction estimation using a single gray-level image
US20080253651A1 (en) * 2006-12-22 2008-10-16 Canon Kabushiki Kaisha Image processing apparatus and method thereof
US20090034805A1 (en) * 2006-05-10 2009-02-05 Aol Llc Using Relevance Feedback In Face Recognition

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4231320B2 (ja) * 2003-03-31 2009-02-25 本田技研工業株式会社 移動体の検出装置
JP4492036B2 (ja) * 2003-04-28 2010-06-30 ソニー株式会社 画像認識装置及び方法、並びにロボット装置
EP1679657B1 (en) * 2003-10-30 2017-12-27 NEC Corporation Estimation system, estimation method, and estimation program for estimating object state
JP4517633B2 (ja) * 2003-11-25 2010-08-04 ソニー株式会社 対象物検出装置及び方法
JP4121026B2 (ja) * 2004-01-21 2008-07-16 富士フイルム株式会社 撮像装置および方法並びにプログラム
US7751599B2 (en) * 2006-08-09 2010-07-06 Arcsoft, Inc. Method for driving virtual facial expressions by automatically detecting facial expressions of a face image
JP4636064B2 (ja) * 2007-09-18 2011-02-23 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5852669A (en) * 1994-04-06 1998-12-22 Lucent Technologies Inc. Automatic face and facial feature location detection for low bit rate model-assisted H.261 compatible coding of video
US7266225B2 (en) * 1999-11-03 2007-09-04 Agency For Science, Technology And Research Face direction estimation using a single gray-level image
US20090034805A1 (en) * 2006-05-10 2009-02-05 Aol Llc Using Relevance Feedback In Face Recognition
US20080253651A1 (en) * 2006-12-22 2008-10-16 Canon Kabushiki Kaisha Image processing apparatus and method thereof

Also Published As

Publication number Publication date
US20110129127A1 (en) 2011-06-02
US8428313B2 (en) 2013-04-23
TW201118799A (en) 2011-06-01

Similar Documents

Publication Publication Date Title
TWI405143B (zh) 用於辨識的物件影像校正裝置與其方法
CN107766855B (zh) 基于机器视觉的棋子定位方法、系统、存储介质及机器人
CN105760826B (zh) 一种人脸跟踪方法、装置和智能终端
CN107506693B (zh) 畸变人脸图像校正方法、装置、计算机设备和存储介质
CN109685913B (zh) 基于计算机视觉定位的增强现实实现方法
TWI650735B (zh) 移動球體的感測裝置及感測方法
US20160379050A1 (en) Method for determining authenticity of a three-dimensional object
CN102136069A (zh) 用于辨识的对象影像校正装置与其方法
US11580662B2 (en) Associating three-dimensional coordinates with two-dimensional feature points
JP2009104524A (ja) 視線方向計測方法および視線方向計測装置
US20150161435A1 (en) Frontal face detection apparatus and method using facial pose
CN108345821B (zh) 面部追踪方法及设备
JP6840697B2 (ja) 視線方向推定装置、視線方向推定方法、及び視線方向推定プログラム
CN111488775B (zh) 注视度判断装置及方法
JP2001101429A (ja) 顔面の観測方法および顔観測装置ならびに顔観測処理用の記録媒体
US20120269440A1 (en) Device and method that compare facial images
CN112017212B (zh) 人脸关键点跟踪模型的训练、跟踪方法及系统
JP2017194301A (ja) 顔形状測定装置及び方法
JP2002063567A (ja) 物体位置姿勢推定装置及びその方法並びそれを用いた特徴点位置抽出方法及び画像照合方法
JP6942566B2 (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
CN110781712B (zh) 一种基于人脸检测与识别的人头空间定位方法
CN109191522B (zh) 一种基于三维建模的机器人位移纠正方法及系统
JP2021021577A (ja) 画像処理装置及び画像処理方法
JP5213778B2 (ja) 顔認識装置及び顔器官の特徴点特定方法
CN113920196A (zh) 视觉定位方法、装置及计算机设备