TW200529093A - Face image detection method, face image detection system, and face image detection program - Google Patents

Face image detection method, face image detection system, and face image detection program Download PDF

Info

Publication number
TW200529093A
TW200529093A TW093140626A TW93140626A TW200529093A TW 200529093 A TW200529093 A TW 200529093A TW 093140626 A TW093140626 A TW 093140626A TW 93140626 A TW93140626 A TW 93140626A TW 200529093 A TW200529093 A TW 200529093A
Authority
TW
Taiwan
Prior art keywords
image
detection
face image
facial image
detection target
Prior art date
Application number
TW093140626A
Other languages
English (en)
Other versions
TWI254891B (en
Inventor
Toshinori Nagahashi
Takashi Hyuga
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of TW200529093A publication Critical patent/TW200529093A/zh
Application granted granted Critical
Publication of TWI254891B publication Critical patent/TWI254891B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

200529093 (1) 九、發明說明 【發明所屬之技術領域】 本發明係有關於圖案辨識(Pattern recognition )或物 體辨識技術,尤其是用來在尙未判明是否含有人臉之影像 中高速地偵測出是否含有該當人臉的臉部影像偵測方法及 臉部影像偵測系統以及臉部影像偵測程式。 【先前技術】 φ 雖然隨著近年來的圖案辨識技術或電腦等資訊處理裝 置的高性能化,而使文字或語音的辨識精度有飛躍性地提 升,但是映出著人物或物體、景色等的影像,例如,藉由 數位相機等所擷取到之影像的圖案辨識當中,尤其是能否 正確且高速地識別該影像中是否映出人臉這一點,仍是非 常困難的作業。 可是在此同時,要讓電腦來自動且正確地辨識此種影 像中是否映著人臉,甚至該人物到底是誰,這在生物辨識 φ 技術或安全性的提升、犯罪偵查的迅速化、影像資料的處 理·檢索作業的高速化等的實現上,是非常重要的課題, 且關於此類課題,先前已有許多提案。 、 例如,以下的專利文獻1等中,針對某一輸入影像, _ 首先,判定是否有人物膚色領域,並對人物膚色領域自動 地決定馬賽克大小,將候補領域予以馬賽克化,計算與人 臉字典的距離而判定是否有人臉,而進行人臉的切出,藉 此來減少因背景等影響所致之誤抽出,更有效率地從影像 -4 - 200529093 (2) 中找出人類的臉。 [專利文獻1】日本特開平9-50528號公報 【發明內容】 〔發明所欲解決之課題〕 可是在此同時,先前技術中,雖然是根據「膚色」而 從影像中偵測出人類的臉,但該「膚色」係會因爲照明等 之影響,其色範圍會有所不同,常有臉部影像之偵測疏漏 或反因背景而使篩選無法有效率地進行。 於是,本發明係爲了有效解決這些課題而提出,其目 的在於提供新的臉部影像偵測方法及臉部影像偵測系統以 及臉部影像偵測程式,能在尙未判明是否含有人臉之影像 中,高速且精確度佳地偵測出人臉部影像存在可能性高的 領域。 〔用以解決課題之手段〕 [發明1] 爲了解決上記課題,發明]之臉部影像偵測方法,係 屬於在未判明是否含有臉部影像之偵測對象影像中,偵測 是否有臉部影像存在之方法,其特徵爲,將前記偵測對象 影像內的所定領域當作偵測對象領域予以選擇,除了算出 所選擇之偵測對象領域內的邊緣(e d g e )強度,還根據所 算出之邊緣強度而將該當偵測對象領域內分割成複數區塊 後,算出以每一區塊之代表値所構成之特徵向量,然後, -5- 200529093 (3) 將這些特徵向量輸入識別器以偵測前記偵測對象領域內是 否有臉部影像存在。 亦即,做爲從尙未得知是否含有臉部影像,或尙無有 關其所含有之位置之知識的影像中抽出臉部影像的技術, 係除了前述之利用膚色的方法以外,還有根據亮度等所算 出之臉部影像特有之特徵向量而偵測之方法。 可是在此同時,使用通常之特徵向量的方法中,例如 ,當即使僅偵測24 X 2 4像素之臉部影像的時候,仍必須 要動用 576(24x24)次元之龐大量的特徵向量(向量的 要素有5 76個)的演算,因此無法進行高速的臉部影像偵 測。 於是,本發明如前所述,係將該當偵測對象領域分割 成複數區塊,算出以各區塊的每個代表値所構成的特徵向 量,藉由識別器來使用該特徵向量而在前記偵測對象領域 內識別是否存在臉部影像。換言之,在不損及臉部影像之 特徵的程度內將影像特徵量進行次元壓縮,再加以識別。 藉此,識別中所利用之影像特徵量是從偵測對象領域 內的像素數大幅減少成區塊數,因此可使演算量劇減而達 成臉部影像偵測。再者由於使用邊緣(edge ),因此照明 變動強的臉部影像也能偵測。 [發明2] 發明2之臉部影像偵測方法,係發明]所記載之臉部 影像偵測方法中,前記區塊的大小,係根據自我相關係數 -6 - 200529093 (4) 而決定。 亦即,如後面將會詳述,是使用自我相關係數,可根 據該係數而在不大幅損及臉部影像之原有特徵的程度內進 行區塊化所致之次元壓縮,因此可更高速且高精確度地實 施臉部影像偵測。 [發明3] 發明3之臉部影像偵測方法,係發明1或2所記載之 臉部影像偵測方法中,取代前記邊緣強度,改以求出邊緣 強度和前記偵測對象領域的亮度値,根據該亮度値而算出 以每一區塊之代表値所構成之特徵向量。 藉此’當偵測對象領域內是有臉部影像存在時,則可 將該臉部影像以高精確度且高速地加以識別。 [發明4] 發明4之臉部影像偵測方法,係發明1〜3之任一所 記載之臉部影像偵測方法中,前記每一區塊之代表値,是 採用構成前記每一區塊之像素的像素特徵量之分散値或平 均値。 藉此’可確實地算出用來輸入識別部所需之前記特徵 向量。 [發明5] 發明5之臉部影像偵測方法,係發明1〜4之任一所 -7- 200529093 (5) 記載之臉部影像偵測方法中前記識別器,是採用預先學習 了複數學習用樣本臉部影像和樣本非臉部影像的支撐向量 機(Support Vector Machine)。 亦即,本發明中是利用支撐向量機(Support Vector Machine )來做爲已生成之特徵向量的識別部,藉此可高 速且高精確度地識別已選擇之偵測對象領域內是否有人臉 部影像存在。 此處本發明所使用的所謂「支撐向量機(Support Vector Machine,以下會適宜簡稱爲 SVM)」,係如後詳 述,是於1 995年由AT&T的V. Vapnik在統計性學習理論 的架構中所提出的,使用稱作「容限(margin )」的指標 而將所有的2類別(c 1 a s s )之輸入資料予以線性分離時能 夠求出最佳超平面的學習機器,在圖案辨識的能力上是公 認爲最優秀之學習模型之一。又,如後述,即使在無法進 行線性分離時也能藉由使用稱爲「基核技巧(kernel trick )」之技術,就可發揮高識別能力。 [發明6] 發明6之臉部影像偵測方法,係發明5所記載之臉部 影像偵測方法中,前記支撐向量機的識別函數,是使用非 線性的基核函數(k e 1· n e 1 f u n c t i ο η )。 亦即’該支撐向量機的基本構造,雖然是線性閥元件 ,但其在原則上是無法適用於不可線性分離之資料亦即高 次元的影像特徵向量。 -8 - 200529093 (6) 另一方面,做爲藉由該支撐向量機而使非線性的分類 成爲可目b的方法’可舉例局次兀化。其爲,藉由非線性映 射而將原本的輸入資料映射成高次元特徵空間,而在特徵 空間中進行線性分離之方法,藉此,就結果而言,會是在 原本的輸入空間中進行非線性識別的結果。 可是,爲了獲得該非線性映射必須要用到龐大的計算 ’因此實際上可不進行該非線性映射之計算而置換成稱作 「基核函數(kernel function )」的識別函數之計算。這 就稱作「基核技巧(kernel trick )」,藉由該基核戲法就 可避免直接計算非線性映射,以克服計算上的困難。 因此’本發明所用之支撐向量機的識別函數,若採用 δ亥非線性的「基核函數」,則原本屬於不可線性分離之資 料的高次元影像特徵向量也能容易地進行分離。 [發明7] 發明7之臉部影像偵測方法,係發明]〜4之任一所 記載之臉部影像偵測方法中,前記識別器,是採用預先學 習了複數學習用樣本臉部影像和樣本非臉部影像的類神經 網路。 該「類神經網路」,係模仿生物的腦神經迴路網的電 腦模型,尤其是屬於多層型類神經網路的P D P ( P a r a 11 e 1 Distributed Processing)模型,係不可線性分離的圖案學 習變爲可能而爲圖案辨識技術之分類手法的代表者。但是 ’一般而言使用高次特徵量的時候,類神經網路上的識別 冬 200529093 (7) 能力會逐漸降低。本發明中由於影像特徵量的次元是被壓 縮,因此不會發生這類問題。 因此,即使將前記S V Μ改成使用此種類神經網路來 做爲前記識別器,也能實施高速且高精確度的識別。 [發明8] 發明8之臉部影像偵測方法,係發明1〜7之任一所 記載之臉部影像偵測方法中,前記偵測對象影像內的邊緣 強度,係使用各像素中的索貝爾運算子(Sob el operator ) 來予以算出。 亦即,該「索貝爾運算子」,係一種用來偵測影像中 的邊緣或線這類濃淡有劇烈變化之地點所用..之差分型的邊 緣偵測運算子。 因此,藉由使用此種「索貝爾運算子」而生成各像素 中的邊緣強度或邊緣分散値,就可生成影像特徵向量。 此外,該「索貝爾運算子」的形狀,係如圖9 ( a :橫 方向邊緣)、(b :縱方向邊緣)所示,將每一運算子所 生成的結果予以平方和之後,取其平方根就可求出邊緣強 度。 [發明9] 發明9之臉部影像偵測系統,係屬於在未判明是否含 有臉部影像之偵測對象影像中,偵測是否有臉部影像存在 之系統,其特徵爲,具備:影像讀取部,將前記偵測對象 -10- 200529093 (8) 影像及該當偵測對象影像內的所定領域當作偵測對象領域 而予以讀取;及特徵向量算出部’將前記影像讀取部所讀 取到的偵測對象領域內再次分割成複數區塊而將該每一區 塊的代表値所構成之特徵向量予以算出;及識別部,根據 前記特徵向量算出部所得之每一區塊之代表値所構成之特 徵向量,識別前記偵測對象領域內是否有臉部影像存在。 藉此,可和發明1同樣地’識別部之識別中所利用之 影像特徵量是從偵測對象領域內的像素數大幅減少成區塊 φ 數,因此可使演算量劇減而達成臉部影像偵測。 [發明10] 發明1 0的臉部影像偵測系統,係發明9,所記載之臉 部影像偵測系統中,前記特徵向量算出部’係由以下各部 所構成··亮度算出部,將前記影像讀取部所讀取到的偵測 對象領域內之各像素的亮度値予以算出;及邊緣算出部, 算出前記偵測對象領域內之邊緣強度;及平均·分散値算 鲁 出部,將前記亮度算出部所得之亮度値或前記邊緣算出部 戶斤得之邊緣強度或者兩者之値的平均値或分散値予以算出 〇 , 藉此,可和發明4同樣地,可確實地算出用來輸入識 _ 別部所需之前記特徵向量。 [發明]]] 發明Π的臉部影像偵測系統,係發明9或]0所記載 -11 - 200529093 (9) 之臉部影像偵測系統中,前記識別部,是由預先學習了複 數學習用樣本臉部影像和樣本非臉部影像的支撐向量機( Support Vector Machine )戶斤成 ° 藉此’可和發明5同樣地,可局速且高精確度地識別 已選擇之偵測對象領域內是否有人臉部影像存在。 [發明12] 發明1 2的臉部影像偵測程式,係屬於在未判明是否 含有臉部影像之偵測對象影像中,偵測是否有臉部影像存 在之程式,其特徵爲,可令電腦發揮以下的機能:影像讀 取部,將前記偵測對象影像及該當偵測對象影像內的所定 領域當.作偵測對象領域而予以讀‘取;及特徵向量算出部, 將前記影像讀取部所讀取到的偵測對象領域內再次分割成 複數區塊而將該每一區塊的代表値所構成之特徵向量予以 算出;及識別部,根據前記特徵向量算出部所得之每一區 塊之代表値所構成之特徵向量’識別前記偵測對象領域內 · 是否有臉部影像存在。 藉此,除了可獲得相同於發明1的效果,還可用個人 電腦等之泛用電腦系統而在軟體上——實現這些機能,因 , 此相較於作成專用裝置而予以實現之情況,可更經濟且容 . 易地實現之。又’只需改寫程式就可容易地進行各機能之 改良。 [發明13] -12 - 200529093 (10) 發明1 3的臉部影像偵測程式’係發明1 2所記載之臉 部影像偵測程式中,前記特徵向量算出部’係由以下各部 所構成:亮度算出部,將前記影像讀取部所讀取到的偵測 對象領域內之各像素的亮度値予以算出;及邊緣算出部, 算出前記偵測對象領域內之邊緣強度;及平均·分散値算 出部,將前記亮度算出部所得之亮度値或前記邊緣算出部 所得之邊緣強度或者兩者之値的平均値或分散値予以算出 〇 藉此,可和發明4同樣地,可確實地算出用來輸入識 別部所需之前記特徵向量。又,可和發明1 2同樣地,用 個人電腦等之泛用電腦系統而在軟體上——實現這些機能 ,因此可更經濟且容易地加以實現。 、.
[發明14] 發明]4的臉部影像偵測程式,係發明1 2或1 3所記 載之臉部影像偵測程式中,前記識別部,是由預先學習了 複數學習用樣本臉部影像和樣本非臉部影像的支撐向量機 (Support Vector Machine)戶斤成。 藉此’可和發明5同樣地,可高速且高精確度地識別 已選擇之偵測對象領域內是否有人臉部影像存在,又,可 和發明1 2同樣地’用個人電腦等之泛用電腦系統而在軟 體上--實現這些機能,因此可更經濟且容易地加以實現 -13 - 200529093 (11) 【實施方式】 以下,將一面參照圖面一面說明用以實施本發明之最 佳形態。 圖1係本發明所論之臉部影像偵測系統1 0 0之一實施 形態的圖示。如圖所示,該臉部影像偵測系統]00,係主 要是由以下各部所構成:用來讀取學習用樣本影像和偵測 對象影像的影像讀取部1 0、生成被該影像讀取部1 〇所讀 取到之影像的特徵向量的特徵向量算出部2 0、從該特徵向 量算出部2 0所生成之特徵向量中識別前記偵測對象影像 是否爲臉部影像候補領域的識別部3 0亦即SVM (支撐向 量機)。 該影像讀取部1 〇,具體而言,係數位靜畫相機或數位 攝影機等之CCD ( Charge Coupled Device :電耦元件)攝 影機或視像照相機(v i d i c 0 n c a m e r a )、影像掃描器、滾 筒掃描器等,並提供以下機能:將讀取到之偵測對象影像 內的所定領域,及做爲學習用樣本影像的複數臉部影像和 非臉部影像,進行A/D轉換而將該數位影像資料依序送至 特徵向量算出部2 0。 特徵向量算出部2 0又是由以下各部所構成:算出影 像中的亮度(Y )的亮度算出部22、算出影像中的邊緣強 度之邊緣算出部24、求出該邊緣算出部24所生成之邊緣 強度或前記亮度算出部22所生成之亮度的平均値或邊緣 強度分散値的平均·分散値算出部26 ;並提供以下機能: 從被該平均·分散値算出部2 6進行取樣之像素値中’生 -14 - 200529093 (12) 成樣本影像及每個檢索對象影像的影像特徵向量,並將其 依序送至SVM30。 S V Μ 3 0,係提供以下機能:除了學習前記特徵向量算 出部2 0所生成之做爲學習用樣本的複數臉部影像及非臉 部影像的影像特徵向量,還根據該學習結果,識別特徵向 量算出部2 0所生成之偵測對象影像內之所定領域是否爲 臉部影像候補領域。 該SVM30,係如前述是使用稱作「容限(margin)」 的指標而求出最適於將所有的輸入資料予以線性分離時的 最佳超平面的學習機器,而即使在無法線性分離的情況下 也能使用稱作「基核技巧(kernel trick )」的技術,而能 發揮高識別能力。 然後,本實施形態所用之SVM30,係分作:1.進行學 習的步驟,和2 .進行識別的步驟。 首先,1 .進行學習的步驟,係如圖1所示將做爲學習 用樣本影像的多數臉部影像及非臉部影像以影像讀取部1 〇 進行讀取後,以特徵向量算出部2 0生成各臉部影像的特 徵向量,將其當作影像特徵向量而學習之。 之後,2.進行識別的步驟中,將偵測對象影像內之所 定的選擇領域依序加以讀取而將其同樣以特徵向量算出部 2〇來生成其影像特徵向量,將其當作特徵向量而輸入’並 藉由被輸入之影像特徵向量是對於該識別超平面有任何該 當之領域,來偵測出臉部影像存在可能性高之領域。 此處,關於學習上所使用的樣本用臉部影像及非臉部 -15- 200529093 (13) 影像的大小雖然將於後述,但其是將例如2 4 p i x e 1 χ 24 p i x e 1 (像素)予以所定數地區塊化,對相同於做爲偵測對 象之領域的區塊化後的大小的領域而進行之。 再者,若對該S V Μ根據「圖案辨識與學型之統計學 」(岩波書店,麻生英樹、津田宏治、村田昇著)ρρ·]07 〜1 1 8之記載來稍微詳細說明,則當識別之問題爲非線性 的時候’ SVM中可使用非線性的基核函數,此時的識別函 數係如下式1所示。 亦即,數式1的値爲「〇」時則成爲識別超平面,「0 」以外之情況則取和根據所給予之影像特徵向量而計算出 來之識別超平面之間的距離。又,數式i的結果若爲非負 的時候係臉部影像,若爲負的時候則係非臉部影像。 【數1】 f ((φ (χ)) =Σ u i*yi*K(x, Xi) +b i=l X係特徵向量,X i係支撐向量;是使用特徵向量算出 部2 0所生成的値。K係基核函數,本實施形態中是使用 以下數式2的函數。 【數2】
K(x, Xi) = (a*x*Xj+b)T 令 a=l、b=0、T=2 此外,構成該臉部影像偵測系統1 0 0的特徵向量算出 部2 0、S V Μ 3 0以及影像讀取部I 〇等,實際上,是藉由 CPU或RAM等所成的硬體,和由專用之電腦程式(軟體 )所成之個人電腦(P C )等之電腦系統來加以實現。 -16 - 200529093 (14) 亦即,用來實現該臉部影像偵測系統1 〇 〇的電腦系統 ,係例如圖2所示,是由:負責各種控制或演算處理的中 央演算處理裝置亦即 CPU ( Central Processing Unit) 40、 主記憶裝置(Main Storage )中所用之 RAM ( Random Access Memory ) 41 '讀出專用的記憶裝置亦即 R〇m ( Read Only Memory) 42、硬碟機裝置(HDD)或半導體記 1思體寺之輔助ή己彳思裝置(Secondary Storage) 43,及顯示 器(L C D (液晶顯示器)或C R T (陰極映像管))等所成 之輸出裝置44、影像掃描器或鍵盤、滑鼠、CCD ( Charge Coupled Device )或 C Μ O S ( C o mp 1 e m e n t a r y Metal Oxide Semiconductor)等攝像感測器等所成之輸入裝置45、這 些裝置的輸出入介面(I/F) 46等之間,藉由 PCI(
Peripheral Component Interconnect )匯流排或 ISA ( I n d u s t r i a 1 S t a n d a r d A r c h i t e c t u r e )匯流排等所成之處理器 匯流排、記憶體匯流排、系統匯流排、輸出入匯流排等各 種內外匯流排4 7予以匯流連接而成者。 然後,例如,將CD-ROM或DVD-ROM、軟碟片(FD )等記憶媒體,或透過通訊網路(LAN、WAN、Internet 等)N所供給之各種控制用程式或資料,安裝至輔助記憶 裝置4 3等,並將該程式或資料因應需要而載入主記憶裝 置41,依從被載入至該主記憶裝置41的程式而由CPU 40 驅使各種資源而進行所定之控制及演算處理,將其處理結 果(處理資料)透過匯流排4 7輸出至輸出裝置4 4並予以 顯示,同時,將該資料按照需要而適宜地記憶、保存(更 - 17- 200529093 (15) 新)至輔助記憶裝置4 3所形成之資料庫內。 其次,說明使用此種構成之臉部影像偵測系統1 00的 臉部影像偵測方法之一例。 圖3係實際針對做爲偵測對象之影像的臉部影像偵測 方法之一例的流程圖,但在實際使用偵測對象影像而實施 識別之前,必須要先經過像前述般,對識別上所用到的 SV M3 0,令其學習做爲學習用樣本影像的臉部影像及非臉 部影像之步驟。 該學習步驟,係如先前一樣,生成每一做爲學習用樣 本影像的臉部影像及非臉部影像之特徵向量而同時輸入該 特徵向量爲臉部影像還是非臉部影像。此外,此處學習上 所用到的學習影像,理想是使用進行過和實際偵測對象影 像之選擇領域相同處理的影像。亦即,如後將詳述’本發 明之做爲偵測對象的影像領域是經過次元壓縮的,因此藉 由使用事先壓縮至相同次元的影像,就可更高速且高精確 度地進行識別。 然後,若如此而對S VM3 0進行樣本影像的特徵向量 之學習,則如圖3的步驟S I 01所示,首先決定(選擇) 出偵測對象影像內之做爲偵測對象的領域。此外’該偵測 對象領域的決定方法’係無特別限定,可將其他臉部影像 識別部所得之領域直接予以採用’或可採用本系統的利用 者等在偵測對象影像內所任意指定的領域,關於該偵測對 象影像,原則上當然是不知道在哪個位置含有臉部影像’ 而且就連是否含有臉部影像也幾乎無從得知,因此’例如 -18 - 200529093 (16) 以偵測對象影像的左上角爲起點的一定領域起,逐次水平 其垂直平移一定像素而逐一將全部領域掃遍的探索方式來 選擇該領域者較爲理想。又,該領域的大小也並非要固定 ,亦可亦一面適宜地改變大小一面選擇。 之後,若如此而選擇了做爲臉部影像之偵測對象的最 初領域後,則如圖3所示,移入下個步驟S 1 0 3而將該最 初偵測對象領域的大小,正規化(resize,改尺寸)成所 定的大小,例如24 X 2 4像素。亦即,原則上當然是不知 道做爲偵測對象的影像中是否含有臉部影像,甚至連其大 小亦爲不明,因此隨著被選擇之領域的臉部影像之大小而 其像素數也會有大幅的差異,總而言之對所選擇之領域係 先正規化(resize)成做爲基準的大小( 24 x 24像素)之 大小。 其次,若如此而進行完選擇領域的正規化,則移入下 個步驟 S 1 05而針對各像素求出已正規化之領域的邊緣強 度後,將該領域內分割成複數區塊而算出各區塊內的邊緣 之平均値或分散値。 圖4係在如此正規化後的邊緣強度的變化的圖(影像 ),將所算出之邊緣強度以 2 4 X 2 4像素的方式來顯示。 又,圖5係於該領域內再區塊化成6 X 8而將各區塊內的 邊緣的平均値當作各區塊之代表値而予以顯示而成者,然 後,圖6係同樣地,於該領域內再區塊化成6 X 8而將各 區塊內的邊緣的分散値當作各區塊之代表値而予以顯示而 成者。此外,圖中上段兩端的邊緣部份係人臉的「兩目」 -19- 200529093 (17) ,圖中中央中段部份的邊緣部份係「鼻」,圖中央下段部 份的邊緣部份係人臉的「唇部份」。由此可知,即使經過 本發明所致之次元壓縮,臉部影像的特徵仍會直接殘留。 此處’做爲領域內的區塊化數,係根據自我相關係數 而將影像的特徵量以不會大幅損及其特徵量的程度爲限而 予以區塊化這點是重要的,若區塊化數過多則所算出之影 像特徵向量的數亦便多而增大處理負荷,無法達成偵測的 高速化。亦即,若自我相關係數是在閥値以上,則可想成 φ 區塊內的影像特徵量之値,或變動圖案是收敛在一定範圍 內。 該自我相關係數的算出方法,可利用以下的式3及式 4而容易地求出。式3係用來算出對於偵測對象影像呈水 平(寬)方向(Η )之自我相關係數的式子,式4係用來 算出對於偵測對象影像呈垂直(高)方向(V )之自我相 關係數的式子。 【數3】 · i=width-1 i=width-1 h(j, dx) = Ze(i + dx, j) *e(i, j)/ Ze(i, j) *e(i ,j) i=〇 i=〇 r :相關係數 e :亮度或邊緣強度 ^ width :水平方向的像素數 · i :水平方向的像素位置 j :垂直方向的像素位置 d X :像素間距離 -20- 200529093 (18) 【數4】 j=height-1 j=:he ight-1 v(i,dy)- Ze(i J) .e(i, j+dy)/ Ze(i, j) -e(i, j) j=0 j=0 V :相關係數 e :亮度或邊緣強度 height :水平方向的像素數 i :水平方向的像素位置 j :垂直方向的像素位置 dy :像素間距離 然後,圖7及圖8係使用如上的式3、式4所得到的 影像之水平方向(Η )及垂直方向(v )之各相關係數之 一例。 如圖7所示’相對於做爲基準之影像’其中一方之影 像的錯開爲在水平方向上是「〇」,亦即當兩影像完全重 合時的兩影像間的相關關係是最大的「1.0」;但若將其 中一方之影像’相對於做爲基準之影像而在水平方向上錯 開「]」像素份,則兩影像間的相關關係會變成約「〇.9」 ’又’若錯開「2」像素份,則兩影像間的相關關係會變 成約「0.75」,如此,m影像間的相關關係是隨著相對於 水平方向的錯開量(像素數)增加而緩緩下降。 又,如圖8所示,相對於做爲基準之影像’其中一方 之影像的錯開爲在垂直方向上是「G」,亦即當兩影像^ 全重合時的兩影像間的相關關係是最大的「]·〇」;但若 將宜中-方之影像.相對於做爲基準之影像而在垂直方向 -21 - 200529093 (19) 上錯開「1」像素份,則兩影像間的相關關係會變成約「 0.8」’又,若錯開「2」像素份,則兩影像間的相關關係 會變成約「0.6 5」,如此,兩影像間的相關關係是隨著相 對於垂直方向的錯開量(像素數)增加而緩緩下降。 其結果爲,當該錯開量比較少的時候,亦即,在一定 像素數之範圍內,兩影像間的影像特徵量並無太大差別, 可想成是幾乎相同。 能夠如此想成影像特徵量之値或變動圖案爲一定的範 圍(閥値以下),雖然是隨著偵測速度或偵測的信賴性等 而有所不同,但本實施形態中,是假定成如圖中箭頭所示 ,在水平方向爲「4」像素爲止、垂直方向爲「3」像素爲 止。亦即,只要是錯開量在該範圍內之影像,則影像特徵 量的變化少,可當作其變動範圍在一定範圍而予以操作。 其結果爲,在本實施形態中,可不大幅損及原始選擇領域 的特徵,而可進行次元壓縮到 1/12 ( 6 X 8=48次元/24 X 2 4 = 5 7 6次元)爲止。 本發明係著眼於此種影像特徵量上具有一定幅度而提 出的,將自我相關係數不會降到某一定値的範圍內當作一 個區塊來操作,是採用該區塊內的代表値所構成之影像特 徵向量而成者。 然後,若如此對做爲偵測對象之領域進行次元壓縮, 則在算出各區塊的各代表値所構成的影像特徵向量之後, 將所得之影像特徵向量輸入識別器(SVM ) 3 0來判別該當 領域內是否存在有臉部影像(步驟S ] 09 )。 -22- 200529093 (20) 之後,該判別結果,係可在每次該判定結束時,或和 其他判別結果一起示於利用者,移入下個步驟S 1 1 0而直 到所有領域都執行完判定處理而結束處理。 亦即,圖4〜圖6的例子中,各區塊係以使自我相關 係數不低於一定値以下的方式,由縱橫分別相鄰的! 2個 像素(3 X 4 )所成,該1 2個像素的影像特徵量(邊緣強 度)的平均値(圖5 )及分散値(圖6 )是被當作各區塊 的代表値而算出,將從該代表値所得之影像特徵向量輸入 至識別器(S V Μ ) 3 0而進行判定處理。 如此本發明係並非直接將偵測對象領域的全部像素的 特徵量直接拿來利用,而是先在不損及影像原本之特徵量 的程度內進行次元壓縮而再予以識別,因此可大幅削減計 算量,可高速且高精確度地識別已選擇之領域內是否有臉 部影像存在。 此外,本實施形態中,雖然是採用根據邊緣強度的影 像特徵量,但隨著影像種類而有時採用像素的亮度値會比 採用邊緣強度而能更有效率地進行次元壓縮,因此該情況 下可單獨只以亮度値,或和邊緣強度並用而成的影像特徵 量 0 又,本發明之,做爲偵測對象影像是將來極度有用的 「人類的臉」爲對象,但並非「人類的臉」,「人類的體 型」或「動物的臉、姿態」、「汽車等交通工具」、「建 造物」、「植物」、「地形」等其他任何物體都可適用。 又,圖9係本發明中可是用之差分型邊緣偵測運算子 -23- 200529093 (21) 之一的「索貝爾運算子」。圖9 ( a )所示的運算子(濾波 器)’係圍繞注目像素的8個像素値之中,藉由將位於左 列及右列的各3個像素値予以調整,以強調橫方向的邊緣 ;圖9 ( b )所不的運算子,係圍繞注目像素的8個像素値 之中’錯由將位於上行及下行位置的各3 .個像素値予以調 整’以強調縱方向的邊緣;藉此而偵測出縱橫之邊緣。 然後’將以如此之運算子所生成的結果予以平方和之 後,藉由取其平方根便可求出邊緣強度,藉由生成各像素 中的邊緣強度或邊緣的分散値,就可精確度良好地偵測出 影像特徵向量。此外,如前述,亦可取代該「索貝爾運算 子」改以「Roberts」或「prewitt」等其他差分型邊緣偵 測運算子,模版型邊緣偵測運算子等來適用之。 又,亦可置換S V Μ而改用類神經網路來做爲前記識 別器3 0,也可實施高速且高精確度的識別。 【圖式簡單說明】 〔圖1〕臉部影像偵測系統之一實施形態的方塊圖。 〔圖2〕實現臉部影像偵測系統的硬體構成圖。 〔圖3〕臉部影像偵測方法之一實施形態的流程圖。 〔圖4〕邊緣強度之變化的圖示。 〔圖5〕邊緣強度之平均値的圖示。 〔圖6〕邊緣強度之分散値的圖示。 〔圖7〕相對於影像之水平方向的錯開量和相關係數 之關係的圖示。 -24- 200529093 (22) 〔圖8〕相對於影像之垂直方向的錯開量和相關係數 之關係的圖示。 〔圖9〕Sob el濾波器的形狀的圖示。 【主要元件符號說明】 ]〇…影像讀取部、 20···特徵向量算出部、 2 2···亮度算出部、 _ 24…邊緣算出部、 26···平均·分散値算出部、 30·.· SVM (支撐向量機)、 1〇〇…臉部影像偵測系統、· 40 …CPU、 4 1 …R A Μ、 4 2··· ROM ' 43···輔助記憶裝置、 φ 4 4…輸出裝置、 4 5…輸入裝置、 46···輸出入介面(I/F ) 、 ^ 47···匯流排。 . -25-

Claims (1)

  1. 200529093 ⑴ 十、申請專利範圍 1 . 一種臉部影像偵測方法’係屬於在未判明是否含 有臉部影像之偵測對象影像中,偵測是否有臉部影像存在 之方法,其特徵爲, 將前記偵測對象影像內的所定領域當作偵測對象領域 予以選擇,除了算出所選擇之偵測對象領域內的邊緣( edge )強度,還根據所算出之邊緣強度而將該當偵測對象 領域內分割成複數區塊後,算出以每一區塊之代表値所構 成之特徵向量,然後,將這些特徵向量輸入識別器以偵測 前記偵測對象領域內是否有臉部影像存在。 2 .如申請專利範圍第1項所記載之臉部影像偵測方 法,其中, 前記區塊的大小,係根據自我相關係數而決定。 3 ·如申請專利範圍第1項或第2項所記載之臉部影 像偵測方法,其中, 取代前記邊緣強度,改以求出邊緣強度和前記偵測對 象領域的亮度値,根據該亮度値而算出以每一區塊之代表 値所構成之特徵向量。 4 ·如申請專利範圍第1項或第2項所記載之臉部影 像偵測方法,其中, 前記每一區塊之代表値,是採用構成前記每一區塊之 像素的像素特徵量之分散値或平均値。 5 ·如申請專利範圍第1項或第2項所記載之臉部影 像偵測方法,其中, -26- 200529093 (2) 前記識別器,是採用預先學習了複數學習用樣本臉部 影像和樣本非臉部影像的支撐向量機(Suppcm vectQ1. Machine)。 6.如申請專利範圍第5項所記載之臉部影像偵測方 法’其中, 前記支撐向量機的識別函數,是使用非線.性的基核函 數(kernel function) 〇 7 *如申請專利範圍第1項或第2項所記載之臉部影 像偵測方法,其中, Sfi識別器,是採用預先學習了複數學習用樣本臉部 影像和樣本非臉部影像的類神經網路。 8 .如申請專利範圍第1項或第2項所記載之臉部影 像偵測方法,其中, 前記偵測對象影像內的邊緣強度,係使用各像素中的 索貝爾運算子(Sobel operator)來予以算出。 9 · 一種臉部影像偵測系統,係屬於在未判明是否含 有臉部影像之偵測對象影像中,偵測是否有臉部影像存在 之系統,其特徵爲,具備: 影像讀取部,將前記偵測對象影像及該當偵測對象影 像內的所定領域當作偵測對象領域而予以讀取;及 特徵向量算出部,將前記影像讀取部所讀取到的偵測 對象領域內再次分割成複數區塊而將該每一區塊的代表値 所構成之特徵向量予以算出;及 識別部,根據前記特徵向量算出部所得之每一區塊之 -27 - 200529093 (3) 代表値所構成之特徵向量,識別前記偵測對象領域內是否 有臉部影像存在。 10·如申請專利範圍第9項所記載之臉部影像偵測系 統,其中 前記特徵向量算出部,係由以下各部所構成:.亮度算 出部,將前記影像讀取部所讀取到的偵測對象領域內之各 像素的亮度値予以算出;及邊緣算出部,算出前記偵測對 象領域內之邊緣強度;及平均·分散値算出部,將前記亮 度算出部所得之亮度値或前記邊緣算出部所得之邊緣強度 或者兩者之値的平均値或分散値予以算出。 1 1 .如申請專利範圍第9項或第1 0項所記載之臉部 影像偵測系統,其中 前記識別部,是由預先學習了複數學習用樣本臉部影 像和樣本非臉部影像的支撐向量機(Support Vector M ax h i n e )所成。 ]2 . 一種記錄有臉部影像偵測程式之電腦可讀取之媒 體,該程式係屬於在未判明是否含有臉部影像之偵測對象 影像中,偵測是否有臉部影像存在之程式,其特徵爲’可 令電腦發揮以下的機能: 影像讀取部,將前記偵測對象影像及該虽偵測封象# 像內的所定領域當作偵測對象領域而予以讀取;及 特徵向量算出部,將前記影像讀取部所讀取到的偵測 對象領域內再次分割成複數區塊而將該每一區塊的代表値 所構成之特徵向量予以算出;及 -28- 200529093 (4) 識別部,根據前記特徵向量算出部所得之每一區塊之 代表値所構成之特徵向量,識別前記偵測對象領域內是否 有臉部影像存在。 13. 如申請專利範圍第1 2項所記載之記錄有臉部影 个 像偵測程式之電腦可讀取之媒體’其中, _ 前記特徵向量算出部,係由以下各部所構成:亮度算 出部,將前記影像讀取部所讀取到的偵測對象領域內之各 像素的亮度値予以算出;及邊緣算出部’算出前記偵測對 · 象領域內之邊緣強度;及平均·分散値算出部’將前記亮 度算出部所得之亮度値或前記邊緣算出部所得之邊緣強度 或者兩者之値的平均値或分散値予以算出。 14. 如申請專利範圍第1 2項或第1 3項所記載之記錄 有臉部影像偵測程式之電腦可讀取之媒體’其中’ 前記識別部,是由預先學習了複數學習用樣本臉部影 像和樣本非臉部影像的支撐向量機(SuPP〇rt Vector M: a c li i n e )所成。 β -29-
TW093140626A 2003-12-26 2004-12-24 Face image detection method, face image detection system, and face image detection program TWI254891B (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003434177A JP2005190400A (ja) 2003-12-26 2003-12-26 顔画像検出方法及び顔画像検出システム並びに顔画像検出プログラム

Publications (2)

Publication Number Publication Date
TW200529093A true TW200529093A (en) 2005-09-01
TWI254891B TWI254891B (en) 2006-05-11

Family

ID=34697754

Family Applications (1)

Application Number Title Priority Date Filing Date
TW093140626A TWI254891B (en) 2003-12-26 2004-12-24 Face image detection method, face image detection system, and face image detection program

Country Status (4)

Country Link
US (1) US20050139782A1 (zh)
JP (1) JP2005190400A (zh)
TW (1) TWI254891B (zh)
WO (1) WO2005064540A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8463049B2 (en) 2007-07-05 2013-06-11 Sony Corporation Image processing apparatus and image processing method
TWI407800B (zh) * 2006-11-27 2013-09-01 Digitaloptics Corp Internat 馬賽克影像的改良處理
TWI452540B (zh) * 2010-12-09 2014-09-11 Ind Tech Res Inst 影像式之交通參數偵測系統與方法及電腦程式產品

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100405388C (zh) * 2004-05-14 2008-07-23 欧姆龙株式会社 特定被摄体检测装置
US8311294B2 (en) 2009-09-08 2012-11-13 Facedouble, Inc. Image classification and information retrieval over wireless digital networks and the internet
US8600174B2 (en) 2005-09-28 2013-12-03 Facedouble, Inc. Method and system for attaching a metatag to a digital image
US7587070B2 (en) * 2005-09-28 2009-09-08 Facedouble, Inc. Image classification and information retrieval over wireless digital networks and the internet
US7599527B2 (en) * 2005-09-28 2009-10-06 Facedouble, Inc. Digital image search system and method
JP2007272435A (ja) * 2006-03-30 2007-10-18 Univ Of Electro-Communications 顔特徴抽出装置及び顔特徴抽出方法
TW200842733A (en) 2007-04-17 2008-11-01 Univ Nat Chiao Tung Object image detection method
JP5505761B2 (ja) * 2008-06-18 2014-05-28 株式会社リコー 撮像装置
JP4877374B2 (ja) * 2009-09-02 2012-02-15 株式会社豊田中央研究所 画像処理装置及びプログラム
US8331684B2 (en) * 2010-03-12 2012-12-11 Sony Corporation Color and intensity based meaningful object of interest detection
EP2697775A4 (en) * 2011-04-11 2015-03-04 Intel Corp METHOD FOR DETECTING FACE FEATURES
JP6167733B2 (ja) 2013-07-30 2017-07-26 富士通株式会社 生体特徴ベクトル抽出装置、生体特徴ベクトル抽出方法、および生体特徴ベクトル抽出プログラム
CN105611344B (zh) * 2014-11-20 2019-11-05 乐金电子(中国)研究开发中心有限公司 一种智能电视机及其锁屏方法
WO2017015390A1 (en) * 2015-07-20 2017-01-26 University Of Maryland, College Park Deep multi-task learning framework for face detection, landmark localization, pose estimation, and gender recognition
KR102592076B1 (ko) 2015-12-14 2023-10-19 삼성전자주식회사 딥러닝 기반 영상 처리 장치 및 방법, 학습 장치
CN105741229B (zh) * 2016-02-01 2019-01-08 成都通甲优博科技有限责任公司 实现人脸图像快速融合的方法
JP6904842B2 (ja) * 2017-08-03 2021-07-21 キヤノン株式会社 画像処理装置、画像処理方法
KR102532230B1 (ko) 2018-03-30 2023-05-16 삼성전자주식회사 전자 장치 및 그 제어 방법
CN110647866B (zh) * 2019-10-08 2022-03-25 杭州当虹科技股份有限公司 一种检测文字笔画的方法
CN112380965B (zh) * 2020-11-11 2024-04-09 浙江大华技术股份有限公司 进行人脸识别的方法及多目摄像机
CN117423224B (zh) * 2023-09-27 2024-08-23 深圳市地质环境研究院有限公司 边坡监测物联网设备的数据采集方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2973676B2 (ja) * 1992-01-23 1999-11-08 松下電器産業株式会社 顔画像特徴点抽出装置
JPH10233926A (ja) * 1997-02-18 1998-09-02 Canon Inc データ処理装置およびデータ処理方法およびコンピュータが読み出し可能なプログラムを格納した記憶媒体
JP2000222572A (ja) * 1999-01-28 2000-08-11 Toshiba Tec Corp 性別の判定方法
US6792135B1 (en) * 1999-10-29 2004-09-14 Microsoft Corporation System and method for face detection through geometric distribution of a non-intensity image property
JP2001216515A (ja) * 2000-02-01 2001-08-10 Matsushita Electric Ind Co Ltd 人物の顔の検出方法およびその装置
JP2002051316A (ja) * 2000-05-22 2002-02-15 Matsushita Electric Ind Co Ltd 画像通信端末
US6804391B1 (en) * 2000-11-22 2004-10-12 Microsoft Corporation Pattern detection methods and systems, and face detection methods and systems
US7155036B2 (en) * 2000-12-04 2006-12-26 Sony Corporation Face detection under varying rotation
US7050607B2 (en) * 2001-12-08 2006-05-23 Microsoft Corp. System and method for multi-view face detection
US6879709B2 (en) * 2002-01-17 2005-04-12 International Business Machines Corporation System and method for automatically detecting neutral expressionless faces in digital images
EP1359536A3 (en) * 2002-04-27 2005-03-23 Samsung Electronics Co., Ltd. Face recognition method and apparatus using component-based face descriptor

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI407800B (zh) * 2006-11-27 2013-09-01 Digitaloptics Corp Internat 馬賽克影像的改良處理
US8463049B2 (en) 2007-07-05 2013-06-11 Sony Corporation Image processing apparatus and image processing method
TWI452540B (zh) * 2010-12-09 2014-09-11 Ind Tech Res Inst 影像式之交通參數偵測系統與方法及電腦程式產品
US9058744B2 (en) 2010-12-09 2015-06-16 Industrial Technology Research Institute Image based detecting system and method for traffic parameters and computer program product thereof

Also Published As

Publication number Publication date
WO2005064540A1 (ja) 2005-07-14
US20050139782A1 (en) 2005-06-30
TWI254891B (en) 2006-05-11
JP2005190400A (ja) 2005-07-14

Similar Documents

Publication Publication Date Title
TW200529093A (en) Face image detection method, face image detection system, and face image detection program
CN108334848B (zh) 一种基于生成对抗网络的微小人脸识别方法
US8594431B2 (en) Adaptive partial character recognition
TWI497422B (zh) 車牌影像辨識系統及方法
EP2676224B1 (en) Image quality assessment
US20230099984A1 (en) System and Method for Multimedia Analytic Processing and Display
CN110503054B (zh) 文本图像的处理方法及装置
US9042601B2 (en) Selective max-pooling for object detection
AU2017201281B2 (en) Identifying matching images
KR20170006355A (ko) 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치
CN117218672A (zh) 一种基于深度学习的病案文字识别方法及系统
US9020198B2 (en) Dimension-wise spatial layout importance selection: an alternative way to handle object deformation
JP5936561B2 (ja) 画像における外観及びコンテキストに基づく物体分類
CN113255557A (zh) 一种基于深度学习的视频人群情绪分析方法及系统
WO2021098861A1 (zh) 识别文本的方法、装置、识别设备和存储介质
CN101228552A (zh) 脸图像检测装置、脸图像检测方法和脸图像检测程序
CN103093185A (zh) 字符识别装置、图像处理装置及其方法
CN104268509B (zh) 泥头车车牌检测的方法及系统
WO2005041128A1 (ja) 顔画像候補領域検索方法及び顔画像候補領域検索システム並びに顔画像候補領域検索プログラム
JP6377214B2 (ja) テキスト検出方法および装置
JP2017084006A (ja) 画像処理装置およびその方法
Ghoshal et al. A novel method for binarization of scene text images and its application in text identification
Ghandour et al. Building shadow detection based on multi-thresholding segmentation
JP5283267B2 (ja) コンテンツ識別方法及び装置
CN117765493A (zh) 鱼眼图像的目标识别方法、电子设备及存储介质

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees