TW202011252A - 使用人工智慧模型的臉部辨識模組 - Google Patents

使用人工智慧模型的臉部辨識模組 Download PDF

Info

Publication number
TW202011252A
TW202011252A TW108132041A TW108132041A TW202011252A TW 202011252 A TW202011252 A TW 202011252A TW 108132041 A TW108132041 A TW 108132041A TW 108132041 A TW108132041 A TW 108132041A TW 202011252 A TW202011252 A TW 202011252A
Authority
TW
Taiwan
Prior art keywords
artificial intelligence
infrared
model
dimensional
image
Prior art date
Application number
TW108132041A
Other languages
English (en)
Other versions
TWI723529B (zh
Inventor
李湘村
謝必克
蘇俊傑
Original Assignee
耐能智慧股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 耐能智慧股份有限公司 filed Critical 耐能智慧股份有限公司
Publication of TW202011252A publication Critical patent/TW202011252A/zh
Application granted granted Critical
Publication of TWI723529B publication Critical patent/TWI723529B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/359—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Immunology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

臉部辨識模組包含近紅外線閃光燈、主近紅外線相機、人工智慧近紅外線影像模型、人工智慧原始影像模型及人工智慧融合模型。近紅外線閃光燈發出近紅外線光。主近紅外線相機獲取近紅外線影像。人工智慧近紅外線影像模型處理近紅外線影像以產生近紅外線特徵。人工智慧原始影像模型處理二維第二相機影像以產生臉部特徵或顏色特徵。人工智慧融合模型依據近紅外線特徵、臉部特徵及顏色特徵產生三維臉部特徵、深度圖及物體之三維模型。

Description

使用人工智慧模型的臉部辨識模組
本發明關於臉部辨識，特別是一種依據人工智慧模型執行臉部辨識的模組及方法。
現今的數位相機可獲得具有高解析度的二維彩色影像。雖然習知的二維辨識技術能夠分析紅綠藍(red, green, and blue，RGB)色彩藉以追蹤人臉特徵，但是成功率仍然易受到相機拍攝角度及環境光源亮度的影響。與二維辨識相比，三維(3 dimensional，3D)辨識能獲取深度資訊且不受環境光源亮度影響。
三維辨識使用三維感測器以獲取深度資訊。最受歡迎的三維辨識技術為飛時測距(time of flight)相機及結構光。飛時測距相機使用飛時測距針對影像中每一點解出相機及物體之間的距離。飛時測距影像能提供深度資訊以建立物體的三維模型。目前在行動裝置上可用的主要飛時測距感測器的解析度相對較低(130*240, 240*480等)，因此近距物體的深度資訊正確度也相對較低。另外，元件在運作時產生較高的功率消耗及較大的熱量，長期運作需要具備良好的散熱狀況。
結構光係一種主動深度感測技術。結構光的基本元件包含紅外線(infrared，IR)投影器、紅外線相機、RGB相機等。紅外線投影器發出原始的光圖案至物體，接著紅外線相機接收從物體表面反射的光圖案。反射的光圖案與原始的光圖案相比及對照，且依據三角(trigonometric)函數原理計算物體的三維座標。結構光的缺點是需要許多固定位置的儀器，且這些儀器並非可攜儀器。
本發明實施例提供一種臉部辨識模組，包含近紅外線閃光燈、主近紅外線相機、人工智慧近紅外線影像模型、人工智慧原始影像模型及人工智慧融合模型。近紅外線閃光燈發出近紅外線光。主近紅外線相機獲取近紅外線影像。人工智慧近紅外線影像模型處理近紅外線影像以產生近紅外線特徵。人工智慧原始影像模型處理二維第二相機影像以產生臉部特徵或顏色特徵。人工智慧融合模型依據近紅外線特徵、臉部特徵及顏色特徵產生三維臉部特徵、深度圖及物體之三維模型。
本發明實施例提供另一種臉部辨識方法，包含調整臉部辨識模組之曝光，臉部辨識模組之主近紅外線相機獲取近紅外線影像，臉部辨識模組之人工智慧近紅外線影像模型處理近紅外線影像以依據預載入之複數個近紅外線圖案產生複數個近紅外線特徵，臉部辨識模組之人工智慧原始影像模型處理二維第二相機影像以依據複數個預載入臉部圖案或複數個顏色圖案產生複數個臉部特徵或複數個顏色特徵；及臉部辨識模組之人工智慧融合模型依據複數個近紅外線特徵、複數個臉部特徵、複數個顏色特徵及複數個預載入之三維特徵圖案產生複數個三維臉部特徵、深度圖及物體之三維模型。
第1圖顯示臉部辨識模組100的實施例。臉部辨識模組100包含近紅外線(near infrared， NIR)閃光燈102、主近紅外線相機104、第二相機106、人工智慧(artificial intelligence，AI)近紅外線影像模型108、人工智慧原始影像模型110及人工智慧融合模型112。近紅外線閃光燈102用以發出近紅外線光。主近紅外線相機104用以獲取近紅外線影像。人工智慧近紅外線影像模型108、人工智慧原始影像模型110及人工智慧融合模型112在臉部辨識模組100之中央處理單元(central processing unit，CPU)及/或圖形處理單元(graphics processing unit，GPU)上執行。人工智慧近紅外線影像模型108用以處理近紅外線影像以產生近紅外線特徵。第二相機106獲取二維第二相機影像。第二相機影像包含近紅外線影像或紅綠藍(red, green, blue，RGB)彩色影像。人工智慧原始影像模型110用以處理二維第二相機影像以產生臉部特徵或顏色特徵。人工智慧融合模型112用以依據近紅外線特徵、臉部特徵及顏色特徵產生三維(3 dimensional，3D)臉部特徵、深度圖(depth map)及物體之三維模型。
近紅外線閃光燈102可為發光二極體(light emitting diode，LED)閃光燈或雷射閃光燈。近紅外線(near infrared， NIR)係為具有比可見光更長波長之電磁輻射，所以近紅外線可在黑暗中偵測人、動物或其他移動物體。在一實施例中，近紅外線閃光燈102發出雷射或近紅外線光以幫助臉部辨識模組100獲取近紅外線影像。近紅外線閃光燈102係為近紅外線940雷射閃光燈、近紅外線850雷射閃光燈、近紅外線940光電二極體閃光燈或近紅外線850光電二極體閃光燈。
主近紅外線相機104用以獲取近紅外線影像。近紅外線波長在人類可見的範圍外，且可提供比可見光影像更豐富的細節。近紅外線影像特別能夠在黑暗中或光線不足的情況下獲取影像，相較於可見光，近紅外線光譜的較長波長更能穿透薄霧、輕霧、煙及其他大氣狀況，所以近紅外線影像可提供相較於彩色影像更清晰、更少變形及具有更佳對比之影像。
第二相機106獲取二維第二相機影像。在實施例中，第二相機106係為臉部辨識模組100的元件。二維第二相機影像包含近紅外線影像或彩色影像。第二相機106依據其用途獲取影像。舉例來說，若第二相機106用於在黑暗中偵測物體或人體，第二相機106會被設定獲取近紅外線影像。若第二相機106用於彩色臉部辨識，第二相機106會被設定獲取紅綠藍彩色影像。
臉部辨識模組使用三種人工智慧模型。人工智慧近紅外線影像模型108處理近紅外線影像以產生近紅外線特徵。對於移動物體來說，移動物體的深度資訊可透過只使用一個人工智慧近紅外線相機判定。主近紅外線相機104能獲取移動物體的影像，且人工智慧近紅外線影像模型108能透過計算主近紅外線相機104及物體之間之相對運動來產生物體的深度資訊。
人工智慧原始影像模型110處理二維近紅外線影像或二維彩色影像以產生臉部特徵或顏色特徵。人工智慧融合模型112用以依據近紅外線特徵、臉部特徵及顏色特徵產生三維臉部特徵、深度圖(depth map)及物體之三維模型，深度圖及物體之三維模型係透過立體視覺產生，立體視覺係基於人類雙眼視差的原理。主近紅外線相機104及第二相機106由不同角度獲取影像，物體表面之可見點的三維座標能依據從不同視角獲取的二或更多影像來判定，三維座標的判定係透過計算影像的視差圖(disparity map)而達成，接著可判定深度圖及物體之三維模型。
依據三維臉部特徵、深度圖及物體之三維模型，臉部特徵100可提供比習知二維辨識更正確之辨識。例如，三維臉部辨識透過測量臉部幾何特徵而具有比二維辨識達成更正確辨識的潛力。二維臉部辨識無法辨識之特徵，例如光線變化、不同臉部表情、搖頭、臉部化妝品等可使用三維臉部辨識得出。另外，因為三維臉部的臉部表情和二維不同，三維臉部辨識可依據三維模型及三維特徵提供活體偵測(liveness detection)，及可驗證臉部表情是否自然。另外，由於第二相機106可獲取包含人類或動物熱資訊的近紅外線影像，所以能輕易實現活體偵測。
由於人工智慧融合模型112實時產生深度資訊，臉部辨識模組100能追蹤物體的移動。主近紅外線相機104獲取及轉送連續的近紅外線影像至人工智慧近紅外線影像模型108以產生深度圖。深度圖能用以提取連續影像中的物體以識別物體是否正在移動。
第2圖顯示連接至行動裝置220之臉部辨識模組200的實施例。臉部辨識模組200可為可攜模組，行動裝置220可為行動電話、攝影機、錄影機、平板電腦、手持電腦或具有至少一相機的其他裝置。臉部辨識模組200包含近紅外線閃光燈202、主近紅外線相機204、人工智慧近紅外線影像模型208、人工智慧原始影像模型210及人工智慧融合模型212。臉部辨識模組200的主近紅外線相機204用以獲取近紅外線影像。行動裝置220包含相機222，用以獲取包含近紅外線影像或RGB彩色影像的二維第二相機影像。人工智慧近紅外線影像模型208用以處理近紅外線影像以產生臉部特徵及深度圖。人工智慧原始影像模型210用以處理第二相機影像以產生臉部特徵或顏色特徵。人工智慧融合模型212用以依據近紅外線特徵、臉部特徵及顏色特徵產生三維臉部特徵、深度圖及物體之三維模型。
當近紅外線閃光燈202發光時、臉部辨識模組200的主近紅外線相機204獲取近紅外線影像。同時，行動裝置220的相機222獲取近紅外線影像或RGB彩色影像。依據近紅外線影像，人工智慧近紅外線影像模型208產生近紅外線特徵。依據近紅外線影像或彩色影像，人工智慧原始影像模型210產生臉部特徵或顏色特徵。由於主近紅外線相機104及第二相機106從不同角度獲取影像，人工智慧融合模型212可依據不同角度的影像計算物體的視差圖。人工智慧融合模型212依據視差圖產生三維臉部特徵及深度圖。人工智慧融合模型212也產生物體之三維模型。
第3圖係為本發明實施例中臉部辨識方法的流程圖。臉部辨識方法包含下列步驟:
步驟S302: 調整臉部辨識模組100，200的曝光；
步驟S304: 主近紅外線相機104，204擷取近紅外線影像；
步驟S306: 第二相機106, 222擷取二維第二相機影像；
步驟S308: 人工智慧近紅外線影像模型108, 208處理近紅外線影像以依據預載入近紅外線圖案產生近紅外線特徵；
步驟S310: 檢查是否近紅外線特徵有效? 若是，執行步驟S312；若否，執行步驟S302；
步驟S312: 人工智慧原始影像模型110, 210處理二維第二相機影像以依據預載入的臉部圖案或顏色圖案產生臉部特徵或顏色特徵；及
步驟S314: 人工智慧融合模型112, 212依據近紅外線特徵、臉部特徵、顏色特徵及預載入之三維特徵圖案產生三維臉部特徵、深度圖及物體之三維模型。
在步驟S302中，臉部辨識模組100，200的曝光控制包含調整近紅外線閃光燈102, 202、主近紅外線相機104，204及第二相機106, 222。在一實施例中，第二相機106係在臉部辨識模組100之內。在另一實施例中，第二相機222係在與臉部辨識模組200連接的行動裝置220之內。近紅外線閃光燈102, 202的曝光控制包含控制閃光強度及控制閃光期間。主近紅外線相機104，204的曝光控制包含控制光圈、快門及自動增益控制。第二相機106, 222的曝光控制包含控制光圈、快門及自動增益控制。當近紅外線閃光燈102, 202提供足夠光線時，主近紅外線相機104，204及第二相機106, 222調整快門速度及鏡頭光圈以擷取影像。自動增益控制係為一種放大形式，用以增強影像以在影像中提供更清晰物體。當光線品質掉至低於某個準位時，相機會增加影像訊號以補償不足的光線。透過閃光燈控制、光圈控制、快門控制及增益控制可獲得良好品質的影像，以用於臉部辨識。
在一實施例中，臉部辨識模組100，200使用卷積神經網路(convolution neural network，CNN)作為主要臉部辨識技術。在步驟S312中，人工智慧原始影像模型110, 210預載入臉部圖案或顏色圖案。臉部圖案或顏色圖案可為依據卷積神經網路演算法透過大規模二維影像訓練獲得的二維圖案。舉例來說，臉部圖案或顏色圖案包含耳朵、眼睛、嘴唇、膚色、亞洲臉型等，藉以幫助增加二維臉部辨識的正確性。藉由發揮CNN的特徵化能力及大規模CNN受訓資料會增加二維臉部辨識的效能。在步驟S308中，人工智慧近紅外線影像模型108, 208也預載入近紅外線圖案，並依據CNN演算法藉由大規模的近紅外線影像訓練近紅外線圖案。(近紅外線圖案包含物體的標示近紅外線特徵，用以增加臉部辨識正確性。)步驟S308產生之近紅外線特徵及步驟S312產生之顏色特徵會送至步驟S314用於臉部辨識。
在步驟S310中，若人工智慧近紅外線影像模型108, 208無法產生有效的近紅外線特徵，方法會回到步驟S302調整臉部辨識模組100，200的曝光以再次獲取近紅外線影像。在另一實施例中，若人工智慧原始影像模型110, 210無法產生有效的近紅外線特徵，方法會回到步驟S302調整臉部辨識模組100，200的曝光以再次獲取第二相機影像。
在步驟S314中，由於主近紅外線相機104，204及第二相機106, 222由不同角度獲取影像，所以可計算該些影像的視差圖。人工智慧融合模型112, 212依據近紅外線特徵、臉部特徵、顏色特徵、視差圖及預載入三維特徵圖案產生三維臉部特徵、深度圖及物體之三維模型。人工智慧融合模型112, 212預載入透過卷積神經網路演算法訓練得出的人工智慧三維特徵，用以增加三維辨識正確性。三維臉部特徵及深度圖可用以建構物體的三維模型。與二維辨識相比，物體的三維模型的建立有許多好處。在一些具挑戰性的情況下，三維人臉模型具有更多改善臉部辨識正確性的潛力，例如很難使用低解析度照片來識別人臉的情況，及使用二維特徵不容易識別之人臉表情改變的情況。二維人臉模型對照明、姿態改變及不同視角天生不敏感，這些複雜性可使用三維人臉模型處理。
人工智慧融合模型112, 212更包含依據三維臉部特徵、深度圖及物體之三維模型執行人工智慧臉部偵測、人工智慧地標產生、人工智慧品質偵測、人工智慧深度圖產生、人工智慧活體偵測及/或人工智慧臉部特徵產生的功能。因此臉部辨識模組100，200可主動提供以上功能讓用戶使用。
在步驟S308, S312及S314中，卷積神經網路或遞歸神經網絡(recurrent neural network)可用作人工智慧近紅外線影像模型108, 208、人工智慧原始影像模型110, 210及人工智慧融合模型112, 212的主要臉部辨識技術。卷積神經網路或遞歸神經網絡可在不同步驟中結合以最佳化臉部辨識正確性。例如，在步驟S308及S312中的臉部辨識技術可以是卷積神經網路，且步驟S314中的臉部辨識技術可以是遞歸神經網絡。
第4圖顯示第2圖行動裝置220之作業系統404上執行的應用程式402的實施例。在第4圖中，臉部辨識模組200與行動裝置220連接。應用程式402包含人工智慧臉部偵測、人工智慧地標產生、人工智慧品質偵測、人工智慧深度圖產生、人工智慧活體偵測及/或人工智慧臉部特徵產生的功能。應用程式402從人工智慧融合模型212接收三維臉部特徵、深度圖及物體之三維模型用以進行臉部辨識。在一實施例中，應用程式402可以是安卓應用程式(application，APP)或i-phone應用程式，在行動裝置220的作業系統404上運作。
實施例提供臉部辨識的系統及方法。臉部辨識模組可為可攜式且可與行動電話或攝影機等行動裝置連接。當近紅外線閃光燈發出近紅外線光時，主近紅外線相機及第二相機會獲取影像。主近紅外線相機獲取近紅外線影像及第二相機會獲取近紅外線影像或彩色影像。臉部辨識模組使用三種人工智慧模型，包含人工智慧近紅外線影像模型處理近紅外線影像、人工智慧原始影像模型處理近紅外線或彩色影像，及人工智慧融合模型產生三維臉部特徵、深度圖及物體之三維模型。臉部辨識模組預載入訓練過之人工智慧圖案以增加臉部辨識的成功率及最佳化提取的特徵。所產生之三維臉部特徵、深度圖及物體之三維模型能用於人工智慧臉部偵測、人工智慧臉部特徵產生、人工智慧地標產生、人工智慧活體偵測人工智慧深度圖產生等。 以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
100、200:臉部辨識模組 102、202:近紅外線閃光燈 104、204:主近紅外線相機 106、222:第二相機 108、208:人工智慧近紅外線影像模型 110、210:人工智慧原始影像模型 112、212:人工智慧融合模型 S302至S314:步驟 220:行動裝置 402:應用程式 404:作業系統
第1圖顯示臉部辨識模組的實施例。 第2圖顯示連接至行動裝置之臉部辨識模組的實施例。 第3圖係為本發明實施例中臉部辨識方法的流程圖。 第4圖顯示第2圖行動裝置之作業系統上執行的應用程式的實施例。
S302至S314:步驟

Claims (14)

  1. 一種臉部辨識模組，包含: 一近紅外線閃光燈(near infrared, NIR)，用以發出近紅外線光； 一主近紅外線相機，用以獲取一近紅外線影像； 一人工智慧近紅外線影像模型，用以處理該近紅外線影像以產生複數個近紅外線特徵； 一人工智慧原始影像模型，用以處理一二維第二相機影像以產生複數個臉部特徵或複數個顏色特徵；及 一人工智慧融合模型，用以依據該複數個近紅外線特徵、該複數個臉部特徵及該複數個顏色特徵產生複數個三維臉部特徵、一深度圖(depth map)及一物體之一三維模型。
  2. 如請求項1所述之模組，其中該近紅外線閃光燈係為一近紅外線940雷射閃光燈、一近紅外線850雷射閃光燈、一近紅外線940光電二極體(light-emitting diode, LED)閃光燈或一近紅外線850光電二極體閃光燈。
  3. 如請求項1所述之模組，更包含一第二相機，用以獲取該二維第二相機影像。
  4. 如請求項3所述之模組，其中該二維第二相機影像包含一近紅外線影像或一紅綠藍(red, green, blue, RGB)彩色影像。
  5. 一種臉部辨識方法，包含: 調整一臉部辨識模組之一曝光； 該臉部辨識模組之一主近紅外線相機獲取一近紅外線影像； 該臉部辨識模組之一人工智慧近紅外線影像模型處理該近紅外線影像以依據預載入之複數個近紅外線圖案產生複數個近紅外線特徵； 該臉部辨識模組之一人工智慧原始影像模型處理一二維第二相機影像以依據複數個預載入之臉部圖案或複數個顏色圖案產生複數個臉部特徵或複數個顏色特徵；及 該臉部辨識模組之一人工智慧融合模型依據該複數個近紅外線特徵、該複數個臉部特徵、該複數個顏色特徵及複數個預載入之三維特徵圖案產生複數個三維臉部特徵、一深度圖及一物體之一三維模型。
  6. 如請求項5所述之方法，更包含一第二相機，用以獲取該二維第二相機影像。
  7. 如請求項6所述之模組，其中該二維第二相機影像包含一近紅外線影像或一紅綠藍(red, green, blue, RGB)彩色影像。
  8. 如請求項5所述之方法，更包含: 該人工智慧近紅外線影像模型預載入該複數個近紅外線圖案； 該人工智慧原始影像模型預載入該複數個臉部圖案及該複數個顏色圖案；及 該人工智慧融合模型預載入該複數個三維特徵圖案。
  9. 如請求項5所述之方法，其中調整該臉部辨識模組之該曝光包含: 控制一近紅外線光電二極體閃光燈之閃光強度，控制該近紅外線光電二極體閃光燈之閃光期間，控制該主近紅外線相機之一光圈，控制該第二相機之一光圈及/或控制該臉部辨識模組之自動增益控制。
  10. 如請求項5所述之方法，更包含該人工智慧融合模型依據該複數個三維臉部特徵、該深度圖及該物體之該三維模型執行人工智慧臉部偵測、人工智慧地標產生、人工智慧品質偵測、人工智慧深度圖產生、人工智慧活體偵測及/或人工智慧臉部特徵產生。
  11. 如請求項5所述之方法，更包含一應用程式依據該複數個三維臉部特徵、該深度圖及該物體之該三維模型執行人工智慧臉部偵測、人工智慧地標產生、人工智慧品質偵測、人工智慧深度圖產生、人工智慧活體偵測及/或人工智慧臉部特徵產生。
  12. 如請求項5所述之方法，其中該人工智慧近紅外線影像模型係為一卷積神經網路(convolutional neural network)模型或一遞歸神經網絡(recurrent neural network)模型。
  13. 如請求項5所述之方法，其中該人工智慧原始影像模型係為一卷積神經網路模型或一遞歸神經網絡模型。
  14. 如請求項5所述之方法，其中該人工智慧融合模型係為一卷積神經網路模型或一遞歸神經網絡模型。
TW108132041A 2018-09-12 2019-09-05 臉部辨識模組及臉部辨識方法 TWI723529B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862730496P 2018-09-12 2018-09-12
US62/730,496 2018-09-12
US16/528,642 2019-08-01
US16/528,642 US20200082160A1 (en) 2018-09-12 2019-08-01 Face recognition module with artificial intelligence models

Publications (2)

Publication Number Publication Date
TW202011252A true TW202011252A (zh) 2020-03-16
TWI723529B TWI723529B (zh) 2021-04-01

Family

ID=69720432

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108132041A TWI723529B (zh) 2018-09-12 2019-09-05 臉部辨識模組及臉部辨識方法

Country Status (3)

Country Link
US (1) US20200082160A1 (zh)
CN (1) CN110895678A (zh)
TW (1) TWI723529B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI777153B (zh) * 2020-04-21 2022-09-11 和碩聯合科技股份有限公司 影像辨識方法及其裝置及人工智慧模型訓練方法及其裝置

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112861760A (zh) * 2017-07-25 2021-05-28 虹软科技股份有限公司 一种用于表情识别的方法和装置
KR20200143960A (ko) * 2019-06-17 2020-12-28 현대자동차주식회사 영상을 이용한 객체 인식 장치 및 그 방법
CN110335303B (zh) * 2019-06-24 2021-10-26 Oppo广东移动通信有限公司 图像处理方法和装置、及存储介质
US11348375B2 (en) 2019-10-15 2022-05-31 Assa Abloy Ab Systems and methods for using focal stacks for image-based spoof detection
US11294996B2 (en) * 2019-10-15 2022-04-05 Assa Abloy Ab Systems and methods for using machine learning for image-based spoof detection
US11004282B1 (en) * 2020-04-02 2021-05-11 Swiftlane, Inc. Two-factor authentication system
US11288859B2 (en) * 2020-06-01 2022-03-29 Disney Enterprises, Inc. Real-time feature preserving rendering of visual effects on an image of a face
CN111611977B (zh) * 2020-06-05 2021-10-15 吉林求是光谱数据科技有限公司 基于光谱与多波段融合的人脸识别监控系统及识别方法
CN111814595B (zh) * 2020-06-19 2022-05-10 武汉工程大学 基于多任务学习的低光照行人检测方法及系统
US11275959B2 (en) 2020-07-07 2022-03-15 Assa Abloy Ab Systems and methods for enrollment in a multispectral stereo facial recognition system
GR1010102B (el) * 2021-03-26 2021-10-15 Breed Ike, Συστημα αναγνωρισης προσωπου ζωων
CN113255511A (zh) * 2021-05-21 2021-08-13 北京百度网讯科技有限公司 用于活体识别的方法、装置、设备以及存储介质

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1627317A (zh) * 2003-12-12 2005-06-15 北京阳光奥森科技有限公司 利用主动光源获取人脸图像的方法
CN101404060B (zh) * 2008-11-10 2010-06-30 北京航空航天大学 一种基于可见光与近红外Gabor信息融合的人脸识别方法
KR101700595B1 (ko) * 2010-01-05 2017-01-31 삼성전자주식회사 얼굴 인식 장치 및 그 방법
US20120056982A1 (en) * 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
TWI535292B (zh) * 2010-12-31 2016-05-21 派力肯影像公司 使用具有異質的成像器的整體式相機陣列的影像捕捉和處理
US8718748B2 (en) * 2011-03-29 2014-05-06 Kaliber Imaging Inc. System and methods for monitoring and assessing mobility
CN102622588B (zh) * 2012-03-08 2013-10-09 无锡中科奥森科技有限公司 双验证人脸防伪方法及装置
US20140307055A1 (en) * 2013-04-15 2014-10-16 Microsoft Corporation Intensity-modulated light pattern for active stereo
CN103268485A (zh) * 2013-06-09 2013-08-28 上海交通大学 基于稀疏正则化的实现多波段人脸图像信息融合的人脸识别方法
CN105513221B (zh) * 2015-12-30 2018-08-14 四川川大智胜软件股份有限公司 一种基于三维人脸识别的atm机防欺诈装置及系统
CN105931240B (zh) * 2016-04-21 2018-10-19 西安交通大学 三维深度感知装置及方法
CN106210568A (zh) * 2016-07-15 2016-12-07 深圳奥比中光科技有限公司 图像处理方法以及装置
CN107045385A (zh) * 2016-08-01 2017-08-15 深圳奥比中光科技有限公司 基于深度图像的唇语交互方法以及唇语交互装置
CN106774856B (zh) * 2016-08-01 2019-08-30 深圳奥比中光科技有限公司 基于唇语的交互方法以及交互装置
CN106778506A (zh) * 2016-11-24 2017-05-31 重庆邮电大学 一种融合深度图像和多通道特征的表情识别方法
CN106874871B (zh) * 2017-02-15 2020-06-05 广东光阵光电科技有限公司 一种活体人脸双摄像头识别方法及识别装置
CN106709477A (zh) * 2017-02-23 2017-05-24 哈尔滨工业大学深圳研究生院 一种基于自适应得分融合与深度学习的人脸识别方法及系统
CN107169483A (zh) * 2017-07-12 2017-09-15 深圳奥比中光科技有限公司 基于人脸识别的任务执行
CN107948499A (zh) * 2017-10-31 2018-04-20 维沃移动通信有限公司 一种图像拍摄方法及移动终端
CN108038453A (zh) * 2017-12-15 2018-05-15 罗派智能控制技术（上海）有限公司 一种基于rgbd的汽车驾驶员状态检测和识别系统
CN108050958B (zh) * 2018-01-11 2023-12-19 浙江江奥光电科技有限公司 一种基于视场匹配的单目深度相机及其对物体形貌的检测方法
CN108062546B (zh) * 2018-02-11 2020-04-07 厦门华厦学院 一种计算机人脸情绪识别系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI777153B (zh) * 2020-04-21 2022-09-11 和碩聯合科技股份有限公司 影像辨識方法及其裝置及人工智慧模型訓練方法及其裝置

Also Published As

Publication number Publication date
CN110895678A (zh) 2020-03-20
TWI723529B (zh) 2021-04-01
US20200082160A1 (en) 2020-03-12

Similar Documents

Publication Publication Date Title
TWI723529B (zh) 臉部辨識模組及臉部辨識方法
US10733804B2 (en) Method and system for representing a virtual object in a view of a real environment
US9690984B2 (en) Two-dimensional infrared depth sensing
US9460340B2 (en) Self-initiated change of appearance for subjects in video and images
US10936900B2 (en) Color identification using infrared imaging
US9304594B2 (en) Near-plane segmentation using pulsed light source
EP2824923B1 (en) Apparatus, system and method for projecting images onto predefined portions of objects
US20170059305A1 (en) Active illumination for enhanced depth map generation
US20120326959A1 (en) Region of interest segmentation
CN107707839A (zh) 图像处理方法及装置
CN112394527A (zh) 多维摄像装置及其应用终端和方法
JP2018518750A (ja) 反射マップ表現による奥行きマップ表現の増補
US11977615B2 (en) Method for facial authentication of a wearer of a watch
CN103945093A (zh) 基于arm平台人脸识别可见近红外一体摄像装置及方法
CN207650834U (zh) 人脸信息测量组件
WO2023024096A1 (zh) 图像处理方法、图像处理装置、拍摄设备和可读存储介质
TWI535288B (zh) 深度攝影機系統
US11688040B2 (en) Imaging systems and methods for correcting visual artifacts caused by camera straylight
US11159713B2 (en) Imaging system and method of producing images
CN114694265A (zh) 活体检测方法、装置及系统
ES2849273T3 (es) Sistema y procedimiento de captura y generación de imágenes 3D
CN116506731A (zh) 跟焦拍摄方法、装置和存储介质及电子设备

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees