TW202119274A - 臉部影像重建方法與系統 - Google Patents

臉部影像重建方法與系統 Download PDF

Info

Publication number
TW202119274A
TW202119274A TW108139712A TW108139712A TW202119274A TW 202119274 A TW202119274 A TW 202119274A TW 108139712 A TW108139712 A TW 108139712A TW 108139712 A TW108139712 A TW 108139712A TW 202119274 A TW202119274 A TW 202119274A
Authority
TW
Taiwan
Prior art keywords
feature vector
face
face image
loss
visible light
Prior art date
Application number
TW108139712A
Other languages
English (en)
Other versions
TWI719696B (zh
Inventor
葉書豪
孫際恬
Original Assignee
財團法人工業技術研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院 filed Critical 財團法人工業技術研究院
Priority to TW108139712A priority Critical patent/TWI719696B/zh
Priority to US16/715,548 priority patent/US10970526B1/en
Priority to CN202010106102.7A priority patent/CN112784660B/zh
Application granted granted Critical
Publication of TWI719696B publication Critical patent/TWI719696B/zh
Publication of TW202119274A publication Critical patent/TW202119274A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2115—Selection of the most significant subset of features by evaluating different subsets according to an optimisation criterion, e.g. class separability, forward selection or backward elimination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24317—Piecewise classification, i.e. whereby each classification requires several discriminant rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

於臉部影像重建系統的訓練階段中，將熱像人臉影像輸入至卷積編碼器與預訓練熱成像人臉辨識模型，接著進行特徵融合。特徵融合的結果輸入至卷積解碼器進行可見光人臉影像重建。訓練階段使用混合式損失函數。在訓練階段，將重建後可見光人臉影像和相關的真實可見光人臉影像輸入至預訓練可見光人臉辨識模型和預訓練人臉特徵點檢測模型，以計算混合式損失函數，並進行模型學習與參數更新。

Description

臉部影像重建方法與系統
本發明是有關於一種臉部影像重建方法與系統。
隨著大數據與深度學習的技術發展，臉部辨識技術已經相當成熟，然而，在某些比較極端的複雜狀況，例如光線昏暗或是使用者臉上有化妝或偽裝，都可能導致辨識率下降。因此，近年來許多研究都紛紛嘗試評估以紅外線熱影像來進行臉部辨識的可行性。
紅外線熱影像技術是透過發射紅外線來探測人身體本身散發的熱輻射，進而根據不同部位溫度的差異形成圖像。如果利用某些波段的紅外線(例如8 ㎛至14 ㎛的紅外線)，通常不需要額外光源即可拍攝，可用在熱成像/溫度控制、預測性維護、漏氣檢測等。
紅外線臉部辨識近年來在實際生活中已經有了諸多商機及應用，例如：生物護照自助通關系統、大樓自助通關系統等，均有很好的辨識效果。這類型的紅外線人臉辨識可以不受環境光影響，提供高品質的人臉圖像。
然而，紅外線熱像臉部辨識技術通常需要事先建立臉部紅外線的相關特徵才能有效識別出身分。對於未知的臉部，將不容易進行身分的調查與追蹤。因此，將紅外線人臉圖像重建為可見光成像將可能是一個可行的解決方案。
「紅外線人臉圖像重建為可見光成像」技術的優點包括 ：(1)更廣泛的身份追蹤；(2)提供更多的細緻臉部特徵；(3)無痛導入臉部辨識技術； (4)更有效率的生理資訊監控。
目前技術對於已知臉部的重建效果較好，對於未知臉部的重建效果則較差。此外，有些技術無法強調人臉的可辨性(discriminability)。
本案不僅著重在臉部特徵的重建品質，也強調人臉特徵的可辨性，進而更精準地還原可見光臉部圖像。
根據本案一實例，提出一種臉部影像重建方法，包括：對於從儲存裝置讀出的熱像人臉影像進行預處理以得到預處理後熱像人臉影像，並定位出在預處理後熱像人臉影像中的人臉區域；將預處理後熱像人臉影像輸入至卷積編碼器，以對預處理後熱像人臉影像進行下採樣，來擷取出第一三維特徵向量；將預處理後熱像人臉影像輸入到預訓練熱成像人臉辨識模型，以擷取出一維特徵向量；對卷積編碼器所擷取出的三維特徵向量與預訓練熱成像人臉辨識模型所擷取出的一維特徵向量進行特徵融合，以得到第二三維特徵向量；由卷積解碼器對第二三維特徵向量進行上採樣解碼，以得到與熱像人臉影像相同大小的重建可見光人臉影像，重建可見光人臉影像儲存於儲存裝置內；將真實可見光人臉影像與重建可見光人臉影像輸入到預訓練可見光人臉辨識模型，以得到第一特徵向量、第二特徵向量、第三特徵向量與第四特徵向量，其中，第一特徵向量與第二特徵向量用以得到身分損失，第三特徵向量與第四特徵向量用以得到內容損失；將真實可見光人臉影像與重建可見光人臉影像輸入到預訓練人臉特徵點檢測模型，以得到第一與一第二人臉特徵點模型，第一與第二人臉特徵點模型用以得到人臉特徵點損失；以及根據身分損失、內容損失與人臉特徵點損失來得到混合式損失函數，混合式損失函數用於調整卷積編碼器及卷積解碼器。
根據本案另一實例，提出一種臉部影像重建系統，包括：特徵融合式卷積自編碼器，預訓練可見光人臉辨識模型與預訓練人臉特徵點檢測模型。特徵融合式卷積自編碼器包括：預處理模組，對於從儲存裝置讀出的熱像人臉影像進行預處理以得到預處理後熱像人臉影像，並定位出在預處理後熱像人臉影像中的人臉區域；卷積編碼器，以對預處理後熱像人臉影像進行下採樣，來擷取出第一三維特徵向量；預訓練熱成像人臉辨識模型，從預處理後熱像人臉影像擷取出一維特徵向量；特徵融合模組，對卷積編碼器所擷取出的三維特徵向量與預訓練熱成像人臉辨識模型所擷取出的一維特徵向量進行特徵融合，以得到第二三維特徵向量；以及卷積解碼器對第二三維特徵向量進行上採樣解碼，以得到與熱像人臉影像相同大小的重建可見光人臉影像，重建可見光人臉影像儲存於儲存裝置內。將真實可見光人臉影像與重建可見光人臉影像輸入到預訓練可見光人臉辨識模型，以得到第一特徵向量、第二特徵向量、第三特徵向量與第四特徵向量，其中，第一特徵向量與第二特徵向量用以得到身分損失，第三特徵向量與第四特徵向量用以得到內容損失。將真實可見光人臉影像與重建可見光人臉影像輸入到預訓練人臉特徵點檢測模型，以得到第一與一第二人臉特徵點模型，第一與第二人臉特徵點模型用以得到人臉特徵點損失。根據身分損失、內容損失與人臉特徵點損失來得到混合式損失函數，混合式損失函數用於調整卷積編碼器及卷積解碼器。
為了對本發明之上述及其他方面有更佳的瞭解，下文特舉實施例，並配合所附圖式詳細說明如下：
本說明書的技術用語係參照本技術領域之習慣用語，如本說明書對部分用語有加以說明或定義，該部分用語之解釋係以本說明書之說明或定義為準。本揭露之各個實施例分別具有一或多個技術特徵。在可能實施的前提下，本技術領域具有通常知識者可選擇性地實施任一實施例中部分或全部的技術特徵，或者選擇性地將這些實施例中部分或全部的技術特徵加以組合。
現請參照第1圖，其顯示根據本案一示範性實施例的臉部影像重建系統，其可將「熱像人臉影像」重建為「可見光人臉影像」。根據本案示範性實施例的臉部影像重建系統的訓練階段中，透過特徵融合式卷積自編碼器(Feature-Fusion  Convolutional Autoencoder)，將一批的「熱像人臉影像」輸入至卷積編碼器(Convolutional encoder)與預訓練熱成像人臉辨識模型，接著進行特徵融合。特徵融合的結果輸入至卷積解碼器(Convolutional decoder)進行可見光人臉影像重建。至於訓練階段(亦可稱為模型學習)所用的損失函數則使用混合式損失函數，包括：身分損失(Identity Loss)函數、內容損失(Content Loss)函數和人臉特徵點損失(Landmark Loss)函數。在訓練階段，將重建後可見光人臉影像和相關的真實可見光人臉影像輸入至預訓練可見光人臉辨識模型和預訓練人臉特徵點檢測模型，以計算上述三種損失函數，再依據不同權重設定來合併上述三種損失函數來進行模型學習與參數更新。
第1圖顯示根據本案示範性實施例的臉部影像重建系統的示意圖。臉部影像重建系統10包括：特徵融合式卷積自編碼器100、預訓練可見光人臉辨識模型109、預訓練人臉特徵點檢測模型110與混合式損失函數111。特徵融合式卷積自編碼器100包括：預處理模組102、卷積編碼器103、預訓練熱成像人臉辨識模型104、特徵融合模組105與卷積解碼器106。混合式損失函數111包括：身分損失函數111A、內容損失函數111B和人臉特徵點損失函數111C。
在進行訓練時，準備好複數個熱像人臉影像101及其對應的複數個真實可見光人臉影像108作為訓練集。也就是說，以複數位使用者而言，以熱成像方式來取得該些使用者的個別熱像人臉影像101，並以可見光成像方式來取得該些使用者的個別真實可見光人臉影像108。對於同一位使用者而言，該位使用者的熱像人臉影像101與該位使用者的真實可見光人臉影像108是一對一關係。該些熱像人臉影像101與該些真實可見光人臉影像108可儲存於一儲存裝置內。
該些熱像人臉影像101輸入至預處理模組102進行預處理以得到一預處理後熱像人臉影像，並定位出在預處理後熱像人臉影像中的人臉正方形區域，並將該人臉正方形區域縮放到一既定尺寸。例如，從該儲存裝置讀出該些熱像人臉影像101，以輸入至預處理模組102。
預處理模組102的預處理後熱像人臉影像輸入至卷積編碼器103，以對該預處理後熱像人臉影像進行下採樣，並擷取出三維特徵向量。
本案實施例中所用的預訓練熱成像人臉辨識模型104可以利用或選擇現有的熱成像人臉辨識模型104。預處理模組102所得到的預處理後熱像人臉影像輸入到預訓練熱成像人臉辨識模型104，以擷取出分類層的一維特徵向量。
特徵融合模組105將卷積編碼器103所擷取出的三維特徵向量與預訓練熱成像人臉辨識模型104所擷取出的一維特徵向量進行特徵融合。
在本案實施例中，第2圖顯示根據本案實施例的特徵融合。當知，第2圖是用以舉例說明，本案並不受限於此。在第2圖中，一維特徵向量210由預訓練熱成像人臉辨識模型104所擷取出，例如是1*1*2048的一維特徵向量，而三維特徵向量220則是由卷積編碼器103所擷取出，例如是32*32*256的三維特徵向量。在進行特徵融合時，將一維特徵向量210多次複製(例如，複製32*32次)以成得到三維特徵向量(32*32*2048)，並將複製後的三維特徵向量32*32*2048合併到三維特徵向量220(32*32*256)，以得到三維特徵向量230(32*32*256+32*32*2048=32*32*2304)。
由特徵融合模組105所得到的融合後三維特徵向量則輸入到卷積解碼器106。由卷積解碼器106對融合後三維特徵向量進行上採樣解碼，以得到與熱像人臉影像101相同大小的重建可見光人臉影像IR 。相似地，重建可見光人臉影像可以儲存於儲存裝置內。
在本案實施例中，預訓練可見光人臉辨識模型109可以是現存的可見光人臉辨識模型。將真實可見光人臉影像108(亦可標示為I’)與卷積解碼器106所重建的重建可見光人臉影像(亦可標示為IR )輸入到預訓練可見光人臉辨識模型109，可以得到兩個特徵向量Fn (I’)與Fn (IR )。利用身分損失函數111A來計算此兩特徵向量的餘弦距離，以得到身分損失
Figure 02_image001
，如公式1：
Figure 02_image003
(公式1)
在公式1中，n代表最後一層的層數。
此外，將真實可見光人臉影像108(亦可標示為I’)與卷積解碼器106所重建的重建可見光人臉影像(亦可標示為IR )輸入到預訓練可見光人臉辨識模型109，來擷取中間層的特徵圖，以得到兩個特徵向量Fj (I’)與Fj (IR )。利用內容損失函數111B來計算這兩個特徵向量Fj (I’)與Fj (IR )之間的歐基里德距離，然後依據中間層數量取均值，來做為內容損失
Figure 02_image005
，如公式2：
Figure 02_image007
(公式2)
在公式2中，j代表層數參數，而HFj 、WFj 與CFj 則分別代表真實可見光人臉影像108(或者是所重建的重建可見光人臉影像)的高度參數、寬度參數與深度參數。
在本案實施例中，預訓練人臉特徵點檢測模型110(其可為現有的人臉特徵點檢測模型)可以進行如後的操作：
Figure 02_image009
，其中，H、W與C代表該人臉影像的高度參數、寬度參數與深度參數，亦即，M(I)可以把H*W*C維度轉換成68維。或者說，透過預訓練人臉特徵點檢測模型110，可以從該人臉影像取出68個點當成人臉特徵點，如第3圖所示。
故而，在本案實施例中，將真實可見光人臉影像108(亦可標示為I’)與卷積解碼器106所重建的重建可見光人臉影像(亦可標示為IR )輸入到預訓練人臉特徵點檢測模型110(其可為現有的人臉特徵點檢測模型)可以得到人臉特徵點模型M(I’)與M(IR )。將人臉特徵點模型M(I’)與M(IR )輸入至人臉特徵點損失函數111C，來計算真實可見光人臉影像108的68個人臉特徵點(亦即M(I’))與重建可見光人臉影像的68個人臉特徵點(亦即M(IR ))之間的歐基里德距離，來做為人臉特徵點損失
Figure 02_image011
，如公式3:
Figure 02_image013
公式3
之後，將公式(1)~(3)結合不同的參數權重
Figure 02_image015
、
Figure 02_image017
與
Figure 02_image019
，來作為混合式損失函數111，如公式(4)，其中，參數權重
Figure 02_image015
、
Figure 02_image017
與
Figure 02_image019
是可以調整的參數權重，且這三個參數權重的總和為1。
Figure 02_image021
公式(4)
透過倒傳遞方式來調整這些參數權重，以讓
Figure 02_image023
最小化。也就是說，所得到的混合式損失函數111可回授至特徵融合式卷積自編碼器100，來用於調整卷積編碼器103的參數及卷積解碼器106的參數，以讓卷積解碼器106所重建的重建可見光人臉影像更接近於真實可見光人臉影像108(也就是說，讓
Figure 02_image023
最小化)。
第4A圖與第4B圖顯示根據本案一示範性實施例的臉部影像重建方法，包括：對於從儲存裝置讀出的熱像人臉影像進行預處理以得到預處理後熱像人臉影像，並定位出在預處理後熱像人臉影像中的人臉區域(405)；將預處理後熱像人臉影像輸入至卷積編碼器，以對預處理後熱像人臉影像進行下採樣，來擷取出第一三維特徵向量(410)；預處理後熱像人臉影像輸入到預訓練熱成像人臉辨識模型，以擷取出一維特徵向量(415)；對卷積編碼器所擷取出的三維特徵向量與預訓練熱成像人臉辨識模型所擷取出的一維特徵向量進行特徵融合，以得到第二三維特徵向量(420)；由卷積解碼器對第二三維特徵向量進行上採樣解碼，以得到與熱像人臉影像相同大小的重建可見光人臉影像，重建可見光人臉影像儲存於儲存裝置內(425)；將真實可見光人臉影像與重建可見光人臉影像輸入到預訓練可見光人臉辨識模型，以得到第一特徵向量、第二特徵向量、第三特徵向量與第四特徵向量，其中，第一特徵向量與第二特徵向量用以得到身分損失，第三特徵向量與第四特徵向量用以得到內容損失(430)；將真實可見光人臉影像與重建可見光人臉影像輸入到預訓練人臉特徵點檢測模型，以得到第一與第二人臉特徵點模型，第一與第二人臉特徵點模型用以得到人臉特徵點損失(435)；以及根據身分損失、內容損失與人臉特徵點損失來得到混合式損失函數，混合式損失函數用於調整卷積編碼器及卷積解碼器(440)。
在上述做法中，重建可見光人臉影像與真實可見光人臉影像108可以儲存於儲存裝置內，然後讀出以輸入至預訓練可見光人臉辨識模型109與預訓練人臉特徵點檢測模型110。
本案上述實施例中，(1)透過融合「預訓練熱成像人臉辨識模型104所擷取出的一維特徵向量」，來讓重建可見光人臉影像的細節更加具備真實性；(2)透過混合式損失函數，讓重建可見光人臉影像更注重原有人臉的主要特徵，不僅具備重建的真實性，也強調對原人物身分的可辨性；以及(3)透過大數據的訓練方式，可以對未知的熱像人臉影像進行重建。
在本案上述實施例中，使用卷積神經網路(CNN)來訓練特徵融合式卷積自編碼器100並萃取臉部重要特徵，更輔以混合式損失函數，來重建出較佳的可見光人臉影像。
綜上所述，雖然本發明已以實施例揭露如上，然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾。因此，本發明之保護範圍當視後附之申請專利範圍所界定者為準。
10:臉部影像重建系統 100:特徵融合式卷積自編碼器 101:熱像人臉影像 102:預處理模組 103:卷積編碼器 104:預訓練熱成像人臉辨識模型 105:特徵融合模組 106:卷積解碼器 108:真實可見光人臉影像 109:預訓練可見光人臉辨識模型 110:預訓練人臉特徵點檢測模型 111:混合式損失函數 111A:身分損失函數 111B:內容損失函數 111C:人臉特徵點損失函數 210:一維特徵向量 220:三維特徵向量 230:三維特徵向量 405~440:步驟
第1圖顯示根據本案示範性實施例的臉部影像重建系統的示意圖。 第2圖顯示根據本案實施例的特徵融合。 第3圖顯示根據本案實施例中，透過預訓練人臉特徵點檢測模型，從人臉影像取出68個點當成人臉特徵點。 第4A圖與第4B圖顯示根據本案一示範性實施例的臉部影像重建方法。
405-440:步驟

Claims (16)

  1. 一種臉部影像重建方法，包括： 對於從一儲存裝置讀出的一熱像人臉影像進行預處理以得到一預處理後熱像人臉影像，並定位出在該預處理後熱像人臉影像中的一人臉區域； 將該預處理後熱像人臉影像輸入至一卷積編碼器，以對該預處理後熱像人臉影像進行下採樣，來擷取出一第一三維特徵向量； 將該預處理後熱像人臉影像輸入到一預訓練熱成像人臉辨識模型，以擷取出一一維特徵向量； 對該卷積編碼器所擷取出的該三維特徵向量與該預訓練熱成像人臉辨識模型所擷取出的該一維特徵向量進行特徵融合，以得到一第二三維特徵向量； 由一卷積解碼器對該第二三維特徵向量進行上採樣解碼，以得到與該熱像人臉影像相同大小的一重建可見光人臉影像，該重建可見光人臉影像儲存於該儲存裝置內； 將一真實可見光人臉影像與該重建可見光人臉影像輸入到一預訓練可見光人臉辨識模型，以得到一第一特徵向量、一第二特徵向量、一第三特徵向量與一第四特徵向量，其中，該第一特徵向量與該第二特徵向量用以得到一身分損失，該第三特徵向量與該第四特徵向量用以得到一內容損失； 將該真實可見光人臉影像與該重建可見光人臉影像輸入到一預訓練人臉特徵點檢測模型，以得到一第一與一第二人臉特徵點模型，該第一與該第二人臉特徵點模型用以得到一人臉特徵點損失；以及 根據該身分損失、該內容損失與該人臉特徵點損失來得到一混合式損失函數，該混合式損失函數用於調整該卷積編碼器及該卷積解碼器。
  2. 如申請專利範圍第1項所述之臉部影像重建方法，其中，於進行預處理時，將該人臉區域縮放到一既定尺寸。
  3. 如申請專利範圍第1項所述之臉部影像重建方法，其中，於進行特徵融合時，將該一維特徵向量多次複製以成得到一第三三維特徵向量，並將該第三三維特徵向量合併到該第一三維特徵向量，以得到該第二三維特徵向量。
  4. 如申請專利範圍第1項所述之臉部影像重建方法，其中，利用一身分損失函數來計算該第一特徵向量與該第二特徵向量的一餘弦距離，以得到該身分損失。
  5. 如申請專利範圍第1項所述之臉部影像重建方法，其中，利用一內容損失函數來計算該第三特徵向量與該第四特徵向量之間的一第一歐基里德距離，以得到該內容損失。
  6. 如申請專利範圍第1項所述之臉部影像重建方法，其中，將該第一與該第二人臉特徵點模型輸入至一人臉特徵點損失函數，來計算該第一與該第二人臉特徵點模型之間的一第二歐基里德距離，以得到該人臉特徵點損失。
  7. 如申請專利範圍第1項所述之臉部影像重建方法，其中，該身分損失、該內容損失與該人臉特徵點損失分別結合一第一參數權重、一第二參數權重與一第三參數權重，來作為該混合式損失函數，其中，該第一參數權重、該第二參數權重與該第三參數權重是可調整的，且總和為1。
  8. 如申請專利範圍第1項所述之臉部影像重建方法，其中，透過一倒傳遞來調整該第一參數權重、該第二參數權重與該第三參數權重。
  9. 一種臉部影像重建系統，包括： 一特徵融合式卷積自編碼器，包括： 一預處理模組，對於從一儲存裝置讀出的一熱像人臉影像進行預處理以得到一預處理後熱像人臉影像，並定位出在該預處理後熱像人臉影像中的一人臉區域； 一卷積編碼器，以對該預處理後熱像人臉影像進行下採樣，來擷取出一第一三維特徵向量； 一預訓練熱成像人臉辨識模型，從該預處理後熱像人臉影像擷取出一一維特徵向量； 一特徵融合模組，對該卷積編碼器所擷取出的該三維特徵向量與該預訓練熱成像人臉辨識模型所擷取出的該一維特徵向量進行特徵融合，以得到一第二三維特徵向量；以及 一卷積解碼器對該第二三維特徵向量進行上採樣解碼，以得到與該熱像人臉影像相同大小的一重建可見光人臉影像，該重建可見光人臉影像儲存於該儲存裝置內；以及 一預訓練可見光人臉辨識模型與一預訓練人臉特徵點檢測模型， 其中， 將一真實可見光人臉影像與該重建可見光人臉影像輸入到該預訓練可見光人臉辨識模型，以得到一第一特徵向量、一第二特徵向量、一第三特徵向量與一第四特徵向量，其中，該第一特徵向量與該第二特徵向量用以得到一身分損失，該第三特徵向量與該第四特徵向量用以得到一內容損失； 將該真實可見光人臉影像與該重建可見光人臉影像輸入到該預訓練人臉特徵點檢測模型，以得到一第一與一第二人臉特徵點模型，該第一與該第二人臉特徵點模型用以得到一人臉特徵點損失；以及 根據該身分損失、該內容損失與該人臉特徵點損失來得到一混合式損失函數，該混合式損失函數用於調整該卷積編碼器及該卷積解碼器。
  10. 如申請專利範圍第9項所述之臉部影像重建系統，其中，該預處理模組將該人臉區域縮放到一既定尺寸。
  11. 如申請專利範圍第9項所述之臉部影像重建系統，其中，於進行特徵融合時，該特徵融合模組將該一維特徵向量多次複製以成得到一第三三維特徵向量，並將該第三三維特徵向量合併到該第一三維特徵向量，以得到該第二三維特徵向量。
  12. 如申請專利範圍第9項所述之臉部影像重建系統，其中，利用一身分損失函數來計算該第一特徵向量與該第二特徵向量的一餘弦距離，以得到該身分損失。
  13. 如申請專利範圍第9項所述之臉部影像重建系統，其中，利用一內容損失函數來計算該第三特徵向量與該第四特徵向量之間的一第一歐基里德距離，以得到該內容損失。
  14. 如申請專利範圍第9項所述之臉部影像重建系統，其中，將該第一與該第二人臉特徵點模型輸入至一人臉特徵點損失函數，來計算該第一與該第二人臉特徵點模型之間的一第二歐基里德距離，以得到該人臉特徵點損失。
  15. 如申請專利範圍第9項所述之臉部影像重建系統，其中，該身分損失、該內容損失與該人臉特徵點損失分別結合一第一參數權重、一第二參數權重與一第三參數權重，來作為該混合式損失函數，其中，該第一參數權重、該第二參數權重與該第三參數權重是可調整的，且總和為1。
  16. 如申請專利範圍第9項所述之臉部影像重建系統，其中，透過一倒傳遞來調整該第一參數權重、該第二參數權重與該第三參數權重。
TW108139712A 2019-11-01 2019-11-01 臉部影像重建方法與系統 TWI719696B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW108139712A TWI719696B (zh) 2019-11-01 2019-11-01 臉部影像重建方法與系統
US16/715,548 US10970526B1 (en) 2019-11-01 2019-12-16 Facial image reconstruction method and system
CN202010106102.7A CN112784660B (zh) 2019-11-01 2020-02-20 脸部影像重建方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW108139712A TWI719696B (zh) 2019-11-01 2019-11-01 臉部影像重建方法與系統

Publications (2)

Publication Number Publication Date
TWI719696B TWI719696B (zh) 2021-02-21
TW202119274A true TW202119274A (zh) 2021-05-16

Family

ID=75275441

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108139712A TWI719696B (zh) 2019-11-01 2019-11-01 臉部影像重建方法與系統

Country Status (3)

Country Link
US (1) US10970526B1 (zh)
CN (1) CN112784660B (zh)
TW (1) TWI719696B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI779784B (zh) * 2021-08-19 2022-10-01 中華電信股份有限公司 特徵解析系統、方法及其電腦可讀媒介
TWI796072B (zh) * 2021-12-30 2023-03-11 關貿網路股份有限公司 身分辨識系統、方法及其電腦可讀媒體

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11715326B2 (en) * 2020-06-17 2023-08-01 Microsoft Technology Licensing, Llc Skin tone correction for body temperature estimation
CN115205949B (zh) * 2022-09-05 2022-12-06 腾讯科技（深圳）有限公司 图像生成方法以及相关设备
CN116468812A (zh) * 2023-05-16 2023-07-21 山东省计算中心（国家超级计算济南中心） 一种基于多分支和多尺度的图像压缩感知重构方法及系统
CN116758622A (zh) * 2023-08-21 2023-09-15 深圳兔展智能科技有限公司 用于出勤管理系统的数据处理方法、装置、系统及介质

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI393070B (zh) 2009-12-14 2013-04-11 Nat Applied Res Laboratories 建立人臉模型的方法
US8861800B2 (en) * 2010-07-19 2014-10-14 Carnegie Mellon University Rapid 3D face reconstruction from a 2D image and methods using such rapid 3D face reconstruction
CN102495999A (zh) * 2011-11-14 2012-06-13 深圳市奔凯安全技术有限公司 一种人脸识别的方法
CN105096377B (zh) * 2014-05-14 2019-03-19 华为技术有限公司 一种图像处理方法和装置
US9813643B2 (en) * 2014-06-06 2017-11-07 Flir Systems, Inc. Thermal recognition systems and methods
US10198872B2 (en) * 2015-08-10 2019-02-05 The Board Of Trustees Of The Leland Stanford Junior University 3D reconstruction and registration of endoscopic data
US9830506B2 (en) * 2015-11-09 2017-11-28 The United States Of America As Represented By The Secretary Of The Army Method of apparatus for cross-modal face matching using polarimetric image data
JP2017097645A (ja) * 2015-11-25 2017-06-01 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
CN105956518A (zh) * 2016-04-21 2016-09-21 腾讯科技（深圳）有限公司 一种人脸识别方法、装置和系统
US10650227B2 (en) * 2016-10-31 2020-05-12 Google Llc Face reconstruction from a learned embedding
TWI756365B (zh) * 2017-02-15 2022-03-01 美商脫其泰有限責任公司 圖像分析系統及相關方法
CN110490177A (zh) * 2017-06-02 2019-11-22 腾讯科技（深圳）有限公司 一种人脸检测器训练方法及装置
CN110520913B (zh) * 2017-06-12 2022-04-05 北京嘀嘀无限科技发展有限公司 确定预估到达时间的系统和方法
CN108108704A (zh) 2017-12-28 2018-06-01 努比亚技术有限公司 人脸识别方法及移动终端
CN108960159A (zh) 2018-07-10 2018-12-07 深圳市唯特视科技有限公司 一种基于生成对抗网络的热成像人脸识别方法
CN109255830B (zh) * 2018-08-31 2020-06-05 百度在线网络技术（北京）有限公司 三维人脸重建方法和装置
CN109410219B (zh) * 2018-10-09 2021-09-03 山东大学 一种基于金字塔融合学习的图像分割方法、装置和计算机可读存储介质
CN109509152B (zh) * 2018-12-29 2022-12-20 大连海事大学 一种基于特征融合的生成对抗网络的图像超分辨率重建方法
CN110148468B (zh) * 2019-05-09 2021-06-29 北京航空航天大学 动态人脸图像重建的方法及装置
CN110263756A (zh) * 2019-06-28 2019-09-20 东北大学 一种基于联合多任务学习的人脸超分辨率重建系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI779784B (zh) * 2021-08-19 2022-10-01 中華電信股份有限公司 特徵解析系統、方法及其電腦可讀媒介
TWI796072B (zh) * 2021-12-30 2023-03-11 關貿網路股份有限公司 身分辨識系統、方法及其電腦可讀媒體

Also Published As

Publication number Publication date
TWI719696B (zh) 2021-02-21
CN112784660B (zh) 2023-10-24
CN112784660A (zh) 2021-05-11
US10970526B1 (en) 2021-04-06

Similar Documents

Publication Publication Date Title
TWI719696B (zh) 臉部影像重建方法與系統
JP6754619B2 (ja) 顔認識方法及び装置
CN112766160A (zh) 基于多级属性编码器和注意力机制的人脸替换方法
Yu et al. Semantic face hallucination: Super-resolving very low-resolution face images with supplementary attributes
CN108921100A (zh) 一种基于可见光图像与红外图像融合的人脸识别方法及系统
WO2019001209A1 (zh) 基于三维卷积神经网络的视网膜oct图像的分类算法
CN106096535A (zh) 一种基于双线性联合cnn的人脸验证方法
CN106650653A (zh) 基于深度学习的人脸识别和年龄合成联合模型的构建方法
JP6207210B2 (ja) 情報処理装置およびその方法
Singh et al. An Iris Recognition System Using CNN & VGG16 Technique
CN109948467A (zh) 人脸识别的方法、装置、计算机设备和存储介质
Kezebou et al. TR-GAN: Thermal to RGB face synthesis with generative adversarial network for cross-modal face recognition
CN113570684A (zh) 图像处理方法、装置、计算机设备和存储介质
CN116403294B (zh) 基于Transformer的多视图宽度学习活体检测方法、介质及设备
CN113837147A (zh) 一种基于transformer的假视频检测方法
JP4539519B2 (ja) 立体モデル生成装置および立体モデル生成方法
CN117095128A (zh) 一种无先验多视角人体服饰编辑方法
Liu et al. Light field-based face liveness detection with convolutional neural networks
Guo et al. Deep illumination-enhanced face super-resolution network for low-light images
CN117333604A (zh) 一种基于语义感知神经辐射场的人物面部重演方法
Kakani et al. Segmentation-based ID preserving iris synthesis using generative adversarial networks
Xia et al. Semantic translation of face image with limited pixels for simulated prosthetic vision
CN111325252A (zh) 图像处理方法、装置、设备、介质
CN116486495A (zh) 一种基于注意力与生成对抗网络的人脸图像隐私保护方法
Reddy et al. Robust subject-invariant feature learning for ocular biometrics in visible spectrum