TWI419059B - 以樣本為基礎之人臉超解析度方法與系統 - Google Patents

以樣本為基礎之人臉超解析度方法與系統 Download PDF

Info

Publication number
TWI419059B
TWI419059B TW099119334A TW99119334A TWI419059B TW I419059 B TWI419059 B TW I419059B TW 099119334 A TW099119334 A TW 099119334A TW 99119334 A TW99119334 A TW 99119334A TW I419059 B TWI419059 B TW I419059B
Authority
TW
Taiwan
Prior art keywords
resolution
face
training
image
low
Prior art date
Application number
TW099119334A
Other languages
English (en)
Other versions
TW201145181A (en
Inventor
Chia Wen Lin
Chih Chung Hsu
Original Assignee
Ind Tech Res Inst
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ind Tech Res Inst filed Critical Ind Tech Res Inst
Priority to TW099119334A priority Critical patent/TWI419059B/zh
Priority to US12/858,442 priority patent/US8488913B2/en
Publication of TW201145181A publication Critical patent/TW201145181A/zh
Application granted granted Critical
Publication of TWI419059B publication Critical patent/TWI419059B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

以樣本為基礎之人臉超解析度方法與系統
本揭露係關於一種以樣本為基礎(example-based)之人臉超解析度(face hallucination)方法與系統。
人臉超解析度的技術可以有許多應用，例如安全監(surveillance)、人臉辨識(face recognition)、人臉表情估測(face expression estimation)與人臉年齡估測(face age estimation)等應用。人臉影像不同於一般的低解析度到高解析度影像問題，因為人臉有其結構性，且細節部分的一些錯誤可能會造成整張高解析度人臉變得不合理，例如當眼睛的形狀變成非橢圓形，或者是嘴部的形狀扭曲，對於整張影像而言，其錯誤率非常小，然而影響卻很大。
基於人臉結構的特性，獨特的人臉超解析度技術便陸續被提出來。例如，美國專利號7,379,611的文獻中，揭露一種影像超解析度方法，此方法係透過擷取輸入低解析度影像中的原始草圖先驗(primal sketch priors)資料，來推斷對應於此低解析度輸入影像之高解析度細節。美國專利公開號2008/0267525的文獻中，揭露一種透過擷取影像中的邊緣特徵(edge feature)來進行超解析度放大的方法。
Wei Fan等人揭露的論文“Image Hallucination Using Neighbor Embedding over Visual Primitive Manifolds”中，提出一種以學習為基礎(learning-based)之影像超解析度(image hallucination)方法，是透過擷取影像中的原始特徵(primitive features)，並利用多張訓練集中的原始特徵來組合出目標影像之高解析度的原始特徵。Yueting Zhuang等人揭露的論文“LPH super-resolution and neighbor reconstruction for residue compensation”中，提出一種兩階段之人臉超解析度技術，是利用流形學習(manifold learning)的特性，亦即每張輸入影像都可以在流形域有相似的分佈，依此，透過計算低解析度影像，來修補(patch)流形域裡的線性組合係數，然後利用相同的線性組合係數與半徑式函數(radial basis function)來組合出高解析度影像，此技術利用流形學習來組合高解析度影像。
Jeong-Seon Park等人揭露的論文“An example-based face hallucination method for single-frame,low-resolution facial images”中，提出一種以樣本為基礎之人臉超解析度方法，是利用主要成分析(Principle Components Analysis，PCA)，從低解析度影像來拆解與訓練為基底影像，並透過變形(warping)來對齊人臉。如第一圖的範例流程所示，透過計算低解析度的基底影像之線性組合，並在高解析度的基底影像中用相同的組合來計算高解析度人臉。
B.G.Vijay Kumar等人揭露的論文“Face hallucination using OLPP and Kernel Ridge Regression”中，提出一種人臉超解析度技術，是利用流形學習法中的正交局部性保存投影(Orthogonal Locality Preserving Projection，OLPP)方法，來對人臉影像的小片段進行降維的動作，在低維度空間利用機率模型估計出最大可能的高解析度的小片段。再利用核嶺回歸(Kernel Ridge Regression，KRR)的預測模型來修正重建的人臉影像。
本揭露的實施範例可提供一種以樣本為基礎之人臉超解析度方法與系統。
在一實施範例中，所揭露者是關於一種以樣本為基礎之人臉超解析度方法。此方法包含：準備一個備有多張訓練影像的訓練資料庫，並取得一欲放大的低解析度人臉影像；利用流形學習，將此訓練資料庫中此多張訓練影像Itrain 與此低解析度人臉影像投影到同一流形域，其中，投影後的低解析度人臉影像以符號yL 表示，投影後的訓練影像以符號ytrain 表示；從N張投影後的訓練影像ytrain 中，篩選出與yL 最匹配的(best matching)一訓練集；以及透過對此訓練集與yL 進行基底分解，學習出一組基底影像，包括此訓練集的高低解析度原型臉與yL 的低解析度原型臉；以及利用此組基底影像來重建出此低解析度人臉影像的一高解析度人臉影像。其中此訓練集的高解析度原型臉與y L 的原型臉之間的差異符合一門檻值要求。
在另一實施範例中，所揭露者是關於一種以樣本為基礎之人臉超解析度系統。此系統包含一訓練資料庫，收集與儲存多張訓練影像；一投影模組(projection module)，接收此多張訓練影像，並透過一流形學習法求得一投影矩陣後，將此多張訓練影像與一輸入的低解析度人臉影像，投影到同一流形域，得到N張投影後的訓練影像ytrain 與一投影後的低解析度人臉影像yL ；一匹配模組(matching module)，從N張投影後的訓練影像ytrain 中，篩選出k張與yL 可匹配的一訓練集，k≦N；一基底分解模組(basis decomposition module)，將此訓練集使用基底分解來萃取出一低解析度原型臉(low resolution prototype face)與此訓練集的一組高解析度原型臉，且此低解析度原型臉與此組高解析度原型臉之間的差異符合一門檻值要求；以及一人臉超解析度模組(face hallucination module)，將符合此門檻值要求的此低解析度原型臉與此組高解析度原型臉當成一組基底影像，來重建出該低解析度人臉影像的一高解析度人臉影像。
茲配合下列圖示、實施範例之詳細說明及申請專利範圍，將上述及本發明之其他目的與優點詳述於後。
在一般的空間域(spatial domain)中，不同人臉的差異常無法明確表示出來，因此，在本揭露中，將一人臉資料庫轉換到另一個可以表示人臉差異的空間，亦即流形域。本揭露的實施範例透過流形學習的方法，將輸入影像與訓練資料庫中的人臉影像都投影到流形域(manifold domain)，並透過如基底分解，來篩選適合的人臉影像去建立原型臉(prototype faces)，再透過結合適當的組合參數與原型臉來得到高解析度的人臉影像。
一般而言，重建的人臉影像R 可以表示為
其中，I 是原本輸入的人臉影像，P是原型臉(prototype face)，α是重建係數(coefficients of reconstruction)。因此，透過計算出的低解析度之人臉原型的組合參數，例如權重(weightings)，可以利用高解析度的人臉原型乘上相同的組合參數，就可以得到重建的高解析度人臉影像，如第二圖的範例所示，原本輸入的低解析度人臉影像I 等於M個低解析度之人臉原型的線性組合，其中，α1 至αM 是其M個組合參數，則可以利用M個高解析度的人臉原型乘上相同的組合參數，即α1 至αM ，來得到重建的高解析度人臉影像。這些組合參數的計算可用下列的一個範例式來求出：
α *=((P L )T ‧P L )-1 ‧(P L )T ‧I L
其中，P L 是低解析度之原型臉，I L 是低解析度之輸入的人臉影像。
第三圖是一範例示意圖，說明一種以樣本為基礎之人臉超解析度方法，與所揭露的某些實施範例一致。第三圖的範例中，首先，準備一訓練資料庫310，並取得一欲放大的低解析度人臉影像312。訓練資料庫310可收集訓練人臉影像，一般包含各式各樣的訓練影像(comprehensive training images)。然後，利用流形學習314，例如利用一種降維法得到一轉換矩陣A，將訓練資料庫310中N張訓練影像與低解析度人臉影像312投影到同一流形域，其中，投影後的低解析度人臉影像312以符號yL 表示，投影後的訓練影像以符號ytrain 表示。從N張投影後的訓練影像ytrain 的集合中，篩選出與y L 可匹配的一訓練集(training set)316。利用基底分解(basis decomposition)318，來萃取出此訓練集的一組高解析度原型臉P H 和y L 的原型臉P L ，直到學習出一組基底影像為止，其中此組高解析度原型臉與y L 的原型臉之間的差異符合一門檻值要求。然後，利用此組基底影像來重建出低解析度人臉影像312的一高解析度人臉影像322，亦即進行以樣本為基礎之人臉超解析度320。
在訓練資料庫310中引入流形學習的技術，可從訓練資料庫310中學習出一個投影矩陣(projection matrix)，此投影矩陣可將訓練資料庫310中的人臉影像投影到一流形域，使得不同人臉影像的差異可以明顯地表示出來。透過同一投影矩陣，也可以將輸入的低解析度人臉影像312投影到同一流形域。假設透過一流形學習法，例如降維演算法(dimensionality reduction algorithm)，得到了一投影矩陣A ，則低解析度輸入影像投影到流形域的公式可以表示為y L =A T I L 。透過任一流形學習演算法求得一投影矩陣A ，一般而言，此投影矩陣A 的維度會遠小於訓練資料庫310中原始資料的維度，例如，高解析度人臉影像的維度是64×64=4096，而投影後的維度可能只選擇100。
在備有N張投影後的訓練影像ytrain 的集合中，可利用一方法，例如k-NN演算法，從中篩選出與y L 可匹配的一組{ytrain }，例如從N張投影後的訓練影像中，找出k張與yL 最相似的人臉影像ytrain 。透過此k張最相似的人臉影像ytrain 來求出一組基本影像。
第四圖是一範例流程圖，進一步說明如何在流形域裡的訓練集合進行篩選，與所揭露的某些實施範例一致。第四圖的範例中，從N張投影後的訓練影像中，篩選出K張與yL 最匹配的人臉影像ytrain 的一訓練集，如步驟410所示；K≦N。然後，透過此訓練集，使用基底分解，例如主成分分析可用來作為一基底分解函數，來萃取出一低解析度原型臉PL 與此訓練集的一組高解析度原型臉，如步驟420所示。當低解析度原型臉PL 與此組高解析度原型臉之間的差異小於一門檻值時，將此低解析度原型臉PL 與此組高解析度原型臉當成一組基底影像，如步驟440所示。否則的話，遞增k值，即步驟430，後，重複步驟410至步驟420，直到選出符合門檻值要求的一組高解析度原型臉為止。
此組基底影像會隨著不同輸入低解析度影像而變化，也是重建低解析度人臉影像312的基底。由於輸入的低解析度人臉影像在合成之前，先對基底影像進行上述重新訓練的動作，因此，可避免在使用者輸入人臉影像與訓練資料庫中的人臉影像差異過大時，重建出不相似的人臉影像；也可避免因為人臉影像差異過大的問題而使得瑕疵出現在重建後的高解析度影像。
也就是說，一旦從流形域裡人臉影像資料庫中挑選出適合的訓練人臉影像集合之後，可透過基底分解萃取出符合門檻值要求的一組原型臉，此組原型臉也就是用來作為之後要重建高解析度影像的基底影像。步驟410中，可使用一成本函數(cost function)來決定k值。此成本函數所決定的k值可使此訓練集的一組原型臉的線性組合與低解析度人臉影像312之間的差異為最小。
如第五圖的曲線範例所示，當k值等於330時，對一測試的低解析度人臉影像而言，從N張(例如N=400)投影後的訓練影像中，可篩選出330張與yL 最匹配的人臉影像ytrain 的一訓練集，此訓練集的一組原型臉的線性組合與此測試的低解析度人臉影像之間的差異為最小。第五圖中，橫軸代表篩選出的人臉影像ytrain 的個數，亦即k值，縱軸代表上述的差異值。
當取得一低解析度影像後，也可以先進行對齊、亮度平均化等前處理，之後利用投影後的訓練影像的集合，從中篩選出與此低解析度影像有匹配的人臉影像。再透過前述的組合參數計算，以及結合這些算出的參數與此組萃取出的基底影像，而重建出接近原本輸入的低解析度人臉影像的一個高解析度的人臉影像版本。此即為本揭露之以樣本為基礎之超解析度的設計原理。此設計原理也可確保投影到流形域上的低解析度影像與高解析度影像的分佈相似。第六A圖與第六B圖的範例分別是投影到流形域上的低解析度影像的分佈與高解析度影像的分佈，其中，只選擇投影後前兩個維度來觀察。可以看出第六A圖與第六B圖的範例有相似的分佈。也就是說，訓練資料庫310中多張訓練影像被投影到流形域後的低解析度影像與高解析度影像的分佈相似。
承上述，第七圖是一範例示意圖，說明一種以樣本為基礎之人臉超解析度系統，與所揭露的某些實施範例一致。在第七圖的範例中，人臉超解析度系統700可包含訓練資料庫310、一投影模組720、一匹配模組730、一基底分解模組740、以及一人臉超解析度模組750。
訓練資料庫310用來收集與儲存多張訓練影像712。投影模組720接收來自訓練資料庫310中多張訓練影像712，並透過一流形學習，例如降維演算法，求得的投影矩陣A 後，將多張訓練影像712與輸入的低解析度人臉影像312，投影到同一流形域，亦即得到投影後的訓練影像ytrain 與投影後的低解析度人臉影像yL 。匹配模組730從N張投影後的訓練影像ytrain 中，例如利用k-NN演算法，篩選出與yL 可匹配之具k張訓練影像的一訓練集732，k≦N。基底分解模組740使用基底分解來萃取出低解析度人臉影像312的一低解析度原型臉PL 和此訓練集的一組高解析度原型臉PH 。
當原型臉PL 與此組高解析度原型臉之間的差異還未符合一門檻值要求時，基底分解模組740遞增k值，並且匹配模組730從N張投影後的訓練影像ytrain 中，根據此遞增k值，重新篩選出另一訓練集，再透過基底分解模組740來萃取出此另一訓練集的一組高解析度原型臉，直到此原型臉PL 與最終的一組高解析度原型臉之間的差異符合此門檻值要求為止。人臉超解析度模組750將原型臉PL 與符合此門檻值要求的最終的此組高解析度原型臉當成一組基底影像，來重建出低解析度人臉影像312的高解析度人臉影像322，例如透過結合適當的權重組合與此組基底影像來得到一高解析度的人臉影像。
如第八圖的範例所示，人臉超解析度系統700可執行於一電腦系統800中。電腦系統800至少包含一記憶體裝置810以及一處理器820。記憶體裝置810可用來實現訓練資料庫310。處理器820裡備有投影模組720、匹配模組730、基底分解模組740、以及人臉超解析度模組750。處理器820可接收輸入的低解析度人臉影像312，並讀取記憶體裝置810的訓練影像，以執行上述投影模組720、匹配模組730、基底分解模組740、以及人臉超解析度模組750的功能，並透過結合適當的參數組合，來產生低解析度人臉影像312的高解析度人臉影像322。
利用本揭露的實施範例，提供在人臉仿真加強的一實驗範例，此實驗範例中，訓練集包含483張人臉影像，人臉影像的高解析度與測試影像(測試影像1~4)的低解析度分別採用64×64與16×16。使用主成分分析作為一基底分解函數，共萃取出100張原型臉，其中k-NN演算法的k值可在100~483之間遞增並自動被決定。第八圖的範例表格提供一個重建品質之客觀數據的比較。從第九圖的客觀數據可以很明顯的發現，相較於三種習知技術，本揭露的實施範例皆能有效地改善人臉影像的重建品質。
第十圖是一範例表格，提供五種不同技術之偵測率比較(detection rate comparison)，與所揭露的某些實施範例一致。其中，根據多線性主成分分析(Multilinear PCA，MPCA)技術來執行人臉辨識；在訓練階段，有62張訓練影像，共有14項標的(subjects)；在辨識階段，有12張影像，共有6項標的。第十圖的範例中，以兩種比較方式，亦即僅移除可加性的高斯雜訊(additive Gaussian noise only)和以平均化濾波器來移除可加性的高斯雜訊(additive Gaussian noise with averaging filtering)，來比較這些不同技術的偵測率。從第十圖的數據可以很明顯的發現，與四種習知技術相較，本揭露的實施範例有高的偵測率。實施範例可從訓練資料庫中篩選有用的訓練集，當輸入影像與資料庫中的影像差異大時，不會重建出不像原本人臉影像的高解析度版本，也不會嚴重改變流形域裡局部臉成分的分佈(distribution of local face components)。
綜上所述，本揭露之實施範例提供一種以樣本為基礎之人臉超解析度方法與系統。本揭露之實施範例利用流形學習並藉由篩選出較匹配於輸入之低解析度人臉影像的訓練集，來迭代地(iteratively)改善重建時的基底影像。因此，可以同時在客觀與主觀上有效地加強一低解析度人臉影像的重建品質。與習知技術相較，本揭露之實施範例可以重建出較接近原始人臉影像的重建高解析度版本，又可以避免因為人臉影像差異過大的問題而使得瑕疵出現在重建後的高解析度影像。
以上所述者僅為本發明之實施範例，當不能依此限定本發明實施之範圍。即大凡本發明申請專利範圍所作之均等變化與修飾，皆應仍屬本發明專利涵蓋之範圍。
310．．．訓練資料庫
312．．．低解析度人臉影像
yL ．．．投影後的低解析度人臉影像
ytrain ．．．投影後的訓練影像
314．．．流形學習
316．．．可匹配的一訓練集
318．．．基底分解
320．．．人臉超解析度
322．．．高解析度人臉影像
410．．．從N個投影後的訓練影像中，篩選出k個與yL 最匹配的人臉影像ytrain 的一新訓練集
420．．．透過此新訓練集，使用基底分解來萃取出一低解析度原型臉PL 與一組高解析度原型臉
430．．．遞增k值
440．．．將此低解析度原型臉PL 與此組高解析度原型臉當成一組基底影像
700．．．人臉超解析度系統
712．．．訓練影像
720．．．投影模組
732．．．具k張訓練影像的一訓練集
730．．．匹配模組
740．．．基底分解模組
750．．．人臉超解析度模組
PL ．．．低解析度原型臉
yL ．．．投影後的低解析度人臉影像
PH ．．．高解析度原型臉
ytrain ．．．投影後的訓練影像
800．．．電腦系統
810．．．記憶體裝置
820．．．處理器
第一圖是一範例流程圖，說明習知的一種以樣本為基礎之人臉超解析度方法。
第二圖是一範例示意圖，說明如何透過計算出的低解析度之人臉原型的組合參數，來得到重建的高解析度人臉影像。
第三圖是一範例示意圖，說明一種以樣本為基礎之人臉超解析度方法，與所揭露的某些實施範例一致。
第四圖是一範例流程圖，說明如何在流形域裡的訓練集合進行篩選，與所揭露的某些實施範例一致。
第五圖是一曲線範例圖，說明篩選出的人臉影像ytrain 的個數，亦即k值，與差異值的變化關係，與所揭露的某些實施範例一致。
第六A圖與第六B圖分別是投影到流形域上的低解析度影像的分佈與高解析度影像的分佈的範例示意圖，與所揭露的某些實施範例一致。
第七圖是一範例示意圖，說明一種以樣本為基礎之人臉超解析度系統，與所揭露的某些實施範例一致。。
第八圖是一範例示意圖，說明第六圖之人臉超解析度系統可執行於一電腦系統中，與所揭露的某些實施範例一致。
第九圖是一範例表格，提供人臉影像重建品質之客觀數據的比較，與所揭露的某些實施範例一致。
第十圖是一範例表格，提供五種不同技術之偵測率比較，與所揭露的某些實施範例一致。
700．．．人臉超解析度系統
712．．．訓練影像
720．．．投影模組
732．．．具k張訓練影像的一訓練集
730．．．匹配模組
740．．．基底分解模組
750．．．人臉超解析度模組
PL ．．．低解析度原型臉
yL ．．．投影後的低解析度人臉影像
PH ．．．高解析度原型臉
310．．．訓練資料庫
312．．．低解析度人臉影像
ytrain ．．．投影後的訓練影像
314．．．流形學習
322．．．高解析度影像

Claims (13)

  1. 一種以樣本為基礎之人臉超解析度方法，該方法包含：準備一個備有多張訓練影像的訓練資料庫，並取得欲放大的一低解析度人臉影像；利用一流形學習技術，決定一投影矩陣，將該訓練資料庫的該多張訓練影像投影到一流形域，以清楚地區分該多張訓練影像的投影後的影像；利用該投影矩陣，將該訓練資料庫中該多張訓練影像與該低解析度人臉影像投影到該流形域，其中，yL 代表該低解析度人臉影像的一投影後的影像，ytrain 代表該訓練資料庫的該多張訓練影像的投影後的訓練影像；從N張投影後的訓練影像ytrain 中，篩選出與yL 可匹配的一訓練集，N≦該多張訓練影像的個數；透過對該訓練集與yL 進行基底分解，學習出一組基底影像，包括該訓練集的一組高低解析度原型臉與yL 的一低解析度原型臉；以及利用該組基底影像，重建出該低解析度人臉影像的一高解析度人臉影像。
  2. 如申請專利範圍第1項所述之人臉超解析度方法，其中該訓練集是在該N張投影後的訓練影像ytrain 中找出與該投影後的影像yL 最相似的k張人臉影像，k≦N。
  3. 如申請專利範圍第1項所述之人臉超解析度方法，其中該流形學習技術利用一種降維演算法，來求得該投影矩陣。
  4. 如申請專利範圍第1項所述之人臉超解析度方法，其中 該訓練集的該組高解析度原型臉與y L 的該低解析度原型臉之間的差異符合一門檻值要求。
  5. 如申請專利範圍第1項所述之人臉超解析度方法，其中該基底分解是採用主成分分析作為一基底分解函數，以萃取出該組基底影像。
  6. 如申請專利範圍第1項所述之人臉超解析度方法，其中從N張投影後的訓練影像ytrain 中，篩選出與yL 可匹配的該訓練集，以及透過對該訓練集與yL 進行基底分解，學習出該組基底影像，還包括：從N張投影後的訓練影像ytrain 中，篩選出與該低解析度人臉影像的該投影後的影像yL 最匹配的k張人臉影像ytrain ，k是一正整數，k≦N；透過該k張人臉影像ytrain ，使用基底分解，來萃取出yL 的該低解析度人臉影像與該組高解析度原型臉；以及當該低解析度原型臉與該組高解析度原型臉之間的差異符合一門檻值要求時，將yL 的該低解析度原型臉與該組高解析度原型臉當成該組基底影像；否則的話，遞增k值後，重複上述兩步驟，直到得出該組基底影像為止。
  7. 如申請專利範圍第6項所述之人臉超解析度方法，該方法使用一成本函數來決定k值，該成本函數所決定的k值使該訓練集的一組原型臉的線性組合與該低解析度人臉影像之間的差異為最小。
  8. 一種以樣本為基礎之人臉超解析度系統，該系統包括：一訓練資料庫，收集與儲存多張訓練影像； 一投影模組，接收該多張訓練影像，並透過一流形學習技術求得一投影矩陣後，將該多張訓練影像與一輸入的低解析度人臉影像，投影到同一流形域，得到N張投影後的訓練影像ytrain 與一投影後的低解析度人臉影像yL ，該投影矩陣係藉由該流形學習技術來決定，以清楚地區分該N張投影後的訓練影像ytrain ；一匹配模組，從該N張投影後的訓練影像ytrain 中，篩選出與yL 最匹配的k張人臉影像的一訓練集，k≦N；一基底分解模組，對該訓練集與yL 使用基底分解來萃取出yL 的一低解析度原型臉與該訓練集的一組高解析度原型臉，使得yL 的該低解析度原型臉與該組高解析度原型臉之間的差異符合一門檻值要求；以及一人臉超解析度模組，將符合該門檻值要求的該低解析度原型臉與該組高解析度原型臉當成一組基底影像，來重建出該低解析度人臉影像的一高解析度人臉影像。
  9. 如申請專利範圍第8項所述之人臉超解析度系統，其中當yL 的該低解析度原型臉與該組高解析度原型臉之間的差異還未符合該門檻值要求時，該基底分解模組遞增k值，並且該匹配模組從N張投影後的訓練影像ytrain 中，根據該遞增k值，重新篩選出另一訓練集，再透過該基底分解模組來萃取出另一組高解析度原型臉，直到yL 的該低解析度原型臉與最終的一組高解析度原型臉之間的差異符合該檻門值要求為止。
  10. 如申請專利範圍第8項所述之人臉超解析度系統，該人臉超解析度系統執行於一電腦系統中，該電腦系統至少 包含：一記憶體裝置，該記憶體裝置用來實現該訓練資料庫；以及一處理器，該處理器裡備有該投影模組、該匹配模組、該基底分解模組、與該人臉超解析度模組，且接收輸入的該低解析度人臉影像，並執行該投影模組、該匹配模組、該基底分解模組、與該人臉超解析度模組的功能，並且透過結合多個參數，來產生該低解析度人臉影像的該高解析度人臉影像。
  11. 如申請專利範圍第8項所述之人臉超解析度系統，其中k的值是自動被決定的。
  12. 如申請專利範圍第8項所述之人臉超解析度系統，其中該多張訓練影像被投影到該流形域後的低解析度影像與高解析度影像的分佈相似。
  13. 如申請專利範圍第8項所述之人臉超解析度系統，其中該人臉超解析度模組透過結合多個適當參數的組合與該組基底影像，來得到該高解析度人臉影像。
TW099119334A 2010-06-14 2010-06-14 以樣本為基礎之人臉超解析度方法與系統 TWI419059B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW099119334A TWI419059B (zh) 2010-06-14 2010-06-14 以樣本為基礎之人臉超解析度方法與系統
US12/858,442 US8488913B2 (en) 2010-06-14 2010-08-18 Method and system for example-based face hallucination

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW099119334A TWI419059B (zh) 2010-06-14 2010-06-14 以樣本為基礎之人臉超解析度方法與系統

Publications (2)

Publication Number Publication Date
TW201145181A TW201145181A (en) 2011-12-16
TWI419059B true TWI419059B (zh) 2013-12-11

Family

ID=45096270

Family Applications (1)

Application Number Title Priority Date Filing Date
TW099119334A TWI419059B (zh) 2010-06-14 2010-06-14 以樣本為基礎之人臉超解析度方法與系統

Country Status (2)

Country Link
US (1) US8488913B2 (zh)
TW (1) TWI419059B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI771250B (zh) * 2021-12-16 2022-07-11 國立陽明交通大學 用於降低資料維度的裝置及方法、用於轉換資料維度的裝置的操作方法

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8655027B1 (en) * 2011-03-25 2014-02-18 The United States of America, as represented by the Director, National Security Agency Method of image-based user authentication
US8743119B2 (en) * 2011-05-24 2014-06-03 Seiko Epson Corporation Model-based face image super-resolution
US8917910B2 (en) * 2012-01-16 2014-12-23 Xerox Corporation Image segmentation based on approximation of segmentation similarity
US8938118B1 (en) 2012-12-12 2015-01-20 Rajiv Jain Method of neighbor embedding for OCR enhancement
US8837861B2 (en) 2012-12-13 2014-09-16 Microsoft Corporation Bayesian approach to alignment-based image hallucination
CN103020940B (zh) * 2012-12-26 2015-07-15 武汉大学 一种基于局部特征转换的人脸超分辨率重建方法
CN103042436B (zh) * 2013-01-21 2014-12-24 北京信息科技大学 一种基于轴心轨迹流形学习的主轴回转误差溯源方法
CN103049897B (zh) * 2013-01-24 2015-11-18 武汉大学 一种基于自适应训练库的块域人脸超分辨率重建方法
KR102124111B1 (ko) 2013-10-02 2020-06-18 에이에스엠엘 네델란즈 비.브이. 산업 공정과 관련된 진단 정보를 얻는 방법 및 장치
CN103489174B (zh) * 2013-10-08 2016-06-29 武汉大学 一种基于残差保持的人脸超分辨率方法
TW201531104A (zh) * 2014-01-24 2015-08-01 Sintai Optical Shenzhen Co Ltd 電子裝置
WO2015195827A1 (en) * 2014-06-17 2015-12-23 Carnegie Mellon University Methods and software for hallucinating facial features by prioritizing reconstruction errors
CN104091320B (zh) * 2014-07-16 2017-03-29 武汉大学 基于数据驱动局部特征转换的噪声人脸超分辨率重建方法
CN104400560B (zh) * 2014-11-07 2016-11-23 西安交通大学 一种数控机床切削工况下主轴轴心轨迹在线测量方法
JP5937661B2 (ja) * 2014-11-13 2016-06-22 みずほ情報総研株式会社 情報予測システム、情報予測方法及び情報予測プログラム
CN104933692B (zh) * 2015-07-02 2019-03-08 中国地质大学（武汉） 一种人脸超分辨率的重建方法及装置
WO2017177363A1 (en) * 2016-04-11 2017-10-19 Sensetime Group Limited Methods and apparatuses for face hallucination
US10297059B2 (en) 2016-12-21 2019-05-21 Motorola Solutions, Inc. Method and image processor for sending a combined image to human versus machine consumers
CN107392865B (zh) * 2017-07-01 2020-08-07 广州深域信息科技有限公司 一种人脸图像的复原方法
US10902294B2 (en) 2018-01-23 2021-01-26 Insurance Services Office, Inc. Computer vision systems and methods for machine learning using image hallucinations
TWI772627B (zh) 2019-03-19 2022-08-01 財團法人工業技術研究院 人物重識別方法、人物重識別系統及影像篩選方法
CN110650295B (zh) * 2019-11-26 2020-03-06 展讯通信（上海）有限公司 图像处理方法及装置
CN112990123B (zh) * 2021-04-26 2021-08-13 北京世纪好未来教育科技有限公司 图像处理方法、装置、计算机设备和介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7379611B2 (en) * 2004-04-01 2008-05-27 Microsoft Corporation Generic image hallucination
TW201013545A (en) * 2008-09-24 2010-04-01 Univ Nat Cheng Kung Robust curvature estimation method through line integrals

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW420939B (en) 1999-06-29 2001-02-01 Ind Tech Res Inst Human face detection method
JP3798637B2 (ja) 2001-02-21 2006-07-19 インターナショナル・ビジネス・マシーンズ・コーポレーション タッチパネル式記入媒体装置、その制御方法、及びプログラム
US8335403B2 (en) 2006-11-27 2012-12-18 Nec Laboratories America, Inc. Soft edge smoothness prior and application on alpha channel super resolution
CN101216889A (zh) 2008-01-14 2008-07-09 浙江大学 一种融合全局特征与局部细节信息的人脸图像超分辨率方法
CN101477684B (zh) 2008-12-11 2010-11-10 西安交通大学 一种利用位置图像块重建的人脸图像超分辨率方法
CN101615290B (zh) 2009-07-29 2012-09-05 西安交通大学 一种基于典型相关分析的人脸图像超分辨率重建方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7379611B2 (en) * 2004-04-01 2008-05-27 Microsoft Corporation Generic image hallucination
TW201013545A (en) * 2008-09-24 2010-04-01 Univ Nat Cheng Kung Robust curvature estimation method through line integrals

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
J.-S. Park and S.-W. Lee "An example-based face hallucination method for single-frame, low-resolution facial images", IEEE Trans. Image Process., vol. 17, no. 10, pp.1806 -1816 2008 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI771250B (zh) * 2021-12-16 2022-07-11 國立陽明交通大學 用於降低資料維度的裝置及方法、用於轉換資料維度的裝置的操作方法

Also Published As

Publication number Publication date
US20110305404A1 (en) 2011-12-15
US8488913B2 (en) 2013-07-16
TW201145181A (en) 2011-12-16

Similar Documents

Publication Publication Date Title
TWI419059B (zh) 以樣本為基礎之人臉超解析度方法與系統
Gao et al. Face sketch–photo synthesis and retrieval using sparse representation
Vageeswaran et al. Blur and illumination robust face recognition via set-theoretic characterization
Xie et al. Normalization of face illumination based on large-and small-scale features
Liu et al. Face recognition using dual-tree complex wavelet features
Qian et al. Local structure-based image decomposition for feature extraction with applications to face recognition
WO2017080196A1 (zh) 基于人脸图像的视频分类方法和装置
CN110069978B (zh) 判别性非凸低秩分解和叠加线性稀疏表示的人脸识别方法
Singh et al. Identity aware synthesis for cross resolution face recognition
Bao et al. General subspace learning with corrupted training data via graph embedding
Dong et al. Low-rank laplacian-uniform mixed model for robust face recognition
Hao et al. Face super-resolution reconstruction and recognition using non-local similarity dictionary learning based algorithm
kumar Shukla et al. A novel method for identification and performance improvement of Blurred and Noisy Images using modified facial deblur inference (FADEIN) algorithms
Mitra Gaussian mixture models for human face recognition under illumination variations
Chen et al. A novel face super resolution approach for noisy images using contour feature and standard deviation prior
CN102298775B (zh) 以样本为基础的人脸超分辨率重建方法与系统
Mundra et al. Exposing gan-generated profile photos from compact embeddings
CN109544477A (zh) 基于自适应字典学习稀疏表示的图像去噪算法
Mi Face image recognition via collaborative representation on selected training samples
Jiang et al. Robust projective dictionary learning by joint label embedding and classification
Lan et al. Face hallucination with shape parameters projection constraint
Maureira et al. Synthetic periocular iris pai from a small set of near-infrared-images
CN105740885A (zh) 基于多核鉴别线性表示的分类方法
Ye Feature learning and active learning for image quality assessment
Zheng et al. Heterogeneous iris recognition using heterogeneous eigeniris and sparse representation