TWI731920B

TWI731920B - 圖像特徵提取方法、裝置、終端設備及系統

Info

Publication number: TWI731920B
Application number: TW106101934A
Authority: TW
Inventors: 劉榮; 易東; 張帆; 張倫; 楚汝峰
Original assignee: 香港商斑馬智行網絡（香港）有限公司
Priority date: 2017-01-19
Filing date: 2017-01-19
Publication date: 2021-07-01
Also published as: TW201828151A

Abstract

本發明提供一種圖像特徵提取方法，首先接收使用者輸入的圖像；然後對所述使用者輸入的圖像進行配准，獲得配准後的圖像；再對所述配准後的圖像構建多個結構化子圖像；然後採用多模型訓練獲得的特徵模型提取每個所述結構化子圖像的視覺特徵；再將所述多個結構化子圖像的視覺特徵進行結構化融合，獲得結構化特徵資料；最後採用結構化模型訓練得到的模型，對所述結構化特徵資料進行運算，獲得圖像特徵資料。相較於現有技術，本發明獲得的圖像特徵資料為特徵向量，由於特徵向量與模型在訓練過程中保持了圖像的結構化特性，因此，所述圖像特徵資料具有更高的準確性和可辨識性，應用在圖像識別尤其是人臉識別中會具有更高的準確性，從而獲得更好的識別效果。

Description

圖像特徵提取方法、裝置、終端設備及系統

本發明關於電子技術領域，具體的說是一種圖像特徵提取方法、一種圖像特徵提取裝置、一種圖像特徵提取終端設備以及一種圖像特徵提取系統。

人臉識別研究始於上世紀90年代，一開始提出的有以圖像主成分來描述人臉的eigen face方法與以區分性特徵來描述人臉圖像的fisher face方法；進入本世紀後，基於LBP與Gabor的人臉局部特徵描述方法以及基於boosting的區分性特徵學習方法迅速成為主流；近些年，隨著深度學習(deep learning)方法的提出，人臉識別技術又被推上了一個新的臺階。目前人臉識別領域比較有代表性的前瞻技術有以下幾個：首先是美國的facebook公司，首度將深度學習方法引入到人臉識別，利用5個卷積層與2個全連層構建的深度神經網路，對整幅人臉圖像提取4096維的視覺特徵來進行描述，在識別準確性上得到了顯著的提高。

國內的face++公司同樣利用深度學習方法，以金字塔結構分級學習了一個較深的神經網路，對整幅人臉圖像進行分析，同樣在人臉識別技術上取得了突破。

香港中文大學湯曉鷗教授所在的研究組，對基於深度學習的人臉識別技術進行了更加深入的研究，他們用多個人臉子圖像分別訓練深度神經網路，再將各子神經網路輸出的特徵串聯起來，得到了更好的識別效果，但是，這種對各子圖像提取的特徵簡單的串聯損失了圖像本身的結構特點。

鑒於上述問題，本發明提供一種圖像特徵提取方法、一種圖像特徵提取裝置、一種圖像特徵提取終端設備以及一種圖像特徵提取系統。本發明採用的技術方案是：本發明提供一種圖像特徵提取方法，包括：接收使用者輸入的圖像；對所述使用者輸入的圖像進行配准，獲得配准後的圖像；對所述配准後的圖像構建多個結構化子圖像；採用多模型訓練獲得的特徵模型提取每個所述結構化子圖像的視覺特徵；將所述多個結構化子圖像的視覺特徵進行結構化融合，獲得結構化特徵資料；採用結構化模型訓練得到的模型，對所述結構化特徵資料進行運算，獲得圖像特徵資料。

可選的，所述對所述配准後的圖像構建多個結構化子圖像，包括：確定所述配准後的圖像的結構化基準點位置；確定子圖像的形狀參數；根據所述結構化基準點位置及所述子圖像的形狀參數，切割所述配准後的圖像，獲得多個結構化子圖像。

可選的，所述確定所述配准後的圖像的結構化基準點位置，包括：根據圖像特徵點確定所述配准後的圖像的結構化基準點位置；或者，根據空間位置確定所述配准後的圖像的結構化基準點位置。

可選的，所述根據所述結構化基準點位置及所述子圖像的形狀參數，切割所述配准後的圖像，獲得多個結構化子圖像的數學演算法為：a _ij=C(a,p _ij(x,y),s _ij)

式中a _ij表示結構順序位於橫排第i個、豎排第j個的結構化子圖像，C為結構化子圖像的構建函數，a表示使用者輸入的圖像，p _ij表示順序位於橫排第i個、豎排第j個的結構化基準點，p _ij(x,y)表示結構化基準點p _ij處於所述使用者輸入的圖像的座標(x,y)處，s _ij表示結構化子圖像的形狀參數，包括矩形、圓形、橢圓形等任意平面形狀及其尺寸。

可選的，所述多模型訓練獲得的特徵模型是透過以下方法獲得的：選擇預定的訓練圖像庫；將所述預定的訓練圖像庫中的每個訓練圖像按照統一的配准方法進行配准，獲得配准後的多個訓練圖像；對所述配准後的多個訓練圖像分別構建多個結構化子訓練圖像；採用視覺特徵學習演算法對所述多個結構化子訓練圖像進行特徵模型訓練以提取相應的多個子訓練圖像視覺特徵，並獲得特徵模型。

可選的，所述視覺特徵學習演算法包括以下任一種：深度學習方法、boosting演算法、svm演算法或局部特徵組合的學習演算法。

可選的，所述特徵模型的數學表達為：v _ij=M _ij(a _ij,q _ij)

式中a _ij表示結構順序位於橫排第i個、豎排第j個的子訓練圖像，M _ij為對應子訓練圖像a _ij上訓練得到的特徵模型，q _ij為訓練得到的特徵模型參數，v _ij為透過特徵模型M _ij對子訓練圖像a _ij提取的子訓練圖像視覺特徵。

可選的，所述將所述多個結構化子圖像的視覺特徵進行結構化融合，獲得結構化特徵資料，包括：根據構建多個結構化子圖像時的確定的結構化基準點位置，將所述多個結構化子圖像的視覺特徵進行結構化融合，獲得結構化特徵資料，所述結構化特徵資料包括特徵空間關係和特徵資訊。

可選的，所述結構化特徵資料的數學表達為：d(i,j,k)=v _ij(k)

式中v _ij表示結構化子圖像的視覺特徵，k為第k維的資料，d為融合後的結構化特徵資料。

可選的，所述結構化模型訓練得到的模型是透過以下方式獲得的：將所述多個子訓練圖像視覺特徵進行結構化融合，獲得訓練圖像結構化特徵資料；採用視覺特徵學習演算法對所述訓練圖像結構化特徵資料進行結構化模型訓練，獲得結構化模型訓練得到的模型。

可選的，所述結構化模型訓練得到的模型的數學表達為：v=M(d,q)

其中M為基於融合後的訓練圖像特徵資料d進行結構化模型訓練得到的模型，q為訓練得到的模型參數，v為透過模型M對訓練圖像特徵資料d融合得到的相應視覺特徵。

可選的，所述圖像特徵提取方法還包括：將所述圖像特徵資料與預定的圖像資料庫中的各個預定圖像特徵資料依次進行比對；輸出比對結果。

可選的，所述將所述圖像特徵資料與預定的圖像資料庫中的各個預定圖像特徵資料依次進行比對，包括：依次計算所述圖像特徵資料與預定的圖像資料庫中的各個預定圖像特徵資料之間的差值；所述輸出比對結果包括：依次判斷每個所述差值是否大於預定的差值閾值；若每個所述差值都大於預定的相似度閾值，則輸出沒有相似圖像的資訊，否則，則將與所述圖像特徵資料差值最小的預定圖像特徵資料對應的圖像，及/或圖像的資訊輸出。

可選的，所述計算所述圖像特徵資料與預定的圖像資料庫中的各個預定圖像特徵資料之間的差值的演算法包括以下任一種：歐氏距離計算方法、Cosine距離計算方法或Joint Bayesian距離計算方法。

可選的，所述圖像包括：人臉圖像。

本發明還提供一種圖像特徵提取裝置，包括：圖像接收單元，用於接收使用者輸入的圖像；配准單元，用於對所述使用者輸入的圖像進行配准，獲得配准後的圖像；子圖像構建單元，用於對所述配准後的圖像構建多個結構化子圖像；視覺特徵提取單元，用於採用多模型訓練獲得的特徵模型提取每個所述結構化子圖像的視覺特徵；融合單元，用於將所述多個結構化子圖像的視覺特徵進行結構化融合，獲得結構化特徵資料；運算單元，用於採用結構化模型訓練得到的模型，對所述結構化特徵資料進行運算，獲得圖像特徵資料。

可選的，所述配准單元，包括：基準點確定子單元，用於確定所述配准後的圖像的結構化基準點位置；形狀參數確定子單元，用於確定子圖像的形狀參數；切割子單元，用於根據所述結構化基準點位置及所述子圖像的形狀參數，切割所述配准後的圖像，獲得多個結構化子圖像。

可選的，所述基準點確定子單元，包括：特徵基準點確定子單元，用於根據圖像特徵點確定所述配准後的圖像的結構化基準點位置；或者，空間基準點確定子單元，用於根據空間位置確定所述配准後的圖像的結構化基準點位置。

可選的，所述切割子單元採用的數學演算法為：a _ij=C(a,p _ij(x,y),s _ij)

式中a _ij表示結構順序位於橫排第i個、豎排第j個的結構化子圖像，C為結構化子圖像的構建函數，a表示使用者輸入的圖像，p _ij表示順序位於橫排第i個、豎排第j個的結構化基準點，p _ij(x,y)表示結構化基準點p _ij處於所述使用者輸入的圖像的座標(x,y)處，s _ij表示結構化子圖像的形狀參數，包括矩形、圓形、橢圓形等任意平面形狀及其尺寸。

可選的，所述圖像特徵提取裝置，還包括：多模型訓練單元，用於透過多模型訓練獲得特徵模型；所述多模型訓練單元包括：訓練圖像庫選擇子單元，用於選擇預定的訓練圖像庫；訓練圖像配准子單元，用於將所述預定的訓練圖像庫中的每個訓練圖像按照統一的配准方法進行配准，獲得配准後的多個訓練圖像；子訓練圖像構建子單元，用於對所述配准後的多個訓練圖像分別構建多個結構化子訓練圖像；特徵模型獲取子單元，用於採用視覺特徵學習演算法對所述多個結構化子訓練圖像進行特徵模型訓練以提取相應的多個子訓練圖像視覺特徵，並獲得特徵模型。

可選的，所述特徵模型獲取子單元採用的視覺特徵學習演算法包括以下任一種：深度學習方法、boosting演算法、svm演算法或局部特徵組合的學習演算法。

可選的，所述融合單元包括：基準點融合子單元，用於根據構建多個結構化子圖像時的確定的結構化基準點位置，將所述多個結構化子圖像的視覺特徵進行結構化融合，獲得結構化特徵資料，所述結構化特徵資料包括特徵空間關係和特徵資訊。

可選的，所述圖像特徵提取裝置，還包括：結構化模型訓練單元，用於透過結構化模型訓練獲得模型；所述結構化模型訓練單元包括：子訓練圖像融合子單元，用於將所述多個子訓練圖像視覺特徵進行結構化融合，獲得訓練圖像結構化特徵資料；模型獲取子單元，用於採用視覺特徵學習演算法對所述訓練圖像結構化特徵資料進行結構化模型訓練，獲得結構化模型訓練得到的模型。

可選的，所述圖像特徵提取裝置，還包括：比對單元，用於將所述圖像特徵資料與預定的圖像資料庫中的各個預定圖像特徵資料依次進行比對；輸出單元，用於輸出比對結果。

可選的，所述比對單元包括：差值計算子單元，用於依次計算所述圖像特徵資料與預定的圖像資料庫中的各個預定圖像特徵資料之間的差值；所述輸出單元包括：差值判斷子單元，用於依次判斷每個所述差值是否大於預定的差值閾值；資訊輸出單元，用於若每個所述差值都大於預定的相似度閾值，則輸出沒有相似圖像的資訊，否則，則將與所述圖像特徵資料差值最小的預定圖像特徵資料對應的圖像，及/或圖像的資訊輸出。

可選的，所述比對單元計算所述圖像特徵資料與預定的圖像資料庫中的各個預定圖像特徵資料之間的差值的演算法包括以下任一種：歐氏距離計算方法、Cosine距離計算方法或Joint Bayesian距離計算方法。

本發明還提供一種圖像特徵提取終端設備，包括：中央處理器；輸入輸出單元；記憶體；所述記憶體中儲存有本發明提供的圖像特徵提取方法；並在啟動後能夠根據上述方法運行。

本發明還提供一種圖像特徵提取系統，包括使用者端和遠端伺服器，使用本發明提供的圖像特徵提取裝置，所述使用者端拍攝圖像及/或選取相冊中的圖像發送到遠端伺服器，所述遠端伺服器提取出圖像特徵資料，並與預定的圖像資料庫中的圖像進行比對，並將比對結果發送至所述使用者端，最終由所述使用者端輸出比對結果。

與現有技術相比，本發明具有以下優點：本發明提供的一種圖像特徵提取方法，首先接收使用者輸入的圖像；然後對所述使用者輸入的圖像進行配准，獲得配准後的圖像；再對所述配准後的圖像構建多個結構化子圖像；接下來，採用多模型訓練獲得的特徵模型提取每個所述結構化子圖像的視覺特徵；然後將所述多個結構化子圖像的視覺特徵進行結構化融合，獲得結構化特徵資料；最後採用結構化模型訓練得到的模型，對所述結構化特徵資料進行運算，獲得圖像特徵資料。相較於現有技術的圖像特徵提取方法，本發明中，透過構建結構化子圖像保留了結構化子圖像之間的空間位置資訊，因此提取的所述結構化子圖像的視覺特徵同時包括特徵空間關係和特徵資訊，在進行結構化融合時既保留了各視覺特徵的描述性，又保留了各視覺特徵的空間關係，從而最終獲得的圖像特徵資料為特徵向量，可以用特徵向量間的特徵距離描述不同圖像之間的差異，又由於本方法中特徵向量與模型在訓練過程中更好的保持了圖像的結構化特性，因此，所述圖像特徵資料具有更高的準確性和可辨識性。在圖像識別尤其是人臉識別中應用本發明提供的圖像特徵提取方法，會具有更高的準確性，從而獲得更好的識別效果。

601‧‧‧特徵化基準點

602‧‧‧特徵值圖像

603‧‧‧特徵向量

604‧‧‧結構化特徵資料

701‧‧‧圖像接收單元

702‧‧‧配准單元

703‧‧‧子圖像構建單元

704‧‧‧視覺特徵提取單元

705‧‧‧融合單元

706‧‧‧運算單元

圖1是本發明提供的一種圖像特徵提取方法實施例的流程圖；圖2是本發明提供的一種圖像特徵提取方法實施例中構建多個結構化子圖像的流程圖；圖3是本發明提供的根據空間位置關係確定結構化基準點的示例圖；圖4是本發明提供的根據人臉特徵點確定結構化基準點的示例圖；圖5是本發明提供的一種圖像特徵提取方法實施例中多模型訓練的流程圖；圖6是本發明提供的特徵結構化融合示意圖；圖7是本發明提供的一種圖像特徵提取裝置實施例的示意圖。

在下面的描述中闡述了很多具體細節以便於充分理解本發明。但是本發明能夠以很多不同於在此描述的其它方式來實施，所屬技術領域中具有通常知識者可以在不違背本發明內涵的情況下做類似推廣，因此本發明不受下面揭露的具體實施的限制。

本發明提供了一種圖像特徵提取方法、一種圖像特徵提取裝置、一種圖像特徵提取終端設備以及一種圖像特徵提取系統，下面依次結合圖式對本發明的實施例進行詳細說明。

請參考圖1，其為本發明提供的一種圖像特徵提取方法實施例的流程圖，所述圖像特徵提取方法包括如下步驟：

步驟S101：接收使用者輸入的圖像。

本步驟中，首先接收使用者輸入的圖像，使用者可以從終端設備的電子相冊中選擇一幅圖像輸入，也可以透過攝像裝置拍攝一幅圖像並輸入。需要說明的是，本發明的目的在於圖像識別，因此優先考慮使用者輸入的圖像為靜態圖像，但為了提高本方法的普遍適用性，在本發明的一個實施例中，可以接收使用者輸入的動態圖像，但會進行預處理，只提取所述動態圖像的特定幀(如第一幀)作為使用者輸入的圖像，以上均在本發明的保護範圍之內。

在本發明的一個較佳實施例中，本圖像特徵提取方法用於人臉圖像識別，因此，所述圖像包括人臉圖像。

步驟S102：對所述使用者輸入的圖像進行配准，獲得配准後的圖像。

透過步驟S101，已接收到使用者輸入的圖像，接下來，需要對所述使用者輸入的圖像進行配准，現有技術中常用的配准方法是先檢測圖像特徵點，然後根據特徵點進行圖像仿射變換，將圖像歸一化到預定的大小與比例，獲得配准後的頭像，以便進行識別和比對。

在本發明的一個較佳實施例中，本圖像特徵提取方法用於人臉圖像識別，所述圖像為人臉圖像，在進行配準時，首先檢測人臉圖像的特徵點，如眼睛、嘴、鼻子的位置等，然後根據所述特徵點進行圖像仿射變換，歸一化到預定的大小和比例，透過這種方式，將需要與所述人臉圖像進行比對的圖像也進行配准，使其與所述人臉圖像的大小和比例一致，即可在相同的標準下進行比對，進而提高比對的準確性。

步驟S103：對所述配准後的圖像構建多個結構化子圖像。

透過步驟S103，已透過對所述使用者輸入的圖像進行配准，獲得了配准後的圖像，接下來，需要對所述配准後的圖像構建多個結構化子圖像，請參考圖2，其為本發明提供的一種圖像特徵提取方法實施例中構建多個結構化子圖像的流程圖，所述對所述配准後的圖像構建多個結構化子圖像可透過以下子步驟進行：

步驟S1031：確定所述配准後的圖像的結構化基準點位置。

構建多個結構化子圖像，即按照一定的結構、位置及限制條件從圖像中分割出多個子圖像。首先，要確定所述配准後的圖像的結構化基準點位置，以用來確定結構化子圖像的切割位置。

在本發明提供的一個實施例中，將所述結構化基準點作為結構化子圖像切割的中心點，為了保持圖像的結構特點以及方便後續的計算，一般選擇上下左右關係基本保持不變的一組大致矩形分佈的基準點。

結構化基準點的確定方法有多種，可以是根據空間位置確定所述配准後的圖像的結構化基準點位置，也可以根據圖像特徵點確定所述配准後的圖像的結構化基準點位置。

仍以上述人臉圖像的較佳實施例為例，如圖3所示，其根據空間位置關係確定了一組4×4個結構化基準點，他們之間的距離相對於圖像是完全固定的。如圖4所示，其根據人臉特徵點確定了3×3個結構化基準點，圖中9個結構化基準點自上至下、自左至右依次為：右眼中心點、兩眼中心點、左眼中心點、右臉頰點、鼻尖點、左臉頰點、右嘴角點、嘴唇中心點和左嘴角點，這9個結構化基準點的位置關係對於不同的人、姿態、表情會發生稍許變化，但同樣滿足近似的矩形結構關係。

以上僅以人臉圖像為例舉例說明，對於不同類別的圖像，在實施時可根據圖像的主體內容選擇確定結構化基準點的方法，同時結構化基準點的數量也不限於上述4×4和3×3的情形，可根據實際情況靈活確定，此處不再贅述，其均在本發明的保護範圍之內。

步驟S1032：確定子圖像的形狀參數。

透過步驟S1031，已確定所述配准後的圖像的結構化基準點位置，接下來，需要確定子圖像的形狀參數，即以所述結構化基準點位置做參考，在其周圍以一定比例與大小確定一個子圖像區域，所述形狀參數包括所述子圖像的形狀，如矩形、圓形、橢圓形等任意平面形狀，以及所述子圖像的尺寸，如矩形的長寬、圓形的半徑等。

仍以上述人臉圖像的較佳實施例為例，如圖3所示，確定了分別以左上與右下兩個結構化基準點為中心的不同尺寸的兩個矩形子圖像區域。

步驟S1033：根據所述結構化基準點位置及所述子圖像的形狀參數，切割所述配准後的圖像，獲得多個結構化子圖像。

透過步驟S1031和步驟S1032，已確定所述結構化基準點位置及所述子圖像的形狀參數，接下來，需要根據所述結構化基準點位置及所述子圖像的形狀參數，切割所述配准後的圖像，從而提取出多個結構化子圖像，同時將所述結構化基準點的位置關係作為結構資訊進行記錄保存。

仍以上述人臉圖像的較佳實施例為例，所述結構化子圖像的數學演算法可以為：a _ij=C(a,p _ij(x,y),s _ij)

步驟S104：採用多模型訓練獲得的特徵模型提取每個所述結構化子圖像的視覺特徵。

透過步驟S103，已對所述配准後的圖像構建多個結構化子圖像，接下來，需要採用多模型訓練獲得的特徵模型提取每個所述結構化子圖像的視覺特徵，所述特徵模型是透過多模型訓練獲得的用來提取圖像視覺特徵的數學表達，其輸入是整體或者局部圖像，輸出是相應的視覺特徵。所述視覺特徵是基於圖像提煉出來的能描述圖像整體或者局部形狀、紋理、顏色等特點的數學表達，一般用向量的形式來表示。所述多模型訓練是估計特徵模型參數的過程，一般透過大批圖像按照某種準則完成特徵模型參數的估計。

在本發明提供的一個實施例中，請參考圖5，其為本發明提供的一種圖像特徵提取方法實施例中多模型訓練的流程圖，所述多模型訓練獲得的特徵模型是透過以下子步驟實現的：

步驟S1041：選擇預定的訓練圖像庫。

本步驟，首先選擇預定的訓練圖像庫，所述預定的訓練圖像庫是與所述使用者輸入的圖像主題內容一致的多個訓練圖像的集合，以上述人臉圖像的較佳實施例為例，所述使用者輸入的圖像為人臉圖像，則選擇預定的訓練圖像庫為人臉訓練圖像庫，所述人臉訓練圖像庫可以採用業內具有代表性的揭露人臉資料庫，如1fw、CASIA_WebFace等，也可以使用自己按照統一標準整理的人臉資料庫。

步驟S1042：將所述預定的訓練圖像庫中的每個訓練圖像按照統一的配准方法進行配准，獲得配准後的多個訓練圖像。

透過步驟S1041，已選擇預定的訓練圖像庫，接下來，為了保證所述多模型訓練獲得的特徵模型可以適用於所述使用者輸入的圖像，需要將所述預定的訓練圖像庫中的訓練圖像全部採用與步驟S102中所述的配准方法一致的配准方法進行配准，具體請參照上述步驟S102的說明，此處不再贅述，其均在本發明的保護範圍之內。

步驟S1043：對所述配准後的多個訓練圖像分別構建多個結構化子訓練圖像。

透過步驟S1042，已將所述預定的訓練圖像庫中的每個訓練圖像按照統一的配准方法進行配准，獲得了配准後的多個訓練圖像，接下來，需要對所述配准後的多個訓練圖像分別構建多個結構化子訓練圖像。具體實施方式請參考上述步驟S103的說明，此處不再贅述，其均在本發明的保護範圍之內。

步驟S1044：採用視覺特徵學習演算法對所述多個結構化子訓練圖像進行特徵模型訓練以提取相應的多個子訓練圖像視覺特徵，並獲得特徵模型。

透過步驟S1043，已對所述配准後的多個訓練圖像分別構建多個結構化子訓練圖像，接下來，採用視覺特徵學習演算法對所述多個結構化子訓練圖像進行特徵模型訓練以提取相應的多個子訓練圖像視覺特徵，並獲得特徵模型。本步驟對各個結構化子訓練圖像分別進行多模型訓練，以便對各結構化子訓練圖像提取最有表徵性的視覺特徵。

所述視覺特徵學習演算法包括以下任一種：深度學習方法、boosting演算法、svm演算法或局部特徵組合的學習演算法。以上均為現有技術中的成熟的學習演算法，此處不再贅述，其均在本發明的保護範圍之內。

在本發明提供的一個實施例中，所述特徵模型的數學表達為：v _ij=M _ij(a _ij,q _ij)

式中a _ij表示結構順序位於橫排第i個、豎排第j個的子訓練圖像，M _ij為對應子訓練圖像a _ij訓練得到的特徵模型，q _ij為訓練得到的特徵模型參數，v _ij為透過特徵模型M _ij對子訓練圖像a _ij提取的子訓練圖像視覺特徵。

透過步驟S1041至S1044，完成了多模型訓練，確定了特徵模型及特徵模型參數，接下來，將所述多個結構化子圖像代入上述特徵模型，即可計算得知每個所述結構化子圖像的視覺特徵。

步驟S105：將所述多個結構化子圖像的視覺特徵進行結構化融合，獲得結構化特徵資料。

透過步驟S104，已採用多模型訓練獲得的特徵模型提取每個所述結構化子圖像的視覺特徵，接下來，將所述多個結構化子圖像的視覺特徵進行結構化融合，獲得結構化特徵資料。

在本發明提供的一個實施例中，所述將所述多個結構化子圖像的視覺特徵進行結構化融合，獲得結構化特徵資料，包括：根據構建多個結構化子圖像時的確定的結構化基準點位置，將所述多個結構化子圖像的視覺特徵進行結構化融合，獲得結構化特徵資料，所述結構化特徵資料包括特徵空間關係和特徵資訊。

仍以上述人臉圖像的較佳實施例為例，根據上述步驟S103確定的所述結構化基準點位置，對所述結構化子圖像的視覺特徵在空間上進行結構化融合，這樣在空間平面上可以反映各所述結構化子圖像的視覺特徵基於所述結構化基準點位置的空間關係，而所述結構化子圖像的視覺特徵的特徵軸則反映了各所述結構化子圖像的特徵資訊，其長短代表了特徵維度。請參考圖6，其為本發明提供的特徵結構化融合示意圖，特徵化基準點601位置的特徵值圖像602經過對應的特徵模型抽取特徵向量603，所述特徵向量603經過結構化融合獲得結構化特徵資料604，由於結構化融合的過程保持了結構化基準點601相對於其他結構化基準點的空間位置關係，因此所述結構化特徵資料604中也包含了特徵空間關係和特徵資訊。

在本發明提供的一個實施例中，所述結構化特徵資料的數學表達為：d(i,j,k)=v _ij(k)

式中v _ij表示結構化子圖像的視覺特徵，k為第k維的資料，d為融合後獲得的結構化特徵資料。

步驟S106：採用結構化模型訓練得到的模型，對所述結構化特徵資料進行運算，獲得圖像特徵資料。

透過步驟S105，已將所述多個結構化子圖像的視覺特徵進行結構化融合，獲得結構化特徵資料，接下來，採用結構化模型訓練得到的模型，對所述結構化特徵資料進行運算，獲得圖像特徵資料。

所述結構化模型訓練是上述步驟S1041至S1044描述的多模型訓練的後續步驟，相關之處請參照上述步驟S1041至S1044的描述，此處不再贅述，以下對結構化模型訓練進行說明。

所述結構化模型訓練是對結構化特徵資料進行訓練，在保持特徵空間關係的同時，對特徵資訊進行更好的融合。在本發明提供的一個實施例中，所述結構化模型訓練包括：將所述多個子訓練圖像視覺特徵進行結構化融合，獲得訓練圖像結構化特徵資料；採用視覺特徵學習演算法對所述訓練圖像結構化特徵資料進行結構化模型訓練，獲得結構化模型訓練得到的模型。

在本發明提供的一個實施例中，所述結構化模型訓練得到的模型的數學表達為：v=M(d,q)

透過上述多模型訓練，可以確定模型及模型參數，接下來，將所述結構化特徵資料代入上述模型中的d，即可計算得到最終的圖像特徵資料v。

至此，透過步驟S101至步驟S106完成了本發明提供的圖像特徵提取方法實施例的流程，本發明中，透過構建結構化子圖像保留了結構化子圖像之間的空間位置資訊，因此提取的所述結構化子圖像的視覺特徵同時包括特徵空間關係和特徵資訊，在進行結構化融合時既保留了各視覺特徵的描述性，又保留了各視覺特徵的空間關係，從而最終獲得的圖像特徵資料為特徵向量，可以用特徵向量間的特徵距離描述不同圖像之間的差異，又由於本方法中特徵向量與模型在訓練過程中更好的保持了圖像的結構化特性，因此，所述圖像特徵資料具有更高的準確性和可辨識性。在圖像識別尤其是人臉識別中應用本發明提供的圖像特徵提取方法，會具有更高的準確性，從而獲得更好的識別效果。

透過以上步驟，已經提取出所述使用者輸入的圖像的圖像特徵資料，接下來可以利用所述圖像特徵資料對所述使用者輸入的圖像進行識別，可用於判斷所述使用者輸入的圖像與某一圖像的相似程度，或者判斷某一圖像資料庫中是否有與所述使用者輸入的圖像相似的圖片，或者在某一圖像資料庫中篩選出與所述使用者輸入的圖像相似的圖片，在本發明提供的一個實施例中，所述圖像特徵提取方法還包括步驟：將所述圖像特徵資料與預定的圖像資料庫中的各個預定圖像特徵資料依次進行比對；輸出比對結果。

所述比對結果可以是所述使用者輸入的圖像與預定的圖像資料庫中每個圖片的相似程度，也可以是將相似程度達到預定閾值的預定的圖像資料庫中的圖片及其資訊等。在實際應用時，所述預定的圖像資料庫可以是公安追逃應用中的罪犯人臉資料庫、考勤系統中的員工人臉資料庫、會員管理系統中的會員人臉資料庫或者明星臉檢索系統中的明星人臉資料庫等等，所述比對結果可以是所述使用者輸入的圖像是否為在逃罪犯、所述使用者輸入的圖像是否為已註冊員工或會員、考勤人員的相貌是否與考勤系統中的記錄一致，所述使用者輸入的圖像與哪個明星的相貌相似等等。

考慮到所述圖像特徵資料為向量，所述相似程度可以採用向量之間的距離來表徵，距離越小，相似程度越高例如歐氏距離、Cosine距離或Joint Bayesian距離等。

在本發明提供的一個實施例中，所述將所述圖像特徵資料與預定的圖像資料庫中的各個預定圖像特徵資料依次進行比對，包括：依次計算所述圖像特徵資料與預定的圖像資料庫中的各個預定圖像特徵資料之間的差值；所述輸出比對結果包括：依次判斷每個計算後的相似度是否大於預定的差值閾值；若每個計算後的差值都大於預定的相似度閾值，則輸出沒有相似圖像的資訊，否則，則將與所述圖像特徵資料差值最小的預定圖像特徵資料對應的圖像，及/或圖像的資訊輸出。

其中所述計算所述圖像特徵資料與預定的圖像資料庫中的各個預定圖像特徵資料之間的差值的演算法包括以下任一種：歐氏距離計算方法、Cosine距離計算方法或Joint Bayesian距離計算方法。

以上，為本發明提供的一種圖像特徵提取方法實施例，與其相應的，本發明還提供了一種圖像特徵提取裝置。請參考圖7，其為本發明提供的一種圖像特徵提取裝置實施例的示意圖。由於裝置實施例基本相似於方法實施例，所以描述得比較簡單，相關之處參見方法實施例的部分說明即可。下述描述的裝置實施例僅僅是示意性的。

本發明提供的一種圖像特徵提取裝置實施例中，所述圖像特徵提取裝置包括：圖像接收單元701，用於接收使用者輸入的圖像；配准單元702，用於對所述使用者輸入的圖像進行配准，獲得配准後的圖像；子圖像構建單元703，用於對所述配准後的圖像構建多個結構化子圖像；視覺特徵提取單元704，用於採用多模型訓練獲得的特徵模型提取每個所述結構化子圖像的視覺特徵；融合單元705，用於將所述多個結構化子圖像的視覺特徵進行結構化融合，獲得結構化特徵資料；運算單元706，用於採用結構化模型訓練得到的模型，對所述結構化特徵資料進行運算，獲得圖像特徵資料。

可選的，所述配准單元702，包括：基準點確定子單元，用於確定所述配准後的圖像的結構化基準點位置；形狀參數確定子單元，用於確定子圖像的形狀參數；切割子單元，用於根據所述結構化基準點位置及所述子圖像的形狀參數，切割所述配准後的圖像，獲得多個結構化子圖像。

可選的，所述圖像特徵提取裝置，還包括：多模型訓練單元，用於透過多模型訓練獲得特徵模型。

可選的，所述多模型訓練單元包括：訓練圖像庫選擇子單元，用於選擇預定的訓練圖像庫；訓練圖像配准子單元，用於將所述預定的訓練圖像庫中的每個訓練圖像按照統一的配准方法進行配准，獲得配准後的多個訓練圖像；子訓練圖像構建子單元，用於對所述配准後的多個訓練圖像分別構建多個結構化子訓練圖像；特徵模型獲取子單元，用於採用視覺特徵學習演算法對所述多個結構化子訓練圖像進行特徵模型訓練以提取相應的多個子訓練圖像視覺特徵，並獲得特徵模型。

可選的，所述融合單元705包括：基準點融合子單元，用於根據構建多個結構化子圖像時的確定的結構化基準點位置，將所述多個結構化子圖像的視覺特徵進行結構化融合，獲得結構化特徵資料，所述結構化特徵資料包括特徵空間關係和特徵資訊。

可選的，所述圖像特徵提取裝置還包括：結構化模型訓練單元，用於透過結構化模型訓練獲得模型。

可選的，所述結構化模型訓練單元包括：子訓練圖像融合子單元，用於將所述多個子訓練圖像視覺特徵進行結構化融合，獲得訓練圖像結構化特徵資料；模型獲取子單元，用於採用視覺特徵學習演算法對所述訓練圖像結構化特徵資料進行結構化模型訓練，獲得結構化模型訓練得到的模型。

可選的，所述圖像特徵提取裝置還包括：比對單元，用於將所述圖像特徵資料與預定的圖像資料庫中的各個預定圖像特徵資料依次進行比對；輸出單元，用於輸出比對結果。

以上，為本發明提供的一種圖像特徵提取裝置實施例。

例如，所述使用者端為一平板電腦，使用者用平板電腦自拍一張照片或從相冊中選擇一張人臉照片，所述平板電腦即調用本發明提供的圖像特徵提取方法提取出照片的圖像特徵資料，並與預存的明星臉圖像資料庫中的圖像進行比對，得到與所述照片相似度最高的明星圖像，並調取所述明星的人物資訊，然後將所述明星圖像及人物資訊在顯示幕上輸出。

由於本終端設備使用上述圖像特徵提取方法，相關之處請參見上述圖像特徵提取方法實施例的說明，此處不再贅述。

本發明還提供了一種圖像特徵提取系統，包括使用者端和遠端伺服器，本系統部署有本發明提供的所述圖像特徵提取裝置，在運行時，所述使用者端拍攝圖像及/或選取相冊中的圖像發送到遠端伺服器，所述遠端伺服器提取出圖像特徵資料，並與預定的圖像資料庫中的圖像進行比對，並將比對結果發送至所述使用者端，最終由所述使用者端輸出比對結果。

例如，所述使用者端為一智慧手機，使用者用智慧手機自拍一張照片或從相冊中選擇一張人臉照片，然後發送到遠端伺服器，遠端伺服器即調用本發明提供的圖像特徵提取方法提取出照片的圖像特徵資料，並與預存的明星臉圖像資料庫中的圖像進行比對，得到與所述照片相似度最高的明星圖像，並調取所述明星的人物資訊，然後將所述明星圖像及人物資訊發送至所述使用者端，最終在所述使用者端的顯示幕上輸出。

由於本圖像特徵提取系統使用上述圖像特徵提取方法，相關之處請參見上述圖像特徵提取方法實施例的說明，此處不再贅述。

本發明雖然以較佳實施例揭露如上，但其並不是用來限定本發明，任何所屬技術領域中具有通常知識者在不脫離本發明的精神和範圍內，都可以做出可能的變動和修改，因此本發明的保護範圍應當以本發明請求項所界定的範圍為准。

在一個典型的配置中，計算設備包括一個或多個處理器(CPU)、輸入/輸出介面、網路介面和記憶體。

記憶體可能包括電腦可讀媒介中的非永久性記憶體，隨機存取記憶體(RAM)及/或非易失性記憶體等形式，如唯讀記憶體(ROM)或快閃記憶體(flash RAM)。記憶體是電腦可讀媒介的示例。

1、電腦可讀媒介包括永久性和非永久性、可行動和非可行動媒體可以由任何方法或技術來實現資訊儲存。資訊可以是電腦可讀指令、資料結構、程式的模組或其他資料。電腦的儲存媒介的例子包括，但不限於相變記憶體(PRAM)、靜態隨機存取記憶體(SRAM)、動態隨機存取記憶體(DRAM)、其他類型的隨機存取記憶體(RAM)、唯讀記憶體(ROM)、電可抹除可程式設計唯讀記憶體(EEPROM)、快閃記憶體或其他記憶體技術、唯讀光碟唯讀記憶體(CD-ROM)、數位多功能光碟 (DVD)或其他光學儲存、卡式磁帶，磁帶磁磁片儲存或其他磁性存放裝置或任何其他非傳輸媒介，可用於儲存可以被計算設備存取的資訊。按照本文中的界定，電腦可讀媒介不包括非暫存電腦可讀媒體(transitory media)，如調變的資料信號和載波。

2、所屬技術領域中具有通常知識者應明白，本發明的實施例可提供為方法、系統或電腦程式產品。因此，本發明可採用完全硬體實施例、完全軟體實施例或結合軟體和硬體方面的實施例的形式。而且，本發明可採用在一個或多個其中包含有電腦可用程式碼的電腦可用儲存媒介(包括但不限於磁碟記憶體、CD-ROM、光學儲存器等)上實施的電腦程式產品的形式。

Claims

一種圖像特徵提取方法，包括：接收使用者輸入的圖像；對所述使用者輸入的圖像進行配准，獲得配准後的圖像；對所述配准後的圖像構建多個結構化子圖像；採用多模型訓練獲得的特徵模型提取每個所述結構化子圖像的視覺特徵，所述多模型訓練獲得的特徵模型是採用視覺特徵學習算法對多個結構化子訓練圖像進行特徵模型訓練獲得的特徵模型，所述多個結構化訓練圖像為由配准後的多個訓練圖像分別構建的圖像；將所述多個結構化子圖像的視覺特徵進行結構化融合，獲得結構化特徵資料；採用結構化模型訓練得到的模型，對所述結構化特徵資料進行運算，獲得圖像特徵資料，其中，所述結構化模型訓練得到的模型是透過將所述多個子訓練圖像視覺特徵進行結構化融合，獲得訓練圖像結構化特徵資料；採用視覺特徵學習演算法對所述訓練圖像結構化特徵資料進行結構化模型訓練而得到的模型。
根據申請專利範圍第1項所述的圖像特徵提取方法，其中，所述對所述配准後的圖像構建多個結構化子圖像，包括：確定所述配准後的圖像的結構化基準點位置；確定子圖像的形狀參數；根據所述結構化基準點位置及所述子圖像的形狀參數，切割所述配准後的圖像，獲得多個結構化子圖像。
根據申請專利範圍第2項所述的圖像特徵提取方法，其中，所述確定所述配准後的圖像的結構化基準點位置，包括：根據圖像特徵點確定所述配准後的圖像的結構化基準點位置；或者，根據空間位置確定所述配准後的圖像的結構化基準點位置。
根據申請專利範圍第2項所述的圖像特徵提取方法，其中，所述根據所述結構化基準點位置及所述子圖像的形狀參數，切割所述配准後的圖像，獲得多個結構化子圖像的數學演算法為：a _ij=C(a,p _ij(x,y),s _ij)式中a _ij表示結構順序位於橫排第i個、豎排第j個的結構化子圖像，C為結構化子圖像的構建函數，a表示使用者輸入的圖像，p _ij表示順序位於橫排第i個、豎排第j個的結構化基準點，p _ij(x,y)表示結構化基準點p _ij處於所述使用者輸入的圖像的座標(x,y)處，s _ij表示結構化子圖像的形狀參數，包括矩形、圓形、橢圓形等任意平面形狀及其尺寸。
根據申請專利範圍第1項所述的圖像特徵提取方法，其中，所述多模型訓練獲得的特徵模型是透過以下方法獲得的：選擇預定的訓練圖像庫；將所述預定的訓練圖像庫中的每個訓練圖像按照統一的配准方法進行配准，獲得配准後的多個訓練圖像；對所述配准後的多個訓練圖像分別構建多個結構化子訓練圖像；採用視覺特徵學習演算法對所述多個結構化子訓練圖像進行特徵模型訓練以提取相應的多個子訓練圖像視覺特徵，並獲得特徵模型。
根據申請專利範圍第5項所述的圖像特徵提取方法，其中，所述視覺特徵學習演算法包括以下任一種：深度學習方法、boosting演算法、svm演算法或局部特徵組合的學習演算法。
根據申請專利範圍第5項所述的圖像特徵提取方法，其中，所述特徵模型的數學表達為：v _ij=M _ij(a _ij,q _ij)式中a _ij表示結構順序位於橫排第i個、豎排第j個的子訓練圖像，M _ij為對應子訓練圖像a _ij上訓練得到的特徵模型，q _ij為訓練得到的特徵模型參數，v _ij為透過特徵模型M _ij對子訓練圖像a _ij提取的子訓練圖像視覺特徵。
根據申請專利範圍第1項所述的圖像特徵提取方法，其中，所述將所述多個結構化子圖像的視覺特徵進行結構化融合，獲得結構化特徵資料，包括：根據構建多個結構化子圖像時的確定的結構化基準點位置，將所述多個結構化子圖像的視覺特徵進行結構化融合，獲得結構化特徵資料，所述結構化特徵資料包括特徵空間關係和特徵資訊。
根據申請專利範圍第8項所述的圖像特徵提取方法，其中，所述結構化特徵資料的數學表達為：d(i,j,k)=v _ij(k)式中v _ij表示結構化子圖像的視覺特徵，k為第k維的資料，d為融合後的結構化特徵資料。
根據申請專利範圍第5項所述的圖像特徵提取方法，其中，所述結構化模型訓練得到的模型的數學表達為：v=M(d,q)其中M為基於融合後的訓練圖像特徵資料d進行結構化模型訓練得到的模型，q為訓練得到的模型參數，v為透過模型M對訓練圖像特徵資料d融合得到的相應視覺特徵。
根據申請專利範圍第1項所述的圖像特徵提取方法，其中，還包括：將所述圖像特徵資料與預定的圖像資料庫中的各個預定圖像特徵資料依次進行比對；輸出比對結果。
根據申請專利範圍第11項所述的圖像特徵提取方法，其中，所述將所述圖像特徵資料與預定的圖像資料庫中的各個預定圖像特徵資料依次進行比對，包括：依次計算所述圖像特徵資料與預定的圖像資料庫中的各個預定圖像特徵資料之間的差值；所述輸出比對結果包括：依次判斷每個所述差值是否大於預定的差值閾值；若每個所述差值都大於預定的相似度閾值，則輸出沒有相似圖像的資訊，否則，則將與所述圖像特徵資料差值最小的預定圖像特徵資料對應的圖像，及/或圖像的資訊輸出。
根據申請專利範圍第12項所述的圖像特徵提取方法，其中，所述計算所述圖像特徵資料與預定的圖像資料庫中的各個預定圖像特徵資料之間的差值的演算法包括以下任一種：歐氏距離計算方法、Cosine距離計算方法或Joint Bayesian距離計算方法。
根據申請專利範圍第1至13項中任一項所述的圖像特徵提取方法，其中，所述圖像包括：人臉圖像。
一種圖像特徵提取裝置，包括：圖像接收單元，用於接收使用者輸入的圖像；配准單元，用於對所述使用者輸入的圖像進行配准，獲得配准後的圖像；子圖像構建單元，用於對所述配准後的圖像構建多個結構化子圖像；視覺特徵提取單元，用於採用多模型訓練獲得的特徵模型提取每個所述結構化子圖像的視覺特徵，所述多模型訓練獲得的特徵模型是採用視覺特徵學習算法對多個結構化子訓練圖像進行特徵模型訓練獲得的特徵模型，所述多個結構化訓練圖像為由配准後的多個訓練圖像分別構建的圖像；融合單元，用於將所述多個結構化子圖像的視覺特徵進行結構化融合，獲得結構化特徵資料；運算單元，用於採用結構化模型訓練得到的模型，對所述結構化特徵資料進行運算，獲得圖像特徵資料；還包括：結構化模型訓練單元，用於透過結構化模型訓練獲得模型；其中，所述結構化模型訓練單元包括：子訓練圖像融合子單元，用於將所述多個子訓練圖像視覺特徵進行結構化融合，獲得訓練圖像結構化特徵資料；模型獲取子單元，用於採用視覺特徵學習演算法對所述訓練圖像結構化特徵資料進行結構化模型訓練，獲得結構化模型訓練得到的模型。
根據申請專利範圍第15項所述的圖像特徵提取裝置，其中，所述配准單元，包括：基準點確定子單元，用於確定所述配准後的圖像的結構化基準點位置；形狀參數確定子單元，用於確定子圖像的形狀參數；切割子單元，用於根據所述結構化基準點位置及所述子圖像的形狀參數，切割所述配准後的圖像，獲得多個結構化子圖像。
根據申請專利範圍第16項所述的圖像特徵提取裝置，其中，所述基準點確定子單元，包括：特徵基準點確定子單元，用於根據圖像特徵點確定所述配准後的圖像的結構化基準點位置；或者，空間基準點確定子單元，用於根據空間位置確定所述配准後的圖像的結構化基準點位置。
根據申請專利範圍第16項所述的圖像特徵提取裝置，其中，所述切割子單元採用的數學演算法為：a _ij=C(a,p _ij(x,y),s _ij)式中a _ij表示結構順序位於橫排第i個、豎排第j個的結構化子圖像，C為結構化子圖像的構建函數，a表示使用者輸入的圖像，p _ij表示順序位於橫排第i個、豎排第j個的結構化基準點，p _ij(x,y)表示結構化基準點p _ij處於所述使用者輸入的圖像的座標(x,y)處，s _ij表示結構化子圖像的形狀參數，包括矩形、圓形、橢圓形等任意平面形狀及其尺寸。
根據申請專利範圍第15項所述的圖像特徵提取裝置，其中，還包括：多模型訓練單元，用於透過多模型訓練獲得特徵模型；所述多模型訓練單元包括：訓練圖像庫選擇子單元，用於選擇預定的訓練圖像庫；訓練圖像配准子單元，用於將所述預定的訓練圖像庫中的每個訓練圖像按照統一的配准方法進行配准，獲得配准後的多個訓練圖像；子訓練圖像構建子單元，用於對所述配准後的多個訓練圖像分別構建多個結構化子訓練圖像；特徵模型獲取子單元，用於採用視覺特徵學習演算法對所述多個結構化子訓練圖像進行特徵模型訓練以提取相應的多個子訓練圖像視覺特徵，並獲得特徵模型。
根據申請專利範圍第19項所述的圖像特徵提取裝置，其中，所述特徵模型獲取子單元採用的視覺特徵學習演算法包括以下任一種：深度學習方法、boosting演算法、svm演算法或局部特徵組合的學習演算法。
根據申請專利範圍第15項所述的圖像特徵提取裝置，其中，所述融合單元包括：基準點融合子單元，用於根據構建多個結構化子圖像時的確定的結構化基準點位置，將所述多個結構化子圖像的視覺特徵進行結構化融合，獲得結構化特徵資料，所述結構化特徵資料包括特徵空間關係和特徵資訊。
根據申請專利範圍第15項所述的圖像特徵提取裝置，其中，還包括：比對單元，用於將所述圖像特徵資料與預定的圖像資料庫中的各個預定圖像特徵資料依次進行比對；輸出單元，用於輸出比對結果。
根據申請專利範圍第22項所述的圖像特徵提取裝置，其中，所述比對單元包括：差值計算子單元，用於依次計算所述圖像特徵資料與預定的圖像資料庫中的各個預定圖像特徵資料之間的差值；所述輸出單元包括：差值判斷子單元，用於依次判斷每個所述差值是否大於預定的差值閾值；資訊輸出單元，用於若每個所述差值都大於預定的相似度閾值，則輸出沒有相似圖像的資訊，否則，則將與所述圖像特徵資料差值最小的預定圖像特徵資料對應的圖像，及/或圖像的資訊輸出。
根據申請專利範圍第23項所述的圖像特徵提取裝置，其中，所述比對單元計算所述圖像特徵資料與預定的圖像資料庫中的各個預定圖像特徵資料之間的差值的演算法包括以下任一種：歐氏距離計算方法、Cosine距離計算方法或Joint Bayesian距離計算方法。
一種圖像特徵提取終端設備，包括：中央處理器；輸入輸出單元；記憶體；所述記憶體中儲存有申請專利範圍第1項至申請專利範圍第14項所述的圖像特徵提取方法；並在啟動後能夠根據上述方法運行。
一種圖像特徵提取系統，包括使用者端和遠端伺服器，其特徵在於，使用申請專利範圍第15項至申請專利範圍第24項所述的圖像特徵提取裝置，所述使用者端拍攝圖像及/或選取相冊中的圖像發送到遠端伺服器，所述遠端伺服器提取出圖像特徵資料，並與預定的圖像資料庫中的圖像進行比對，並將比對結果發送至所述使用者端，最終由所述使用者端輸出比對結果。