TWI790658B

TWI790658B - 影像再識別方法

Info

Publication number: TWI790658B
Application number: TW110123077A
Authority: TW
Inventors: 謝東哲
Original assignee: 曜驊智能股份有限公司
Priority date: 2021-06-24
Filing date: 2021-06-24
Publication date: 2023-01-21
Also published as: TW202301181A

Abstract

一種影像再識別方法，由一影像再識別系統執行，該影像再識別方法為該影像再識別系統儲存N組特徵值，該N組特徵值分別對應N個不同的物體，該影像再識別系統將一待比對特徵值與每組特徵值進行相似度比對，以得到多個相似度比對分數，並將該等相似度比對分數與一預設的第一臨界值進行比較，以決定是否更新所儲存的特徵值，進而提升後續比對精確度。

Description

影像再識別方法

本發明是有關於一種影像識別技術，特別是指一種影像再識別方法。

現有影像再識別(ReID：Re-identification)技術，用於在多個攝影鏡頭所拍攝影像中，根據一待比對的影像的影像特徵值，自拍攝的影像中辨識出是何者與其為同一影像，但特徵值不同，舉例來說：同一個行人在各個路口被拍攝的影像，可能有不同穿著、外觀、背景建築...等態樣，因此特徵值就所不同，但實際上仍為同一個行人。

詳細而言，影像再識別技術的整體技術內容為先對一待查詢的影像運算取得其對應的影像特徵值，並與一資料庫所預先儲存的多張影像各自的影像特徵值進行餘弦相似度(cosine similarity)比對運算，以從該等預先收集的多張影像比對出數張與該待查詢影像相似者，並將比對出的影像進行相似度排序，進而供判斷何者與該待查詢影像為同一行人/車輛，並根據該次比對排序結果建立該次查詢的檢索精度(average persicion)。

當需再次查詢另一影像時，則再次執行相似度比對運算、相似度排序、判斷、及根據該次比對排序結果建立該次查詢的檢索精度，此外，還根據兩次查詢產生的檢索精度建立平均精確度均值(mAP：mean Average Presicion)。

由此可知，現有的影像再識別技術主要在於提升平均精確度均值，然而，現有資料庫的類型屬於closed set，其內部的資料為固定無法變動，對於待查詢影像而言，若資料庫事先並未儲存不同特徵值但為同一類型的多個影像，則回傳的比對相似度會極低，另一方面，也無法以適當的運算邏輯來根據其他同一類型，但不同特徵值的影像對資料庫儲存影像所對應的特徵值進行更新。

因而現有的影像再識別技術有以下缺點：

一、由於資料庫儲存之特徵值無法更新，當待查詢影像特徵值與資料庫影像特徵值差距過大時，將有比對錯誤之虞。

二、若要顧及檢索精度，資料庫須儲存每一影像的特徵值因而佔據資料庫儲存空間。

因此，現有的影像重識別技術有改善的必要。

因此，本發明的目的，即在提供一種可對資料庫所儲存影像對應的特徵值進行更新的影像再識別方法。

於是，本發明影像再識別方法，由一影像再識別系統執行，該影像再識別方法包含一步驟(A)、一步驟(B)、一步驟(C)、一步驟(D)，及一步驟(E)。

該步驟(A)為該影像再識別系統擷取一待比對特徵值。

該步驟(B)該影像再識別系統判斷本身是否未儲存至少一組特徵值。

該步驟(C)為若該步驟(B)的判斷結果為是，該影像再識別系統將該待比對特徵值儲存為內部的一組特徵值。

該步驟(D)若該步驟(B)的判斷結果為否，該影像再識別系統將該待比對特徵值與本身儲存的特徵值進行相似度比對，以得到多個相似度比對分數，並對該等相似度比對分數進行排序處理。

該步驟(E)為該影像再識別系統判斷該等相似度比對分數最大者是否大於該第一臨界值，並根據比較結果決定是否變動本身所儲存的特徵值的資料。

本發明的功效在於：藉由該影像再識別系統判斷本身是否有預先特徵值，並依據判斷結果決定新增，或變更原本的特徵值，以將儲存的特徵值進行強化，進而提升後續比對精確度，因此，即便該影像在識別系統並未儲存任何特徵值，由於可更新儲存的特徵值，也就是開放更新、增加、刪除特徵值，因而可提升後續的檢索精度。

A:步驟

A1:子步驟

A2:子步驟

A3:子步驟

A4:子步驟

B:步驟

C:步驟

D:步驟

D1:子步驟

D2:子步驟

E:步驟

F:步驟

G:步驟

H:步驟

T1:第一臨界值

T2:第二臨界值

本發明的其他的特徵及功效，將於參照圖式的實施方式中清楚地呈現，其中：圖1為一流程圖，說明本發明影像再識別方法的一實施例；圖2為一流程圖，輔助說明該實施例的一步驟(A)；圖3為一流程圖，輔助說明該實施例的一步驟(D)；及圖4為一示意圖，輔助說明該實施例更新特徵值的判斷條件。

參閱圖1，為本發明影像再識別方法的一實施例，由一影像再識別系統執行，該實施例包含一步驟(A)、一步驟(B)、一步驟(C)、一步驟(D)、一步驟(E)、一步驟(F)、一步驟(G)，及一步驟(H)。

參閱圖2，該步驟(A)為該影像再識別系統擷取一待比對特徵值，進一步說明，該步驟(A)包括一子步驟(A1)、一子步驟(A2)、一子步驟(A3)，及一子步驟(A4)。

該子步驟(A1)為該影像再識別系統先自一串流影片中擷取多個畫面。

該子步驟(A2)為該影像再識別系統自該等畫面中選取具有該物體影像者。

該子步驟(A3)為該影像再識別系統對具有該物體影像的畫面計算一對應的原始特徵值，更明確而言，該影像再識別系統利用一模型萃取演算法計算多個屬於同一群的畫面以得到該原始特徵值，該同一群畫面的定義是具有相同物體影像不同背景影像所組成的多張畫面。

該子步驟(A4)為該影像再識別系統對該等原始特徵值進行正規化運算以得到該待比對特徵值。

在該子步驟(A4)中，該影像再識別系統是以L2-歸一化進行正規化運算。

該步驟(B)為該影像再識別系統判斷本身是否未儲存至少一組特徵值。

該步驟(C)若該步驟(B)的判斷結果為是，該影像再識別系統將該待比對特徵值儲存為內部的一組特徵值，並指示一對應於該組特徵值的組編號，且對應產生一聚合次數，並將該聚合次數的值指示為1；由此，該步驟(C)可歸納出如下式(一)：

其中，參數

為該影像再識別系統所儲存的第n+1組特徵值，f_q為該待比對特徵值，max score為該等相似度比對分數中最大者，n+1代表原本該影像再識別系統內部的資料庫只儲存n組資料，本次新增一組為n+1，在式(一)中，代表該影像再識別系統將該待比對特徵值新增為第i個特徵值。

該步驟(D)為若該步驟(B)的判斷結果為否，也就是該影像再識別系統已有儲存一組特徵值，則該影像再識別系統將該待比對特徵值與本身儲存的特徵值進行相似度比對，以得到多個相似度比對分數，並對該等相似度比對分數進行排序處理，其中，由於此時該影像再識別系統已有儲存特徵值，因此可加快特徵值比對速度，此外進一步說明，該步驟(D)包括一子步驟(D1)，及一子步驟(D2)。

該子步驟(D1)為該影像再識別系統將該待比對特徵值與本身儲存的特徵值進行相似度比對，以得到多個相似度比對分數其中，該影像再識別系統是採用餘弦相似度(cosine similarity)演算法進行相似度比對以得到該等相似度比對分數，此外，還根據每個特徵值的大小順序將對應的物體影像進行分類，舉例來說，該等物體影像為人像，其中數張為同一人但不同背景、姿態、穿著...等，進行分類的目的在於將對應於同一人但不同背景、姿態、穿著的多張物體畫面歸納為同一個物體畫面，也就是將該等物體畫面的特徵值進行聚合運算以得到聚合運算後的特徵值，根據該特徵值可查找出對應於同一物體的多張物體影像，以加快後續與待比對特徵值比對的運算速度。

該子步驟(D2)為該影像再識別系統自該等相似度比對分數中選取最大者，並註記一對應於該相似度比對分數的組編號。

該步驟(E)為該影像再識別系統判斷該等相似度比對分數最大者是否大於一預設的第一臨界值T1，並根據比較結果變動本身所儲存的特徵值的資料。

若該步驟(E)的判斷結果為否，則回到該步驟(C)，再配合前述步驟(D1)舉例做說明，當該影像再識別系統比對出所儲存的特徵值當中與該待比對特徵值的相似度最接近者，其相似度分數仍低於該第一臨界值T1，代表該待比對特徵值與該特徵值所對應的物體畫面其背景、姿態、穿著...等皆不相同，且差異較大因此相似度分數低於該第一臨界值T1，故將該待比對特徵值對應的物體畫面為與前述最相近的物體畫面二者不同，則該影像再識別系統將該待比對特徵值儲存為一組新的特徵值，並指示對應於該組特徵值的組編號，且對應產生一聚合次數，並將該聚合次數的值指示為1。

該步驟(F)為若該步驟(E)判斷結果為是，則該影像再識別系統再判斷該等相似度比對分數最大者是否大於一預設的第二臨界值T2，且該聚合次數是否小於一聚合次數上限值，該第二臨界值T2大於該第一臨界值T1，聚合次數上限值大於一。

該步驟(G)為若該步驟(F)的判斷結果為該等相似度比對分數最大者介於該第二臨界值T2與該第一臨界值T1之間，則該影像再識別系統不改變該聚合次數的數值，且不改變該步驟(C)中所儲存的該特徵值，並指示該待比對特徵值與該步驟(C)中所儲存的該特徵值為同一組，此外，若該步驟(F)的判斷結果為該等相似度比對分數最大者大於該第二臨界值T2，且該聚合次數大於該聚合次數上限值，在該步驟(G)中，該影像再識別系統同樣不改變該聚合次數的數值，且不改變該步驟(C)中所儲存的該特徵值，並指示該待比對特徵值與該步驟(C)中所儲存的該特徵值為同一組，需再說明的是，由於該待比對特徵值介於該第一臨界值T1與該第二臨界值之間，代表該待比對特徵值與該特徵值所對應的物體畫面為同一物體，但其未達更新條件，也就是該待比對特徵值對應的物體畫面的物體雖然與該特徵值對應的物體畫面的物體相同，但相似度偏低，因此不以該待比對特徵值對原本的特徵值更新，一方面維持比對精確度，另一方面可節省資料儲存空間。

該步驟(H)為若該步驟(F)的判斷結果為該等相似度比對分數最大者大於該第二臨界值T2，且該聚合次數小於該聚合次數上限值，該影像再識別系統以該等相似度比對分數最大者所對應的該待比對特徵值對該步驟(C)中所儲存的該特徵值進行聚合，且對該聚合次數的數值進行累加，換言之，代表該待比對特徵值與該特徵值所對應的物體畫面為同一類，差異較小，且由於聚合次數未超出該聚合次數上限值，也就是更新次數未達上限，因此該影像再識別系統以該等相似度比對分數最大者所對應的該待比對特徵值對該步驟(C)中所儲存的該特徵值進行聚合，以優化後續對於其他同一類物體畫面但不同特徵值的比對效能，且對該聚合次數的數值累加1，需再補充的是，雖然此時該影像再識別系統只有一個特徵，但已經代表三個不同影像但相同的物體，可節省特徵值儲存空間，隨著資料量大量增長情況下，可以節省儲存空間。

由此，上述該步驟(G)可歸納出如下式(二)：

其中，參數

為特徵值聚合後的結果，f_q為該待比對特徵值，max score為該等相似度比對分數中最大者，T2為該第二臨界值，Aggregation_count(gid)為該聚合次數，

為該影像再識別系統所儲存的特徵值與該待比對特徵值最相近者，β為權重值。

而該步驟(H)則可歸納出如下式(三)：

其中，參數

為特徵值聚合後的結果，f_q為該待比對特徵值，max(score)為該等相似度比對分數中最大者，T2為該第二臨界值，Aggregation_count(gid)為該聚合次數，

配合參閱圖4，其中，編號(1)~(5)之圖片分別為該影像再識別系統依序判斷五個待查詢影像畫面首先，編號1相當於從該步驟(B)到該步驟(C)，一開始該影像再識別系統並未儲存任何特徵值，因此fg=fq，也就是新增第一筆特徵值到資料庫，相當於上式(一)，其中，fg為物體影像所對應的特徵值，第一臨界值T1為0.7，第二臨界值T2為0.8，當該影像再識別系統將待比對物體影像對應的待比對特徵值與編號(2)的物體影像的特徵值進行相似度比對，由於此時該影像再識別系統已有儲存特徵值，對應於該步驟(B)至該步驟(D)，此時相似度比對分數為0.79，對應於該步驟(E)、步驟(F)、步驟(G)，由於0.79大於該第一臨界值T1，代表同一物體，相當於上式(二)，但小於該第二臨界值T2，不符合更新條件，但可節省該影像再識別系統的儲存空間，當該影像再識別系統將待比對物體影像對應的待比對特徵值與編號(3)的物體影像的特徵值進行相似度比對後所得到的相似度分數為0.88，相當於該步驟(B)至該步驟(D)，且對原本的特徵值進行聚合的次數小於次數限制k，則該影像再識別系統以待比對特徵值fq與原本的特徵值fg進行聚合運算以得到新的特徵值，如上式(二)，由於此時的該影像再識別系統雖然只有一個特徵，但代表二個不同影像但相同之物體，接著進入該步驟(E)、步驟(F)、步驟(G)，對應於上式(三)，符合更新條件，此時該影像再識別系統雖然只有一個特徵，但已經代表三個不同影像但相同的物體，故能節省特徵儲存空間的功效，隨著資料量大量增長情況下，可以節省非常多儲存空間；當該影像再識別系統將待比對物體影像對應的待比對特徵值與編號(4)的物體影像的特徵值進行相似度比對後所得到的相似度分數為0.8，由於此時該影像再識別系統內部儲存資料不為空，相當於該步驟(B)至該步驟(D)，此時該影像再識別系統雖然只有一個特徵，但卻代表了3個不同影像但相同之物體，因而加快特徵值比對速度，且對原本的特徵值進行更新的次數小於次數限制k，進入該步驟(E)、步驟(F)、步驟(H)，對應於上式(三)，由於相似度分數0.8大於該第一臨界值T1，及該第二臨界值T2，符合更新條件，以上式(三)進行特徵強化，此時該影像再識別系統雖然只有一個特徵，但卻代表了4個不同影像但相同之物體，因而加快特徵值比對速度，需特別說明的是，該次查詢開始可以看出特徵值強化的功效，若先前的查詢都不使用特徵值強化，則該次的相似度分數只會是0.75，但由於該實施例採用特徵強化，因此該次的相似度分數提升；當該影像再識別系統將待比對物體影像對應的待比對特徵值與編號(5)的物體影像的特徵值進行相似度比對後所得到的相似度分數為0.77，此時該影像再識別系統內部儲存資料不為空，相當於該步驟(B)至該步驟(D)，此時的該影像再識別系統雖然只儲存一個特徵值，但卻代表了四個不同影像但相同之物體，可加快特徵值比對速度，接著進入該步驟(E)、步驟(F)、步驟(H)，對應於上式(二)，由於相似度分數大於該第一臨界值T1，但小於該第二臨界值T2，不符合特徵值更新條件，因此進入該步驟(G)，對應於上式(二)，沿用原本儲存的特徵值，此時該影像再識別系統雖然只有一個特徵值，但已經代表五個不同影像但相同的物體，因而節省特徵儲存空間的功效，也就是隨著資料量大量增長情況下，可節省非常多的儲存空間，需特別說明的是，該次查詢開始可以看出特徵值強化的功效，若先前的查詢都不使用特徵值強化，則該次的相似度分數只有0.72，所以可以看出由於先前的特徵值強化，讓這次的相似度分數提升。

綜上所述，藉由該影像再識別系統先自一串流影片得到多張對應於同一物體影像的畫面，以得到對應的待比對特徵值，並根據本身儲存關於特徵值的狀況決定進行新增特徵值、或對特徵值進行聚合強化，其中，該第一臨界值T1用來判斷待比對影像的待比對特徵是否能加入群組，也就是同一類型的物體影像所對應的特徵值，該第二臨界值T2用來判斷待比對影像的待比對特徵是否可以聚合到群組中，因而有以下優點：

一、根據待比對特徵值決定是否更新原先儲存的特徵值(open set)，進而提升比對後續精確度及相似度分數的排序精確度(rank-1)。

二、對於同一類型物體影像而言，由於特徵值已經由聚合強化運算，且僅需儲存一組特徵值，進而節省儲存空間並可加快查找速度。

三、藉由該第一、第二臨界分數的限制，在維持一定程度相似度的前提下(hitting rate)，以L2-歸一化運算進行特徵值更新以強化特徵，故確實達成本發明的創作目的。

惟以上所述者，僅為本發明的實施例而已，當不能以此限定本發明實施的範圍，凡是依本發明申請專利範圍及專利說明書內容所作的簡單的等效變化與修飾，皆仍屬本發明專利涵蓋的範圍內。

A 步驟 A1 子步驟 A2 子步驟 A3 子步驟 A4 子步驟 B 步驟 C 步驟 D 步驟 D1 子步驟 D2 子步驟 E 步驟 F 步驟 G 步驟 H 步驟 T1 第一臨界值 T2 第一臨界值

Claims

一種影像再識別方法，由一影像再識別系統執行，該影像再識別方法包含：(A)該影像再識別系統擷取一待比對特徵值；(B)該影像再識別系統判斷本身是否未儲存至少一組特徵值；(C)若該步驟(B)的判斷結果為是，該影像再識別系統將該待比對特徵值儲存為內部的一組特徵值，還對應產生一聚合次數，並將該聚合次數的值指示為1；(D)若該步驟(B)的判斷結果為否，該影像再識別系統將該待比對特徵值與本身儲存的特徵值採用餘弦相似度演算法進行相似度比對，以得到多個相似度比對分數，並對該等相似度比對分數進行排序處理；及(E)該影像再識別系統判斷該等相似度比對分數最大者是否大於一預設的第一臨界值，並根據比較結果決定是否變動本身所儲存的特徵值的資料。
如請求項1所述的影像再識別方法，該待比對特徵值對應於一物體，其中，該步驟(A)包括一下子步驟，(A1)該影像再識別系統自一串流影片中，擷取多個畫面，(A2)該影像再識別系統自該等畫面中選取具有該物體影像者，(A3)該影像再識別系統對具有該物體影像的畫面計算一對應的原始特徵值，及 (A4)該影像再識別系統對該等原始特徵值近行正規化運算以得到該待比對特徵值。
如請求項2所述的影像再識別方法，其中，在該子步驟(A4)中，該影像再識別系統是以L2-歸一化進行正規化運算。
如請求項1所述的影像再識別方法，其中，若該步驟(E)的判斷結果為否，則回到該步驟(C)。
如請求項1所述的影像再識別方法，還包含一步驟(F)，若該步驟(E)判斷結果為是，該影像再識別系統再判斷該等相似度比對分數最大者是否大於一預設的第二臨界值，且該聚合次數是否小於一聚合次數上限值，該第二臨界值大於該第一臨界值，聚合次數上限值大於一。
如請求項5所述的影像再識別方法，還包含一步驟(G)，若該步驟(F)的判斷結果為該等相似度比對分數最大者介於該第二臨界值與該第一臨界值之間，在該步驟(G)中，該影像再識別系統不改變該聚合次數的數值，且不改變該步驟(C)中所儲存的該特徵值，並指示該待比對特徵值與該步驟(C)中所儲存的該特徵值為同一組。
如請求項5所述的影像再識別方法，還包含一步驟(G)，若該步驟(F)的判斷結果為該等相似度比對分數最大者大於該第二臨界值，且該聚合次數大於該聚合次數上限值，在該步驟(G)中，該影像再識別系統不改變該聚合次數的數值，且不改變該步驟(C)中所儲存的該特徵值，並指示該待比對特徵值與該步驟(C)中所儲存的該特徵值為同一組。
如請求項5所述的影像再識別方法，還包含一步驟(H)，若該步驟(F)的判斷結果為該等相似度比對分數最大者大於該第二臨界值，且該聚合次數小於該聚合次數上限值，該影像再識別系統以該等相似度比對分數最大者所對應的該待比對特徵值對該步驟(C)中所儲存的該特徵值進行聚合，且對該聚合次數的數值進行累加。
如請求項2所述的影像再識別方法，其中，在該子步驟(A3)中，該影像再識別系統利用一模型萃取演算法計算多個屬於同一群的畫面以得到該原始特徵值，該同一群畫面的定義是具有相同物體影像不同背景影像所組成的多張畫面。
如請求項1所述的影像再識別方法，其中，該步驟(D)包括以下子步驟，(D1)該影像再識別系統將該待比對特徵值與本身儲存的特徵值進行相似度比對，以得到多個相似度比對分數，及(D2)該影像再識別系統自該等相似度比對分數中選取最大者，並註記一對應於該相似度比對分數的組編號。
如請求項1所述的影像再識別方法，其中，該步驟(C)如以下公式：
當max(score)<T1 其中，參數
為該影像再識別系統所儲存的第n+1組特徵值，f_q為該待比對特徵值，max score為該等相似度比對分數中最大者，T1為該第一臨界值。
如請求項6或7所述的影像再識別方法，其中，該步驟(G)如以下公式：
，當T2>max(score)
T1或max(score)>T2且
>k，其中，參數
為特徵值聚合後的結果，
為該影像再識別系統所儲存的特徵值與該待比對特徵值最相近者，T2為該第二臨界值，
為該聚合次數，k為該聚合次數上限值。
如請求項8所述的影像再識別方法，其中，該步驟(H)如以下公式：
Aggregation _count(gid)=Aggregation _count(gid)+1，if max score>T2，
k，其中，參數
為特徵值聚合後的結果，f_q為該待比對特徵值，max score為該等相似度比對分數中最大者，T2為該第二臨界值，Aggregation_count(gid)為該聚合次數，
為該影像再識別系統所儲存的特徵值與該待比對特徵值最相近者，β為權重值。