TWI776668B - 影像處理方法及影像處理系統 - Google Patents

Abstract

一種影像處理方法，包含下列步驟：透過神經網路裝置接收原始影像，其中影像包含複數個畫素單元；分析該些畫素單元，以取得該些畫素單元中之複數個關鍵單元；根據原始影像中之該些關鍵單元，產生複數個局部特徵資料；根據原始影像中之該些畫素單元，產生全域特徵資料；以及結合該些局部特徵資料及全域特徵資料，以產生對應原始影像的一特徵描述資料。

Description

影像處理方法及影像處理系統

本揭示內容關於一種影像處理方法及影像處理系統，用於分析及比對影像所呈現之內容。

「特徵比對（Feature Match，特徵匹配）」是電腦視覺應用中最關鍵與常見的技術方法之一。現今的特徵比對方法在分析影像時，常會濾除過多特徵，導致比對結果模糊而不精確。此外，特徵比對的部份運算過程十分倚賴預定義的參數，導致使用者常需要針對不同的檢測目標進行手動設置，以設計對應且專屬的參數。因此，特徵比對之技術上仍有許多需要改進及優化之處。

本揭示內容係關於一種影像處理方法，包含下列步驟：透過神經網路裝置接收原始影像，其中影像包含複數個畫素單元；分析該些畫素單元，以取得該些畫素單元中之複數個關鍵單元；根據原始影像中之該些關鍵單元，產生複數個局部特徵資料；根據原始影像中之該些畫素單元，產生全域特徵資料；以及結合該些局部特徵資料及全域特徵資料，以產生對應原始影像的一特徵描述資料。

本揭示內容還關於一種影像處理系統，包含神經網路裝置及處理裝置。神經網路裝置包含關鍵分析神經網路、局部特徵神經網路及全域特徵神經網路。關鍵分析神經網路用以接收原始影像，且對原始影像中的複數個畫素單元進行分析，以取得複數個關鍵單元。局部特徵神經網路電性連接於關鍵分析神經網路，用以根據該些關鍵單元產生複數個局部特徵資料。全域特徵神經網路用以接收原始影像，以根據原始影像中之該些畫素單元，產生全域特徵資料。處理裝置電性連接於局部特徵神經網路及全域特徵神經網路，用以結合該些局部特徵資料及全域特徵資料，以產生對應原始影像的特徵描述資料。

據此，由於本揭示內容係擷取原始影像的局部特徵資料及全域特徵資料，以產生特徵描述資料，因此，特徵描述資料中能同時兼顧影像中的微觀差異(如：物件邊緣)與宏觀特徵(如：背景)，使得影像處理系統能根據特徵描述資料，更為精確且快速地完成影像辨識。

以下將以圖式揭露本發明之複數個實施方式，為明確說明起見，許多實務上的細節將在以下敘述中一併說明。然而，應瞭解到，這些實務上的細節不應用以限制本發明。也就是說，在本發明部分實施方式中，這些實務上的細節是非必要的。此外，為簡化圖式起見，一些習知慣用的結構與元件在圖式中將以簡單示意的方式繪示之。

於本文中，當一元件被稱為「連接」或「耦接」時，可指「電性連接」或「電性耦接」。「連接」或「耦接」亦可用以表示二或多個元件間相互搭配操作或互動。此外，雖然本文中使用「第一」、「第二」、…等用語描述不同元件，該用語僅是用以區別以相同技術用語描述的元件或操作。除非上下文清楚指明，否則該用語並非特別指稱或暗示次序或順位，亦非用以限定本發明。

第1圖所示為根據本揭示內容之部份實施例的影像處理系統100示意圖。影像處理系統100包含神經網路裝置110及處理裝置120。在部份實施例中，神經網路裝置110及處理裝置120可設於同一個電子裝置（如：伺服器200）中，且神經網路裝置110包含多個神經網路（Neural Network）。神經網路可透過軟體、硬體或其組合建構而成，包含多個相互連結的人工神經元，以形成數學模型或計算模型。每個人工神經元都具有運算參數（如：函式運算時之權重值），使神經網路之數學模型或計算模型能透過學習方法（Learning Method）得以最佳化。神經網路裝置110內的各神經網路可透過機器學習或深度學習以不斷更新及優化，由於本領域之人士能理解神經網路之原理，故在此不另贅述。

在一實施例中，神經網路裝置110包含關鍵分析（Keypoint Attention）神經網路111、局部特徵神經網路112及全域特徵神經網路113。關鍵分析神經網路111用以接收原始影像So，原始影像So可為照片或影片，且包含多個畫素單元。「畫素單元」可指單一個或指多個畫素，用以呈現原始影像So中部份區域的色彩、輪廓或灰階。關鍵分析神經網路111用以對原始影像So中的所有畫素單元進行分析，以取得複數個關鍵單元Kp（key point）。

在一實施例中，關鍵分析神經網路111可透過Triplet Loss學習演算法，計算原始影像So與標記區域之損失函數，以對較重要的特徵區域進行優化。優化之區域將分配較高的權重，以顯著提高特徵匹配的準確性。關鍵分析神經網路111使用之演算法並不侷限於Triplet Loss。

在一實施例中，關鍵單元可為原始影像So中多個畫素單元之間差異大於預定值的區域。例如：畫素單元X與相鄰之畫素單元Y的灰階差異為30％，大於預設值15％，則畫素單元X及畫素單元Y將被設定為一個關鍵單元。

在一實施例中，關鍵單元亦可為畫素單元中用以顯示物件邊緣的部份。例如：畫素單元X用以顯示「汽車輪廓（如：車輪與馬路的交界處）」，則畫素單元X被設定為一個關鍵單元。

在一實施例中，關鍵分析神經網路111包含「卷積神經網路(Convolutional Neural Network,CNN)」，用以分析出關鍵單元。卷積神經網路包含多個卷積層(Convolution Layer)，用以從「點」特徵的比對轉換成「面」特徵的比對。舉例而言，以原始影像So中每一畫素為中心，擷取N x N個畫素的面積，且每一個畫素具有不同權重，計算加權總和（N為 Kernel Size，N x N 的矩陣權重稱為「卷積核」），計算出的值將可判斷畫素是否為「畫素變化明顯」、「呈現物件邊緣」等關鍵單元（key point）。卷積神經網路會針對每一個畫素依序處理，直到原始影像So中的最後一個畫素為止。在其他實施例中，卷積神經網路還可包含濾波器(Filter)、池化層(Pooling Layer)或隱藏層(Dense)，由於本領域之人士能理解卷積神經網路之組成與運作方式，故在此不另贅述。

局部特徵神經網路112電性連接於關鍵分析神經網路111，用以接收關鍵分析神經網路111產生之關鍵單元Kp。局部特徵神經網路112根據該些關鍵單元Kp產生複數個局部特徵資料Dl。在一實施例中，「局部特徵資料Dl」屬於一種向量集合，例如512維度的向量集。在部份實施例中，局部特徵神經網路112所生成的局部特徵資料Dl中，將會包含該些關鍵單元Kp所對應的座標資訊（位置資訊）。

全域特徵神經網路113用以接收原始影像So，以根據原始影像So中的所有畫素單元，產生全域特徵資料Dg。全域特徵神經網路113之運算原理可與局部特徵神經網路112相同，但其運算目標為所有的畫素單元，用以生成對應於原始影像So之整體的特徵描述（descriptor）。全域特徵資料Dg亦可為一種向量集合。

前述之局部特徵資料Dl及全域特徵資料Dg皆為用以描述每一個畫素之特徵的一種訊息集合，以向量維度做紀錄保存。特徵資料Dl、Dg的訊息須具備旋轉不變性和尺度不變性。換言之，每一筆特徵資料的描述訊息應不會受到影像旋轉或縮放而改變。

處理裝置120電性連接於局部特徵神經網路112及全域特徵神經網路113，用以結合該些局部特徵資料Dl及全域特徵資料Dg，以產生對應原始影像So的特徵描述資料Ds。「特徵描述資料Ds」除了包含有對應於關鍵單元Kp的特徵描述與座標資訊（局部特徵資料Dl）外，還具有原始影像So之整體畫面的特徵描述（全域特徵資料Dg）。

處理裝置120可透過內部之微處理器執行各種運算。微處理器亦可以被實施為微控制單元(microcontroller)、微處理器(microprocessor)、數位訊號處理器(digital signal processor)、特殊應用積體電路(application specific integrated circuit，ASIC)或一邏輯電路。同理，神經網路裝置110中亦透過微處理器進行資料運算。

具體而言，影像處理系統100可應用於一個建構有立體場景模型的伺服器中。立體場景模型由多張影像資料建構而成，且同樣可透過機器學習(machine learning)或深度學習(deep learning)提昇立體場景模型的精密度與準確度。換言之，根據多張原始影像So所產生的多筆特徵描述資料Ds，處理裝置120可據以於伺服器中建立、修正或調整立體場景模型。當影像處理系統100後續接收到新的一張待比對影像時，影像處理系統100可先分析出待比對影像的特徵描述資料，再將待比對影像的特徵描述資料與每張原始影像So的特徵描述資料Ds相比較，以得到特徵相似度。若特徵相似度大於預定閥值，即可視為兩張影像係紀錄相同之場景或物件。

本揭示內容之影像處理系統100混合了向量特徵（如特徵描述資料Ds）與注意力檢測（如：關鍵單元Kp）形成檢測網路（Hybrid Descriptors and Attention-based Detector Network）。

為便於理解，以下根據第2A～2D及3圖，說明本案之一實施例的運作方式。第2A～2D圖所示為根據本揭示內容之部份實施例的影像處理系統100的應用方式示意圖，為區分不同之影像，第2A圖中係將原始影像標示為Sa、Sb。第3圖為所示為根據本揭示內容之部份實施例的影像處理方法的流程圖。

舉例而言，影像處理系統100用以應用於伺服器200中，且伺服器內建置有立體場景模型，用以紀錄「學校」的場景。在步驟S301中，伺服器透過網路，從終端裝置接收原始影像Sa（如：建築物照片，如第2B圖所示）。伺服器將原始影像Sa輸入至神經網路裝置110。

在部份實施例中，影像處理系統100可透過使用具有彩色影像或包含深度影像資訊的硬體裝置，進行串流以接收原始影像Sa。

在步驟S302中，關鍵分析神經網路111對原始影像Sa中的全部畫素單元進行分析，以取得多個關鍵單元Kp。如前所述，任一關鍵單元Kp可為相鄰之多個畫素單元間的差異大於預定值的一個局部區域，或者可為用以顯示物件邊緣（如第2C圖所示，可為建築物的邊緣輪廓）的一部分畫素單元。

當關鍵分析神經網路111分析取得關鍵單元Kp後，神經網路裝置110可先對原始影像Sa進行關鍵子影像擷取，以由原始影像Sa中擷取複數個關鍵子影像Kc。

關鍵子影像擷取之概念是提取影像資訊，決定每個畫素單元是否屬於一個感興趣之特徵，會把原始影像Sa中的畫素單元分類為不同的子集，即「關鍵子影像Kc」。關鍵子影像Kc往往屬於原始影像Sa中用以呈現物件紋理的部分，例如用以紀錄原始影像Sa中的獨立的點、連續的曲線或者連續的區域。

承上，每個關鍵子影像Kc包含至少一個關鍵單元Kp。具體而言，在步驟S303中，關鍵分析神經網路111將關鍵單元Kp傳送至關鍵分析模組114。關鍵分析模組114用以在原始影像Sa中，擷取對應於該些關鍵單元Kp之任一者的一個擷取區域，以產生關鍵子影像Kc。被擷取的關鍵單元Kp將位於擷取區域的中心。

第2D圖所示為其中一個關鍵子影像Kc的示意圖。舉例而言，關鍵分析模組114於原始影像Sa中找到一個關鍵單元Kp。將該關鍵單元Kp設定為中心，並朝外設定一個擷取區域（如：邊長6畫素的矩形、或邊長6畫素的圓形），以作為關鍵子影像Kc。

在步驟S304中，局部特徵神經網路112接收關鍵分析神經網路111產生之關鍵單元Kp，或者接收關鍵分析模組114產生之關鍵子影像Kc。接著，局部特徵神經網路112將關鍵單元Kp或關鍵子影像Kc轉換為局部特徵資料Dl。局部特徵資料Dl可為描述關鍵單元Kp特徵的一組向量集合。

在步驟S305中，全域特徵神經網路113（例如：透過CNN、DNN、RNN等配合演算法），根據原始影像Sa中之所有畫素單元產生全域特徵資料Dg。全域特徵資料Dg可為描述原始影像Sa特徵的一組向量集合。步驟S305可早於步驟S302-S304進行，或與步驟S302-S304同步進行。

在步驟S306中，神經網路裝置110結合所有局部特徵資料Dl及該全域特徵資料Dg，以產生對應原始影像Sa的特徵描述資料Ds。在部份實施例中，神經網路裝置110可將局部特徵資料Dl及該全域特徵資料Dg傳送給處理裝置120，處理裝置120結合局部特徵資料Dl及該全域特徵資料Dg，以產生特徵描述資料Ds。特徵描述資料Ds分別包含了原始影像Sa的局部特徵與整體特徵，且去除了非關鍵性的畫素（如：雜訊），因此能使影像處理系統100在辨識上更為精準。

在根據原始影像Sa產生特徵描述資料Ds後，影像處理系統100可利用特徵描述資料Ds建構立體場景模型。在其他實施例中，當影像處理系統100後續接收到新的一張待比對影像Sb時，在進行前述步驟S301～S306之後，影像處理系統100可將該原始影像Sa的特徵描述資料Ds與待比對影像Sb的待比對特徵描述資料Ds’比較，以透過比對後取得之特徵相似度，判斷兩張影像是否用以紀錄相同場景或物件。

具體而言，請參閱第2A圖所示，當影像處理系統100接收到待比對影像Sb時，先透過與前述步驟S301～S306之處理方式相同的原理，產生對應於待比對影像Sb的待比對特徵描述資料Ds’。接著，處理裝置120將以待比對特徵描述資料Ds’與立體場景模型中的所有資料進行比對。若判斷待比對特徵描述資料Ds’與儲存於立體場景模型中特徵描述資料Ds間的特徵相符（如：特徵相似度大於75％），則可認定待比對特徵描述資料Ds’（對應於待比對影像Sb）與特徵描述資料Ds（對應於原始影像Sa）屬於紀錄相同的場景。處理裝置120將據以更新或調整立體場景模型，同時可回傳一個影像定位訊息至上傳該待比對影像Sb的終端裝置。

在一般的影像比對方法中，可能僅篩選出部份較為特別的畫素作為比對之特徵，導致丟失了過多訊息，且亦無法分辨細節與空間之特徵區別。此外，僅比對少數特徵的影像比對方法難以被應用在機器學習模型上，因為機器無法分辨出每張影像的重複模式。同時，過於模糊之比對結果將被視為為離群(outlier)，而會在運算過程中被濾除。

本揭示內容之影像處理方法分別保留一張原始影像中的局部特徵與全域特徵，因此，生成的特徵描述資料具有良好的穩健性，且影像辨識的精確性亦可被改善。舉例而言，即便兩張影像的紀錄內容略有出入(如：拍攝角度不同、拍攝時間不同或光線強度不同)，影像處理系統100仍能精確地辨識兩張影像是否紀錄同一個物件或場景。此外，由於用以建構立體場景模型的所有特徵描述資料(如：Ds、Ds’)都經過前述步驟S301~306的處理，僅保留關鍵性的特徵描述，因此，處理裝置120在進行影像辨識時的運算量將得以減輕。同時，亦可精簡伺服器中的儲存空間。

第4圖為根據本揭示內容之部份實施例進行影像比對的示意圖。如圖所示，原始影像Sa中包含多個關鍵單元K31、K32。待比對影像Sb中包含多個關鍵單元K41、K42。雖然原始影像Sa、待比對影像Sb之畫面不同，但其實只是角度上的差異。換言之，原始影像Sa、待比對影像Sb係分別以不同角度紀錄同一個物件。由於原始影像Sa、待比對影像Sb可透過前述方法，分析生成對應的特徵描述資料Ds、Ds’，且特徵描述資料Ds、Ds’包含了局部特徵資料D1與全域特徵資料Dg，因此當處理裝置120以特徵描述資料Ds、Ds’來比對原始影像Sa及待比對影像Sb時，將可同時兼顧微觀與宏觀的特徵，判斷出原始影像Sa、待比對影像Sb中的多個關鍵單元K31~K32及K41~K42是否互相對應，從而確認原始影像Sa、待比對影像Sb是否對應於同一個物件。

第5圖為根據本揭示內容之另一部份實施例的神 經網路裝置110示意圖。於第5圖中，與第1圖之實施例有關的相似元件係以相同的參考標號表示以便於理解，且相似元件之具體原理已於先前段落中詳細說明，若非與第5圖之元件間具有協同運作關係而必要介紹者，於此不再贅述。

在一實施例中，關鍵分析神經網路111分析產生關鍵單元Kp，局部特徵神經網路112則根據多個關鍵單元Kp的分佈趨勢，在原始影像So中裁剪出多個區域，並且使用每個區域之特徵最大值(中心)位置來定位張量(tensor)中所應放大的相對應位置，以提取出局部特徵資料D1。如第5圖所示，關鍵分析神經網路111包含多個運算元111a~111e。運算元111a用以接收全域特徵資料Dg，並針對全域特徵資料Dg內的通道進行累加求和。運算元111b將運算元111a的計算結果傳送至運算元111c及運算元111e。運算元111c針對接收到的資料(即，原始影像So及運算元111b輸出之資料)，進行倒數梯度計算(計算偏導數gradient)，且透過運算元111d，將計算結果傳送至運算元111e。運算元111e則對接收到的資料進行內積計算。

第6A~6C圖所示為本揭容之影像處理方法與其他方法的比對結果。第6A圖為利用演算法D2-Net(A trainable CNN for joint description and detection of local features)比對影像的結果。第6B圖為利用演算法R2D2(repeatable and reliable detector and descriptor)比對影像的結果。第6C圖為利用本揭示內容之影像處理方法比對影像的結果。比對三組圖片可知，在分析「不同光影/不同角度」但「紀錄同一個場景」的圖片時，本揭示內容之影像處理方法所比對出的特徵最多，且比對錯誤極少。

前述各實施例中的各項元件、方法步驟或技術特徵，係可相互結合，而不以本揭示內容中的文字描述順序或圖式呈現順序為限。

雖然本揭示內容已以實施方式揭露如上，然其並非用以限定本揭示內容，任何熟習此技藝者，在不脫離本揭示內容之精神和範圍內，當可作各種更動與潤飾，因此本揭示內容之保護範圍當視後附之申請專利範圍所界定者為準。

100:影像處理系統

200:伺服器

110:神經網路裝置

111:關鍵分析神經網路

111a-111e:運算元

112:局部特徵神經網路

113:全域特徵神經網路

114:關鍵分析模組

120:處理裝置 So:原始影像 Sa:原始影像 Sb:原始影像 Kp:關鍵單元 K31-k32:關鍵單元 K41-k42:關鍵單元 Kc:關鍵子影像 Dl:局部特徵資料 Dg:全域特徵資料 Ds:特徵描述資料 Ds’:特徵描述資料

第1圖為根據本揭示內容之部份實施例之影像處理系統的示意圖。

第2A圖為根據本揭示內容之部份實施例之影像處理系統的示意圖。 第2B～2D圖為原始影像及關鍵子影像的示意圖。 第3圖為根據本揭示內容之部份實施例之影像處理方法的流程圖。 第4圖為根據特徵資料以影像方式表達的示意圖。 第5圖為根據本揭示內容之部份實施例之影像處理系統的示意圖。 第6A～6C圖為根據本揭示內容之部份實施例之影像處理方法及其他處理方法的分析結果比較圖。

國內寄存資訊(請依寄存機構、日期、號碼順序註記) 無 國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記) 無

100:影像處理系統

110:神經網路裝置

111:關鍵分析神經網路

112:局部特徵神經網路

113:全域特徵神經網路

114:關鍵分析模組

120:處理裝置

Sa:原始影像

Sb:未知影像

Kp:關鍵單元

Kc:關鍵子影像

D1:局部特徵資料

Dg:全域特徵資料

Ds:特徵描述資料

Ds’:特徵描述資料

Claims (14)

1. 一種影像處理方法，包含：透過一神經網路裝置，接收一原始影像，其中該影像包含複數個畫素單元；分析該些畫素單元，以取得該些畫素單元中之複數個關鍵單元，其中該些關鍵單元之任一者為該原始影像中該些畫素單元之間的差異大於一預定值的一區域；根據該原始影像中之該些關鍵單元，產生複數個局部特徵資料；根據該原始影像中之該些畫素單元，產生一全域特徵資料；以及結合該些局部特徵資料及該全域特徵資料，以產生對應該原始影像的一特徵描述資料。
2. 如請求項1所述之影像處理方法，還包含：將該特徵描述資料與一待比對影像的一待比對特徵描述資料相比較，以得到一特徵相似度。
3. 如請求項1所述之影像處理方法，還包含：根據該特徵描述資料，建立、修正或調整一伺服器中之一立體場景模型。
4. 如請求項1所述之影像處理方法，其中該些關鍵單元之任一者為該些畫素單元中用以顯示一物件邊緣 的一部份。
5. 如請求項1所述之影像處理方法，其中產生該些局部特徵資料的方法包含：由該原始影像中擷取複數個關鍵子影像，其中每個關鍵子影像包含該些關鍵單元之任一者；以及將該些關鍵子影像轉換為該些局部特徵資料。
6. 如請求項5所述之影像處理方法，其中由該原始影像中擷取該些關鍵子影像的方法包含：擷取該原始影像中對應於該些關鍵單元之任一者的一擷取區域，以產生該些關鍵子影像，其中該些關鍵單元之任一者為該擷取區域的中心。
7. 如請求項6所述之影像處理方法，其中該些關鍵子影像用以紀錄物件紋理。
8. 一種影像處理系統，包含：一神經網路裝置，包含：一關鍵分析神經網路，用以接收一原始影像，且對該原始影像中的複數個畫素單元進行分析，以取得複數個關鍵單元；一局部特徵神經網路，電性連接於該關鍵分析神經網路，用以根據該些關鍵單元，產生複數個局部特徵資料； 一全域特徵神經網路，用以接收該原始影像，以根據該原始影像中之該些畫素單元，產生一全域特徵資料；以及一處理裝置，電性連接於該局部特徵神經網路及該全域特徵神經網路，用以結合該些局部特徵資料及該全域特徵資料，以產生對應該原始影像的一特徵描述資料，其中該些關鍵單元之任一者為該原始影像中該些畫素單元之間的差異大於一預定值的一區域。
9. 如請求項8所述之影像處理系統，其中該處理裝置還用以將該特徵描述資料與一待比對影像的一待比對特徵描述資料相比較，以得到一特徵相似度。
10. 如請求項8所述之影像處理系統，其中該處理裝置還用以根據該特徵描述資料，建立、修正或調整一立體場景模型。
11. 如請求項8所述之影像處理系統，其中該些關鍵單元之任一者為該些畫素單元中用以顯示一物件邊緣的一部份。
12. 如請求項8所述之影像處理系統，其中該神經網路裝置還包含：一關鍵分析模組，用以由該原始影像中擷取複數個關鍵 子影像，其中每個關鍵子影像包含該些關鍵單元之任一者，該局部特徵神經網路將該些關鍵子影像轉換為該些局部特徵資料。
13. 如請求項12所述之影像處理系統，其中該關鍵分析模組用以擷取該原始影像中對應於該些關鍵單元之任一者的一擷取區域，以產生該些關鍵子影像，其中該些關鍵單元之任一者為該擷取區域的中心。
14. 如請求項13所述之影像處理系統，其中該些關鍵子影像用以紀錄物件紋理。

Images