TWI792978B

TWI792978B - 影像比對方法、裝置、電子設備及電腦可讀存儲介質

Info

Publication number: TWI792978B
Application number: TW111113829A
Authority: TW
Inventors: 簡瑜萱; 郭錦斌
Original assignee: 鴻海精密工業股份有限公司
Priority date: 2022-04-12
Filing date: 2022-04-12
Publication date: 2023-02-11
Also published as: TW202341068A

Abstract

一種影像比對方法，包括：存儲目標影像及參考影像於一記憶體中，其中，目標影像包括多個第一像素點，參考影像包括多個第二像素點；通過一處理器調用記憶體中的預設算法，以提取目標影像的第一邊緣及參考影像的第二邊緣；通過處理器提取多個第一像素點到第一邊緣的第一向量及多個第二像素點到第二邊緣的第二向量；若第一向量與第二向量不一致，處理器調用記憶體中的預設公式計算第一向量與第二向量的損失；基於損失修正預設模型，以將參考影像重建為目標影像。本申請還提出一種影像比對裝置、電子設備及電腦可讀存儲介質。

Description

影像比對方法、裝置、電子設備及電腦可讀存儲介質

本申請涉及影像處理技術領域，尤其涉及一種影像比對方法、裝置、電子設備及電腦可讀存儲介質。

隨著影像處理技術的發展，影像比對技術在影像處理領域中的應用範圍越來越廣泛。在影像比對技術中，可以根據多個影像中的像素點之間的比對，計算影像的深度，從而重建影像，重建影像指的是由參考影像來重建成目標影像。

在低紋理的區域中，由於紋理不足，像素點太少，導致無法判斷參考的像素點是否為正確的像素點，比對精度差、準確率低，因而導致重建的目標影像穩定性差、匹配度低。

有鑑於此，本申請提出了一種影像比對方法、裝置、電子設備及電腦可讀存儲介質，通過向量比對的方法判斷所取到的像素點是否為正確的像素點，每個像素點到邊緣的向量具有唯一性，可以提高影像比對的準確率，提升影像重建品質。

第一方面，本申請實施例提供一種影像比對方法，包括：存儲目標影像及參考影像於一記憶體中，其中，所述目標影像包括多個第一像素點，所述參考影像包括多個第二像素點；通過一處理器調用所述記憶體中的預設算法，以提取所述目標影像的第一邊緣及所述參考影像的第二邊緣；通過所述處理器提取多個所述第一像素點到所述第一邊緣的第一向量及多個所述第二像素點到所述第二邊緣的第二向量；通過所述處理器判斷所述第一向量與所述第二向量是否一致；若所述第一向量與所述第二向量不一致，所述處理器調用所述記憶體中的預設公式計算所述第一向量與所述第二向量的損失，所述預設公式滿足關係式：

，其中，v _target為所述第一向量，v _reference為所述第二向量，N為所述第一像素點及所述第二像素點的個數；基於所述損失修正預設模型，以通過所述預設模型將所述參考影像重建為所述目標影像。

於一實施例中，所述影像比對方法，還包括：若所述第一向量與所述第二向量一致，所述處理器確定所述第一像素點為正確的像素點。

於一實施例中，所述預設模型的訓練方法包括：存儲所述預設模型的訓練數據集於所述記憶體中，其中，在所述訓練數據集中，以連續三張影像作為一組訓練數據，中間的影像為第一目標影像，其餘兩張影像為第一參考影像、第二參考影像；通過所述處理器代入所述訓練數據至所述預設模型，通過所述預設模型獲取所述第一目標影像的深度信息；所述處理器基於所述深度信息將所述第一參考影像重建為第二目標影像，及將所述第二參考影像重建為第三目標影像；通過所述處理器計算所述第二目標影像與所述第一目標影像的第一差異值及所述第三目標影像與所述第一目標影像的第二差異值，取所述第一差異值與所述第二差異值的平均差異值；所述處理器將所述平均差異值作為所述預設模型的損失，訓練迭代至所述損失收斂，以完成所述預設模型的訓練。

於一實施例中，所述通過所述預設模型將所述參考影像重建為所述目標影像，包括：通過所述處理器將所述目標影像輸入所述預設模型，由所述預設模型推論出所述目標影像的深度信息。

於一實施例中，所述通過所述預設模型將所述參考影像重建為所述目標影像，還包括：所述處理器基於所述深度信息將所述參考影像重建為所述目標影像。

於一實施例中，所述預設算法為Sobel算法或Canny算法。

第二方面，本申請實施例還提供一種影像比對裝置，包括：第一獲取模組，用於獲取目標影像及參考影像，其中，所述目標影像包括多個第一像素點，所述參考影像包括多個第二像素點；算法模組，用於通過預設算法提取所述目標影像的第一邊緣，及提取所述參考影像的第二邊緣；第二獲取模組，用於獲取多個所述第一像素點到所述第一邊緣的第一向量，及獲取多個所述第二像素點到所述第二邊緣的第二向量；判斷模組，用於判斷所述第一向量與所述第二向量是否一致；數據處理模組，用於若所述第一向量與所述第二向量不一致，計算所述第一向量與所述第二向量的損失；修正模組，用於基於所述損失修正預設模型，以通過所述預設模型將所述參考影像重建為所述目標影像。

第三方面，本申請實施例還提供一種電子設備，所述電子設備包括處理器和記憶體，所述記憶體用於存儲指令，所述處理器用於調用所述記憶體中的指令，使得所述電子設備執行如第一方面所述影像比對方法。

第四方面，本申請實施例還提供一種電腦可讀存儲介質，所述電腦可讀存儲介質存儲電腦指令，當所述電腦指令在電子設備上運行時，使得所述電子設備執行如第一方面所述的影像比對方法。

本申請實施方式提供的影像比對方法、裝置、電子設備及電腦可讀存儲介質，通過向量比對的方法判斷所取到的像素點是否為正確的像素點，每個像素點到邊緣的向量具有唯一性，可以提高影像比對的準確率，提升影像重建品質。

10:目標影像

20:參考影像

30:第一邊緣

40:第二邊緣

50:第一像素點

60:第二像素點

70:影像比對裝置

71:第一獲取模組

72:算法模組

73:第二獲取模組

74:判斷模組

75:數據處理模組

76:修正模組

S100、S200、S300、S400、S500、S600:步驟

S1、S2、S3、S4、S5:步驟

圖1為本申請實施例的影像比對方法的步驟流程示意圖。

圖2的(a)與(b)為本申請實施例的目標影像與參考影像示意圖。

圖3的(a)與(b)為本申請實施例的第一邊緣與第二邊緣示意圖。

圖4的(a)與(b)為本申請實施例的第一像素點與第二像素點示意圖。

圖5為本申請實施例的預設模型的訓練方法的步驟流程示意圖。

圖6為本申請實施例的影像比對裝置的功能模組圖。

為了使本發明的目的、技術方案及優點更加清楚明白，以下結合附圖及實施例，對本發明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅用以解釋本發明，並不用於限定本發明。基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。

在本發明的描述中，需要理解的是，術語“第一”、“第二”僅用於描述目的，而不能理解為指示或暗示相對重要性或者隱含指明所指示的技術特徵的數量。由此，限定有“第一”、“第二”的特徵可以明示或者隱含地包括一個或者多個所述特徵。在本發明的描述中，“多個”的含義是兩個或兩個以上，除非另有明確具體的限定。

在本發明的描述中，需要說明的是，除非另有明確的規定和限定，術語“安裝”、“相連”、“連接”應做廣義理解，例如，可以是固定連接，也可以是可拆卸連接，或一體地連接；可以是機械連接，也可以是電連接或可以相互通訊；可以是直接相連，也可以通過中間媒介間接相連，可以是兩個元件內部的連通或兩個元件的相互作用關係。對於本領域的普通技術人員而言，可以根據具體情況理解上述術語在本發明中的具體含義。

下文的公開提供了許多不同的實施方式或例子用來實現本發明的不同結構。為了簡化本發明的公開，下文中對特定例子的部件和設置進行描述。當然，它們僅僅為示例，並且目的不在於限制本發明。此外，本發明可以在不同例子中重複參考數位和/或參考字母，這種重複是為了簡化和清楚的目的，其本身不指示所討論各種實施方式和/或設置之間的關係。此外，本發明提供了的各種特定的工藝和材料的例子，但是本領域普通技術人員可以意識到其他工藝的應用和/或其他材料的使用。

下面參照附圖，對本申請的具體實施方式作進一步的詳細描述。

請參閱圖1，為本申請實施例提供的影像比對方法的流程示意圖。

進一步結合圖2所示，在本實施例中，以圖2的(a)的目標影像10，圖2的(b)的參考影像20為例進行說明，具體地，該影像比對方法可以包括：

S100，存儲目標影像及參考影像於一記憶體。

於一實施例中，目標影像10和參考影像20可以是同一拍攝裝置在不同時刻拍攝的兩張圖片，也可以是兩個具有不同視角的拍攝裝置在同一時刻拍攝的兩張圖片。

S200，通過一處理器調用記憶體中的預設算法提取目標影像的第一邊緣及參考影像的第二邊緣。

由於圖像的背景是一個開放的區域，而本發明的重點是針對具有表面低紋理特點的影像的比對，因此，可以將連通域內的區域均視作低紋理區域，在後續計算中，加強像素不同尺度間的一致性約束，獲得更好的比對結果。

進一步結合圖3所示，在本實施例中，圖3的(a)所示的第一邊緣30內的區域則為目標影像10的低紋理區域，圖3的(b)所示的第二邊緣40內的區域則為參考影像20的低紋理區域。

於一實施例中，通過預設算法提取目標影像10的第一邊緣30，及提取參考影像20的第二邊緣40，其中，預設算法可以為Sobel算法或Canny算法。

Canny算法是John F.Canny於1986年開發出來的一個多級邊緣檢測算法，其實現主要包括以下幾個步驟：首先，應用高斯濾波來平滑圖像，目的是去除雜訊；然後，找尋圖像的強度梯度(intensity gradients)；接著，應用非最大抑制(non-maximum suppression)技術來消除邊誤檢(本來不是但檢測出來是)；其次，應用雙閾值的方法來決定可能的(潛在的)邊界；最後，利用滯後技術來跟蹤邊界。

Sobel算法是根據每個像素點上下左右四區域的灰度值加權差，在邊緣處達到極值從而檢測邊緣，對雜訊具有平滑作用，提供較為精確的邊緣方向信息。Sobel算法可以包含兩組3x3的矩陣，分別為橫向及縱向，將之與圖像作平面卷積，即可分別得出橫向及縱向的亮度差分近似值。如果以A代表原始圖像，G _x代表經橫向邊緣檢測的圖像，G _y代表經縱向邊緣檢測的圖像，其公式如下：

然後，圖像的每一個像素的橫向及縱向梯度近似值可用以下的公式結合，來計算梯度的大小：

接著，可以用以下公式計算梯度方向：

若上述角度θ等於零，即代表圖像在該處擁有縱向邊緣，左方較右方暗。

S300，通過處理器提取多個第一像素點到第一邊緣的第一向量及多個第二像素點到第二邊緣的第二向量。

進一步結合圖4所示，為更好地理解本申請的技術方案，本實施例中以目標影像10可以包括多個如圖4的(a)所示的第一像素點50，參考影像20可以包括多個如圖4的(b)所示的第二像素點60，為例進行說明。

由此可得，第一向量P1為：(上，下，左，右)=(2,3,2,1)第二向量P2為(上，下，左，右)=(1,3,1,2)。

S400，通過處理器判斷第一向量與第二向量是否一致。

於一實施例中，若第一向量P1與第二向量P2一致，處理器確定第一像素點50為正確的像素點，則結束影像比對流程。

在本實施例中，第一向量P1：(2,3,2,1)與第二向量P2：(1,3,1,2)不一致，則繼續執行步驟S500。

S500，若第一向量與第二向量不一致，處理器調用記憶體中的預設公式計算第一向量與第二向量的損失。

於一實施例中，可以利用預設公式計算所第一向量P1與第二向量P2的損失。

其中，預設公式滿足關係式：

，v _target為第一向量P1，v _reference為第二向量P2，N為第二像素點60的個數。

S600，基於損失修正預設模型，以通過預設模型將參考影像重建為目標影像。

於一實施例中，當計算得到第一向量P1與第二向量P2的損失之後，可以基於損失修正預設模型，進而可以提升預設模型的影像重建準確性。通過處理器將目標影像10輸入預設模型，由預設模型推論出目標影像10的深度信息，處理器基於深度信息將參考影像20重建為目標影像10。

於一實施例中，如圖5所示，步驟S600中的預設模型的訓練方法可以包括：

S1，存儲預設模型的訓練數據集於記憶體中。

於一實施例中，在訓練數據集中，以連續三張影像作為一組訓練數據，中間的影像為第一目標影像(圖未示)，其餘兩張影像為第一參考影像(圖未示)、第二參考影像(圖未示)。

S2，通過處理器代入訓練數據至預設模型，通過預設模型獲取第一目標影像的深度信息。

S3，處理器基於深度信息將第一參考影像重建為第二目標影像，及將第二參考影像重建為第三目標影像。

S4，通過處理器計算第二目標影像與第一目標影像的第一差異值及第三目標影像與第一目標影像的第二差異值，取第一差異值與第二差異值的平均差異值。

S5，處理器將平均差異值作為預設模型的損失，訓練迭代至損失收斂，以完成預設模型的訓練。

在本實施例中，將預設模型訓練迭代至損失收斂的訓練次數大約為100次。

請參閱圖6，為本申請實施例提供的影像比對裝置70，包括：第一獲取模組71，用於獲取目標影像10及參考影像20，其中，目標影像10包括多個第一像素點50，參考影像20包括多個第二像素點60；算法模組72，通過預設算法提取目標影像10的第一邊緣30，及提取參考影像20的第二邊緣40；第二獲取模組73，用於獲取多個第一像素點50到第一邊緣30的第一向量P1，及獲取多個第二像素點60到第二邊緣40的第二向量P2；判斷模組74，用於判斷第一向量P1與第二向量P2是否一致；數據處理模組75，用於若第一向量P1與第二向量P2不一致，基於預設公式計算第一向量P1與第二向量P2的損失，預設公式滿足關係式：

，其中，v _target為第一向量，v _reference為第二向量，N為第一像素點及第二像素點的個數；修正模組76，用於基於損失修正預設模型，以通過預設模型將參考影像20重建為目標影像10。

本申請還公開一種電子設備，電子設備包括處理器和記憶體，記憶體用於存儲指令，處理器用於調用記憶體中的指令，使得電子設備執行如上述實施例影像比對方法。其中，終端設備可以是桌上型電腦、筆記本、掌上型電腦及雲端伺服器等計算設備，終端設備可以與使用者通過鍵盤、滑鼠、遙控器、觸控板或聲控設備等方式進行人機交互。

本申請還公開一種電腦可讀存儲介質，電腦可讀存儲介質存儲電腦指令，當電腦指令在電子設備上運行時，使得電子設備執行如上述實施例的影像比對方法。其中，存儲介質可以是U盤、移動硬碟、只議記憶體ROM、隨機存取記憶體RAM、磁碟或者光碟等各種可以存儲程式碼的介質。

本申請實施方式提供的影像比對方法、裝置、電子設備及電腦可讀存儲介質，通過向量比對的方法判斷所取到的像素點是否為正確的像素點，每個像素點到邊緣的向量具有唯一性，從而可以提高影像比對的準確率。

對於本領域技術人員而言，顯然本發明不限於上述示範性實施例的細節，而且在不背離本發明的精神或基本特徵的情況下，能夠以其他的具體形式實現本發明。因此，無論從哪一點來看，均應將實施例看作是示範性的，而且是非限制性的，本發明的範圍由所附請求項而不是上述說明限定，因此旨在將落在請求項的等同要件的含義和範圍內的所有變化涵括在本發明內。

以上實施例僅用以說明本發明的技術方案而非限制，儘管參照較佳實施例對本發明進行了詳細說明，本領域的普通技術人員應當理解，可以對本發明的技術方案進行修改或等同替換，而不脫離本發明技術方案的精神和範圍。

S100、S200、S300、S400、S500、S600:步驟

Claims

一種影像比對方法，包括：儲存目標影像及參考影像於一記憶體中，其中，所述目標影像包括多個第一像素點，所述參考影像包括多個第二像素點；通過一處理器調用所述記憶體中的預設算法，以提取所述目標影像的第一邊緣及所述參考影像的第二邊緣；通過所述處理器提取多個所述第一像素點到所述第一邊緣的第一向量及多個所述第二像素點到所述第二邊緣的第二向量；通過所述處理器判斷所述第一向量與所述第二向量是否一致；若所述第一向量與所述第二向量不一致，所述處理器調用所述記憶體中的預設公式計算所述第一向量與所述第二向量的損失，所述預設公式滿足關係式：
，其中，v _target為所述第一向量，v _reference為所述第二向量，N為所述第一像素點及所述第二像素點的個數；基於所述損失修正預設模型，以通過所述預設模型將所述參考影像重建為所述目標影像。
如請求項1所述的影像比對方法，還包括：若所述第一向量與所述第二向量一致，所述處理器確定所述第一像素點為正確的像素點。
如請求項1所述的影像比對方法，其中，所述預設模型的訓練方法包括：存儲所述預設模型的訓練數據集於所述記憶體中，其中，在所述訓練數據集中，以連續三張影像作為一組訓練數據，中間的影像為第一目標影像，其餘兩張影像為第一參考影像、第二參考影像；通過所述處理器代入所述訓練數據至所述預設模型，通過所述預設模型獲取所述第一目標影像的深度信息；所述處理器基於所述深度信息將所述第一參考影像重建為第二目標影像，及將所述第二參考影像重建為第三目標影像；通過所述處理器計算所述第二目標影像與所述第一目標影像的第一差異值及所述第三目標影像與所述第一目標影像的第二差異值，取所述第一差異值與所述第二差異值的平均差異值；所述處理器將所述平均差異值作為所述預設模型的損失，訓練迭代至所述損失收斂，以完成所述預設模型的訓練。
如請求項1所述的影像比對方法，其中，所述通過所述預設模型將所述參考影像重建為所述目標影像，包括：通過所述處理器將所述目標影像輸入所述預設模型，由所述預設模型推論出所述目標影像的深度信息。
如請求項5所述的影像比對方法，其中，所述通過所述預設模型將所述參考影像重建為所述目標影像，還包括：所述處理器基於所述深度信息將所述參考影像重建為所述目標影像。
如請求項1所述的影像比對方法，其中，所述預設算法為Sobel算法或Canny算法。
一種影像比對裝置，包括：第一獲取模組，用於獲取目標影像及參考影像，其中，所述目標影像包括多個第一像素點，所述參考影像包括多個第二像素點；算法模組，用於通過預設算法提取所述目標影像的第一邊緣，及提取所述參考影像的第二邊緣；第二獲取模組，用於獲取多個所述第一像素點到所述第一邊緣的第一向量，及獲取多個所述第二像素點到所述第二邊緣的第二向量；判斷模組，用於判斷所述第一向量與所述第二向量是否一致；數據處理模組，用於若所述第一向量與所述第二向量不一致，基於預設公式計算所述第一向量與所述第二向量的損失，所述預設公式滿足關係式：
，其中，v _target為所述第一向量，v _reference為所述第二向量，N為所述第一像素點及所述第二像素點的個數；修正模組，用於基於所述損失修正預設模型，以通過所述預設模型將所述參考影像重建為所述目標影像。
一種電子設備，其中，所述電子設備包括處理器和記憶體，所述記憶體用於存儲指令，所述處理器用於調用所述記憶體中的指令，使得所述電子設備執行如請求項1至6中任一項所述影像比對方法。
一種電腦可讀存儲介質，其中，所述電腦可讀存儲介質存儲電腦指令，當所述電腦指令在電子設備上運行時，使得所述電子設備執行如請求項1至6中任一項所述的影像比對方法。