TWI387726B - 影像最優匹配系統及方法 - Google Patents

Description

影像最優匹配系統及方法

本發明涉及一種影像最優匹配系統及方法。

目前製造業普遍存在品質管理意識，而品質的管理愈來愈依賴量測儀器，特別是無法由肉眼所檢視的精密產品，例如電路板排線、連接器端子排列的整齊度、半導體封裝的插孔、液晶螢幕、精密鑄模等。

隨著競爭的日益激烈，量測儀器也從傳統的卡尺、顯微鏡、投影儀到三維接觸式量測儀再到非接觸式量測儀器，並與電腦結合，對量測結果進行分析運算。

工廠在對生產的產品進行量測時，通常利用影像量測儀器攝取產品的影像，再傳輸到電腦中量測所述影像以獲取該產品各個部位的實際尺寸，然後與其標準尺寸相比對，判斷產品的品質是否合格。

其中，在電腦中量測所述影像時，經常需要人工定位量測目標(即人工選取所述影像上的某一部分如點、線等)，而後對所述量測目標進行量測。對於大批量影像的量測，每一個影像都需要人工定位量測目標。如此，既耗時，又費力，效率極低，還容易出錯。

鑒於以上內容，有必要提供一種影像最優匹配系統及方法，其可快速準確地對影像進行最優匹配，以迅速定位量測目標。

一種影像最優匹配系統，包括電腦及影像量測機台，其中，所述電腦包括影像擷取卡，該影像擷取卡用於接收所述影像量測機台獲取的待測影像，所述電腦還包括：影像最優匹配程式，用於對上述傳送到影像擷取卡的待測影像進行最優匹配，該影像最優匹配程式包括：選取模組，用於根據量測需要從待測影像中選取範本影像和目標影像，及設定參數；設定模組，用於對上述範本影像和目標影像設定採樣間隔；採樣模組，用於按照設定的採樣間隔分別對所述範本影像和目標影像進行採樣，以得到範本採樣影像和目標採樣影像；預匹配模組，用於將所述範本採樣影像和目標採樣影像進行匹配；及最優匹配模組，用於當所述範本採樣影像與所述目標採樣影像匹配成功時，將所述範本影像和目標影像進行最優匹配。

一種影像最優匹配方法，該方法包括以下步驟：(a)根據量測需要從待測影像中選取範本影像和目標影像；(b)對上述範本影橡和目標影像設定採樣間隔；(c)按照設定的採樣間隔分別對所述範本影像和目標影像進行採樣，以得到範本採樣影像和目標採樣影像；(d)將所述範本採樣影像和目標採樣影像進行匹配；(e)若所述範本採樣影像與所述目標採樣影像匹配成功，則將所述範本影像和目標影像進行最優匹配。

相較於習知技術，所述影像最優匹配系統及方法，能夠快速準確地對影像進行最優匹配。因而，可以迅速定位量測目標，提高工作效率，同時能夠節省人工手動操作 的工作量，減少人為錯誤。

參閱圖1所示，是本發明影像最優匹配系統較佳實施例的硬體架構圖。該影像最優匹配系統主要包括：電腦1及放置待測產品5的影像量測機台6。

所述影像量測機台6的Z軸上還安裝有用於採集連續影像的CCD(Charged Coupled Device，電荷耦合裝置)7，該CCD7裝有工業光學鏡頭8，CCD7搭配所述工業光學鏡頭8可以使待測產品5成像。

所述電腦1可以是IBM架構的個人電腦(IBM Personal Computer，IBM PC)，也可以是Apple公司的Mac PC，還可以是任意其他適用的電腦。該電腦1內裝有影像擷取卡10及影像最優匹配程式11。

其中，所述CCD7透過影像資料線與所述影像擷取卡10相連，將從影像量測機台6獲取的待測產品5的影像傳送到影像擷取卡10，並顯示於電腦1，所述影像最優匹配程式11主要用於對所述傳送到影像擷取卡10的批量待測產品5的批量影像(即待測影像)進行最優匹配計算。

參閱圖2所示，是圖1中影像最優匹配程式11的功能模組圖。本發明所稱的各模組是所述影像最優匹配程式11中完成特定功能的各個程式段，比程式本身更適合於描述軟體在電腦中的執行過程，因此本發明對軟體的描述都以模組描述。

所述影像最優匹配程式11主要包括：選取模組201、判斷 模組202、設定模組203、採樣模組204、預匹配模組205及最優匹配模組206。

所述選取模組201用於根據量測目標選取待測影像中的一個影像或者其中一個影像的某一部分作為範本影像，從所述待測影像中選取一個影像作為目標影像，及設定相關參數。其中，所述參數包括該範本影像和目標影像的當前相關係數Cn，及最優偏移點p1的初始座標。此時所述當前相關係數Cn定義了所述範本影像和目標影像的最小相關度，只有當所述範本影像和目標影像的相關度大於該最小相關度時才能匹配成功；所述最優偏移點p1的初始座標一般設定為該目標影像上實際並不存在的座標，在本較佳實施例中，將該最優偏移點p1的初始座標設定為(-1，-1)。

所述判斷模組202用於判斷上述選取的範本影像和目標影像是否符合要求。所述要求可以由用戶自己設定，也可以為預設值，一般均設為長度至少為11圖元，寬度至少為11圖元，以保證影像匹配的準確性。具體而言，判斷模組202首先獲取所述範本影像的長度和寬度、目標影像的長度和寬度，而後判斷所述範本影像和目標影像的長度和寬度是否分別達到11圖元。

所述設定模組203用於對上述影像中符合要求的範本影像和目標影像設定採樣間隔。所述採樣間隔指每隔多少個圖元進行一次採樣，該採樣間隔可以由用戶自己設定，也可以自動設定。其中自動設定的採樣間隔由上述獲取的範本影像的長度和寬度計算得到。

所述採樣模組204用於根據上述設定的採樣間隔，分別對所述範本影像和目標影像進行採樣，以得到範本採樣影像和目標採樣影像。

所述預匹配模組205用於將所述範本採樣影像和目標採樣影像進行匹配，匹配方法如下：

第一步，分別計算得到範本影像的平均灰度mGA和灰度方差mGD、範本採樣影像的平均灰度cmGA和灰度方差cmGD、目標採樣影像中偏移點為原點的子影像的平均灰度ctGA和灰度方差ctGD。所述目標採樣影像中偏移點為原點的子影像(請參考圖6)指目標採樣影像中偏移點為(0，0)，且和所述範本採樣影像長度、寬度相同的區域。

其中，計算得到mGA的具體步驟為：獲取所述範本影像各圖元的二維座標，依據上述各圖元的二維座標獲取各座標對應圖元的灰度值，取上述各圖元灰度值的平均值作為該範本影像的平均灰度mGA。cmGA、ctGA的計算方法與mGA相同。

計算得到mGD的公式為：

其中l為該範本影像的長度，w為該範本影像的寬度，Pixel(i)為該範本影像中某一圖元的灰度值。cmGD、ctGD的計算方法與mGD相同。

第二步，判斷上述計算得到的cmGA與ctGA的相對誤差及cmGD與ctGD的相對誤差是否均小於指定值。其中，所述指定值可以由用戶事先指定，也可以為預設值，該指定值一般為0.5。

若cmGA與ctGA的相對誤差及cmGD與ctGD的相對誤差均小於該指定值，則根據所述cmGA、ctGA、cmGD、ctGD並利用相關係數公式，計算得到所述範本採樣影像和目標採樣影像子影像的相關係數C，並將該相關係數C與當前相關係數Cn比較：當C大於Cn時，用C的值對當前相關係數Cn的值進行更新，並將該最優偏移點p1的座標更新為與該C相對應的偏移點的座標。

若cmGA與ctGA的相對誤差、cmGD與ctGD的相對誤差中有一個不小於該指定值，則判斷所述偏移點是否為所述目標採樣影像的最後一點，也即是，判斷所述偏移點的座標是否為該目標採樣影像中所有圖元座標的最大座標。

若所述偏移點不是所述目標採樣影像的最後一點，則計算目標採樣影像中下一個偏移點的子影像的平均灰度ctGA和灰度方差ctGD，而後返回第二步：判斷得到的cmGA與ctGA的相對誤差及cmGD與ctGD的相對誤差是否均小於指定值。其中，所述下一個偏移點是以所述原點為起點(請參考圖6)按先從上向下、再從左向右的順序，依次選定的該目標採樣影像中圖元的座標點。

所述判斷模組202還用於判斷所述範本採樣影像與所述目 標採樣影像是否匹配成功，在本較佳實施例中，也即判斷該最優偏移點p1的座標是否為(-1，-1)。

所述最優匹配模組206用於當所述範本採樣影像與所述目標採樣影像匹配成功時，將所述範本影像和目標影像進行最優匹配，最優匹配的方法如下：

首先，計算得到該最優偏移點p1在所述目標影像附近域的所有子影像的平均灰度tGA和灰度方差tGD。其中，所述附近域的子影像指目標影像中以該最優偏移點p1與其相鄰採樣點之間的圖元的座標點為偏移點的子影像，例如，現假設該最優偏移點p1的座標為(0，3)，採樣間隔為2，那麼，該最優偏移點p1在所述目標影像附近域的所有子影像是，偏移點分別為(0，1)、(0，2)、(0，4)、(0，5)、(1，3)、(2，3)的子影像。

然後，根據所述mGA、tGA、mGD、tGD並利用相關係數公式，計算所述範本影像分別和最優偏移點p1在所述目標影像附近域的所有子影像的相關係數，從中得到值最大的相關係數C，將該相關係數C與當前相關係數Cn比較：當C大於Cn時，用C的值對當前相關係數Cn的值進行更新，並將所述最優偏移點p1的座標更新為與該C相對應的偏移點的座標。

參閱圖3所示，是本發明影像最優匹配方法較佳實施例的作業流程圖。

本影像最優匹配方法主要針對上述傳送到影像擷取卡10的批量待測產品5的批量影像(即待測影像)進行最優匹 配計算，其設計思想是：根據量測目標，選定待測影像的其中一個影像或者其中一個影像的某一部分作為範本影像，而後將其他待測影像與該範本影像進行最優匹配，以自動定位量測目標。以下僅以該範本影像和其中一個待測影像的最優匹配為例進行說明。

步驟S301，進行一些準備步驟：選取模組201首先根據量測目標選取待測影像中的一個影像或者其中一個影像的某一部分作為範本影像；接著從所述待測影像中選取一個影像作為目標影像；然後設定相關參數。其中，所述參數包括該範本影像和目標影像的當前相關係數Cn，及最優偏移點p1的初始座標。此時所述當前相關係數Cn定義了所述範本影像和目標影像的最小相關度，只有當所述範本影像和目標影像的相關度大於該最小相關度時才能匹配成功；所述最優偏移點p1的初始座標一般設定為該目標影像上實際並不存在的座標，在本較佳實施例中，將該最優偏移點p1的初始座標設定為(-1，-1)。

步驟S302，判斷模組202判斷上述選取的範本影像和目標影像是否符合要求。所述要求可以由用戶自己設定，也可以為預設值，一般均設為長度至少為11圖元，寬度至少為11圖元，以保證影像匹配的準確性。具體而言，首先獲取所述範本影像的長度和寬度、目標影像的長度和寬度，而後判斷所述範本影像和目標影像的長度和寬度是否分別達到11圖元。

若所述範本影像和目標影像均符合要求，則進入步驟S303，設定模組203對所述範本影像和目標影像設定採樣 間隔。所述採樣間隔指每隔多少個圖元進行一次採樣，該採樣間隔可以由用戶自己設定，也可以自動設定。其中自動設定的採樣間隔由上述獲取的範本影像的長度和寬度計算得到。

步驟S304，採樣模組204根據上述設定的採樣間隔，分別對所述範本影像和目標影像進行採樣，以得到範本採樣影像和目標採樣影像。

步驟S305，預匹配模組205將得到的範本採樣影像和目標採樣影像進行匹配。(具體步驟將在圖4中詳細描述)

步驟S306，判斷模組202判斷所述範本採樣影像和目標採樣影像是否匹配成功，在本較佳實施例中，也即判斷該最優偏移點p1的座標是否為(-1，-1)。

若所述範本採樣影像與所述目標採樣影像匹配成功，也即是，所述最優偏移點p1的座標不為(-1，-1)，則進入步驟S307，最優匹配模組206將所述範本影像和目標影像進行最優匹配。(具體步驟將在圖5中詳細描述)

在步驟S306中，若所述範本採樣影像與所述目標採樣影像沒有匹配成功，在本較佳實施例中，也即所述目標採樣影像中最優偏移點p1的座標仍舊為(-1，-1)，則流程結束。

在步驟S302中，若所述範本影像和目標影像中有一個不符合要求，則流程結束。

參閱圖4所示，是本發明步驟S305利用預匹配模組205將 範本採樣影像和目標採樣影像進行匹配的子流程圖。

步驟S406，分別計算得到範本影像的平均灰度mGA和灰度方差mGD、範本採樣影像的平均灰度cmGA和灰度方差cmGD、目標採樣影像中偏移點為原點的子影像的平均灰度ctGA和灰度方差ctGD。所述目標採樣影像中偏移點為原點的子影像(請參考圖6)指目標採樣影像中偏移點為(0，0)，且和所述範本採樣影像長度、寬度相同的區域。

其中，計算得到mGA的具體步驟為：獲取所述範本影像各圖元的二維座標，依據上述各圖元的二維座標獲取各座標對應圖元的灰度值，取上述各圖元灰度值的平均值作為該範本影像的平均灰度mGA。cmGA、ctGA的計算方法與mGA相同。

計算得到mGD的公式為：

其中l為該範本影像的長度，w為該範本影像的寬度，Pixel(i)為該範本影像中某一圖元的灰度值。cmGD、ctGD的計算方法與mGD相同。

步驟S407，判斷上述計算得到的cmGA與ctGA的相對誤差及cmGD與ctGD的相對誤差是否均小於指定值。其中，所述指定值可以由用戶事先指定，也可以為預設值，該指定值一般為0.5。

若cmGA與ctGA的相對誤差及cmGD與ctGD的相對誤差均小於該指定值，則進入步驟S408，根據所述cmGA、ctGA、cmGD、ctGD並利用相關係數公式，計算得到所述範本採樣影像和目標採樣影像子影像的相關係數C，並將該相關係數C與當前相關係數Cn比較：當C大於Cn時，用C的值對當前相關係數Cn的值進行更新，並將該最優偏移點p1的座標更新為與該C相對應的偏移點的座標，然後進入步驟S409：判斷所述偏移點是否為所述目標採樣影像的最後一點。

若cmGA與ctGA的相對誤差、cmGD與ctGD的相對誤差中有一個不小於該指定值，則直接進入步驟S409，判斷所述偏移點是否為所述目標採樣影像的最後一點，也即是，判斷所述偏移點的座標是否為該目標採樣影像中所有圖元座標的最大座標。

若所述偏移點不是所述目標採樣影像的最後一點，則進入步驟S410，計算目標採樣影像中下一個偏移點的子影像的平均灰度ctGA和灰度方差ctGD(請參考步驟S406)，而後返回步驟S407：判斷得到的cmGA與ctGA的相對誤差及cmGD與ctGD的相對誤差是否均小於指定值。其中，所述下一個偏移點是以所述原點為起點(請參考圖6)按先從上向下、再從左向右的順序，依次選定的該目標採樣影像中圖元的座標點。

在步驟S409中，若所述偏移點是所述目標採樣影像的最後一點，則流程結束。

參閱圖5所示，是本發明步驟S307利用最優匹配模組206將範本影像和目標影像進行最優匹配的子流程圖。

步驟S512，計算得到該最優偏移點p1在所述目標影像附近域的所有子影像的平均灰度tGA和灰度方差tGD(請參考步驟S406)。其中，所述附近域的子影像指目標影像中以該最優偏移點p1與其相鄰採樣點之間的圖元的座標點為偏移點的子影像，例如，現假設該最優偏移點p1的座標為(0，3)，採樣間隔為2，那麼，該最優偏移點p1在所述目標影像附近域的所有子影像是，偏移點分別為(0，1)、(0，2)、(0，4)、(0，5)、(1，3)、(2，3)的子影像。

步驟S513，根據所述mGA、tGA、mGD、tGD並利用相關係數公式，計算所述範本影像分別和最優偏移點p1在所述目標影像附近域的所有子影像的相關係數，從中得到值最大的相關係數C，將該相關係數C與當前相關係數Cn比較：當C大於Cn時，用C的值對當前相關係數Cn的值進行更新，並將所述最優偏移點p1的座標更新為與該C相對應的偏移點的座標。

本發明所提供的影像最優匹配方法，在選定範本影像後，所有的匹配步驟均可自動記錄在電腦1中，因此對於大批量的影像，可直接調用上述記錄全自動進行，無需人為干預，使用極為方便。

以上所述僅為本發明之較佳實施例而已，且已達廣泛之使用功效，凡其他未脫離本發明所揭示之精神下所完成 之均等變化或修飾，均應包含在下述之申請專利範圍內。

1‧‧‧電腦

10‧‧‧影像擷取卡

11‧‧‧影像最優匹配程式

5‧‧‧待測產品

6‧‧‧影像量測機台

7‧‧‧CCD

8‧‧‧工業光學鏡頭

201‧‧‧選取模組

202‧‧‧判斷模組

203‧‧‧設定模組

204‧‧‧採樣模組

205‧‧‧預匹配模組

206‧‧‧最優匹配模組

圖1是本發明影像最優匹配系統較佳實施例的硬體架構圖。

圖2是圖1中影像最優匹配程式的功能模組圖。

圖3是本發明影像最優匹配方法較佳實施例的作業流程圖。

圖4是本發明將範本採樣影像和目標採樣影像進行匹配的子流程圖。

圖5是本發明將範本影像和目標影像進行最優匹配的子流程圖。

圖6是本發明目標採樣影像中偏移點為原點的子影像的示意圖。

S301‧‧‧準備步驟

S302‧‧‧範本影像目標影像是否符合要求

S303‧‧‧設定採樣間隔

S304‧‧‧對範本影像目標影像採樣

S305‧‧‧將範本採樣影像和目標採樣影像進行匹配

S306‧‧‧該範本採樣影像和目標採樣影像是否匹配成功

S307‧‧‧將範本影像和目標影像進行最優匹配

Claims (8)

1. 一種影像最優匹配系統，包括電腦及影像量測機台，其中，所述電腦包括影像擷取卡，該影像擷取卡用於接收所述影像量測機台獲取的待測影像，所述電腦還包括：影像最優匹配程式，用於對上述影像擷取卡中的待測影像進行最優匹配，該影像最優匹配程式包括：選取模組，用於根據量測需要從待測影像中選取範本影像和目標影像及設定參數，所述的參數包括：範本影像和目標影像的當前相關係數Cn，及目標影像中最優偏移點p1的初始座標，其中相關係數Cn定義了所述範本影像和目標影像的最小相關度，最優偏移點p1的初始座標為所述目標影像上實際並不存在的座標；設定模組，用於對上述範本影像和目標影像設定採樣間隔；採樣模組，用於按照設定的採樣間隔分別對所述範本影像和目標影像進行採樣，以得到範本採樣影像和目標採樣影像；預匹配模組，用於將所述範本採樣影像和目標採樣影像進行匹配；及最優匹配模組，用於當所述範本採樣影像與所述目標採樣影像匹配成功時，將所述範本影像和目標影像進行最優匹配。
2. 如申請專利範圍第1項所述之影像最優匹配系統，其中，所述預匹配模組將所述範本採樣影像和目標採樣影像進行匹配是透過執行如下步驟： a.分別計算得到範本採樣影像的平均灰度cmGA和灰度方差cmGD、目標採樣影像中偏移點為原點的子影像的平均灰度ctGA和灰度方差ctGD，所述的偏移點為原點的子影像指目標採樣影像中偏移點為原點，且和所述範本採樣影像長度、寬度相同的區域；b.當所述cmGA與ctGA的相對誤差及cmGD與ctGD的相對誤差均小於指定值時，計算得到所述範本採樣影像和目標採樣影像子影像的相關係數C，當C大於Cn時，用C的值對Cn的值進行更新，並將該最優偏移點p1的座標更新為與該C相對應的偏移點的座標；及c.當所述cmGA與ctGA的相對誤差、cmGD與ctGD的相對誤差中有一個不小於該指定值時，計算得到目標採樣影像中下一個偏移點的子影像的平均灰度ctGA和灰度方差ctGD，重複步驟b和步驟c，直至該偏移點是所述目標採樣影像的最後一點。
3. 如申請專利範圍第2項所述之影像最優匹配系統，其中，所述下一個偏移點是以原點為起點按先從上向下、再從左向右的順序，依次選定的所述目標採樣影像中圖元的座標點。
4. 如申請專利範圍第1項所述之影像最優匹配系統，其中，所述最優匹配模組將所述範本影像和目標影像進行最優匹配是透過執行如下步驟：計算得到該最優偏移點p1在所述目標影像附近域的所有子影像的平均灰度tGA和灰度方差tGD，所述的附近域的子影像指目標影像中以該最優偏移點p1與其相鄰採樣點之間的圖元的座標點為偏移點的子影像；及 計算得到所述範本影像分別和上述最優偏移點p1在所述目標影像附近域的所有子影像的相關係數，並從中得到值最大的相關係數C，當C大於Cn時，用C的值對Cn的值進行更新，並將所述最優偏移點p1的座標更新為與該C相對應的偏移點的座標。
5. 一種影像最優匹配方法，該方法包括如下步驟：根據量測需要從待測影像中選取範本影像和目標影像及設定參數，所述的參數包括：範本影像和目標影像的當前相關係數Cn，及目標影像中最優偏移點p1的初始座標，其中相關係數Cn定義了所述範本影像和目標影像的最小相關度，最優偏移點p1的初始座標為所述目標影像上實際並不存在的座標；對上述範本影像和目標影像設定採樣間隔；按照設定的採樣間隔分別對所述範本影像和目標影像進行採樣，以得到範本採樣影像和目標採樣影像；將所述範本採樣影像和目標採樣影像進行匹配；若所述範本採樣影像與所述目標採樣影像匹配成功，則將所述範本影像和目標影像進行最優匹配。
6. 如申請專利範圍第5項所述之影像最優匹配方法，其中，所述步驟將所述範本採樣影像和目標採樣影像進行匹配包括：a.分別計算得到範本採樣影像的平均灰度cmGA和灰度方差cmGD、目標採樣影像中偏移點為原點的子影像的平均灰度ctGA和灰度方差ctGD，所述的偏移點為原點的子影像指目標採樣影像中偏移點為原點，且和所述範本採樣影像長度、寬度相同的區域； b.若所述cmGA與ctGA的相對誤差及cmGD與ctGD的相對誤差均小於指定值，則計算得到所述範本採樣影像和目標採樣影像子影像的相關係數C，當C大於Cn時，用C的值對Cn的值進行更新，並將該最優偏移點p1的座標更新為與該C相對應的偏移點的座標；c.若所述cmGA與ctGA的相對誤差、cmGD與ctGD的相對誤差中有一個不小於該指定值，則計算得到目標採樣影像中下一個偏移點的子影像的平均灰度ctGA和灰度方差ctGD，重複步驟b和步驟c，直至該偏移點是所述目標採樣影像的最後一點。
7. 如申請專利範圍第6項所述之影像最優匹配方法，其中，所述下一個偏移點是以原點為起點按先從上向下、再從左向右的順序，依次選定的所述目標採樣影像中圖元的座標點。
8. 如申請專利範圍第5項所述之影像最優匹配方法，其中，所述步驟將所述範本影像和目標影像進行最優匹配包括：計算得到該最優偏移點p1在所述目標影像附近域的所有子影像的平均灰度tGA和灰度方差tGD，所述的附近域的子影像指目標影像中以該最優偏移點p1與其相鄰採樣點之間的圖元的座標點為偏移點的子影像；計算得到所述範本影像分別和上述最優偏移點p1在所述目標影像附近域的所有子影像的相關係數，並從中得到值最大的相關係數C，當C大於Cn時，用C的值對Cn的值進行更新，並將所述最優偏移點p1的座標更新為與該C相對應的偏移點的座標。