TWI399704B - 影像雜質分析系統及方法 - Google Patents

Description

影像雜質分析系統及方法

本發明涉及一種影像雜質分析系統及方法。

量測係生產過程中的重要環節，其與產品的品質息息相關。對於球柵陣列封裝(Ball Grid Array，BGA)，三維曲面(3D)及透明件的量測，傳統的做法是採用電荷耦合工件(Charge Coupled Device，CCD)和接觸式量測方式。採用帶有CCD的影像量測機台亦可以對所述BGA、3D及零件進行掃描，並將CCD拍攝的影像轉化成數位檔案以利儲存於電腦中。用戶透過查看數位檔中影像的雜質情況，可以判定所述零件是否滿足品質要求。

然而，用戶在利用影像量測機台測量零件的雜質面積時，由於雜質的形狀不規則，使用傳統的尋點、尋線或尋圓的方法很難計算出該雜質的面積。尤其是雜質比對多時，測量雜質的面積更是無法完成。

鑒於以上內容，有必要提供一種影像雜質分析系統及方法，可以在影像選定的區域中搜索到所有閉合區域，計算各閉合區域的面積及根據閉合區域的面積判定零件是否合格。

一種影像雜質分析系統，該系統包括一台電腦及與該電腦相連的影像量測機台，該影像量測機台包括一電荷耦合感應器，用於獲取零件的影像。所述電腦包括：介面管理單元，用於存儲管理閉合區域分析的工具，所述工具包括閉合區域選取工具，用戶透過該閉合區域選取工具從所量測到的零件的影像中選擇一指定區域；影像處理單元，用於對所述指定區域進行預處理，該預處理包括均值過濾、中值過濾、邊緣保持過濾和高斯過濾；計算單元，用於計算預處理後的指定區域的最佳閥值；所述影像處理單元，還用於根據所計算出的最佳閥值對上述指定區域內的影像進行二值化、邊緣化處理，並刪除該指定區域的週邊點；尋點單元，用於設置搜索邊界點的開始點及搜索方向，並按照該搜索方向以所設置的開始點為起點對上述指定區域進行邊界點搜索，當搜索到邊界點時，以該邊界點為基點，以搜索到該邊界點的前一點為起點按照所述搜索方向搜索下一個邊界點，若搜索到的最後一個邊界點與第一個邊界點重合，則所有搜索到的邊界點組成一個閉合區域，該閉合區域即為雜質；所述計算單元，還用於對該閉合區域進行種子填充，並根據該閉合區域內的圖元點個數及所述電荷耦合感應器的放大倍率計算該閉合區域的面積，即雜質的面積；結果顯示單元，用於將所述閉合區域的面積與零件預定義的雜質規格進行比對以判定該閉合區域的面積是否符合規格，並顯示比對結果；及存儲單元，用於儲存該零件上的閉合區域數量、各閉合區域的面積及所述比對結果。

一種影像雜質分析方法，包括步驟如下：從零件影像中選取一指定區域；對所述指定區域內的影像進行預處理，該預處理包括均值過濾、中值過濾、邊緣保持過濾和高斯過濾；計算預處理後的影像的最佳閥值；根據所計算出的最佳閥值對上述指定區域內的影像進行二值化、邊緣化處理，並刪除該指定區域的週邊點；設置搜索邊界點的開始點及搜索方向；以所設置的開始點為起點按照上述搜索方向搜索該指定區域內的閉合區域的邊界點；若在該開始點所在行內未搜索到邊界點，則另起一行繼續搜索；以搜索到的邊界點為基點，以搜索到該邊界點的前一點為起點，按照所設置的搜索方向搜索下一個邊界點；根據邊界點的位置判斷最後搜索到的邊界點與所搜索到的第一個邊界點是否重合；若所搜索到的邊界點與第一個邊界點重合，則所搜索到的所有邊界點組成一個閉合區域，對該閉合區域進行種子填充，該閉合區域即為雜質；計算該閉合區域的面積，其計算公式為：S＝S0*N，其中，S為該該閉合區域的面積，S0為每個圖元點的面積，N為該該閉合區域內的圖元個數；將該閉合區域的面積與預定義的雜質規格進行比對，以確定該閉合區域的面積是否符合規格；及儲存該零件上的閉合區域數量、各該閉合區域的面積及所述比對結果。

相較於習知技術，所述的影像雜質分析系統及方法，可以在影像選定的區域中搜索到所有閉合區域，自動計算各閉合區域的面積，及各個面積與整個區域的面積比，且根據閉合區域的面積可以判定零件是否合格，方法簡單、易操作，節省了品質工程師的工作時間。

參閱圖1，係本發明影像雜質分析系統較佳實施例的硬體家構圖。該影像雜質分析系統包括一個影像量測機台1及與該影像量測機台1相連接的電腦2。所述影像量測機台1包括一電荷耦合(Charge Coupled Device，CCD)感應器10和一工作台12。該CCD感應器10包括一CCD和一鏡頭，用於獲取放置在工作台12上的零件3的影像。所述電腦2內存儲一段閉合區域分析程式20，用於對零件3的影像進行雜質分析，具體而言，本實施例將零件3上的雜質視為閉合區域，所述閉合區域分析程式20用於對指定區域內的閉合區域進行分析，搜索該閉合區域的邊界點，計算該閉合區域的面積，及將該閉合區域的面積與一預先定義好的雜質規格進行比對，以判定該閉合區域對應的雜質是否滿足要求，進而判定零件3是否合格。

在本實施例中，所述閉合區域分析程式20僅對零件3上的雜質進行分析。當然，所述閉合區域也有可能不是雜質，例如，零件3上的孔，閉合區域分析程式20根據雜質規格或根據與影像量測機台1相連的其他程式將指定區域中的非雜質部分(例如，孔)去除，只留下雜質所示的閉合區域用以分析。

其中，所述閉合區域分析程式20既可用於對電腦2內存儲的零件3的影像進行閉合區域分析，又可對影像量測機台1線上直接拍攝的影像進行閉合區域自動分析。

參閱圖2，係本發明閉合區域分析程式20的結構框圖。透過對該閉合區域分析程式20的結構進行說明，可詳細描述該閉合區域分析程式20如何實現上述搜索、計算和分析功能。在本實施例中，以閉合區域分析程式20的功能為依據，將該閉合區域分析程式20劃分成六個功能單元：介面管理單元200、影像處理單元202、計算單元204、尋點單元206、結果顯示單元208及存儲單元210。

其中，所述介面管理單元200用於存儲各種介面格式及管理閉合區域分析的各種工具，所述工具如閉合區域選取工具。用戶透過該介面管理單元200可以在影像量測機台1所量測到的零件3的影像中選擇一塊區域，用以後續分析，本實施例將該選擇的區域稱為“指定區域”。所述閉合區域分析程式20用於對該指定區域內的雜質(即閉合區域)進行面積分析。

在影像量測機台1獲取影像的過程中，由於CCD感應器10內光源的不均勻等外界因素，造成了攝取的影像雜訊、灰度不均勻等現象，這些雜訊會在後續的閉合區域分析中干擾甚至淹沒影像中的有用資訊而造成判斷錯誤，因此，在進行影像的閉合區域分析之前，影像處理單元202需要對指定區域內的影像進行預處理，該預處理包括均值過濾、中值過濾、邊緣保持過濾和高斯過濾，這些預處理方式用於減少或消除影像雜訊的影響，改善影像的品質。其中，在選取指定區域時，該指定區域的外框不能將閉合區域一分為二，即需要保證指定區域內的閉合區域的完整性。另外，所述指定區域內的閉合區域的邊界不能與指定區域的外框相交。

所述計算單元204用於計算預處理後的指定區域內的影像的最佳閥值。該最佳閥值用於對影像進行二值化處理，即：將灰度影像轉換為二進位(1位元/圖元)影像。閥值的範圍是從0到255，當閥值較低時，影像較亮，影像的背景和細節得到了緩和；當閥值較高時，影像較暗，可顯現模糊的影像。因此，計算單元204需要透過公式計算出一個最佳閥值，用以後續對所述指定區域內的影像進行二值化處理。

其中，所述最佳閥值可按照以下方法計算得出：假設將影像劃分為兩類，一類大於所述最佳閥值，另一類小於所述最佳閥值，如圖3所示的灰度分佈柱狀圖，以T為最佳點將該兩個分類劃分成兩個區域，該T所對應的值即為需求取的最佳閥值。C1區中任一圖元點的灰度值f(x，y)必滿足0<＝f(x，y)<＝255，C2區中任一圖元點的灰度值f(x，y)必滿足T＋1<＝f(x，y)<＝255。若指定區域內有320*240個圖元點，灰度範圍為0~255，I＝256，則(a)灰度值為i的機率為，其中，n_i 為灰度值i出現的次數，N為該指定區域內的圖元點個數，即本較佳實施例中的320*240；(b)依機率原理可得；(c)假設C1區內圖元點個數與總圖元點的比率為；(d)假設C2區內圖元點個數與總圖元點的比率為，其中，W₁ ＋W₂ ＝1；(e)C1的期望值為，C2的期望值為；(f)C1的變數為，C1的變數為；(g)C1和C2間的變異數為σ _B ² ＝W ₁ (U ₁ －U _T )² ＋W ₂ (U ₂ －U _T )² ，C1和C2的變異數和為σ _W ² ＝W ₁ σ ₁ ² ＋W ₂ σ ₂ ² ；(h)影像的平均亮度，又σ _W ² ＋σ _B ² ＝σ _T ² ，其中σ _T ² 是原始影像的變異數為定值；(i)將影像的灰度值由0到(I－1)各代入σ _W ² ，共可得到256個值，其中最小值所對應的灰度值T為最佳閥值。

所述影像處理單元202還用於根據計算單元204所計算出的最佳閥值對上述指定區域內的影像進行二值化處理，然後進行邊緣化處理，及刪除該指定區域的週邊點。所述二值化處理是指將一幅多個灰度值的影像轉化為只有兩個灰度值的影像，以便於特徵的突出以及圖形的識別，處理後的影像為黑白色，即灰度值為0和255。所述邊緣化處理是指將二值化處理後的影像中黑、白交界的邊緣提取出來。相較於處理前的影像，處理後的影像清晰、易識別及閉合區域的邊界更平滑。所述指定區域的週邊點是指該指定區域外框上的與閉合區域圖元值相等的圖元點。影像處理單元202將指定區域橫軸方向的第一行和最後一行、及縱軸方向的第一行和最後一行上的圖元點的值改成0，則這些圖元點的值與指定區域所示影像背景的圖元值相同。

所述尋點單元206用於設置搜索邊界點的開始點及搜索方向，並以所設置的開始點為起點從上述處理後的指定區域內搜索閉合區域的邊界點，且根據搜索出的邊界點勾勒出各閉合區域。其中，所述搜索方向包括開始搜索邊界點的方向及搜索到邊界點後的方向。該開始搜索邊界點的方向包括向右和向左。所述搜索到邊界點後的方向包括：順時針方向和逆時針方向。若本實施例按照影像圖元點(以下簡稱為“點”)的排列方式，將所述指定區域內的每個圖元點以小方格的形式示意，則圖4所示為本發明按順時針方向尋點的示意圖，而圖6所示是本發明按逆時針方向尋點的示意圖。

在本較佳實施例中，以處理後的影像為白底、黑線為例，閉合區域的邊界點應該為黑色。若以開始搜索的方向為右、搜索到邊界點後的方向為順時針方向，如圖4所示，則所述邊界點搜索具體包括如下步驟：以所設置的開始點“O”點為起點向右搜索；若該行未搜索到邊界點，則另起一行，以“P”點為起點向右搜索；搜索到第一個黑點後，將該第一個黑點示為邊界點的第“1”點，並以該第“1”點的前一點“a”為起點依順時針方向搜索，即沿著點“b”、點“c”、點“d”和點“e”的方向搜索到第二個黑點，該第二個黑點即為邊界點的第“2”點；接著，以該第“2”點的前一點“e”為起點依順時針方向搜索，搜索到的點為“f”，接著是第“3”邊界點；以此類推，共搜索到二十三個邊界點，且第“24”點與第“1”點重合，也就是說，第“23”點與第“1”點閉合，則說明尋點單元206根據所搜索到的二十三個點可構成閉合區域，該閉合區域即為雜質。

所述計算單元204還用於對所述閉合區域進行種子填充，如圖5所示，是本發明閉合區域種子填充後的示意圖。計算單元204計算該閉合區域的面積，即所述雜質的面積。計算公式為：S＝S0*N，其中，S為該閉合區域的面積，S0為每個圖元點的面積，N為該閉合區域內的圖元個數。例如，若CCD的放大倍率為100，則每個圖元點的面積S0＝(1/100)*(1/100)＝0.0001平方毫米。圖5所示閉合區域內共有50個圖元點，則該閉合區域的面積S＝S0*N＝0.0001*50＝0.005平方毫米。透過種子填充法，計算單元204還可以計算出所述指定區域的面積，及閉合區域面積與該指定區域面積的比值。

另外，計算單元204還可以計算該閉合區域的週長。其中，兩個圖元點透過一個頂點連接的，如第“1”點和第“2”點，則第“1”點和第“2”點之間的長度等於圖元點的長度乘以，例如，若CCD的放大倍率為100，則圖元點的長度為0.01毫米，透過一個頂點相連接的兩個圖元點間的距離約等於0.01414毫米。

所述結果顯示單元208用於將所述搜索到的閉合區域顯示於電腦2所提供的操作介面上，顯示該閉合區域的面積，並顯示零件3的雜質規格。所述雜質規格即：該類型零件3的雜質數量、雜質距離和雜質的最大面積。結果顯示單元208將所述閉合區域的面積與零件3的規格進行比對以判定該閉合區域的面積是否符合規格，並顯示比對結果。具體而言，當所述閉合區域的面積不在該零件3預先定義的規格之內時，結果顯示單元208判定該閉合區域的面積不符合規格。若該零件3上的總閉合區域數量大於規定的雜質數量或多個閉合區域間的距離不在所述雜質距離之內，則判定該零件3不合格。相反，當所述閉合區域的面積在該零件3預定義的規格之內時，結果顯示單元208判定所述閉合區域的面積符合規格。若該零件3上的閉合區域總量小於或等於規定的雜質數量，且各閉合區域間的距離在所規定的雜質距離內，則判定該零件3合格。

所述存儲單元210用於儲存該零件3上的閉合區域數量、各閉合區域的面積及所述比對結果。

另外，所述尋點單元206還用於當搜索完所述指定區域的最後一行後，刪除本次搜索到的閉合區域，重複搜索的步驟，以搜索下一個閉合區域。

參閱圖7，是本發明影像雜質分析方法較佳實施例的作業流程圖。首先，影像量測機台1利用其CCD感應器10獲取零件3的影像。然後，步驟S1，用戶點取介面管理單元200中的閉合區域選取工具，利用該閉合區域選取工具從零件3某個面的影像中選取一指定區域，該指定區域的外框必須框住其中的所有閉合區域，且其外框不能與這些閉合區域的邊界相交，保證閉合區域的完整性。

步驟S3，影像處理單元202對所述指定區域內的影像進行預處理，以減少或消除影像雜訊的影響，改善影像的品質，所述預處理包括均值過濾、中值過濾、邊緣保持過濾和高斯過濾。

步驟S5，計算單元204計算預處理後的影像的最佳閥值，該最佳閥值用於對影像進行二值化處理。

步驟S7，所述影像處理單元202根據計算單元204所計算出的最佳閥值對上述指定區域內的影像進行二值化、邊緣化處理，並刪除該指定區域的週邊點。透過該二值化處理，使得影像轉化成只有兩個灰度值的影像，以便於特徵的突出以及圖形的識別，即黑白色。所述邊緣化處理是指將二值化處理後的影像中黑、白交界的邊緣提取出來。相較於處理前的影像，處理後的影像清晰、易識別及閉合區域的邊界更平滑。所述指定區域的週邊點是指該指定區域外框上的點。

步驟S9，尋點單元206設置開始點及搜索方向，其中，所述搜索方向包括開始搜索的方向及搜索到邊界點後的方向，該開始搜索的方向包括向右和向左，所述搜索到邊界點後的方向包括：順時針方向和逆時針方向。

步驟S11，尋點單元206以所設置的開始點為起點按照上述搜索方向開始對所述指定區域內的閉合區域進行邊界搜索。

本實施例按照影像圖元點的排列方式，將所述指定區域內的每個圖元點以小方格的形式示意。步驟S13，尋點單元206按照所設置的搜索方向尋點，若該尋點單元206以開始搜索的方向為右進行搜索，則根據圖元點的值判斷是否搜索到邊界點。

若開始點所在的行中未搜索到邊界點，則另起一行，返回步驟S11；若該行搜索到邊界點，則步驟S15，尋點單元206以搜索到的第“1”點為基點，以該第“1”點的前一點為起點，按照所設置的“搜索到邊界點後的方向”進行搜索第“2”點，如圖4和圖6所示；以此方法類推，尋點單元206搜索閉合區域的所有邊界點。

步驟S17，尋點單元206根據所搜索到的邊界點的位置判斷最後搜索到的邊界點與第“1”點是否重合。

若所搜索到的邊界點與第“1”點不重合，則返回步驟S15繼續進行搜索；若所搜索到的邊界點與第“1”點重合，則所搜索到的邊界點組成一個閉合區域，該閉合區域即為雜質，步驟S19，所述計算單元204對該閉合區域進行種子填充，並計算該閉合區域的面積，其計算公式為：S＝S0*N。其中，S為該閉合區域的面積，S0為每個圖元點的面積，N為該閉合區域內的圖元個數。如圖5所示，是本發明閉合區域種子填充後的示意圖。

步驟S21，結果顯示單元208將所搜索到的閉合區域顯示於電腦2所提供的操作介面上，顯示該閉合區域的面積，並顯示零件3的雜質規格，即：該類型零件3的雜質數量、雜質距離和雜質的最大面積，所述結果顯示單元208將所述閉合區域的面積與零件3的雜質規格進行比對以判斷該閉合區域的面積是否符合規格，結果顯示單元208顯示比對結果，存儲單元210儲存該零件3上的閉合區域的數量、各閉合區域的面積及所述比對結果。

於步驟S21之後，若尋點單元206搜索完所述指定區域的最後一行，則刪除步驟S19中所述的閉合區域，返回步驟S9重複搜索步驟，以搜索下一個閉合區域。

以上所述僅為本發明之較佳實施例而已，且已達廣泛之使用功效，凡其他未脫離本發明所揭示之精神下所完成之均等變化或修飾，均應包含在下述之申請專利範圍內。

影像量測機台．．．1

電腦．．．2

零件．．．3

電荷耦合感應器．．．10

工作台．．．12

閉合區域分析程式．．．20

介面管理單元．．．200

影像處理單元．．．202

計算單元．．．204

尋點單元．．．206

結果顯示單元．．．208

存儲單元．．．210

圖1係本發明影像雜質分析系統較佳實施例之硬體架構圖。

圖2係本發明閉合區域分析程式之結構框圖。

圖3係灰度分佈柱狀圖。

圖4係本發明按順時針方向尋點之示意圖。

圖5係本發明閉合區域種子填充後之示意圖。

圖6係本發明按逆時針方向尋點之示意圖。

圖7係本發明影像雜質分析方法較佳實施例之作業流程圖。

閉合區域分析程式．．．20

介面管理單元．．．200

影像處理單元．．．202

計算單元．．．204

尋點單元．．．206

結果顯示單元．．．208

存儲單元．．．210

Claims (10)

1. 一種影像雜質分析方法，利用一個運行於電腦中的閉合區域分析程式對影像量測機台所獲取的影像進行雜質分析，其中，該方法包括如下步驟：從零件影像中選取一指定區域；對所述指定區域內的影像進行預處理，該預處理包括均值過濾、中值過濾、邊緣保持過濾和高斯過濾；計算預處理後的影像的最佳閥值；根據所計算出的最佳閥值對上述指定區域內的影像進行二值化、邊緣化處理，並刪除該指定區域的週邊點；設置搜索邊界點的開始點及搜索方向；以所設置的開始點為起點按照上述搜索方向搜索該指定區域內的閉合區域的邊界點；若在該開始點所在行內未搜索到邊界點，則另起一行繼續搜索；以搜索到的邊界點為基點，以搜索到該邊界點的前一點為起點，按照所設置的搜索方向搜索下一個邊界點；根據邊界點的位置判斷最後搜索到的邊界點與所搜索到的第一個邊界點是否重合；若所搜索到的邊界點與第一個邊界點重合，則所搜索到的所有邊界點組成一個閉合區域，對該閉合區域進行種子填充，該閉合區域即為雜質；計算該閉合區域的面積，其計算公式為：S＝S0*N，其中，S為該該閉合區域的面積，S0為每個圖元點的面積，N為該該閉合區域內的圖元個數；將該閉合區域的面積與預定義的雜質規格進行比較，以確定該閉合區域的面積是否符合規格；及保存該零件上的閉合區域數量、各該閉合區域的面積及所述比較結果。
2. 如申請專利範圍第1項所述之影像雜質分析方法，其中，在步驟保存該零件上的閉合區域數量、各該閉合區域的面積及所述比較結果之前，包括如下步驟：顯示該閉合區域的面積及所述零件預定義的雜質規格。
3. 如申請專利範圍第1項所述之影像雜質分析方法，其中所述指定區域的週邊點是指該指定區域外框上的與閉合區域圖元值相等的圖元點。
4. 如申請專利範圍第1項所述之影像雜質分析方法，其中所述步驟以搜索到的邊界點為基點，以搜索到該邊界點的前一點為起點，按照所設置的搜索方向搜索下一個邊界點，包括如下步驟：以搜索到的邊界點為基點，以搜索到該邊界點的前一點為起點，按照順時針方向搜索下一個邊界點；或以搜索到的邊界點為基點，以搜索到該邊界點的前一點為起點，按照逆時針方向搜索下一個邊界點。
5. 如申請專利範圍第1項所述之影像雜質分析方法，其中，該方法還包括以下步驟：若搜索完所述指定區域的最後一行，則刪除本次搜索到的閉合區域，返回設置搜索邊界點的開始點及搜索方向的步驟，重新進行搜索，以搜索下一個閉合區域。
6. 一種影像雜質分析系統，該系統包括一台電腦及與該電腦相連的影像量測機台，該影像量測機台包括一個電荷耦合感應器，用於獲取零件的影像，其中，所述電腦包括：介面管理單元，用於存儲管理閉合區域分析的工具，所述工具包括閉合區域選取工具，用戶通過該閉合區域選取工具從所量測到的零件的影像中選擇一個指定區域；影像處理單元，用於對所述指定區域進行預處理，該預處理包括均值過濾、中值過濾、邊緣保持過濾和高斯過濾；計算單元，用於計算預處理後的指定區域的最佳閥值；所述影像處理單元，還用於根據所計算出的最佳閥值對上述指定區域內的影像進行二值化、邊緣化處理，並刪除該指定區域的週邊點；尋點單元，用於設置搜索邊界點的開始點及搜索方向，並按照該搜索方向以所設置的開始點為起點對上述指定區域進行邊界點搜索，當搜索到邊界點時，以該邊界點為基點，以搜索到該邊界點的前一點為起點按照所述搜索方向搜索下一個邊界點，若搜索到的最後一個邊界點與第一個邊界點重合，則所有搜索到的邊界點組成一個閉合區域，該閉合區域即為雜質；所述計算單元，還用於對該閉合區域進行種子填充，並根據該閉合區域內的圖元點個數及所述電荷耦合感應器的放大倍率計算該閉合區域的面積，即雜質的面積；結果顯示單元，用於將所述閉合區域的面積與零件預定義的雜質規格進行比較以判定該閉合區域的面積是否符合規格，並顯示比較結果；及存儲單元，用於保存該零件上的閉合區域數量、各閉合區域的面積及所述比較結果。
7. 如申請專利範圍第6項所述之影像雜質分析系統，其中所述搜索方向包括開始搜索邊界點的方向及搜索到邊界點後的方向，該開始搜索邊界點的方向包括向右和向左，所述搜索到邊界點後的方向包括順時針方向和逆時針方向。
8. 如申請專利範圍第6項所述之影像雜質分析系統，其中所述計算單元還用於計算所述指定區域的面積、閉合區域的面積與該指定區域面積的比值，及各閉合區域的週長。
9. 如申請專利範圍第6項所述之影像雜質分析系統，其中所述結果顯示單元還用於顯示所述閉合區域的面積，及所述零件的雜質規格，該規格包括：零件的雜質數量、雜質距離及雜質的最大面積。
10. 如申請專利範圍第6項所述之影像雜質分析系統，其中所述指定區域的週邊點是指該指定區域外框上的與閉合區域圖元值相等的圖元點。