TWI762047B

TWI762047B - 影像式銲道瑕疵檢測方法及其裝置

Info

Publication number: TWI762047B
Application number: TW109141648A
Authority: TW
Inventors: 陳智勇; 陳宗儒; 劉又任; 勞婕羚
Original assignee: 樹德科技大學
Priority date: 2020-11-26
Filing date: 2020-11-26
Publication date: 2022-04-21
Also published as: TW202221319A

Abstract

一種影像式銲道瑕疵檢測方法，包含一影像資料建置步驟、一銲道拍攝步驟、一影像還原步驟，及一影像分析步驟。該影像資料建置步驟是建立一資料庫，包括銲接點的無瑕疵影像及有瑕疵影像。該銲道拍攝步驟是將銲接後的銲道進行拍攝並收集銲道各部位之照片。該影像還原步驟是將每一照片的變形或偏移狀況進行還原。該影像分析步驟是將還原後的照片與該資料庫進行比對，判斷銲道中是否出現瑕疵部位。本發明亦提供一種影像式銲道瑕疵檢測裝置。

Description

影像式銲道瑕疵檢測方法及其裝置

本發明是關於一種瑕疵檢測方法，特別是指一種影像式銲道瑕疵檢測方法及其裝置。

在工業領域常選用鋼材為主要材料，鋼結構間需仰賴銲接接合，然而銲接是一種急熱急冷的製程，容易衍生出銲接缺陷，銲接缺陷會影響結構安全。冶金的品質變異及衍生之機械性質變異為複雜問題，因此每個環節都是影響品質的因素。而在完整的銲接工藝中包含：銲接工法、銲前準備加工、裝配、銲接材料、銲接設備、銲接順序、銲接操作、銲接參數以及銲後處理等流程。銲接後的瑕疵、缺陷，是因為施工、材料、母材、環境等原因造成銲道的不完美處，通稱為瑕疵。特定類型的瑕疵或瑕疵尺寸超出一定限度，可能使構件在使用環境下損壞。

然而，例如船舶等設備因體積龐大銲接位置繁多無法執行液滲檢測(Liquid Penetrant Testing, PT)、磁粉探傷(Magnetic Particle Testing, MT)、放射線檢測(Radiographic Testing, RT)類型檢測，只能以目視檢測(Visual Testing, VT)、超音波探傷(Ultrasonic Testing, UT)等方式進行檢驗。廠商僅能透過廠內資深專業人員，依照既定規範實施以人工判斷進行檢測，決定是否達到驗收標準，再以報告的型式判定合格或剔退。雖然上述判定流程可以做到標準化工作流程管控，但對於產品履歷卻無法完整記錄，檢測流程未資訊化，當品質發生異常時，並無法追溯進而改善製程。

因此，本發明之目的，即在提供一種數位化的影像式銲道瑕疵檢測方法。

該影像式銲道瑕疵檢測方法包含一影像資料建置步驟、一銲道拍攝步驟、一影像還原步驟，及一影像分析步驟。該影像資料建置步驟是建立一資料庫，包括銲接點的無瑕疵影像及有瑕疵影像。該銲道拍攝步驟是將銲接後的銲道進行拍攝並收集銲道各部位之照片。該影像還原步驟是將每一照片的變形或偏移狀況進行還原。該影像分析步驟是將還原後的照片與該資料庫進行比對，判斷銲道中是否出現瑕疵部位。

本發明的另一技術手段，是在於該影像還原步驟還包括鏡頭參數校正、銲道影像擷取、影像雜訊濾波之次步驟。

本發明的另一技術手段，是在於該影像還原步驟還包括影像拼接之次步驟，以將銲道不同區域的照片依序拼接成完整的銲道。

本發明的另一技術手段，是在於該影像拼接次步驟還包括變形校正子步驟及影像縫合子步驟。

本發明的另一技術手段，是在於該影像資料建置步驟中，是提供訓練資料，並以卷積式類神經網路進行學習。

本發明的另一技術手段，是在於訓練資料包括銲接種類特徵資料、銲道特徵資料，及銲道瑕疵特徵資料。

本發明的另一技術手段，是在於該影像拼接次步驟是利用影像校正演算法及影像拼接演算法進行，該影像校正演算法包括變形調校方法。

本發明之另一目的，即在提供一種影像式銲道瑕疵檢測裝置，包含一拍攝單元，及一運算單元。該拍攝單元用以拍攝銲接後的銲道並收集銲道各部位之照片。該運算單元用以將該拍攝單元所拍攝的照片影像進行還原與比對，以判斷銲道中是否出現瑕疵部位。

本發明的另一技術手段，是在於該拍攝單元包括一軌道、一於該軌道上往復移動的平台，及一可拆離地設置於該平台上的攝影器材。

本發明的另一技術手段，是在於該拍攝單元還包括一設置於該軌道一側的步進馬達，該步進馬達驅動該平台於該軌道上往復移動。

本發明的另一技術手段，是在於該運算單元包括一資料庫、一影像還原模組，及一影像分析模組，該資料庫包括銲接點的無瑕疵影像及有瑕疵影像。

本發明之功效在於，導入人工智慧技術進行銲接檢測製程不僅能夠提升鋼鐵產品的品質，更能減少瑕疵所產生的額外成本，也能讓傳統的重工業往精緻品管與智慧化檢測目標邁進。

有關本發明之相關申請專利特色與技術內容，在以下配合參考圖式之較佳實施例的詳細說明中，將可清楚的呈現。在進行詳細說明前應注意的是，類似的元件是以相同的編號作表示。

參閱圖1，為本發明影像式銲道瑕疵檢測方法之較佳實施例，包含一影像資料建置步驟11、一銲道拍攝步驟12、一影像還原步驟13，及一影像分析步驟14。

該影像資料建置步驟11是建立一資料庫，包括銲接點的無瑕疵影像及有瑕疵影像。於此步驟中，是提供訓練資料給該資料庫，並以卷積式類神經網路(Convolutional Neural Network, CNN)進行學習。訓練資料包括銲接種類特徵資料、銲道特徵資料，及銲道瑕疵特徵資料。於本實施例中，先收集了銲接點的影像，並由專業人員判定影像，區分出合格銲接影像及瑕疵銲接影像，如附件所示，建立學習資料集。由於銲道影像的前景與背景並不明顯，傳統的影像處理方法不容易分離出瑕疵區塊，因此本專利以卷積式類神經網絡提取影像中的線條、深淺、髒污、紋理等特徵來辨識瑕疵影像，如圖2所示。卷積式類神經網絡(Convolutional Neural Network, CNN)是一種前饋型神經網絡，對於處理高維度資料尤其以圖像處理有出色表現。將特徵處理後之銲道影像資料庫將成為人工智慧的訓練資料。訓練完成後之 CNN將會具備辨識瑕疵銲道之能力。對於經過影像處理後的銲道影像，經由特徵抽取處理之後，將其特徵向量輸入 CNN，訓練後之 CNN 將會進行卷積(Convolutional)、線性整流單元(Rectified Linear Unit, ReLU)、非線性池化(Pooling)、以及全連結(Fully Connected)類神經網路運算，最後透過判斷此圖像是否合格(Pass)或有瑕疵(Fail)。

該銲道拍攝步驟12是將銲接後的銲道進行拍攝並收集銲道各部位之照片。

該影像還原步驟13是將每一照片的變形或偏移狀況進行還原，最後將銲道不同區域的照片依序拼接成完整的銲道。更詳細地說，該影像還原步驟13還包括鏡頭參數校正次步驟131、銲道影像擷取次步驟132、影像雜訊濾波次步驟133、影像拼接次步驟134。

於該鏡頭參數校正次步驟131中，在三度空間中物體透過相機的成像畫面，會因為相機擺設位置、拍攝角度問題或者是相機本身所組成元件的不同，而產生不同的成像畫面。一般市面上的數位相機鏡頭，不同的鏡頭在拍攝影像時容易產生變形，鏡頭變形的原因主要來自於像差，也就是實際成像與理想影像之間的差異。其中，使用廣角鏡頭常伴隨桶狀變形(Barrel Distortion)現象，造成影像有球面或膨脹的感覺，影像成像區域就會像一個木桶形狀，因此被稱之為桶狀變形。相機的成像幾何模型決定物體在三度空間座標與影像平面座標的對應關係，此幾何模型的參數一般稱作相機參數，相機參數校正中包含許多數學式與光學模式，為各相機鏡頭模組中座標系統相互轉換的關係。

本發明使用相機校正函式進行鏡頭調校兩組參數：內部參數及外部參數。其中，內部參數屬於相機本身光學特徵和幾何模型的問題，如焦距、影像中心、像素尺寸、鏡頭扭曲系數以及影像歪斜等。而外部參數則為相機座標系統和參考座標間轉換系數，是表示相機外部絕對座標與相機位置的空間關係式，它可以用位移矩陣以及旋轉矩陣來表示。

關於內部參數：

相機內部參數屬於相機本身光學特徵和幾何模型的問題，如焦距(Focal length)、影像中心(Image center)、像素尺寸(Pixel size)、鏡頭扭曲系數(Lens distortion)以及影像歪斜(Skew)等。透過透視投影示意圖所示，則影像平面點P可以用齊次座標來表示三維空間中的點投影到影像平面上的關係：

(1)

理論上成像中心點會落在Z軸方向的光軸上，但是受到扭曲系數影響，每一個像素點並非為正方形，且投射至影像座標點的成像平面位置時，會使得中心點偏移原本光軸中心點而成像在影像座標

，此座標點即稱為影像中心，所以投影成像時會將位移部分做補償。另外，由於每一個相機的X軸與Y軸比例皆不盡相同，因此我們焦距的X軸以f _x表示，Y軸以f _y做表示。

根據這些參數可將(1)式表示成三維相機座標：

(2)

因此齊次座標(2)式可表示為：

(3)

相機中還包含了歪斜系數，表示影像平面X軸與Y軸夾角對於直角的歪斜程度，但一般相機中的歪斜系數通常很小，甚至近似於零，因此可忽略，並且假設系數為零，完整的內部參數矩陣可表示為：

(4)

相機內部參數是相機本身成像關係式，所以內部參數矩陣並不會隨著外部環境變化而有所改變，只要實體焦距固定，此內部參數矩陣即可重覆使用。

關於外部參數：

外部參數為相機座標系統和參考座標間轉換系數，是表示相機外部絕對座標與相機位置的空間關係式，它可以用位移矩陣(Translation matrix)以及旋轉矩陣(Rotation matrix)來表示。首先利用旋轉矩陣將相機座標及參考座標兩個不同座標系統的方向軸旋轉成一致的方向軸；再經由平移矩陣將參考座標原點平移至影像座標的原點，可以用齊次座標表示為：

(5)

其中

為旋轉矩陣，

為平移矩陣。利用相機內外部參數來取得空間中三維座標投影至影像平面上的位置，其投影公式可表示為：

(6)

(7)

表示影像平面和參考空間的齊次座標分別表示為

和

、

為比例係數，將內外參數矩陣定義為投影矩陣即可將(8)公式表示為：

(8)

完成上述推導公式以及光學模式，即可求出相機其內外部參數。

接著進行銲道影像擷取次步驟132。依照現場需求攝影機選擇適用於高影像品質和均勻度，用於檢測與高端監控之攝影機(Charge-coupled Device, CCD)。配合跨平台的電腦視覺庫OpenCV的(Open Source Computer Vision Library)開發本發明之取像與影像處理軟體。銲道的表面通常都為金屬其幾何形狀、光澤及顏色決定了光線在物體表面如何反射非常容易造成反光導致攝影機取像不易。視覺系統應用光源選擇的就是如何控制物體的光線反射。如果反射光可以較好的控制，採集的圖像也可得到較佳的控制。就光源而言影響物體表面光反射效果的因素有：光源的位置，表面紋理，物體幾何形狀及光源均勻性。

接著進行影像雜訊濾波次步驟133。影像強化 (Image enhancement) 目的在於增強影像的品質，增加品質意即從影像中獲得更多有益的資訊。本發明的操作場域為接近室外的大型銲接工廠，在光源充足的地方拍攝之影像有可能具有較多的光線雜訊，在低光源的地方可能會造成曝光不足所產生的雜訊。這些雜訊都會造成影像處理的錯誤，導致後續判斷準確率下降。然而過度的濾除雜訊有可能導致原圖失真，失去銲道的特徵。本發明使用頻率域的濾波運算與空間域的遮罩運算，利用低通濾波(Lowpass filtering)與帶通濾波(bandpass filter)適當的保留低中頻資料，完全去除或依一定比例去除雜訊，讓所取得之影像能夠更清楚地呈現銲道的特徵。

接著進行影像拼接次步驟134，而在拼接之前必須先進行變形校正子步驟135。由於拍攝的角度以及距離的關係，如大樓、名片或者是文件資料時，通常都會產生幾何變形，尤其是拍攝長方形或正方形物體時，其幾何變形的情形更是明顯。例如使用數位相機拍攝名片、文件資料時，拍到的數位影像原本應該是方形的物體，但從相片檢視上來看會變成任意四邊形的形狀，產生這些幾何變形可能會導致讀取資料時無法得知正確資訊。首先對所要校正的物體進行邊緣檢測，檢測出其物體的任意四邊形的邊緣輪廓，並且利用Radon轉換解析出任意四邊形的邊緣直線方程式，即可求得任意四邊形的四個頂點座標進行變形校正。

大多數所拍攝影像為無傾斜，其場地邊緣會平行於影像的邊界，但如有傾斜時，將影響路徑分析軟體的分析。如果場地傾斜角度過大，於進行路徑分析軟體前，需先矯正傾斜影像，以利於後續的路徑分析。首先以Radon轉換來找出場地邊緣線，再利用所定位之場地的邊緣線來獲得此邊緣線與水平或垂直線的夾角，並矯正此傾斜角度。而使用的原因在於此轉換可利用影像的投影找出影像中最長的直線，以此特性可偵測出影像傾斜的角度。而影像的投影 (projection) 即為影像在某一方向上的線性積分，對數字影像來說，意即其在該方向的累加。二維函數f(x,y)的投影是確定方向上的線積分。例如，f(x,y)在垂直方向上的二維線性積分就是f(x,y)在X座標軸的投影；f(x,y)在水平方向上的二維線性積分就是f(x,y)在Y座標軸上的投影。所以，Radon轉換是將數位影像轉換為在某一種指定角度射線方向投影的轉換方法，可沿任意角度θ計算函數的投影，即任意角度上都存在函數的Radon轉換。

(9)

(10)

變形調校方法是採用變形校正矩陣，針對幾何變形圖像進行校正。在求出變形校正矩陣前，必須先求出校正之後四個頂點座標。任意四邊形經過校正後變成矩形，並且校正後的矩形縱橫比為λ。根據矩形四個頂點座標之間的幾何關係和縱橫比λ，以及校正前四個頂點的座標，將可以很清楚將校正之後的四個頂點座標求出。假設校正前四個頂點座標為

，

，

，

，校正之後四個頂點座標為

，

，

，

，其中，校正前四個頂點座標為輸入點，校正後四個頂點座標為基準點。

令變形校正矩陣，帶入中間參數，如公式(11)、(12)所示：

(11)

(12)

利用投影關係與座標轉換公式，可以得到下面的公式：

(13)

只要帶進輸入點以及基準點的座標，通過上述公式(13)即可求出h _ij，即可求出變形校正矩陣H。利用變形校正矩陣就可以對原圖像進行校正，校正之後的圖像，圖像變為矩形，並且保持原始的縱橫比，還原圖像資料。

將照片經由上述步驟進行變形校正子步驟135之後，就可以進行影像縫合子步驟136。影像縫合是一種將多幅相重疊的影像進行無縫(Seamless)拼接來獲得寬視角且完整的全景影像技術。本發明主要應用在大型機具的銲道影像判斷，其銲道影像相當廣大，需要將多張影像拼接成一張巨大的影像才能夠完整呈現銲道的全貌。影像縫合前需要對影像進行匹配，使用例如：特徵偵測及匹配的演算法稱為尺度不變性特徵轉換 (Scale-invariant Feature Transform, SIFT)。SIFT特徵匹配具有良好之匹配精度及可靠度，是一種電腦視覺之演算法用來偵測描述影像中的局部性特徵，在空間尺度中尋找極值點並提取出其位置、尺度、旋轉不變數。該演算法具有影像縮放、尺度空間、旋轉等不變量特性，其特徵點比對的正確率可以高達九成以上，並搭配相關除錯方法以獲得更高的正確率，一般最常見的除錯演算法為RANSAC(Random Sample Consensus)，本發明之影像縫合部分就有搭配此演算法將影像對位完成。此方式先於兩張分開拍攝的圖片中找尋相似的特徵點，當特徵點匹配的數量及位置符合的門檻值時，就會以對應之角度及距離進行影像縫合。

最後進行該影像分析步驟14，是將經過前述各步驟而還原拼接後的照片與該資料庫進行比對，判斷銲道中是否出現瑕疵部位。

參閱圖3，為本發明影像式銲道瑕疵檢測裝置，包含一拍攝單元2，及一運算單元3。該拍攝單元2用以拍攝銲接後的銲道並收集銲道各部位之照片。該運算單元3用以將該拍攝單元2所拍攝的照片影像進行還原與比對，以判斷銲道中是否出現瑕疵部位。更詳細地說，該拍攝單元2包括一軌道21、一設置於該軌道21一側的步進馬達22、一於受該步進馬達22驅動而於該軌道21上往復移動的平台23，及一可拆離地設置於該平台23上的攝影器材24。如前所述，由於本案主要是應用於大型機具4的銲道41檢測，因此該拍攝單元2主要用來進行該銲道拍攝步驟12，可以解決手持相機進行拍攝而產生的例如：拍攝的遠近、角度不同等問題。

該運算單元3包括一資料庫31、一影像還原模組32，及一影像分析模組33，該資料庫31內儲存有如附件所示的無瑕疵影像及有瑕疵影像。該影像還原模組32及該影像分析模組33分別用來進行該影像還原步驟13與該影像分析步驟14，其操作細節如前所述，不再重複敘述。

綜上所述，本發明透過上述技術導入人工智慧技術進行銲接檢測製程不僅能夠提升鋼鐵產品的品質，更能減少瑕疵所產生的額外成本，也能讓傳統的重工業往精緻品管與智慧化檢測目標邁進。

惟以上所述者，僅為本發明之較佳實施例而已，當不能以此限定本發明實施之範圍，即大凡依本發明申請專利範圍及發明說明內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。

11~14:步驟

131~134:次步驟

135~136:子步驟

2:拍攝單元

21:軌道

22:步進馬達

23:平台

24:攝影器材

3:運算單元

31:資料庫

32:影像還原模組

33:影像分析模組

4:大型機具

41:銲道

圖1是一流程圖，為本發明影像式銲道瑕疵檢測方法之較佳實施例；圖2是一示意圖，說明卷積式類神經網絡的學習方式；及圖3是一示意圖，說明本發明影像式銲道瑕疵檢測裝置之架構。

11~14:步驟

131~134:次步驟

135~136:子步驟

Claims

一種影像式銲道瑕疵檢測方法，包含：一影像資料建置步驟，建立一資料庫，包括銲接點的無瑕疵影像及有瑕疵影像；一銲道拍攝步驟，將銲接後的銲道進行拍攝並收集銲道各部位之照片；一影像還原步驟，將每一照片的變形或偏移狀況進行還原，該影像還原步驟還包括鏡頭參數校正、銲道影像擷取、影像雜訊濾波、影像拼接之次步驟，該鏡頭參數校正次步驟是將該複數相片進行相機參數校正，該影像拼接次步驟是將銲道不同區域的照片依序拼接成完整的銲道，該影像拼接次步驟還包括變形校正子步驟及影像縫合子步驟，該變形校正子步驟是將該複數相片進行傾斜影像的校正；及一影像分析步驟，將還原後的照片與該資料庫進行比對，判斷銲道中是否出現瑕疵部位。
如請求項1所述的影像式銲道瑕疵檢測方法，其中，該影像資料建置步驟中，是提供訓練資料，並以卷積式類神經網路進行學習。
如請求項2所述的影像式銲道瑕疵檢測方法，其中，訓練資料包括銲接種類特徵資料、銲道特徵資料，及銲道瑕疵特徵資料。
一種影像式銲道瑕疵檢測裝置，包含：一拍攝單元，用以拍攝銲接後的銲道並收集銲道各部位之照片；及一運算單元，與該拍攝單元電連接，用以將該拍攝單元所拍攝的照片影像進行還原與比對，以判斷銲道中是否出現瑕疵部位，該運算單元包括一資料庫、一影像還原模組，及一影像分析模組，該資料庫包括銲接點的無瑕疵影像及有瑕疵影像，該影像還原模組是將照片進行相機參數的校正，及傾斜影像的校正。
如請求項4所述的影像式銲道瑕疵檢測裝置，其中，該拍攝單元包括一軌道、一於該軌道上往復移動的平台，及一可拆離地設置於該平台上的攝影器材。
如請求項5所述的影像式銲道瑕疵檢測裝置，其中，該拍攝單元還包括一設置於該軌道一側的步進馬達，該步進馬達驅動該平台於該軌道上往復移動。