TWI719459B - 用於生產線之辨識與追蹤系統 - Google Patents

Abstract

一種用於生產線之辨識與追蹤系統主要包括：一影像擷取裝置，拍攝該生產線上之一第N工件，並產生一第N影像資訊，其中，N為一正整數；一伺服器，與該影像擷取裝置連結，接收該第N影像資訊，並利用一影像辨識程序以獲取一第N工件狀態資訊。其中，該影像擷取裝置為RGB-D攝影機，並可搭配影像辨識技術對該生產線上的工件進行追蹤。

Description

用於生產線之辨識與追蹤系統

本發明係與工件辨識有關，特別是關於一種用於生產線之辨識與追蹤系統。

按，本發明是應用於粉體塗裝生產線(Powder coating production line)領域，在塗裝生產線上一般會有長度約400 公尺左右，過程中每項加工件需要經過好幾道程序最後才能產出，但這些加工件在移動過程可能會產生遺失件、重工件等問題，使得一個或多個客戶訂單無法完成，這通常會間接影響剩餘等待塗裝的訂單，造成生產時間延遲，無法在預定時間出貨，這往往不是企業或客戶所樂見的，因此需要一套能追蹤並掌握工件狀況的系統。在早期大部分是利用電子標籤(如:RFID)的方式來解決問題，這個方法在短期上看似是可以解決的，但在長期運作上卻存在著不少問題以及風險，其主要遇到的問題說明如下：

1. RFID成本問題：如使用耐高溫的RFID Tag，其成本至少要200元，而一般塗裝線長度也有幾百公尺，掛勾數量就有幾千個掛勾，而建置費也至少要20萬元，若是加上後續故障更換的人工作業，會使得後續維護的成本不斷增加。

2. 一勾多料與一料多勾：由於上料時需要逐一設定每個掛勾下方的工件資訊，除了很難設定之外，也造成Reader 讀取到一個Tag 時可能是有好幾個加工料，或者多個Tag 的資料才表示一個加工料，這些狀況都造成追蹤吊掛工件的困擾。

3. 加工件遺失掉落：當工件進入池子時，可能會因為浮力漂起來而脫勾，導致後續RFID Reader 即使讀到某個Tag 的資料，但很可能下方的工件已經不見了，造成報工系統提供的資訊與實際狀況不一致。

4. 加工件重複施工(重工)：例如：手動將塗裝不良的區域研磨掉，接著再重新進行粉體塗裝，只是不需要從第一個步驟開始，會從產線的中途吊掛上去，這些狀況也造成設定RFID Tag 作業的負擔。

5. RFID的損耗：由於RFID Tag 每天都會進入噴漆室以及烤漆室，這些每日頻繁溫度變化，都容易導致日後RFID Tag 的檢測與替換問題，也造成維護上的負擔。

因此，本發明之主要目的乃在提供一種用於生產線之辨識與追蹤系統，其係夠自動地將RGB-D攝影機所攝取的工件影像進行運算分析，而能隨時掌握生產線運作狀況與分析整體產線效率。

緣是，為能達成上述目的，本發明所揭用於生產線之辨識與追蹤系統包括：一影像擷取裝置，拍攝該生產線上之一第N工件，並產生一第N影像資訊，其中，N為一正整數；一伺服器，與該影像擷取裝置連結，接收該第N影像資訊，並利用一影像辨識程序以獲取一第N工件狀態資訊。

其中，該影像擷取裝置為一RGB-D攝影機，係可克服環境光線影像干擾，提升辨識能力。

其中，該第N工件利用一第H掛鉤吊掛於該生產線上，其中，H為一正整數，且H不等於N，而該伺服器連結有一感測器，用以該第H掛鉤，並進行計數。

其中，該第N工件利用一第H掛鉤吊掛於該生產線上，該影像辨識程序係指分析該第N影像資訊中該第H掛鉤的數量，當該第H掛鉤的數量小於一預定值時，則將該第H掛鉤歸類於該第N工件狀態資訊所包含之一第P工件群組，其中，P為一正整數，且P小於或等於N；當該第H掛鉤的數量等於該預定值時，則將該第H掛鉤歸類為該第N工件狀態資訊所包含之一第Q工件群組，其中，Q為一正整數，且Q小於N，Q不等於P。

其中，該第N工件利用一第H掛鉤吊掛於該生產線上，並透過單一個該第H掛鉤當前的狀態來判別出該生產線的運作情形，即該影像辨識程序亦可為分析該第N影像資訊中該第H掛鉤的位移量是否小於一臨界值，若其判斷結果為是，則該生產線為停止狀態；若其判斷結果為否，則補償校正該第H掛鉤的位移量。

其中，該影像辨識程序還可以是判斷工件尺寸型態而將該第N工件進行分群，即判斷該第N工件的尺寸型態是否匹配於一第N-1工件的尺寸型態，若判斷結果為是，則將該第N工件與一第N-1工件歸類於該第N工件狀態資訊所包含之一第M工件群組，其中，M為一正整數，且M小於或等於N；若判斷結果為否，則將該第N工件歸類為該第N工件狀態資訊所包含之一第K工件群組，其中，K為一正整數，且K小於N，K不等於M。

其中，該影像辨識程序亦可根據工件之間的間距將該第N工件進行分群，即允許該伺服器判斷該第N工件與一第N-1工件之間的間距是否等於該第N-1工件與一第N-2工件之間的間距，若判斷結果為是，則將該第N工件與一第N-1工件歸類於該第N工件狀態資訊所包含之一第F工件群組，其中，F為一正整數，且F小於N；若判斷結果為否，則將該第N工件歸類為該第N工件狀態資訊所包含之一第G工件群組，其中，G為一正整數，且G小於N，G不等於F。

本發明所揭用於生產線之辨識與追蹤系統更包括一與該伺服器連結之顯示裝置，用以顯示該第N影像資訊、該第N工件狀態資訊、該第N工件影像及該第H掛鉤影像。

本發明所揭用於生產線之辨識與追蹤系統更包括一資料庫，包含製造資訊，而該伺服器係根據該第N工件狀態資訊自該資料庫所含的該製造資訊中計算出即時製造過程與進度，用以分析完成進度與預估之訂單完成時間。

首先，請參閱圖1所示，在本發明的較佳實施例中所提供用於生產線之辨識與追蹤系統，其主要乃係包含了一影像擷取裝置10、一伺服器20、一資料庫30、一感測器40，及一顯示裝置50，其中，該影像擷取裝置10、該資料庫30、該顯示裝置50、該感測器40係分別與該伺服器20連結。

當該生產線PL上之一第N工件WP(n)移動到該影像擷取裝置10的感應區域A時（如圖5A所示），則拍攝該第N工件WP(n)以產生一第N影像資訊，其中，N為一正整數。該影像擷取裝置10為一RGB-D攝影機，係可克服環境光線影像干擾，提升辨識能力。

該第N工件WP(n)利用一第H掛鉤HU(h)吊掛於該生產線PL上（如圖5A所示），其中，H為一正整數，且H不等於N，即H為一編碼流水號。且該感測器40用以偵測該第H掛鉤HU(h)，並進行計數，以作為該第H掛鉤HU(h)的編號。該感測器40可為但不限於紅外線感測器40、金屬感測器40，其中，若選用金屬感測器40可避免該第H掛鉤HU(h)因晃動而造成重複計數之問題。

該資料庫30包含有製造資訊，而該製造資訊可為但不限於訂單、工單及製令等與生產製造有關之資訊。

在本實施例中，該生產線PL係指粉體塗裝生產線(Powder coating production line)，其包含有水洗、烘乾、粉料噴塗、高溫烘烤等處理站，而實際上，將該影像擷取裝置10與該感測器40作為一組監控站，並可依據使用者需求設置於其所指定之處理站，或設立於該些處理站之間，用以進行偵測，同時可微調本發明對於不同站之間所認定的匹配條件來解決加工件之重工、遺失等問題，以達到辨識的主要範疇。藉此，本發明能夠以RGB-D攝影機搭配電腦視覺的技術來取代作業人員的眼睛來即時追蹤該第N工件WP(n)在各個處理站的狀況。此外，若生產線PL上所增設其他的處理站時，可對應配置該影像擷取裝置10與該感測器40，如此一來，使得本發明具有便利且快速的擴充性質。

該伺服器20係接收該第N影像資訊，並利用一影像辨識程序60以獲取一第N工件WP(n)狀態資訊，以供使用者透過該第N工件WP(n)狀態資訊即時檢視該第N工件WP(n)的實際狀況，而能快速地決定對應處理的方案。再者，該伺服器20將該第N工件WP(n)狀態資訊與該資料庫30所含的製造資訊相比對，以分析出完成進度與預估之訂單完成時間，並可顯示於該顯示裝置50上，令使用者了解該生產線PL的即時狀況，藉此進行分析或決策，而能提高產製效率及降低誤判情事。其中，該顯示裝置50可為但不限於中央即時看板。

請參考圖2所示，該影像辨識程序60係包含了有一空鉤判斷程序、一掛鉤位置監測程序及一工件確認程序者。其中，該些程序間可單獨執行或是以交叉組合的方式來執行。

該空鉤判斷程序係指分析該第N影像資訊中是否存在該第H掛鉤HU(h)，若其判斷結果為是，則將該第H掛鉤HU(h)歸類於該第N工件WP(n)狀態資訊所包含之一第P工件群組，其中，P為一正整數，且P小於或等於N；若判斷結果為否，則將該第H掛鉤HU(h)歸類為該第N工件WP(n)狀態資訊所包含之一第Q工件群組，其中，Q為一正整數，且Q小於N，Q不等於P。在本實施例中，該第P工件群組為該第H掛鉤HU(h)遺失掉落或異常的類別；該第Q工件群組為該第N工件WP(n)的吊掛狀態正常的類別。

為了能判別該生產線PL的運作情形，其係透過單一個該第H掛鉤HU(h)當前的狀態來判別，即該掛鉤位置監測程序分析該第N影像資訊中該第H掛鉤HU(h)的位移量是否小於一臨界值，若判斷結果為是，則該生產線PL為停止狀態；若判斷結果為否，則補償校正該第H掛鉤HU(h)的位移量，以達到工件追蹤之效果。其中，該臨界值為預定的誤差範圍。

進一步來說，請參考圖3所示，該第H掛鉤HU(h)的位移量的偵測步驟為： 步驟I：  連結該資料庫30，其更包含有一掛鉤樣板資訊，該掛鉤樣板資訊可為但不限於掛鉤形狀、掛鉤顏色； 步驟II：    擷取該第N影像資訊中該第H掛鉤HU(h)所在區域之ROI影像，並產生一第H掛鉤HU(h)影像； 步驟III： 調整該第H掛鉤HU(h)影像的亮度與對比； 步驟IV： 利用影像前處理技術將該第H掛鉤HU(h)影像進行形態學過濾，以凸顯該第H掛鉤HU(h)影像中該第H掛鉤HU(h)所在的區域； 步驟V：   對該第H掛鉤HU(h)影像與該掛鉤樣板資訊進行差異性比對，並計算出一第N匹配指數，接著判斷將該第H掛鉤HU(h)影像是否與該掛鉤樣板資訊相匹配； 步驟VI： 當該第N匹配指數符合一匹配條件時，則對再次擷取該第N影像資訊中該第H掛鉤HU(h)所在區域之ROI影像，並產生一第H掛鉤HU(h)複核影像；其中，該匹配條件為該第N匹配指數大於0.8，以避免該第H掛鉤HU(h)因偏轉而造成無法讀取之問題； 步驟VII：         根據該第H掛鉤HU(h)複核影像來紀錄該第H掛鉤HU(h)所在位置，以獲得一第N座標； 步驟VIII：     由該第N座標及一第N-1座標計算出該第H掛鉤HU(h)的位移量。

該工件確認程序是判斷工件尺寸型態而將該第N工件WP(n)進行分群，即判斷該第N工件WP(n)的尺寸型態是否匹配於一第N-1工件WP(n-1)的尺寸型態，若判斷結果為是，則將該第N工件WP(n)與一第N-1工件WP(n-1)歸類於該第N工件WP(n)狀態資訊所包含之一第M工件群組，其中，M為一正整數，且M小於或等於N；若判斷結果為否，則將該第N工件WP(n)歸類為該第N工件WP(n)狀態資訊所包含之一第K工件群組，其中，K為一正整數，且K小於N，K不等於M。在本實施例中，該第M工件群組為相同工件尺寸型態的類別；該第K工件群組為相異工件尺寸型態的類別。

進一步來說，請參考圖4所示，該第N工件WP(n)的尺寸型態的判斷步驟為： 步驟A：   將該第N影像資訊進行二值化處理；其中，由於該第N影像資訊的成像為不同灰度值組成，具有不同景深特性，因此要將灰階影像轉換為較單純之黑與白的影像以利後續步驟之進行； 步驟B：    對該步驟A之第N影像資訊進行物體偵測，已獲得一第N工件WP(n)影像； 步驟C：    若該第N工件WP(n)影像中該第N工件WP(n)的寬度、高度或面積比例係小於一第N工件WP(n)參數時，則將該第N工件WP(n)影像自該第N影像資訊中移除，達到過濾背景雜訊之目的； 步驟D：   再次對該第N影像資訊進行物體偵測，並利用形態學對該第N工件WP(n)影像進行優化處理，藉以優化前景工件邊界，並獲得該第N工件WP(n)的尺寸型態。

此外，該工件確認程序還包括根據工件之間的間距將該第N工件WP(n)進行分群，即更允許該伺服器判斷該第N工件WP(n)與一第N-1工件WP(n-1)之間的間距ΔX1是否等於該第N-1工件WP(n-1)與一第N-2工件WP(n-2)之間的間距ΔX2，若判斷結果為是，則將該第N工件WP(n)與一第N-1工件WP(n-1)歸類於該第N工件WP(n)狀態資訊所包含之一第F工件群組，其中，F為一正整數，且F小於N；若判斷結果為否，則將該第N工件WP(n)歸類為該第N工件WP(n)狀態資訊所包含之一第G工件群組，其中，G為一正整數，且G小於N，G不等於F。在本實施例中，該第F工件群組為同一批工件的類別；該第G工件群組為不同批工件的類別。

舉例來說，位於該生產線PL上的每一個掛鉤之間的距離係相同，而以圖5A及圖5B所顯示局部的該生產線PL中，第H掛鉤HU(h)、第H-1掛鉤HU(h-1)、第H-2掛鉤HU(h-2)、第H-3掛鉤HU(h-3)與第H-4掛鉤HU(h-4)之間的間距係相等。其中，在圖5A中，間距ΔX1不等於間距ΔX2，則判斷該第N工件WP(n)與該第N-1工件WP(n-1)為不同批工件。在圖5B中，間距ΔX1係等於間距ΔX2，則判斷該第N工件WP(n)與該第N-1工件WP(n-1)為同一批工件。

根據上述技術特徵，本發明係藉由RGB-D攝影機搭配影像辨識技術對粉體塗裝生產線上的工件進行追蹤，以避免傳統以RFID Tag來監測生產線時所遇到的問題。

10:影像擷取裝置 20:伺服器 30:資料庫 40:感測器 50:顯示裝置 60:影像辨識程序 PL:生產線 A:感應區域 WP(n):第N工件 WP(n-1):第N-1工件 WP(n-2):第N-2工件 HU(h):第H掛鉤 HU(h-1):第H-1掛鉤 HU(h-2):第H-2掛鉤 HU(h-3):第H-3掛鉤 HU(h-4):第H-4掛鉤 ΔX1、ΔX2:間距

圖1係本發明較佳實施例之系統方塊圖。 圖2係本發明較佳實施例之工件狀態辨識流程圖。 圖3係本發明較佳實施例之偵測生產線運作狀態的流程圖。 圖4係本發明較佳實施例之辨識工件尺寸型態的流程圖。 圖5A係本發明較佳實施例之生產線系統的示意圖一，其表示第N工件與第N-1工件為不同批工件之態樣。 圖5B係本發明較佳實施例之生產線系統的示意圖二，其表示第N工件與第N-1工件為同一批工件之態樣。

10:影像擷取裝置

20:伺服器

30:資料庫

40:感測器

50:顯示裝置

Claims (8)

1. 一種用於生產線之辨識與追蹤系統，包括：一影像擷取裝置，拍攝該生產線上之一第N工件，並產生一第N影像資訊，其中，N為一正整數；一伺服器，與該影像擷取裝置連結，接收該第N影像資訊，並利用一影像辨識程序以獲取一第N工件狀態資訊；其中，該第N工件利用一第H掛鉤吊掛於該生產線上，其中，H為一正整數，且H不等於N，而該伺服器連結有一感測器，用以偵測該第H掛鉤，並進行計數。
2. 如申請專利範圍第1項所述之用於生產線之辨識與追蹤系統，其中，該影像擷取裝置為一RGB-D攝影機。
3. 如申請專利範圍第1或2項所述之用於生產線之辨識與追蹤系統，其中，該第N工件利用一第H掛鉤吊掛於該生產線上，該影像辨識程序係指分析該第N影像資訊中該第H掛鉤的數量，當該第H掛鉤的數量小於一預定值時，則將該第H掛鉤歸類於該第N工件狀態資訊所包含之一第P工件群組，其中，P為一正整數，且P小於或等於N；當該第H掛鉤的數量等於該預定值時，則將該第H掛鉤歸類為該第N工件狀態資訊所包含之一第Q工件群組，其中，Q為一正整數，且Q小於N，Q不等於P。
4. 如申請專利範圍第1或2項所述之用於生產線之辨識與追蹤系統，其中，該第N工件利用一第H掛鉤吊掛於該生產線上，該影像辨識程序係指分析該第N影像資訊中該第H掛鉤的位移量是否小於一臨界值，若其判斷結果為是，則該生產線為停止狀態；若其判斷結果為否，則補償校正該第H掛鉤的位移量。
5. 如申請專利範圍第1或2項所述之用於生產線之辨識與追蹤系統，其中，該影像辨識程序係指判斷該第N工件的尺寸型態是否匹配於一第N-1工件的尺寸型態，若判斷結果為是，則將該第N工件與一第N-1工件歸類於該第N工件狀態資訊所包含之一第M工件群組，其中，M為一正整數，且M小於或等於N；若判斷結果為否，則將該第N工件歸類為該第N工件狀態資訊所包含之一第K工件群組，其中，K為一正整數，且K小於N，K不等於M。
6. 如申請專利範圍第1或2項所述之用於生產線之辨識與追蹤系統，其中，允許該伺服器判斷該第N工件與一第N-1工件之間的間距是否等於該第N-1工件與一第N-2工件之間的間距，若判斷結果為是，則將該第N工件與一第N-1工件歸類於該第N工件狀態資訊所包含之一第F工件群組，其中，F為一正整數，且F小於N；若判斷結果為否，則將該第N工件歸類為該第N工件狀態資訊所包含之一第G工件群組，其中，G為一正整數，且G小於N，G不等於F。
7. 如申請專利範圍第1項所述之用於生產線之辨識與追蹤系統，其更包括一與該伺服器連結之顯示裝置，用以顯示該第N影像資訊及該第N工件狀態資訊。
8. 如申請專利範圍第1項所述之用於生產線之辨識與追蹤系統，其更包括一資料庫，包含製造資訊，而該伺服器係根據該第N工件狀態資訊自該資料庫所含的該製造資訊中計算出即時製造過程與進度。

Images