TWI772181B - 電路板抓取位置的自動辨識系統與自動辨識方法 - Google Patents
電路板抓取位置的自動辨識系統與自動辨識方法 Download PDFInfo
- Publication number
- TWI772181B TWI772181B TW110134173A TW110134173A TWI772181B TW I772181 B TWI772181 B TW I772181B TW 110134173 A TW110134173 A TW 110134173A TW 110134173 A TW110134173 A TW 110134173A TW I772181 B TWI772181 B TW I772181B
- Authority
- TW
- Taiwan
- Prior art keywords
- circuit board
- training
- target
- layout
- target image
- Prior art date
Links
Images
Landscapes
- Image Processing (AREA)
- Supply And Installment Of Electrical Components (AREA)
- Image Analysis (AREA)
Abstract
本發明提供一種電路板抓取位置的自動辨識系統與自動辨識方法。本發明對標準電路板的佈局圖執行簡化處理,來獲得剔除辨識雜訊的訓練佈局圖,並輸入設定有抓取位置訓練佈局圖至訓練模型來使訓練模型具備辨識相同類型電路板的能力。本發明還於透過訓練模型辨識目標影像為標準電路板時,對目標影像執行匹配處理來決定目標影像的抓取位置。本發明可準確辨識目標影像的抓取位置,並可實現無人化的電路板自動抓取。
Description
本發明係有關自動辨識系統與方法,特別有關於電路板抓取位置的自動辨識系統與自動辨識方法。
為了從正確的抓取位置抓取電路板,目前已有一種自動辨識抓取位置的方法被提出。
具體而言,現有的方法是透過人工方式拍攝電路板的大量影像,使用這些影像執行訓練來產生辨識模型,再使用此辨識模型來辨識電路板。
於上述方法中,由於不同人所蒐集的影像內容與所使用的學習演算法通常不同,會導致辨識模型的精準度參差不齊。
具體而言,由於電路板存在大量且複雜的元件,其軟板容易產生形變,且容易導致反光,以人工方式所拍攝的訓練影像,通常會包含大量雜訊,而降低辨識模型的精確度。
此外,辨識模型的精確度是與訓練影像中的辨識區域和辨識特徵的選擇的息息相關,不適合的學習演算法與不當的辨識特徵都會降低辨識模型的精確度。
是以,現有自動辨識電路板抓取位置的方法存在上述人為因素造成的問題,而亟待更有效的方案被提出。
本發明之主要目的,係在於提供一種電路板抓取位置的自動辨識系統與自動辨識方法,可完全排除造成訓練模型的精確度不穩定的人為介入並提供穩定的辨識特徵。
於一實施例中,一種電路板抓取位置的自動辨識方法,包括:a)取得不同類型的多個標準電路板的多個佈局圖,並對各該標準電路板的該佈局圖執行一簡化處理,來獲得剔除辨識雜訊的一訓練佈局圖;b)基於各該訓練佈局圖對一訓練模型執行一訓練處理來使該訓練模型具備辨識不同類型的該多個標準電路板的能力,其中各該訓練佈局圖設定有一抓取位置;c)輸入一目標電路板的一目標影像至該訓練模型來對該目標影像執行一辨識處理;及,d)於辨識該目標影像符合任一該標準電路板時,對該目標影像執行一匹配處理來基於符合的該標準電路板的該訓練佈局圖的該抓取位置決定該目標影像的一抓取位置;該辨識處理包括:e1)對該目標影像執行一目標邊緣分析以獲得該目標影像的多個目標元件邊緣特徵;e2)基於該目標元件邊緣特徵與各該標準電路板的多個辨識特徵計算該目標影像對各該標準電路板的一相似分數;及,e3)基於分數最高的該標準電路板決定一辨識結果。
於一實施例中,一種電路板抓取位置的自動辨識系統,包含:一影像擷取設備、一抓取設備及一控制設備。該影像擷取設備用以拍攝一目標電路板來獲得一目標影像。該抓取設備用以抓取電路板。該控制設備連接該影像擷取設備及該抓取設備,包括一簡化模組、一訓練模組及一辨識模組。該簡化模組被設定來對一標準電路板的一佈局圖執行一簡化處理,來獲得剔除辨識雜訊以獲得一訓練佈局圖。該訓練模組被設定來輸入該訓練佈局圖至一訓練模型來使該訓練模型具備辨識相同類型電路板的能力,其中該訓練佈局圖上設定有一抓取位置。該辨識模組輸入該目標影像至該訓練模型以執行辨識,於辨識該目標影像為該標準電路板時,對該目標影像執行一匹配處理來基於符合的該標準電路板的該訓練佈局圖的該抓取位置決定該目標影像的一抓取位置。該控制設備被設定來基於該目標影像的該抓取位置控制該抓取設備抓取該目標電路板。
本發明可準確辨識目標影像的抓取位置,並可實現無人化的電路板自動抓取。
10:控制設備
11:影像擷取設備
12:抓取設備
13:儲存設備
130:佈局圖
131:訓練模型
132:電腦程式
20:目標電路板
30:加工設備
31:人機介面
32:通訊介面
40:運算平台
500:拍攝控制模組
501:簡化模組
502:預處理模組
503:輪廓提取模組
504:零碎元件過濾模組
505:重複元件過濾模組
506:曲折元件過濾模組
507:訓練模組
508:辨識模組
509:抓取控制模組
510:加工控制模組
60:吸取與驅動設備
61:電路板運輸設備
62、62’:位置
70-73:佈局圖
74、75:目標影像
740-748、830-838:影像特徵
80-82:圖案
S10-S11:訓練步驟
S20-S24:抓取步驟
S30-S35:簡化步驟
S40-S41:訓練處理步驟
S50-S52:辨識處理步驟
圖1為本發明一實施例的自動辨識系統的架構圖。
圖2為本發明一實施例的自動辨識系統的架構圖。
圖3為本發明一實施例的控制設備的架構圖。
圖4為本發明一實施例的自動辨識的資料流的示意圖。
圖5為本發明一實施例的自動辨識方法的流程圖。
圖6為本發明一實施例的簡化處理的流程圖。
圖7為本發明一實施例的訓練處理與辨識處理的流程圖。
圖8為本發明一實施例的夾取電路板的示意圖。
圖9為本發明一實施例的佈局圖的輪廓示意圖。
圖10為本發明一實施例的零碎元件過濾處理的處理結果的示意圖。
圖11為本發明一實施例的重複元件過濾處理的處理結果的示意圖。
圖12為本發明一實施例的曲折元件過濾處理的處理結果的示意圖。
圖13為本發明一實施例的目標影像的示意圖。
圖14為本發明一實施例的另一目標影像的示意圖。
茲就本發明之一較佳實施例,配合圖式,詳細說明如後。
為了實現自動化與無人產線,電路板的自動夾取的準確度相當重要。
為了能夠精準地辨識電路板的夾取位置(即執行夾取時不會破壞電路板及其上元件的位置),本發明提出一種電路板抓取位置的自動辨識系統與自動辨識方法,可使用佈局圖(layout drawing)對訓練模型進行訓練,使訓練模型可以正確辨識此類電路板。並且,本發明使用訓練完成的訓練模型來辨識目標電路板(即目前要加工的實體電路板)的類型,並依據辨識結果來進行抓取位置的定位。
請參閱圖1,為本發明一實施例的自動辨識系統的架構圖。本實施例的自動辨識系統主要包含影像擷取設備11、抓取設備12、儲存設備13及連接上述設備的控制設備10。
影像擷取設備11,如彩色攝影機、紅外線攝影機、3D攝影機或其他光學攝影機,用來拍攝目標電路板20來獲得目標影像(如彩色影像、灰階影像、黑白影像、3D影像等)。
抓取設備12,如可抓取電路板的自動化機械,用來抓取目標電路板20,並搬移至指定的位置(如後述之加工位置)。抓取設備12可以透過包含夾取(如機械夾)、吸取(如磁力或吸力)等方式來抓取電路板。
儲存設備13用來儲存資料。於一實施例中,儲存設備13可儲存各類標準電路板的佈局圖130,前述佈局圖130為2D影像,並可透過對各類標準電路板的設計圖(通常為向量圖或立體圖)執行轉檔來加以獲得。
於一實施例中,儲存設備13可儲存訓練模型131,如機器學習模型或記錄影像辨識特徵的資料模型。訓練模型131用來於接受資料訓練來學習辨識各類標準電路板的能力。
控制設備10,如處理器、搭載處理器的機台控制電腦或控制盒等、用來控制自動辨識系統的各設備運作,如執行後述之訓練模式與抓取模式。
請一併參閱圖2,為本發明一實施例的自動辨識系統的架構圖。相較於圖1的實施例,本實施例的自動辨識系統更包含連接控制設備10的加工設備30,如電路板的製造設備(如焊接/組裝設備)或檢測設備(如檢查元件/接點的設備)。加工設備30用來對放置於加工位置的目標電路板20執行加工(如焊接、組裝或檢查)。
於一實施例中,自動辨識系統更包含連接控制設備10的人機介面31,如觸控螢幕、按鍵、顯示螢幕、指示燈、蜂鳴器等輸入/輸出裝置的任意組合,用來提供資訊並與用戶進行互動。
於一實施例中,自動辨識系統更包含連接控制設備10的通訊介面32,如網路卡、Wi-Fi模組、蜂巢網路模組等可連接區域網路或網際網路的網路介面。
於一實施例中,通訊介面32可用來連接運算平台40(如雲端伺服器或遠端主機),並與運算平台40進行通訊。
於一實施例中,前述佈局圖130與訓練模型131可儲存於運算平台40,運算平台40可用來執行後述之訓練模式來使用佈局圖130(可由自動辨識系統提供、自電路板資料庫中取得或自行從設計圖轉檔獲得)對訓練模型131執行訓練,並將訓練完成的訓練模型131傳送至自動辨識系統以執行抓取模式。
於一實施例中,自動辨識系統更包含連接控制設備10的電力設備(圖未標示),電力設備用來連接固定電源(如市電)並將接收電力轉換為自動辨識系統運作所需電力。
請一併參閱圖3,為本發明一實施例的控制設備的架構圖。於本實施例中,控制設備10可包含模組500-510。這些模組500-510分別被設定來實做不同的功能。
拍攝控制模組500,被設定來控制影像擷取設備11對目標電路板20進行拍攝來獲得目標影像。
簡化模組501,被設定來對影像執行簡化處理,來濾除影像中的辨識雜訊,並保留可辨識度較高的辨識特徵,如較具特色的圖案、圖案組合及/或圖案分佈等。
於一實施例中,簡化模組501可包含模組502-506。
預處理模組502,被設定來對影像執行預處理,如裁切、色彩空間轉換、對比強調等,來使影像符合規定的格式或提高可辨識度。
輪廓提取模組503,被設定來於影像中辨識電路板的多個元件的輪廓。
零碎元件過濾模組504,被設定來從影像中濾除面積較小的元件。這些面積較小的元件(如細小的銅箔或線路)於影像上如同小面積雜點,無法作為辨識特徵,且會成為影像辨識的雜訊。
重複元件過濾模組505,被設定來於影像中辨識大量重複出現的多個元件,並從影像中濾除重複的多個元件。這些重複元件是位置相近的重複或相似的設計,具有相同或相似的外型而會影響後續的定位精確度,不適合作為辨識特徵。
曲折元件過濾模組506,被設定來於影像中辨識曲折元件(如具有多個角點的元件),並從影像中濾除此元件。曲折元件由於元件角度不穩定,會影響後續的定位精確度,不適合作為辨識特徵。
訓練模組507,被設定來執行訓練模式。訓練模組507可輸入訓練影像(如訓練佈局圖)至訓練模型131來對訓練模型131執行訓練處理,以使其具備辨識相同類型電路板的能力。
於一實施例中,訓練影像可設定有抓取位置,而使得訓練後的訓練模型131可以自動辨識抓取位置。
抓取控制模組509,被設定來基於辨識獲得的目標影像的抓取位置控制抓取設備12對目標電路板20的抓取位置執行抓取。
於一實施例中,抓取控制模組509,於完成抓取後,可進一步控制抓取設備12將目標電路板20運送至加工位置。
加工控制模組510,被設定來控制加工設備30對加工位置的目標電路板20執行加工。
前述模組500-510是相互連接(可為電性連接與資訊連接),並可為硬體模組(例如是電子電路模組、積體電路模組、SoC等等)、軟體模組(例如是韌體、作業系統或應用程式)或軟硬體模組混搭,不加以限定。
值得一提的是,當前述模組為軟體模組(例如是韌體、作業系統或應用程式)時,儲存設備13或運算平台40可包含非暫態電腦可讀取記錄媒體(圖未標示),前述非暫態電腦可讀取記錄媒體儲存有電腦程式132,電腦程式132記錄有電腦可執行之程式碼,當控制設備10或運算平台40的處理器執行前述程式碼後,可實做對應模組之功能。
請一併參閱圖4,為本發明一實施例的自動辨識的資料流的示意圖。圖4示出了本發明一實施例的訓練模式(上圖)與抓取模式(下圖)的資料流。
如圖4上圖所示,本發明首先對標準電路板的佈局圖130執行簡化處理來產生訓練資料(即訓練佈局圖),再將訓練資料輸入至訓練模型131來執行訓練,以獲得訓練資料的辨識特徵。透過對不同的訓練資料執行訓練,即可獲得不同標準電路板的辨識特徵,即訓練模型131可辨識不同類型的電路板。
如圖4下圖所示,本發明接著將目標電路板20的目標影像輸入至完成訓練的訓練模型131,來辨識目標電路板20的電路板類型,並依據辨識獲得的電路板類型取得對應的辨識特徵(包含抓取位置),最後使用所取得的辨識特徵對目標影像執行匹配處理,來透過定位這些辨識特徵來確認目標影像的抓取位置。
本發明由於是使用無雜訊或雜訊極少的訓練佈局圖(由設計圖獲得的電子圖檔)來訓練辨識特徵,而非透過拍攝獲得的影像(包含大量雜訊),而具有極高的辨識精確度與定位精確度。
請一併參閱圖5,為本發明一實施例的自動辨識方法的流程圖。本發明各實施例的自動辨識方法可應用於圖1-4、8所示的任一系統。
本實施例的自動辨識方法包含訓練模式(步驟S10-S11)。
步驟S10:控制設備10先取得標準電路板的佈局圖130,並透過簡化模組501對佈局圖130執行簡化處理來濾除辨識雜訊,藉以獲得剔除辨識雜訊的訓練佈局圖。
前述佈局圖130是呈現標準電路板的電子元件分佈與線路佈局的2D影像。
步驟S11:控制設備10透過訓練模組507輸入所產生訓練佈局圖至訓練模型131,來對訓練模型131執行訓練處理,而使訓練模型131具備辨識相同類型電路板的能力。
於一實施例中,訓練佈局圖設定有適合此類電路板的抓取位置,如立體元件較少的位置、元件較少或沒有元件的位置、電路板中韌性較高的位置、容易於抓取過程中保持平衡的位置(如電路板的重心或中心)等。經過訓練的訓練模型131可以於輸入相同類型的電路板影像時,從輸入影像中辨識出適合此電路板的抓取位置。並且,當以此抓取位置抓取電路板時,由於抓取位置的元件較少、韌性較高及/或容易平衡,可大幅降低抓取動作對電路板造成破壞的機率,如可以避免損毀元件、損毀電路板、夾取過程中電路板掉落等情況。
於一實施例中,本發明可取得不同類型的多個標準電路板的多個佈局圖130,並對多個佈局圖130分別執行上述訓練模式,來使訓練模型131同時具備辨識不同類型的多個標準電路板的能力。
於一實施例中,本發明對多類型的多個標準電路板的多個佈局圖130執行訓練模式,可以產生多個標準電路板的分類規則,這些分類規則可以用來對輸入影像的影像特徵進行分類,來決定輸入影像所屬的電路板類型。
本實施例的自動辨識方法還包含訓練完成後執行的抓取模式(步驟S20-S24)。
步驟S20:控制設備10可先透過拍攝控制模組500控制影像擷取設備11對抵達準備位置的目標電路板20拍攝進行拍攝來獲得目標影像,並透過辨識模組508將目標影像輸入至訓練模型131來執行辨識處理。
步驟S21:控制設備10依據辨識處理的結果決定所輸入的目標影像是否符合任一種事先建立的標準電路板。
於一實施例中,於辨識處理中,訓練模型131可將目標影像與事先建立的各標準電路板的影像特徵進行比對,並於判斷目標影像包含任一標準電路板的全部或大部分影像特徵(包括形狀比對相符與位置比對相符)時,判定目標電路板20屬於此標準電路板。
於一實施例中,於辨識處理中,訓練模型131可提取目標影像的影像特徵,並將影像特徵與事先建立的各分類規則進行比對,以透過分類來決定目標電路板20所屬的標準電路板。
若控制設備10判定目標影像符合任一標準電路板,則執行步驟S22;否則,控制設備10執行步驟S24。
步驟S22:控制設備10取得符合的標準電路板的辨識相關資料(如辨識特徵或訓練佈局圖,並包含抓取位置),並透過辨識模組508對目標影像與辨識相關資執行匹配處理來決定目標影像中的抓取位置,前述目標影像中的抓取位置是對應執行訓練模式時所設定的訓練佈局圖的抓取位置。
於一實施例中,辨識相關資料包含辨識特徵與抓取位置之間的排列關係,控制設備10從目標影像中辨識出這些辨識特徵後,即可依據上述排列關係計算出目標影像中的抓取位置。
於一實施例中,辨識相關資料包含設定有抓取位置的訓練佈局圖,控制設備10從目標影像中辨識出多個辨識特徵後,可以依據這些特徵在訓練佈局圖中的方向、旋轉角度、距離等,來調整目標影像(如縮放及/或旋轉),而使目標影像與訓練佈局圖呈現相同的方向及/或尺寸,而可以清楚得知訓練佈局圖的抓取位置於目標影像中的對應位置。
步驟S23:控制設備10依據所決定目標影像的抓取位置,透過抓取控制模組509將此影像位置轉換為機器人座標位置,並產生對應的抓取命令,並執行此抓取命令來控制抓取設備12從目標電路板20的抓取位置抓取目標電路板20。
於一實施例中,控制設備10可進一步控制抓取設備12將抓起的目標電路板20移動至加工設備30的加工位置。
並且,控制設備10可透過加工控制模組510加工設備30對加工位置的目標電路板20執行加工。
若於步驟S21中,控制設備10判定目標影像不符合所有標準電路板,則執行步驟S24:控制設備10透過人機介面31發出警示,以提醒用戶辨識失敗。
於一實施例中,於目標影像不符合所有標準電路板時,控制設備10可自動改採用機器學習方式來辨識目標電路板20的適合的抓取位置,如元件密度較低的位置、中央或重心位置等,再對辨識出的抓取位置執行抓取。
於一實施例中,於目標影像不符合所有標準電路板時,控制設備10可接受人工操作來執行抓取。
本發明可準確辨識目標影像的抓取位置,並可實現無人化的電路板自動抓取。
請參閱圖8,為本發明一實施例的夾取電路板的示意圖。於本實施例中,抓取設備12包括連接控制設備10的吸取與驅動設備60與電路板運輸設備61。
首先,電路板運輸設備61可將目標電路板20移動至吸取與驅動設備60的抓取範圍內(即準備位置62)。於此為透過無軌自動搬運車運輸,並由升降台將目標電路板20送到指定高度的拍照位置來觸發影像擷取設備11拍攝目標影像,亦可改用輸送帶或其他電路板運輸設備。
接著,吸取與驅動設備60可透過驅動機構(如機械手臂)來移動吸嘴至準備位置62並對目標電路板20的抓取位置進行吸取並離開準備位置62,如位置62’所示。
接著,吸取與驅動設備60可透過於驅動機構移動至加工位置,並釋放目標電路板20於加工位置。
藉此,本發明可實現電路板的無人化自動抓取與放置。
請一併參閱圖5及圖6,圖6為本發明一實施例的簡化處理的流程圖。相較於圖5的實施例,本實施例的自動辨識方法的簡化處理包括以下步驟S30-S35。
步驟S30:控制設備10取得標準電路板的佈局圖130。
於一實施例中,控制設備10可先取得標準電路板的設計圖,並對設計圖執行2D轉檔處理來獲得2D的佈局圖。
前述設計圖可為Gerber格式或電腦輔助設計(CAD)格式。所獲得的佈局圖130可為彩色、黑白或灰階的2D影像。
接著,控制設備10可執行步驟S31-S35來從佈局圖13中過濾雜訊,以獲得沒有辨識雜訊或辨識雜訊極少的訓練佈局圖。
值得一提的是,後述步驟S31-S35可全部執行或僅部分執行,且其之間並沒有執行的先後順序,其執行與否與執行順序可依用戶需求任意變更。
步驟S31:控制設備10透過預處理模組502對所取得的佈局圖130執行預處理,來使佈局圖130符合規定的格式或提高可辨識度。
步驟S32-S35是透過元件輪廓來執行雜訊偵測。
步驟S32:控制設備10透過輪廓提取模組503對佈局圖130執行輪廓提取處理來於佈局圖130中辨識目標電路板20的最外圍輪廓以界定目標電路板20的範圍,並可進一步辨識目標電路板20的多個元件的輪廓。
於一實施例中,前述輪廓提取處理可包含肯尼演算法(Canny Algorithm)、索貝爾運算子(Sobel Operator)或其他邊緣偵測演算法,不加以限定。
步驟S33:控制設備10透過零碎元件過濾模組504對佈局圖130執行零碎元件過濾處理,來從佈局圖130中濾除面積小於零碎臨界值的元件的圖案。
於一實施例中,零碎臨界值是基於目標電路板20的銅箔面積與第一比例所決定,如將銅箔面積乘上第一比例(可大於1)作為零碎臨界值。
步驟S34:控制設備10透過重複元件處理模組505對佈局圖130執行重複元件過濾處理,來辨識指定的搜尋範圍內數量超過重複臨界值的重複的多個元件,並從佈局圖130濾除重複的多個元件的圖案。
於一實施例中,重複元件過濾處理包含以各元件為中心向外擴張指定的搜尋半徑作為搜尋範圍。
於一實施例中,前述搜尋半徑是基於各元件的邊長與第二比例所決定,如將邊長(如最長邊的邊長)乘上第二比例(可大於1)作為搜尋半徑。
步驟S35:控制設備10透過曲折元件過濾模組506對佈局圖130執行曲折元件過濾處理,來從佈局圖130中辨識具有多個角點的元件(曲折元件),並從佈局圖130濾除元件的圖案。
於一實施例中,曲折元件過濾處理是辨識角點數量大於角點臨界值的元件作為曲折元件。
於一實施例中,曲折元件過濾處理是計算個元件的多個角點的數量與多個輪廓點的數量之間的角點-輪廓點比例(即角點占所有邊緣的比例),並將角點-輪廓點比例大於第三比例(可小於1)的元件作為曲折元件。
請一併參閱圖9至圖12,圖9為本發明一實施例的佈局圖的輪廓示意圖,圖10為本發明一實施例的零碎元件過濾處理的處理結果的示意圖,圖11為本發明一實施例的重複元件過濾處理的處理結果的示意圖,圖12為本發明一實施例的曲折元件過濾處理的處理結果的示意圖。
如圖9所示,原始未處理的佈局圖70存在大量零碎元件的圖案80,這些零碎元件的圖案80會成為辨識雜訊。
如圖10所示,零碎元件過濾處理後獲得的佈局圖71,已經濾除零碎元件的圖案80,但存在大量重複元件的圖案81,這些重複元件的圖案81會降低辨識精確度。
如圖11所示,重複元件過濾處理後獲得的佈局圖72,已經濾除重複元件的圖案81,但存在少量曲折元件的圖案82,這些曲折元件的圖案82會降低定位精確度。
如圖12所示,曲折元件過濾處理後獲得的佈局圖73,已經濾除曲折元件的圖案82,且沒有可能成為雜訊的其他圖案。因此,佈局圖73可直接
作為訓練佈局圖,並且,佈局圖73中的影像特徵830-838(包括位置與形狀)可於後續用來辨識目標影像是否屬於相同類型電路板(如具有相同元件排列與線路佈局)。
值得一提的是,由於不同類型的電路板通常具有差異極大的元件排列與線路佈局,過濾上述元件的動作並不會造成辨識精確度的下降,反而因為辨識特徵更為明顯,可以提升辨識速度與精確度。
請一併參閱圖9與圖12-14,圖13為本發明一實施例的目標影像的示意圖,圖14為本發明一實施例的另一目標影像的示意圖。如圖12,透過訓練可以獲得標準電路板的影像特徵830-838。
於圖13所示的例子中,於拍攝目標電路板的目標影像後,可對目標影像執行處理,如執行預處理或執行輪廓提取處理來提取多個元件的輪廓,以獲得處理後的目標影像74。
於一實施例中,亦可對目標影像74執行簡化處理來降低雜訊成分。
接著,控制設備10可將目標影像74的影像特徵740-748與標準電路板的影像特徵830-838執行匹配處理,並發現完全匹配。藉此,控制設備10可判定目標電路板為圖9所示的標準電路板。
於圖14的例子中,於拍攝另一目標電路板的另一目標影像後,可對另一目標影像執行處理,如執行預處理、輪廓提取處理及/或簡化處理,以獲得處理後的另一目標影像75。
接著,控制設備10可將另一目標影像75的影像特徵(如圖14的多個方塊)與標準電路板的影像特徵830-838執行匹配處理,並發現不匹配。藉此,控制設備10可判定目標電路板不屬於為圖9所示的標準電路板。
請一併參閱圖5及圖7,圖7為本發明一實施例的訓練處理與辨識處理的流程圖。相較於圖5的實施例,本實施例的訓練處理包括步驟S40-S41。
步驟S40:控制設備10透過訓練模組507對所輸入的訓練影像(即對應標準電路板的訓練佈局影像)執行訓練邊緣分析以獲得訓練影像的多個訓練元件邊緣特徵。
步驟S41:控制設備10透過訓練模組507基於多個訓練元件邊緣特徵計算標準電路板的多個辨識特徵。
前述基於影像邊緣計算辨識特徵於影像辨識處理領域已有許多現有技術,本發明是將其應用於電路板特徵辨識。
相較於圖5的實施例,本實施例的辨識處理包括步驟S50-S52。
步驟S50:控制設備10透過辨識模組508對目標影像執行目標邊緣分析以獲得目標影像的多個目標元件邊緣特徵。
於一實施例中,步驟S40與步驟S50的邊緣分析可包含肯尼演算法(Canny Algorithm)、索貝爾運算子(Sobel Operator)或其他邊緣偵測演算法,訓練邊緣分析與目標邊緣分析可使用相同或不同演算法,不加以限定。
步驟S51:控制設備10透過辨識模組508基於目標元件邊緣特徵與各標準電路板的多個辨識特徵計算目標影像對各標準電路板的相似分數。
步驟S52:控制設備10透過辨識模組508基於分數最高的標準電路板決定辨識結果,並基於對應的相似分數來對目標影像的多個元件進行定位。
於一實施例中,若最高的相似分數低於預設的分數臨界值時,控制設備10可決定辨識結果為全部不匹配;若最高的相似分數不低於預設的分數臨界值時,控制設備10可設定辨識結果為最高的相似分數所對應的標準電路板。
於一實施例中,當辨識結果為全部不匹配時,由於分數最高的標準電路板與目標電路板20是具有最高的相似度,控制設備10可使用分數最高的標準電路板來對目標影像的多個元件進行定位。
於一實施例中,於訓練處理中,控制設備10可對訓練影像(如訓練佈局圖)執行訓練邊緣分析來獲得訓練影像的多個訓練取樣邊緣點(的位置)及各訓練取樣邊緣點的梯度方向與重心(即訓練元件邊緣特徵,為影像特徵),並依據這些訓練取樣邊緣點及預設的邊緣偵測範圍與容許差異範圍來計算多個訓練相似分數(即此種標準電路板的辨識特徵)。
舉例來說,控制設備10可將各訓練取樣邊緣點擴張前述邊緣偵測範圍,並設定梯度方向的角度的容許差異範圍,並與一假設即時影像的取樣邊緣點與梯度方向進行比較來獲得各訓練取樣邊緣點的距離差異與梯度差異,並作為前述訓練相似分數。
並且,於辨識處理中,控制設備10可依序選擇各標準電路板的辨識特徵來執行以下處理。控制設備10可對目標影像執行目標分析來獲得目標影像的多個目標取樣邊緣點(的位置)及各目標取樣邊緣點的梯度方向(即目標元件邊緣特徵,為影像特徵),計算目標取樣邊緣點所對應的預測重心,比較多個訓練相似分數與多個預測重心所對應的多個重心相似分數(對多個重心相似分數執行加總或平均等運算處理即可獲得相似分數),以比較目標影像與標準電路板的影像特徵的相似度。
並且,控制設備10可進一步以分數高於分數臨界值的預測重心作為對應訓練影像的重心,藉此達成目標影像與訓練影像之間的多個影像特徵的比對、匹配與定位。
於一實施例中,控制設備10可基於多個目標取樣邊緣點與其梯度方向(可進一步參考梯度方向的角度的容許差異範圍)篩選出部分的目標取樣邊緣點,並計算這些目標取樣邊緣點的預測重心。
以上所述僅為本發明之較佳具體實例,非因此即侷限本發明之申請專利範圍,故舉凡運用本發明內容所為之等效變化,均同理皆包含於本發明之範圍內,合予陳明。
S10-S11:訓練步驟
S20-S24:抓取步驟
Claims (14)
- 一種電路板抓取位置的自動辨識方法,包括:a)取得不同類型的多個標準電路板的多個佈局圖,並對各該標準電路板的該佈局圖執行一簡化處理,來獲得剔除辨識雜訊的一訓練佈局圖;b)基於各該訓練佈局圖對一訓練模型執行一訓練處理來使該訓練模型具備辨識不同類型的該多個標準電路板的能力,其中各該訓練佈局圖設定有一抓取位置;c)輸入一目標電路板的一目標影像至該訓練模型來對該目標影像執行一辨識處理;及d)於辨識該目標影像符合任一該標準電路板時,對該目標影像執行一匹配處理來基於符合的該標準電路板的該訓練佈局圖的該抓取位置決定該目標影像的一抓取位置,其中該抓取位置供一抓取設備抓取該目標電路板;其中,該辨識處理包括:e1)對該目標影像執行一目標邊緣分析以獲得該目標影像的多個目標元件邊緣特徵;e2)基於該多個目標元件邊緣特徵與各該標準電路板的多個辨識特徵計算該目標影像對各該標準電路板的一相似分數;及e3)基於分數最高的該標準電路板決定一辨識結果。
- 如請求項1所述之電路板抓取位置的自動辨識方法,其中該簡化處理包括一步驟f1)對該佈局圖執行一輪廓提取處理來於該佈局圖中辨識該目標電路板的多個元件的輪廓。
- 如請求項2所述之電路板抓取位置的自動辨識方法,其中該簡化處理包括以下步驟的至少其中之一:f2)對該佈局圖執行一零碎元件過濾處理,來從該佈局圖濾除面積小於一零碎臨界值的該元件;f3)對該佈局圖執行一重複元件過濾處理,來辨識一搜尋範圍內數量超過一重複臨界值的重複的該多個元件,並從該佈局圖濾除重複的該多個元件;及f4)對該佈局圖執行一曲折元件過濾處理,來辨識具有多個角點的該元件,並從該佈局圖濾除該元件。
- 如請求項3所述之電路板抓取位置的自動辨識方法,其中該零碎臨界值是基於該目標電路板的銅箔面積與一第一比例所決定;其中,該重複元件過濾處理包括以各該元件為中心向外擴張一搜尋半徑作為該搜尋範圍,該搜尋半徑是基於各該元件的一邊長與一第二比例所決定;其中,該曲折元件過濾處理是過濾角點數量大於一角點臨界值或該多個角點的數量與多個輪廓點的數量之間的一角點-輪廓點比例大於一第三比例的該元件。
- 如請求項1所述之電路板抓取位置的自動辨識方法,其中該訓練處理包括:g1)對該訓練佈局圖執行一訓練邊緣分析以獲得該訓練佈局圖的多個訓練元件邊緣特徵;及g2)基於該多個訓練元件邊緣特徵計算該標準電路板的該多個辨識特徵。
- 如請求項5所述之電路板抓取位置的自動辨識方法,其中該訓練處理更包括:h1)執行該訓練邊緣分析來獲得該訓練佈局圖的多個訓練取樣邊緣點的位置、梯度方向與重心,以作為該多個訓練元件邊緣特徵;及h2)基於該多個訓練取樣邊緣點、一邊緣偵測範圍及一容許差異範圍來計算多個訓練相似分數,作為該多個辨識特徵。
- 如請求項1所述之電路板抓取位置的自動辨識方法,其中該辨識處理更包括:e4)以最高的該標準電路板的該相似分數來對該目標影像的多個元件進行定位。
- 如請求項7所述之電路板抓取位置的自動辨識方法,其中該辨識處理更包括:i1)執行該目標邊緣分析來獲得該目標影像的多個目標取樣邊緣點及各該目標取樣邊緣點的梯度方向,以作為該多個目標元件邊緣特徵;及i2)基於各該目標取樣邊緣點的位置與梯度方向計算各該目標取樣邊緣點的一預測重心,比較多個訓練相似分數與該多個預測重心所對應的多個重心相似分數,並基於該多個重心相似分數決定該標準電路板的該相似分數。
- 一種電路板抓取位置的自動辨識系統,包括:一影像擷取設備,用以拍攝一目標電路板來獲得一目標影像;一抓取設備,用以抓取電路板;及 一控制設備,連接該影像擷取設備及該抓取設備,包括:一簡化模組,被設定來對一標準電路板的一佈局圖執行一簡化處理,來獲得剔除辨識雜訊以獲得一訓練佈局圖;一訓練模組,被設定來輸入該訓練佈局圖至一訓練模型來使該訓練模型具備辨識相同類型電路板的能力,其中該訓練佈局圖上設定有一抓取位置;一辨識模組,輸入該目標影像至該訓練模型以執行辨識,於辨識該目標影像為該標準電路板時,對該目標影像執行一匹配處理來基於符合的該標準電路板的該訓練佈局圖的該抓取位置決定該目標影像的一抓取位置;其中,該控制設備被設定來基於該目標影像的該抓取位置控制該抓取設備抓取該目標電路板。
- 如請求項9所述之電路板抓取位置的自動辨識系統,其中該控制設備更包括:一輪廓提取模組,被設定來於該佈局圖中辨識該目標電路板的多個元件的輪廓;及一零碎元件過濾模組,被設定來從該佈局圖濾除面積小於一零碎臨界值的該元件,其中該零碎臨界值是基於該目標電路板的銅箔面積與一第一比例所決定。
- 如請求項9所述之電路板抓取位置的自動辨識系統,其中該控制設備更包括:一輪廓提取模組,被設定來於該佈局圖中辨識該目標電路板的多個元件的輪廓;及 一重複元件過濾模組,被設定來於該佈局圖中辨識一搜尋範圍內數量超過一重複臨界值的重複的該多個元件,並從該佈局圖濾除重複的該多個元件;其中,該重複元件過濾模組更被設定來以各該元件為中心向外擴張一搜尋半徑作為該搜尋範圍,該搜尋半徑是基於各該元件的一邊長與一第二比例所決定。
- 如請求項9所述之電路板抓取位置的自動辨識系統,其中該控制設備更包括:一輪廓提取模組,被設定來於該佈局圖中辨識該目標電路板的多個元件的輪廓;及一曲折元件過濾模組,被設定來於佈局圖中辨識具有多個角點的該元件,並從該佈局圖濾除該元件;其中,該曲折元件過濾模組更被設定來過濾角點數量大於一角點臨界值或該多個角點的數量與多個輪廓點的數量之間的一角點-輪廓點比例大於一第三比例的該元件。
- 如請求項9所述之電路板抓取位置的自動辨識系統,其中該訓練模組更被設定來對該訓練佈局圖執行一訓練邊緣分析以獲得該訓練佈局圖的多個訓練元件邊緣特徵,並基於該多個訓練元件邊緣特徵計算多個辨識特徵。
- 如請求項9所述之電路板抓取位置的自動辨識系統,其中該辨識模組更被設定來對該目標影像執行邊緣分析以獲得該目標影像的多個目標元件邊緣特徵,基於該多個目標元件邊緣特徵與各該標準電路板的多個辨識特徵計算該目標影像對各該標準電路板的一 相似分數,基於分數最高的該標準電路板決定一辨識結果,並以對應的該相似分數來對該目標影像的多個元件進行定位。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW110134173A TWI772181B (zh) | 2021-09-14 | 2021-09-14 | 電路板抓取位置的自動辨識系統與自動辨識方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW110134173A TWI772181B (zh) | 2021-09-14 | 2021-09-14 | 電路板抓取位置的自動辨識系統與自動辨識方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
TWI772181B true TWI772181B (zh) | 2022-07-21 |
TW202312021A TW202312021A (zh) | 2023-03-16 |
Family
ID=83439806
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW110134173A TWI772181B (zh) | 2021-09-14 | 2021-09-14 | 電路板抓取位置的自動辨識系統與自動辨識方法 |
Country Status (1)
Country | Link |
---|---|
TW (1) | TWI772181B (zh) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105184778A (zh) * | 2015-08-25 | 2015-12-23 | 广州视源电子科技股份有限公司 | 一种检测方法及装置 |
-
2021
- 2021-09-14 TW TW110134173A patent/TWI772181B/zh active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105184778A (zh) * | 2015-08-25 | 2015-12-23 | 广州视源电子科技股份有限公司 | 一种检测方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
TW202312021A (zh) | 2023-03-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3458919B1 (en) | Robot assisted object learning vision system | |
CN107138432B (zh) | 非刚性物体分拣方法和装置 | |
JP3768174B2 (ja) | ワーク取出し装置 | |
CN110866903B (zh) | 基于霍夫圆变换技术的乒乓球识别方法 | |
JP2019509559A (ja) | センサ誘導式ロボットを用いたボックスの位置特定、分離、およびピッキング | |
WO2018010391A1 (zh) | 一种板卡的检测方法及装置 | |
CN111178317A (zh) | 检测定位方法、系统、装置、电子设备及存储介质 | |
CN113610921A (zh) | 混合工件抓取方法、设备及计算机可读存储介质 | |
CN110756462B (zh) | 电源适配器测试方法、装置、系统、控制装置及存储介质 | |
CN110929795A (zh) | 高速焊线机焊点快速识别与定位方法 | |
CN115082559A (zh) | 一种柔性件的多目标智能分拣方法、系统及存储介质 | |
CN113538459A (zh) | 一种基于落点区域检测的多模式抓取避障检测优化方法 | |
CN107895166B (zh) | 基于特征描述子的几何哈希法实现目标鲁棒识别的方法 | |
TWI772181B (zh) | 電路板抓取位置的自動辨識系統與自動辨識方法 | |
CN115082498A (zh) | 一种机器人抓取位姿估计方法、装置、设备及存储介质 | |
CN114092428A (zh) | 图像数据处理方法、装置、电子设备和存储介质 | |
CN114037595A (zh) | 图像数据处理方法、装置、电子设备和存储介质 | |
CN111563871A (zh) | 图像处理方法、装置、设备和视觉引导拆垛方法、系统 | |
CN115809974A (zh) | 电路板抓取位置的自动识别系统与自动识别方法 | |
JP2021039457A (ja) | 画像処理方法、エッジモデル作成方法、ロボットシステム、および物品の製造方法 | |
CN112786509B (zh) | 一种定位系统、定位方法及计算设备 | |
CN112288038B (zh) | 基于图像分类的物体识别或物体注册的方法及计算系统 | |
Yang et al. | Target position and posture recognition based on RGB-D images for autonomous grasping robot arm manipulation | |
TWM535875U (zh) | 具影像辨識功能之自動化ic移載系統 | |
TWI626704B (zh) | 具影像辨識功能之自動化ic移載系統及其移載方法 |