TWI708041B - 檢測與標記瑕疵的方法 - Google Patents
檢測與標記瑕疵的方法 Download PDFInfo
- Publication number
- TWI708041B TWI708041B TW108135947A TW108135947A TWI708041B TW I708041 B TWI708041 B TW I708041B TW 108135947 A TW108135947 A TW 108135947A TW 108135947 A TW108135947 A TW 108135947A TW I708041 B TWI708041 B TW I708041B
- Authority
- TW
- Taiwan
- Prior art keywords
- module
- defect
- detecting
- detection
- marking
- Prior art date
Links
Images
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
本發明提供一種檢測與標記瑕疵的方法。方法是控制2D攝影模組對受測物的不同區域進行拍攝以獲得各區域的檢測2D影像,對各檢測2D影像執行瑕疵檢測處理以判斷各區域是否存在瑕疵,於任一區域存在瑕疵時控制3D攝影模組對此區域進行拍攝以獲得區域的外觀3D資料,依據外觀3D資料量測瑕疵的3D位置,並控制標記模組於受測物上對3D位置進行標記。本發明可有效地提升瑕疵檢測速度,準確地決定瑕疵的位置並進行標記。
Description
本發明涉及方法,特別涉及檢測與標記瑕疵的方法。
於現有的瑕疵檢測技術中,多是以人工方式來檢測物件上的瑕疵,而需耗費大量人力,且檢測品質不穩定。
目前雖有一種檢測系統被提出,前述檢測系統是使用2D攝影機來對整個物件進行拍攝以獲得一張2D影像,並對2D影像進行瑕疵檢測來判斷是否存在瑕疵,然而,由於2D影像缺乏深度資訊,前述檢測系統並無法準確定位瑕疵,這使得於發現瑕疵後仍需人工確認瑕疵的位置並以人工方式標記瑕疵。
有鑑於此,目前亟待一種可自動檢測與標記瑕疵的方案被提出。
本發明提供一種檢測與標記瑕疵的方法,可快速地檢測瑕疵並準確地對瑕疵進行定位與標記。
於一實施例中,本發明提出一種檢測與標記瑕疵的方法,用於檢測與標記系統,檢測與標記系統包括2D攝影模組、3D攝影模組及標記模組,檢測與標記瑕疵的方法包括以下步驟:控制2D攝影模組對受測物的不同區域進行2D拍攝以獲得各區域的檢測2D影像;對各檢測2D影像執行瑕疵檢測處理以判斷是否任一檢測2D影像包括瑕疵的影像;於任一檢測2D影像包括瑕疵的影像時,
控制3D攝影模組對檢測2D影像所對應的區域進行3D拍攝以獲得外觀3D資料;依據外觀3D資料量測瑕疵的3D位置;及,控制標記模組對3D位置進行標記。
本發明可有效地提升瑕疵檢測速度,準確地決定瑕疵位置並進行標記。
10:檢測與標記系統
100:控制模組
101:2D攝影模組
102:3D攝影模組
103:標記模組
104:移動模組
105:記憶模組
106:電腦程式
107:通訊模組
108:人機介面
11:電腦裝置
12:承載台
20-22:受測物
200、220:瑕疵
201、221:標記
P1、P2:座標
S10-S15:第一檢測步驟
S20-S28:設定步驟
S30-S35:校正步驟
S40-S49:第二檢測步驟
圖1為本發明第一實施例的檢測與標記系統的架構圖;圖2為本發明第二實施例的檢測與標記系統的第一示意圖;圖3為本發明第二實施例的檢測與標記系統的第二示意圖;圖4為本發明第三實施例的檢測與標記系統的示意圖;圖5為本發明第一實施例的檢測與標記瑕疵的方法的流程圖;圖6為本發明第二實施例的檢測與標記瑕疵的方法的部分流程圖;圖7為本發明第三實施例的檢測與標記瑕疵的方法的部分流程圖;及圖8為本發明第四實施例的檢測與標記瑕疵的方法的流程圖。
下面結合圖式和具體實施例對本發明技術方案進行詳細的描述,以更進一步瞭解本發明的目的、方案及功效,但並非作為本發明所附申請專利範圍的限制。
首請一併參閱圖1至圖4,圖1為本發明第一實施例的檢測與標記系統的架構圖,圖2為本發明第二實施例的檢測與標記系統的第一示意圖,圖3
為本發明第二實施例的檢測與標記系統的第二示意圖,圖4為本發明第三實施例的檢測與標記系統的示意圖。
本發明的檢測與標記系統10可包括2D攝影模組101、3D攝影模組102、標記模組103及電性連接上述模組並用以進行控制的控制模組100。
2D攝影模組101(如黑白攝影機或彩色攝影機)用以進行2D拍攝以產生檢測2D影像。3D攝影模組102用以進行3D拍攝以產生外觀3D資料。
於一實施例中,3D攝影模組102可包括2D攝影機及深度計(如雷射測距儀)。2D攝影機用以對受測物的特定視角的畫面進行拍攝來產生2D影像。深度計用以量測畫面中的各位置的深度值,即量測各2D影像的各像素所對應的實際位置與深度計之間的距離。並且,藉由對各2D影像與對應的多個深度值進行處理可產生此視角的點雲資料。
於一實施例中,2D攝影模組101與3D攝影模組102可整合設置,而3D攝影模組102為深度計,即進行3D拍攝時是使用2D攝影模組101來拍攝2D影像並使用3D攝影模組102來取得深度值。
標記模組103(如標籤機、噴塗裝置或光雕機)用以對立體空間中指定位置進行標記(如貼標籤、噴塗或燒灼指定圖文)。
於一實施例中,檢測與標記系統10更包括電性連接控制模組100的移動模組104。
於一實施例中,如圖2及圖3所示,2D攝影模組101、3D攝影模組102及標記模組103可設置於移動模組104(如機械手臂),移動模組104可於立體空間中移動2D攝影模組101、3D攝影模組102及標記模組103,而可對承載台12上的受測物20的不同區域進行拍攝或標記。
於一實施例中,2D攝影模組101、3D攝影模組102及/或標記模組103可分別設置於不同的移動模組104(如設置於不同的機械手臂。藉此,可同時進行2D拍攝、3D拍攝及/或標記動作,而可有效減少檢測時間。
前述兩種設置方式由於不需移動承載台與受測物,而適用於較大的、較重的或較脆弱的受測物的檢測。
於一實施例中,如圖4所示,2D攝影模組101、3D攝影模組102是固定設置的。標記模組103與承載台12分別設置於不同的移動模組104。舉例來說,標記模組103設置於機械手臂,承載台12設置於多軸移動裝置。藉此,移動模組104可移動承載台12來使受測物22的各區域朝向2D攝影模組101與3D攝影模組102以進行拍攝。
於一實施例中,2D攝影模組101、3D攝影模組102及標記模組103是固定設置的。移動模組104可移動承載台12來使受測物22的存在瑕疵的區域朝向標記模組103以進行標記。
由於2D攝影模組101與3D攝影模組102具有精密光學結構,前述兩種設置方式可避免2D攝影模組101與3D攝影模組102因移動而損壞或對焦失敗並提供較佳的拍攝品質,而適用於較小的或較精細的受測物的檢測。
於一實施例中,檢測與標記系統10還可包括電性連接控制模組100的記憶模組105。記憶模組105用以儲存資料。
於一實施例中,檢測與標記系統10還可包括電性連接控制模組100的人機介面108(如指示燈、喇叭、按鈕或其他輸入/輸出元件)。
於一實施例中,檢測與標記系統10還可包括電性連接控制模組100的通訊模組107(如藍芽收發器、Zig-Bee收發器、Wi-Fi收發器Sub-1GHz收發器等無線通訊模組或USB模組、有線網路模組、序列資料通訊模組等有線通訊
模組)。檢測與標記系統10可經由通訊模組107連接外部的電腦裝置11(如遙控器或個人電腦)。
藉此,使用者可經由人機介面108或電腦裝置11來控制檢測與標記系統10或得知檢測與標記系統10的當前狀態(如當前工作模式或檢測進度)。
於一實施例中,記憶模組105包括非暫態電腦可讀取媒體,非暫態電腦可讀取媒體儲存有電腦程式106(如韌體、作業系統或應用程式),電腦程式106記錄有電腦可讀取的程式碼。控制模組100可執行電腦程式106來控制檢測與標記系統10實現本發明各實施例的檢測與標記瑕疵的方法的各步驟。
續請一併參閱圖5,為本發明第一實施例的檢測與標記瑕疵的方法的流程圖。本實施例的檢測與標記瑕疵的方法可運用於圖1至圖4所示任一實施例的檢測與標記系統10(後續將配合圖1至圖2進行說明)。
步驟S10:控制模組100控制2D攝影模組101對受測物20(圖2以車輛為例)的不同區域進行2D拍攝以獲得各區域的檢測2D影像。
於圖2所示的實施例中,控制模組100可自記憶模組105讀取一組檢測路徑,並控制移動模組104沿檢測路徑移動以使受測物20的多個待檢測的區域依序進入2D攝影模組101的拍攝範圍,並於各區域進入拍攝範圍時控制2D攝影模組101進行2D拍攝以獲得各區域的檢測2D影像。
步驟S11:控制模組100對所拍攝的各檢測2D影像執行瑕疵檢測處理以判斷各檢測2D影像是否包括任一瑕疵(如圖2所示的瑕疵200)的影像。
於一實施例中,控制模組100可基於預存於記憶模組105的多個瑕疵辨識規則來對各檢測2D影像執行瑕疵檢測處理。
於一實施例中,控制模組100可將各檢測2D影像與預存於記憶模組105的多張瑕疵影像進行比較以判斷各檢測2D影像是否包括瑕疵的影像。
步驟S12:控制模組100於任一檢測2D影像包括瑕疵的影像時,判定此檢測2D影像所對應的區域存在瑕疵,並執行步驟S13。並且,控制模組100於所有檢測2D影像皆不包括瑕疵的影像時,判定所有區域皆沒有瑕疵,而結束執行檢測與標記瑕疵的方法。
步驟S13:控制模組100控制3D攝影模組102對存在瑕疵的區域進行3D拍攝以獲得此區域的外觀3D資料(如點雲資料)。
於圖2所示的實施例中,控制模組100可取得2D攝影模組101拍攝此區域時移動模組104的座標,並依據此座標控制移動模組104移動3D攝影模組102以使此區域進入3D攝影模組102的拍攝範圍並進行3D拍攝。
步驟S14:控制模組100依據外觀3D資料量測瑕疵的3D位置。於一實施例中,控制模組100可依據外觀3D資料獲得瑕疵的深度座標(如與3D攝影模組102之間的距離),並依據拍攝到此瑕疵時移動模組104的座標及上述深度座標來獲得瑕疵的3D位置。
步驟S15:控制模組100依據3D位置經由標記模組103對瑕疵進行標記。
於圖2所示的實施例中,控制模組100可控制移動模組104移動至此3D位置,並控制標記模組103對受測物20的瑕疵200進行標記,如於瑕疵200的周圍噴塗包圍框標記201。
本發明經由2D拍攝來檢測瑕疵可有效地提升瑕疵檢測速度,並且,經由3D拍攝可決定瑕疵的3D位置並準確地進行標記。
續請一併參閱圖6,為本發明第二實施例的檢測與標記瑕疵的方法的部分流程圖。本實施例提出一種檢測路徑設定功能,可自動或經由學習產生前述檢測路徑,於後續配合圖1及圖2進行說明(但亦可用於圖3與圖4所示系
統)。本實施例的檢測與標記瑕疵的方法更包括用以實現檢測路徑設定功能的以下步驟。
步驟S20:控制模組100自動或依據使用者操作進入設定模式。於設定模式下,檢測與標記系統10可選擇性執行手動設定路徑程序(步驟S21至步驟S24)或自動設定路徑程序(步驟S25至步驟S28)。
舉例來說,若控制模組100可取得(如自記憶模組105或電腦裝置11取得)用以描述當前的受測物20的外形的3D物件資料(如受測物20的CAD檔),則可選擇執行自動設定路徑程序。若控制模組100無法取得3D物件資料,則可執行手動設定路徑程序。
手動設定路徑程序包括以下步驟。步驟S21:控制模組100經由人機介面108或電腦裝置11接受使用者的路徑設定操作(如依序輸入多個指定方向,多個指定方向可組成輸入路徑)。
步驟S22:控制模組100選擇受測物20的任一區域(如位於2D攝影模組101或3D攝影模組102當前拍攝範圍的區域)作為起始區域,並控制2D攝影機101或3D攝影模組102對所選擇區域進行拍攝以獲得起始2D影像或起始3D資料。前述受測物20是以預設擺放方式擺放於承載台12。
於一實施例中,控制模組100可進一步對起始2D影像或起始3D資料進行特徵分析,以獲得起始區域的起始區域特徵。
步驟S23:控制模組100依據路徑設定操作控制移動模組104依序朝多個指定方向移動,藉以沿輸入路徑移動。
值得一提的是,步驟S21與步驟S23可先後執行或同時執行。於先後執行的情況下,使用者可設定完整的輸入路徑(步驟S21),即一次輸入所有指定方向。檢測與標記系統10依據所設定的輸入路徑控制移動模組104移動(步驟S22)。
於同時執行的情況下,使用者可先輸入一個指定方向(步驟S21),檢測與標記系統10再依據所輸入的指定方向即時控制移動模組104移動(步驟S22)。於移動完成後,使用者可接著輸入下一個指定方向以使檢測與標記系統10依據下一個指定方向即時控制移動模組104移動,以此類推,直到輸入路徑設定完成。
於一實施例中,於移動模組104沿輸入路徑移動期間,控制模組100可控制2D攝影模組101持續進行拍攝,並將所產生的2D影像輸出至人機介面108或電腦裝置11以供使用者確認當前的輸入路徑是否符合期望,如是否清楚拍攝到所有區域。
步驟S24:控制模組100於控制移動模組104沿輸入路徑移動期間(即步驟S23執行期間)可記錄移動模組104所經過的座標,依據所記錄的座標產生檢測路徑並儲存於記憶模組105,並結束設定。
於一實施例中,控制模組100還可將前述起始區域的起始區域特徵對應至檢測路徑並記錄於記憶模組105。
藉此,本發明可完成檢測路徑的手動設定,而可令使用者針對不同類型或不同尺寸的受測物客製專屬的檢測路徑。
自動設定路徑程序包括以下步驟。步驟S25:控制模組100載入3D物件資料。所載入的3D物件資料是用以描述指定的受測物(預設物件)的外形。
步驟S26:控制模組100於預設物件的多個區域中選擇其中之一作為起始區域,並分析起始區域的外形以產生起始區域特徵。
步驟S27:控制模組100依據3D物件資料計算模擬路徑。於一實施例中,模擬路徑的起點為步驟S26所設定的起始區域。
於一實施例中,控制模組100依據預設物件來規劃模擬路徑(如經過預設物件的所有區域的路徑),並依據此模擬路徑計算包括多個座標的檢測路
徑。當移動模組104依序於多個座標間移動時可使預設物件的各區域依據進入2D攝影模組101的拍攝範圍。
步驟S28:控制模組100將所產生的檢測路徑與對應的起始區域特徵記錄於記憶模組105,並結束設定。。
藉此,本發明可自動依據受測物的3D物件資料來產生適用於此受測物的檢測路徑,不須使用者的手動操作即可自動完成檢測路徑的設定,而可有效節省人力。
圖6所示的實施例雖可產生特定受測物的檢測路徑,然而,所產生的檢測路徑僅適用於當時的擺放方式,一但擺放方式不同,即便是對相同類型的受測物進行檢測,亦必須重新產生對應新的擺放方式的檢測路徑,這將增加檢測時間。
續請一併參閱圖7,為本發明第三實施例的檢測與標記瑕疵的方法的部分流程圖。為解決上述問題,本實施例提出一種檢測路徑校正功能,可自動依據受測物的當前擺放方式改變校正現有的檢測路徑,而使校正後的檢測路徑適用於當前的擺放方式,於後續配合圖1至圖3進行說明(但亦可用於圖4所示系統)。於本實施例中,檢測路徑是基於圖2所示擺放方式與受測物20所規劃,圖3所示擺放方式與受測物21則為當前檢測目標。相較於圖1所示的檢測與標記瑕疵的方法,本實施例的檢測與標記瑕疵的方法於步驟S10之前更包括用以實現檢測路徑校正功能的以下步驟。
步驟S30:控制模組100進入檢測模式。
步驟S31:控制模組100(可依使用者操作)自記憶模組105載入檢測路徑及此檢測路徑所對應的起始區域特徵(如車頭特徵)。並且,所載入的檢測路徑是基於預設擺放方式擺放受測物(如圖2所示的預設擺放方式)所產生。
於一實施例中,所載入的檢測路徑所對應的受測物20是與當前的受測物21相同、相似或為相同類型物件(如為不同款式的車)。
步驟S32:控制模組100控制2D攝影模組101或3D攝影模組102對受測物21的各區域進行拍攝以獲得定位2D影像或定位3D資料。所拍測的受測物21是以不同於預設擺放方式的另一擺放方式(如圖3所示的擺放方式)被擺放。
步驟S33:控制模組100對所拍攝的定位2D影像或定位3D資料進行特徵分析處理,以分析所拍攝的各區域的區域特徵,並將各區域的區域特徵與起始區域特徵進行比較。
若控制模組100判斷任一區域的區域特徵符合起始區域特徵,則執行步驟S34。若控制模組100判斷所有區域的區域特徵皆不符合起始區域特徵,則結束檢測與標記瑕疵的方法,並可輸出警示訊息至人機介面108或電腦裝置11。
步驟S34:控制模組100設定特徵符合的區域為本次檢測的起始區域。
步驟S35:控制模組100依據拍攝到起始區域時移動模組104的座標(新起始座標)對所載入的檢測路徑進行校正處理。
於一實施例中,檢測路徑包括有序的多個座標,前述校正處理是將檢測路徑的第一個座標(原起始座標)替換為新起始座標,計算原起始座標與新起始座標之間的偏移,並依據所算出的偏移對檢測路徑的其餘座標進行修改,以使修改後的檢測路徑可適用於當前的受測物21的擺放方式。接著,執行步驟S10。
舉例來說,若檢測路徑是基於圖2的預設擺放方式所產生,檢測路徑的起點為座標P1,且起始區域特徵為車頭特徵(即起始區域為車頭),即移動模組104於移動至座標P1後2D攝影模組101可拍攝到車頭。
然而,當基於圖3的擺放方式進行檢測時,由於起始區域(車頭)的位置已改變,原本的檢測路徑已不適用(如依據原本的檢測路徑來進行檢測,可能發生未檢測所有區域或碰撞受測物21等失敗的狀況)。
對此,檢測與控制系統10可於擺放方式改變時經由移動模組104來控制2D攝影模組101或3D攝影模組102對受測物21的各區域進行拍攝以獲得各區域的定位2D影像或定位3D資料。接著,檢測與控制系統10分析各區域的定位2D影像或定位3D資料以獲得各區域的區域特徵,並將各區域的區域特徵與起始區域特徵進行比較以決定起始區域(車頭)的位置。接著,依據拍攝到起始區域時移動模組104的座標P2來修正檢測路徑以獲得適用於圖3的擺放方式的檢測路徑。
本發明經由於更換受測物或其擺放方式時修正現有的檢測路徑,可節省人力並節省重新規劃檢測路徑的時間。
續請一併參閱圖8,為本發明第四實施例的檢測與標記瑕疵的方法的流程圖。本實施例的檢測與標記瑕疵的方法可使用機器學習技術與自動分析技術來執行瑕疵檢測與瑕疵種類分析,於後續配合圖1與圖4進行說明(但亦可用於圖2-3所示系統)。本實施例的檢測與標記瑕疵的方法包括以下步驟。
步驟S40:控制模組100於檢測模式下控制移動模組104沿檢測路徑移動(如自起始座標開始移動)以使受測物22的各區域依據進入2D攝影模組101的拍攝範圍。
於一實施例中,如圖4所示,移動模組104是多軸轉動裝置,並連接成承載台12。移動模組104可依據檢測路徑的各座標進行移動來使受測物22的不同區域進入上方的2D攝影模組101與3D攝影模組102的拍攝範圍。
步驟S41:控制模組100控制2D攝影模組101對進入拍攝範圍的區域進行2D拍攝以產生檢測2D影像
於一實施例中,2D攝影模組101是於移動過程進行2D拍攝。
步驟S42:控制模組100自記憶模組105讀取對應當前的受測物22的瑕疵辨識模型,並基於瑕疵辨識模型對所拍攝的檢測2D影像即時執行瑕疵檢測處理。
於一實施例中,前述瑕疵辨識模型是基於機器學習對多張瑕疵範本影像執行訓練處理所產生,而可用來快速地辨識各種瑕疵。
步驟S43:控制模組100於判斷檢測2D影像包括瑕疵220的影像時,判定當前的區域存在瑕疵220,並執行步驟S44。否則,控制模組100執行步驟S49。
步驟S44:控制模組100控制移動模組104停止移動以使瑕疵220所在區域位於3D攝影模組102的拍攝範圍內。
步驟S45:控制模組100控制3D攝影模組102對當前的區域進行3D拍攝以產生此區域的外觀3D資料。
值得一提的是,由於3D拍攝所需時間遠多於2D拍攝所需時間。若於移動中執行3D拍攝則有較高的機率取得品質不佳的外觀3D資料,而造成後續的標記處理失敗或失準。
本發明於停止移動期間後進行3D拍攝可有效取得高品質的外觀3D資料,進而提升標記準確度。
步驟S46:控制模組100依據外觀3D資料量測瑕疵的3D位置。
步驟S47:控制模組100自記憶模組105讀取多個瑕疵辨識規則,並依據多個瑕疵辨識規則基於自動分析技術對外觀3D資料執行瑕疵類型分析處理以決定此瑕疵220的瑕疵類型。前述多個瑕疵辨識規則,並分別對應不同的瑕疵類型。
值得一提的是,雖於本實施例中是基於機器學習技術來對檢測2D影像執行瑕疵檢測處理,並基於自動分析技術來對外觀3D資料執行瑕疵類型分析,但不以此限定。
於一實施例中,可基於機器學習技術來執行瑕疵檢測處理與瑕疵類型分析。或者,可基於自動分析技術來執行瑕疵檢測處理,並基於機器學習技術來執行瑕疵類型分析。
步驟S48:控制模組100是依據瑕疵類型(如汙漬瑕疵)於多種標記中選擇其中之一,並控制標記模組103(及移動模組104)於3D位置對受測物22標記所選擇的該種標記(如紅色箭頭標記221)。前述多種標記分別對應不同的瑕疵類型。
於一實施例中,前述標記為可移除標記(如黏貼式標籤或噴塗可抹除顏料,如水性原料)。
於一實施例中,前述標記為不可移除標記(如使用雷射於受測物上燒灼標記或噴塗不可抹除顏料,如油性原料)。
步驟S49:控制模組100判斷本次檢測是否完成(如是否以對所有區域進行檢測,或已走完檢測路徑)。
若控制模組100判斷檢測完成,則結束檢測與標記方法。否則,控制模組100再次執行步驟S40以控制移動模組104繼續移動至下一座標,來使受測物22的下一區域進入2D攝影模組101的拍攝範圍。
本發明經由使用機器學習技術與自動分析技術可提升檢測速度與準確度,經由對外觀3D資料進行分析可有效決定瑕疵類型。
值得一提的是,雖於前述實施例中,是由檢測與標記系統10的控制模組100來執行處理(如瑕疵檢測處理、量測3D位置、識別起始區域特徵、校正檢測路徑或分析瑕疵類型等等),但不以此限定。
於一實施例中,前述處理可改由外部的電腦裝置11負責執行。具體而言,檢測與標記系統10可即時或非即時地將所獲得的2D影像與3D資料傳送至電腦裝置11,電腦裝置11於處理完成後再將處理結果(可包含控制指令)回傳至檢測與標記系統10,以使檢測與標記系統10執行後續動作(如拍攝受測物的下一區域或標記瑕疵等等)。
當然,本發明還可有其它多種實施例,在不背離本發明精神及其實質的情況下,本發明所屬技術領域中具有通常知識者當可根據本發明作出各種相應的改變和變形,但這些相應的改變和變形都應屬於本發明所附的申請專利範圍。
S10-S15:第一檢測步驟
Claims (9)
- 一種檢測與標記瑕疵的方法,用於一檢測與標記系統,該檢測與標記系統包括一2D攝影模組、一3D攝影模組及一標記模組,該檢測與標記瑕疵的方法包括以下步驟:a)控制該2D攝影模組對一受測物的不同區域進行2D拍攝以獲得各該區域的一檢測2D影像;b)對各該檢測2D影像執行一瑕疵檢測處理以判斷是否任一該檢測2D影像包括一瑕疵的影像;c)於任一該檢測2D影像包括該瑕疵的影像時,控制該3D攝影模組對該檢測2D影像所對應的該區域進行3D拍攝以獲得一外觀3D資料;d)依據該外觀3D資料量測該瑕疵的一3D位置;d1)依據該外觀3D資料及分別對應不同的瑕疵類型的多個瑕疵辨識規則分析該瑕疵的影像以決定該瑕疵的一瑕疵類型;及e)依據該瑕疵類型於多種標記中選擇其中之一,並控制該標記模組於該3D位置對該受測物標記所選擇的該種標記,其中該多種標記分別對應不同的該瑕疵類型。
- 如請求項1所述的檢測與標記瑕疵的方法,其中該檢測與標記系統更包括一移動模組;該步驟a)是於一檢測模式下控制該移動模組沿一檢測路徑移動以使該受測物的該多個區域依序進入該2D攝影模組的拍攝範圍,並對進入拍攝範圍的該區域進行2D拍攝。
- 如請求項2所述的檢測與標記瑕疵的方法,其中於該步驟a)之前更包括一步驟f)於一設定模式下依據一路徑設定操作控制該移動模組沿一輸入路徑移動,並依據移動期間該移動模組所經過的多個座標產生該檢測路徑。
- 如請求項2所述的檢測與標記瑕疵的方法,其中於該步驟a)之前更包括一步驟g)依據描述該受測物的外形的一3D物件資料計算一模擬路徑,並依據該模擬路徑產生包括有序的多個座標的該檢測路徑;該步驟a)是控制該移動模組依序於該多個座標間移動。
- 如請求項2所述的檢測與標記瑕疵的方法,其中於該步驟a)之前更包括以下步驟:h1)取得該檢測路徑及對應該檢測路徑的一起始區域特徵;h2)控制該2D攝影模組或該3D攝影模組對該受測物的各該區域進行拍攝;h3)分析所拍攝的各該區域的一區域特徵,並於任一該區域的該區域特徵符合該起始區域特徵時,設定該區域為一起始區域;及h4)依據拍攝到該起始區域時該移動模組的座標對該檢測路徑的多個座標進行校正。
- 如請求項5所述的檢測與標記瑕疵的方法,其中該步驟h4)是將拍攝到該起始區域時該移動模組的該座標設定為一新起始座標,將該檢測路徑的一原起始座標替換為該新起始座標,計算該原起始座標與該新起始座標之間的一偏移,並依據該偏移對該檢測路徑的其餘該座標進行修改,以使修改後的該檢測路徑適用於該受測物的當前擺放方式。
- 如請求項1所述的檢測與標記瑕疵的方法,其中該步驟b)是取得對應該受測物的一瑕疵辨識模型,並基於該瑕疵辨識模型對各該檢測2D影像執行該瑕疵檢測處理,其中該瑕疵辨識模型是基於機器學習對多張瑕疵範本影像執行一訓練處理所產生。
- 如請求項1所述的檢測與標記瑕疵的方法,其中該檢測與標記系統更包括一移動模組,該移動模組用以同時移動該2D攝影模組與該3D攝影模組; 該步驟a)是於一檢測模式下控制該移動模組沿一檢測路徑移動,並於移動過程中控制該2D攝影模組對該受測物的不同區域進行2D拍攝;該步驟b)是對所拍攝的該檢測2D影像即時執行該瑕疵檢測處理;該步驟c)是於所拍攝的該檢測2D影像包括該瑕疵的影像時立即控制該移動模組停止移動,控制該3D攝影模組對當前的該區域進行3D拍攝;該檢測與標記瑕疵的方法更包括一步驟i)重複執行該步驟a)至該步驟e)直到檢測完成。
- 如請求項1所述的檢測與標記瑕疵的方法,其中該步驟e)是控制該標記模組對該3D位置進行標記以於該瑕疵的周圍噴塗一包圍框標記。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW108135947A TWI708041B (zh) | 2018-10-17 | 2018-10-17 | 檢測與標記瑕疵的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW108135947A TWI708041B (zh) | 2018-10-17 | 2018-10-17 | 檢測與標記瑕疵的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202016504A TW202016504A (zh) | 2020-05-01 |
TWI708041B true TWI708041B (zh) | 2020-10-21 |
Family
ID=71895550
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW108135947A TWI708041B (zh) | 2018-10-17 | 2018-10-17 | 檢測與標記瑕疵的方法 |
Country Status (1)
Country | Link |
---|---|
TW (1) | TWI708041B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114092382A (zh) | 2020-08-07 | 2022-02-25 | 富泰华工业(深圳)有限公司 | 产品瑕疵标记装置和方法 |
US11654634B2 (en) | 2021-06-08 | 2023-05-23 | International Business Machines Corporation | Three-dimensional printing using generative adversarial network techniques |
TWI843540B (zh) * | 2023-04-26 | 2024-05-21 | 由田新技股份有限公司 | 粗糙表面影像處理方法及包含其的自動光學檢測系統 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006038885A1 (en) * | 2004-10-06 | 2006-04-13 | Generic Power Pte Ltd | System for 2-d and 3-d vision inspection |
US20070122026A1 (en) * | 2004-02-18 | 2007-05-31 | Enis Ersue | Method for planning an inspection path for determining areas that are to be inspected |
WO2008124392A1 (en) * | 2007-04-03 | 2008-10-16 | David Fishbaine | 2d/3d inspection method and system |
USRE41924E1 (en) * | 2002-05-17 | 2010-11-16 | Gsi Group Corporation | Method and system for machine vision-based feature detection and mark verification in a workpiece or wafer marking system |
US20100289891A1 (en) * | 2008-01-15 | 2010-11-18 | Yoshihiro Akiyama | Apparatus for inspecting object under inspection |
TW201239351A (en) * | 2011-03-30 | 2012-10-01 | Shen-Jwu Su | Nondestructive test method and system |
US20130061677A1 (en) * | 2010-05-14 | 2013-03-14 | Xi'an Jinbo Testing Instruments Co., Ltd. | Defect detecting system and method |
CN103380057A (zh) * | 2010-09-29 | 2013-10-30 | 航空机器股份有限公司 | 飞机的无损检测的创新系统和方法 |
WO2014034526A1 (ja) * | 2012-08-28 | 2014-03-06 | 住友化学株式会社 | 欠陥検査装置および欠陥検査方法 |
TW201428274A (zh) * | 2012-09-28 | 2014-07-16 | Rudolph Technologies Inc | 使用校準及成像檢測基板 |
TW201725355A (zh) * | 2015-12-18 | 2017-07-16 | 荷蘭Vu基金會 | 檢測裝置及方法 |
TW201814873A (zh) * | 2016-09-27 | 2018-04-16 | 美商克萊譚克公司 | 用於半導體晶圓檢查之缺陷標記 |
US20180211373A1 (en) * | 2017-01-20 | 2018-07-26 | Aquifi, Inc. | Systems and methods for defect detection |
-
2018
- 2018-10-17 TW TW108135947A patent/TWI708041B/zh active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
USRE41924E1 (en) * | 2002-05-17 | 2010-11-16 | Gsi Group Corporation | Method and system for machine vision-based feature detection and mark verification in a workpiece or wafer marking system |
US20070122026A1 (en) * | 2004-02-18 | 2007-05-31 | Enis Ersue | Method for planning an inspection path for determining areas that are to be inspected |
US20070247614A1 (en) * | 2004-10-06 | 2007-10-25 | Puah Yong J | System for 2-D and 3-D Vision Inspection |
WO2006038885A1 (en) * | 2004-10-06 | 2006-04-13 | Generic Power Pte Ltd | System for 2-d and 3-d vision inspection |
WO2008124392A1 (en) * | 2007-04-03 | 2008-10-16 | David Fishbaine | 2d/3d inspection method and system |
US20100289891A1 (en) * | 2008-01-15 | 2010-11-18 | Yoshihiro Akiyama | Apparatus for inspecting object under inspection |
US20130061677A1 (en) * | 2010-05-14 | 2013-03-14 | Xi'an Jinbo Testing Instruments Co., Ltd. | Defect detecting system and method |
CN103380057A (zh) * | 2010-09-29 | 2013-10-30 | 航空机器股份有限公司 | 飞机的无损检测的创新系统和方法 |
TW201239351A (en) * | 2011-03-30 | 2012-10-01 | Shen-Jwu Su | Nondestructive test method and system |
WO2014034526A1 (ja) * | 2012-08-28 | 2014-03-06 | 住友化学株式会社 | 欠陥検査装置および欠陥検査方法 |
TW201428274A (zh) * | 2012-09-28 | 2014-07-16 | Rudolph Technologies Inc | 使用校準及成像檢測基板 |
TW201725355A (zh) * | 2015-12-18 | 2017-07-16 | 荷蘭Vu基金會 | 檢測裝置及方法 |
TW201814873A (zh) * | 2016-09-27 | 2018-04-16 | 美商克萊譚克公司 | 用於半導體晶圓檢查之缺陷標記 |
US20180211373A1 (en) * | 2017-01-20 | 2018-07-26 | Aquifi, Inc. | Systems and methods for defect detection |
Non-Patent Citations (1)
Title |
---|
U * |
Also Published As
Publication number | Publication date |
---|---|
TW202016504A (zh) | 2020-05-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI708041B (zh) | 檢測與標記瑕疵的方法 | |
US10864636B2 (en) | Robot setting apparatus, robot setting method, robot setting program, computer readable recording medium, and apparatus storing program | |
WO2017080282A1 (zh) | 一种电路板的检测方法及装置 | |
CN107598977B (zh) | 使用视觉和激光测距仪实现机器人自动示教的方法和系统 | |
CN108817613A (zh) | 一种弧焊机器人焊缝纠偏系统及方法 | |
US9488589B2 (en) | Mapping damaged regions on objects | |
US9239235B2 (en) | Three-dimensional measuring apparatus, three-dimensional measuring method, and three-dimensional measuring program | |
JP6750841B2 (ja) | 検査方法、検査装置、処理装置、プログラム及び記録媒体 | |
US20150056585A1 (en) | System and method monitoring and characterizing manual welding operations | |
JP5365644B2 (ja) | はんだ付け検査方法、およびはんだ付け検査機ならびに基板検査システム | |
JP2008021092A (ja) | ロボットシステムのシミュレーション装置 | |
JP6996925B2 (ja) | 杭頭解析システム、杭頭解析方法、及び杭頭解析プログラム | |
JP6672857B2 (ja) | 無人飛行装置制御システム、無人飛行装置制御方法および無人飛行装置 | |
JP6029475B2 (ja) | 壁面診断結果記録システム、壁面診断結果記録方法、及び壁面診断結果記録プログラム | |
JP2015171745A (ja) | ワークの取出工程をシミュレーションするロボットシミュレーション装置 | |
JPWO2018034057A1 (ja) | 欠陥検査装置、欠陥検査方法、およびプログラム | |
CN107727485B (zh) | 用于硬度测试的方法和装置 | |
CN104802186A (zh) | 制作用于拍摄工件的机器人程序的机器人程序设计装置 | |
CN111103306A (zh) | 检测与标记瑕疵的方法 | |
CN113134683A (zh) | 基于机器学习的激光标刻方法及装置 | |
JP2020027058A (ja) | 配筋出来形管理システム及び配筋出来形管理方法 | |
JP2017203744A (ja) | 航空機パネル外観検査方法 | |
CN115713476A (zh) | 基于激光焊接的视觉检测方法、装置及可读存储介质 | |
KR102189951B1 (ko) | 이미지 분석을 이용한 선박 도장상태 검사 시스템 및 방법 | |
CN117359135B (zh) | 振镜校正方法、装置、计算机设备、存储介质和程序产品 |