TW202147050A - 物件自動檢驗之控制系統及方法 - Google Patents
物件自動檢驗之控制系統及方法 Download PDFInfo
- Publication number
- TW202147050A TW202147050A TW110106285A TW110106285A TW202147050A TW 202147050 A TW202147050 A TW 202147050A TW 110106285 A TW110106285 A TW 110106285A TW 110106285 A TW110106285 A TW 110106285A TW 202147050 A TW202147050 A TW 202147050A
- Authority
- TW
- Taiwan
- Prior art keywords
- inspection
- data
- interest
- control system
- features
- Prior art date
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 639
- 238000000034 method Methods 0.000 title claims abstract description 81
- 238000003384 imaging method Methods 0.000 claims abstract description 105
- 230000003287 optical effect Effects 0.000 claims description 119
- 238000005259 measurement Methods 0.000 claims description 59
- 239000013598 vector Substances 0.000 claims description 56
- 238000001514 detection method Methods 0.000 claims description 52
- 238000005286 illumination Methods 0.000 claims description 48
- 230000005855 radiation Effects 0.000 claims description 42
- 238000004891 communication Methods 0.000 claims description 28
- 238000003860 storage Methods 0.000 claims description 24
- 239000000463 material Substances 0.000 claims description 18
- 230000004044 response Effects 0.000 claims description 18
- 238000012795 verification Methods 0.000 claims description 11
- 239000012634 fragment Substances 0.000 claims description 10
- 238000012360 testing method Methods 0.000 claims description 7
- 238000002310 reflectometry Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 5
- 238000012634 optical imaging Methods 0.000 claims description 4
- 230000003595 spectral effect Effects 0.000 claims description 2
- 230000003746 surface roughness Effects 0.000 claims description 2
- 238000004458 analytical method Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 10
- 239000000758 substrate Substances 0.000 description 10
- 238000004519 manufacturing process Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 230000004298 light response Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000007796 conventional method Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000009472 formulation Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000010363 phase shift Effects 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 239000000047 product Substances 0.000 description 3
- XLDBTRJKXLKYTC-UHFFFAOYSA-N 2,3,4,4'-tetrachlorobiphenyl Chemical compound C1=CC(Cl)=CC=C1C1=CC=C(Cl)C(Cl)=C1Cl XLDBTRJKXLKYTC-UHFFFAOYSA-N 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000003556 assay Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- RTIXKCRFFJGDFG-UHFFFAOYSA-N chrysin Chemical compound C=1C(O)=CC(O)=C(C(C=2)=O)C=1OC=2C1=CC=CC=C1 RTIXKCRFFJGDFG-UHFFFAOYSA-N 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000003954 pattern orientation Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013481 data capture Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001125 extrusion Methods 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010237 hybrid technique Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000004381 surface treatment Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by quality surveillance of production
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/32—Operator till task planning
- G05B2219/32186—Teaching inspection data, pictures and criteria and apply them for inspection
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/32—Operator till task planning
- G05B2219/32368—Quality control
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/80—Management or planning
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Manufacturing & Machinery (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Automatic Analysis And Handling Materials Therefor (AREA)
Abstract
揭示用於檢驗具有一或更多類型之多個特徵部之物件的技術。指示一或更多選定感興趣特徵部之輸入資料用於供一給定檢驗系統(以相關聯之成像配置資料為特徵)進行檢驗。分析輸入資料以提取關於一或更多檢驗任務的資訊,並產生檢驗計劃資料,以用作操作給定檢驗系統之配方資料,以根據一或更多檢驗任務提供測量資料。可從資料庫系統中檢索對應於檢驗任務資料之選定檢驗模式資料並用於產生檢驗計劃資料。
Description
本發明屬於自動檢驗技術之領域,並關於用於管理物件檢驗之方法及系統,其特別適用於在生產線上進行物件檢驗。
現代產業自動化嚴重依賴機器視覺。產業自動化中之機器視覺包括例如位置引導(引導產業機器人進行取放操作、旋擰、焊接、分配等)、測量(間隙、尺寸、半徑、角度)及檢驗(構件存在、諸多缺陷偵測、邊緣品質、表面品質等)之應用。
大多數產業應用中的機器視覺是一項重複的任務。例如,數以百萬計的手機或汽車由相同的構件製成,其需完全相同(根據預定義的公差)以確保最終產品的品質。因此,產業機器視覺系統通常是在新產品(手機或汽車)從設計進入量產階段時設置。在量產期間,產業機器視覺系統是一個循環接一個循環地執行相同操作。為了確保完美的製造操作及高品質的產品,彼等機器視覺系統必須呈現穩健性:在諸多檢驗/測量條件、環境條件及變化的製程參數下提供準確且可重複的結果。
本領域需要用於物件/物體檢驗之新穎方法,特別是對於帶有不同類型之多個特徵部/元件的複雜物件,以實現有效的自動檢驗/測量,且有期望減少之檢驗時間及期望減少之不必要資料的收集,並提供高度可靠的資訊,因而減少進一步的「手動」驗證。又,本領域需消除或至少顯著減少設計用於檢驗不同類型特徵部之特定/專用檢驗技術的需求。
就基於輻射之技術(將輻射施加至物件上的區域並偵測所述區域的輻射響應)所進行的物件檢驗而言,此些應用之穩健性能取決於多項因素,例如照明、被檢驗物體之反射率、需執行之視覺任務等。因此,需要機器視覺應用專家所執行之繁瑣應用程式設置程序,以在諸多條件下確保精確性與穩健性。在現代製造環境中,快速、簡單且穩健實施非專家之機器視覺應用對於縮短上市時間及獲利能力至關重要。
產業機器視覺設置因產品、材料之高多樣性等需要客制化。因此,快速且穩健實施機器視覺應用對於縮短上市時間至關重要。產業自動化線之積分器需機器視覺解決方案,以允許自動化工程師(非機器視覺專家)進行簡單整合、消除對特殊程式設計技能或客制演算法開發的要求、並同時改善解決方案之精確性及穩健性。
現今之機器視覺解決方案利用2D相機及諸多深度感測技術(3D相機、雷射輪廓儀等),而2D相機無法提供高度資訊,且二維像素陣列提供之圖像資料無法輕易轉換成度量單位(毫米),因為需要額外的校準程序。又,2D相機所獲得之圖像資料會受到高度形貌所產生之陰影的影響(例如,陰影被錯誤辨識為邊緣,或因陰影而在圖像中遺漏先前已知的特徵部)。顏色變化亦對2D相機造成重大挑戰。為了利用2D相機達到穩健性能,需一些特殊的程式設計/圖像處理技能。
產業3D相機大多使用結構光:以結構光(光圖案之投影)照射3D表面,以及成像感測器(相機)在結構光照射下擷取該3D表面的圖像。此等光圖案呈現二進制編碼遮罩。相機所擷取之圖像相應地變化,因此,基於成像至相機上之結構光圖案相較於未失真之投影圖案的失真,可確定表面之3D幾何形狀。3D相機本身產生高度資訊(以點雲或高度圖形式)。它們具有「內建」校準(基線)並以度量單位(例如毫米)提供資訊。然而,為達到表面之高空間解析度,需使用大量連續施加的光圖案。此導致3D圖像擷取過程之整個持續時間可能太長,因此對於產業應用(即在生產線上進行物件檢驗)並不實用。
為了減少獲得高解析度3D圖像所需之光圖案數量,已提出使用灰階圖案。然而,相較於上述光圖案之二進制編碼,此等灰階圖案更易產生強度雜訊及系統非線性。
另一類型之已知技術利用基於相移之條紋投影進行3D表面成像,即將一組正弦圖案投影至物體表面上。相移技術受到展開法(unwrapping method)提供不足資訊(無法提供絕對相位)的影響,導致「模糊」問題並造成遺失/錯誤X、Y、Z資訊。
至於結合格雷碼投影方法與相移方法之混合技術,此些技術需更多的投影且不適於動態物體之3D成像。對於許多產業應用,擷取時間可能又不實用。
需高精度測量表面輪廓之產業應用通常使用基於雷射三角測量並產生Z輪廓(高度輪廓)之輪廓儀。然而,此技術對於需全場測量之應用並不實用,其中部件(或感測器)應準確地移動並與感測器完全同步。
在一系統中結合不同3D成像技術將不可避免地依賴於全景來決定使用何者圖案/技術組合。該全景需使用不同3D成像技術進行掃描,接著在後處理期間對場景之每一子部分選擇最合適技術之3D圖。此使用於很多產業應用中將太過麻煩(因為要掃描全景且要處理大量資料)。
因此,指定類型之已知技術在重要資訊/感興趣資訊(即關於物件上除了許多其他特徵部/元件/細節以外之特定感興趣特徵部的資訊)之品質方面承受低圖像品質。此乃因為使用習知方法收集之圖像資料不可避免地包含過多無關資料,導致要大量處理以獲得重要資訊,因為大量收集到的無關資料污染重要資訊。此導致機器視覺專家之複雜開發及許多開發迭代,以實現穩健性能。
本發明之發明人已發現,基於後處理之已知方法並未考慮使用者在執行資料擷取時想要執行的特定檢驗任務。然而不同檢驗任務(例如測量兩特徵部之間的距離、或測量特徵部的形狀、或檢驗缺失之構件/特徵部等)可能需要不同的擷取方法以達更佳之資料收集。據此,關於相同或相似特徵部之不同檢驗任務可能需投影不同的光圖案(結構光配置)。
習知方法的另一問題與差不多所有3D感測器產生之點雲無法直接用於大多數3D應用程式相關,因此一般是轉換成網格模型、NURBS表面模型或CAD模型。從點雲建立三角網格表面之已知技術(即使用三角測量方法或表面重建方法)無法準確地重建表面邊界。如上所述,2D相機有幾個固有限制。現有3D解決方案雖能解決一些此等限制(高度測量、固有校準、優於2D照射不變性),但在以針對/服務於特定檢驗任務之方式擷取資訊方面仍未最佳化,因此仍需對點雲進行非常複雜且大多是不必要的後處理以獲得相關結果。
因此,本發明係基於發明人理解到現有產業機器視覺技術之「易用性」方法的解決方案與解決資料擷取(檢驗程序本身)之初始問題以達穩健性能相關聯,而非透過機器視覺專家或機器視覺解決方案之微調來達到此目標之習知嘗試。
本發明提供用於物件檢驗之新穎方法,特別是包括相同或不同類型之多個特徵部的物件。應注意,物件本身可以是或可以不是功能裝置,但可為帶有一或更多功能裝置/結構(其各自構成特徵部或具有多個特徵部之感興趣區域)之基板。亦應理解,特徵部實際上為一元件,其是所謂的「主動」元件或「被動」元件。例如,多個「主動」元件(引腳、連接器等)可能以間隔關係佈設,且待檢驗之感興趣特徵部與「被動」元件(為彼等「主動」元件之間的空間)之諸多參數/條件相關聯。此外,應注意,感興趣特徵部可能或可能不與整個元件相關聯,例如感興趣特徵部可為元件之一部分/片段/節段(例如墊部頂面的角)。
亦應注意,術語「檢驗」應被廣義解釋為亦涵蓋特徵部之諸多幾何(亦可能是光學)參數與條件及/或其在物件內(通常在一或更多感興趣區域內)之佈設的測量/驗證、缺陷檢驗/偵測等。亦應理解,測量/驗證可旨在驗證CAD資訊及/或物件規格資料,以及進一步在物件上引導/導航機器人程序。
本發明提供用於管理物件之光學檢驗的新穎控制系統及控制方法。本發明之技術旨在提供根據一或更多特定檢驗任務對物件上感興趣區域及所述感興趣區域中之感興趣特徵部自適應(adaptive)的物件檢驗程序。此顯著減少並簡化檢驗程序,並顯著減少檢驗過程中收集之資料中不必要的資訊量,因而提高重要(目標)資訊的品質。
本發明之技術因提供允許主動將成像系統導航至3D空間中感興趣區域並執行本身成像(即將成像程序「聚焦」至感興趣特徵部)之資料而能夠有效使用3D成像方案。此方法在資料擷取及資料處理期間將有用資訊最大化並將處理不需要資料降至最少。
因此,本發明(根據其一態樣)提供一控制系統,其一般是尤其包括資料輸入及輸出設備、記憶體、處理器還有與其他功能模組資料通訊之合適通訊埠的電腦系統。控制系統配置成分析指示關於特定物件之一或更多特定檢驗任務的資料(即存在與物件有關之一些初始資料或「先前知識」),以由特定檢驗系統(其成像配置被預定義)執行,並提供指示最佳檢驗計劃之資料,以作為檢驗系統的操作資料。
控制系統可以是或可以不是檢驗系統的一部分。例如,控制系統為能夠與專用檢驗系統或多個檢驗系統進行資料通訊(透過任何合適技術及協定)之獨立系統。若控制系統與專用檢驗系統相關聯/有關,則假定「知道」(即在其記憶體中具有)關於相關檢驗系統之成像配置的配置數據。若控制系統要服務於多個檢驗系統,則控制系統必須能夠辨識相應成像配置資料。為此目的,可供應此等配置資料作為來自檢驗系統之輸入資料的一部分,或可替代地,檢驗系統具有其唯一ID,供應作為輸入資料的一部分,且控制系統辨識資料庫中匹配的配置資料。
應注意,由本發明原理管理之檢驗為基於輻射激發的檢驗,其可為利用對物件上區域輻射並偵測被照射區域之輻射響應的任何已知類型。此可為基於LiDAR、MRI、CT、X射線之檢驗。
更具體地,本發明與光學檢驗技術一起使用並因此於下針對此特定應用舉例說明。然而,應理解,本發明原理不限於此特定應用,據此如「光學檢驗」、「光學配置」、「照明」、「照明器」、「光」之類的術語應被廣泛解釋為亦涵蓋其他類型的激發輻射及輻射響應。
因此,根據本發明之一態樣,其提供一控制系統,用於管理具有一或更類型之多個特徵部之物件的檢驗。該控制系統包括:資料輸入設備,用於接收指示一或更多選定感興趣特徵部之輸入資料,該選定感興趣特徵部將由以相關成像配置資料為特徵之給定檢驗系統進行檢驗;以及資料處理器,配置並可操作成分析輸入資料以提取關於一或更多檢驗任務之資訊並產生檢驗計劃資料以用作操作所述給定檢驗系統之一配方資料,以根據所述一或更多檢驗任務提供測量資料。
資料處理器配置並可操作成與資料庫系統通訊(例如,至少部分地與控制系統之內部記憶體相關聯,或者在遠端儲存系統處維護並管理)。資料處理器從所述資料庫系統請求並接收對應於檢驗任務資料之選定檢驗模式資料,並適用於利用選定檢驗模式資料以產生檢驗計劃資料。
選定檢驗模式資料被指定至一屬性組,包括幾何相關屬性(物理參數)與材料相關屬性中之至少一者,其與用於檢驗對應於所述屬性之特徵部的一或更多成像配置相關聯。幾何相關屬性可包括諸多基本/基礎形狀。材料相關屬性可為定義輻射響應相關屬性/參數的類型,即諸多表面相關屬性之輻射響應特性,例如光學特性。基本/基礎形狀可包括例如孔、銷、球、盒、柵結構等。輻射響應特性可包括顏色、高光譜響應、反射率、透明度及擴散率。
資料處理器可配置並可操作成對資料庫系統產生請求資料,包括有選定屬性組,其從包含有幾何相關屬性及材料相關屬性之預定屬性集合中選擇並對應於檢驗任務資料。
在一些實施例中,資料處理器包括:一辨識器設備;一分析器設備;以及計劃模組。辨識器配置並可操作成利用輸入資料以定義指示一或更多檢驗任務之檢驗任務資料,其中檢驗任務資料包括指示輸入資料之資料、指示一或更多選定特徵部之資料、以及對應於一或更多檢驗任務之測量類型。分析器配置並可操作成分析檢驗任務資料並透過從預定屬性集合(如上所述)產生選定屬性組(對應於檢驗任務資料)來確定配方資料。計劃模組配置並可操作成分析對應於所述選定屬性組之檢驗任務及選定檢驗模式資料,並產生將由給定檢驗系統執行關於一或更多選定感興趣特徵部之檢驗計劃資料。
計劃模組可因此操作成對資料庫系統產生請求資料,包括指示選定屬性組之資料,以請求指定至與給定檢驗系統相關聯之所述選定屬性組的選定檢驗模式資料。在接收到選定檢驗模式資料後,計劃模組即基於檢驗任務資料分析選定檢驗模式資料,並產生檢驗計劃資料。
在一些實施例中,檢驗模式資料包括關於感興趣區域之一或更多選定檢驗條件,以用於給定檢驗系統在所述感興趣區域上執行之一或更多檢驗工作階段(session)中。檢驗模式/條件包括照明條件及/或掃描條件。照明條件包括:一或更多選定輻射圖案,其將被投影至感興趣區域上並在檢驗中成像(例如,呈間隔開相似特徵部/點陣列形式之結構光;或預定幾何之單個特徵部/點);及/或輻射參數(照射之強度及/或光譜含量)。掃描參數/條件包括:掃描路徑相對於感興趣區域之方位及/或掃描密度。
本發明提供對每一選定感興趣區域選擇性地應用最佳檢驗條件/模式,並對不同感興趣區域或同一區域內不同特徵部/元件選擇性地切換成不同檢驗條件/模式。
檢驗計劃資料可包括指示以下至少一者的資料:檢驗工作階段期間之檢驗模式序列(例如,用於投影一或更多選定輻射圖案之投影序列);一或更多選定輻射圖案之最佳化配置;一或更多檢驗工作階段期間之至少一輻射通道與至少一偵測通道的相對方位;輻射及偵測通道與感興趣區域之對準;檢驗工作階段的數目;用於收集與感興趣區域相關聯之偵測資料的資料讀取模式。
在以下描述中,為達簡明,檢驗模式被解釋為以要投影之選定光圖案為特徵。然而,應理解,本發明不限於此等示例,且光圖案
特性應被解釋為定義檢驗模式之一或更多特性的示例。
表徵成像系統之成像配置資料可包括指示以下一或更多者的資料:用於將一或更多圖案投影至感興趣區域上之輻射通道的數目、用於從被照射之感興趣區域的至少一部分收集圖像資料之偵測通道的數目、輻射與偵測通道相對於檢驗平面之位置、輻射與偵測通道之間的相對方位、以及檢驗系統之輻射源與偵測器的特性。
如上所述,控制系統可包括用於儲存資料庫之儲存設備;及/或可配置成與遠端儲存系統通訊以存取資料庫。控制系統因此包括合適的資料通訊功能。
控制系統可與專用檢驗系統相關聯。控制系統可為檢驗系統的一部分;或者可為與檢驗系統資料通訊之獨立系統(以將檢驗計劃資料傳送至檢驗系統);或控制系統之功能設備可分佈在檢驗系統之本地控制單元與外部系統之間。
在一些實施例中,控制系統配置成與多個檢驗系統通訊,以基於所述系統之成像配置及所需之檢驗任務對此些系統中之每一者提供檢驗計劃資料。
在一些實施例中,控制系統亦包括監測器,其配置並可操作成接收測量資料,其係由該檢驗系統在利用所述檢驗計劃資料所執行之一或更多檢驗工作階段中獲得並指示與一或更多選定特徵部相關聯之一或更多參數。監測器分析測量資料並產生指示檢驗結果之輸出資料。指示檢驗結果之資料可包括以下一或更多者:更新的檢驗任務資料;將資料庫的內容(包含指定至與檢驗系統相關聯之對應屬性組的預定檢驗模式資料片段)最佳化之更新。
在一些實施例中,監測器配置並可操作成與遠端中央系統通訊以將指示檢驗結果之輸出資料傳送至中央系統,因而能夠使用檢驗結果資料來更新檢驗任務資料及/或將資料庫之內容(包含指定至與檢驗系統相關聯之對應屬性組的預定檢驗模式資料片段)最佳化。
用於定義檢驗任務資料之輸入資料可包括以下一或更多者:指示所述一或更多感興趣特徵部之CAD模型資料;物件之至少一部分的3D掃描及指示將執行之一或更多測量類型的對應詮釋資料(metadata);以及關於與所述一或更多選定感興趣特徵部相關聯之所述物件上一或更多感興趣區域的位置資料。位置資料可包括關於感興趣特徵部相對於對準位置之相對位置的資料及/或關於感興趣特徵部相對於對準位置之相對方位的資料。
關於一或更多感興趣區域之位置資料可例如從使用者所擷取之物體的2D圖像導出。更具體地,使用者可拍攝物體之正規2D圖像,並透過外部裝置(外部感測器或編碼)分析此2D圖像資料以從中導出「疑似的」位置資料。
指示檢驗任務之資料可包括以下一或更多者:其可包括(根據一或更多選定特徵部中之每一者)驗證所述選定特徵部在一或更多預定感興趣區域中之存在,及/或測量所述特徵部之一或更多參數;其可包括(根據來自選定特徵部之每一對特徵部)測量它們之間的距離及/或它們之相對方位,其中該對之此等特徵部可位於相同或不同感興趣區域中;其可包括確定感興趣區域內之表面部分的表面粗糙度是否滿足預定條件,其中此等表面部分可為選定特徵部的表面,或是選定特徵部之間的物件表面;其可包括確定一或更多選定感興趣特徵部之一或更多參數與關於所述一或更多選定特徵部之對應輸入資料之間的相關性,並產生指示所述相關性之資料。
在一些實施例中,控制系統亦包括操作控制器,其配置並可操作成控制給定檢驗系統之操作以根據檢驗計劃資料執行一或更多檢驗工作階段。操作控制器可包括對準模組,其配置並可操作成監測/控制被檢驗物件與關於物件上一或更多感興趣區域(與一或更多選定感興趣特徵部相關聯)之輸入位置資料之間的初步對準條件。
本發明亦提供檢驗系統,用於檢驗具有一或更多類型之多個特徵部的物件,其包括:成像系統及上述控制系統。該成像系統包括:一或更多照明器,其定義一或更多輻射通道,用於照射(例如,在其上投影圖案)一或更多被照射之感興趣區域;一或更多偵測器,其定義一或更多偵測通道,用於偵測被照射之所述一或更多感興趣區域中每一者之至少一部分的輻射響應並產生對應圖像資料。
成像系統配置並可操作成使用輻射與偵測通道之間的諸多相對方位及輻射與偵測之諸多特性以根據諸多檢驗計劃來執行檢驗。
成像系統可為光學成像系統,其配置成定義至少一照明器及至少一偵測器所形成之至少一對照明-偵測通道。
在一些實施例中,該至少一照明器包括用於投影光圖案之至少一2D投影機。在一些實施例中,2D投影機配置並可操作成在具有至少一快軸之動態掃描模式下執行光圖案的投影。
例如,2D投影機可包括光柵或2D共振MEMS,在其情況下,動態掃描模式之快軸係由MEMS之機械結構定義,或可包括逐點(Point by point)MEMS結構,在其情況下動態掃描模式之快軸係由形成表面上之平行線地MEMS命令序列定義。更具體地,2D投影機可包括共振2D MEMS掃描鏡,其中MEMS掃描鏡之任一機械軸構成動態掃描模式的快軸。2D投影機可包括光柵MEMS掃描鏡,其具有構成動態掃描模式之快軸的共振軸。
在一些實施例中,成像系統包括至少一相機/偵測器,其與可在具有至少一快軸之動態掃描模式下操作之兩台或更多此等2D投影機相關聯。在此等配置中,至少一第一投影機之掃描方向可相對於至少一第二投影機之掃描方向旋轉90度,使得第一投影機之快速掃描軸垂直於第二投影機之快速掃描軸。
例如,偵測器可與此等2D動態掃描模式投影機陣列相關聯,其中偵測器與投影機係佈設/定向為使得每一投影機之快軸大致/實質上垂直於偵測器與所述投影機之間的基線向量。
在一些實施例中,至少一偵測器包括具有多個動態重新定位感興趣區域(MROI)的相機。
在一些實施例中,光學成像系統包括共用至少一共同單元(為照明器或偵測器)之多個照明器-偵測器對,因而定義多對照明-偵測通道。此等多對照明-偵測通道可由以下配置中之至少一者定義:多個照明器-偵測器對包括與共同2D照明單元相關聯之多個偵測器單元;及多個照明器-偵測器對包括與共同偵測器單元相關聯之多個2D照明投影機。
具有多對照明-偵測通道之系統配置較佳為使得分別由具有共同單元的照明器-偵測器所定義之基線向量定義基線向量相對於彼此之預定方位。
可選地,但在一些實施例中較佳為,具有共同單元的照明器-偵測器對之基線向量滿足基線向量相互呈實質上垂直之條件。更具體地,將照明器連接至一偵測器(即,連接其操作中心)的線大致/實質上垂直於將所述照明器連接至另一偵測器的線;及/或將偵測器連接至一照明器的線大致/實質上垂直於將所述偵測器連接至另一照明器的線。換言之,每對照明器-偵測器單元定義基線向量(在相應照明與偵測通道之中心之間),其大致/實質上垂直於由共用至少一共同單元之另一對照明器-偵測器單元所定義的基線向量。應理解,若使用此等「垂直條件」,不應解釋為精確垂直之基線向量的條件,而是大致/實質上垂直的向量,例如與垂直度偏差高達約20度。
本發明亦提供包括管理器設備之儲存系統,管理器設備配置並可操作成管理包括對應於複數檢驗模式之多個資料片段的資料庫,每一檢驗模式被指定至與一或更多成像配置相關聯之一或更多屬性組,所述管理器設備配置並可操作成響應請求資料,請求資料包括指示選定屬性組之資料,以產生指示匹配所述請求資料並被格式化以通訊至控制系統之一或更多檢驗模式的輸出資料。
此外,本發明提供連接至通訊網路之伺服器系統,該伺服器系統包括資料庫及用於管理所述資料庫之管理器設備,其中該資料庫包括對應於複數檢驗模式之多個資料片段,每一檢驗模式被指定至與一或更多成像配置相關聯之一或更多屬性組,且所述管理器設備配置並可操作成經由所述通訊網路與本文所述之一或更多控制系統資料通訊,使得管理器設備響應於來自與給定成像系統(以其成像配置作特徵)相關聯之控制系統並包含指示選定屬性組之資料的請求資料,以產生輸出資料至所述控制系統,輸出資料指示匹配所述請求資料並被格式化以通訊至所述控制系統以響應於所述請求資料之一或更多檢驗模式。
在又另一廣泛態樣,本發明提供新穎之光學檢驗系統,其將關於成像之感興趣區域的3D資訊提取最佳化。更具體地,本發明提供光學檢驗系統,用於檢驗具有一或更多類型之多個特徵部的物件,其包括成像系統,該成像系統包括:一或更多照明器,其定義一或更多照明通道,用於將光圖案投影在一或更多被照射之感興趣區域上;以及一或更多偵測器,其定義一或更多偵測通道,用於偵測每一所述一或更多感興趣區域之至少一部分對所述照明的響應並產生對應圖像資料,因而定義由至少一照明器及至少一偵測器所形成之至少一對照明-偵測通道,其中至少一照明器包括光圖案之2D照明投影機。光學檢驗系統以下述至少一者為特徵:
(i) 2D投影機配置並可操作成在具有至少一快軸之動態掃描模式下執行所述投影;以及
(ii) 成像系統包括由共用至少一共同單元(為2D照明或偵測器)之多個照明器-偵測器對所形成的多對照明-偵測通道,其中由具有共同單元的照明器-偵測器對所定義之基線向量定義基線向量相對於彼此之預定方位。
具有共同單元的照明器-偵測器對之基線向量可滿足基線向量相互實質垂直之條件的共同單元。
在一些實施例中,2D投影機具有以下配置之一者:包括共振2D MEMS掃描鏡,其快軸為MEMS掃描鏡之機械軸的一者;包括光柵MEMS掃描鏡,其快軸為MEMS掃描鏡之共振軸;及包括2D MEMS結構,其快軸為對應於提供實質上直線形式之光圖案之MEMS位置序列的軸線。在一些其他實施例中,投影機不具有任何快軸(例如,所有投影機軸為可控線性或準靜態)。
在一些實施例中,一或更多照明器包括至少一雷射源。
如上所述,成像系統可包括與兩台或更多2D照明投影機相關聯之至少一相機/偵測器,2D照明投影機可操作成在具有至少一快軸之動態掃描模式下執行所述投影(例如,共振或光柵2D MEMS型投影機)。該配置可使得至少一第一投影機的掃描方向相對於至少一第二投影儀機的掃描方向旋轉90度,使得第一投影機之快速掃描軸垂直於第二投影機之快速掃描軸。例如,相機/偵測器可與此等2D照明投影機陣列(可操作成在具有至少一快軸之動態掃描模式下執行所述投影)相關聯,其中所述2D照明投影機及相機被定向成使得每一投影機之快軸大致/實質上垂直於相機/偵測器與所述投影機之間的基線向量。
在一些實施例中,該至少一偵測器包括具有多個動態重新定位感興趣區域(MROI)的相機。
在一些實施例中,成像系統包括由共用至少一共同單元(為照明器或偵測器)之多個照明器-偵測器對所形成的多對照明-偵測通道,其中由具有共同單元之照明器-偵測器所定義的基線向量滿足基線向量相互實質垂直的條件,所述多對照明偵測通道係由以下配置中之至少一者定義:(a)所述多對包括與共同照明器單元相關聯之多個偵測器單元;及(b)所述多對包括與共同偵測器單元相關聯之多個照明器單元。
檢驗系統亦可包括配置為上述控制系統之控制系統,該控制系統提供將由成像系統在一或更多檢驗工作階段中執行之檢驗計劃資料,以測量一或更多感興趣特徵部之一或更多參數。
可替代地,檢驗系統可配置並可操作成與此等控制系統(為外部系統)資料通訊;或者控制系統之功能設備可分佈於光學檢驗系統與外部系統之間。例如,檢驗系統可包括配置成產生檢驗任務資料(例如可包括資料輸入設備及辨識器模組,如上所述)並將檢驗任務資料傳送至外部控制系統之資料處理器,外部控制系統包括一資料處理器,其配置成將檢驗任務資料轉換成選定屬性組(例如包括上述分析器)以及與資料庫通訊並產生檢驗計劃資料(例如包括上述計劃模組),且將檢驗計劃資料返回至檢驗系統。
檢驗系統可包括操作控制器,其配置並可操作成根據檢驗計劃資料控制一或更多檢驗工作階段之執行。操作控制器可包括對準模組,該對準模組配置並可操作成監測被檢驗之物件與關於所述物件上一或更多感興趣區域(與所述一或更多選定感興趣特徵部相關聯)之輸入位置資料之間的初步對準條件。
本文所揭示標的之又另一態樣係關於檢驗具有一或更多類型之多個特徵部之物件的方法。該方法包括:接收指示將由給定檢驗系統檢驗之一或更多選定感興趣特徵部的輸入資料,給定檢驗系統以相關聯之成像配置資料為特徵;分析輸入資料以提取關於一或更多檢驗任務之資訊;以及產生檢驗計劃資料以用作操作給定檢驗系統之配方資料,以根據一或更多檢驗任務提供測量資料。
在一些實施例中,該方法包括從資料庫系統中檢索對應於檢驗任務資料之選定檢驗模式資料,並利用選定檢驗模式資料產生檢驗計劃資料。該方法可包括從資料庫系統請求包含有選定屬性組之資料,選定屬性組係從包含有幾何相關屬性與材料相關屬性之預定屬性集合中選擇,對應於檢驗任務資料。
該方法可包括:基於輸入資料來定義指示一或更多檢驗任務之檢驗任務資料,檢驗任務資料包括指示輸入資料之資料、指示一或更多選定特徵部之資料、及對應於一或更多檢驗任務之測量類型;分析檢驗任務資料並透過產生選定屬性組來確定配方資料,選定屬性組係從包含有幾何相關屬性及材料相關屬性之預定屬性集合中選擇,並對應於檢驗任務資料;分析對應於選定屬性組之檢驗任務及選定檢驗模式資料;以及產生將由給定檢驗系統執行官於所述一或更多選定感興趣特徵部之檢驗計劃資料。
參考圖1,透過方塊圖方式示出控制系統10,其根據本發明之一些態樣配置並可操作成用於透過檢驗系統管理物件檢驗。如上所述,控制系統10可以是或可以不是檢驗系統(其實施控制系統10所提供之檢驗計劃)之一部分。
亦如上所述,雖然本發明之技術在下文中被例示且描述為與光學檢驗技術相關,但本發明之原理不限於此特定應用並可與任何已知基於輻射激發之檢驗(例如基於LiDAR、MRI、CT、X射線之檢驗)一起使用。
在圖1所示之本非限定示例中,控制系統10為配置成與多個光學檢驗系統資料(三個此等系統OIS1
、OIS2
、OIS3
例示於圖中)通訊之獨立系統。一般而言,每一第i光學檢驗系統OISi
以其光學配置資料OCDi
為特徵,以對物件(此處未示出)執行檢驗工作階段。光學配置之示例將於下進一步描述。
待檢驗之物件為具有相同或不同類型之多個特徵部/元件的種類。應注意,物件可以是或可以不是功能裝置,但可為帶有一或更多功能裝置/元件(主動或被動元件)之基板,功能裝置/元件各自構成一特徵部或具有多個特徵部之感興趣區域。物件之一些具體但非限定示例將於下參考圖3A及3B進一步描述。
控制系統10進一步與包含並管理資料庫32之儲存系統30相關聯(例如,包括或可連接到儲存系統30),其構造將於下參考圖2進一步描述。
控制系統10一般為電腦系統,其除了別的以外具有如資料輸入及輸出設備14、16、記憶體18及資料處理器20之類的主功能設備(軟體及/或硬體)。資料輸入設備14配置並可操作成響應於輸入(其可為使用者之輸入及/或電子裝置輸入),以對資料處理器20提供對應的輸入資料Din
。資料處理器20配置並可操作成利用輸入資料Din
來確定關於n
個選定(n
≥1)感興趣特徵部之檢驗計劃資料IPDij
,例如第j
特徵部,指定為由給定之第i
光學檢驗系統OISi
進行檢驗。資料處理器20包括辨識器20A、分析器20B及計劃模組20C。
輸入資料Din
可包括指示含有物體資料及所需測量之CAD模型的資料;及/或與辨識要執行哪些測量之對應詮釋資料(metadata)一起之物體的3D掃描;及/或關於感興趣區域/元件之位置資料。此將於下進一步更具體地描述並例示。
辨識器設備/模組20A響應於輸入資料Din
並配置且可操作成提取關於檢驗任務之資訊並定義關於將由相應光學檢驗系統OISi
檢驗之特徵部Fj的對應檢驗任務資料ITDij
。如下文將進一步具體地描述,由使用者及/或由圖像或CAD資料所提供之輸入資料Din
可包括諸多參考標記,其允許辨識待確定之參數/條件,並提供一些關於特徵部之先前知識(例如位置資訊),從而允許適當地定義檢驗任務資料。
因此,檢驗任務資料ITDij
實際上包含關於輸入資料本身(Din
)、要對其執行測量/檢驗工作階段之感興趣區域及其中的特徵部、以及所需測量/檢驗類型的資訊。
在一可能示例中,旨在檢驗一元件,該檢驗任務資料ITDj
可包括:(i) 指示輸入資料Din
之資料,包括特定物件(為印刷電路板(PCB))之CAD模型,(ii)指示感興趣物體/特徵部Fj
(為PCB上之電阻器R17)之資料,以及(iii) 所需之測量,其為電阻器R17的長度。在此示例中,辨識器20A基於CAD模型之分析來定義檢驗任務資料。
在另一可能示例中,檢驗任務資料ITDj
可包括:(i) 指示輸入資料Din
的資料,包括PCB的點雲掃描,(ii) 指示感興趣物體/特徵部Fj
(其與雲上兩邊緣A、B相關聯)之資料,以及(iii) 所需之測量,其為邊緣A、B之間的距離。在此非限定示例中,辨識器20A分析輸入資料,並對使用者提供對應的GUI,使得使用者能夠選擇邊緣上的兩點且亦指示此些確實是邊緣,並基於使用者輸入完成檢驗任務資料ITDj
。
分析器設備20B配置並可操作成分析檢驗任務資料ITDij
,以從預定屬性之集合PAS中提取/辨識對應於檢驗任務資料之選定屬性組GAj
。預定屬性之集合PAS包括幾何相關屬性(物理參數),且較佳亦包括定義輻射響應相關屬性/參數之材料相關屬性,例如光學特性相關屬性。在以下描述中,此等輻射響應相關屬性有時亦稱為「光學特性相關」及「材料相關」。更具體地,預定屬性之集合PAS包括M
個屬性(A1
、…Am
),其包括K
個幾何相關屬性(A1
…Ak
)及L
個光學特性相關屬性(Ak+1
…Am
)。幾何相關及光學特性相關屬性之示例及細節將於下進一步描述。
分析器設備20B將嵌於檢驗任務資料ITDij
中之特徵部相關及測量類型相關資料轉譯/轉換成包括至少幾何相關屬性中之一或更多者的選定屬性組GAj
。因此,選定屬性組GAj
為與感興趣特徵部及測量類型相關之檢驗任務資料ITDij
的細分,其中感興趣特徵部係由幾何屬性及可能亦由光學屬性(取決於測量類型資料)來呈現。
在一可能示例中,選定屬性組GAj
可包括以下內容:(a)對應於具有平坦表面之3D盒(例如PCB之電阻器R17)的幾何屬性,包括盒位置、尺寸及方位;(b)對應於平滑且白色元件/表面之光學屬性;(c) 所需之測量類型,其為矩形的長度。在此示例中,分析器20B利用來自CAD之相應資料及預定屬性之集合PAS。
在另一可能示例中,選定屬性組GAj
可包括下述:(a)幾何屬性,其包括兩壁的列表(例如,PCB點雲掃描中之邊緣A、B);(b)關於光學屬性之指示N/A(不可得或沒有答案),因為在先前步驟期間未提供此方面之使用者輸入(使用者可使用辨識器20A所提供之GUI來輸入光學特性相關資料);(c)所需之測量類型,其為邊緣之間的距離。
計劃模組20C配置並可操作成用於分析指定至選定屬性組GAj
之檢驗任務資料ITDij
及預定檢驗模式資料IMDij
,並確定將由第i光學檢驗系統OISi
(以光學配置資料OCDi
為特徵)執行之檢驗計劃資料IPDij
,以服務於與選定之一或更多特徵部Fj
相關的檢驗任務。換言之,計劃模組20C利用指示選定屬性組GAj
及光學資料OCDi
之資料來建立檢驗計劃資料IPDij
。
應當理解,光學配置資料OCDi
包括指示光學系統之結構及模型的資料。檢驗計劃資料IPDij
包括對光學系統之指令,其關於如何根據檢驗任務執行檢驗工作階段以提供測量資料。
為此目的,資料處理器20(計劃模組20C)與管理資料庫32之儲存系統30通訊,以發送包括指示選定屬性組GAj
之資料及指示光學配置資料OCDi
之資料的請求資料RDij
,並從儲存系統30接收匹配(指定至)選定屬性組GAj
(與光學配置資料OCDi
相關聯)之對應檢驗模式資料IMDij
。應當理解,檢驗模式資料IMDij
之選擇可能需要指示相應檢驗系統OISi
之光學資料配置OCDi
的資料。因此,請求資料RDij
嵌入相應檢驗系統之此等光學配置資料OCDi
或辨識碼/資料IDi
。
應注意,整個檢驗目標可包括針對相同特徵部之多於一個任務。在此例子中,請求資料係相應地配置,即包括指示對應選定屬性組(其又基於檢驗任務及測量類型)之資料。儲存系統30因而提供對應之多於一個的檢驗模式資料片段IMD。一旦接收到所有此等資料片段IMD,計劃模組20C即一起分析並將它們最佳化(「編譯」它們),以建立最佳檢驗計劃資料。
就以上兩示例而言,組合之檢驗模式資料可包括要求以四(4)條直的白線光圖案照射並確定線斷開位置。在此例子中,最佳檢驗計劃資料可包括將此檢驗模式分成四(4)個影格序列(其每一者包含一單線)的指令。
參考圖2,示意性地示出根據一些可能實施例之資料庫32的內容示例。資料庫32包括複數P
個資料片段DP(1)
…DP(p)
。每一第m
資料片段對應於複數檢驗模式相關資料片段中之一或更多者(即檢驗系統操作之一或更多參數/條件) IMD1
…IMDh
。每一第r
檢驗模式相關資料片段係指定至一或更多屬性組,其屬性組描述將由檢驗系統檢驗根據其特有配置資料進行檢驗之諸多特徵部。換言之,檢驗模式資料片段IMDi
係指定至指示屬性組GAj
及第i
成像/檢驗配置OCDi
的資料。如上所述,指示屬性組GAj
的資料又與選定感興趣特徵部Fj及檢驗任務資料相關聯。
更具體地,儲存在資料庫中之檢驗模式資料片段可包括指示一或更多照明條件(例如,指定至諸多基本形狀/幾何之測量/檢驗的光圖案)之資料。
應理解,管理資料庫32的儲存系統30可為控制系統10的一部分。或者,如圖1及2所例示,儲存系統30與獨立系統40(例如伺服器系統)相關聯,獨立系統40可透過使用任何合適已知資料通訊協定之任何合適已知類型的通訊網路而被配置為上述控制系統10之控制系統所存取。返回圖1,控制系統10因此可適當地配有合適的通訊設備24。
亦如圖2示意性所示,儲存系統30包括管理器設備34,其配置並可操作成響應於經由通訊網路從控制系統10接收到並與第i
光學檢驗系統OISi
相關聯之請求資料RDij
。請求資料RDij
包括指示相應光學檢驗系統的資料,其可為系統之配置資料OCDi
本身,或者指定至對應配置資料OCDi
之光學系統的辨識資料IDi
。在後一例中,管理器設備34適於與配置資料庫36(儲存在同一儲存系統30中或在可經由通訊網路被管理器設備34存取的獨立系統中)通訊。此等配置資料庫36被適當地管理並包含每一光學系統之辨識資料IDi
與對應光學配置資料OCDi
之間的關聯資料。配置資料庫36被適當地管理以響應於接收到的辨識資料而提供指示光學檢驗系統或光學系統配置資料之相應/匹配資料。
控制系統10之計劃模組20C響應於從儲存系統30接收到的檢驗模式資料IMDij
,以回應在控制系統10處產生的請求資料RDij
,並在考慮檢驗任務資料及初始物件相關資料下分析檢驗模式資料,以產生用於檢驗系統OISi
之檢驗計劃資料IPDij
。
如下將進一步更具體地描述,光學檢驗系統OISi
包括一或更多照明單元(一或更多光源及可能相關聯之光導光學元件),其定義一或更多照明通道並配置成將一或更多光圖案投影至感興趣區域之至少一部分;以及一或更多光偵測器,其定義一或更多光偵測通道。
檢驗模式資料包括一或更多照明條件。在一簡單示例中,此可包括用於將至少一照明通道施加至一或更多感興趣區域之光圖案。
檢驗計劃資料(其將用作檢驗系統之配方資料)包括利用所述一或更多光圖案而執行之檢驗工作階段的一或更多以下參數/條件:用於將至少一照明通道施加至一或更多個感興趣區域之一或更多光圖案序列;光強度;掃描路徑方位;掃描密度;至少一照明通道與至少一偵測通道之相對方位;用於收集與感興趣區域相關聯之偵測資料的資料讀取模式;掃描模式參數。光學檢驗系統之配置與操作原理以及檢驗計劃之示例將於下進一步更具體地描述。
關於此點,應注意,檢驗計劃資料之光圖案序列不一定是為了相同檢驗任務目的而依序施加之不同光圖案之序列。更具體地,檢驗計劃可包括一光圖案序列,其中對於給定的檢驗任務,相同的光圖案用於感興趣區域(例如元件/特徵部之一部分)的局部「掃描」;或者對於不同檢驗任務(基於計劃模組的決定)之組合效能,此等序列可包括不同的光圖案。
返回圖1,控制系統10亦可包括操作控制器28(以虛線示出),其配置並可操作成基於所述光學檢驗系統之光學配置資料OCDi來控制光學檢驗系統之檢驗計劃IPDij
的執行。應當理解,可替代地,此等操作控制器可為光學檢驗系統OISi
的一部分;或操作控制器之功能模組可分佈在控制系統10與光學檢驗系統OISi
之間,視情況而定。
此外,控制系統10可與監測器26相關聯(例如,可包括作為其資料處理器20的一部分),監測器26接收並分析來自光學檢驗系統OISi
之測量資料MDi
,並產生指示檢驗結果IR的輸出資料。應當理解,可替代地,此等監測器26可為光學檢驗系統OISi
的一部分;或監測器26之功能設備可分佈於控制系統10與光學檢驗系統OISi
之間,視情況而定。
一般而言,檢驗結果IR可包括諸多類型的資料。例如,監測器26配置並可操作成接收並分析測量資料MD,且產生指示一或更多選定特徵部之一或更多參數/條件的輸出資料。
可替代地或額外地,測量資料之分析可用於選擇性地產生更新的檢驗任務資料,在此情況下控制系統10如上所述操作以提供一或更多更新的檢驗計劃。例如,檢驗任務資料之更新可與需要驗證輸入資料(包括物件及特徵部相關資料,例如CAD資訊及/或物件規格資料)相關聯。
此外,監測器26可配置並可操作成利用指示檢驗結果之資料來產生用於將在物件上執行之一或更多機器人程序的引導/導航資料。
根據一些其他示例,測量資料/檢驗結果之分析可替代地或額外地與指示對應一或更多檢驗任務之資料及指示一或更多對應檢驗計劃之資料的分析一起使用,以最佳化/更新資料庫32中的資料。
應注意,一般而言,待檢驗之選定特徵部以及檢驗任務可與物件結構之諸多參數/條件有關。例如,選定特徵部可與主動元件及/或其在支撐基板上之佈設相關聯。更具體地,檢驗任務可包括驗證預定感興趣區域中之一或更多選定特徵部(例如主動元件)的存在。可替代地或額外地,檢驗任務可包括測量/驗證物件之選定表面部分的尺寸及/或表面起伏(例如表面平坦度/粗糙度)。應當理解,表面部分可為選定元件之表面;或選定元件之間的物件表面。在又另一示例中,檢驗任務可包括測量/驗證選定元件之間的距離及/或元件之相對方位。
亦應注意,輸入資料(能夠定義關於物件之選定特徵部的檢驗任務資料)利用(基於)一些初始物件相關資料,其可為圖像資料(例如2D或3D圖)及/或CAD資料。檢驗任務可旨在驗證關於任何參數/條件(與特徵部及其在物件上的佈設相關)之此等輸入資料。因此,檢驗結果可旨在驗證初始物件相關資料。
因此,監測器26分析測量資料MD以確定由光學檢驗系統測量/檢驗之所述一或更多選定感興趣特徵部的一或更多參數與關於所述一或更多選定特徵部之對應初始物件相關資料(例如CAD資料)之間的相關性,並產生對應檢驗結果IR。若需要,此實現初始物件相關資料之更正/更新。
現參考圖3A-3B及4A-4B,其示出將由本發明技術檢驗之物件的具體但非限定示例以及「簡單」檢驗任務之一些示例。
圖3A例示帶有諸多元件(特徵部)佈設之支撐基板56所形成的物件50。在此具體但非限定示例中,該物件由USB插座組件構成,其中主動元件由 USB連接器52A構成,USB連接器52A以間隔關係佈設在支撐基板56上,它們之間具有空間(被動元件)52B。在此示例中,特徵部之佈設呈周期性圖案的形式。然而,本發明之原理不受週期性圖案檢驗之要求的限制/約束。圖3B例示包括掃描程序之檢驗計劃執行。在此示例中,檢驗任務之測量類型包括每一元件52B之寬度的測量。對應的檢驗計劃包括在含有單線之單一影格中投影單個光圖案,並測量線53的寬度。
圖4A及4B分別例示兩種類型之物件60及70,其具有諸多類型的特徵部,適合使用本發明之技術進行適當檢驗。物件60為印刷電路板的結構,其具有帶有諸多類型之諸多元件/特徵部的基板66。物件70例示一封裝組件,其包括適當排列之多個物件60結構,它們之間有空間S。
如上所述,定義檢驗任務資料所需之初始物件相關資料(輸入資料)可為圖像資料(例如2D或3D圖)及/或CAD資料的形式。例如,圖4A及4B可例示呈圖像資料形式之此等初始物件相關資料,其包括指示一或更多感興趣特徵部之幾何資料的資料及關於所述一或更多感興趣區域在物件上的位置資料。
例如,圖4A示出初始圖像資料60,其包括一些指示,例如標記/標誌,與物件中將檢驗之感興趣特徵部相關聯。在此示例中,此些為兩個連接器所構成之特徵部F1
及F2
。此些特徵部F1
與F2
相互間隔,且因此可視為位於不同感興趣區域,其可使用在分開檢驗工作階段中執行之不同檢驗計劃進行檢驗;或者可提供並使用適當的檢驗計劃以在共同檢驗工作階段中檢驗此些特徵部之兩者。如下將進一步描述,計劃模組執行與每一不同檢驗任務相關聯之檢驗模式資料(照明/掃描條件)的分析,並基於相應特徵部所在處,決定是否可組合相應配方。
此些特徵部F1
與F2
中之每一者在同一物件中的位置可被預定義並固定在某些機械公差內,其可能由於製造(組裝)製程而因物件而異。又,相同類型之元件/特徵部(例如,相同類型之所有連接器)應有相同的幾何相關參數(尺寸及形狀),其有預定義/允許之公差,並由相同的材料製成(即具有相同的光學特性)。因此,檢驗任務可能旨在監測幾何相關參數(例如,實際公差以辨識其是否滿足預定條件,以達組裝製程控制目的)及材料相關條件。
圖4B示出呈封裝組件62(PCB 60位於真空成型封裝中)之圖像資料形式的初始物件相關資料。在此,部件(PCB 60)相對於彼此的位置可能因封裝之機械公差而顯著變化。檢驗任務可因而旨在準確定位每一PCB上的小特徵部,並在彼處引導用於組裝目的之機器人。
參考圖5,其示出本發明之示例性方法的流程圖100,用於透過上述控制系統產生要指定給特定檢驗任務資料之檢驗計劃資料。
提供包括初始物件相關資料(先前知識)的輸入資料(步驟102),即圖像或CAD資料,包括關於感興趣特徵部Fj
之相應指示。此輸入資料用於提取/定義與光學檢驗系統資料OCDi
相關聯之檢驗任務資料ITDji
(步驟104)。例如,檢驗任務資料包括:驗證感興趣區域中特定特徵部/元件(例如螺栓)之存在,定義檢驗任務;測量元件的尺寸(所述螺栓尺寸),其可能構成獨立的檢驗任務;在同一感興趣區域內測量連接至物件之相似螺栓之間的距離,形成與同一感興趣區域相關的檢驗任務;以及測量連接至不同感興趣區域之兩相似螺栓之間的距離,定義與不同感興趣區域相關之檢驗任務。
一般而言,檢驗任務資料ITDij
定義至少一檢驗任務及至少一感興趣區域上之至少一感興趣特徵部。應注意,檢驗任務可與多個感興趣特徵部相關聯(例如,測量兩個感興趣特徵部之間的距離);或者多於一個檢驗任務可與同一感興趣特徵部相關聯(例如,測量孔直徑及檢驗/驗證孔形狀)。若檢驗任務涉及屬於不同感興趣區域(檢驗部分)之多個感興趣特徵部,則對每一不同感興趣區域分別進行對準程序,且檢驗任務資料將相對之區域間位移納入考量。
在本發明之一些實施例中,檢驗任務資料係由使用者從CAD模型定義。完整物件(或至少完整感興趣區域)的CAD模型被加載至控制系統10中並且與額外的使用者輸入一起被辨識器模組20A分析。例如,辨識器模組20A配置為API,其對使用者提供諸多相關任務程序之預定義列表,以允許使用者選擇CAD模型上感興趣特徵部並從所述預定義列表(其定義光學檢測系統需提供之測量資料的類型)中選擇一或更多任務。
此例示於圖6A中,其示出允許使用者在其上做出關於特徵部及程序之選擇的螢幕截圖。如此示例中所示,感興趣特徵部與孔/凹部相關聯,該孔/凹部透過的「反擠壓」而設計/建模於CAD中,該細長橢圓/卵形輪廓係透過連接兩個分開之相對弧(半圓)F1
及F2
而形成,該弧F1
及F2
以其中心O1
及O2
與半徑為特徵,且亦以中心之間的距離d1
為特徵。辨識器模組20A分析/處理此等CAD資料以選擇與測量類型/要求、類型/要求相關的任務程序,即測量F1
與F2
的半徑以及選定弧之兩中心O1
與O2
之間的距離。因此,辨識器模組20A分析CAD模型資料並辨識使用者輸入,且產生指示檢驗任務及相關感興趣區域的資料。因此,在此示例中,檢驗任務資料係基於伴有使用者輸入(包括從預定列表中選擇程序)之輸入CAD資料來提取/建立。
又,在此示例中,感興趣特徵部F1
及F2
係由物件上之元件82的部分/片段構成。應當理解,在一些其他示例中,特徵部可由整個元件構成。
在本發明之一些其他實施例中,檢驗任務係由使用者從參考圖像(即2D或3D圖/圖像資料)定義。此等參考圖像可預先準備並儲存,以供使用者使用以定義檢驗任務;或可在初步檢驗階段擷取。例如,使用者可在被光學檢測系統照射之物件中的實際感興趣區域上選擇參考點,接著從預定義任務列表(如上所述,其定義光學檢測系統需提供之測量資料的類型)中選擇一或更多任務。
如上所述,可以數個方式實施對實際感興趣區域上之參考點的選擇。此等可能方式中的其中一者是利用實際感興趣區域之初始(初步)3D成像(例如,使用具有結構光照之單曝光成像)及使用者對該3D圖像上參考點的選擇。例如,圖6B以不言自明的方式說明此等參考點的選擇及任務類型選擇。
在一些其他示例中,實際感興趣區域之初始3D圖像/圖係由執行初步成像工作階段之檢驗系統本身所獲得,以建立或更新初始物件相關資料,此3D圖像/圖接著用作輸入資料Din
之至少一部分,以用於確定檢驗任務資料ITD。例如,過程階段檢驗之此等初步檢驗工作階段可利用掃描模式成像(例如,具有單線圖案之相機之整個視野的掃描)。
無論獲取3D圖之成像模式為何,使用者均可在該3D圖上選擇參考點,接著從此等任務之預定義列表中指定檢驗任務。在另進一步示例中,可經由控制系統之使用者介面向使用者提供物件/感興趣區域之當前2D圖像,並允許使用者進行選擇。在過程階段成像程序期間,光學檢驗系統可協助使用者選擇參考點。例如,此可在使用單點圖案作為選擇參考點之指示物(pointer)的掃描模式成像中實施。如下將參考圖10A-10C進一步更具體描述,照射點之三角測量圖像協助使用者辨識參考點之實際高度(第三維度)。
如上所述,在本發明之一些實施例中,控制系統操作以在無額外使用者輸入下從CAD模型自動定義/辨識檢驗任務。在非限定示例中,CAD資料包括所有臨界尺寸(例如,由建立CAD模型之機械工程師指定)。在此例子中,辨識器模組20A選擇相關感興趣特徵部,並定義所需之檢驗任務。
返回圖5,分析檢驗任務資料ITDij
(例如以上示例中之任一者所提供),並提供對應之選定屬性組GAj
(從包括幾何相關屬性及光學特性相關屬性之預定屬性集合中選擇-步驟106)。檢驗任務資料ITDij
的分析包括嵌於檢驗任務資料ITDij
中之幾何資料的分析,以定義包括幾何圖元(例如孔、銷、球、盒、柵結構等)之選定屬性組GAj
。
應注意,在一些其他示例中,選定之幾何相關屬性組GAj
可包括元件或其片段之邊緣/絕壁方向及梯度。例如,若檢驗任務亦包括表面平坦度/粗糙度之驗證/檢驗、及/或相似元件之此等特性之間的差異,則選定屬性組GAj
亦可包括光學特性相關屬性,例如表面部分之反射率。
因此,為了致力於最佳化之檢驗計劃的選擇,對選定感興趣特徵部進行分析並細分/轉換成幾何圖元(例如孔、銷、球、盒、壁、邊緣、柵結構等)。就自動檢驗而言(例如在生產線上進行物件之檢驗),可執行一次(作為配方之一部分或在應用程式設置階段期間)將感興趣特徵部轉換成屬性組,以及確定每一感興趣特徵部/區域之檢驗計劃。例如,當使用CAD模型以選擇感興趣特徵部時(在使用者協助下或完全自動,如上所述),確定一次之屬性組接著包含在用於進一步自動檢驗程序之更新之的CAD模型中,以選擇服務於相同或不同檢驗任務之相同或不同檢驗計劃。一般而言,此轉換程序係執行一次或每次基於初始3D圖像或高度圖來執行。
至於每一感興趣特徵部(元件)或其片段之光學特性相關屬性組(反射率/透明度相關參數),此亦可從初始3D圖像/圖(例如透過分析偵測到之反射光強度與預期強度(即基初始物件相關資料)之間的相關性)或從CAD模型中材料/表面處理之定義來估測。
指示選定屬性組GAj
的資料(可能與表徵給定光學檢驗系統OISi
之光學資料一起,視情況而定)接著用於對資料庫系統建立請求資料RDij
(步驟108)。請求資料可直接傳送至管理資料庫32的儲存系統30(步驟110),如上參考圖2所述;或者可先儲存以備後用。
儲存系統30處之管理器設備34操作以自動選擇將由控制系統10之計劃模組20C接收的至少一檢驗模式資料IMDij
(其被準備/格式化以與控制系統通訊)(步驟112)。檢驗模式資料IMDij
可包括指示檢驗工作階段期間將被使用之一或更多光參數(照明圖案、照明斑形狀、照明強度及/或光譜)及/或掃描密度及/或掃描軸方位。此檢驗模式資料係基於檢驗任務資料來分析,並產生最佳檢驗計劃資料IPDij
(步驟114)以由給定之光學檢驗系統來執行。
檢驗計劃資料IPDij
(包括選定光圖案序列,且可能包括可變之光圖案方位)接著可用於(透過操作控制器28)管理/控制檢驗系統對於選定感興趣區域之檢驗計劃的實施,並同時將所有檢驗任務及所有感興趣特徵部納入考量。
最佳檢驗計劃資料之確定旨在將擷取時間降至最小並避免不同圖案之間的干擾。例如,在一些例子中,若選定光圖案中之兩者或更多者是投影至檢驗系統之視野的不同部分上,則可同時投影。在其他例子中,若不同檢驗任務有需要,可能需使用不同光圖案以執行不同掃描來檢驗相同感興趣特徵部。檢驗計劃資料IPDij
可儲存在控制系統之記憶體中及/或與相應感興趣區域之座標系統相關/關聯之相關光學檢驗系統的記憶體中。
參考圖7,其以方塊圖方式示出適於利用本發明原理之光學檢驗系統OIS之可能實施方式的主功能部分。光學檢驗系統OIS包括成像系統72,其包含定義一或更多照明通道IC(用於照射被檢驗物件上之感興趣區域)的一或更多照明器74(有時在本文中稱為掃描機或投影機);以及一或更多成像器(光偵測器/相機)76,其定義一或更多偵測通道DC(用於偵測被照射區域之至少一部份的光響應)並產生指示偵測到之光響應DLR的資料。
亦於光學檢驗系統中提供控制單元78,其具有處理器(圖像處理器)78A,該處理器78A配置並可操作成基於檢驗計劃資料IPD處理偵測到之光響應DLR,並產生指示檢驗計劃資料IPD所定義之一或更多參數/條件的測量資料MD(例如,分析投影圖案之反射序列以獲得被檢驗部分上之3D資訊)。光學檢驗系統OIS配置並可操作成使用結構光執行檢驗工作階段。據此,照明器74配置為用於將光圖案投影至一或更多被照射之感興趣區域上的投影機。
如圖所例示,光學檢驗系統OIS可包括上述控制系統10或可與其資料通訊。如上所述,光學檢驗系統OIS所執行之檢驗工作階段旨在執行如上所述提供之檢驗計劃。為此目的,使用操作控制器28(作為光學檢驗系統OIS及/或控制系統10的一部分),以根據檢驗計劃資料IPD(其又基於光學檢驗系統之光學配置資料)控制檢驗計劃的執行。操作控制器28包括圖案產生器模組28A(或掃描控制器),其配置並可操作成(透過主任務控制器28B)根據檢驗計劃資料(最佳化之檢驗計劃資料)產生光圖案。
亦如上所述及圖中所示,光學檢驗系統可與監測器26相關聯,其分析控制單元78所提供之測量資料MD並產生指示檢驗結果IR之輸出資料。後者接著可被控制系統10進一步分析以達更新檢驗任務資料及/或更新/最佳化CAD資料及/或更新/最佳化資料庫之目的。
參考圖8A及8B,其以不言自明方式示出包括成像系統72及控制系統10之檢驗系統80之配置與操作的兩個具體但非限定示例。
在圖8A之示例中,控制系統10係實施為嵌入式系統模組(SOM),其運行成像系統72的操作序列、產生光圖案序列並管理投影機之控制器、管理相機模組、從相機模組讀取圖像、執行圖像處理演算法\並返回檢驗結果。在此示例中,允許成像系統之應用程式設置的應用程式開發軟體在外部PC上運行,且嵌入式 SOM經由混合型網站介面連接至外部PC,從而允許本地連接及/或透過雲端連接。
在圖8B的示例中,外部控制PC用於運行成像系統的操作序列、並產生光圖案序列及管理投影機之控制器、管理相機模組、從相機模組讀取圖像、執行圖像處理演算法、返回檢驗結果並(可選地)運行用於成像系統之應用程式設置的應用程式開發軟體。在此例子中,控制PC(控制系統10)可與多於一個成像系統並行操作。控制PC經由混合型網站介面連接至廠IT(本地或雲端)。
在以上兩個非限定示例中,資料庫32係在遠端儲存系統中維護,可經由網站伺服器被控制單元存取。亦如圖中所示,控制單元10將測量資料或測量資料分析(檢驗結果)提供回管理資料庫的中央系統,以透過機器學習程序更新/最佳化資料庫。然而,應當理解,本發明不限於需與遠端資料庫系統通訊的此等示例。整個資料庫或其至少一部分(例如,與幾何特徵部屬性相關聯之檢驗模式資料片段)可由控制單元10的內部記憶體儲存並管理,且資料處理器適當地與從其請求並接收檢驗模式之此等內部記憶體通訊。
如上所述,給定光學檢驗系統OIS之光學配置資料係由照明通道IC的數目(即光圖案投影機的數目);光學偵測通道DC的數目;照明與偵測通道相對於檢驗平面的位置;照明與偵測通道之間可能的相對方位;以及光學檢驗系統之照明器及偵測器的諸多特性所定義。
一般而言,適於實施上述本發明原理之成像系統可包括至少一投影機/照明器及至少一成像器/相機,且較佳包括至少兩台投影機及/或至少兩台相機。投影機較佳為2D投影機(即,可將其輸出光引導至2D表面上)。此等2D投影機可利用空間光調變器(SLM)、數位光處理器(DLP)或掃描鏡(例如MEMS、Galvo等)。
本發明在其他態樣中提供用於成像系統之配置及操作的新穎方法,其可有利地用於實施本發明上述態樣之原理(即自適應檢驗計劃)的光學檢驗系統中。
在本發明之成像系統的一些實施例中,其包括一或更多2D投影機,其各自與兩台或更多相機相關聯;或一或更多相機,其各自與兩台或更多投影機相關聯。較佳地,相機與投影機(或投影機與相機)以三角形配置佈設。當系統操作時,多個投影機之視野(FOV)較佳是重疊(至少部分地)檢驗平面中之感興趣區域所在的區域上。相機到多台投影機的距離,以及投影機到多台相機的距離可能相同或可能不同。
在多台投影機及/或多台相機之此等實施例中,即共用至少一共同單元(為照明器或偵測器)之多個照明器-偵測器對,提供多對照明-偵測通道。每一照明器-偵測器對定義一基線向量,且照明器與偵測器之佈設使得具有共同單元之照明器-偵測器對的基線向量定義出基線向量相對於彼此之預定方位。
在一些實施例中,投影機與相機之佈設可使得其基線向量大致/實質上垂直。更具體地,將投影機連接到一相機(即連接其操作中心)的線大致/實質上垂直於將所述投影機連接到另一相機的線,且對於相同相機到不同投影機的連接亦是如此。換言之,每對照明-偵測通道定義出照明與偵測通道之中心之間的向量,該向量大致/實質上垂直於由共用至少一共同元件/單元之其他照明-偵測通道所定義的向量。
此等大致/實質上垂直的基線向量條件與以下相關:
假設投影機不在掃描模式下操作(即光(雷射)束未移動並「定在」單個位置上),光束照射目標表面上的單個點,且被照射點成像為相機上的一個點。當目標表面改變其高度(z位置)時,即存在表面起伏,則被照射點的圖像沿直線(對極線)在相機上移動。此乃根據對極幾何的原理(其為普遍已知而無需具體描述)。
就使用2D投影機而言,其輸出可能不是單點而是一直線。對於被照射之線上的每一點,皆有一條對極線在相機上。若此些對極線相同,將難以偵測並定位目標高度變化,因為相機將「看到」同一條線。若兩台相機與普通2D投影機一起使用,且其佈設符合基線向量「大致/實質上垂直」的條件,則消除該問題,因為2D投影機所建立/照射之每條線對至少兩相機中之至少一者提供高度敏感性。因此,本發明之成像系統的此等配置將系統提取被檢驗區域的3D資訊的能力最佳化。
參考圖9A-9H,其示出成像系統之配置及其中光傳播方案的一些具體但非限定示例(元件之頂視圖/平面上投影圖)。為利於說明及理解,圖9A-9F之成像系統72、172、272、372、472、572的功能元件(其在所有示例中相似)分別以相同的參考數字/符號標示。
在圖9A的示例中,成像系統72包括兩台投影機/照明器74A及74B(各自能夠將光圖案投影在被檢驗的部分/區域上)、以及一台相機(偵測器)76。兩台投影機及該相機分別定義出兩個照明通道及一偵測通道之總體傳播軸。相機76與投影機74A及74B佈設成三角形配置。相機76與投影機74A及74B佈設成使得其基線向量V(76-74A)
與V(76-74B)
大致/實質上垂直。
基線向量「大致/實質上垂直」之上述條件規定:若投影機74A投影之2D光圖案平行於基線向量V(76-74A)
,而因此難以從被照射圖案之偵測到的光響應中提取3D資訊,則可從投影機74B照射圖案之偵測到的光響應中提取相關3D資訊。類似地,若投影機74B之被照射圖案平行於V(76-74B)
,則可從投影機74A提取3D資訊。若投影機74A及74B之每個圖案不平行於基線向量V(76-74A)
與V(76-74B)
中的任一者,則可從兩個圖案的組合中提取3D資訊。
圖9B示出成像系統172稍不同的示例。根據此示例,成像系統172包括一台投影機74(能夠將光圖案投影至物件被檢驗部分/區域上)、以及兩台相機76A與76B(其以三角形配置佈設),且基線向量V(74-76A)
與V(74-76B)
大致/實質上垂直。類似於上述示例,若投影圖案平行於基線向量V(74-76A)
,則難以從此相機的圖像資料提取3D資訊,在此等例子中,可從相機76B之圖像資料提取相關3D資訊,反之亦然。若投影圖案不平行於兩向量V(74-76A)
與V(74-76B)
,則可從兩相機之圖像資料提取3D資訊。
在圖9C的示例中,成像系統272包括一投影機74,其與四台相機76A、76B、76C、76D相關聯。該投影機與四台相機佈設成使得兩對相機中的每一對與投影機一起形成三角形配置,且相應之基線向量大致/實質上垂直。更具體地,此些為成對的向量V(74-76A)
、V(74-76B)
與V(74-76C)
、V(74-76D)
。然而,向量V(74-76A)
與V(74-76D)
可能需要或可能不需要此等條件。在此示例中,相機76A與76C安設於投影機74的不同側,以避免來自被檢驗部分/區域上之3D形狀的陰影或將其最小化。類似地,相機76B與76D沿垂直於第一軸的第二軸安設,以避免垂直方向上的陰影或將其最小化。
圖9D例示成像系統372,其中一相機76與四台投影機74A、74B、74C及74D相關聯。此四台投影機與一相機如上所述地安設並定向,如圖中清楚所示。在此,大致/實質上垂直的條件與向量對V(74A-76)
、V(74B-76)
及V(74C-76)
、V(74D-76)
相關,但不一定與向量V(74C-76)
及V(74B-76)
相關。在此示例中,投影機74A與74C安設在相機76的不同側,以避免來自被檢驗部分/區域上之3D形狀的陰影或將其最小化。類似地,相機76B與76D沿垂直於第一軸的第二軸安設,以避免垂直方向上的陰影或將其最小化。除了避免陰影外,此等配置透過在投影機之間實施交錯模式而允許更快的掃描。
圖9E例示具有投影機74A、74B與相機76A、76B之所謂矩形配置的成像系統472。在此,此等「幾乎垂直」的向量為:向量V(74A-76A)
與V(74A-76B)
;向量V(74B-76A)
與V(74B-76B)
;及V(74A-76B)
與V(74B-76B)
。
此配置可能提供投影機(74A或74B)與相機(76A或76B)之最佳組合,其解決基線向量垂直限制及陰影最小化(來自被檢驗部件上之3D形狀的陰影)。又,利用此配置,當投影機74A、74B的視野不重疊時,可使用具有窄掃描角度的投影機。
圖9F示出利用單台投影機74與單台相機76之成像系統572的最簡單配置。雖然此配置在提供照明與偵測通道之間的諸多相對方位上可能較不靈活,但其可能對自適應且選擇性3D成像系統提供經濟高效的解決方案,用於不需解決基線向量在一個方向上之垂直限制的應用。
投影機(配置用於投影光圖案之照明器)可具有任何已知之合適配置。就在成像系統中使用多於一台投影機而言,其一般可能具有相似或不同的配置/類型。
在包括至少一投影機與至少一相機之成像系統的任一上述例示配置中,本發明進一步有利地提供使用基於2D圖案之「動態」投影的2D投影機,例如藉由MEMS或具有至少一快軸或可利用至少一快軸操作之類似者。
例如,2D投影機可包括與至少一雷射源、雷射驅動器IC及電源管理IC相關聯之共振或光柵2D MEMS掃描鏡及MEMS控制板。通常,可使用3-4個雷射源(RGB及IR)。來自光源之雷射束被引導至2D投影機上,即掃描鏡,將其反射至被檢驗區域。掃描鏡快速移動,以允許在被檢驗區域上建立光圖案。為提供高速檢驗,作為示例,可使用基於共振MEMS之面鏡,類似於微型投影機。基於共振2D MEMS 之面鏡的一軸為典型頻率 >10 kHz的快軸(共振),垂直軸為典型頻率約1 kHz的慢速光柵-掃描軸。因此,相較於線沿著MEMS掃描機之慢軸的掃描序列,線沿著快軸的掃描序列顯著更快。
成像器/偵測器可為任何已知的合適類型。在一些實施例中,較佳是使用具有多個動態重新定位感興趣區域(MROI)的相機。此提供顯著更快的讀取及資料傳輸(相較於全影格的讀取)。一些CMOS相機允許將讀取方向從列更改為行。多個ROI讀取與切換讀取方向能力之組合可顯著提高(~10x)最佳化之感興趣區域的典型影格速率。
一般而言,相機可配置為RGB、單色、NIR、IR及高光譜。例如,可使用具有靜態多個感興趣區域之CMOS相機,但在一些例子中,其可能會稍微降低感測器之性能。根據又另一示例,可使用無多個感興趣區域之CMOS相機或CCD相機(但此會降低感測器的性能)。
在一些實施例中,本發明利用基於MEMS之投影機及具有MROI之相機。此允許對被照射圖案之選定部分進行成像。
例如,共振或光柵2D MEMS型投影機可用於上述圖9A及9D的成像系統72與172(包括至少兩台投影機及至少一相機)中。在圖9D之系統配置中,如箭頭所示,投影機74B與74D的掃描方向相對於投影機74A與74C的掃描方向旋轉90度,使得投影機74A與74C的快速掃描軸垂直於投影機74B與74D的快速掃描軸。類似地,在例示於圖9A中之系統配置中,投影機74A與74B的掃描方向相互垂直。
上述方法的原理示意性地示於圖9G中,其示出一成像系統,其中一相機76與用於投影2D光圖案之四台投影機74A、74B、74C及74D相關聯。每一投影機具有至少一快軸,一般用FA表示。相機與投影機佈設/定向成使得每一投影機的快軸大致/實質上垂直於相機與所述投影機之間的基線向量。
上述配置可顯著提高檢驗工作階段的速度。在習知掃描機中,當掃描全視野時,掃描機的操作通常受到投影機之慢軸頻率(~30 FPS)的限制。然而,當掃描序列根據檢驗任務被最佳化時,在將掃描序列最佳化時會考慮光圖案的方向。關於此點,應當理解,掃描序列是針對相機連續施加之不同圖案及讀取模式的序列。具有快速掃描軸之最佳方位的投影機是基於圖案方向作選擇。取決於使掃描圖案與不同投影機快軸方位同步的能力,掃描速度可能會提高多達100x。在此等例子中,CMOS相機成為整體感測器掃描速度的限制因素。但若使用具有多個ROI及可變讀取方向(列/行)的CMOS相機,則整體速度可提高~10x(取決於ROI最佳化)。
應注意,本發明之原理不限於上述例示之「垂直條件」,亦不限於具有任何快軸之2D投影機。
圖9H示意性地示出系統配置的示例,其中多個照明器-偵測器對係由共同投影機74與三台相機76A、76B及76C相關聯來形成。照明器-偵測器對之基線向量相對於彼此具有預定方位。
如上所述,選擇資料庫管理器所提供之檢驗模式相關資料IMDij
,以匹配指示選定屬性組GAj
及給定檢驗系統OISi
之光學配置資料OCDi
的請求資料。選定屬性組GAj
又基於檢驗任務資料所定義之特徵部相關資料作選擇。
如上所述,計劃模組分析檢驗模式相關資料以及關於一或更多特徵部的檢驗任務資料,並產生最佳檢驗計劃資料。例如,最佳化在於檢驗計劃包括在同一檢驗工作階段內檢驗多個特徵部,例如測量一或兩個特徵部之一些參數以及此兩個感興趣特徵部之間的距離。若要在屬於不同感興趣區域之多個感興趣特徵部上執行檢驗計劃,且所述感興趣區域之間的相對位置可能在不同檢驗之間改變,則對每一此等區域分別執行對準程序,且檢驗計劃資料包括與區域間位移有關的資料。又,可確定檢驗計劃以實現相同特徵部之多於一項參數的測量/檢驗(例如,測量孔的直徑並檢驗孔的形狀)。又,檢驗計劃資料利用資料庫所提供之選定光圖案的配置,且亦考慮檢驗系統的成像配置。例如,將初始光圖案最佳化以用於對準程序。例如,對於具有平滑表面之感興趣區域,可使用初始條紋圖案,而對於具有尖銳邊緣的區域,可使用棋盤線圖案。根據本發明,光圖案參數(包括但不限於圖案頻率及不同光圖案之間的距離)可基於在設置階段期間執行之高度估測(來自CAD或參考圖像)而自動調整。
控制系統可分析偵測到之光響應(依序投影之光圖案的反射圖像),以在6個維度上定位感興趣區域:X、Y、Z及所有三個軸上的旋轉。
例如,圖9I及9J例示使用斷線對準銳邊 - 當投影線垂直於邊緣時。該等圖示出棋盤線圖案投影至感興趣區域(感興趣特徵部)的圖像,能夠找到斷線以準確辨識盒邊緣。在一相機(以其相應偵測通道之方位為特徵)上得以更好地看到用於垂直邊緣的斷線(圖9I),而在具有不同偵測通道方位之另一相機上得以更好地看到用於水平邊緣的斷線(圖9J)。
應注意,為解決視野中任何邊緣之對極限制,可使用具有多個投影機(圖9A或9D)或多個相機(圖9B、9C或9H)的配置。當感興趣區域被準確定位時,任何參考點或感興趣特徵部皆可在系統座標中被定位,並可基於檢驗計劃中之掃描資料將光圖案投影至正確位置。
以下是給定光學檢驗系統配置確定檢驗計劃資料之一些具體但非限定示例的描述。
圖10A-10C例示物件上感興趣區域之檢驗計劃的確定及實施,該物件包含選定特徵部F,其為具有平坦矩形頂面PS的墊部。初始物件相關資料包括指示以下的資料(i) 特徵部F配置:幾何(具有平坦且接近平行於基底平面(即物件的基板)之矩形頂面的墊部);(ii)特徵部F之初始位置資料(相對於某些對準特徵部之大致X、Y、Z位置)。檢驗任務資料包括確定所述特徵部F之精準Z軸高度。
本發明之控制系統(如上所述配置)操作以分析關於特徵部F之檢驗任務資料並建立對應配方以供給定光學檢驗系統進一步使用。為此目的,控制系統辨識特徵部相關資料並將其轉換成選定屬性組,即基本形狀。在此特定示例中,基本形狀描述為一個平行於Z軸的矩形表面。基本形狀資料與光學檢驗系統相關資料(光學配置資料或指定至相應配置資料之系統ID)一起用於對資料庫管理器產生請求資料,資料庫管理器從資料庫中選擇定義檢驗模式相關資料之相應光圖案資料。在此特定示例中,選定光圖案資料包括單一影格圖案序列,其包含將投影至墊部頂表面上之幾個點D的網格G1
(圖10B)。控制系統分析關於選定光圖案之此資料,並產生指示用於光學檢驗系統之最佳檢驗計劃資料的資料,以定義相應配方。此分析包括將投影圖案置中於特徵部的中心,確定每一點的投影角度,並指定用於立體耦合的點(圖10C),以與相機一起使用來收集指示墊部Z位置之相應圖像資料。接著可進一步處理圖像資料(例如,透過光學檢驗系統之控制單元),以產生對應於檢驗任務資料之相應測量資料。為此目的,確定每一點之準確X、Y、Z位置,且墊部之Z位置被測定為點Z的平均值。
參考圖11A-11C及12A-12C,其例示關於另一檢驗任務(與相同(或相似)特徵部/元件F相關聯,特徵部/元件F為具有平坦矩形頂面之墊部)之檢驗計劃建立與實施的技術。在此示例中,初始物件相關資料包括指示以下的資料 (i)特徵部F配置:幾何(具有平坦頂面的墊部);(ii)特徵部F之初始位置資料(所述平坦表面之邊界相對於某些對準特徵部之大致X、Y、Z位置)的資料。檢驗任務資料包括確定特徵部F之所述平坦表面的XZ及YZ角。
本發明之控制系統(如上所述配置)操作以分析關於特徵部F的檢驗任務資料並建立對應配方以供給定光學檢驗系統進一步使用。為達配方建立目的,控制系統產生選定屬性組,即基本形狀,其基於檢驗任務資料描述特徵部F。在此特定示例中,基本形狀描述為一平坦表面。基本形狀資料與光學檢驗系統相關資料(光學配置資料或指定至相應配置資料的系統ID)一起用於對資料庫管理器產生請求資料,資料庫管理器利用此請求資料以從資料庫中選擇定義檢驗模式相關資料之相應光圖案資料。在此特定示例中,選定光圖案資料包括間隔開之平行線L的網格G2
。控制系統(計劃模組)分析光圖案資料及檢驗任務資料,並確定對應檢驗計劃資料包含在配方資料中,其定義最佳之光圖案應用序列。在此示例中,此為兩個影格的序列,分別如圖11A-11C與12A-12C所示,其中分別沿X軸與Y軸施加覆蓋頂面之網格線(圖11A-11C與12A-12C)。更具體地,對於第一影格擷取(圖11A-11C),第一投影機產生覆蓋頂面之平行線L之網格G2
形式的光圖案,使得該等線平行於所述第一投影機快軸;而對於第二影格擷取(圖12A-12C),該等線垂直於所述第一投影機的快軸,或平行於第二投影機快軸(若使用兩台投影機)。頂面上之相應網格圖像示於圖11C與12C中,其中圖像中兩圖案之間的角度(即線旋轉角)與頂面角度成正比。因此,如此建立之圖像資料得以指示表面角度。為了確定表面角度,根據檢驗任務,使用關於頂面邊界相對於對準特徵部之大致X、Y、Z位置的初始資料(先前知識)來確定線的位置;確定每條線的線角度,並從平均線的角度來確定表面角度。第一影格圖像資料可用於確定XZ角度,而第二影格圖像資料可用於確定YZ角度。
參考圖13A-13C,其示出本發明技術之又另一示例。在此示例中,對類似墊部類型之特徵部F感興趣(圖13A)。然而,檢驗任務與確定墊部之頂面PS的角C相關聯。初始物件相關資料包括指示以下的資料 (i)特徵部F配置:幾何(具有多邊類型之頂面的墊部);(ii)角之曲率中心相對於某些對準特徵部之X、Y、Z位置,如圖13B所示。檢驗任務資料包括確定表面之XY角的半徑。
本發明之控制系統(如上所述配置)操作以分析檢驗任務資料並建立包括檢驗計劃資料之對應配方以供給定光學檢驗系統進一步使用。為達配方建立目的,控制系統產生選定屬性組,即基本形狀,其基於檢驗任務資料描述特徵部F。在此特定示例中,基本形狀描述為具有多邊形幾何之平坦表面。基本形狀資料與光學檢驗系統相關資料(光學配置資料或指定至相應配置資料之系統 ID)一起用於對資料庫管理器產生請求資料,資料庫管理器利用請求資料以從資料庫中選擇定義檢驗模式相關資料之相應光圖案資料。在此特定示例中,選定光圖案資料包括單線L。控制系統(計劃模組)分析光圖案資料及檢驗任務資料並確定對應配方資料,其定義最佳光圖案應用序列。在此示例中,此為多影格序列—三個此等影格R1
、R2
、R3
例示於圖13C中,其中每一影格包含穿過角曲率中心(基於所述中心之已知位置)但與序列中其他影格相比具有不同斜率之單線L。如此獲得之圖像資料能夠確定角曲率半徑。為此目的,找出3D邊緣處出現之斷線LB的位置,並將找到的斷點與圓的輪廓近似以找到其半徑。
參考圖14A-14C,其示出本發明技術可如何用於物件檢驗之更具體非限制性示例。在此示例中,感興趣特徵部與兩元件(墊部)相關聯,兩元件在其面向表面F1
與F2
之間有一定距離,而檢驗任務旨在確定此兩表面之間的距離。初始資料包括(i)兩面向表面之配置(已知此些面向表面相互平行);(ii)所述表面之位置及其相對於對準特徵部的大致高度;以及(iii) 所述平行表面相對於對準特徵部之方位。
本發明之控制系統分析檢驗任務資料及初始資料(先前知識)並建立對應配方以供給定光學檢驗系統進一步使用。為達配方建立目的,控制系統產生選定屬性組,即基本形狀,其基於檢驗任務資料描述特徵部F。在此特定示例中,基本形狀描述為一對間隔開之平行壁。控制系統與資料庫管理器通訊並從其接收指示匹配光圖案的資料,此示例中之光圖案為沿X軸延伸並沿Y軸間隔開之平行線L的網格G3
形式(圖14B),以使其垂直於壁(圖14A)。控制系統之計劃模組分析光圖案資料並產生包括定義圖案序列之檢驗計劃資料的配方,此示例中之圖案序列為施加之單影格圖案序列,使得網格覆蓋壁之間的空間並亦與壁之平面相交。對應圖像示於圖14C中,其清楚線顯示每條線與壁平面相交處之斷點LB。此圖像資料可用於確定兩墊部之間的距離,其透過確定每條線之斷點的XYZ位置、確定此些斷點之間的距離、並將壁之間的距離測定為所有線之斷點間的平均距離。
參考圖15A-15B,示出本發明技術之又進一步示例。在此示例中,感興趣特徵部F與在其兩相對(左及右)面/側S1
與S2
之間具有短頂面PS的小(短)墊部相關聯,而檢驗任務旨在確定墊部在物件中的位置。初始資料(先前知識)包括:(i)特徵部之配置(兩相對側之間的短壁);(ii)壁相對於對準特徵部之方位;及(iii)壁相對於對準特徵部之大致位置。檢驗任務是找出壁左右兩側S1
與S2
的確切位置。
本發明之控制系統分析檢驗任務資料及初始資料(先前知識)並建立對應配方以供給定光學檢驗系統進一步使用。為達配方建立目的,控制系統產生選定屬性組,即基本形狀,其基於檢驗任務資料描述特徵部F。在此特定示例中,基本形狀描述為一對間隔開的平行表面。控制系統與資料庫管理器通訊並從其接收指示匹配光圖案的資料,此示例中之光圖案為單線L圖案形式。控制系統之計劃模組分析光圖案資料並產生包括定義圖案序列之檢驗計劃資料的配方,此示例中之圖案序列為多影格序列,其中在每一影格中,圖案包括「掃描」大致位置之區域(根據先前知識)的恰好一短線,且該線垂直於壁的方位。應理解,在短壁特徵部(其中壁周圍的區域為空的)的情形中,位置公差不容許定位在壁上的精確投影機線。因此,要找到壁左右兩側的確切位置。在此等多影格檢驗工作階段(此示例中為四影格工作階段)期間收集到的圖像資料示於圖15B中,其顯示逐影格之線移動,此提供關於線斷點LB之資訊。此圖像資料可用於確定感興趣頂面之相對側壁的位置。圖像資料分析包括辨識是否有斷線。線未斷開表示不存在壁。在辨識到線斷開後,將「斷開之線片段」的位置記錄為壁的位置,其可用於提供所需之輸出。
參考圖16A及16B,其示意性地示出一些可能實施例之又進一步示例性掃描技術。在此非限定示例中,感興趣特徵部F與在其兩相對(左及右)面/側S1
與S2
之間具有短頂面PS的小(短)墊部相關聯,而檢驗任務旨在確定墊部在物件中的位置。初始資料(先前知識)包括:(i) 特徵部之配置(兩相對面/側S1
、S2
之間的短頂壁PS);(ii)壁PS相對於對準特徵部之方位;以及(iii)壁PS相對於對準特徵部之大致位置。檢驗任務是找出壁PS之左右面/側S1
與S2
的確切位置。
控制系統(10)分析檢驗任務資料及初始資料(先前知識)並建立對應配方以供給定光學檢驗系統進一步使用。為達配方建立目的,控制系統產生選定屬性組,即基本形狀,其基於檢驗任務資料描述特徵部F。在此特定示例中,基本形狀描述包括一對間隔開的平行表面。控制系統與資料庫管理器通訊並從其接收指示匹配光圖案的資料,此示例中之光圖案包括垂直於面/側S1
與S2
方位之單一照明線圖案L。照明線圖案L亦被分成數個節段,一些為實心連續照明線,而另一些是分開的照明點。控制系統之計劃模組(20C)分析光圖案資料並產生包括定義照明圖案序列之檢驗計劃資料的配方,此示例中之圖案序列為多影格序列,其中在每一影格中,圖案包括連續照明線或沿著線L之假想延續的單照明點。此等影格序列為基於時間的編碼方案,其容許沿掃描線L之不同節段(節段可為點或連續線)之間的分隔。使用此編碼方案在求解掃描目標之3D位置時容許更嚴格限制,其進而導致更佳之掃描解析度。
因此,要找出壁PS之左右側S1
、S2
的確切位置。在此等多影格檢驗工作階段期間收集到的圖像資料(此示例中為12個影格)示於圖16B中,其顯示逐影格之單點移動,此提供關於線斷點LB之資訊。此圖像資料可用於確定感興趣頂面PS之相對側壁S1
、S2
的位置。圖像資料分析包括辨識照明點是否在某些位置斷開。照明點未斷開表示在特定照明點位置不存在壁(例如,S1
)。在辨識到照明點斷開後,將「斷開之線片段」的位置記錄為壁的位置,其可用於提供所需之輸出。
圖17A至17E顯示根據本發明利用最佳檢驗模式/計劃以檢驗物體不同圖案化區域中之元件/特徵部而獲得的改進結果。圖17A示出物體OB之立體圖,其包括根據檢驗任務之待檢驗的元件。此些元件包括第一複數隔開平行壁特徵部(突部)W1所形成之第一圖案化結構,以及第二複數隔開平行壁特徵部(突部)W2所形成之第二圖案化結構。突部W1與W2沿不同軸A1與A2(例如垂直軸)延伸。
圖17B及17C示出利用相同檢驗模式對物體OB之所有壁特徵部W1及W2進行成像而獲得的圖像。在此檢驗模式中,使用沿軸SA之相同掃描方向。此掃描軸實質上垂直於特徵部W2的軸A2,其對應於如「長薄壁」之類的特徵部/元件的最佳檢驗模式,因此特徵部W2的圖像足以確定第二圖案化結構之參數。然而,掃描軸SA不適於檢驗長薄壁W1,此從第一圖案化結構之獲得圖像(其包含多條陰影線)中可明顯看出,陰影線實質上減弱壁特徵部W1在物體OB之表面上真實位置的偵測。
圖17D及17E示出利用符合第一及第二圖案化結構中壁特徵部W1及W2之方位的不同檢驗模式所獲得的圖像,亦即,利用不同掃描軸SA1及SA2對第一與第二圖案化結構進行成像,分別垂直於壁W1及W2。如圖17D及17E中所見,利用包括此等不同檢驗模式之檢驗計劃提供顯著改善區分壁W1與W2之陰影與特徵部線的能力。
圖18A及18B例示利用習知方法(圖18A)與利用本發明技術(圖18B)所獲得之同一物體的檢驗結果。從圖18A可見,當以均勻掃描密度掃描整個物體時,無法適當地成像一些具有小特徵部的圖案。如圖18B所見,根據本發明確定的檢驗計劃包括用於檢驗物體之特定區域的不同掃描密度,其不同於周圍區域之掃描密度。此能夠以相對低的解析度(掃描密度)掃描整個物體,並對物體之選擇區域切換成理想高掃描密度模式,因而顯現選定特徵部之額外資訊。使用此等高掃描解析度以檢驗整個物體會耗費時間及資源,而較低掃描解析度無法提供所需結果,如圖18A所示。
圖19A及19B進一步例示本發明之技術。在此示例中,檢驗計劃包括使用不同檢驗模式以檢驗三個不同特徵部(墊部)F1、F2及F3。此些檢驗模式的照明強度不同。
由於要測量物體寬度,因此利用沿軸S1的線掃描特徵部F1。應注意,只有物體之一部分被掃描,因為寬度測量可在物體之一部分上取平均值。
先以沿軸S1接著沿軸S2(掃描組合)的線掃描特徵部F2及F3,以對寬度及長度測量獲得良好的解析度。
以比特徵部F2高的照明功率掃描特徵部F1及F3(未示於圖中),因為其位於視野的邊緣,因此與成像裝置的距離更大。
在一些其他示例中(未具體示出),檢驗任務可能旨在確定表面部分上至少一3D凸塊的存在,該表面部分可為物件之基板上感興趣區域的表面或物件上主動元件的頂面(例如墊狀元件)。為此目的,初始物件相關資料包括指示所述表面部分之邊界位置的資料。於此例子中,選定之圖元組包括多邊形平坦表面,且從資料庫接收之選定光圖案資料包括以其相位為特徵之條紋狀圖案。控制系統在分析光圖案資料(其考慮檢驗任務資料)並建立對應配方。例如,該配方定義至少三個影格圖案形式之圖案序列,其中每一圖案為條紋,其具有不同於其他影格之相位。接著可處理圖像資料以從條紋建立高度圖,並辨識所述高度圖是否對應於一或更多3D凸塊的存在。
在另一示例中,物件檢驗任務可能旨在辨識感興趣區域是否在其表面上包含任何特徵部/元件。初始資料指示所述表面在某一波長(或波長範圍)中的反射率。在此例子中,控制系統將特徵部(反射表面)轉換成與光學特性相關圖元(例如,所述表面對其有最大反射性之照明波長,以將接收的訊號/光響應最大化)相關聯之屬性組。至於圖案,可使用或可不使用任何圖案。
然而,應注意,相同感興趣區域以及相同特徵部/元件可能與多於一項檢驗任務相關聯,因此應相應準備配方。若多個配方與同一視野無關(即與被成像之同一感興趣區域無關),其可組合成包含多個配方之單一配方結構,其每一配方在其相關視野內操作。
在適當建立並儲存配方後,檢驗系統可執行檢驗工作階段。在運行期執行期間,感興趣區域相對於成像系統的位置從執行循環(檢驗工作階段)至另一者可能改變。因此,要執行部件對準-在成像系統之座標系統中定位感興趣區域。
圖20例示操作控制器(可為控制系統及/或光學檢驗系統的一部分)所管理之檢驗工作階段之運行期執行的流程圖500。操作控制器從記憶體(例如控制系統之記憶體或光學檢驗系統之記憶體)檢索與某一感興趣區域相關聯之配方資料(步驟502)。如上所述,配方包括指示最佳檢驗計劃之資料(例如光圖案、光圖案序列及其相對於被檢驗特徵部之方位)。操作控制器配置並可操作成操作系統以執行對準程序以將感興趣區域與成像系統對準(步驟504);並將光圖案之座標轉換/變換至成像系統之座標系統(基於對準定位資料)-步驟506。接著,成像系統執行檢驗工作階段以獲得3D圖像資料。為此目的,投影機與相機之操作被適當地同步以分別使用投影機執行/施加光圖案序列(步驟508)並透過提供一系列圖像的相機來擷取投影圖案的反射,形成測量資料-步驟510。可選地,操作控制器可執行投影圖案之品質的分析(步驟512),並在辨識到品質不足(即不滿足預定條件)時,控制器將啟動(步驟514)檢驗計劃資料之參數的迭代並重複步驟508-510,直到品質足夠或直到達到迭代次數的限制。
如上所述,監測器26(作為控制系統及/或光學檢驗系統的一部分)可進一步用於分析測量資料(指示投影圖案之反射序列的資料)以提供與檢驗任務匹配之檢驗結果並產生對應輸出資料(例如,一或更多選定特徵部之一或更多參數/條件)-步驟516。檢驗結果之分析可用於決定是否加入定義進一步的檢驗任務-步驟518。
除了上述檢驗結果之示例外,檢驗結果亦可包括以下類型:局部點雲或局部高度圖;多個方向之高度輪廓;3D圖元(例如孔、銷、球、盒、柵結構等)之向量表示;感興趣特徵部位置(XYZ)及/或方位(X、Y、Z、Rx、Ry、Rz);感興趣特徵部之特性(大小、圓半徑、角半徑、面積、平均/最大高度等);感興趣特徵部之間的距離;平面之間的角度。
測量資料之分析取決於檢驗結果的類型及投影圖案。
下表例示出本發明技術基於關於檢查任務及相關特徵部的輸入資料及從資料庫系統接收到之關於光圖案類型的資料而提供之諸多配方結構及檢驗計劃方案。
光圖案 | |||||||||
單點掃描 | 單線掃描 | 多線掃描 | 編碼線 | 編碼影格 | 條紋圖案 | ||||
所需資料 | 1 | 局部點雲 | 透過三角測量找到X、Y、Z點 | 測量局部偏移,透過三角測量估算每條線的 X、Y、Z(結合來自兩相機或兩投影機的計算) | 計算線、指定線、測量局部偏移、透過三角測量估算每條線的X、Y、Z(結合來自兩相機或兩投影機的計算) | 解碼及三角測量 | 解碼及三角測量 | 估算相移 | |
2 | 局部高度圖 | ||||||||
3 | 多方向之高度輪廓 | ||||||||
4 | 3D圖元(例如孔、銷、球、盒、柵結構等)之向量格式 | 估算邊上斷線的位置。 計數並指定。 找出斷處的XYZ 座標並插入 | |||||||
5 | 感興趣特徵部位置(例如座標X、Y、Z、Rx、Ry、Rz) | 使用第1-4項中的資訊並對其進行後處理 | |||||||
6 | 感興趣特徵部特性(例如大小、圓半徑、角半徑、面積、平均/最大高度等) | 使用第1-4項中的資訊並對其進行後處理 | |||||||
7 | 感興趣特徵部之間的距離 | 使用第1-4項中的資訊並對其進行後處理 | |||||||
8 | 平面之間的角度 | 辨識感興趣平坦表面。使用線方向估算平面角度。估算平面之間的角度 | |||||||
如上所述,包含指示諸多光圖案(與屬性組及成像配置相關聯/指定至屬性組及成像配置)之資料的資料庫為通用資料庫,並可被多個控制系統(其產生指示屬性組之資料及對資料庫管理器之相應請求資料)存取。更具體地,資料庫將最佳光圖案匹配至與3D圖元及將由給定成像系統配置執行之檢驗計劃。例如由於產業自動化中之機器視覺分析數千至數百萬之相同部件;及/或由於不同部件(甚至來自不同客戶/生產線)具有相似圖元(因其皆使用CAD軟體建模),故此等3D圖元及檢驗任務與計劃經常自我重複。
因此,每一檢驗系統獲得之檢驗結果可用於更新/最佳化資料庫。此可依下述進行:資料庫之管理器/控制器從現場部署之多個成像系統收集資訊,在諸多圖元上運行並執行諸多檢驗計劃以服務於諸多檢驗任務。此資訊及檢驗結果上傳至此等中央資料庫,且管理器運行最佳化演算法以對某些圖元及檢驗任務改進檢驗計劃,因而能夠存取定期改進之資料庫。
10:控制系統
14:資料輸入設備
16:資料輸出設備
18:記憶體
20:資料處理器
20A:辨識器設備/模組、辨識器
20B:分析器設備、分析器
20C:計劃模組
24:通訊設備
26:監測器
28:操作控制器
28A:圖案產生器模組
28B:主任務控制器
30:儲存系統
32:資料庫
34:管理器設備
36:配置資料庫
40:獨立系統
50:物件
52A:USB連接器
52B:元件
53:測量線
56:支撐基板
60:物件
62:封裝組件
66:基板
70:物件
72:成像系統
74:照明器
74A:投影機/照明器
74B:投影機/照明器
74C:投影機/照明器
74D:投影機/照明器
76:成像器、光偵測器/相機
76A:相機
76B:相機
76C:相機
76D:相機
78:控制單元
78A:處理器
80:檢驗系統
82:元件
100:流程圖
102:步驟
104:步驟
106:步驟
108:步驟
110:步驟
112:步驟
114:步驟
172:成像系統
272:成像系統
372:成像系統
472:成像系統
500:流程圖
502:步驟
504:步驟
506:步驟
508:步驟
510:步驟
512:步驟
514:步驟
516:步驟
518:步驟
572:成像系統
A1
:屬性
A2
:屬性
C:角
D:點
DC:偵測通道
DLR:光響應
DP(1)
:資料片段
DP(2)
:資料片段
DP(m)
:資料片段
DP(p)
:資料片段
G1
:網格
G2
:網格
G3
:網格
GAj
:選定屬性組
F:特徵部
F1
:弧、特徵部、面向表面
F2
:弧、特徵部、面向表面
F1:特徵部
F2:特徵部
F3:特徵部
FA:快軸
GAj
:選定屬性組
IC:照明通道
IDi
:辨識碼/資料
IMD:檢驗模式資料片段
IMD1
:檢驗模式資料片段
IMDr
:檢驗模式資料片段
IMDh
:檢驗模式資料片段
IMDij
:檢驗模式資料
IPD:檢驗計劃資料
IPDij
:檢驗計劃資料
IR:檢驗結果
ITD:檢驗任務資料
ITDij
:檢驗任務資料
ITDj
:檢驗任務資料
L:平行線
LB:斷點、斷線
MD:測量資料
O1
:中心
O2
:中心
OB:物體
OCDi
:光學配置資料
OIS:光學檢驗系統資料
OIS1
:光學檢驗系統資料
OIS2
:光學檢驗系統資料
OIS3
:光學檢驗系統資料
OISi
:光學檢驗系統資料
PS:頂面/壁
R1
:影格
R2
:影格
R3
:影格
RDij
:請求資料
S:空間
S1
:面/側、側壁
S2
:面/側、側壁
S1:軸
S2:軸
SA:軸
SA1:掃描軸
SA2:掃描軸
V:基線向量
W1:特徵部、突部
W2:特徵部、突部
為了更佳地理解本文所揭示之標的並例示其實際上可如何執行,現將參考附圖以僅為非限定示例之方式來描述實施例,其中:
圖1為本發明之控制系統的方塊圖,用於透過一或更多檢驗系統管理物件檢驗;
圖2示意性地示出儲存系統之配置及操作,其管理控制系統可存取並使用之資料庫;
圖3A-3B及4A-4B示出物件之兩具體但未限定示例,其檢驗可由本發明之控制系統來控制/管理;
圖5透過流程圖例示本發明之方法(例如透過圖1之控制系統實施),用於產生將由檢驗系統執行之檢驗計劃資料;
圖6A及6B分別示出準備/建立物件相關資料及檢驗任務資料之兩示例;
圖7透過方塊圖示出檢驗系統之一可能實施方式的配置及其與控制單元及/或與包含關於檢驗模式之資料的儲存系統通訊;
圖8A及8B透過方塊圖示意性地示出控制及檢驗系統之配置與操作的兩具體但非限定示例,其中圖8A之示例示出整體配置,其中控制系統實施為檢驗系統之嵌入式系統模組(SOM);而在圖8B之示例中,控制系統在外部控制個人電腦(PC)中實施並可與多於一個成像系統並行操作;
圖9A-9F示出成像系統之配置與操作方案的諸多示例;
圖9G示意性地示出利用與多個2D投影機相關聯之相機的成像系統配置示例;
圖9H示意性地示出利用與多台相機相關聯之2D投影機的成像系統配置示例;
圖9I及9J例示使用斷線對準銳邊的程序;
圖10A-10C例示包含選定特徵部之物件上感興趣區域之檢驗計劃的確定與實施,該選定特徵部為具有平坦矩形頂面的墊部,以服務於確定所述頂面之精確Z軸位置/尺寸的檢驗任務;
圖11A-11C及12A-12C例示用於檢驗與圖10A-10C示例相同(或相似)之特徵部/元件但根據另一檢驗任務(與確定墊部平坦表面之XZ與YZ角度相關)的檢驗計劃建立及實施技術;
圖13A-13C例示用於檢驗墊部形式之相同(或相似)特徵部/元件但根據又另一檢驗任務(與確定墊部平坦表面之角曲率半徑或曲率中心相關)的檢驗計劃建立及實施技術;
圖14A-14C例示用於檢驗包含兩隔開元件(墊部)之感興趣區域的檢驗計劃建立及實施技術,其基於與確定此兩元件之間距離相關聯的檢驗任務;
圖15A-15B示意性地示出本發明技術之又進一步示例,用於建立並實施關於為小(短)墊部之感興趣的檢驗計劃,以確定墊部之左右側的確切位置;
圖16A及16B示意性地例示利用本發明原理檢驗特定元件之檢驗計劃;
圖17A至17E例示利用本發明技術檢驗物體之圖案化區域所獲得的改進結果;
圖18A及18B例示相較於習知方法下之本發明技術所獲得的改進結果;
圖19A及19B例示檢驗物體之選定區域的最佳檢驗模式條件的效果;以及
圖20例示根據本發明確定之檢驗計劃資料之檢驗工作階段之運行期執行的流程圖。
10:控制系統
14:資料輸入設備
16:資料輸出設備
18:記憶體
20:資料處理器
20A:辨識器設備/模組、辨識器
20B:分析器設備、分析器
20C:計劃模組
24:通訊設備
26:監測器
28:操作控制器
30:儲存系統
32:資料庫
34:管理器設備
36:配置資料庫
40:獨立系統
Claims (47)
- 一種控制系統,用於管理具有一或更多類型之多個特徵部之物件的檢驗,該控制系統包括: 一資料輸入設備,用於接收指示一或更多選定感興趣特徵部之輸入資料,該選定感興趣特徵部將由以相關成像配置資料為特徵之一給定檢驗系統進行檢驗; 一資料處理器,配置並可操作成分析該輸入資料,以提取指示關於一或更多檢驗任務之檢驗任務資料的資訊,並產生檢驗計劃資料,該檢驗計劃資料將用作操作該給定檢驗系統之一配方資料,以根據該一或更多檢驗任務提供測量資料。
- 如請求項1所述之控制系統,其中該資料處理器配置並可操作成與一資料庫系統通訊,以從該資料庫系統請求並接收對應於該檢驗任務資料之選定檢驗模式資料,並利用該選定檢驗模式資料以產生該檢驗計劃資料。
- 如請求項2所述之控制系統,其中該選定檢驗模式資料被指定至一屬性組,包括幾何與材料相關屬性中之至少一者,其與用於檢驗對應於該等屬性之特徵部的一或更多成像配置相關聯。
- 如請求項2或3所述之控制系統,其中該資料處理器配置並可操作成對該資料庫系統產生請求資料,該請求資料包括從包含有幾何相關屬性及材料相關屬性之一預定屬性集合中選擇且並對應於該檢驗任務資料之一選定屬性組。
- 如請求項1至3中任一項所述之控制系統,其中該資料處理器包括: 一辨識器設備,配置並可操作成利用該輸入資料來定義指示該一或更多檢驗任務之檢驗任務資料,該檢驗任務資料包括指示該輸入資料之資料、指示該一或更多選定特徵部之資料、以及對應於該一或更多檢驗任務之測量類型; 一分析器設備,配置並可操作成分析該檢驗任務資料並透過產生一選定屬性組來確定該配方資料,該選定屬性組係從包含有幾何相關屬性及材料相關屬性之一預定屬性集合選擇,並對應於該檢驗任務資料;以及 一計劃模組,配置並可操作成分析對應於該選定屬性組之該檢驗任務及選定檢驗模式資料,並產生將由該給定檢驗系統執行關於該一或更多選定感興趣特徵部之檢驗計劃資料。
- 如請求項5所述之控制系統,其中該計劃模組配置並可操作成執行以下者:對一資料庫系統產生包括指示該選定屬性組之資料的請求資料,以請求指定至與該給定檢驗系統相關聯之該選定屬性組的該選定檢驗模式資料 ;以及基於該檢驗任務資料分析該選定檢驗模式資料,並產生該檢驗計劃資料。
- 如請求項2或3所述之控制系統,其中該檢驗模式資料包括指示相關於將在該給定檢驗系統執行之一或更多檢驗工作階段中成像的一感興趣區域之一或更多以下條件的資料: 將投影至該感興趣區域上之選定輻射圖案;照明強度;照明光譜資料;關於該感興趣區域之掃描路徑的方位;掃描密度。
- 如請求項7所述之控制系統,其中該檢驗計劃資料包括指示以下至少一者的資料:該一或更多檢驗工作階段期間之一檢驗模式序列;一或更多選定輻射圖案之最佳化配置;該一或更多檢驗工作階段期間之至少一輻射通道與至少一偵測通道的相對方位;輻射及偵測通道與該感興趣區域之對準;該等檢驗工作階段的數目;用於收集與該感興趣區域相關聯之偵測資料的資料讀取模式。
- 如請求項4所述之控制系統,其中該預定屬性集合包括諸多表面之複數基本幾何形狀及複數輻射響應特性。
- 如請求項2或3所述之控制系統,包括用於儲存該資料庫之一儲存設備。
- 如請求項2或3所述之控制系統,包括一通訊模組,其係配置並可操作成執行該資料處理器與位於一遠端儲存系統中之該資料庫系統的資料通訊。
- 如請求項1至3中任一項所述之控制系統,其配置並可操作成與該至少一給定檢驗系統資料通訊,以將該檢驗計劃資料傳送至該檢驗系統。
- 如請求項1至3中任一項所述之控制系統,更包括一監測器,其配置並可操作成接收且分析由該檢驗系統在利用該檢驗計劃資料所執行之一或更多檢驗工作階段中獲得並指示與該一或更多選定特徵部相關聯之一或更多參數的測量資料,並產生指示檢驗結果之輸出資料。
- 如請求項13所述之控制系統,其中指示該等檢驗結果之該資料包括以下一或更多者:更新的檢驗任務資料;用於將該資料庫之內容最佳化的更新,該資料庫包含指定至與該等檢驗系統相關聯之對應屬性組的預定檢驗模式資料片段。
- 如請求項13所述之控制系統,其中該監測器配置並可操作成與遠端中央系統通訊以將指示該等檢驗結果之該輸出資料傳送至該中央系統,藉此能夠將該檢驗結果資料用於下述之至少一者:更新檢驗任務資料;將該資料庫之內容最佳化,該資料庫包含指定至與該等檢驗系統相關聯之對應屬性組的預定檢驗模式資料片段。
- 如請求項1至3中任一項所述之控制系統,其中該輸入資料包括以下一或更多者:指示該一或更多感興趣特徵部之CAD模型資料;物件之至少一部分的3D掃描及指示將執行之一或更多測量類型的對應詮釋資料;以及關於與該一或更多選定感興趣特徵部相關聯之該物件上一或更多感興趣區域的位置資料。
- 如請求項16所述之控制系統,其中該位置資料包括關於以下至少一者的資料:該等感興趣特徵部相對於一對準位置之相對位置;及該等感興趣特徵部相對於一對準位置之相對方位。
- 如請求項1至3中任一項所述之控制系統,其中指示該檢驗任務之該資料包括以下一或更多者: (i) 針對該一或更多選定特徵部中之每一者,該選定特徵部在一或更多預定感興趣區域中之存在的驗證; (ii) 針對該一或更多選定特徵部中之每一者,該特徵部之一或更多參數的測量; (iii) 針對來自該一或更多選定特徵部之每一對特徵部,其之間的至少一距離及其相對方位的測量,其中該對特徵部可位於相同或不同感興趣區域中; (iv) 判定感興趣區域內之表面部分的表面粗糙度是否滿足一預定條件,其中該表面部分包括以下其中一者:該選定特徵部之一表面;或該等選定特徵部之間的該物件的一表面; (v) 判定該一或更多選定感興趣特徵部之一或更多參數與關於該一或更多選定特徵部之對應輸入資料之間的相關性,並產生指示該相關性之資料。
- 如請求項9所述之控制系統,其中該輻射響應特性相關屬性包括以下一或更多者:顏色、高光譜響應、反射率、透明度及擴散率。
- 如請求項1至3中任一項所述之控制系統,更包括一操作控制器,其配置並可操作成控制該給定檢驗系統之操作以根據該檢驗計劃資料執行一或更多檢驗工作階段。
- 如請求項1至3中任一項所述之控制系統,其中該成像配置資料包括指示以下一或更多者之資料:用於將一或更多圖案投影至一感興趣區域之輻射通道的數目、用於從一被照射感興趣區域之至少一部份收集圖像資料之偵測通道的數目、該等輻射與偵測通道相對於一檢驗平面的位置、該等輻射與偵測通道之相對方位、以及該檢驗系統之一輻射源與偵測器之特性。
- 如請求項20所述之控制系統,其中該操作控制器包括一對準模組,其配置並可操作成監測該被檢驗物件與關於與該一或更多選定感興趣特徵部相關聯之該物件上一或更多感興趣區域之輸入位置資料之間的初步對準條件。
- 一種檢驗系統,用於檢驗具有一或更多類型之多個特徵部的物件,該檢驗系統包括: 一成像系統,包括:一或更多照明器,其定義一或更多輻射通道,用於將圖案投影至一或更多被照射之感興趣區域上;一或更多偵測器,其定義一或更多偵測通道,用於偵測被照射之該一或更多感興趣區域中每一者之至少一部分的輻射響應並產生對應圖像資料;該成像系統配置並可操作成使用該等輻射與偵測通道之間的諸多相對方位及輻射與偵測之諸多特性以根據諸多檢驗計劃來執行檢驗;以及 上述請求項中任一項之該控制系統。
- 如請求項23所述之檢驗系統,其中該成像系統為一光學成像系統,其配置成定義由至少一照明器及至少一偵測器所形成之至少一對照明-偵測通道。
- 如請求項24所述之檢驗系統,其中該至少一照明器包括用於投影光圖案之至少一2D投影機。
- 如請求項25所述之檢驗系統,其中該2D投影機配置並可操作成在具有至少一快軸之動態掃描模式下執行該等光圖案之該投影。
- 如請求項26所述之檢驗系統,其中該2D投影機具有以下配置之一者: (i) 包括一共振2D MEMS掃描鏡,該動態掃模式之該快軸為該MEMS掃描鏡之機械軸的一者; (ii) 包括一光柵MEMS掃描鏡,該動態掃描模式之該快軸為該MEMS掃描鏡之一共振軸;以及 (iii) 包括一2D MEMS結構,該動態掃描模式之該快軸為對應MEMS位置序列之一軸,該MEMS位置序列提供實質上直線形式之一光圖案。
- 如請求項24至27中任一項所述之檢驗系統,其中該至少一偵測器包括具有多個動態重新定位感興趣區域(MROI)的相機。
- 如請求項24至27中任一項所述之檢驗系統,其中該光學成像系統包括包括共用至少一共同單元之多個照明器-偵測器對,藉以定義多對該等照明-偵測通道,該至少一共同單元為照明器或偵測器。
- 如請求項29所述之檢驗系統,其中該等多對照明-偵測通道係由以下配置中之至少一者定義:(a) 該多個照明器-偵測器對包括與一共同2D照明單元相關聯之多個偵測器單元;及(b) 該多個照明器-偵測器對包括與一共同偵測器單元相關聯之多個2D照明投影機。
- 如請求項29所述之檢驗系統,其中每一照明器-偵測器對定義一基線向量,具有該共用單元的該等照明器-偵測器對之基線向量定義該等基線向量相對於彼此之一預定方位。
- 如請求項31所述之檢驗系統,其中具有該共用單元的該等照明器-偵測器對之該等基線向量滿足該等基線向量相互呈實質上垂直之條件。
- 一種儲存系統,包括一管理器設備,其配置並可操作成管理包括對應於複數檢驗模式之多個資料片段的資料庫,每一檢驗模式被指定至與一或更多成像配置相關聯之一或更多屬性組,該管理器設備配置並可操作成響應一請求資料,該請求資料包括指示選定屬性組之資料,以產生指示匹配該請求資料並被格式化以通訊至請求項2或3之該控制系統之該等一或更多檢驗模式的輸出資料。
- 一種伺服器系統,其連接至一通訊網路,該伺服器系統包括一資料庫及用於管理該資料庫之一管理器設備,其中該資料庫包括對應於複數檢驗模式之多個資料片段,每一檢驗模式被指定至與一或更多成像配置相關聯之一或更多屬性組,且該管理器設備配置並可操作成經由該通訊網路與配置為請求項2或3之該控制系統的一或更多控制系統資料通訊,使得該管理器設備響應於來自與一給定成像系統相關聯之該控制系統並包含指示選定屬性組之資料的請求資料,該給定成像系統以其成像配置作特徵,以產生輸出資料至該控制系統,該輸出資料指示匹配該請求資料並被格式化以通訊至該控制系統以響應於該請求資料之一或更多檢驗模式。
- 一種光學檢驗系統,用於檢驗具有一或更多類型之多個特徵部的物件,該光學檢驗系統包括一成像系統,該成像系統包括:一或更多照明器,其定義一或更多照明通道,用於將光圖案投影在一或更多被照射之感興趣區域上;以及一或更多偵測器,其定義一或更多偵測通道,用於偵測每一該一或更多感興趣區域之至少一部分對該照明的響應並產生對應圖像資料,因而定義由至少一照明器及至少一偵測器所形成之至少一對照明-偵測通道,其中該至少一照明器包括光圖案之2D照明投影機,該系統以下述至少一者為特徵: (i) 該2D投影機配置並可操作成在具有至少一快軸之動態掃描模式下執行該投影;以及 (ii) 該成像系統包括由共用至少一共同單元之多個照明器-偵測器對所形成的多對照明-偵測通道,該至少一共同單元為該2D照明或偵測器,其中具有該共同單元的該等照明器-偵測器對所定義之基線向量定義該等基線向量相對於彼此之一預定方位。
- 如請求項35所述之光學檢驗系統,其中具有該共用單元的該等照明器-偵測器對之該等基線向量滿足該等基線向量相互實質垂直之條件。
- 如請求項35或36所述之光學檢驗系統,其中該2D投影機具有以下配置之一者: (i) 包括一共振2D MEMS掃描鏡,該動態掃描模式之該快軸為該MEMS掃描鏡之機械軸的一者; (ii) 包括一光柵MEMS掃描鏡,該動態掃描模式之該快軸為MEMS掃描鏡之一共振軸;以及 (iii) 包括一2D MEMS結構,該動態掃描模式之該快軸為對應於MEMS位置序列的軸,該MEMS位置序列提供實質上直線形式之光圖案。
- 如請求項35或36所述之光學檢驗系統,其中該一或更多照明器包括至少一雷射源。
- 如請求項35或36所述之光學檢驗系統,其中該成像系統包括與至少第一及第二2D照明投影機相關聯之至少一偵測器,該第一及第二2D照明投影機可操作成在具有至少一快軸之動態掃描模式下執行該投影,其中至少一第一投影機的掃描方向相對於至少一第二投影機的掃描方向旋轉90度,使得該第一投影機之該快速掃描軸垂直於該第二投影機之該快速掃描軸。
- 如請求項35或36所述之光學檢驗系統,其中該成像系統包括至少一偵測器,其與該2D照明投影機的一陣列相關聯,該2D照明投影機的該陣列可操作成在具有至少一快軸之動態掃描模式下執行該投影,其中該等2D照明投影機及該至少一偵測器被定向成使得每一投影機之該快軸實質上垂直於該投影機與該偵測器之間的基線向量。
- 如請求項35或36所述之光學檢驗系統,其中該至少一偵測器包括具有多個動態重新定位感興趣區域(MROI)的相機。
- 如請求項35或36所述之光學檢驗系統,包括一控制系統,其提供將由該成像系統在一或更多檢驗工作階段中執行之檢驗計劃資料,以測量一或更多感興趣特徵部之一或更多參數,該控制系統包括: 一資料輸入設備,用於接收指示一或更多選定感興趣特徵部之輸入資料,該選定感興趣特徵部將由以相關成像配置資料為特徵之一給定檢驗系統進行檢驗; 一資料處理器,配置並可操作成分析該輸入資料以提取指示關於一或更多檢驗任務之檢驗任務資料的資訊,並產生檢驗計劃資料以用作操作該給定檢驗系統之一配方資料,以根據該一或更多檢驗任務提供測量資料。
- 如請求項42所述之光學檢驗系統,進一步包括一操作控制器,其配置並可操作成根據該檢驗計劃資料控制一或更多檢驗工作階段之執行。
- 如請求項43所述之光學檢驗系統,其中該操作控制器包括一對準模組,其配置並可操作成監測該被檢驗物件與關於與該一或更多選定感興趣特徵部相關聯之該物件上一或更多感興趣區域之輸入位置資料之間的初步對準條件。
- 一種檢驗方法,用於檢驗具有一或更多類型之多個特徵部的物件,該方法包括接收指示將由給定檢驗系統檢驗之一或更多選定感興趣特徵部的輸入資料,該給定檢驗系統以相關聯之成像配置資料為特徵;分析輸入資料以提取指示關於一或更多檢驗任務之檢驗任務資料的資訊;以及產生檢驗計劃資料以用作該給定檢驗系統進行操作之一配方資料,以根據該一或更多檢驗任務測量資料。
- 如請求項45所述之檢驗方法,包括從一資料庫系統中檢索對應於該檢驗任務資料之選定檢驗模式資料,並利用該選定檢驗模式資料以產生該檢驗計劃資料。
- 如請求項46所述之檢驗方法,包括從該資料庫系統請求包含有選定屬性組之資料,該選定屬性組從包含有幾何相關屬性與材料相關屬性之一預定屬性集合中選擇,且對應於該檢驗任務資料。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202062980624P | 2020-02-24 | 2020-02-24 | |
US62/980,624 | 2020-02-24 |
Publications (1)
Publication Number | Publication Date |
---|---|
TW202147050A true TW202147050A (zh) | 2021-12-16 |
Family
ID=74860367
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW110106285A TW202147050A (zh) | 2020-02-24 | 2021-02-23 | 物件自動檢驗之控制系統及方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20230016639A1 (zh) |
EP (1) | EP4111277A1 (zh) |
CN (1) | CN115210664A (zh) |
IL (1) | IL294522A (zh) |
TW (1) | TW202147050A (zh) |
WO (1) | WO2021171287A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023227201A1 (de) * | 2022-05-24 | 2023-11-30 | Siemens Ag Österreich | Computer-implementiertes verfahren und system zur steuerung der herstellung eines produkts |
WO2024069499A1 (en) | 2022-09-29 | 2024-04-04 | Saccade Vision Ltd. | High resolution 3d scanning using laser |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6904330B2 (en) * | 2002-08-07 | 2005-06-07 | Kimberly-Clark Worldwide, Inc. | Manufacturing information and troubleshooting system and method |
US7482730B2 (en) * | 2004-02-09 | 2009-01-27 | Microvision, Inc. | High performance MEMS scanner |
US7501616B2 (en) * | 2006-05-25 | 2009-03-10 | Microvision, Inc. | Method and apparatus for capturing an image of a moving object |
US10916005B2 (en) * | 2014-11-24 | 2021-02-09 | Kitov Systems Ltd | Automated inspection |
TWI824334B (zh) * | 2018-08-17 | 2023-12-01 | 荷蘭商Asml荷蘭公司 | 非暫時性電腦可讀媒體 |
-
2021
- 2021-02-22 US US17/801,263 patent/US20230016639A1/en active Pending
- 2021-02-22 EP EP21710613.7A patent/EP4111277A1/en active Pending
- 2021-02-22 IL IL294522A patent/IL294522A/en unknown
- 2021-02-22 CN CN202180016650.3A patent/CN115210664A/zh active Pending
- 2021-02-22 WO PCT/IL2021/050201 patent/WO2021171287A1/en unknown
- 2021-02-23 TW TW110106285A patent/TW202147050A/zh unknown
Also Published As
Publication number | Publication date |
---|---|
EP4111277A1 (en) | 2023-01-04 |
US20230016639A1 (en) | 2023-01-19 |
CN115210664A (zh) | 2022-10-18 |
IL294522A (en) | 2022-09-01 |
WO2021171287A1 (en) | 2021-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11262194B2 (en) | Triangulation scanner with blue-light projector | |
US11042146B2 (en) | Automated 360-degree dense point object inspection | |
Luhmann et al. | Sensor modelling and camera calibration for close-range photogrammetry | |
JP5943547B2 (ja) | 非接触測定を行う装置および方法 | |
CN112161619B (zh) | 位姿检测方法、三维扫描路径规划方法和检测系统 | |
EP3963414A2 (en) | Automated 360-degree dense point object inspection | |
CN102483319B (zh) | 非接触式物体检查 | |
JP5911904B2 (ja) | 形状および位置の光学的計測のための構造化光システムに関する正確な画像取得 | |
JP7037876B2 (ja) | 自動工業検査における3dビジョンの使用 | |
Di Leo et al. | Covariance propagation for the uncertainty estimation in stereo vision | |
JP2015135331A (ja) | 実用型3dビジョンシステム装置およびその方法 | |
KR20150128300A (ko) | 카메라와 레이저 스캔을 이용한 3차원 모델 생성 및 결함 분석 방법 | |
CN108458659A (zh) | 一种叶片非接触式检测装置及方法 | |
JP2009511881A (ja) | 実用的な3dビジョンシステムの方法および装置 | |
TW202147050A (zh) | 物件自動檢驗之控制系統及方法 | |
CN105627927B (zh) | 一种三维视觉检测系统 | |
JP2014169947A (ja) | 形状検査方法およびその装置 | |
Niola et al. | A new real-time shape acquisition with a laser scanner: first test results | |
CN109631764B (zh) | 基于RealSense相机的尺寸测量系统及方法 | |
KR101766468B1 (ko) | 트리플 주파수 패턴을 이용한 3차원 형상 측정 방법 | |
CN104515477A (zh) | 三维测定装置、三维测定方法以及基板的制造方法 | |
Munaro et al. | Efficient completeness inspection using real-time 3D color reconstruction with a dual-laser triangulation system | |
JP4651550B2 (ja) | 三次元座標計測装置および方法 | |
Percoco et al. | 3D image based modelling for inspection of objects with micro-features, using inaccurate calibration patterns: an experimental contribution | |
Motta et al. | Experimental validation of a 3-D vision-based measurement system applied to robot calibration |