TWI731443B - 判斷表面尺寸資訊的點雲合併方法 - Google Patents
判斷表面尺寸資訊的點雲合併方法 Download PDFInfo
- Publication number
- TWI731443B TWI731443B TW108137727A TW108137727A TWI731443B TW I731443 B TWI731443 B TW I731443B TW 108137727 A TW108137727 A TW 108137727A TW 108137727 A TW108137727 A TW 108137727A TW I731443 B TWI731443 B TW I731443B
- Authority
- TW
- Taiwan
- Prior art keywords
- point cloud
- point
- imaging system
- inverted channel
- illumination source
- Prior art date
Links
- 238000005286 illumination Methods 0.000 claims abstract description 184
- 238000003384 imaging method Methods 0.000 claims abstract description 184
- 238000000034 method Methods 0.000 claims abstract description 110
- 238000005259 measurement Methods 0.000 claims description 73
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000002310 reflectometry Methods 0.000 claims description 6
- 238000000649 phase profilometry Methods 0.000 abstract description 24
- 238000007670 refining Methods 0.000 abstract description 2
- 230000003287 optical effect Effects 0.000 description 110
- 238000010586 diagram Methods 0.000 description 61
- 239000000463 material Substances 0.000 description 26
- 230000009466 transformation Effects 0.000 description 15
- 239000010453 quartz Substances 0.000 description 14
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N silicon dioxide Inorganic materials O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 14
- 230000006870 function Effects 0.000 description 12
- 239000011521 glass Substances 0.000 description 9
- 230000007246 mechanism Effects 0.000 description 9
- 238000007689 inspection Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 241000237503 Pectinidae Species 0.000 description 6
- 230000004075 alteration Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 235000020637 scallop Nutrition 0.000 description 6
- 238000001914 filtration Methods 0.000 description 5
- 239000004033 plastic Substances 0.000 description 5
- 229920003023 plastic Polymers 0.000 description 5
- 229920000642 polymer Polymers 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 210000001747 pupil Anatomy 0.000 description 5
- 241001270131 Agaricus moelleri Species 0.000 description 4
- 244000025254 Cannabis sativa Species 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 239000013078 crystal Substances 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 239000002184 metal Substances 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 238000000847 optical profilometry Methods 0.000 description 2
- 229920000515 polycarbonate Polymers 0.000 description 2
- 239000004417 polycarbonate Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 229910000679 solder Inorganic materials 0.000 description 2
- PQHKELIMXNCXQR-MRFICBBCSA-N CC/C=C/C([C@@H]1C(CC2)CC3C2CC(CN=O)CC3)C1N Chemical compound CC/C=C/C([C@@H]1C(CC2)CC3C2CC(CN=O)CC3)C1N PQHKELIMXNCXQR-MRFICBBCSA-N 0.000 description 1
- GDOPTJXRTPNYNR-UHFFFAOYSA-N CC1CCCC1 Chemical compound CC1CCCC1 GDOPTJXRTPNYNR-UHFFFAOYSA-N 0.000 description 1
- HFHJBWYDQAWSIA-UHFFFAOYSA-N CCCC1CC(C)CCC1 Chemical compound CCCC1CC(C)CCC1 HFHJBWYDQAWSIA-UHFFFAOYSA-N 0.000 description 1
- ZTQCWRZJWGMGCH-UHFFFAOYSA-N CCCC1CC(CC)CC1 Chemical compound CCCC1CC(CC)CC1 ZTQCWRZJWGMGCH-UHFFFAOYSA-N 0.000 description 1
- 0 CCCC1CCC(CC*)CC1 Chemical compound CCCC1CCC(CC*)CC1 0.000 description 1
- 101000582320 Homo sapiens Neurogenic differentiation factor 6 Proteins 0.000 description 1
- 102100030589 Neurogenic differentiation factor 6 Human genes 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 201000009310 astigmatism Diseases 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005352 clarification Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000005357 flat glass Substances 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000001314 profilometry Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 235000012431 wafers Nutrition 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2518—Projection by scanning of the object
- G01B11/2527—Projection by scanning of the object with phase change by in-plane movement of the patern
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/03—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/30—Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8806—Specially adapted optical and illumination features
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/9515—Objects of complex shape, e.g. examined with use of a surface follower device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Pathology (AREA)
- Immunology (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Optics & Photonics (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Exposure And Positioning Against Photoresist Photosensitive Materials (AREA)
- Image Analysis (AREA)
Abstract
一種判斷目標表面的尺寸資訊的方法,包括產生第一點雲,該第一點雲對應於由相位輪廓測定系統的第一成像系統-照明源對所產生的目標表面的複數個第一重建的表面點;產生第二點雲,該第二點雲對應於由該相位輪廓測定系統的第二成像系統-照明源對所產生的該目標表面的複數個第二重建的表面點;基於該第一點雲及該第二點雲而產生該目標表面的初始表面估算;以及使用該第一點雲及該第二點雲的位置以及該第一成像系統-照明源對及該第二成像系統-照明源對的幾何而精化該初始表面估算,以產生最終點雲。
Description
〔相關申請案對照參考〕
本申請基於且主張2018年10月18日所申請序號為62/747,353以及2018年10月18日所申請序號為62/747,350的美國臨時專利申請案,其全文內容茲以提述方式納入。
取得相關於表面或物品的精密尺寸資訊(dimensional information)對於許多行業及製程至關緊要。舉例而言,在電子組裝行業中,相關於電路板上的電氣元件的精密尺寸資訊能夠用於判斷該元件是否被適當佈置。再者,尺寸資訊亦對於在元件安裝之前的電路板上的焊錫沉積的檢測很有用,以確保將適量的焊錫沉積在該電路板的適當位置。此外,尺寸資訊亦對於半導體晶圓及平面顯示器的檢測很有用。
光學相位輪廓測定(Optical phase profilometry)系統已被利用來準確地量測及取得相關於物品表面的精密尺寸資訊。然而,某些新的電子組件包括具有反射鏡面的元件。傳統系統,其一般組構成量測漫射非反射表面,難以對這類元件取得精密尺寸資訊。另外,某些技術正在減少尺寸(例,電路板及其上的元件或裝置)並且需要更高倍率及更高解析度光學,以取得準確尺寸資訊。傳統光學量測系統因各種因素,如應用的尺寸及表面反射率的提高及改變,而遭遇各種量測誤差。
隨著這類元件的尺寸資訊的精密度對於各種行業及製程變得愈來愈至關緊要,準確量測並取得這樣的資訊以及對於所量測的表面輪廓的量測誤差的各種原因的校正變得愈來愈重要。
以上的討論僅提供用於一般背景資訊而非旨在用於幫助確定申請標的之範圍。申請標的並不限於解決先前技術中所指出的任一或全部缺點的實現。
以上的討論僅提供用於一般背景資訊而非旨在用於幫助確定申請標的之範圍。
一種光學相位輪廓測定系統,包含:第一運作同軸的攝影機-投影機對,對準於相對於目標表面的第一角度,而投射第一照明在該目標表面上;以及第二運作同軸的攝影機-投影機對,對準於相對於該目標表面的第二角度,而投射第二照明在該目標表面上。其中該第一角度及該第二角度為相等且相對於該目標表面為彼此相反,而使該第二運作同軸的攝影機-投影機對經組構而捕捉來自該第一照明的第一反射,且使該第一運作同軸的攝影機-投影機對經組構而捕捉來自該第二照明的第二反射。該光學相位輪廓測定系統進一步包含控制器,經組構而基於所捕捉的該第一反射及該第二反射,產生該目標表面的第一估算及第二估算,並結合該第一估算及該第二估算而產生該目標表面的尺寸輪廓。
此發明內容的記載是提供簡化形式之精選觀念介紹,其會在下面的實施方式中進一步說明。此發明內容的記載並非旨在識別申請標的之關鍵特徵或必要特徵,亦非旨在用於幫助確定申請標的之範圍。
光學相位輪廓測定系統經常用於各種行業及製程中以取得相關於表面或物品的精密尺寸資訊。舉例而言,這些系統能夠被用於量測物體表面上各種元件的高度及位置。在電子行業中,例如許多電子組件包括安裝在電路板上的各種元件及/或裝置。為了確保這類元件及/或裝置的正確尺寸及佈置,照明源(例,投影機)投射圖案化照明至目標表面或物體上。圖案化照明,其係自目標表面或物體所反射,而由在相關於照明角度(例,三角測量角度)的已知角度觀看目標表面的影像系統(例,攝影機)所捕捉。光學相位輪廓測定系統藉由量測在由影像系統所捕捉的影像(例,像素)特定點處所投射照明的相位或位置、以及感測器的幾何,而計算目標表面或物體的尺寸。
在典型的光學相位輪廓測定系統中,通常會有以結構化圖案而照明表面的單一個投影機、以及觀察該表面的多個傾斜攝影機(即,相對於該表面而以一角度傾斜於該投影機而佈置的攝影機)。或者,在相反但均等的結構之情形下,使用單一攝影機觀察由多個傾斜投影機(即,相對於該表面而以一角度傾斜於該攝影機的投影機)所照明的表面。
待量測的表面的估算(例,點雲)係典型地獨立於各攝影機-投影機對而產生,接著這些估算一起取平均以形成該表面的近似重建。通常,這些估算可藉由投射正弦條紋至該表面上且估算影像中各像素的正弦曲線的相位而形成。
圖1為顯示典型的光學相位輪廓測定系統10的一個範例的示意圖。系統10包括投影機12、傾斜攝影機14、傾斜攝影機16、照明18、表面20、反射22及反射24。如上所述,系統10具有單一投影機12及多個傾斜攝影機14、16。投影機12投射照明18至表面20上,而反射成為反射22及反射24,該些反射被多個傾斜攝影機14、16所捕捉。雖然圖1顯示單一投影機/多個傾斜攝影機的組構,如上所述為均等但相反的組構,但亦可使用於典型的光學相位輪廓測定系統,其中單一攝影機對有多個投影機投射照明光線至其上的表面進行觀察。
這些典型的系統具有許多限制,特別是當觀察具有鏡面及/或難以處理的表面輪廓(例,「圓形」及/或「彎曲形」反射表面、傾斜目標表面、反射率變化……等)的物體時。
一個難以處理的原因是關於因鏡面反射造成的量測不準確。在光學檢測期間,通常遭遇到的情況是,以影像系統的視點來看,在目標表面上的某些位置會有反光(即,明亮的鏡面反射)。當高反射表面之表面法線平分由攝影機-投影機對所界定的角度時,會發生反光。由於影像系統之點擴散函數的非零寬度(其係影像光學中的實際情況,且由光學相位輪廓測定所使用),在相鄰像素的相位估算可能會因在反光處觀察的相位而扭曲,由於在反光處的反射遠強於該表面上相鄰點的反射。這會導致不準確的點被加入測試表面的光學相位輪廓測定系統的點雲表示。
圖2A為顯示光學相位輪廓測定系統50的一個範例的示意圖。圖2描繪僅一個傾斜攝影機的視點。系統50包括照明52、目標表面54、反射56、反光58、實際表面點60、錯誤表面點62、投影機64及第一傾斜攝影機66。如圖2A所見,投影機64投射照明52至目標表面54上,而反射成為反射65,而朝向並由第一傾斜攝影機66所捕捉。然而,目標表面54含有至少一些鏡面部分,其在照明52到達目標表面54時會造成反光58。由於反射反光58的強度及攝影機66影像性質的點擴散函數,照明52的相位資訊出現在攝影機66的表面點60的影像中。由於攝影機66經由反射56自表面點60所接收的資訊是反光58及表面點60的相位資訊的結合,表面點60的重建的點會被不準確地量測。如圖2A所示,攝影機66的量測位置表面點在反光58的方向中沿著反射56的射線被移動,而造成例如,錯誤表面點62。
圖2B為顯示光學相位輪廓測定系統50的一個範例的示意圖。圖2B描繪(與圖2A相反的)系統50的其它傾斜攝影機的視點。系統50包括照明52、目標表面54、反射57、重建的表面點63、投影機64及第二傾斜攝影機68。如圖2B所見,投影機64投射照明52至目標表面54上,而反射成為反射57,而朝向並由第二傾斜攝影機68所捕捉。然而,不同於圖2A,自第二傾斜攝影機68的視點來看,鄰近的表面點63不會發生反光。從而攝影機68的重建的表面點63為真實表面點的準確表示。
然而,在第二傾斜攝影機68準確地重建表面點時,因為,如上所述,由攝影機66及68二者所產生的估算在目標表面54的最終表面估算的重建期間結合,將會有由傾斜攝影機66所量測的不準確的點(62)所致的錯誤。該最終表面估算因此將會受到第一傾斜攝影機66的點雲中的錯誤而偏動。
當在目標表面上有任何強度梯度及/或反射率梯度(例,亮度變化)時,與圖2A至圖2B所述相似的作用會發生。由於影像光學(例,攝影機66、68)的點擴散函數,較暗點處的相位將會受到鄰近的較亮點處的相位影響。這會導致最終重建的不準確(例,最終重建將會沿各自的反射(影像系統)射線而朝向較亮點偏動)。
圖2C為光學檢測環境70的一個範例的示意圖。環境70包括投射72、反射74、目標表面76、箭頭77及量測表面點78。目標表面76具有如箭頭77所示的自左至右、自「較亮」至「較不亮」的強度及/或反射率梯度。一般而言,這意指目標表面76自左至右為由多到少的反射率及/或由多到少的鏡面反射。投射72是由投影機或其它照明源所投射至目標表面76上並反射成為反射74,其由攝影機或其它影像系統所捕捉。然而,由於梯度,攝影機會將高度解碼為低於實際表面高度,如量測表面點78所示,因為目標表面76的左側上的增加的亮度使量測表面點78沿反射(影像系統)射線朝向目標表面76的較亮部分偏動。從而,攝影機的量測輸出將會錯誤。此錯誤傾向於在表面76的法線(例,垂直)平分投射72與反射74之間的角度時發生。
圖2D為顯示光學檢測環境80的一個範例的示意圖。環境80包括投射82、反射84、目標表面86、箭頭87及量測表面點88。環境80相似於環境70,除了投射82是來自目標表面86的右側(「較不亮側」/較少鏡面反射側)而投射72是來自目標表面76的左側(「較亮側」/較多鏡面反射側)。目標表面86具有如箭頭87所示的自左至右為「較亮」至「較不亮」的強度及/或反射率梯度。一般而言,這意指目標表面86自左至右為由多到少反射率及/或由多到少鏡面反射。投射82是由投影機或其它照明源所投射至目標表面86上並反射成為反射84,其由攝影機或其它影像系統所捕捉。然而,由於梯度,攝影機會將高度解碼為高於實際表面高度,如量測表面點88所示,因為目標表面86的左側上的增加的亮度使量測表面點88沿反射(影像系統)射線朝向目標表面86的較亮部分偏動。從而,攝影機的量測輸出將會錯誤。此錯誤傾向於在表面86的法線(例,垂直)平分投射82與反射84之間的角度時發生。
為了克服上述問題,使用帶有對列通道組構的多個同軸的照明源/影像系統(例,投影機/攝影機)對的系統被使用。
為了明確起見,應知用詞「通道(channel)」是指特定的照明源-影像系統對,以及用詞「對列通道(counterposed channels)」是指除了照明源及影像系統位置互換之外為相同的一對的通道。亦應知用詞「通道」能夠包含來自一個運作對(例,運作同軸的影像系統-照明源對)的照明源以及來自另一運作對的影像系統。亦應知用詞「通道」能夠包含來自第一攝影機-投影機對的攝影機以及來自第二攝影機-投影機對的投影機。
圖3為顯示運作同軸的影像系統-照明系統對的一個例子的示意圖。系統100包括照明源102、影像系統104、分光器106、照明108、目標表面110及反射112。照明源102(例,投影機)朝向目標表面110投射照明並擊中分光器106。部分的照明108繼續朝向目標表面110並反射返回朝向分光器106以及作為反射112而反射朝向影像系統104。藉由利用分光器106,系統100組構有共享共用的光學路徑的照明源102及影像系統104。亦即,照明源102及影像系統104為大致同軸且自相同的視角/視點有效地觀察目標表面110。
分光器106,顯示為平板分光器(plate beam splitter),佈置在45°角,由已塗佈(例,半鍍銀)在面向照明源102的表面上的薄平板玻璃板所組成。分光器106將照明108「分光」成兩半,一部分繼續(例,被傳輸)朝向目標表面110(如圖所示),而另一部分被反射(為明確起見而未示於圖3A),通常朝向在影像系統104的視野中的參考表面(例,反射鏡),其反射參考光束(返回通過分光器106)朝向影像系統104(通常用於將經分光光束在進入影像系統104之前重組)。雖然為明確起見而亦未示於圖3A,但系統100能夠包括許多透鏡(例,準直透鏡、物鏡、複合透鏡組件、遠心透鏡組件……等)、孔徑、感測器、附加的分光器、反射鏡、及其它合適構件及/或裝置。另外,雖然本發明揭露平板分光器,但本發明仍能夠使用其它類型的分光器,例如但不限於:分光稜鏡(cube beam splitter)。
雖然為了說明的目的而於圖3A中顯示為互相分離,但照明源102及影像系統104為運作對,而能夠容置在單一殼體內。為了舉例說明的目的,某些將來的說明會將各照明源/影像系統對顯示成單一組件,如圖3B所示。
圖3B為顯示運作同軸的照明源/影像系統對的一個範例的示意圖。圖3B為圖3A所示系統100的簡略版本且相似於圖3A,以及相似的元件以相同符號標號表示。系統101包括運作照明源/影像系統對103,其包括但未以標號顯示:照明源102、影像系統104及分光器106。系統100進一步包括照明108、目標表面110及反射112。照明108及反射112共用圖3A及圖3B中的線段,但應知其同等地表示照明108及反射112,如箭頭所示。照明源102在一個範例中包含投影機。影像系統104在一個範例中包含攝影機。
圖4A為顯示光學相位輪廓測定系統的一個範例的示意圖。系統200包括第一照明源/影像系統運作對202及第二照明源/影像系統運作對204。運作對202、204為同軸的對,如上面參考圖3A至圖3B所述。系統200進一步包括目標表面206、照明208、214及反射212、216。圖4A所示組構(例,對準幾何)利用二個運作對202、204,各別自不同角度觀看目標表面206以及形成二個對列通道(將在下面進一步說明)。
圖4B為顯示光學相位輪廓測定系統200的一個範例的示意圖。圖4B相似於圖4A,從而相似的元件將以相似的符號編號表示。為了說明由系統200的組構所形成的二個對列通道,圖4B說明性地將系統200分成各自的照明及影像構件。在左側,運作對204中的照明源投射照明214至目標表面206上,其自此反射成為反射216,並由運作對202的影像系統所捕捉。此一光學路徑(例,通道)(214及216)形成第一對列通道218。
在右側,運作對202中的照明源投射照明208至目標表面206上,其自此反射成為反射212,並由運作對204的影像系統所捕捉。此一光學路徑(例,通道)(208及214)形成第二對列通道220。
使用對列通道是有利的。通道218、220二者觀察/暴露相同的視野且共享照明與反射之間相同的相對角度,因此在光學覆蓋範圍沒有差異。更重要地,在參照出現反光或強度梯度時的影像系統的點擴散函數的作用上,它們更加健全於消除及/或減少先前所述(圖2A至圖2B)的量測誤差。具體而言,當這些誤差發生在系統200中,來自二個通道218、220的估算(例,點雲)的對應點於幾乎相等且相反的方向移動。藉由使用適當的演算法,能夠結合通道218、220的估算而使誤差大部分及/或實質地彼此抵消。在此意義上,對列通道218、220為彼此補償且自我補償。在之後的圖式中對此更充分說明。
圖5A為顯示光學相位輪廓測定系統的一個範例的示意圖。圖5A相似於圖4A,從而相似的特徵以相同的符號編號表示。系統200包括運作照明源/影像系統對202、運作照明源/影像系統對204、目標表面206、照明214及反射216,其形成第一對列通道218。系統200進一步包括反光222、實際表面點224及錯誤表面點226。相似於圖2A中的現象,反光222造成運作對202的影像系統產生錯誤表面點226。實際表面點224在反光222的方向中沿反射216的射線移動。
圖5B為顯示光學相位輪廓測定系統的一個範例的示意圖。圖5B相似於圖4A,從而相似的特徵以相同的符號編號表示。系統200包括運作照明源/影像系統對202、運作照明源/影像系統對204、目標表面206、照明208及反射212,其形成第二對列通道220。系統200進一步包括反光222、實際表面點228及重建的表面點230。再次於此,反光222造成量測誤差。運作對204的影像系統產生錯誤重建的表面點230。實際表面點228沿反射212射線(就如圖5A及圖2A中的錯誤重建的點)移動。然而,因為運作對202、204為同軸,以及因為它們經配置以形成二個對列通道,誤差為相反地相等,從而能夠被補償。
如上面所討論,各對列通道218、220產生目標表面206的估算(點雲)。這些估算會含有在存在反光(例,222)或強度梯度時的影像系統的點擴散函數的作用所造成的誤差。然而,因為對列通道218、220,重建的表面點226、230中的誤差沿反射216、212的各自射線為相等且相反,從而能夠彼此補償。
圖6為顯示光學相位輪廓測定系統250的一個範例的示意圖。系統250包括運作對252、254、目標表面256、照明258、254、反射262、266、對列通道268、270、反光272、錯誤重建的表面點276、280、正確重建的表面點282及箭頭284、286。在重建的表面點276、280中的誤差能夠改正以創造重建的表面點282,其係藉由將錯誤表面點276、280沿彼等各自的反射266、262射線移動,如箭頭284、286所示,直至彼等相交並界定表面目標位置的新的、更準確的表示。在一個實施例中,藉由使用影像系統校準技術將視野內的影像系統的像素位置映射至接收角度而導出反射射線的方向。
在其它實施例中,可以使用演算法來接近對列通道的錯誤重建的點的交點。一般而言,該演算法疊代地精化來自對列通道的各個之各自估算(點雲),將各點沿其反射射線(影像系統射線)以小步伐朝其它點雲順利地移動。
圖7為顯示疊代聯合點雲精化的一個範例方法的流程圖。圖7的方法在方塊310開始,重建的表面點使用光學輪廓測定系統而沿目標表面產生在第一對列通道點雲及第二對列通道點雲中。表面點對於第一對列通道點雲及第二對列通道點雲二者而被重建(估算)。在一個實施例中,使用諸如系統250的光學輪廓測定系統。
該方法接著在方塊320,對於第一通道的點雲中的各重建的表面點,識別對於第一通道的點雲中的各重建的表面點之鄰近於各自的反射(影像系統)射線的第二通道的點雲中的重建的表面點。此識別步驟識別鄰近於所挑的第一通道的重建的表面點的反射(影像系統)射線的第二通道的點雲上的一組「候選」點。
該方法接著在方塊330,計算第二通道的點雲的各鄰近(候選)點到第一通道的反射(影像系統)射線上的投射。換言之,會沿著第一通道反射(影像系統)射線之第二通道的各鄰近(候選)點的距離將會被計算。或者換種說法,該計算是沿第一通道的反射(影像系統)射線的各鄰近(候選)點所應位在之處的計算。
該方法接著在方塊340,計算出在第一通道的反射(影像系統)射線上經計算的投射(位置)的各第二通道的鄰近(候選)點的平均投射(位置)。換言之,計算反射射線上的鄰近點的平均位置。
該方法接著在方塊350,將第一通道的重建的表面點沿其反射(影像系統)射線移動一片段的距離而至反射(影像系統)射線上的鄰近(候選)點的該計算出的平均位置。
圖7的方法接著在方塊360,對於第二通道的點雲中的各重建的表面點,對於第二通道的點雲中的各重建的表面點,識別鄰近於各自反射(影像系統)射線的第一對列通道中的重建的表面點。此識別步驟識別鄰近於所挑的第二通道的重建的表面點的反射(影像系統)射線的第一通道的點雲上的一組「候選」點。
圖7的方法接著在方塊370,第一通道的點雲的各鄰近(候選)點到第二通道的反射(影像系統)射線上的投射被計算。換言之,會沿著第二通道反射(影像系統)射線之第一通道的各鄰近(候選)點的距離將會是各鄰近(候選)點。
該方法接著在方塊380,計算出在第二通道的反射(影像系統)射線上的各第一通道的鄰近(候選)點所計算的投射(位置)的平均投射(位置)。換言之,計算反射射線上的鄰近點的平均位置。
該方法接著在方塊390,將第二通道的重建的表面點沿其反射(影像系統)射線移動一片段的距離,而至反射(影像系統)射線上的鄰近(候選)點的該計算出的平均位置。
圖8為顯示圖7的方法的一個疊代的示意圖。特別是,圖8描述方塊310-350。疊代301包括運作照明源/影像系統對252、形成一部分的第一對列通道268的反射266(或反射/影像系統射線)、第一通道表面點276、鄰近(候選)點288、平均投射點290、再定位(精化)點292及箭頭294。識別鄰近於反射266的鄰近(候選)點288。計算沿反射266的鄰近點288平均反射(位置),如290所表示。一旦平均投射點290被計算,再定位(精化)重建點292藉由如箭頭294所示朝向平均投射點290將再計算的表面點276沿反射266移動一片段的路徑而被識別。
圖9為顯示自對列通道合併點雲的一個範例方法的流程圖。方法400在方塊410開始,其以至少具有第一及第二對列通道的光學相位輪廓測定系統來產生第一及第二點雲。其中各第一對列通道及第二對列通道產生各自的第一點雲及第二點雲。並且,其中各第一點雲及第二點雲具有對應於沿目標表面的量測表面點的複數個表面點。
方法400接著在方塊420,將對應於目標表面的待量測體積劃分成體素組。方法400接著在方塊430,對於各第一及第二點雲中的各表面點,沿各第一及第二對列通道的反射(影像系統)射線而將該點的符號距離函數(Signed Distance Function;SDF)及對應的權重加入體素組的體積。符號距離係為自點至指定方向中量測的參考表面的距離。舉例而言,海拔是距海平面的符號距離,對於海平面之上的點帶有正值,以及海平面之下的點帶有負值。符號距離函數是一種函數,其對於指定的點計算此一距離,在此情況中,該符號距離表示自個別的體素至在點雲中點的距離。
方法400接著在方塊440,藉由識別對於各第一及第二點雲的該SDF的水平集(例,理論零交叉)而產生(對應於體素的體積中的目標表面)表面輪廓地圖。
圖10A至圖10C為顯示自對列通道合併點雲的一個範例的示意圖。更特別地,圖10A至圖10C繪示執行方法400的一個範例。應知圖10A至圖10C所示的體積及體素為3D物體,其界定光學相位輪廓測定系統的整個量測空間。為了明確說明之目的,體積及體素以2D顯示。
圖10A為顯示體素的體積中的第一對列通道所對應的點雲的一個範例的示意圖。體素體積300包括待量測體積302、體素304、表面點306、及反射(影像系統)射線308。一般而言,體素體積300顯示具有複數個體素304的待量測體積302,其中複數個表面點306,及沿其各自反射(影像系統)射線308的各自點的SDF及對應的權重,被加入至待量測體積302。
圖10B為顯示體素的體積中的第二對列通道所對應的點雲的一個範例的示意圖。體積體素310包括待量測體積312、體素314、表面點316、及反射(影像系統)射線318。一般而言,體素體積310顯示具有複數個體素304的待量測體積302,其中複數個表面點316,及沿其各自反射(影像系統)射線318的各自點的SDF及對應的權重被加入至待量測體積312。
圖10C為顯示自第一及第二對列通道合併點雲的一個範例的示意圖。體素體積320包括待量測體積322、體素324、第一對列通道反射(影像系統)射線326、第二對列通道反射(影像系統)射線328及目標表面近似330。一般而言,體素體積320顯示目標表面輪廓地圖,其係藉由識別對於各第一及第二點雲的SDF的水平集(例,理論零交叉)而產生,如目標表面近似330所表示,其對應於待量測體積322中的目標表面。
對於典型的光學相位輪廓測定系統的另一特定難以處理的原因是具有圓形/球形輪廓(例,球)的目標表面及/或物體的準確量測。特別是當這些目標表面及/或物體具有能造成反光的鏡面部分。
如上面所述,典型的光學相位輪廓測定系統通常具有以結構圖案照明該表面的單一投影機以及觀察該表面的多個攝影機。或者,使用單一攝影機及二個傾斜投影機而為相反但均等組構。
圖11A為顯示光學相位輪廓測定系統的一個範例的示意圖。系統350包括第一傾斜投影機352、第二傾斜投影機354、攝影機356、球形目標358、投射360、362、第一傾斜投影機量測364、第二傾斜投影機量測366及高度誤差368。系統350遭受如圖2A及圖2B所述的影響的作用,即,起因於反光的量測誤差。如圖11A中所見,第一傾斜投影機352與攝影機356結合產生量測364,其顯示在球形目標358的頂部上的高度誤差368(例,高度草痕誤差(height divot error))。相似地,第二傾斜投影機354與攝影機356結合產生量測366,其顯示在球形目標358的頂部上的高度誤差368(例,高度草痕誤差)。如前所述,此一誤差是由各個之各自投影機的傾斜角度及攝影機的視點與其點擴散函數的組合所引起的反光的發生所造成。各個之各自受到來自球形目標上的不同位置的反光所影響。在三角測量系統中,諸如本發明的實施例,特徵的量測位置受反光擾動。擾動的強度由二個因素的乘積調整:1)到反光的距離;以及2)反光的點擴散函數(Point Spread Function;PSF)。從而,擾動圖傾向於在對應於PSF的寬度的局部區域之上具有傾斜。我們稱此為「divot(草痕)」,因為其相似於由隨意的高爾夫揮桿所產生的草痕(divot)。
圖11B為顯示使用系統350的球形目標358的產生的三維輪廓的一個範例的示意圖。如輪廓370中所見,高度誤差368發生,顯示為「高度草痕誤差(height divot error)」。能夠看出,在高度量測中有明顯的減少,如在球形目標358的頂部的高度量測單元374所反映的,其應該在其高度的頂點處。例如,目標358的外部372處的高度讀數與高度誤差368所指區域處的高度讀數相比的比較。
此一高度草痕誤差使用單一投影機多個傾斜攝影機系統無法解決,如圖11C所將會顯示。
圖11C為顯示球形目標358的三維輪廓的一個範例的示意圖。左側是目標358的量測Z高度,其顯示目標358的實際高度輪廓。能夠看出,目標是在影像的中央的其高度的頂點處(其對應於目標358的頂部),如高度量測單元376所反映。右側則是單一投影機/二個傾斜攝影機系統所產生的球形目標358的三維輪廓。能夠看出,高度誤差368發生在影像的中央(其對應於目標358的頂部),如高度量測單元378所反映。
圖12為顯示光學相位輪廓測定系統的一個範例的示意圖。系統500包括運作同軸的照明源/影像系統對502、傾斜運作同軸的照明源/影像系統對504、506、球形目標508及通道510。系統500經組構以消除或減少量測誤差,諸如參考圖11A至圖11C所述者。在一個範例中,起因於反光的量測誤差由系統500的對準幾何所補償,例如,當使用四通道對準幾何(其中有2對對列通道)時,反光造成的誤差傾向於幾乎相等且相反(從而互相抵消)。在一個範例中,系統500經組構而,具有對準幾何,其創造六個通道〔例,四個漫射通道(經組構以捕捉漫反射的光學通道)以及二個鏡面通道(經組構以捕捉鏡面反射的光學通道)〕。在一個範例中,系統500補償鏡面或部分鏡面目標及/或物體的量測誤差,其係藉由創造經組構以捕捉鏡面及漫反射的對準幾何,並從而補償由任一者所引起的誤差。此對準幾何將會在圖13A至圖13C中更詳細說明。
圖13A為顯示光學相位輪廓測定系統的一個範例的示意圖。具體而言,圖13A繪示由系統500的對準幾何所創造的六個通道的二個。第一通道為由投射512及反射514所形成。投射512為由運作對502的照明源所投射,其自目標508反射成為反射514並且由運作對504的影像系統所捕捉。第二通道由投射516及反射518所形成。投射516為由運作對504的照明源所投射,且自目標508反射成為反射518,其由運作對502的影像系統所捕捉。第一及第二通道形成第一對的對列通道。
圖13B為顯示光學相位輪廓測定系統的一個範例的示意圖。具體而言,圖13B繪示由系統500的對準幾何所創造的六個通道的二個。第三通道由投射512及反射520所形成。投射512由運作對502的照明源所投射,其自目標508反射成為反射520並且由運作對506的影像系統所捕捉。第四通道由投射522及反射524所形成。投射522由運作對506的照明源所投射,且自目標508反射成為反射524,其由運作對502的影像系統所捕捉。第三及第四通道創造第二對的對列通道。
圖13C為顯示光學相位輪廓測定系統的一個範例的示意圖。具體而言,圖13C繪示由系統500的對準幾何所創造的六個通道的二個。第五通道由投射516及反射526所形成。投射516由運作對504的照明源所投射,其自目標508反射成為反射526並且由運作對506的影像系統所捕捉。第六通道由投射522及反射528所形成。投射522由運作對506的照明源所投射且自目標508反射成為反射528,並且由運作對504的影像系統所捕捉。
在一個範例中,運作對502、504、506的光學組構為遠心的。在一個實施例中,運作對502、504、506的透鏡組件包含帶有無限遠的入射或出射光瞳的多元件/複合構件透鏡組件。遠心光學組構確保運作對502、504、506的整個視野中標稱投射方向(如512、516及522所表示)及反射方向(如514、518及520所表示)相同。在整個視野中投射及反射角度相等的情況下,維持對列通道的優點在於各通道的各自反射由各運作對的各自影像系統所接收。在一個範例中,由照明源所生成的照明進入多元件/複合構件遠心透鏡組件,成為實質平行並從而在離開運作對時高度集中。從而照明源所生成的幾乎全部的光擊中目標表面並且所造成的反射由影像系統所捕捉。
圖14為顯示產生目標表面及/或物體的尺寸輪廓的方法的一個範例。方法600在方塊610開始,產生目標表面及/或物體的第一尺寸輪廓。這能夠藉由方塊612所表示的聯合點雲精化,方塊614所表示的自對列通道合併點雲(例如使用SDF)、及/或其它616而完成。其它616可包括圖7的方法及/或方法400。其它616可包括截面。其它616可包括用於產生目標表面及/或物體的尺寸輪廓的任何合適技術。
方法600接著在方塊620,產生目標表面及/或物體的第二尺寸輪廓。這能夠藉由方塊622所表示的聯合點雲精化、方塊624所表示的自對列通道合併點雲(例如使用SDF)、及/或其它626而完成。其它626可包括圖7的方法及/或方法400。其它626可包括截面。其它626可包括用於產生目標表面及/或物體的尺寸輪廓的任何合適技術。
方法600接著在方塊630,產生目標表面及/或物體的第三尺寸輪廓。這能夠藉由方塊632所表示的第一及第二尺寸輪廓的比對而完成。這能夠藉由方塊634所表示的第一及第二尺寸輪廓的結合而完成。這能夠由其它技術而完成,如方塊(其它636)所表示。舉例而言,其它636可包括取第一及第二尺寸輪廓的平均(例,加權平均)。其它636可包括用於基於第一及第二尺寸輪廓而產生第三尺寸輪廓的任何其它合適技術。
僅管圖14中為了說明目的而顯示出特定順序的步驟,但應理解部分或全部的步驟能夠以任何符號數字的順序執行,其包括而不限於同步地、同時地、連續地、非同時地、非連續地及彼等的任何組合。該說明並不暗示及/或解釋用於方法600的特定順序的步驟。
圖15A至圖15B為顯示產生目標表面及/或物體的尺寸輪廓的一個範例的示意圖。更特別地,圖15A至圖15B繪示執行方法600的步驟的一些範例。
圖15A為顯示使用疊代聯合點雲精化而產生目標表面及/或物體的尺寸輪廓的一個範例的示意圖。尺寸輪廓650為對於複數個目標物體652的尺寸輪廓的表示,彼等在此顯示為球形物體。尺寸輪廓650顯示複數個目標物體652的尺寸資訊,包括以微米所量測的y座標(例,長度及/或寬度)、以微米所量測的x座標(例,長度及/或寬度)、以及由656所表示的高度(例,z座標)。尺寸輪廓658為線段654所指示的所選定的目標物體的截面。尺寸輪廓658顯示所選定的目標物體652的尺寸資訊,包括以微米所量測的x座標(例,長度及/或寬度)以及由657所表示的高度(例,z座標)。尺寸輪廓650及/或658,在一個範例中,可由圖7的方法所產生。
圖15B為顯示使用以SDF自對列通道合併點雲而產生目標表面及/或物體的尺寸輪廓的一個範例的示意圖。尺寸輪廓660為對於複數個目標物體的尺寸輪廓的表示,彼等在此為球形物體。尺寸輪廓660顯示複數個目標物體662的尺寸資訊,包括以微米所量測的y座標(例,長度及/或寬度)、以微米所量測的x座標(例,長度及/或寬度)、以及由666所表示的高度(例,z座標)。尺寸輪廓668為線段664所指的所選的目標物體的截面。尺寸輪廓668顯示所選的目標物體662的尺寸資訊,包括以微米所量測的x座標(例,長度及/或寬度)以及由657所表示的高度(例,z座標)。尺寸輪廓660及/或668,在一個範例中,可由方法400所產生。
根據沙姆普弗魯克定理(Scheimpflug theorem),若物體平面沒有垂直於光學軸線,則影像平面亦會傾斜。圖16為顯示傾斜的物體及影像平面的幾何的一個範例的示意圖。佈置在平面716中的物體708具有法線714,其在角度718傾斜於光學軸線712。射線束710進入透鏡706並被聚焦至影像感測器704,其佈置在對於光學軸線的角度720,其以θ表示。透鏡706垂直於光學軸線。根據沙姆普弗魯克定理:
【數學式1】
其中m為影像系統702的倍率以及30°為圖16中的角度718。
若倍率m大,則沙姆普弗魯克定理所需的影像平面的傾斜會大。例如,若m=1.5,則θ為40.9°。此所需角度完全超出典型的(尤其是使用微透鏡的)影像系統的可用範圍。
如美國專利號397254A中所教示,影像平面傾斜能夠藉由光學路徑中的稜鏡的導入而實質減少。不幸的是,引入各種像差,尤其是像散及橫向色像差,伴隨影像平面傾斜的減少。為了避免此一問題,如本領域所公知的,可將附加的稜鏡引入光學路徑,以及藉由透鏡設計程式而最佳化性能。在較佳實施例中,如本領域所公知的,使用三個稜鏡來適當控制像差,以及使用至少二個種類的玻璃來控制橫向色像差,類似於消色透鏡中的二個種類的玻璃的需求。稜鏡的數量取決於倍率、視野、及傾斜度,以及能夠在不背離本發明的範圍下進行挑選。
圖17為顯示光學相位輪廓測定系統的一個範例的示意圖。系統760包括透鏡756、焦點平面754、出射射線束758及稜鏡組件752,其包括稜鏡761、762、763及楔形角764、765、766。自透鏡756的後表面出射的光被稜鏡組件752折射,並且會聚至焦點平面754,其幾乎垂直於光學軸線。
在一個範例中,系統750藉由使用多個稜鏡(例,761、762及/或763)減少所需的影像感測器傾斜角度(例,沙姆普弗魯克角度,Scheimpflug angle)以在光通過影像系統並到達焦點平面時補償、減少及/或消除像差(例,色像差),而允許高解析度及/或高倍率光學相位輪廓測定。在一個範例中,稜鏡761、762及/或763的至少一個包含與其它稜鏡的至少一個不同的玻璃種類。在另一範例中,各稜鏡761、762、763包含與各其它稜鏡不同玻璃種類。在一個範例中,稜鏡761、762及/或763包含楔形稜鏡。在一個範例中,稜鏡761、762及/或763的至少一個包含與其它稜鏡的至少一個不同的楔形角。在一個範例中,稜鏡761、762及/或763的至少一個具有朝向與其它稜鏡的至少一個不同的方向的楔形角(例,楔形頂角)。在一個範例中,稜鏡組件包含:具有朝向第一方向的楔形角(例,楔形頂角764)的第一稜鏡、具有朝向第二方向的楔形角(例,楔形頂角765)的第二稜鏡、以及具有朝向第三方向的楔形角(例,楔形頂角766)的第三稜鏡。僅管圖17顯示三個稜鏡,但能夠使用任何數量的稜鏡,包括任何數量的材料及具有朝向任何數量的方向的楔形角。
對於典型的光學相位輪廓測定系統的另一難以處理的原因為感測器或感測器的環境的改變所引起的量測誤差。舉例而言,熱縮放(thermal scaling)、機械性飄移(mechanical drift)以及各種其它因素會造成量測輸出誤差。如上面所述,典型的光學相位輪廓測定系統具有多個影像路徑,其自不同視點觀看目標表面(例,單一攝影機/多個投影機、單一投影機/多個攝影機……等)。各攝影機/投影機對形成通道(影像/光學路徑)並提供待量測表面的獨特視角。該表面通常藉由各通道(例,在點雲中)而單獨地重建,並且這些重建結合成目標表面的最終尺寸輪廓(例,高度地圖)。
圖18A為顯示光學相位輪廓測定系統的一個範例的示意圖。系統800包括攝影機802、投影機804、806、目標表面808、投射810、812及反射814。投射810及反射814形成第一通道816,以及投射812及反射814形成第二通道818。僅管反射814為了在圖18中說明清楚的目的而顯示單一線段,但應理解由投影機804所投射的投射創造與投影機806所投射的投射相分離的反射。從各第一及第二通道,產生點雲,其包含目標表面808的尺寸重建。第一通道816產生第一點雲820以及第二通道818產生第二點雲822。因為投影機804、806的對準幾何以及目標表面808的相對高度,在各點雲中有盲點/陰影,如824、826所示。從而,結合點雲以產生如828所示的目標表面的完整尺寸輪廓。
結合這些單獨點雲需要它們彼此之間完全對準,其典型地通過影像感測器的校準程序而確保。然而,隨著時間經過,感測器的變化(例,熱縮放、機械性飄移……等),如上面所述,會造成個別點雲位移(例,變得失準)。在這樣的情況下,最終結合尺寸輪廓最終可能會比具有仍然處於精密對準的通道時較少準確及重複性。
圖18B為顯示光學相位輪廓測定系統的一個範例的示意圖。圖18B相似於圖18A,從而相似的元件以相似的符號編號表示。圖18B顯示與投影機806的實際對準相比,如精密對準807所表示的於失準位置(例,經位移)的投影機806。這造成如表面點819所示的量測誤差。此一失準造成第二通道818的點雲823相對於第一通道816的點雲820而位移。第一點雲820及823的結合導致目標表面808的錯誤尺寸輪廓,如829所示。
這些類型的誤差能夠藉由重校準感測器而解決,例如,藉由依循現場校準程序。然而,這些現場校準程序時常需要光學相位輪廓測定系統停止進行量測,以讓操作員使系統工作。這可能對生產造成極大搗亂,並降低線上檢測作業的處理能力。需要一種較少搗亂的技術。下面提供這種技術的一個範例。
藉由使用動態補償的方法,通常能夠即時(例,當系統繼續運作時)解決誤差。個別點雲之間的相對誤差能夠被動態估算並接著在將彼等結合成目標表面的最終尺寸輪廓之前被補償。一般方法是藉由運算最能使它們在3D中對準的變換而估算個別點雲之間相對誤差。通常,此變換可含旋轉、平移(translation)、縮放(scaling)或任何其它形式的變換,其對於因影像感測器的改變所預期的變化進行建模(例,熱縮放、機械性飄移……等)。在一個範例中,3D中的平移足以對系統的對準幾何的小變化進行建模。
圖19為顯示對於光學相位輪廓測定系統中的誤差的動態補償的一個範例方法的流程圖。方法900在方塊910開始,使用第一及第二通道(例,影像/光學路徑)產生第一及第二點雲。僅管上面說明來自二個個別通道的二個個別點雲,在其它範例中,可使用任意數量的通道以及可產生任意數量的點雲。在其它範例中,在特定光學相位輪廓測定系統中的各通道可產生相關於目標表面及/或物體的個別點雲。
方法900接著在方塊920,判斷視野的哪部分為非空(non-empty)。在一個範例中,此一判斷包含判斷點雲的哪部分具有表面點而哪部分不具有表面點。在一個範例中,此一判斷由光學相位輪廓測定系統進行,其能夠具有許多控制器及/或處理器(例,微處理器),經組構而(例,自影像感測器)接收代表任意數量的特徵(例,相關於目標表面及/或物體的尺寸資訊)的感測器訊號並且基於感測器訊號判斷視野(例,各自的區域、待量測體積、系統觀看的環境……等)的哪部分為非空(例,具有對應表面點的那些部分)。
方法900接著在方塊930,在視野的經判斷的非空部分(例,點雲的非空部分)中對準第一及第二點雲。此一對準能夠以各種方式完成。在一個範例中,運算對於各點雲的最佳變換,如方塊932所示。在一個範例中,執行旋轉如方塊933所示。在一個範例中,執行平移,如方塊934所示。在另一範例中,執行縮放,如方塊935所示。在另一範例中,執行加權,如方塊936所示。在一個範例中,方塊936的加權包含將點雲的表面點藉由它們的信賴值(例,它們的訊噪比)而加權。在另一範例中,點雲能夠藉由執行任何其它數量的變換而對準,特別是那些對於影像感測器的改變(例,熱縮放、機械性飄移……等)進行建模的變換,如方塊937所示。
方法900接著在方塊940,判斷各點雲的相對誤差。在一個範例中,判斷各點雲的相對誤差包含識別各點雲的最佳變換的相反狀態。方法900接著在方塊950,產生目標表面及/或物體的尺寸輪廓。在一個範例中,產生目標表面及/或物體的尺寸輪廓包含減去相對誤差,如方塊951所示。在一個範例中,產生尺寸輪廓包含:運算各點雲的最佳變換,識別各點雲(例,最佳變換的相反狀態)的相對誤差並自各點雲減去其各自的相對誤差,以及將補償及/或校正點雲結合。
圖20為顯示動態補償的一個範例的示意圖。在圖20的上側,顯示有第一點雲962及第二點雲964。在一個範例中,點雲962、964是藉由第一及第二通道(例,816、818)而產生。各第一及第二點雲具有如以小圓點所示的複數個各自的表面點。如圖20所示,點雲962及964皆具有起因於對於影像感測器的改變(例,如圖18A所示的機械性飄移)的量測誤差。產生的點雲無法準確地代表正被量測的目標表面(例,808)。然而,通過動態補償,如上所述(例,方法900)各點雲的量測誤差能夠被補償及/或被校正並且創造目標表面的尺寸輪廓,其正確地或實質正確地代表目標表面的實際尺寸輪廓,如對準的尺寸輪廓966所示。
在一個範例中,動態補償包含:自觀察目標表面的光學相位輪廓測定系統的各自第一及第二通道產生第一及第二點雲,其中第一及第二點雲為代表相關於光學相位輪廓測定系統的視野的尺寸資訊;判斷視野的哪部分為非空(例,視野的哪部分具有表面點);藉由運算各點雲的最佳變換及識別(例,計算)各點雲的相對誤差而在非空區域對準第一及第二點雲;自各點雲減去相對誤差;以及藉由自各第一及第二點雲減去相對誤差並結合校正及/或補償的第一及第二點雲而產生尺寸輪廓(例,高度地圖)。在一個範例中,運算最佳變換包含將各第一及第二點雲的表面點藉由它們的信賴值(例,訊噪比)而加權。在一個範例中,運算最佳變換包含執行旋轉、平移、縮放、或任何其他變換或彼等之組合。
在一些情況中,判斷各點雲的相對誤差能夠是計算密集型以及能夠減慢目標表面及/或物體的整體重建(例,高度地圖的產生)。特別是在連續地進行三維擷取(例,在電子組裝處理中的電路板的自動光學檢測期間)的線上檢測環境中,可不需要或不期望在每一訊框判斷相對誤差。在一個範例中,週期性地判斷相對誤差,並接著將其應用在各擷取(例,尺寸輪廓、高度地圖……等)。另外,由於相對誤差的各判斷可能含有一些雜訊,該判斷結果可藉由保持相對誤差判斷的運作平均而能夠在時間上平滑處理。
圖21為顯示動態補償的一個範例方法的流程圖。方法1000在方塊1010開始,對於目標表面及/或物體的各個別的三維擷取,判斷自相對誤差平均的最近的判斷以來的時間是否超過閾值。在方塊1020,若判斷出自最近的相對誤差平均被判斷以來的時間並未超過閾值,則將最近一次的相對誤差平均應用到各點雲。方法1000接著在方塊1025,對於目標表面及/或物體產生尺寸輪廓(例,高度地圖)。
回到方塊1010,若判斷自最近的相對誤差平均以來的時間超過閾值,方法1000接著在方塊1030,判斷新的相對誤差平均。在一個範例中,新的相對誤差平均藉由判斷變換(例,最佳變換)的平均而判斷。在一個範例中,變換的平均根據以下而判斷:
【數學式2】
其中α是0與1之間的常數。
方法1000接著在方塊1040,自各點雲減去相對誤差平均(例,Tavg
)。方法1000接著在方塊1050,結合校正及/或補償(例,相對誤差平均已被減去)的點雲。方法1000接著在方塊1060,基於校正及/或補償的點雲而產生尺寸輪廓(例,高度地圖)。方法1000能夠對於各三維擷取繼續進行直至光學檢測作業完成。
在一些情況中,對於多少誤差能夠被補償可能有限制。當相對誤差判斷開始接近此一限制,可能需要執行全場或工廠校準。在一個範例中,光學相位輪廓測定系統能夠判斷相對誤差是否已超過閾值(例,誤差量、疊代數量……等)以及在判斷已超過閾值時,光學相位輪廓測定系統能夠產生需要校準的通訊、警告、警報、或一些其它指示(例,在使用者介面出現顯示)。
面對典型的光學相位輪廓測定系統的另一難以處理的原因是由系統限制所造成的,其限制目標表面及/或物體的所獲取影像的品質及準確性。
光學相位輪廓測定受到所投射的正弦波品質的限制。數位光處理(Digital Light Processing;DLP)系統具靈活性但像素大小有限,其在所投射的正弦波的相位中產生階梯狀圖案。DLP系統亦具有有限的動態範圍。舉例而言,典型的DLP系統使用8位元影像,其導致正弦波量化為256階(level)。不幸的是,此種數位類比(例,光學光階)轉換不是完全線性。實際應用會具有明顯的積分及/或微分線性度誤差,後者更難以處理(例,校正、補償……等)。另一方面,積分誤差以及偏位及增益誤差能夠以多相重建來消除。舉例而言,三相重建對於偏位增益誤差不靈敏,而四相重建對於二次積分誤差不靈敏以及高階重建將補償高階積分誤差。而微分線性度誤差在正弦波的所有部分添加「隨機」(例,難以預測)的相位雜訊。
DLP系統藉由時間分割法產生多灰階。為了產生灰階,DLP系統中個別反射鏡翻轉開閉,類似於脈衝寬度調變(pulse width modulation;PWM)。由於反射鏡是機械裝置,在切換時間上受到限制,因此增加投射的灰階數量(例,增加影像中的位元數)亦增加了影像的訊框時間。舉例而言,單一位元影像可能看起來不像正弦波,但相關於高位元影像能夠非常快速投射,因此改善系統輸出時間。
圖22A為顯示DLP投影機系統的一個範例的示意圖。系統1100包括光源1102、數位微鏡裝置1104、光學低通濾波器(optical low-pass filter;OLPF)1106、數位投射透鏡組件1108,其進一步包括透鏡1110及1112。系統1100進一步包括源射線束1114、投射1116及目標表面1118。一般而言,系統1100的運作如下。源射線束1114自光源1102(例,LED)發出並通過聚光透鏡1103,其會聚源射線束1114以有效照明數位微鏡裝置1104。源射線束1114在通過聚光透鏡1103之後,落在數位微鏡裝置上並自其投射成為數位投射1116。數位投射1116通過光學低通濾波器1106(將在下面(圖22B)進一步詳細討論),其如上面所述,經組構而減少及/或消除典型DLP系統的問題。投射1116繼續到投影機透鏡組件1108上,其包括透鏡1110、1112,彼等經配置而將投射1116聚焦至目標表面1118上的期望階。投射1116接著到目標表面1118上,自其反射並接著由影像系統(例,攝影機)所捕捉,其將會使用感測器(例,影像感測器)而生成目標表面1118的尺寸輪廓。雖然圖22中為了說明的目的而顯示構件的特定配置,但系統1100能夠包括:任何數量的附加的構件及/或裝置,包括但不限於:附加的數位微鏡裝置;附加的透鏡(例,成形透鏡),包括以各種方式配置的投影機透鏡組件1108中的附加的透鏡;濾色器;附加的光源;以及這類系統所必須或期望的其它構件及/或裝置。
圖22B為顯示OLPF的一個範例的簡化方塊圖。光學低通濾波器1106包括雙折射材料1120及其它1128。雙折射材料1120包括石英片1122、波長延遲器1124及其它1126。在一個範例中,光學低通濾波器1106由雙折射材料層所組成。在一個範例中,石英片1122包含:第一石英片,其自數位微鏡裝置將點分成一對點;以及第二石英片,其將該二個點分成四個點。在一個範例中,該四個點以正方形圖案配置。在一個範例中,波長延遲器1124包含:第一四分之一波長延遲器,其將(數位微鏡裝置所投射的)影像的各副本的偏振光轉換成圓偏振光;以及第二四分之一波長延遲器,其將影像的各副本的偏振光轉換成圓偏振光。在一個範例中,第二四分之一波長延遲器確保光學低通濾波器1106輸出的光為圓偏振的。在一個範例中,光學低通濾波器1106包含四個雙折射材料層,其中第一層包含第一石英片,第二層包含第一四分之一波長延遲器,第三層包含第二石英片,以及第四層包含第二四分之一波長延遲器。
雙折射材料1120亦能夠包括任何其它數量的雙折射材料,但不限於任合其他數量的晶體結構。光學低通濾波器1106亦能夠包括影像系統中的光學低通濾波及/或重建濾波所必須或期望的任何其它數量的材料及/或構件。
由於光學相位輪廓測定系統的垂直解析度受投射的最高頻率的限制。對於DLP相位輪廓測定系統,頻率典型為每週期約四個數位微鏡裝置像素。每像素四分之一循環的頻率實際上為方波。以方波開始的好處在於其為二進制影像(例,只有二階)。與其它典型的DLP相位輪廓測定系統相比,使用二進制圖案改善系統1100的速度。舉例而言,八位元DLP影像每影像需要數十毫秒,而單一位元影像,如系統1100的情況,能夠在1毫秒以下良好投射,從而改善尺寸輪廓輸出及影像擷取的速度。
在需要較低頻率正弦波的情況中,能夠將附加的位元階添加至正弦波,例如,每循環六個像素的正弦波能夠以僅三個灰階(例,0、0.5及1)而充分投射。在一個範例中,對於每n個像素重複的正弦波,提供二分之n個灰階。系統1100經組構而對於期望投射頻率將訊號位準最大化,以及將不想要的假影(artifact)(例,「紗窗效應(screen-door effects)」或投射頻率的諧波)最小化。
圖23為顯示投射光到目標表面上的一個範例的流程圖。方法1200在方塊1210開始,使用光源將光投射到數位微鏡裝置(digital micromirror device;DMD)上。光在到達DMD表面之前,可首先通過透鏡組件1211,其在一個範例中能夠包括聚光透鏡。光在到DMD的途中亦可能通過任何其它1213裝置及/或構件。光源可包含LED 1214。光源可包含合適於將光投射到DMD上的任何其它類型的光源1215。
方法1200接著在方塊1220,自DMD將投射的光(投射)反射朝向目標表面及/或物體。方法1200接著在方塊1230,在自DMD反射之後,但在到達目標表面及/或物體之前,過濾投射的光。此一過濾能夠使用光學低通濾波器1231完成。此一過濾能夠使用其它類型的濾波器1232完成。濾波器能夠包括任何數量的波片1233,例如,石英波片。濾波器能夠包括任何數量的波長延遲器1234,例如,四分之一波長延遲器。濾波器能夠包括任何其它數量的材料、構件、及/或裝置,其包括但不限於:雙折射材料、晶體結構、以及過濾及/或重建所必須及/或期望的任何其它材料、構件及/或裝置。在一個範例中,濾波器為由多層所組成的光學低通濾波器,其中第一層包含第一石英波片,第二層包含第一四分之一波長延遲器,第三層包含第二石英波片,以及第四層包含第二四分之一波長延遲器。在一個範例中,在方塊1230,濾波器能夠包含光學低通濾波器1106。
方法1200接著在方塊1240,將經過濾的投射聚焦到目標表面及/或物體上。經過濾的投射能夠首先通過透鏡組件1241。在一個範例中,在該方塊,透鏡組件1241為投影機透鏡組件1108。經過濾的投射能夠首先通過孔徑1242。濾波器投射能夠在到目標表面及/或物體的途中通過任何數量的其它1243裝置及/或構件。
在一個範例中,方法1200包含以LED將投射一投射到DMD,其經組構而在每像素四分之一循環的頻率反射光(例,將投射反射成為方波)。來自DMD的光接著由OLPF過濾,其經組構而將方波「重建」成正弦波。OLPF包含:第一石英波片,經組構而將來自DMD的點分成一對點;第一四分之一波長延遲器,經組構而將影像的各副本的偏振光轉換成圓偏振光;第二石英波片,經組構而將該二個點分成四個點,其中該四個點以正方形圖案配置;以及第二四分之一波長延遲器,經組構而將輸出光(例,通過並離開OLPF且朝向目標表面及/或物體的光)轉換成圓形偏振光。經過濾的光接著通過投影機透鏡組件,其經組構而將經過濾的光聚焦到目標表面及/或物體上,其中透鏡組件包含:第一透鏡,具有第一凸面;以及第二透鏡,具有第二凸面,其中第一及第二凸面為面向相反方向。
有關於典型的光學相位輪廓測定系統的另一難以處理的原因是關於目標傾斜,特別是鏡面目標表面。在典型的系統中,照明源具有數值孔徑(numerical aperture),其界定自目標表面上各點出射的射線束的邊界。通常,系統會被對準,以對於非傾斜目標使照明源瞳孔的中心會與影像系統瞳孔的中心相交。然而,目標表面的任何傾斜都會干擾此一對準,例如,當目標表面傾斜,來自源的射線束(自目標反射成為反射)通過接收器的孔徑。舉例而言,當目標表面自理想平面傾斜並改變三角測量角度時,會發生撓度計(deflectometer)誤差。此一誤差於反射在邊緣重疊時會加劇,亦稱為漸暈(vignetting)。在一些情況中,諸如當目標處於極度傾斜時,反射不再重疊而是對於影像系統為不可見,並從而無法產生目標表面的尺寸資訊。目標表面傾斜所引起的誤差在美國專利號2019-0226835-A1中進一步解釋。
作為撓度計誤差的範例,當非零高度處的鏡面目標傾斜時,影像系統所量測的高度改變。舉例而言,在具60°夾角的相位輪廓測定系統中,距傾斜1°的攝影機最佳焦距1毫米的目標會具有約40微米的高度誤差。
圖24為顯示光學相位輪廓測定系統的一個範例的示意圖。系統1300包括第一運作同軸的影像系統/照明源對1302,其包括影像系統1306、照明源1308及分光器1310。系統1300進一步包括第二運作同軸的影像系統/照明源對1304,其包括影像系統1312、照明源1314及分光器1316。運作對1302及1304經組構以使它們各自的影像系統(1306及1312)與它們各自的照明源(1308及1314)共享光學路徑。運作對1302及1304利用各自的分光器1310、1316,在一個範例中,彼等經組構而在相關於它們各自的影像系統(1306及1312)及各自的照明源(1308及1314)的45°角度。在一個範例中,影像系統1306及/或1312能夠包含攝影機。在一個範例中,影像系統1306及/或1312能夠包含影像感測器。在一個範例中,照明源1308及/或1314能夠包含投影機。在一個範例中,照明源1308及/或1314能夠包含DLP投影機,其能夠包括數位微鏡裝置(digital micromirror device;DMD)及OLPF。系統1300進一步包括目標表面1318、照明1320、1324、及反射1322、1326。
系統1300經配置以使運作對1302、1304包含傾斜對(例,佈置於相對於目標表面1318及法線的傾斜角度(例,垂直))。系統1300進一步經配置以使運作對1302及1304為相對於彼此而對稱。換言之,相關於目標表面1318及法線的它們的傾斜角度為相等但在相反方向(例,在法線的相反側)。以此方式,運作對1302、1304形成對列通道。在一個範例中,它們形成第一及第二鏡面通道,第一通道包含:自照明源1308所投射的照明1320、以及自目標表面1318所反射的反射1322。在一個範例中,反射1322包含鏡面反射。第二通道包含:自照明源1314所投射的照明1324、以及自目標表面1318所反射的反射1326。在一個範例中,反射1326包含鏡面反射。
系統1300的對準幾何具有補償鏡面目標表面的傾斜或尖端所引起的高度重建誤差的優點。對於系統1300,目標傾斜所造成的誤差對各運作對1302、1304將會相等且相反。從而。當結合運作對1302及1304所產生的點雲,則目標傾斜所造成的鏡面誤差被校正。進一步地,在一個範例中,影像系統及照明源的光學孔徑(未顯示)為相等(例,各個之各自的通道的數值孔徑均等),鏡面誤差被最小化及目標表面的結果表示更為準確。
圖25為顯示光學相位輪廓測定系統的一個範例的示意圖。系統1400包括第一運作同軸的影像系統/照明源對1402,其包括影像系統1408、照明源1410及分光器1412。系統1400進一步包括第二運作同軸的影像系統/照明源對1404,其包括影像系統1414、照明源1416及分光器1418。系統1400進一步包括第三運作同軸的影像系統/照明源對1406,其包括影像系統1420、照明源1422及分光器1424。運作對1402、1404、1406經組構以使它們各自的影像系統(1408、1414、1420)與它們各自的照明源(1410、1416、1422)共享光學路徑。運作對1402、1404、1406利用各自的分光器1412、1418、1424,在一個範例中,彼等經組構而在相關於它們各自的影像系統(1408、1414、1420)及各自的照明源(1410、1416、1422)的45°角度處。在一個範例中,影像系統1408、1414及/或1420能夠包含攝影機。在一個範例中,影像系統1408、1414及/或1420能夠包含影像感測器。在一個範例中,照明源1410、1416及/或1422能夠包含投影機。在一個範例中,照明源1410、1416及/或1422能夠包含DLP投影機,其能夠包括數位微鏡裝置(digital micromirror device;DMD)及光學低通濾波器。系統進一步包括目標表面1426、照明1428、1434、1438及反射1430/1440/1450、1432/1442、1436/1446。
系統1400經配置而使其形成六個對列通道。在一個範例中,四個漫射通道及二個鏡面通道。在一個範例中,四個對列通道經組構以捕捉標稱漫射反射,以及二個對列鏡面通道經組構以捕捉鏡面反射。系統1400經配置以使運作對1402、1406包含傾斜對(例,佈置/對準於相對於目標表面1426及「法線」的傾斜角度(例,垂直及/或,在一個範例中,運作對1404)。系統1400經配置以使運作對1402及1406為相對於彼此而對稱。換言之,相對於目標表面1426及法線的它們的傾斜角度為相等但在相反方向(例,在法線的相反側)。以此方式,運作對1402、1406形成第一及第二對列鏡面通道。第一通道包含:自照明源1410所投射的照明1428、以及自目標表面1426所反射的反射1432。在一個範例中,反射1432包含鏡面反射。第二通道包含:自照明源1422所投射的照明1438、以及自目標表面1426所反射的反射。在一個範例中,反射1436包含鏡面反射。
系統1400進一步經配置以形成另外四個對列通道,在各傾斜對(1402及1406)與運作對1404之間的二個對列通道。運作對1404相對於目標表面1426而以約法線(例,垂直)而佈置/對準第三對列通道包含:由照明源1410所投射的照明1428、以及自目標表面1426所反射的反射1440。在一個範例中,反射1440為漫反射。第四對列通道包含:自照明源1416所投射的照明1434、以及自目標表面1426所反射的反射1446。在一個範例中,反射1446為漫反射。第五對列通道包含:自照明源1422所投射的照明1438、以及自目標表面1426所反射的反射1450。在一個範例中,反射1450為漫反射。第六對列通道包含:自照明源1416所投射的照明1434、以及反射1442。在一個範例中,反射1442為漫反射。
在一個範例中,為了最小化擷取系統1400的所有六個通道所需的時間,能夠使個別的影像系統-照明源對的時機交錯。典型地,影像系統1408、1414、1420經組構有CMOS區陣列偵測器。這些類型的影像儀具有能力去控制曝光時間,以使影像儀的曝光時間為影像儀的訊框時間(例,擷取及讀出影像的時間)的小部分。舉例而言,若影像系統(例,1408、1414、1420)能夠以每秒50訊框來擷取影像,則在擷取之間的時間為1/50秒或20毫秒。為了以自一個影像系統擷取至少二個影像的串列模式自六個通道的各個擷取至少一個影像,擷取完整影像集的時間為120毫秒(6〔影像〕×20毫秒)。然而,若有反射(例,1436、1446、1430、1440、1450、1432、1442)中有足夠強度,曝光時間能夠大幅短於20毫秒並且影像擷取的順序能夠在三個影像系統之間交錯。藉由交錯三個影像系統的擷取順序,一個影像系統的曝光能夠被定為與另一影像系統完成其訊框時間所需的讀出時間為相同時間,以導致120/3或40毫秒的總擷取時間,對於此特定範例。
以下為用於自六個通道擷取影像的交錯觸發順序,其能夠利用系統1400的對準幾何(例,組構)以最小化擷取時間:
觸發時間1:照明源1410曝光影像系統1414;
觸發時間2:照明源1416曝光影像系統1420;
觸發時間3:照明源1422曝光影像系統1408;
觸發時間4:照明源1422曝光影像系統1414;
觸發時間5:照明源1410曝光影像系統1420;
觸發時間6:照明源1416曝光影像系統1408。
在範例中,觸發事件之間的時間為20/3 = 6.6毫秒。觸發任何單一個影像系統之間的時間為20毫秒,而所有六個影像的總擷取時間為6.6毫秒× 6 = 40毫秒。應理解這僅是交錯順序的一個範例並且在不脫離本發明的精神及範圍的情況下能夠使用其它交錯順序。
圖26為顯示光學相位輪廓測定系統的一個範例的簡化方塊圖。系統1500包括照明源1502、影像系統1504、電子設備1550、對準幾何1562、電源1564、記憶體1565、使用者介面1566、分光器1567、遠程裝置1568、殼體1569、顯示器1570及其它1571。系統1500能夠包含任何實施例並且結合本文所述的任何方法。
照明源1502包括照明產生器1512、透鏡組件1514、濾波器1515、孔徑1516、殼體1518及其它1522。照明源1502可包含本文所述的任何實施例。照明產生器1512經組構而產生待投射至目標上的照明(例,結構化或圖案化照明)。照明產生器1512可包含空間光調變器、結構光產生器、DLP投影機、穿透式液晶、液晶覆矽(liquid crystal on silicon;LCOS)或用於投射結構光圖案的任何其它合適技術、數位微鏡裝置(digital micromirror device;DMD)、或任何其它數量的合適照明產生器。
透鏡組件1514一般經組構而將照明自照明源1402引導朝向目標並且可包含遠心透鏡組件、入射透鏡、出射透鏡、無限遠的入射或出射光瞳、二個以上的透鏡、以及由各種材料製成的透鏡,包括但不限於:聚碳酸酯、塑膠、聚合物、玻璃、液態透鏡材料、及任何其它合適材料。透鏡組件1514能夠包含:聚光透鏡、投影機透鏡組件,其中投影機透鏡組件包含:具有第一凸面的第一透鏡及具有第二凸面的第二透鏡,其中第一及第二凸面為面向相反方向。
濾波器1515一般經組構而過濾/或重建照明。濾波器1515能夠包括OLPF,其中OLPF包含任何數量的雙折射材料。OLPF能夠包含四層,其中第一層包含波片(例,石英波片),第二層包含四分之一波長延遲器,第三層包含第二波片(例,石英波片),以及第四層包含第二四分之一波長延遲器。濾波器1515能夠包括任何其它數量的材料、構件及/或裝置,包括但不限於:晶體結構、片……等。
孔徑1516經組構而將照明自照明源1502引導朝向目標表面。孔徑1516可在整個光學相位輪廓測定系統中包含尺寸上的任何變化,諸如在本文中所述的實施例及系統。在一個範例,各運作同軸的影像系統-照明源對的數值孔徑為均等的。在一個範例中,這些數值孔徑為不同尺寸。在一個範例中,對於通道(例,對列、鏡面、漫射……等),接收器(例,影像系統)數值孔徑小於源(例,照明源)數值孔徑。在一個範例中,對於通道(例,對列、鏡面、漫射……等),接收器(例,影像系統)數值孔徑大於源(例,照明源)數值孔徑。在一個範例中,對於通道(例,對列、鏡面、漫射……等),接收器(例,影像系統)數值孔徑與源(例,照明源)數值孔徑為均等。
殼體1518經組構而界定照明源1502的主體及照明源1502的殼體構件。殼體1518可包含任何數量的材料,包括但不限於:塑膠、聚合物、金屬或任何其它合適材料。殼體1518可包含本文所述的任何實施例。其它1522可包含合適於被照明源使用來將結構化照明投射在目標上的任何其它構件。
影像系統1504包括透鏡組件1528、孔徑1530、攝影機1532、影像平面1534、調節機構1540、殼體1542、感測器1546及其它1548。影像源(影像系統1504)經組構而接收自目標反射的照明源1402所投射的照明。透鏡組件1528經組構而將自目標所反射的照明引導朝向影像系統1504的內部構件(例,攝影機1532、影像平面1534、感測器1546)並且可包含遠心透鏡組件、入射及出射透鏡、無限遠的入射或出射光瞳、二個以上的透鏡、可調透鏡、以及由各種材料製成的透鏡,包括但不限於:聚碳酸酯、塑膠、聚合物、玻璃、液態透鏡材料、及任何其它合適材料。透鏡組件1528可包括稜鏡組件(例,760),其能夠包括任何數量的稜鏡(例,761、762及/或763)。
孔徑1530經組構而將自目標所反射的照明引導朝向影像系統1504的內部構件。孔徑1530可在整個光學相位輪廓測定系統中包含尺寸上的任何變化,諸如在本文中所述的實施例及系統。在一個範例,各運作同軸的影像系統-照明源對的數值孔徑為均等的。在一個範例中,這些數值孔徑為不同尺寸。在一個範例中,對於通道(例,對列、鏡面、漫射……等),接收器(例,影像系統)數值孔徑小於源(例,照明源)數值孔徑。在一個範例中,對於通道(例,對列、鏡面、漫射……等),接收器(例,影像系統)數值孔徑大於源(例,照明源)數值孔徑。在一個範例中,對於通道(例,對列、鏡面、漫射……等),接收器(例,影像系統)數值孔徑與源(例,照明源)數值孔徑為均等。
在一個範例中,孔徑1516及孔徑1530的數值孔徑為均等並從而經組構以減少、補償、及/或消除目標傾斜所引起的量測誤差(例,撓度計誤差、漸暈……等)。
攝影機1532經組構而接收照明源1502所投射並自目標反射朝向影像系統1504的照明。攝影機1532可包括感測器1546(例,影像感測器),經組構而基於所接收的代表目標的影像的照明而產生感測器訊號。影像平面1534為攝影機1532的部分,並且界定攝影機的表面,反射的照明在通過影像系統1504(例,透鏡組件1528、孔徑1530……等)的內部構件之後聚焦於其上。
調節機構1540為經組構而改變影像系統1504的透鏡組件1528或另一構件的位置或特徵的裝置。調節機構1540可包含機械裝置,經組構而改變透鏡的位置,以使透鏡的聚焦點改變。調節機構1540可包含電光學透鏡,其在影像捕捉之間改變形狀,以使聚焦位置改變。在這樣的系統中,透鏡的曲率是藉由施加電流來調節。調節機構1540可包含可變放大率透鏡,例如,液晶透鏡組件。調節機構可包含經組構而改變影像平面1534的位置的裝置。調節機構1540可包含經組構而改變攝影機1532的位置的裝置。調節機構1540可包含任何合適裝置、構件及/或技術,以使影像系統的聚焦位置可改變。
殼體1542經組構而界定影像系統1504的主體及影像系統1504的殼體構件。殼體1542可包含任何數量的材料,包括但不限於:塑膠、聚合物、金屬或任何其它合適材料。殼體1542可包含本文所述的任何實施例。感測器1546可包含任何數量的感測器,經組構而產生捕捉的影像、目標尺寸資訊、所接收的照明的特徵所代表的訊號……等。其它1522可包含經組構而允許影像系統1504接收照明或取得相關於目標的尺寸資訊的任何其它合適構件。
電子設備1550包括通訊電路1552、處理器1554、控制器1556及其它1560。通訊電路1552經組構而與系統1500的其它構件(照明源1502及影像系統1504)、外部構件(例,使用者介面1566、遠程裝置1568、及顯示器1570)、以及電子設備1550的其它構件通訊。通訊電路1552可包含有線(例,有線迴路)及/或無線(WiFi、藍牙……等)電路。處理器1554經組構而接收訊號(例,來自感測器1546的感測訊號)及相關於目標的其它輸入,並基於這些訊號及輸入而判斷、計算、及/或產生相關於目標的尺寸資訊及/或特徵(例,高度、坡度、x位置、y位置、z位置……等)。在一個範例中,處理器1554經組構而產生點雲,其具有相關於目標的由系統的各自通道(例,光學路徑)所捕捉的複數個表面點,其中通道包含至少一個照明源及至少一個影像系統。處理器1554能夠透過硬體、軟體、或彼等之組合而調適用於接收來自影像系統1504的所擷取的影像以及執行包括本文中所述的那些在內的大量的計算、方法及/或技術。舉例而言,處理器1554能夠執行點雲合併、疊代聯合點雲點雲精化、符號距離函數、加權平均、動態補償、結合、比對以及任何其它數量的計算、、方法及/或技術或是本文中所述的那些的任意組合。
控制器1556經組構而自處理器1554及其它構件(例,使用者介面1566)接收訊號以及產生控制訊號至系統1500的構件。在一個範例中,控制器1556能夠包含任何數量的處理器或微處理器,包括處理器1554。舉例而言,控制器1556能夠接受代表需要啟動校準處理的來自處理器1554的輸出(例,相對誤差判斷已達到限制以及需要現場或工廠校準)。控制器1556可接著產生控制訊號而使外部構件(例,使用者介面1566、遠程裝置1568及/或顯示器1570)出現顯示、警告、警報、或任何其它系統1500的狀態的指示(例,需要校準)。在其它範例中,控制器1556可產生控制訊號使處理器1554判斷新的相對誤差,以及產生控制訊號使通訊電路1552將該新的相對誤差儲存於記憶體1565。控制器1556能夠產生任何數量的控制訊號,包括用於任何本文所述的方法及/或技術的控制訊號。
在另一範例中,控制器1556經組構而操作系統1500的時機(例,投射及擷取時機、曝光時機……等)。在一個範例中,系統1500的時機交錯(例,交錯的觸發順序)。在一個範例中,一個影像系統的曝光能夠被定為與另一影像系統完成其訊框時間所需的讀出時間為相同時間。在一個範例中,交錯的觸發順序能夠導致系統1500的40毫秒的總擷取時間。在一個範例中,觸發事件之間的時間為6.6毫秒。
對準幾何1562為系統1500的位置及對準結構。對準幾何1562能夠包含照明源1502及/或影像系統1504的垂直或水平位置。對準幾何1562可包含方位角或照明源1502及/或影像系統1504的光學軸線。對準幾何1562能夠包含本文中所述的系統、方法、技術或實施例的任一者,例如但不限於:圖3A至圖3B、圖4A至圖4B、圖12、圖13A至圖13C、圖24及圖25所述的對準幾何。
電源1564經組構而供電至系統1500的構件。電源1564可包含電池、對電路的有線連接、或任何其它合適技術,而使系統1500的構件會被充電。另外,系統1500的各個個別子系統(例,照明源1502、影像系統1504、及電子設備1550)可包括它們自己的電源(例,電池或對電路的個別連接),而使它們彼此獨立地被供電。電源1564亦可包含這些的任何組合。
記憶體1565經組構而儲存資料(例,相關於目標的尺寸資料、計算、判斷、指令……等)、校準資訊、系統狀態資訊……等。記憶體1565可包含RAM、ROM、快取、動態RAM、靜態RAM、快閃記憶體、虛擬記憶體、視訊記憶體、BIOS、或任何其它合適形式的記憶體。記憶體1565較佳地電性耦合於系統1500。
分光器1567經組構而將來自照明源1502的照明以及自目標所反射的反射「分光」,以使在一個範例中,照明源1502及影像系統1504能夠包含如本文所述的運作同軸的對。殼體1569能夠經組構而將照明源1502及影像系統1504二者容置在單一殼體中,特別是在本文所述的某些實施例的使用運作同軸的照明源/影像系統對的情況。殼體1569經組構而界定照明源1502及影像系統1504的主體,以及容置各內部構件,在一個範例中,分光器1567。殼體1569能夠包含任何數量的材料,包括但不限於:塑膠、聚合物、金屬或其它任何合適材料。系統1500能夠包括任何數量的合適構件及/或裝置,如1571所示。
使用者介面1566經組構而接收使用者或操作者輸入。使用者介面可包含觸控螢幕顯示器、開關、搖桿、電控板、按鈕、或用於接收使用者或操作者輸入的其它任何合適技術。遠程裝置1568可包含電性耦合於但遠離系統1500的裝置,諸如有線迴路上的控制室中的電腦。遠程裝置1568亦可包含無線耦合於系統1500的裝置,諸如手持裝置、膝上型電腦、平板電腦、異地電腦(computers off-site)……等。遠程裝置1568能夠經組構而顯示、接收及發送相關於系統1500的資訊(例,相關於目標的尺寸資訊、性能分析、警告、警報、通知、系統狀態……等)。顯示器1570經組構而顯示相關於系統的資訊。顯示器1500可包含可見顯示器,諸如:螢幕顯示器、或燈,經組構而顯示系統1500狀態(例,警告燈)。顯示器1570可包含音響顯示器,經組構而產生噪音以傳達相關於系統1500的資訊(例,音響警報)。
系統1500的任一或全部的構件及/或裝置能夠包含本文所述的構件、裝置、技術、方法、及/或實施例的任一者或彼等之任何組合。
在一個範例中,本文所述的特定實施例亦經組構而減少、消除、補償及/或校正諸如本文所述的那些誤差(例,量測誤差)。這類誤差包括但不限於:由目標表面的反射率梯度、反光、目標的傾斜……等所引起的誤差。
僅管在本文所述的方法中為了說明目的而顯示特定順序的步驟,但當理解這些步驟的一些或全部能夠以任何數量的順序執行,包括但不限於:同步地、同時地、連續地、非同時地、非連續地及彼等的任何組合。該說明並不暗示及/或解釋用於本文所述的方法的特定順序的步驟。
雖然已參考較佳實施例而說明本發明,本領域熟習該項技術者將認識到可在不背離本發明的精神及範圍下在形式及細節上進行改變。應注意本文中所述的不同範例能夠以不同方式組合。即,能夠將一個以上的範例的部分與一個以上的其它範例的部分組合。本文考慮到這些全部。
雖然已用特定於結構特徵及/或方法動作的語言說明申請標的,但應理解附呈申請專利範圍中所定義的申請標的並不必限於上述特定特徵或動作。應該說,上述特定特徵及動作是作為實現申請專利範圍的範例形式而揭示。
10:系統
12:投影機
14:傾斜攝影機
16:傾斜攝影機
18:照明
20:表面
22:反射
24:反射
50:系統
52:照明
54:目標表面
56:反射
57:反射
58:反光
60:表面點
62:表面點
63:表面點
64:投影機
65:反射
66:攝影機
68:攝影機
70:環境
72:投射
74:反射
76:表面
77:箭頭
78:量測表面點
80:環境
82:投射
84:反射
86:表面
87:箭頭
88:量測表面點
100:系統
101:系統
102:照明源
103:對
104:影像系統
106:分光器
108:照明
110:目標表面
112:反射
200:系統
202:對
204:對
206:目標表面
208:照明
212:反射
214:照明
216:反射
218:通道
220:通道
222:反光
224:表面點
226:表面點
228:表面點
230:表面點
250:系統
252:對
254:照明
256:目標表面
258:照明
262:反射
266:反射
268:對列通道
270:對列通道
272:反光
276:表面點
280:表面點
282:表面點
284:箭頭
286:箭頭
288:點
290:平均投射點
292:點
294:箭頭
300:體素體積
301:疊代
302:待量測體積
304:體素
306:表面點
308:射線
310:體素體積
310:方塊
312:待量測體積
314:體素
316:表面點
318:射線
320:體素體積
320:方塊
322:待量測體積
324:體素
326:射線
328:射線
330:方塊
330:目標表面近似
340:方塊
350:系統
350:方塊
352:第一傾斜投影機
354:第二傾斜投影機
356:攝影機
358:目標
360:投射
360:方塊
362:投射
364:量測
366:量測
368:高度誤差
370:方塊
370:輪廓
372:外部
374:高度量測單元
376:高度量測單元
378:高度量測單元
380:方塊
390:方塊
400:方法
410:方塊
420:方塊
430:方塊
440:方塊
500:系統
502:對
504:對
506:對
508:目標
510:通道
512:投射
514:反射
516:投射
518:反射
520:反射
522:投射
524:反射
526:反射
528:反射
600:方法
610:方塊
612:方塊
614:方塊
616:其它
620:方塊
622:方塊
624:方塊
626:其它
630:方塊
632:方塊
634:方塊
636:其它
650:尺寸輪廓
652:目標物體
654:線段
656:高度
657:高度
658:尺寸輪廓
660:尺寸輪廓
662:目標物體
664:線段
666:高度
668:尺寸輪廓
702:影像系統
704:影像感測器
706:透鏡
708:物體
710:射線束
712:光學軸線
714:法線
716:平面
718:角度
720:角度
750:系統
752:稜鏡組件
754:焦點平面
756:透鏡
758:出射射線束
760:系統
761:稜鏡
762:稜鏡
763:稜鏡
764:楔形角
765:楔形角
766:楔形角
800:系統
802:攝影機
804:投影機
806:投影機
807:精密對準
808:目標表面
810:投射
812:投射
814:反射
816:第一通道
818:第二通道
819:表面點
820:點雲
822:點雲
823:點雲
824:盲點/陰影
826:盲點/陰影
828:尺寸輪廓
829:尺寸輪廓
900:方法
910:方塊
920:方塊
930:方塊
932:方塊
933:方塊
934:方塊
935:方塊
936:方塊
937:方塊
940:方塊
950:方塊
951:方塊
962:點雲
964:點雲
966:尺寸輪廓
1000:方法
1010:方塊
1020:方塊
1025:方塊
1030:方塊
1040:方塊
1050:方塊
1060:方塊
1100:系統
1102:光源
1103:聚光透鏡
1104:數位微鏡裝置
1106:光學低通濾波器
1108:透鏡組件
1110:透鏡
1112:透鏡
1114:源射線束
1116:投射
1118:目標表面
1120:雙折射材料
1122:石英片
1124:波長延遲器
1126:其它
1128:其它
1200:方法
1210:方塊
1211:透鏡組件
1213:其它
1214:LED
1215:光源
1220:方塊
1231:OLPF
1232:濾波器
1233:波片
1234:波長延遲器
1240:方塊
1241:透鏡組件
1242:孔徑
1243:其它
1300:系統
1302:對
1304:對
1306:影像系統
1308:照明源
1310:分光器
1312:影像系統
1314:照明源
1316:分光器
1318:目標表面
1320:照明
1322:反射
1324:照明
1326:反射
1400:系統
1402:對
1404:對
1406:對
1408:影像系統
1410:照明源
1412:分光器
1414:影像系統
1416:照明源
1418:分光器
1420:影像系統
1422:照明源
1424:分光器
1426:目標表面
1428:照明
1430:反射
1432:反射
1434:照明
1436:反射
1438:照明
1440:反射
1442:反射
1446:反射
1450:反射
1500:系統
1502:照明源
1504:影像系統
1512:照明產生器
1514:透鏡組件
1515:濾波器
1516:孔徑
1518:殼體
1522:其它
1528:透鏡組件
1530:孔徑
1532:攝影機
1534:影像平面
1540:調節機構
1542:殼體
1546:感測器
1548:其它
1550:電子設備
1552:通訊電路
1554:處理器
1556:控制器
1560:其它
1562:對準幾何
1564:電源
1565:記憶體
1566:使用者介面
1567:分光器
1568:遠程裝置
1569:殼體
1570:顯示器
1571:其它
[圖1]為顯示典型的光學相位輪廓測定系統的一個範例的示意圖。
[圖2A至圖2B]為顯示光學相位輪廓測定系統範例的示意圖。
[圖2C至圖2D]為顯示光學檢測環境範例的示意圖。
[圖3A至圖3B]為顯示運作同軸的影像系統-照明源對範例的示意圖。
[圖4A至圖4B]為顯示光學相位輪廓測定系統範例的示意圖。
[圖5A至圖5B]為顯示光學相位輪廓測定系統範例的示意圖。
〔圖6〕為顯示光學相位輪廓測定系統的一個範例的示意圖。
〔圖7〕為顯示疊代聯合點雲精化的一個範例方法的流程圖。
〔圖8〕為顯示疊代聯合點雲精化的一個疊代的示意圖。
〔圖9〕自對列通道合併點雲的一個範例方法的流程圖。
〔圖10A至圖10C〕為顯示自對列通道合併點雲的一個範例的示意圖。
〔圖11A〕為顯示光學相位輪廓測定系統的一個範例的示意圖。
〔圖11B至圖11C〕為顯示產生球形目標之三維輪廓的範例的示意圖。
〔圖12〕為顯示光學相位輪廓測定系統的一個範例的示意圖。
〔圖13A至圖13C〕為顯示範例光學相位輪廓測定系統的示意圖。
〔圖14〕為顯示產生目標表面及/或物體的三維輪廓的一個範例方法的流程圖。
〔圖15A至圖15B〕為顯示產生目標表面及/或物體的尺寸輪廓的一個範例的示意圖。
〔圖16〕為顯示光學相位輪廓測定系統的一個範例的示意圖。
〔圖17〕為顯示光學相位輪廓測定系統的一個範例的示意圖。
〔圖18A〕為顯示光學相位輪廓測定系統的一個範例的示意圖。
〔圖18B〕為顯示光學相位輪廓測定系統的一個範例的示意圖。
〔圖19〕為顯示對於光學相位輪廓測定系統中的誤差的動態補償的一個範例方法的流程圖。
〔圖20〕為動態補償的一個範例的示意圖。
〔圖21〕為動態補償的一個範例方法的流程圖。
〔圖22A〕為數位光處理投影機系統的一個範例的示意圖。
〔圖22B〕為顯示光學低通濾波器的一個範例的方塊圖。
〔圖23〕為顯示投射光至目標表面上的一個範例的流程圖。
〔圖24至圖25〕為顯示光學相位輪廓測定系統範例的示意圖。
〔圖26〕為光學相位輪廓測定系統的一個範例的方塊圖。
200:系統
202:對
204:對
206:目標表面
208:照明
212:反射
214:照明
216:反射
Claims (20)
- 一種判斷目標表面的尺寸資訊的方法,包含: 產生第一點雲,該第一點雲對應於由相位輪廓測定系統的第一成像系統-照明源對所產生的目標表面的複數個第一重建的表面點; 產生第二點雲,該第二點雲對應於由該相位輪廓測定系統的第二成像系統-照明源對所產生的該目標表面的複數個第二重建的表面點; 基於該第一點雲及該第二點雲而產生該目標表面的初始表面估算;以及 使用該第一點雲及該第二點雲的位置以及該第一成像系統-照明源對及該第二成像系統-照明源對的幾何而精化該初始表面估算,以產生最終點雲。
- 如請求項1所述之方法,其中所述的該初始表面估算的精化係減少由鏡面反光所引起的量測誤差。
- 如請求項1所述之方法,其中所述的該初始表面估算的精化係減少由該目標表面的反射率梯度所引起的量測誤差。
- 如請求項1所述之方法,其中所述的該初始表面估算的精化係減少由該目標表面的傾斜所引起的量測誤差。
- 如請求項1所述之方法,其中所述的產生該初始表面估算係包含: 將對應於該目標表面的體積劃分成體素組; 對於該第一點雲及該第二點雲中的各重建的表面點,沿該第一點雲及該第二點雲中的各重建的表面點的成像系統射線而將重建的該表面點的符號距離函數及對應的權重加入該體素組;以及 對於該第一點雲及該第二點雲,識別該符號距離函數的水平集。
- 如請求項5所述之方法,其中該第一成像系統-照明源對包含第一反置式通道,以及該第二成像系統-照明源對包含第二反置式通道。
- 如請求項6所述之方法,其中該第一成像系統-照明源對包含來自第一運作同軸的攝影機-投影機對的第一攝影機以及來自第二運作同軸的攝影機-投影機對的第一投影機,以及該第二成像系統-照明源對包含來自該第二運作同軸的攝影機-投影機對的第二攝影機以及來自該第一運作同軸的攝影機-投影機對的第二投影機。
- 如請求項7所述之方法,其中該第一運作同軸的攝影機-投影機對或該第二運作同軸的攝影機-投影機對係對準於相對於該目標表面及目標表面法線的斜角。
- 如請求項8所述之方法,其中該第一運作同軸的攝影機-投影機對或該第二運作同軸的攝影機-投影機對中至少一個係相對於該目標表面實質垂直地對準。
- 一種合併點雲的方法,包含: 在第一反置式通道的點雲中產生重建的表面點; 在第二反置式通道的點雲中產生重建的表面點; 對於該第一反置式通道的點雲中所選的重建的表面點,識別該第二反置式通道的點雲中的重建的表面點,該第二反置式通道的點雲中的重建的表面點係鄰近於用於該第一反置式通道的點雲中所選的重建的該表面點的成像系統射線; 計算該第二反置式通道的點雲中的各經識別的鄰近的重建的該表面點到用於該第一反置式通道的點雲中所選的重建的該表面點的該成像系統射線之上的投射; 計算該第二反置式通道的點雲中的各經識別的鄰近的重建的該表面點到該第二反置式通道的點雲中所選的重建的該表面點的該成像系統射線之上的平均投射;以及 朝向該第二反置式通道的點雲中的各經識別的該鄰近點的計算出的該平均投射,將該第一反置式通道的點雲中所選的重建的該表面點沿其成像系統射線而移動一部分的距離。
- 如請求項10所述之方法,其中所述的在該第一反置式通道中的重建的該表面點的移動係經組構而減少下列至少一個量測誤差: 鏡面反光量測誤差; 反射率梯度量測誤差;或 目標表面傾斜量測誤差。
- 如請求項10所述之方法,更包含: 對於該第二反置式通道的點雲中所選的重建的表面點,識別該第一反置式通道的點雲中的重建的表面點,該第一反置式通道的點雲中的重建的表面點係鄰近於用於該第二反置式通道的點雲中所選的重建的該表面點的成像系統射線; 計算該第一反置式通道的點雲中的各經識別的鄰近的重建的該表面點到用於該第二反置式通道的點雲中所選的重建的該表面點的該成像系統射線之上的投射; 計算該第一反置式通道的點雲中的各經識別的鄰近的重建的該表面點到該第二反置式通道的點雲中所選的重建的該表面點的該成像系統射線的平均投射;以及 朝向該第一反置式通道的點雲中的各經識別的該鄰近點的計算出的該平均投射,將該第二反置式通道的點雲中所選的重建的該表面點沿其成像系統射線而移動一部分的距離。
- 如請求項12所述之方法,其中所述的該第一反置式通道的點雲及該第二反置式通道的點雲中所選的重建的該表面點的移動係經組構而減少由鏡面反光所引起的量測誤差。
- 如請求項12所述之方法,其中所述的該第一反置式通道的點雲及該第二反置式通道的點雲中所選的重建的該表面點的移動係經組構而減少由目標表面的反射率梯度所引起的量測誤差。
- 如請求項12所述之方法,其中所述的該第一反置式通道的點雲及該第二反置式通道的點雲中所選的重建的該表面點的移動係經組構而減少由目標表面的傾斜所引起的量測誤差。
- 如請求項12所述之方法,其中該第一反置式通道包含第一運作同軸的成像系統-照明源對的第一投影機以及第二運作同軸的成像系統-照明源對的第一攝影機,以及該第二反置式通道包含該第二運作同軸的成像系統-照明源對的第二投影機及該第一運作同軸的成像系統-照明源對的第二攝影機。
- 如請求項16所述之方法,其中該第一運作同軸的成像系統-照明源對或該第二運作同軸的成像系統-照明源對中至少一個係對準於相對於目標表面及目標表面法線的斜角。
- 如請求項17所述之方法,其中該第一運作同軸的成像系統-照明源對或該第二運作同軸的成像系統-照明源對係相對於該目標表面實質垂直地對準。
- 一種合併點雲的方法,包含: 以第一反置式通道而產生第一點雲,該第一點雲具有對應於目標表面的複數個第一表面點; 以第二反置式通道而產生第二點雲,該第二點雲具有對應於該目標表面的複數個第二表面點; 判斷對應於各該第一點雲及該第二點雲的第一非空部分及第二非空部分; 識別對於各該第一點雲及該第二點雲的變形; 基於經識別的該變形而判斷對於各該第一點雲及該第二點雲的相對誤差; 自各該第一點雲及該第二點雲減去該相對誤差; 在該第一非空部分及該第二非空部分中對準該第一點雲及該第二點雲;以及 基於所述的對準而產生該目標表面的尺寸輪廓。
- 如請求項19所述之方法,其中所述的判斷對於各該第一點雲及該第二點雲的該相對誤差係包含: 判斷自計算最近一次的該相對誤差以來的時間是否超過閾值,以及在該時間超過該閾值的情況下,基於最近一次的該相對誤差及新判斷出的相對誤差而計算相對誤差平均。
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862747350P | 2018-10-18 | 2018-10-18 | |
US201862747353P | 2018-10-18 | 2018-10-18 | |
US62/747,353 | 2018-10-18 | ||
US62/747,350 | 2018-10-18 | ||
US16/655,674 | 2019-10-17 | ||
US16/655,674 US10883823B2 (en) | 2018-10-18 | 2019-10-17 | Three-dimensional sensor with counterposed channels |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202037881A TW202037881A (zh) | 2020-10-16 |
TWI731443B true TWI731443B (zh) | 2021-06-21 |
Family
ID=70280552
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW108137727A TWI731443B (zh) | 2018-10-18 | 2019-10-18 | 判斷表面尺寸資訊的點雲合併方法 |
TW108137726A TWI740237B (zh) | 2018-10-18 | 2019-10-18 | 光學相位輪廓測定系統 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW108137726A TWI740237B (zh) | 2018-10-18 | 2019-10-18 | 光學相位輪廓測定系統 |
Country Status (8)
Country | Link |
---|---|
US (3) | US11029146B2 (zh) |
EP (3) | EP4235573A3 (zh) |
JP (3) | JP7413372B2 (zh) |
KR (3) | KR20210058978A (zh) |
CN (2) | CN112912688B (zh) |
SG (2) | SG11202103748UA (zh) |
TW (2) | TWI731443B (zh) |
WO (2) | WO2020081925A1 (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11029146B2 (en) * | 2018-10-18 | 2021-06-08 | Cyberoptics Corporation | Three-dimensional sensor with counterposed channels |
US20210262787A1 (en) * | 2020-02-21 | 2021-08-26 | Hamamatsu Photonics K.K. | Three-dimensional measurement device |
CN113223135B (zh) * | 2021-04-15 | 2023-04-11 | 中山大学 | 一种基于特殊复合平面镜虚像成像的三维重建装置和方法 |
CN114119553B (zh) * | 2021-11-28 | 2024-05-10 | 长春理工大学 | 一种以十字激光为基准的双目视觉异面圆孔检测方法 |
US20230358690A1 (en) * | 2022-05-05 | 2023-11-09 | Intel Corporation | Inspection tool and inspection method |
CN117330568A (zh) * | 2023-08-22 | 2024-01-02 | 江苏天钧精密技术有限公司 | 一种电池箱体视觉检测系统及方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030067461A1 (en) * | 2001-09-24 | 2003-04-10 | Fletcher G. Yates | Methods, apparatus and computer program products that reconstruct surfaces from data point sets |
TW200951419A (en) * | 2008-05-16 | 2009-12-16 | Lockheed Corp | Vision system and method for mapping of ultrasonic data into CAD space |
US8064068B2 (en) * | 2008-01-25 | 2011-11-22 | Cyberoptics Corporation | Multi-source sensor for three-dimensional imaging using phased structured light |
US20160180511A1 (en) * | 2014-12-22 | 2016-06-23 | Cyberoptics Corporation | Updating calibration of a three-dimensional measurement system |
TWI553304B (zh) * | 2015-08-17 | 2016-10-11 | 財團法人工業技術研究院 | 高反光表面冷凝量測系統與方法 |
TWI567690B (zh) * | 2008-03-28 | 2017-01-21 | 洛伊馬汀公司 | 用於將三維模型對齊至代表一零件的姿態的點資料的系統、程式產品及相關方法 |
TWI574003B (zh) * | 2015-05-21 | 2017-03-11 | 正修學校財團法人正修科技大學 | 銲道三維影像檢測裝置及其檢測方法 |
US20180225829A1 (en) * | 2011-06-06 | 2018-08-09 | Microsoft Technology Licensing, Llc | Object digitization |
Family Cites Families (68)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US397254A (en) | 1889-02-05 | Rasp-cutting machine | ||
US3972584A (en) | 1971-09-07 | 1976-08-03 | Redifon Limited | Compound optical system with image tilt compensation |
DE3942896A1 (de) * | 1989-12-23 | 1991-06-27 | Zeiss Carl Fa | Interferometrischer sensor zur messung von abstandsaenderungen einer kleinen flaeche |
GB9500943D0 (en) | 1994-12-01 | 1995-03-08 | Popovich Milan M | Optical position sensing system |
US5832107A (en) | 1996-09-19 | 1998-11-03 | Optical Gaging Products, Inc. | Optical system for stereoscopically measuring feature heights based on lateral image offsets |
DE19641168A1 (de) * | 1996-10-08 | 1998-04-09 | Wolf Henning | Vorrichtung zur Erfassung der Form von Objekten |
US6107637A (en) | 1997-08-11 | 2000-08-22 | Hitachi, Ltd. | Electron beam exposure or system inspection or measurement apparatus and its method and height detection apparatus |
JP2001221979A (ja) * | 2000-02-08 | 2001-08-17 | Daishinku Corp | 光学ローパスフィルタ用偏光解消板及びその偏光解消板を使用した光学ローパスフィルタ |
AU2001282842A1 (en) * | 2000-08-22 | 2002-03-04 | Agilent Technologies Inc. | Three dimensional inspection of leaded ics |
JP2005519326A (ja) * | 2002-02-28 | 2005-06-30 | スリーエム イノベイティブ プロパティズ カンパニー | 複合偏光ビームスプリッタ |
JP2003304437A (ja) | 2002-04-10 | 2003-10-24 | Ricoh Co Ltd | 画像入力装置 |
TW576729B (en) | 2003-06-12 | 2004-02-21 | Univ Nat Taipei Technology | Apparatus and technique for automatic 3-D dental data required for crown reconstruction |
JP2006023378A (ja) * | 2004-07-06 | 2006-01-26 | Seiko Epson Corp | プロジェクタ |
SG121898A1 (en) | 2004-10-06 | 2006-05-26 | Generic Power Pte Ltd | System for 2-D and 3-D vision inspection |
US20060082692A1 (en) * | 2004-10-15 | 2006-04-20 | Seiko Epson Corporation | Image display device and projector |
JP4846295B2 (ja) * | 2005-08-02 | 2011-12-28 | 株式会社テクノホロン | 3次元座標測定装置及び方法 |
CN101466998B (zh) * | 2005-11-09 | 2015-09-16 | 几何信息学股份有限公司 | 三维绝对坐标表面成像的方法和装置 |
ATE553371T1 (de) | 2005-12-16 | 2012-04-15 | Automation W & R Gmbh | Verfahren und anordnung zur erkennung von materialfehlern in werkstücken |
JP2007198841A (ja) * | 2006-01-25 | 2007-08-09 | Soatec Inc | 光学式測定方法及び光学式測定装置 |
KR100672818B1 (ko) * | 2006-01-26 | 2007-01-22 | 주식회사 고영테크놀러지 | 3차원형상 측정방법 |
GB2434541B (en) * | 2006-01-30 | 2009-06-17 | Mailling Wright Products Ltd | Method of preparing a medical restraint |
KR100722245B1 (ko) | 2006-03-23 | 2007-05-29 | 주식회사 고영테크놀러지 | 3차원형상 측정장치 |
JP5057734B2 (ja) * | 2006-09-25 | 2012-10-24 | 株式会社トプコン | 測量方法及び測量システム及び測量データ処理プログラム |
DE102006049695A1 (de) * | 2006-10-16 | 2008-04-24 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum berührungslosen Erfassen einer dreidimensionalen Kontur |
KR20080043047A (ko) | 2006-11-13 | 2008-05-16 | 주식회사 고영테크놀러지 | 새도우 모아레를 이용한 3차원형상 측정장치 |
PE20120627A1 (es) * | 2006-12-20 | 2012-05-26 | Scanalyse Pty Ltd | Sistema para la medicion del desplazamiento de una superficie relativa a una base de referencia |
WO2008124397A1 (en) | 2007-04-03 | 2008-10-16 | David Fishbaine | Inspection system and method |
JP2008256483A (ja) * | 2007-04-04 | 2008-10-23 | Nikon Corp | 形状測定装置 |
US7995055B1 (en) * | 2007-05-25 | 2011-08-09 | Google Inc. | Classifying objects in a scene |
US8854610B2 (en) | 2008-02-26 | 2014-10-07 | Koh Young Technology Inc. | Apparatus and method for measuring a three-dimensional shape |
CN101706264B (zh) * | 2009-04-01 | 2012-11-21 | 姚征远 | 投影三维测量装置 |
US8823775B2 (en) * | 2009-04-30 | 2014-09-02 | Board Of Regents, The University Of Texas System | Body surface imaging |
TWI401409B (zh) * | 2009-12-29 | 2013-07-11 | Avermedia Information Inc | 具有物體實際尺寸估計功能之實物攝影機 |
GB2483481A (en) * | 2010-09-09 | 2012-03-14 | Phase Vision Ltd | Method and apparatus of measuring the shape of an object |
JP5624457B2 (ja) | 2010-12-28 | 2014-11-12 | 株式会社東芝 | 三次元データ処理装置、方法及びプログラム |
KR101245148B1 (ko) | 2011-03-10 | 2013-03-19 | 주식회사 미르기술 | 영상 선명도가 개선된 비전검사장치 |
CN102305601B (zh) * | 2011-05-18 | 2012-10-10 | 天津大学 | 光学自由曲面三维形貌高精度非接触测量方法及装置 |
US9322643B2 (en) * | 2011-10-18 | 2016-04-26 | Nanyang Technological University | Apparatus and method for 3D surface measurement |
CN104380036A (zh) * | 2012-06-13 | 2015-02-25 | 株式会社岛精机制作所 | 用于三维测量装置的合成参数的生成装置 |
TWI460394B (zh) | 2012-07-20 | 2014-11-11 | Test Research Inc | 三維影像量測裝置 |
US9041914B2 (en) * | 2013-03-15 | 2015-05-26 | Faro Technologies, Inc. | Three-dimensional coordinate scanner and method of operation |
US10126252B2 (en) | 2013-04-29 | 2018-11-13 | Cyberoptics Corporation | Enhanced illumination control for three-dimensional imaging |
US9557630B1 (en) * | 2013-06-26 | 2017-01-31 | Amazon Technologies, Inc. | Projection system with refractive beam steering |
US9759554B2 (en) | 2013-08-02 | 2017-09-12 | Omnivision Technologies, Inc. | Application specific, dual mode projection system and method |
US9574951B2 (en) | 2013-09-09 | 2017-02-21 | Semiconductor Components Industries, Llc | Image sensor including temperature sensor and electronic shutter function |
US20150070468A1 (en) * | 2013-09-10 | 2015-03-12 | Faro Technologies, Inc. | Use of a three-dimensional imager's point cloud data to set the scale for photogrammetry |
US9182583B2 (en) | 2013-11-15 | 2015-11-10 | Mitutoyo Corporation | Structured illumination microscopy optical arrangement including projection artifact supression element |
CN103776390B (zh) * | 2014-01-22 | 2017-05-17 | 广东工业大学 | 基于三维自然纹理数据扫描机的多视场数据拼接方法 |
CN106796721B (zh) * | 2014-09-11 | 2021-05-04 | 赛博光学公司 | 三维轮廓测量中根据多个相机和源的点云合并 |
EP3032241B1 (en) * | 2014-12-11 | 2023-03-01 | X-Rite Europe GmbH | Method and apparatus for digitizing the appearance of a real material |
JP6701204B2 (ja) * | 2014-12-31 | 2020-05-27 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 高ダイナミックレンジ画像プロジェクタのための方法およびシステム |
KR101659302B1 (ko) | 2015-04-10 | 2016-09-23 | 주식회사 고영테크놀러지 | 3차원 형상 측정장치 |
US9646410B2 (en) * | 2015-06-30 | 2017-05-09 | Microsoft Technology Licensing, Llc | Mixed three dimensional scene reconstruction from plural surface models |
JP6532325B2 (ja) * | 2015-07-09 | 2019-06-19 | キヤノン株式会社 | 被計測物の形状を計測する計測装置 |
CN105222724B (zh) * | 2015-09-10 | 2018-09-18 | 北京天远三维科技股份有限公司 | 多线阵列激光三维扫描系统及多线阵列激光三维扫描方法 |
US10002431B2 (en) * | 2015-11-03 | 2018-06-19 | The Boeing Company | Locating a feature for robotic guidance |
JP6348093B2 (ja) * | 2015-11-06 | 2018-06-27 | ファナック株式会社 | 入力データから検出対象物の像を検出する画像処理装置および方法 |
CN105526882B (zh) * | 2015-12-28 | 2018-03-02 | 西南交通大学 | 基于结构光测量的道岔磨耗检测系统及其检测方法 |
CN105738915B (zh) * | 2016-01-07 | 2017-09-26 | 福州华鹰重工机械有限公司 | 三维雷达测量方法及装置 |
US9816237B2 (en) | 2016-03-15 | 2017-11-14 | Willamette Valley Company | Device for reinstatement of a micro-trench |
EP3258211B1 (en) * | 2016-06-17 | 2023-12-13 | Hexagon Technology Center GmbH | Determining object reflection properties with respect to particular optical measurement |
KR102579994B1 (ko) | 2016-10-24 | 2023-09-18 | 삼성에스디에스 주식회사 | 다중 배경 모델을 이용한 전경 생성 방법 및 그 장치 |
KR20180053125A (ko) | 2016-11-11 | 2018-05-21 | (주) 인텍플러스 | 3차원 형상 측정 장치 및 측정 방법 |
US10176589B2 (en) * | 2017-01-31 | 2019-01-08 | Mitsubishi Electric Research Labroatories, Inc. | Method and system for completing point clouds using planar segments |
EP4113993A1 (en) | 2018-01-24 | 2023-01-04 | Cyberoptics Corporation | Structured light projection for specular surfaces |
US11029146B2 (en) * | 2018-10-18 | 2021-06-08 | Cyberoptics Corporation | Three-dimensional sensor with counterposed channels |
US10867430B2 (en) * | 2018-11-19 | 2020-12-15 | Intel Corporation | Method and system of 3D reconstruction with volume-based filtering for image processing |
US10346998B1 (en) * | 2019-02-25 | 2019-07-09 | Nurulize, Inc. | Method of merging point clouds that identifies and retains preferred points |
-
2019
- 2019-10-17 US US16/655,687 patent/US11029146B2/en active Active
- 2019-10-17 US US16/655,674 patent/US10883823B2/en active Active
- 2019-10-18 EP EP23177020.7A patent/EP4235573A3/en active Pending
- 2019-10-18 EP EP19873821.3A patent/EP3867597B1/en active Active
- 2019-10-18 SG SG11202103748UA patent/SG11202103748UA/en unknown
- 2019-10-18 TW TW108137727A patent/TWI731443B/zh active
- 2019-10-18 CN CN201980069082.6A patent/CN112912688B/zh active Active
- 2019-10-18 KR KR1020217013145A patent/KR20210058978A/ko active Application Filing
- 2019-10-18 KR KR1020217013029A patent/KR102531282B1/ko active IP Right Grant
- 2019-10-18 WO PCT/US2019/056917 patent/WO2020081925A1/en unknown
- 2019-10-18 JP JP2021521106A patent/JP7413372B2/ja active Active
- 2019-10-18 CN CN201980069031.3A patent/CN112888913B/zh active Active
- 2019-10-18 KR KR1020237040736A patent/KR20230164248A/ko not_active Application Discontinuation
- 2019-10-18 SG SG11202103684TA patent/SG11202103684TA/en unknown
- 2019-10-18 EP EP19872425.4A patent/EP3867596A4/en active Pending
- 2019-10-18 JP JP2021521272A patent/JP7228690B2/ja active Active
- 2019-10-18 WO PCT/US2019/056921 patent/WO2020081927A1/en unknown
- 2019-10-18 TW TW108137726A patent/TWI740237B/zh active
-
2020
- 2020-12-07 US US17/113,753 patent/US11604062B2/en active Active
-
2023
- 2023-12-27 JP JP2023220700A patent/JP2024029135A/ja active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030067461A1 (en) * | 2001-09-24 | 2003-04-10 | Fletcher G. Yates | Methods, apparatus and computer program products that reconstruct surfaces from data point sets |
US8064068B2 (en) * | 2008-01-25 | 2011-11-22 | Cyberoptics Corporation | Multi-source sensor for three-dimensional imaging using phased structured light |
TWI567690B (zh) * | 2008-03-28 | 2017-01-21 | 洛伊馬汀公司 | 用於將三維模型對齊至代表一零件的姿態的點資料的系統、程式產品及相關方法 |
TW200951419A (en) * | 2008-05-16 | 2009-12-16 | Lockheed Corp | Vision system and method for mapping of ultrasonic data into CAD space |
US20180225829A1 (en) * | 2011-06-06 | 2018-08-09 | Microsoft Technology Licensing, Llc | Object digitization |
US20160180511A1 (en) * | 2014-12-22 | 2016-06-23 | Cyberoptics Corporation | Updating calibration of a three-dimensional measurement system |
US9816287B2 (en) * | 2014-12-22 | 2017-11-14 | Cyberoptics Corporation | Updating calibration of a three-dimensional measurement system |
TWI574003B (zh) * | 2015-05-21 | 2017-03-11 | 正修學校財團法人正修科技大學 | 銲道三維影像檢測裝置及其檢測方法 |
TWI553304B (zh) * | 2015-08-17 | 2016-10-11 | 財團法人工業技術研究院 | 高反光表面冷凝量測系統與方法 |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI731443B (zh) | 判斷表面尺寸資訊的點雲合併方法 | |
US10972716B2 (en) | Calibration method and measurement tool | |
CN111750806B (zh) | 一种多视角三维测量系统及方法 | |
JP6532325B2 (ja) | 被計測物の形状を計測する計測装置 | |
CN111656260B (zh) | 用于镜像表面的结构式光投射 | |
EP2399222A1 (en) | Speckle noise reduction for a coherent illumination imaging system | |
JP2020144136A (ja) | 深度感知システムおよび方法 | |
WO2014074003A1 (ru) | Способ контроля линейных размеров трехмерных объектов | |
JP2011075336A (ja) | 3次元形状計測装置、3次元形状計測方法 | |
RU2310815C1 (ru) | Устройство для настройки комплекса бесконтактных измерений | |
KR20190136592A (ko) | 다수 조명을 이용한 3차원 데이터 획득 방법 및 장치 | |
Lee et al. | View planning for occluded region with active imaging system |