TW201000886A - Method and apparatus for detecting defects using structured light - Google Patents

Description

201000886 六、發明說明： 【發明所屬之技術領域】 本發明是關於使用機器視覺來檢測 部缺陷。更胜中而一 々卿口口中之局 陷更特疋而吕，其是關於使用投射至 勹 構化光線來檢载合表面之料㈣，㈣減少之結 之表面中之小擾動引起之偽缺陷指示。 斤檢驗 【先前技術】 許多製造物品藉由兩個或兩個以上組件組 而區分。製造商常常想要之特徵是使經組裝之組件= 縫外觀。此藉由使料經製造組件達心將該等組裝=、、 件之間的接縫不可容易地辨別之容 ’、’且 零件所達到之容忍度㈣，在待配合之零件：皆 的變化，此時出現關於組裝方法之問冑。對此問題 奉 解決方案為在將物品組裝之後檢驗該等物品以判定表 否已有可接受之精確度配合。 最簡單解決方案為以肉眼人工檢驗製成物品以判定其 是否可接受。雖然人類相對較容易訓練及替換，但使用： =驗之困難包括隧時間之不一致結果，及難以進行關於 所檢驗之物品之定量判斷。舉例而言，可藉由向一人員展 讀物品及m物品來訓練其檢驗物品，m *預期二人 貝視類似於所展示實例之程度而接受或拒絕其他物品。然 而，在人工檢驗員進行定性而非定量決策時’出現困難。 此使传非常難以相對於特定數字容忍度檢驗零件，此音、謂 201000886 不同檢驗員可能會將相 τ子目间零件不同地歸類。此傾向使確保 一致外觀的檢驗物品目 a的失敗。當該等零件碰巧由不同材 料製成時，諸如冬杂面 ， 田而要一塑膠零件與一鋁零件配合時， 尤其困難。 為崔保&外觀且實施關於品質之定量標準，可 嶋覺系統來檢驗物品。依賴於色彩或灰度階影 =器視覺^在表面配合應用中具有與人類在u量測異 常方面相同的困難。屮 出於此原因，有時使用3D視覺來檢驗 、面存在°午夕不同的自表面操取3D資訊之方法’該等方 t中之每一者關於解析度、精確度及速度不同。最適於解 決此表面檢驗問題之3 θ 畸之3D置測方法之子集涉及將光線圖幸 (「結構化光線」）投鼾私主二 口茶 ί又射於一表面上且量測圖案之 以擷取關於該表面之3D資訊。 移 結構化光線可以料不同方式在—物品之表面上產 。吾人關注之方法是將聚焦圖案投射於表面上 由獲取該圖案之-影像或多個料，量測該 = 位置且以幾何方*呌筲科+山产 < #刀之 式计异點之向度來擷取關於該表面之次 訊。在圖1中展示先前技術結構化光料統之示 二 構化光線投射n 2將結構化純4投射至物品6二= 由相機8成像以形成影像1〇，該影像1〇由電腦 ：： 處理。圖2展示先前技術結構化光線系統可如何二 物品上之不連續邊蝼 〜 ^成具有 只邊、.彖之衫像的一貫例。在此圖中，沾 光線投射器14將條帶16投射至包含上表面2〇及°化 之物 0ι»μ, r ^ Φ 22 上。將條帶1 6投射至表面2〇及22上 汉上从形成投 4 201000886 射圖案24及26。此等圖案24 » … 及26由相機28成像且隨後 由電細30獲取以形成待隨後由電腦3〇處理之影像32 ^ 影像3 2示意性地展示表面2 〇盘2 2夕pq λα /、22之間的不連續性如何作 為經成像之線條34及36之群之間的仿欲批 外心间的位移顯現。電腦3〇血 型地使用結構化光線之位移來測定一物σ々 一 ώ 心初°0之—部分之相對 局度。 圖3為說明可如何使用先前技術結構化光線系 於幾何學計算表面上之點之相對高度的示意圖。在圖3中， 結構化光線投射器40投射線條，將其中之_者展示為❿ 此線條延伸至該圖之平面中且延伸出該圖之平面外，且照 射具有兩個表面44及46之物品52 … 。口 52非常類似圖 2中之物品。來自物品68反射之線條^之光線由相機/透 鏡系統（未圖示）成像至„影像感應器平面“上。在此狀 況下’該影像感應器平面54將在點56處與自表面44反射 之光線48才目交且在點58處與自表φ 46反射之光線5〇相 父。應注意，表面44與46之間的高度差異（在圖3中標 記為「Β」）引起影像感應器平面Μ上點“與58之間的差 異（在影像平面中標記為「Α」）。實際上，可使用熟知機器 視覺技術㈣定影像平面中點5…8之位置且量測距離 在此貝例中，距離Α藉由以下方程式與距離Β相關 1 ) A = Β (1 + tan(a)/tan(b)) » 其中a及b分別為作為照明在圖3中指示之角度及視 角。 此方法之一實例由發明者B. Shawn Buckley等人描述 201000886 於美國專利第6,064,759號中。在此實例中，使用單一相機 位置獲取投射至一表面上之結構化光線之影像，其後使幾 何模型與該表面配合。使用該表面影像中之多個點形成單 一 3 D點，此提高量測之精確度。 由Oleksandr等人描述於「藉有色結構化光線的使用於 相位量測和表面重現的技術Technique f〇r phase

Measurement and Surface Reconstruction by Use of Colored Structured Light」（應用光學，第41卷，第29期第6i〇4 至6117頁（ 2002 ))中之類似方法投射多個有色圖案以區分 所投射之光線且嘗試提高3D量測之精確度。其論述使用結 構化光線以使用微分方程式自結構化光線影像擷取3D資 汛，以測定汽車擋風玻璃之表面狀況。 使用此等方法存在兩個問題。第一為速度。產生整個 表面之3D地圖a虹^ 五 ”，、耗寺的。在吾人於本文中預期之應用中， 吾人不關注整個表面’而僅關注與組件之間的接縫相鄰的 1'…先前技術方法之目標在於表徵整個表面或物品， # - — u 個表面之匹配的資訊。因此先前技術系 ，，先執：比此應用所需要的計算多得多。 弟一個問題由阁/j w 5» ^ 圖说明。在圖4 _，一結構化光線投 射益60將由線体 條中之一者展八、、，成之圖案投射至物品68上，將該等線 與物品68相^為光線線條62在兩個表面64、66處 (未圖示）成像$ ㈣表面相交之光線由相機/透鏡系統 之光線由二反感：器之影像平…。來自條帶62 夂射以形成在點78處與影像感應器平面 6 201000886 76相交之光射線7〇。 在此實例中，反射離開底面64之光 線由於表面中之小缺 μ ^ 72自預期方向偏離至新方向74 上，使光射線7 4在點8 η * λ •…80處與影像感應器平面76相交。當 使用機态視覺技術量測爭梯片由 里㊇〜像感應器平面上點78與80之間 的距離時，此產生|丨 貝j距離Α。若在預期可精確地估算距離 D之情況下將上文方程 粒式1中展示之計算應用於量測C，則 將產生一誤差。在目前 月J應用中，吾人關注檢測表面中之小 缺陷且將其與由不匹配矣而2丨心 配表面引起之表面中之更具系統性差 :相區刀°上文提及之方法將局部缺陷遽出或將其捲入計 斤中冑局邛缺陷與配對表面之間的系統性差異不可區 分。此等結果中之兩者對於目前應用均不合意。由於此等 原因對使用結構化光線有效且精確地檢測不匹配表面同 時拒絕由局部缺陷引知_夕# Α 起之块報（false positive )的方法的存 在需要。 【發明内容】 w因此’本發明之一目標在於提供一種呈結構化光線機 器視覺系統之形式的方法及裝置，其具有檢測兩個表面之 間的配對中之變化同時忽略由任一表面中之小缺陷引起之 '常，且以比先前技術系統少的計算執行此等任務的經改 良能力。根據本發明之目的為達成前述及其他目標，如本 文所實施及廣泛描述，而揭示一種方法與裝置。 本發明之-具體實例使用兩個相機自兩個不同方向觀 察—物〇口口 ’其每一者觀察由個別結構化光線投射器照明之 201000886 "物品。在圖 5 中展+ 4 — α τ展不此糸統之示意圖。在此實施例中， 第構化光線才又射益90將第-結構化光線圖案92投射 至物4上隨後第—相機％形成結構化光線圖案μ之 影像’ S亥影像接著由雷聰〇 电驷95獲取並處理。隨後，第二結構 化光線投射器97將第二姓椹化出城闽取 、、°構化先線圖案98投射至物品94 上，隨後由第二相機9 9 rfe你α _ιΑ # 成像且接者由電腦95獲取並處理。 此實施例可分離表面之間古 间的回度上之真實差異與局部缺 陷，此歸因於表面相對於另 主二你± 、 T於另一表面將表現為具有相同相對 高度而與觀察其之方向無關，而一局部缺陷在自不同角户 觀察時將可能表現高度上之改變的事實。此在β 6及圖' 中說明。在圖6中，兩個結構化光線投射器100' 104自相 ^方向照明-物品1()8。如影像感應器平面122及124處所 量測之表® 110與112之間的高度差異實質上相同。觀看圖 7,吾人可見在存在一局部缺陷158之情況下，148及BA 處之影像感應器量測表面14〇相對於表面142之高度為 同值。 门又.、、' 不 用於檢測局部瑕庇之演算法涉及自兩個不同方向獲取 結構化光線影像。通常該兩個方向分開丨8〇度且結構化光 線投射器與相機兩者相對於該物品成相同角度，但並不要 求此舉。使相機及投射器對稱地設立以稍微簡單的計算且 將在不喪失一般性之情況下在本文中使用以說明該等方 法。每一相機及結構化光線投射器對應對準以便能夠觀察 投射至該物品上之結構化光線之反射之大部分。1 τ 兩個相機應能夠觀察投射至該物品之需要檢驗 Ζ ’ J lik i或上的 8 構化光線影像後，典型地並 生關於所檢驗物品之全體資 置及該物品上待檢驗區域之 間。對待檢驗區域之位置之 構成一物品之兩個或兩個以 之品質的測定將需要的那些 視野中物品之位置及待檢驗 將待檢驗物品以相對於相機 於一夾具中來保證。另外， 訊可自工程製圖或關於物品 該物品上結構化光線圖案之 之一替代，在該物品於檢驗 於已知位置之狀況下，可使 物品且藉此定位以待檢驗。 構化光線或另一非結構化光 售產品而言極為重要。產品 「符合度與完整度（fit and 受品質。高品質符合度與完 此增加鎖售及利潤率，且因 。符合度與完整度之尤其困 201000886 結構化光線之部分。 本發明之一態樣為獲取結 不處理該等結構化光線影像產 訊。可藉由使用關於該物品位 位置的先前資訊而減少計算時 瞭解允許該方法僅計算出關於 上組件之間的接縫或多個接縫 資料點。此方法假設已知關於 接縫之位置的資訊。此可藉由 及光線投射器之已知位置固持 關於5玄物品上待檢驗位置之資 之其他貝讯預先編制，或可自 測試影像推斷。作為以上方法 之兩未固定或以其他方式安置 用熟知機器視覺技術來定位該 此定位步驟可使用所投射之結 源來執行。 【實施方式】 產品外觀對於任何電腦銷 外觀之一個非常重要的方面為 finish)」’其指代產品之整體感 t度可增加產品感受價值且藉 此無可非議地為製造商所想要 201000886 難方面是使組件配合以形成連續表面，其中該等組件之間 的接縫經⑶相對於使用者近乎不可見。達成普通製造容 忍度且確保所有產品滿足所建立之符纟度與完整度標箏為 困難的，典型地對產品加以檢驗。 配。表面之符合度與完整度檢驗需要檢測出表面高度 上之細微差異。此等差異可能在視覺上不能容易地辨別， 而僅當例士。藉由人類手指在接縫上經過而檢驗表面時才變 得明顯。此意謂平常2D機器視覺技術不能有效地用於檢測 配合表面中之瑕疵。 可K得夕種3 D視覺技術；然而，現有3D視覺技術由 於兩個因素而對於此類型之應用為較不合意。第一為速 度。一般而言，3D視覺技術是用以表徵整個物品或表面。 在此實例中，吾人僅關注檢驗一物品之單一方面，亦即量 化沿兩個組件配合處之接縫之兩個表面之間的符合度。典 型3D應用計算比獲得吾人所關注之資訊所需資料點多得 夕因此，僅計算接縫附近之資料點的本發明提供比傳統 3 D視覺方法高的效能。 另問題為待檢驗之物品有時展現可被誤認為錯配組 件之待檢驗接縫附近的小瑕疵。典型地，3D檢驗程式具有 將該瑕疫值平均至一較大區域中或將其完全渡出的步驟。 本發明藉由區分表面中之小疵點與表面之間相對高度上的 實際差異而對其加以改良。 圖5為本發明之一具體實例之示意圖。第一結構化光 線投射器90將第一聚焦結構化光線圖案92投射至—物品 201000886 94上。此第一結構化光線圖案由第一相機96成像且由電腦 9 5獲取以進行後續處理。第二結構化光線投射器9 7將第一 聚焦結構化光線圖案98投射至一物品94上之相同區域 上，其中其由相機99成像且由電腦95獲取並處理。在此 具體實例中，該投射器及相機之光軸經配置在與由待檢驗 表面形成之平面大體垂直的平面中。本發明並不需要此配 置，但確實使計算稍微容易且因此較快速地執行。實際上， 該投射器可幾乎為任何角度，只要光線可到達表面而不會 由目標之零件阻擋即可。該系統之解析度將取決於該结構 化光線投射器相對於待檢驗表面之角度，其中當該投射写 角度自投射器俯視幾乎垂直於表面之較大角移動至該投射 為角度幾乎平行於表面之掠入角時在解析度與精確度之間 取捨。對於此具體實例而言，該投射器角度與表面成30度 與60度之間的角度，更佳地與表面成45度。該相機接著 Γ類似於該投射器角度的角度與投射器相對地置放。應注 機可以可清楚地看見該結構化光線之任何角度置 放，但關於解析度與精確度存在相同的取捨。 写及體實射m二投射^及相機與該第一投射 為及相機對稱地配置，該第二 ^ 又射盗及相機與該第一投射 ΰο产相針卜一垂直平面上且與該第一投射器及相機成 180度相對。此組態為便利的且 射器及相機可處於任何角度， ^早’但肝第一投 兩個投射器照明且能夠由兩個相機觀表面^之所關注區^ 展示本發明之一具體實例如何 '、Ρ可。圖6不思1生 Ρ ° —柵格圖案100被投 201000886 射 102至一工件ι〇8之表面u〇 上’產生反射1 1 8。類似地， 一柵格圖案104被投射至一工件之表面11〇上且反射ιΐ6。 當該工件表面11〇移動至新高度112時，該等柵格圖案 及i〇4現分別經反射為12〇及114，其中該等反射圖案124 及1 22各自之位移與該工件表面高度之變化丨26成比例。 =為兩個位移124及122大致相等，因此可假定該等位移 是因為該工件高度之總體變化丨26。圖7展示此具體實例如 何回復工件之缺陷。在圖7中，栅格圖案13 〇被投射至一 工件表面142上且反射於144。同樣’第二柵格圖案134被 投射136至該工件表面142上且反射於15〇。圖7亦展示當 該工件移動至第二高度時發生何事，14〇表示高度變化 156 ,且一缺陷158經引入表面中。所投射132之柵格圖案 130現自該工件表面14〇上之缺陷158反射於146，產生該 柵格圖案之所量測位移148，而所投射136之栅格圖案134 自該工件表面140上之缺陷158反射於152，產生該柵格圖 案之所量測位移154。應注意所量測位移148及154由於該 缺陷158對反射146及152之影響而不大致相等，且因此 指示存在一缺陷。 在此具體實例中，該結構化光線投射器及相機在投射 其圖案與獲取影像方面交替以便不彼此干擾。用於保持圖 案分離之其他方案為可能的。在其他具體實例中，該圖案 可使用不同波長之光線及置放於相機上之光學濾光片投射 以區別該等圖案。類似地，該圖案可使用正交極化投射， 其中在該相機上有分析器以分離該等圖案。此等具體實例 12 201000886 所具有之共同之處 案。另外，用以 於其允許同時地而非連續地獲取圖 學器件及/或由該相:::化光線圖案投射至該物品上之光 學器件可經μ1、 以使该結構化光線圖案成像之光 化光線圖案二田^抑制如零件表面修整之細節且增強結構 射圖案，且該相二=:，該投射器可使用紅外光投 外光之所有光。 /、有/慮光片以消除除了來自影像之紅 在本發明夕 Ω 於圖8中。在今::中用以處理資料之演算法展示 處理°象㈣由該電腦獲取之後，藉由識別待 ::像中之區域或多個一開始處理。此允許演算 量。：=!:於所要結果之那些區域，藉此增加系統通 、疋&域，則典型地將該影像資料過濾以減少雜 δΚ 1 62。在過濾之後 徵。兴^ - 像中之結構化光線特 牛J而吕’若該結構化光線特徵為線條，則可使用熟 知機器視覺演算法以子像素精度檢測線條之中心*在對 該特徵進行高精度檢測之後’可推斷該特徵下方表面之高 度166。如此進行之—種說明於圖3中方法且由上文之方: ^描述。假設選擇表面44作為高度量敎原點，則對條 π二之位置之量測將偏移影像中之量A。在使用方程式1 之：异之後，因此條帶42之高度及物品52之表面乜將自 任意選擇之原點44建立為-B。 計算出高度168後，自此資料對符合度與完整度之測 定取決於兩個後續分析步驟。首先將影像資料點對點比較 170且測試以判定所量測表面高度是否相等Π2。在大多數 13 201000886 狀況下’兩個資料組將相同”4。在此等狀況下，該輸出資 料將為該輸入像素中之任一者。在輸入高度量測值不相等 1 76之狀况下’ β玄輸出像素將經標記且將注意到差显之量 值。隨後將結果合併178為單—影像。在像素相同:狀況 下，將檢驗接縫之已知位置之任一側上之區域以判定盆是 否足夠接近而通過檢驗。若像素不同，意謂在表面位置中 存在差異，則應注意到差異且進行至用於決定該物品是否 通過檢驗刚之程式的其他部分。在該等值不同之狀況下， 應注意该位置並不意謂該等表面處於不同高度，而是存在 阻止系，進行有效量測的表面疲點。該程式必須接著決定 Μ大以致保❹絕或可能該物品是否應由人 工來檢驗以判定其可接受性。 要資Γ用同結構化光線圖案來照明物品以擷取所 、。/、霄例使用垂直於待檢驗接縫投射至表面上 之條帶來檢測接縫任-側上之高度的改變。可使用= 口案，例如’將點圖案投射至表面上。幾乎可使用任何圖案圖 /、要其能夠清楚地成像， θ <、 位，且哕聱亜吝叮士 千女京了以子像素精確度定 人 、可在影像中正確地識別即可。 本發明之另-具體實例將使用相對 化光線投射器與相機對。在此具體實例中置之早-結構 =獲取物品之第-影像，接著該物品相對相 相機對旋轉且獲取另—影像。該物品'該又射器/ 或兩者可旋轉以便庐取 又射态/相機對 獲取影像，即可:相反視圓以供處理。-旦 上文描述繼續進行處理。 14 201000886 其他具體實例涉及自更多角度獲取更多影像來全面測 定表面之高度且改良量測之精確度。同樣，該結構化光線 圖案可指向整個表面且可獲取多個影像以便增加表面量測 之樣本密度。 對於熟習此項技術者將顯而易見，可在不悖離本發明 之基本原理的情況下對本發明之上述具體實例之細節進行 許夕改變。因此，本發明之範疇應僅由以下申請專利範 確定。 【圖式簡單說明】 圖1為一先前技術結構化光線系統之示意圖。 —圖2為一展示經投影光線與影像之間的關係之先前 術結構化光線系統的示意圖。 之圖 圖3為一展示不匹配邊緣如何由結構化光線系統檢剛 之圖 圖4為一展示一局部 缺陷如何由結構化光線系統檢 測 圖5為一結構化光線系統之示意圖£ 之一不匹配邊緣 圖6為一展示由結構化光線系統檢測之一 之對稱性的圖。 圖展示由結構化光線系統檢測之—局部缺陷之 卜對％性的圖。 圖8為一用 决的流 程圖 以使用結構化光線系統來檢測缺陷之演算 15 201000886 【主要元件符號說明】 無 16

Claims (1)

1. 201000886 七、申請專利範圍： !•-種用於將一物品令之缺陷歸類之經改良方法，其包 括將先線圖案投射至該物品上，冑用_影像感應器獲取該 所投射圖案之影像，將該等影像傳輸至—電腦，及使用該 電細處:里該等影像之步驟，該改良包含以下其他步驟： 將第一圖案自第一方向投射至該物品上； 使用第—影像感應器獲取該第一圖案之第一影像； 將該第-影像自該第-感應器傳輸至該電腦； 將第二圖案自第二方向投射至該物品上； 使用第二影像感應11獲取該第^圖案之第二影像； 將該第二影像自該第二影像感應器傳輪至該電腦；及 ①使用該電腦處理該第一影像及該第二影像以檢測該等 影像之間的差異且藉此將該物品中之缺陷歸類。 第？方:專利範圍第1項之方法’其中該第-方向與該 弟一方向為相反觀察。 3·如申請專利範圍第i項之方法，其中該第一圖案 第二圖案相同。 二：申請專利範圍第1項之方法’其中該第-影像感庫 〇弟—衫像感應器為一單一影像感應器。 將一圖案自一方向投射至該物品上； 5 · 一種用於將一物品中之缺陷歸類之經改良方法，装 括將光線圖案投射至該物品上用一影像感應器獲= 所投射圖案之影像’將該等影像傳輸至-電腦，及 電月自處理該等影像之步驟，該改良包含以下其他步驟.°亥 ϋ容一園电a 、 . _ . ' 17 201000886 使用一影像感應器獲取該圖案之第_影像； 將該第一影像自該感應器傳輸至該電腦； 旋轉該物品； 將該圖案自一方向投射至該經旋轉之物品上； 使用該影像感應器獲取該圖案之第二影像； 將該第二影像自該影像感應器傳輸至該電腦； ^使用該電腦處理該第一影像及該第二影像以檢測該等 衫像之間的差異且藉此將該物品中之缺陷歸類。 、 6·如申請專利範圍帛5項之方法，其中使該物品旋轉 一 ·—種用於使用經投射之光線圖案、影像感應器及電腦 將一物品中之缺陷歸類之經改良系統，該改良包含： —配置以將圖案自第一及第二方向投射至該物品上之 相同位置上之第一及第二經圖案化之光線投射器； 經配置以獲取該第一及該第二經圖案化光線之第一及 一衫像^第一及第二影像感應器；及 第—及第二影像感應器通信以獲取影像且處理該 腦：以檢測該等影像之間的差異且藉此將缺陷歸類之電 第二8方t巾請專利範圍第7項之方法，其中該第—方向與該 向為相反觀察。 八 式： 如次頁） 18