TWI518637B - 用於自二維影像進行三維驗證的方法和機械視覺裝置 - Google Patents

用於自二維影像進行三維驗證的方法和機械視覺裝置 Download PDF

Info

Publication number
TWI518637B
TWI518637B TW097118862A TW97118862A TWI518637B TW I518637 B TWI518637 B TW I518637B TW 097118862 A TW097118862 A TW 097118862A TW 97118862 A TW97118862 A TW 97118862A TW I518637 B TWI518637 B TW I518637B
Authority
TW
Taiwan
Prior art keywords
component
sub
punctuation
measured
correct
Prior art date
Application number
TW097118862A
Other languages
English (en)
Other versions
TW200910263A (en
Inventor
華勒克 亞倫Ｓ.
麥可 大衛Ｊ.
Original Assignee
康葛尼克絲技術研究開發公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 康葛尼克絲技術研究開發公司 filed Critical 康葛尼克絲技術研究開發公司
Publication of TW200910263A publication Critical patent/TW200910263A/zh
Application granted granted Critical
Publication of TWI518637B publication Critical patent/TWI518637B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0006—Industrial image inspection using a design-rule based approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Description

用於自二維影像進行三維驗證的方法和機械視覺裝置
本發明有關於對於產品品質控制之機械視覺，而特別有關於使用機械視覺來驗證該產品部件之正確裝配。
諸多產品乃是由複數個部件所構成，而且必須正確組裝其部件，藉以提供有效工作的產品。典型藉由將次組件設置於較大裝配之內或之上，來組裝其部件。在組裝部件的期間中以及之後，驗證所有的部件之適當設置通常為有用的。大複數個的裝配之操作乃是”垂直裝配”操作，其中的部件由上插入，向下移至部件之上。因此，需要以至少諸如x、y與z的三個維度來驗證次組件的位置。由於在處理過程中要盡快鑑定品質之爭議，在裝配處理中早期的裝配驗證其中一個優勢為減少浪費與廢料。
在根本驗證之時，大複數個的裝配乃是以人工驗證。有時，固有地執行驗證，如同其後的操作之部分，如果藉由其後的操作之本質，則因前面的操作之不正確效能導致不能夠執行其後的操作。此種形式其中一種後果為浪費材料、或者浪費重新製造該部件之工作時間。
已知如何使用機械3D單標點測量系統(例如，觸控式感測器)、單點距離測量系統(例如，雷射基礎之感測器)、或者使用結構照明的3D測量系統(例如，來自失焦感測器之深度)，自動地執行裝配之驗證。
座標測量機器為機械式的3D單標點測量系統。此機 器使用三個正交軸以及一個球面觸控式感測器。移動該觸控式感測器直到接觸一部件為止，並且記錄三個座標軸之位置。觸控式感測器將會非常輕微地觸控著部件，使部件不致移動。藉此，使用者能夠判斷多個從單一部分所取樣的3D位置。
然而，單標點感測器具有一次只能測量一個位置之缺點，此導致產能的減少、以及導致需要同時部署多個單標點感測器。另一種方式則是每當所要驗證的部件改變，便必須以人工將單標點感測器重新定位，然此為繁重且無效率的。
雷射基礎的感測器為用來從單一部件測量多個3D位置之另一種方法。雷射基礎的感測器為非觸控式的，並不會接觸到部件(此可能會致使部件移動或者變形)。雷射基礎的感測器為距離感測器，其測量從雷射到部件之間的距離。
由於雷射基礎的感測器僅能夠測量一個維度(距離)，因此通常會沿著兩個軸移動，或者使用致動鏡對射束進行指向，以為掃瞄部件之用，然此會是耗時的。
結構照明感測器使用結構照明與2D光學感測器陣列來測量距離的2D陣列。結構照明其中之一範例包含將一光紋投射於一部件之上。從不同的角度來觀看此光紋，而且依據標點位置上部件高度，該條帶每標點的位置便皆會不同於條帶額定的位置。結構照明基礎的3D系統其中之一缺點為結構照明方法需要相對較長的時間來”掃瞄”所要 驗證的部件。
在用於本發明的裝配驗證之方法中，經由至少兩台、而通常為三台分別同時捕捉兩個或者三個影像的相機，使用三角測量，來執行每一個次組件的x、y、z(3D)位置之測量。操作者會針對相應於部件所要驗證的相同次組件之每一台相機來訓練模型之樣式。在運作期間上，該等樣式實質地記錄於三台相機的觀視圖形中，藉以提供關於次組件所測量到的3D位置資訊。接著，比較已測量的3D位置以及所期望的額定3D位置，而且針對特定的容限來檢查3D位置中的差異。
本發明簡化裝配驗證之工作，其中僅需要多台固定在一裝配線上的相機。訓練行為只需要操作者捕捉”已正確裝配的部件”之影像，並且之後選擇相應於所要驗證的每一個次組件之樣式。在訓練期間上，操作者同樣也會針對每一個次組件來選擇位置之容限。僅在次要的操作者行為之後，本發明便能夠自動執行裝配驗證。
本發明同樣也能夠執行無固定裝置的裝配驗證，其中全面的部件形態皆能夠適應。由於部件本身並不固定，因此能夠以該部件之任意的3D位置、以及任意的高度、偏離角度、旋轉方位呈現於機械視覺系統。本發明仍然能夠找出所有次組件的運作期間之3D位置，且使用該運作期間的3D位置來判斷是否有能夠將這些運作期間的3D位置轉換而匹配於模型之全面部件形態。
本發明能夠同時測量多個標點，導致快速的產能以及較簡單的設備。再者，當所要驗證的部件改變時，即能夠快速地配置本發明。由於本發明的相機會快速並且同時捕捉影像，因此能夠快速取得所要驗證的部件裝配之影像，致使部件的頻閃照明之應用能夠在於快速移動的裝配線上。
為了簡化訓練期間，能夠製造並且出售在工廠預先校準的兩相機或者三相機系統。因此，在訓練期間，能夠快速設置此種立體/三眼預校準相機系統，並且在運作期間，確保準確而且可重複的多相機校準。
在以下所要闡述的實施例之細節說明中，參照形成相關部份的附圖，且其中藉由闡述本發明的特定實施例而顯示之。所要了解的是，可利用其他的實施例，而且可從事結構之改變，而不違反本發明的範疇。
本發明的方法與裝置基本上比較部件的次組件(同樣也稱為次組件的”裝配”)所測量(同樣也稱為”運作期間”)到的3D位置以及其所期望的(同樣也稱為”模型”或者”正確的”)3D位置。如果3D位置夠接近(在容限之內)所期望的3D位置，則將次組件的裝配視為”已驗證”。在某些狀況下，在裝配處理期間中，如果相對於其上設置該次組件之基座(其同樣能稱為一次組件)僅有其中一個次組件不適當地設置，則可能會否決其裝配。諸多裝配涵蓋次組件之垂直設置，向下將一次組件插入一位於印刷電路板基座上的連接 器插槽之中。例如，如果所要安插於連接器之中的次組件僅部分插入於其中，則將之測量以充當相對於基座、或者相對於已驗證3D位置其他不正確安插之次組件不正確的高度(z)。
本發明能夠比較複數個已校準相機的實體參考框架內之絕對3D位置(x、y、z)以及部件的次組件裝配之間的相對3D位置(△x、△y、△z)兩者。本發明同樣也能夠驗證裝配，不論其位置或者方位，只要至少兩個次組件在於至少兩個相機的視野之內即可。因此，使用本發明，便能夠執行”無固定裝置”的裝配驗證。或者，如果所要驗證的部件為固定的，則能夠使用本發明來驗證次組件相對於固定裝置正確的相對位置。
在所闡述的實施例中，不論其位置或者方位，本發明會使用三台相機每一台的視野內之次組件來驗證裝配。
如果三個次組件位於至少兩台相機之每一台的視野中，則此三個次組件便會定義出一個平面，而且全部三個的旋轉自由度(高度、偏離角度、旋轉)便能夠和x、y與z位置一起驗證。
將3D位置(x、y、z)表示為已校準的相機之實體參考框架中的水平位置(x)、前後位置(y)、以及高度(z)。根據本發明，次組件的一3D位置為次組件上的標點之3D位置，該標點則是由使用者所選擇，如同以下將要參照圖式所解釋的。
如果所選擇的標點在至少兩台相機的視野內為可視 的，則能夠使用三角測量來決定3D位置，如以下將更詳細解釋的。如果所選擇的標點在三台或者更多台已相互校準的相機之視野內為可視的，則三角測量的準確度便能夠增強。在其一實施例中，使用相同的校準板來進行已相互校準的相機之校準，如在Aaron Wallack與David Michael的”實際3D視覺系統之方法與裝置”(序號第11/246,024號)所說明的，其受讓予Natick MA的Cognex股份有限公司，在此合併參考之。
能夠評估三角測量位置資訊的準確度，並且將之表示為一種參數，其稱為三角測量RMS(均方根)誤差。能夠將三角RMS誤差與一”容限”參數相比較，藉以確保在三個視野之每一者中會選擇到組件上實質相同的標點，如以下所要解釋與闡述的。
或者，能夠將誤差表示為絕對差值之總和，其中將差值的絕對值相加在一起，藉以提供三角測量位置的準確度之測量值。如果絕對差值的總和落在臨界值之下，則其準確度便是可接受的。對熟知該項技術者而言，可使用其他的測量值，而不違反本發明之範疇。
參照圖1，顯示機器視覺系統的三台相機100、102、104，每一台皆包含於各別視野中的部件111之三個次組件106、108、110。部件111包含一基座112(同樣也是裝配的一個次組件)，三個次組件106、108、110則設置於其上，致使至少兩個所要驗證的次組件位於至少兩台相機的視野之內。所要提及的是，由於三個次組件106、108、110 彼此能夠直接連接，藉以形成部件111，因此用以實行本發明的基座112並非必需的。
需要至少兩台相機來執行三角測量，藉以得到實體空間中的3D標點。此種技術清晰而完整的解釋呈現於Aaron Wallack與David Michael的”實際3D視覺系統之方法與裝置”，其受讓予Natick MA的Cognex股份有限公司，在此合併參考之。其中同樣也說明相機校準以用來將來自三台相機100、102、104的像素資料映射至包含有部件111與三個次組件106、108、110的3D空間中之標點。本發明並不受限於在此所說明的三角測量與校準方法，並且能夠替代使用其他如此的三角測量方法、校準方法、或者其他習知技術中所已知用以實現相同所需效應的之方法。
儘管能夠使用兩台相機來決定3D標點，然而在所闡述的實施例，圖1中顯示有三台相機。儘管三個次組件顯示於所闡述的實施例中，然而於某些應用上，在每一台相機的視野中包含至少四個的次組件乃是有用的，致使能夠選擇三個次組件以執行內部一致性的檢查，藉此驗證第四個次組件相對於其他三個次組件之位置。以下將進一步探討此種技術。
同樣的是，使用更多的相機，便能夠實現更大的強健性以及更高的準確度。再者，藉著更多的相機，在至少兩台相機中觀看每一個部件會有更大的可能性，或者以三台相機則會更好。
再者，如果使用更多的次組件，會有觀看至少一個次 組件更大的可能性，但如果使用更多的次組件，而仍要”觀看”全部的次組件則較不可能。
參照圖2，呈現出合併本發明的機械視覺系統之使用者介面。在訓練期間上，在使用者點選”捕捉訓練影像(Acquire Train Image)”206以及”顯示訓練影像(display Train Image)”208之後，顯示三台相機之觀視視窗200、202、204。每一台相機的觀視視窗會顯示圖1三台相機100、102、104其中一台至少一部份的視野。每一台相機100、102、104顯示相同次組件不同的立體圖。例如，圖2顯示三張安插於PCB之中的晶片載體觀視圖，其晶片載體的頂部具有一個大”Z”。
接著，使用者點選”增加PatMax模型(Add PatMax Model)”按鍵210，藉以開始產生新的3D搜尋模型。為致此，必須產生對於每一個觀視視窗的2D搜尋模型。2D模型為各別觀視視窗中捕捉影像所選擇的子視窗。3D模型係由2D模型、相應符合的原點、以及這些符合原點的3D的位置之集合所組成。次組件上的標點之3D搜尋模型0已經產生，具有三角測量RMS誤差0.11，其如”模型標點(Model Points)”視窗212所示的。三角測量RMS誤差0.11在於使用者選擇三角測量RMS誤差容限214之內，其中的誤差容限為0.3。
圖2中尚未產生模型1，所以出現提示216，敘述”設置訓練視窗之位置以及選擇原點”。相應的是，使用者定義在每一台相機100、102、104的視野中之”訓練視窗”(如細 白色矩形所示)206、208、210，以及一個位於每一個視窗中皆能夠發現的標點中央之”原點”。在每一個訓練視窗206、208、210之內會有指示所選擇的”原點”之白色十字線。將於該訓練視窗中之影像以及該原點用來訓練一搜尋模型，諸如用於正規化的關聯性搜尋之模型，或者用於旋轉不變與尺度不變搜尋(諸如PatMaxTM，Cognex股份有限公司所製作)之模型。
使用者已經選擇了”Z”的左下角作為次組件之”原點”(如白色十字線所示)，並且已經藉由將之點出且接著進行點選而在每一個視圖中選擇了Z上的標點。因此，經由三張不同觀視立體圖而看到次組件上相同的標點。
參照圖3，使用者點選”訓練PatMax模型(Train PatMax Model(s))”按鍵300。相應的是，產生三個2D搜尋模型，並且之後用來找出在影像200、202、204每一個之中所選擇的標點。使用三角測量將每一個視窗中來自3D搜尋的搜尋結果轉換成為3D標點(“Z”上所選擇的標點之實體3D位置)，具有x、y、z座標(11.02，－12.68，－13.96)，如模型標點視窗302所示。所要提及的是，0.11的三角測量RMS誤差仍小於使用者所定義的0.30之三角測量RMS誤差容限304。
參照圖4，已經訓練了各別次裝配上四個不同的實際標點之四個3D模型(0、1、2、3)。每一個3D模型皆具有在模型標點視窗(Model Points Window)400中所提出的3D位置。由於即使在運作期間測量三角測量誤差402，而且 將會在運作期間使用三角測量RMS誤差容限404，訓練期間的三角測量RMS誤差容限402通常仍會在三角測量RMS誤差容限404上提供一個下邊界，因此每一個三角測量RMS誤差402應該小於三角測量RMS誤差容限404。三角測量RMS誤差容限404可在訓練期間由操作者使用之，藉以提供在操作者已經將十字線如何一致地設置於三個相機之各別視野每一個中的次裝配之相同標點上的迴授。如果三角測量RMS誤差超過容限404，則可再次設法設置十字線，藉以降低三角測量RMS誤差直到其低於容限404為止。或者，該應用能夠具有分開的訓練期間三角測量RMS誤差容限，用來判斷操作者是否必須重新選擇該標點。
總之，在訓練期間，使用者已經依照本發明部分之方法，在每一個次裝配上選擇了單一標點，其中產生每一個次裝配的3D搜尋模型。藉由從全部皆觀視相同部件的多台相機來搜尋影像視窗，並且藉由使用所找到的2D位置與三角測量技術(以上所述)以計算每一個次組件的正確(模型)3D位置，每一個3D搜尋模型實際上皆為能夠用來找出實體空間中的3D標點之2D搜尋模型集合。
在運作期間，參照圖5，使用經由之前的圖1－4中該已校準相機集合所捕捉到的圖像，使用來自圖4的3D模型而找出次裝配。使用者(或者操作者)簡單地點選”執行3D檢驗(Run 3D Ispection)”按鍵500，並且使用來自相應於各別次裝配中每一個的3D模型之適當2D搜尋模型來搜尋視窗502、504、506中的三個影像之每一個。即使在此一範 例中會有四個次裝配要驗證，然而由於四個次裝配之每一個對全部三個的相機皆為可視的，因此僅捕捉其中一組三個的影像。將藉由四個各別2D搜尋模型來搜尋相同的影像(在每一個各別的視窗502、504、506中)四次，藉以提供四個已作三角測量的3D位置。每一個已三角測量後的3D位置將會是使用該三個2D已找出(已測量)的位置所得三角測量之計算結果。
每一個三角測量3D位置列在”結果(Results)”視窗508之中，顯示x、y、z分量，三角測量RMS誤差、以及三角測量RMS誤差對於三角測量RMS容限之PASS/FAIL狀態。
同樣也顯示於”結果”視窗508之下來自所測量到的次裝配結果所計算的整體裝配之整個形態(x、y、z位置)。在下方的是，三個旋轉自由度所描述的整體方位，亦即高度、偏離角以及旋轉，其能夠經由已測量次組件的結果來計算之。另一下方的是整體RMS誤差，其比較次組件四個所期望的模型3D位置以及四個已測量到的模型之3D位置。同樣所呈現的是”自我一致性誤差(Self Consistency Error)”，此為每一個次裝配如何位移自由三個其他次裝配測量位置所判斷的期望位置之測量。最後，呈現整體檢驗結果，為藉由比較其中一個或者多個測量與計算結果以及容限數值所計算，該容限數值如同根據特殊應用的需求而由操作者或者使用者設定之。例如，如果全部的各別三角測量RMS容限皆吻合，而且整體RMS容限亦吻合，則將 給予裝配通過(PASS)。
GUI之前的探討有關於特定之實施例，並且預期能夠實現明顯的修改，藉以達成相似的結果。例如，GUI能夠使用具有按鍵或指示器之個人數位助理或者人機介面。顯而易見的是，在運作期間與訓練期間，使用者介面能夠顯示更多或者更少的測量值及/或影像，而且能夠以數字或圖形來表示其項目，例如，包含通過或失效的色彩之使用。
能夠使用用於產生模型與找出3D標點之其他方法，諸如點亮部件上的光源，接著記錄其光源(藉以找出符合的原點)，之後則使模型成為環繞著原點的固定半徑之圓形(在每一個影像中)。參照圖6，將進一步探討本發明用以驗證具有次組件的部件正確裝配之方法。該方法包含一訓練期間階段、以及一運作期間階段。在訓練期間，設置至少兩台相機，致使至少一台相機的視野包含部件600至少一個的次組件。此如之三台相機闡述於圖1中，其中相較於兩台相機，三台相機提供更大的精確度。
接下來，校準至少兩台相機其之每一台，至少致使影像的座標能相關實體座標602。此種技術說明於Aaron Wallack與David Michael的”實際3D視覺系統之方法與裝置”(快捷郵件標籤第EV 324 850 053 US)，其受讓予Natick MA的Cognex股份有限公司，在此合併參考之。習知技術中任何一種將多台相機之影像座標相關於所共享的實體空間之已知技術皆有效用。校準至少兩台相機其中每一台能夠包含判斷至少兩台相機之每一台的相機原點之3D位置。 之後，三角測量能夠包含找出每一台相機視野中次組件原點之2D標點、以及每一台相機的相機原點之3D位置。
為了避免使用者校準相機之需求，使用者能夠替代地取得一種預校準的兩相機或者三相機系統。在此種狀況下，使用者使用預校準立體/三眼相機系統而開始步驟600，藉此簡化訓練動作，其由於在步驟600中使用者簡單地定位預校準而具有剛性附著相機之相機系統，並且將不需要執行校準步驟602。接著，針對至少兩個次組件的其中每一個，使用至少兩台相機之每一台同時捕捉在正確裝配的位置中次組件之影像(604)。所要提及的是，同時捕捉影像係理想的然而並不是必須的。如果使用兩個次組件，則能夠測量兩個次組件之間的跨距(距離)，藉此提供”跨距驗證度量(span verification metric)”。運作期間之跨距驗證度量應該落在基於訓練期間該跨距驗證度量的一範圍之內。能夠使用多對的次組件，每對皆提供一跨距驗證度量，而且該跨距驗證度量的總和會提供累加的跨距驗證度量，能夠與運作期間的累加跨距驗證接受臨界相比較。熟知該項技術者可以產生其他的度量，並且在於本發明的範疇之內。
如果使用三個次組件，則能夠找到剛性轉換形態，其將形態映射3D模型標點以及所找到的3D運作期間標點之間的總和平方誤差最小化，如同以下將要進一步解釋的。
接著，針對至少兩個次組件之每一個，使用至少兩台相機之每一台，藉由使用者選擇包含次組件之訓練視窗。同樣的是，在每一個訓練視窗中的次組件上選擇相同的標 點，該相同標點充當與次組件相關之原點(606)。此一步驟同樣也顯示於圖2。
再者，針對至少兩個次組件之每一個，藉由三角測量來計算次組件的所期望3D標點(608)。此解釋於Aaron Wallack與David Michael的”實際3D視覺系統之方法與裝置”(序號第11/246,024)，其受讓予Natick MA的Cognex股份有限公司，在此合併參考之。同樣的是，三角測量解釋於習知技術諸多其他的參考文獻之中。
能夠使用任何一種用於經由多個影像圖找出3D標點之方法來實行本發明。例如，基於樣式的原點，使用三角測量來決定3D位置並不需要找出。替代的是，能夠藉由記錄線性特性(在影像中的)、並且之後將這些線性特性相交以提供最終的3D位置來判斷3D位置。重要的是，該方法產生準確的3D位置，以為裝配驗證之用。在每一個次組件可容許的容限之內提供3D位置測量值準確度的任何一種方法乃是有用的。
接著，針對至少兩個次組件之每一個，訓練視窗與所相應的原點用來產生訓練視窗中次組件的2D搜尋模型(610)。能夠使用正規化相關性搜尋之訓練程序，或者能夠使用旋轉與尺度不變搜尋之訓練程序，諸如PatMax。或者，能夠供應諸如從CAD資料所取得的模型。再者，能夠提供粗糙的模型，之後進一步使用本發明來精鍊之。對熟知該項技術者而言，能夠存在用以得到實行於本發明的模型之其他改變。再者，使用者選擇檢驗諸如三角測量RMS 誤差容限、整體RMS誤差容限、以及自我一致性誤差容限之參數，其中每一個皆能夠根據特殊應用與場合而設定之(612)。三角測量RMS誤差容限為一臨界值，其係使用者如何準確地在每一台相機之每一個視野中選擇相同標點之一測量值。整體RMS誤差容限為一臨界值，其係所測量到的3D標點從次裝配上所期望的3D標點合計會有多少變化之一測量值。自我一致性的容限為合計自我一致性誤差之一測量的一臨界值，以下將進一步探討之。同樣的是，選擇檢驗參數包含選擇定義所測量到的3D位置能夠可接受地不同於一正確3D位置的程度之距離容限。
所以，在每一個訓練視窗中選擇次組件上的相同標點包含：提供與測量所選擇的多個標點對單一3D標點之相當性(correspondence)的資訊，藉以輔助操作者在每一個訓練視窗中次組件上選擇相同標點之用。該相當性的測量為RMS誤差。
在運作期間，針對所裝配而要驗證的部件至少兩個次組件之每一個，使用至少兩台相機之每一台會同時捕捉在候選的裝配位置中的次組件之影像(700)，如圖5所示。所要提及的是，同時捕捉影像係理想的而非必須的。三台相機的使用將會提供更為準確的三角測量。如果將至少三個次組件成像，則能夠找到會將形態所映射3D模型標點以及所找到的3D程序標點之間的總和平方誤差最小化之一剛性轉換形態，如同以下將進一步所要探討的。如果將超過三個的組件映射，則三個影像之超過一個的次群組便能 夠用來找出至少一個將總和平方誤差最小化的一剛性轉換形態。所要提及的是，相機及其透鏡會保持在精確的相同位置，其中在訓練步驟將之校準。可使用所要最小化的測量值、或者其他測量值，而不違反本發明之範疇。
接著，針對至少兩個次組件之每一個，使用次組件的2D搜尋模型來找出候選裝配位置中之次組件影像，藉以提供次組件原點所測量到的2D位置(702)。再次，能夠使用正規化的相關性搜尋、或者旋轉與尺度不變性搜尋，諸如PatMax。
接著，針對至少兩個次組件之每一個，藉由三角測量來計算次組件所測量到的3D位置(704)。典型的是，使用每一台相機視野中次組件原點所測量到的2D位置、以及每一台相機的相機原點之3D位置來找出每一個次組件所測量到的3D位置。同樣的是，藉由三角測量計算次組件所測量到的3D位置能夠包含計算誤差測量、以及比較誤差測量與檢驗參數，藉以對判斷部件是否正確裝配有所貢獻。
再者，針對至少兩個次組件其中的每一個，計算次組件所測量到的3D位置以及次組件各別正確3D位置之間的3D位置差異(706)。
接著，比較3D位置上之差異與檢驗參數，藉以對判斷部件是否正確裝配有所貢獻708。在某些實施例中，比較3D位置上差異之單一組件以及單一組件檢驗參數，藉以對判斷部件是否正確裝配有所貢獻。在此的某些實施例 中，單一組件為z－位置(高度)。
在某些狀況下，運作期間同樣也將包含使用各別次組件的複數個3D位置來計算部件的一整體形態。典型的是，計算部件的整體形態包含：計算整體形態誤差、以及找出會將整體形態誤差最小化的形態。同樣所包含的是能夠比較整體形態誤差以及檢驗參數，藉以對判斷部件是否正確裝配有所貢獻。
此為更多的資訊，有關如何從3或更多對相應的3D標點來評估物件的形態。每對皆由一相應於3D模型標點的3D測量程序標點所組成。給定一3D程序找尋標點集合，其以一對一的方式相應於一3D期望標點之集合，則會存在有將形態映射3D期望標點以及所測量的3D程序標點之間的總和平方誤差最小化的剛性轉換形態。有一種眾所周知用以計算兩標點集合之間的最小平方剛性轉換形態之方法。
以數學來說，給定一訓練3D標點集合、以及一程序3D標點M集合，我們要找出剛性轉換(3x3旋轉矩陣R以及3x1旋轉矩陣T所指稱的)，致使：M＝RD＋T
或者對每一個標點而言mi ＝Rdi ＋T
我們找出R與T最佳的估計值，藉由最小化Sum(mi －Rdi ＋T)2 ，或者更正式地表示為：
首先我們計算mi 與di 的平均值，meanm ＝Sum mi /N meand ＝Sum di /N
建構M’與D’新的組合，其相應於mi －meanm 以及di －meand 。
我們使用矩陣分析以及四元數來解出最佳的剛性旋轉矩陣R。
判斷等於Sum m’i轉置(d’i)之共變異數矩陣C。
產生等於C－轉置(C)之矩陣A。
從矩陣A建立等於轉置([A23 A31 A12])之行向量Delta。
建構對稱4x4矩陣Q，其等於[跡數(C) 轉置(Delta)][Delta C＋轉置(C)－跡數(C)*id(3)]
其中的跡數(trace)等於對角線元素的乘積，而id(3)則為3x3之單位矩陣。
判斷單位特徵向量q＝[q0 q1 q2 q3]，其相應於Q的最大正特徵值 R＝[q02 ＋q12 －q22 －q32 2(q1q2－q0q3) 2(q1q3＋q0q2) 2(q1q2＋q0q3) q02 ＋q22 －q12 －q32 2(q2q3－q0q1) 2(q1q3＋q0q2) 2(q2q3－q0q1) q02 ＋q32 －q12 －q22 ]
以下的探討會解釋為何我們要從較少於全部有效對的相應3D標點來計算其形態。
因此，參照圖8，當部件包含至少三個次組件時，運 作期間的方法進一步能夠包含：判斷一轉換，其將所找到的已選擇標點之所測量3D位置最接近地映射至所選擇標點的正確3D位置(800)、將一逆轉換施加於全部所找到已選擇標點的所測量3D位置，藉以在部件參考框架中進行比較(802)、比較部件參考框架中所找到選擇標點之已測量3D位置與所選擇標點之正確3D位置，以提供部件比較度量(804)、以及比較該部件比較度量與檢驗參數，藉以對判斷部件是否正確裝配有所貢獻(806)。
在某些實施例中，比較行為能夠包含比較部件參考框架中所找到選擇標點的所映射已測量3D位置之單一組件以及所選擇標點的正確3D位置之各別單一組件，藉以提供單一組件的部件比較度量。同樣的是，判斷部件是否正確裝配能夠包含判斷單一組件比較度量是否超過單一組件可接收的臨界值，並且藉此至少部分地判斷部件是否已經正確裝配。
或者，替代比較度量與一固定的使用者定義臨界值的是，能夠編輯測量值統計資料，並且能夠將新的測量值與資料導向容限相比較。例如，從資料導向容限脫離超過6 sigma的測量值將是不可接受的。對熟知該項技術者而言，可產生其他的度量，而且在於本發明的範疇之內。
如果全部的此組件(並因而全部的3D程序已測量標點)皆位於其正確的位置，則整體形態的評估便是正確的，而且個別的不一致性相對較小。
然而，如果其中一個或者多個次組件離開其正確位置， 則整體形態的評估可或不可是正確的。如果整體形態評估是正確的，則全部正確設置的次組件將會具有微小的不一致性，而不正確設置的次組件將會具有大的不一致性。
如果次組件不正確地設置，則不一致性應該表示出其不正確的設置。所以，應該會有不一致性(雖然如果設置行為不大，則不一致性可能不大)。但是如果整體形態為正確的，則位置的不一致性將明確地表示其不正確的設置。
但是如果其中一個次組件離開位置、而且如果整體形態評估不正確，則正確設置的次組件便會具有大的不一致性、及/或不正確設置的次組件具有微小的不一致性。
如果形態的評估不正確，則正確設置的次組件可能具有大的不一致性、及/或不正確設置的次組件可能具有微小的不一致性。
特別的是，會有一種麻煩的狀況－其中全部的次組件包含微小不一致性之狀況，即使其中一個次組件離開位置。不幸的是，如果計算整體形態之評估以適應不正確設置的次組件，則此種狀況便會發生。
所以，在所闡述的實施例中，我們取得額外的測量，藉以防範此種狀況。這些測量涵蓋藉由故意忽視我們想要測量的次組件來計算形態之評估。以如此之方式，我們藉由計算形態評估而不使用此一位置，來防範適應特殊不正確位置之形態評估。此種實施通常稱為”交叉效度(cross－validation)”－經由資料子集合來評估參數，而之後驗證評估與資料的餘項。所要提及的是，忽視特殊資料之標點並不 會保證所不期望的狀況不會發生，其僅明顯地降低此狀況之可能性，使之變得較不麻煩。
在此種狀況中，我們能夠使用三對或者多對的相應3D標點(其中一對為3D模型標點與相應的3D程序已測量標點)(由於需要至少三對來判斷一6 DOF形態)。其中一種方式為從相應的資料對全部三個元素的子集合計算物件之形態評估，並且之後計算不一致性－保持每對相應3D標點最大的不一致性。或者，當針對每對已選擇3D標點測量不一致性時，我們能夠選擇使用全部而非所選擇的3D標點對。
我們應該點出可能會產生的狀況，其中標點特殊的子集合不能夠準確地限制形態的評估。由於標點的子集合為同一直線或者幾近同一直線的，或者由於標點相對較靠近在一起，此種情形便會發生。在另一狀況中，我們能夠忽視特殊的形態評估(就計算不一致性之目的而言)，並且能夠使用另一種形態之評估(或者如果有需要，則包含我們所要嘗試測量的3D標點對)。
因此，參照圖9，當部件包含四個次組件時，其方法在運作期間會進一步包含：選擇三個次組件之集合而省去至少第四個次組件(900)、使用該三個組件的集合來計算部件之整體形態(902)、使用部件的整體形態來映射相應於該至少第四個次組件之次組件正確的3D位置，藉以提供已映射之正確3D位置(904)、比較第四個次組件之已測量位置與所映射的正確3D位置，藉以提供一致性誤差(906)、 以及比較一致性誤差與檢驗參數藉以對判斷部件是否正確裝配有所貢獻(908)。
當選擇至少兩個次組件的複數個集合位置，藉此提供複數個一致性誤差，其方法進一步包含比較每一個一致性誤差與檢驗參數，藉以對判斷部件是否正確裝配有所貢獻。有時，會選擇至少三個次組件位置之複數個集合。
參照圖10，更一般的是，本發明為用以驗證具有至少兩個次組件的部件正確裝配之方法，其中的方法包含在訓練期間：針對每一個次組件，選擇次組件上的一個標點(1000)，並且針對每一個次組件，判斷在實體座標系統中已選擇的標點之正確3D位置(1002)。如以上所探討的，其優點為處置超過兩個的次組件。
參照圖11，在運作期間，其方法包含：針對每一個次組件各別地找出次組件上已選擇之標點(1100)、針對每一個次組件判斷實體座標系統中所找出的已選擇標點之已測量3D位置(1102)、比較所找到選擇標點的已測量3D位置與所選擇標點之正確3D位置，藉以提供部件比較度量(1104)、以及判斷部件比較度量是否超過部件可接受臨界值，並且藉此判斷部件是否已經正確裝配(1106)。
在所闡述的實施例中，比較1104包含比較所找到已選擇標點的已測量3D位置之單一組件以及已選擇標點之正確3D位置的各別單一組件，藉以提供單一組件部件比較度量，而且其中的判斷1106包含判斷單一組件比較度量是否超過單一組件可接受臨界值，並且藉此至少一部份地 判斷部件是否已經正確裝配。
在另一個所闡述的實施例中，比較單一組件包含：分開比較所找到已選擇標點之已測量3D位置的每一個x、y與z維度中的組件以及已選擇標點之正確3D位置的每一個x、y與z維度中的各別單一組件，藉以提供每一個x、y與z維度中的組件之部件比較度量。在此一範例中，”判斷部件比較度量是否超過部件可接受臨界值”包含判斷每一個x、y與z組件比較度量是否超過相應的x、y與z可接受臨界值，並且藉以至少部分地判斷部件是否已經正確裝配。使用者能夠選擇每一個x、y與z維度中的組件容限臨界值。
比較步驟1104同樣也能夠包含針對每一個次組件，比較所找到的選擇標點之已測量3D位置以及所選擇標點之正確3D位置，藉以提供一3D位置誤差，並且比較每一個3D位置誤差，藉以提供一部件比較度量。
同樣的是，比較步驟1104能夠包含判斷一轉換，其將所找到的已選擇標點之已測量3D位置極為接近地映射至所選擇的標點正確3D位置、計算所映射的測量3D位置與正確3D位置之間的RMS誤差、以及提供RMS誤差充當至少部分的部件比較度量。
比較步驟1104能夠包含在運作期間判斷一轉換，其將所找到選擇標點之已測量3D位置極為接近地映射至所選擇的標點正確3D位置、以及之後將一逆轉換施加至全部已找到的已選擇標點之已測量3D位置，藉以在部件的參 考框架中進行比較。再者，在訓練期間，比較步驟1104包含比較部件參考框架中所找到的選擇標點之已測量3D位置以及所選擇的標點正確3D位置，藉以提供部件比較度量。
比較步驟1104能夠包含比較部件參考框架中所找到選擇標點的所映射已測量3D位置之單一組件以及所選擇標點的正確3D位置之各別單一組件，藉以提供單一組件之部件比較度量。所以，判斷步驟1106能夠包含判斷單一組件比較度量是否超過單一組件可接受臨界值，並且藉此至少部分地判斷部件是否已經正確裝配。
比較步驟1104同樣也能夠包含計算部件參考框架中所找到已選擇標點的所映射已測量3D位置以及正確3D位置之間的RMS誤差、以及提供RMS誤差充當至少部分的部件比較度量。
在其它實施例中，比較步驟1104能夠包含：選擇所找到的已選擇標點之三個已測量3D位置、判斷一轉換，其將所選擇的標點之已測量3D位置極為接近地映射至所找到已選擇標點的正確3D位置、使用該轉換將第四個3D位置從所選擇的標點之正確3D位置映射至所找到已測量標點的所預測已測量3D位置、以及比較所找到選擇標點預測之已測量3D位置至所找到的選擇標點實際之已測量3D位置，藉以提供一致性檢查3D位置誤差。
比較步驟1104同樣也能夠包含：選擇所找到的已選擇標點之三個已測量3D位置、判斷一轉換，其將所選擇的 標點之已測量3D位置極為接近地映射至所找到已選擇標點的正確3D位置、使用該轉換將第四個3D位置從所選擇的標點之正確3D位置映射至所找到已測量的標點之預測已測量3D位置、比較所找到選擇標點預測之已測量3D位置的單一組件與所找到選擇標點之實際已測量3D位置的單一組件，藉以至少提供對部件比較度量之貢獻。
就所找到的選擇標點三個已測量3D位置之複數個不同集合而言，能夠重複此一進程，藉此提供複數個一致性檢查3D位置誤差。再者，其方法包含計算總一致性檢查3D位置誤差、以及提供該總一致性檢查3D位置誤差充當至少部分的部件比較度量。
所要提及的是，例如在運作期間，針對每一個次組件，能夠藉由操作者以人工從事選擇次組件上的某一標點，如圖2所示。
同樣的是，在運作期間，針對每一個次組件，操作者選擇能夠在複數個訓練視窗之每一個所看到的次組件上的某一標點，每一個訓練視窗皆會顯示三台各別已校準相機其中一台之一部分視野。在所闡述實施例中，會有至少三個訓練視窗。再次，觀看圖2。
針對每一個次組件，所要闡述的是，操作者藉由點選每一個訓練視窗中的標點，來選擇複數個訓練視窗之每一個中的標點，藉以將錯誤的動作最小化。
同樣的是，針對每一個次組件，訓練一2D搜尋模型以找出複數個訓練視窗之每一個中的次組件，已選擇的標 點充當2D搜尋模型之原點，如圖2所示。
2D搜尋模型乃是基於其中一種：正規化相關性搜尋、旋轉不變與尺度不變搜尋、以及PatMax搜尋。
參照圖10，在訓練時間，針對每一個次組件、選擇次組件1000上的某一標點包含：選擇支承複數個其他次組件之基座表面上的基準中心之一點。可將基座表面上的基準視為一個次組件。
參照圖10，在訓練期間，針對每一個次組件，使用三角測量來實現判斷實體座標系統中所選擇的標點正確3D位置1002。三角測量其中之一結果為三角測量RMS誤差。能夠將三角測量RMS誤差與容限臨界值比較，文中稱為三角測量RMS誤差容限404，如圖4所示。操作者能夠在訓練期間使用三角測量RMS誤差容限4 04，藉以提供操作者已經依照相同標點於各別相機之三個視野每一個中的次裝配上有多麼一致地放置交叉效度之迴授。如果三角測量RMS誤差超過容限404，則能夠再次放置交叉效度以有效地降低三角測量RMS誤差，直到其低於容限404為止。或者，應用具有分開的訓練期間三角測量RMS誤差容限，其用來判斷操作者是否必須重新選擇標點。
如果某人要以兩個次組件的狀況來實行本發明，則本發明的方法會包含在訓練期間選擇兩個次組件每一個之上的一個標點(1000)、針對兩個次組件判斷在實體座標系統中所選擇的標點之正確3D位置(1002)。在運作期間，本發明方法其中一個實施例包含針對兩個次組件係各別地找出 在次組件上所選擇的標點(1100)、針對兩個次組件判斷在實體座標系統中所找到已選擇標點之已測量3D位置(1102)、比較該所找到已選擇標點之已測量3D位置與所選擇的標點之正確3D位置，藉以提供一部件比較度量(1104)、以及判斷部件比較度量是否超過部件可接受臨界值，並且藉此判斷該部件是否已經正確裝配(1106)。
在所闡述的實施例中，比較1104包含：針對兩個次組件，比較所找到的已選擇標點之已測量3D位置與所選擇的標點之正確3D位置，藉以提供3D位置誤差，以及組合兩3D位置誤差以提供一部件比較度量。
參照圖11，為了利用一次組件對跨距驗證度量，其方法包含在訓練期間：在兩個次組件每一個上選擇一標點(1000)，兩標點至少其中一個不同於先前所選擇的標點對；針對兩個次組件，判斷實體座標系統中所選擇的標點之正確3D位置(1002)。再者，在運作期間，針對兩個次組件，各別地找出次組件上所選擇的標點(1100)；針對兩個次組件，判斷實體座標系統中所找到的已選擇標點之已測量3D位置；比較所找到已選擇標點之已測量3D位置以及所選擇的標點之正確3D位置，藉以提供一次組件對跨距驗證度量(此定義為兩個所找到的已選擇標點之間的距離)(1104)；組合次組件對跨距驗證度量以及至少一第二個次組件對之跨距驗證度量，藉以提供一累加的次組件對跨距驗證度量；以及判斷在運作期間所累加的次組件對之跨距驗證度量是否超過一部件可接受臨界值，並且藉此判斷 該部件是否已經正確裝配(1106)。
就所找到複數對已選擇標點之已測量3D位置而言，能夠重複此種方法，藉此提供複數個次組件對跨距驗證度量。再者，其方法同樣也包含計算總次組件對跨距驗證度量、以及提供該總次組件對跨距驗證度量充當至少部分的部件比較度量。
所闡述的實施例使用至少四個的次組件，但其中一個能夠使用多至執行裝配驗證之其中一種需求。所闡述的實施例同樣也每一個次組件測量一次。
對熟知該項技術者而言，將存在其他的修改與體現，而不違反所主張的本發明之精神與範疇。所以，以上的說明不意指限制本發明，除了在以下的申請專利範圍中所指示的。
100‧‧‧相機
102‧‧‧相機
104‧‧‧相機
106‧‧‧次組件
108‧‧‧次組件
110‧‧‧次組件
111‧‧‧部件
112‧‧‧基座
200‧‧‧相機之觀視視窗
202‧‧‧相機之觀視視窗
204‧‧‧相機之觀視視窗
206‧‧‧訓練視窗
208‧‧‧訓練視窗
210‧‧‧訓練視窗
212‧‧‧模型標點視窗
214‧‧‧三角測量RMS誤差容限
216‧‧‧提示
300‧‧‧訓練PatMax模型之按鍵
302‧‧‧模型標點視窗
304‧‧‧三角測量RMS誤差容限
400‧‧‧模型標點視窗
402‧‧‧三角測量誤差
404‧‧‧三角測量RMS誤差容限
500‧‧‧執行3D檢驗之按鍵
502‧‧‧視窗
504‧‧‧視窗
506‧‧‧視窗
508‧‧‧結果視窗
參照結合以下圖式的細節說明，將更全然地了解本發明，其中：圖1為顯示三台相機之圖示，在其立體實景中每一台相機皆包含三個次組件；圖2為闡述本發明的使用者介面、與一訓練視窗之訓練期間選擇、以及一第二次裝配之原點之截圖；圖3為闡述本發明的使用者介面、與該第二裝配的一模型3D位置的訓練期間測量之截圖；圖4為闡述本發明的使用者介面、與該第四裝配的一模型3D位置的訓練期間測量之截圖，同樣也顯示其他次 裝配的3D位置；圖5為闡述本發明的使用者介面之截圖，其顯示包含該裝配之三個完整的視圖、完整的形態、完整的方位、完整的RMS誤差、自我一致性誤差以及檢驗結果的運作期間結果，；圖6為闡述本發明訓練期間階段之一流程圖；圖7為闡述本發明運作期間階段之一流程圖；圖8為闡述涉及三個3D標點的本發明一運作期間階段的一觀點之一流程圖；圖9為闡述涉及一致性檢查的本發明一運作期間階段的一觀點之一流程圖；圖10為闡述本發明通用訓練期間階段的一流程圖；以及圖11為闡述本發明通用運作期間階段的一流程圖。
100‧‧‧相機
102‧‧‧相機
104‧‧‧相機
106‧‧‧次組件
108‧‧‧次組件
110‧‧‧次組件
111‧‧‧部件
112‧‧‧基座

Claims (52)

  1. 一種用以驗證一部件之正確裝配的方法，該部件具有複數個次組件，該方法包含：在訓練期間；設置至少兩台相機，致使至少其中一台相機的視野包含該部件之至少一個次組件；校準該至少兩台相機之每一台，至少藉以將影像座標相關於實體座標；針對至少兩個次組件之每一個，使用該至少兩台相機之每一台而在一正確裝配位置中捕捉此組件之一影像；針對至少兩個次組件之每一個，使用該至少兩台相機之每一台，選擇一包含該次組件的訓練視窗，並且選擇在每一個訓練窗中次組件上的相同標點，該相同標點充當與該次組件相關連的一原點；針對至少兩個次組件之每一個，藉由三角測量來計算該次組件之一所期望的3D位置；針對至少兩個次組件之每一個，使用該訓練視窗與其所相應的原點，以在該訓練視窗中產生該次組件的一2D搜尋模型；選擇檢驗參數；在運作期間；針對所要驗證的一已裝配部件之至少兩個次組件中每一個，使用該至少兩台相機之每一台，以一在候選的裝配位置中捕捉次組件之一影像； 針對該至少兩個次組件之每一個，使用該次組件之2D搜尋模型來找出在該候選的裝配位置中該組件之影像，藉以提供該次組件之原點的一已測量2D位置；針對該至少兩個次組件之每一個，藉由三角測量來計算該次組件之一已測量3D位置；針對該至少兩個次組件之每一個，計算在該次組件的已測量3D位置以及該次組件的一各別正確3D位置之間的3D位置之一差異；以及比較3D位置上之差異與該等檢驗參數，藉以對判斷該部件是否正確裝配有所貢獻。
  2. 如申請專利範圍第1項之方法，其中同時捕捉訓練中的影像。
  3. 如申請專利範圍第1項之方法，其中同時捕捉運作期間的影像。
  4. 如申請專利範圍第1項之方法，其中設置至少兩台相機致使至少其中一台相機之視野包含該部件的至少一個組件之步驟係包含：設置至少兩台預校準之相機，藉此致使不需要使用者執行校準該至少兩台相機中每一台之步驟，至少藉以將影像座標相關於實體座標。
  5. 如申請專利範圍第1項之方法，其中的比較包含：比較3D位置中差異之一單一組件以及單一組件檢驗參數，藉以對判斷該部件是否裝配正確有所貢獻。
  6. 如申請專利範圍第5項之方法，其中該單一組件為 z－位置。
  7. 如申請專利範圍第1項之方法，其中設置至少兩台相機致使至少其中一台相機的視野包含該部件之至少一個次組件係包含：設置三台相機，致使每一台相機的視野包含該部件之至少一個次組件。
  8. 如申請專利範圍第1項之方法，其中校準該至少兩台相機之每一台包含：判斷該至少兩台相機中每一台的一相機原點之一3D位置。
  9. 如申請專利範圍第8項之方法，其中在訓練時間，三角測量包含：使用每一台相機的視野中該次組件原點之一2D位置、以及每一台相機的相機原點之3D位置。
  10. 如申請專利範圍第1項之方法，其中在訓練期間，選擇檢驗參數包含：選擇定義一已測量3D位置能夠可接受地不同於一正確3D位置的一程度之距離容限。
  11. 如申請專利範圍第1項之方法，其中在訓練期間，產生在該訓練視窗中該次組件之一2D搜尋模型包含：產生一旋轉不變與尺度不變搜尋模型。
  12. 如申請專利範圍第11項之方法，其中在運作期間，三角測量包含：使用每一台相機視野中該次組件原點之已測量2D位 置、以及每一台相機的相機原點之3D位置。
  13. 如申請專利範圍第1項之方法，其中計算該次組件的已測量3D位置以及該次組件之各別正確3D位置之間的3D位置中之一差異包含：計算該已測量3D位置以及該各別正確3D位置之間高度上之一差異。
  14. 如申請專利範圍第1項之方法，在運作期間，進一步包含：使用各別次組件之複數個3D位置來計算該部件的一整體形態。
  15. 如申請專利範圍第14項之方法，其中計算部件之一整體形態包含：計算一整體形態之誤差；以及找出會將該整體形態誤差最小化之一形態。
  16. 如申請專利範圍第15項之方法，進一步包含：比較該整體形態誤差以及該等檢驗參數，藉以對判斷該部件是否正確裝配有所幫助。
  17. 如申請專利範圍第1項之方法，在運作期間，其中藉由三角測量來計算該次組件之一已測量3D位置包含：計算一誤差測量值；以及比較該誤差測量值以及該等檢驗參數，藉以對判斷該部件是否正確裝配有所幫助。
  18. 如申請專利範圍第1項之方法，其中的部件包含至少四個次組件，該方法在運作期間進一步包含： 選擇三個次組件之集合，省去至少第四個次組件；使用該三個組件的集合來計算該部件之一整體形態；使用該部件的整體形態來映射相應於該至少第四個次組件之一次組件的一正確3D位置，藉以提供一已映射之正確3D位置；比較該至少第四個次組件之一已測量位置至該所映射正確3D位置，藉以提供一一致性誤差；以及比較該一致性誤差與該等檢驗參數，藉以對判斷該部件是否正確裝配有所貢獻。
  19. 如申請專利範圍第18項之方法，其中選擇至少兩個的複數個集合，藉此提供複數個一致性誤差，其方法進一步包含：比較每一個一致性誤差以及該等檢驗參數，藉以對判斷該部件是否正確裝配有所貢獻。
  20. 如申請專利範圍第19項之方法，其中選擇至少三個的複數個集合。
  21. 如申請專利範圍第1項之方法，其中的部件包含至少三個次組件，該方法進一步包含：判斷一轉換，其將所找到已選擇標點之所測量3D位置和所選擇標點之正確3D位置之間的不一致性最小化；將一逆轉換施加於全部所找到已選擇標點之已測量3D位置，藉以在該部件之參考框架中進行比較；比較在該部件之參考框架中所找到已選擇標點之已測量3D位置以及所選擇標點之正確3D位置，藉以提供一部 件比較度量；以及比較該部件比較度量以及該等檢驗參數，藉以對判斷該部件是否正確裝配有所貢獻。
  22. 如申請專利範圍第21項之方法，其中的比較包含：比較在該部件之參考框架中所找到已選擇標點之所映射已測量3D位置的一單一組件以及所選擇標點之正確3D位置的一各別單一組件，藉以提供一單一組件部件比較度量；以及其中判斷該部件是否正確裝配包含；判斷該單一組件比較度量是否超過一單一組件可接收臨界值，並且藉此至少部分地判斷該部件是否已經正確裝配。
  23. 如申請專利範圍第1項之方法，其中選擇每一個訓練窗中該次組件上一相同標點包含：提供與所選擇多個標點對一獨一3D標點的一相當性測量值有關之資訊，藉以輔助一操作者在每一個訓練視窗中該次組件上選擇相同標點之用。
  24. 如申請專利範圍第23項之方法，其中相當性的測量值為一rms誤差。
  25. 一種包括至少兩台相機和一使用者介面之機械視覺裝置，其係根據申請專利範圍第1-24中任一項操作。
  26. 一種用以驗證一具有至少三個次組件的一部件正確裝配之方法，該方法包含：在訓練期間，針對每一個次組件，在該次組件上選擇一標點； 針對每一個次組件，判斷在一實體座標系統中所選擇標點之一正確3D位置；在運作期間，針對每一個次組件，在該次組件上各別找出所選擇的標點；針對每一個次組件，判斷在該實體座標系統中所找到已選擇標點之一已測量3D位置；比較所找到已選擇標點之已測量3D位置以及所選擇標點之正確3D位置，藉以提供一部件比較度量；以及判斷該部件比較度量是否超過一部件可接受之臨界值，並且藉此判斷該部件是否已經正確裝配。
  27. 如申請專利範圍第26項之方法，其中的比較包含：比較所找到已選擇標點之已測量3D位置之一單一組件以及所選擇標點之正確3D位置的一各別單一組件，藉以提供一單一組件部件比較度量；以及其中判斷包含；判斷該單一組件比較度量是否超過一單一組件可接收的臨界值，並且藉此至少部分地判斷該部件是否已經正確裝配。
  28. 如申請專利範圍第27項之方法，其中比較一單一組件包含：分開比較所找到已選擇標點之已測量3D位置的每一個x、y與z維度中一組件以及已選擇標點之正確3D位置的每一個x、y與z維度中一各別單一組件，藉以提供每一個x、y與z維度中的一組件部件比較度量；以及 其中的判斷包含：判斷每一個x、y與z組件比較度量是否超過一相應的x、y與z可接受臨界值，並且藉此至少部分地判斷該部件是否已經正確裝配。
  29. 如申請專利範圍第28項之方法，其中的每一個x、y與z維度中之組件容限臨界值為使用者所選擇。
  30. 如申請專利範圍第26項之方法，其中的比較包含：針對每一個次組件，比較所找到已選擇標點之已測量3D位置以及所選擇標點之正確3D位置，藉以提供一3D位置誤差；以及比較每一個3D位置誤差，藉以提供一部件比較度量。
  31. 如申請專利範圍第26項之方法，其中的比較包含：判斷一轉換，其將所找到已選擇標點之所測量3D位置和所選擇標點之正確3D位置之間的不一致性最小化；計算所映射已測量3D位置與正確3D位置之間的一RMS誤差；以及提供該RMS誤差充當至少部分的部件比較度量。
  32. 如申請專利範圍第26項之方法，其中的比較包含：在運作期間，判斷一轉換，其將所找到已選擇標點之已測量3D位置和已選擇標點之正確3D位置之間的不一致性最小化；以及將一逆轉換施加至全部所找到已選擇標點之已測量3D位置，藉以在該部件的參考框架中進行比較；比較該部件參考框架中所找到已選擇標點之已測量3D 位置以及所選擇標點之正確3D位置，藉以提供一部件比較度量。
  33. 如申請專利範圍第32項之方法，其中的比較包含：比較該部件參考框架中所找到已選擇標點的所映射已測量3D位置之一單一組件以及所選擇標點的正確3D位置之一各別單一組件，藉以提供單一組件之部件比較度量；以及其中的判斷包含：判斷該單一組件比較度量是否超過一單一組件可接受臨界值，並且藉此至少部分地判斷該部件是否已經正確裝配。
  34. 如申請專利範圍第32項之方法，其中的比較包含：計算該部件參考框架中所找到已選擇標點的所映射已測量3D位置以及正確3D位置之間的一RMS誤差；以及提供該RMS誤差充當至少部分的部件比較度量。
  35. 如申請專利範圍第26項之方法，其中的比較包含：選擇已找到選擇標點之三個已測量3D位置；判斷一轉換，其將所選擇標點之相對應三個正確3D位置和所找到已選擇標點的三個已測量3D位置之間的不一致性最小化；使用該轉換以將第四個3D位置從所選擇標點之正確3D位置映射至所找到已選擇標點之一預測已測量3D位置；以及比較所找到的選擇標點之所預測已測量3D位置與所找到已選擇標點之一實際已測量3D位置，藉以提供一致性檢 查3D位置誤差。
  36. 如申請專利範圍第26項之方法，其中的比較包含：選擇已找到選擇標點之三個已測量3D位置；判斷一轉換，其將所選擇標點之相對應三個正確已測量3D位置和所找到已選擇標點之三個已測量3D位置之間的不一致性最小化；使用該轉換將第四個3D位置從所選擇標點之正確3D位置映射至所找到已選擇標點之一預測已測量3D位置；比較所找到已選擇標點之所預測已測量3D位置的一單一組件與所找到已選擇標點的一實際已測量3D位置之一單一組件，藉以提供至少對一部件比較度量之貢獻。
  37. 如申請專利範圍第35項之方法，其中就所找到選擇標點的三個已測量3D位置之複數個不同集合而言來重複申請專利範圍第33項之方法，藉此提供複數個一致性檢查3D位置誤差；以及計算總一致性檢查3D位置誤差；以及提供該總一致性檢查3D位置誤差充當至少部分的部件比較度量。
  38. 如申請專利範圍第35項之方法，其中就所找到選擇標點的三個已測量3D位置之複數個不同集合而言來重複申請專利範圍第39項之方法，藉此提供複數個一致性檢查3D位置誤差；以及計算總一致性檢查3D位置誤差；以及提供該總一致性檢查3D位置誤差充當至少部分的部件 比較度量。
  39. 如申請專利範圍第26項之方法，其中在運作期間，針對每一個次組件，藉由一操作者以人工從事選擇該次組件上的一標點。
  40. 如申請專利範圍第26項之方法，其中在運作期間，針對每一個次組件，該操作者選擇能夠在複數個訓練視窗之每一個中所看到的一標點，每一個訓練視窗皆會顯示三台各別已校準相機其中一台之一部分視野。
  41. 如申請專利範圍第40項之方法，其中係有至少三個訓練視窗。
  42. 如申請專利範圍第40項之方法，其中在運作期間，針對每一個次組件，該操作者藉由點選每一個訓練視窗中的標點來選擇複數個訓練視窗之每一個中的標點，藉以將一錯誤作用最小化。
  43. 如申請專利範圍第40項之方法，其中在運作期間，針對每一個次組件，訓練一2D搜尋模型以找出複數個訓練視窗之每一個中的次組件，而已選擇標點則充當該2D搜尋模型之一原點。
  44. 如申請專利範圍第43項之方法，其中的2D搜尋模型乃是基於其中一種：正規化相關性搜尋、旋轉不變與尺度不變搜尋、以及PatMax搜尋。
  45. 如申請專利範圍第26項之方法，其中在訓練期間，針對每一個次組件，選擇該次組件上的一標點包含： 選擇支承著複數個其他次組件之一基板表面上於一基準中心處的一點。
  46. 如申請專利範圍第26項之方法，其中在訓練期間，針對每一個次組件，使用三角測量來實現判斷一實體座標系統中所選擇標點的一正確3D位置。
  47. 如申請專利範圍第46項之方法，其中該三角測量的之一結果為一三角測量RMS誤差。
  48. 如申請專利範圍第47項之方法，其中將該三角測量RMS誤差與一容限臨界值相比較。
  49. 一種用以驗證具有複數個次組件的一部件正確裝配之方法，該方法包含：在訓練期間，在兩個次組件之每一個上選擇一標點；針對兩個次組件，判斷在一實體座標系統中所選擇標點的一正確3D位置；在運作期間，針對兩個次組件，在次組件上分別地找出所選擇標點；針對兩個次組件，判斷在該實體座標系統中所找到已選擇標點之一已測量3D位置；比較所找到已選擇標點之已測量3D位置以及所選擇標點之正確3D位置，藉以提供一部件比較度量；以及判斷該部件比較度量是否超過一部件可接受之臨界值，並且藉此判斷該部件是否已經正確裝配。
  50. 如申請專利範圍第49項之方法，其中的比較包含： 針對兩個次組件，比較所找到已選擇標點之已測量3D位置與所選擇標點之正確3D位置，藉以提供一3D位置誤差；以及組合兩3D位置誤差，藉以提供一部件比較度量。
  51. 如申請專利範圍第49項之方法，其中的比較包含：在訓練期間，在兩個次組件中每一個上選擇一標點，兩標點至少其中一個不同於先前所選擇的標點對；針對兩個次組件，判斷一實體座標系統中所選擇標點之一正確3D位置；在運作期間，針對兩個次組件，分別地找出該次組件上所選擇標點；針對兩個次組件，判斷該實體座標系統中所找到已選擇標點之一已測量3D位置；比較所找到已選擇標點之已測量3D位置以及所選擇標點之正確3D位置，藉以提供一次組件對跨距驗證度量；組合該次組件對跨距驗證度量以及至少一第二個次組件對跨距驗證度量，藉以提供一累加的次組件對跨距驗證度量；以及判斷該所累加次組件對跨距驗證度量是否超過一部件可接受臨界值，並且藉此判斷該部件是否已經正確裝配。
  52. 如申請專利範圍第51項之方法，其中就複數對所找到已選擇標點之已測量3D位置而言來重複申請專利範圍第51項之方法，藉此提供複數個次組件對跨距驗證度量；以 及計算總次組件對跨距驗證度量；以及提供該總次組件對跨距驗證度量充當至少一部分的一部件比較度量。
TW097118862A 2007-05-29 2008-05-22 用於自二維影像進行三維驗證的方法和機械視覺裝置 TWI518637B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2007/012637 WO2008147355A1 (en) 2007-05-29 2007-05-29 3d assembly verification from 2d images

Publications (2)

Publication Number Publication Date
TW200910263A TW200910263A (en) 2009-03-01
TWI518637B true TWI518637B (zh) 2016-01-21

Family

ID=39323766

Family Applications (1)

Application Number Title Priority Date Filing Date
TW097118862A TWI518637B (zh) 2007-05-29 2008-05-22 用於自二維影像進行三維驗證的方法和機械視覺裝置

Country Status (4)

Country Link
EP (1) EP2153410B1 (zh)
JP (1) JP5270670B2 (zh)
TW (1) TWI518637B (zh)
WO (1) WO2008147355A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8111904B2 (en) 2005-10-07 2012-02-07 Cognex Technology And Investment Corp. Methods and apparatus for practical 3D vision system
US8126260B2 (en) 2007-05-29 2012-02-28 Cognex Corporation System and method for locating a three-dimensional object using machine vision
US9533418B2 (en) 2009-05-29 2017-01-03 Cognex Corporation Methods and apparatus for practical 3D vision system
US11699247B2 (en) 2009-12-24 2023-07-11 Cognex Corporation System and method for runtime determination of camera miscalibration
US9393694B2 (en) 2010-05-14 2016-07-19 Cognex Corporation System and method for robust calibration between a machine vision system and a robot
US20120062725A1 (en) * 2010-09-10 2012-03-15 Gm Global Technology Operations, Inc. System for error-proofing manual assembly operations using machine vision
US9124873B2 (en) 2010-12-08 2015-09-01 Cognex Corporation System and method for finding correspondence between cameras in a three-dimensional vision system
CN102095373B (zh) * 2011-01-10 2012-11-07 上海理工大学 密封件尺寸检测系统
EP2538388B1 (en) 2011-06-20 2015-04-01 Alcatel Lucent Method and arrangement for image model construction
JP6444027B2 (ja) * 2013-12-09 2018-12-26 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、情報処理システムおよびプログラム
JP6285765B2 (ja) * 2014-03-18 2018-02-28 キヤノン株式会社 情報処理装置、情報処理方法
JP6347215B2 (ja) * 2015-01-16 2018-06-27 スズキ株式会社 形状検査装置、形状検査方法およびプログラム
US10223589B2 (en) * 2015-03-03 2019-03-05 Cognex Corporation Vision system for training an assembly system through virtual assembly of objects
CN110068308B (zh) * 2019-05-16 2021-03-23 合刃科技（深圳）有限公司 一种基于多目相机的测距方法及测距系统
CN111964606B (zh) * 2020-08-18 2021-12-07 广州小鹏汽车科技有限公司 一种三维信息的处理方法和装置
TWI790738B (zh) 2020-11-20 2023-01-21 財團法人工業技術研究院 用於防止動暈之圖像顯示系統及圖像顯示方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0496184A (ja) * 1990-08-08 1992-03-27 Mitsubishi Heavy Ind Ltd 自動検査装置
JPH04208803A (ja) * 1990-11-30 1992-07-30 Yaskawa Electric Corp プリント基板実装検査装置
JPH04310851A (ja) * 1991-04-10 1992-11-02 Nec Corp はんだ付け外観検査装置
JP3126159B2 (ja) * 1991-04-12 2001-01-22 松下電器産業株式会社 連続検査装置
JP3461199B2 (ja) * 1994-06-22 2003-10-27 富士写真フイルム株式会社 組立体の検査方法及び装置
JP2970835B2 (ja) * 1995-08-14 1999-11-02 日本電気株式会社 三次元座標計測装置
JPH09133519A (ja) * 1995-11-10 1997-05-20 Ishikawajima Harima Heavy Ind Co Ltd ３次元形状構造物の検査方法
JP2003504607A (ja) * 1999-07-13 2003-02-04 ビーティ エルウィン エム 電子部品の三次元検査装置及び方法
US8111904B2 (en) * 2005-10-07 2012-02-07 Cognex Technology And Investment Corp. Methods and apparatus for practical 3D vision system

Also Published As

Publication number Publication date
EP2153410B1 (en) 2016-11-16
WO2008147355A1 (en) 2008-12-04
JP2010528318A (ja) 2010-08-19
EP2153410A1 (en) 2010-02-17
JP5270670B2 (ja) 2013-08-21
TW200910263A (en) 2009-03-01

Similar Documents

Publication Publication Date Title
TWI518637B (zh) 用於自二維影像進行三維驗證的方法和機械視覺裝置
CN107525479B (zh) 识别物体表面点或区域的方法、光学传感器以及存储介质
CN109313814B (zh) 照相机校准系统
JP4885584B2 (ja) レンジファインダ校正方法及び装置
JP4976402B2 (ja) 実用的な３ｄビジョンシステムの方法および装置
Sun et al. An empirical evaluation of factors influencing camera calibration accuracy using three publicly available techniques
JP7037876B2 (ja) 自動工業検査における３ｄビジョンの使用
JP2013504752A (ja) 非接触物体検査
EP3314571B1 (en) Method and system for detecting known measurable object features
EP3709270A1 (en) Registration of individual 3d frames
JP2016186421A (ja) 画像処理方法
US20210148694A1 (en) System and method for 3d profile determination using model-based peak selection
JP2019090782A (ja) 三次元形状計測装置及び三次元形状計測方法
EP3229209A1 (en) Camera calibration system
JP2005140547A (ja) ３次元計測方法、３次元計測装置、及びコンピュータプログラム
JP2017198470A (ja) 計測装置、計測方法、システム及び物品の製造方法
CN116563391B (zh) 一种基于机器视觉的激光结构自动标定方法
WO2020012707A1 (ja) ３次元測定装置及び方法
US10967517B2 (en) Information processing apparatus, method, and storage medium for presenting information for calibration
Santo et al. Light structure from pin motion: Simple and accurate point light calibration for physics-based modeling
CN110906884B (zh) 三维几何形状测量设备和三维几何形状测量方法
TWI650530B (zh) 檢測系統及其方法
KR20200032442A (ko) 자기보정이 가능한 3차원 정보 생성 장치 및 방법
CN115412719B (zh) 相机镜头与光源的对位方法
JP2018044863A (ja) 計測装置、計測方法、システム及び物品の製造方法