TW201520540A - 用於機器視覺檢驗的檢驗設備、方法和電腦程式產品 - Google Patents

用於機器視覺檢驗的檢驗設備、方法和電腦程式產品 Download PDF

Info

Publication number
TW201520540A
TW201520540A TW102147210A TW102147210A TW201520540A TW 201520540 A TW201520540 A TW 201520540A TW 102147210 A TW102147210 A TW 102147210A TW 102147210 A TW102147210 A TW 102147210A TW 201520540 A TW201520540 A TW 201520540A
Authority
TW
Taiwan
Prior art keywords
color
information
target object
image
instant
Prior art date
Application number
TW102147210A
Other languages
English (en)
Other versions
TWI528028B (zh
Inventor
Chung-Li Tai
Chih-Kai Chiu
Yao-Yang Tsai
Original Assignee
Ind Tech Res Inst
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ind Tech Res Inst filed Critical Ind Tech Res Inst
Priority to CN201310737172.2A priority Critical patent/CN104677911B/zh
Publication of TW201520540A publication Critical patent/TW201520540A/zh
Application granted granted Critical
Publication of TWI528028B publication Critical patent/TWI528028B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Architecture (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Geometry (AREA)

Abstract

一種用於視覺機器檢驗的方法、設備以及電腦程式產品。用於視覺機器檢驗的方法包括提供由影像擷取系統獲取的目標的深度資訊，根據由影像擷取系統獲取的至少一個即時圖像的深度資訊來確定預定檢驗區域中的目標物體的即時三維資訊。所述方法更包括根據所述即時三維資訊來將所述目標物體的即時彩色圖像的彩色像素資訊投影到三維虛擬模型。所述即時彩色圖像可由彩色相機系統獲取。所述方法更包括產生彩色三維虛擬模型。所述彩色三維虛擬模型可包括所述彩色像素資訊。

Description

用於機器視覺檢驗的檢驗設備、方法和電腦程式產品
本發明是有關於一種檢驗設備、方法和電腦程式產品，且特別是有關於一種使用三維資訊來檢驗目標物體的機器視覺檢驗設備、方法和電腦程式產品。
在過去二、三十年中，機器視覺的使用增加，並且機器視覺在自動化製造系統的設計中扮演重要的角色。例如印刷電路板(printed circuit board,PCB)、積體電路、液晶顯示器(liquid crystal display,LCD)、電晶體、汽車零件、農業機器以及在工廠中製造的其它產品等各種各樣產品可能需要在生產過程期間進行檢驗。不恰當地製造的元件可能會對含有所述不恰當地製造的元件的系統造成廣泛損壞、致使全部或至少部分無用、無效或至少不能充分起作用或者以其它方式損害所述系統。因此，歸因於與功能故障相關聯的高成本而需要在使用之前確保所有元件都是恰當地製造的。機器視覺系統已用於對產品進行品質控制，例如， 通過識別產品的缺陷(例如，元件缺失、元件歪斜、元件顛倒、元件不正確地放置或元件標值錯誤)來進行。物體的放置和旋轉的變化能夠導致位置誤差和/或失真誤差並且對檢測和準確性產生負面影響。並且，同一生產線上的不同物體的變化能夠對檢測和準確性產生負面影響。需要迅速地檢測和分析物體並且快速地評估物體的正確組裝。因此，需要改進的機器視覺系統。
通過所付出的努力、獨創性和創新性，已實現用以改進機器視覺系統的方案並且在本文中對其進行描述。本文中描述檢驗設備、方法和非暫時性電腦程式產品，其提供改進的機器視覺系統，例如，包含目標物體的即時三維資訊連同彩色像素資訊，並且進而經配置以識別目標物體的缺陷(例如在預定檢驗區域中並且例如識別目標物體的不恰當製造)。本揭露的實施例將根據立體二維圖像的特徵和物體與三維深度和位置資訊進行組合以實現對物體的迅速檢測和分析。
根據本揭露的一實施例，提供一種方法。所述方法包括根據由影像擷取系統獲取的至少一個即時圖像的深度資訊來確定預定檢驗區域中的目標物體的即時三維資訊。所述方法更包括根據即時三維資訊來將目標物體的即時彩色圖像的彩色像素資訊投影到三維虛擬模型。即時彩色圖像可由彩色相機系統獲取。所述方法更包括產生彩色三維虛擬模型。彩色三維虛擬模型可包括彩 色像素資訊。
根據本揭露的一實施例，提供一種用於視覺機器檢驗的設備。所述設備包括處理器。處理器經配置以接收由影像擷取系統獲取的目標的深度資訊，並且根據物體的深度資訊來確定預定檢驗區域中的目標物體的即時三維資訊。處理器經進一步配置以接收由彩色相機系統獲取的目標的至少一個即時彩色圖像，並且根據即時三維資訊和即時彩色圖像來將目標物體的即時彩色圖像的彩色像素資訊投影到三維虛擬模型。處理器經進一步配置以產生彩色三維虛擬模型。彩色三維虛擬模型包括彩色像素資訊。
根據本揭露的一實施例，提供一種電腦程式產品。所述電腦程式產品包括非暫時性電腦可讀存儲媒體以及其中所存儲的電腦程式指令。包括程式指令的電腦程式指令經配置以根據由影像擷取系統獲取的至少一個即時圖像的深度資訊來確定預定檢驗區域中的目標物體的即時三維資訊，根據即時三維資訊來將目標物體的即時彩色圖像的彩色像素資訊投影到三維虛擬模型(即時彩色圖像是由彩色相機獲取的)，並且產生彩色三維虛擬模型，其中彩色三維虛擬模型包括彩色像素資訊。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
100‧‧‧視覺機器系統
102‧‧‧影像擷取系統
104‧‧‧彩色相機系統
106‧‧‧視覺機器設備
108‧‧‧目標物體
110‧‧‧預定檢驗區域
112‧‧‧第一子區域
114‧‧‧第二子區域
116‧‧‧區域
300‧‧‧電路
302‧‧‧處理器
304‧‧‧記憶體
306‧‧‧通信模組
308‧‧‧輸入/輸出模組
310‧‧‧機器視覺模組
S202~S218‧‧‧步驟
圖1A繪示根據本揭露一實施例的視覺機器系統的示意圖。
圖1B繪示根據本揭露一實施例的視覺機器系統的方塊圖。
圖1C和圖1D繪示根據本揭露一實施例，於視覺機器系統中檢驗區域的子區域的示意圖。
圖2繪示根據本揭露一實施例的識別目標物體缺陷的流程圖。
圖3繪示根據本揭露實施例的電路示意圖。
下文將參考附圖更全面地描述本揭露，附圖中繪示了本揭露的實施例。然而，本揭露可依照許多不同形式實現，且不應視為限於本文中所闡述的實施例；而是，提供這些實施例以使得本揭露更為詳盡且完整，且這些實施例將向所屬領域的技術人員全面傳達本揭露的範圍。本文可參考許多數學或數位運算式、值以及各種元件等的位置。然而應理解，這些運算式、值、位置等可指絕對或近似運算式、值或位置，以使得實施例可包含在多通道光學單元中可能發生的變化，例如歸因於工程誤差而引起的變化。下文中，相同或相似的標號代表相同或相似的元件。
本文中實施例所揭露的任何內容包含特徵、功能、設計等，並不應解釋為比其它特徵、功能、設計等較為優選或有利。而僅是用以具體呈現本案的概念。
圖1A說明根據本揭露一實施例的視覺機器系統100的示意圖。視覺機器系統100可包括影像擷取系統102、彩色相機系統104和視覺機器設備106。圖1B繪示根據本揭露一實施例的視覺機器系統100的方塊圖，其中視覺機器系統100包括影像擷取系統102、彩色相機系統104和視覺機器設備106。
本揭露的實施例可至少使用相機來獲得關於目標物體的深度資訊並且計算目標物體的定位(例如，位置)和方位，例如使用關於相機的已知相對關係和相機參數來計算目標物體與相機之間的空間關係。並且，本揭露的實施例可至少使用相機來獲得關於目標物體的彩色資訊，並且根據彩色相機和彩色資訊與目標物體之間的所計算的空間關係，將彩色資訊投影到目標物體的三維資訊上。彩色資訊可包括灰階資訊。可使用目標物體的這些即時三維資訊，迅速檢測目標物體或多個不同目標物體(例如，同一生產線上的多個不同目標物體)，並且進而減少歸因於由目標物體的位置和定向造成的放置和視角失真所產生的誤差，舉例來說，這些資訊可有效適應目標物體的放置和旋轉角度的變化，以便轉換和/或校正機器視覺檢驗的位置偏移、觀看角度和維度視角。另外，使用多角度檢測和視角失真校正可進一步改進本揭露的機器視覺檢驗。
參看圖1A和圖1B，影像擷取系統102可包括一個或一個以上影像擷取相機，其在相同或不同時間從不同視點並且通過一個或一個以上感測器來擷取目標物體(例如，目標物體108)的 一個或一個以上即時圖像，例如，經由電荷耦合裝置(charged-coupled-device,CCD)圖像感測器、飛行時間(time-of-flight)感測器和/或雷射感測器(例如，雷射三角測量感測器)來擷取影像。可將每一影像擷取相機或系統相對於目標物體的位置提供給視覺機器設備106。為了比較和/或整合從不同測量獲得的即時圖像並且將不同即時圖像變換為一個座標系統，可使用所述至少一個即時圖像和至少一個參考圖像，例如，分別在圖2的流程圖中的步驟S202和S204處提供的即時圖像和參考圖像。可預先擷取或由電腦產生所述參考圖像，並且將其存儲在視覺機器設備106能夠存取的電腦可讀存儲媒體中。在接收到所述至少一個參考圖像和所述至少一個即時圖像後，影像擷取系統102可在步驟S206處執行圖像對齊過程。在圖像對齊過程期間，可將即時圖像在幾何上與參考圖像對準。舉例來說，圖像對齊過程可為根據區域以比較圖像中的圖案的過程。此外，圖像對齊過程也可為根據特徵以找出圖像間相對應的特徵(例如點、線和/或區)。在使用根據特徵的過程的例子(例如，尺度不變特徵變換(scale invariant feature transform,SIFT)方法)中，可檢測並提取即時圖像中的即時特徵。接著可在映射(mapping)過程中將即時特徵與參考圖像中的對應點、線和/或區的參考特徵進行比較。隨後可應用隨機取樣一致性(random sampling consensus,RANSAC)過程來消除不正確地映射的特徵。接著可在步驟S208處獲取並計算即時三維資訊(例如，即時圖像中的深度資訊)，例 如，通過對準即時圖像中的許多即時特徵來獲取並計算。還可使用其它方法來獲取即時三維資訊。舉例來說，影像擷取系統102可通過將雷射線投影到目標物體上並且測量雷射線中的位移或者通過測量光從目標物體到感測器的反射來獲取即時三維資訊。同樣，影像擷取系統102可通過將雷射圖案投影到目標物體上並且計算所述圖案的失真來獲取即時三維資訊。
參看圖1A和圖1B，影像擷取系統102可將所述至少一個即時圖像的即時三維資訊(例如，深度資訊)提供給視覺機器設備106。視覺機器設備106可在步驟S212處使用所述至少一個即時圖像的即時三維資訊以及參考圖像的預先計算並存儲的參考三維資訊來確定目標物體108的即時三維資訊(例如，在預定檢驗區域110中)。目標物體108的即時三維資訊可包括位置資訊，例如，分別在X軸、Y軸和Z軸上的x、y、z。所述三維資訊還可包括定向資訊，例如，關於所述軸中的其中之一的方位角φ或傾斜角θ。目標物體108的即時三維資訊可為相對於影像擷取系統102的位置。可通過使即時圖像與參考圖像之間的差異減到最小來找到x、y、z、φ和θ的最佳解。即時圖像與參考圖像之間 的最小三維資訊差異的引數值可由argmin表 示，其中n是特徵的數目，i是第i個特徵，是即時圖像的即 時三維資訊，是參考圖像的參考三維資訊，並且m(x)是目標 物體108的即時三維資訊。
彩色相機系統104可包括至少一個彩色相機，包括一個或一個以上感測器，例如，彩色圖像感測器，其可為(例如)具有RGB彩色濾光片陣列(color filter array,CFA)的拜爾感測器、FOVEON X3TM CMOS感測器，或使用三個分離的彩色圖像感測器，例如，三電荷耦合裝置(3CCD)圖像感測器。彩色相機系統104的至少一個彩色相機相對於影像擷取系統102的至少一個影像擷取相機的位置可為固定且預定的。位置資訊可提供給視覺機器設備106。視覺機器設備106可根據(例如)由影像擷取系統102提供的深度資訊來確定目標物體108相對於影像擷取系統102的至少一個擷取相機的三維資訊。當影像擷取系統102的至少一個影像擷取相機與彩色相機系統104的至少一個彩色相機之間的相對位置預定時，視覺機器設備106可根據目標物體108的深度資訊和彩色相機系統104的至少一個彩色相機相對於影像擷取系統102的至少一個影像擷取相機的位置來確定目標物體108相對於彩色相機系統104的至少一個彩色相機的位置和/或方位。
彩色相機系統104可擷取預定檢驗區域110中的即時圖像中的彩色像素資訊，並且將所述彩色像素資訊提供給視覺機器設備106。根據彩色相機系統104的至少一個彩色相機相對於目標物體108的位置，視覺機器設備106可在步驟S214處將彩色像素資訊投影到三維虛擬模型上以產生具有所述彩色像素資訊的彩色三維虛擬模型。所述三維虛擬模型可為由影像擷取系統102提供的即時三維虛擬模型、由影像擷取系統102預先提供的參考三維 虛擬模型，或例如由三維掃描器提供並且存儲在視覺機器設備106能夠存取的電腦可讀存儲媒體中的預定三維虛擬模型。或者，所述三維虛擬模型可為由影像擷取系統102提供的即時三維虛擬模型、由影像擷取系統102預先提供的參考三維虛擬模型和預定三維虛擬模型中的至少兩者的組合所產生並且存儲在視覺機器設備106能夠存取的電腦可讀存儲媒體中的三維虛擬模型。
視覺機器設備106可接著進行分析來找出彩色三維虛擬模型與參考模型之間的對應或對應缺失，以識別預定檢驗區域110中的彩色像素資訊的相似性和/或差異。參考模型可為參考彩色圖像或參考彩色三維模型。如圖1A所示，檢驗區域110可包括如下文所描述的圖1C的正視圖所示的第一子區域112，以及如下文所描述的圖1D的正視圖所示的第二子區域114。在將第一子區域112中的彩色像素資訊與參考模型進行比較之後，視覺機器設備106可確定第一子區域112中的彩色像素資訊與其對應參考區域的資訊相似或相同，或者至少在超出預定義的門檻比較值的程度上相似或相同。因此，在第一子區域112中，未檢測到缺陷。相比之下，視覺機器設備106可發現，在第二子區域114與其對應參考模型之間存在彩色像素資訊差異。舉例來說，可根據彩色三維虛擬模型中的第二子區域114中的彩色像素資訊與參考模型中的對應區域中的資訊之間的比較而發現在第二子區域114中的區域116中不存在來自針對目標物體108的元件的參考模型的預期色彩。
視覺機器設備106可在步驟S216處將彩色三維虛擬模型 的視點改變為預定視點。舉例來說，如圖1C和圖1D所示，視覺機器設備106可將檢驗區域108的視點旋轉到圖1C中的第一子區域112的正視圖和圖1D中的第二子區域114的正視圖。視覺機器設備106可接著在步驟S218處根據以上所進行的比較來識別區域116中的鎖定機構可能丟失(例如，根據在區域116處從參考模型預期的元件)，如可由視覺機器設備106通過關於參考模型和參考模型的對應元件對彩色像素資訊和/或位置資訊進行資料庫查找來確定。
視覺機器設備106可包含經配置以執行本文中所描述的一些或所有功能和過程的電路、連網處理器等，並且可為任何合適的處理裝置。在一些實施例中，視覺機器設備106可相對於影像擷取系統102和/或彩色相機系統104作為“雲端處理”(cloud computing)。在這種意義上，視覺機器設備106可包含一個或一個以上連網處理裝置，其執行互連和/或分散的功能。為了避免不必要地使本揭露過度複雜化，本文中將視覺機器設備106繪示並描述為單個處理裝置。
圖3繪示根據本揭露一實施例的電路300示意方塊圖，其中的一些或全部可包含在視覺機器系統100、視覺機器設備106、影像擷取系統102和/或彩色相機系統104中。根據一些實施例，電路300可包含各種元件，例如，一個或一個以上處理器302、記憶體304、通信模組306和/或輸入/輸出模組308。
在一些實施例中，例如當電路300包含在視覺機器設備 106中時，還可包含機器視覺模組310或者改為包含機器視覺模組310連同處理器302。如本文中所提及，“模組”包含經配置以執行一個或一個以上特定功能的硬體、軟體和/或韌體。就這來說，如本文中所描述的電路300的構件可體現為(例如)電路、硬體元件(例如，經合適地程式設計的處理器、組合邏輯電路、積體電路等)、能夠由經合適地配置的處理裝置(例如，處理器302)執行的包括存儲於非暫時性電腦可讀媒體(例如，記憶體304)上的電腦可讀程式指令的電腦程式產品或其某種組合。
處理器302可(例如)體現為各種處理構件，包含具有附隨數位訊號處理器的一個或一個以上微處理器、沒有附隨數位訊號處理器的一個或一個以上處理器、一個或一個以上輔助處理器、一個或一個以上多核心處理器、一個或一個以上控制器、處理電路、一個或一個以上電腦、包含例如特定應用積體電路(application specific integrated circuit,ASIC)或現場可程式閘陣列(field programmable gate array,FPGA)等積體電路的各種其它處理元件，或其某種組合。因此，儘管在圖2中說明為單個處理器，但在一些實施例中，處理器302可包括多個處理構件。所述多個處理構件可體現在單個計算裝置上或者可分佈在共同配置以充當電路300的多個計算裝置上。所述多個處理構件可彼此操作性地連通，並且可共同配置以執行如本文所描述的電路300的一個或一個以上功能性。在一個實例實施例中，處理器302可經配置以執行存儲在記憶體304中或處理器302能夠以其它方式存取 的指令。這些指令在由處理器302執行時可使電路300執行本文所描述的功能中的其中之一或更多。
無論通過硬體、韌體/軟體方法還是通過其組合來配置，處理器302可包括能夠在相應地進行配置的同時執行根據本揭露的實施例的操作的實體。因此，舉例來說，當處理器302體現為ASIC、FPGA等時，處理器302可包括用於進行本文所描述的一個或一個以上操作的經特殊配置的硬體。作為另一實例，當處理器302可體現為例如可存儲在記憶體304中的指令的執行器時，所述指令可對處理器302進行特殊配置以執行本文所描述的一個或一個以上演算法、方法、操作或功能。舉例來說，處理器302可經配置以確定目標物體的即時三維資訊，將彩色像素資訊投影到目標物體的三維虛擬模型上，改變目標物體的三維虛擬模型的視點，或者根據參考模型來識別目標物體的缺陷，等等。
記憶體304可包括(例如)揮發性記憶體、非揮發性記憶體或其某種組合。雖然在圖3中說明為單個記憶體，但記憶體304可包括多個記憶體組件。所述多個記憶體元件可體現在單個計算組件上或分佈在多個計算組件上。在各種實施例中，記憶體304可包括(例如)硬碟、隨機存取記憶體、高速緩衝記憶體、快閃記憶體、壓縮光碟唯讀記憶體(CD-ROM)、固態記憶體、數位通用光碟唯讀記憶體(DVD-ROM)、光碟、經配置以存儲資訊的電路、積體電路、化學/生物記憶體或其某種組合。記憶體304可經配置以存儲資訊、資料、應用程式、指令等以用於使電路300能 夠實行根據本文所論述的實施例的各種功能。舉例來說，在至少一些實施例中，記憶體304可經配置以緩衝用於由處理器302處理的輸入資料。此外，在至少一些實施例中，記憶體304可經配置以存儲用於由處理器302執行的程式指令和/或用於由處理器302處理的資料。記憶體304可存儲呈靜態和/或動態資訊形式的資訊。這個所存儲的資訊可由電路300在執行其功能性的過程期間存儲和/或使用。
通信模組306可實現為經配置以從另一裝置(例如，第二電路300等)接收資料和/或將資料傳輸到另一裝置(例如，第二電路300等)的任何通信元件或構件，其以電路、硬體、包括存儲於電腦可讀媒體(例如，記憶體304)上且由處理裝置(例如，處理器302)執行的電腦可讀程式指令的電腦程式產品或其組合來體現。在一些實施例中，通信模組306(如本文中所論述的其它元件)可至少部分地體現為處理器302或者另外由處理器302控制。就這來說，通信模組306可例如經由匯流排來與處理器302通信。通信模組306可包含(例如)天線、發射器、接收器、收發器、網路介面卡和/或支援硬體，和/或用於實現通信的韌體/軟體。通信模組306可經配置以使用可用於通信的任何協議來接收和/或傳輸可由記憶體304存儲的任何資料。通信模組306可另外和/或例如經由匯流排來與記憶體304、輸入/輸出模組308和/或電路300的任何其它元件通信。通信模組306可經配置以使用一個或一個以上通信協定，例如，短消息服務(short messaging service,SMS)、 Wi-Fi(例如，802.11協定、藍牙等)、射頻系統(例如，900兆赫、1.4千兆赫和5.6千兆赫通信系統)、紅外線、GSM、GSM加EDGE、CDMA、四頻(quadband)和其它蜂窩式協議、VOIP，或任何其它合適的協議。
輸入/輸出模組308可與處理器302通信以接收輸入的指示和/或提供可聽、視覺、機械或其它輸出。在這個意義上，輸入/輸出模組308可包含用於實施類比-數位(analog-to-digital)和/或數位-類比(digital-to-analog)資料轉換的構件。輸入/輸出模組308可包含(例如)對顯示器、觸控式螢幕、鍵盤、按鈕、點擊轉輪、滑鼠、操縱杆、影像擷取裝置、麥克風、揚聲器、生物掃描器和/或其它輸入/輸出機構的支持。與電路300應用在經設計以用於複數用戶交互使用的終端使用者機器或其它類型的裝置的實施例相比，於電路300應用在伺服器或資料庫的實施例中，輸入/輸出模組308的數量較少。在一些實施例(如本文中所論述的其它元件)中，可甚至從電路300中消除輸入/輸出模組308。或者，例如在電路300應用於伺服器或資料庫的實施例中，至少一些輸入/輸出模組308被應用為由使用者使用以與電路300通信的設備。輸入/輸出模組308可例如經由匯流排來與記憶體304、通信模組306和/或任何其它元件通信。雖然可在電路300中包含一個以上輸入/輸出模組和/或其它元件，但在圖3中僅繪示一個以避免使本揭露(例如，如本文中所論述的其它元件)過度複雜化。
在一些實施例中，還可包含或者改為包含機器視覺模組 310，其經配置以執行與確定目標物體的即時三維資訊、將彩色像素資訊投影到目標物體的三維虛擬模型上、改變目標物體的三維虛擬模型的視點或根據參考模型來識別目標物體的缺陷等等相關的本文所論述的功能性。在一些實施例中，機器視覺模組310的一些或所有功能性可由處理器302執行。就這來說，本文所論述的實例過程可由至少一個處理器302和/或機器視覺模組310來執行。舉例來說，非暫時性電腦可讀存儲媒體可經配置以存儲固件、一個或一個以上應用程式和/或其它軟體，其包含可經執行以控制系統300的元件的處理器來實施各種操作(包含本文所示的實例)的指令和其它電腦可讀程式碼部分。因而，一系列電腦可讀程式碼部分可在一個或一個以上電腦程式產品中體現，並且可與裝置、伺服器、資料庫和/或其它可程式設計設備一起使用以產生本文所論述的機器實施過程。
可將任何此類電腦程式指令和/或其它類型的代碼載入到電腦、處理器和/或其它可程式設計設備的電路上以產生機器，使得執行所述代碼的電腦、處理器或其它可程式設計電路可為用於實施各種功能(包含本文所描述的那些功能)的構件。在一些實施例中，還可利用一個或一個以上外部系統(例如，遠端雲計算和/或資料存儲系統)來提供本文所論述的功能性中的至少一些。
如上文所描述並且如根據本揭露將瞭解，各種實施例可實施為方法、媒體、裝置、伺服器、資料庫、系統等。因而，實施例可包括各種形式，包含完全硬體或軟體與硬體的任何組合。 此外，實施例可採用在至少一個非暫時性電腦可讀存儲媒體上的電腦程式產品的形式，所述存儲媒體中體現有電腦可讀程式指令(例如，電腦軟體)。可利用任何合適的電腦可讀存儲媒體，包含非暫時性硬碟、CD/DVD-ROM、快閃記憶體、光學存儲裝置、量子存儲裝置、化學存儲裝置、生物存儲裝置、磁性存儲裝置等。
上文已參考例如功能模組、系統元件和電路等元件來描述實施例。下文是對流程圖的論述，所述流程圖描述可由上文所論述的一個或一個以上元件及/或構件和/或其它經合適配置的電路實施的功能性。
根據本揭露的實施例，視覺機器設備106大體上在電腦程式的控制下操作。用於執行本揭露實施例的方法的電腦程式可包含一個或一個以上電腦可讀程式碼部分，例如一系列電腦指令，其被體現或以其它方式存儲在電腦可讀存儲媒體(例如，非揮發性存儲媒體)上。
圖2是繪示根據本揭露實施例的方法、系統和電腦程式的過程和控制的流程圖。流程圖的每一方塊或步驟以及流程圖中的方塊或步驟的組合可由各種構件(例如，單獨的或與固件組合的硬體，和/或包含一個或一個以上電腦程式指令的軟體)來實施。此外，可將任何此類電腦程式指令載入到電腦、專用電腦或其它可程式設計資料處理設備(例如，處理器302)上，使得電腦程式產品包含在電腦或其它可程式設計資料處理設備(例如，硬體)上執行以創建用於實施本文中所描述的功能(例如，圖2的流程 圖的方塊或步驟中所指定的功能)的構件的指令。
這些電腦程式指令還可存儲在電腦可讀存儲裝置(例如，記憶體304)中，所述存儲裝置可指導電腦或其它可程式設計資料處理設備以特定方式起作用，使得存儲在電腦可讀存儲裝置中的指令產生包含用於實施本文所描述的功能(例如，圖2的流程圖的方塊或步驟中所指定的功能)的指令電腦可讀指令的製品。還可將電腦程式指令載入到電腦或其它可程式設計資料處理設備上以使在電腦或其它可程式設計設備上執行一系列操作步驟以便產生電腦實施過程，使得在電腦或其它可程式設計設備上執行的指令提供用於實施本文中所描述的功能(例如，圖2的流程圖的方塊或步驟中所指定的功能)的步驟。
因而，所述流程圖的方塊或步驟支援用於執行和/或實施所指定的功能的構件和構件組合、用於執行和/或實施所指定的功能的步驟的組合和用於執行和/或實施所指定的功能的程式指令構件。此外，所述流程圖的一個或一個以上方塊或步驟以及所述流程圖中的方塊或步驟的組合可由執行所指定的功能或步驟的基於專用硬體的電腦系統或者專用硬體與電腦指令的組合來實施。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
S202~S218‧‧‧步驟

Claims (19)

  1. 一種方法，包括：提供由一影像擷取系統獲取的一目標的一深度資訊；根據至少一個即時圖像的該深度資訊來確定一預定檢驗區域中的一目標物體的一即時三維資訊；根據該即時三維資訊來將該目標物體的一即時彩色圖像的一彩色像素資訊投影到一三維虛擬模型，該即時彩色圖像是由一彩色相機系統獲取的；以及產生一彩色三維虛擬模型，其中該彩色三維虛擬模型包括該彩色像素資訊。
  2. 如申請專利範圍第1項所述的方法，更包括將該三維虛擬模型的一視點改變為一預定視點。
  3. 如申請專利範圍第1項所述的方法，更包括根據一參考模型來識別該預定檢驗區域中的該目標物體的一缺陷。
  4. 如申請專利範圍第1項所述的方法，更包括提供由該影像擷取系統獲得的該目標物體的一即時三維虛擬模型、由該影像擷取系統獲得的該目標物體的一預定三維虛擬模型和由三維掃描器獲得的該目標物體的一預定三維虛擬模型中的其中之一。
  5. 如申請專利範圍第1項所述的方法，更包括將該預定檢驗區域中的該目標物體的一組裝資訊與該對應檢驗區域中的一參考模型組裝資訊進行比較以識別一組裝缺陷。
  6. 如申請專利範圍第1項所述的方法，更包括獲取該影像 擷取系統的一位置和一視點。
  7. 如申請專利範圍第1項所述的方法，更包括提供該預定檢驗區域中的該目標物體的多個參考圖像並且將該參考圖像存儲在一電腦可讀存儲媒體中。
  8. 如申請專利範圍第1項所述的方法，更包括將該即時三維資訊提供給該彩色相機系統以獲取該彩色相機相對於該目標物體的一位置資訊。
  9. 一種用於視覺機器檢驗的設備，其特徵在於包括：一處理器，經配置以：接收由一影像擷取系統獲取的一目標的一深度資訊；根據該目標的該深度資訊來確定一預定檢驗區域中的一目標物體的一即時三維資訊；接收由一彩色相機系統獲取的該目標的至少一個即時彩色圖像；根據該即時三維資訊和該即時彩色圖像來將該目標的該至少一個即時彩色圖像中的其中之一的一彩色像素資訊投影到一三維虛擬模型；以及產生一彩色三維虛擬模型，其中該彩色三維虛擬模型包括該彩色像素資訊。
  10. 如申請專利範圍第9項所述的設備，其中該處理器經配置以將該三維虛擬模型的一視點改變為一預定視點。
  11. 如申請專利範圍第9項所述的設備，其中該處理器經配 置以根據一參考模型來識別該預定檢驗區域中的該目標物體的一缺陷。
  12. 如申請專利範圍第9項所述的設備，其中該處理器經配置以將該預定檢驗區域中的該目標物體的一組裝資訊與該對應檢驗區域中的一參考模型組裝資訊進行比較以識別一組裝缺陷。
  13. 如申請專利範圍第9項所述的設備，其中該處理器經配置以獲取該影像擷取系統的一位置和一視點。
  14. 如申請專利範圍第9項所述的設備，更包括存儲媒體以存儲該預定檢驗區域的多個參考圖像。
  15. 一種電腦程式產品，其特徵在於包括一非暫時性電腦可讀存儲媒體和其中所存儲的一電腦程式指令，該電腦程式指令包括經配置以進行以下操作的程式指令：提供由一影像擷取系統獲取的一目標的一深度資訊；根據至少一個即時圖像的該深度資訊來確定一預定檢驗區域中的一目標物體的一即時三維資訊；根據該即時三維資訊來將該目標物體的一即時彩色圖像的一彩色像素資訊投影到一三維虛擬模型，該即時彩色圖像是由一彩色相機獲取的；以及產生一彩色三維虛擬模型，其中該彩色三維虛擬模型包括該彩色像素資訊。
  16. 如申請專利範圍第15項所述的電腦程式產品，更包括經配置以將該三維虛擬模型的一視點改變為一預定視點的一程式指 令。
  17. 如申請專利範圍第15項所述的電腦程式產品，更包括經配置以根據該預定檢驗區域的一參考模型來識別該預定檢驗區域中的該目標物體的一缺陷的一程式指令。
  18. 如申請專利範圍第15項所述的電腦程式產品，更包括經配置以獲取該影像擷取系統的一位置和一視點的一程式指令。
  19. 如申請專利範圍第15項所述的電腦程式產品，更包括經配置以提供該預定檢驗區域中的該目標物體的多個參考圖像並且將該多個參考圖像存儲在一存儲媒體中的一程式指令。
TW102147210A 2013-11-27 2013-12-19 用於機器視覺檢驗的檢驗設備、方法和電腦程式產品 TWI528028B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310737172.2A CN104677911B (zh) 2013-11-27 2013-12-27 用于机器视觉检验的检验设备和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US14/092,146 US9747680B2 (en) 2013-11-27 2013-11-27 Inspection apparatus, method, and computer program product for machine vision inspection

Publications (2)

Publication Number Publication Date
TW201520540A true TW201520540A (zh) 2015-06-01
TWI528028B TWI528028B (zh) 2016-04-01

Family

ID=53182713

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102147210A TWI528028B (zh) 2013-11-27 2013-12-19 用於機器視覺檢驗的檢驗設備、方法和電腦程式產品

Country Status (2)

Country Link
US (1) US9747680B2 (zh)
TW (1) TWI528028B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111480050A (zh) * 2017-12-15 2020-07-31 麦普威有限公司 具有计算机生成的虚拟参照物的机器视觉系统

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6143469B2 (ja) * 2013-01-17 2017-06-07 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US20150346115A1 (en) * 2014-05-30 2015-12-03 Eric J. Seibel 3d optical metrology of internal surfaces
US10668673B2 (en) 2015-05-18 2020-06-02 Flightware, Inc. Systems and methods for automated composite layup quality assurance
US9618459B2 (en) 2015-05-18 2017-04-11 Flightware, Inc. Systems and methods for automated composite layup quality assurance
US10395435B2 (en) 2016-04-04 2019-08-27 Occipital, Inc. System for multimedia spatial annotation, visualization, and recommendation
US10163271B1 (en) 2016-04-04 2018-12-25 Occipital, Inc. System for multimedia spatial annotation, visualization, and recommendation
US20170374342A1 (en) * 2016-06-24 2017-12-28 Isee, Inc. Laser-enhanced visual simultaneous localization and mapping (slam) for mobile devices
US10121237B1 (en) * 2017-04-17 2018-11-06 Rohr, Inc. Component inspection method
US20190096057A1 (en) 2017-05-11 2019-03-28 Jacob Nathaniel Allen Object inspection system and method for inspecting an object
CN107490967B (zh) * 2017-09-18 2020-07-24 河南科技学院 适应光照度突变的采摘机器人目标自主识别系统及其方法
US10783629B2 (en) * 2017-09-29 2020-09-22 Align Technology, Inc. Aligner image based quality control system
CN107745207A (zh) * 2017-10-17 2018-03-02 桂林电子科技大学 一种三维焊接机器人混合控制方法
US11138759B2 (en) * 2018-12-13 2021-10-05 Fujitsu Limited Image processing apparatus and image processing method
DE102019100822B4 (de) * 2019-01-14 2024-10-10 Lufthansa Technik Aktiengesellschaft Verfahren und Vorrichtung zur Boroskopinspektion
CN110084187B (zh) * 2019-04-25 2023-08-11 江苏紫米电子技术有限公司 基于计算机视觉的位置识别方法、装置、设备及存储介质
CN110706267B (zh) * 2019-09-04 2022-11-15 五邑大学 一种基于采矿过程的矿石三维坐标获取方法及其装置
CN111192308B (zh) * 2019-12-31 2023-11-03 浙江商汤科技开发有限公司 图像处理方法及装置、电子设备和计算机存储介质
US11295135B2 (en) * 2020-05-29 2022-04-05 Corning Research & Development Corporation Asset tracking of communication equipment via mixed reality based labeling
US11374808B2 (en) 2020-05-29 2022-06-28 Corning Research & Development Corporation Automated logging of patching operations via mixed reality based labeling
MX2022016172A (es) 2020-06-17 2023-04-24 Inovision Software Solutions Inc Sistema y metodo para la reparacion de defectos.
CN111784666A (zh) * 2020-06-30 2020-10-16 深兰科技(达州)有限公司 基于学习记忆的led灯珠缺陷检测方法
CN111929309B (zh) * 2020-09-14 2021-01-08 成都卓识维景科技有限公司 一种基于机器视觉的铸造件外观缺陷检测方法及系统
CN112348944B (zh) * 2020-10-29 2022-06-28 久瓴(江苏)数字智能科技有限公司 三维模型数据更新方法、装置、计算机设备和存储介质
CN113393448A (zh) * 2021-06-25 2021-09-14 腾讯云计算（北京）有限责任公司 一种形变检测方法、装置、设备及计算机可读存储介质
WO2023121410A1 (en) * 2021-12-23 2023-06-29 Samsung Electronics Co., Ltd. Intelligent through-obstruction 3d imaging system using uwb electromagnetic sensing for object detection
CN114745513A (zh) * 2022-03-10 2022-07-12 浪潮金融信息技术有限公司 一种基于多摄像端的产品质检方法、系统及介质
CN114581441B (zh) * 2022-05-05 2022-08-12 深圳百里科技有限公司 零部件检测方法、装置、设备及存储介质
CN118656994A (zh) * 2024-08-19 2024-09-17 赫智科技(苏州)有限公司 对象生成方法、装置、电子设备及存储介质

Family Cites Families (105)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4649504A (en) 1984-05-22 1987-03-10 Cae Electronics, Ltd. Optical position and orientation measurement techniques
US4833383A (en) 1987-08-13 1989-05-23 Iowa State University Research Foundation, Inc. Means and method of camera space manipulation
US4891762A (en) 1988-02-09 1990-01-02 Chotiros Nicholas P Method and apparatus for tracking, mapping and recognition of spatial patterns
US4893025A (en) 1988-12-30 1990-01-09 Us Administrat Distributed proximity sensor system having embedded light emitters and detectors
JP2509357B2 (ja) 1990-01-19 1996-06-19 トキコ株式会社 ワ―ク位置検知装置
US5100229A (en) 1990-08-17 1992-03-31 Spatial Positioning Systems, Inc. Spatial positioning system
US5621807A (en) 1993-06-21 1997-04-15 Dornier Gmbh Intelligent range image camera for object measurement
JP3090567B2 (ja) 1993-12-29 2000-09-25 ヤマハ発動機株式会社 実装機における部品認識方法および同装置
US5615132A (en) 1994-01-21 1997-03-25 Crossbow Technology, Inc. Method and apparatus for determining position and orientation of a moveable object using accelerometers
FR2736455B1 (fr) 1995-07-03 1997-08-08 Commissariat Energie Atomique Procede de reconstruction d'une image 3d avec amelioration du contraste et de la resolution et application de ce procede a la realisation d'une cartographie d'attenuation d'un objet
US6044170A (en) 1996-03-21 2000-03-28 Real-Time Geometry Corporation System and method for rapid shape digitizing and adaptive mesh generation
DE19615246A1 (de) 1996-04-18 1997-10-23 Krupp Foerdertechnik Gmbh Photogrammetrie-Verfahren zur dreidimensionalen Verfolgung von bewegten Objekten
JP4251673B2 (ja) 1997-06-24 2009-04-08 富士通株式会社 画像呈示装置
US6175652B1 (en) 1997-12-31 2001-01-16 Cognex Corporation Machine vision system for analyzing features based on multiple object images
US6175644B1 (en) 1998-05-01 2001-01-16 Cognex Corporation Machine vision system for object feature analysis and validation based on multiple object images
US6194860B1 (en) 1999-11-01 2001-02-27 Yoder Software, Inc. Mobile camera-space manipulation
EP1297486A4 (en) 2000-06-15 2006-09-27 Automotive Systems Lab OCCUPANCY SENSOR
TW527518B (en) 2000-07-14 2003-04-11 Massachusetts Inst Technology Method and system for high resolution, ultra fast, 3-D imaging
US6664529B2 (en) 2000-07-19 2003-12-16 Utah State University 3D multispectral lidar
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US6677941B2 (en) 2000-08-05 2004-01-13 American Gnc Corporation Three-dimensional relative positioning and tracking using LDRI
US7106885B2 (en) 2000-09-08 2006-09-12 Carecord Technologies, Inc. Method and apparatus for subject physical position and security determination
US6697761B2 (en) 2000-09-19 2004-02-24 Olympus Optical Co., Ltd. Three-dimensional position/orientation sensing apparatus, information presenting system, and model error detecting system
TW488145B (en) 2000-11-06 2002-05-21 Ind Tech Res Inst Three-dimensional profile scanning system
JP3437555B2 (ja) 2001-03-06 2003-08-18 キヤノン株式会社 特定点検出方法及び装置
US6940538B2 (en) 2001-08-29 2005-09-06 Sony Corporation Extracting a depth map from known camera and model tracking data
KR100446635B1 (ko) 2001-11-27 2004-09-04 삼성전자주식회사 깊이 이미지 기반 3차원 객체 표현 장치 및 방법
JP3796449B2 (ja) 2002-01-31 2006-07-12 キヤノン株式会社 位置姿勢決定方法および装置並びにコンピュータプログラム
JP2004048674A (ja) 2002-05-24 2004-02-12 Olympus Corp 視野一致型情報呈示システム、並びに、それに用いられる携帯情報端末及びサーバ
JP2003346185A (ja) 2002-05-24 2003-12-05 Olympus Optical Co Ltd 情報表示システム及び携帯情報端末
US8570378B2 (en) 2002-07-27 2013-10-29 Sony Computer Entertainment Inc. Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera
JP4136859B2 (ja) 2003-01-10 2008-08-20 キヤノン株式会社 位置姿勢計測方法
GB2413720B (en) 2003-03-14 2006-08-02 British Broadcasting Corp Video processing
WO2004111687A2 (en) 2003-06-12 2004-12-23 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
EP1658579B1 (en) 2003-08-15 2016-09-28 Scape A/S Method for for classification and spatial localization of bounded 3d-objects
WO2005031647A1 (de) 2003-09-26 2005-04-07 Micro-Epsilon Messtechnik Gmbh & Co. Kg Verfahren und vorrichtung zur berührungslosen optischen 3d-lagebestimmung eines objekts
US7676079B2 (en) 2003-09-30 2010-03-09 Canon Kabushiki Kaisha Index identification method and apparatus
JP2007530978A (ja) 2004-03-29 2007-11-01 エヴォリューション ロボティクス インコーポレイテッド 反射光源を使用する位置推定方法および装置
US7831094B2 (en) 2004-04-27 2010-11-09 Honda Motor Co., Ltd. Simultaneous localization and mapping using multiple view feature descriptors
US7857021B2 (en) 2004-09-09 2010-12-28 Usnr/Kockums Cancar Company System for positioning a workpiece
US8276088B2 (en) 2007-07-11 2012-09-25 Ricoh Co., Ltd. User interface for three-dimensional navigation
JP4180043B2 (ja) 2004-11-15 2008-11-12 シャープ株式会社 ３次元図形描画処理装置、画像表示装置、３次元図形描画処理方法、これをコンピュータに実行させるための制御プログラムおよび、これを記録したコンピュータ読み取り可能な可読記録媒体
US8396329B2 (en) * 2004-12-23 2013-03-12 General Electric Company System and method for object measurement
KR100624457B1 (ko) 2005-01-08 2006-09-19 삼성전자주식회사 깊이-영상 기반의 모델링 방법 및 장치
JP4859205B2 (ja) 2005-02-04 2012-01-25 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
US20070065004A1 (en) 2005-08-01 2007-03-22 Topcon Corporation Three-dimensional measurement system and method of the same, and color-coded mark
US8111904B2 (en) 2005-10-07 2012-02-07 Cognex Technology And Investment Corp. Methods and apparatus for practical 3D vision system
US7574018B2 (en) 2005-12-07 2009-08-11 Trw Automotive U.S. Llc Virtual reality scene generator for generating training images for a pattern recognition classifier
TW200725433A (en) 2005-12-29 2007-07-01 Ind Tech Res Inst Three-dimensional face recognition system and method thereof
DE102005063051A1 (de) 2005-12-29 2007-07-05 Robert Bosch Gmbh Verfahren zur optischen Fahrwerksvermessung
US7689003B2 (en) 2006-03-20 2010-03-30 Siemens Energy, Inc. Combined 2D and 3D nondestructive examination
DE102006013185A1 (de) 2006-03-22 2007-09-27 Refractory Intellectual Property Gmbh & Co. Kg Verfahren zur Ermittlung der Position und Orientierung einer Meß- oder Reparatureinrichtung und eine nach dem Verfahren arbeitende Vorrichtung
JP4889351B2 (ja) 2006-04-06 2012-03-07 株式会社トプコン 画像処理装置及びその処理方法
JP5362189B2 (ja) 2006-05-10 2013-12-11 株式会社トプコン 画像処理装置及びその処理方法
US7853072B2 (en) 2006-07-20 2010-12-14 Sarnoff Corporation System and method for detecting still objects in images
JP4789745B2 (ja) 2006-08-11 2011-10-12 キヤノン株式会社 画像処理装置および方法
US7925049B2 (en) 2006-08-15 2011-04-12 Sri International Stereo-based visual odometry method and system
GB0616688D0 (en) 2006-08-23 2006-10-04 Qinetiq Ltd Target orientation
JP5403861B2 (ja) 2006-11-06 2014-01-29 キヤノン株式会社 情報処理装置、情報処理方法
TWI322392B (en) 2006-12-14 2010-03-21 Inst Information Industry Apparatus, method, application program, and computer readable medium thereof capable of pre-storing data for generating self-shadow of a 3d object
JP5538667B2 (ja) 2007-04-26 2014-07-02 キヤノン株式会社 位置姿勢計測装置及びその制御方法
US8203487B2 (en) 2009-08-03 2012-06-19 Xsens Holding, B.V. Tightly coupled UWB/IMU pose estimation system and method
JP5013961B2 (ja) 2007-05-21 2012-08-29 キヤノン株式会社 位置姿勢計測装置及びその制御方法
US8126260B2 (en) 2007-05-29 2012-02-28 Cognex Corporation System and method for locating a three-dimensional object using machine vision
US20080310757A1 (en) 2007-06-15 2008-12-18 George Wolberg System and related methods for automatically aligning 2D images of a scene to a 3D model of the scene
US8036452B2 (en) 2007-08-10 2011-10-11 Leica Geosystems Ag Method and measurement system for contactless coordinate measurement on an object surface
GB2452508A (en) 2007-09-05 2009-03-11 Sony Corp Generating a three-dimensional representation of a sports game
ATE452379T1 (de) 2007-10-11 2010-01-15 Mvtec Software Gmbh System und verfahren zur 3d-objekterkennung
TWI362281B (en) 2007-10-17 2012-04-21 Shih Ti Kuo Apparatus and method generating interactive signal for a moving article
DK2053539T3 (da) 2007-10-26 2012-03-26 Sick Ag Klassificering af objekter samt detektering af deres position og orientering i rummet
US8280115B2 (en) 2007-10-30 2012-10-02 Canon Kabushiki Kaisha Image processing apparatus and image processing method
GB2455313B (en) 2007-12-04 2012-06-13 Sony Corp Apparatus and method for estimating orientation
JP5100360B2 (ja) 2007-12-21 2012-12-19 株式会社トプコン 画像処理装置
TWM340479U (en) 2008-01-25 2008-09-11 Nat Univ Dong Hwa Adjustment apparatus of real-time parallax for three dimensional image
WO2009113484A1 (ja) 2008-03-11 2009-09-17 株式会社ニコン 基準球検出装置、基準球位置検出装置、及び、三次元座標測定装置
WO2010001940A1 (ja) 2008-07-01 2010-01-07 株式会社トプコン 位置測定方法、位置測定装置、およびプログラム
TWI332453B (en) 2008-07-21 2010-11-01 Univ Nat Defense The asynchronous photography automobile-detecting apparatus and method thereof
TWI369899B (en) 2008-07-21 2012-08-01 Ind Tech Res Inst Method and system for tracking human extremity positions
US7924441B1 (en) 2008-08-08 2011-04-12 Mirrorcle Technologies, Inc. Fast and high-precision 3D tracking and position measurement with MEMS micromirrors
US9918866B2 (en) * 2008-11-09 2018-03-20 3D Systems, Inc. Bikini brace
US8294766B2 (en) 2009-01-28 2012-10-23 Apple Inc. Generating a three-dimensional model using a portable electronic device recording
EP2251832A1 (en) * 2009-05-14 2010-11-17 Alcatel Lucent Method for generating a 3-dimensional model of an object
JP5333344B2 (ja) 2009-06-19 2013-11-06 株式会社安川電機 形状検出装置及びロボットシステム
JP5567908B2 (ja) 2009-06-24 2014-08-06 キヤノン株式会社 ３次元計測装置、その計測方法及びプログラム
JP5393318B2 (ja) 2009-07-28 2014-01-22 キヤノン株式会社 位置姿勢計測方法及び装置
US8803950B2 (en) 2009-08-24 2014-08-12 Samsung Electronics Co., Ltd. Three-dimensional face capturing apparatus and method and computer-readable medium thereof
JP5297403B2 (ja) 2010-02-26 2013-09-25 キヤノン株式会社 位置姿勢計測装置、位置姿勢計測方法、プログラムおよび記憶媒体
US8612174B2 (en) 2010-03-06 2013-12-17 Viswanathan Madhavan Method and apparatus for dynamic 6DOF measurement
JP5430456B2 (ja) 2010-03-16 2014-02-26 キヤノン株式会社 幾何特徴抽出装置、幾何特徴抽出方法、及びプログラム、三次元計測装置、物体認識装置
CN102236749A (zh) 2010-04-28 2011-11-09 长沙踊跃机电技术有限公司 另行设置开关机时间的计算机设备
JP5612916B2 (ja) 2010-06-18 2014-10-22 キヤノン株式会社 位置姿勢計測装置、その処理方法、プログラム、ロボットシステム
CN102947863B (zh) 2010-06-23 2016-01-13 国立大学法人大阪大学 移动物体检测装置
WO2012012943A1 (en) 2010-07-28 2012-02-02 Shenzhen Institute Of Advanced Technology Chinese Academy Of Sciences Method for reconstruction of urban scenes
KR20120011653A (ko) 2010-07-29 2012-02-08 삼성전자주식회사 영상 처리 장치 및 방법
JP5800494B2 (ja) 2010-11-19 2015-10-28 キヤノン株式会社 特定領域選択装置、特定領域選択方法及びプログラム
CN102486462B (zh) 2010-12-03 2014-04-09 中国科学院沈阳自动化研究所 一种合金固件内部缺陷三维重建方法
JP5759161B2 (ja) 2010-12-16 2015-08-05 キヤノン株式会社 物体認識装置、物体認識方法、学習装置、学習方法、プログラム、および情報処理システム
US8711206B2 (en) 2011-01-31 2014-04-29 Microsoft Corporation Mobile camera localization using depth maps
CN102288613B (zh) 2011-05-11 2014-03-26 北京科技大学 一种灰度和深度信息融合的表面缺陷检测方法
US9191650B2 (en) 2011-06-20 2015-11-17 National Chiao Tung University Video object localization method using multiple cameras
US9270974B2 (en) * 2011-07-08 2016-02-23 Microsoft Technology Licensing, Llc Calibration between depth and color sensors for depth cameras
JP5808004B2 (ja) 2011-08-24 2015-11-10 国立大学法人 奈良先端科学技術大学院大学 画像処理装置、画像処理方法、およびプログラム
US8781209B2 (en) * 2011-11-03 2014-07-15 United Technologies Corporation System and method for data-driven automated borescope inspection
TWM443156U (en) 2011-11-23 2012-12-11 Chien Hui Chuan System for three-dimensional shape and size measurement
US9210417B2 (en) * 2013-07-17 2015-12-08 Microsoft Technology Licensing, Llc Real-time registration of a stereo depth camera array

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111480050A (zh) * 2017-12-15 2020-07-31 麦普威有限公司 具有计算机生成的虚拟参照物的机器视觉系统
US11443418B2 (en) 2017-12-15 2022-09-13 Oy Mapvision Ltd Machine vision system with a computer generated virtual reference object

Also Published As

Publication number Publication date
US20150146964A1 (en) 2015-05-28
TWI528028B (zh) 2016-04-01
US9747680B2 (en) 2017-08-29

Similar Documents

Publication Publication Date Title
TWI528028B (zh) 用於機器視覺檢驗的檢驗設備、方法和電腦程式產品
CN111127422B (zh) 图像标注方法、装置、系统及主机
US11544874B2 (en) System and method for calibration of machine vision cameras along at least three discrete planes
JP6934026B2 (ja) ビジョンシステムでラインを検出するためのシステム及び方法
TWI566204B (zh) 三維物件識別技術
Usamentiaga et al. Multi-camera calibration for accurate geometric measurements in industrial environments
CN106548489B (zh) 一种深度图像与彩色图像的配准方法、三维图像采集装置
US20150261899A1 (en) Robot simulation system which simulates takeout process of workpieces
TWI590645B (zh) 相機校準
Zhou et al. Accurate and robust estimation of camera parameters using RANSAC
US10552984B2 (en) Capture device calibration methods and systems
JP2018055675A (ja) ３ｄ画像データにおける３ｄポーズの改良されたスコアリング及び偽ポイント除去のためのシステム及び方法
JP2011253376A (ja) 画像処理装置、および画像処理方法、並びにプログラム
WO2011079258A1 (en) System and method for runtime determination of camera miscalibration
CN109906471B (zh) 实时三维相机校准
WO2022222291A1 (zh) 光轴检测系统的光轴标定方法、装置、终端、系统和介质
US9990739B1 (en) Method and device for fisheye camera automatic calibration
Lv et al. A new robust 2D camera calibration method using RANSAC
US10252417B2 (en) Information processing apparatus, method of controlling information processing apparatus, and storage medium
CN111311671B (zh) 一种工件测量方法、装置、电子设备及存储介质
JP2008309595A (ja) オブジェクト認識装置及びそれに用いられるプログラム
CN104677911B (zh) 用于机器视觉检验的检验设备和方法
CN109313811A (zh) 基于视觉系统振动移位的自动校正方法、装置及系统
JP2018087715A (ja) 情報処理装置、情報処理方法及びプログラム
CN111336938A (zh) 一种机器人及其物体距离检测方法和装置