TWI802496B - 用於檢測應用的自動正確取像及校準系統 - Google Patents

用於檢測應用的自動正確取像及校準系統 Download PDF

Info

Publication number
TWI802496B
TWI802496B TW111131924A TW111131924A TWI802496B TW I802496 B TWI802496 B TW I802496B TW 111131924 A TW111131924 A TW 111131924A TW 111131924 A TW111131924 A TW 111131924A TW I802496 B TWI802496 B TW I802496B
Authority
TW
Taiwan
Prior art keywords
camera
item
control
images
feature
Prior art date
Application number
TW111131924A
Other languages
English (en)
Other versions
TW202408755A (zh
Inventor
孫逢佐
葉怡婷
孫逢佑
黃俊堂
張榮華
田宜湘
沈孟澤
Original Assignee
開必拓數據股份有限公司
孫逢佐
葉怡婷
孫逢佑
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 開必拓數據股份有限公司, 孫逢佐, 葉怡婷, 孫逢佑 filed Critical 開必拓數據股份有限公司
Priority to TW111131924A priority Critical patent/TWI802496B/zh
Application granted granted Critical
Publication of TWI802496B publication Critical patent/TWI802496B/zh
Priority to US18/451,264 priority patent/US20240073531A1/en
Priority to JP2023133430A priority patent/JP2024031875A/ja
Publication of TW202408755A publication Critical patent/TW202408755A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0084—Programme-controlled manipulators comprising a plurality of manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0093—Programme-controlled manipulators co-operating with conveyor means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/52—Devices for transferring articles or materials between conveyors i.e. discharging or feeding devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by quality surveillance of production
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/04—Detection means
    • B65G2203/041—Camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/52—Devices for transferring articles or materials between conveyors i.e. discharging or feeding devices
    • B65G47/53—Devices for transferring articles or materials between conveyors i.e. discharging or feeding devices between conveyors which cross one another
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90—Devices for picking-up and depositing articles or materials
    • B65G47/904—Devices for picking-up and depositing articles or materials provided with rotary movements only
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90—Devices for picking-up and depositing articles or materials
    • B65G47/91—Devices for picking-up and depositing articles or materials incorporating pneumatic, e.g. suction, grippers
    • B65G47/915—Devices for picking-up and depositing articles or materials incorporating pneumatic, e.g. suction, grippers provided with drive systems with rotary movements only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N2021/845—Objects on a conveyor
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37208—Vision, visual inspection of workpiece
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40564—Recognize shape, contour of object, extract position and orientation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45066—Inspection robot
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Medical Informatics (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Immunology (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Automation & Control Theory (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本發明主要揭示一種用於檢測應用的自動正確取像及校準系統。依據本發明之設計，一控制與處理裝置控制一第一機械手臂依一翻轉順序翻轉一物品，並控制一第一攝像機在該物品被翻轉的過程中依序取得複數個二維影像。繼續地，在該複數個二維影像找出包含一識別特徵的至少一個所述二維影像之後，該控制與處理裝置依據複數個所述二維影像確認該物品的相對位置與相對三維座標，接著控制一第二機械手臂夾持一第二攝像機，並分次移動該第二攝像機以使其分次面對該物品的多個表面，從而自該物品的多個表面之中的N個對應取得N個物品影像。最終，該控制與處理裝置對所述物品影像進行瑕疵檢測，確定各所述物品影像之中是否含有至少一瑕疵。

Description

用於檢測應用的自動正確取像及校準系統
本發明係關於機器視覺的技術領域，尤指一種用於檢測應用的自動正確取像及校準系統。
一般而言，利用工業技術生產製造的半成品或成品必須接受品質檢驗以判斷其是否符合工業標準，其中品質檢驗包括外觀(cosmetic)檢測和功能測試。一般而言，一個工業製品會包含六個表面，包括：上表面、下表面、前表面、後表面、左表面與右表面。進行外觀檢測時，品檢員會依據相關檢測規定對該工業製品的六個表面的其中幾個執行最仔細的外觀檢查。然而，實際經驗指出，品檢員在進行工業製品的外觀檢測時，經常會發生漏檢或誤檢的情事。有鑑於此，利用機器視覺(machine vision)技術的自動光學檢測(Automated optical inspection,AOI)系統於是開發並導入自動化產線，用以取代人力對利用工業半成品或成品執行外觀檢測。
舉例而言，圖1顯示習知的一種螺絲瑕疵檢測系統示意性立體圖。如圖1所示，該螺絲瑕疵檢測系統1a包括：一運送平台11a、複數支攝影機12a以及一影像處理裝置13a，其中各所述攝影機12a皆設 置在一可調整支撐機構14a之上。應可理解，手動調整該可調整支撐機構14a可使各所述攝影機12a具有一設置高度與一設置角度，並與該運送平台11a相距一攝像距離。依此設置，該螺絲瑕疵檢測系統1a可以對一型號A之螺絲的六個表面的其中幾個進行外觀檢測。
熟悉瑕疵檢測系統之開發製造的AOI工程師都知道，欲使該螺絲瑕疵檢測系統1a能夠被用於對所述型號A之螺絲進行外觀檢測，工程師必須調校每個攝影機12a的設置高度、設置角度和攝像距離。此外，若有必要，工程師還需要設計光源。換句話說，若廠商要求AOI工程師變更該螺絲瑕疵檢測系統1a的設備參數以使其能夠用於對一型號B之螺絲進行外觀檢測，那麼工程師必須重複完成所述設置高度、所述設置角度、所述攝像距離和所述光源的調校。
實務經驗指出，設置高度、設置角度、攝像距離和光源的調校工作並不容易，係需要花費相當的人力與時間才能夠完成。有鑑於此，應考慮開發一種新式自動光學檢測系統，其能夠依據指定的工業製品自動變更攝影機的設置高度、設置角度和攝像距離、調整光源強度、以及翻轉工業製品使攝影機正確取像。
由前述說明可知，習知的用於對工業製品進行外觀檢驗的自動光學檢測系統仍具有缺陷以待改進。有鑑於此，本發明之創作人係極力加以研究創作，而終於研發完成本發明之一種用於檢測應用的自動正確取像及校準系統。
本發明之主要目的提供一種用於檢測應用的自動正確取像及校準系統。依據本發明之設計，一控制與處理裝置控制一第一機械手臂依一翻轉順序翻轉一物品，並控制一第一攝像機在該物品被翻轉的過程中依序取得複數個二維影像。繼續地，在該複數個二維影像找出包含一識別特徵(如：雷射標籤或是該物品的一可辨識特徵)的至少一個所述二維影像之後，該控制與處理裝置依據複數個所述二維影像確認該物品的相對位置與相對三維座標，接著控制一第二機械手臂夾持一第二攝像機，並分次移動該第二攝像機以使其分次面對該物品的多個表面，從而自該物品的多個表面之中的N個對應取得N個物品影像。最終，該控制與處理裝置對所述物品影像進行瑕疵檢測，確定各所述物品影像之中是否含有至少一瑕疵。
簡單地說，本發明透過識別雷射標籤的方式建立了物品的相對位置與相對三維座標，因此後續只需要控制一個機械手臂帶著一個攝像機移動，便可使該攝像機正確地面對該物品的受檢測面，實現該物品的自動正確取像，保證了瑕疵檢測精確度。並且，在將本發明之瑕疵檢測系統應用於對其它物品進行瑕疵檢測時，工程師不需要手動調整攝像機的設置高度與設置角度，也不需要調校光源方向和強度。
為達成上述目的，本發明提出所述自動正確取像及校準系統的一實施例，其包括：一第一機械手臂，係設置以同時鄰近一第一傳送帶和一第二傳送帶，其中該第一傳送帶係傳送有複數個物品，且所述物品至少有一個表面被設置有一識別特徵；一第一攝像機，係設置以鄰近該第一機械手臂； 至少一第二機械手臂，係設置以鄰近該第二傳送帶，且各所述第二機械手臂係持有一第二攝像機；以及一控制與處理裝置，耦接該第一機械手臂、該第一攝像機、該至少一第二機械手臂、與該至少一第二攝像機，且包括一微處理器與一記憶體；其中，該記憶體內儲存有利用一程式語言編輯成的一應用程式，使該微處理器透過存取該記憶體以執行所述應用程式，從而啟用以下功能：控制該第一機械手臂自該第一傳送帶夾起一個所述物品，並夾持該物品移動至該第一攝像機的一第一取像範圍內，接著依一翻面順序翻轉該物品；控制該第一攝像機在該物品被依所述翻面順序翻轉之時，依序地拍攝該物品的複數個二維影像；對複數個所述二維影像執行一標籤辨識處理，以找出包含一識別特徵圖像的至少一個所述二維影像；依據包含至少一個所述識別特徵圖像的複數個所述二維影像確認該物品的一相對位置與一相對三維座標，並控制第一機械手臂夾持該物品移動至該第二傳送帶之上；控制該第二機械手臂分次移動該第二攝像機，使該物品的複數個所述表面分次地落在該第二攝像機的一第二取像範圍內；在該第二機械手臂分次移動該第二攝像機的過程中，控制該第二攝像機自該物品的複數個所述表面之中的N個對應取得N個物品影像，N為正整數；以及 對所述物品影像進行一特徵萃取處理以獲得對應的一特徵圖像，接著將各所述特徵圖像和一特徵模板進行一特徵匹配程序，從而確定各所述物品影像之中是否含有至少一瑕疵。
在可行的實施例中，前述本發明之自動正確取像及校準系統，係更包括：一第一光源，耦接該控制與處理裝置，且被設置以鄰近該第一攝像機，從而依該控制與處理裝置的控制而提供一第一檢測光照亮該第一取像範圍；以及至少一第二光源，其中，所述第二光源耦接該控制與處理裝置，且被設置以鄰近所述第二攝像機，從而依該控制與處理裝置的控制而提供一第二檢測光照亮所述第二取像範圍。
在一可行實施例中，該識別特徵為一標籤，且該標籤為選自於由二維條碼標籤(2D barcode tag)、QR碼標籤(QR code tag)、矩陣條碼標籤(matrix barcode tag)、由圖形組成的標籤(tag containing graphic patterns)、由文字組成的標籤(tag containing text messages)、由字母組成的標籤(tag containing alphabets)、與由數字組成的標籤(tag containing numeric figures)所組成群組之中的任一者。
在一實施例中，該標籤攜載該物品的複數個基礎訊息，包括：製造商識別碼(Vendor ID,VID)、產品識別碼(Product ID,PID)、批號、與序號。
在另一實施例中，該識別特徵為該物品上的一可辨識特徵。
在一實施例中，該控制與處理裝置運行一影像處理程式從而依據包含至少一個所述識別特徵圖像的複數個所述二維影像重構該 物品的一三維影像，接著確認該物品的該相對位置與該相對三維座標。
在一實施例中，該影像處理程式包含選自於由Delaunay三角剖分演算法(Delaunay triangulation algorithm)、Crust三角剖分演算法(Crust triangulation algorithm)、和不規則三角形格網(Triangulated Irregular Network,TIN)演算法所組成群組之中的一影像處理演算法。
在一實施例中，該應用程式包含複數個子程式，且該複數個子程式包括：一第一機構控制程式，用以控制該第一機械手臂自該第一傳送帶拾起一個所述物品，並夾持該物品移動至該第一攝像機的該第一取像範圍內，接著依所述翻面順序翻轉該物品；一第一攝像機控制程式，用以控制該第一攝像機在該物品被依所述翻面順序翻轉之時，對該物品取像以獲得該複數個二維影像；一標籤辨識程式，用以對複數個所述二維影像執行所述標籤辨識處理，以找出包含所述識別特徵圖像的至少一個所述二維影像；所述影像處理程式，用以依據包含至少一個所述識別特徵圖像的複數個所述二維影像重構該物品的該三維影像，接著確認該物品的該相對位置與該相對三維座標，使該第一機械手臂可以接著夾持該物品移動至該第二傳送帶之上；一第二機構控制程式，用以控制該第二機械手臂分次移動該第二攝像機，使該物品的複數個所述表面分次地落在該第二攝像機的一第二取像範圍內； 一第二攝像機控制程式，用以控制該第二攝像機在該第二機械手臂分次移動該第二攝像機的過程中對該物品取像以獲得該N個物品影像；以及一瑕疵辨識程式，用以對N個所述物品影像進行所述特徵萃取處理以獲得N個所述特徵圖像，接著將各所述特徵圖像和一特徵模板進行所述特徵匹配程序。
在一可行實施例中，該控制與處理裝置整合在一電子裝置之中，且該電子裝置資訊連結用以控制該第一傳送帶和該第二傳送帶的一機台控制裝置。
在另一可行實施例中，該控制與處理裝置整合在用以控制該第一傳送帶和該第二傳送帶的一機台控制裝置之中，且該機台控制裝置包含於一自動化產線之中。
<習知>
1a:螺絲瑕疵檢測系統
11a:運送平台
12a:攝影機
13a:影像處理裝置
14a:可調整支撐機構
<本發明>
1:自動正確取像及校準系統
11:第一機械手臂
1F:第一傳送帶
1P:第二傳送帶
12:第一攝像機
13:第二機械手臂
14:第二攝像機
15:控制與處理裝置
15P:微處理器
15M:記憶體
150:影像處理程式
151:第一機構控制程式
152:第一攝像機控制程式
153:標籤辨識程式
154:第二機構控制程式
155:第二攝像機控制程式
156:瑕疵辨識程式
157:資料庫
16:第一光源
17:第二光源
2:物品
21:識別特徵
圖1為習知的一種螺絲瑕疵檢測系統示意性立體圖；圖2A為本發明之一種用於檢測應用的自動正確取像及校準系統的第一立體圖；圖2B為本發明之自動正確取像及校準系統的第二立體圖；圖3為圖2B所示之第一機械手臂、第一攝像機、第二機械手臂、第二攝像機和控制與處理裝置的方塊圖；以及圖4為本發明之用於檢測應用的自動正確取像及校準系統的第三立體圖。
為了能夠更清楚地描述本發明所提出之一種用於檢測應用的自動正確取像及校準系統，以下將配合圖式，詳盡說明本發明之較佳實施例。
請參閱圖2A、圖2B，係分別為本發明之一種用於檢測應用的自動正確取像及校準系統的第一、第二立體圖。如圖2A與圖2B所示，本發明之自動正確取像及校準系統1包括：一第一機械手臂11、一第一攝像機12、至少一第二機械手臂13、至少一第二攝像機14、以及一控制與處理裝置15。依據本發明之設計，該第一機械手臂11係設置以同時鄰近一第一傳送帶1F和一第二傳送帶1P，其中該第一傳送帶1F係傳送有複數個物品2，且所述物品2至少有一個表面被設置有一識別特徵21。在一可行實施例中，該識別特徵21為一標籤，例如：由二維條碼標籤(2D barcode tag)、QR碼標籤(QR code tag)、矩陣條碼標籤(matrix barcode tag)、由圖形組成的標籤(tag containing graphic patterns)、由文字組成的標籤(tag containing text messages)、由字母組成的標籤(tag containing alphabets)、或由數字組成的標籤(tag containing numeric figures)。其中，所述標籤可以是利用雷射雕刻技術製作在該物品2的一表面之上的一雷射標籤，亦可為一標籤貼紙。
在另一可行實施例中，該識別特徵21為該物品2上的一可辨識特徵。具體地，若以一雷射標籤作為所述識別特徵21，該雷射標籤(即，該識別特徵21)可同時攜載的該物品2的複數個基礎訊息，包 括：製造商識別碼(Vendor ID,VID)、產品識別碼(Product ID,PID)、批號、與序號。並且，在本發明的技術中，該識別特徵21同時用於辨識該物品2的物體角度。
如圖2A與圖2B所示，該第一攝像機12係設置以鄰近該第一機械手臂11。更詳細地說明，該至少一第二機械手臂13係設置以鄰近該第二傳送帶1P，且各所述第二機械手臂13係持有一第二攝像機14。進一步地，圖3為圖2B所示之第一機械手臂11、第一攝像機12、第二機械手臂13、第二攝像機14和控制與處理裝置15的方塊圖。如圖2A、圖2B與圖3所示，該控制與處理裝置15耦接該第一機械手臂11、該第一攝像機12、該至少一第二機械手臂13、與該至少一第二攝像機14，且包括一微處理器15P與一記憶體15M。依據本發明之設計，該記憶體15M內儲存有利用一程式語言編輯成的一應用程式，且同時含有一資料庫157。應可理解，在本發明之自動正確取像及校準系統1正常工作時，該微處理器係透過存取該記憶體15M以執行所述應用程式。更詳細地說明，該應用程式包含複數個子程式，且該複數個子程式包括：一第一機構控制程式151、一第一攝像機控制程式152、一標籤辨識程式153、一影像處理程式150、一第二機構控制程式154、一第二攝像機控制程式155、以及一瑕疵辨識程式156。
正常工作時，該微處理器15P執行所述第一機構控制程式151，從而控制該第一機械手臂11自該第一傳送帶1F夾起一個所述物品2，並夾持該物品2移動至該第一攝像機12的一第一取像範圍內，接著依一翻面順序翻轉該物品2。在該物品2被依所述翻面順序翻轉的過程中，該微處理器15P同時執行所述第一攝像機控制程式152，從而控制該第一攝像機12依序地拍攝該物品2的複數個二維影像。繼 續地，該微處理器15P執行所述標籤辨識程式153，從而對複數個所述二維影像執行一標籤辨識處理，以找出包含一識別特徵圖像的至少一個所述二維影像。換句話說，在一物品2由一第一傳送帶1F進料後，本發明之自動正確取像及校準系統1即翻轉該物品2以找到該識別特徵21，藉以確認該物品2的物體角度。
如圖2A、圖2B與圖3所示，在找到透過翻轉該物品2以找到該識別特徵21之後，該物品2的物體角度和空間位置即被確認。接著，該微處理器15P執行所述影像處理程式150，從而依據包含至少一個所述識別特徵圖像的複數個所述二維影像重構該物品2的一、三維影像，接著確認該物品2的相對位置與相對三維座標。在一實施例中，該影像處理程式150包含一影像處理演算法，且該影像處理演算法例如為Delaunay三角剖分演算法(Delaunay triangulation algorithm)、Crust三角剖分演算法(Crust triangulation algorithm)、或不規則三角形格網(Triangulated Irregular Network,TIN)演算法，但不限於此。
在掌握物品2的相對位置與相對三維座標之後，該第一機械手臂11依據該微處理器15P的控制將該物品2移動放置在該第二傳送帶1P之上。之後，該微處理器15P執行所述第二機構控制程式154，從而控制該第二機械手臂13分次移動該第二攝像機14，使該物品2的複數個所述表面分次地落在該第二攝像機14的一第二取像範圍內。換句話說，該第二機械手臂13受控分次移動該第二攝像機14，使該第二攝像機14分次面對該物品2的多個表面。
在該第二機械手臂13分次移動該第二攝像機14的過程中，該微處理器15P執行所述第二攝像機控制程式155，從而控制該第二攝 像機14自該物品2的複數個所述表面之中的N個對應取得N個物品影像，N為正整數。一般而言，一個工業製品(即，物品2)會包含六個表面，包括：上表面、下表面、前表面、後表面、左表面與右表面。進行外觀檢測時，會依據相關檢測規定對該工業製品的六個表面的其中幾個執行最仔細的外觀檢查。因此，可以稱該工業製品具有N個受檢面。如此，可以理解的是，在該物品2被放置在該第二傳送帶1P之後，該微處理器15P即控制該第二機械手臂13分次移動該第二攝像機14，使該第二攝像機14分次地面對該物品的N個受檢面，並自該N個受檢面對應取得N個物品影像。
最終，該微處理器15P執行所述瑕疵辨識程式156，從而對所述物品影像進行一特徵萃取處理以獲得對應的一特徵圖像，接著將各所述特徵圖像和一特徵模板進行一特徵匹配程序，從而確定各所述物品影像之中是否含有至少一瑕疵。應可理解，該瑕疵辨識程式156包含至少一預訓練的(Pre-trained)物品瑕疵辨識模型，該物品瑕疵辨識模型完成該特徵圖像和該特徵模板的一特徵匹配，並確認該特徵圖像所含有的瑕疵種類。
圖4為本發明之用於檢測應用的自動正確取像及校準系統的第三立體圖。如圖4所示，在可行的實施例中，本發明之自動正確取像及校準系統1可進一步包括：一第一光源16與至少一第二光源17。其中，該第一光源16耦接該控制與處理裝置15，且被設置以鄰近該第一攝像機12，從而依該控制與處理裝置15的控制而提供一第一檢測光照亮該第一取像範圍。另一方面，所述第二光源17耦接該控制與處理裝置15，且被設置以鄰近所述第二攝像機14，從而依該控制與處理裝置15的控制而提供一第二檢測光照亮所述第二取像範圍。
補充說明的是，本發明之自動正確取像及校準系統1的控制與處理裝置15可以整合在一電子裝置之中，其中該電子裝置係資訊連結用以控制該第一傳送帶1F和該第二傳送帶1P的一機台控制裝置，該機台控制裝置包含於一自動化產線之中。或者，亦可直接地將該控制與處理裝置15整合在用以控制該第一傳送帶1F和該第二傳送帶1P的該機台控制裝置之中。
如此，上述已完整且清楚地說明本發明之一種用於檢測應用的自動正確取像及校準系統。然而，必須加以強調的是，上述之詳細說明係針對本發明可行實施例之具體說明，惟該實施例並非用以限制本發明之專利範圍，凡未脫離本發明技藝精神所為之等效實施或變更，均應包含於本案之專利範圍中。
1:自動正確取像及校準系統
11:第一機械手臂
12:第一攝像機
13:第二機械手臂
14:第二攝像機
15:控制與處理裝置
2:物品
21:識別特徵
1F:第一傳送帶
1P:第二傳送帶

Claims (10)

  1. 一種自動正確取像及校準系統，係用於檢測應用，且包括：一第一機械手臂，係設置以同時鄰近一第一傳送帶和一第二傳送帶，其中該第一傳送帶係傳送有複數個物品，且所述物品至少有一個表面被設置有一識別特徵；一第一攝像機，係設置以鄰近該第一機械手臂；至少一第二機械手臂，係設置以鄰近該第二傳送帶，且各所述第二機械手臂係持有一第二攝像機；以及一控制與處理裝置，耦接該第一機械手臂、該第一攝像機、該至少一第二機械手臂、與該至少一第二攝像機，且包括一微處理器與一記憶體；其中，該記憶體內儲存有利用一程式語言編輯成的一應用程式，使該微處理器透過存取該記憶體以執行所述應用程式，從而啟用以下功能：控制該第一機械手臂自該第一傳送帶夾起一個所述物品，並夾持該物品移動至該第一攝像機的一第一取像範圍內，接著依一翻面順序翻轉該物品；在該物品被依所述翻面順序翻轉的過程中，控制該第一攝像機依序地拍攝該物品的複數個二維影像；對複數個所述二維影像執行一標籤辨識處理，以找出包含一識別特徵圖像的至少一個所述二維影像； 依據包含至少一個所述識別特徵圖像的複數個所述二維影像，確認該物品的一相對位置與一相對三維座標，並控制該第一機械手臂夾持該物品移動至該第二傳送帶之上；控制該第二機械手臂分次移動該第二攝像機，使該物品的複數個所述表面分次地落在該第二攝像機的一第二取像範圍內；在該第二機械手臂分次移動該第二攝像機的過程中，控制該第二攝像機自該物品的複數個所述表面之中的N個對應取得N個物品影像，N為正整數；以及對所述物品影像進行一特徵萃取處理以獲得對應的一特徵圖像，接著將各所述特徵圖像和一特徵模板進行一特徵匹配程序，從而確定各所述物品影像之中是否含有至少一瑕疵。
  2. 如請求項1所述之自動正確取像及校準系統，係更包括：一第一光源，耦接該控制與處理裝置，且被設置以鄰近該第一攝像機，從而依該控制與處理裝置的控制而提供一第一檢測光照亮該第一取像範圍；以及至少一第二光源，其中，所述第二光源耦接該控制與處理裝置，且被設置以鄰近所述第二攝像機，從而依該控制與處理裝置的控制而提供一第二檢測光照亮所述第二取像範圍。
  3. 如請求項1所述之自動正確取像及校準系統，其中，該識別特徵為一標籤，且該標籤選自於由二維條碼標籤(2D barcode tag)、QR碼標籤(QR code tag)、矩陣條碼標籤(matrix barcode tag)、 由圖形組成的標籤(tag containing graphic patterns)、由文字組成的標籤(tag containing text messages)、由字母組成的標籤(tag containing alphabets)、與由數字組成的標籤(tag containing numeric figures)所組成群組之中的任一者。
  4. 如請求項1所述之自動正確取像及校準系統，其中，該識別特徵為該物品上的一可辨識特徵。
  5. 如請求項3所述之自動正確取像及校準系統，其中，該標籤攜載該物品的複數個基礎訊息，包括：製造商識別碼(Vendor ID,VID)、產品識別碼(Product ID,PID)、批號、與序號。
  6. 如請求項1所述之自動正確取像及校準系統，其中，該控制與處理裝置運行一影像處理程式從而依據包含至少一個所述識別特徵圖像的複數個所述二維影像重構該物品的一、三維影像，接著確認該物品的該相對位置與該相對三維座標。
  7. 如請求項6所述之自動正確取像及校準系統，其中，該影像處理程式包含選自於由Delaunay三角剖分演算法(Delaunay triangulation algorithm)、Crust三角剖分演算法(Crust triangulation algorithm)、和不規則三角形格網(Triangulated Irregular Network,TIN)演算法所組成群組之中的一影像處理演算法。
  8. 如請求項6所述之自動正確取像及校準系統，其中，該應用程式包含複數個子程式，且該複數個子程式包括：一第一機構控制程式，用以控制該第一機械手臂自該第一傳送帶拾起一個所述物品，並夾持該物品移動至該第一攝像機的該第一取像範圍內，接著依所述翻面順序翻轉該物品；一第一攝像機控制程式，用以控制該第一攝像機在該物品被依所述翻面順序翻轉之時，對該物品取像以獲得該複數個二維影像；一標籤辨識程式，用以對複數個所述二維影像執行所述標籤辨識處理，以找出包含所述識別特徵圖像的至少一個所述二維影像；所述影像處理程式，用以依據包含至少一個所述識別標籤圖像的複數個所述二維影像重構該物品的該三維影像，接著確認該物品的該相對位置與該相對三維座標，使該第一機械手臂可以接著夾持該物品移動至該第二傳送帶之上；一第二機構控制程式，用以控制該第二機械手臂分次移動該第二攝像機，使該物品的複數個所述表面分次地落在該第二攝像機的一第二取像範圍內；一第二攝像機控制程式，用以控制該第二攝像機在該第二機械手臂分次移動該第二攝像機的過程中對該物品取像以獲得該N個物品影像；以及 一瑕疵辨識程式，用以對N個所述物品影像進行所述特徵萃取處理以獲得N個所述特徵圖像，接著將各所述特徵圖像和一特徵模板進行所述特徵匹配程序。
  9. 如請求項8所述之自動正確取像及校準系統，其中，該控制與處理裝置整合在一電子裝置之中，且該電子裝置資訊連結用以控制該第一傳送帶和該第二傳送帶的一機台控制裝置。
  10. 如請求項8所述之自動正確取像及校準系統，其中，該控制與處理裝置整合在用以控制該第一傳送帶和該第二傳送帶的一機台控制裝置之中，且該機台控制裝置包含於一自動化產線之中。
TW111131924A 2022-08-24 2022-08-24 用於檢測應用的自動正確取像及校準系統 TWI802496B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW111131924A TWI802496B (zh) 2022-08-24 2022-08-24 用於檢測應用的自動正確取像及校準系統
US18/451,264 US20240073531A1 (en) 2022-08-24 2023-08-17 Automatic target image acquisition and calibration system for inspection
JP2023133430A JP2024031875A (ja) 2022-08-24 2023-08-18 検査のために適用される自動目標画像捕捉及び校正システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW111131924A TWI802496B (zh) 2022-08-24 2022-08-24 用於檢測應用的自動正確取像及校準系統

Publications (2)

Publication Number Publication Date
TWI802496B true TWI802496B (zh) 2023-05-11
TW202408755A TW202408755A (zh) 2024-03-01

Family

ID=87424421

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111131924A TWI802496B (zh) 2022-08-24 2022-08-24 用於檢測應用的自動正確取像及校準系統

Country Status (3)

Country Link
US (1) US20240073531A1 (zh)
JP (1) JP2024031875A (zh)
TW (1) TWI802496B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN204308972U (zh) * 2014-10-14 2015-05-06 上海晨兴希姆通电子科技有限公司 视觉检查系统
TW202035946A (zh) * 2019-03-22 2020-10-01 由田新技股份有限公司 翻面式多軸機械手臂裝置及其光學檢測設備
CN114148752A (zh) * 2021-12-03 2022-03-08 深圳市久久犇自动化设备股份有限公司 片状工件全自动生产线

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN204308972U (zh) * 2014-10-14 2015-05-06 上海晨兴希姆通电子科技有限公司 视觉检查系统
TW202035946A (zh) * 2019-03-22 2020-10-01 由田新技股份有限公司 翻面式多軸機械手臂裝置及其光學檢測設備
CN114148752A (zh) * 2021-12-03 2022-03-08 深圳市久久犇自动化设备股份有限公司 片状工件全自动生产线

Also Published As

Publication number Publication date
JP2024031875A (ja) 2024-03-07
US20240073531A1 (en) 2024-02-29

Similar Documents

Publication Publication Date Title
JP2018004390A (ja) 検査システム
WO2018034051A1 (ja) 検査装置および検査方法
CN113039432A (zh) 优化自动视觉检查过程中的设置阶段
CN112150439A (zh) 注塑件的自动分拣设备及分拣方法
CN111289521A (zh) 加工品的表面损伤检查系统
TWI802496B (zh) 用於檢測應用的自動正確取像及校準系統
CN111389750B (zh) 一种视觉测量系统及测量方法
US20210385413A1 (en) Product assembly machine having vision inspection station
US20220284699A1 (en) System and method of object detection using ai deep learning models
CN113751332A (zh) 视觉检查系统和检查零件的方法
CN113495073A (zh) 视觉检查系统的自动对焦功能
Tönshoff et al. Image processing in a production environment
TW202408755A (zh) 用於檢測應用的自動正確取像及校準系統
Vagaš et al. Calibration of an intuitive machine vision system based on an external high-performance image processing unit
CN117670768A (zh) 用于检测应用的自动正确取像及校准系统
US11557027B2 (en) Vision inspection system and method of inspecting parts
Giesko et al. Advanced mechatronic system for in-line automated optical inspection of metal parts
JP2018167357A (ja) 良品収集システム並びにそのシステムの制御用のコントローラおよびプログラム
US20230191634A1 (en) Multistep Visual Assistance for Automated Inspection
JP6695253B2 (ja) 表面検査装置及び表面検査方法
Pop et al. Robot vision application for bearings identification and sorting
Mqaqa et al. Vision Guidance System for Component Handling Robot
US20230237636A1 (en) Vision inspection system for defect detection
Bailey Machine vision: A multi-disciplinary systems engineering problem
CN115082387A (zh) 一种基于2d与3d视觉融合pcb器件缺陷的检测方法