KR20160107128A - 작업재의 가상조립을 통해 어셈블리 시스템을 트레이닝 하기 위한 비전시스템 - Google Patents

작업재의 가상조립을 통해 어셈블리 시스템을 트레이닝 하기 위한 비전시스템 Download PDF

Info

Publication number
KR20160107128A
KR20160107128A KR1020160025948A KR20160025948A KR20160107128A KR 20160107128 A KR20160107128 A KR 20160107128A KR 1020160025948 A KR1020160025948 A KR 1020160025948A KR 20160025948 A KR20160025948 A KR 20160025948A KR 20160107128 A KR20160107128 A KR 20160107128A
Authority
KR
South Korea
Prior art keywords
workpiece
station
assembly
image
camera
Prior art date
Application number
KR1020160025948A
Other languages
English (en)
Other versions
KR102062423B1 (ko
Inventor
구루프라새드 쉬바람
윌라드 포스터
Original Assignee
코그넥스코오포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코그넥스코오포레이션 filed Critical 코그넥스코오포레이션
Publication of KR20160107128A publication Critical patent/KR20160107128A/ko
Application granted granted Critical
Publication of KR102062423B1 publication Critical patent/KR102062423B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/42—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
    • G05B19/4202—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine preparation of the programme medium using a drawing, a model
    • G05B19/4207—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine preparation of the programme medium using a drawing, a model in which a model is traced or scanned and corresponding data recorded
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0006—Industrial image inspection using a design-rule based approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G01N21/13—Moving of cuvettes or solid samples to or from the investigating station
    • G01N2021/135—Sample holder displaceable
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1765—Method using an image detector and processing of image signal
    • G01N2021/177—Detector of the video camera type
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/40—Imaging
    • G01N2223/417—Imaging recording with co-ordinate markings
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/31—From computer integrated manufacturing till monitoring
    • G05B2219/31044—Assembly of modular products, variant configurability
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/31—From computer integrated manufacturing till monitoring
    • G05B2219/31066—Virtual assembly disassembly planning
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39045—Camera on end effector detects reference pattern
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40499—Reinforcement learning algorithm
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45104—Lasrobot, welding robot
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Manipulator (AREA)
  • User Interface Of Digital Computer (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)

Abstract

본 발명은 CMM 또는 그와 유사한 계측장치를 전반적으로 자유롭게 사용하도록 어셈블리 시스템을 훈련시켜 최적의 위치에 워크피스를 가이드 하기 위한 시스템 및 방법을 제공하는 것이다.
상기 시스템 및 방법은, 워크피스가 공통적인 좌표시스템에서 각각의 스테이션에서 있을 때, 워크피스의 이미지 특징을 표현한다. 이러한 기능은 "가상 어셈블리"에서 그것을 실제로 어셈블링 없이 워크피스를 어셈블링하는 것을 사용자에게 가시적으로 보여준다. 상기 가상 어셈블리는 각각의 스테이션에서 목표하는 상대적인 얼라이먼트로 워크피스의 위치를 가이드 하는 것을 지원한다. 상기 시스템과 방법은 워크피스를 가이드하는데 사용되는 카메라로부터 이미지를 이용하여 합성이미지를 실례로 생성한다.
상기 사용자는, 합성이미지가 바람직한 모습이 될 때까지, 각각의 스테이션에서 워크피스의 이미지를 전환할 수 있다.

Description

물체를 가상으로 조립하여 조립 시스템을 트레이닝하는 비전 시스템{VISION SYSTEM FOR TRAINING AN ASSEMBLY SYSTEM THROUGH VIRTUAL ASSEMBLY OF OBJECTS}
관련 출원
본 출원은 전체 개시 내용이 본 명세서에 명시적으로 병합된 2015년 3월 3일에 출원된 발명의 명칭이 "VISION SYSTEM FOR TRAINING AN ASSEMBLY SYSTEM THROUGH VIRTUAL ASSEMBLY OF OBJECTS"인 미국 가출원 번호 62/127,808의 이익을 주장한다.
기술 분야
본 발명은 머신 비전 시스템(machine vision system)에 관한 것으로, 보다 상세하게는 제조 환경에서 작업물과, 다른 물체의 조립을 가이드하는데 사용되는 비전 시스템에 관한 것이다.
(본 명세서에서 "비전 시스템"이라고도 언급되는) 머신 비전 시스템에서, 하나 이상의 카메라가 이미징된 장면(scene) 내 물체 또는 표면에 비전 시스템 처리를 수행하는데 사용된다. 이 처리는, 검사, 상징(symbology) 디코딩, 정렬 및 여러 다른 자동화된 태스크를 포함할 수 있다. 보다 구체적으로, 비전 시스템은 이미징된 장면을 통과하는 편평한 작업물을 검사하는데 사용될 수 있다. 이 장면은 하나 이상의 비전 시스템 카메라에 의해 일반적으로 이미징되고 이 비전 시스템 카메라는 연관된 비전 시스템 처리를 동작시켜 결과를 생성하는 내부 또는 외부 비전 시스템 프로세서를 포함할 수 있다. 하나 이상의 카메라를 교정(calibrate)하여 충분히 정확하고 신뢰성 있게 비전 태스크(들)를 수행할 수 있다. 교정 판(calibration plate)을 사용하여 카메라(들)를 교정하고, 모든 카메라의 픽셀의 위치를 좌표 시스템의 연관된 점으로 맵핑(mapping)하는 ("모션 좌표 시스템(motion coordinate system)"이라고도 언급되는) 공통 (전체) 좌표 시스템(common (global) coordinate system)을 수립하여, 임의의 카메라에서 이미징된 특징을 이 좌표 공간에 위치시킬 수 있다. 이러한 교정은 알려진 "손-눈" 교정 기술("hand-eye" calibration technique)을 사용하여 달성될 수 있다.
비전 시스템의 특별한 응용은 조립 위치에서 작업물을 정확히 지지하기 위한 이동하는 플랫폼(모션 스테이지(motion stage))과, "조립 모션"에서 다른 작업물을, 이 작업물에 조립되는 상부 정렬 위치(overlying alignment location)로 이동시키기 위한 조작기(manipulator)(예를 들어 "픽업앤배치(pick-and-place)" 동작 또는 다른 유형의 모션 디바이스(motion device)/모션 스테이지를 수행하는 로봇 손(robot hand) 또는 암(arm))를 포함할 수 있는 자동 조립 기구(automated assembly mechanism)에 의해 ("작업물"이라고도 언급되는) 물체를 조립하는 것이다.
작업물을 조립하는데 비전 시스템을 사용하는 특정 응용은 하나의 평면 작업물을 다른 평면 작업물과 정렬하는 것을 수반한다. 예를 들어, 배터리는 픽업앤배치 동작에서 모션 스테이지에 존재하는 셀폰(cell phone)에 있는 웰(well) 위로 그리고 웰 내로 조작기에 의해 조작될 수 있다.
이러한 비전 시스템은 시스템을 실행하는 동작 시간 동안 각 작업물이 다른 작업물과 올바르게 정렬되도록 초기에 트레이닝된다. 트레이닝 시간 동안, 작업물은 각 스테이션에 위치되고, 조립될 때, 조립된 작업물이 원하는 상호 위치 관계를 구비하게 된다. 트레이닝 이후, 실행시간 동안, 작업물은 임의의 배치 또는 크기 변동을 고려하기 위하여 각 스테이션에서 재위치되고 나서 조립된다. 작업물-조립 공정이 시작할 때, 이에 의해 부분들이 트레이닝 시간에서 배치된 것과 동일한 상호 위치 관계로 배치된다.
현재 트레이닝 기술이 각 스테이션에 작업물을 배치하는 것, 시스템을 트레이닝하는 것, 작업물을 조립하는 것, 및 좌표 측정 기계(coordinate measuring machine: CMM)와 같은 개별 측정 시스템에 대한 조립 에러를 측정하는 것을 수반한다. 측정된 에러는 (a) (각각 조작기와 모션 스테이지에 의해) 작업물을 재위치시키는 것과, 조립 시스템을 재트레이닝시키는 것을 가이드하는데 사용되거나, 또는 (b) 일부 조립 시스템에서 각 기구에 의해 작업물들 중 하나 또는 둘 모두의 작업물의 위치를 정정하기 위해 실행시간 동안 적용되는 정정 인자(correction factor)로 포함된다. 작업물을 재위치시키는 것에 의해 트레이닝하는 것에 따른 단점은 이것이 반복적이고 시간을 소비하는 공정이라는 것이다. 사용자는 원하는 조립 특성이 달성될 때까지 다수회 트레이닝 단계를 반복해야 한다. 또한, 정정 인자를 조작기 및/또는 모션 스테이지의 조립 모션에 포함시키는 것에 따른 문제는 CMM과 조립 시스템의 좌표 프레임들 간에 수립된 관계가 없다는 것이다. 그리하여, 정정 인자를 연산하는 것이 또한 반복적이고 시간을 소비하는 공정이다.
본 발명은 일반적으로 CMM 또는 이와 유사한 계측 디바이스를 사용함이 없이 작업물을 최적의 위치로 가이드하여 조립 시스템을 트레이닝하는 시스템 및 방법을 제공하는 것에 의해 종래 기술의 단점을 해소한다. 상기 시스템 및 방법은, 작업물이 각 스테이션에 있을 때, 작업물의 이미지 특징을 공통 좌표 시스템에 표시한다. 이 능력에 의해 사용자는 상기 작업물을 실제 조립함이 없이 상기 작업물을 조립하는 결과를 시각화(visualize)할 수 있다. 이것은 본 명세서에서 "가상 조립"이라고 언급된다. 상기 시스템 및 방법은, 가상 조립을 사용하여 작업물이 조립될 때, 상기 조립된 작업물들이 원하는 상대적인 정렬을 가지도록 각 스테이션에서 상기 작업물의 배치를 가이드하는 것을 도와준다. 일 실시예에서, 상기 시스템 및 방법은 상기 작업물을 가이드하는데 사용된 카메라로부터 (작업물의 복수의 취득된 이미지로부터 구성된 스티치된 이미지(stitched image)일 수 있는) 이미지들을 사용하여 합성 이미지(composite image)를 생성하여 상기 사용자가 조립 후에 부분이 보일 수 있는 방식을 시각화하는 것을 도와줄 수 있다. 상기 사용자는 상기 합성 이미지가 원하는 외관을 구비할 때까지 각 스테이션에서 작업물의 이미지를 재위치시킬 수 있다. 다른 실시예에서, 상기 사용자는 상기 작업물의 이미지에서 특징을 찾아내고 상기 특징 정보를 상기 공통 좌표 시스템에 표시할 수 있다. 상기 사용자는 작업물에 걸쳐 특징들 사이의 관계를, 올바르게 조립된 부분에 대해 설계된 관계와 비교하고, 상기 결과를 사용하여 상기 작업물을 최적으로 조립하는 위치로 가이드한다. 제3 실시예에서 상기 작업물은 이전의 실시예에서 추출된 특징을 사용하여 최적의 위치로 자동적으로 재위치된다.
예로서, 이미지 특징은 다수의 스테이션으로부터 공통 좌표 시스템으로 교정 공정을 통해 맵핑될 수 있다. 일례로서, 반복가능한 픽업앤배치 조작기를 사용하여 상기 부분들을 조립하는 시스템에서, 교정 타깃(calibration target)은 상기 조작기를 사용하여 타깃을 전달(transferring)하는 것에 의해 다수의 스테이션에서 이미징될 수 있다. 작업물과 같은 타깃을 조작하는데 적절한 고정물(fixture)이 사용될 수 있다. 이런 방식으로, 상기 교정 타깃은 작업물과 동일한 병진이동을 받고, 이에 따라, 상기 작업물 특징의 좌표는 조작하는 동안 픽업 스테이션으로부터 배치 스테이션으로 상기 작업물의 좌표와 동일한 경로를 따른다. 대안적으로, 상기 맵핑 파라미터는 조립 공정을 아는 것에 기초하여 좌표를 지정(specifying)하는 것에 의해 수동으로 연산될 수 있다.
유리하게는, 상기 시스템 및 방법은 상기 작업물들을 단일 조립된 물체로 조립하는 조립 시스템을 트레이닝하기 위해 임의의 개수의 스테이션으로부터 임의의 개수의 작업물을 가상으로 조립할 수 있다.
예시적인 실시예에서, 물체를 가상하는 조립하는 시스템 및 방법, 제1 작업물을 포함하는 적어도 제1 스테이션을 구비하고 제2 작업물을 상기 제1 작업물과 정렬하여 조립하는 조립 시스템이 제공된다. 하나 이상의 비전 시스템 카메라와 비전 시스템 프로세서 조립체는 상기 제1 작업물과 상기 제2 작업물을 이미징하도록 배열된다. 상기 복수의 카메라는 공통 좌표 시스템으로 교정된다. 정렬 공정은 상기 제1 작업물과 상기 제2 작업물의 이미지와 특징 중 적어도 하나를 상기 공통 좌표 시스템에 생성한다. 조작 공정은 상기 제1 작업물에서 제1 특징 세트와 상기 제2 작업물에서 제2 특징 세트를 찾아내고, 상기 제2 특징 세트에 대해 상기 제1 특징 세트를 자동적으로 정렬하도록 배열된 비전 도구(vision tool)를 포함한다. 조립 에러 연산 모듈은 상기 가상 조립 공정 동안 상기 조작 공정에 의해 상기 제1 작업물과 상기 제2 작업물의 조작도(degree of manipulation)에 따라 조립 에러를 연산한다. 예시적으로, 상기 제2 작업물은 상기 제1 스테이션으로부터 원격에 있는 제2 스테이션에서 이미징된다.
실시예에서, 상기 비전 시스템 카메라는 적어도 제3 작업물을 이미징한다. 상기 정렬 공정은 상기 제3 작업물의 이미지와 특징 중 적어도 하나를 상기 공통 좌표 시스템에 생성한다. 상기 조작 공정은 이에 따라 상기 제1 작업물과 상기 제2 작업물 중 적어도 하나의 작업물에 대해 상기 제3 작업물을 가상으로 조립하여 상기 제3 작업물의 이미지와 특징 중 적어도 하나를 상기 제1 작업물과 상기 제2 작업물 중 적어도 하나의 작업물의 이미지와 특징 중 적어도 하나와 정렬하도록 배열된다. 상기 조립 에러 연산 모듈은 이에 의해 상기 제1 작업물과 상기 제2 작업물 중 적어도 하나의 작업물에 대해 상기 제3 작업물의 조작도에 따라 조립 에러를 연산한다. 상기 제1 작업물은 제1 스테이션에서 상기 비전 시스템 카메라에 의해 이미징되고, 상기 제2 작업물과 상기 제3 작업물 각각은 제2 스테이션에서 상기 비전 시스템 카메라에 의해 이미징된다. 예시적으로, 적어도 제4 작업물은 제4 스테이션에서 상기 비전 시스템 카메라에 의해 이미징될 수 있다. 이런 방식으로 상기 시스템 및 방법을 사용하여 임의의 개수의 스테이션에서 임의의 개수의 작업물을 조립하는 조립 시스템을 트레이닝할 수 있다.
실시예에서, 상기 제1 작업물을 이미징하는 적어도 하나의 상기 비전 시스템 카메라와 상기 제2 작업물을 이미징하는 적어도 하나의 상기 비전 시스템 카메라는 이후 이산(discrete)(별개의/상이한) 좌표 시스템으로 맵핑(교정)된다. 따라서, 상기 제1 작업물과 상기 제2 작업물은 상기 2개의 이산 좌표 시스템에 기초하여 인터페이스에서 조립된다. 실시예에서 상기 스테이션들 중 적어도 하나는 조립 플랫폼이고, 상기 스테이션들 중 다른 것은 픽업 위치이다. 예시적으로, 상기 조립 에러는 적어도 3개의 자유도로 한정될 수 있다. 상기 인터페이스는 상기 제1 작업물의 이미지를 상기 제2 작업물의 이미지와 수동으로 정렬하는 디스플레이 및 사용자 인터페이스를 구비할 수 있다. 상기 제1 작업물과 상기 제2 작업물 중 적어도 하나의 작업물의 이미지는 스티치된 이미지일 수 있다. 상기 인터페이스는 상기 제2 특징 세트에 대하여 상기 제1 특징 세트를 자동적으로 정렬하는 비전 도구를 더 포함하는 전체 조작 공정 또는 프로세서의 일부일 수 있다.
예시적으로, 적어도 하나의 비전 시스템 카메라는 상기 제1 작업물과 상기 제2 작업물 중 적어도 하나의 작업물을 이미징한다. 이 비전 시스템 카메라(또는 카메라들)는 상기 조립 시스템의 트레이닝 및/또는 실행시간 동작에서 사용되는 이미지를 취득하도록 구성되고 배열된다. 이 카메라(또는 카메라들)는 정렬 공정에 사용되는 카메라(들)와는 별개이다(이 카메라(들)가 없다). 상기 조립 플랫폼은 모션 스테이지를 한정할 수 있고, 상기 조립 시스템은 상기 제2 작업물을 상기 픽업 스테이션으로부터 상기 모션 스테이지로 이동시키는 반복가능한 조작기를 구비할 수 있다. 또한 예시적으로, 상기 제1 작업물과 상기 제2 작업물(및/또는 제3 작업물, 제4 작업물 등) 중 적어도 하나는 상기 비전 시스템 카메라에 의해 이미징된 평면 표면을 한정한다.
예시적으로, 상기 시스템 및 방법은 (a) 상기 제1 스테이션을 제1 좌표 시스템으로 이미징하는 모든 비전 시스템 카메라를 교정하는 제1 교정 공정으로서, 상기 교정된 비전 시스템 카메라의 전부 또는 서브셋(subset)이 상기 조립 시스템에서 실행시간 동작 동안 사용하도록 적응되는, 상기 제1 교정 공정; (b) 상기 제2 스테이션을 제2 좌표 시스템으로 이미징하는 모든 비전 시스템 카메라를 교정하는 제2 교정 공정으로서, 상기 교정된 카메라의 전부 또는 서브셋이 상기 조립 시스템에서 실행시간 동작 동안 사용하도록 적응되는, 상기 제2 교정 공정; (c) 상기 제1 좌표 시스템과 상기 제2 좌표 시스템을 상기 공통 좌표 시스템으로 묶는(tie) 제3 교정 공정으로서, 상기 교정된 비전 시스템 카메라의 상이한 이산 서브셋을 사용하여 상기 제1 좌표 시스템과 상기 제2 좌표 시스템을 상기 공통 좌표 시스템으로 묶는, 상기 제3 교정 공정을 포함할 수 있고, (d) 상기 제1 스테이션과 상기 제2 스테이션 각각에서 (a) 및 (b)으로부터 상기 교정된 비전 시스템 카메라의 전부 또는 서브셋이, (a)에서의 상기 제1 교정 공정과, (b)에서의 상기 제2 교정 공정, 및 (c)에서의 상기 제3 교정 공정에 기초하여 수립된 상기 공통 좌표 시스템에 기초하여 가상 조립에 사용된다.
본 발명의 아래 상세한 설명은 첨부 도면을 참조한다:
도 1은, 예시적인 실시예에 따라 시각적 트레이닝 공정(프로세서)을 포함하는, 작업물 조립 시스템과 함께 사용되는 예시적인 모션 스테이지에 대해 배열된 멀티-카메라 비전 시스템을 도시하는 도면;
도 2는, 작업물을 추출하는 픽업 스테이션에 위치된 픽업앤배치 조작기를 보여주는, 작업물을 다른 작업물과 정렬하는 예시적인 픽업앤배치 조립 배열에 대해 배열된 2개의-카메라 비전 시스템을 도시하는 도면;
도 3은, 작업물을 상대적으로 정렬하여 함께 조립하는, 배치 스테이션에 위치된 픽업앤배치 조작기를 보여주는, 도 2의 2개의-카메라 비전 시스템과 예시적인 픽업앤배치 조립 배열을 도시하는 도면;
도 4는, 전체 좌표 시스템에 대해 교정하기 위해 픽업 스테이션 카메라의 시야에 위치된 교정 판을 보여주는, 도 2의 2개의-카메라 비전 시스템과 예시적인 픽업앤배치 조립 배열을 도시하는 도면;
도 5는, 전체 좌표 시스템에 대해 교정하기 위해 배치 스테이션 카메라의 시야에 위치된 교정 판을 보여주는, 도 2의 2개의-카메라 비전 시스템과 예시적인 픽업앤배치 조립 배열을 도시하는 도면;
도 6은 조립 시스템에서 다수의 카메라를 공통 좌표 시스템으로 교정하는 절차 흐름도;
도 7은 각 스테이션에서 작업물의 스티치된 이미지를 생성하고, 스티치된 이미지를 사용하여 합성 이미지를 생성하는 절차 흐름도;
도 8은 제1 스테이션에서 제1 작업물에 있는 4개의 예시적인 십자 기호(cross)(+) 특징(기준)으로 제1 스티치된 이미지를 생성하는 4개의-카메라 시스템을 보여주는 것을 도시하는 도면;
도 9는 제2 스테이션에서 제2 작업물에 있는 4개의 예시적인 원형 특징(기준)으로 제2 스티치된 이미지를 생성하는 4개의-카메라 시스템을 보여주는 것을 도시하는 도면;
도 10은, 각 기준이 오정렬된, 도 8의 제1 스티치된 이미지와 도 9의 제2 스티치된 이미지를 갖는 합성 이미지를 도시하는 도면;
도 11은, 각 기준이 정렬된, 도 8의 제1 스티치된 이미지와 도 9의 제2 스티치된 이미지를 갖는 합성 이미지를 도시하는 도면;
도 12는, 작업물의 멀티-카메라(예를 들어, 4개의-카메라) 배열 이미지 에지(edge)들이 플랫폼에 배치된, 사용자가 보는 그래픽 사용자 인터페이스(GUI) 디스플레이를 도시하는 도면;
도 13은, 작업물의 멀티-카메라 배열 이미지 에지들이 모션 스테이지에 배치된, 사용자가 보는 그래픽 사용자 인터페이스(GUI) 디스플레이를 도시하는 도면;
도 14는, 작업물이 오정렬된 조립을 초래하는 위치에 있을 때 GUI가 합성 이미지 내 구역에 있는 4개의 이미지를 디스플레이하는, 멀티-카메라 배열에서 사용자가 보는 그래픽 사용자 인터페이스(GUI) 디스플레이를 도시하는 도면;
도 15는, 작업물이 정렬된 조립을 초래하는 위치에 있을 때 GUI가 합성 이미지 내 구역에 있는 4개의 이미지를 도시하는 멀티-카메라 배열에서, 사용자가 보는 그래픽 사용자 인터페이스(GUI) 디스플레이를 도시하는 도면;
도 16은 가상 조립을 사용하여 시각적 작업물 정렬에 기초하여 조립 시스템을 트레이닝하는 절차 흐름도; 및
도 17은 특징 관계를 사용하여 작업물을 가상으로 조립하는 절차 흐름도.
도 1은 적어도 3개의 자유도(예를 들어 Xs, Ys 및 θzs)로 제1 작업물(112)을 이동가능하게 지지하는 모션 스테이지(110)를 사용하는 조립 시스템(100)을 도시한다. 작업물(112)은 적어도 그 일부를 따라 일반적으로 평면이고(즉, 편평하고) 편평한 평면은 스테이지(110)의 z-축(Zs)을 따라 지정된 높이에 존재한다. 스테이지는 "조립 스테이션"으로 한정될 수 있고, 제1 작업물(112)이 차지하는 전체 면적 중 일부 시야를 각각 이미징하는 복수의 카메라(130)에 의해 이미징된다. 카메라(130)와 그 기능은 아래에 더 설명된다.
이 배열(100)에서, 픽업앤배치 기구 또는 "조작기"(120)는 소스(이 예에서 미도시)와, 도시된 제1 작업물(112) 위 위치 사이에 제2 (평면) 작업물(122)과 선택적으로 맞물려 이를 운반한다. 이 배열을 위하여, "픽업 위치" 또는 "픽업 스테이션"은 도 1에 도시된 바와 같이 제2 작업물(122)이 상이한 높이에서 (즉, 제1 작업물 위에서) 이미징되는 위치이다. (예를 들어, 아래 도 2 내지 도 5에 도시된 바와 같이) 추가적인 실시예에서, 픽업 위치/스테이션은 원격 소스에 위치되고 여기서 조작기(예를 들어, 반복가능한 픽업앤배치 기구)가 제1 작업물에 조립되기 위한 작업물을 소스로부터 검색한다. 이 예에서 조립 태스크는, 외부 에지(126, 118)를 가지는 제2 작업물(122)을, 제1 작업물(112)에 있는 대응하는 내부 에지(116, 118)에 의해 한정된 리세스(114)에 정밀하게 배치하는 것을 수반한다. 조작기(120)는 다수의 자유도에 따라 - 예를 들어 축 Xm, Ym 및 Zm을 따라 이동하고, 각 축 주위로 (예를 들어, 축(Zm) 주위로 θzm 만큼) 회전한다. 이 배열(100)에서 카메라(130)는 제1 작업물(112)의 상부 평면보다 상이한 높이(z 축)에 있는 상부 평면 제2 작업물(122)을 각각 이미징한다.
카메라(130)는, 카메라 하우징 내에 주문(custom) 비전 프로세서 회로로 전체적으로 또는 부분적으로 통합될 수 있거나, 또는 PC, 랩탑, 태블릿, 스마트폰 등을 포함하지만 이들로 제한되지 않는 상호 연결된 원격 연산 디바이스(150) 내에 제공될 수 있는 비전 시스템 프로세서(140)에 각각 동작가능하게 연결된다. 하나를 초과하는 카메라를 사용하는 조립 시스템에서, 각 카메라는 취득된 이미지 또는 이 이미지로부터 추출된 정보를 중앙 프로세서로 송신하도록 적응되는 것으로 이해된다. 중앙 프로세서는 조립 동안 여러 카메라로부터 오는 정보를 통합한다. 원격 연산 디바이스가 사용된 경우, 이러한 연산 디바이스(150)는 디스플레이 및 연관된 그래픽 사용자 인터페이스(GUI) 제어, 예를 들어, 키보드, 마우스 및/또는 터치스크린을 포함할 수 있다. 비전 프로세서(140)는 여러 비전 도구(142), 예를 들어, 에지 파인더(edge finder), 얼룩(blob) 분석기, 검색 도구, 캘리퍼 도구(caliper tool) 등을 포함하는 여러 비전 시스템 공정(또는 요소/모듈)을 수행한다. 예시적으로, 비전 프로세서(140)는 아래에 더 설명된 방식으로 2개의 작업물로부터 이미지 데이터를 정렬하는 정렬 공정(프로세서)을 포함한다. 교정 공정(프로세서)(146)은 2개의 부분들의 이미지로부터 추출된 이미지 특징을, 아래에 더 설명된 바와 같이, 예를 들어, 교정 판과 손-눈 교정 절차를 사용하여 공통 (또는 모션) 좌표 시스템으로 맵핑하는 것을 촉진한다. 예시적으로, 트레이닝 공정(프로세서)(148)은 작업물을 재위치시켜 제1 작업물에 대해 제2 작업물을 정확히 조립하는, 본 명세서에 고려된 여러 트레이닝 절차를 수행한다. 비전 프로세서(140)는 복수의 상호 연결된 카메라 프로세서(또는 다른 디바이스)로 수립되거나 또는 단일 카메라 조립체(또는 원격 연산 디바이스)에서 중앙 프로세서로 수립될 수 있는 것으로 이해된다.
비-제한적인 예로서, 2015년 6월 8일에 출원된 발명의 명칭이 "SYSTEM AND METHOD FOR TYING TOGETHER MACHINE VISION COORDINATE SPACES IN A GUIDED ASSEMBLY ENVIRONMENT"인 공동 양도된 미국 가출원 번호 62/201,723을 참조한다. 사용가능한 배경 정보로 본 명세서에 병합된 이 출원 문헌은, 원격 위치들 사이에 공통 좌표 시스템을 수립하는 것에 관한 것이다. 보다 상세하게는, 이 병합된 출원 문헌은 실행시간 작업물에 있는 특징을 사용하여 교정 시간 동안 2개의 위치에서의 좌표 공간들을 함께 묶는 교정 시스템 및 방법을 제공하는 것에 의해 픽업 위치와 배치 위치들 사이에 조작기(및 연관된 그리퍼(gripper))에 의해 교정 타깃을 전달하는 것으로 발생하는 문제를 해결한다. 이 시스템 및 방법은 적어도 3개의 상이한 시나리오/기술, 즉 동일한 특징들이 두 위치에서 이미징되고 식별될 수 있는 기술; 실행시간 작업물의 이미징된 특징들이 각 위치에서 상이한 (여기서 작업물의 CAD 또는 측정된 렌더링이 이용가능한) 기술; 및 모션 스테이지를 포함하는 제1 위치가 손-눈 교정을 사용하여 모션 스테이지로 교정되고, 위치들 사이에서 실행시간 부분을 앞뒤로 전달하는 것에 의해 제2 위치가 동일한 모션 스테이지로 손-눈으로 교정되는 기술을 포함한다. 예시적으로, 처음 2개의 기술의 품질은 상이한 포즈(pose)를 각각 갖는 다수의 실행시간 작업물을 실행하는 것, 특징을 추출하는 것, 및 각 위치에서 이러한 특징들을 누적하는 것; 및 누적된 특징들을 사용하여 2개의 좌표 공간들을 묶는 것에 의해 개선될 수 있다. 보다 일반적으로, 이 시스템 및 방법은 2개의 위치들을 독립적으로 교정하고, 조립하는 동안 조작기가 전달하도록 구성되고 배열되고/적응된 작업물을 전달하고, 교정 판의 특징을 사용하는 대신에 이 작업물의 특징을 사용하는 것에 의해 2개의 위치들의 좌표 공간을 함께 묶는다.
병합된 출원 문헌의 예시적인 실시예에서, 제1 위치에 있는 제1 작업물이 조작기에 의해 제2 위치로 전달되는 환경에서 비전 시스템을 교정하는 시스템 및 방법이 제공된다. 제1 위치와 제2 위치의 좌표 공간들을 함께 묶는 것에 의존하는 동작이 제1 작업물에 수행된다. 적어도 하나의 비전 시스템 카메라는, 제1 작업물이 제1 위치에서 위치될 때 제1 작업물을 이미지하고 제2 위치에 위치될 때 제1 작업물을 이미지하도록 배열된다. 적어도 하나의 비전 시스템 카메라는 제1 위치에 대해 교정되어 제1 좌표 공간을 한정하는 제1 교정 데이터를 유도하고, 적어도 하나의 비전 시스템 카메라(잠재적으로 동일한 카메라(들))는 제2 위치에 대해 교정되어 제2 좌표 공간을 한정하는 제2 교정 데이터를 유도한다. 적어도 제1 작업물의 특징은 제1 작업물의 제1 이미지로부터 제1 위치에서 식별된다. 제1 이미지에서 식별된 특징에 기초하여 제1 작업물은 제1 위치에 대해 제1 좌표 공간에 대해 위치된다. 제1 작업물은 파지되어, 조작기로, 적어도 한번, 제2 위치에서 미리 결정된 조작기 위치로 이동되고, 제1 작업물의 제2 이미지는 제2 위치에서 취득된다. 제2 이미지에서 식별된 특징에 기초하여, 제1 작업물은 제2 위치에 대해 제2 좌표 공간에 대해 위치된다. 제1 좌표 공간과 제2 좌표 공간은 이에 의해 함께 묶인다. 예시적으로, 제1 이미지에서 식별된 특징이 제2 이미지에서 식별된 특징과 동일한 경우, 이 시스템 및 방법은 (a) 제1 교정 데이터에 대해 제1 이미지에서 식별된 특징의 위치를 맵핑하는 단계, (b) 제2 교정 데이터에 대해 제2 이미지에서 식별된 특징의 위치를 맵핑하는 단계, 및 (c) 제2 위치에서 맵핑된 특징을 제1 위치에서 맵핑된 특징으로 변환 맵핑을 연산하는 단계를 포함한다. 대안적으로, 제1 이미지에서 식별된 특징 중 일부가 제2 이미지에서 식별된 특징과 상이한 경우, 이 시스템 및 방법은 (a) 제1 교정 데이터에 대해 제1 이미지에서 식별된 특징의 위치를 맵핑하는 단계, (b) 제1 작업물의 특정 위치의 저장된 사양(specification)에 대해 변환을 연산하는 단계, (c) 제2 교정 데이터에 대해 제2 이미지에서 식별된 특징의 위치를 맵핑하는 단계, (d) 단계 (b)에서 연산된 변환을 사용하여 작업물이 제1 위치에 위치될 때 제1 좌표 공간에서 제2 이미지로부터 식별된 특징의 위치를 유도하는 단계, 및 (e) 제2 위치에서 맵핑된 특징을 제1 위치에서 대응하는 변환된 특징으로 변환 맵핑을 연산하는 단계를 포함한다. 제1 작업물의 사양은 제1 작업물의 CAD 모델 또는 제1 작업물의 측정된 모델(예를 들어, CMM-생성된 측정값)에 기초할 수 있다. 예시적으로, 이 시스템 및 방법은, (a) 제1 위치 또는 제2 위치에서 모션 렌더링 디바이스(motion rendering device)로 제1 작업물을 반복적으로 복수의 상이한 포즈로 이동시키는 단계, (b) 제1 위치와 제2 위치 각각에서 각 포즈에서 특징을 식별하는 단계, 및 (c) 식별된 특징 정보를 누적시켜 정확도를 개선시키는 단계를 포함할 수 있고, 여기서 제1 작업물은 동일한 작업물이거나 또는 복수의 이산 작업물들 중 하나이다. 여러 실시예에서, 이 시스템 및 방법은 이미지 좌표 시스템으로부터 제1 위치에서 교정 좌표 시스템으로 맵핑하는 것을 포함하고, 여기서 맵핑은 단위(unity) 맵핑이다. 실시예에서, 제2 위치는 제1 작업물이 제2 작업물과 원하는 정렬로 맞물려 배치된 제2 작업물을 구비하고, 및/또는 제2 작업물은 제1 작업물을 추가적으로 처리하기 위해 부품, 컨테이너 또는 프레임워크일 수 있다. 추가적으로, 여러 실시예에서, 동작은 다른 물체에 대해 정렬 동작, 제1 작업물에서 인쇄 동작, 및 제1 작업물에서 적용 동작 중 적어도 하나일 수 있고, 이 동작은 제1 위치와 제2 위치로부터 적어도 부분적으로 원격 위치에서 수행될 수 있다.
모션 스테이지(110)는 비전 프로세서에 대해 모션 정보를 통신하는 모션 제어기 및/또는 제어 프로세서(160)를 포함한다. 이것에 의해 스테이지(110)의 위치는 비전 프로세서에 의해 정확히 알려지거나 및/또는 추적될 수 있다. 여러 인코더 및 다른 센싱 디바이스는 스테이지(110)에 의해 사용되어 모션 정보를 생성할 수 있다. 모션 제어기(170)는 또한 조작기(120)에도 제공되어 이와 연관된 모션 정보(172)를 비전 프로세서(140)에 전달할 수 있다.
아래에 더 설명된 바와 같이, 가상 조립에 의해 사용자는 이에 의해 제공된 카메라와 이미지를 사용하여 (비전 시스템을 통해) 작업물을 가상으로 조립할 수 있다. 이러한 가상 조립 공정에서, 사용자는 조립 에러 정보를 획득하는 조작 공정(프로세서)을 사용하는데 이 조립 에러 정보는 물리적인 조립 기구의 움직임을 포함하는 동작에서 차후에 사용될 수 있고, 이 물리적인 조립 기구는 이후 일반적으로 조립 에러 정정에 의해 변경된 (일반적으로) 반복가능한 물리적인 조립 단계 세트를 수행할 수 있다. 예시적인 실시예에서, 모션 스테이지는 적절한 조절을 적용하는 것에 의해 가상 조립으로부터 유도된 데이터에 기초하여 조립 에러를 최소화하는데 사용된다. 대안적으로, 다른 모션 디바이스는 조립 에러 정정/조절을 포함할 수 있다.
조립 시스템이 일반적으로 매우 반복가능한 기구로 배열되지만, 모션의 변동이 프로그래밍되거나 실행시간 동안 입력될 수 있는 (또는 다른 방식으로 반복가능하지 않은) 조립 시스템을 본 명세서에 도시되고 설명된 가상 조립 및 가상 조립 절차를 사용하여 트레이닝할 수 있는 것으로 명시적으로 고려된다.
또한 본 명세서에서 여러 실시예로 도시된 물리적인 작업물 조립 배열은 모션 스테이지의 여러 구역을 이미징하는 임의의 개수의 카메라(예를 들어, 1개 또는 4개)를 포함하는 것으로 이해된다. 가상 조립에서 사용되는 각 스테이션에서 카메라의 개수는 대안적인 배열에서 매우 가변적이다. 또한, 전체 시스템에서 스테이션의 개수는 매우 가변적이다. 이 실시예에서 단일 스테이션이 상이한 높이에서 2개의 작업물에서 이미징된다. 아래 도 2 내지 도 4의 실시예에서 더 설명된 바와 같이, 하나 이상의 카메라가 2개의 이산 작업 스테이션 - 픽업 작업스테이션과 배치 작업스테이션 - 을 이미징하도록 각각 위치된다. 각 카메라는 공통 좌표 시스템으로 교정된다.
추가적인 실시예에 따라, 하나 이상의 연관된 카메라를 갖는 2개를 초과하는 스테이션이 전체 가상 조립과 가상 조립 배열에 제공될 수 있는 것으로 더 명시적으로 고려된다. 예를 들어, 추가적인 픽업 스테이션 또는 중간 조립 스테이션이 제공될 수 있다. 가상 조립에서 사용되는 모든 카메라는 (모션 스테이지 또는 다른 좌표 시스템에 기초하여 수립된) 공통 좌표 시스템으로 교정될 수 있고, 각 스테이션의 카메라(들)로부터 이미지는 본 명세서에 설명된 가상 조립과 가상 조립 공정의 일부일 수 있다.
도 2는 특히 일 실시예에 따른 시스템 및 방법을 사용할 수 있는 모션 스테이지(210)와 픽업앤배치(조작기) 기구(220)의 대안적인 배열(200)을 도시한다. 픽업 스테이션(222)은, 조작기(220)에 의해 선택적으로 픽업되고(화살표 250), 이 실시예에서 배치 스테이션을 한정하는 모션 스테이지(210)로 레일(225)을 따라 (화살표 252로) 향하는 제2 작업물(224)을 포함한다. 제1 작업물(212)은 일반적으로 전술된 바와 같이 조립하는 동안 제2 작업물(224)을 적절히 정렬하여 수용하도록 적응된다. 스테이지(210)는 2개 이상의 자유도(예를 들어, 축 Xs, Ys, 회전 θzs)를 따라 이동하고, 축(Zs)을 따라 높이에 존재한다. 조작기(220)는 적어도 축(Ym)을 따라, 및 축(Zm)으로 픽업/배치 방향을 따라 이동한다. 축(Zm) 주위로 θzm만큼 회전하는 것이 또한 고려된다. 스테이지(210)와 조작기(220)에 의한 모션을 조합하면, 도 3에 도시된 배치 동작(화살표 350) 동안 제1 작업물(212)에 대해 제2 작업물(224)을 충분히 정렬할 수 있다.
이 배열(200)에서, 적어도 하나의 카메라(240, 242)가 각 스테이션(210, 222)을 각각 이미징한다. 카메라(240, 242)는 전술된 바와 같이 배열된 비전 공정(프로세서)(260)에 상호 연결된다. 하나 또는 두 개의 스테이션은 (스테이지(210)에서 점선으로 도시된) 추가적인 카메라(244)를 포함할 수 있다. 비전 공정(프로세서)(260)은 또한 전술된 방식으로 모션 정보를 제공하는 스테이지 모션 제어기(270)와 조작기 모션 제어기(280)에 동작가능하게 상호 연결된다.
이제 2개의 카메라로부터 공통 좌표 시스템으로 특징을 맵핑하는 자동화된 기술을 도시하는 도 4 및 도 5를 참조한다. 이 기술은 각각 픽업 스테이션 카메라(242)와 배치 스테이션 카메라의 교정을 수반하고, 복수의 스테이션에서 다수의 카메라 조립체를 교정하는 절차(600)를 수반한다. 초기에, 절차(600)는 스테이지(210)에서 카메라(들)(240, 244)(또는 도 1에서 스테이지(110)에 카메라(130))의 손-눈 교정을 (단계(610)에서) 수행하여 모든 카메라가 공통 또는 모션 좌표 시스템을 한정하게 한다.
본 명세서에서 "모든" 카메라라는 용어는 본 명세서의 가상 조립에서 시스템에 의해 사용되는 모든 카메라를 말하는 것으로 이해된다. 비전 시스템(또는 다른 공정)에 의해 사용되는 일부 카메라는 태스크로부터 생략될 수 있는 것으로 명시적으로 이해된다. 각 스테이션으로부터 적어도 하나의 카메라는 공통 좌표 시스템으로 교정되고 트레이닝 공정에서 사용되는 이미지를 생성하는 것으로 주로 고려된다.
특정 교정 원리를 일반적으로 이해하기 위한 추가적인 배경으로서, 교정 타깃 또는 "판"과 같은 강성의 몸체에 대해, 모션은 한 쌍의 포즈, 즉: 모션 직전의 시작 포즈와, 모션 직후의 종료 포즈를 특징으로 할 수 있고 - 본 명세서에서 "포즈"는 일부 기저 좌표 시스템에서 임의의 하나의 특정 시각에서 몸체의 상태 - 몸체의 가상 특징을 설명하는 수치 값 세트로 한정된다. 예를 들어, 2개의 크기에서, 강성의 몸체는 3개의 수, 즉: X에서 병진이동, Y에서 병진이동, 및 회전 R을 특징으로 할 수 있다. 교정 판의 상황에서 포즈는 카메라(들)와 교정 판 사이에 상대적인 모션이 있을 때 교정 판이 카메라(들)에 제시되는 방식을 설명한다. 일반적으로, 표준 소위 "손-눈 교정"에서, 교정 판이 다수의 상이한 포즈로 카메라(들)에 제시되고, 각 카메라는 각 이러한 포즈에서 교정 판의 이미지를 취득한다. 비전 시스템의 손-눈 교정을 위하여, 교정 판은 카메라가 판의 각 이미지를 취득하는 복수의 미리 결정된 포즈로 일반적으로 이동된다. 이러한 손-눈 교정의 목표는 "모션 좌표 시스템"에서 카메라(들)와 교정 판의 강성 몸체의 포즈를 결정하는 것이다. 모션 좌표 시스템은 여러 방식으로 한정될 수 있다. (교정 판 및/또는 카메라가 공간에 존재하는 곳을 지정하는) 포즈의 개수는 적절한 좌표 시스템에서 해석되어야 한다. 단일 공통 좌표 시스템이 선택되면, 포즈와 모션은 이 공통/전체 좌표 시스템에서 설명/해석된다. 이 선택된 좌표 시스템은 종종 "모션 좌표 시스템"이라고 언급된다. 일반적으로 "모션"은 물리적인 모션, 예를 들어, 로봇 암, 또는 모션 스테이지, 예를 들어, 갠트리(gantry)를 렌더링할 수 있는 물리적인 디바이스에 의해 제공된다. 판이 하나 이상의 정지 카메라(들)에 대해 이동하거나 또는 카메라(들)가 정지 판에 대해 이동할 수 있는 것으로 이해된다. 이러한 모션-렌더링 디바이스의 제어기는 수치 값(즉, 포즈)을 사용하여 임의의 원하는 모션을 렌더링할 것을 디바이스에 명령하고, 이 값은 이 디바이스에 대해 네이티브(native) 좌표 시스템에서 해석된다. 임의의 모션 좌표 시스템이 모션-렌더링 디바이스와 카메라(들)에 대해 공통 전체 좌표 시스템을 제공하도록 선택될 수 있으나, 종종 모션-렌더링 디바이스의 네이티브 좌표 시스템을 전체 모션 좌표 시스템으로 선택하는 것이 바람직한 것으로 이해된다.
손-눈 교정은, 이에 따라, (교정 판을 이동시키거나 또는 카메라를 이동시키는) 모션을 렌더링하고, 이 모션 전과 후에 이미지를 취득하여 이동하는 물체에 대한 이러한 모션의 효과를 결정하는 것에 의해 이 시스템을 단일 모션 좌표 시스템으로 교정한다.
도 4 내지 도 6을 다시 참조하면, 절차(600)에서 그 다음 단계(620)는 하나의 스테이션 - 예를 들어 픽업 스테이션(222)(또는 조작기(120)에 의해 홀딩되는 동안) - 에서 교정 타깃/판(410)을 배치하고, 이 위치에서, 카메라(들)(242)는 타깃(410)의 하나 이상의 이미지를 취득한다. 이 정보는 비전 공정(프로세서)(260)(또는 140)에 저장된다. 단계(630)에서 타깃(410)은 다른 스테이션(즉, 모션 스테이지(210)(또는 110))으로 전달된다. 타깃(410)의 하나 이상의 이미지는 카메라(들)(240, 244)(또는 130)에 의해 단계(640)에서 스테이지에서 취득된다. 절차(600)의 단계(650)에서, 모든 카메라(240, 242, 244)(또는 130)의 픽셀 위치는 단계(640)의 이미지를 사용하여 타깃(410)에서 발견되는 에지에 기초하여 교정 타깃 좌표로 맵핑된다. 이후, 단계(660)에서, 단계(640)에서 취득된 스테이지에서 교정 타깃의 이미지를 사용하여, 교정 판 좌표를 모션 스테이지 좌표 시스템으로 맵핑하는 것이 연산된다. 단계(670)에서, 플랫폼에서 카메라의 픽셀 위치가 모션 스테이지(210)(또는 110)의 좌표 시스템으로 맵핑된다.
단계(610, 660 및 670)는 선택적인 것으로 이해된다. 본 발명을 위하여 조립 시스템에 있는 모든 카메라로부터 픽셀을 교정 판 좌표 시스템으로 맵핑하는 능력을 달성할 수 있으므로, 단계(650)에서 종료할 수 있다. 단계(660 및 670)를 수행하는 잇점은 이 모션 스테이지의 X 축과 Y 축에 주로 정렬되는 X 축과 Y 축을 갖는 합성 이미지를 생성하여 모터를 제어하는 것에 의해 합성 이미지를 더 용이하게 조작하는 것을 도와준다는 것이다.
카메라 픽셀 위치를 공통 좌표 시스템으로 맵핑한 후, 비전 시스템은 이 정보로 트레이닝 모드에서 배치되고, 작업물의 이미지를 가상으로 서로 정렬하는데 사용될 수 있다.
이제 도 7을 참조하면, 도 7은 각 스테이션에서 작업물의 스티치된 및 합성 이미지를 생성하는 절차(700)를 도시한다. 단계(710)에서, 절차(700)는 앞서 결정된 공통 좌표 시스템에서 각 스테이션으로부터 각 카메라에 의해 이미징된 구역을 연산한다. 단계(720)에서, 모든 구역을 포함하는 한정 박스(bounding box)가 연산된다. 단계(730)에서, 절차(700)는 각 스테이션에 하나씩, 2개의 스티치된 이미지를 생성한다. 예시적으로 스티치된 이미지들의 높이와 폭은 각각 동일하고, 사용자에 의해 한정될 수 있다.
본 명세서에 사용된 바와 같이, "스티치된 이미지" 또는 "스티치"라는 용어는 2개 이상의 소스 이미지를 하나의 합성 결과 이미지로 결합하는 공정에 관한 것이다. 이 공정은 카메라 시야가 전체 원하는 장면을 캡처하기에 너무 작아서 다수의 이미지를 요구할 때 사용가능하다. 스티치된 이미지를 생성하는데 있어 이 기술 분야에 통상의 지식을 가진 자에 이용가능한 여러 기술이 있다. 비전 시스템은, 예를 들어, 매사추세츠(MA)주 나티크(Natick)에 소재하는 코그넥스사(Cognex Corporation)로부터 이용가능한 코그넥스 이미지 스티치 도구(Cognex Image Stitching tool)와 같은 스티치 도구를 포함할 수 있다. 이 도구는, 소스 이미지 전부에 공통이고 결과 이미지에 공통인 연산 공간에서 동작된다. 각 소스 이미지는 그 이미지를 이 공통 공간으로 맵핑하는 고유한 교정 변환을 포함한다. 개념적으로, 이미지 스티치 도구는 공통 공간에 결과를 형성하고, 결과로 초래된 스티치된 이미지는 공통 공간 결과를 스티치된 이미지로 맵핑하는 변환을 포함한다. 이러한 스티치된 이미지는 상이한 이미지로부터 오는 특징들을 결합하여 단일 이미지를 생성하는 합성 공정(compositing process)의 결과, 본 명세서에 한정된 "합성 이미지"의 기초를 형성할 수 있다. 합성 이미지는 가상 조립 시스템의 GUI에 의해 이용되어 사용자 또는 자동화 공정이 작업물(들)을 조작하여 시스템을 트레이닝하는데 사용되는 작업물의 가상 조립을 생성할 수 있다.
도 8의 예에서, 4개의 기준/특징(이 예에서, 십자 기호(810))을 포함하는 제1 작업물(800)은 대시 박스(dashed box)(820)로 도시된 시야를 갖는 4개의 예시적인 카메라에 의해 제1 스테이션에서 이미징된다. 카메라를 공통 좌표 시스템(X1, Y1)과 물리적으로 정렬하는데 주의할 필요가 없기 때문에 4개의 카메라 각각의 시야(820)는 스티치된 이미지에서 임의의 배향을 가지는 것으로 이해된다. 또한, 도 9의 예에서, 4개의 기준/특징(이 예에서, 원형(910))을 포함하는 제2 작업물(900)은 대시 박스(920)로 도시된 시야를 갖는 4개의 예시적인 카메라에 의해 제2 스테이션에서 이미징된다. 카메라를 공통 좌표 시스템(X1, Y1)과 물리적으로 정렬하는데 주의할 필요가 없기 때문에 4개의 카메라 각각의 시야(920)는 스티치된 이미지에서 다시 임의의 배향을 가지는 것으로 이해된다.
절차(700)에서, 변환은 단계(740)에서 스티치된 이미지의 코너를 한정 박스의 코너로 맵핑한다. 이후, 단계(750)에서, 각 스테이션에서, 절차(700)는 각 카메라로부터 오는 이미지 픽셀을 변환을 사용하여 대응하는 스티치된 이미지로 맵핑한다. 다음으로, 단계(760)에서, 절차는, 예를 들어, 2개의 이미지를 평균내서, 최종 합성 이미지를 생성하는 것에 의해 단계(750)로부터 스티치된 이미지를 합성한다. 합성 이미지는 가상 조립을 나타내고, 조립 품질을 추론하는데 사용될 수 있다. 이 단계는 교정 후 스티치된 및 합성 이미지를 생성하는 여러 절차와 기술을 예시하는 것으로 이해된다(도 6). 이 절차는 일반적으로 이미지에서 특징 위치를 공통 좌표 시스템으로 맵핑하는 능력을 사용한다.
도 10은 2개의 스테이션으로부터 스티치된 이미지를 평균내는 것에 의해 생성된 합성 이미지에서 비-정렬된 배향의 작업물(800 및 900)의 예를 도시한다. 각 기준(810 및 910)은 서로 오프 센터(off center)인 것이 주목된다. 역으로, 도 11에 도시된 바와 같이 정렬될 때, 합성 이미지는 유사한 사이즈의 스티치된 이미지들의 기준들이 서로 정렬되게 이동된 상태의 정렬된 작업물을 도시한다.
유사한 도시를 갖는 그래픽 사용자 인터페이스(GUI) 디스플레이가 도 12 내지 도 15에 도시된다. 도 12에서, 4개의-카메라 배열은 (예를 들어) 픽업 플랫폼에서 배치된 제1 작업물의 4개의 각 이미지(1210, 1220, 1230 및 1240)를 생성한다. 작업물의 각 에지(1212, 1222, 1232 및 1242)는 플랫폼과 작업물에 대해 각 카메라의 물리적 배치로 인해 각 이미지에서 상이하게 스케일링(scaled)되는 것으로 주목된다. 도 13은, 4개의-카메라 배열이 (예를 들어) 모션 스테이지에서 배치된 제2 작업물의 4개의 각 이미지(1310, 1320, 1330 및 1340)를 생성하는, 사용자가 보는 GUI 디스플레이이다. 다시, 각 에지(1312, 1322, 1332 및 1342)는 카메라의 위치에 기초하여 상이하게 스케일된다.
도 14에서, 작업물이 오정렬된 조립을 초래하는 위치에 있을 때 4개의 이미지(1410, 1420, 1430 및 1440)가 합성 이미지 내 구역에 있는 GUI 디스플레이가 도시된다. 각 이미지에 있는 에지들은 경사져(skewed) 있는 것이 주목된다. 역으로, 도 15에서 작업물이 정렬된 조립을 초래하는 위치에 있을 때 4개의 디스플레이된 이미지(1510, 1520, 1530 및 1540)는 합성 이미지 내 구역에 있다. 에지들은 각 이미지에서 오버랩되어 있다는 것이 주목된다.
도시된 GUI는 4개의 카메라에 대응하는 4개의 이미지를 포함하고 있지만, 더 적은 수의 이미지가 스테이션/장면을 이미징하는 주어진 개수의 카메라에 대해 디스플레이될 수 있는 것으로 명시적으로 고려되는 것으로 이해된다. 예를 들어, 중복되거나 및/또는 제한되거나 사용가능하지 않은 이미지 정보가 제공되는 경우 특정 이미지는 생략될 수 있다. 따라서, 도시된 디스플레이 보는 창유리(display viewing pane)에 2개 또는 3개의 이미지를 포함하는 합성 이미지가 제공될 수 있다. 각 작업물에 대해 충분한 특징 정보가 디스플레이의 합성 이미지에 제시되어서 사용자(또는 자동화 공정)는 가상 조립 공정에서 작업물을 정렬할 수 있는 것이 주로 고려된다.
여러 기술이 전술된 스티치된 및 합성 이미지를 생성하는데 사용될 수 있는 것으로 명시적으로 고려된다. 일반적으로, 이러한 기술은 각 이미지로부터 픽셀을 공통 좌표 시스템으로 맵핑하는 능력을 사용한다. 나아가, 앞서 도시된 합성 이미지는 스티치된 이미지를 평균낸다. 합성 이미지는 대안적인 표현으로 한정될 수 있고, 그리하여 다른 기술을 사용하여 생성될 수 있다. 각 스테이션에서 하나의 카메라를 사용하는 조립 시스템에서, 스티치 절차는 생략될 수 있고, 이미지를 합성하는 것은 공정에 의해 직접 수행될 수 있다. 특히, 스티치 절차는 스테이션에서 다수의 카메라로부터 오는 이미지를 사용하여 스테이션에서 작업물에 대해 단일 이미지를 생성한다. 여러 실시예에서 스티치 및 합성 동작은 단일 비전 태스크로 결합될 수 있다.
일반적으로, 시스템 및 방법은, 작업물이 각 스테이션에서 있을 때, 작업물에 있는 특징이 공통 (전체 또는 모션) 좌표 시스템에서 표시된다는 것을 이용한다. 트레이닝 동안 원하는 배향(예를 들어, x 및 y에서 병진이동과 θ의 회전으로 한정된"포즈")으로 작업물을 배치하는 것을 도와주도록 피드백이 제공되는 적어도 3개의 기술이 있다. 이들 기술은 다음과 같다:
1. 시각적 정렬
이 기술은 공통 좌표 시스템(예를 들어, 도 1의 배열(100))에서 오버랩 시야를 갖는 조립 시스템에 사용될 수 있다. 스티치된 이미지는 스테이션에서 모든 카메라를 사용하여 각 스테이션에서 생성된다. 임의의 주어진 카메라에서 임의의 픽셀에 대해, 공통 좌표 시스템에서의 위치가 알려져 있기 때문에 스티치된 이미지가 생성될 수 있다. 스티치된 이미지가 생성되면, (예를 들어, 스티치된 이미지를 평균내는 것에 의해) 2개의 스테이션에서 스티치된 이미지를 합성하는 것에 의해 공정에 의해 합성 이미지가 생성된다. 다시, 이것은 임의의 스테이션에서 임의의 픽셀을 공통 좌표 시스템에 표시할 수 있어서 가능하다. 이것은, 실제, 2개의 작업물을 가상으로 조립하여, 사용자가 조립된 부분이 어떻게 보일지를 용이하게 시각화하는 것을 도와준다. 즉, 사용자가 각 작업물(예를 들어, 모션 스테이지에 있는 작업물)의 2개의 이미지들 중 적어도 하나를 수동으로 또는 그래픽 사용자 인터페이스(GUI)에 의해 제공되는 제어를 사용하여 병진이동시키고 회전시킨다. 이 제어는 마우스, 터치스크린 및/또는 데이터-입력 박스를 포함할 수 있다. 사용자는 작업물이 적절히 정렬되어 원하는 형태(configuration) 및 연관된 외관으로 조립된 물체를 표시할 때까지 병진이동/회전 공정을 계속한다. 2개의 작업물을 포함하는 결과적인 물체는 이에 따라 "가상으로" 조립된다. 가상 조립 동안, 사용자는 합성 이미지에서 일부 돌출한 특징부에 대해 줌 동작을 수행할 수 있고, 원하는 조립이 달성될 때까지 스테이션에서 모션 스테이지를 이동시킬 수 있다. 이것이 완료되면 사용자는 조립 시스템을 트레이닝할 수 있다. 도 16의 절차(1600)를 참조하면, 사용자에 의한 시각적 정렬은, 요약해서, 조립된 이미지를 보는 것에 의해 조립 품질을 추정하는 것(단계 1610); 합성 이미지가 원하는 외관을 한정할 때까지 하나 또는 두 개의 스테이션에서 작업물(들)의 위치를 조절하는 것(단계 1620); 및 조절된 합성 이미지의 원하는 시각적 외관을 사용하여 작업물 조립 시스템을 트레이닝하는 것(단계 1630)을 수반한다.
2. 작업물에서 특징 관계를 연산하는 것에 의한 정렬
이 기술은 공통 좌표 시스템에서 오버랩 시야 또는 비-오버랩 시야를 가지는 조립 시스템에 사용될 수 있다. 이 기술에서 사용자는 각 작업물에 있는 적어도 하나의 특징을 찾아내고, 공통 좌표 시스템에서 이 특징들 사이의 기하학적 관계를 연산하는 비전 도구를 사용할 수 있다. 예를 들어, 작업물(들)은 전술된 기준을 포함할 수 있고, 기준 파인더(fiducial finder)는 이 특징의 위치와 배향을 찾아내는데 사용될 수 있다. 사용자는 가상으로 조립된 부분에서 특징들 사이의 기하학적 관계가 조립된 부분에 대한 설계 문서에서의 관계와 일치할 때까지 하나 이상의 작업물을 재위치할 수 있다. 이러한 움직임은 픽업 위치와 배치 위치 중 적어도 하나에서 작업물을 수동으로 재위치하거나 또는 모션 스테이지를 제어하는 것에 의해 달성될 수 있다. 예시적인 실시예에서, 사용자는 하나의 작업물에 있는 2개의 점 특징과 제2 작업물에 있는 3개의 점 특징을 찾아낼 수 있다. 가상 조립 시스템은 특징의 쌍, 즉 각 작업물에 대해 하나씩, 특징을 취하고, 이 특징들 사이의 거리를 측정하고, 피드백을 사용자에 제공하도록 설계될 수 있다. 사용자는 이 특징들 사이의 거리가 올바르게 조립된 부분에 대한 거리와 동일할 때까지 작업물을 재위치시킬 수 있다.
도 17의 절차(1700)를 참조한다. 단계(1710)에서, 사용자는 제1 작업물에 있는 특징을 찾아내고, 사용자가 발견한 위치를 공통 좌표 시스템에 표시할 수 있는 특징 파인더를 생성한다. 단계(1720)에서, 사용자는 제2 작업물에 있는 특징을 찾아내고, 파인더가 발견한 위치를 공통 좌표 시스템에 표시할 수 있는 특징 파인더를 생성한다. 사용자는 비전 공정(프로세서) 및 연관된 GUI에서 비전 도구를 사용하는 것에 의해 이것을 수행한다. 이후, 단계(1730)에서, 사용자는 특징 세트들 간의 관계가 원하는 설계 관계와 일치할 때까지 하나 또는 두 개의 스테이션에서 작업물의 위치를 조절한다. 특징 파인더는 임의의 이미지(원래의 이미지, 스티치된 이미지 또는 합성 이미지)에 있는 특징을 찾아내도록 설계되어 사용될 수 있다. 보다 일반적으로, 사용자는 단계(1740)에 도시된 바와 같이 조립 시스템을 트레이닝한다.
3. 자동화된 유도
대안적으로 또는 추가적으로, 작업물을 트레이닝을 위해 원하는 위치로 가이드하는 자동화된 유도를 사용할 수 있다. 상기 예에서, 사용자는 조립 후 점의 쌍들 간에 원하는 거리를 입력할 것을 요구받을 수 있다. 사용자가 교정 값을 입력하면, 조립 시스템은 가상으로 조립된 부분에서 원하는 기하학적 관계가 달성될 때까지 모션 기구(예를 들어 조작기 모션 스테이지 등)를 이동시키는 것에 의해 부분들을 이동시킬 수 있다. 이것은 스테이지의 선형 구동 모터에서 에러 정정 인자를 등록된 모션으로 병진이동시키는 적절한 인터페이스를 사용하여 특히 달성될 수 있다. 예를 들어, XXY 스테이지의 경우, X 입력과 Y 입력은 직교 축을 따라 병진이동하고, 차동(differential) XY 입력은 Z-축 주위로 회전을 생성한다(3개의 자유도로 모션이 가능하다). 시스템에 의해 최종 조립 형태가 결정되면, 가상 조립 시스템으로부터 인터페이스에 의해 에러 교정 값이 직접 전달될 수 있다.
일반적으로, 상기 트레이닝 기술들 중 임의의 기술을 사용하여 모션 스테이지, 조작기, 또는 이들 둘 모두를 위한 모션 제어기에 대해 저장된 모션 에러 정정 값의 맵핑된 세트를 생성할 수 있다. 이들 값은 작업물이 조립 시스템의 반복가능한 요소에 의해 적절히 정렬되도록 모션을 변경하는데 사용된다.
추가적인 실시예에서, 가상 시스템이 임의의 개수의 스테이션에서 임의의 개수의 작업물을 조립하는 것에 적응될 수 있는 것으로 명시적으로 고려된다. 예를 들어, 가상 조립 시스템은 예시적인 작업물(WA, WB1, WB2, WC)을 단일 조립된 물체로 조립하는 물리적인 시스템과 함께 사용될 수 있고 - 여기서 WA는 스테이션 A에서 이미징되고, WB1과 WB2는 스테이션 B에서 이미징되고, WC는 스테이션 C에서 이미징된다. 사용자는 모든 작업물을 완전히 조립된 물체로 가상으로 조립할 수 있고, 각 조립 스테이션/스테이지의 조립 에러가 물리적인 시스템을 트레이닝시키기 위해 연산된다.
추가적인 실시예에서, 비전 시스템 카메라의 가상 조립을 위한 각 그룹이 각 스테이션으로부터 적어도 하나의 카메라를 포함하고, 전 그룹이 공통 좌표 시스템으로 맵핑되도록 비전 시스템의 가상 조립을 위한 그룹들이 수립될 수 있다. 초기 그룹화 후에, 각 그룹이 특징을 상이한 이산 좌표 시스템으로 맵핑하도록 그룹들은 개별적으로 교정될 수 있다. 이들 그룹으로부터 이미지를 사용하여 이후 전체 물체의 가상 조립을 수립한다. 나아가, 가상 조립에 사용되는 비전 시스템 카메라 세트는 물리적인 조립 시스템을 트레이닝하고 실행하는데 사용되는 카메라 세트와 동일할 수도 있고 동일하지 않을 수도 있다.
전술된 시스템 및 방법에 의해 사용자는 작업물의 물리적인 움직임을 사용할 때 시행 착오를 회피하는 방식으로 조립 시스템에서 모션 에러를 보다 용이하게 고려할 수 있는 것이 명백하다. 또한 본 시스템 및 방법에 의해, 셋업과 트레이닝 공정에 시간과 비용을 추가하는 CMM 또는 이와 유사한 계측 디바이스를 사용하는 것을 회피할 수 있다.
전술된 사항은 본 발명의 예시적인 실시예를 상세히 설명한 것이다. 본 발명의 사상과 범위를 벗어남이 없이 여러 변형과 추가를 실시할 수 있을 것이다. 전술된 여러 실시예 각각의 특징은 다른 설명된 실시예의 특징과 적절히 결합되어 연관된 새로운 실시예에서 다수의 특징 조합을 제공할 수 있을 것이다. 나아가, 전술된 사항은 본 발명의 장치 및 방법의 다수의 개별 실시예를 설명하고 있지만, 본 명세서에 설명된 것은 본 발명의 원리를 적용하는 단지 예시하는 것일 뿐이다. 예를 들어, 본 명세서에서 사용된 바와 같이 "공정" 및/또는 "프로세서"라는 용어는 여러 전자 하드웨어 및/또는 소프트웨어에 기반한 기능과 부품을 포함하도록 넓게 해석되어야 한다(및 대안적으로 기능 "모듈" 또는 "요소"이라고 언급될 수 있다). 나아가, 도시된 공정 또는 프로세서는 다른 공정 및/또는 프로세서와 결합되거나 또는 여러 서브-공정 또는 프로세서로 분할될 수 있다. 이러한 서브-공정 및/또는 서브-프로세서는 본 명세서에서 실시예에 따라 여러 방식으로 결합될 수 있다. 또한, 본 명세서에서 임의의 기능, 공정 및/또는 프로세서는 전자 하드웨어, 프로그램 명령의 비-일시적인 컴퓨터-판독가능한 매체로 구성된 소프트웨어, 또는 하드웨어와 소프트웨어의 조합을 사용하여 구현될 수 있는 것이 명시적으로 고려된다. 추가적으로, 본 명세서에서 사용된 바와 같이 "수직", "수평", "위쪽", "아래쪽", "하부", "상부", "측면", "정방", "후방", "좌측", "우측 " 등과 같은 여러 방향성 및 배향성 용어는 상대적인 관례로 사용된 것일 뿐, 중력의 작용 방향과 같은 고정된 좌표 시스템에 대한 절대적인 배향으로 사용된 것이 아니다. 따라서, 이 설명은 단지 예시로 취해진 것일 뿐, 본 발명의 범위를 제한하려고 취해진 것이 아니다.

Claims (19)

  1. 제1 작업물을 포함하는 적어도 제1 스테이션을 구비하는 조립 시스템에서 물체를 가상으로 조립하는 시스템으로서, 상기 조립 시스템은 제2 작업물을 상기 제1 작업물과 정렬하여 조립하고, 상기 시스템은,
    상기 제1 작업물과 상기 제2 작업물을 이미징하도록 배열된 하나 이상의 비전 시스템 카메라와 비전 시스템 프로세서 조립체로서, 상기 복수의 카메라는 공통 좌표 시스템으로 교정된, 상기 하나 이상의 비전 시스템 카메라와 비전 시스템 프로세서 조립체;
    상기 공통 좌표 시스템에서 상기 제1 작업물과 상기 제2 작업물의 이미지와 특징 중 적어도 하나를 생성하는 정렬 공정;
    상기 제1 작업물에 있는 제1 특징 세트와 상기 제2 작업물에 있는 제2 특징 세트를 찾아내고, 상기 제2 특징 세트에 대해 상기 제1 특징 세트를 자동적으로 정렬하여 상기 제1 작업물과 상기 제2 작업물의 이미지와 특징 중 적어도 하나를 정렬하는 비전 도구를 구비하는 조작 공정; 및
    상기 가상으로 조립하는 공정 동안 상기 조작 공정에 의해 상기 제1 작업물과 상기 제2 작업물의 조작도에 기초하여 조립 에러를 연산하는 조립 에러 연산 모듈을 포함하는 것을 특징으로 하는 시스템.
  2. 제1항에 있어서, 상기 제2 작업물은 상기 제1 스테이션으로부터 원격에 있는 제2 스테이션에서 이미징되는 것을 특징으로 하는 시스템.
  3. 제2항에 있어서, 적어도 제3 작업물을 더 포함하고, 상기 비전 시스템 카메라는 상기 제3 작업물을 이미징하고, 상기 정렬 공정은 상기 공통 좌표 시스템에서 상기 제3 작업물의 이미지와 특징 중 적어도 하나를 생성하고, 상기 조작 공정은 상기 제1 작업물과 상기 제2 작업물 중 적어도 하나의 작업물에 대해 상기 제3 작업물을 조작하여 상기 제3 작업물의 이미지와 특징 중 적어도 하나를 상기 제1 작업물과 상기 제2 작업물 중 적어도 하나의 작업물의 이미지와 특징 중 적어도 하나와 정렬하도록 배열되도록 배열되고, 상기 조립 에러 연산 모듈은 상기 제1 작업물과 상기 제2 작업물 중 적어도 하나의 작업물에 대해 상기 제3 작업물의 조작도에 기초하여 조립 에러를 연산하는 것을 특징으로 하는 시스템.
  4. 제3항에 있어서, 상기 제1 작업물은 제1 스테이션에서 상기 비전 시스템 카메라에 의해 이미징되고 상기 제2 작업물과 상기 제3 작업물 각각은 제2 스테이션에서 상기 비전 시스템 카메라에 의해 이미징되는 것을 특징으로 하는 시스템.
  5. 제4항에 있어서, 제4 스테이션에서 상기 비전 시스템 카메라에 의해 이미징된 적어도 제4 작업물을 더 포함하는 것을 특징으로 하는 시스템.
  6. 제2항에 있어서,
    (a) 상기 제1 스테이션을 이미징하는 모든 상기 비전 시스템 카메라를 제1 좌표 시스템으로 교정하는 제1 교정 공정으로서, 상기 교정된 비전 시스템 카메라의 전부 또는 서브셋이 상기 조립 시스템과 실행시간 동작 동안 사용하도록 적응된, 상기 제1 교정 공정,
    (b) 상기 제2 스테이션을 이미징하는 모든 상기 비전 시스템 카메라를 제2 좌표 시스템으로 교정하는 제2 교정 공정으로서, 상기 교정된 카메라의 전부 또는 서브셋이 상기 조립 시스템과 실행시간 동작 동안 사용하도록 적응된, 상기 제2 교정 공정,
    (c) 상기 제1 좌표 시스템과 상기 제2 좌표 시스템을 상기 공통 좌표 시스템으로 묶는 제3 교정 공정으로서, 상기 교정된 비전 시스템 카메라의 상이한 이산 서브셋을 사용하여 상기 제1 좌표 시스템과 상기 제2 좌표 시스템을 상기 공통 좌표 시스템으로 묶는, 상기 제3 교정 공정을 더 포함하고,
    (d) 상기 제1 스테이션과 상기 제2 스테이션 각각에서 단계 (a) 및 단계 (b)로부터 상기 교정된 비전 시스템 카메라의 전부 또는 서브셋은, 단계 (a)에서의 상기 제1 교정 공정과, 단계 (b)에서의 상기 제2 교정 공정과, 단계 (c)에서의 상기 제3 교정 공정에 기초하여 수립된 상기 공통 좌표 시스템에 기초하여 가상 조립에 사용되는 것을 특징으로 하는 시스템.
  7. 제2항에 있어서, 상기 제1 스테이션과 상기 제2 스테이션 중 하나는 조립 플랫폼이고, 상기 제1 스테이션과 상기 제2 스테이션 중 다른 것은 픽업 위치인 것을 특징으로 하는 시스템.
  8. 제7항에 있어서, 상기 조립 플랫폼은 모션 스테이지를 한정하고, 상기 조립 시스템은 상기 픽업 스테이션으로부터 상기 모션 스테이지로 상기 제2 작업물을 이동시키는 반복가능한 조작기를 구비하는 것을 특징으로 하는 시스템.
  9. 제1항에 있어서, 상기 조립 에러는 적어도 3개의 자유도로 한정되는 것을 특징으로 하는 시스템.
  10. 제1항에 있어서, 상기 제1 작업물의 적어도 하나의 이미지와 상기 제2 작업물의 적어도 하나의 이미지를 수동으로 정렬하는 디스플레이 및 사용자 인터페이스를 더 포함하는 것을 특징으로 하는 시스템.
  11. 제1항에 있어서, 상기 제1 작업물과 상기 제2 작업물 중 적어도 하나를 이미징하는 적어도 하나의 비전 시스템 카메라를 더 포함하고, 상기 적어도 하나의 비전 시스템 카메라는 상기 조립 시스템의 트레이닝 동작과 실행시간 동작 중 적어도 하나의 동작에서 사용되는 이미지를 취득하도록 구성되고 배열되고, 상기 정렬 공정에 대해서는 사용되지 않는 것을 특징으로 하는 시스템.
  12. 제1항에 있어서, 조작 공정은 (a) 스티치된 상기 제1 작업물의 이미지와, (b) 스티치된 상기 제2 작업물의 이미지 중 적어도 하나를 사용하는 것을 특징으로 하는 시스템.
  13. 제12항에 있어서, 상기 제1 작업물과 상기 제2 작업물의 이미지는 상기 인터페이스에 대해 합성 이미지로 구성된 것을 특징으로 하는 시스템.
  14. 제1항에 있어서, 상기 제1 작업물과 상기 제2 작업물 중 적어도 하나는 상기 비전 시스템 카메라에 의해 이미징된 평면 표면을 한정하는 것을 특징으로 하는 시스템.
  15. 제1 작업물을 포함하는 적어도 제1 스테이션을 구비하는 조립 시스템을 사용하여 물체를 가상으로 조립하는 방법으로서, 상기 조립 시스템은 제2 작업물을 상기 제1 작업물과 정렬하여 조립하고, 상기 방법은,
    하나 이상의 비전 시스템 카메라와 비전 시스템 프로세서 조립체로, 상기 제1 작업물과 상기 제2 작업물의 이미지를 취득하는 단계로서, 상기 복수의 카메라는 공통 좌표 시스템으로 교정된, 상기 취득하는 단계;
    상기 제1 작업물과 상기 제2 작업물의 이미지와 특징 중 적어도 하나를 상기 공통 좌표 시스템에 생성하는 단계;
    상기 제1 작업물에 대해 상기 제2 작업물을 자동으로 조작하여 상기 제1 작업물과 상기 제2 작업물의 이미지와 특징 중 적어도 하나를 정렬하는 단계; 및
    상기 가상으로 조립하는 공정 동안 상기 제1 작업물과 상기 제2 작업물의 조작도에 기초하여 조립 에러를 연산하는 단계를 포함하는 것을 특징으로 하는 방법.
  16. 제15항에 있어서, 상기 이미지를 취득하는 단계는 상기 제1 스테이션으로부터 원격에 있는 제2 스테이션에서 상기 제2 작업물의 이미지를 취득하는 단계를 포함하는 것을 특징으로 하는 방법.
  17. 제16항에 있어서, 상기 제1 스테이션과 상기 제2 스테이션 중 하나는 조립 플랫폼이고, 상기 제1 스테이션과 상기 제2 스테이션 중 다른 것은 픽업 위치인 것을 특징으로 하는 방법.
  18. 제15항에 있어서, 상기 조립 에러는 적어도 3개의 자유도로 한정된 것을 특징으로 하는 방법.
  19. 제15항에 있어서, 상기 제1 작업물의 적어도 하나의 이미지와 상기 제2 작업물의 적어도 하나의 이미지를 수동으로 정렬하는 디스플레이 및 사용자 인터페이스를 사용하는 단계를 더 포함하는 것을 특징으로 하는 방법.
KR1020160025948A 2015-03-03 2016-03-03 작업재의 가상조립을 통해 어셈블리 시스템을 트레이닝 하기 위한 비전시스템 KR102062423B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201562127808P 2015-03-03 2015-03-03
US62/127,808 2015-03-03
US15/058,118 2016-03-01
US15/058,118 US10223589B2 (en) 2015-03-03 2016-03-01 Vision system for training an assembly system through virtual assembly of objects

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020180110804A Division KR20180107043A (ko) 2015-03-03 2018-09-17 작업재의 가상조립을 통해 어셈블리 시스템을 트레이닝 하기 위한 비전시스템

Publications (2)

Publication Number Publication Date
KR20160107128A true KR20160107128A (ko) 2016-09-13
KR102062423B1 KR102062423B1 (ko) 2020-01-03

Family

ID=56738992

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020160025948A KR102062423B1 (ko) 2015-03-03 2016-03-03 작업재의 가상조립을 통해 어셈블리 시스템을 트레이닝 하기 위한 비전시스템
KR1020180110804A KR20180107043A (ko) 2015-03-03 2018-09-17 작업재의 가상조립을 통해 어셈블리 시스템을 트레이닝 하기 위한 비전시스템

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020180110804A KR20180107043A (ko) 2015-03-03 2018-09-17 작업재의 가상조립을 통해 어셈블리 시스템을 트레이닝 하기 위한 비전시스템

Country Status (6)

Country Link
US (1) US10223589B2 (ko)
JP (2) JP2016166872A (ko)
KR (2) KR102062423B1 (ko)
CN (1) CN105938618B (ko)
DE (1) DE102016103799B4 (ko)
TW (2) TW201730702A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190070875A (ko) * 2017-12-13 2019-06-21 코그넥스코오포레이션 비전-기반 조작 시스템들의 교정 및 동작

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10410419B2 (en) * 2015-03-02 2019-09-10 Virtek Vision International Ulc Laser projection system with video overlay
US10290118B2 (en) 2015-08-06 2019-05-14 Cognex Corporation System and method for tying together machine vision coordinate spaces in a guided assembly environment
CA3075274A1 (en) * 2017-09-20 2019-03-28 Magna International Inc. System and method for adaptive bin picking for manufacturing
CN108876838B (zh) * 2018-06-15 2022-05-06 重庆大学 微操作系统的微操作空间的数字化方法及系统
EP3814075A4 (en) * 2018-06-26 2022-03-30 Fanuc America Corporation AUGMENTED REALITY VISUALIZATION FOR A ROBOTIC PICKING SYSTEM
US11442438B2 (en) * 2018-08-14 2022-09-13 The Boeing Company Automated supervision and inspection of assembly process
CN110027015A (zh) * 2019-03-31 2019-07-19 唐山百川智能机器股份有限公司 基于人工智能的动车杆件组装方法
CN112097673B (zh) * 2019-06-18 2022-11-15 上汽通用汽车有限公司 车身部件虚拟匹配方法和系统
CN110653823A (zh) * 2019-10-12 2020-01-07 四川长虹电器股份有限公司 基于数据反演的手眼标定结果可视化方法
CN112798600A (zh) * 2019-11-14 2021-05-14 深圳百迈技术有限公司 检测方法及系统
SE543841C2 (en) * 2019-12-19 2021-08-10 Husqvarna Ab A calibration device for a floor surfacing system
US20210233258A1 (en) * 2020-01-28 2021-07-29 Embodied Intelligence Inc. Identifying scene correspondences with neural networks
EP4126474A1 (en) * 2020-03-27 2023-02-08 ABB Schweiz AG Method and system for programming a robot
EP3901563B1 (de) * 2020-04-21 2022-12-14 Carl Zeiss Industrielle Messtechnik GmbH Verfahren und vorrichtung zur bestimmung einer messstrategie zur vermessung eines messobjekts und programm
CN114310869B (zh) * 2020-09-29 2023-04-25 上海科技大学 机器人手眼标定方法、系统以及终端
EP4094897B1 (de) * 2021-05-26 2023-09-20 MVTec Software GmbH Hand-auge-kalibrierung von kamerageführten apparaturen
GB2619520B (en) * 2022-06-07 2024-08-07 Imperial College Innovations Ltd A method of determining an arrangement for objects
CN117066843B (zh) * 2023-10-08 2024-05-10 荣耀终端有限公司 产品组件的组装方法和设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004295223A (ja) * 2003-03-25 2004-10-21 Fanuc Ltd 画像処理装置及びロボットシステム
JP2013526423A (ja) * 2010-05-14 2013-06-24 コグネックス・テクノロジー・アンド・インベストメント・コーポレーション マシンビジョンシステムおよびロボットの間のロバストな較正の装置および方法
JP5270670B2 (ja) * 2007-05-29 2013-08-21 コグネックス・テクノロジー・アンド・インベストメント・コーポレーション ２次元画像による３次元組立て検査
KR20140110722A (ko) * 2013-03-07 2014-09-17 코그넥스코오포레이션 차폐의 존재하에서 비젼 시스템으로 2개의 워크피스를 정렬시키는 장치 및 방법

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0824235B2 (ja) 1987-04-15 1996-03-06 日立テクノエンジニアリング株式会社 実装機における電子部品の搭載位置決定方法
US4841460A (en) 1987-09-08 1989-06-20 Perceptron, Inc. Method and apparatus for calibrating a non-contact gauging sensor with respect to an external coordinate system
US4907169A (en) * 1987-09-30 1990-03-06 International Technical Associates Adaptive tracking vision and guidance system
JP3057524B2 (ja) 1991-07-30 2000-06-26 ソニー株式会社 実装位置決めシステム
JPH0699321A (ja) 1992-09-22 1994-04-12 Toshiba Corp 自動組み立て装置
US5706416A (en) 1995-11-13 1998-01-06 Massachusetts Institute Of Technology Method and apparatus for relating and combining multiple images of the same scene or object(s)
US5825483A (en) 1995-12-19 1998-10-20 Cognex Corporation Multiple field of view calibration plate having a reqular array of features for use in semiconductor manufacturing
US5748505A (en) 1996-02-06 1998-05-05 Perceptron, Inc. Method and apparatus for calibrating a noncontact gauging sensor with respect to an external coordinate system
AU2928097A (en) 1996-04-29 1997-11-19 Government Of The United States Of America, As Represented By The Secretary Of The Department Of Health And Human Services, The Iterative image registration process using closest corresponding voxels
US6078700A (en) 1997-03-13 2000-06-20 Sarachik; Karen B. Method and apparatus for location and inspecting a two-dimensional image including co-linear features
US5974169A (en) 1997-03-20 1999-10-26 Cognex Corporation Machine vision methods for determining characteristics of an object using boundary points and bounding regions
JP3450704B2 (ja) * 1997-09-01 2003-09-29 キヤノン株式会社 位置姿勢検出装置及び情報処理方法
US6175652B1 (en) 1997-12-31 2001-01-16 Cognex Corporation Machine vision system for analyzing features based on multiple object images
US6516092B1 (en) 1998-05-29 2003-02-04 Cognex Corporation Robust sub-model shape-finder
JP3874949B2 (ja) 1998-11-30 2007-01-31 オプトレックス株式会社 液晶表示パネルの位置合わせ方法
JP2000265794A (ja) * 1999-03-15 2000-09-26 Ohbayashi Corp セグメント組立訓練装置
US6587601B1 (en) 1999-06-29 2003-07-01 Sarnoff Corporation Method and apparatus for performing geo-spatial registration using a Euclidean representation
US6323776B1 (en) 1999-12-21 2001-11-27 Snap-On Technologies, Inc. Method and apparatus of automatically identifying faults in a machine vision measuring system
US6517478B2 (en) 2000-03-30 2003-02-11 Cbyon, Inc. Apparatus and method for calibrating an endoscope
JP2003528688A (ja) 2000-03-30 2003-09-30 シビヨン， インコーポレイテッド 内視鏡を較正するための装置および方法
WO2002039055A1 (en) 2000-10-25 2002-05-16 Electro Scientific Industries, Inc. Integrated alignment and calibration of optical system
CA2524031C (en) * 2003-05-20 2015-07-07 Interlego Ag Method and system for manipulating a digital representation of a three-dimensional object
US7181111B2 (en) 2003-08-28 2007-02-20 Lucent Technologies Inc. Apparatus for splicing optical fibers
FI123306B (fi) 2004-01-30 2013-02-15 Wisematic Oy Robottityökalujärjestelmä, sekä sen ohjausmenetelmä, tietokoneohjelma ja ohjelmistotuote
US7324682B2 (en) * 2004-03-25 2008-01-29 Mitutoyo Corporation System and method for excluding extraneous features from inspection operations performed by a machine vision inspection system
JP2008506953A (ja) * 2004-07-14 2008-03-06 ブレインテック カナダ インコーポレイテッド 機械視覚のための方法及び装置
US7845560B2 (en) 2004-12-14 2010-12-07 Sky-Trax Incorporated Method and apparatus for determining position and rotational orientation of an object
US7583372B2 (en) 2005-06-01 2009-09-01 Hunter Engineering Company Machine vision vehicle wheel alignment image processing methods
JP2008014940A (ja) 2006-06-08 2008-01-24 Fast:Kk 平面状被撮像物のカメラ計測のためのカメラキャリブレーション方法、および応用計測装置
JP2008036918A (ja) 2006-08-04 2008-02-21 Hitachi Plant Technologies Ltd スクリーン印刷装置および画像認識位置合わせ方法
JP4883181B2 (ja) 2007-08-17 2012-02-22 富士通株式会社 部品実装方法
US8482732B2 (en) * 2007-10-01 2013-07-09 Maskless Lithography, Inc. Alignment system for various materials and material flows
CH698334B1 (de) 2007-10-09 2011-07-29 Esec Ag Verfahren für die Entnahme und Montage von auf einem Wafertisch bereitgestellten Halbleiterchips auf einem Substrat.
WO2009047214A2 (en) 2007-10-09 2009-04-16 Oerlikon Assembly Equipment Ag, Steinhausen Method for picking up semiconductor chips from a wafer table and mounting the removed semiconductor chips on a substrate
JP5332576B2 (ja) * 2008-12-11 2013-11-06 富士ゼロックス株式会社 情報処理装置、情報処理システム及びプログラム
JP5481123B2 (ja) 2009-07-28 2014-04-23 新電元工業株式会社 部品の搭載装置、部品の搭載方法
US11699247B2 (en) * 2009-12-24 2023-07-11 Cognex Corporation System and method for runtime determination of camera miscalibration
CN101922917B (zh) 2010-06-29 2012-06-20 华南理工大学 一种精密电子组装中基于视觉的微位移检测方法
WO2012027541A1 (en) 2010-08-27 2012-03-01 Abb Research Ltd Vision-guided alignment system and method
CN102540533B (zh) 2010-12-15 2015-04-08 华映视讯（吴江）有限公司 裸眼立体显示器的组装方法
CN102773524A (zh) 2012-08-01 2012-11-14 西北工业大学 一种基于机器视觉找正的制孔方法
US10664994B2 (en) * 2013-02-25 2020-05-26 Cognex Corporation System and method for calibration of machine vision cameras along at least three discrete planes
JP6362401B2 (ja) * 2014-05-02 2018-07-25 キヤノン株式会社 画像処理装置及び画像処理装置の制御方法
JP6462269B2 (ja) * 2014-08-18 2019-01-30 株式会社大貴 排泄物処理材及びそれを用いた動物用トイレ

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004295223A (ja) * 2003-03-25 2004-10-21 Fanuc Ltd 画像処理装置及びロボットシステム
JP5270670B2 (ja) * 2007-05-29 2013-08-21 コグネックス・テクノロジー・アンド・インベストメント・コーポレーション ２次元画像による３次元組立て検査
JP2013526423A (ja) * 2010-05-14 2013-06-24 コグネックス・テクノロジー・アンド・インベストメント・コーポレーション マシンビジョンシステムおよびロボットの間のロバストな較正の装置および方法
KR20140110722A (ko) * 2013-03-07 2014-09-17 코그넥스코오포레이션 차폐의 존재하에서 비젼 시스템으로 2개의 워크피스를 정렬시키는 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190070875A (ko) * 2017-12-13 2019-06-21 코그넥스코오포레이션 비전-기반 조작 시스템들의 교정 및 동작

Also Published As

Publication number Publication date
DE102016103799B4 (de) 2020-09-03
TW201638687A (zh) 2016-11-01
US20170024613A1 (en) 2017-01-26
DE102016103799A1 (de) 2016-09-08
KR20180107043A (ko) 2018-10-01
JP2016166872A (ja) 2016-09-15
KR102062423B1 (ko) 2020-01-03
CN105938618A (zh) 2016-09-14
CN105938618B (zh) 2019-11-08
JP6770605B2 (ja) 2020-10-14
TW201730702A (zh) 2017-09-01
US10223589B2 (en) 2019-03-05
JP2019169156A (ja) 2019-10-03
TWI594097B (zh) 2017-08-01

Similar Documents

Publication Publication Date Title
KR20180107043A (ko) 작업재의 가상조립을 통해 어셈블리 시스템을 트레이닝 하기 위한 비전시스템
KR102661635B1 (ko) 가이드된 어셈블리 환경에서 머신비전 좌표공간과 함께 묶기 위한 시스템 및 방법
KR102532072B1 (ko) 로봇 모션 용 비전 시스템의 자동 핸드-아이 캘리브레이션을 위한 시스템 및 방법
JP4347386B2 (ja) 加工用ロボットプラグラムの作成装置
KR102276259B1 (ko) 비전-기반 조작 시스템들의 교정 및 동작
JP5815761B2 (ja) 視覚センサのデータ作成システム及び検出シミュレーションシステム
CN105359640B (zh) 安放设备和安放方法
US11446822B2 (en) Simulation device that simulates operation of robot
TW202102347A (zh) 視覺導引機器手臂校正方法
TW202234184A (zh) 使用從視覺感測器的輸出得到之三維位置資訊的模擬裝置

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
A107 Divisional application of patent
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL NUMBER: 2018101003843; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20180917

Effective date: 20190910

S901 Examination by remand of revocation
GRNO Decision to grant (after opposition)