KR102525704B1 - 비전 시스템의 3차원 교정을 위한 시스템 및 방법 - Google Patents

비전 시스템의 3차원 교정을 위한 시스템 및 방법 Download PDF

Info

Publication number
KR102525704B1
KR102525704B1 KR1020210034145A KR20210034145A KR102525704B1 KR 102525704 B1 KR102525704 B1 KR 102525704B1 KR 1020210034145 A KR1020210034145 A KR 1020210034145A KR 20210034145 A KR20210034145 A KR 20210034145A KR 102525704 B1 KR102525704 B1 KR 102525704B1
Authority
KR
South Korea
Prior art keywords
vision system
calibration
calibrate
vision
target
Prior art date
Application number
KR1020210034145A
Other languages
English (en)
Other versions
KR20210117959A (ko
Inventor
왕 샤오광
비안 유쿤
선 리
와이. 리 데이비드
Original Assignee
코그넥스코오포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코그넥스코오포레이션 filed Critical 코그넥스코오포레이션
Publication of KR20210117959A publication Critical patent/KR20210117959A/ko
Application granted granted Critical
Publication of KR102525704B1 publication Critical patent/KR102525704B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2504—Calibration devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/02—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
    • G01B21/04—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness by measuring coordinates of points
    • G01B21/042—Calibration or calibration artifacts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B2210/00—Aspects not specifically covered by any group under G01B, e.g. of wheel alignment, caliper-like sensors
    • G01B2210/52—Combining or merging partially overlapping images to an overall image
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39038—Determine position of two cameras by using a common reference grid
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39057—Hand eye calibration, eye, camera on hand, end effector
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Quality & Reliability (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Manipulator (AREA)

Abstract

본 발명은 타겟의 정확한 사전 교정의 요구를 제거하는 다층 3D 교정 타겟을 사용하는 3D 비전 시스템의 교정을 위한 시스템 및 방법을 제공한다. 시스템 및 방법은 상이한 공간 위치 및 상이한 시간에 다층 3D 교정 타겟의 이미지를 획득하며 2 개의 획득한 것 사이의 3D 교정 타겟의 배향 차이를 계산한다. 기술은 비전 기반 단일 평면 배향 반복성 검사 및 모니터링을 수행하는데 사용될 수 있다. 이 기술은 어셈블리 작업 평면에 적용하면 비전 기반 어셈블리 작업 평면 배향 반복성 검사 및 모니터링이 발생할 수 있다. 움직이는 로봇 엔드 이펙터와 결합된 이 기술은 비전 기반 로봇 엔드 이펙터 배향 반복성 검사 및 모니터링을 제공한다. 평행성을 달성하기 위한 2 개의 평면의 비전 가이드 조정이 달성될 수 있다. 시스템 및 방법은 로봇의 엔드 이펙터 및 어셈블리 작업 평면의 평행성을 달성하기 위해 정밀한 비전 가이드 로봇 설정을 수행하도록 작동한다.

Description

비전 시스템의 3차원 교정을 위한 시스템 및 방법{SYSTEM AND METHOD FOR THREE-DIMENSIONAL CALIBRATION OF A VISION SYSTEM}
관련 출원
본 출원은 2020년 3월 18일 출원된 비전 시스템의 3차원 교정을 위한 시스템 및 방법을 명칭으로 하는 동시 계류 중인 미국 특허 출원 일련 번호 제62/991,430호의 이익을 주장하며, 이 출원의 교시는 참조로서 본 명세서에 포함된다.
기술 분야
본 발명은 교정 시스템 및 방법 및 머신 비전 시스템 응용 분야에 사용되는 교정 객체(타겟)에 관한 것이다.
머신 비전 시스템(본 명세서에서 “비전 시스템”이라고도 함)에서, 하나 이상의 카메라는 이미지화된 장면 내의 객체 또는 표면에서 비전 시스템 프로세스를 수행하는데 사용된다. 이러한 프로세스는 검사, 심볼로지(symbology)의 디코딩, 정렬 및 다른 다양한 자동화된 작업을 포함할 수 있다. 더 상세하게는, 비전 시스템은 이미지화된 장면에 있는 워크피스(workpiece)를 검사하거나 위치 사이에서 이동하는 로봇 엔드 이펙터(robot end effector)를 가이드하는데 사용될 수 있다. 장면은 일반적으로 결과를 생성하기 위해 관련 비전 시스템 프로세스를 작동시키는 내부 또는 외부 비전 시스템 프로세서를 포함할 수 있는 하나 이상의 비전 시스템 카메라에 의해 이미지화된다. 비전 시스템이 충분한 정확성과 신뢰성으로 비전 작업을 수행할 수 있도록 하기 위해, 일반적으로 하나 이상의 카메라와 이미지화된 장면 내의 객체 또는 표면 사이의 공간 관계를 설정하여 시스템을 교정하는 것이 바람직하다. 이 프로세스에서 교정 객체 또는 타겟을 사용하여 교정될 객체 또는 표면의 공간 특성(예를 들어, 위치 및 배향)을 나타낼 수 있다. 예를 들어, 워크피스의 이미지는 2차원(2D) 이미지 픽셀 데이터(예를 들어, x 및 y 좌표), 3차원(3D) 이미지 데이터(x, y 및 z 좌표) 또는 복수의 x-y 좌표 평면은 본질적으로 평행하고 가변적인 z-높이를 특징으로 하는 하이브리드 2.5D 이미지 데이터를 특징으로 할 수 있다.
교정 객체 또는 타겟(종종 “플레이트”의 형태)은 종종 표면에서 볼 수 있는 구별되는 패턴(distinctive pattern)(아트워크)이 있는 평평한 구조로 제공된다. 구별되는 패턴은 일반적으로 신중하고 정밀하게 설계되어 사용자가 카메라에 의해 획득된 타겟의 이미지의 각 가시적인 특징(visible feature)을 쉽게 식별할 수 있다. 일부 예시적인 패턴은 모자이크식 체커보드(tessellating checkerboard)의 정사각형, 전체 패턴 내에서 주기적인 간격으로 추가 인레이드 코드(inlaid code)가 있는 체커보드를 포함하지만 이에 제한되지 않으며, 이는 특징 위치(feature position), 도트 그리드(dot grid), 라인 그리드(line grid), 허니컴 패턴(honeycomb pattern), 모자이크식 삼각형(tessellated triangle), 다른 다각형 등을 특정한다. 각 가시적인 특징의 특성은 설계 내에서 암묵적으로 정의된 기준 위치 및/또는 좌표 시스템에 대한 위치 및/또는 회전과 같은 타겟의 설계로부터 알려져 있다.
교차 라인의 모자이크식 어레이를 특징으로 하는 일반적인 체커보드 패턴의 설계는 교정 수행의 정확성과 견고성 측면에서 특정 이점을 제공한다. 더 상세하게는, 고정 객체의 2차원(2D) 교정에서, 교정 체커보드의 에지에 의한 개별 체커보드 타일 모서리의 상대적인 위치를 결정하는 것은 일반적으로 비전 시스템의 정확도를 결정하는데 충분하며 적절한 경우 카메라의 프로세서에 보정 인자(correction factor)를 제공하여 런타임 객체(runtime object)가 이러한 보정 인자를 고려하여 측정된다.
추가 배경으로, 비전 시스템 카메라의 교정은 카메라 센서의 픽셀을 미리 결정된 좌표 시스템에 매핑하는 것을 포함한다. 타겟은 특징 패턴에 인레이드된(inlaid) 2D 코드(“바코드”라고도 함)와 같은 좌표 시스템(예를 들어, 일련의 체커보드의 X-Y-축 배열)을 정의하는 특징 또는 패턴 좌표 시스템을 정의하는 구별되는 기점(distinctive fiducial)을 제공할 수 있다. 특징을 카메라 픽셀에 매핑하면 시스템이 타겟으로 교정된다. 교정 타겟의 전부 또는 일부의 이미지를 획득하는데 사용되는 다수의 카메라의 경우 모든 카메라는 타겟의 특징(예를 들어, 타겟의 평면을 따른 x 및 y, z(높이) 및 x-y 평면에서 z축을 중심으로 하는 회전 θ) 또는 다른(예를 들어, 글로벌) 좌표 시스템에 의해 특정될 수 있다. 일반적으로, 교정 타겟은 다양한 유형의 교정 작업에 사용될 수 있다. 예를 들어, 일반적인 내부(intrinsic) 및 외부(extrinsic) 카메라 교정 작업은 하나 이상의 카메라에 의해 타겟의 이미지를 획득하고 타겟의 하나의 획득된 이미지를 사용하여 교정 타겟 자체의 좌표 시스템에 대해 교정하는 것을 수반하며, 이는 모든 카메라의 전체 시야의 적어도 일부 내의 특정 위치에 있다. 비전 프로세서 내의 교정 애플리케이션은 카메라에 의해 획득된 타겟의 이미지로부터 하나 이상의 카메라의 상대 위치를 추론한다. 타겟의 기점은 개별 시야 내의 타겟에 대해 카메라를 배향시키는데 사용될 수 있다. 이 교정은 “플레이트에 대한 카메라 교정”이라고 한다.
일반적으로, 3D(예를 들어, 스테레오 비전) 비전 시스템을 장면에 적용하기 위한 사전 설정 절차는 3D 교정 타겟의 특징을 모든 3차원에서 정확하게 측정해야 하는 정확하고 종종 시간이 많이 걸리는 사전 교정 프로세스의 사용을 수반한다. 이 프로세스는 비용이 많이 들고 전문가가 완료하는 것이 요구될 수 있다. 또한, 비전 시스템의 정확성과 적절한 기능을 보장하기 위해 사전 교정된 파라미터는 기본(underlying) 3D 교정 장치의 전체 수명 동안 변경되지 않아야 하며, 이는 장치를 적절하게 유지하고 사전 교정의 안정성을 보장하기 위해 전체 작동 수명에 걸쳐 섭동(perturbation)이 없어야 한다. 이러한 수준의 관리 및 유지는 공장 환경에서도 비용이 많이 들 수 있다. 정확한 비전 시스템 설정 및 상태 모니터링은 공장 현장에서 고품질 생산의 핵심이다. 많은 설정/모니터링 방법에 3D 교정 장치가 필요하므로 위의 사항은 이러한 3D 교정 장치와 관련된 몇 가지 주요 불편함을 나타낸다. 또한 정확한 3D 교정 장치는 마이크론 수준의 제조 정확도가 필요하며 이는 매우 비싸다.
또한, 공장 현장에서는 현재는 작업 평면(working plane)의 배향 반복성을 측정하는 실용적인 기술이 없다. 마찬가지로, 로봇 엔드 이펙터 평면과 조립 평면의 병렬성은 일반적으로 주관적이고 종종 시간이 많이 걸리며 잠재적으로 부정확한 평가(예를 들어, 압력 용지 기반)를 사용한 수동 설정이 필요하다.
본 발명은 작업 공간(예를 들어, 제조) 배열 시스템의 초기 설정 및 이 배열의 후속 상태 모니터링, 번거로운 유지 요구사항에 대한 3D 타겟의 정확한 사전 교정의 요구를 제거하는 다층(적어도 2 개의 층) 3D 교정 타겟을 사용하여 3D 비전 시스템의 교정을 위한 시스템 및 방법을 제공함으로써 종래 기술의 단점을 극복한다. 시스템 및 방법은 서로 다른 공간 위치 및 다른 시간에 다층 3D 교정 타겟의 이미지를 획득하고 두 획득한 것 사이의 3D 교정 타겟의 배향 차이를 계산한다. 기술은 비전 기반 단일 평면 배향 반복성 검사 및 모니터링을 수행하는데 사용될 수 있다. 이 기술을 어셈블리 작업 평면에 적용함으로써, 시스템 및 방법은 비전 기반 어셈블리 작업 평면 배향 반복성 검사 및 모니터링을 수행할 수 있다. 움직이는 로봇 엔드 이펙터와 결합하여, 이 기술은 비전 기반 로봇 엔드 이펙터 배향(“비전 가이드 로봇(VGR)”이라고도 함) 반복성 검사 및 모니터링을 제공하는데 사용될 수 있다. 마찬가지로, 평행성을 달성하기 위해 2 개의 평면의 비전 가이드 조정이 달성될 수 있다. 시스템 및 방법은 로봇의 엔드 이펙터와 어셈블리 작업 평면(즉, 로봇 튜닝)의 병렬성을 달성하기 위해 정확한 VGR 설정을 수행하도록 작동할 수 있다.
다양한 실시예에서, 3D 작업 공간에 대해 비전 시스템을 교정하기 위한 시스템 및 방법이 제공된다. 시스템 및 방법은 각각의 서로 다른 복수의 변위에서의 복수의 표면을 갖는 다층 3D 교정 타겟을 사용하며, 복수의 표면은 각각 그 상에 별개의 교정 패턴을 갖는다. 표면 중 하나는 그 상에 다른 더 작은 면적의 개별 표면이 배치되는 "주 표면"의 형태일 수 있다. 3D 교정 타겟을 포함하는 이미지 데이터가 수신되며 비전 시스템 도구는 이미지 데이터에 적용된다. 이미지 데이터는 제1 공간 위치에서의 변위와 제2 공간 위치에서의 변위 사이의 차이를 계산하도록 비전 도구를 사용하여 분석되어 결과를 제공할 수 있다. 예시적으로 시스템 및 방법은 비전 시스템에 모션 피드백을 제공하는 로봇 엔드 이펙터 상에 3D 교정 타겟을 위치시킬 수 있고 VGR 시스템으로서 배열될 수 있다. 예로서, 3D 교정 타겟은 4 개의 모서리와 4 개의 모서리에 각각 인접하게 위치된 4 개의 직사각형 플레이트를 갖는 대략 직사각형인 주 표면을 포함할 수 있다. 또한 예로서, 직사각형 플레이트의 측면은 주 표면의 측면에 대해 비 직교 각도로 위치된다. 각각의 복수의 표면 상의 각각의 개별 교정 패턴은 교정 패턴 내의 위치와 관련된 정보를 각각 포함하는 하나 이상의 ID 코드가 내장된 체커보드를 포함할 수 있다. 이미지 데이터는 제1 공간 위치에서의 변위와 다른 제2 공간 위치에서의 변위 사이의 차이를 계산하도록 비전 도구를 사용하여 분석되어 결과를 제공할 수 있다. 시스템 및 방법은 결과에 기초하는 원하는 시간 간격에 걸쳐 작업 공간에서 객체 평면의 공간 배향의 결과 및/또는 반복성에 기초하여 제1 평면과 제2 평면 사이의 평행성을 검증할 수 있다. 예시적으로, 이미지 데이터를 생성하는 카메라 어셈블리의 일부 또는 카메라 어셈블리에 부착된 광학 어셈블리가 제공된다. 광학 어셈블리는 텔레센트릭(telecentric) 또는 비 텔레센트릭(non-telecentric)일 수 있다. 제공된 광학 어셈블리가 비 텔레센트릭인 경우 시스템 및 방법은 3D 교정 타겟을 이동시키고 3D 교정 타겟의 이동 전후에 폐쇄 루프 2D 정렬 프로세스를 적용한다.
아래의 발명의 설명은 첨부된 도면을 참조한다:
도 1은 예시적인 실시예에 따른 교정 타겟 및 관련된 저장된 교정 타겟 특징 관계 데이터를 사용하여 교정 프로세스를 겪는 전체 비전 시스템 배열의 다이어그램이다.
도 2는 도 1의 시스템과 함께 사용하기 위한 2-레벨 3D 교정 타겟의 평면도이다.
도 3은 도 1의 2-레벨 3D 교정 타겟의 측면도이다.
도 4는 예시적인 실시예에 따른 도 1의 고정 또는 이동 교정 타겟을 사용하여 객체 평면의 반복성을 검증하기 위한 절차를 도시하는 흐름도이다.
도 5는 예시적인 실시예에 따른 도 1의 고정 또는 이동 교정 타?을 사용하여 병렬성을 결정하기 위한 절차를 도시하는 흐름도이다.
I. 시스템 개요
도 1은 예시적인 실시예에 따라 교정 타겟(120)의 적어도 일 측의 이미지를 획득하는 하나 이상(복수)의 카메라(1-N)(110, 112)로 구성된 비전 시스템 배열(100)을 도시한다. 카메라(110 및 112)는 전체 장면에서 교정 타겟(120)의 일부 또는 전부의 이미지를 획득하도록 배열된다. 타겟(120)은 카메라(110 및 112)의 시야(FOV) 내에 표시된다. 타겟(120)은 멀티 축 로봇 암(124)과 같은 모션 장치의 단부에 위치되는 이동하는 로봇 엔드 이펙터(122)에 의해 지지된다. 엔드 이펙터의 배향 및 그립 구성은 매우 가변적이다. 이 예에서, 엔드 이펙터(122)는 타겟의 표면과 맞물리는 흡입 컵 또는 다른 제거 가능한 고정 메커니즘(미도시)을 사용하여 타겟(120)을 부분적으로 덮는 것이 도시된다. 로봇 암(124)은 적절한 제어기(128)(후술됨)에 의해 제어된다. 그것의 모션은 직교 x, y 및 z 축 및 관련 회전 θx, θy 및 θz를 정의하는 적절한 좌표 공간(130)에 의해 정의된다. 카메라(110 및 112)의 수 및 이미지화된 장면의 좌표 공간(130)에 대한 그 배향은 대체 배열에서 매우 가변적이다. 다양한 실시예에서, 로봇 엔드 이펙터(122) 및 모션 장치(124)는 컨베이어 및/또는 라이징(raising) 및/또는 클램핑(clamping) 도구와 같은 다른 메커니즘에 의해 지지되는 어셈블리 평면을 포함하지만 이에 제한되지 않는다. 다양한 실시예에서, 작업 평면으로의 3D 교정 타겟(120)의 부착은 그 주 표면(180)(후술됨)의 상부(도시된 바와 같음) 또는 하부에서 발생할 수 있다. 용어 "주 표면"은 예로서 이 주 표면 위(또는 아래)에 투영되는 하나 이상의 별개의 다른 높이의 더 작은 면적 표면을 지원하는 임의의 적절한 표면 배열을 포함하도록 광범위하게 취해져야 한다는 것을 유의한다. 다른 대안적인 실시예에서, 도시된 개별 단일 광학 카메라(110 및 112)는 레이저 변위 센서, 입체 카메라, LIDAR 기반(보다 일반적으로 범위 찾기) 카메라, 비행 시간 카메라 등을 포함하지만 이에 제한되지 않는 하나 이상의 다른 유형의 카메라로 대체될 수 있다.
카메라(110 및 112)는 각각 기능적인 모듈, 프로세스 및/또는 프로세서를 사용하는 적절한 2D, 2.5D 및/또는 3D 비전 시스템프로세스를 수행하는 하나 이상의 내부 또는 외부 비전 시스템 프로세서에 이미지 데이터를 전송하는 이미지 센서(S)를 포함한다. 비 제한적인 예로서, 모듈/프로세스는 에지 파인더 및 대비 도구, 블롭 분석기(blob analyzer), 캘리퍼(caliper), 범위 파인더(range finder) 등과 같은 이미지의 특징을 찾고 분석하는 예시적인 비전 시스템 도구(142)의 세트를 포함할 수 있다. 비전 시스템 도구(142)는 교정을 수행하고 공통 좌표 공간(예를 들어, 도시된 좌표 공간(130))에 표시된 3D 타겟과 하나 이상의 카메라 사이의 3D 관계를 설정하는 교정 모듈/프로세스(144)와 상호 작동한다. 장면의 도시된 좌표 공간(130)은 관련된 직교 x, y 및 z 축(및 상술한 회전)에 따른 데카르트 좌표(Cartesian coordinate)의 관점에서 정의될 수 있음을 유의한다. 극좌표와 같은 다른 유형의 좌표 시스템은 대안적인 실시예에서 3D 이미지 공간을 특성화하기 위해 사용될 수 있다. 비전 시스템 프로세스(프로세서)(140)는 또한 기존 또는 맞춤형 기술을 사용하여 바코드 및/또는 다른 다양한 유형 및 표준의 다른 ID를 위치시키고 디코딩하는 ID/코드 검색 및 디코딩 모듈(146)을 포함할 수 있다. 이들 ID 코드는 아래에 추가로 정의되는 바와 같이 교정 타겟(120)에 내장된 것을 포함한다.
프로세서(140)는 맞춤형 회로에서 인스턴스화될(instantiated) 수 있거나 도시된 바와 같이 범용 컴퓨팅 장치(150)에서 하드웨어 및 소프트웨어로서 제공될 수 있다. 이 컴퓨팅 장치(150)는 클라우드 컴퓨팅 장치, 서버, PC, 랩톱, 태블릿, 스마트 폰 및/또는 임의의 다른 허용 가능한 데이터 처리 구현일 수 있다. 컴퓨팅 장치는 사용자 인터페이스, 예를 들어 키보드(152), 마우스(154) 및/또는 디스플레이/터치스크린(156)을 포함할 수 있다. 컴퓨팅 장치(150)는 유선 및/또는 무선 링크를 사용하여 적절한 통신 네트워크(예를 들어, WAN, LAN)에 상주할 수 있다. 이 네트워크는 로봇/엔드 이펙터 제어기(160) 및 그를 위한 적절한 비전 시스템 인터페이스(148)를 포함하는 하나 이상의 데이터 처리 장치에 연결될 수 있다. 제어기(160)는 교정 및 런타임 동안 비전 시스템 데이터와 정보를 교환하여 비전 시스템으로의 엔드 이펙터 위치에 대한 모션 피드백(162)(예를 들어 스테퍼(stepper), 인코더(encoder) 등으로부터의 로봇의 모션 데이터를 사용함)을 제공하고 3D 공간에서 비전 시스템이 엔드 이펙터를 시각적으로 가이드하는 것을 허용할 수 있다.
II. 3D 교정 타겟
예시적인 배열의 교정 타겟(120)은 본 명세서에서 고려되는 다양한 구현 중 하나이다. 도 2 및 3을 더 참조하면, 타겟(120)은 관련된 아트워크/교정 패턴(예를 들어, 모자이크식 밝고 어두운 사각형의 체커보드)을 갖는 평면 표면을 포함할 수 있다. 도시된 예에서, 교정 타겟(120)은 주 평면 표면(180) 상에 복수의 상승된 플레이트(170, 172, 174 및 176)를 더 포함한다. 이러한 상승된 플레이트(170, 172, 174 및 176)는 또한 교정 패턴을 포함한다. 플레이트(170-176)의 상부 상의 교정 패턴과 주 표면(180) 상의 교정 패턴은 이 예에서 엔드 이펙터(122)에 의해 가려지지 않아 카메라에 의해 명확하게 이미지화될 수 있다. 플레이트(170-176)는 정사각형, 직사각형, 다각형 또는 임의의 다른 적절한 형상인 주변부(perimeter)를 정의할 수 있다. 마찬가지로, 플레이트는 예를 들어 그에 평행하거나 평행하지 않은 주 표면(180)의 에지에 대해 임의의 적절한 각도(AP)로 배향될 수 있다. 이 예에서 적용된 교정 패턴은 동일한 크기의 정사각형의 정밀한 흑백 체커보드이다. 다른 미리 결정된 패턴이 대안적인 실시예에서 제공될 수 있다. 주 표면(180) 및 상승된 플레이트(170-176) 상의 패턴은 ID 코드, 예를 들어 교정 패턴 요소의 상대적 위치 및 배열에 대한 정보를 포함하는 기존의 2D 바코드(182)에 의해 각 직교 방향으로 주어진 간격으로 끊어진다. 이러한 ID 코드 배열은 ID 판독기/디코더(146)를 통해 비전 시스템 프로세서(140)가 카메라의 FOV 내의 인접한 교정 특징의 위치를 결정할 수 있게 한다. 교정 타겟(120)이 다수의(중첩될 수 있는) FOV를 점유하는 경우, ID 코드의 사용은 인접한 FOV의 특징이 조정될 수 있도록 하여 다수의 카메라가 함께 작동하는 것을 지원한다.
타겟 표면(180)으로의 교정 패턴의 적용 방법은 매우 가변적이며, 예를 들어 스크린 인쇄 또는 포토리소그래피가 사용될 수 있다. 일반적으로 특징의 경계와 그 교차점을 정의하는 라인은 허용 가능한 수준의 해상도를 생성할 수 있을 만큼 선명하며, 이는 전체 장면의 크기에 따라 마이크론, 밀리미터 등으로 측정될 수 있다. 도 3에 도신된 바와 같이, 상승된 플레이트(170-176)는 모든 플레이트(170-176)에 대해 유사할 수 있거나 플레이트마다 변할 수 있는 주 플레이트 표면(180) 및 플레이트 상부 표면(310) 사이의 높이(H)를 정의한다. 따라서 각 플레이트 또는 플레이트의 그룹은 서로 다른 개별 높이를 정의할 수 있다. 따라서, 예시적인 실시예에서 플레이트 각각의 높이(H)는 주 표면(180) 상의 다른 위치(예를 들어, 4 개의 모서리 각각)에서 다른 변위를 정의하도록 동일하지 않다. 예시적인 실시예에서 높이(H)는 매우 가변적이며, 예를 들어 1-50 mm이다. 일반적으로, 각각의 상승된 플레이트(170-176)를 위한 높이 정보는 상대적인 정밀도로 미리 알려져 있고 인쇄된 바코드(182)에 인코딩될 수 있다. 표면(310)의 일부 또는 전부는 다양한 실시예에서 주 표면(180)에 평행하거나 평행하지 않을 수 있다. 이미지화될 때, 각 패턴의 교정 특징(주 표면(180) 및 더 작고 상승된 플레이트 표면(310))은 카메라에 대해 별개의(예를 들어, z-축) 높이 간격으로 배치된다.
타겟(120)은 다양한 방식으로 함께 조립될 수 있다. 비 제한적인 예에서, 작은 면적의 플레이트(170-176)는 적절한 접착제(시아노아크릴레이트(cyanoacrylate), 에폭시 등)를 사용하여 표면(180) 상의 4 개의 인접한 모서리 각각 근처의 도시된 각진 배향(메인 플레이트의 x-y 축에 대해)으로 인접한 메인 플레이트 표면(180)에 접착된다. 이 예에서 표면(180 및 310) 사이의 평행성은 정밀하게 제어될 필요가 없고 더 큰 플레이트 상의 더 작은 플레이트의 x-y 배치도 아니다. 본 명세서(아래)에 설명된 절차로부터의 교정 정보는 프로세서(140)에 대하여 데이터 세트(190)에 저장될 수 있다.
각각 관련된 상승된 플레이트가 있는 2 개의 패턴화된 측을 갖는 교정 타겟을 사용하는 시스템 및 방법은 공통적으로 양도된 2018년 4월 17일 출원된 고 정확도 교정 시스템 및 방법의 명칭인 미국 특허 출원 일련 번호 제15/955,510호에 설명되며, 이 교시는 유용한 배경 정보로서 본 명세서에 참고로 포함된다. 이 애플리케이션은 3D 비전 시스템을 교정하고 패턴 내에 내장된 ID 코드를 사용하여 인접한 FOV의 특징을 배향시키는 기술을 설명한다. 이 접근 방식은 아래에 설명된 절차에서 필요하지 않은 사전 교정의 사용을 포함하여 교정 프로세스를 단순화하고 3D 교정 타겟에 대한 데이터 특정 사전 교정 데이터를 저장할 필요가 없다.
III. 비전 기반 단일 평면 배향 반복성 검사 및 모니터링
도 4의 절차(400)를 참조한다. 이 절차(400)는 객체 평면(예를 들어, 조립 작업 평면 또는 로봇 엔드 이펙터 평면) 및 그 평면을 이미지화 하는 카메라를 포함하는 설정의 존재 하에 작동된다. 엔드 이팩터의 경우 카메라는 평면 자체를 이미지화 하지 않지만 엔드 이펙터에 의해 픽업되거나 또는 그렇지 않으면 그 상에 설치되면(예를 들어, 영구적으로, 반-영구적으로/탈착가능하게 등) 3D 장치(즉, 교정 타겟(120))를 이미지화 할 수 있다. 표준 2D 교정 절차를 카메라에 사용할 수 있다는 것을 유의한다. 절차(400)에서, 타겟(120)(도 1 및 2)은 패턴(유효 층이라고도 함)이 카메라의 FOV 내에 있는 방식으로 객체 평면에 배치된다(단계 410). 그 다음, 단계 412에서, 타겟 및 그 유효 층의 하나 이상의 이미지가 획득된다. 단계 414에서, 비전 시스템 도구(도 1의 142)가 이미지에 적용되어 타겟의 개별 레이어 상의 2D 패턴 사이의 제1 공간 관계를 설정한다. 그 다음, 제2 공간 관계가 단계 420-424에서 설정된다. 420에서, 3D 장치는 시간 간격 후에 카메라에 다시 제시되며, 그 동안 객체 평면은 모션(예를 들어 로봇 암 또는 조립 평면의 지원 도구에 의해)을 거쳐 카메라의 FOV 내의 위치로 다시 돌아올 수 있으며, 3D 장치는 제거될 수 있으며 그 후에 객체 평면에 다시 배치될 수 있다. 3D 장치의 하나 이상의 이미지는 단계 422에서 획득되며, 비전 시스템 도구(도 1의 142)는 단계 424에서 이미지에 적용되어 개별 층 상의 2D 교정 패턴 사이의 제2 공간 관계를 설정한다.
절차(400)의 단계(430)에서, 변위(제1 및 제2 관계 사이의 차이)가 각 관계에서 층 사이의 알려진 높이 차이와 함께 사용되어 제1 및 제2 위치/배치 사이의 평면의 배향 변화를 계산한다. 이는 교정 데이터의 일부로서 저장될 수 있고(결정 단계(440)를 통한 단계 450) 배열의 장기 교정 및 반복성을 검증하는데 사용될 수 있는 결과를 생성한다. 결과 및/또는 반복성을 추가로 검증하기 위해, 결정 단계(440)는 단계(420, 422 및 424)로 다시 분기하고(branch) 저장된 제1 관계와 플레이트의 다른 세트 사이의 새로운 제1 관계를 사용하여 결과를 재계산한다(단계 430). 이 단계 420-430의 반복은 객체 평면의 배향 반복성을 검증하기 위해 분, 일, 주 등의 간격으로 발생할 수 있다.
상기 절차(400)는 텔레센트릭 배열인 각각의 부착되거나 통합된 카메라 광학 어셈블리(도 1의 O1, ON)와 함께 사용되는 것으로 고려된다. 광학 어셈블리(O1, ON)가 비 텔레센트릭인 경우, 추가 단계가 적용되는 특별한 고려 사항이 존재한다. 움직일 수 있는 객체 평면(예를 들어, 로봇 엔드 이펙터)의 경우, 제1 또는 제2 공간 관계를 설정하기 위한 타겟의 각 배치 후에, 엔드 이펙터는 평면 내에서 그 제1 배치 위치로 다시 이동하도록 지시 받는다. 이는 표준 2D 폐쇄 루프 정렬을 제공하는 비전 시스템 도구에 의해 달성될 수 있다. 이러한 정렬 도구는 예를 들어 매사추세츠 주 Natick의 Cognex Corporation에서 입수할 수 있다. 대안적으로, 객체 평면이 이동할 수 없는 경우(예를 들어, 클램핑된 조립 평면), 타겟은 기계적 고정 기술을 사용하여 제한된 영역에 배치될 수 있다.
IV. 평행성을 달성하기 위한 2 개의 평면의 비전 가이드 조정
도 5의 절차(500)를 참조하면, 배열은 카메라가 2 개의 평면을 이미지화 하는 2 개의 개별 평면(예를 들어, 로봇 엔드 이펙터 및 어셈블리 또는 작업 평면)을 정의하는 설정을 사용한다(단계 510). 절차(500)의 목표는 이 두 평면 사이의 평행 관계를 달성하는 것이다. 예시적인 구현에서, 하나의 평면(예를 들어, 로봇 엔드 이펙터)의 배향은 조정 가능하다. 표준 2D 교정 방법은 모션 시스템으로 카메라를 초기에 교정하는데 사용될 수 있다. 절차(500)에 따르면, 단계 510에서, 3D 타겟은 제1 평면 상에 위치된다. 단계 522에서, 3D 타겟의 하나 이상의 이미지는 제1 공간 위치에서 2 개의 층 주위의 관심 영역을 사용하여 카메라에 의해 획득된다. 단계 530에서, 타겟의 하나 이상의 이미지는 제2 공간 위치에서 카메라에 의해 획득된다. 타겟의 상이한 층 상의 2D 패턴 사이의 공간 관계는 적절한 비전 도구를 사용하여 얻어진다. 알려진 변위(알려진 높이 정보에 기초한 두 관계 사이의 차이)는 단계 540에서 2 개의 평면의 배향 차이를 계산하기 위해 층 사이의 높이 차이와 함께 사용된다. 단계 550에서, 하나의 평면(예를 들어, 로봇 엔드 이펙터)의 배향이 단계 540과의 차이에 기초하여 조정되어 이 계산된 배향 차이를 제거한다. 로봇의 경우, 적절한 모션 명령을 제어기로 전송하여 차이를 해결할 수 있다.
절차(500)의 단계(530-550)는 절차 종료(단계 570)를 가리키는 프로세스가 완료될 때까지 결정 단계(560)를 통해 폐쇄 루프 스타일로 수행될 수 있다. 더 상세하게, 제1 조정(단계 550) 후에, 결정 단계(560)는 단계 530으로 다시 분기하여 3D 교정 타겟의 다른 이미지를 획득하고 단계 550으로부터의 새로운 변위를 사용하여 배향 차이를 재계산한다(단계 540). 조정(단계 550)은 새로운 차이로 다시 수행된다. 단계 530-550의 프로세스는 계산된 배향 차이가 충분히 작을 때까지 (결정 단계 560를 통해) 루프에서 반복된다. 이러한 시간에, 프로세스는 결정 단계(560) 및 종료 단계(570)를 통해 완료된 것으로 간주된다. 조정 정보는 적절하게 저장될 수 있다.
다시, 상기 절차(500)는 텔레센트릭 렌즈를 포함하는 카메라 광학 어셈블리(O1, ON)의 사용을 가정한다. 카메라에 사용되는 렌즈가 비 텔레센트릭인 경우 절차(500)는 또한 특별한 고려사항을 사용한다. 이러한 특별한 절차 단계에 따르면, 2 개의 평면은 높이가 동일(즉, 카메라에 대해 동일한 작업 거리)해야 한다. 제2 평면 상의 3D 교정 타겟의 배치(및 각 조정) 후에(단계 550), 타겟은 평면 내에서 3D 장치가 제1 평면에서 측정된 위치로 이동된다(단계 522). 이 결과는 표준 폐쇄 루프 정렬 프로세스를 사용하여 달성될 수 있다.
위의 각 절차에서 결과를 달성하기 위해 사용된 특정 계산은 숙련된 사람에게 명확해야 한다. 일반적으로 이러한 계산은 디지털 컴퓨팅 환경에 적용되는 알려진 3차원 기하학적 원리를 사용한다.
V. 결론
위에서 설명한 시스템 및 방법은 최종 사용자가 제어할 수 없는 비용이 많이 들고 시간이 많이 걸리는 사전 교정 절차의 필요성을 효과적으로 제거한다. 시스템 및 방법은 정확하고 배열의 사전 교정된 상태와 유사한 성능을 유지함으로써 기본 제조 배열에 대한 장기적인 유지 관리 문제를 효과적으로 해결한다. 더 상세하게는, 시스템 및 방법은 작업 공간에서 평면의 장기 반복성과 평행성을 보장한다. 시스템 및 방법은 특징이 동일한 높이에 있지 않고 카메라 장착이 빠르고 간단하며 경제적인 방식으로 정확하지 않은 게이징(gauging)/측정을 허용한다.
전술한 내용은 본 발명의 예시적인 실시예에 대한 상세한 설명이다. 본 발명의 사상 및 범위를 벗어나지 않고 다양한 수정 및 추가가 이루어질 수 있다. 위에서 설명된 다양한 실시예 각각의 특징은 관련된 새로운 실시예에 다수의 조합된 특징을 제공하기 위해 적절하게 다른 설명된 실시예의 특징들과 결합될 수 있다. 또한, 전술한 내용은 본 발명의 장치 및 방법의 다수의 개별 실시예를 설명하지만, 본 명세서에 설명된 것은 단지 본 발명의 원리의 적용을 예시한 것이다. 예를 들어, 본 명세서에서 사용되는 용어 “프로세스” 및/또는 “프로세서"는 다양한 전자 하드웨어 및/또는 소프트웨어 기반 기능 및 구성 요소(대안적으로 기능적 “모듈” 또는 “요소”)를 포함하도록 광범위하게 취해져야 한다. 더욱이, 묘사된 프로세스 또는 프로세서는 다른 프로세스 및/또는 프로세서와 결합되거나 다양한 하위 프로세스 또는 프로세서로 분할될 수 있다. 이러한 하위 프로세스 및/또는 하위 프로세서는 본 명세서의 실시예에 따라 다양하게 결합될 수 있다. 마찬가지로, 본 명세서에서 임의의 기능, 프로세스 및/또는 프로세서는 전자 하드웨어, 프로그램 명령의 비 일시적 컴퓨터 판독 가능 매체로 구성된 소프트웨어, 또는 하드웨어와 소프트웨어의 조합을 사용하여 구현될 수 있음이 명시적으로 고려된다. 추가적으로, 본 명세서에서 사용된 바와 같이 “수직”, “수평”, “위”, “아래”, “바닥”, “상부”, “측면”, “앞”, “뒤”, “좌”, “우” 등과 같은 다양한 방향 및 배치 용어는 중력의 작용 방향과 같은 고정된 좌표 공간에 대한 절대적인 방향/배치가 아닌 상대적인 관습으로만 사용된다. 추가적으로, 주어진 측정, 값 또는 특성과 관련하여 “실질적으로” 또는 “대략적으로”라는 용어가 사용되는 경우, 원하는 결과를 얻기 위해 정상적인 작동 범위 내에 있는 양을 의미하지만 시스템의 허용 공차 이내의 고유한 부정확성과 오류로 인한 일부 변동성을 포함한다(예를 들어, 1-5 퍼센트). 따라서, 이 설명은 단지 예로서 취해지는 것을 의미하며, 본 발명의 범위를 달리 제한하지 않는다.

Claims (20)

  1. 사전 교정 프로세스 없이 3D 작업 공간에 대해 비전 시스템을 교정하는 시스템으로서,
    이미지 데이터를 수신하고 비전 시스템 도구를 상기 이미지 데이터에 적용하는 비전 시스템 프로세서;
    각각의 서로 다른 복수의 변위에서의 복수의 표면을 갖는 다층 3D 교정 타겟 ― 상기 복수의 표면은 각각 그 상에 개별 교정 패턴을 가지며, 상기 타겟은 제1 공간 위치로부터 제2 공간 위치로 이동됨 ―; 및
    결과를 제공하도록 (a) 제1 공간 위치에서의 비전 시스템에 의해 이미지화된 복수의 표면 사이의 변위와 (b) 제2 공간 위치에서의 변위의 차이를 계산하기 위해 비전 시스템 도구를 사용하여 이미지 데이터를 분석하는 결정 프로세스;를 포함하는,
    비전 시스템을 교정하는 시스템.
  2. 제1항에 있어서,
    상기 3D 교정 타겟은 로봇 엔드 이펙터 상에 위치되는,
    비전 시스템을 교정하는 시스템.
  3. 제2항에 있어서,
    상기 비전 시스템 프로세서 및 상기 로봇 엔드 이펙터를 위한 제어기 사이에 비전 가이드 로봇(VGR) 제어 신호가 전달되는,
    비전 시스템을 교정하는 시스템.
  4. 제1항에 있어서,
    상기 교정 타겟의 복수의 표면은 주 표면과 그로부터 투사되는 복수의 상승된 표면을 포함하는,
    비전 시스템을 교정하는 시스템.
  5. 제4항에 있어서,
    상기 복수의 상승된 표면의 측면은 상기 주 표면의 측면에 대해 비 직교 각에 위치되는 복수의 직사각형 플레이트를 포함하는,
    비전 시스템을 교정하는 시스템.
  6. 제1항에 있어서,
    상기 복수의 표면은 각각 체커보드 패턴을 정의하는 교정 패턴을 가지며, 상기 체커보드 패턴은 교정 패턴 내의 위치에 관한 정보를 포함하는 내부에 내장된 하나 이상의 ID 코드를 갖는,
    비전 시스템을 교정하는 시스템.
  7. 제1항에 있어서,
    상기 결정 프로세스는 제1 공간 위치에서의 변위 및 다른 제2 공간 위치에서의 변위 사이의 차이를 계산하기 위해 비전 도구를 사용하여 이미지 데이터를 분석하여 결과를 제공하는,
    비전 시스템을 교정하는 시스템.
  8. 제7항에 있어서,
    상기 결과는 제1 평면 및 제2 평면 사이의 평행성을 결정하는데 사용되는,
    비전 시스템을 교정하는 시스템.
  9. 제7항에 있어서,
    상기 결과는 원하는 시간 간격에 걸쳐 작업 공간에서의 객체 평면의 공간 배향의 반복성을 결정하는데 사용되는,
    비전 시스템을 교정하는 시스템.
  10. 제1항에 있어서,
    비 텔레센트릭(non-telecentric)인 광학 어셈블리를 갖는, 비전 시스템 프로세서에 작동적으로 결합되는 카메라 어셈블리를 더 포함하며, 상기 3D 교정 타겟은 이동되며 폐쇄 루프 2D 정렬 프로세스는 3D 교정 타겟이 이동하기 전후에 적용되는,
    비전 시스템을 교정하는 시스템.
  11. 사전 교정 프로세스 없이 3D 작업 공간에 대해 비전 시스템을 교정하는 방법으로서,
    각각의 서로 다른 복수의 변위에서의 복수의 표면을 갖는 다층 3D 교정 타겟을 제공하는 단계 ― 상기 복수의 표면은 각각 그 상에 개별 교정 패턴을 가지며, 상기 타겟은 제1 공간 위치로부터 제2 공간 위치로 이동됨 ―;
    3D 교정 타겟을 포함하는 이미지 데이터를 수신하고 비전 시스템 도구를 상기 이미지 데이터에 적용하는 단계; 및
    결과를 제공하도록 (a) 제1 공간 위치에서의 비전 시스템에 의해 이미지화된 복수의 표면 사이의 변위와 (b) 제2 공간 위치에서의 변위의 차이를 계산하기 위해 비전 시스템 도구를 사용하여 이미지 데이터를 분석하는 단계;를 포함하는,
    비전 시스템을 교정하는 방법.
  12. 제11항에 있어서,
    3D 교정 타겟을 로봇 엔드 이펙터 상에 위치시키는 단계를 더 포함하는,
    비전 시스템을 교정하는 방법.
  13. 제12항에 있어서,
    상기 비전 시스템 프로세서 및 로봇 엔드 이펙터를 위한 제어기 사이의 비전 가이드 로봇(VGR) 제어 신호를 전달하는 단계를 더 포함하는,
    비전 시스템을 교정하는 방법.
  14. 제11항에 있어서,
    상기 교정 타겟의 복수의 표면은 주 표면 및 그로부터 투사되는 복수의 상승된 표면을 포함하는,
    비전 시스템을 교정하는 방법.
  15. 제14항에 있어서,
    상기 복수의 상승된 표면의 측면은 상기 주 표면의 측면에 대해 비 직교 각에 위치되는 복수의 직사각형 플레이트를 정의하는,
    비전 시스템을 교정하는 방법.
  16. 제11항에 있어서,
    상기 복수의 표면은 각각 체커보드 패턴을 정의하는 교정 패턴을 가지며, 상기 체커보드 패턴은 교정 패턴 내의 위치에 관한 정보를 포함하는 내부에 내장된 하나 이상의 ID 코드를 갖는,
    비전 시스템을 교정하는 방법.
  17. 제11항에 있어서,
    결과를 제공하도록 제1 공간 위치에서의 변위 및 다른 제2 공간 위치에서의 변위 사이의 차이를 계산하기 위해 비전 도구를 사용하여 이미지 데이터를 분석하는 단계를 더 포함하는,
    비전 시스템을 교정하는 방법.
  18. 제17항에 있어서,
    상기 결과에 기초하여 제1 평면 및 제2 평면 사이의 평행성을 검증하는 단계를 더 포함하는,
    비전 시스템을 교정하는 방법.
  19. 제17항에 있어서,
    상기 결과에 기초하여 원하는 시간 간격에 걸쳐 작업 공간에서의 객체 평면의 공간 배향의 반복성을 검증하는 단계를 더 포함하는,
    비전 시스템을 교정하는 방법.
  20. 제11항에 있어서,
    비 텔레센트릭이며, 이미지 데이터를 생성하는 카메라 어셈블리를 위한 광학 어셈블리를 제공하는 단계; 및
    상기 3D 교정 타겟을 이동시키고 3D 교정 타겟이 이동하기 전후에 폐쇄 루프 2D 정렬 프로세스를 적용하는 단계를 더 포함하는,
    비전 시스템을 교정하는 방법.
KR1020210034145A 2020-03-18 2021-03-16 비전 시스템의 3차원 교정을 위한 시스템 및 방법 KR102525704B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202062991430P 2020-03-18 2020-03-18
US62/991,430 2020-03-18
US17/198,333 US20210291376A1 (en) 2020-03-18 2021-03-11 System and method for three-dimensional calibration of a vision system
US17/198,333 2021-03-11

Publications (2)

Publication Number Publication Date
KR20210117959A KR20210117959A (ko) 2021-09-29
KR102525704B1 true KR102525704B1 (ko) 2023-04-24

Family

ID=77747326

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210034145A KR102525704B1 (ko) 2020-03-18 2021-03-16 비전 시스템의 3차원 교정을 위한 시스템 및 방법

Country Status (4)

Country Link
US (1) US20210291376A1 (ko)
JP (2) JP7189988B2 (ko)
KR (1) KR102525704B1 (ko)
CN (1) CN113496523A (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4193156A1 (en) 2020-08-04 2023-06-14 Artificial, Inc. Translation and automation of protocols in a robotic lab
US11912513B1 (en) * 2021-04-14 2024-02-27 Amazon Technologies, Inc. Robotic system camera calibration and localization using robot-mounted registered patterns
DE102022201012A1 (de) * 2022-02-01 2023-08-03 Robert Bosch Gesellschaft mit beschränkter Haftung Kalibriersystem zum Kalibrieren eines Kamerasystems und zugehöriges Kalibriersystem
US11988496B1 (en) * 2022-03-22 2024-05-21 Advanced Gauging Technologies, LLC Strip width measurement with continuous hardware imperfection corrections of sensed edge positions
KR102592603B1 (ko) 2023-02-22 2023-10-23 주식회사 시스템알앤디 비전 검사 장비의 모니터링 방법
CN116673998B (zh) * 2023-07-25 2023-10-20 宿迁中矿智能装备研究院有限公司 一种工业机械手的定位校准装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013526423A (ja) * 2010-05-14 2013-06-24 コグネックス・テクノロジー・アンド・インベストメント・コーポレーション マシンビジョンシステムおよびロボットの間のロバストな較正の装置および方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999012082A1 (en) 1997-09-04 1999-03-11 Dynalog, Inc. Method for calibration of a robot inspection system
US20100295935A1 (en) 2009-05-06 2010-11-25 Case Steven K On-head component alignment using multiple area array image detectors
EP2729850A4 (en) 2011-08-11 2015-07-08 Siemens Healthcare Diagnostics METHOD AND DEVICE FOR CALIBRATING AN ALIGNMENT OF A ROBOT GRIPPER AND A CAMERA
KR20150067163A (ko) 2012-10-05 2015-06-17 베크만 컬터, 인코포레이티드 카메라 기반 자동 정렬을 위한 시스템 및 방법
JP6468741B2 (ja) * 2013-07-22 2019-02-13 キヤノン株式会社 ロボットシステム及びロボットシステムの校正方法
JP6415190B2 (ja) 2014-09-03 2018-10-31 キヤノン株式会社 ロボット装置、ロボット制御プログラム、記録媒体、およびロボット装置の制御方法
US11159784B2 (en) * 2014-10-23 2021-10-26 Cognex Corporation System and method for calibrating a vision system with respect to a touch probe
US11070793B2 (en) * 2015-07-31 2021-07-20 Cognex Corporation Machine vision system calibration
JP2018012184A (ja) 2016-07-22 2018-01-25 セイコーエプソン株式会社 制御装置、ロボットおよびロボットシステム
US20190122388A1 (en) * 2017-04-17 2019-04-25 Cognex Corporation High-accuracy calibration system and method
US10477186B2 (en) 2018-01-17 2019-11-12 Nextvr Inc. Methods and apparatus for calibrating and/or adjusting the arrangement of cameras in a camera pair
JP2019195885A (ja) 2018-05-11 2019-11-14 セイコーエプソン株式会社 制御装置およびロボットシステム
US11745354B2 (en) * 2018-08-16 2023-09-05 Mitutoyo Corporation Supplementary metrology position coordinates determination system including an alignment sensor for use with a robot

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013526423A (ja) * 2010-05-14 2013-06-24 コグネックス・テクノロジー・アンド・インベストメント・コーポレーション マシンビジョンシステムおよびロボットの間のロバストな較正の装置および方法

Also Published As

Publication number Publication date
KR20210117959A (ko) 2021-09-29
CN113496523A (zh) 2021-10-12
JP2021146499A (ja) 2021-09-27
JP2023014351A (ja) 2023-01-26
JP7189988B2 (ja) 2022-12-14
US20210291376A1 (en) 2021-09-23

Similar Documents

Publication Publication Date Title
KR102525704B1 (ko) 비전 시스템의 3차원 교정을 위한 시스템 및 방법
KR102129103B1 (ko) 적어도 3개의 이산 평면에 따른 머신 비젼 카메라의 보정을 위한 시스템 및 방법
US20180374239A1 (en) System and method for field calibration of a vision system imaging two opposite sides of a calibration object
EP2153410B1 (en) 3d assembly verification from 2d images
US9230326B1 (en) System, method and calibration plate employing embedded 2D data codes as self-positioning fiducials
US8922647B2 (en) Projection aided feature measurement using uncalibrated camera
US11562502B2 (en) System and method for calibrating a plurality of 3D sensors with respect to a motion conveyance
EP2195608B1 (en) System and method for multiframe surface measurement of the shape of objects
US20130329012A1 (en) 3-d imaging and processing system including at least one 3-d or depth sensor which is continually calibrated during use
US20130194569A1 (en) Substrate inspection method
KR20220080011A (ko) 고정밀 교정 시스템 및 방법
WO1999015854A1 (en) Machine vision methods using feedback to determine calibration locations of multiple cameras that image a common object
US5978080A (en) Machine vision methods using feedback to determine an orientation, pixel width and pixel height of a field of view
CN109672878A (zh) 对校准物体两相对侧成像的视觉系统的场校准系统和方法
KR100724261B1 (ko) 위치 측정 방법 및 위치 측정 장치 및 위치 측정 시스템
US20150192528A1 (en) Method and apparatus for determining coplanarity in integrated circuit packages
CN107328358B (zh) 铝电解槽位姿的测量系统及测量方法
JP2017198470A (ja) 計測装置、計測方法、システム及び物品の製造方法
US20120056999A1 (en) Image measuring device and image measuring method
JP4515814B2 (ja) 装着精度測定方法
KR20210060762A (ko) 디스플레이의 픽셀별 검사를 위한 3차원 스캐닝 시스템 및 그 방법
TW201940840A (zh) 外觀檢查裝置
JPH0545117A (ja) 光学式３次元位置計測方法
JP5280918B2 (ja) 形状測定装置
TWI696536B (zh) 機械手臂工具校正方法及其校正裝置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant