KR20190126458A - 고정밀 교정 시스템 및 방법 - Google Patents

고정밀 교정 시스템 및 방법 Download PDF

Info

Publication number
KR20190126458A
KR20190126458A KR1020197032500A KR20197032500A KR20190126458A KR 20190126458 A KR20190126458 A KR 20190126458A KR 1020197032500 A KR1020197032500 A KR 1020197032500A KR 20197032500 A KR20197032500 A KR 20197032500A KR 20190126458 A KR20190126458 A KR 20190126458A
Authority
KR
South Korea
Prior art keywords
calibration
target
vision system
relative positions
features
Prior art date
Application number
KR1020197032500A
Other languages
English (en)
Inventor
데이비드 와이. 리
리 선
Original Assignee
코그넥스코오포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코그넥스코오포레이션 filed Critical 코그넥스코오포레이션
Priority to KR1020227018251A priority Critical patent/KR102633873B1/ko
Publication of KR20190126458A publication Critical patent/KR20190126458A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Measurement Of Optical Distance (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 적어도 하나의 표면에 교정 패턴을 갖는 교정 타겟을 제공한다. 패턴 상의 교정 특징들의 위치의 관계는 교정 타겟(calibration target)에 대해 결정되고, 교정 비전 시스템에 의해 교정 절차 동안 사용을 위해 저장된다.교정 타겟의 특징 관계에 대해 아는 것은, 상기 교정 비전이 단일 포즈로 교정 타겟을 이미지화하고, 미리 결정된 좌표 공간에서 교정 특징 각각을 재발견할 수 있게 한다. 상기 교정 비전은 저장된 데이터로부터의 특징들 사이의 관계를 교정 비전 시스템의 로컬 좌표 공간으로 변환할 수 있다. 상기 위치들은, 타겟에 적용되는 바코드로 인코딩될 수 있거나, 별도의 인코딩되는 요소로 제공되거나, 또는 전자 데이터 소스로부터 획득될 수 있다. 타겟은 타겟의 전체 형상에 대해 인접한 교정 특징들의 위치를 정의하는 패턴 내의 인코딩된 정보를 포함할 수 있다.

Description

고정밀 교정 시스템 및 방법
본 발명은 기계 비전 시스템 애플리케이션들(machine vision system applications)에서 사용되는 교정 시스템들(calibration systems) 및 방법, 및 교정 객체들(calibration objects)(타겟들(targets))에 관한 것이다.
기계 비전 시스템(본 명세서에서 "비전 시스템들(vision systems)"이라고도 함)에서, 하나 이상의 카메라들은 이미지화된 장면(imaged scene) 내의 물체 또는 표면 상에서 비전 시스템 프로세스(vision system process)를 수행하도록 사용된다. 이러한 프로세스들은 검사, 심볼로지(symbology)의 디코딩, 정렬 및 다양한 다른 자동화된 작업들(automated tasks)을 포함할 수 있다. 보다 구체적으로, 비전 시스템은 이미지화된 장면 내에 존재하는 워크피스(workpiece)를 검사하기 위해 사용될 수 있다. 상기 장면은 전형적으로, 결과를 생성하기 위해 연관된 비전 시스템 프로세스를 동작시키는 내부 또는 외부 비전 시스템 프로세서를 포함할 수 있는 하나 이상의 비전 시스템 카메라들에 의해 이미지화된다. 일반적으로, 하나 이상의 카메라들을 교정하여 카메라/카메라들이 충분한 정확도 및 신뢰도를 갖는 비전 작업(vision task)을 수행할 수 있게 하는 것이 바람직하다. 적절한 좌표 공간 및 물리적 유닛에 대해 카메라를 교정하기 위해 교정 객체(calibration object) 또는 타겟(target)이 사용될 수 있다. 예를 들어, 워크피스의 이미지는 2 차원(2D: two-dimensional) 이미지 픽셀 데이터(image pixel data)(예를 들어, x 및 y 좌표), 3 차원(3D: three-dimensional) 이미지 데이터 (x, y 및 z 좌표) 또는 하이브리드 2.5D 이미지 데이터(hybrid 2.5D image data)에 의해 특징지어질(characterized) 수 있으며, 복수의 x-y 좌표 평면들(x-y coordinate planes)은 본질적으로 평행하고(parallel) 가변 z-높이(variable z-height)에 의해 특징지어진다.
교정 객체 또는 타겟(종종 "플레이트(plate)" 의 형태임)은 종종 그 표면 상에서 볼 수 있는 고유의 패턴들(distinctive patterns)(아트워크(artwork))을 갖는 평평한 구조(flat structure)로서 제공된다. 고유의 패턴은 일반적으로 케어(care) 및 정밀도(precision)로 설계되므로, 사용자는 카메라에 의해 획득된 타겟의 이미지에서 각각의 가시적인 특징(visible feature)을 용이하게 식별할 수 있다. 일부 예시적인 패턴들은, 제한되지는 않지만, 모자이크식 체커보드(tessellating checkerboard)의 정사각형들(squares), 전체 패턴(overall pattern) 내 주기적인 간격으로 부가적인 인레이드 코드들(additional inlaid codes)을 갖는 체커보드를 포함하며, 이는 특징 위치들(feature positions), 도트 그리드들(grids), 라인 그리드들(line grids), 허니컴 패턴(honeycomb pattern), 모자이크식 삼각형들(tessellated triangles), 다른 다각형들(polygons) 등을 특정할 수 있다. 각각의 가시적인 특징에 대한 특징들(Characteristics)은 설계 내에서 암시적으로 정의된 기준 위치(reference position) 및/또는 좌표 시스템(coordinate system)에 대한 위치 및/또는 회전과 같은 타겟의 설계로부터 알 수 있다.
교차 라인들(crossing lines)의 모자이크식 어레이(tessellated array)에 의해 특징지어지는 전형적인 체커보드 패턴의 설계는, 교정을 수행하는 것에 있어서 정확도 및 견고성(robustness)의 관점에서 특정한 장점을 제공한다. 보다 상세하게는, 고정 객체(stationary object,)의 2 차원(2D) 교정에서, 교정 보조 보드들의 에지들에 의해 개별적인 체커보드 타일 코너들(individual checkerboard tile corners)의 상대적인 위치(relative position)를 결정하는 것은, 통상적으로 비전 시스템의 정확도를 결정하는데 충분하고, 적절하게 이러한 보정 팩터들(correction factors)을 카메라의 프로세서에 제공하므로, 런타임 객체들(runtime objects)이 보정 팩터들의 관점에서 측정될 수 있다.
다른 백그라운드(background)로, 비전 시스템 카메라의 교정은 카메라 센서의 픽셀을 미리 결정된 좌표 시스템에 매핑하는(mapping) 것을 포함한다. 타겟은 특징 패턴 내에 인레이드된(inlaid) 2D 코드("바코드들(barcodes)"이라고도 함)와 같은 좌표 시스템(예를 들어, 일련의 체커보드의 X-Y-축 배치(X-Y-axis arrangement))을 정의하는 특징, 또는 패턴 좌표 시스템을 정의하는 구별되는 기점들(distinctive fiducials)을 제공할 수 있다.
특징들을 카메라 픽셀들에 매핑함으로써, 상기 시스템은 타겟으로 교정된다. 복수의 카메라들은 교정 타겟의 전부 또는 부분의 이미지를 획득하는데 사용되는 경우, 모든 카메라들은 타겟의 특징(예를 들어, 타겟, Z(높이)의 평면을 따른 X 및 Y, 및 X-Y 평면에서 Z 축에 대한 회전(θ)), 또는 다른 (예를 들어, 글로벌(global)) 좌표 시스템에 의해 지정될 수 있는 공통 좌표계(common coordination system)에 맵핑된다. 일반적으로, 교정 타겟은 복수의 상이한 타입의 교정 동작들(calibration operations)에서 사용될 수 있다. 예로서, 전형적인 고유 및 외부 카메라 교정 동작(intrinsic and extrinsic camera calibration operation)은 카메라들 각각에 의한 타겟의 이미지들을 획득하는 것과 타겟의 하나의 획득된 이미지를 사용하여 교정 타겟 자체의 좌표 시스템에 대한 교정을 수반하며(entails), 이는 모든 카메라들의 전체 시야(overall field of view)의 적어도 일부 내 특정 위치에 있다. 비전 프로세서 내의 교정 애플리케이션은 각각의 카메라에 의해 획득된 타겟의 이미지로부터 각 카메라의 상대적 위치를 추정한다(deduces). 타겟 상의 기점들이 카메라의 각각의 시야 내의 타겟의 일부에 대해 각각의 카메라를 배향시키는데(orient) 사용될 수 있다. 이러한 교정은 "플레이트에 대한 카메라들 교정(calibrate cameras to the plate)"이라고 한다.
전형적인 평면 교정 타겟을 사용하여 2 D, 2.5D 또는 3D 비전 시스템을 교정하도록 시도할 때, 사용자들은 특정한 불편들(inconveniences)에 직면할 수 있다. 이러한 불편은 2 개의 소스들(sources)로부터 유도될(derive) 수 있다. 먼저, 3D 정보를 갖는 정확한 교정 타겟(accurate calibration target)은 미크론 레벨(micron level)에서 교정 타겟의 제조를 요구하며, 이는 시간 소모적일 뿐만 아니라 비용이 많이 든다. 두번째로, 투시() 또는 스테레오 비전 시스템들(stereo vision systems)의 교정은 모든 카메라들에 대해 볼 수 있는 복수의 포즈들(multiple poses)로 이미지화되는 교정 타겟들을 요구한다. 이러한 프로세스는 특히 스테레오 비전 시스템이 복잡해질 때(예를 들어, 복수의 카메라들을 포함할 때) 사용자에 대해 길고(lengthy) 에러가 발생하기 쉽다(error-prone). 예를 들어, 4 개의 카메라들로 구성된 특정 상업적으로 이용가능한 비전 시스템들은 충분한 교정을 달성하도록 교정 타겟에 대해 20 개 이상의 뷰들(views)을 필요로 할 수 있다.
본 발명은 적어도 하나의(하나 이상의) 표면(surface)에 대한 교정 패턴(calibration pattern)을 정의하는(calibration pattern) 교정 타겟(calibration pattern)을 제공함으로써 종래 기술의 단점을 극복한다. 교정 패턴에 대한 교정 특징들(calibration features)(예를 들어, 체커보드 교차점들(intersections))의 위치들(calibration features)에 대한 관계(relationship)는 (예를 들어, 타겟의 제조 시) 교정 타겟에 대해 결정되고, 교정 비전 시스템에 의해 교정 절차(calibration procedure) 동안 사용하기 위해 저장된다. 교정 타겟의 특징 관계들(feature relationships)에 대해 아는 것(Knowledge)은 교정 비전 시스템이 교정 타겟을 단일 포즈(single pose)로 이미지화하고, 미리 결정된 좌표 공간에서 교정 특징 각각을 재발견할(rediscover) 수 있게 한다. 교정 비전 시스템(calibrating vision system)은 저장된 데이터로부터의 특징들(features) 사이의 관계를 교정 비전 시스템의 로컬 좌표 공간(local coordinate space)으로 변환할(transform) 수 있다. 위치들은 타겟에 적용되는(applied)(즉, 교정 동안 이미지화/디코딩된) 바코드 내에서 인코딩될 수 있고, 별도의 인코딩된 요소(separate encoded element)(예를 들어, 타겟이 운반되는(shipped with the target) 카드)로 제공되거나, 또는 전자 데이터 소스(electronic data source)(예를 들어, 특정 타겟과 연관된 디스크, 썸 드라이브(thumb drive) 또는 웹사이트)로부터 획득될 수 있다. 타겟은 타겟의 전체 형상(overall geometry)에 대해 인접한 교정 특징들(adjacent calibration features)의 특정 위치(particular location)를 정의하는 패턴 내의 인코딩된 정보(encoded information)를 포함할 수 있다. 일 실시예에서 타겟은, 제1 표면에 제1 교정 패턴(first calibration pattern)을 갖는 더 큰 플레이트(larger plate), 및 제1 교정 패턴으로부터의 간격(spacing)(예를 들어, z-축 높이에 의해 정의됨)에 위치되는 제2 교정 패턴을 가지는, 더 큰 플레이트의 제1 표면에 적용되는 더 작은 플레이트(smaller plate)를 포함하는, 거리에 의해 분리되는 적어도 2 개의 표면들로 구성된다. 타겟은, 대응하는 패턴들을 갖는 제1 표면 및 더 작은 제2 표면이 대향 측면들(opposing sides) 각각에 제공되도록(presented) 양면(two-side)일 수 있으며, 이에 의해 연관된 멀티-카메라(multi-camera), 비전 시스템에 의한 타겟의 360-도 뷰(360-degree viewing) 및 동시 교정(concurrent calibration)을 가능하게 한다. 다른 실시예들에서, 타겟은 정육면체(cube)와 같은 3D 형상(3D shape)일 수 있으며, 하나 이상의 표면들은 패턴을 포함하고, 각각의 표면에 대한 특징들 사이의 관계는 교정 비전 시스템에 의한 사용을 위해 결정되고 저장된다.
예시적인 실시예에서, 교정 타겟이 제공되고, 제1 교정 패턴을 갖는 제1 표면을 포함한다. 데이터 소스(data source)는 제1 교정 패턴 상의 교정 특징들의 상대적 위치들(relative positions)을 정의한다. 데이터 소스는 교정 비전 시스템(calibration vision system)에 의해 식별가능하며, 상기 교정 비전 시스템은 교정 타겟의 이미지를 획득하므로, 상기 상대적 위치를 상기 비전 시스템의 로컬 좌표 공간으로 변환할 수 있다. 제2 교정 패턴을 갖는 제2 표면이 또한 제공될 수 있으며, 제2 표면은 제1 표면으로부터 떨어져 위치된다(located remote). 이에 의해, 데이터 소스는 또한 제2 교정 패턴 상의 교정 특징들의 상대적 위치들을 정의한다.
예시적으로, 제2 표면은 제1 표면에 부착된 플레이트 상에 제공되거나, 또는 상기 제1 표면에 대해 평행하지 않은 방향(non-parallel orientation)으로 배향된 3-차원 물체의 분리된 표면(separate face)에 제공된다. 예시적인 실시예에서, 제1 교정 패턴 및 제2 교정 패턴은 체커보드들이다. 데이터 소스는 (a) 상기 교정 타겟에 대한 코드, (b) 별도 인쇄 코드(separate printed code), 또는 (c) 상기 교정 비전 시스템의 프로세서에 의해 액세스 가능한 전자 데이터 소스(electronic data source) 중 적어도 하나를 포함할 수 있다. 상대적 위치들은 교정 타겟의 제조 동안 또는 이후에 정밀 비전 시스템에 의해 정의될 수 있으므로, 교정 비전 시스템에 의한 사용을 위해 이용가능할 수 있다.정밀 비전 시스템은 다른 유형의 3D 이미지화 디바이스들(3D imaging devices) 중에서 (a) 입체 비전 시스템(stereoscopic vision system), (b) 3 개 이상의 카메라 비전 시스템(three-or-more-camera vision system) 레이저 변위 센서(laser displacement sensor), (c) TOF(time-of-flight) 방식 카메라 어셈블리(camera assembly) 중 적어도 하나를 포함할 수 있다. 예시적으로 교정 타겟은, 제 3 교정 패턴을 갖는 제1 표면과 반대인 제 3 표면, 및 제 4 교정 패턴을 갖는 제 4 표면을 포함할 수 있으며, 상기 제 4 표면은 상기 제 3 면 위에 간격으로 위치될 수 있다. 이에 의해, 데이터 소스는 제1 교정 패턴, 제2 교정 패턴, 제 3 교정 패턴 및 제 4 교정 패턴 상의 교정 특징들의 상대적 위치들을 정의할 수 있다. 예시적으로, 정밀 비전 시스템 및 교정 비전 시스템은 각각 그 대향 측면들 각각에 대한 교정 타겟을 이미지화하도록 각각 구성된다(arranged). 실시예에서, 교정 비전 시스템은 2D, 2.5D 및 3D 비전 시스템 중 하나의 시스템이다.예시적으로, 제1 교정 패턴 및 제2 교정 패턴 중 적어도 하나의 교정 패턴은 전체 표면 영역(overall surface area)에 대한 인접한 교정 특징들의 상대적인 위치들을 정의하는 코드들을 포함한다.
비전 시스템을 교정하기 위한 예시적인 방법에서, 제1 교정 패턴을 갖는 제1 표면을 구비하는 교정 타겟이 제공된다. 제1 교정 패턴에서 교정 특징들의 상대적 위치들을 정의하는 데이터 소스가 액세스된다(accessed). 상기 데이터 소스는 정밀 비전 시스템(accurate vision system)에 의해 상기 교정 타겟의 적어도 하나의 이미지를 획득하는 것에 의해 생성된다. 교정 타겟의 이미지는 사용자에 의한 교정 동작 동안 교정 비전 시스템에 의해 후속적으로(subsequently) 획득된다. 정밀 비전 시스템에 의한 상대적 위치는 교정 비전 시스템의 로컬 좌표 공간으로 변환된다. 예시적으로, 제2 교정 패턴을 갖는 제2 표면이 제공된다. 제2 표면은 제1 표면으로부터 멀리 떨어져 있고, 데이터 소스는 제2 교정 패턴 상의 교정 특징들의 상대적 위치들을 정의한다.
교정 타겟을 제조하기 위한 예시적인 방법에서, 미리 결정된 제1 교정 패턴을 갖는 제1 표면이 적어도 제공된다. 제1 표면의 이미지가 획득되고, 교정 패턴 특징들이 그 위에 위치된다. 위치된 교정 특징들을 사용하여, 데이터 소스가 생성되고, 상기 데이터 소스는 제1 교정 패턴들 상의 교정 특징들의 상대적 위치들을 정의한다. 상기 데이터 소스는 비전 시스템의 로컬 좌표 공간으로 상대적 위치들을 변환하도록, 교정 타겟의 이미지를 획득하는 교정 비전 시스템에 의해 식별 가능하다. 예시적으로, 제1 표면에 대해 위치되는 제2 교정 패턴을 가지는 제2 표면이 제공된다. 제2 표면은 제1 표면으로부터 떨어져 위치되고, 데이터 소스는 제2 교정 패턴 상의 교정 특징들의 상대적 위치들을 정의한다. 제2 표면은 제1 표면에 부착된 플레이트 상에 제공될 수 있거나, 또는 상기 제2 표면은 상기 제1 표면에 대해 평행하지 않은 방향(non-parallel orientation)으로 배향된 3 차원 객체의 개별 면(separate face) 상에 제공될 수 있다.
예시적으로, 제1 교정 패턴 및 제2 교정 패턴은 체커보드일 수 있다. 예시적인 실시예에서, 제1 표면의 맞은 편에서 제 3 교정 패턴을 가지는 제 3 표면이 제공된다. 제 4 교정 패턴을 갖는 제 4 표면이 제 3 표면에 적용된다. 제 4 표면은 제 3 표면 위의 간격으로 위치되고, 이에 의해 데이터 소스는 제1 교정 패턴, 제2 교정 패턴, 제 3 교정 패턴 및 제 4 교정 패턴에 대한 교정 특징들의 상대적인 위치들을 정의한다. 상기 데이터 소스는 (a) 상기 교정 타겟에 대한 코드, (b) 별도 인쇄 코드(separate printed code), 및 (c) 상기 교정 비전 시스템의 프로세서에 의해 액세스 가능한 전자 데이터 소스(electronic data source) 중 적어도 하나로 제공될 수 있다.
아래의 본 발명 기술은 다음과 같이 첨부 도면을 참조한다.
도 1은 예시적인 실시예에 따른 교정 타겟, 및 연관된 저장된 교정 타겟 특징 관계 데이터를 이용하여 교정 프로세스(calibration process)를 수행하는 전체 비전 시스템 구성(overall vision system arrangement)에 대한 도면이다.
도 2는 도 1의 예시적인 실시예에 따른 양면 다중 표면 교정 타겟(two-sided, multi-surface calibration target)의 측면 바이스(side vise)이다.
도 3은 예시적인 실시예에 따른 제조된 교정 타겟을 분석하고, 고정밀 비전 시스템(highly accurate vision system)을 이용하여 이로부터 저장된 교정 타겟 특징 관계 데이터를 생성하기 위한 절차에 대한 도시한 흐름도이다.
도 4는 도 3의 절차에 따른 고정밀 교정 타겟 특징 관계 데이터(highly accurate calibration target feature relationship data)를 생성하기 위한 3개의 카메라 3D 비전 시스템(three-camera, 3D vision system)의 예시적인 실시예이다.
도 5는 예시적인 실시예에 따른 도 3의 절차에서 생성된 교정 타겟 및 연관된 저장된 특징 관계 데이터를 이용하여 비전 시스템을 교정하기 위한 절차에 대한 흐름도이다.
도 6은 예시적인 실시예에 따른 도 5 의 절차에서 교정 타겟에 적용되는 코드를 판독하고, 이로부터 저장된 특징 관계 데이터를 디코딩하기 위한 절차에 대한 보다 상세한 흐름도이다.
도 7은 그 위에 교정 패턴을 각각 포함하는 적어도 3 개의 적층된 표면들(stacked surfaces)을 갖는 또 다른 실시예에 따른 교정 타겟의 부분 사시도(partial perspective view)이다.
도 8은 그것의 적어도 2 개의 개별 표면들(discrete surfaces)에 적용된 교정 패턴을 갖는 3D 형상(예를 들어, 정육면체)을 정의하는 또 다른 실시예에 따른 교정 타겟의 사시도이다.
I. 시스템 개요
도 1은 예시적인 실시예에 따른 교정 타겟(120)의 적어도 2 개의 측면들 각각에 대해 각각 복수의 카메라들 1-N(110, 112) 및 1-M(114, 116)으로 구성된 비전 시스템 구성(vision system arrangement)(100)을 도시한다. 카메라들(110-116)은 전체 장면(scene) 내의 교정 타겟(120)의 일부 또는 전부를 획득하도록 구성된다. 타겟(120)은 패턴이 보여질 수 있게 하는 임의의 수용가능한 메커니즘(acceptable mechanism)(예를 들어, 로드(rod) 또는 브래킷(bracket)(122))에 의해 지지될 수 있다. 카메라들 의 수, 및 이미지들의 장면(images scene)에 대한 그들의 배향은 또 다른 구성들에서 매우 가변적이다. 이러한 실시예에서, 각 측면은 적어도 2 개의 카메라들, 통상적으로 적어도 4 개의 카메라들로 구성된다. 다른 실시예들에서, 각 측-또는 오직 하나의 측만이 단일 카메라, 또는 적절하게는 4 개 이상의 카메라들에 의해 이미지화될 수 있다. 카메라들(110-116)은, 3 차원(3D) 표현들 또는 이미지화된 표면을 생성하도록, 공지된 기술들을 사용하여 삼각측량(triangulation)을 허용하도록 구성된다. 또 다른 실시예들에서, 도시된 단일-광학 카메라들(single-optic cameras)는 하나 이상의 다른 유형의 카메라들로 대체될 수 있으며, 상기 카메라들은 레이저 변위 센서들(laser displacement sensors), 스테레오 카메라(stereoscopic camera), LIDAR 기반(LIDAR-based)(보다 일반적으로, 거리 측정(range-finding)) 카메라, ToF(time-of flight) 카메라 등을 포함하지만 이에 한정되지는 않는다.
카메라들(110-116)은 이미지 데이터를 하나 이상의 내부 또는 외부 비전 시스템 프로세서들(130)에 전송하는 이미지 센서(S)를 각각 포함하며, 상기 프로세서들(130)은 기능 모듈들(functional modules), 프로세스들(processes) 및/또는 프로세서들(processors)을 이용하여 적절한 비전 시스템 프로세스를 수행한다. 비 제한적인 예(non-limiting example)로서, 모듈들/프로세스들은 에지 파인더들(edge finders) 및 콘트라스트 툴들(contrast tools), 블럽 분석기들(blob analyzers), 캘리퍼스(calipers) 등과 같이 이미지 내 피처들을 찾고 분석하는 비전 시스템 툴들(132)의 세트를 포함할 수 있다. 비전 시스템 툴들(132)은 적어도 하나의 공통(즉, 전역(global)(112)) 좌표 시스템(140)에 대해 하나 이상의 카메라들의 교정을 처리하는(handles) 교정 모듈/프로세스(calibration module/process)(134)와 연동한다(interoperate). 이러한 시스템은 연관된 직교 x, y 및 z 축들에 따른 카테시안 좌표(Cartesian coordinates)에 관하여 정의될 수 있다. 축들(x, y 및 z)에 대한 회전은 각각 θx, θy 및 θz로 정의될 수 있다. 극좌표(polar coordinates)와 같은 다른 좌표 시스템이 또 다른 실시예들에서 사용될 수 있다. 또한, 비전 시스템 프로세스(프로세서)(130)는 종래의(conventional) 또는 커스텀 기술들(custom techniques)을 사용하여 다양한 유형 및 표준의 바코드 및/또는 다른 ID의 위치를 찾고 상기 바코드 및/또는 다른 ID를 디코딩하는 ID/코드 파인더 및 디코딩 모듈(ID/code finding and decoding module)(136)을 포함할 수 있다.
프로세서(130)는 커스텀 회로(custom circuit)로 예시될(instantiated) 수 있거나, 또는 도시된 바와 같이 범용 컴퓨팅 디바이스(general purpose computing device)(150)에서 하드웨어 및 소프트웨어로 제공될 수 있다. 이러한 컴퓨팅 디바이스(computing device)(150)는 PC, 랩탑, 태블릿, 스마트폰 또는 임의의 다른 수용가능한 구성일 수 있다. 컴퓨팅 디바이스는 예를 들어, 키보드(152), 마우스(154), 및/또는 디스플레이/터치스크린(156)과 같은 사용자 인터페이스를 포함할 수 있다. 컴퓨팅 디바이스(150)는 유선 및/또는 무선 링크를 이용하는 적절한 통신 네트워크(예를 들어, WAN, LAN)에 위치할(reside) 수 있다. 이러한 네트워크는, 품질 제어(quality control), 로봇 제어, 정렬(alignment), 부품 수용/거부(part accept/reject), 로지스틱스(logistics), 표면 검사(surface inspection) 등과 같은 다양한 작업을 위해 프로세서(130)에 의해 생성된 비전 시스템 데이터를 사용하는 하나 이상의 데이터 처리 디바이스들(data handling device)에 연결될 수 있다.
예시적인 구성의 교정 타겟(120)은 본 명세서에서 고려되는 다양한 구현들 중 하나의 구현이다. 또 다른 실시예에서, 타겟은 단일 노출 및 이미지화된 표면, 및 연관된 아트워크(artwork)/교정 패턴(calibration pattern)(예를 들어, 모자이크식 밝고 어두운 정사각형들(tessellating light and dark squares)의 체커보드)을 갖는 플레이트(plate)로 구성될 수 있다. 그러나, 도시된 예에서, 교정 타겟은 복수의 적층된 플레이트(170 및 172)로 구성되고, 각각은 그에 적용되는 교정 패턴을 갖는다. 패턴의 적용에 대한 방법은 매우 가변적이며, 예를 들어 스크린 프린팅(screen-printing) 또는 포토리소그래피(photolithography)가 사용될 수 있다. 일반적으로, 특징들의 경계들(boundaries)을 정의하는 라인들 및 그들의 교차점들은, 전체 장면의 크기에 따라, 미크론, 밀리미터 등으로 측정될 수 있는 수용가능한 레벨의 해상도(resolution)를 생성할 만큼 충분히 뚜렷하다(crisp). 실시예에서, 또한 도 2에 도시된 바와 같이, 교정 타겟(120)은 3 개의 적층된 플레이트들(170, 172 및 210)로 구성된다. 중앙 플레이트(170)는 가장 큰 면적을 가지고, 도시된 폭(WP1)에 걸쳐 연장되는 반면에, 상기 중앙 플레이트(central plate)(170)의 대향면들(opposing surfaces)에 적층된 2 개의 플레이트들(172)은 각각 작은 면적 및 폭(WP2 및 WP3)을 갖는다. 중앙 플레이트의 대향면들(220 및 222)은 임의의 수용가능한 값(예를 들어, 1-50 밀리미터)일 수 있는 두께(TP1)에 의해 분리된다. 설명된 바와 같이, 각각의 표면(220 및 222)은 예시적인 교정 패턴을 포함할 수 있다. 따라서, 각각의 패턴의 교정 특징들은 TP1의 (예를 들어, z-축) 높이-간격(height-spacing)으로 배치된다. 적층된 플레이트들(172 및 210)은 각각의 두께(TP2 및 TP3)를 각각 정의하므로, 적층된 플레이트들의 각각의 표면들/교정 패턴들(230 및 240)은 하부 표면(underlying surface)(220 및 222)으로부터 대응하는 간격으로 배치될 수 있다. 이러한 간격은 각각의 표면 교정 패턴에 의해 정의되는 x-y 축 치수들(x-y axis dimensions)에 더하여 특징들에 대한 z-축 치수를 생성한다. 따라서, 교정 타겟은 그 각각의 측면에서 비전 시스템의 3D 교정을 위한 특징 정보를 효과적으로 제공할 수 있다.
플레이트들(170, 172 및 210)은 다양한 방식으로 함께 조립될(assembled) 수 있다. 기본적인 예에서, 더 작은 영역 플레이트들(smaller-area plates)(172, 210)은 적절한 접착제(시아노아크릴레이트(cyanoacrylate),에폭시(epoxy) 등)를 사용하여 대략 중심 위치에서 중앙 플레이트의 인접한 표면(220, 222)에 부착된다. 표면들(230, 220, 222 및 240) 사이의 평행은 신중하게 제어되지 않으며, 더 큰 플레이트 상의 더 작은 플레이트들의 배치의 중심도 아니다. 사실상, 불균형(asymmetry) 및 왜곡(skew)의 도입은, 일반적으로 아래에서 설명되는 바와 같이, 교정 비전 시스템(100)의 교정에 유익하다(benefit).
특히, 3 차원(three dimensions)에서 피처들 사이의 관계는 데이터(180)의 세트에 포함되며, 이는 상기 특정 교정 타겟(120)과 연관하여 상기 프로세서에 대해 저장될 수 있다. 상기 데이터는 다양한 포맷으로 구성될 수 있다. 예를 들어, 데이터(180)는 특징들의 그룹들, 또는 교정 타겟(120)에서의 모든 교정 특징(또는 모든 교정 특징의 서브세트)의 위치로 구성될 수 있다. 데이터는 다양한 방식으로 획득 또는 액세스될 수 있다. 도시된 바와 같이, 2D 바코드(예를 들어, 데이터매트릭스 ID 코드(DataMatrix ID code))(182)가 교정 타겟(120)의 위치(예를 들어, 에지)에 제공될 수 있으므로, 이는 하나 이상의 카메라들에 의해 획득되고, 상기 프로세서(130) 및 모듈(136)에 의해 디코딩될 수 있다. 데이터(180)를 제공 및 액세스하기 위한 다른 메커니즘들은, 스캔된 코드로 운반되는 타겟(120)을 가지는 카드 또는 개별 라벨을 제공하고, 타겟에 대한 일련번호(serial number) (또는 다른 식별자)와 연관하여 웹사이트로부터 데이터를 다운로드하고, 디스크, 플래시 메모리(썸 드라이브(thumb drive)), 또는 다른 전자 데이터 저장 디바이스 등에서 데이터를 제공하는 것을 포함할 수 있다.
II. 교정 타겟 특징 관계 데이터를 생성
예시적인 교정 타겟에 대한 교정 패턴 특징들의 관계를 기술하는 데이터는, 도 3의 절차(300)에 따라 생성된다. 일반적으로, 연관된 타겟 좌표에서의 관계(예를 들어, 2D 또는 3D 좌표들)가 알려져 있고, 교정 비전 시스템에서 사용을 하도록 이용가능하면, 타겟의 제조 허용오차(manufacturing tolerance)는 상당히 감소될 수 있다. 이러한 관계는 고정밀 비전 시스템으로 특징을 분석함으로써 도출될 수 있다. "고정밀(highly accurate)" (또는 간단히, "정밀(accurate)"))에 의해, 비전 시스템은, 교정 비전 시스템의 좌표 시스템으로의 좌표들의 임의의 변환이 런타임(runtime) 시 교정 비전 시스템에 의해 수행되는 작업에 대해 수용가능한 허용오차 내에 있는 것을 보장하기에 충분한 관계 데이터를 전달할 수 있다는 것을 의미한다. 따라서, 예로서 비전 시스템이 미크론-레벨-허용오차(micron-level-tolerance)를 필요로 한다면, 고정밀 비전 시스템은 서브-미크론 범위(sub-micron range)에서 관계 데이터를 반환한다.
절차(300)의 단계(310)에서, (본 명세서에서 설명된 물리적 구성 중 임의의 것에 따라) 제조된 교정 타겟은 고정밀 비전 시스템의 시야 내에 위치가 정해진다(positioned). 하나 이상의 스테레오 카메라 어셈블리들(stereo camera assemblies)을 갖는 스테레오 비전 시스템은 하나의 구현 형태이다. 그러나, 고정밀 비전 시스템들은 (예를 들어) 하나 이상의 레이저 변위 센서들(laser displacement sensors)(프로파일러들(profilers)), ToF 카메라들 등을 이용하여 구현될 수 있다. 도 4의 일 실시예에서, 타겟(420)의 한 측을 이미지화하기 위한 고정밀 비전 시스템의 구성(400)이 도시된다. 비전 시스템 구성(400)은 배향되는 미리 결정된 상대 각도인 평행하지 않은 광축(OA1, OA2 및 OA3)으로 각각 배치되는(arranged) 3 개의 카메라들(430, 432 및 434)을 포함한다. 이러한 3 개의 카메라들은 3 개의 관점으로부터 특징들의 삼각측량을 가능하게 하며, 이에 의해 종래의 스테레오 시스템에 비해 정확도를 증가시킨다. 즉, 각각의 카메라는 서로 삼각측량될 수 있고, 그 결과는 결합되거나(combined)/평균화된다(combined). (도 3 의 단계(320)에서) 각각의 카메라(430, 432 및 434)로부터의 이미지 정보가 획득되고, 교정 데이터 생성 모듈 비전 시스템 프로세스(프로세서)(450)로 전송된다. 데이터는, 각각의 카메라의 이미지에서 (도 3의 단계(330)에서) 특징들의 위치를 찾고(locate) 분석하는(resolve) 비전 시스템 툴들과 함께, 스테레오 비전 모듈/프로세스(프로세서)(452)에 의해 처리되고, (도 3의 단계(340)에서) 삼각측량을 통해 3D 좌표 공간(460) 내에서 그 상대적인 위치(예를 들어, 정확한 상대적인 위치)를 결정한다. 즉, 각 카메라는 평면(x-y) 이미지를 생성한다. 다른 카메라와의 각각의 카메라의 상대적인 각도에 대해 아는 것은 각각의 x-y 이미지에서 동일한 특징이 z-축 높이로 제공될 수 있게 한다. 상기 데이터에 대한 3D 좌표는 상기 좌표를 특징과 연관시키는 교정 데이터 모듈/프로세스(프로세서)에 제공되고, (도 3의 단계(350)에서) 특징 교정 데이터의 저장되거나 또는 인코딩되는 세트(470)를 (선택적으로) 생성한다. 이러한 세트는 타겟(420) 내의 각각의 관련 특징에 대한 좌표, 및/또는 하나 이상의 기준 포인트들에 대한 특징들의 상대적인 구성(예를 들어, 코너, 기점 등에 대한 라인들의 배향)을 포함할 수 있다. (도 3의 단계(360)에서) 데이터 세트(470)는 타겟(420)에 적용되거나 또는 타겟(420)으로 운반되는 하나 이상의 인코딩되는 ID 라벨들로 인쇄될 수 있다. 대안적으로, 사용자의 비전 시스템으로의 다운로드를 위해 이용가능하거나, 또는 당업자에게 명백한 다른 메커니즘에 의해 사용자에게 전달될 수 있다. 사용을 위한 교정 플레이트(calibration plate) 및 방법이 공통으로 지정된 미국 특허에서 유용한 배경의 방식으로 도시되고 기술되는 것을 유의해야 하며, 상기 미국 특허는 2016년 1월5일에 등록된 강 리우(Gang Liu)의 "임베디드 2D 데이터 코드를 자체-위치 설정 기점들(SELF-POSITIONING FIDUCIALS)로 사용하는 시스템, 방법 및 교정 플레이트"이며, 이에 대한 교시는 참조로 본 명세서에 포함된다.
Ⅲ. 타겟 및 특징 관계 데이터를 이용하는 교정 프로세스
도 5 및 6은 본 발명에 따른 교정 타겟 및 연관된 특징 관계 데이터를 사용하는 비전 시스템("교정 비전 시스템"이라고 함)을 교정하기 위한 절차(500 및 600)를 각각 총괄적으로(collectively) 기술한다. 도 5의 단계(510)에서, (본 명세서에서 고려되는 임의의 구조적 예에 따른) 교정 타겟은 (예를 들어, 종래의 광학, 텔레센트릭 광학(telecentric optics), 레이저 변위(laser displacement), ToF(time of flight) 등과 같은 적절한 메커니즘에 따라 동작하는) 하나 이상의 카메라들로 구성된 비전 시스템의 시야 내에 위치된다. 카메라는 하나의 측면 또는 복수의(예를 들어, 대향하는)측면들로부터 타겟을 이미지화하도록 배향될 수 있다. 단계(520)에서, 각각의 카메라로부터의 이미지가 일반적으로 동시에 획득되고, 획득된 이미지 데이터는 비전 시스템 프로세스(프로세서)로 전송된다. 비전 툴(예를 들어, 에지, 코너 등)을 이용하여 각각의 이미지에서의 특징들의 위치를 찾게 되며(located), 단계(530)에서 카메라의 좌표 시스템과 연관된다.
절차(500)에서, 단계(540)에서 저장소(storage)로부터 또는 (다른 메커니즘들 중에서) 타겟 상의 ID 코드를 판독하는 것에 의해, 특정 교정 타겟에 대한 교정 특징들(예를 들어, 정확한 상대적 위치들(true relative positions))의 관계와 관련된 정보가 액세스된다. 이제 도 6을 참조하면, 교정 타겟의 특징 관계 데이터를 포함하는 예시적인 적용 ID 코드를 판독하기 위한 절차(600)가 도시된다. ID가 적용되는 찾은 위치 또는 영역의 스캔에 기초하여, 또는 보다 일반적으로 (단계(610)에서) (예를 들어) 종래의 ID 찾기(finding) 및 디코딩 프로세스들(decoding processes)를 이용하여 ID 특징을 검색하는 것에 기초하여, 타겟 상에서 ID 코드의 위치를 찾게 된다. 절차(600)는 알려진 ID를 디코딩하고, 단계(620)에서 이미지화 교정 타겟과 연관된 방식으로 비전 시스템 프로세서의 메모리에 디코딩된 정보를 저장한다. 다양한 실시예들에서, ID는 특징 위치 좌표들 또는 다른 관계들을 직접적으로 인코딩할 수 있거나, 또는 다운로드 가능한 데이터베이스와 같은 다른 소스들로부터 좌표들의 검색을 허용하는 식별자들을 포함할 수 있다.
단계(630)에서, 예시적인 절차(600)에서 검색된 특징 관계 데이터는, 교정 타겟의 이미지에서 실제 위치된 특징들(예를 들어, 측정된 상대적 위치들)과 연관되고(도 5에서 단계(530)를 또한 참조), (도 5에서) 단계(550)에 따라 교정 모듈/프로세스(프로세서)는 (하나 이상의 카메라 포함하는) 비전 시스템의 로컬 좌표 공간(local coordinate space)으로 상대적 위치를 변환하도록, 위치된 특징들을 상기 관계 데이터로부터 상기 타겟 내의 특징들의 찾은 위치들로 변환한다. 즉, 교정 프로세스는 교정 비전 시스템에 의해 교정 타겟 내에 위치되는 어떤 특징들이 관계 데이터 내의 특징들에 대응하는지를 결정한다. 이러한 대응은, 관계 데이터 내의 동일한 기점의 위치로 타겟 상의 기점을 등록하고, 그 상대적 위치에 따라 주변 기점들로 채우는(filling) 것에 의해 달성될 수 있다. 다양한 실시예들에서, 교정 타겟은 아트워크 내의 미리 결정된 위치들에 임베디드된(embedded) 기점을 포함할 수 있으며, 이 각각은 전체 표면의 일부를 참조한다는 것을 유의해야 한다. 기점은 하부 특징들에 대한 세부 사항(예를 들어, 체커보드 코너들의 수, 크기 및 위치)을 갖는 데이터매트릭스 코드들(DataMatrix)과 같은 (예를 들어) ID들을 포함할 수 있다. 예를 들어, 도 1의 교정 타겟(120)의 표면 상의 ID들(190)을 참조한다. 도 6의 선택적인 단계(640)는 이러한 임베디드 코드에 대한 찾기 및 판독을 기술한다. 이러한 구성은, 예를 들어 특정 카메라들이 전체 타겟의 일부만 이미지화하도록(image), 상기 교정 타겟의 부분들이 하나 이상의 카메라들에 가려지거나(obscured) 또는 상기 카메라들의 시야가 상기 타겟의 전체 표면보다 작은 경우에 바람직할 수 있다. 임베디드 ID들은 비전 시스템 프로세서가 개별 뷰들을 전역 좌표 시스템(global coordinate system)에 배향하고, (선택적으로)일부 뷰들을 타겟의 단일 전체 이미지로 등록할 수 있게 한다.
도 5의 교정 절차(500)의 단계(560)에서, 변환된 특징들은 (하나 이상의 카메라들을 포함하는) 비전 시스템에서 각각의 카메라에 대한 교정 파라미터로 저장되고, 후속적인 런타임 비전 시스템 동작들(subsequent runtime vision system operations)에서 사용된다.
IV. 또 다른 교정 타겟 구성(Alternate Calibration Target Arrangements)
전술한 교정 타겟은, 2개의 플레이트들 모두로부터의 특징들이 보여지고(viewed) 이미지화될 수 있도록, 하부 바닥 플레이트(underlying, bottom plate)보다 더 작은 영역(smaller area)/치수들(dimensions)을 가지는 상부 플레이트로 다른 것 위에(atop) 하나가 적층된 2D 특징들의 2 개의 세트들을 가지는 한면(one-sided) 또는 양면 플레이트 구조(two sided plate structure)로 도시된다. 또 다른 실시예들에서, 연관된 저장된 표현들(representations)을 가지는 특징들의 단일 층이 사용될 수 있다. 이는 2D (또는 3D) 교정을 위한 바람직한 구현이며, 특히 교정 동안 플레이트 상의 모든 특징들을 정확하게 이미지화하기 위한 비전 시스템에 대해 어려운 구성들일 경우이다. 이미지화된 타겟 상의 대략적으로(Roughly) 식별된 특징들은 저장된/액세스된 특징 관계를 이용하여 특징들에 대해 정확한 표현으로 변환될 수 있다.
다른 교정 타겟 실시예들은 2D 특징들의 2 개 이상의 적층된 세트들을 사용할 수 있다. 도 7은 베이스 플레이트(base plate)(720), 더 작은 치수의 중간 플레이트(smaller-dimension, middle plate)(730), 보다 더 작은 치수의 상부 플레이트(even-smaller-dimension top plate)(740)을 포함하는 예시적인 교정 타겟(710)의 부분도(partial view)를 도시한다. 각 플레이트 상의 특징들이 카메라에 의해 보여지고 이미지화될 수 있도록 구성은 피라미드형이다(pyramidal). 플레이트들의 적층은 대칭적이거나(symmetrical) 또는 중심에 있을(centered) 필요는 없다는 것을 유의해야 한다. z-축(높이) 치수에 따라 간격이 허용되는 일부 방식으로 특징들이 적층되는 한, 타겟은 바람직한 기능(function)을 수행할 수 있다. 하나의 또 다른 구성은 스텝 패턴(step pattern)일 수 있다. 3 개 이상의 플레이트들이 또 다른 실시예들에 적층될 수 있고, 타겟은 구성의 서로 다른 측면들(opposing sides) 각각에 복수의 적층된 플레이트들을 제공할 수 있다. 전술한 임베디드 ID 기점들(embedded ID fiducials)(750)은 전체 표면 내의 인접한 특징들의 위치를 식별하도록 제공된다는 것을 유의해야 한다.
또 다른 구성에서, 교정 타겟은 도 8에 도시된 바와 같은 다면체(polyhedron)(예를 들어, 큐브(810))를 포함할 수 있다. 이러한 실시예에서, 이러한 3D 객체의 2 개 이상의 직교 면들(orthogonal faces)(820 및 830)은 교정 패턴을 포함한다. 표면들(820) 중 적어도 하나는 비전 시스템에 의해 판독 및 디코딩될 수 있는 특징 관계 데이터를 갖는 ID 라벨(ID label)(840)을 포함하는 것으로 도시된다. 일 실시예에서, 측면들은 360도 뷰(viewing) 및 교정을 위해 구성될 수 있다. 임의의 실시예들에서, ID 라벨은 교정 타겟 또는 복수의 위치들에서 임의의 적절한 위치에 위치될 수 있다는 것을 유의해야 한다.
V. 결론
전술한 교정 타겟 및 제조 및 사용을 위한 방법은 2D 및 3D 비전 시스템을 교정하기 위해 매우 신뢰할 수 있고 및 다기능 메커니즘(versatile mechanism)을 제공한다는 것이 명백하다. 교정 타겟은 제조 및 사용하기에 간단하고, 제조 및 인쇄 프로세스에서 부정확성을 허용한다(tolerates). 마찬가지로, 타겟은 사용자 및 교정 비전 시스템에 대한 특징 관계를 제공하기 위한 넓은 범위의 가능한 메카니즘을 허용한다. 또한, 타겟은 단일 이미지 획득 단계에서 전체 360도 교정을 효과적으로 가능하게 한다.
전술한 내용은 본 발명의 예시적인 실시예의 상세한 설명이다. 본 발명의 사상 및 범위를 벗어나지 않고 다양한 수정 및 부가가 이루어질 수 있다. 전술한 다양한 실시예 각각의 특징은 연관된 새로운 실시예에서 복수의 특징 조합을 제공하기 위해 적절하게 다른 기술된 실시예의 특징과 결합될 수 있다. 또한, 전술한 내용은 본 발명의 장치 및 방법의 복수의 개별 실시예들을 설명하지만, 본 명세서에 기술된 것은 본 발명의 원리의 적용을 예시하는 것에 불과하다. 예를 들어, 본 명세서에 사용된 바와 같이, "수직", "수평", "위", "아래", "하부", "상부", "측면", "정면", "후면", "좌측", "우측", "전방", "후방" 등과 같이 다양한 방향 및 배향 용어들(및 이들의 문법적 변환)은 상대적인 관습으로만 사용되며, 중력의 동작 방향과 같이 고정 좌표 시스템과 관하여 절대적인 배향으로 사용되지는 않는다. 또한, 주어진 측정, 값 또는 특성과 관하여 "실질적으로" 또는 "대략"이라는 용어가 사용되는 경우, 상기 용어는 바람직한 결과를 달성하는 정상적인 동작 범위 내에 있지만, 시스템의 허용 오차(예를 들어, 1-2%) 내에서 고유의 부정확성과 오류로 인한 일부의 변동을 포함하는 양(quantity)을 지칭한다. 또한, 본 명세서에 사용된 "프로세스" 및/또는 "프로세서"라는 용어는 다양한 전자 하드웨어 및/또는 소프트웨어 기반 기능 및 구성 요소를 포함하도록 광범위하게 되어야 한다는 것을 유의해야 한다. 또한, 도시된 프로세스 또는 프로세서는 다른 프로세스 및/또는 프로세서와 결합되거나, 또는 다양한 서브-프로세스 또는 프로세서로 분할될 수 있다. 이러한 서브-프로세스 및/또는 서브-프로세서는 본 명세서의 실시예에 따라 다양하게 결합될 수 있다. 마찬가지로, 본 명세서에서의 임의의 기능, 프로세스 및/또는 프로세서는 전자 하드웨어, 프로그램 명령의 비-일시적 컴퓨터-판독 가능 매체로 구성된 소프트웨어, 또는 하드웨어와 소프트웨어의 조합을 사용하여 구현될 수 있다는 것이 명백하게 고려된다. 또한, 다양한 실시예들이 적층된 플레이트들을 보여주는 반면에, 플레이트의 일부 부분이 하부 표면과 접촉하는 스페이서들(spacers) 또는 다른 거리 생성 부재들(distance-generating members)을 사용하여 표면들이 함께 조립될 수 있다. 따라서, 본 명세서는 단지 예로서 이루어진 것을 의미하며, 본 발명의 범위를 달리 제한하지 않는 것을 의미한다.

Claims (17)

  1. 비전 시스템의 로컬 좌표 공간으로 교정 특징들을 매핑하는 이미지 변환을 생성하기 위한 방법에 있어서,
    교정 타겟의 제1 표면 및 상기 교정 타겟의 제2 표면에 대한 제1 이미지를 획득하는 단계 - 상기 제1 표면은 제1 교정 패턴(calibration pattern)을 구비하고, 상기 제2 표면은 제2 교정 패턴을 구비함 -;
    상기 제1 이미지로부터 교정 특징들의 측정된 상대적 위치들을 식별하는 단계;
    상기 제1 교정 패턴 및 상기 제2 교정 패턴에 대한 교정 특징들의 정확한 상대적 위치들을 정의하는 적어도 하나의 데이터 소스로부터 교정 특징들의 정확한 상대적 위치들을 식별하는 단계 - 상기 데이터 소스는 상기 교정 타겟의 이미지를 획득하는 교정 비전 시스템에 의해 식별 가능함 -; 및
    상기 정확한 상대적 위치들 및 측정된 상대적 위치들로부터, 상기 비전 시스템의 상기 로컬 좌표 공간으로 상기 측정된 상대적 위치들을 변환하는 상기 이미지 변환을 생성하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 제1 이미지를 획득하는 단계는 상기 교정 타겟의 제3 표면 및 상기 교정 타겟의 제4 표면을 포함하고,
    상기 제3 표면은 제3 교정 패턴을 가지고,
    상기 제4 표면은 제4 교정 패턴을 가지는,
    방법.
  3. 제1항에 있어서,
    상기 비전 시스템은 하나의 카메라를 포함하는,
    방법.
  4. 제1항에 있어서,
    상기 데이터 소스는,
    (a) 상기 교정 타겟에 대한 코드, (b) 별도 인쇄 코드, 또는 (c) 상기 교정 비전 시스템의 프로세서에 의해 액세스 가능한 전자 데이터 소스 중 적어도 하나를 포함하는,
    방법.
  5. 제1항에 있어서,
    상기 제1 표면 및 상기 제2 표면은 거리에 의해 분리되는,
    방법.
  6. 제1항에 있어서,
    상기 교정 비전 시스템은 2D, 2.5D 및 3D 비전 시스템 중 하나의 시스템인,
    방법.
  7. 제1항에 있어서,
    상기 제1 이미지는 2D 이미지 또는 3D 이미지 중 적어도 하나의 이미지인,
    방법.
  8. 제1항에 있어서,
    상기 측정된 상대적 위치들은 2D 또는 3D 좌표들을 포함하는,
    방법.
  9. 비전 시스템의 로컬 좌표 공간으로 교정 특징들을 매핑하는 이미지 변환을 생성하기 위한 방법에 있어서,
    교정 타겟의 제1 표면에 대한 복수의 이미지들을 획득하는 단계 - 상기 제1 표면은 제1 교정 패턴을 구비함 - ;
    상기 복수의 이미지들 중 적어도 하나의 이미지로부터 교정 특징들의 측정된 상대적 위치들을 식별하는 단계;
    상기 제1 교정 패턴에 대한 교정 특징들의 정확한 상대적 위치들을 정의하는 적어도 하나의 데이터 소스로부터 교정 특징들의 정확한 상대적 위치들을 식별하는 단계 - 상기 데이터 소스는 상기 교정 타겟에 대한 복수의 이미지들을 획득하는 교정 비전 시스템에 의해 식별 가능함 - ; 및
    상기 정확한 상대적 위치들 및 측정된 상대적 위치들로부터, 상기 비전 시스템의 상기 로컬 좌표 공간으로 상기 측정된 상대적 위치들을 변환하는 상기 이미지 변환을 생성하는 단계
    를 포함하는 방법.
  10. 제9항에 있어서,
    상기 복수의 이미지들을 획득하는 단계는 상기 교정 타겟의 제2 표면을 포함하고,
    상기 제2 표면은 제2 교정 패턴을 가지는,
    방법.
  11. 제10항에 있어서,
    상기 제1 표면 및 상기 제2 표면은 거리에 의해 분리되는,
    방법.
  12. 제9항에 있어서,
    상기 비전 시스템은 복수의 카메라들을 포함하는,
    방법.
  13. 제9항에 있어서,
    상기 데이터 소스는,
    (a) 상기 교정 타겟에 대한 코드, (b) 별도 인쇄 코드, 또는 (c) 상기 교정 비전 시스템의 프로세서에 의해 액세스 가능한 전자 데이터 소스 중 적어도 하나를 포함하는,
    방법.
  14. 제9항에 있어서,
    상기 교정 비전 시스템은 2D, 2.5D 및 3D 비전 시스템 중 하나의 시스템인,
    방법.
  15. 제9항에 있어서,
    상기 복수의 이미지들의 이미지는,
    복수의 2D 이미지들 또는 복수의 3D 이미지들 중 적어도 하나의 이미지인,
    방법.
  16. 제9항에 있어서,
    상기 측정된 상대적 위치들은 2D 또는 3D 좌표들을 포함하는,
    방법.
  17. 비전 시스템의 로컬 좌표 공간으로 교정 특징들을 매핑하는 이미지 변환을 생성하기 위한 시스템에 있어서,
    교정 타겟의 제1 표면에 대한 복수의 이미지들을 제공하는 프로세서 - 상기 제1 표면은 제1 교정 패턴을 구비함 - ;
    상기 복수의 이미지들 중 적어도 하나의 이미지로부터 교정 특징들의 상대적 위치들을 측정하는 측정 프로세스;
    상기 제1 교정 패턴에 대한 교정 특징들의 정확한 상대적 위치들을 정의하는 데이터 소스 - 상기 데이터 소스는 상기 교정 타겟에 대한 복수의 이미지들을 획득하는 교정 비전 시스템에 의해 식별 가능함 - ; 및
    상기 정확한 상대적 위치들에 기초하여, 상기 측정된 상대적 위치들을 상기 비전 시스템의 상기 로컬 좌표 공간으로 변환하는 이미지 변환 프로세스
    를 포함하는 시스템.
KR1020197032500A 2017-04-17 2018-04-17 고정밀 교정 시스템 및 방법 KR20190126458A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020227018251A KR102633873B1 (ko) 2017-04-17 2018-04-17 고정밀 교정 시스템 및 방법

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762486411P 2017-04-17 2017-04-17
US62/486,411 2017-04-17
PCT/US2018/027997 WO2018195096A1 (en) 2017-04-17 2018-04-17 High-accuracy calibration system and method

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020227018251A Division KR102633873B1 (ko) 2017-04-17 2018-04-17 고정밀 교정 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20190126458A true KR20190126458A (ko) 2019-11-11

Family

ID=63856024

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020227018251A KR102633873B1 (ko) 2017-04-17 2018-04-17 고정밀 교정 시스템 및 방법
KR1020197032500A KR20190126458A (ko) 2017-04-17 2018-04-17 고정밀 교정 시스템 및 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020227018251A KR102633873B1 (ko) 2017-04-17 2018-04-17 고정밀 교정 시스템 및 방법

Country Status (6)

Country Link
US (1) US20190122388A1 (ko)
JP (2) JP7165484B2 (ko)
KR (2) KR102633873B1 (ko)
CN (1) CN110506297B (ko)
DE (1) DE112018002048T5 (ko)
WO (1) WO2018195096A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210117959A (ko) * 2020-03-18 2021-09-29 코그넥스코오포레이션 비전 시스템의 3차원 교정을 위한 시스템 및 방법

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019158414A (ja) * 2018-03-08 2019-09-19 東芝テック株式会社 情報処理装置
DE102018115334B3 (de) * 2018-06-26 2019-05-09 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zum Kalibrieren einer elektromagnetische Strahlung abstrahlenden Vorrichtung mittels einer Sensoreinheit
US10599055B1 (en) * 2018-11-15 2020-03-24 Applied Materials, Inc. Self aligning systems and methods for lithography systems
CN109978956B (zh) * 2019-03-22 2021-07-06 新华三技术有限公司 采集设备的标定方法、装置及标定系统
US10565737B1 (en) 2019-07-09 2020-02-18 Mujin, Inc. Method and system for performing automatic camera calibration for a scanning system
CN110415304B (zh) * 2019-07-31 2023-03-03 北京博视智动技术有限公司 一种视觉标定方法及系统
JP7469989B2 (ja) * 2020-08-07 2024-04-17 倉敷紡績株式会社 カメラ校正板
CN111735479B (zh) * 2020-08-28 2021-03-23 中国计量大学 一种多传感器联合标定装置及方法
CN113509263B (zh) * 2021-04-01 2024-06-14 上海复拓知达医疗科技有限公司 一种物体空间校准定位方法
CN113509264B (zh) * 2021-04-01 2024-07-12 上海复拓知达医疗科技有限公司 一种基于校正物体在空间中位置的增强现实系统、方法及计算机可读存储介质
JP2023039753A (ja) * 2021-09-09 2023-03-22 Ｔｏｗａ株式会社 校正方法、及び電子部品の製造方法
JP2023039754A (ja) * 2021-09-09 2023-03-22 Ｔｏｗａ株式会社 メンテナンス方法、及び電子部品の製造方法
US11988496B1 (en) * 2022-03-22 2024-05-21 Advanced Gauging Technologies, LLC Strip width measurement with continuous hardware imperfection corrections of sensed edge positions
WO2023220593A1 (en) * 2022-05-09 2023-11-16 Cognex Corporation System and method for field calibration of a vision system
CN116299374B (zh) * 2023-05-17 2023-08-04 苏州艾秒科技有限公司 基于机器视觉的声呐成像水下自动校准定位方法和系统
CN116673998B (zh) * 2023-07-25 2023-10-20 宿迁中矿智能装备研究院有限公司 一种工业机械手的定位校准装置

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2672509B2 (ja) * 1987-06-13 1997-11-05 オムロン株式会社 カメラモデルの自動キャリブレーション方法およびその装置
JPH07260427A (ja) * 1994-03-17 1995-10-13 Hitachi Ltd 位置決め用マーク検出方法および装置
US5768443A (en) * 1995-12-19 1998-06-16 Cognex Corporation Method for coordinating multiple fields of view in multi-camera
US5825483A (en) * 1995-12-19 1998-10-20 Cognex Corporation Multiple field of view calibration plate having a reqular array of features for use in semiconductor manufacturing
JPH10122819A (ja) * 1996-10-21 1998-05-15 Omron Corp キャリブレーション方法およびその装置
US6973202B2 (en) * 1998-10-23 2005-12-06 Varian Medical Systems Technologies, Inc. Single-camera tracking of an object
JP2001175868A (ja) * 1999-12-22 2001-06-29 Nec Corp 人物検出方法及び装置
JP3635539B2 (ja) * 2002-08-29 2005-04-06 オリンパス株式会社 キャリブレーションパターンユニット
JP3635540B2 (ja) * 2002-08-29 2005-04-06 オリンパス株式会社 キャリブレーションパターンユニット
US7307654B2 (en) * 2002-10-31 2007-12-11 Hewlett-Packard Development Company, L.P. Image capture and viewing system and method for generating a synthesized image
JP3735344B2 (ja) * 2002-12-27 2006-01-18 オリンパス株式会社 キャリブレーション装置、キャリブレーション方法、及びキャリブレーション用プログラム
JP2005106614A (ja) * 2003-09-30 2005-04-21 Tdk Corp 立体カメラ用校正治具および当該カメラの校正方法
US8111904B2 (en) * 2005-10-07 2012-02-07 Cognex Technology And Investment Corp. Methods and apparatus for practical 3D vision system
CN100429476C (zh) * 2006-12-20 2008-10-29 北京航空航天大学 一种双传感器激光视觉三维测量系统校准方法
US8126260B2 (en) * 2007-05-29 2012-02-28 Cognex Corporation System and method for locating a three-dimensional object using machine vision
CN101299270B (zh) * 2008-05-27 2010-06-02 东南大学 三维扫描系统中的多个摄像机同步快速标定方法
US11699247B2 (en) * 2009-12-24 2023-07-11 Cognex Corporation System and method for runtime determination of camera miscalibration
CN101887585B (zh) * 2010-07-15 2012-04-11 东南大学 基于非共面特征点的摄像机标定方法
WO2012013486A1 (en) * 2010-07-27 2012-02-02 Siemens Aktiengesellschaft A method and a system for calibrating a multi-view three dimensional camera
KR101276208B1 (ko) * 2011-05-30 2013-06-18 전자부품연구원 스테레오 카메라용 보정 시스템 및 스테레오 영상 보정 장치
JP6131001B2 (ja) * 2012-05-01 2017-05-17 株式会社安藤・間 カメラキャリブレーション用３次元パターン
US9160904B1 (en) * 2012-09-12 2015-10-13 Amazon Technologies, Inc. Gantry observation feedback controller
KR20140068444A (ko) * 2012-11-28 2014-06-09 한국전자통신연구원 다층 평면 물체 영상을 이용하여 카메라를 보정하기 위한 장치 및 그 방법
US9230326B1 (en) * 2012-12-31 2016-01-05 Cognex Corporation System, method and calibration plate employing embedded 2D data codes as self-positioning fiducials
US10664994B2 (en) * 2013-02-25 2020-05-26 Cognex Corporation System and method for calibration of machine vision cameras along at least three discrete planes
US9688200B2 (en) * 2013-03-04 2017-06-27 Magna Electronics Inc. Calibration system and method for multi-camera vision system
US9641830B2 (en) * 2014-04-08 2017-05-02 Lucasfilm Entertainment Company Ltd. Automated camera calibration methods and systems
US9307231B2 (en) * 2014-04-08 2016-04-05 Lucasfilm Entertainment Company Ltd. Calibration target for video processing
CN103983961A (zh) * 2014-05-20 2014-08-13 南京理工大学 一种3d激光雷达和摄像机联合标定立体标定靶
US9596459B2 (en) * 2014-09-05 2017-03-14 Intel Corporation Multi-target camera calibration
CN204155318U (zh) * 2014-10-17 2015-02-11 中国航空工业空气动力研究院 适用于风洞试验的叠加式主动发光三维摄像机标定设备
CN104376558B (zh) * 2014-11-13 2017-02-08 浙江大学 一种基于长方体的Kinect深度相机的内参标定方法
CN104369188B (zh) * 2014-11-20 2015-11-11 中国计量学院 基于机器视觉和超声波传感器的工件抓取装置与方法
WO2016106196A1 (en) * 2014-12-22 2016-06-30 Cyberoptics Corporation Updating calibration of a three-dimensional measurement system
DE112016000356T5 (de) * 2015-01-16 2018-01-11 Imra Europe S.A.S. Selbstrektifizierung von Stereokameras
US9894350B2 (en) * 2015-02-24 2018-02-13 Nextvr Inc. Methods and apparatus related to capturing and/or rendering images
JP2017003525A (ja) * 2015-06-15 2017-01-05 株式会社トプコン 三次元計測装置
US10089778B2 (en) * 2015-08-07 2018-10-02 Christie Digital Systems Usa, Inc. System and method for automatic alignment and projection mapping
CN106056587B (zh) * 2016-05-24 2018-11-09 杭州电子科技大学 全视角线激光扫描三维成像标定装置及方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210117959A (ko) * 2020-03-18 2021-09-29 코그넥스코오포레이션 비전 시스템의 3차원 교정을 위한 시스템 및 방법

Also Published As

Publication number Publication date
US20190122388A1 (en) 2019-04-25
CN110506297A (zh) 2019-11-26
JP7165484B2 (ja) 2022-11-04
JP2023011704A (ja) 2023-01-24
DE112018002048T5 (de) 2020-02-20
KR20220080011A (ko) 2022-06-14
WO2018195096A1 (en) 2018-10-25
KR102633873B1 (ko) 2024-02-05
CN110506297B (zh) 2023-08-11
JP2020516883A (ja) 2020-06-11

Similar Documents

Publication Publication Date Title
KR102633873B1 (ko) 고정밀 교정 시스템 및 방법
CN107976668B (zh) 一种确定相机与激光雷达之间的外参数的方法
CN107976669B (zh) 一种确定相机与激光雷达之间的外参数的装置
US9928595B2 (en) Devices, systems, and methods for high-resolution multi-view camera calibration
US9230326B1 (en) System, method and calibration plate employing embedded 2D data codes as self-positioning fiducials
US8322620B2 (en) Decoding distorted symbols
JP2007256091A (ja) レンジファインダ校正方法及び装置
JP5477658B2 (ja) キャリブレーション用校正治具、校正治具を備えた３次元計測システム
KR20210117959A (ko) 비전 시스템의 3차원 교정을 위한 시스템 및 방법
CN113124763B (zh) 光轴检测系统的光轴标定方法、装置、终端、系统和介质
US9996946B2 (en) Maintenance supporting system and maintenance supporting method utilizing a reference image and indicator
Wohlfeil et al. Automatic camera system calibration with a chessboard enabling full image coverage
CN114494316A (zh) 角点标记方法、参数标定方法、介质及电子设备
US20120056999A1 (en) Image measuring device and image measuring method
Shi et al. Large-scale three-dimensional measurement based on LED marker tracking
CN112304214B (zh) 基于摄影测量的工装检测方法和工装检测系统
CN116977448A (zh) 低分辨率tof面阵内参标定方法、装置、设备及介质
Schild et al. Assessing the optical configuration of a structured light scanner in metrological use
CN115953478A (zh) 相机参数标定方法、装置、电子设备及可读取存储介质
WO2019180899A1 (ja) 外観検査装置
JP5841310B2 (ja) カメラ及び検索パターンを使用して対象物の空間特性を決定するためのシステム、装置、方法、及びコンピュータプログラム製品
JP2006105755A (ja) 三次元形状計測システム及び計測方法
RU164082U1 (ru) Устройство контроля линейных размеров трехмерных объектов
US10552975B2 (en) Ranking target dimensions
JP7469989B2 (ja) カメラ校正板

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X601 Decision of rejection after re-examination