KR101762934B1

KR101762934B1 - 직선 특징들로부터 비전 시스템 평면 핸드-아이 교정을 실행하기 위한 시스템 및 방법

Info

Publication number: KR101762934B1
Application number: KR1020140173919A
Authority: KR
Inventors: 강 리우
Original assignee: 코그넥스코오포레이션
Priority date: 2013-12-18
Filing date: 2014-12-05
Publication date: 2017-07-28
Also published as: KR20150071643A; CN104735444A; US20150170365A1; US10380764B2; CN104735444B

Abstract

본 발명은 적어도 하나의 특징을 갖는 제조 중의 물체를 사용하여 비전 시스템의 평면 핸드-아이 교정을 위한 장치 및 방법을 제공한다. 특징은 선형 특징이 될 수 있고, 물체는 모션 스테이지 상에서 적어도 하나의 자유 각도로 병진 또는 회전 이동한다. 상기 시스템은 적어도 제1 비전 시스템 카메라 및 비전 프로세서를 포함한다. 제1 비전 시스템 카메라는 제조 중의 물체에 대한 적어도 제1 선형 특징의 이미지를 획득하고, 적어도 1도 병진의 모션 스테이지의 이동에 응답하여 상기 제1 선형 특징의 트랙 모션을 트래킹하도록 배치된다. 제1 선형 특징은 하나의 평면을 따른 적어도 2개의 상이한 지점들에서 식별된다. 상기 시스템은 제1 카메라의 화소 좌표계에서의 화소 지점들과 적어도 2지점의 위치에 기반하는 모션 좌표계에서의 물리적 지점들 사이의 매핑을 계산한다.

Description

직선 특징들로부터 비전 시스템 평면 핸드-아이 교정을 실행하기 위한 시스템 및 방법{SYSTEM AND METHOD FOR PERFORMING VISION SYSTEM PLANAR HAND-EYE CALIBRATION FROM STRAIGHT LINE FEATURES}

본 발명은 머신 비전 시스템 분야에서 사용되는 교정 시스템 및 방법, 그리고 교정 물체(objects)에 관한 것이다.

머신 비전 시스템(또한, 여기서 "비전 시스템"이라는 용어가 붙은)에서, 적어도 하나의 카메라가 이미지 씬(imaged scene) 내의 물체 또는 표면에 대해 비전 시스템 프로세스를 실행하는데 사용된다. 이런 프로세스는 검사, 기호들의 디코딩, 정렬 및 다양한 다른 자동화된 작업을 포함할 수 있다. 특히, 비전 시스템은 이미지 씬을 통과하는 편평한 워크피스(flat work piece)를 검사하는데 사용될 수 있다. 이미지 씬은 일반적으로 적어도 하나의 비전 시스템 카메라에 의해 이미징되며, 비전 시스템 카메라는 결과값을 생성하기 위해 관련 비전 시스템 프로세스를 조작하는 내부 또는 외부 비전 시스템 프로세서를 포함할 수 있다. 일반적으로, 카메라/카메라들이 충분한 정확도와 신뢰성을 가지고 비전 작업을 실행할 수 있도록, 적어도 하나의 카메라를 교정하는 것이 바람직하다. 교정 플레이트가 카메라를 교정하는데 사용될 수 있다.

교정 물체(종종 "플레이트"의 형태로 됨)는 종종 표면에 독특한 패턴이 형성되어 있는 편평한 물체로서 제공된다. 독특한 패턴은 일반적으로 정밀하고 신중히 디자인되며, 이로써 사용자는 카메라에 의해 획득된 플레이트의 이미지에 있는 각각의 가시 특징(visible feature)을 용이하게 식별할 수 있다. 일부 예시적인 패턴들은, 이에 한정되지는 않지만, 도트 격자, 라인 격자, 또는 이를테면 벌집형 패턴, 삼각형의 체크보드 등을 포함한다. 각각의 가시 특징의 특성은 플레이트의 디자인, 이를테면 디자인 내에서 암시적으로 정의되는 기준 위치 및/또는 좌표계에 관한 위치 및/또는 방향으로 공지되어 있다.

모자이크 배열의 교차선들로 이루어지는 체크보드 패턴의 디자인은, 다른 비정상적인 조건들 중에서, 관점 및 렌즈 왜곡, 패턴에 대한 부분적인 손상, 그리고 불균일한 조명이 존재하더라도, 교정 실행 중의 정밀성과 안정성의 측면에서 특정의 장점을 제공한다. 특히, 정지 물체의 2차원(2D) 교정에 있어서, 교정 체크보드의 에지에 의해 개별 체크보드 타일 코너의 상대적 위치를 결정하는 것은 전형적으로 비전 시스템의 정밀성을 결정하는 것으로 충분하며, 적절하게는, 런타임 물체가 교정 인자들의 관점에서 측정되도록 카메라의 프로세서에 적당한 교정 인자들을 제공한다.

교정 플레이트와 같은 강체(rigid body)의 특정 교정 원리의 일반적 이해에 대한 추가적인 배경기술로서, 모션은 한쌍의 포즈: 모션 바로 이전의 시작 포즈; 및 모션 바로 이후의 종료 포즈에 의해 특징화될 수 있으며, 여기서 "포즈"는 일부 좌표계에 기초하여, 어떤 특정 시간의 순간에, 어떤 본체(body)의 상태를 기술하는 수치값의 세트로서 정의된다(본체의 가상 특징화). 예를 들면, 2차원에서, 강체는 3개의 번호(number): X로의 병진, Y로의 병진 및 R로의 회전에 의해 특징화될 수 있다. 교정 플레이트의 맥락에서의 포즈는, 카메라(들)와 교정 플레이트 사이에 상대적 이동이 있을 경우에, 교정 플레이트가 어떻게 카메라(들)에 제공되는지를 기술한다. 전형적으로, 표준의 소위 "핸드-아이 교정"에서, 교정 플레이트는 카메라(들)에 다수의 다른 포즈들로 제공되며, 각각의 카메라는 그런 각각의 포즈에서 교정 플레이트의 이미지를 획득한다. 머신 비전 핸드-아이 교정을 위하여, 교정 플레이트는 전형적으로 카메라가 교정 플레이트의 개별 이미지를 획득하는 다수의 미리 결정된 포즈들로 이동된다. 이런 핸드-아이 교정의 목표는 "모션 좌표계"에서 카메라(들) 및 교정 플레이트의 강체 포즈들을 결정하는 것이다. 모션 좌표계는 다양한 방법으로 정의될 수 있다. 포즈들(교정 플레이트 및/또는 카메라가 공간내의 어디에 있는지를 상술하는)의 번호는 적절한 좌표계로 해석되어야 한다. 단일 통합 좌표계가 선택될 때, 포즈들 및 모션은 글로벌 좌표계에서 기술되고/해석된다. 이 선택된 좌표계는 종종 "모션 좌표계"라는 용어가 붙여진다. 전형적으로, "모션"은 로봇 암과 같은 물리적 모션 또는 갠트리(gantry)와 같은 모션 스테이지를 렌더링할 수 있는 물리적 디바이스에 의해 제공된다. 플레이트가 하나 이상의 고정 카메라(들)를 기준으로 이동할 수 있거나 또는 카메라(들)이 고정 플레이트를 기준으로 이동할 수 있음에 주의하라. 모션 렌더링 디바이스의 컨트롤러는 디바이스에 어떤 요구된 포즈를 렌더링하라는 명령을 지시하기 위해 수치값들(예를 들면, 포즈들)을 사용하고, 이런 값들은 그 디바이스를 위한 고유의 좌표계로 해석된다. 어떤 모션 좌표계가 모션 렌더링 디바이스 및 카메라(들)에 관한 공통의 글로벌 좌표계를 제공하도록 선택될 수 있더라도, 종종, 전체 모션 좌표계로서 모션 렌더링 디바이스의 고유 좌표계를 선택하는 것이 바람직하다는 점에 유의하라.

따라서, 핸드-아이 교정은 모션의 렌더링, 및 모션 물체에 대한 모션의 효과를 결정하기 위해 모션 전후의 이미지를 획득함으로써 단일 모션 좌표계에 대해 시스템을 교정한다. 추가적인 배경기술로서, 이것은 모션 좌표계에서 카메라의 외부 포즈의 결정을 포함하지 않는(없는) 전형적인 내부 및 외부 카메라 교정과 다르다. 이런 경우에, 카메라(들)는 전형적으로 교정 플레이트 자체의 좌표계에 관해, 모든 카메라들의 시야 내의 특정 위치에 있는, 교정 플레이트의 하나의 획득된 이미지를 사용하여, 모두 교정된다. 머신 비전 교정 소프트웨어는 각 카메라에 의해 획득된 교정 플레이트의 이미지로부터 각 카메라의 상대적 위치를 추론한다. 이 교정은 "교정 플레이트에 대한 카메라들을 교정한다"라고 말하는 반면, 핸드-아이 교정은 "모션 좌표계에 대해 카메라들을 교정한다"라고 말한다.

머신 비전 시스템이 핸드-아이 교정을 사용할 때, 그것의 소프트웨어는 명령 모션(이에 대한 명령 모션 데이터는 공지되어 있음)으로 이미지 내의 관측된 모션 효과를 상관시킴으로써 포즈들을 해독한다. 교정의 다른 결과는 카메라의 이미지 내의 각각의 화소 위치와 모션 좌표계에서의 물리적 위치 사이의 매핑(mapping)이며, 이로써 이미지 공간내의 위치를 탐색한 후, 모션 좌표계에서의 위치가 번역될 수 있으며, 모션 렌더링 디바이스가 그것에 기초하여 작동하도록 명령할 수 있다.

다양한 제조 공정에 있어서, 편평한 워크피스 또는 더욱 일반적으로 관심의 특징이 종종 평행한 별개의 면에 존재하는 워크피스를 정렬시키는 것이 바람직하다. 특히, 조립 응용에 있어서, 하나의 워크피스는 다른 워크피스에 대해 정렬된다. 하나의 예시적인 프로세스는 휴대 전화 또는 태블릿 컴퓨터의 커버 유리를 그것의 하우징 내에 삽입하는 것을 수반한다. 다른 예시적 프로세스는, 휴대 전화, 태블릿 컴퓨터 또는 평판 디스플레이의 커버 유리에 대한 스크린 프린팅의 경우와 같이, 워크피스가 프로세스 장비에 대해 정렬되는 프린트 응용을 포함한다.

특별한 교정 타겟(예를 들면, 체크보드 교정 플레이트)의 이동을 요구하는, 전술한 커버 유리 장착 장치에서의 머신 비전 핸드-아이 교정을 위한 표준 기술은 운영 이유(예를 들면, 작업 볼륨에서의 공간 제약, 타겟을 홀딩하기 위한 특별한 장착용 고정물 및/또는 그리퍼)로 복잡할 수 있다. 이것은 비용 및 셋업 시간을 증가시키는 맞춤 디자인된 교정 플레이트 및/또는 고정물의 사용을 수반할 수 있다.

본 발명은 전형적 (런타임) 워크피스를 이동하여 평면(예를 들면, 2D) 핸드-아이 교정을 실행하기 위한 시스템 및 방법을 제공함으로써 종래기술의 단점을 극복하며, 여기서 기초 부분/물체 핸들링 장치(예를 들면, 로봇 조작기 및/또는 모션 스테이지)는 의도된 동안에 런타임 제조 프로세스를 핸들링하도록 디자인된다.

상기 시스템 및 방법은 핸드-아이 교정 동안 특별한 교정 타겟에 대한 비전 시스템의 의존성을 감소시킨다. 특히, 예시적인 실시예는 스테이지 이동 동안 물체/워크피스에 대한 하나 이상의 직선 특징들만을 관찰함으로써 핸드-아이 교정의 실행을 가능하게 한다. 이런 시스템 및 방법은 바람직하게 비전 시스템의 광범위한 적용을 위한 충분한 수준의 교정 정밀도를 달성할 수 있다. 상기 시스템 및 방법은 예시적으로 스테이지 이동 동안 워크피스에 대한 하나 이상의 직선 특징들만을 관찰함으로써, 그리고 비전 시스템에 의해 참조로서 사용하기 위한 좌표계를 설정하기 위해 이러한 특징들을 사용함으로써 핸드-아이 교정을 실행한다. 이런 시스템 및 방법은 단일, 글로벌(및/또는 모션) 좌표계를 사용하는 단일 카메라 장치 또는 다중 카메라 장치에 적용될 수 있다.

예시적인 실시예에서, 적어도 하나의 특징을 가지는 제조 중의 물체를 사용하여 비전 시스템의 평면(2D) 핸드-아이 교정을 하기 위한 시스템 및 방법이 제공된다. 특징은 선형 특징이 될 수 있고, 물체는 모션 스테이지에서 병진 또는 회전의 적어도 하나의 자유도로 움직일 수 있다. 시스템은 적어도 제1 비전 시스템 카메라 및 비전 프로세서를 더 포함한다. 제1 비전 시스템 카메라는 카메라 내장 함수(intrinsics)를 포함할 수 있는(또는 포함하지 않는) 다양한 파라미터의 시야로 교정되고, 제조 중의 물체에 대한 제1 선형 특징의 이미지를 획득하고 적어도 1도의 병진으로의 모션 스테이지의 이동에 응답하여 제1 선형 특징의 모션을 트래킹 하도록 배치된다. 프로세스/프로세서는 2차원(2D) 평면에 따라 적어도 2개의 다른 위치에서 제1 선형 특징을 식별하고, 제1 카메라의 화소 좌표계에서의 화소 지점들과 적어도 2지점의 위치에 기반하는 모션 좌표계에서의 물리적 지점들 사이의 매핑을 계산한다. 선형 특징은 에지, 셸프 및 콘트라스트 차이를 갖는 영역 중 적어도 하나이다. 선택적으로, 또한 교정될 수 있는, 제2 비전 시스템 카메라가 제공된다. 또한, 부가적인, 선택적 비전 카메라들(예를 들면, 제3, 제4 등)이 추가 실시예에서 상기 장치에 제공될 수 있다. 제2 비전 시스템 카메라는 적어도 제조 중의 물체에 대한 제2 선형 특징을 식별하여 개별적으로 몰래 트래킹하도록 배치될 수 있다. 대안적으로, 2개 이상의 카메라(제1 카메라, 제2 카메라 등)는 각각 동일한 제1 (등) 특징(예를 들어, 다른 시야의 포인트들로부터의)을 트래킹할 수 있다. 모션 스테이지는, 2D 평면에서, 적어도 제조 중의 물체를 x축을 따라 이동시키는 제1 슬라이드 및 상기 x축에 직교하는 y축을 따라 제조 중의 물체를 이동시키는 제2 슬라이드를 포함할 수 있다. 모션 스테이지는 z축을 따라 2D 평면에 직교하게 제조 중의 물체를 이동시키도록 배치되는 리프트를 포함할 수 있다. 시스템은 x축, y축 및 z축 중 적어도 하나에 대해 제조 중의 물체를 회전시키는 회전 스테이지를 더 포함할 수 있다. 제1 슬라이드, 제2 슬라이드 및 리프트 중 적어도 하나는 회전 리드 스큐류 및 제어 모터를 포함하는 액츄에이터에 의해 구동될 수 있다. 예시적으로, 회전 스테이지는 제조 중의 물체를 회전시킨다. 모션 스테이지는 리드-스크류 구동 슬라이드 및 상기 리드-스크류 구동 슬라이드에 기능적으로 연결되는 제어 모터를 포함할 수 있다. 모터는 서보 모터 및 스테퍼 모터 중 적어도 하나를 포함할 수 있다. 모션 스테이지는 대안적으로 슬라이드 및 상기 슬라이드에 기능적으로 연결되는 제어된 선형 모터를 포함할 수 있다.

발명의 상세한 설명은 이하의 첨부 도면을 참조한다.
도 1은 여기에서의 예시적인 실시예에 따른 교정 시스템 및 방법에 관련하여 사용하기 위한, 하나 이상의 머신 비전 시스템 카메라 및 관련 프로세싱 요소를 사용하는 예시적 제조 장치의 구성도이다.
도 2는 선형 에지 특징을 포함하는 물체의 별개의 영역으로 각각 향하는, 다수의 비전 시스템 카메라 시야에 대한 개략도이다.
도 3은 모션 스테이지에 부착된 런타임 물체의 선형 특징을 사용하여 하나 이상의 카메라의 핸드-아이 교정을 실행하기 위한 절차에 대한 흐름도이다.
도 4는 예시적인 실시예에서 비전 시스템과 사용하기 위한 단일축 모션 스테이지의 개략Ⅰ적인 평면도이다.
도 5는 예시적인 실시예에서 비전 시스템과 사용하기 위한 회전하는 3축 모션 스테이지의 개략적인 평면도이다.
도 6은 예시적인 실시예에서 비전 시스템과 사용하기 위한 2축 모션 스테이지의 개략적인 평면도이다.
도 7은 예시적인 실시예에서 비전 시스템과 사용하기 위한 XXY 타입 모션 스테이지의 개략적인 평면도이다.

Ⅰ. 핸드-아이(hand-eye) 교정, 추가 고려사항

종래의 핸드-아이 교정은, 수동으로 실행되든, 또는 비전 시스템 내에서 실행되든, 관측된 이미지의 특징 위치들과 그들의 예측된 물리적인 위치들 사이의 상관성(correspondence)의 형성, 및 관측 위치들과 예측 위치들 사이의 불일치의 최소화를 수반한다. 예시적인 실시예에서, 선형 특징들 등의 사용은 종래의 핸드-아이 교정의 다양한 측면들을 사용하지만, 추가 고려사항이 언급된다. 이런 고려사항은, 종래 기술에서 실행된 바와 같은 종래의 핸드-아이 교정과, 제조 중의 런타임 물체 및 그에 대해 선택된 선형 특징들을 사용하여 교정하는 새로운 접근법에서 사용가능한 교정 특징들 사이의 차이 때문에 발생한다. 이런 차이는 주로 상관성의 형태에 관한 것이고, 이는 결국 다른 방법들이 획득된 이미지 내의 관측 데이터와 예측 데이터 사이의 불일치를 계산하고 최소화하도록 한다.

종래 기술의 접근법은 x축 및 y축에 따라 특징의 2D 위치를 충분히(fully) 특정하는 "포인트 데이터"를 사용한다. 3D 핸드-아이 교정에 있어서, 포인트 데이터는 특징의 3D 위치를 완전히(completely) 특정한다는 점에 주의하라. 그러나, 예시적인 실시예는 평면 내에서 2D 핸드-아이 교정을 설명하고, 따라서 2D 환경에 주로 적용되는 고려사항은 이하에서 추가로 설명된다. 예를 들어, 특징이 원형 디스크인 경우에, "포인트 데이터"는 그 중심의 x축 및 y축 좌표들을 포함한다. 적절한 기술을 이용하여 3차원(3D)이 도입될 수 있는 것으로 고려된다. 포인트 대 포인트(point-to-point) 거리 측정(metric)에 관련된 관련 식의 솔루션은 공동으로 양도된 갱 리우, 등(Gang Liu, et al)의 "부정확한 교정 타겟을 이용한 머신 비전 시스템 교정(MACHINE VISION SYSTEM CALIBRATION USING INACCURATE CALIBRATION TARGETs)"이라는 명칭의 미국 특허출원 제13/835,759호, 및 데이비드 제이. 마이클, 등(David J. Michael, et al)에 의한 "카메라와 이동 물체 사이의 교정 관계의 비피드백-기반 머신 비전 결정방법(NONFEEDBACK-BASED MACHINE VISION METHOD FOR DETERMINING A CALIBRATION RELATIONSHIP BETWEEN A CAMERA AND A MOVEABLE OBJECT)"라는 명칭의 미국 특허 제5,960,125호에 기재되고, 각 교시 내용은 유용한 배경 정보로서 참조를 위하여 명백히 포함된다.

예시적인 실시예는 단지 x-y 평면에서 특징의 2D 위치를 부분적으로 특정하는 "선형 데이터"를 사용한다. 즉, 카메라의 관측 시야(field of view ; FOV)에 걸쳐서 연장하는 직선(선형 특징)의 경우에, 그 카메라는 예시적인 직선의 종단 포인트들을 이미지화하지 않는다. 특히, 카메라는 그 직선의 종단 포인트들에 대한 어떤 정보 소스가 부족하다. 따라서, 이미지 데이터로부터, 카메라 및 관련 비전 시스템은 단지 정상 방향(이미지에서의 직선/선형 특징의 연장에 수직이 되는)에 따라서만 라인의 위치를 결정할 수 있지만, 실제로 그 직선 성분이 이미지화되는지를 결정하는 데이터는 부족하다. 사실상, 카메라가 직선의 방향을 따라 정확하게 병진하는 경우에, 획득된 이미지는 정확하게 동일하게 유지될 것이다. 그러므로, 카메라 및 비전 시스템은 단지 1차원(라인의 연장에 수직이 되는)을 따라서만 라인의 위치을 결정하는 데이터를 포함한다. 이와 같이, 관측된 선형 특징을 예측된 선형 특징과 대응시키려고 노력할 때, 선형 특징의 연장을 따라 2개의 특징들(관측 및 예측)의 상대적인 병진에 관한 유용한 정보가 없다. 이것은, 위치 데이터가 두 개의 수직 차원(즉, x와 y축 둘다에 따르는)에서 모두 이용가능한, 포인트 데이터를 이용하는 보다-전형적인 교정과 대조적으로, 위치 데이터가 단지 수직으로 따르는 라인에만 이용가능한, 라인에서의 교정 시도에 중요한 차이이다. 비제한적인 예로서, 포인트-대-라인 거리를 계산하는 식은 다음과 같이 정의될 수 있다:

d = u * y v * x r

여기서, (x, y)는 소정 포인트의 위치이다. (r, u, v)는 (u, v)가 단위 길이 방향 벡터인 일정한 선을 파라미터화하고, r은 원점(0,0)으로부터의 표시된 수직 거리이다. d는 점으로부터 선까지의 표시된 수직 거리이다. d=0일 때만, 점은 정확하게 선 위에 위치한다. 또한, 상기 식은 포인트-대-라인 대응 관계를 특정하기 위한 다양한 기술들의 하나를 표시하는 것으로 생각된다. 이러한 교시에 기초하여 본 기술 분야에 자명한 다른 기술들이 명백히 고려된다.

예와 비교로서, 종래의 핸드-아이 비전 시스템의 교정 프로세스는 2지점들 사이의 거리를 산출하기 위하여 비교적 직선적인 방식으로 동작하며, 그 중의 하나는 관측된 이미지 위치로부터 도출되고, 다른 방식에서는 예측 위치로부터 도출된다. 이러한 산출에 의해 실행 작동에서 사용하기 위하여 카메라에 필요한 교정 파라미터들이 생성된다. 그러나, 예외적으로 선형 데이터에 기초한 교정 파라미터들의 산출에 의하여 교정 프로세스/알고리즘은 일정한 지점으로부터 일정한 라인까지의 수직 거리인 소위 포인트-대-라인 교정을 사용하는 점에서 다르다. 이미지로부터 추출된 관측된 선 부분 위의 일정한 점은 대응 관계에서 관측된 데이터로서의 역할로 점이 작용하는 점으로서 기능할 수 있다. 예측된 선은 관찰되는 물체(부분) 에지의 가정된 모델이며, 이미지가 획득된 특수 모션 스테이지 포즈에 의하여 영향을 받는다. 점에서 선까지의 거리는 핸드-아이 교정 이론이 최소화하려는 불일치이다. 이러한 일반화된 과정이 추가로 이하 설명된다.

선형 특징을 이용한 교정의 예시적인 실시예에 따라, 목적은 제조 물체 - 즉, 목표-구축 교정 물체를 이용하기보다 실제 제조/취급 과정 동안 영상화되고 조종되는 하나 이상의 런타임 물체를 이용하여 교정이 실행되도록 하는 것이다. 그 부분이 선형 특징들의 자격을 가질 수 있는 일정한 에지들, 턱(shelves)들, 등을 포함하는 것으로 그러한 교정은 상정한다. 제조 중의 물체를 사용하면 동작의 편의성을 향상시키고 비가동 시간과 장면(scene)과 관련 모션 스테이지로 교정 물체를 전개하는 부수 비용을 피한다. 일반적으로, 물체의 구조는 느슨하게 인내될 수 있으며, 교정을 위하여 사용하기 전에 그의 구조를 정밀하게 교정하는 것은 가끔 바람직하지 못하다.

특수 교정 물체와 제조 중의 물체(교정에 사용된)는 추출하기 위한 모든 비전 시스템 과정/알고리즘에 적합한 하나 이상의 특징들을 포함할 수 있다. 전용 특정 물체의 사용과 진행 물체 사이의 주요 불일치는 진행 물체의 특징들의 다른 부분들 또는 특징(전형적으로 다수)들 중의 상대적인 공간 관계를 정밀하게 교정하는 유용성이 전형적으로 부족한 것이며, 교정들이 매우 정확하고 교정 물체의 패턴 내에서 용이하게 사용가능하다. 그러한 교정들이 진행 물체에서 사용가능하면, 교정들은 전형적으로 단지 매우 낮은 정밀성 및 정확성에서 사용가능하므로, 규칙적인 교정 물체들이 사용되면, 교정 결과에서 큰 오차를 발생할 것이다. 이와 같이, 예시적인 실시예들에 따른 핸드-아이 교정(그리고 관련 교정 처리(process)/프로세서)은 일반적으로 진행하는 물체의 구조에 대한 종래 지식이 결여될 수 있다. 처리/프로세서는 부분의 폭 또는 높이와 같은 정밀하게 교정된 구조의 입력에 대한 요건이 없는 방식으로 핸드-아이 교정 프로세스의 일부로서 영상화된 물체에서의 관측된 직선(선형 특징)에 대한 적절한 식을 추론한다. 이와 같이, 여기서의 예시적인 실시예들에 따른 교정 처리/프로세서는 종래 정보를 최소로 이용하고 및 모션 스테이지 상의 장면을 정상적으로 통과하는 물체를 이용하고, 스테이지의 실행 작동 동안 또한 사용되는 하나 이상의 방향으로 x-y 평면에 따른(예를 들어) 이동을 이용하여, 카메라 및 관련 비전 시스템에 대한 적절한 교정 파라미터들을 도출한다. 이로써 특수하게 구축된 교정 물체, 고정물 등에 대한 필요를 최소화하고 제거하며 대신에 유용한 운동 및 스테이지의 피드백 성능에 의존한다.

보다 일반적으로 여기서 도시된 실시예들은 "평면상(planar)" 또는 2D 핸드-아이 교정을 구체화하는 - 즉, 선형 특징을 이용하는 교정 프로세스이 평면(예를 들어, x, y)을 따라 이동을 경험하는 물체에 대해 작용하는 것으로 인식된다. 하나 이상의 적절한 높이(예를 들어, z-축) 값들이 구체화될 수 있으나, 평면을 따른 일정한 세트의 교정 측정에 대해 일반적으로 변경되지 않는다.

II. 예시적인 비전 시스템 장치

비제한적인 예로서, 도 1은 제1 물체 또는 워크피스(110)가 이동형 로봇 조작기 및/또는 이동형 스테이지 조립체(120)에 의해 제2 물체 또는 워크피스(112) 위로 현가 배치되는 일반적인 제조 장치(100)를 도시한다. 제1 워크피스(110)는 여러 실시예들에서 투명한 창 또는 다른 평면 구조물일 수 있으며 제2 워크피스(112)는 조립 단계에서 제1 워크피스(110)를 영구히 수용하도록 구성되고 배치된 프레임 또는 하우징일 수 있다. 제1 워크피스는 투명(도시와 같이), 반투명 또는 전체 또는 그 표면의 일부에서 불투명일 수 있다. 워크피스(110, 112)의 비조립 및 조립 구조들이 이하 추가로 설명된다. 제2 워크피스(112)는 당업자에 따른 모션 스테이지 컨트롤러 및 관련 제어 프로세스(124)의 제어하에서 복수의 방향들(화살표 (122))의 각각으로 이동하는 모션 스테이지(부분 컨베이어를 포함할 수 있는)(121)에 배치된다. 방향(122)들은 x-y 평면에서 x-축 및 y-축 병진(또는 이동), 및 (선택적으로) x-y 평면에 수직인 z-축 병진(이동)으로 특징된다. 유사하게, 회전 이동(R)이 적어도 z축 둘레로 발생할 수 있다. 예시적인 장치에서, 조작기 조립체(120)는 적어도 하나의 축(z)을 따라 그리고 선택적으로 x 및/또는 y축을 따라 이동하도록 구성되고 배치될 수 있다. 대안적으로, 워크피스(110 및 112)의 조립 동안 사용되는 모든 z-축 이동은 모션 스테이지 자체에 의해 실행될 수 있다. 모션 스테이지의 병진 방향, 그리고 모션 스테이지(121)의 운동 방향들은 이하 추가로 설명되는 적절한 기술을 이용하는 오프라인(실행되지 않는) 교정 프로세스 동안 모두 교정되는 비전 시스템 카메라들의 이동 좌표 시스템의 축들로 생각될 수 있다. 대체적인 장치(100)는 x 및/또는 y축 둘레의 회전(즉, 경사(tilt))의 제공을 포함할 수 있다.

이러한 장치(100)는 각각 각각의 이미지 센서(또는 단순히 센서)(150, 152, 154 및 156)를 가지는 적어도 하나의, 예시적으로 네 개, 비전 시스템 카메라(140, 142, 144 및 146)를 포함한다. 각 센서(150, 152, 154 및 156)는 각 렌즈 조립체(160, 162, 164 및 166)들을 통해 그 시야 분야 내의 이미지 씬(scene)으로부터 광을 수용한다. 장면은 각각의 카메라(140, 142, 144 및 146)들의 프로세서들에 의해 스토로브 촬영될 수 있는 하나 이상의 조명 조립체(170, 172, 174 및 176)들에 의해 조명된다. 하나 이상의 조명 조립체들은 표면의 반사성에 기인하는 반사와 같은 다른 바람직하지 않은 효과 및 폐색을 최소화하기 위하여 허용가능한 조명 효과를 장면에 제공하도록 위치된, 카메라 하우징 위의 카메라 렌즈들을 둘러싸는 링 조명기와 같은 "내부형(internal)", 또는 외부형일 수 있다. 도 1의 장치(100)에 도시된 바보다 더 많거나 적은 수의 조명기들이 제공될 수 있다. 추가적으로, 대체 실시예에서, 카메라(140, 142, 144 및 146)들이 장면(z축에 대해 예각으로)을 향하여 기울어진 광축(OA)과 함께 도시되고, 각 카메라들의 카메라 광축(OA)은 z축과 함께 적절하게 정렬될 수 있다(즉, 축상으로). 일반적으로, 카메라들은 실제 가능한대로 두 개의 워크피스(110 및 112)들의 에지들의 완전하며 저촉되지 않는 시야를 제공하도록 배치된다.

각(하나 이상의) 카메라용 비전 시스템 카메라는 전체적으로 또는 부분적으로, 각각의 카메라 하우징 내에 위치될 수 있다. 비전 시스템 프로세서 및 각 카메라와 연관된 처리 상관성은 블록(180)으로 표시된다. 개별 비전 시스템 프로세서(180)가 각 카메라에 제공되면, 카메라는 개별적으로 이미지 정보를 제공하고, PC와 같은 추가적인 원격 프로세서와 비전 시스템의 결과를 공유할 수 있다. 대신에, 하나 이상의 카메라 프로세서(들)는 "마스터" 시스템 프로세서로 기능할 수 있으며, 다른 카메라들은 추가적인 처리를 위하여 마스터 카메라에 처리되지 않은 이미지 데이터를 전달하는 "종속(slave)"프로세서로 작용할 수 있다. 대신에, 모든 카메라(140, 142, 144, 및 146)들은 적절한 카메라 인터페이스(예를 들어, USB 링크 또는 TCP/IP-기반 네트워크)를 통해 중앙 비전 시스템 처리유닛(예를 들어, PC)에 이미지 프레임을 전달하도록 배치된다.

이들 카메라(들)는 고유 및/또는 다른 파라미터들에 의해 이미(선택적으로) 교정되었다. 이는 여기 설명된 바와 같은 종래의 교정 플레이트을 이용하여 달성될 수 있다.

비전 시스템 프로세서/과정(180)은 예시적인 실시예에 따른 결합 정렬 프로세스(182)를 포함한다. 정렬 프로세스(182)는 제2의 기본 워크피스(112)의 내부 에지(186)와 제1 워크피스(110)의 외부 에지(184)를 적절히 정렬하는 것을 보장하도록 구성되고 배치된다. 이러한 정렬 프로세스는 Z-축 이동을 따라 지시하도록 조작기 조립체(120)의 로봇 컨트롤(188)과 또한 x-축과 y-축 이동을 따르고 명령하도록 모션 스테이지 컨트롤러(124)와 통신한다.

정렬 프로세스(182)로부터의 피드백을 기초로, 조작기가 제2 물체와 결합하도록 z축을 따라 제1 워크피스를 하강시킴에 따라 모션 스테이지(121)는 제2 물체(112)와 적절히 정렬하도록 제1 워크피스(110)를 이동시키도록 제어된다(전형 z, y, z 방향으로, 그리고 회전(R)).

다른 제조 장치들에서, 제조 중의 워크피스/물체는 셀 폰, 태블릿 컴퓨터, 및 평판 패널 디스플레이의 커버 유리의 스크린 인쇄와 같은 공정 설비에 정렬된다. 위에 설명된 바와 유사한 정렬 작동은 그러한 장치에서 발생한다. 이하 추가로 설명되는 바와 같이, 여러 이동을 통해 부품들을 조종하는 대체적인 다양한 장치는 대체적인 실시예들에서 명백히 고려된다. 전형적으로, 비전 시스템은 특별한 모션 스테이지 장치의 모델을 포함하고 이 모델은 부분적으로 특별한 이동을 유발하는 액츄에이터의 구조와 기능에 기초한다.

Ⅲ. 교정 프로세스

도 2에 도시된 바와 같이, 모션 스테이지(또는 다른 운반기구)에 의해 작업 영역의 주위로 카메라가 이동됨에 따라, 각 카메라의 시야에 대해 다중 카메라들의 존재하에서, 전체 물체(200)의 일부를 트래킹하는 것이 보통이다. 도시된 바와 같이, 각각의 카메라의 시야(210, 220, 230 및 240)는 별개의 에지(212, 222, 232 및 242)에 인접한 물체(200)의 일부에 각각 배치된다. 다양한 구현들에서, 각각의 카메라에 의해 개별적으로 트래킹되는 물체의 일부들은 런타임 모션-스테이지-조종 절차를 통해 카메라의 시야 내에 잔류할 수 있다. 다른 실시예들에서, 상이한 특징들이 단일 카메라의 시야내로 통과될 있다고 고려된다. 만약 그렇다면, 적절한 트래킹 기술이 상이한 특징들을 구별하기 위하여 사용된다.

예시적인 실시예에서, 정렬 프로세스(182)는 제조 중의 런타임 물체(200)의 (전형적인) 선형 에지 특징을 이용하여 설정 단계(phase) 동안(일반적으로 임의의 런타임 단계 이전에) 핸드-아이 교정을 실행하는 트레이닝 시스템을 포함한다. 여기에서 설명된 바와 같이, 런타임 물체 및/또는 "제조 중의 물체"는 하나 이상의 조립 및/또는 제조 단계를 실행하기 위하여 보통 모션 스테이지에 의해 운반되는 물체이다. 이것은 카메라(들)/비전 시스템의 교정을 위하여 특별하게 사용되는 물체와는 구별된다. 일반적으로, 위에 설명된 바와 같이, 본 기술 분야에 알려진 기술에 따르면, 핸드-아이 교정은 이미지 화소 좌표들과 모션 스테이지 좌표들 사이의 상관성를 확립하기 위하여 사용되며, 모션 스테이지는 물리적으로 물체를 원하는 정렬 내로 이동시킨다. 교정 동안, 물체는 스테이지에 의해 복수의 미리 결정된 포즈로 이동되어, 특징(들)에 의해 특징화되는 1차원(1D) 위치 정보가 각 포즈에서 도출될 수 있다. 이런 방법에서, 전술된 바와 같이, 상기 시스템 및 방법은, 주어진 제조/검사 환경의 공간 제약의 사용을 곤란 및/또는 불편하게 할 수 있는, 특별한 교정 물체의 의존성을 감소시킨다.

도 3을 참조하면, 선형 에지 특징들을 이용한 핸드-아이 교정을 위한 절차(300)가 도시된다. 각각의 카메라에 대해, 적어도 하나의 이미지가 단계(310)에서 전형적인/종래의 교정 물체(예를 들어, 체크보드 교정 플레이트)로부터 얻어진다. 이러한 이미지는 단계(320)에서 각각의 카메라의 특별한 이미지-대-물리적인 매핑(또는 화소-대-교정 특징 매핑)을 교정하는데 사용된다. 카메라(들)의 고유 파라미터들은 선택적으로 매핑을 결정하는 프로세스에 사용될 수 있지만, 여기에서의 예시적인 실시예들에 대해서는 요구되지 않는다. 일반적으로, 단계들(310 및 320)은 카메라와 교정 물체 사이의 어떤 이동을 수반하지 않는다.

단계(330)에서, 종래의 제조 중의 런타임 물체는 이미지 씬에 제공되고, 물체가 모션 스테이지에 견고히 부착되어 있는 동안, 핸드-아이 교정을 진행하는 각각의 카메라는 물체(또한 때때로 "워크피스"라고 불리는)에 있는 하나 이상의 선형(즉, 직선) 특징을 관찰한다. 이들 선형 특징들은 식별가능한 라인 성분 - 예를 들어, 인쇄된 에지, 부호 또는 문자, 셸프(shelf), 절개부 등을 제공하는 에지 또는 어떤 다른 특징(들)이 될 수 있다. 일반적으로, 비전 시스템은 설정 동안 그런 선형 특징들을 트래킹하기 위하여 종래의 에지 검출 기술과 툴들을 사용할 수 있으며, 사용자는 교정 프로세스 동안 트래킹을 위해 이들 특징들을 수동으로 플래그(flag)할 수 있다. 제1 위치 및/또는 회전 각도에서 물체 이미지들을 획득한 후, 스테이지(및 부착 물체)는 최종 포즈가 추정(결정 단계(332))될 때까지 다른 미리 정해진 포즈(즉, 다른 x-y 병진 위치 및/또는 회전 각도(R))로 이동된다. 각각의 포즈에서, 각각의 카메라는 물체/워크피스의 이미지를 획득할 수 있다(단계(330)). 하나 이상의 포즈들에서 물체의 이미지들이 획득된 후, 관측된 라인 특징들이 이러한 이미지들로부터 추출된다(단계(320)로부터 얻어진 카메라 교정 파라미터들을 이용하여). 선형 특징(들)의 상대적인 물리적인 위치는 별개의 선형 특징(들)과 (예시적으로, 컨트롤러(124) 또는 다른 물리적인 위치 감지 시스템에 의해 제공된 피드백을 사용하여(단계 350)) 모션 스테이지의 공지 포지션의 결합을 기초로 결정된다. 다음에, 이러한 위치 정보는 포인트-대-라인(point-to-line) 불일치를 최소화하기 위하여 사용되고, 이로써 관찰 포인트로부터 예측된 라인까지의 거리의 불일치를 최소화함으로써, 단계(360)에서 각각의 카메라의 화소 위치를 카메라(들)에 관련한 모션 스테이지의 이동 좌표 시스템의 물리적인 위치에 대응시키는, 핸드-아이 교정을 산출할 수 있다. 특히, 교정 프로세스 및/또는 프로세서는, 일정 포인트에서 일정 라인까지 수직 거리가 되는, 소위 포인트-대-라인 메트릭(point-to-line metric)을 사용한다. 이미지로부터 추출된 관측된 라인 성분에서의 임의 포인트(화소)는 포인트로서의 역할을 할 수 있으며 - 이는 상관성에서 관찰 데이터로서의 역할을 한다. 예측된 라인은 관찰되는 부분 에지에 대한 가정 모델이며, 이미지가 획득된 특별한 모션 스테이지 포즈에 의해 영향을 받는다. 포인트로부터 라인까지의 거리는, 여기에서의 예시적인 실시예에 따른 핸드-아이 교정 이론이 최소화시키려고 시도하는 불일치이다.

Ⅳ. 모션 스테이지 장치

본 기술 분야의 보통의 기술자에 따른 복수의 다른 모션 스테이지 실시예들을 도시하는 도 4-7을 참조한다. 이들 실시예들의 각각은 소정의 균등한 장치와 함께 도시적인 실시예들의 교시와 결합하여 사용될 수 있다.

도 4는 실시예에 따른 이미지 씬 내에 설치된 예시적인 단축(예를 들어, x-축 또는 y-축) 모션 스테이지(400)를 도시한다. 물체(410)(점선으로 도시)는 선형 베어링에 기초하여 다른 안내로(예를 들어, 레일(430)) 또는 트랙을 따라 적절한 베어링 위에서 이동하는 스테이지 슬라이더(420)에 부착된다. 슬라이더(420)는 액츄에이터 모터(440)에 의해 구동된다. 이 모터는 적절한 연결부, 감속기어 변속부 등을 구비한 허용가능한 회전 또는 선형 모터를 포함할 수 있다. 일 실시예에서, 액츄에이터 모터(440)가 적절한 모터 컨트롤러(위에 설명된)에 피드백 제어 신호를 제공하는 서보 또는 스테퍼 모터를 포함할 수 있다. 이러한 컨트롤러에 의해 시스템 프로세서는 슬라이더의 현재 위치를 정확히 찾아내고 이 위치를 이동좌표 시스템의 비전 시스템에 의해 알려진 위치와 비교할 수 있다. 이 실시예에서, 모터(400)는 종래 디자인의 리드-스크류(450)를 회전시킨다. 리드-스크류는 슬라이더(420) 위의 고정된 나사 블록에 대해 회전하고, 이로써 공지 속도로 회전 또는 선형 이동(이중 화살(460))을 전달한다. 대체적인 실시예에서, 회전 액츄에이터 모터는 공지 원리에 따라 슬라이더를 이동시키는 선형 모터와 교체될 수 있다. 용어 "액츄에이터 또는 액츄에이터 모터"는 전기, 유체, 및/또는 다른 기동력에 의해 구동되는 모터들을 포함하여 널리 다양한 회전 및 선형 모터들을 포함하도록 선택되어야 한다. 둘 이상(복수)의 상술한 단축 모션 스테이지는 직교 이동 효과(예를 들어, 이하 설명되는 바와 같은 xy 장치)를 발생하도록 여러 구조들로 적층될 수 있는(또는 다른 배치) 것을 알아야 한다. 모션 스테이지들은 3개의 직교 이동 자유도(예를 들어, x, y 및 z축), 그리고 선택적으로, z축 둘레로 하나(또는 그 이상)의 회전(R) 자유도(들)를 생성하도록 배치될 수 있음이 고려된다. 추가적인 스테이지 구조들에서 부가적인 병진 및/또는 회전의 자유도(예를 들어, x 및/또는 y축 둘레의 경사)가 명백히 고려된다. 다양한 업자들이 상업적으로 유용한 모션 스테이지들과 모션 스테이지 부품을 공급한다. 예를 들어, 여러 자유도들의 조합으로 병진하는 스테이지들이 다른 것들 중에서 MICROSLIDE® 상표로 캘리포니아 란초 산타 마가리타의 뉴머크 시스템즈 인크(Newmark System Incorporated)로부터 구입할 수 있다.

도 5를 참조하면, xy 구조를 가지는 이미지 씬 내에 2축 모션 스테이지(500)가 도시된다. 제조 중의 물체(410)가 두 개의 각각의 액츄에이터(540 및 550)(위에 일반적으로 설명된 바와 같은)들의 구동력(이중 화살표(520 및 530)) 아래 이동하는 슬라이더(510) 위에 장착된다. 이 힘들은 2D x-축/y-축(xy) 평면 내에 직교 배치된다. 이 평면은 일반적으로 여기 실시예에 따른 핸드-아이 교정용 이동 좌표 시스템을 정의한다.

도 6을 참조하면, xyzR 구조를 가지는 4-자유도의 모션 스테이지(600)가 도시된다. 제조중의 물체(410)가 두 개의 각각의 액츄에이터(640 및 650)(일반적으로 위에 설명된 바와 같은)들의 구동력(이중 화살표(620 및 630)) 아래 이동하는 슬라이더(610) 위에 장착된다. 다시 말하면, 이들 구동력은 2D x-축/y-축(xy) 평면 내에 직교 배치된다. 이 평면은 일반적으로 실시예에 따른 핸드-아이 교정용 이동 좌표 시스템을 정의한다. xy 평면 내의 물체(410)의 회전(이중 곡선 화살표(R))은 연계된 액츄에이터(670)와 적절한 기어 변속을 가지는 회전 스테이지(660)(점선으로 도시)에 의해 제공된다. z-축 리프트 스테이지(도시 없음)는 물체를 정렬되는 겹치는 물체와 접하도록 구동하기 위하여 xy-평면에 직교하도록 물체(410)를 이동시킨다.

넓은 범위의 모션 스테이지 구조와 구성이 여기 설명된 바와 같은 핸드-아이 교정 방법 및 시스템에 사용될 수 있음이 명백하다. 도 7은 xxy 장치에 따른 특별한 예시적인(비제한적인 예) 모션 스테이지 구조(700)를 도시한다. 슬라이더(710)는 이미지 씬 내에서 제조 중의 물체(410)를 운반한다. 액츄에이터(720)는 y-축 방향을 따라 슬라이더(710)를 병진시킨다(이중 화살표(730)). 공간-이격 정위로 배치된 한 쌍의 액츄에이터(740 및 750)가 직교하는 x-축 방향(x1 및 x2로 표시)을 따라 슬라이더(710)를 병진시킨다(이중 화살표(760 및 770)). 두 개의 액츄에이터(740 및 750)들은 서로 별개로 제어될 수 있으므로 각자의 병진은 동시에 반대 방향으로 발생할 수 있다. 액츄에이터들은 또한 슬라이더(710)에 선회식으로 연결될 수 있다. 따라서, 각 액츄에이터(740 및 750)들의 대향하는 병진은 xy 평면 내에서 제한된 회전(R)을 유발할 수 있다. 이로써 물체(410)는 결합된 겹치는 물체와 제한된 회전 정렬을 실행할 수 있다. 선택적인 z-축 리프트가 제공될 수 있으며 및/또는 정렬된 물체(도 7에 도시 없음)는 여기 도시되고 설명된 이러한 및 다른 예시적인 구조들에서 그 조작기에 의해 물체(410)로 하강될 수 있음을 유의한다. 보다 일반적으로, 스테이지 슬라이드에는 소위 UVW가 제공된다. 즉, 제1 슬라이드와 제2 슬라이드는 정상적으로 서로 평행이며, 제1 및 제2 슬라이드들은 모두 보통 제3 슬라이드에 수직이다. 각각의 슬라이드는 선형으로 별개로 구동될 수 있다. 부가적으로, 한 쌍의 액츄에이터(x1,x2 장치에 유사)들이 동일 평면 내의 쌍을 이루는 직교 축들의 양측의 액츄에이터들에 의해 공급된 제한된 회전(이중 화살표(R1))을 가진 xxyy 스테이지 장치를 제공하기 위하여 스테이지의 y-축 구동에 적용될 수 있다. 즉, 제 1 및 제2 슬라이드들이 서로 전형 평행이고 제1 및 제2 슬라이드들은 제3 및 제4 슬라이드들에 전형적으로 수직이면서 - 여기서 제3 및 제4 슬라이드들은 각각 서로 전형적으로 평행, 네 개의 슬라이드들이 스테이지에 제공된다. 두 쌍의 슬라이드들의 사용은 두 개의 직교 방향들 각각으로 힘/부하를 평형시키도록 작용할 수 있다. 추가적인 대체예로서, 스테이지는 각 슬라이드가 선형으로 구동될 수 있는 xyy 장치로서 배치될 수 있다.

평면(2D) 이동 환경에서 제조 중의 런타임 물체 위의 선형(또는 균등한) 특징들을 이용하는 상술한 핸드-아이 교정 시스템 및 방법이 설정 효율 및 비용의 상당한 향상을 제공하고, 그리고 일반적으로 종래의 교정 물체를 수용하기 위한 제조 환경을 수정하는 것을 피하도록 보조하는 것이 보다 일반적으로 명백하다.

상술한 설명은 본 발명의 예시적인 실시예들의 상세한 설명이었다. 여러 수정과 부가들이 본 발명의 사상과 범위를 벗어나지 않고 이루어질 수 있다. 위에 설명된 여러 실시예들의 각각의 특징은 결합된 새로운 실시예들의 다수의 특징들의 조합을 제공하기 위하여 적절하게 다른 설명된 실시예들의 특징들과 조합될 수 있다. 또한, 상기 설명이 본 발명의 장치와 방법의 많은 별개의 실시예들을 설명하지만, 여기 설명된 것은 단지 본 발명의 원리의 적용을 예시한 것이다. 예를 들어, 대체적인 실시예들에서, 모션 스테이지는 조작기 아암, 받침대 등으로 배치될 수 있으며 용어 "모션 스테이지"는 그러한 구조들을 포함하도록 널리 선택되어야 한다. 예를 들어, 여기 사용된 바와 같이, 용어 "처리(process)" 및/또는 "프로세서"는 다양한 전자적인 하드웨어 및/또는 소프트웨어 기반 기능과 부품들을 포함하도록 널리 선택되어야 한다. 또한, 여기 사용된 바와 같이, "수직", "수평", "위로(up)", "아래로(down)", "바닥", "상부", "측면", "전방", "후방", "좌측", "우측", 등과 같은 여러 방향 및 정위의 용어들은 단지 상대적인 관습들로서만 사용되고 중력과 같은 고정된 좌표 시스템에 대해 절대적인 정위로서 사용되지 않는다. 더욱이, 도시된 처리 또는 프로세서는 다른 처리들 및/또는 프로세서들 또는 여러 보조-처리들 또는 프로세서들로 구분될 수 있다. 유사하게, 소정의 기능, 과정 및/또는 프로세서는 프로그램 명령의 비 임시적인 컴퓨터-판독가능한 매체, 또는 하드웨어와 소프트웨어의 조합으로 구성되는 전기적인 하드웨어, 소프트웨어를 사용하여 실행될 수 있다. 또한, 일부 또는 전부의 비전 시스템 처리 업무들은 인터페이스 모듈을 통해 유선 또는 무선 통신 (네트워크) 링크를 거쳐 주 모듈에 작동하게 연결되는 주 모듈 또는 원격 프로세서(예를 들어, 서버 또는 PC)에서 실행될 수 있다. 또한, 선형 특징의 확인 및 트래킹은 여기 설명되지만, 선형 특징 및 점 특징이 전체 시스템에 의해 구분되어 트래킹되고 확인될 수 있으므로, 교정을 위한 매핑을 생성하도록 물체 위의 선형 및 점 특징의 확인 및 트래킹을 혼합하는 시스템을 제공한다. 따라서, 이러한 설명은 단지 예로서만 이루어지며, 본 발명의 범위를 달리 제한하려고 하는 것은 아니다.

Claims

모션 스테이지 상에서 적어도 하나의 자유도로 병진 또는 회전 이동하는, 적어도 하나의 특징을 갖는 제조 중의 물체를 사용하여, 비전 시스템의 평면 핸드-아이 교정을 위한 장치에 있어서,
적어도 제1 비전 시스템 카메라 및 비전 프로세서를 포함하는데, 제1 비전 시스템 카메라는 제조 중의 물체에 대한 적어도 제1 선형 특징의 이미지를 획득하고, 적어도 1도 병진의 모션 스테이지의 이동에 응답하여 상기 제1 선형 특징의 트랙 모션을 트래킹하도록 배치되며;
2차원(2D) 평면에 따른 적어도 2개의 상이한 지점들에서 제1 선형 특징을 식별하고, 제1 비전 시스템 카메라의 화소 좌표계에서의 화소 지점들과 적어도 2개의 상이한 지점들의 위치에 기반하는 모션 좌표계에서의 물리적 지점들 사이의 매핑을 계산하는 프로세스(process)를 포함하는 것을 특징으로 하는 비전 시스템의 평면 핸드-아이 교정 장치.
제1항에 있어서,
제1 비전 시스템 카메라는 고유 파라미터(intrinsics parameters)를 이용하여 교정되는(calibrated) 것을 특징으로 하는 비전 시스템의 평면 핸드-아이 교정 장치.
제1항에 있어서,
상기 제1 선형 특징은 에지 또는 콘트라스트 차이를 갖는 영역 중 하나인 것을 특징으로 하는 비전 시스템의 평면 핸드-아이 교정 장치.
제1항에 있어서,
물체에서의 특징을 트래킹하도록 배치된 제2 비전 시스템 카메라를 더 포함하는 것을 특징으로 하는 비전 시스템의 평면 핸드-아이 교정 장치.
제4항에 있어서,
제2 비전 시스템 카메라는 제조 중의 물체에 대한 제1 선형 특징과 제2 선형 특징 중 적어도 하나를 식별하여 개별적으로 트래킹하도록 배치되는 것을 특징으로 하는 비전 시스템의 평면 핸드-아이 교정 장치.
제4항에 있어서,
특징은 포인트 특징을 포함하며, 제1 비전 시스템 카메라 및 제2 카메라는 각각 포인트 특징 또는 선형 특징 중 하나를 식별하여 개별적으로 트래킹하도록 구성 및 배치되는 것을 특징으로 하는 비전 시스템의 평면 핸드-아이 교정 장치.
제1항에 있어서,
모션 스테이지는, 2D 평면에서, 적어도 제조 중의 물체를 x축을 따라 이동시키는 제1 슬라이드 및 상기 x축에 직교하는 y축을 따라 제조 중의 물체를 이동시키는 제2 슬라이드를 포함하는 것을 특징으로 하는 비전 시스템의 평면 핸드-아이 교정 장치.
제7항에 있어서,
모션 스테이지는 z축을 따라 2D 평면에 직교하게 제조 중의 물체를 이동시키도록 배치되는 리프트를 포함하는 것을 특징으로 하는 비전 시스템의 평면 핸드-아이 교정 장치.
제8항에 있어서,
x축, y축 및 z축 중 적어도 하나에 대해 제조 중의 물체를 회전시키는 회전 스테이지를 더 포함하는 것을 특징으로 하는 비전 시스템의 평면 핸드-아이 교정 장치.
제8항에 있어서,
제1 슬라이드, 제2 슬라이드 및 리프트 중 적어도 하나는 회전 리드 스큐류 및 제어 모터를 포함하는 액츄에이터에 의해 구동되는 것을 특징으로 하는 비전 시스템의 평면 핸드-아이 교정 장치.
제1항에 있어서,
제조 중의 물체를 회전시키는 회전 스테이지를 더 포함하는 것을 특징으로 하는 비전 시스템의 평면 핸드-아이 교정 장치.
제1항에 있어서,
모션 스테이지는 리드-스크류 구동 슬라이드 및 상기 리드-스크류 구동 슬라이드에 기능적으로 연결되는 제어 모터를 포함하는 것을 특징으로 하는 비전 시스템의 평면 핸드-아이 교정 장치.
제12항에 있어서,
상기 제어 모터는 서보 모터 및 스테퍼 모터 중 적어도 하나를 포함하는 것을 특징으로 하는 비전 시스템의 평면 핸드-아이 교정 장치.
제1항에 있어서,
모션 스테이지는 슬라이드 및 상기 슬라이드에 기능적으로 연결되는 제어된 선형 모터를 포함하는 것을 특징으로 하는 비전 시스템의 평면 핸드-아이 교정 장치.
제1항에 있어서,
모션 스테이지는 명목상으로 서로 평행한 제1 슬라이드 및 제2 슬라이드를 갖는 UVW 타입 모션 스테이지로서 배치되며, 제1 슬라이드 및 제2 슬라이드는 각각 제3 슬라이드에 명목상으로 수직인 것을 특징으로 하는 비전 시스템의 평면 핸드-아이 교정 장치.
제1항에 있어서,
모션 스테이지는 명목상으로 서로 평행한 제1 슬라이드 및 제2 슬라이드를 구비한 xxyy 타입 모션 스테이지로서 배치되고, 제1 슬라이드 및 제2 슬라이드는 각각 명목상으로 제3 슬라이드와 제4 슬라이드에 수직하며, 제3 슬라이드 및 제4 슬라이드는 각각 명목상으로 서로 평행한 것을 특징으로 하는 비전 시스템의 평면 핸드-아이 교정 장치.
모션 스테이지 상에서 적어도 하나의 자유도로 병진 또는 회전 이동하는, 적어도 하나의 특징을 갖는 제조 중의 물체를 사용하여, 비전 시스템의 평면 핸드-아이 교정을 위한 방법에 있어서,
적어도 제1 비전 시스템 카메라 및 비전 프로세서를 제공하는 단계를 포함하는데, 제1 비전 시스템 카메라는 제조 중의 물체에 대한 적어도 제1 선형 특징의 이미지를 획득하도록 배치되며;
적어도 1도의 병진으로의 모션 스테이지의 이동에 응답하여 제1 선형 특징의 이동을 트래킹하는 단계;
2차원(2D) 평면에 따른 적어도 2개의 상이한 지점들에서 상기 제1 선형 특징을 식별하는 단계; 및
제1 비전 시스템 카메라의 화소 좌표계에서의 화소 지점들과 적어도 2지개의 상이한 지점들의 위치에 기반하는 모션 좌표계에서의 물리적 지점들 사이의 매핑을 계산하는 단계를 포함하는 것을 특징으로 하는 비전 시스템의 평면 핸드-아이 교정 방법.
제17항에 있어서,
상기 제1 선형 특징은 에지 또는 콘트라스트 차이를 갖는 영역 중 하나인 것을 특징으로 하는 비전 시스템의 평면 핸드-아이 교정 방법.
제17항에 있어서,
물체에서의 특징을 트래킹하도록 배치되는 제2 비전 시스템 카메라를 제공하는 단계를 더 포함하는 것을 특징으로 하는 비전 시스템의 평면 핸드-아이 교정 방법.
제19항에 있어서,
상기 제2 비전 시스템 카메라는 제조 중의 물체에 대한 제1 선형 특징과 제2 선형 특징 중 적어도 하나를 식별하여 개별적으로 트래킹하도록 배치되는 것을 특징으로 하는 비전 시스템의 평면 핸드-아이 교정 방법.