KR20150067163A

KR20150067163A - 카메라 기반 자동 정렬을 위한 시스템 및 방법

Info

Publication number: KR20150067163A
Application number: KR1020157008334A
Authority: KR
Inventors: 스테판 뤼클; 세바스티안 스트라이블; 마누엘 지커트
Original assignee: 베크만 컬터, 인코포레이티드
Priority date: 2012-10-05
Filing date: 2013-10-04
Publication date: 2015-06-17
Also published as: JP2015530276A; BR112015007050A2; IN2015DN02064A; CN104703762A; WO2014055909A2; US20140100694A1; EP2903786A2; WO2014055909A3

Abstract

카메라 기반 자동 정렬 프로세스는 로봇 아암의 그리퍼 유닛에 의해 제1 교정 툴을 파지하는 것을 포함할 수 있다. 제1 교정 툴의 이미지들이 그리퍼 유닛에 결합된 카메라에 의해 캡처될 수 있다. 그리퍼 유닛과 카메라 유닛은 두 개의 대략 평행한 축들 상에서 정렬될 수 있다. 이미지들은 그리퍼 축과 함께 카메라의 시야축을 교정하기 위해 분석될 수 있어, 로봇 아암의 XY 교정을 제공할 수 있다. 그리퍼 유닛은 제2 교정 툴 상에 제공된 랜드마크들과의 광학 교정을 사용하여, 그리고/또는 그리퍼 유닛이 작업 표면과 접촉하여 정지할 때까지 그리퍼 유닛을 작업 표면을 향해 이동시킴으로써 Z-축 상에서 교정될 수 있다. 일단 교정되면, 카메라는 작업 표면 상의 알려진 위치에서 하나 이상의 랜드마크를 식별하여 로봇 아암을 작업 표면과 정렬시키는데 사용될 수 있다.

Description

카메라 기반 자동 정렬을 위한 시스템 및 방법{SYSTEM AND METHOD FOR CAMERA-BASED AUTO-ALIGNMENT}

관련 출원과의 상호참조

본 출원은 2012년 10월 5일자로 출원된 발명의 명칭이 "자동 정렬을 위한 시스템 및 방법(SYSTEM AND METHOD FOR AUTO-ALIGNMENT)"인 스테판 뤼클(Stefan Rueckl)의 미국 가특허 출원 제61/710,612호; 2012년 12월 21일자로 출원된 발명의 명칭이 "자동 정렬을 위한 시스템 및 방법"인 스테판 뤼클 등의 미국 가특허 출원 제61/745,252호; 및 2013년 3월 5일자로 출원된 발명의 명칭이 "자동 정렬을 위한 시스템 및 방법"인 스테판 뤼클 등의 미국 가특허 출원 제61/772,971호에 대한 우선권을 주장하며, 이들 각각은 모든 목적을 위해 전체적으로 본 명세서에 참조로 포함된다. 본 출원은 2013년 10월 4일자로 출원된 발명의 명칭이 "레이저 기반 자동 정렬을 위한 시스템 및 방법(SYSTEM AND METHOD FOR LASER-BASED AUTO ALIGNMENT)"인 스테판 오츠(Stephan Otts)의 미국 특허 출원 제________호(출원 번호는 아직 부여되지 않음)에 관련되며, 이는 모든 목적을 위해 전체적으로 본 명세서에 참조로 포함된다.

실험실 자동화 시스템(LAS)이 고객 작업장에 설치되는 경우, 서비스 기술자는 시스템의 요소들, 예컨대 프레임, 로봇 아암용 XY-갠트리(gantry), 및 서랍들을 작업 표면 상에 정렬하여, 로봇 아암이 샘플 튜브를 정밀하게 파지하고 이를 한 위치로부터 다른 위치로 전달할 수 있게 한다. 전형적으로, 작업 공간에 대한 로봇 아암의 정렬은 수동으로 행해졌다. 수동 정렬은 느리고 비용이 많이 드는 프로세스로, 각각 별도로 정렬되어야 하는 여러 개의 로봇 아암들을 포함할 수 있는 복합 LAS에 대해 특히 그러하다. 추가적으로, 수동 정렬은 각각의 정렬에 인간의 오류가 개입되게 하는 잠재력을 갖는다. 자동 정렬 프로세스들은 인간의 오류에 기인한 부정확한 정렬의 위험성을 더 낮추고 더 짧은 시간에 더 적은 수의 서비스 기술자들이 더 많은 LAS를 설치 및 정렬할 수 있게 한다.

전형적인 LAS에서, 각각의 로봇 아암은 작업 표면 위의 갠트리에 고정되는데, 이 갠트리는 예컨대 작업 표면 상의 상이한 위치 또는 툴(tool)로 이동될 수 있는 테스트 튜브들을 랙(rack) 내에 포함할 수 있다. 예를 들어, 테스트 튜브를 분배 랙으로부터 원심분리기 어댑터(centrifuge adapter)로 이동시킨다. 파지 운동은 다양한 문제들을 회피하기 위해 정밀할 것이 요구된다. 예를 들어, 로봇 아암이 튜브를 파지할 수 없는 경우, 또는 로봇 아암이 선택된 튜브를 성공적으로 파지하지만 오정렬로 인해 튜브를 파괴하는 경우가 있다. 통상적인 수동 정렬에는, 손으로 또는 외부의 구동 모터를 사용하여, 작업 표면 상의 여러 상이한 위치들에 그리퍼 아암(gripper arm)을 수동으로 위치시키는 것과 같은 다양한 스텝(step)들이 포함될 수 있다. 추가적으로, 로봇 아암들은 작업 표면 상의 랙 또는 서랍들에 대해 별도로 정렬될 필요가 있다. 이러한 절차는 서비스 기술자에 의한 수동 정렬의 경우 로봇 아암 당 하루에 많은 시간이 걸릴 수 있다.

본 발명의 실시예들은 이들 및 기타 다른 문제들을 다룬다.

일 실시예에 따라서, 실험실 자동화 시스템(LAS) 내에서 그리퍼 유닛을 갖는 로봇 아암을 교정(calibration) 및/또는 정렬하기 위한 자동 정렬 프로세스 및 관련 기술 배열체가 본 명세서에 기술되어 있다.

카메라 기반 정렬 시스템에서, 카메라는 그리퍼 유닛의 위치에서 XYZ-로봇에 부착되어 로봇 아암이 그리퍼 위치 아래의 작업 표면의 이미지(image)들을 획득하게 할 수 있다. 카메라와 로봇 아암의 정렬은, 카메라가 설치되는 경우, 설치 동안에 카메라의 광학 축을 로봇 아암의 축과 정렬시킴으로써 수행될 수 있다. 그러나, 카메라를 정확하게 설치하려면 그리고 카메라의 위치를 변경하지 않는다는 것을 보장하려면, 다수의 로봇 아암들을 수반하는 복합 시스템들에 엄청난 비용이 들 수 있다. 따라서, 카메라를 이용하는 자동 정렬 절차는 카메라를 로봇 아암에 정밀하게 부착시키는 것과 관련된 제조 비용을 절감할 수 있을 뿐만 아니라, 카메라의 위치가 시프트(shift)되거나 또는 달리 오정렬하게 되면 카메라-로봇 아암 시스템을 재정렬하는 손쉬운 방법을 제공할 수 있다.

일 실시예에 따라서, 카메라 기반 자동 정렬 프로세스는 로봇 아암의 그리퍼 유닛에 의해 제1 교정 툴을 파지하는 것을 포함할 수 있다. 제1 교정 툴의 이미지들이 그리퍼 유닛에 결합된 카메라에 의해 캡처될 수 있다. 그리퍼 유닛과 카메라 유닛은 두 개의 대략 평행한 축들 상에서 정렬될 수 있다. 이미지들은 그리퍼 축과 함께 카메라의 시야축(axis of view)을 교정하기 위해 분석될 수 있어, 로봇 아암의 XY 교정을 제공할 수 있다. 그리퍼 유닛은 제2 교정 툴 상에 제공된 랜드마크(landmark)들과의 광학 교정을 사용하여, 그리고/또는 그리퍼 유닛이 작업 표면과 접촉하여 정지할 때까지 그리퍼 유닛을 작업 표면을 향해 이동시킴으로써 Z-축 상에서 교정될 수 있다. 일단 교정되면, 카메라는 작업 표면 상의 알려진 위치에서 하나 이상의 랜드마크를 식별하여 로봇 아암을 작업 표면과 정렬시키는데 사용될 수 있다.

도 1은 본 발명의 일 실시예에 따른, XYZ-로봇을 위한 카메라-그리퍼 배열체를 도시한다.
도 2는 본 발명의 일 실시예에 따른, 카메라 기반 자동 정렬에 사용하기 위한 복수의 랜드마크 디자인들을 도시한다.
도 3은 본 발명의 일 실시예에 따른, X-Y 교정 툴을 도시한다.
도 4는 본 발명의 일 실시예에 따른, Z 교정 툴을 도시한다.
도 5는 본 발명의 일 실시예에 따른, 실험실 자동화 시스템(LAS)의 일례를 도시한다.
도 6은 본 발명의 일 실시예에 따른, Z 축 하우징에 부착되는 카메라 유닛 및 그리퍼 유닛을 도시한다.
도 7은 본 발명의 일 실시예에 따른, XYZ-로봇을 교정하는 방법을 도시한다.
도 8은 통상의 방사 왜곡(radial distortion)의 예들을 도시한다.
도 9는 본 발명의 일 실시예에 따른, X-Y 교정의 방법을 도시한다.
도 10은 본 발명의 일 실시예에 따른, 교정 동안의 X-Y 교정 툴의 경로의 투영도를 도시한다.
도 11은 본 발명의 일 실시예에 따른, 교정 동안의 이미지 캡처 디바이스의 이미징 특성들에 의해 생성되는 타원들을 도시한다.
도 12는 본 발명의 일 실시예에 따른, 이미지 캡처 디바이스의 높이를 결정하는 랜드마크의 삼각측량을 도시한다.
도 13은 본 발명의 일 실시예에 따른, Z 교정의 방법을 도시한다.
도 14는 본 발명의 일 실시예에 따른, 카메라 기반 자동 정렬 시스템의 정밀도를 결정하기 위한 시스템을 도시한다.
도 15는 본 발명의 일 실시예에 따른, 자동 정렬 시스템의 블록 다이어그램을 도시한다.
도 16은 본 발명의 일 실시예에 따른, 컴퓨터 장치의 블록 다이어그램을 도시한다.

이하의 서술에서는, 설명을 목적으로, 본 발명의 다양한 실시예들의 철저한 이해를 제공하기 위해 다수의 구체적 상세사항들이 기술되어 있다. 그러나, 당업자에게는 본 발명의 실시예들이 이러한 구체적 상세사항들 중 일부 없이도 실시될 수 있음이 자명할 것이다. 다른 경우에, 주지의 구조들 및 디바이스들이 블록 다이어그램 형태로 도시되어 있다.

다음의 설명은 단지 예시적인 실시예들만을 제공하며, 본 발명의 범주, 적용성, 또는 구성을 제한하고자 하는 것은 아니다. 오히려, 예시적인 실시예들의 다음의 설명은 당업자에게 예시적인 실시예를 구현하기 위한 가능성 있는 설명을 제공할 것이다. 첨부된 특허청구범위에 기술된 바와 같은 본 발명의 사상 및 범주로부터 일탈함이 없이 요소들의 기능 및 배열에 다양한 변경이 이루어질 수 있음을 이해해야 한다.

구체적 상세사항들이 실시예들의 철저한 이해를 제공하도록 이하의 서술에서 주어진다. 그러나, 실시예들이 이러한 구체적 상세사항들 없이도 실시될 수 있음이 당업자에 의해 이해될 것이다. 예를 들어, 실시예들이 불필요한 상세사항으로 불명료해지지 않게 하기 위해 블록 다이어그램 형태의 컴포넌트들로서 회로들, 시스템들, 네트워크들, 프로세스들, 및 다른 컴포넌트들이 도시될 수 있다. 다른 경우에, 실시예들의 불명료함을 회피하기 위해 불필요한 상세사항 없이도 주지의 회로들, 프로세스들, 알고리즘들, 구조들, 및 기술들이 도시될 수 있다.

도 1은 일 실시예에 따른, XYZ-로봇을 위한 카메라-그리퍼 배열체를 도시한다. 일 실시예에 따라서, 광학 측정 툴로서 카메라를 사용하여 자동 정렬하는 방법이 개시된다. 로봇 아암은 실험실 자동화 시스템(LAS) 내의 작업 표면 상에서 물체들을 파지하고, 픽업(pick-up)하고, 이동하도록 작동가능한 그리퍼 유닛(100)을 포함할 수 있다. 카메라, 또는 다른 이미지 캡처 디바이스가 그리퍼 유닛에 결합될 수 있어서 카메라에 의해 캡처된 이미지 및/또는 비디오가 LAS 내의 요소들을 식별하고 로봇 아암을 LAS와 정렬하는데 사용되게 할 수 있다. 일부 실시예에서, 카메라는 고정된 높이에 유지되는 한편 그리퍼 유닛은 Z-축을 따라 이동될 수 있도록 카메라가 그리퍼 유닛에 결합되어 있다. 로봇 아암의 정렬 동안, 카메라 및 그리퍼 유닛은 하나 이상의 교정 툴로 교정될 수 있다. 교정 프로세스는 카메라 좌표계(픽셀 단위로 표현됨)와 로봇 좌표계(스텝 단위 또는 인코더 카운트 단위로 표현됨) 사이의 관계를 설정하는데 사용된다. 교정은 또한, 보정되지 않은, 오정렬로 이어질 수 있는 왜곡을 초래할 수 있는 카메라 내의 광학 결함들을 처리할 수 있다. 일단 카메라가 교정되면, 카메라는 작업 표면 상의 알려진 위치들에 위치되는 랜드마크들을 식별하는데 사용될 수 있다. 이는 로봇 아암을 LAS와 정렬시킨다.

일 실시예에 따라서, 그리퍼 유닛(100)은 LAS 내의 요소(102)를 파지할 수 있다. 이러한 요소는 테스트 튜브, 교정 툴, 및 다른 물체를 포함할 수 있다. 요소(102)는 그리퍼 유닛을 사용하여 제1 축 상에서 파지된다. 카메라 유닛(104)과 그리퍼 유닛(100) 사이의 오프셋(offset)으로 인해, 이미지가 카메라 유닛(104)에 의해 제2 축 상에서 획득될 수 있다. 전형적인 카메라 및 조립체는 그리퍼 조립체 내로 또는 파지가능 툴 내로 통합되기에는 너무 크다. 그와 같이, 카메라 유닛은 그리퍼 유닛에 인접하게 결합될 수 있어, 제1 축과 제2 축 사이에 기계적 오프셋을 생성하게 된다. 카메라가 정상 작동 동안에 그리퍼 유닛을 간섭하지 않기 때문에, 카메라는 그리퍼 유닛에 고정된 채로 유지될 수 있어서, 필요에 따라 자동 정렬이 추가로 수행될 수 있게 한다. 제2 축과 제1 축 사이의 오프셋을 결정하고 카메라 좌표계를 로봇 좌표계로 교정하기 위해 이미지가 분석될 수 있다. 오프셋은 제1 축과 제2 축 사이의 임의의 각도 오정렬을 처리할 수 있다. 랜드마크 위에 카메라를 위치 설정하고 로봇 아암을 X 방향 및 Y 방향으로 사전결정된 스텝 수만큼 이동시킴으로써, 모터 스텝들과 픽셀들 간의 변환비(conversion ratio)가 결정될 수 있다. 변환비는 랜드마크의 시 위치(apparent position)의 변화에 기초하여 결정될 수 있다. 오프셋 및 변환비는 X-Y 평면 내의 그리퍼를 교정하는데 사용될 수 있다. 이어서, 그리퍼는 제2 교정 툴을 사용하여 Z-축 상에서 교정될 수 있다. 선택적으로, 작업 표면, 예컨대 입력 영역 상에 있는 하나 이상의 요소 상의 하나 이상의 랜드마크가 그리퍼의 교정의 정밀도를 확인하기 위해 식별될 수 있다. 일단 교정이 완료되면, 카메라 유닛이 사용되어 작업 표면 상의 알려진 위치에서 하나 이상의 랜드마크를 식별하여 로봇 아암을 LAS에 정렬할 수 있다.

일 실시예에 따라서, Z-축 상에서 그리퍼를 교정하는 것은, 예를 들어 카메라로부터 고정된 랜드마크까지의 거리를 삼각측량함으로써, 제2 교정 툴 상에 제공되는 랜드마크를 사용하여 그리퍼를 광학적으로 교정하는 것을 포함할 수 있다. 추가적으로, 또는 대안적으로, 그리퍼는 그리퍼가 제2 교정 툴 상의 접촉부에 도달할 때까지 Z-축을 따라 그리퍼를 제2 교정 툴을 향해 이동시킴으로써, Z-축 상에서 물리적으로 교정될 수 있다.

전술한 바와 같이, 시각적 랜드마크들이 로봇 아암과 LAS의 교정 및 정렬 프로세스에서 사용될 수 있다. 예를 들어, 교정 툴은 카메라 유닛이 인지할 수 있는 랜드마크들을 포함할 수 있고, 작업 표면 상의 랜드마크들은 로봇 아암을 LAS에 정렬하는데 사용될 수 있다. 랜드마크들은 작업 표면 상의 알려진 위치들에 위치되는 대조적인 기하학적 형상들을 포함할 수 있다. 랜드마크들은 또한 카메라 및 그리퍼 유닛을 교정하는데 사용되는 교정 툴들 상에 위치될 수 있다.

도 2는 상이한 랜드마크 디자인(200)의 예들을 도시한다. 일부 실시예에서, 랜드마크들은 작업 표면에 적용될 수 있는 접착제 종이 또는 비닐과 같은 기재 상에 인쇄될 수 있다. 일부 실시예에서, 랜드마크들은 작업 표면 내로 기계적으로, 화학적으로, 또는 다른 방식으로 에칭될 수 있고, 페인트 또는 에폭시와 같은 대조적인 충전제로 충전될 수 있다. 대안적으로, 애노다이징 처리 또는 달리 코팅되어 있는 컴포넌트들을 에칭함으로써 콘트라스트가 또한 달성될 수 있다. 이는 작업 표면 상에서 시프트 또는 이동하지 않게 될 영구적 랜드마크들을 제공한다.

이상적으로는, 생성하기 용이하고, 용이하게 식별가능한 중간점을 가지며, 오식별 위험성이 낮은 랜드마크가 선택될 수 있다. 예를 들어, 십자형 또는 직사각형과 같은 선형 랜드마크는 원형 랜드마크보다 신뢰성있게 식별하기가 더 어려울 수 있다. 추가적으로, 작업 표면 상의 스크래치들은 원형 랜드마크보다 선형 랜드마크로 더 쉽게 오인될 수 있다. 복수의 동심원들을 포함하는 랜드마크는 식별하기가 용이하고 선형 랜드마크들보다 오식별될 가능성이 적으며, 중간점은 모든 식별된 원 중간점들의 대수 평균에 의해 결정될 수 있다. 비록 원형 랜드마크들이 본 명세서에 전형적으로 사용된다 하더라도, 도 2에 도시된 것들을 포함하지만 그로 한정되지 않는 임의의 대조적인 형상이 본 발명의 실시예들과 함께 사용될 수 있다. 카메라 유닛이 작업 표면의 이미지를 캡처하는 경우, 이미지는 패턴 인식 프로세스를 사용하여 처리되어 랜드마크가 이미지 내에 존재하는지 여부를 결정할 수 있게 한다. 패턴 인식 프로세스는 랜드마크가 존재하는지 여부를 결정할 수 있고, 존재한다면, 랜드마크의 중간점을 식별할 수 있다. 중간점은 카메라 좌표계 내의 소정 위치로서 픽셀 단위로 표현될 수 있다.

도 3은 본 발명의 일 실시예에 따른, X-Y 교정 툴을 도시한다. X-Y 교정 툴은 X-Y 평면 내의 그리퍼 유닛을 교정하는데 사용될 수 있다. 본 명세서에 사용되는 바와 같이, X-Y 평면은 작업 표면에 평행인 평면을 지칭할 수 있다. 전술한 바와 같이, 카메라는 로봇 아암의 그리퍼 유닛에 결합되어, 카메라 축과 그리퍼 유닛 축 사이에 오프셋을 생성할 수 있다. 이러한 오프셋은 로봇 아암과 카메라 내에 형성된 기계적 공차뿐 아니라, 하드웨어 및 다른 인자들의 설치 시의 편차들의 결과로서 설치마다 변할 수 있다. 그와 같이, 오프셋은 설치 전에는 알지 못하고, LAS에 대한 로봇 아암의 정렬 및 교정 동안에 결정될 수 있다.

도 3에 도시된 바와 같이, X-Y 교정 툴(300)은 파지가능부(302) 및 사실상 수평부(304)를 포함할 수 있다. 파지가능부(302)가 그리퍼 유닛에 의해 파지되는 경우, 사실상 수평부(304)는 카메라에 보일 수 있다. 사실상 수평부는, 카메라에 의해 검출될 수 있고 카메라 축과 로봇 그리퍼의 축 사이의 오프셋을 측정하는데 사용될 수 있는 복수의 랜드마크(306)들을 포함한다. 일부 실시예에서, 교정은 X-Y 교정 툴 상의 적어도 두 개의 마커(marker)들이 검출될 수 있는 경우에 수행될 수 있다. 도 3에 도시된 X-Y 교정 툴은 다섯 개의 랜드마크(306)들을 갖지만, 더 많은 또는 더 적은 랜드마크들이 또한 사용될 수 있다. 랜드마크들은 각 랜드마크의 중심으로부터 파지가능부(302)의 중심까지의 거리들이 알려진 경우에, 툴을 따라 알려진 거리들에 위치된다. X-Y 교정 툴의 치수는 로봇 아암이 배치되는 LAS에 기초하여 선택될 수 있다. 파지가능부(302)의 직경은 로봇이 규칙적으로 픽업할 것 같은 물체들의 직경에 기초하여 선택될 수 있다. 예를 들어, 테스트 튜브들을 규칙적으로 파지하는 로봇의 경우에, 원통부의 직경은 테스트 튜브의 직경에 근사하도록 선택될 수 있다. 수평부(304)의 길이는 그리퍼 축과 카메라 축 사이의 오프셋보다 더 크도록 선택될 수 있어서, 교정 동안에 수평부(304)가 카메라에 보일 수 있게 보장해준다. X-Y 교정 프로세스의 흐름이, 일 실시예에 따라서, 아래에 상세히 기술된다.

도 4는 본 발명의 일 실시예에 따른, Z-교정 툴(400)을 도시한다. Z-교정 툴은 Z-축을 따라 그리퍼 유닛을 교정하는데 사용될 수 있다. 본 명세서에 사용되는 바와 같이, Z-축은 작업 표면에 직교하는 축을 지칭할 수 있다. Z-교정 툴은 알려진 높이들에 복수의 레벨(402)들을 포함할 수 있다. 각각의 레벨은 카메라에 의해 식별될 수 있는 랜드마크(404)를 포함할 수 있다. 일부 실시예에서, 바코드와 같은 라벨들이 Z-교정 툴(400) 상의 랜드마크에 고유의 식별 번호들을 할당하는데 사용될 수 있다. Z-교정 툴은 설치 동안에 서비스 기술자에 의해 사전 정의된 위치에서 작업 표면에 부착될 수 있거나, 또는 작업 표면 내로 영구적으로 통합될 수 있다. 일 실시예에 따라서, Z-교정은 X-Y 교정 후에 수행될 수 있다.

일 실시예에 따라서, 로봇 아암은 압력 센서를 포함할 수 있고, 일단 저항에 직면하면 정지하도록 구성될 수 있다. 이것은 전형적으로 안전 특징부로서 사용되어, 로봇 아암이 그 자신, 작업 표면 또는 작업 표면 상의 물체에 손상을 야기하는 것을 방지한다. 압력 센서를 자동 정지부로서 사용하면, 로봇 아암은 Z-교정 툴 상의 제1 랜드마크 위에 위치될 수 있고, 그리퍼 유닛이 제1 랜드마크와 접촉하게 될 때까지 하강할 수 있다. 접촉이 이루어진 경우, 압력 센서는 로봇 아암을 정지시킨다. 로봇 아암이 정지되는 경우, Z-축 상의 모터의 위치가 기록될 수 있다. 일 실시예에 따라서, 각각의 축을 따라 로봇 아암을 구동하는데 사용되는 모터들은 브러시형 DC 모터 또는 스테퍼 모터일 수 있다. Z-축 상의 모터의 위치는 인코더 카운트 단위 또는 스텝 단위로 기록될 수 있다. 이러한 프로세스는 Z-교정 툴 상의 각각의 랜드마크에 대해 반복될 수 있다. 일단 각각의 위치가 기록되면, 각 레벨 간의 거리가 인코더 카운트 단위 또는 스텝 단위로 결정될 수 있다. 아래에 추가로 기술되는 바와 같이, 삼각측량은 Z-교정 툴의 각 레벨의 높이를 (예컨대, 픽셀 당 스텝으로) 결정하는데 사용될 수 있다. Z-축 교정 프로세스의 흐름은, 일 실시예에 따라서, 아래에 추가로 기술된다.

일부 실시예에서, X-Y 교정 툴 및 Z-교정 툴의 특징부들을 조합한 단일의 교정 툴이 사용될 수 있다. 예를 들어, 조합된 교정 툴은 전술한 바와 같은 X-Y 교정 툴과 유사할 수 있는데, 이는 각각의 랜드마크가 상이한 레벨에 있도록 수정되어 있다.

도 5는 본 발명의 일 실시예에 따른, 실험실 자동화 시스템(LAS)의 일례를 도시한다. 도 5에 도시된 바와 같이, LAS(500)는 Z-축(504)이 부착되어 있는 X-Y 갠트리(502)를 갖는 프레임을 포함할 수 있다. 그리퍼 유닛(506) 및 카메라 유닛(508)을 포함하는 로봇 아암은 각각 Z-축(504)에 결합될 수 있다. 전술한 바와 같이, X-Y 갠트리는 로봇 아암 및 그리퍼 유닛을 작업 표면(510) 위에서 X-Y 평면으로 이동시키도록 작동가능하고, Z-축은 로봇 아암 및 그리퍼 유닛을 작업 표면(510)에 대해 상하로 이동시키도록 작동가능하다. 일 실시예에 따라서, 각각의 축은 하나 이상의 전기 모터를 사용하여 트랙을 따라 이동될 수 있다. 일부 실시예에서, 모터들은 밀리미터 당 스텝 단위의 알려진 모터 분해능(motor resolution)을 갖는 브러시형 DC 모터 또는 스테퍼 모터일 수 있다. 마이크로 컨트롤러, 프로세서, 또는 다른 제어기와 같은 하나 이상의 제어기들이 각각의 축과 관련된 모터들을 제어하고 로봇 아암을 작업 표면 위의 3차원 공간 내에 위치시키는데 사용될 수 있다. 로봇 아암을 작업 표면과 정렬시키기 위해, 작업 표면은 알려진 위치들에 하나 이상의 랜드마크(512)를 포함할 수 있다. 카메라 유닛이 교정될 수 있는데, 이는 픽셀 단위의 카메라 좌표계를 인코더 카운트 단위 또는 스텝 단위의 로봇 좌표계로 변환될 수 있게 한다. 추가적으로, 교정 프로세스는 카메라 축과 그리퍼 유닛 축 사이의 작은 각도의 오정렬뿐 아니라, 렌즈 왜곡과 같은 카메라 내의 광학 결함을 보정할 수 있다. 추가적으로, 로봇 아암은 하나 이상의 랜드마크(512)를 사용하여 작업 표면과 자동으로 정렬될 수 있어서, 로봇 아암이 작업 표면 상의 물체를 픽업하고 이의 위치를 재설정하는 것과 같은 정밀도가 중요시되는 기능들을 수행할 수 있게 한다. 일부 실시예들은 다른 유형의 로봇들을 이용할 수 있는데, 예컨대 선택적 순응성 어셈블리 로봇 아암(Selective Compliant Assembly Robot Arm)(SCARA)이 사용될 수 있다.

도 6은 본 발명의 일 실시예에 따른, Z 축 하우징에 부착되는 카메라 유닛 및 그리퍼 유닛을 도시한다. 도 6에 도시된 바와 같이, Z-축 하우징(600)이 그리퍼 유닛(602) 및 카메라 유닛(604)을 위한 장착점으로서 작용할 수 있다. 이는 광학 카메라 축(608)과 기계적 그리퍼 축(610) 사이에 오프셋(606)을 생성한다. 이상적으로는, 설치 동안에, 카메라의 광학 축(608)과 기계적 그리퍼 축(610) 사이에 사실상 평행한 정렬을 유지하려고 노력한다. 그러나, 축들 간의 세심하고 정확한 정렬은 증가된 제조, 컴포넌트, 및 설치 비용을 포함하여 많은 비용이 들 수 있다. 이러한 비용은 시스템이 정렬에서 벗어나면 심각해질 수 있는데, 이는 비용이 많이 드는 재정렬 절차를 초래하게 된다. 추가적으로, 복합 LAS는 다수의 로봇 아암들을 포함할 수 있는데, 이는 잠재적인 비용들을 더욱 심각하게 만든다.

일 실시예에 따라서, 자동 정렬 프로세스는 LAS 내에 로봇 아암들을 정확하게 설치하는 효율적이고 반복가능한 방식을 제공하고, 사용 중에, 로봇 아암들 중 어느 것이 정렬에서 벗어나게 되면 신속한 유지보수 절차를 제공한다. 도 7은 본 발명의 일 실시예에 따른, 카메라 기반 자동 정렬의 방법을 도시한다. 700에서, X-Y 교정 툴이 그리퍼 유닛에 의해 제1 축 상에서 파지될 수 있다. X-Y 교정 툴은 작업 표면 상의 알려진 위치에서 픽업될 수 있거나, 또는 기술자가 그리퍼 유닛에게 X-Y 교정 툴을 파지하라고 수동으로 명령할 수 있다. 702에서, X-Y 교정 툴의 이미지들이 그리퍼 유닛에 결합된 카메라에 의해 제2 축 상에서 캡처될 수 있다. 캡처된 이미지들에 기초하여, 카메라 축과 그리퍼 축 사이의 오프셋에 대응하는 거리가 결정될 수 있다. 이러한 오프셋은 기계적 공차들에 존속되기 때문에, 오프셋은 프로그래밍을 통해 사전에 정의될 수가 없다. 이러한 프로세스 동안, 거리는 추가의 센서 또는 측정 툴의 사용 없이 결정될 수 있다. 704에서, Z 교정이 카메라와 Z-축 사이에서 수행되어 모터 유닛들 내에서의 랜드마크들의 높이의 정밀 측정이 가능하게 될 수 있다. 일부 실시예에서, 렌즈 왜곡은 또한 X-Y 교정 또는 Z 교정 동안 계산되고 보정될 수 있다. 일부 실시예에서, 렌즈 왜곡은 정렬 프로세스 동안 별도의 스텝으로서 보정될 수 있다. 일단 전술한 정렬 스텝들이 성공적으로 수행되었다면, 시스템은 사용될 준비가 되어 있다. 일부 실시예에서, 카메라 유닛을 교정하고 렌즈 왜곡을 보정한 후에, 카메라 유닛은 LAS 내의 로봇 아암을 정렬하기 위해 LAS의 작업 표면 상에서 하나 이상의 랜드마크를 식별하는데 사용될 수 있다.

복합 LAS는 각각이 그 자신의 카메라를 갖는 많은 로봇 아암들을 포함할 수 있다. 따라서, 주어진 LAS의 고정 비용을 감소하기 위해 저가의 카메라가 이용될 수 있다. 그러나, 저가의 카메라들은 전형적으로 보다 고가의 카메라들보다 더 큰 렌즈 왜곡 효과를 받게 된다. 이러한 왜곡들은 정렬 프로세스 동안 처리될 수 있고 보정될 수 있다.

도 8은 통상의 방사 왜곡의 예들을 도시한다. 렌즈의 기하학적 특성은 이미지가 기록되는 경우 소정의 왜곡을 생성할 수 있다. 두 개의 기본 유형의 왜곡이 있다. 하나는 핀-쿠션(800) 또는 배럴 왜곡(802)으로도 또한 알려진 방사 왜곡이다. 이는 렌즈의 구 형태에 의해 그리고 렌즈의 중심을 통과하고 칩과 부딪치는 광이 거의 전혀 굴절되지 않는 반면 렌즈의 에지를 통과하는 광은 더 큰 굴곡 및 굴절 효과를 받게 된다는 사실에 의해 야기된다. 두 번째 유형의 왜곡은 렌즈와 카메라 칩 사이의 각도에 의해 생성되는 접선 왜곡이다.

방사 왜곡은 상대적으로 고품질의 렌즈 또는 카메라를 사용하는 경우에 더욱 중요한 인자로 되는 경향이 있다. 방사 왜곡은 일련의 다항식으로 표현될 수 있다:

여기서,

는

에 대응하는 왜곡-보정점이고,

는 방사 왜곡을 설명하는 계수들이고, 그리고

는 이 경우에 점

에 대응하는 이미지의 중간점으로부터의 점

의 유클리드 거리(Euclidean distance)이다.

계수들을 결정하기 위해, 교정 프로세스가 수행될 수 있다. 교정을 위해,

은 방사 왜곡을 충분히 설명하고 더 높은 차수 효과(order effect)들은 무시될 수 있다고 가정한다. 왜곡을 설명하는데 사용되는 다른 모델은 피츠기봉 분할 모델(Fitzgibbon division model)이다:

작은

을 다루는 경우, 모델은 하나의 인자에 대한 일련의 다항식들의 결과들과 거의 동일하다. 피츠기봉 분할 모델에서 사용되는 방정식(12)은 고쳐 써서 다음의 방정식을 만들어 낼 수 있다:

이러한 경우에,

는 스케일링 인자(scaling factor)를 설명하고,

는 왜곡-보정점

에 대응한다.

점

이 라인

상에 놓인다는 가정은 라인들이 방사 왜곡의 결과로서 원의 세그먼트들 상에 형성될 수 있다는 것을 도시하는데 사용될 수 있다:

이어서, 이러한 방정식을 원의 방정식의 형태에 적용하면,

이는 다음과 같이 된다.

이에 따라, 하기는

에 대해 여전히 유효하다:

이러한 특성은 계수

을 결정하는데 사용될 수 있다. 일 실시예에 따라서, 검출된 랜드마크는 이미지의 에지로 시프트되고, 이어서 로봇의 축들 중 하나를 이동시킴으로써 그 에지를 따라 이동된다. 이러한 프로세스 동안, 랜드마크의 중간점 위치가 기록될 수 있다. 로봇의 축들 중 단지 하나의 축만이 이동되었기 때문에, 측정된 중간점들 모두는 그들을 함께 연결하는 라인을 따라 놓인다. 그러나, 이는 전술한 왜곡에 기인한 경우는 아니다. 다음에, 측정된 중간점들에 원 함수가 피팅(fitting)된다. 이어서, 이러한 함수에 방정식(7)을 적용하여 다음과 같이 왜곡 파라미터

을 결정할 수 있다:

여기서,

는 원의 중간점이고,

은 반경이다.

이어서, 이미지의 네 개의 코너 모두에서 이러한 프로세스가 반복될 수 있고, 그에 의해 이러한 방식으로 측정되는 계수들을 결정할 수 있다.

다음에, 연산에 있어서 효과적인 이미지 변환(image transformation)을 보장하기 위해 변환 마스크가 결정될 수 있다. 그렇게 함에 있어서, 이미지의 치수들을 사용하여 행렬이 생성된다. 행렬의 각각의 요소

는 원래 이미지로부터의 픽셀에 대응하고, 그 픽셀의 보정된 위치

를 내포한다. 이어서, 이러한 마스크는 이미지가 기록되자마자 이미지 내의 각 픽셀을 보정하는데 사용된다. 오픈 소스 라이브러리 OpenCV와 같은 이미지 프로세싱 라이브러리들은 이러한 목적을 위해 구현된 방법들을 포함하고, 이미지들이 카메라에 의해 캡처될 때 이미지들을 보정하는데 사용될 수 있다.

일부 실시예에서, 체스 또는 체커 보드 패턴과 같은 주기적 반복 패턴의 랜드마크가 렌즈 왜곡을 처리하고 보정하는데 사용될 수 있다. 일 실시예에 따라서, 주기적 반복 패턴의 랜드마크는 로봇에 의해 파지될 수 있는 툴 상에 인쇄될 수 있거나, 또는 그 툴에 장착될 수 있다. 일 실시예에 따라서, 이러한 툴은 도 3에 도시된 X-Y 교정 툴에 유사할 수 있지만, 원형 랜드마크들보다는 오히려 체커보드와 같은 주기적 반복 패턴의 랜드마크 또는 랜드마크들을 특징으로 할 수 있다. 이는 로봇이 카메라의 시계(field of view)를 통해 주기적 반복 패턴을 회전시킬 수 있게 하는 한편, 또한 주기적 반복 패턴이 카메라에 보다 가깝게 또는 카메라로부터 더욱 멀어지게 이동될 수 있게 한다.

일 실시예에 따라서, 주기적 반복 패턴의 랜드마크는 또한 도 4에 도시된 Z-교정 툴과 같은 스텝형 툴 상에 인쇄될 수 있거나 또는 그에 장착될 수 있다. 이러한 경우에, 로봇 및 그에 따른 카메라는 패턴으로부터 독립적으로 이동하며, 로봇은 패턴이 카메라 시계 내의 복수의 상이한 위치에서 보일 수 있도록 이동될 수 있다.

일 실시예에 따라서, 카메라를 통해 관찰했을 때, 주기적 반복 패턴의 랜드마크의 특징부들(예컨대, 체스보드 패턴의 에지들, 단일 필드들 및 필드들의 개수)이 결정될 수 있다. 랜드마크의 기하학적 특성들이 시스템에 알려져 있기 때문에, 이러한 특징부들의 좌표는 피팅 알고리즘(fitting algorithm)을 사용하여 특징부들의 알려진/예상된 위치와 비교될 수 있다. 그러한 피팅 알고리즘들은 OpenCV, 매트랩(등록상표)(Matlab^®)용 카메라 교정 툴박스, DLR 칼랩(CalLab) 및 CalDe - DLR 카메라 교정 툴박스, 및 다른 유사한 소프트웨어 라이브러리들로부터 입수가능하다. 이어서, 피팅 알고리즘은 컴퓨터 비전 시스템의 내인성(intrinsic) 및 외인성(extrinsic) 파라미터들을 평가하는데 사용될 수 있다. 내인성 및 외인성 파라미터들은 사용 시의 카메라-렌즈 조합에 대한 왜곡 계수들을 결정하는데 사용될 수 있다. 상이한 위치에서 주기적 반복 패턴의 랜드마크 또는 랜드마크들을 갖는 다수의 그림을 사용하면, 알고리즘에 의해 결정되는 왜곡 계수들의 정확도가 개선된다.

도 9는 본 발명의 일 실시예에 따른, X-Y 교정의 방법을 도시한다. 일부 실시예에서, 렌즈 왜곡이 교정된 후, X-Y 교정 툴은 카메라 축과 그리퍼 유닛 축 사이의 오프셋을 결정하고 카메라를 교정하는데 사용될 수 있다. 전술한 X-Y 교정 툴은 카메라 축과 그리퍼 축 사이의 X 거리 및 Y 거리를 결정하기 위해 로봇의 작동 영역으로 이동될 수 있다. 일단 X-Y 교정 프로세스가 개시되면, 사용자(예컨대, 서비스 기술자)는 로봇을 툴 위에 위치시키도록 신속히 수행하게 될 수 있다. 이어서, 로봇은 파지 높이까지 이동할 수 있고, 사용자는 로봇의 위치를 조정할 기회를 한 번 더 가질 수 있다. 900에서, X-Y 교정 툴이 로봇 아암의 그리퍼 유닛에 의해 파지될 수 있고, 로봇의 현재 X-Y 위치가 기록될 수 있다. 다음에, 로봇은 작업 표면의 개방 영역으로 이동할 수 있고, 교정 프로세스를 위해 지정된 또는 사전결정된 높이로 툴을 하강시킬 수 있다. 902에서, 툴 상의 랜드마크들 중 적어도 두 개가 카메라 유닛에 의해 캡처된 이미지들에서 성공적으로 검출될 때까지 그리퍼 유닛은 X-Y 교정 툴을 개략적인 증분으로 회전시킬 수 있다. 다음에, 가장 먼 랜드마크들이 더 이상 검출될 수 없을 때까지 툴은 작은 증분으로 회전된다. 이어서, 툴이 카메라의 전체 시계를 통해 한 번 회전되고, 툴 상의 랜드마크들의 위치가 동일 간격으로 기록된다. X-Y 교정 툴이 카메라의 시계를 통해 회전됨에 따라, 카메라는 교정 툴의 아크 및 그 위에 에칭된 복수의 랜드마크를 캡처하도록 프로그래밍된 간격으로 복수의 이미지를 촬영할 수 있다. 904에서, 랜드마크의 기록된 위치들에 기초하여, 제1 축에 대응하는 회전의 중간점이 결정될 수 있다. 랜드마크들이 회전 동안에 파지 로봇의 축 주위의 원형 경로를 따라 모두 이동하기 때문에, 원형 경로의 중간점들은 제1 축과 제2 축 사이의 오프셋을 결정하기 위해 결정될 수 있다. 906에서, 픽셀 단위의 거리가 제1 축으로부터 제2 축까지의 오프셋을 사용하여 결정될 수 있다. 그러나, 기계적 공차들로 인해, 카메라 축과 그리퍼 유닛 축은 서로에 대해 평행하게 정렬되지 않을 수 있다. 그와 같이, 교정 툴의 원형 경로가 기록되기보다는 오히려, 교정 툴의 관찰된 경로는 타원이다.

도 10은 본 발명의 일 실시예에 따른, 교정 동안의 X-Y 교정 툴의 경로의 투영도를 도시한다. 전술한 바와 같이, 렌즈 효과들의 조합으로 인해 그리고 그리퍼 축에 대한 카메라 축의 기울어짐 및 오프셋으로 인해, 랜드마크의 원형 경로는 타원과 같은 원뿔 곡선(conic section)들로 기록된다. 도 10에 도시된 바와 같이, 1000은 세계 좌표계에서의 원들을 나타내고, 1002는 카메라의 광학 축을 나타내고, 1004는 타원 형태의 카메라 시스템에서의 투영 원들을 나타낸다.

하기는 이러한 투영도를 수학적 형태로 보여준다:

하기의 내인성 이미징 행렬 K는 카메라의 이미징 특성들에 대해 가정될 수 있다:

여기서,

는 초점 거리이고, 점

은 이미지의 중간점을 설명한다. 이어서, 점

은 다음과 같이 점

으로 맵핑(mapping)된다:

여기서,

는 전술한 내인성 카메라 특성들의 행렬이고,

는 외인성 카메라 행렬 -

는 세계 좌표계에 대한 카메라 좌표계의 회전을 설명하고,

는 세계 좌표계에 대한 카메라 좌표계의 직선이동을 설명함 - 이고,

는 0이 아닌 스케일링 인자이다.

원의 중간점이

인 것으로 가정하면, 원 내의 각각의 점

은 다음 방정식을 충족시킬 수 있어야 할 것이다:

여기서,

는 원을 정의하는 행렬이다:

이어서, 이러한 원은 다음과 같이 타원

상에 묘사된다:

여기서,

및

는 회전 행렬

의 첫 번째 두 개의 열(column)이다. 타원은 이제 다음과 같이 설명될 수 있다:

또는 x 및 y의 함수로서:

이는

이 보편성을 잃지 않고 가정될 수 있는 경우 원뿔의 일반적 묘사이다:

하기의 조건들은 타원을 보장한다(그리고 그에 따라 포물선 및 쌍곡선을 제외한다):

일 실시예에 따라서, 이전에 측정된 점은 타원을 원의 궤도를 따라 배치하는데 사용될 수 있다. 그렇게 하기 위해, 최소 제곱 오차(smallest error square)의 방법이 사용될 수 있다. 이러한 과제는 ALGLIB와 같은 수치 해석 및 데이터 프로세싱 라이브러리를 사용하여 해결될 수 있다. 대안적인 수치 해석 방법들이 또한 사용될 수 있었다. 그렇게 하기 위해, 방정식(15)으로부터의 함수가 피팅 알고리즘으로 전달될 수 있다. 게다가, 알고리즘은 반복을 시작하는데 사용될 수 있는 초기 값들을 수용할 수 있다. 이러한 값들은, 방정식(15)에서 5-점 조합(five-point combination)을 사용하고 이어서 방정식 시스템을 풀어 줌으로써 결정된다. 이러한 프로세스는 다음에 계산된 계수들의 평균을 내기 위해 소수의 가능한 점 조합(point combination)으로 반복된다. 이어서, 이러한 값들은 피팅 알고리즘에 대한 초기 값들로서 사용되는데, 이 알고리즘은 최소 제곱 오차에 관하여 최선의 해(solution)를 결정하기 위해 반복 프로세스를 사용한다.

도 11은 본 발명의 일 실시예에 따른, 교정 동안의 이미지 캡처 디바이스의 이미징 특성들에 의해 생성되는 타원들을 도시한다. 도 10에 관련하여 전술한 바와 같이 결정된 타원(1100) 각각의 중간점(1102)은 직선(1104)을 따라 분산된다. 원의 투영된 중간점은 이제 타원의 중간점들을 연결하는 라인 상에 위치된다. X 및 Y 방향의 오프셋 거리를 제공하는 원의 투영된 중간점은 하기의 방법을 사용하여 결정될 수 있는데, 이 방법은 원의 중간점을 결정하기 위해 투영도에 의해 보유되는 반경들의 비를 사용한다:

투영되기 전의 두 원들의 반경 비는:

비

는 이제 타원의 중간점들을 연결하는 라인과 타원이 교차하는 교차점

(1106, 1108, 1112)에 의해 생성되는 세그먼트들의 비에 대응한다:

이어서, 이러한 방정식은 교차점들 중 하나의 교차점까지의 원 중간점

(1110)의 거리를 사용하여 해결될 수 있다:

를 계산하는데 사용되는 반경들은 회전 중심까지의, 또는 달리 말하면, 그리퍼 유닛에 의해 파지되는 X-Y 교정 툴의 파지부의 중간점까지의 랜드마크들의 거리에 대응한다. 두 개의 동심원들이 본 방법의 응용에서 사용될 수 있다. 전술한 교정 툴을 사용하는 경우 교정 툴 상의 다섯 개의 랜드마크들에 대응하는 다섯 개의 원들이 검출되기 때문에, 원의 쌍들의 총 열 개의 상이한 조합들이 가능하다. 마지막으로, 계산된 중간점의 수학적 평균 및 표준 편차가 원의 쌍들의 열 개의 조합에 기초하여 결정되고, 프로그래밍된 극한 값들과 비교된다. 중간점이 성공적으로 결정되는 경우, 이어서, 카메라 축과 그리퍼 유닛 축 사이의 오프셋이 픽셀 단위로 결정될 수 있다. 전술한 바와 같이, 위에 사용된 반경들은 픽셀 단위로 측정했을 때 랜드마크들과 그리퍼 유닛 축 사이의 거리에 대응한다. 그리퍼 유닛은 카메라의 시계에서 X-Y 교정 툴을 센터링(centering)할 수 있고, 카메라는 이미지의 중심점을 식별한 다음, 중심점으로부터 중심점에 가장 가까운 마커까지 X 축 및 Y 축 상의 픽셀들의 개수를 결정할 수 있다. 중심점으로부터 가장 가까운 마커까지의 거리 및 가장 가까운 마커로부터 그리퍼 유닛 축까지의 거리에 기초하여, 오프셋이 픽셀 단위로 계산될 수 있다.

일부 실시예에서, 원의 중간점의 좌표를 픽셀 단위의 카메라 좌표계로부터 스텝 단위의 모터 좌표계로 변환하기 위해 픽셀-모터 스텝 비가 결정될 수 있다. 그렇게 하기 위해, 로봇 아암은 개시 시에 저장된 툴 기록 위치로 이동하고 그 위치에서 다시 툴을 배치할 수 있다. 먼저, 랜드마크가 카메라 이미지에서 센터링된다. 일부 실시예에서, 이는 기술된 예시적인 툴의 중간 랜드마크와 같은, X-Y 교정 툴 상의 특정 랜드마크일 수 있다. 그러나, 임의의 랜드마크가 사용될 수 있다. 이어서, 로봇이 X 및 Y 방향으로 (스텝 단위의) 명시된 거리를 이동하는 한편, 동시에 카메라 시스템은 랜드마크의 위치를 기록한다. 이어서, 이러한 값들은 양 축에 대한 픽셀 대 스텝의 비를 계산하는데 사용된다. 이전에 결정된 원의 중간점을 사용하면, 이어서, 이러한 비는 카메라 이미지의 중간점까지의 그리퍼 축의 거리를 모터 스텝 단위로 결정하는데 사용될 수 있다.

일 실시예에 따라서, 전술한 교정 프로세스가 선형 오프셋 함수들

또는

을 결정하기 위해 적어도 하나의 다른 파지 높이에서 반복될 수 있는데, 이는 방향 X 및 Y의 그리퍼 로봇의 기계적 축에 대한 카메라의 광학 축의 거리와 높이 Z 사이의 상관 관계로 설명한다. 두 개 초과의 상이한 높이들에 대해 작동이 수행되는 경우, 이어서, 측정된 점들

을 사용하여 선형 함수가 피팅될 수 있다. 이러한 함수는 전체 작업 공간 위의 기계적 그리퍼 축에 대한 광학 카메라 축의 기울기에 대응한다.

다른 실시예에서, 왜곡 보정 스텝이 X-Y 교정 스텝과 조합될 수 있다. 전술한 바와 같이, X-Y 교정 툴이 카메라 시야를 통해 회전됨에 따라, 일련의 이미지들이 카메라에 의해 촬영될 수 있다. 툴은 하나 이상의 랜드마크, 예컨대 도 3에 도시된 원형 랜드마크 또는 체커보드와 같은 주기적 반복 패턴의 랜드마크를 포함할 수 있다. 일련의 이미지들을 사용하여, 시스템은 전술한 바와 같이 왜곡 보정 파라미터들을 결정할 수 있다. 그 결과, 왜곡 보정이 이미지들에 적용될 수 있다. 이어서, 전술한 바와 같이, 왜곡 보정된 일련의 이미지들을 사용하여 X-Y 교정이 수행될 수 있다. X-Y 교정 계수들은 원형 이동을 결정하기 위해 왜곡 보정된 일련의 이미지들에 랜드마크 내의 알려진 점들을 피팅함으로써 결정될 수 있다. 이러한 구체적인 점들은 원형 랜드마크의 중심점, 또는 주기적 반복 패턴의 랜드마크 내의 에지를 포함할 수 있다.

도 12는 본 발명의 일 실시예에 따른, 그리퍼 유닛의 높이를 결정하는 랜드마크의 삼각측량을 도시한다. 전술된 그리고 도 4에 도시된 Z 교정 툴이 이러한 프로세스를 위해 사용될 수 있다. 먼저, 로봇 아암이 Z 교정 툴 위의 위치로 이동하여 제1 랜드마크를 검색할 수 있다. 일 실시예에 따라서, 제1 랜드마크는 바 코드 또는 카메라에 의해 식별될 수 있는 다른 라벨에 의해 고유하게 식별될 수 있다. 이어서, 로봇은 랜드마크가 이미지의 중심에 있도록 그 자신의 위치를 재설정한다. 일단 랜드마크가 성공적으로 센터링되면, 로봇은 랜드마크의 좌측 또는 우측으로 주어진 거리를 이동하고 그 위치를 기록한다. 이러한 예에서, 삼각측량은 시차(parallax)에 기초하여, 또는 마커 위치 1(1202)로부터 마커 위치 2(1204)까지의 랜드마크의 시 위치의 변화에 기초하여 카메라 이미지 레벨(1200)에서 수행될 수 있다. 카메라는 마커의 좌측 또는 우측까지의 알려진 거리를 이동한다. 거리는 모터 위치에 기초하여 스텝 단위로 결정될 수 있다. 랜드마크의 시 위치의 변화는 카메라에 의해 픽셀 단위로 결정될 수 있다. 도 12에 도시된 바와 같이, 이러한 측정치에 기초하여, 랜드마크의 높이를 픽셀 당 스텝으로 결정하기 위해 삼각측량이 사용될 수 있다:

이러한 경우에, f는 초점 거리에 대응한다. 그러나, 그것은 측정치가 취해지는 필드 범위의 깊이로 인해 명확하게 결정될 수 없기 때문에, 1인 것으로 가정될 수 있다. 일단 삼각측량을 사용하여 랜드마크의 높이가 결정되면, 결정된 높이는 z 축으로의 스텝 수로 변환될 수 있다. 그렇게 하기 위해, 로봇 아암은 위에서 결정된 X-Y 오프셋을 사용하여 랜드마크 바로 위에 위치될 수 있다. 다음에, z 축의 이동 파라미터들은 로봇 아암 내의 압력 센서가 사전 정의된 레벨의 저항을 검출하는 경우 이동이 정지되도록 조정된다. 이어서, 로봇은 그리퍼가 랜드마크에 접촉할 때까지 z 축을 따라 서서히 하강될 수 있으며, 상기 접촉할 때에 압력 센서가 저항을 검출하고 로봇을 정지하게 한다. 이어서, 그리퍼의 현재 위치가 스텝 단위로 저장된다.

일 실시예에 따라서, 이러한 프로세스는 툴의 세 개의 모든 스텝에서 반복될 수 있다. 마지막으로, 세 개의 측정된 점들

이 선형 함수를 피팅하는데 사용된다. 삼각측량을 사용하여 결정되었던 픽셀 단위의 높이를 사용하면, 이러한 함수는 이제 z 축에 대한 스텝 단위의 높이를 결정하는데 사용될 수 있다.

도 13은 일 실시예에 따른, Z 교정의 방법을 도시한다. 1300에서, 제1 랜드마크가 Z 교정 툴 상에서 식별된다. 전술한 바와 같이, Z 교정 툴은 작업 표면 위의 상이한 높이들에 위치되는 복수의 랜드마크를 포함할 수 있다. 1302에서, 로봇 아암으로부터 제1 랜드마크까지의 거리가 측정되고 저장될 수 있다. 전술한 바와 같이, 제1 랜드마크까지의 거리는 픽셀 당 스텝으로 거리를 결정하기 위해 삼각측량을 사용하여 계산될 수 있고, 그리퍼 유닛이 랜드마크와 접촉하게 될 때까지 하강될 수 있는 경우인 그리퍼 유닛의 단단한 접촉(hard touch)은 스텝 단위의 높이를 측정하는데 사용될 수 있다. 1304에서, 이러한 측정이 Z 교정 툴 상의 나머지 랜드마크 각각에 대해 반복된다. 1306에서, 측정치의 각 쌍(픽셀 당 스텝의 거리, 및 스텝 단위의 거리)이 선형 거리 함수를 피팅하는데 사용된다. 이어서, 선형 거리 함수가 픽셀 단위의 카메라 좌표계와 스텝 단위의 로봇 좌표계 사이를 변환하는데 사용될 수 있고, 이에 따라 Z 축 상의 로봇 아암을 교정할 수 있다.

일 실시예에 따라서, 왜곡 보정 스텝이 또한 Z 교정 스텝과 조합될 수 있다. 전술한 바와 같이, 렌즈 왜곡을 보정하기 위해, 랜드마크 또는 랜드마크들의 일련의 이미지들이 카메라에 의해 촬영될 수 있다. 도 4에 도시된 것과 같은 Z 교정 툴이 하나 이상의 주기적 반복 패턴의 랜드마크들과 함께 사용될 수 있다. 랜드마크는 카메라 시계 내의 복수의 상이한 위치들에 배치될 수 있다. 이러한 이미지들을 사용하여, 왜곡 보정 계수들이 결정될 수 있고, 이어서 일련의 이미지들 내의 왜곡을 보정하는데 사용될 수 있다.

이어서, 왜곡 보정된 이미지들을 사용하여, Z 교정이 수행될 수 있다. 주기적 반복 패턴의 랜드마크의 기하구조가 알려져 있기 때문에, 시스템은 알려진 패턴과의 픽셀 대 거리 관계를 결정할 수 있다. 예를 들어, 체커보드 패턴의 랜드마크의 에지들 사이의 거리가 메모리 내에 저장될 수 있다. 일단 이미지들이 왜곡에 대해 보정되면, 이미지들은 랜드마크의 에지들 사이의 픽셀들의 개수를 결정하기 위해 분석될 수 있고, 픽셀 대 거리 관계가 결정될 수 있다. 이어서, 로봇 아암이 전술한 바와 같이 랜드마크와 접촉하도록 하강될 수 있다. 랜드마크와 접촉하기 위해 로봇 아암에 의해 이동된 거리는 기록될 수 있고, 그리고 로봇 기준계(robot reference system) 상에서 픽셀 대 거리 관계를 픽셀 대 스텝 관계로 변환하는데 사용될 수 있다. 일 실시예에 따라서, 이 프로세스는 z 교정 툴 상의 추가 스텝들에 대해 반복될 수 있다.

도 14는 일 실시예에 따른, 카메라 기반 자동 정렬 시스템의 정밀도를 결정하기 위한 시스템을 도시한다. 도 14에 도시된 바와 같이, 정렬 프로세스가 완료된 후, 프로브(1400)는 그리퍼 유닛에 의해 파지되어 작업 표면 상의 랜드마크(1404) 위에 위치될 수 있다. 레이저 거리 센서(1406)는 레이저(1402)로 프로브를 겨냥함으로써 프로브 팁까지의 거리를 결정하는데 사용될 수 있다. 정밀도 테스트를 위해 사용되는 랜드마크는 랜드마크의 중간점으로부터 랜드마크에 인접한 벽까지의 거리가 알려지도록 선택될 수 있다. 이어서, 레이저 거리 센서로부터 프로브 팁까지의 거리가 측정된다. 이어서, 측정된 거리와 후면 벽까지의 거리 사이의 차이가 결정된다. 이어서, 레이저 거리 센서(1406)가 90°만큼 위치가 재설정될 수 있고, 프로세스가 반복될 수 있다. 두 개의 측정치는 두 개의 점

및

를 생성하고, 이어서, 알려진 프로브 팁 반경 R이 다음과 같이 프로브 팁의 중간점을 결정하는데 사용될 수 있다.

그러나, 두 개의 점들 및 반경이 최종 해를 제공하는 것은 아니다. 식 (26) 및 (27)에서 알 수 있는 바와 같이, 원

에 대해 두 개의 가능한 중간점들이 있지만; 가능한 중간점들 중 하나와 랜드마크의 측정된 중간점 사이에는 전형적으로 큰 차이가 있다. 일단 정확한 중간점이 식별되면, 자동 정렬 시스템의 정밀도를 결정하기 위해 중간점 측정치들이 비교될 수 있다.

도 15는 본 발명의 일 실시예에 따른, 자동 정렬 시스템의 블록 다이어그램을 도시한다. 자동 정렬 시스템은 축 모터(1500a, 1500b, 1500c)를 포함하는 복수의 축 모터(1500)를 포함할 수 있다. 축 모터(1500)는 로봇 아암 및 그리퍼 유닛을 작업 표면 위의 3차원 공간 내에 위치시키는데 사용될 수 있다. 카메라와 같은 이미지 캡처 디바이스(1502)가 그리퍼 유닛에 결합되어, 로봇 아암을 작업 표면과 자동으로 정렬시키는데 사용될 수 있다. 하나 이상의 모터 제어기(1504) 및 이미지 캡처 디바이스 제어기(1506)가 자동 정렬 프로세스 동안 중앙 제어기(1508)로부터의 명령을 중계할 수 있다. 일부 실시예에서, 모터 제어기(1504)는 인코더 카운트 또는 스텝과 같은 각각의 축 모터로부터의 위치 정보를 기록할 수 있고, 이미지 캡처 디바이스 제어기(1506)는 이미지 캡처 디바이스에게 규칙적인 간격으로 이미지들을 촬영하고 캡처된 이미지들을 처리를 위해 중앙 제어기(1508)로 통과시키라고 명령할 수 있다. 중앙 제어기(1508)는 프로세서(1510)로부터의 정렬 명령을 수신할 수 있고, 모터 제어기 및 이미지 캡처 디바이스 제어기로부터 수신된 정렬 결과들, 예컨대 위치 정보 및 캡처된 이미지들을 복귀시킬 수 있다. 프로세서(1510)는 중앙 제어기로부터 복귀된 정보를 사용하여 카메라 축과 그리퍼 유닛 축 사이의 오프셋을 결정하고, 그리퍼 유닛의 높이를 삼각측량하고, 그리고 정렬 프로세스의 완료 여부를 결정할 수 있다. 일부 실시예에서, 프로세서(1510)와는 별도로 이미지 프로세싱 작동을 실행하기 위해 이미지 프로세서가 사용될 수 있다. 프로세서(1510)는 자동 정렬 모듈(1512a)을 포함할 수 있는 메모리(1512)에 연결될 수 있는데, 이 자동 정렬 모듈은 프로세서(1510)에 의해 실행가능한 컴퓨터 코드를 포함하여, 축 모터에게 X-Y 평면 내를 따라 로봇 아암을 이동시키라는 명령 및 이미지 캡처 디바이스에게 작업 표면 상의 랜드마크들의 이미지들을 캡처하여 캡처된 이미지들을 분석하라는 명령을 포함한, 자동 정렬을 수행할 수 있다. 메모리는 랜드마크 위치(들)에 대한 작업 표면 상의 요소들(서랍, 툴, 등)의 위치 데이터를 포함한, 결정된 랜드마크 위치(1512b) 및 정렬 데이터(1512c)를 위한 스토리지(storage)를 추가로 포함할 수 있다.

프로세서(1510)는 데이터를 처리하기 위한 임의의 적합한 데이터 프로세서를 포함할 수 있다. 예를 들어, 프로세서는 시스템의 다양한 컴포넌트들이 작동되게 하기 위해 별도로 또는 함께 기능하는 하나 이상의 마이크로프로세서를 포함할 수 있다.

메모리(1512)는 임의의 적합한 유형의 메모리 디바이스를 임의의 적합한 조합으로 포함할 수 있다. 메모리(1512)는 하나 이상의 휘발성 또는 비휘발성 메모리 디바이스를 포함할 수 있는데, 이는 임의의 적합한 전기, 자기, 및/또는 광학 데이터 저장 기술을 사용하여 작동된다.

도면을 참조하여 본 명세서에 기술된 다양한 관여물(participant) 및 요소들이 하나 이상의 컴퓨터 장치를 작동시켜 본 명세서에 기술된 기능들을 가능하게 할 수 있다. 임의의 서버, 프로세서, 또는 데이터베이스를 포함하는 상기 설명 내의 요소들 중 임의의 것은 임의의 적합한 개수의 서브시스템을 사용하여, 예컨대 실험실 자동화 시스템의 기능성 유닛 및 모듈, 축 제어기, 센서 제어기 등을 작동시키고 그리고/또는 제어하는 기능들과 같은 본 명세서에 기술된 기능들을 가능하게 할 수 있다.

그러한 서브시스템 또는 컴포넌트의 예들이 도 16에 도시되어 있다. 도 16에 도시된 서브시스템들은 시스템 버스(4445)를 통하여 상호 접속되어 있다. 프린터(4444), 키보드(4448), 고정식 디스크(4449)(또는 컴퓨터 판독가능 매체를 포함하는 다른 메모리), 디스플레이 어댑터(4482)에 연결되는 모니터(4446) 등과 같은 추가의 서브시스템들이 도시되어 있다. 입출력(I/O) 제어기(4441)(이는 프로세서 또는 다른 적합한 제어기일 수 있음)에 연결되는 주변 기기 및 입출력(I/O) 디바이스들이 본 기술 분야에서 알려진 임의의 개수의 수단, 예컨대 시리얼 포트(4484)에 의해 컴퓨터 시스템에 접속될 수 있다. 예를 들어, 시리얼 포트(4484) 또는 외부 인터페이스(4481)가 인터넷과 같은 광역 통신망, 마우스 입력 디바이스, 또는 스캐너에 컴퓨터 장치를 접속하는데 사용될 수 있다. 시스템 버스를 통한 상호 접속은 중앙 처리 장치(4443)가 각각의 서브시스템과 통신하게 하고 서브시스템들 사이의 정보의 교환뿐 아니라, 시스템 메모리(4442) 또는 고정식 디스크(4449)로부터의 명령어들의 실행을 제어하게 한다. 시스템 메모리(4442) 및/또는 고정식 디스크(4449)는 컴퓨터 판독가능 매체를 구체화할 수 있다.

본 발명의 실시예들은 전술한 실시예들로 제한되지 않는다. 전술한 태양들 중 일부에 관한 구체적 상세사항들이 상기에 제공되어 있다. 특정 태양들의 구체적 상세사항들은 본 발명의 실시예들의 사상 및 범주로부터 벗어남이 없이 임의의 적합한 방식으로 조합될 수 있다. 예를 들어, 본 발명의 일부 실시예에서는 백 엔드 프로세싱(back end processing), 데이터 분석, 데이터 수집, 및 다른 프로세스들이 모두 조합될 수 있다. 그러나, 본 발명의 다른 실시예들은 각각의 개별 태양, 또는 이러한 개별 태양들의 특정 조합에 관한 특정 실시예들에 관련될 수 있다.

전술한 바와 같은 본 발명은 모듈형 또는 통합형 방식의 컴퓨터 소프트웨어(유형의 물리적 매체(tangible physical medium) 내에 저장됨)를 사용하여 제어 로직의 형태로 구현될 수 있음을 이해해야 한다. 또한, 본 발명은 임의의 이미지 프로세싱의 형태 및/또는 그의 조합으로 구현될 수 있다. 본 명세서에 제공된 개시 내용 및 교시에 기초하여, 당업자는 하드웨어 및 하드웨어와 소프트웨어의 조합을 사용하여 본 발명을 구현하는 다른 방식 및/또는 방법들을 알고 인식할 것이다.

본 출원에 기술된 소프트웨어 컴포넌트들 또는 기능들의 어떤 것도 예컨대, 종래의 또는 객체-지향 기술들을 사용하는 예를 들어, 자바, C++ 또는 펄(Perl)과 같은 임의의 적합한 컴퓨터 언어를 사용하는 프로세서에 의해 실행될 소프트웨어 코드로서 구현될 수 있다. 소프트웨어 코드는 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 하드 드라이브 또는 플로피 디스크와 같은 자기 매체, 또는 CD-ROM과 같은 광학 매체와 같은 컴퓨터 판독가능 매체 상에 일련의 명령어들, 또는 커맨드들로서 저장될 수 있다. 임의의 그러한 컴퓨터 판독가능 매체는 단일의 컴퓨터형 장치 상에 또는 그 내에 있을 수 있고, 시스템 또는 네트워크 내의 상이한 컴퓨터형 장치들 상에 또는 그 내에 존재할 수 있다.

상기의 설명은 예시적인 것이며, 제한적인 것이 아니다. 본 발명의 많은 변형들이 본 개시 내용의 검토 시에 당업자에게는 명백해질 것이다. 그러므로, 본 발명의 범주는 상기의 설명을 참조하여 결정되어서는 아니되며, 대신에, 그의 전체 범주 또는 등가물과 함께 첨부된 특허청구범위를 참조하여 결정되어야 한다.

임의의 실시예로부터의 하나 이상의 특징부들이 본 발명의 범주로부터 벗어남이 없이 임의의 다른 실시예의 하나 이상의 특징부들과 조합될 수 있다.

단수형("a", "an" 또는 "the")의 열거는 특별히 반대로 지시되지 않으면 "하나 이상"을 의미하도록 의도된다.

전술한 모든 특허들, 특허 출원들, 공보들, 및 설명들은 모든 목적들을 위해 전체로서 본 명세서에 참조로 포함된다. 어느 것도 종래 기술인 것으로 인정되지 않는다.

Claims

자동 정렬을 위한 방법으로서,
작업 표면 위의 제1 높이에서 로봇 아암의 그리퍼 유닛에 의해 X-Y 교정 툴(calibration tool)을 제1 축 상에서 파지하는 단계;
상기 그리퍼 유닛에 결합된 카메라에 의해 상기 제1 높이에서의 상기 X-Y 교정 툴의 이미지를 제2 축 상에서 획득하는 단계; 및
상기 제2 축과 상기 제1 축 사이의 오프셋(offset)을 결정하기 위해 상기 제1 높이에서의 제1 교정 툴의 이미지를 분석하는 단계를 포함하는 방법.
제1항에 있어서,
상기 카메라의 시계(field of view)를 통해 상기 X-Y 교정 툴을 회전시키는 단계를 추가로 포함하고, 상기 X-Y 교정 툴은 복수의 랜드마크를 포함하는 사실상 평탄부를 포함하고,
상기 X-Y 교정 툴의 이미지를 분석하는 단계는,
각각이 상기 이미지 내의 랜드마크들 중 하나에 대응하는 복수의 타원 경로를 식별하는 단계;
상기 제1 축에 대응하는 상기 복수의 타원 경로의 중심점을 결정하는 단계; 및
상기 복수의 타원 경로의 중심점에 기초하여, 상기 제1 축과 상기 제2 축 사이의 오프셋을 결정하는 단계를 포함하는 방법.
제2항에 있어서,
상기 카메라가 랜드마크 위에 센터링(centering)되도록 상기 로봇 아암을 위치시키고 상기 랜드마크의 제1 위치를 픽셀 단위로 기록하는 단계;
상기 로봇 아암을 X 방향 및 Y 방향으로 사전결정된 스텝 수만큼 이동시키고 상기 랜드마크의 제2 위치를 픽셀 단위로 기록하는 단계; 및
상기 제1 위치와 상기 제2 위치 사이의 차이 및 상기 사전결정된 스텝 수에 기초하여 스텝 대 픽셀 변환비(conversion ratio)를 결정하는 단계를 추가로 포함하는 방법.
제2항에 있어서,
제2 높이에서 상기 X-Y 교정 툴을 파지하는 단계;
상기 제2 높이에서의 상기 X-Y 교정 툴의 이미지를 상기 카메라에 의해 획득하는 단계;
상기 제2 축과 상기 제1 축 사이의 제2 오프셋을 결정하기 위해 상기 제2 높이에서의 상기 X-Y 교정 툴의 이미지를 분석하는 단계;
제3 높이에서 상기 X-Y 교정 툴을 파지하는 단계;
상기 제3 높이에서의 상기 X-Y 교정 툴의 이미지를 상기 카메라에 의해 획득하는 단계;
상기 제2 축과 상기 제1 축 사이의 제3 오프셋을 결정하기 위해 상기 제3 높이에서의 상기 X-Y 교정 툴의 이미지를 분석하는 단계; 및
상기 세 개의 오프셋 및 세 개의 높이를 사용하여 선형 오프셋 함수를 결정하는 단계를 추가로 포함하는 방법.
제1항에 있어서, 상기 X-Y 교정 툴 상의 적어도 하나의 랜드마크는 주기적 반복 패턴이고, 상기 제2 축과 상기 제1 축 사이의 오프셋을 결정하기 위해 상기 X-Y 교정 툴의 이미지를 분석하는 단계는:
상기 이미지 내의 렌즈 관련 왜곡을 보정하는데 사용될 수 있는 적어도 하나의 왜곡 보정 파라미터를 상기 주기적 반복 패턴을 사용하여 결정하기 위해 상기 이미지를 분석하는 단계; 및
상기 적어도 하나의 왜곡 보정 파라미터를 상기 이미지에 적용하여 왜곡 보정된 이미지를 생성하는 단계를 추가로 포함하는 방법.
제1항에 있어서,
상기 로봇 아암을 작업 표면에 정렬시키기 위해 상기 작업 표면 상의 하나 이상의 요소 상의 하나 이상의 랜드마크를 식별하는 단계를 추가로 포함하는 방법.
제1항에 있어서, 상기 카메라는 상기 그리퍼 유닛이 상기 작업 표면에 직교하는 Z 축을 따라 이동함에 따라 고정된 높이에 상기 카메라가 유지되도록 상기 그리퍼 유닛에 결합되는 방법.
자동 정렬을 위한 방법으로서,
복수의 레벨 상에 복수의 랜드마크를 포함하는 Z 교정 툴 위의 사전결정된 높이에 로봇 아암의 그리퍼 유닛을 위치시키는 단계; 및
상기 Z 교정 툴 상의 제1 랜드마크 위에서 Z-축을 따라 상기 그리퍼 유닛을 교정하는 단계를 포함하고, 상기 교정하는 단계는,
상기 그리퍼 유닛이 상기 Z 교정 툴과 접촉하게 될 때까지 상기 Z-축을 따라 상기 그리퍼 유닛을 상기 Z 교정 툴 상의 제1 랜드마크를 향해 이동시키는 단계; 및
상기 Z 교정 툴과 접촉하기 위해 상기 사전결정된 높이로부터 상기 그리퍼 유닛에 의해 이동된 제1 스텝 수를 결정하는 단계를 포함하는 방법.
제8항에 있어서, 제1 랜드마크 위에서 Z-축을 따라 상기 그리퍼 유닛을 교정하는 단계는:
삼각측량을 사용하여 상기 Z 교정 툴 상의 상기 제1 랜드마크 위에서 상기 그리퍼 유닛의 제1 높이를 픽셀 단위로 결정하는 단계를 추가로 포함하는 방법.
제8항에 있어서,
상기 Z 교정 툴 상의 적어도 두 개의 추가 랜드마크 위에서 상기 Z-축을 따라 상기 그리퍼 유닛을 교정하는 단계; 및
상기 랜드마크 각각에 대한 교정 결과에 기초하여, 픽셀 단위의 높이를 스텝 단위의 높이로 변환하는 거리 함수를 결정하는 단계를 추가로 포함하는 방법.
제8항에 있어서, 상기 Z 교정 툴 상의 적어도 하나의 랜드마크는 주기적 반복 패턴이고, Z 교정 툴을 사용하여 Z-축 상에서 그리퍼를 교정하는 단계는:
상기 주기적 반복 패턴을 사용하여 적어도 하나의 왜곡 보정 파라미터 - 상기 적어도 하나의 왜곡 보정 파라미터는 상기 이미지 내의 렌즈 관련 왜곡을 보정하는데 사용될 수 있음 - 를 결정하기 위해 상기 Z 교정 툴의 이미지를 분석하는 단계; 및
상기 적어도 하나의 왜곡 보정 파라미터를 상기 이미지에 적용하여 왜곡 보정된 이미지를 생성하는 단계를 추가로 포함하는 방법.
자동 정렬을 위한 방법으로서,
그리퍼 유닛에 의해 교정 툴을 제1 축 상에서 파지하는 단계;
그리퍼에 결합된 카메라에 의해 상기 교정 툴의 이미지를 제2 축 상에서 획득하는 단계;
상기 이미지 내의 렌즈 관련 왜곡을 보정하는데 사용될 수 있는 적어도 하나의 왜곡 보정 파라미터를 결정하기 위해 상기 이미지를 분석하는 단계; 및
상기 적어도 하나의 왜곡 보정 파라미터를 상기 이미지에 적용하여 왜곡 보정된 이미지를 생성하는 단계를 포함하는 방법.
제12항에 있어서,
상기 왜곡 보정된 이미지 내에 도시된 X-Y 교정 툴 상의 하나 이상의 랜드마크를 사용하여 상기 제2 축과 상기 제1 축 사이의 오프셋을 결정하기 위해 상기 왜곡 보정된 이미지를 분석하는 단계를 추가로 포함하는 방법.
제13항에 있어서,
Z 교정 툴 상에 제공된 하나 이상의 랜드마크를 사용하는 상기 왜곡 보정된 이미지를 사용하여 Z-축 상에서 상기 그리퍼를 교정하는 단계를 추가로 포함하고, 상기 Z-축 상에서 상기 그리퍼를 교정하는 단계는 상기 Z 교정 툴 상에 제공된 랜드마크를 삼각측량하는 단계를 포함하는 방법.
제14항에 있어서, Z-축 상에서 상기 그리퍼를 교정하는 단계는 상기 그리퍼가 상기 Z 교정 툴과 접촉하게 될 때까지 상기 Z-축을 따라 상기 그리퍼를 상기 Z 교정 툴을 향해 이동시킴으로써 상기 그리퍼를 물리적으로 교정하는 단계를 추가로 포함하는 방법.
조립체로서,
그리퍼 유닛을 포함하고, 작업 표면 위를 3차원으로 이동하도록 구성되는 로봇 아암; 및
상기 그리퍼 유닛에 결합되어서, 상기 그리퍼 유닛이 상기 작업 표면에 사실상 직교하는 Z 축을 따라 이동함에 따라 고정된 높이에 유지되는 카메라를 포함하는 조립체.
제16항에 있어서,
상기 로봇 아암과 카메라에 결합된 하나 이상의 제어기를 포함하는 자동 정렬 시스템을 추가로 포함하고, 상기 자동 정렬 시스템은 상기 로봇 아암에게 X-Y 교정 툴을 파지하고 카메라의 시계를 통해 X-Y 교정 툴을 회전시키라는 명령을 하도록 구성되고, 상기 자동 정렬 시스템은 상기 카메라에게 상기 X-Y 교정 툴이 회전될 때 그의 이미지를 캡처하라는 명령을 하도록 구성되고;
상기 자동 정렬 시스템은 상기 그리퍼 유닛에 대응하는 제1 축과 상기 카메라에 대응하는 제2 축 사이의 오프셋을 결정하기 위해 상기 X-Y 교정 툴의 이미지를 분석하도록 추가로 구성되는 조립체.
제17항에 있어서, 상기 자동 정렬 시스템은:
각각이 상기 이미지 내의 랜드마크들 중 하나에 대응하는 복수의 타원 경로를 식별하도록,
제1 축에 대응하는 복수의 타원 경로의 중심점을 결정하도록, 그리고
상기 복수의 타원 경로의 중심점에 기초하여, 상기 제1 축과 상기 제2 축 사이의 오프셋을 결정하도록 추가로 구성되는 조립체.
제18항에 있어서, 상기 자동 정렬 시스템은:
상기 로봇 아암에게 제2 높이에서 상기 X-Y 교정 툴을 파지하라는 명령을 하도록;
상기 카메라에게 상기 제2 높이에서의 상기 X-Y 교정 툴의 이미지를 획득하라는 명령을 하도록;
상기 제2 축과 상기 제1 축 사이의 제2 오프셋을 결정하기 위해 상기 제2 높이에서의 상기 X-Y 교정 툴의 이미지를 분석하도록;
상기 로봇 아암에게 제3 높이에서 상기 X-Y 교정 툴을 파지하라는 명령을 하도록;
상기 제3 높이에서의 상기 X-Y 교정 툴의 이미지를 상기 카메라에 의해 획득하도록;
상기 카메라에게 상기 제2 축과 상기 제1 축 사이의 제3 오프셋을 결정하기 위해 상기 제3 높이에서의 상기 X-Y 교정 툴의 이미지를 분석하라는 명령을 하도록; 그리고
상기 세 개의 오프셋 및 세 개의 높이를 사용하여 선형 오프셋 함수를 결정하도록 추가로 구성되는 조립체.
제17항에 있어서, 상기 자동 정렬 시스템은:
상기 카메라가 랜드마크 위에 센터링되도록 상기 로봇 아암을 위치시키고 상기 랜드마크의 제1 위치를 픽셀 단위로 기록하도록;
상기 로봇 아암을 X 방향 및 Y 방향으로 사전결정된 스텝 수만큼 이동시키고 상기 랜드마크의 제2 위치를 픽셀 단위로 기록하도록; 그리고
상기 제1 위치와 상기 제2 위치 사이의 차이 및 상기 사전결정된 스텝 수에 기초하여 스텝 대 픽셀 변환비를 결정하도록 추가로 구성되는 조립체.
제17항에 있어서, 상기 자동 정렬 시스템은:
상기 카메라에게 주기적 반복 패턴을 포함하는 랜드마크의 이미지를 캡처하라는 명령을 하도록;
상기 주기적 반복 패턴을 사용하여 적어도 하나의 왜곡 보정 파라미터 - 상기 적어도 하나의 왜곡 보정 파라미터는 상기 이미지 내의 렌즈 관련 왜곡을 보정하는데 사용될 수 있음 - 를 결정하기 위해 상기 주기적 반복 패턴을 포함하는 상기 랜드마크의 이미지를 분석하도록; 그리고
상기 적어도 하나의 왜곡 보정 파라미터를 상기 X-Y 교정 툴의 이미지에 적용하여 왜곡 보정된 이미지를 생성하도록 추가로 구성되는 조립체.
제17항에 있어서, 상기 자동 정렬 시스템은:
복수의 레벨 상에 복수의 랜드마크를 포함하는 Z 교정 툴 위의 사전결정된 높이에 상기 로봇 아암의 그리퍼 유닛을 위치시키도록;
상기 Z 교정 툴 상의 제1 랜드마크 위에서 Z-축을 따라 상기 그리퍼 유닛을 교정하도록 추가로 구성되고, 교정하는 것은,
삼각측량을 사용하여 상기 Z 교정 툴 상의 상기 제1 랜드마크 위에서 상기 그리퍼 유닛의 제1 높이를 픽셀 단위로 결정하는 것;
상기 그리퍼 유닛이 상기 Z 교정 툴과 접촉하게 될 때까지 상기 Z-축을 따라 상기 그리퍼 유닛을 상기 Z 교정 툴 상의 제1 랜드마크를 향해 이동시키는 것; 및
상기 Z 교정 툴과 접촉하기 위해 상기 사전결정된 높이로부터 상기 그리퍼 유닛에 의해 이동된 제1 스텝 수를 결정하는 것을 포함하는 조립체.
제22항에 있어서, 상기 자동 정렬 시스템은:
상기 Z 교정 툴 상의 적어도 두 개의 추가 랜드마크 위에서 Z-축을 따라 그리퍼 유닛을 교정하도록; 그리고
상기 랜드마크 각각에 대한 교정 결과에 기초하여, 픽셀 단위의 높이를 스텝 단위의 높이로 변환하는 거리 함수를 결정하도록 추가로 구성되는 조립체.