KR970005616B1 - 자동 캘리브레이션(calibration) 방법 - Google Patents

Abstract

내용없음.

Description

자동 캘리브레이션(calibration) 방법

화상처리 장치를 로봇 등 자동기계의 시각 센서로서 이용하여, 화상처리 장치로 검출한 작업대상의 위치나 자세의 빗나감을 나타내는 데이터를 보정데이터로서 자동기계의 제어장치에 송출하고, 자동기계의 제어장치가, 이 보정데이타에 의거 동작 위치를 보정하면서 교시된 동작을 실행하는 시스템은 공지된 것이다. 이 경우에 화상처리가 검출하는 작업대상물의 화상의 좌표계와 자동기계가 동작하는 좌표계가 통합되어 있지 않으면 상기 위치 보정 동작은 정상으로 실시할 수가 없다. 그 때문에 화상처리장치의 좌표계와 자동기계의 제어장치의 좌표게를 결합하는 처리를 할 필요가 있다.

화상처리가 검출한 작업 대상물의 위치나 자세의 빗나감을 보정 데이터에 의해 로봇 등 자동기계의 동작을 보정하려면 화상처리 장치의 카메라가 잡은 화상위의 화소치 데이터(카메라 좌표계의 데이터)를 화상처리장치와 자동기계의 제어장치가 공유하는 센서 좌표계의 데이터로 변경하고 또한 자동 기계가 실제로 구동 제어되는 공작물 좌표계로 데이터 변환하는 작업이 필요하다. 상기 일련의 작업은 일반적으로 캘리브레이션이라 불리어지고 있다.

이 캘리브레이션작업은 (1) 시각 센서측의 여러 설정, 좌표 정의에 필요한 데이터의 설정, (2) 시각 센서의 좌표 정의, (3) 로봇(자동기계)제어장치의 좌표정의,(4) 시각센서와 로봇제어장치의 좌표결합의 작업으로 이루어진다.

예를 들어 화상처리 장치와 로봇에 관하여 2차원의 캘리브레이션을 항 경우에 화상처리장치로는 카메라 좌표축에 대한 센서 좌표의 위치관계, 센좌표의 축명칭. 화소의 크기등을 설정함으로써 카메라좌표와 센서 좌표를 결합하고(상기 캘리브레이션 작업의 (1) 및 (2)의 작업), 다음에 상기 (3)의 로봇측의 좌표 정의로서 로봇이 동작하기 위한 공작을 좌표의 정의를 실시한다.

상기 (4)의 작업으로서는 우선 화상처리장치가 인식할 수 있는 물체, 예를 들어 원형의 대상물을 배치한 치구를 준비하고, 이 치구를 로봇에 설치한다. 다음에 로봇에 설치한 치구를 화상처리장치가 인식하고 있는 센서 좌표의 원점으로 이동시켜, 그 위치(로봇의 공작물 좌표로부터 본 위치)를 로봇의 제어장치에 기억시킨다. 다음에 센서 좌표의 X축 및 Y축위의 정해진 점에 로봇을 시동시켜, 그 위치를 각각 기억시킨다. 그리고 이 기억된 데이터를 로봇측의 표시장치에 표시하여 그 값을 화상처리장치로 입력함으로써 로봇의 공작물 좌표와 센서 좌표의 관계가 구해지며, 로봇이 인식하고 있는 센서 좌표를 일치시켜 캘리브레이션 작업이 완료된다.

이와 같은 캘리브레이션 작업은 상술한 2차원의 캘리브레이션 이외에 3개의 카메라로 작업 대상물을 잡아, 3차원적 위치를 검출하기 위한 3차원 캘리브레이션이 알려져 있다. 또 도트 패턴(dot pattern)을 사용하여 2차원, 3차원의 캘리브레이션을 실시하는 것도 공지이다.

상술한 바와 같은 캘리브레이션 작업은 화상처리장치와 로봇등의 작업시스템의 구축시에 한번 실시하면 통상 재 설정을 할 필요는 없다.

그러나 카메라 위치의 빗나감, 광학적 환경의 변화 등과 같은 어떠한 이유에 의해 오차가 커진 경우에는 재차 캘리브레이션을 실시할 필요성이 생기게된다. 이러한 경우에는 상술한 바와 같이 (1)~(4)의 캘리브레이션 작업을 재차 하지 않으면 안되므로 시간과, 노동과 그리고 전문가를 필요로 한다.

발명의 개시

본 발명의 목적은 상기의 캘리브레이션을 자동적으로 실시하는 방법을 제공하는 데 있다.

본 발명은 자동기계에 설치한 치구 전체가 화상처리장치의 시야내로 들어오는 자동기계의 위치를 교시점으로서 미리 자동기계에 교시함과 동시에 상기 치구에 설치된 인식 대상물에 관한 데이터를 화상처리장치에 미리 설정하고, 자동기계에 치구를 설치해서, 캘리브레이션 기동 지령을 발하여 화상처리장치 및 자동기계를 기동시켜서 화상처리장치 및 자동기계를 소정의 프로그램에 따라 서로 통신시키면서 자동기계를 상기 교시점으로 이동시켜서 카메라로 치구를 촬영하고, 상기 촬영하여 얻은 화상 데이터와 상기 치구위에 설치된 인식 대상물에 관한 데이터와 자동기계의 위치에 의해 카메라 좌표와, 센서좌표와, 자동기계의 공작물 좌표사이를 결합하는 여러스텝을 갖춘다.

치구를 활영하여 얻어지는 화상 데이터와 치구의 데이터에 의해 카메라 좌표로부터 센서 좌표로의 변환 데이터를 얻는다. 또한 치구를 촬영한 자동기계의 위치로부터 센서 좌표로부터 자동기계의 공작물 좌표 위치로의 변환데이터를 얻는다. 이렇게 하여 카메라 좌표, 센서 좌표, 공작물 좌표를 결합하여 캘리브레이션이 자동적으로 이루어지는 것이다.

발명의 실시하기 위한 최량의 형태

제2도중, 10은 화상 중앙 처리 장치이며, 이 화상 중앙 처리 장치(10)는 주 중앙 처리장치(메인 CPU)(11)를 가지며, 메인 CPU(11)에는 카메라 메인 인터페이스(12), 화상처리 프로세서(13), 콘솔 인터페이스(14), 통신 인터페이스(15), 모니터 인터페이스(16), 프레임 메모리(17), ROM으로 형성된 컨트롤 소프트용 메모리 (18), RAM 등으로 구성된 프로그램 메모리(19), 불휘발성 RAM으로 구성된 데이터 메모리(20)가 버스(21)에 의해 접속되어 있다.

카메라 인터페이스(12)에는 부품 등의 대상물을 촬영하는 카메라(22)(제2도에는 1개의 카메라만이 도시되어 있으나, 합계 8개의 카메라를 설치할 수가 있다)가 접속되고, 카메라(22)의 시야로 잡힌 화상은 그레이 스케일(gray scale)에 의한 농담 화상으로 변환되어 프레임 메모리(17)에 격납된다.

화상처리 프로세서(13)는 프레임 메모리(17)에 격납된 화상을 처리하여 대상물을 식별하고 그 위치 및 자세를 계측한다.

콘솔 인터페이스(14)에는 콘솔(23)이 접속되고, 이 콘솔(23)은 액정표시부 외에 각종 지령 키이, 애플리케이션 프로그램의 입력, 편집, 등록, 실행 등을 조작하기 위한 숫자 키이등을 갖는다. 상기 액정 표시부에는 각종 데이터설정을 위한 메뉴나 프로그램의 목록등을 교시할 수 있도록 되어 있다. 또 콘트롤 소프트용 메모리(180에는 메인 CPU(11)가 시각 센서 시스템을 제어하기 위한 컨트롤 프로그램이 격납되어 있고, 또한 프로그램 메모리919)에는 유저가 작성하는 프로그램이 격납되어 있다.

통신 인터페이스915)에는 시각 센서 시스템을 사용하는 로봇 등의 자동기계가 접속되어 있다. 또 TV 모니터 인터페이스(16)에는 카메라(22)에 의해 촬영된 영상을 표시하는 모니터 텔레비젼(24)이 접속되어 있다.

이상의 구성은 종래의 시각 센서 시스템의 구성과 마찬가지이나 본 발명에서는 컨트롤용 메모리(18)에 후술하는 자동 캘리브레이션의 프로그램이 격납되어 있는 점ㅇ; 종래의 시각 센서 시스템과 상이하다.

제3도는 본 실시예에서 사용하는 2차원의 통상 캘리브레이션 및 도트패턴 캘리브레이션을 실시하기 위한 치구(30)를 나타내고, 치구(30)에는 큰원(31)과 작은 원(32)이 매설되어 있으며, 큰 원(31)의 중심 0와 작은 원(32)의 중심0'을 잇는 직선을 X축(중심 0로부터 중심 0'향하는 방향을 +방향)으로 하고, X축을 반시계 방향으로 90도 회전한 축을 Y축으로 하여 고시하는 것이다. 또한 원의 중심 0-0'사이의 거리 L에 화소스케일 데이터를 부여한다.

제4도는 3차원의 통상 캘리브레이션 및 도트 캘리브레이션의 치구(40)의 일례를 나타낸다. 이 치구(40)에는 센서 좌표의 원점 0가 되는 위치를 중심으로 큰 원(41)이 매설되고, X방향으로 n개의 작은 원(42), Y축방향으로 m개의 작은 원(42)이 등 간격 L로 격자위에 매설되어 있다. 또 3개의 각 부에는 XY평면에 수직으로 핀(43)이 매설되어 있다.

다음에 상기 치구(30),(40)를 사용하여 캘리브레이션을 하는 방법에 대해서 제1도의 플로우챠트를 참조하여 설명한다. 우선 화상처리장치(10)에 화상처리장치가 처리하는 스텝 S1~17의 처리 프로그램을 제2도에 나타낸 프로그램 메모리(19)에 미리 등록하고, 로봇의 제어장치 내의 메모리에 제1도의 로봇이 실시하는 처리(스텝 T1~T10)의 프로그램을 미리 등록해둔다. 그리고 시스템을 구축할 때의 최초의 캘리브레이션을 할 때에만 아래의 (I)~(III)을 설정한다.

(I) 사용하는 카메라를 화상처리장치(10)에 설정한다.

이 설정은 종래의 캘리브레이션과 마찬가지로 사용되는 카메라가 접속되어 있는 카메러 인터페이스(12)의 커넥터 번호에 의해 설정한다.

(II) 캘리브레이션용 치구의 데이터를 화상처리장치에 설정한다.

2차원의 캘리브레이션이며 치구(30)의 원(31)과 원(32)의 중심사이의 거리 L를 설정한다. 또 3차원의 캘리브레이션이면 3차원용의 치구(40)의 격자모양으로 배열된 원(42)사이의 거리 L.X축 방향의 원의 수 n, Y축 방향의 원의 수 m을 설정한다.

(III) 캘리브레이션용 치구를 로봇에 설치하고, 이 치구전체가 카메라(22)의 시야내로 들어올수 있는 위치(로복의 공작물 좌표계에서의 위치)를 로봇에 교시한다.

3차원의 캘리브레이션의 경우에만 사용하는 각 카메라(3개의 카메라)데 대하여 각각 상기 위치를 교시한다. 또한 3차원 캘리브레이션용 치구(40)의 3개의 핀(43)의 꼭지부분을 특정 점으로 위치 설정함으로써 이 치구(40)의 로봇에 대한 상대적인 설치 위치 및 자세를 로봇에 교시한다.

이상의 각 데이터를 설정하여 화상처리장치의 데이터 메모리(20) 및 로봇 제어장치의 메모리에 기억시킨다.

사용하는 캘리브레이션용 치구를 로봇에 설치하고, 화상처리장치 또는 로봇의 제어장치에 대하여 캘리브레이션의 종별을 입력함과 동시에 캘리브레이션 지령을 입력하면 화상처리장치(10)의 CPU(11)와 로봇의 제어장치의 프로세서는 각각 제1도의 플로우채트에 나타낸 처리를 개시한다.

본 실시예에서는 각 캘리브레이션의 종별에 대하여 2차원의 통상 캘리브레이션을 종별 1,3차원의 통상 캘리브레이션을 종별 2로, 2차원의 도트 패턴 캘리브레이션을 종별 3,3차원의 도트 패턴 캘리브레이션을 종별 4로 설정한다. 또한 로봇의 제어장치로 부터 캘리브레이션 기동지령을 입력하는 예를 나타낸다.

우선 스텝 T1에서 로봇 제어장치의 프로세서는 입력된 캘리브레이션 종별 번호를 레지스터에 격납함과 동시에 화상처리장치에 대하여 캘리브레이션 종별 번호와 캘리브레이션 기동신호를 송신한다. 화상처리장치(10)의 CPU(11)는 로봇 제어장치로부터 캘리브레이션 기동신호를 수신하면 스텝 S1에서, 수신한 캘리브레이션 종별 번호를 레지스터 R에 격납하고 아래의 스텝 S2~S17을 개시하다. 스텝 S2에서 지표 i에 0을 설정하고, 스텝 S3에서 로봇의 제어장치로부터 보내오는 이동 완료 신호를 기다린다.

환편, 로봇 제어장치는 캘리브레이션 기동신호를 송신한 후, 스텝 T2에서 지표 i를 0로 설정하고, 스텝 T3로 진행하여 지표 i에 제세된 i번째의 교시점(상술한(III)으로 교시하여 기억된 위치)으로 로봇을 이동시킨다. 그리고 2차원의 캘리브레이션이면 교시점을 1점이며, 이 점으로 로봇은 이동한다. 이동이 완료되면 스텝 T4에서 로봇의 제어장치는 화상처리장치에 대하여 이동 완료 신호를 송신하고, 스텝 Y5에서 화상처리장치로부터의 위치 데이터 요구 신호를 기다린다.

화상처리장치(10)의 CPU는 로봇제어자이로부터 이동완료 신호를 수신하면 카메라(22)에 스냅(snap)지령을 내고, 스냅 S4에서 치구의 화상을 페리임 메모리(17)에 들여 보내 화상처리 프로세서(13)로 치구의 화상으로부터 치구의 위치 및 자세를 검출하여, 스텝 S5에서 로봇 제어장치에 대하여 위치 데이터 요구 지령을 송신하고, 이 데이터의 수신을 기다린다.

로봇 제어잔치는 스텝 T5에서 위치 데이터 요구 신호를 수신하면 현재의 로봇 위치(교시점의 위치)를 송신한다. 이때 3차원의 캘리브레이션인 경우에는 스텝ㅈ T6에서 치구(40)의 핀(43)에 의해 교시한 치구(40)의 설치 위치/자세의 데이터도 송신한다.

위치 데이타를 수신한 화상처리장치는 스텝 S7~S9에서 레지스터 R에 기억된 캘리브레이션 종별을 판단하고, 스텝 S7~S9에 각각 대응한 캘리브레이션 처리(스텝 S10~14)를 실행한다. 즉, 스텝 S4에 집어넣은 치구의 화상과 이미 설정되어 있는 치구 데이타에 의해 카메라 좌표와 센서 좌표를 결합하고, 다시 스텝 S6에서 수신한 위치 데이터에 의해 센서 좌표와 로좃의 공작물 좌표를 결합한다.

예를 들어 2차원의 통상 캘리브레이션이면 레지스터 R의 값은 1'이며, 스텝 S7으로부터 스텝 S10으로 이행한다. 스텝 S10에서는 치구 (30)의 큰 원(31)의 중심 위치를 센서 좌표의 원점, 큰 원(31)의 중심 0와 작은 원(32)의 중심 0'를 잇는 직선을 센서 좌표의 X축, 중심으로 부터 중심 0'로 향하는 방행을 X축의 +방향으로 하여 설정하고, X축으로부터 반 계 방향으로 90도 회전한 방향을 Y축 방향으로 설정한다. 또한 원(31)과 (32)의 중심 0-0'사이의 화소수와 이 중심사이의 거리 L에 의해 화소스케일을 구하고, 카메라 좌표로부터 센서 좌표로의 변환 데이타를 구한다. 이렇게 해서 카메라 좌표와 센서 좌표의 2개의 좌표계가 결합된다.

또한 스텝 S6에서 수신한 위치 데이터에 의해 센서 좌표로부터 로봇의 공작물 좌표로의 변환 데이터를 구하여 2개의 좌표를 결합하는 2차원의 통상 캘리브레이션 처리를 실행한다. 마찬가지로 레지스터 R의 값이 2이면 스텝 S4에서 구한 치구(40)의 화상과 설정된 치구 데이터(L, m, m) 및 스텝 S6에서 수신한 위치, 치구 설치 위치 자세 데이터로 부터 카메라 좌표, 센서 좌표, 로봇 공작물 좌표를 결합하는 3원 캘리브레이션을 실행한다(스텝 S8, S11).

마찬가지로 레지스터 R의 값이 3이면 2차원 도트 패턴 캘리브레이션을 실시하고(스텝 S9, S12), 레지스터 R의 값이 4'이면 3차원 도트 패턴캘리브레이션을 실시한다(스텝 S13). 캘리브레이션이 종료되면 캘리브레이션 완료 신호를 로봇 제어장치에 송신하고(스텝 S14, S15), 2차원의 캘리브레이션이면 이 캘리브레이션 처리를 종료한다. 또 3차원 캘리브레이션이면 스텝 S16에서 지표 i에 1을 가산하고, 스텝 S17에서 이 지표 i가 3에 달했는가 아닌가를 판단하여 3을 달하지 않았으면 스텝 S3으로 되돌아 온다.

한편, 로봇 제어장치는 스텝 T7에서 화상처리장치(10)로 부터 캘리브레이션 완료신호를 수신하면 기억하고 있는 캘리브레이션 종별이 2인가 3인가, 즉 3차원 캘리브레이션인가 아닌가를 판단하고 (스텝 T8), 레지스터에 기억하는 값이 '1또는3으로서 2차원 캘리브레이션이면 이 자동 캘리브레이션의 처리를 종료한다. 그러나 3차원 캘리브레이션의 경우에는 스텝 T9에서 지표 i에 1을 가산하여, 이 지표 i가 3에 달하지 않으면(스텝 T10)스텝 T3으로 되돌아온다. 그리고 지표 i로 제시되는 다음 교시점으로 로봇을 이행시켜, 로봇 제어장치는 상술한 스텝 S3~T10의 처리를, 또 화상처리장치(10)는 스텝 S3~S17의 처리를 각 교시점(각 카메라)에 대하여 실행하게 된다. 그리고 3개의 카메라에 대하여 캘리브레이션 처리를 실하여 지표가 3이 되면 이 3차원 캘리브레이션의 처리가 종료된다.

이와 같이 하여 캘리브레이션을 종료하고, 이후 화상처리장치로 작업대상의 위치 및 자세의 빗나감을 검출하여, 이 위치 및 자세의 빗나감을 보정 데이터로 로봇에 송축하고, 로봇 제어장치는 이 보정 데이터에 의거해서 동작위치를 보정하여 시스템을 가동하게된다.

가동중에 카메라의 위치가 빗나간다거나 광학적 환경이 변화하여 오차가 증대해서 재차 캘리브레이션을 할 필요가 생기는 경우에는 로봇에 캘리브레이션 치구를 설치하고 캘리브레이션 종별을 로봇의 제어장치 또는 화상처리장치(10)에 설정해서 캘리브레이션 기동 지령을 입력하면 로봇의 제어장치 및 화상처리장치(10)는 제1도에 나타낸 처리를 개시하여 자동적으로 캘리브레이션이 이루어진다.

이상과 같이 본 발명에서는 캘리브레이션 조작을 구성하는 개개의 조작을 유닛화하고, 개개의 유닛을 화상처리장치의 프로그램으로 호출하는 구성으로 하였다. 또 로봇 제어장치로 부터도 기동할 수 있도록 구성함과 동시에 화상처리장치와 로봇등의 화상처리장치를 이용하는 자동기계를 통신에 의해 캘리브레이션과 관계되는 데이터의 송수신 및 동작을 실시하도록 하였다.

따라서 상이한 종별의 캘리브레이션 작업을 자동적으로 할 수가 있다.

일단 치구의 데이터와 이 치구를 화상처리장치의 카메라로 촬영시키는 치구를 설치한 자동기계의 위치를 교시하여 기억시켜두면 이후는 캘리브레이션지령을 발함으로써 자동기계 및 화상처리장치가 소정 프로그램에 따라 자동적으로 동작하여 캘리브레이션을 실행하므로 캘리브레이션 작업을 간단히 실행할 수가 있다.

본 발명은 로봇 등 자동기계의 제어에서 작업대상이 되는 물체를 화상처리 장치등의 외부 시각 센서로 검출하여 자동기계의 동작위치를 보정하는 시스템에 필요한 캘리브레이션에 관한 것이다.

제1도는 본 발명의 방법에 의해 화상처리장치 및 로봇의 제어방치가 실시하는 자동 캘리브레이션처리를 나타낸 플로우챠트.

제2도는 본 발명의 방식을 실시하기 위한 화상 처리장치의 요부 블록도.

제3도는 2차원의 캘리브레이션 치구의 예를 나타낸 설명도.

제4도는 3차원의 캘리브레이션 치구의 예를 나타낸 설명도.

Claims (4)

1. 자동기계의 제어장치의 좌표계와, 작업 대상물의 화상을 처리하는 화상처리장치의 좌표계를 결합하는 캘리브레이션을 자동적으로 실시하는 방법으로서, (a) 자동기계에 설치한 치구 전체가 화상처리장치의 카메라의 시야내로 들어오는 자동기계의 위치를 교시점으로 미리 자동기계에 교시함과 공시에 상기 치구에 설치된 인식 대상물에 관한 데이터를 화상처리장치에 미리 설정하고, (b) 자동기계에 상기 치구를 설치하고 캘리브레이션 기동 지령을 발하여 화상처리장치 및 자동기계를 기동시켜, (c) 화상처리장치 및 자동기계를 소정 프로그램에 따라 서로 통신 시키면서 자동기계를 상기 교시점으로 이동시켜 카메라로 상기 치구를 촬영하고, (d) 상기 촬영하여 얻어진 화상데이터와 상기 치구 위에 설치된 인식 대상물에 관한 데이터와 자동기계의 위치에 의해 카메라 좌표와, 센서 좌표와 자동기계의 공작물 좌표사이를 결합하는 여러 스텝을 갖춘 자동 캘리브레이션 방법.
2. 제1항에 있어서, 상기 스텝 (a)은 또한 치구의 자동기계로의 설치위치 및 자세 데이터를 화상처리장치에 미리 기억시키는 것을 포함하는 자동 캘리브레이션 방법.
3. 자동기계의 제어장치의 좌표계와, 작업 대상물의 화상을 처리는 화상처리장치의 좌표계를 결합하는 캘리브레이션을 자동적으로 실시하는 방법으로, (e) 자동기계에 설치한 치구 전체가 화상처리장치의 카메라의 시야내로 들어오는 자동기계의 위치를 교시접으로서 미리 자동기계에 교시함과 동시에 캘리브레이션 종별에 따른 치구에 설치된 인식 대상물에 관한 데이터를 설정해두고, (f) 사용하는 캘리브레이션 종별의 치구를 자동기계에 설치하고 캘리브레이션 종별을 입력함과 동시에 캘리브레이션 기동지령을 발하여 화상처리장치 및 자동기계를 기동시켜, (g) 화상처리장치 및 자동기계는 소정 프로그램에 따라 서로 통신시키면서 자동기계를 상기 교시점으로 이동시켜 상기 치구를 촬영하고, (h) 상기 촬영하여 얻어진 화상 데이터와 상기 치구에 설치된 인식 대상물에 관한 데이터와 자동기계의 위치에 의해 카메라 좌표와, 센서 좌표와, 자동기계의 공작물 좌표사이를 결합하는 여러 스텝을 갖춘 자동 캘리브레이션 방법.
4. 제3도에 있어서, 상기 스텝(e)은 또한 치구의 자동기계로의 걸치위치, 자세데이터를 화상처리장치에 미리 설정 기억 시키는 것을 포함하는 자동 캘리브레이션 방법.